-
Die Erfindung betrifft ein Verfahren zur Sensorfusion nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Mit zunehmender Digitalisierung werden auch vermehrt Assistenzsysteme in Fahrzeuge integriert. Dies erlaubt es vielfältige Sicherheits- und Komfortfunktionen bereitzustellen. So ist es möglich ein Fahrzeug zumindest teilautomatisiert oder gar auch autonom zu steuern. Dies erfordert eine Erfassung der Umgebung durch das Fahrzeug mittels einer Umfeldsensorik.
-
Mit Hilfe der Umfeldsensorik ist das Fahrzeug dazu in der Lage statische und dynamische Umgebungsobjekte sowie den Fahrbahnverlauf zu erkennen. Dies erlaubt es situationsgerecht Steuerungsbefehle zum sicheren Steuern des Fahrzeugs zu bestimmen. Das Fahrzeug kann hierzu die verschiedensten Sensoren aufweisen, wie eine oder mehrere Mono- und/oder Stereokameras, Ultraschallsensoren, Radarsensoren, LiDARe und dergleichen. Jeder Sensortyp weist dabei für unterschiedliche Einsatzrandbedingungen eine unterschiedliche Erfassungsgüte auf. Bilder aus am Fahrzeug angebrachten Kameras erlauben eine besonders differenzierte Erfassung und Analyse des Fahrzeugumfelds. Bei widrigen Sichtverhältnissen, beispielsweise bei einer tiefstehenden Sonne, Nebel, Dunkelheit und dergleichen, ist die Sicht jedoch eingeschränkt. Die Detektionsreichweite von einem LiDAR kann durch starken Regen reduziert sein und dergleichen. Um dennoch das Umfeld des Fahrzeugs situationsunabhängig angemessen erfassen zu können, werden daher die Sensordaten unterschiedlicher Sensoren miteinander fusioniert.
-
Das Fusionieren der Sensordaten erfolgt dabei meist auf der sogenannten Objektebene. Dabei werden die über die Informationen eines Sensors erkannten Objekte mit den Informationen der anderen Sensoren fusioniert. Dieser Ansatz ist allerdings ineffizient und kann Probleme erzeugen. Zudem wird für jeden Sensortyp eine eigene Methodik zur Objekterkennung benötigt, was den Einsatz einer vergleichsweise leistungsfähigen Rechenhardware erfordert.
-
Zur Sensordatenverarbeitung kann dabei auch Künstliche Intelligenz, insbesondere in Form von künstlichen neuronalen Netzen, eingesetzt werden.
-
Aus der
WO 2016/100814 A1 ist die multimodale Sensordatenfusion für wahrnehmende Systeme bekannt. Die Druckschrift beschreibt das Erkennen einer Lageabweichung zwischen zwei unterschiedlichen Sensorsystemen unter Einsatz von Künstlicher Intelligenz. Dies ermöglicht es festzustellen, in welchem Ausmaß der Erfassungsbereich eines ersten und eines zweiten Sensors voneinander abweichen. Zum Trainieren der Künstlichen Intelligenz werden der KI entsprechende Sensordaten für verschiedene Testfälle zugeführt sowie die dabei vorliegende Lageabweichung. Hierdurch wird die KI nach und nach dazu in die Lage versetzt, für verschiedene Randbedingungen korrekt abzuschätzen, wie die Lageabweichung zwischen den Sensoren ausfällt. Eine von der Kl ermittelte Lageabweichung kann dazu genutzt werden einen Stellaktor eines jeweiligen Sensors anzusteuern, um die beiden Sensoren zur Reduktion der Lageabweichung auf denselben Erfassungsbereich auszurichten.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Sensorfusion anzugeben, welches sich durch eine gesteigerte Effizienz und verbesserte Detektionszuverlässigkeit auszeichnet.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Sensorfusion mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Ein gattungsgemäßes Verfahren zur Sensorfusion, wobei ein Fahrzeug seine Umgebung mittels wenigstens eines ersten und eines zweiten Sensors erfasst, wobei der erste und zweite Sensor einen sich zumindest teilweise überlappenden Erfassungsbereich aufweisen, und wobei eine Recheneinheit ein Maschinenlernmodell zur Verarbeitung von den Sensoren erzeugter Sensordaten ausführt, wird erfindungsgemäß weitergebildet durch die folgenden von der Recheneinheit ausgeführten Verfahrensschritte:
- a) Festlegung eines der Sensoren als Hauptsensor, wobei die Recheneinheit die aus einer Analyse der vom Hauptsensor generierten Sensordaten gewonnenen Erkenntnisse zum Ansteuern einer Fahrzeugfunktion verwendet, und wobei die Recheneinheit die Sensordaten des Hauptsensors unter Einsatz des Maschinenlernmodells analysiert;
- b) Festlegen wenigstens eines vom Hauptsensor abweichenden Sensors als Nebensensor;
- c) Zuführen von dem wenigstens einen Nebensensor erzeugten Sensordaten dem Maschinenlernmodell;
- d) Auswahl eines relevanten Informationsbereichs aus den vom Hauptsensor erzeugten Sensordaten in Abhängigkeit der von dem wenigstens einen Nebensensor generierten Sensordaten durch das Maschinenlernmodell; und
- e) Analysieren des dem relevanten Informationsbereich zugeordneten Teils der Sensordaten des Hauptsensors zur Gewinnung der Erkenntnisse durch das Maschinenlernmodell.
-
Das erfindungsgemäße Verfahren zur Sensorfusion ermöglicht es somit die Fusion der verschiedenen Sensoren nicht erst auf Objektebene durchzuführen, sondern bereits vorher auf Basis der vorliegenden Rohdaten. Dies erhöht die Effizienz bei der Sensordatenfusionierung, da die von den verschiedenen Sensoren generierten Sensordaten nicht erst im Einzelnen für eine Objekterkennung analysiert werden müssen.
-
Hierzu wird einer der Sensoren des Fahrzeugs als Hauptsensor ausgewählt. Das Maschinenlernmodell ermittelt basierend auf den vom Hauptsensor generierten Sensordaten die für die weitere Verarbeitung im Fahrzeug durch Fahrerassistenzsysteme relevanten Informationen. Hierbei kann es sich beispielsweise um Steuerungsbefehle zur zumindest teilautomatisierten oder gar autonomen Steuerung des Fahrzeugs handeln. Das Fahrzeug kann somit insbesondere automatisiert einen Eingriff in die Längs- und/oder Querführung vornehmen. Besonders vorteilhaft wird dasjenige Sensorsystem bzw. derjenige Sensortyp als Hauptsensor ausgewählt, der die umfangreichste Erfassung und Bewertung des Umfelds des Fahrzeugs in der jeweiligen Situation erlaubt.
-
Zumindest einer der weiteren Sensoren des Fahrzeugs mit einem zumindest teilweise überlappenden Erfassungsbereich zum Hauptsensor, bevorzugt so viele weitere Sensoren wie möglich, werden dann als Nebensensor bestimmt. Das Maschinenlernmodell ermittelt dann aus den von den Nebensensoren generierten Sensordaten relevante Bereiche der Sensordaten bzw. in den Sensordaten des Hauptsensors, die für die weitere Analyse besonders tief bzw. umfangreich verarbeitet bzw. analysiert werden sollen. Umgangssprachlich ausgedrückt versetzen die Nebensensoren das Maschinenlernmodell dazu in die Lage den Fokus auf genau denjenigen für die aktuelle Fahrsituation relevanten Teilbereich des vom Hauptsensor erfassten Ausschnitts des Umfelds zu legen. Somit müssen nicht alle vom Hauptsensor generierten Daten entsprechend umfangreich analysiert werden, sondern nur die jeweils relevanten. Hierdurch lässt sich der notwendige Verarbeitungsaufwand zur Erkennung und Bewertung des Umfelds für das Fahrzeug reduzieren, was letztendlich die Effizienz verbessert.
-
Beispielsweise kann eine Frontkamera des Fahrzeugs als Hauptsensor ausgewählt werden. Eine eventbasierte Kamera und ein oder mehrere Mikrofone können als Nebensensoren fungieren. Unter Analyse von den entsprechenden Nebensensoren generierte Sensordaten ist das Maschinenlernmodell dazu in der Lage ein weiteres Fahrzeug im Umfeld des Egofahrzeugs zu erkennen. Beispielsweise können durch ein Mikrofonarray entsprechend vom weiteren Fahrzeug abgegebene Motorengeräusche relativ gegenüber dem Egofahrzeug verortet werden. Aufgrund der bekannten Einbaulage der jeweiligen Sensoren am Fahrzeug kann das Maschinenlernmodell so ermitteln, in welchem Bildausschnitt von der als Hauptsensor ausgewählten Frontkamera das jeweilige weitere Fahrzeug vorliegen wird. Entsprechend analysiert das Maschinenlernmodell nur diesen Ausschnitt des Kamerabilds im Detail.
-
Das Maschinenlernmodell kann insbesondere auf den Einsatz von sogenannten transformerbasierten Lernmodellen aufbauen. Eine solche Transformerarchitektur setzt insbesondere einen sogenannten Aufmerksamkeitsmechanismus, auch als „attention mechanism“ bezeichnet, ein. Diese ermöglichen die Einspeisung von Daten die die Relevanz von anderen Informationen quantifizieren und somit implizit eine umgangssprachliche Fokussierung auf einen Teil der Eingabedaten. Dadurch wird bei der anschließenden Verarbeitung durch ein Modell des maschinellen Lernens eine implizite Sensorfusion durchgeführt, die zur Folge hat, dass Teile der Eingabedaten des Hauptsensors durch Informationen anderer Sensoren gewichtet werden.
-
Zur Festlegung des relevanten Teilbereichs der Sensordaten des Hauptsensors kann nicht nur der entsprechende Bereich aus den Sensordaten ausgeschnitten werden, sondern auch ein Konfidenzwert für relevante Bereiche bestimmt werden, wobei diejenigen Bereiche als interessanter Teilbereich bestimmt werden, deren Konfidenzwert über einer vorher festgelegten Konfidenzwertschwelle liegt. Die jeweiligen Konfidenzwerte werden dabei vom Maschinenlernmodell in Abhängigkeit der von den Nebensensoren generierten Sensordaten bestimmt. Ein für die Sensordaten des Hauptsensors ermittelter relevanter Teilbereich kann zusammenhängend sein oder auch in separate Unterabschnitte unterteilt sein.
-
Damit das Maschinenlernmodell dazu in die Lage versetzt wird die ihm zugewiesenen Aufgaben zu übernehmen, wurde das Maschinenlernmodell vor der eigentlichen Betriebsphase, beispielsweise durch den Fahrzeughersteller, trainiert. Die Trainingsdaten können in umfangreichen Testkampagnen generiert worden sein. Es kann sich insbesondere um überwachtes Lernen handeln. Ein solcher Trainingsdatensatz beschreibt für verschiedene Sensorsysteme welche Teilbereiche der Sensordaten des Hauptsensors relevant sind. Zudem kann ein Trainingsdatensatz Anweisungen enthalten, wie entsprechende Daten vorzugsweise verarbeitet werden sollen. Ferner kann ein Trainingsdatensatz auch eine Vorgabe enthalten, welches Sensorsystem als Hauptsensor und als Nebensensor fungieren soll.
-
Zur Veranschaulichung sei hier beispielhaft eine Trainingskampagne beschrieben, die zur Entwicklungszeit durchgeführt wird:
- Im Fahrzeug seien fünf verschiedene Sensoren verbaut, die in unterschiedlicher Konfiguration ihre jeweiligen Sensordaten erfassen können. Beispielsweise sind ein LiDAR sowie eine jeweilige Time-Of-Flight- und Infrarot-Kamera vorgesehen. Die Trainingskampagne besteht aus einer Vielzahl an Szenarien. Diese Szenarien setzen sich zusammen aus einer Kombination unterschiedlicher Sensoreinstellungen und Szenarien-Eigenschaften sowie dem Szenarien-Label. Die Sensoreinstellungen definieren die unterschiedlichen Konfigurationen, die ein Sensor im Fahrzeug annehmen kann. Beispielsweise sind dies für eine Kamera: Kamerawinkel, Tiefenmessung, Beleuchtung, Schärfe, Auflösung, etc. Die Szenarien-Eigenschaften sind beispielsweise:
- Geschwindigkeit, Licht- und Sichtbedingungen, Fahrbahnzustand, Fahrwerksdämpfung, Beladung und dergleichen. Auf Basis der Kombination unterschiedlicher Sensor- und Szenarien-Eigenschaften können die jeweiligen Szenarien-Label in der Trainingskampagne vergeben und somit die Sensor-Fusion optimiert werden. Szenarien-Label können hierbei beispielsweise lauten: „Kurvenlagen-Güte“, „ESP-Eingriff“, „Unfallvermeidung“, „Geschwindigkeitsreduktion“, „Ausweichmanöver“. In einer konkreten Sensor- und Szenarien-Eigenschaftskombination ergeben sich beispielsweise während des Trainings Trefferquoten für die Label-Korrektheit (supervised learning) wie „Kurvenlagen-Güte [80%]“, „ESP-Eingriff [90%]“, „Unfallvermeidung [10%]“, „Geschwindigkeitsreduktion [20%]“, „Ausweichmanöver [98%]“. Je höher die Genauigkeit bzw. Trefferquote ist, desto besser ist die Sensorfusion, aus der abgeleitet werden kann, welche die optimale Verknüpfung der Sensor-Eingangsdaten im späteren Serienbetrieb ist.
-
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Recheneinheit den vom relevanten Informationsbereich abweichenden Teil der Sensordaten des Hauptsensors vor einer Analyse durch das Maschinenlernmodell verwirft. Wie bereits erwähnt, lässt sich der interessante Teilbereich der Sensordaten des Hauptsensors ausschneiden bzw. entfernen. Somit wird die von der Recheneinheit zu verarbeitende Datenmenge reduziert, was die Effizienz bei der Durchführung des erfindungsgemäßen Verfahrens noch weiter erhöht.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden die von dem wenigstens einen Nebensensor generierten Sensordaten vor einer Verarbeitung durch das Maschinenlernmodell aufbereitet. Hierdurch wird die Datenqualität der entsprechenden Sensordaten erhöht. Beispielsweise kann durch entsprechende Vorverarbeitungsalgorithmen Rauschen entfernt werden, spezielle Filter eingesetzt werden und dergleichen. Dies erhöht die Zuverlässigkeit, dass relevante Informationen aus den von den Nebensensoren generierten Sensordaten erhalten werden können. Entsprechend können die dem interessanten Teilbereich der Sensordaten des Hauptsensors zugeordneten Daten aufbereitet werden.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die von dem wenigstens einen Nebensensor generierten Sensordaten vor einer Verarbeitung durch das Maschinenlernmodell normiert werden. Dies verbessert die Recheneffizienz noch weiter. So können die von verschiedenen Sensorsystemen generierten Sensordaten insbesondere auf ein einheitliches Format gebracht werden, in dasselbe Koordinatensystem übertragen werden und dergleichen. Somit lässt sich verhindern, dass aufgrund unterschiedlicher Einheitensysteme, Längenverhältnisse und dergleichen Fehler beim Referenzieren der jeweiligen Daten aufeinander entstehen.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird wenigstens ein Erfassungsparameter des Hauptsensors in Abhängigkeit von durch eine Analyse der Sensordaten wenigstens eines Nebensensors gewonnener Erkenntnisse angepasst. Aus den vom Maschinenlernmodell durch Analyse der Sensordaten der Nebensensoren gewonnenen Erkenntnisse lässt sich auch ableiten, dass beispielsweise eine jeweilige Einsatzrandbedingung vorliegt, bei der die Erfassungsgüte des Hauptsensors gesteigert werden kann, wenn spezielle Erfassungsparameter für den Hauptsensor eingestellt werden. Analog zu vorigen Ausführungen kann das Maschinenlernmodell in der Entwicklungsphase entsprechend trainiert worden sein, solche Zusammenhänge zu erkennen. So können verschiedene Testszenarien durchgeführt werden, wobei jeweils für unterschiedliche Erfassungsrandbedingungen ein Satz an verschiedenen Erfassungsparametern eingestellt wird und jeweilige Erfassungen der Umgebung durchgeführt werden. Das Maschinenlernmodell erlernt hierdurch zu erkennen, für welche Erfassungsrandbedingungen mit welchen Erfassungsparametern die jeweils am besten zu verwertenden Ergebnisse erzielt werden können. Handelt es sich bei dem Hauptsensor um eine Kamera, so kann beispielsweise die Blendenöffnung, die Belichtungszeit, die ISO-Empfindlichkeit, die Brennweite und dergleichen für eine Aufnahme variiert werden.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass das Maschinenlernmodell von wenigstens zwei Nebensensoren generierte Sensordaten zur Auswahl des relevanten Informationsbereichs berücksichtigt, wobei den Nebensensoren in Abhängigkeit der aktuellen Erfassungsbedingungen eine Relevanzgewichtung zugeordnet wird, und das Maschinenlernmodell von Nebensensoren mit hoher Relevanzgewichtung generierte Sensordaten für die Auswahl des relevanten Informationsbereichs priorisiert. Wie auch der Hauptsensor verfügen auch die jeweiligen Nebensensoren über von unterschiedlichen Einsatzrandbedingungen abhängige Erfassungsgüten. Wird zur Bestimmung des relevanten Informationsbereichs in den vom Hauptsensor generierten Sensordaten ein solcher Nebensensor verwendet, der bei den aktuellen Einsatzrandbedingungen eine verminderte Erfassungsgüte aufweist, so können Fehler entstehen. Liegt beispielsweise gerade Starkregen vor, so könnte von einem LiDAR-Sensor ein zu kurzer Abstandswert geliefert werden. Für unterschiedliche Einsatzrandbedingungen liegen dann verschiedene Relevanzgewichtungen für die unterschiedlichen Sensortypen vor. Diese Relevanzgewichtungen lassen sich beispielsweise über eine heuristische Formel oder ebenfalls unter Einsatz von Künstlicher Intelligenz den jeweiligen Nebensensoren zuordnen. Das Maschinenlernmodell berücksichtigt dann die Sensordaten der Nebensensoren entsprechend der jeweiligen Relevanzgewichtung. Dies erhöht die Zuverlässigkeit, dass der relevante Informationsbereich für die Sensordaten des Hauptsensors korrekt bestimmt wird.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird in Schritt a) derjenige Sensor als Hauptsensor festgelegt, der für die aktuellen Erfassungsrandbedingungen die höchste Erfassungsgüte aufweist. Dies erhöht die Zuverlässigkeit, dass relevante Objekte vom Maschinenlernmodell erkannt werden. Analog zu vorigen Ausführungen im Zusammenhang mit den Nebensensoren, kann auch hier eine heuristische Formel und/oder Künstliche Intelligenz eingesetzt werden, um zu bestimmen, welcher Sensor bei den aktuellen Erfassungsrandbedingungen die höchste Erfassungsgüte aufweist.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Erfassungsgüte der einzelnen Sensoren über der Zeit nachverfolgt wird und bei einer Verschlechterung der Erfassungsgüte eines spezifischen Sensors eine Warnmeldung an einen Fahrzeuginsassen ausgegeben wird. Das Maschinenlernmodell ist somit dazu in der Lage einen Abnutzungsgrad der unterschiedlichen Sensoren des Fahrzeugs zu erfassen. Ist die Degradation eines spezifischen Sensors so weit fortgeschritten, dass keine zuverlässige Umgebungserfassung mehr möglich ist, kann eine entsprechende Warnmeldung ausgegeben werden. Diese Warnmeldung kann visuell, akustisch und/oder haptisch erfolgen. Beispielsweise kann eine Warnleuchte im Fahrzeuginnenraum aufblinken, auf einer Anzeigevorrichtung ein Hinweistext angezeigt werden, ein Warnton erklingen und/oder ein von der fahrzeugführenden Person berührtes Fahrzeugelement, beispielsweise ein Sitz und/oder das Lenkrad, vibrieren. Hierdurch lässt sich dem Fahrzeuginsassen, insbesondere der fahrzeugführenden Person, vermitteln, dass der entsprechende Sensor ausgetauscht werden sollte. Die Wartung des Fahrzeugs kann beispielsweise in einer Vertragswerkstatt des Fahrzeugherstellers erfolgen. Über eine entsprechende Mensch-Maschine Schnittstelle des Fahrzeugs kann eine Funktion bereitgestellt werden entsprechende Werkstatttermine direkt aus dem Fahrzeug heraus zu buchen.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens hält die Recheneinheit wenigstens zwei sich durch ihren Komplexitätsgrad unterscheidende Maschinenlernmodelle vor und setzt das weniger komplexe Maschinenlernmodell zur Analyse der Sensordaten des Hauptsensors ein, wenn in Abhängigkeit der Sensordaten des wenigstens einen Nebensensors kein relevanter Informationsbereich in den vom Hauptsensor generierten Sensordaten identifizierbar ist. Hierdurch lässt sich die Effizienz in der Datenverarbeitung durch die Recheneinheit noch weiter erhöhen. Handelt es sich bei den Maschinenlernmodellen beispielsweise um künstliche neuronale Netze, so können sich diese durch ihre Tiefe unterscheiden. Die verschiedenen künstlichen neuronalen Netze verfügen also über eine unterschiedliche Anzahl an Neuronen. Je mehr Neuronen ein künstliches neuronales Netz umfasst, desto höher ist auch der Komplexitätsgrad. Mit Zunahme des Komplexitätsgrads steigt auch der zur Ausführung des entsprechenden Maschinenlernmodells erforderliche Rechenaufwand. Wird also ein künstliches neuronales Netz mit weniger Neuronen bzw. einer geringeren Tiefe zur Datenanalyse verwendet, so sinkt auch der erforderliche Rechenaufwand und damit der Energieverbrauch der Recheneinheit.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass wenigstens ein dritter Sensor einen zum Hauptsensor abweichenden Erfassungsbereich aufweist, ein vom Hauptsensor erfasstes und durch die Recheneinheit in den Sensordaten des Hauptsensors identifiziertes Objekt durch die Recheneinheit nachverfolgt wird und die Recheneinheit den dritten Sensor als neuen Hauptsensor festlegt, wenn die Recheneinheit einen Übertritt des Objekts aus dem Erfassungsbereich des Hauptsensors in den Erfassungsbereich des dritten Sensors prädiziert. Hierdurch lässt sich die Effizienz des erfindungsgemäßen Verfahrens zur Sensorfusion noch weiter steigern. So kann für die jeweilige Einsatzrandbedingung zeitnah der jeweils passende Sensor als Hauptsensor ausgewählt werden. Verlässt also ein relevantes Objekt den Erfassungsbereich des aktuellen Hauptsensors und betritt den Erfassungsbereich eines besagten dritten Sensors, so kann zeitnah der jeweilige Sensor als neuer Hauptsensor ausgewählt werden, sodass das entsprechende relevante Objekt unter einer ausreichenden Erfassungsgüte weiterhin durch das Maschinenlernmodell bzw. die Recheneinheit nachverfolgt werden kann.
-
Generell ist es auch möglich, dass, je nach Einsatzrandbedingung, mehrere Sensoren des Fahrzeugs gleichzeitig als Hauptsensor und/oder Nebensensor fungieren.
-
Beispielsweise können gleichzeitig eine in Richtung der Fahrzeuglängsachse ausgerichtete Frontkamera und eine einen Versatz hierzu aufweisende und seitlich von der Mittelachse des Fahrzeugs weggerichtete eventbasierte Kamera als zwei Hauptsensoren fungieren. Dabei überwacht die Frontkamera ein erstes Objekt und die eventbasierte Kamera ein zweites Objekt. Gleichzeitig kann die eventbasierte Kamera dabei als Nebensensor für die mittig positionierte und ausgerichtete Frontkamera fungieren und umgekehrt.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Sensorfusion ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben wird.
- Dabei zeigt 1 eine Draufsicht auf ein das erfindungsgemäße Verfahren ausführendes Fahrzeug in einer Fahrsituation.
-
1 zeigt ein auf einer Straße 6 in eine Fahrtrichtung F fahrendes Fahrzeug 1 in einer Draufsicht. Es handelt sich um eine Fahrsituation, in der starker Nebel 7 vorliegt, welcher durch eine Schraffur angedeutet ist. Auf der Gegenspur nähert sich dem Fahrzeug 1 ein Traktor 8. Das Fahrzeug 1 umfasst mehrere Sensoren, wobei zumindest ein erster Sensor 2.1 und ein zweiter Sensor 2.2 vorhanden sind, die einen sich zumindest teilweise überlappenden Erfassungsbereich 3 aufweisen. In dem gezeigten Ausführungsbeispiel handelt es sich bei dem ersten Sensor 2.1 um eine Frontkamera und bei dem zweiten Sensor 2.2 um ein Mikrofonarray. Von den jeweiligen Sensoren 2.1, 2.2 erzeugte Sensordaten werden von einer Recheneinheit 4 verarbeitet, die ein Maschinenlernmodell ausführt. Das Maschinenlernmodell ist dabei im Sinne des erfindungsgemäßen Verfahrens trainiert. Dieses Training kann beispielsweise vom Fahrzeughersteller in speziellen Messkampagnen bzw. Trainingskampagnen durchgeführt worden sein. 1 zeigt zudem ein zum aktuellen Moment von der Frontkamera aufgenommenes Kamerabild 9. Aufgrund des dichten Nebels 7 ist der Traktor 8 im Kamerabild 9 noch nicht richtig zu erkennen. Jedoch scheinen die Positionslichter 10 des Traktors 8 durch den Nebel 7 hindurch. Die Recheneinheit 4 legt den ersten Sensor 2.1 als Hauptsensor fest, beispielsweise aufgrund einer Standardeinstellung, in Abhängigkeit des Umfangs, in dem sich Informationen unter Analyse entsprechender Sensordaten gewinnen lassen, oder aufgrund der aktuellen Erfassungsgüte in der jeweiligen Fahrsituation. Entsprechend wird der zweite Sensor 2.2, hier also das Mikrofonarray, als Nebensensor festgelegt. Die jeweiligen Sensordaten werden dem Maschinenlernmodell zugeführt, wodurch das Maschinenlernmodell unter Bestimmung einer sich aus dem Motorengeräusch des Traktors 8 abgeleiteten Position relativ gegenüber dem Fahrzeug 1 einen relevanten Informationsbereich 5 für das Kamerabild 9 ermittelt. Dieser relevante Informationsbereich 5 wird dann umfangreich bzw. tiefgreifend vom Maschinenlernmodell analysiert. Insbesondere lassen sich so die Positionslichter 10 durch eine entsprechende Bildanalyse leichter auffinden und nachverfolgen. Somit wird also die Detektionswahrscheinlichkeit für den Traktor 8 unter Analyse des Kamerabilds 9 verbessert. Somit sinkt auch der zur Analyse des entsprechenden Kamerabilds 9 erforderliche Rechenaufwand, was die Effizienz der Recheneinheit 4 bei der Durchführung des erfindungsgemäßen Verfahrens bzw. bei der Datenanalyse verbessert.
-
In einem weiteren (nicht dargestellten) Beispiel setzt ein zumindest teilautomatisiertes Fahrzeug ein kamerabasiertes System zur Umgebungserfassung ein. Außerdem sind in den Scheinwerfern des Fahrzeugs Infrarotsensoren zur adaptiven Ansteuerung der Scheinwerfer verbaut. Bei der Fahrt auf einer Landstraße wird ein vorausfahrendes Fahrzeug aufgrund seiner dem Hintergrund sehr ähnlichen Farbe zunächst nicht vom kamerabasierten System erkannt. Da allerdings die Information der Infrarotsensoren die Wärmesignatur des vorausfahrenden Fahrzeugs wahrnehmen kann und diese dem Maschinenlernmodell zugeführt wird, ist das Maschinenlernmodell durch Bestimmung des relevanten Informationsbereichs 5 dazu in der Lage dem Kamerasystem mitzuteilen, welcher Kamerabildausschnitt für die weitere Datenanalyse relevant ist. Mit anderen Worten wird der Fokus auf den relevanten Informationsbereich 5 gelenkt.
-
In einem letzten (ebenfalls nicht dargestellten) Beispiel überwacht ein zumindest teilautomatisiert gesteuertes Fahrzeug ebenfalls seine Umgebung mittels eines kamerabasierten Systems. Ferner verfügt das Fahrzeug über eine eventbasierte Kamera, die es erlaubt, mit höherer temporaler Auflösung und höherer dynamischer Bandbreite (englisch: dynamic range) Kamerabilder zu erfassen. Das Fahrzeug fährt mit hoher Geschwindigkeit auf den Ausgang eines Tunnels zu. Die Frontkamera kann den starken Kontrast aufgrund des Helligkeitsunterschieds zwischen dem Inneren und Äußeren des Tunnels nicht abbilden und so außerhalb des Tunnels befindliche Fahrzeuge nicht ohne weiteres erkennen. Da die eventbasierte Kamera eine höhere dynamische Bandbreite aufweist, kann diese das entgegenkommende Fahrzeug jedoch bereits wahrnehmen. Unter entsprechender Datenanalyse durch das Maschinenlernmodell kann somit ein entsprechender Bildausschnitt für die Frontkamera bestimmt werden und gegebenenfalls die Fokussierung der Frontkamera angepasst werden. Sobald sich die Lichtverhältnisse für die Frontkamera verbessern ist dann das entgegenkommende Fahrzeug wesentlich schneller erkennbar.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-