DE102021002004A1

DE102021002004A1 - Verfahren zum Betrieb von Fahrzeugen innerhalb eines Platooning Konvois

Info

Publication number: DE102021002004A1
Application number: DE102021002004.9A
Authority: DE
Inventors: Cedric Perauer; Andreas Petrovic; Jannis Kiourtsidis
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2021-06-10

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb von Fahrzeugen (2 bis 4) innerhalb eines Platooning-Konvois (K). Erfindungsgemäß werden alle Fahrzeuge (2 bis 4) des Platooning-Konvois (K) in einem Backend (1) registriert, wobei mittels des Backends (1) eine Reihenfolge der Fahrzeuge (2 bis 4) im Platooning-Konvoi (K) festgelegt wird und ein Fahrzeug (2 bis 4) mit dem höchsten Autonomielevel als Führungsfahrzeug des Platooning-Konvois (K) und ein Fahrzeug (2 bis 4) mit dem gleichen oder nächst kleineren Autonomielevel als Abschlussfahrzeug des Platooning-Konvois (K) bestimmt wird. Spätestens unmittelbar nach der Bildung des Platooning-Konvois (K) werden mittels der Fahrzeuge (2 bis 4) von fahrzeugeigenen Umgebungssensoren erfasste Sensordaten an eine zentrale Verarbeitungseinheit und/oder das Backend (1) übermittelt, wobei mittels der zentralen Verarbeitungseinheit und/oder des Backends (1) Diskrepanzen zwischen den mittels unterschiedlicher Fahrzeuge (2 bis 4) des Platooning-Konvois (K) erfassten Sensordaten ermittelt werden und anhand der Diskrepanzen Systemgrenzen zum Betrieb des Platooning-Konvois (K) ermittelt werden. Weiterhin werden mittels der zentralen Verarbeitungseinheit und/oder des Backends (1) unter Berücksichtigung der Systemgrenzen die Sensordaten zu einer Umgebungsrepräsentation des Platooning-Konvois (K) fusioniert und anhand der Umgebungsrepräsentation wird der Betrieb der Fahrzeuge (2 bis 4) im Platooning-Konvoi (K) durchgeführt.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb von Fahrzeugen innerhalb eines Platooning Konvois gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 10 2019 208 498 A1 ist ein Verfahren zum Optimieren eines Umfeldmodells durch ein Steuergerät bekannt. Dabei werden Messdaten von einem ersten Sensorset und Messdaten von einem zweiten Sensorset empfangen, wobei das erste Sensorset einen ersten Abtastbereich und das zweite Sensorset einen zweiten Abtastbereich aufweist. Der erste Abtastbereich und der zweite Abtastbereich überschneiden sich in einem Überlappungsbereich bereichsweise. Für jedes Sensorset wird basierend auf den empfangenen Messdaten des jeweiligen Sensorsets ein Umfeldmodell erstellt. Die Umfeldmodelle werden anhand des Überlappungsbereichs miteinander verglichen und verifiziert und zu einem optimierten Umfeldmodell zusammengeführt. Die Sensorsets sind dabei an zwei unterschiedlichen Fahrzeugen angeordnet. Ein Vergleichen, Verifizieren und Zusammenführen der Umfeldmodelle zu dem optimierten Umfeldmodell wird durch ein fahrzeugexternes oder fahrzeuginternes Steuergerät ausgeführt.
Weiterhin ist aus der DE 10 2017 203 838 A1 ein Verfahren zur Umfelderfassung bekannt, bei welchem ein erstes Kraftfahrzeug sein Fahrzeugumfeld mittels eines Sensors erfasst, wobei das erste Kraftfahrzeug sein Fahrzeugumfeld betreffende Sensordaten des Sensors an eine fahrzeugexterne Servereinrichtung überträgt. Weiterhin überträgt ein zweites Kraftfahrzeug, umfassend einen Sensor, sein Fahrzeugumfeld betreffende Sensordaten des Sensors an die fahrzeugexterne Servereinrichtung. Die fahrzeugexterne Servereinrichtung fusioniert die übertragenen Sensordaten der Kraftfahrzeuge und generiert basierend darauf ein Umfeldmodell vom Fahrzeugumfeld des ersten Kraftfahrzeugs. Das generierte Umfeldmodell wird von der fahrzeugexternen Servereinrichtung an das erste Kraftfahrzeug übertragen. Bei den Kraftfahrzeugen wird unter Berücksichtigung des Umfeldmodells eine Anfahrvorbereitung für eine synchrone Kolonnenanfahrt nach einer Ampelrotphase durchgeführt, wobei bei zumindest einem der Kraftfahrzeuge eine automatische Längsführung in Abhängigkeit vom Umfeldmodell gesteuert wird.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zum Betrieb von Fahrzeugen innerhalb eines Platooning-Konvois anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zum Betrieb von Fahrzeugen innerhalb eines Platooning-Konvois werden erfindungsgemäß alle Fahrzeuge des Platooning-Konvois in einem Backend registriert. Mittels des Backends wird basierend auf einem Autonomielevel zum autonomen Fahren, einer Hardwarekonfiguration, einer Softwareversion und einem Sensorsetup jedes der Fahrzeuge eine Reihenfolge der Fahrzeuge im Platooning-Konvoi festgelegt, wobei ein Fahrzeug mit dem höchsten Autonomielevel als Führungsfahrzeug des Platooning-Konvois und ein Fahrzeug mit dem gleichen oder nächst kleineren Autonomielevel als Abschlussfahrzeug des Platooning-Konvois bestimmt wird. Diese Reihenfolge wird vom Backend an die Fahrzeuge übermittelt, wobei der Platooning-Konvoi mit der übermittelten Reihenfolge ausgehend vom Führungsfahrzeug über signaltechnische Kopplungsmethoden mit den anderen Fahrzeugen gebildet wird. Das Führungsfahrzeug zur Bildung des Platooning-Konvois übermittelt dann ein Signal zu einer Einleitung eines Einfädelungsprozesses zwischen andere Fahrzeuge des Platooning-Konvois zumindest an Fahrzeuge des Platooning-Konvois, welche aufgrund ihres Autonomielevels nicht aktiv über einen Positionswechsel entscheiden können. Spätestens unmittelbar nach der Bildung des Platooning-Konvois mittels der Fahrzeuge von fahrzeugeigenen Umgebungssensoren werden erfasste Sensordaten an eine zentrale Verarbeitungseinheit und/oder das Backend übermittelt, wobei mittels der zentralen Verarbeitungseinheit und/oder des Backends Diskrepanzen zwischen den mittels unterschiedlicher Fahrzeuge des Platooning-Konvois erfassten Sensordaten ermittelt werden und anhand der Diskrepanzen Systemgrenzen zum Betrieb des Platooning-Konvois ermittelt werden. Weiterhin werden mittels der zentralen Verarbeitungseinheit und/oder des Backends unter Berücksichtigung der Systemgrenzen die Sensordaten zu einer Umgebungsrepräsentation des Platooning-Konvois fusioniert und anhand der Umgebungsrepräsentation wird der Betrieb der Fahrzeuge im Platooning-Konvoi durchgeführt.
Im Verkehr existieren Fahrzeuge mit unterschiedlichen Autonomieleveln und somit mit unterschiedlichen Fähigkeiten zum autonomen Fahren. Die Fahrzeuge unterscheiden sich dabei in einer Einbindung eines Fahrers in den Fahrbetrieb als auch in einer Komplexität von Szenarien, welche diese beherrschen. Das vorliegende Verfahren ermöglicht es Fahrzeugnutzern von Fahrzeugen mit geringem Autonomielevel, beispielsweise Level 2 oder Level 3, Fahrfunktionen höherer Autonomielevel zu nutzen, indem deren Fahrzeuge in den Platooning-Konvoi eingebunden werden. Dieser Platooning-Konvoi wird mit dem Führungsfahrzeug, welches alle Verkehrsfunktionen und beispielsweise einen Autonomielevel beherrscht, angeführt. Jedoch weisen solche Platooning-Konvois eingeschränkte fahrdynamische Eigenschaften auf, so dass ein besonders großer Wahrnehmungsbereich bzw. Erfassungsbereich der Sensoren der Fahrzeuge des Platooning-Konvois erforderlich ist. Diesen großen Erfassungsbereich realisiert das Verfahren, indem die Umgebungssensoren aller im Platooning-Konvoi vorhandenen Fahrzeuge zur Umgebungserfassung eingesetzt werden und somit eine Sensorausleuchtung aller Fahrzeuge des Platooning-Konvois optimal verwendet wird, um eine Reichweite der Umgebungserfassung zu verbessern und um somit frühzeitig auf Veränderungen in der Umgebung des Platooning-Konvois reagieren zu können. Dadurch kann eine Sicherheit vor allem bei Überhol-, Spurwechsel- und Bremsvorgängen signifikant verbessert werden und es kann eine höhere mögliche Höchstgeschwindigkeit des Platooning-Konvois realisiert werden. Um das Verfahren kontinuierlich zu optimieren, werden in einer möglichen Ausgestaltung des Verfahrens Fehlerfälle erkannt und mit Hilfe einer datengetriebenen Entwicklung verbessert.
Somit ermöglicht das vorliegende Verfahren eine besonders vorteilhafte Lösung für eine Fusion und Verbesserung der Sensorausleuchtung in Platooning-Konvois mit Fahrzeugen verschiedener Autonomielevel. Des Weiteren können Diskrepanzen der Sensorerfassungen verschiedener Fahrzeuge sicher erkannt werden, um Grenzfälle, Fehlerfehler und Extremfälle zu erkennen und Systeme zum autonomen Betrieb von Fahrzeugen zu verbessern.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch eine Verkehrssituation mit einem Platooning-Konvoi und einem Backend,
2 schematisch ein Bild mit mittels einer Kamera erfassten Rohdaten einer Szene,
3 schematisch ein hochaufgelöstes Bild der Szene gemäß 2,
4 schematisch einen Platooning-Konvoi sowie Erfassungsbereiche von Sensoren von Fahrzeugen des Platooning-Konvois,
5 schematisch eine Verkehrssituation mit einem Platooning-Konvoi und einem Backend,
6 schematisch eine Belegungskarte einer Verkehrssituation mit einem Platooning-Konvoi und einem Backend,
7 schematisch ein Ablauf eines Verfahrens zum datenbasierten Labeling und
8 schematisch eine Verkehrssituation mit einem Platooning-Konvoi und einem Objekt.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist eine Verkehrssituation mit einem Platooning-Konvoi K, einem Backend 1, einem als Motorrad ausgebildeten Objekt 01 und einem als Fußgänger ausgebildeten Objekt 02 dargestellt.
Der Platooning-Konvoi K umfasst dabei mindestens ein als Führungsfahrzeug ausgebildetes Fahrzeug 2 und zumindest ein als Folgefahrzeug ausgebildetes Fahrzeug 3, 4, im dargestellten Ausführungsbeispiel zwei Folgefahrzeuge. In nicht näher dargestellten Ausführungsbeispielen kann der Platooning-Konvoi K auch auf eine größere Anzahl von Fahrzeugen 2 bis 4 erweitert werden.
Im Backend 1 werden alle Platooning-Konvois K registriert und verfolgt. Hierzu sind im Backend 1 alle wichtigen Parameter für den jeweiligen Platooning-Konvoi K bekannt. Diese Parameter umfassen beispielsweise eine Position, ein Ziel, eine Anzahl an Fahrzeugen 2 bis 4, Informationen über das Führungsfahrzeug, Autonomielevel der Fahrzeuge 2 bis 4 zum autonomen Fahren, Geschwindigkeiten, gewählte Abfahrtszeiten und/oder -orte der einzelnen Fahrzeuge 2 bis 4, Sensorkonfigurationen der Fahrzeuge 2 bis 4, Rechenleistungen der Fahrzeuge 2 bis 4, Sensorreichweiten der Fahrzeuge 2 bis 4, in den Fahrzeugen 2 bis 4 verwendete Softwareversionen usw.
Eine Reihenfolge der Fahrzeuge 2 bis 4 im Platooning-Konvoi K wird bei einer Anmeldung der Fahrzeuge 2 bis 4 im Backend 1 mittels des Backends 1 festgelegt. Dies erfolgt basierend auf dem Autonomielevel zum autonomen Fahren, einer Hardwarekonfiguration, einer Softwareversion und einem Sensorsetup jedes der Fahrzeuge 2 bis 4. Die Reihenfolge der Fahrzeuge 2 bis 4 wird dabei derart festgelegt, dass ein Fahrzeug 2 mit dem höchsten Autonomielevel als Führungsfahrzeug des Platooning-Konvois K und ein Fahrzeug 4 mit dem gleichen oder nächst kleineren Autonomielevel als Abschlussfahrzeug des Platooning-Konvois K bestimmt wird.
Weiterhin werden mittels des Backends 1 Algorithmen zur Sensorfusion berechnet, welche abhängig vom Zustand des Platooning-Konvois K einen Beitrag einzelner Sensoren 5 bis 12 der Fahrzeuge 2 bis 4 zur Umgebungserfassung des Platooning-Konvois K ermitteln. Die Sensoren 5 bis 12 umfassen dabei beispielsweise Radarsensoren, Kameras, Lidarsensoren, GPS-Systeme, differenzielle GPS-Systeme, Systeme zur Ermittlung einer Echtzeitbewegung und konventionelle Sensoren, wie beispielsweise Raddrehzahlsensoren und inertiale Messeinheiten.
Weiterhin wird eine so genannte „Mid Level Presentation“ mittels des Backends 1 und/oder einer nicht näher dargestellten zentralen Verarbeitungseinheit, welche beispielsweise Bestandteil eines der Fahrzeuge 2 bis 4 ist, erzeugt, in welcher mittels der Sensoren 5 bis 12, insbesondere Umgebungssensoren, erfasste Sensordaten registriert werden, um eine Umgebungsrepräsentation für den Platooning-Konvoi K zu erzeugen und Diskrepanzen zwischen den mittels unterschiedlicher Fahrzeuge 2 bis 4 des Platooning-Konvois K erfassten Sensordaten zu ermitteln. Hierbei werden in einem Zuordnungsverfahren verschiedene Erfassungsbereiche der Sensoren 5 bis 12 einzelner Fahrzeuge 2 bis 4 betrachtet, um redundant erfasste Bereiche in der Umgebung des Platooning-Konvois K zu klassifizieren. Weiterhin werden anhand der Diskrepanzen zwischen den unterschiedlichen Fahrzeugen 2 bis 4 mit gegebenenfalls unterschiedlichen Autonomieleveln Systemgrenzen zum Betrieb des Platooning-Konvois K ermittelt. Ferner werden eine zeitliche Synchronisierung der Sensoren 5 bis 12 eines Fahrzeugs 2 bis 4 und Sensoren 5 bis 12 unterschiedlicher Fahrzeuge 2 bis 4, eine echtzeitfähige Kommunikation zwischen einzelnen Fahrzeugen 2 bis 4, um verarbeitete Sensordaten auszutauschen und die gemeinsame Umgebungsrepräsentation zu schaffen, eine Anbindung aller Fahrzeuge 2 bis 4 an das Backend 1, um Diskrepanzen zu melden und Sensordaten beispielsweise über Mobilfunk zu übermitteln, sowie eine datengetriebene Entwicklung durchgeführt, um Fehlerfälle zu bewerten, entsprechenden Daten zu labeln und Systeme zu verbessern.
Im dargestellten Ausführungsbeispiel umfasst der Platooning-Konvoi K das als Führungsfahrzeug ausgebildete Fahrzeug 2 mit einem Autonomielevel 4/5 sowie das als Abschlussfahrzeug ausgebildete Fahrzeug 4 mit einem Autonomielevel von mindestens 3. Zwischen den Fahrzeugen 2 und 4 ist ein weiteres Fahrzeug 3 angeordnet, welches beispielsweise einen Autonomielevel 2 aufweist.
Die Wahl der Reihenfolge der Fahrzeuge 2 bis 4 liegt insbesondere einer erweiterten Sensorerfassungsreichweite von Fahrzeugen 2 bis 4 mit dem Autonomielevel 4/5 zugrunde, welche als Sensoren 5 bis 12 so genannte Long-Range-Radar und/oder Lidarsensoren, beispielsweise Long-Range-Lidarsensoren, umfassen und somit schnell heranfahrende Objekte O1, beispielsweise Motorräder in geschwindigkeitsunbegrenzten Bereichen einer Autobahn, frühzeitig erkennen können. Als Abschlussfahrzeug ist dabei ein Fahrzeug 4 mit dem Autonomielevel 3 ausreichend, da diese Fahrzeugtypen über redundante und performante Sensorsetups verfügen, um auffahrende Fahrzeuge zu erkennen. Zu diesen Sensoren gehören vor allem Long-Range-Lidarsensoren und Long-Range-Radarsensoren. Sollten sich mehrere Fahrzeuge 2 bis 4 mit dem Autonomielevel 4/5 im Platooning-Konvoi K befinden, nimmt das Fahrzeug 2 bis 4 mit dem gleichen oder nächst kleineren Autonomielevel die Position des Abschlussfahrzeugs ein.
Bei der Formation des Platooning-Konvois K erhält das Backend 1 IDs aller Fahrzeuge 2 bis 4. Im Backend 1 sind unter der jeweiligen ID eine aktuelle Softwareversion, in den Fahrzeugen 2 bis 4 verbaute Steuergeräte und verbaute Sensoren 5 bis 12 hinterlegt. Mit diesen Daten bestimmt das Backend 1 eine Konfiguration von Hardware- und Softwarearchitekturen und die Autonomielevel der Fahrzeuge 2 bis 4. Mittels dieser Daten kann dann die bestmögliche Reihenfolge der Fahrzeuge 2 bis 4 innerhalb des Platooning-Konvois K vorgegeben werden. Die vom Backend 1 ermittelte Reihenfolge wird daraufhin an alle Fahrzeuge 2 bis 4 übertragen.
Ausgehend vom Führungsfahrzeug wird dann der Platooning-Konvoi K mit der optimalen Reihenfolge über signaltechnische Kopplungsmethoden mit den anderen Fahrzeugen 3, 4 gebildet. Das Führungsfahrzeug kommuniziert dabei mit den anderen Fahrzeugen 3, 4 des Platooning-Konvois K und sendet ein Signal zu einer Einleitung eines Einfädelungsprozess zwischen andere Fahrzeuge 2, 4 des Platooning-Konvois K zumindest an Fahrzeuge 3 des Platooning-Konvois K, welche aufgrund ihres Autonomielevels, beispielsweise einem Autonomielevel 2, nicht aktiv über einen Positionswechsel entscheiden können. Dabei werden vom Führungsfahrzeug Daten für einen herzustellenden Abstand, um Lücken im Platooning-Konvoi K herzustellen oder zu schließen, übermittelt. Fahrzeuge 2, 4 höherer Autonomielevel können den Einfädelungsprozess selbst einleiten und durchführen, nachdem eine entsprechende Lücke im Platooning-Konvoi K erzeugt wurde. Sobald der Platooning-Konvoi K gebildet ist, wird mittels Kommunikationspfaden, beispielsweise Funkpfaden, Laserpfaden usw., ein gemeinsamer Sensorfusionsraum aufgebaut, welcher zum sicheren Betrieb des Platooning-Konvois K genutzt wird.
Insbesondere werden spätestens unmittelbar nach der Bildung des Platooning-Konvois K mittels der Fahrzeuge 2 bis 4 von fahrzeugeigenen Umgebungssensoren erfasste Sensordaten an die zentrale Verarbeitungseinheit und/oder das Backend 1 übermittelt, wobei mittels der zentralen Verarbeitungseinheit und/oder des Backends 1 unter Berücksichtigung der Systemgrenzen die Sensordaten zu einer Umgebungsrepräsentation des Platooning-Konvois K fusioniert werden, anhand derer der Betrieb der Fahrzeuge 2 bis 4 im Platooning-Konvoi K durchgeführt wird.
2 zeigt ein Bild B mit mittels einer Kamera erfassten Rohdaten einer Szene. In 3 ist ein hochaufgelöstes Bild B' der Szene gemäß 2 dargestellt.
Obwohl teilautonome Fahrzeuge 2 bis 4 bzw. Fahrzeuge 2 bis 4 mit geringem Autonomielevel weniger Rechenleistung für eine Verarbeitung von Umgebungsdaten aufweisen und gegebenenfalls nicht eine Redundanz von Sensoren 5 bis 12 sowie erforderliche Sensortypen zur Erreichung des Autonomielevels 4/5, wie zum Beispiel Long-Range-Lidare, extra Steuergeräte usw., besitzen, sind hochauflösende Kameras auch Teil eines Sensorsets von Fahrzeugen 2 bis 4 mit dem Autonomielevel 2/3. Ein Limit von Fahrzeugen 2 bis 4 mit dem Autonomielevel 2/3 ist im Bereich der Bildverarbeitung dabei nicht allein aufgrund der Hardware begründet, sondern auch dadurch, dass eine Extrahierung hochdimensionaler Kameradaten aufgrund einer begrenzten Rechenleistung von Systemen des Autonomielevels 2/3 nur begrenzt möglich ist.
Da ein Platooning-Konvoi K fahrdynamisch schlechtere Eigenschaften als ein einzelnes Fahrzeug 2 bis 4 aufweist, sind für einen sicheren Betrieb des Platooning-Konvois K größere Sensorreichweiten erforderlich. Die Fähigkeit einer Objekterkennung oder Segmentierungsarchitektur, beispielsweise mittels künstlicher neuronaler Netze des Typs Convolutional Neural Network weit entfernte Objekte 01, 02 zu erkennen, wird meist durch eine geringe Auflösung von kleinen Objekten 01, 02 in den erfassten Sensordaten begrenzt. Das heißt, auf einem Kamerabild mit geringer Auflösung belegt ein weit entferntes Objekt 01, 02 nur wenige Pixel, welche zur Klassifizierung des Objekts O1, 02 zur Verfügung stehen.
Speziell dieses Problem der kleinen Objekte 01, 02 kann durch ein so genanntes Super-Resolution-Verfahren behoben werden und so eine Wahrscheinlichkeit einer Erkennung von kleineren Objekten 01, 02 verbessert werden. Grenzen des Systems werden dadurch vergrößert und erlauben durch größere Sensorreichweiten eine Erhöhung einer möglichen Höchstgeschwindigkeit des Platooning-Konvois K.
Durch die Überlappung von Erfassungsbereichen mehrerer Kameras unterschiedlicher Fahrzeuge 2 bis 4 können durch so genannte Upsampling-Techniken hochaufgelöste Bilder B' erzeugt werden.
Die Erzeugung von so genannten Super-Resolution-Kamera-Frames kann beispielsweise durch moderne Techniken im Bereich der Neuronalen Netze ermöglicht werden. Hierzu werden insbesondere Convolutional Neural Networks verwendet. Es sind aber auch Ansätze mit Hilfe von so genannten Generative Adversarial Networks oder klassischer Bildverarbeitung, zum Beispiel ein so genanntes Nearest Neighbor Upsampling, möglich.
Um in einem solchen Super-Resolution-Verfahren gute Ergebnisse zu erzielen, müssen die Erfassungsbereiche der Kameras unterschiedlicher Fahrzeuge 2 bis 4 miteinander fusioniert werden können. Hierfür sind Schritte einer Vorverarbeitung, wie beispielsweise ein Zuschneiden, eine Rotation, eine Translation und gegebenenfalls auch eine Entzerrung erfasster Bilder B erforderlich. Für eine korrekte Assoziation von Bildbereichen unterschiedlicher Fahrzeuge 2 bis 4 ist außerdem eine Zeitsynchronisierung der erfassten Bilder B erforderlich. Ohne diese würde eine Fusion der Bilder B eine Leistungsfähigkeit der Umfelderkennung im Vergleich zur Verwendung einer einzelnen Kamera verschlechtern. Mit Hilfe ähnlicher Verfahren können auch Radar- und Lidardaten verbessert werden. Die aufbereiteten Daten können daraufhin von einem Fahrzeug 2 bis 4 mit ausreichend Rechenleistung, also beispielsweise dem Führungsfahrzeug oder dem Abschlussfahrzeug des Platooning-Konvois K, verarbeitet werden. In diesem Fall bilden das Führungsfahrzeug bzw. das Abschlussfahrzeug die zentrale Verarbeitungseinheit.
Sich überlappende Erfassungsbereiche von als Kameras ausgebildeten Sensoren 5, 13 zweier Fahrzeuge 2, 3 eines Platooning-Konvois K, welche die Ausführung eines Super-Resolution-Verfahrens ermöglichen, zeigt 4. Dabei erfassen die Kameras jeweils einen Bildbereich BB1, BB2. Durch die dargestellte doppelte Abdeckung des Bildbereichs BB1 können Variationen von Kameraparametern, wie beispielsweise eine Variation einer Belichtungszeit, erfolgen und so eine Nachtsicht und Sicherheit/Confidence, beispielsweise anhand von mittels eines Algorithmus prädizierten Wahrscheinlichkeiten eines Objekts O1, 02, der Objekterkennung verbessert werden.
In 5 ist eine Verkehrssituation mit einem Platooning-Konvoi K und einem Backend 1 dargestellt.
Für eine zuverlässige Fusion von Sensordaten zu einem bestimmten Zeitschritt muss ein Zeitversatz einzelner Sensoren 5 bis 13 zueinander einem konstanten Wert entsprechen und sollte bei Sensoren 5 bis 13 gleicher Frequenz möglichst nahe 0 liegen. Um dies zu ermöglichen, wird eine optische Kopplung der Fahrzeuge 2 bis 4 zueinander genutzt.
Nach der Formation des Platooning-Konvois K wird dafür eine Nachricht N vom Backend 1 beispielsweise an das mittlere Fahrzeug 3 übermittelt. Dieses sendet dann mittels einer Laserkopplung beispielsweise ein Low-Signal L mit Checksumme aus, welches zur Synchronisierung der Sensoren 5 bis 13 verwendet werden kann.
Nach Versenden der ersten Signale sendet jedes Fahrzeug 2 bis 4 einen so genannten Unix-Time-Stamp der ersten Sensorsignale nach der Synchronisierung aus. Dieser kann verwendet werden, um Offsets einzelner Sensorsignale zu überprüfen. Außerdem kann mittels des Unix-Time-Stamps ein Fahrzeug 2 bis 4 mit fehlerhafter Synchronisierung erneut gekoppelt oder bei mehrmaligem Versuch als fehlerhaft klassifiziert werden, sofern Latenzen des entsprechenden Sensors 5 bis 13 im Backend 1 hinterlegt sind. Betroffene Fahrzeuge 2 bis 4 können daraufhin vom Platooning-Konvoi K ausgeschlossen werden.
6 zeigt eine Belegungskarte M, auch als Occupancy Grid bezeichnet, einer Verkehrssituation mit einem Platooning-Konvoi K und einem Backend 1 sowie weiteren als andere Verkehrsteilnehmer ausgebildeten Objekten O1 bis 05.
Um die Fusion von Sensorsignalen verschiedener Fahrzeuge 2 bis 4 mit unterschiedlichen Autonomieleveln zu ermöglichen, findet die Fusion der Sensordaten auf einer so genannten „Mid Level Representation“ statt. Ziel hiervon ist es, eine Abstraktionsebene zu schaffen, die es erlaubt, unabhängig vom Sensorset einzelner Fahrzeuge 2 bis 4 zu arbeiten. Eine Möglichkeit für die Darstellung der Umgebung ist die Verwendung der dargestellten Belegungskarte M, welche als zweidimensionale Repräsentation diskretisiert eine Fahrbahn in einzelne Zellen unterteilt und erlaubt, einen Freiraum zu definieren, in welchem freien von bereits belegten Zellen unterschieden werden.
Um eine solche Belegungskarte M eines Platooning-Konvois K zu erstellen, werden Outputs einer Umgebungsfusion einzelner Fahrzeuge 2 bis 4 fusioniert. Dies kann beispielsweise mit Hilfe eines Derivats eines Kalmanfilters oder Partikelfilter erfolgen. Um Unterschiede in Umgebungserkennungsmodellen der einzelnen Fahrzeuge 2 bis 4 zu berücksichtigten, können beispielsweise die im Folgenden dargestellten Kovarianzmatrizen Q und R des Kalmanfilters entsprechend einer Sensor-Hardware und Sensor-Software angepasst werden. $Q = [\begin{matrix} σ_{x}^{2} & σ_{x y} & σ_{x \dot{x}} & σ_{x \dot{y}} \\ σ_{y x} & σ_{y}^{2} & σ_{y \dot{x}} & σ_{y \dot{y}} \\ σ_{\dot{x} x} & σ_{\dot{x} y} & σ_{\dot{x}}^{2} & σ_{\dot{x} \dot{y}} \\ σ_{\dot{y} x} & σ_{\dot{y} y} & σ_{\dot{y} \dot{x}} & σ_{\dot{y}}^{2} \end{matrix}]$
$\underline{R} (k) = Var (v (k)) = [\begin{matrix} Var (v_{h} (k)) & Cov (v_{h} (k), v_{a} (k)) \\ Cov (v_{h} (k), v_{a} (k)) & Var (v_{h} (k)) \end{matrix}]$
Eine Heuristik, wie beispielsweise eine gewichtete Summe von Kovarianzen, kann für die Ermittlung und Festlegung von Systemgrenzen, wie beispielsweise der Höchstgeschwindigkeit des Platooning-Konvois K, verwendet werden. Da eine Erhöhung der Höchstgeschwindigkeit einen quadratischen Anstieg des Bremswegs zur Folge hat, ist die erlaubte Höchstgeschwindigkeit proportional zum Quadrat der Heuristik. Dadurch wird den Ergebnissen der Fahrzeuge 2 bis 4 mit höherem Autonomielevel und besserer Umgebungssensorik eine höhere Gewichtung gegeben, da diese näher am „idealen“ Umfeldmodell liegen.
Wenn sich die Sensorerfassungsbereiche von zwei Fahrzeugen 2 bis 4 mit gleichem Autonomielevel überschneiden, erlaubt die Kombination der Outputs auch Ansätze im Bereich des so genannten „Ensemble Learnings“. So können beispielsweise Ergebnisse einer Positionsberechnung von zwei künstlichen neuronalen Netzen zu einem Durchschnitt berechnet werden oder eine Erkennung von Spurlinien genutzt werden. Dies ermöglicht eine genauere Bestimmung einer Position von Verkehrsteilnehmern innerhalb der Belegungskarte M. Zusätzlich dazu können Ergebnisse von Fahrzeugen 2 bis 4 mit dem gleichen Autonomielevel entsprechend der detektierten Distanz zu den Objekten 01 bis 05 gewichtet werden.
Da verschiedene Softwarearchitekturen in Fahrzeugen 2 bis 4 unterschiedlicher Autonomielevel verwendet werden, können Grenzfälle bzw. Extremfälle, auch als Edge Cases bezeichnet, im Fall von Widersprüchen zwischen den Umgebungsmodellen erkannt werden. In diesem Fall kann mit Hilfe der Mobilfunkverbindung eine Übermittlung der Daten ans Backend 1 erfolgen, um einen datenbasierten Labeling-Prozess nach dem Prinzip des so genannten „Active Learnings“ zu triggern.
In 7 ist ein Ablauf eines Verfahrens zum datenbasierten Labeling, insbesondere des so genannten „Active Learnings“, dargestellt.
Hierbei werden zunächst in einem ersten Verfahrensschritt S1 mittels der Sensoren 5 bis 13 aufgezeichnete Daten extrahiert.
In einem darauffolgenden zweiten Verfahrensschritt S2 werden interessante Ereignisse in den Daten identifiziert, bevor diese in einem dritten Verfahrensschritt S3 gelabelt werden.
In einem vierten Verfahrensschritt S4 erfolgt ein Training von neuen Umgebungsmodellen mittels der gelabelten Daten, welche anschließend in einem fünften Verfahrensschritt S5 in einer Offline-Simulation getestet werden.
Anschließend werden während Testfahrten D von Fahrzeugen 2 bis 4 die Verfahrensschritte S6 bis S8 ausgeführt, wobei in einem sechsten Verfahrensschritt S6 ein Test der Umgebungsmodelle mittels einzelner Fahrzeuge 2 bis 4 auf der Straße erfolgt, dabei erhaltene Testergebnisse in einem siebten Verfahrensschritt S7 in einer Testflotte mit mehreren Fahrzeugen 2 bis 4 angewendet werden und dabei erhaltene Testergebnisse anschließend in einem achten Verfahrensschritt S8 der gesamten Fahrzeugflotte zur Verfügung gestellt und in dieser angewendet werden.
Bei Widersprüchen der Sensor-Fusion einzelner Fahrzeuge 2 bis 4 können Daten an das Backend 1 übermittelt werden und manuell, beispielsweise von Ingenieuren, ausgewertet werden. Dies erlaubt, schwerwiegende, insbesondere noch nicht vollständig beherrschte Situationen, zu identifizieren und neu gelabelte Daten als Trainingsbeispiele entsprechend zu labeln und während eines erneuten Trainings eines künstlichen neuronalen Netzes zu gewichten.
Für die Fusion der Umgebungsmodelle einzelner Fahrzeuge 2 bis 4 wird eine genaue Position der Fahrzeuge 2 bis 4 zueinander benötigt. Eine Fusion von so genannten Differential-GPS-Daten und/oder Real-Time-Kinematic-Daten mit den Umgebungsmodellen der verschiedenen Fahrzeuge 2 bis 4 spielt dabei eine tragende Rolle. Außerdem kann durch eine Laufzeitmessung eines Infrarot-Lasers ein Abstand zwischen einzelnen Fahrzeugen 2 bis 4 bestimmt werden. Da der Abstand keine eindeutige Abbildung zur relativen Position eines anderen Fahrzeugs 2 bis 4 darstellt, wird dieser ebenfalls mit den Umgebungsmodellen der Sensorik fusioniert. Weil die Differential-GPS-Daten und/oder Real-Time-Kinematic-Daten bei einer Fusion mit Daten, welche von inertialen Messeinheiten erfasst wurden, eine Positionsbestimmung im Zentimeter-Bereich ermöglichen, ist es dadurch möglich, Rekalibrierungen der Sensoren 5 bis 13 durchzuführen.
8 zeigt eine Verkehrssituation mit einem Platooning-Konvoi K und einem Objekt O1. Die Fusion der Umgebungsmodelle erlaubt durch die Verwendung mehrerer Umgebungsmodelle die Position POS von Objekten O1 in der Umgebung der Fahrzeuge 2, 3 eines Platooning-Konvois K genauer zu ermitteln. Hierbei werden mittels Sensordaten von zwei Sensoren 5,13 ermittelte Positionen POS1, POS2 des Objekts O1 zu einer resultierenden Position POS kombiniert. Des Weiteren kann die Fusion der Sensordaten zur Erstellung von hochauflösenderen HD-Karten genutzt werden, als es mit einem einzelnen Fahrzeug 2 bis 4 der Fall wäre.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019208498 A1 [0002]
DE 102017203838 A1 [0003]

Claims

Verfahren zum Betrieb von Fahrzeugen (2 bis 4) innerhalb eines Platooning-Konvois (K), dadurch gekennzeichnet, dass - alle Fahrzeuge (2 bis 4) des Platooning-Konvois (K) in einem Backend (1) registriert werden, - mittels des Backends (1) basierend auf einem Autonomielevel zum autonomen Fahren, einer Hardwarekonfiguration, einer Softwareversion und einem Sensorsetup jedes der Fahrzeuge (2 bis 4) eine Reihenfolge der Fahrzeuge (2 bis 4) im Platooning-Konvoi (K) festgelegt wird, wobei ein Fahrzeug (2 bis 4) mit dem höchsten Autonomielevel als Führungsfahrzeug des Platooning-Konvois (K) und ein Fahrzeug (2 bis 4) mit dem gleichen oder nächst kleineren Autonomielevel als Abschlussfahrzeug des Platooning-Konvois (K) bestimmt wird, - die Reihenfolge vom Backend (1) an die Fahrzeuge (2 bis 4) übermittelt wird, - der Platooning-Konvoi (K) mit der übermittelten Reihenfolge ausgehend vom Führungsfahrzeug über signaltechnische Kopplungsmethoden mit den anderen Fahrzeugen (2 bis 4) gebildet wird, - das Führungsfahrzeug zur Bildung des Platooning-Konvois (K) ein Signal zu einer Einleitung eines Einfädelungsprozess zwischen andere Fahrzeuge (2 bis 4) des Platooning-Konvois (K) zumindest an Fahrzeuge (2 bis 4) des Platooning-Konvois (K) übermittelt, welche aufgrund ihres Autonomielevels nicht aktiv über einen Positionswechsel entscheiden können, - spätestens unmittelbar nach der Bildung des Platooning-Konvois (K) mittels der Fahrzeuge (2 bis 4) von fahrzeugeigenen Umgebungssensoren erfasste Sensordaten an eine zentrale Verarbeitungseinheit und/oder das Backend (1) übermittelt werden, - mittels der zentralen Verarbeitungseinheit und/oder des Backends (1) Diskrepanzen zwischen den mittels unterschiedlicher Fahrzeuge (2 bis 4) des Platooning-Konvois (K) erfassten Sensordaten ermittelt werden und anhand der Diskrepanzen Systemgrenzen zum Betrieb des Platooning-Konvois (K) ermittelt werden, - mittels der zentralen Verarbeitungseinheit und/oder des Backends (1) unter Berücksichtigung der Systemgrenzen die Sensordaten zu einer Umgebungsrepräsentation des Platooning-Konvois (K) fusioniert werden und - anhand der Umgebungsrepräsentation der Betrieb der Fahrzeuge (2 bis 4) im Platooning-Konvoi (K) durchgeführt wird.