DE102023211428B4

DE102023211428B4 - Method and device for supporting a plurality of automated driving systems

Info

Publication number: DE102023211428B4
Application number: DE102023211428.3A
Authority: DE
Inventors: Stefan Leßmann; Andreas Gottfried Schrank; Reza Dariani; Tobias Hesse; Michael Oehl
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2023-11-16
Filing date: 2023-11-16
Publication date: 2025-06-12
Anticipated expiration: 2043-11-17
Also published as: DE102023211428A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Unterstützen einer Vielzahl von automatisierten Fahrsystemen (ADS) durch eine technische Aufsicht (TA) umfassend die Schritte:
Herstellen einer Kommunikationsverbindung für mindestens eine Fahrsituation zwischen mindestens einem der automatisierten Fahrsysteme und der technischen Aufsicht,
Erfassen von Situations-Informationen für die mindestens eine Fahrsituation, wobei die Situations-Informationen Umfeldinformationen des mindestens einen der automatisierten Fahrsysteme und von ADS-Informationen des mindestens einen der automatisierten Fahrsysteme umfassen;
Erfassen von in der technischen Aufsicht erzeugten Bearbeitungsdaten die beim Bearbeiten der eine Fahrsituation anfallen, und
automatisches Analysieren, ob die eine Fahrsituation einen Ausnahmezustand darstellt, und falls dieses der Fall ist,
Zusammenfassen zumindest eines Teils der erfassten Situations-Informationen und der erfassten Bearbeitungsdaten zu einem Fahrsituationsdatensatz, wobei das Erfassen der Bearbeitungsdaten ein Erfassen von Annotationen umfasst und zumindest unter Ausnutzung der Annotationen eine Klassifizierung des Fahrsituationsdatensatzes erfolgt und
der Fahrsituationsdatensatz gemeinsam mit der Klassifizierung abgespeichert wird, so dass der Fahrsituationsdatensatz mit weiteren der Vielzahl von automatisierten Fahrsystemen eingesetzt werden kann.

The invention relates to a method and a device for supporting a plurality of automated driving systems (ADS) by a technical supervisor (TA), comprising the steps:
Establishing a communication link for at least one driving situation between at least one of the automated driving systems and the technical supervisor,
Acquiring situation information for the at least one driving situation, wherein the situation information comprises environmental information of the at least one of the automated driving systems and ADS information of the at least one of the automated driving systems;
Recording of processing data generated in the technical supervision that arise when processing a driving situation, and
Automatic analysis of whether a driving situation represents an exceptional condition, and if so,
Combining at least part of the recorded situation information and the recorded processing data to form a driving situation data set, wherein the recording of the processing data comprises recording annotations and a classification of the driving situation data set is carried out at least by utilizing the annotations and
the driving situation data set is stored together with the classification so that the driving situation data set can be used with other of the many automated driving systems.

Description

Die Erfindung betrifft allgemein automatisierte Fahrzeuge, welche zumindest einen Teil der gefahrenen Strecke autonom, das heißt ohne menschliche Steuerung, befahren. Allgemein wird ein solches Fahrzeug als automatisiertes Fahrsystem (ADS) bezeichnet. Ein solches automatisiertes Fahrsystem weist eine Vielzahl von Sensoren auf, die Informationen über ein Umfeld des automatisierten Fahrsystems erfassen. Diese umfassen beispielsweise Kameras, RADAR-Systeme, LIDAR-Systeme, Ultraschallsensoren, Feuchtigkeitssensoren, Globale Sattelitennavigationssysteme usw., um einige beispielhaft zu nennen. Ferner werden Informationen mittels Sensoren erfasst, die das automatisierte Fahrsystem selbst charakterisieren, z.B. eine Geschwindigkeit, eine Orientierung usw. Neben den im automatisierten Fahrsystem erfassten Informationen, können auch weitere Umfeldinformationen in dem automatisierten Fahrsystem gespeichert sein, z.B. digitale Karten, kommunikationstechnisch an des automatisierte Fahrsystem übermittelt und in eine Steuerung mit einbezogen werden. Beispielsweise können Informationen aus einer Fahrzeug-zu-Fahrzeug-Kommunikation oder auch von einer Infrastruktur-zu-Fahrzeug-Kommunikation stammen. So können von anderen Fahrzeugen erfasste und bereitgestellte Informationen oder von Verkehrsinfrastruktur erfasste Informationen mit in die Steuerung einbezogen werden. Die erfassten Informationen werden aufbereitet und als Daten in einer Datenverarbeitungseinrichtung ausgewertet und Merkmale oder Parameter abgeleitet, und auf Basis dieser Parameter wird das automatisierte Fahrsystem gesteuert.The invention generally relates to automated vehicles that travel at least part of the route autonomously, i.e., without human control. Such a vehicle is generally referred to as an automated driving system (ADS). Such an automated driving system has a plurality of sensors that acquire information about the environment of the automated driving system. These include, for example, cameras, radar systems, lidar systems, ultrasonic sensors, humidity sensors, global satellite navigation systems, etc., to name a few examples. Furthermore, information that characterizes the automated driving system itself, e.g., speed, orientation, etc., is acquired by sensors. In addition to the information acquired in the automated driving system, further environmental information can also be stored in the automated driving system, e.g., digital maps, transmitted to the automated driving system via communication technology, and incorporated into a control system. For example, information can originate from vehicle-to-vehicle communication or from infrastructure-to-vehicle communication. For example, information collected and provided by other vehicles or information collected from traffic infrastructure can be incorporated into the control system. The collected information is processed and evaluated as data in a data processing device, and characteristics or parameters are derived, and the automated driving system is controlled based on these parameters.

Um eine Sicherheit bei einem Einsatz von automatisierten Fahrsystemen zu gewährleisten ist es notwendig, Bedingungen und/oder Betriebsbereiche festzulegen, in denen eine solches automatisiertes Fahrsystem sicher betrieben werden kann und darf. Diese Bedingungen und/oder Betriebsbereiche, die festlegen, ob und wie das Fahrzeug automatisiert betrieben werden kann und darf, werden in einer Operational Design Domain (ODD) zusammengefasst, die manchmal auch als Operational Domain (OD) bezeichnet wird. So ist beispielsweise festgelegt, welche Umfeldinformationen von einem automatisierten Fahrzeug mit einer ausreichenden ermittelten Zuverlässigkeit vorliegen müssen, damit das automatisierte Fahrsystem sich bewegen kann und darf. So kann für eine Landstraßenfahrt eine Geschwindigkeitsgrenze von 100 km/h festgelegt sein und gefordert sein, dass sowohl ein RADAR-Signal vorliegt, dessen Auswertung einen freien Straßenraum vor dem automatisierten Fahrzeug ergibt, als auch erfasste Kamerabilder vorliegen, deren Auswertung die Spurmarkierungen des Straßenraums liefert und ebenfalls einen freien Straßenraum liefert. Die beiden Bedingungen sind stark vereinfacht. In der Praxis ist eine Vielzahl von weiteren Bedingungen die die Operational Domain festlegen.To ensure safety when using automated driving systems, it is necessary to define conditions and/or operating ranges in which such an automated driving system can and may be operated safely. These conditions and/or operating ranges, which determine whether and how the vehicle can and may be operated automatically, are summarized in an Operational Design Domain (ODD), sometimes also referred to as the Operational Domain (OD). For example, it specifies which environmental information must be available from an automated vehicle with a sufficiently determined reliability so that the automated driving system can and may move. For example, a speed limit of 100 km/h may be set for a journey on a rural road, and it may be required that both a RADAR signal is present, the evaluation of which shows that the road ahead of the automated vehicle is clear, and captured camera images are present, the evaluation of which provides the lane markings of the road space and also shows that the road space is clear. These two conditions are greatly simplified. In practice, a multitude of other conditions define the Operational Domain.

Um solche Steuerungen realisieren zu können, die die große anfallende und sich ständig ändernde und immer wieder einzigartige Datenmenge analysieren kann, werden Datenverarbeitungseinrichtungen genutzt, die eine sogenannte künstliche Intelligenz umsetzen. Die künstliche Intelligenz umfasst Systeme, die anhand von Testdaten trainiert werden, zu denen die entsprechenden abzuleitenden Merkmale vorgegeben sind oder das zugehörige Steuerungsverhalten vorgegeben ist. Dem Fachmann auf dem Gebiet der automatisierten Fahrsysteme sind diese Grundlagen vertraut, so dass diese hier nicht näher erläutert werden.To implement such control systems that can analyze the large, constantly changing, and always unique volumes of data, data processing systems that implement so-called artificial intelligence are used. Artificial intelligence encompasses systems that are trained using test data for which the corresponding characteristics to be derived are specified, or the associated control behavior is specified. These principles are familiar to experts in the field of automated driving systems, so they will not be explained in detail here.

Grundsätzlich ist es so, dass die häufig auftretenden Fahrsituationen und die hierbei anfallenden Informationen des automatisierten Fahrsystems und des Umfelds des automatisierten Fahrsystems auf einfache Weise erzeugt und trainiert werden können.In principle, the frequently occurring driving situations and the information generated by the automated driving system and the environment of the automated driving system can be easily generated and trained.

Es treten jedoch im realen Betrieb immer wieder Situationen auf, in denen ein automatisiertes Bewegen des automatisierten Fahrsystems nicht möglich ist, weil die abgeleiteten Parameter in einer Kombination auftreten, die einen Zustand außerhalb der Operational Design Domain des automatisierten Fahrzeugs charakterisieren. Beispielsweise kann ein solcher Fall auftreten, wenn ein nicht in der digitalen Karte des automatisierten Fahrsystems enthaltenes Hindernis, z.B. eine Baustellenabsperrung, auf einer Fahrspur erfasst wird, deren Länge das automatisierte Fahrsystem nicht erfassen kann. Solche Fahrsituationen werden auch als Corner-Cases bezeichnet, bei denen einzigartige Kombination mehrerer ohnehin seltener Parameter auftreten, die zu einer einzigartigen Szene führen. Solche Fälle können in der Praxis meist einfach erkannt werden, da ein Eingreifen einer übergeordneten Instanz, eines menschlichen Fahrzeugpassagiers oder einer technischen Aufsicht (TA) notwendig ist.However, situations repeatedly arise in real-world operation in which automated movement of the automated driving system is not possible because the derived parameters occur in a combination that characterizes a state outside the operational design domain of the automated vehicle. For example, such a case can arise if an obstacle not included in the digital map of the automated driving system, e.g., a construction site barrier, is detected in a lane whose length the automated driving system cannot determine. Such driving situations are also referred to as corner cases, in which a unique combination of several already rare parameters occurs, leading to a unique scene. Such cases can usually be easily recognized in practice, as intervention by a higher-level authority, a human vehicle passenger, or a technical supervisor (TA) is required.

Diese technische Aufsicht ist in der Lage, sich kommunikationstechnisch mit dem automatisierten Fahrsystem zu verbinden und die von diesem erfassten Informationen auszuwerten. Gegebenenfalls stehen der technischen Aufsicht weitere Umfeldinformationen, beispielsweise von Überwachungskameras etc. zu Verfügung, um die Fahrsituation zu beurteilen. Die technische Aufsicht ist ferner in der Lage entweder direkt in die Steuerung des automatisierten Fahrsystems einzugreifen oder indirekt, indem dem Fahrzeug beispielsweise in dem obigen Beispiel eine Trajektorie für das sichere Umfahren des Hindernisses vorgegeben wird, entlang derer das automatisierte Fahrsystem das Hindernis dann umfährt.This technical supervisor is able to establish a communication link with the automated driving system and evaluate the information it acquires. If necessary, the technical supervisor has access to additional environmental information, such as from surveillance cameras, to assess the driving situation. Furthermore, the technical supervisor is able to intervene either directly in the control of the automated driving system or indirectly, for example, by specifying a trajectory for the vehicle to safely avoid the obstacle, along which the vehicle can then the automated driving system then avoids the obstacle.

Es treten jedoch auch Situationen auf, in denen das automatisierte Fahrsystem mit einem oder mehreren der relevanten Parameter in einen Randbereich seiner Operational Design Domain gelangt, insbesondere in Fahrsituationen, in denen dieses nicht erwartet wird. Dieses Fahrsituationen werden als Edge-Cases bezeichnet. Die Edge-Cases umfassen auch Fahrsituationen, in denen sich das automatisierte Fahrsystem anders, als es zu erwarten ist, verhält, beispielsweise zur Umfahrung eines Hindernisses nicht die für den Fahrzeugverkehr vorgesehene Verkehrsflächen nutzt, oder statt gleichmäßig und kontinuierlich mit einer moderaten Verzögerung das automatisierte Fahrsystem vor einer zu durchfahrenden Engstelle abzubremsen, die nur mit reduzierter Geschwindigkeit durchfahren werden kann, zunächst die Geschwindigkeit erhöht, um dann mit maximaler Verzögerung das austomatisierte Fahrsystem vor der Engstelle auf die reduzierte Geschwindigkeit abzubremsen. Dieses sind stark vereinfachte Beispiele, die nur zur Erläuterung des Prinzips dienen sollen.However, situations also occur in which the automated driving system reaches the edge of its operational design domain with one or more of the relevant parameters, particularly in unexpected driving situations. These driving situations are referred to as edge cases. Edge cases also include driving situations in which the automated driving system behaves differently than expected, for example, it does not use the traffic areas designated for vehicle traffic to avoid an obstacle, or instead of braking evenly and continuously with a moderate deceleration before reaching a bottleneck that can only be negotiated at reduced speed, it first increases the speed and then brakes the automated driving system to the reduced speed before reaching the bottleneck with maximum deceleration. These are highly simplified examples that are intended only to illustrate the principle.

In Folgenden werden die Corner Cases als auch die Edge-Cases als Ausnahmezustände bezeichnet.In the following, both corner cases and edge cases are referred to as exceptional states.

Die US 2017/0192426 A1 beschreibt ein System und Verfahren zur Steuerung eines autonomen Fahrzeugs. In einer Ausführungsform umfasst ein Verfahren zum Steuern eines autonomen Fahrzeugs das Bestimmen, dass Unterstützung für die weitere Bewegung des autonomen Fahrzeugs erforderlich ist; und das Ermöglichen der Bewegung des autonomen Fahrzeugs durch Implementierung manueller Anweisungen durch einen Prozessor an Bord des autonomen Fahrzeugs, die von einem Benutzer bereitgestellt werden, der sich entfernt vom autonomen Fahrzeug befindet.The US 2017/0192426 A1 describes a system and method for controlling an autonomous vehicle. In one embodiment, a method for controlling an autonomous vehicle includes determining that assistance is required for continued movement of the autonomous vehicle; and enabling movement of the autonomous vehicle by implementing manual instructions, by a processor onboard the autonomous vehicle, provided by a user remote from the autonomous vehicle.

US 2008/033603 A1 beschreibt ein System zum automatisierten Fahren eines Kraftfahrzeugs in eine Zielposition. Es handelt sich um ein System, das eine Sensorik und eine Auswerteeinheit zur Bestimmung der Position des Kraftfahrzeugs relativ zur Zielposition sowie Einrichtungen zur Planung einer kollisionsfreien Fahrt von der aktuellen Position zur Zielposition und Einrichtungen zur Umsetzung der geplanten Fahrt aufweist, wobei ein erster Teil der Sensorik am oder im Kraftfahrzeug angeordnet ist und ein zweiter Teil der Sensorik ortsfest in einer definierten Position in der Nähe der Zielposition angeordnet ist. US 2008/033603 A1 Describes a system for the automated driving of a motor vehicle to a target position. It comprises a sensor system and an evaluation unit for determining the position of the motor vehicle relative to the target position, as well as devices for planning a collision-free journey from the current position to the target position and devices for implementing the planned journey. A first part of the sensor system is arranged on or in the motor vehicle, and a second part of the sensor system is fixed in a defined position near the target position.

Aus der DE 10 2020 205 315 A1 ist ein Verfahren und eine Vorrichtung zur Identifikation kritischer Fahrsituationen beim Betreiben eines autonomen Fahrzeugs, Auswahl von ähnlichen Daten und Nachtraining eines automatischen Fahrsystems des autonomen Fahrzeugs bekannt, umfassend die Schritte: Identifikation einer kritischen Fahrsituation beim Betreiben des autonomen Fahrzeugs; Anfordern und Beschaffen von Daten von einem Backend-Server, welche ähnlich zur kritischen Fahrsituation sind, seitens eines intelligenten Assistenten; und Verwenden der ähnlichen Daten zum Trainieren des automatischen Fahrsystems des autonomen Fahrzeugs.From the DE 10 2020 205 315 A1 A method and a device for identifying critical driving situations during operation of an autonomous vehicle, selecting similar data and retraining an automatic driving system of the autonomous vehicle is known, comprising the steps of: identifying a critical driving situation during operation of the autonomous vehicle; requesting and obtaining data from a backend server that is similar to the critical driving situation by an intelligent assistant; and using the similar data to train the automatic driving system of the autonomous vehicle.

Aus der DE 10 2017 217 443 A1 ist ein Verfahren zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung bekannt. Dabei wird ein Fahrzeug entlang einer Trajektorie gesteuert, wobei durch Sensoren des Fahrzeugs Sensordatensätze erfasst werden. Dabei umfassen die Sensordatensätze Positionsdaten und Zeitdaten sowie Steuerungsdaten des Fahrzeugs und anhand der Sensordatensätze werden Übertragungsdaten erzeugt und an eine fahrzeugexterne Verarbeitungseinheit übertragen. Durch die fahrzeugexterne Verarbeitungseinheit werden anhand der Übertragungsdaten Zusatzinformationen erfasst und die Trainingsdaten werden anhand der Übertragungsdaten und der Zusatzinformationen erzeugt, wobei den Trainingsdaten Klassifikationsinformationen zugeordnet sind. Die Trainingsdaten werden mit den ihnen zugeordneten Klassifikationsinformationen gespeichert. Die DE 10 2017 217 443 A1 betrifft ferner ein System zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung.From the DE 10 2017 217 443 A1 A method for providing training data for machine learning for a control model of an automatic vehicle control system is known. A vehicle is controlled along a trajectory, with sensor data sets being acquired by the vehicle's sensors. The sensor data sets include position data, time data, and control data of the vehicle. Transmission data is generated from the sensor data sets and transmitted to a vehicle-external processing unit. The vehicle-external processing unit acquires additional information from the transmission data, and the training data is generated from the transmission data and the additional information, with classification information being assigned to the training data. The training data is stored with the classification information assigned to it. DE 10 2017 217 443 A1 further relates to a system for providing training data for machine learning for a control model of an automatic vehicle control system.

Aus der DE 10 2019 204 941 A1 ist ein System zum teleoperierten Fahren bekannt, wobei das System ein Fahrzeug, ein Backend und Fernbedienungsgeräte umfasst, wobei das Fahrzeug das Backend und die Fernbedienungsgeräte dazu eingerichtet sind, sich über ein Mobilfunknetz auszutauschen.From the DE 10 2019 204 941 A1 A system for teleoperated driving is known, wherein the system comprises a vehicle, a backend and remote control devices, wherein the vehicle, the backend and the remote control devices are configured to communicate via a mobile radio network.

Aus der DE 10 2022 107 845 A1 ist ein Verfahren zur Auswahl von konkreten Szenarien, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen bekannt, wobei ein Szenario ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Parametern und zugehörigen Parameterwerten definiert ist, und wobei bei einem konkreten Szenario die Parameter und zugehörigen Parameterwerte festgelegt sind, umfassend das Ermitteln von Daten mittels Sensoren von Eigenschaften und Merkmalen eines Kraftfahrzeugs und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs beim Befahren einer Fahrstrecke, das Bearbeiten der Daten zur Klassifikation eines realen Szenarios zur Kennzeichnung der Fahrsituation, das Extrahieren von Parametern und Parameterwerten für die ermittelte Menge von realen Szenarien, das Analysieren der ermittelten Menge von realen Szenarien hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern und Parameterwerten und/oder selten auftretenden Szenario-Typen wie Corner-Cases, das Klassifizieren einer relevanten Menge von realen Szenarien, das Berechnen von konkreten Szenarien mittels der klassifizierten realen Szenarien und das Ausgeben der berechneten konkreten Szenarien für Test- und Trainingszwecke.From the DE 10 2022 107 845 A1 A method for selecting concrete scenarios, in particular for testing and training driver assistance systems and automated driving functions, is known, wherein a scenario represents a traffic situation in a temporal sequence and is defined by a selection of parameters and associated parameter values, and wherein the parameters and associated parameter values are specified for a concrete scenario, comprising determining data by means of sensors of properties and features of a motor vehicle and of objects and events in the surroundings of the motor vehicle when driving along a route, processing the data to classify a real scenario to characterise the driving situation, Extracting parameters and parameter values for the determined set of real scenarios, analyzing the determined set of real scenarios with regard to the occurrence of clusters of scenario types with similar parameters and parameter values and/or rarely occurring scenario types such as corner cases, classifying a relevant set of real scenarios, calculating concrete scenarios using the classified real scenarios and outputting the calculated concrete scenarios for testing and training purposes.

Aus der DE 10 2013 007 502 A1 sind ein lernfähiges Dialogsystems sowie ein computerimplementiertes Verfahren zum semantischen Trainieren eines Dialogsystems bekannt. Dabei werden semantische Annotationen auf Basis von empfangenen Spracheingaben automatisch erzeugt, wobei die semantischen Annotationen zum Steuern von Geräten oder zur Kommunikation mit einem Nutzer bestimmt sind. Dazu wird wenigstens eine Spracheingabe im Zuge einer Interaktion mit einem Nutzer empfangen. Ein Sinngehalt der Spracheingabe wird erfasst und bewertet, indem die Spracheingabe auf Basis eines trainierbaren semantischen Modells klassifiziert wird, um eine semantische Annotation für die Spracheingabe bereitzustellen. Es werden weitere, mit der Spracheingabe in Zusammenhang stehende Nutzerinformationen berücksichtigt, wenn der erfasste Sinngehalt fehlerhaft, unvollständig und/oder als nicht vertrauenswürdig bewertet wird. Der Sinngehalt der Spracheingabe wird auf Basis der zusätzlichen Nutzerinformationen automatisch erlernt.From the DE 10 2013 007 502 A1 A learning dialogue system and a computer-implemented method for the semantic training of a dialogue system are known. In this process, semantic annotations are automatically generated based on received speech inputs, whereby the semantic annotations are intended for controlling devices or for communicating with a user. For this purpose, at least one speech input is received during an interaction with a user. The meaning of the speech input is recorded and evaluated by classifying the speech input based on a trainable semantic model in order to provide a semantic annotation for the speech input. Additional user information related to the speech input is taken into account if the recorded meaning is assessed as incorrect, incomplete and/or untrustworthy. The meaning of the speech input is automatically learned based on the additional user information.

Die US 10,444,754 B2 beschreibt Beispielsysteme und -methoden, die es einem autonomen Fahrzeug ermöglichen, Unterstützung von einem Fernbediener anzufordern, wenn das Vertrauen des Fahrzeugs in den autonomen Betrieb gering ist. Ein Beispielverfahren umfasst den Betrieb eines autonomen Fahrzeugs in einem ersten autonomen Modus. Das Verfahren kann auch das Identifizieren einer Situation umfassen, in der ein Vertrauensgrad eines autonomen Betriebs im ersten autonomen Modus unter einem Schwellenwert liegt. Das Verfahren kann ferner das Senden einer Hilfeanfrage an einen Fernassistenten umfassen, wobei die Anfrage Sensordaten umfasst, die einen Teil einer Umgebung des autonomen Fahrzeugs darstellen. Das Verfahren kann zusätzlich den Empfang einer Antwort vom Fernassistenten umfassen, wobei die Antwort einen zweiten autonomen Betriebsmodus angibt. Das Verfahren kann auch umfassen, dass das autonome Fahrzeug gemäß der Antwort des Fernassistenten im zweiten autonomen Betriebsmodus betrieben wird.The US 10,444,754 B2 describes example systems and methods that enable an autonomous vehicle to request assistance from a remote operator when the vehicle's confidence in autonomous operation is low. An example method includes operating an autonomous vehicle in a first autonomous mode. The method may also include identifying a situation where a confidence level of autonomous operation in the first autonomous mode is below a threshold. The method may further include sending a request for assistance to a remote assistant, the request including sensor data representative of a portion of an environment of the autonomous vehicle. The method may additionally include receiving a response from the remote assistant, the response indicating a second autonomous mode of operation. The method may also include operating the autonomous vehicle in the second autonomous mode of operation according to the response from the remote assistant.

Der Erfindung liegt die Aufgabe zugrunde, das Unterstützen einer Vielzahl von automatisierten Fahrsystemen durch eine technische Aufsicht zu verbessern.The invention is based on the object of improving the support of a large number of automated driving systems through technical supervision.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 7 erfindungsgemäß gelöst, Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The object is achieved according to the invention by a method having the features of patent claim 1 and a device having the features of patent claim 7. Advantageous embodiments of the invention emerge from the subclaims.

Der Erfindung liegt die Idee zugrunde, die in einer technischen Aufsicht anfallenden Datenströme zu segmentieren und Fahrsituationen zuzuordnen und diese zu klassifizieren, sodass das darin enthaltene Wissen für die verbesserte Steuerung nicht nur des einen automatisierten Systems, sondern auch für die verbesserte Steuerung weiterer der Vielzahl von automatisierten Fahrsystemen genutzt werden kann. Hierfür werden in der technischen Aufsicht Annotationen zu der Fahrsituation erzeugt und/oder erfasst. Hierrüber ist es möglich die Fahrsituationen und einen zugehörigen Fahrsituationsdatensatz zu klassifizieren, was auch als Labeln bezeichnet wird, und diesen mit der Klassifikation gemeinsam abzuspeichern. Hierrüber stehen die Daten für eine weitere Verwendung zu Verfügung.The invention is based on the idea of segmenting the data streams generated during technical supervision and assigning them to driving situations and classifying them. This allows the knowledge contained therein to be used for improved control not only of one automated system, but also for improved control of other automated driving systems. For this purpose, annotations relating to the driving situation are generated and/or recorded during technical supervision. This makes it possible to classify the driving situations and an associated driving situation data set, which is also referred to as labeling, and to save this data together with the classification. This makes the data available for further use.

Insbesondere wird ein Verfahren zum Unterstützen einer Vielzahl von automatisierten Fahrsystemen (ADS) durch eine technische Aufsicht (TA) geschaffen, welches die Schritte umfasst:

Herstellen einer Kommunikationsverbindung für mindestens eine Fahrsituation zwischen mindestens einem der automatisierten Fahrsysteme und der technischen Aufsicht für einen Datenaustausch, über die das mindestens eine der automatisierten Fahrsysteme zumindest direkt oder indirekt durch die technische Aufsicht steuerbar ist,
Erfassen von Situations-Informationen für die mindestens eine Fahrsituation des mindestens einen der automatisierten Fahrsysteme, wobei die Situations-Informationen Umfeldinformationen des mindestens einen der automatisierten Fahrsysteme und ADS-Informationen des mindestens einen der automatisierten Fahrsysteme für die eine Fahrsituation umfassen;
Erfassen der von der technischen Aufsicht erzeugten Bearbeitungsdaten, die beim Bearbeiten der einen Fahrsituation anfallen, und
automatisches Analysieren, ob die eine Fahrsituation einen Ausnahmezustand darstellt, und falls dieses der Fall ist,
Zusammenfassen zumindest eines Teils der erfassten Situations-Informationen und zumindest eines Teils der erfassten Bearbeitungsdaten zu einem Fahrsituationsdatensatz, wobei das Erfassen der Bearbeitungsdaten ein Erfassen von Annotationen umfasst und zumindest unter Ausnutzung der Annotationen eine Klassifizierung des Fahrsituationsdatensatzes erfolgt und
der Fahrsituationsdatensatz gemeinsam mit der Klassifizierung abgespeichert wird, so dass Fahrsituationsdatensatz für eine Verwendung im Zusammenhang mit weiteren der Vielzahl von automatisierten Fahrsystemen zur Verbesserung von deren automatisierter Steuerung eingesetzt werden kann.

In particular, a method for supporting a plurality of automated driving systems (ADS) by a technical supervisor (TA) is created, which comprises the steps:

Establishing a communication connection for at least one driving situation between at least one of the automated driving systems and the technical supervisor for data exchange, via which at least one of the automated driving systems can be controlled at least directly or indirectly by the technical supervisor,
Acquiring situation information for the at least one driving situation of the at least one of the automated driving systems, wherein the situation information comprises environmental information of the at least one of the automated driving systems and ADS information of the at least one of the automated driving systems for the one driving situation;
Recording the processing data generated by the technical supervisor when processing a driving situation, and
Automatic analysis of whether a driving situation represents an exceptional condition, and if so,
Summarizing at least part of the recorded situation information and at least part of the recorded processing data ten to a driving situation data set, wherein the recording of the processing data includes recording of annotations and at least by utilizing the annotations a classification of the driving situation data set takes place and
the driving situation data set is stored together with the classification, so that the driving situation data set can be used in connection with other of the multitude of automated driving systems to improve their automated control.

Ferner wird eine Vorrichtung zur Verbesserung des automatisierten Fahrens einer Vielzahl von automatisierten Fahrsystemen geschaffen, welche eine technische Aufsicht umfasst, welche mindestens eine Kommunikationseinrichtung zum Herstellen einer Kommunikationsverbindung für mindestens eine Fahrsituation zwischen mindestens einem der automatisierten Fahrsysteme und der technischen Aufsicht für einen Datenaustausch umfasst, mittels dessen das mindestens eine der automatisierten Fahrsysteme zumindest direkt oder indirekt durch die technische Aufsicht steuerbar ist, eine mit der mindestens eine Kommunikationseinrichtung gekoppelte Informationssammeleinrichtung zum Erfassen von Situations-Informationen für die mindestens eine Fahrsituation des mindestens einen der automatisierten Fahrsysteme, wobei die Situations-Informationen Umfeldinformationen über das Umfeld des mindestens einen der automatisierten Fahrsysteme und ADS-Informationen des mindestens einen der automatisierten Fahrsysteme für die eine Fahrsituation umfassen,
mindestens eine Bearbeitungseinrichtung, welche ausgebildet ist, Bearbeitungsdaten zu erfassen, die beim Bearbeiten der Fahrsituation in der technischen Aufsicht anfallen, eine Analysiereinheit, welche ausgebildet ist, automatisch zu analysieren, ob die eine Fahrsituation einen Ausnahmezustand darstellt, und falls dieses der Fall ist,
zumindest einen Teils der erfassten Situations-Informationen und zumindest eines Teils der erfassten Bearbeitungsdaten zu einem Fahrsituationsdatensatz zusammenzufassen, und eine Klassifikationseinrichtung ausgebildet ist, anhand der Bearbeitungsdaten, die erfasste Annotationen umfassen, zumindest unter Ausnutzung der Annotationen eine Klassifizierung des Fahrsituationsdatensatzes vorzunehmen, und
eine Speichereinrichtung, die ausgebildet ist, den Fahrsituationsdatensatz gemeinsam mit der Klassifizierung abzuspeichern, so dass der Fahrsituationsdatensatz für eine Verwendung im Zusammenhang mit weiteren der Vielzahl von automatisierten Fahrsystemen zur Verbesserung von deren automatisierter Steuerung eingesetzt werden kann.Furthermore, a device for improving the automated driving of a plurality of automated driving systems is provided, which comprises a technical supervisor, which comprises at least one communication device for establishing a communication connection for at least one driving situation between at least one of the automated driving systems and the technical supervisor for a data exchange by means of which the at least one of the automated driving systems can be controlled at least directly or indirectly by the technical supervisor, an information collection device coupled to the at least one communication device for collecting situation information for the at least one driving situation of the at least one of the automated driving systems, wherein the situation information comprises environmental information about the environment of the at least one of the automated driving systems and ADS information of the at least one of the automated driving systems for the one driving situation,
at least one processing device which is designed to record processing data which arise when processing the driving situation in the technical supervision, an analysis unit which is designed to automatically analyze whether the driving situation represents an exceptional condition, and if this is the case,
to combine at least part of the recorded situation information and at least part of the recorded processing data into a driving situation data set, and a classification device is designed to classify the driving situation data set on the basis of the processing data comprising recorded annotations, at least by utilizing the annotations, and
a storage device configured to store the driving situation data set together with the classification, so that the driving situation data set can be used in connection with further of the plurality of automated driving systems to improve their automated control.

Vorteil der Erfindung ist, dass Fahrsituationsdatensätze bei der Assistenz erzeugt werden, die von weiteren automatisierten Fahrsystemen unmittelbar oder für deren Entwicklung genutzt werden können. Wird beispielsweise an einer neuen Baustelle durch die technische Aufsicht eine Trajektorie festgelegt, zu deren Berechnung eine Reihe der automatisierten Fahrsysteme aufgrund ihrer Operational Design Domain nicht in der Lage sind, so können diese automatisierten Systeme diesen Fahrsituationsdatensatz nutzen, um Ihrerseits die Baustelle entlang der darin als Bearbeitungsdaten enthaltenen Trajektorie zu umfahren.The advantage of the invention is that driving situation data sets are generated during the assistance process, which can be used directly by other automated driving systems or for their development. For example, if the technical supervisor at a new construction site defines a trajectory that several automated driving systems are unable to calculate due to their operational design domain, these automated systems can use this driving situation data set to circumvent the construction site along the trajectory contained therein as processing data.

Die technische Aufsicht verbindet sich beispielsweise mit dem automatisierten Fahrsystem kommunikationstechnisch, nachdem das automatisierte Fahrsystem eine Unterstützungsanfrage übermittelt hat, weil es beispielsweis aufgrund der eigenen Operational Design Domain nicht in der Lage ist, eine Trajektorie zum Durchfahren eines Straßenabschnitts festzulegen. Eine solche Situation kann beispielsweise auftreten, wenn aufgrund von Schneefall die Straßenbreite eingeschränkt ist und/oder durch Schnee zumindest Teile der Fahrbahnmarkierung nicht mehr zu erkennen sind. Die Annotationen können bei einer Ausführungsform aus Kommentaren abgeleitet werden, die ein Operateur in der technischen Aufsicht im Rahmen des lauten Denkens äußert. Der Operateur fasst sein Gedanken in gesprochene Worte und Sätze, die audiotechnisch erfasst werden. Über eine Spracherkennung können den Kommentaren Parameter und Inhalte zugeordnet werden, die dann zum Klassifizieren genutzt werden.For example, the technical supervisor connects to the automated driving system via communication technology after the automated driving system has transmitted a support request because, for example, it is unable to determine a trajectory for driving through a section of road due to its own operational design domain. Such a situation can arise, for example, if the road width is restricted due to snowfall and/or at least parts of the road markings are no longer visible due to snow. In one embodiment, the annotations can be derived from comments that an operator in the technical supervisor makes while thinking aloud. The operator summarizes his thoughts in spoken words and sentences, which are recorded audio-technically. Using speech recognition, parameters and content can be assigned to the comments, which are then used for classification.

Eine Ausführungsform sieht daher vor, dass die Annotationen zumindest teilweise mittels Kommentaren eines lauten Denkens erfasst werden.One embodiment therefore provides that the annotations are at least partially captured by means of think-aloud comments.

Eine Ausführungsform der Vorrichtung sieht daher vor, dass die Bearbeitungseinrichtung eine Erfassungseinrichtung für akustische Signale und eine Spracherkennungseinrichtung umfasst, um Kommentare eines lauten Denkens bei der Bearbeitung der mindesten einen Fahrsituation zu erfassen und zu erwartetes dynamisches Verhalten des mindestens einen automatisiertes Fahrsystems oder von der technischen Aufsicht erkannten steuerungsrelevanten Parametern zu erkennen.An embodiment of the device therefore provides that the processing device comprises a detection device for acoustic signals and a speech recognition device in order to detect comments of a thinking aloud during the processing of the at least one driving situation and to detect expected dynamic behavior of the at least one automated driving system or control-relevant parameters recognized by the technical supervisor.

Die Annotation kann auch als Text oder Ähnliches erfasst werden, die über eine Tastatur oder sonstige Eingabemittel eines Computers eingegeben wird.The annotation can also be recorded as text or similar, entered via a keyboard or other input device of a computer.

Alternativ oder zusätzlich kann die Annotationen zumindest teilweise automatisiert anhand der erfassten Situationsdaten und eines Teils der Bearbeitungsdaten abgeleitet werden, die im Rahmen der Hilfestellung der technischen Aufsicht in der einen Fahrsituation erfasst werden. Arbeitet ein Operateur die Unterstützung für die oben angegebene Fahrsituation ab, legt er beispielsweise Wegpunkte für die zu durchfahrende Trajektorie an und übermittelt diese an das automatisierte Fahrsystem. Eine Annotationsermittlungseinrichtung kann anhand der Umfeldinformationen ableiten, dass die Straße zumindest zugeschneit ist. Ferner kann die Geoposition des automatisierten Fahrsystems den Situationsdaten entnommen werden. Anhand der Bearbeitungshandlungen, dem Festlegen von Wegpunkten und Übermitteln an das automatisierte Fahrsystem kann die Annotationsermittlungseinrichtung als Annotationen zugeschneite Fahrbahn an der Geoposition x und Fahrtrajektorie mit dem aktuellen Zeitpunkt ableiten, sodass die Fahrsituationsdaten mit der Klassifikation „Streckentrajektorie für das Durchfahren des Straßenabschnitts an der Geoposition X bei Schneebedeckung“ abgespeichert werden können. Es können selbstverständlich weitere Parameter ausgewertet und mit verwendet werden um die Klassifikation zu verbessern, beispielsweise die Fahrbahnbreite zwischen den die Fahrstreifen einengenden Schneemassen etc.Alternatively or additionally, the annotations can be derived at least partially automatically from the recorded situation data and part of the processing data that is generated within the framework of the Assistance from the technical supervisor can be recorded in one driving situation. If an operator is handling the support for the driving situation specified above, they can, for example, create waypoints for the trajectory to be traveled and transmit them to the automated driving system. An annotation determination device can use the environmental information to deduce that the road is at least covered in snow. Furthermore, the geoposition of the automated driving system can be derived from the situation data. Based on the processing actions, the definition of waypoints, and transmission to the automated driving system, the annotation determination device can derive as annotations a snow-covered roadway at geoposition x and a driving trajectory with the current time, so that the driving situation data can be saved with the classification "Route trajectory for driving through the road section at geoposition X under snow cover." Of course, other parameters can be evaluated and used to improve the classification, for example, the road width between the snow masses narrowing the lanes, etc.

Bei einer Ausführungsform ist vorgesehen, dass die Operational Design Domain des automatischen Fahrsystems angepasst wird. Dieses kann zum Beispiel darin bestehen, dass ein Modus geändert wird, beispielsweise von einem Normalbetriebsmodus in einen Wintermodus. Ebenso kann das Zufügen der Trajektorie für den Streckenabschnitt bei Schneeeingrenzung mit der weiteren Maßgabe, dass die Breite zwischen den Schneemassen an den Fahrstreifenrändern maximal um einen vorgegebenen Prozentsatz abweicht, als Erweiterung der Operational Design Domain genutzt werden. Das Fahrzeug kann diesen Abschnitt nun bei ähnlichen oder gleichen Bedingungen zukünftig durchfahren, ohne in eine Ausnahmefahrsituation, d.h. einen Corner Case, zu geraten, in der Unterstützung der technischen Aufsicht notwendig ist.One embodiment provides for the operational design domain of the automated driving system to be adapted. This can, for example, consist of changing a mode, for example, from a normal operating mode to a winter mode. Likewise, adding the trajectory for the section of road with snow coverage, with the further proviso that the width between the snow masses at the lane edges deviates by a maximum of a specified percentage, can be used as an extension of the operational design domain. The vehicle can now drive through this section under similar or identical conditions in the future without encountering an exceptional driving situation, i.e., a corner case, in which support from the technical supervisor is required.

Die hierbei erfassten Fahrsituationsdaten können jedoch auch von weiteren der automatisierten Fahrsysteme genutzt werden. Kommt ein weiteres der automatisierten Fahrtsysteme an dieselbe Geoposition und stellt fest, dass die Parameter für die Fahrbahnerkennung nicht erfüllt sind und zugleich Schnee auf der Straße vorhanden ist, so können aufgrund der Klassifizierung die abgelegten Fahrsituationsdaten identifiziert werden. Das weitere automatisierte Fahrsystem kann diese auswerten und erkennen, dass die darin enthaltene Trajektorie ein Durchfahren des Straßenabschnitts bei Schnee ermöglicht, sofern die freie Breite zwischen den Schneemassen an den Fahrstreifenrändern die Vorgabe nicht unterschreitet, die seitens der technischen Aufsicht bei der ursprünglichen Bearbeitung des Ausnahmefahrzustands festgelegt ist, bei dessen Bearbeitung der Fahrsituationsdatensatz erfasst und klassifiziert wurde.However, the driving situation data recorded in this way can also be used by other automated driving systems. If another automated driving system arrives at the same geolocation and determines that the parameters for roadway detection are not met and there is snow on the road, the stored driving situation data can be identified based on the classification. The additional automated driving system can evaluate this data and recognize that the trajectory contained therein allows driving through the road section in snowy conditions, provided that the clear width between the snow masses at the lane edges does not fall below the specification set by the technical supervisor during the original processing of the exceptional driving condition, during which the driving situation data set was recorded and classified.

Eine Ausführungsform sieht somit vor, dass dem Fahrsituationsdatensatz eine Geoposition zugeordnet wird, die mit dem Fahrsituationsdatensatz abgespeichert wird und der Fahrsituationsdatensatz an mindestens ein weiteres der automatisierten Fahrsysteme übermittelt wird, dessen Position in der Nähe der einen Geoposition ist, so dass das mindestens eine weitere der automatisierten Fahrsysteme die in dem Fahrsituationsdatensatz enthaltene Informationen für das automatisierte Fahren nutzt. One embodiment thus provides that a geoposition is assigned to the driving situation data set, which is stored with the driving situation data set, and the driving situation data set is transmitted to at least one further automated driving system whose position is in the vicinity of the one geoposition, so that the at least one further automated driving system uses the information contained in the driving situation data set for automated driving.

Eine Ausführungsform der Vorrichtung sieht daher vor, dass die technische Aufsicht eine Verteileinrichtung umfasst, die ausgebildet ist, den Fahrsituationsdatensatz mindestens einem weiteren der Vielzahl von automatisierten Fahrsystemen zu übermitteln, um dessen automatisiertes Fahren hierüber zu verbessern.An embodiment of the device therefore provides that the technical supervision comprises a distribution device which is designed to transmit the driving situation data set to at least one further one of the plurality of automated driving systems in order to improve its automated driving thereby.

Ausnahmefahrsituationen können von einem automatisierten Fahrsystem selbst erkannt werden oder von anderen automatisierten Fahrsystemen, beispielsweise wenn diese ein Verhalten erfassen, welches unerwartet oder auffällig ist. Wird beispielsweise von automatisierten Fahrsystemen in einem Streckenabschnitt wiederholt festgestellt, dass jeweils ein anderes automatisiertes Fahrsystem an einer bestimmten Geoposition seine Geschwindigkeit stark reduziert und/oder für einen kurzen Streckenabschnitt, wenn dieser frei ist, auf die Gegenfahrbahn wechselt, als ob es ein Hindernis umfahren würde, obwohl der Fahrstreifen frei ist, so kann an die technische Aufsicht gemeldet werden, dass Fahrzeuge mit unerwartetem Fahrverhalten erfasst wurden. Daraufhin kann die technische Aufsicht sich mit Fahrzeugen, die diesen Abschnitt durchfahren, kommunikationstechnisch wie in einer normalen Unterstützungssituation verbinden und die von dem automatisierten Fahrsystem erfassten Informationen auswerten.Exceptional driving situations can be detected by an automated driving system itself or by other automated driving systems, for example, if they detect unexpected or conspicuous behavior. For example, if automated driving systems repeatedly detect on a section of road that another automated driving system at a specific geoposition significantly reduces its speed and/or changes to the oncoming lane for a short section of road when the section is clear, as if bypassing an obstacle even though the lane is clear, the technical supervisor can be notified that vehicles exhibiting unexpected driving behavior have been detected. The technical supervisor can then communicate with vehicles traveling through this section as in a normal support situation and evaluate the information recorded by the automated driving system.

Bei dieser Unterstützung wird seitens eines Operateurs vorzugsweise die Methode des lauten Denkens angewendet. Hierbei werden verbal Beobachtungen der Fahrsituation bevorzugt unter Verwendung standardisierter Worte und Floskeln beschrieben. Ferner werden vorzugsweis auch Kommentare zu dem erwarteten und/oder beobachteten dynamischen Verhalten des automatisierten Fahrsystems verbal ausgesprochen. Diese Kommentare werden erfasst und mit einer Spracherkennung ausgewertet. Hierbei werden den Kommentaren vorzugsweise bestimmte Parameter zugeordnet. Diese können zum Ableiten der Klassifikation genutzt werden. Sie können aber auch mit Parametern verglichen werden, die beispielsweis von dem automatisierten Fahrsystem abgeleitet sind. In dem zuletzt beschrieben Beispiel kann es beispielsweise sein, dass als Parameter aus der Spracherkennung abgeleitet wird: „Fahrbahn ist frei; gleichmäßige nicht beschleunigte Fahrt erwartet; unerwartetes Bremsen des Fahrzeugs.“ Hier kann aus den erkannten Parametern abgeleitet werden, dass es sich um einen Edge-Case handelt, da das automatisierte Fahrsystem unerwartet bremst. Anhand dieser Fahrsituationsdaten kann dann beispielsweise von einem Fahrzeughersteller ermittelt werden, warum sich automatisierte Fahrsysteme bestimmter Typen an der zugehörigen Geoposition unerwartet verhalten.For this support, the operator preferably uses the method of thinking aloud. Here, observations of the driving situation are described verbally, preferably using standardized words and phrases. Furthermore, comments on the expected and/or observed dynamic behavior of the automated driving system are preferably also made verbally. These comments are recorded and evaluated using speech recognition. Certain parameters are preferably assigned to the comments. These can be used to derive the classification. However, they can also be compared with parameters that, for example, are provided by the automated driving system. ized driving system. In the last example described, for example, the following parameter may be derived from speech recognition: "Road is clear; steady, non-accelerated driving expected; unexpected vehicle braking." Here, it can be deduced from the recognized parameters that this is an edge case, because the automated driving system brakes unexpectedly. Using this driving situation data, a vehicle manufacturer can then, for example, determine why automated driving systems of certain types behave unexpectedly at the associated geolocation.

Bei der Auswertung der erfassten Bilddaten der Fahrsituationsdaten ergibt es sich beispielsweise, dass an der entsprechenden Geoposition im Abstand zur Fahrbahn ein stationäres bewegliches Objekt (beispielsweise eine Skulptur mit im Wind beweglichen Elementen) angeordnet ist. Von menschlichen Fahrzeuglenkern und dem Operateur der technischen Aufsicht, wird dieses korrekt als stationäres Objekt erkannt und entsprechend eingestuft. Die automatisierten Fahrsysteme erkennen hier jedoch beispielsweise eine sich auf den Fahrstreifen zubewegende Person, so dass diese die Fahrzeuggeschwindigkeit reduzieren.When analyzing the captured image data from the driving situation data, it becomes apparent, for example, that a stationary, moving object (e.g., a sculpture with elements that move in the wind) is located at the corresponding geoposition at a distance from the roadway. Human drivers and the technical supervisor correctly identify this as a stationary object and classify it accordingly. However, the automated driving systems detect, for example, a person moving toward the lane, causing them to reduce the vehicle's speed.

Es sei hier angemerkt, dass dieses ein stark vereinfachtes Beispiel ist und die Ursachen für unerwartetes Fahrzeugverhalten häufig sehr komplex sind. Daher ist es wünschenswert, solche Fahrsituationen mit einer Vielzahl von Umfeldinformationen und Informationen über das automatisierte Fahrsystem zu erfassen und zu klassifizieren.It should be noted that this is a highly simplified example, and the causes of unexpected vehicle behavior are often very complex. Therefore, it is desirable to capture and classify such driving situations using a variety of environmental information and information about the automated driving system.

Edge-Cases können zum Teil von einem menschlichen Operateur nicht unmittelbar erkannt werden. Vielmehr ergibt sich deren Existenz beispielsweise durch die Auswertung der beim lauten Denken abgeleiteten Parameter und der zugehörigen im automatisierten Fahrsystem abgeleiteten Parameter.Some edge cases cannot be directly detected by a human operator. Rather, their existence is revealed, for example, by evaluating the parameters derived from thinking aloud and the corresponding parameters derived from the automated driving system.

Eine Ausführungsform sieht vor, dass beim automatischen Analysieren, ob ein Ausnahmezustand vorliegt, ausgewertet wird, ob ein aus den erfassten Kommentaren abgeleitetes erwartetes dynamisches Verhalten des mindesten einen der automatisierten Fahrsysteme von dem anhand der Umfeldinformationen und ADS-Informationen ermittelten dynamischen Verhalten abweicht und/oder aus den erfassten Kommentaren abgeleitete steuerungsrelevante Parameter von äquivalenten aus den ADS-Informationen abgeleiteten Steuerungsparametern abweichen. Ist dieses der Fall, so liegt eine Ausnahmefahrsituation vor. Diese wird dann automatisch klassifiziert, beispielsweise anhand der Steuerparameter, für die eine Abweichung festgestellt ist. Enthalten die Kommentare Klassifizierungsangaben, die beispielsweise die Fahrsituation als Edge-Case oder Corner-Case identifizieren, werden die zusätzlich und/oder alternativ verwendet.One embodiment provides that during the automatic analysis of whether an exceptional situation exists, it is evaluated whether an expected dynamic behavior of at least one of the automated driving systems derived from the recorded comments deviates from the dynamic behavior determined based on the environmental information and ADS information and/or whether control-relevant parameters derived from the recorded comments deviate from equivalent control parameters derived from the ADS information. If this is the case, an exceptional driving situation exists. This is then automatically classified, for example, based on the control parameters for which a deviation has been determined. If the comments contain classification information that, for example, identify the driving situation as an edge case or corner case, these are used additionally and/or alternatively.

Nachfolgend wird die Erfindung unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:

1 eine schematische Darstellung zur Erläuterung einer Unterstützung eines automatisierten Fahrzeugs durch eine technische Aufsicht;
Fig: 2 eine schematische Darstellung eines Fahrzeugs beim Durchfahren eines Straßenabschnitts der durch Schnee an den Fahrstreifenrändern eingeengt ist.

The invention is explained in more detail below with reference to a drawing. Herein:

1 a schematic diagram to explain the support of an automated vehicle by a technical supervisor;
Fig: 2 a schematic representation of a vehicle driving through a road section which is narrowed by snow at the lane edges.

In 1 ist schematisch ein Ablauf einer Unterstützung durch eine technische Aufsicht (TA) für ein automatisiertes Fahrsystem (ADS) dargestellt. Zum einen gibt es sogenannte Fahrzeug-zu-X-Kommunikation 10, mit der beispielsweise ein automatisiertes Fahrsystem Informationen an eine technische Aufsicht und/oder andere, insbesondere automatisierte, Fahrsysteme und Fahrzeuge übermittelt. Diese können Informationen über die Fahrzeugumgebung umfassen als auch Informationen, die das Fahrzeug selbst betreffen. Erstere werden als Umfeldinformationen und letztere als ADS-Informationen oder Fahrzeuginformationen bezeichnet.In 1 A schematic representation of the process of support by a technical supervisor (TA) for an automated driving system (ADS) is shown. Firstly, there is so-called vehicle-to-X communication 10, with which, for example, an automated driving system transmits information to a technical supervisor and/or other, particularly automated, driving systems and vehicles. This can include information about the vehicle's surroundings as well as information concerning the vehicle itself. The former is referred to as environmental information, and the latter as ADS information or vehicle information.

Die technische Aufsicht erhält darüber hinaus über sogenannte Fahrzeug-zu-Infrastruktur-Kommunikation 20 Informationen beispielsweise über einen Straßenabschnitt. Die Informationen können von der Infrastruktur zu einem Fahrzeug und dann von diesem an die technische Aufsicht übermittelt werden. Alternativ und /oder zusätzlich können die Infrastruktureinrichtungen auch direkt Informationen an die technische Aufsicht übermitteln. Darüber hinaus gibt es eine Kommunikation von Verkehrsleitzentralen 30 mit der technischen Aufsicht, die ebenfalls Informationen übermittelt. Zusätzlich können weitere Informationen, beispielsweise allgemeine Umfeldinformationen wie Wetterinformationen etc., übermittelt werden 40. Anhand dieser verschiedenen Kommunikationen 10, 20, 30, 40 trifft bei der technischen Aufsicht eine Anfrage auf Unterstützungsdienstleistung ein 50. Die technische Aufsicht kontaktiert daraufhin das automatisierte Fahrsystem 60, welches eine Unterstützungsdienstleistung benötigt. Das automatisierte Fahrsystem, d.h. das Fahrzeug, nimmt die von der technischen Aufsicht übermittelte Anfrage an und stellt selbst einen sicheren Zustand oder einen risikominimalen Zustand her 70, sofern es sich nicht bereits in einem sicheren Zustand befindet.The technical supervisor also receives information, for example about a road section, via so-called vehicle-to-infrastructure communication 20. The information can be transmitted from the infrastructure to a vehicle and then from the vehicle to the technical supervisor. Alternatively and/or additionally, the infrastructure facilities can also transmit information directly to the technical supervisor. In addition, there is communication from traffic control centers 30 to the technical supervisor, who also transmits information. Additional information, such as general environmental information such as weather information, etc., can be transmitted 40. Based on these various communications 10, 20, 30, 40, the technical supervisor receives a request for an assistance service 50. The technical supervisor then contacts the automated driving system 60, which requires an assistance service. The automated driving system, i.e., the vehicle, accepts the request transmitted by the technical supervisor and establishes a safe state or a risk-minimal state 70 itself, unless it is already in a safe state.

Die technische Aufsicht kommuniziert optional mit Fahrgästen des automatisierten Fahrsystems 80, um diese darüber zu informieren, dass die technische Aufsicht in die Steuerung des automatisierten Fahrsystems eingreift. Über diese Kommunikation können auch weitere Informationen durch die technische Aufsicht über die aktuelle Fahrsituation des automatisierten Fahrsystems erfasst werden.The technical supervisor optionally communicates with passengers of the automated driving system 80 to inform them that the technical supervisor is involved in the control of the automated driving system. driving system intervenes. This communication also allows the technical supervisor to gather additional information about the current driving situation of the automated driving system.

Anschließend bearbeitet die technische Aufsicht die aktuelle Fahrsituation des automatisierten Fahrsystems 100. Die technische Aufsicht erfasst zunächst alle Informationen und sammelt diese zusammen, die für die aktuelle Fahrsituation des automatisierten Fahrzeugs von Bedeutung sind 110. n Dieses umfasst zum einen Fahrzeuginformationen 120, welche auch als ADS-Informationen bezeichnet werden, sowie Umgebungsinformationen 130. Diese können über die verschiedenen Kommunikationswege 10, 20, 30, 40 von der technischen Aufsicht erfasst werden und/oder erfasst sein. Die notwendigen Daten können beispielsweise über Mobilfunk- und/oder WLAN-Verbindungen des automatisierten Fahrsystems 100 übertragen werden.The technical supervisor then processes the current driving situation of the automated driving system 100. The technical supervisor first records and compiles all information relevant to the current driving situation of the automated vehicle 110. This includes, on the one hand, vehicle information 120, also referred to as ADS information, and environmental information 130. This information can be recorded and/or recorded by the technical supervisor via the various communication channels 10, 20, 30, 40. The necessary data can be transmitted, for example, via mobile radio and/or WLAN connections of the automated driving system 100.

Anschließend verschafft sich die technische Aufsicht einen Überblick über die aktuelle Fahrsituation 140. In der technischen Aufsicht werden anschließend Bearbeitungshandlungen 150 erfasst, die entweder von einem automatisierten Unterstützungssystem der technischen Aufsicht oder beispielsweise einem Operateur in der technischen Aufsicht ausgeführt werden. Beispielsweise kann eine Unterstützungsanforderung darin bestehen, dass das automatisierte Fahrsystem ein bestimmtes Merkmal oder einen bestimmten Parameter anfragt 160, der für eine Entscheidungsfindung in der automatisierten Steuerung benötigt wird. Beispielsweise kann ein von einer Kamera erfasstes Objekt, welches von dem automatisierten Fahrsystem nicht identifiziert werden kann, beispielsweise auf einer Fahrbahn befindliche farbige Markierungen, welche nicht als Fahrbahnmarkierungen eindeutig identifizierbar sind, eine solche Anfrage auslösen. Die technische Aufsicht identifiziert ein entsprechendes Merkmal und/oder ermittelt einen Parameter, den das Fahrzeug für das Entscheidungsfindung benötigt, eigenständig 170.The technical supervisor then obtains an overview of the current driving situation 140. The technical supervisor then records processing actions 150, which are carried out either by an automated support system of the technical supervisor or, for example, by an operator in the technical supervisor. For example, a support request may consist of the automated driving system requesting a specific feature or parameter 160 that is required for decision-making in the automated control system. For example, an object detected by a camera that cannot be identified by the automated driving system, such as colored markings on a roadway that are not clearly identifiable as road markings, may trigger such a request. The technical supervisor independently identifies a corresponding feature and/or determines a parameter that the vehicle requires for decision-making 170.

Im Rahmen der Bearbeitung der Fahrsituation erfasst die technische Aufsicht unterschiedliche Eingaben 180. Diese können beispielsweise Annotationen zur Fahrsituation umfassen 190. Diese Annotationen können beispielsweise über eine Spracherfassung und Auswertung der erfassten Sprache eines Operateurs erfasst werden, um Parameter mittels lauten Denkens zu erfassen. Die Annotationen können auch über andere Eingabemittel erfasst werden.As part of processing the driving situation, the technical supervisor records various inputs 180. These may include, for example, annotations about the driving situation 190. These annotations can be recorded, for example, through speech capture and analysis of the recorded speech of an operator in order to capture parameters through thinking aloud. The annotations can also be recorded using other input methods.

Die Methode des lauten Denkens besteht darin, dass ein menschlicher Operateur seine Gedanken, während er Bearbeitungshandlungen vornimmt, laut ausspricht. Hierbei ist es bevorzugt, dass eine möglichst normierte Sprache verwendet wird, um die Spracherkennung und Zuordnung zu Parametern und Merkmalen zu erleichtern. Beim lauten Denken werden zum einen die selbstgemachten Beobachtungen und vorzugsweise vorgenommenen Handlungen verbalisiert, aber auch ein erwartetes Verhalten des automatisierten Fahrsystems geäußert. Zusätzlich werden auch Beobachtungen des dynamischen Verhaltens des automatisierten Fahrzeugs vorzugsweise verbalisiert. Diese Methode erlaubt es, eine Vielzahl von Informationen zu erfassen, ohne dass eine Bearbeitung der Fahrsituation hierdurch beeinträchtigt und/oder verzögert wird.The think-aloud method involves a human operator speaking their thoughts aloud while performing processing actions. It is preferable to use language that is as standardized as possible to facilitate speech recognition and assignment to parameters and features. Thinking aloud involves verbalizing the human operator's observations and preferred actions, as well as expressing expected behavior from the automated driving system. In addition, observations of the automated vehicle's dynamic behavior are also preferably verbalized. This method allows a wide range of information to be captured without impairing and/or delaying processing of the driving situation.

Um eine Assistenz für ein automatisiertes Fahrsystem zu liefern, kann es beispielsweise vorgesehen sein, dass die technische Aufsicht Wegpunkte für eine Trajektorie festlegt 200, entlang derer ein Fahrzeug einen Streckenabschnitt abfahren kann, für den es selbst aufgrund seiner internen Steuerungssysteme nicht in der Lage ist, eine gültige Trajektorie zu ermitteln.In order to provide assistance for an automated driving system, it may, for example, be provided that the technical supervisor defines waypoints for a trajectory 200 along which a vehicle can travel a section of the route for which it is not able to determine a valid trajectory itself due to its internal control systems.

Die technische Aufsicht kann darüber hinaus während der Bearbeitung beispielsweise die Operation Design Domain des automatisierten Fahrsystems prüfen und gegebenenfalls auch anpassen oder verändern 210. Beispielsweise kann aufgrund eingetretener Witterungsverhältnisse ein anderer Modus, beispielsweise ein Winter- oder Regenmodus, aktiviert werden.Furthermore, the technical supervisor may, for example, check the Operation Design Domain of the automated driving system during processing and, if necessary, adapt or change it 210. For example, a different mode, such as a winter or rain mode, may be activated due to weather conditions.

Es versteht sich, dass hier nur beispielhafte, sehr vereinfachte Möglichkeiten beschrieben sind. Neben Annotationen, die die allgemeine Fahrsituation betreffen, können auch Annotationen für das Fahrzeugverhalten erfasst werden 220. Eine Vielzahl weiterer Informationen, die durch Bedienungshandlungen erzeugt werden, können erfasst werden 230.It is understood that only exemplary, very simplified possibilities are described here. In addition to annotations relating to the general driving situation, annotations relating to vehicle behavior can also be recorded 220. A variety of other information generated by operating actions can also be recorded 230.

Bei der Bearbeitung der Fahrsituation greift die technische Aufsicht in die Fahrzeugsteuerung direkt oder indirekt ein 240. Ein indirekter Eingriff besteht beispielsweise darin, dass dem Fahrzeug die Trajektorie übermittelt wird, entlang derer das automatisierte Fahrsystem den entsprechenden Streckenabschnitt abfährt. Bei einer direkten Steuerung lenkt die technische Aufsicht das automatisierte Fahrsystem entlang der von ihr festgelegten Trajektorie selbst.When processing the driving situation, the technical supervisor intervenes in the vehicle's control system directly or indirectly. 240 An indirect intervention, for example, involves transmitting to the vehicle the trajectory along which the automated driving system will travel the corresponding section of the route. With direct control, the technical supervisor steers the automated driving system itself along the trajectory it has defined.

Die technische Aufsicht wird zum einen aktiv, wenn wie in dem bisher beschriebenen Fall eine Anfrage zur Unterstützungsdienstleistung bei ihr eingeht. Wenn es jedoch das Verkehrsaufkommen und die Arbeitsbelastung zulässt, kann die technische Aufsicht auch vorzugsweise von sich aus in bestimmten Situationen tätig werden und einzelne automatisierte Fahrsysteme kontaktieren. Dieses kann auch erfolgen, während das automatisierte Fahrsystem selber die Steuerungskontrolle über das eigene Fahrverhalten behält. Eine solche proaktive Unterstützung der technischen Aufsicht kann beispielsweise auf Erfahrungswissen basieren, wenn beispielsweise ein automatisiertes Fahrsystem in einen Streckenbereich einfährt, in dem andere automatisierte Fahrsysteme zuvor in einen Ausnahmefahrzustand, beispielsweise einen Corner Case, geraten sind. Die technische Aufsicht kann dann ihre Unterstützungsdienstleistung individuell auch für dieses weitere Fahrzeug, d.h. automatisierte Fahrsystem, erbringen oder auch nur eine Annotation und Kommentierung der automatisierten Fahrt vornehmen. Bei diesem Vorgang kann eine Überprüfung und ein Vergleich beispielsweise von Merkmalen und Parametern, die die technische Aufsicht über die Annotation festgestellt hat, mit vergleichbaren Parametern und Merkmalen erfolgen, die seitens des automatisierten Fahrsystems ermittelt sind. Treten hierbei Abweichungen auf, so kann dieses auch auf einen Ausnahmefahrzustand hinweisen, der einen sogenannten Edge Case darstellt.The technical supervisor will become active when it receives a request for support services, as in the case described so far. However, if traffic volume and workload allow, the technical supervisor can also, preferably on its own initiative, take action in certain situations and contact individual automated driving systems. This can also while the automated driving system itself retains control over its own driving behavior. Such proactive support from the technical supervisor can, for example, be based on empirical knowledge if an automated driving system enters a section of the route in which other automated driving systems have previously encountered an exceptional driving condition, such as a corner case. The technical supervisor can then provide its support service individually for this additional vehicle, i.e. automated driving system, or simply annotate and comment on the automated journey. During this process, a review and comparison can take place, for example, of features and parameters that the technical supervisor has determined via the annotation with comparable parameters and features that have been determined by the automated driving system. If deviations occur, this can also indicate an exceptional driving condition, which represents a so-called edge case.

Die Annotationen können auch, wie oben erwähnt, über andere Eingabemittel erfasst werden. Beispielsweise kann ein Operateur im Rahmen der Bearbeitung der einen Fahrsituation Eingaben über ein Touchdisplays vornehmen. Ebenso ist es möglich, dass der Operateur in einer sogenannten Fahrzeugsitzbox simultan zur Realfahrt des automatisierten Fahrsystems eine manuelle Fahrt simuliert. Hierdurch können Parameter des automatisierten Fahrsystems mit denen vergleichen werden, die das virtuell gelenkte Fahrzeug des Operateurs „erzeugt“. Diese Ad-Hoc-Simulation ist hilfreich insbesondere um Edge-Cases aufzufinden. Neben den haptischen und mechanischen Eingabemitteln können auch akustische und weitere Eingabemittel genutzt werden. Beispielsweise kann ein Eye-Tracking des Operateurs vorgenommen werden, während er Kamerabilder oder Punktewolken sieht, die vom Fahrzeug und/oder der Infrastruktur aufgenommen werden und das dynamische Verhalten eines oder mehrerer automatisierter Fahrsysteme darstellen. Alle Eingabemodalitäten können hierbei kombiniert werden.As mentioned above, the annotations can also be recorded using other input devices. For example, an operator can enter inputs via a touch display while processing a particular driving situation. It is also possible for the operator to simulate a manual drive in a so-called vehicle seat box simultaneously with the real drive of the automated driving system. This allows parameters of the automated driving system to be compared with those "generated" by the operator's virtually steered vehicle. This ad hoc simulation is particularly useful for identifying edge cases. In addition to haptic and mechanical input devices, acoustic and other input devices can also be used. For example, the operator's eyes can be tracked while viewing camera images or point clouds captured by the vehicle and/or the infrastructure, which represent the dynamic behavior of one or more automated driving systems. All input modalities can be combined.

Allgemein wird, unabhängig davon, ob die technische Aufsicht auf eine Anfrage des automatisierten Fahrsystems oder proaktiv tätig geworden ist, ermittelt, ob eine Ausnahmefahrsituation vorliegt 250. Ist dies der Fall, so werden die vorliegenden Informationen, die die Umfeldinformationen, die ADS-Informationen und die aus den Bearbeitungshandlungen erfassten Informationen umfassen, zu einem Fahrsituationsdatensatz zusammengefasst 260. Dieser wird u.a. anhand der erfassten Annotationen klassifiziert 270. Ferner wird der Fahrsituationsdatensatz gespeichert 280, um ihn für das verbesserte automatisierte Fahren von anderen automatisierten Fahrsystemen nutzen zu können. Beispielsweise kann über Kommunikation mit Verkehrsinfrastruktur, die dann ihrerseits mit Fahrzeugen kommuniziert, ein gespeicherter Fahrsituationsdatensatz an Fahrzeuge ausgegeben und kommuniziert werden, deren Geoposition in einem Umfeld mit der Geoposition zusammentrifft, für die die Unterstützungsdienstleistung in dem entsprechenden Fahrsituationsdatensatz enthalten sind 290. Weitere automatisierte Fahrsysteme können somit den Fahrsituationsdatensatz auswerten 300 und gegebenenfalls die darin enthaltenen Informationen nutzen, um selber nicht in einen Corner Case zu geraten, sondern beispielsweise die durch die Verkehrsaufsicht festgelegte Trajektorie selbst nutzen 310, um einen bestimmten Streckenabschnitt durchfahren zu können. Das weitere automatisierte Fahrsystem kann seine eigene Operational Design Domain anpassen 300. Die Fahrsituationsdaten können jedoch auch genutzt werden, um die Operational Design Domain anderer automatisierter Fahrsysteme anzupassen, beispielsweise durch einen Fahrzeughersteller, der die Fahrsituationsdatensätze auswertet 320.In general, regardless of whether the technical supervisor has acted in response to a request from the automated driving system or proactively, it is determined whether an exceptional driving situation exists 250. If this is the case, the available information, which includes the environmental information, the ADS information and the information recorded from the processing actions, is combined into a driving situation data record 260. This is classified, among other things, based on the recorded annotations 270. Furthermore, the driving situation data record is stored 280 in order to be able to use it for the improved automated driving of other automated driving systems. For example, via communication with traffic infrastructure, which in turn communicates with vehicles, a stored driving situation data set can be output and communicated to vehicles whose geoposition in an environment coincides with the geoposition for which the support service is contained in the corresponding driving situation data set 290. Further automated driving systems can thus evaluate the driving situation data set 300 and, if necessary, use the information contained therein to avoid falling into a corner case themselves, but rather, for example, use the trajectory defined by the traffic authorities themselves 310 to be able to drive through a specific section of the route. The further automated driving system can adapt its own operational design domain 300. However, the driving situation data can also be used to adapt the operational design domain of other automated driving systems, for example by a vehicle manufacturer who evaluates the driving situation data sets 320.

In 2 ist eine Situation dargestellt, in der ein automatisiertes Fahrsystem 1070 einen Straßenabschnitt 1000 durchfahren möchte. Gut zu erkennen sind die Leitpfosten 1010, die eine Orientierung für den Verlauf des Straßenabschnitts liefern. Das automatisierte Fahrsystem 1070, welches ein Personenkraftwagen ist, bewegt sich auf einem Fahrstreifen 1020 auf den Betrachter zu. Daneben befindet sich ein weiterer Fahrstreifen 1030 für den Gegenverkehr. Eine ursprüngliche und nicht eingeschränkte gesamte Fahrstreifenbreite 1050 ist an den Fahrstreifenrändern durch Schneehügel 1040 eingegrenzt, sodass nur eine eingeschränkte Fahrstreifenbreite 1060 zum Befahren zur Verfügung steht.In 2 A situation is depicted in which an automated driving system 1070 wishes to travel through a road section 1000. The guide posts 1010, which provide orientation for the course of the road section, are clearly visible. The automated driving system 1070, which is a passenger car, is moving toward the viewer in a lane 1020. Next to it is another lane 1030 for oncoming traffic. An original and unrestricted total lane width 1050 is delimited at the lane edges by snow mounds 1040, so that only a restricted lane width 1060 is available for driving.

Zu erkennen ist, dass Straßenmarkierungen durch Schnee verdeckt sind.It can be seen that road markings are obscured by snow.

Ebenfalls eingezeichnet ist die von dem automatisierten Fahrsystem 1070 errechnete Trajektorie 1080, welche als gepunktete Linie eingezeichnet ist. Diese errechnet das automatisierte Fahrsystem beispielsweise anhand seiner digitalen Karteninformationen, die in dem automatisierten Fahrsystem intern gespeichert sind.Also shown is the trajectory 1080 calculated by the automated driving system 1070, which is shown as a dotted line. The automated driving system calculates this, for example, based on its digital map information, which is stored internally in the automated driving system.

Aufgrund von internen, in dem automatisierten Fahrsystem 1070 verbauten Sensoren (nicht explizit dargestellt) stellt das automatisierte Fahrsystem 1070 fest, dass es zu den Schneehügeln 1040 am Fahrstreifenrand einen Mindestabstand einhalten muss. Die selbst errechnete Trajektorie 1080, entlang welcher sich eine Mittelposition 1100 des automatisierten Fahrsystems 1070 bewegen soll, kann daher nicht von dem automatisierten Fahrsystem abgefahren werden.Based on internal sensors (not explicitly shown) installed in the automated driving system 1070, the automated driving system 1070 determines that it must maintain a minimum distance to the snow mounds 1040 at the edge of the lane. The self-calculated trajectory 1080, along which a center position 1100 of the automated driving system is located, is calculated. automated driving system 1070, cannot therefore be driven by the automated driving system.

Zusätzlich eingezeichnet ist eine von der technischen Aufsicht erzeugte und klassifizierte Trajektorie 1090, entlang derer das automatisierte Fahrsystem 1070 den teilweise zugeschneiten Straßenabschnitt 1000 durchfahren kann. Das Klassifizieren der Trajektorie wird auch als Labeln bezeichnet. Diese von der technischen Aufsicht festgelegte Trajektorie 1090 kann jetzt auch von anderen Fahrzeugen, welche denselben Straßenabschnitt 1000 in zeitlicher Nähe zu der Festlegung durch die technische Aufsicht durchfahren wollen, genutzt werden. Somit wird ein bei der Unterstützungsdienstleistung erzeugter Fahrsituationsdatensatz gespeichert und beispielsweise durch die technische Aufsicht anderen automatisierten Fahrsystemen zugänglich gemacht, die denselben Straßenabschnitt 1000 in zeitlicher Nähe, beispielsweise ein bis zwei Stunden nach der erfolgten Unterstützungsleistung am selben Tag, durchfahren wollen, ohne dass erneuter Schneefall anhand der erfassten Wetterbedingungen festgestellt ist.Also shown is a trajectory 1090 generated and classified by the technical supervisor, along which the automated driving system 1070 can travel through the partially snow-covered road section 1000. The classification of the trajectory is also referred to as labeling. This trajectory 1090 determined by the technical supervisor can now also be used by other vehicles that want to travel through the same road section 1000 in a time close to the time determined by the technical supervisor. Thus, a driving situation data set generated during the support service is stored and made accessible, for example, by the technical supervisor to other automated driving systems that want to travel through the same road section 1000 in a time close to the time, for example, one to two hours after the support service was provided on the same day, without further snowfall being determined based on the recorded weather conditions.

Es versteht sich, dass hier lediglich beispielhafte Ausführungsformen beschrieben sind. Die einzelnen Merkmale der verschiedenen Ausführungsformen können gemeinsam in Kombination verwirklicht werden, um andere Ausführungsformen auszubilden. Einzelne genannte Verfahrensschritte können bei anderen Ausführungsformen auch entfallen.It is understood that only exemplary embodiments are described here. The individual features of the various embodiments can be implemented together in combination to form other embodiments. Individual method steps mentioned may also be omitted in other embodiments.

BezugszeichenReference symbol

1010: Fahrzeug-zu-X-KommunikationVehicle-to-X communication
2020: Fahrzeug-zu Infrastruktur-KommunikationVehicle-to-infrastructure communication
3030: Kommunikation mit VerkehrsleitzentralenCommunication with traffic control centers
4040: Übermittlung allgemeiner Umfeldinformationen (z.B. Wetterinformationen)Transmission of general environmental information (e.g. weather information)
5050: Anfrage trifft bei technischer Aufsicht einRequest arrives at technical supervision
6060: technische Aufsicht kontaktiert automatisiertes Fahrsystemtechnical supervision contacts automated driving system
7070: automatisiertes Fahrsystem nimmt Anfrage anautomated driving system accepts request
8080: technische Aufsicht Kommuniziert mit Fahrgästentechnical supervision communicates with passengers
100100: technische Aufsicht bearbeitet Fahrsituationtechnical supervision handles driving situation
110110: technische Aufsicht erfasst Informationentechnical supervision records information
120120: technische Aufsicht erfasst ADS-Informationentechnical supervision records ADS information
130130: technische Aufsicht erfasst Umfeldinformationentechnical supervision records environmental information
140140: technische Aufsicht verschafft sich Übersichttechnical supervision gains an overview
150150: in der technischen Aufsicht werden Bearbeitungshandlungen erfasstProcessing activities are recorded in technical supervision
160160: automatisiertes Fahrsystem fragt bestimmten Parameter/Merkmal anautomated driving system requests specific parameters/features
170170: technische Aufsicht identifiziert Merkmal/ermittelt Parametertechnical supervision identifies feature/determines parameters
180180: Erfassen von EingabenCapturing inputs
190190: Annotationen zur FahrsituationAnnotations about the driving situation
200200: Spracherfassung und Auswertung, um Parameter mittels lauten Denkens zu erfassenSpeech capture and analysis to capture parameters through thinking aloud
200200: Erfassen der Festlegung einer TrajektorieCapturing the definition of a trajectory
210210: Prüfen und/oder Neufestlegen der OD des automatisiertes FahrsystemsChecking and/or re-defining the OD of the automated driving system
220220: Annotation des Verhaltens des automatisiertes FahrsystemsAnnotation of the behavior of the automated driving system
230230: Erfassen weiterer HilfestellungshandlungenRecording further assistance actions
240240: direkter oder indirekter Eingriff in die Fahrzeugsteuerungdirect or indirect intervention in the vehicle control system
250250: Ermitteln, ob Ausnahmefahrsituation vorliegtDetermine whether an exceptional driving situation exists
260260: Zusammenfassen der Umfeld-, ADS-Informationen und Bearbeitungshandlungen zu einem FahrsituationsdatensatzSummarizing the environment, ADS information and processing actions into a driving situation data set
270270: Klassifizieren des Fahrsituationsdatensatz anhand der AnnotationenClassifying the driving situation dataset based on the annotations
280280: Speichern des FahrsituationsdatensatzesSaving the driving situation data record
290290: Verteilen mindestens eines Fahrsituationsdatensatzes an andere automatisierte FahrsystemeDistributing at least one driving situation data set to other automated driving systems
300300: Auswerten des FahrsituationsdatensatzesEvaluating the driving situation data set
310310: Anpassen des Fahrverhaltens basierend auf dem FahrsituationsdatensatzesAdapting driving behavior based on the driving situation data set
320320: Anpassen der ODD anderer automatisierter FahrsystemeAdapting the ODD of other automated driving systems
10001000: Straßenabschnittroad section
10101010: LeitpfostenDelineator posts
10201020: Fahrstreifen (für dem Betrachter entgegenkommende Fahrzeuge)Lanes (for oncoming vehicles)
10301030: weitere Fahrsteifenadditional lanes
10401040: Schneehügelsnow hill
10501050: nicht eingeschränkte gesamte Fahrstreifenbreitenunrestricted total lane widths
10601060: eingeschränkte Fahrstreifenbreiterestricted lane width
10701070: automatisiertes Fahrsystemautomated driving system
10801080: errechnete Trajektoriecalculated trajectory
10901090: erzeugte und klassifizierte (gelabelte)generated and classified (labeled)
11001100: Mittelposition des automatisierten FahrsystemsCenter position of the automated driving system

Claims

A method for supporting a plurality of automated driving systems (ADS) (1070) by a technical supervisor (TA), comprising the steps of: Establish a communication connection for at least one driving situation between at least one of the automated driving systems (1070) and the technical supervisor for data exchange, via which communication connection the at least one of the automated driving systems (1070) can be controlled at least directly or indirectly by the technical supervisor; Acquire (110, 120, 130) situation information for the at least one driving situation of the at least one of the automated driving systems (1070), wherein the situation information comprises environmental information of the at least one of the automated driving systems (1070) and ADS information of the at least one of the automated driving systems (1070) for the one driving situation; Acquiring processing data generated during technical supervision that arises during processing of a driving situation, and automatically analyzing whether the driving situation represents an exceptional condition, and if so, combining at least part of the acquired situation information and at least part of the acquired processing data into a driving situation data set (260), wherein the acquisition of the processing data comprises the acquisition of annotations, and a classification of the driving situation data set is carried out (270) at least using the annotations, and the driving situation data set is stored together with the classification (280), so that the driving situation data set can be used in connection with further of the plurality of automated driving systems (1070) to improve their automated control.

Procedure according to Claim 1 , characterized in that the annotations are derived at least partially automatically from the situation information recorded and part of the processing data recorded as part of the assistance provided by the technical supervisor in one driving situation.

Procedure according to Claim 1 or 2 , characterized in that the processing data comprise an adaptation of the operational domain (OD) of at least one of the automated driving systems (1070).

Method according to one of the preceding claims, characterized in that the annotations are recorded at least partially by means of comments from a thinking aloud.

Procedure according to Claim 4 , characterized in that during the automatic analysis of whether an exceptional state exists, it is evaluated whether an expected dynamic behavior of the at least one of the automated driving systems (1070) derived from the recorded comments deviates from the dynamic behavior determined on the basis of the environmental information and ADS information and/or whether control-relevant parameters derived from the recorded comments deviate from equivalent control parameters derived from the ADS information.

Method according to one of the preceding claims, characterized in that a geoposition is assigned to the driving situation data set, which is stored with the driving situation data set and the driving situation data set is transmitted to at least one further one of the automated driving systems (290), the position of which is in the vicinity of the one geoposition, so that the at least one further one of the automated driving systems (1070) uses the information contained in the driving situation data set for automated driving.

Device for improving the automated driving of a plurality of automated driving systems (1070), comprising a technical supervisor, which has at least one communication device for establishing a communication connection for at least one driving situation between at least one of the automated driving systems (1070) and the technical supervisor for a data exchange, by means of which the at least one of the automated driving systems (1070) can be controlled at least directly or indirectly by the technical supervisor, an information collection device coupled to the at least one communication device for detecting Situation information for the at least one driving situation of the at least one of the automated driving systems (1070), wherein the situation information comprises environmental information about an environment of the at least one of the automated driving systems and ADS information of the at least one of the automated driving systems (1070) for the one driving situation, at least one processing device which is designed to acquire processing data which arise during the processing of the driving situation in the technical supervision, an analysis unit which is designed to automatically analyze whether the one driving situation represents an exceptional state and, if this is the case, to combine at least a portion of the acquired situation information and at least a portion of the acquired processing data into a driving situation data set (260), and a classification device which is designed to carry out a classification of the driving situation data set based on the processing data which comprise acquired annotations, at least by utilizing the annotations (270), and a storage device which is designed to store the driving situation data set together with the classification (280), so that the driving situation data set can be used in connection with further of the plurality of automated driving systems (1070) to improve their automated control.

Device according to Claim 7 , characterized in that the processing device comprises a detection device for acoustic signals and a speech recognition device in order to detect comments of a thinking aloud during the processing of the at least one driving situation and to detect expected dynamic behavior of the at least one of the automated driving systems (1070) or control-relevant parameters recognized by the technical supervisor.

Device according to Claim 7 or 8 , characterized in that the technical supervision comprises a distribution device which is designed to transmit (290) the driving situation data set to at least one further one of the plurality of automated driving systems (1070) in order to improve its automated driving thereby.