[go: up one dir, main page]

WO2024104775A1 - Maschinell gelernte verkehrssituations-vervollständigung - Google Patents

Maschinell gelernte verkehrssituations-vervollständigung Download PDF

Info

Publication number
WO2024104775A1
WO2024104775A1 PCT/EP2023/080306 EP2023080306W WO2024104775A1 WO 2024104775 A1 WO2024104775 A1 WO 2024104775A1 EP 2023080306 W EP2023080306 W EP 2023080306W WO 2024104775 A1 WO2024104775 A1 WO 2024104775A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data set
algorithm
road users
trajectories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/080306
Other languages
English (en)
French (fr)
Inventor
Sebastian Frank
Christoph THIEM
Ulrich Eberle
Nico Weber
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to EP23800768.6A priority Critical patent/EP4619961A1/de
Publication of WO2024104775A1 publication Critical patent/WO2024104775A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, as well as a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle.
  • the behavior of other road users is typically predicted, particularly with regard to their trajectories - in terms of the actions and reactions of the road users.
  • relevant scenarios are typically considered, which are used, for example, in a bird's eye view simulation (a simulation with information from a bird's perspective) to model traffic environments with acting and reacting road users.
  • these traffic environment models are based on complete descriptions of scenarios, the information for which is obtained, for example, by using drones for traffic monitoring.
  • data from a bird's eye view obtained, for example, by using unmanned aerial vehicles or other stationary traffic monitoring systems, are usually not available during regular operation of a vehicle.
  • the object of the invention is therefore to enable the utilization of incomplete traffic data, which were recorded in particular from the ego perspective of a road user (according to the so-called individual shadowing), reliably by completing them.
  • a first aspect of the invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle, comprising the steps:
  • the complete data set includes the trajectory of an ego vehicle and the trajectories of all other road users in the traffic situation within a given time window;
  • the model or algorithm generated by the method according to the invention serves - when fully generated - to complete data about other road users in a traffic situation recorded by sensors from a first-person perspective of a vehicle.
  • a model or an algorithm is used is a matter of interpretation.
  • an artificial neural network can be used for a model
  • other estimators can also be applied, such as a hidden Markov model, in which the incomplete data are viewed as emissions from the system.
  • an algorithm is a sequential series of instructions.
  • a Kalman filter is an algorithm, not a model.
  • the model and algorithm differ in the points mentioned above, they are functionally equivalent in order to provide a system that is suitable for completing data about other road users in a traffic situation recorded by sensors from a first-person perspective of a (first-person) vehicle.
  • the traffic situation includes at least the trajectories of the vehicle under consideration, also referred to as ego vehicle, as well as of the other road users.
  • trajectory is also justified if the ego vehicle or the other road users are not moving, since the term trajectory indicates a trajectory with time information, and therefore a static position can also be described by a trajectory with time information.
  • the complete data set therefore describes a traffic situation in which both the ego vehicle and the other road users find themselves.
  • the ego vehicle is the vehicle under consideration which, in analogy to the training phase, could use the fully trained model or the fully designed algorithm for completing data on the data recorded by sensors from its ego perspective in its regular operation. It is not necessary that such a model or algorithm is already provided for the ego vehicle in the complete data set, because the complete data set only serves to train such a model or algorithm, and the system for executing the finished model or algorithm is provided for the later regular operation of a vehicle and is not necessarily functionally included in the complete data set.
  • the role of the ego vehicle in the complete data set defines the ego perspective according to which the data of the complete data set or the already reduced data set are to be aligned, as if the data had been recorded sensorily from this ego perspective. It may be necessary for the reduced data set to be prepared as if the data from the respective data set had been recorded from an ego perspective of the vehicle using the system for executing the model or algorithm; then it does not matter whether the complete data set is first transformed (if it is not yet ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question, or whether the complete data set is first reduced accordingly and the reduced data set is transformed (if it is not already ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question.
  • the complete data set in its original form includes information from a bird's eye view.
  • Possible training data sets from a drone perspective would be, for example, the HighD data set ("HighD Dataset” from www.highd-dataset.com) or, in urban areas, the InD data set ("inD Dataset” from www.ind-dataset.com).
  • the completeness of the data means that a so-called "ground truth" is available.
  • a bird's eye view cannot be determined from the ego perspective using the ego vehicle's own sensors. It can A transformation must then be carried out that references the data to the sensor view of the ego vehicle. This serves to maintain consistency, so that when training the model or algorithm, input data with a comparable reference and comparable perspectives are used as in the later operation of the vehicle when applying the fully trained model or fully designed algorithm.
  • a transformation into the ego perspective of the ego vehicle is not necessary if already interpreted sensor data is used in the respective data set both for training the model or for designing the algorithm and during the subsequent operation of the fully trained model or the fully designed algorithm, for example determined trajectories of other road users that are recognizable to the sensors of the ego vehicle.
  • the input data of the model or algorithm no longer contains any information about the perspective with which the other road users were recorded. Rather, the perspective is dissolved and abstracted into information about the traffic situation.
  • the reduction of the complete data set by one or more of the other road users to a reduced data set is preferably only carried out to the extent that at least one other road user always remains in the reduced data set in order to provide a data basis for estimating the behavior of other users based on the behavior of this one other road user.
  • the model or algorithm is created by machine learning. In the case of artificial neural networks, this can be done by so-called "back propagation". In particular, machine learning is carried out in a form of supervised learning.
  • the parameters (weights) - and in rare complex cases, optionally also the structure of the artificial neural network such as the number of levels (so-called "layers") - are adjusted.
  • a prerequisite for creation is always that input data is specified and output data associated with the input data is also specified, and the transmission by the model or algorithm is adjusted, in particular iteratively, until the model or algorithm independently arrives at only the input data and output data that correspond to the specified ones.
  • the fully trained model or the fully designed algorithm is able to use current input data from reality to determine corresponding output data that correspond to reality as intended. may correspond, in this case, to the correct completion of data on other road users.
  • machine learning is carried out with the specified output variables of the model or algorithm from the complete data set in such a way that data from the complete data set is used that is not present in the reduced data set.
  • the specified output variables include all data from the complete data set.
  • the model or algorithm is also able to detect whether all relevant actors of the scenario are present in the data set.
  • the reduced data set and in particular a complete data set reduced in several ways, can be used for other purposes, in particular training, validation and testing of the resulting models and algorithms.
  • model includes a large number of sub-models, for example by executing a separate, definable sub-model for each estimated additional road user and their trajectories. However, the large number of these sub-models is understood under the term "model” used above and below. The same applies to the algorithm.
  • machine learning makes use of implicitly known situations and patterns, such as the reaction of another road user that can be observed by the ego vehicle's sensors to a third road user that cannot be detected by the ego vehicle's sensors.
  • a reaction can be, for example, swerving, giving way, or something similar.
  • the presence and trajectory of the third road user can thus be deduced from the reaction of the other road user that is detected by the sensors - this corresponds to the completion of the data set, which in the present example is initially incomplete and initially only includes the other road user that can be observed by the ego vehicle's sensors.
  • the same complete data set can be used to provide the initial data in each iteration, or the complete data set can be replaced to provide a new data basis for another large number of reduced data sets.
  • planning is used here because the model or algorithm is intended to complete the traffic situation in a realistic way, so that a reconstructed traffic situation with completion would lead to the same data set of the recording vehicle. Nevertheless, the actually recorded situation can differ from the reconstructed one. For example, a real ego vehicle would slow down when crossing traffic, regardless of whether the crossing traffic is a truck or a bicycle.
  • a plurality of different reduced data sets are obtained from a single complete data set.
  • the model or the algorithm comprises a plausibility check, wherein the plausibility check is provided with an estimate of a respective trajectory of the road users that can and cannot be detected by sensors by the ego vehicle, wherein if an estimate of a trajectory of a further road user that can be detected by sensors deviates from a sensor-based determined trajectory of this further road user, the model or the algorithm generates an estimated trajectory of a further road user that cannot be detected by sensors and added for completion, wherein the plausibility check is adapted by machine learning when the model or the algorithm is generated.
  • heuristics that remain unchanged during generation are implemented in the model or in the algorithm.
  • the basic procedure for training the model or designing the algorithm is that one or more plausible trajectories are estimated for each road user on the basis of one or more models. If a road user deviates deviates from these trajectories, i.e. behaves in a conspicuous or implausible manner, an attempt is made to convert this deviation into plausible behavior by adding further road users.
  • the machine learning during the generation of the model or algorithm is carried out with the restriction that additional road users who cannot be detected by sensors are added to complete the model and are placed by estimation at locations that lie outside a sensory detection range of the ego vehicle.
  • a further aspect of the invention relates to a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, wherein the system is designed to execute a model or an algorithm, wherein input data based on sensor information from an ego vehicle and comprising data about the trajectories of other road users, which may be incomplete, are used to execute the model or the algorithm, and a complete data set generated by plausible reconstruction is obtained as output data of the model or the algorithm, which data includes trajectories of the other road users for the current traffic situation that are not directly contained in the sensor information of the ego vehicle.
  • the system is designed for a first ego vehicle and to link sensor information transmitted from a second ego vehicle by data fusion in order to expand the first ego vehicle's own sensor information and reduce the amount of data to be completed.
  • the system is designed to determine and output a plurality of possible plausibly completed data.
  • the respective completed data are provided with a value of the respective calculated probability for it.
  • the system is designed to carry out a plausibility analysis for plausible reconstruction, which includes a completeness analysis, wherein the completeness analysis checks whether the existing estimated number of other road users is sufficient to be able to plausibly explain the trajectories of all other road users, wherein the trajectories of all other road users include the trajectories of other road users determined by sensor data and the trajectories of other estimated existing road users estimated by completion.
  • Fig. 1 A method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention.
  • Fig. 2 A system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention.
  • the representations in the figures are schematic and not to scale.
  • Fig. 1 shows a method for generating a model or an algorithm for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle.
  • the steps of the method include:
  • Fig. 2 shows a system in use for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle.
  • the system is based on the results of the method in Fig. 1 and involves executing a model, whereby input data based on sensor information from an ego vehicle 1 and including data about the trajectories of other road users 3, which may be incomplete, are used to execute the model.
  • the ego vehicle 1 has a large number of sensors, such as lidar, radar, ultrasonic distance sensors, stereo cameras, etc.; on the one hand, the sensors all have finite ranges, and on the other hand, in some situations, such as the one shown in Fig.
  • the other road user 3 is located on the lower right and is not However, another road user 3 approaching the right-hand road branch is detected by sensors of the ego vehicle 1, so that its trajectory can be determined directly from the sensor data of the ego vehicle 1. From this trajectory executed by the other road user 3 approaching from the right, the ego vehicle 1 recognizes that this other road user 3 is behaving differently in response to something, namely that it is braking and slowly approaching the road branch which, from its perspective, is turning in from the right.
  • the trajectory of the additional road user 3 is therefore known for the ego vehicle 1 insofar as the initial data of the model includes that this additional road user 3 is in the upper road from the perspective of the ego vehicle 1, with the direction of travel downwards, so that this additional road user 3 appears in a right-of-way situation for the sensor-detectable additional road user 3 and it can be expected that this additional road user 3 from above will soon be in a relevant area around the ego vehicle 1.
  • alternatives of a bifurcation arise - both alternatives are output by the model and transferred to a decision module of the ego vehicle 1 to determine its own further behavior.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen eines Modells für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch unvollständig erfassten Verkehrssituation, aufweisend die Schritte: Bereitstellen (S1) eines vollständigen Datensatzes über eine Verkehrssituation, umfassend die Trajektorien eines Ego- Fahrzeugs (1) und aller weiterer Verkehrsteilnehmer (3); Reduzieren (S2) des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer (3); Erzeugen (S3) des Modells durch maschinelles Lernen mit Eingangsgrößen aus dem reduzierten Datensatz und Ausgangsgrößen des Modells aus dem vollständigen Datensatz, sodass das Modell dazu ausgelegt wird, aus einem unvollständigen Datensatz einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer (3) zu erzeugen; hierbei wird das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt.

Description

MASCHINELL GELERNTE VERKEHRSSITUATIONS-VERVOLLSTÄNDIGUNG
Die Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, sowie ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation.
Zur Steuerung von automatisierten Fahrzeugen bzw. zur Ausführung eines Fahrerassistenzsystems eines manuell geführten Fahrzeugs erfolgt typischerweise eine Prädiktion des Verhaltens anderer Verkehrsteilnehmer, insbesondere in Bezug auf ihre Trajektorien - im Sinne der Aktion und der Reaktion der Verkehrsteilnehmer. Zum Zwecke der Prädiktion werden typischerweise relevante Szenarien betrachtet, die zum Beispiel in einer Birds-Eye-View-Simulation (eine Simulation mit Informationen aus der Vogelperspektive) dazu genutzt werden, Verkehrsumgebungen mit agierenden und reagierenden Verkehrsteilnehmern zu modellieren. Idealerweise dienen als Grundlage dieser Verkehrsumgebungsmodelle vollständige Beschreibungen von Szenarien, deren Informationen zum Beispiel durch den Einsatz von Drohnen zur Verkehrsüberwachung gewonnen werden. In der Regel liegen solche Daten aus der Vogelperspektive, gewonnen beispielsweise durch den Einsatz unbemannter Luftfahrzeuge oder anderer stationärer Verkehrsüberwachungssys- teme, im regulären Betrieb eines Fahrzeugs jedoch nicht vor. Es muss in all diesen Fällen auf die alternative Möglichkeit ausgewichen werden, Daten aus jeweiliger Ego-Perspektive eines Fahrzeugs während seines Betriebs im Verkehrsgeschehen zu verwenden - dies wird auch als Shadowing bezeichnet. Diese Daten können jedoch per se nicht unmodifiziert für eine vollständige Kenntnis der Umgebung genügen, da mit den Sensoren der Fahrzeuge nicht alle Informationen wie aus der Vogelperspektive erkannt werden können (zum Beispiel durch Verdeckungen von Verkehrsteilnehmern oder durch eine eingeschränkte Perspektive).
Aufgabe der Erfindung ist es deshalb, eine Nutzbarmachung von unvollständigen Verkehrsdaten, die insbesondere aus der Egoperspektive eines Verkehrsteilnehmers erfasst wurden (nach dem sogenannten individuellen Shadowing), zuverlässig durch Vervollständigung zu ermöglichen.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte:
- Bereitstellen eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs und die Trajektorien aller weiterer Verkehrsteilnehmer der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst;
- Reduzieren des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz;
- Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer zu erzeugen; hierbei wird das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt.
Das Modell oder der Algorithmus, der nach dem erfindungsgemäßen Verfahren erzeugt wird, dient - wenn fertig erzeugt - zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs erfassten Verkehrssituation. Ob ein Modell oder ein Algorithmus verwendet wird, ist Auslegungsfrage. Während für ein Modell ein künstliches neuronales Netz verwendet werden kann, können auch weitere Schätzer angewendet werden, wie zum Beispiel ein Hidden Markov Modell, bei welchem die unvollständigen Daten als Emissionen des Systems betrachtet werden. Im Gegensatz zu solchen Modellen ist ein Algorithmus eine sequenzielle Abfolge von Instruktionen. Beispielsweise ist ein Kalman-Filter ein Algorithmus, und kein Modell. Modell und Algorithmus unterscheiden sich zwar in den oben genannten Punkten, sind jedoch funktionell gleichwertig, um ein System bereitzustellen, das sich zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines (Ego-)Fahrzeugs erfassten Verkehrssituation eignet.
Die Verkehrssituation umfasst dabei zumindest die Trajektorien des betrachteten Fahrzeugs, auch zu bezeichnen als Ego- Fahrzeug, als auch der weiteren Verkehrsteilnehmer. Der Begriff der Trajektorie ist jedoch auch dann gerechtfertigt, wenn sich das Ego- Fahrzeug oder die weiteren Verkehrsteilnehmer nicht bewegen, da der Begriff der Trajektorie eine Bahnkurve mit Zeitinformation angibt, und demnach auch eine statische Position durch eine Bahnkurve mit Zeitinformation beschrieben werden kann.
Der vollständige Datensatz beschreibt demnach eine Verkehrssituation, in welcher sich sowohl das Ego- Fahrzeug als auch die weiteren Verkehrsteilnehmer befinden. Das Ego- Fahrzeug ist das betrachtete Fahrzeug, das in Analogie zur Trainingsphase das fertig trainierte Modell bzw. den fertig ausgelegten Algorithmus für die Vervollständigung von Daten über die sensorisch aus seiner Egoperspektive erfassten Daten in seinem regulären Betrieb anwenden könnte. Hierbei ist es nicht notwendig, dass im vollständigen Datensatz das Ego-Fahrzeug bereits ein solches Modell bzw. ein solcher Algorithmus vorgesehen ist, denn der vollständige Datensatz dient nur zum Training eines solchen Modells bzw. Algorithmus, und das System zum Ausführen des fertigen Modells bzw. Algorithmus ist für den späteren regulären Betrieb eines Fahrzeugs vorgesehen und im vollständigen Datensatz noch nicht notwendigerweise funktional enthalten.
Das Ego-Fahrzeug im vollständigen Datensatz definiert jedoch in seiner Rolle die Ego- Perspektive, nach der die Daten des vollständigen Datensatzes oder des bereits reduzierten Datensatzes zu richten sind, als wären die Daten sensorisch aus dieser Ego-Perspektive erfasst worden. Dabei kann es notwendig werden, dass der reduzierte Datensatz so aufbereitet wird, als wären die Daten aus dem jeweiligen Datensatz aus einer Egoperspektive des Fahrzeugs mit dem System zur Ausführung des Modells bzw. des Algorithmus erfasst worden; dann spielt es keine Rolle, ob zunächst der vollständige Datensatz so transformiert wird (wenn er es noch nicht bereit ist), als wäre er sensorisch aus der Ego-Perspektive dieses betrachteten Ego- Fahrzeugs ermittelt worden, oder ob zuerst der vollständige Datensatz entsprechend reduziert wird, und der reduzierte Datensatz so transformiert wird (wenn er es noch nicht bereits ist), als wäre er sensorisch aus der Ego- Perspektive dieses betrachteten Ego-Fahrzeugs ermittelt worden.
Das oben Gesagte kann insbesondere dann zutreffen, wenn der vollständige Datensatz in seiner ursprünglichen Form Informationen aus der Vogelperspektive umfasst. Mögliche Trainingsdatensätze aus Drohnenperspektive wären z.B. der HighD-Datensatz ("HighD Dataset" von www.highd-dataset.com) oder im urbanen Raum der InD-Datensatz ("inD Dataset" von www.ind-dataset.com). Durch die Vollständigkeit der Daten ist eine sogenannte "Ground-Truth" verfügbar. Eine solche Vogelperspektive kann jedoch nicht durch eigene Sensoren des Ego- Fahrzeugs aus der Egoperspektive ermittelt werden. Es kann dann eine Transformation vorzunehmen sein, die die Daten auf die Sensorsicht des Ego- Fahrzeugs referenziert. Dies dient zur Konsistenzwahrung, sodass beim Training des Modells bzw. des Algorithmus Eingangsdaten mit vergleichbarem Bezug und vergleichbaren Sichtweisen verwendet werden, wie im späteren Betrieb des Fahrzeugs bei der Anwendung des fertig trainierten Modells bzw. fertig ausgelegten Algorithmus.
Eine Transformation in die Egoperspektive des Ego- Fahrzeugs ist jedoch nicht notwendig, wenn sowohl zum Training des Modells bzw. zur Auslegung des Algorithmus sowie auch während des späteren Betriebs des fertig trainierten Modells bzw. des fertig ausgelegten Algorithmus bereits interpretierte Sensordaten im jeweiligen Datensatz verwendet werden, beispielsweise ermittelte Trajektorien von für die Sensoren des Ego- Fahrzeugs erkennbare weitere Verkehrsteilnehmer. In diesem Fall ist in den Eingangsdaten des Modells bzw. des Algorithmus keine Information mehr über die Perspektive enthalten, mit der die weiteren Verkehrsteilnehmer erfasst worden sind. Es ist vielmehr die Perspektive aufgelöst und zu Informationen über das Verkehrsgeschehen abstrahiert.
Das Reduzieren des vollständigen Datensatzes um einen oder mehrere der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz erfolgt bevorzugt nur insoweit, dass immer zumindest ein weiterer Verkehrsteilnehmer im reduzierten Datensatz übrigbleibt, um eine Datengrundlage zur Schätzung des Verhaltens weiterer Teilnehmer zu ermöglichen, auf Basis des Verhaltens dieses einen weiteren Verkehrsteilnehmers.
Das Erzeugen des Modells bzw. des Algorithmus erfolgt durch maschinelles Lernen. Im Falle von künstlichen neuronalen Netzen kann dies durch die sogenannte "back propagation" erfolgen. Insbesondere ist das maschinelle Lernen in einer Form des überwachten Lernens durchgeführt. Beim Erzeugen des Modells bzw. des Algorithmus werden im Falle eines künstlichen neuronalen Netzes die Parameter (Gewichte) - und in seltenen komplexen Fällen optional zusätzlich die Struktur des künstlichen neuronalen Netzes wie die Anzahl der Ebenen (sogenannte "Layer") - angepasst. Unabhängig davon, ob ein Modell oder ein anpassbarer Algorithmus verwendet wird, ist stets eine Voraussetzung der Erzeugung, dass Eingangsdaten vorgegeben werden und zu den Eingangsdaten zugehörige Ausgangsdaten ebenfalls vorgegeben werden, und die Übertragung durch das Modell bzw. den Algorithmus insbesondere iterativ angepasst wird, bis das Modell bzw. der Algorithmus selbstständig auf lediglich die Eingangsdaten hin zu Ausgangsdaten gelangt, die den vorgegebenen entsprechen. Ist dieser Zustand erreicht, ist das fertig trainierte Modell bzw. der fertig ausgelegte Algorithmus in der Lage, mit aktuellen Eingangsdaten aus der Realität entsprechende Ausgangsdaten zu ermitteln, die bestimmungsgemäß der Realität entsprechen mögen, in diesem Fall eine korrekte Vervollständigung von Daten über weitere Verkehrsteilnehmer.
Bevorzugt erfolgt das maschinelle Lernen mit den vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz so, dass Daten des vollständigen Datensatzes verwendet werden, die im reduzierten Datensatz nicht vorhanden sind. Insbesondere umfassen die vorgegebenen Ausgangsgrößen sämtliche Daten des vollständigen Datensatzes.
Bevorzugt ist das Modell bzw. der Algorithmus auch dazu in der Lage, zu erkennen, ob sämtliche relevanten Akteure des Szenarios im Datensatz vorliegen. Zusätzlich hierzu kann der reduzierte Datensatz, und insbesondere ein auf mehrere Weisen reduzierter vollständiger Datensatz, für weitere Zwecke dienen, insbesondere Training, Validierung und Tests von den erhaltenen Modellen und Algorithmen. Weiterhin kann vorgesehen sein, dass im Begriff des "Modells" eine Vielzahl von Teilmodellen inbegriffen ist, indem beispielsweise für jeden geschätzten weiteren Verkehrsteilnehmer und dessen Trajekto- rien ein eigenes abgrenzbares Teilmodell ausgeführt wird. Die Vielzahl dieser Teilmodelle wird jedoch unter dem oben und im Folgenden gebrauchten Begriff des "Modells" verstanden. Ähnliches gilt für den Algorithmus.
Das maschinelle Lernen nutzt dabei insbesondere implizit bekannte Situationen und Muster aus, wie beispielsweise die Reaktion eines sensorisch für das Ego- Fahrzeug beobachtbaren weiteren Verkehrsteilnehmers auf einen dritten Verkehrsteilnehmer, der jedoch sensorisch für das Ego- Fahrzeug nicht erkennbar ist. Eine solche Reaktion kann beispielsweise ein Ausweichen sein, ein Vorfahrt-Gewähren, oder Ähnliches. Aus der Reaktion des weiteren Verkehrsteilnehmers, welcher sensorisch erfasst wird, kann somit auf die Anwesenheit und die Trajektorie des dritten weiteren Verkehrsteilnehmers geschlossen werden - dies entspricht der Vervollständigung des Datensatzes, welcher im vorliegenden Beispiel zunächst unvollständig ist und zunächst nur den sensorisch für das Ego- Fahrzeug beobachtbaren weiteren Verkehrsteilnehmer umfasst.
Wenn das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird, kann dabei einerseits in jeder Wiederholung derselbe vollständige Datensatz zum Vorgeben der Ausgangsdaten verwendet werden, oder andererseits auch der vollständige Datensatz ausgewechselt werden, um eine neue Datenbasis für eine weitere Vielzahl reduzierter Datensätze zu bieten. Der Begriff "plausibel" wird hierbei verwendet, da das Modell bzw. der Algorithmus die Verkehrssituation auf eine realistische Weise vervollständigen soll, sodass eine rekonstruierte Verkehrssituation mit Vervollständigung zu dem gleichen Datensatz des aufzeichnenden Fahrzeuges führen würde. Trotzdem kann sich die real aufgezeichnete Situation von der rekonstruierten unterscheiden. Ein reales Ego- Fahrzeug würde zum Beispiel die Fahrt bei kreuzendem Verkehr verlangsamen, unabhängig davon, ob es sich bei dem kreuzenden Verkehr um einen LKW oder ein Fahrrad handelt.
Es ist daher eine vorteilhafte Wirkung der Erfindung, dass ein Modell bzw. ein Algorithmus bereitgestellt wird, der es ermöglicht, unvollständig erfasste Daten über eine Verkehrssituation plausibel zu vervollständigen. Es wird demnach die sogenannte "Ground-Truth" aus individuellen Shadowing-Aufzeichnungen rekonstruiert, ohne dass hierfür eine stationäre Verkehrsüberwachung notwendig wäre - vielmehr werden aus bereits vorhandenen Daten zusätzliche Informationen zur Schätzung nicht sensorisch erfasster Realität gewonnen.
Gemäß einer vorteilhaften Ausführungsform wird eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Modell bzw. der Algorithmus eine Plausibilitätskontrolle, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird.
Gemäß einer weiteren vorteilhaften Ausführungsform sind im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert.
Das prinzipielle Vorgehen beim Training des Modells bzw. Auslegen des Algorithmus ist, dass zu jedem Verkehrsteilnehmer auf Basis von einem oder mehreren Modellen eine oder mehrere plausible Trajektorien geschätzt werden. Weicht ein Verkehrsteilnehmer von diesen Trajektorien ab, verhält sich also auffällig bzw. unplausibel, wird diese Abweichung durch das Zufügen weiterer Verkehrsteilnehmer versucht in ein plausibles Verhalten zu überführen.
Da es prinzipiell dafür unendlich viele Möglichkeiten gibt, werden beim Hinzufügen von Verkehrsteilnehmern verschiedene Punkte beachtet: Zieht ein Fahrzeug plötzlich nach links und anschließend wieder zurück in die Mitte des Fahrstreifens, wird ein Verkehrsteilnehmer z.B. Fußgänger, der auf die Straße läuft, eher auf die rechte Seite des Fahrzeugs per Schätzung platziert.
Gemäß einer weiteren vorteilhaften Ausführungsform wird das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer an Orten per Schätzung platziert werden, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen.
Gemäß einer weiteren vorteilhaften Ausführungsform werden beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer entfernt, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen.
Ein weiterer Aspekt der Erfindung betrifft ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation T rajektorien der weiteren Verkehrsteilnehmer umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego- Fahrzeugs enthalten sind.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das System für ein erstes Ego- Fahrzeug und dazu ausgeführt, durch Datenfusion von einem zweiten Ego- Fahrzeug übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego- Fahrzeugs zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren. Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben.
Bevorzugt werden die jeweiligen vervollständigten Daten mit einem Wert der jeweiligen berechneten Wahrscheinlichkeit dafür versehen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteilnehmer die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer umfassen.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 : Ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 2: Ein System für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung. Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation. Die Schritte des Verfahrens umfassen:
- Bereitstellen S1 eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs 1 und die Trajektorien aller weiterer Verkehrsteilnehmer 3 der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst;
- Reduzieren S2 des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer 3 zu einem reduzierten Datensatz;
- Erzeugen S3 des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer 3 zu erzeugen;
Fig. 2 zeigt ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation im Einsatz. Das System basiert auf den Ergebnissen des Verfahrens der Fig. 1 und ist beinhaltet das Ausführen eines Modells, wobei für die Ausführung des Modells Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs 1 basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer 3 umfassen, die unvollständig sein können. Das Ego- Fahrzeug 1 weist hierbei eine Vielzahl von Sensoren auf, wie Lidar, Radar, Ultraschall- Abstandssensoren, Stereokameras, etc.; einerseits weisen die Sensoren alle endliche Reichweiten auf, andererseits sind in manchen Situationen, wie die in der Fig. 2 gezeigte, durch Verdeckungen von Bäumen, Gebäuden und Ähnliches andere Verkehrsteilnehmer 3 im näheren Umfeld des Ego- Fahrzeugs 1 nicht sensorisch erfassbar. Die in der Fig. 2 dargestellten weiteren Verkehrsteilnehmer 3 sind beide relevant für das Ego- Fahrzeug 1 , um das gezeigte Szenario an einer Kreuzung beurteilen zu können und über ein Entscheidungsfindungsmodul entsprechende Fahrmanöver vorzugeben zu können. Da jedoch der sensorische Erfassungsradius R begrenzt ist, wird nur der rechte untere weitere Verkehrsteilnehmer 3 erfasst, jedoch nicht der sich von oben nähernde weitere Verkehrsteilnehmer 3. Dieser liegt außerhalb des Radius R und wird außerdem durch ein Gebäude an der Kreuzung verdeckt. Der sich von dem rechten Straßenast nähernde weitere Verkehrsteilnehmer 3 wird jedoch sensorisch vom Ego- Fahrzeug 1 erfasst, sodass dessen Trajektorie unmittelbar aus den Sensordaten des Ego- Fahrzeugs 1 ermittelt werden kann. Aus dieser des sich von rechts nähernden weiteren Verkehrsteilnehmer 3 ausgeführten Trajektorie wird demnach vom Ego- Fahrzeug 1 erkannt, dass sich dieser weitere Verkehrsteilnehmer 3 in Reaktion auf etwas verändert verhält, nämlich dieser abbremst und langsam an den aus seiner Sicht von rechts einbiegenden Straßenast annähert. Das nach Fig. 1 trainierte Modell für einen jeweiligen Verkehrsteilnehmer wird mit den Daten einer digitalen Karte, der Positionsbestimmung des Ego- Fahrzeugs 1 und der bestimmten Position des rechten sensorisch erfassten weiteren Verkehrsteilnehmers 3 abgeglichen, und der Systemausgang dieses Modells erzeugt per Schätzung einen zusätzlichen weiteren Verkehrsteilnehmer 3, der nicht sensorisch erfassbar für das Ego- Fahrzeug 1 ist. Dieser per Schätzung ermittelte und hinzugefügte weitere Verkehrsteilnehmer 3 entspricht in der Fig. 2 dem sich von oben nähernden weiteren Verkehrsteilnehmer 3, dessen Existenz mit einer gewissen Wahrscheinlichkeit für das Ego- Fahrzeug 1 fortan angenommen wird. Die Trajektorie des weiteren Verkehrsteilnehmers 3 ist demnach insoweit für das Ego- Fahrzeug 1 bekannt, als dass in den Ausgangsdaten des Modells beinhaltet ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 in der aus Sicht des Ego- Fahrzeugs 1 oberen Straße befindet, mit Fahrtrichtung nach unten, sodass dieser zusätzliche weitere Verkehrsteilnehmer 3 in einer Vorfahrtsituation für den sensorisch erfassbaren weiteren Verkehrsteilnehmer 3 auftaucht und damit zu rechnen ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 von oben in einem relevanten Bereich um das Ego- Fahrzeug 1 in Kürze befinden wird. Es entstehen an diesem Punkt Alternativen einer Bifurkation - beide Alternativen werden hierbei vom Modell ausgegeben und in ein Entscheidungsmodul des Ego- Fahrzeugs 1 zur Bestimmung des weiteren eigenen Verhaltens überführt.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste
1 Ego- Fahrzeug
3 Verkehrsteilnehmer
S1 Bereitstellen S2 Reduzieren
S3 Erzeugen
R sensorischer Erfassungsradius

Claims

Patentansprüche
1. Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte:
- Bereitstellen (S1) eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs (1) und die Trajektorien aller weiterer Verkehrsteilnehmer (3) der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst;
- Reduzieren (S2) des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer (3) zu einem reduzierten Datensatz;
- Erzeugen (S3) des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus einem unvollständigen Datensatz durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer (3) zu erzeugen; wobei das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird.
2. Verfahren nach Anspruch 1 , wobei eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Modell bzw. der Algorithmus eine Plausibilitätskontrolle umfasst, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug (1) sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer (3) bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers (3) von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers (3) vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer (3) erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird. Verfahren nach Anspruch 3, wobei im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert sind. Verfahren nach einem der Ansprüche 3 bis 4, wobei das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt wird, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer (3) an Orten virtuell platziert werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer (3) entfernt werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen. System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs (1) basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer (3) umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation Trajektorien der weiteren Verkehrsteilnehmer (3) umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego- Fahrzeugs (1) enthalten sind. System nach Anspruch 7, wobei das System für ein erstes Ego- Fahrzeug (1) ist und dazu ausgeführt ist, durch Datenfusion von einem zweiten Ego- Fahrzeug (1) übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego- Fahrzeugs (1) zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren. System nach einem der Ansprüche 7 bis 8, wobei das System dazu ausgeführt ist, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben. System nach Anspruch 9, wobei das System dazu ausgeführt ist, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer (3) ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer (3) plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteil- nehmer (3) die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer (3) und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer (3) umfassen.
PCT/EP2023/080306 2022-11-17 2023-10-31 Maschinell gelernte verkehrssituations-vervollständigung Ceased WO2024104775A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23800768.6A EP4619961A1 (de) 2022-11-17 2023-10-31 Maschinell gelernte verkehrssituations-vervollständigung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022212266.6A DE102022212266A1 (de) 2022-11-17 2022-11-17 Maschinell gelernte Verkehrssituations-Vervollständigung
DE102022212266.6 2022-11-17

Publications (1)

Publication Number Publication Date
WO2024104775A1 true WO2024104775A1 (de) 2024-05-23

Family

ID=88695417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/080306 Ceased WO2024104775A1 (de) 2022-11-17 2023-10-31 Maschinell gelernte verkehrssituations-vervollständigung

Country Status (3)

Country Link
EP (1) EP4619961A1 (de)
DE (1) DE102022212266A1 (de)
WO (1) WO2024104775A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20200353943A1 (en) * 2019-05-07 2020-11-12 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
WO2021178299A1 (en) * 2020-03-04 2021-09-10 Nec Laboratories America, Inc. Multi-agent trajectory prediction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014203805B4 (de) * 2014-03-03 2025-07-17 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zur Erkennung eines sensorisch nicht erfassbaren Kollisionspartners
DE102017212277B3 (de) * 2017-07-18 2018-09-06 Robert Bosch Gmbh Gefahrerkennung bei beabsichtigtem Spurwechsel
DE102020004341A1 (de) * 2020-07-20 2020-11-19 Daimler Ag Verfahren zum automatischen Queren eines Kreuzungsbereichs mit einem Fahrzeug
DE102021003286A1 (de) * 2021-06-25 2022-01-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US20200353943A1 (en) * 2019-05-07 2020-11-12 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
WO2021178299A1 (en) * 2020-03-04 2021-09-10 Nec Laboratories America, Inc. Multi-agent trajectory prediction

Also Published As

Publication number Publication date
EP4619961A1 (de) 2025-09-24
DE102022212266A1 (de) 2024-05-23

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102016212700A1 (de) Verfahren und System zur Steuerung eines Fahrzeugs
EP3543985A1 (de) Simulieren verschiedener verkehrssituationen für ein testfahrzeug
EP3616184A1 (de) Verfahren, computerprogrammprodukt, computer-lesbares medium, steuergerät und fahrzeug umfassen das steuergerät zum bestimmen eines kollektiven manövers von wenigstens zwei fahrzeugen
DE102019216836A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
DE102017006338B4 (de) Verfahren zum effizienten Validieren und der sicheren Applikation von autonomen und teilautonomen Fahrzeugen
DE102019203712A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
EP3748454A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102021004426A1 (de) Verfahren zum Trainieren einer autonomen Fahrfunktion
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
WO2019206792A1 (de) Verfahren und vorrichtung zur umsetzung eines eingangsbildes einer ersten domäne in ein ausgangsbild einer zweiten domäne
WO2022251890A1 (de) Verfahren und system zum testen eines fahrerassistenzsystems für ein fahrzeug
DE112020007538T5 (de) Fahrunterstützungsvorrichtung, Lernvorrichtung, Fahrunterstützungsverfahren, Fahrunterstützungsprogramm, Gelerntes-Modellerzeugungsverfahren und Datenträger mit Gelerntes-Modellerzeugungsprogramm
DE102019101613A1 (de) Simulieren verschiedener Verkehrssituationen für ein Testfahrzeug
DE102020202540A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
AT524822B1 (de) Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
DE102022208519A1 (de) Computerimplementiertes Verfahren und Computerprogramm zur Bewegungsplanung eines Ego-Fahrsystems in einer Verkehrssituation, computerimplementiertes Verfahren zur Bewegungsplanung eines Ego-Fahrsystems in einer realen Verkehrssituation Steuergerät für ein Ego-Fahrzeug
WO2024104775A1 (de) Maschinell gelernte verkehrssituations-vervollständigung
DE102021126820A1 (de) Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem
DE102023124870B4 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
EP4673930A1 (de) Limitierter agentenmodelleinsatz in hybrid-verkehrssimulation mit realtrajektorien
DE102018216719A1 (de) Schlüsselbildbasierter autonomer Fahrzeugbetrieb
DE202017105656U1 (de) Prädiktives Messsystem, Aktorsteuerungssystem und Vorrichtung zum Betreiben des prädiktiven Messsystems und/oder des Aktorsteuerungssystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23800768

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023800768

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023800768

Country of ref document: EP

Effective date: 20250617

WWP Wipo information: published in national office

Ref document number: 2023800768

Country of ref document: EP