[go: up one dir, main page]

EP4619961A1 - Machine-learned traffic situation completion - Google Patents

Machine-learned traffic situation completion

Info

Publication number
EP4619961A1
EP4619961A1 EP23800768.6A EP23800768A EP4619961A1 EP 4619961 A1 EP4619961 A1 EP 4619961A1 EP 23800768 A EP23800768 A EP 23800768A EP 4619961 A1 EP4619961 A1 EP 4619961A1
Authority
EP
European Patent Office
Prior art keywords
model
data set
algorithm
road users
trajectories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23800768.6A
Other languages
German (de)
French (fr)
Inventor
Sebastian Frank
Christoph THIEM
Ulrich Eberle
Nico Weber
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP4619961A1 publication Critical patent/EP4619961A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, as well as a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle.
  • the behavior of other road users is typically predicted, particularly with regard to their trajectories - in terms of the actions and reactions of the road users.
  • relevant scenarios are typically considered, which are used, for example, in a bird's eye view simulation (a simulation with information from a bird's perspective) to model traffic environments with acting and reacting road users.
  • these traffic environment models are based on complete descriptions of scenarios, the information for which is obtained, for example, by using drones for traffic monitoring.
  • data from a bird's eye view obtained, for example, by using unmanned aerial vehicles or other stationary traffic monitoring systems, are usually not available during regular operation of a vehicle.
  • the object of the invention is therefore to enable the utilization of incomplete traffic data, which were recorded in particular from the ego perspective of a road user (according to the so-called individual shadowing), reliably by completing them.
  • a first aspect of the invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle, comprising the steps:
  • the complete data set includes the trajectory of an ego vehicle and the trajectories of all other road users in the traffic situation within a given time window;
  • the model or algorithm generated by the method according to the invention serves - when fully generated - to complete data about other road users in a traffic situation recorded by sensors from a first-person perspective of a vehicle.
  • a model or an algorithm is used is a matter of interpretation.
  • an artificial neural network can be used for a model
  • other estimators can also be applied, such as a hidden Markov model, in which the incomplete data are viewed as emissions from the system.
  • an algorithm is a sequential series of instructions.
  • a Kalman filter is an algorithm, not a model.
  • the model and algorithm differ in the points mentioned above, they are functionally equivalent in order to provide a system that is suitable for completing data about other road users in a traffic situation recorded by sensors from a first-person perspective of a (first-person) vehicle.
  • the traffic situation includes at least the trajectories of the vehicle under consideration, also referred to as ego vehicle, as well as of the other road users.
  • trajectory is also justified if the ego vehicle or the other road users are not moving, since the term trajectory indicates a trajectory with time information, and therefore a static position can also be described by a trajectory with time information.
  • the complete data set therefore describes a traffic situation in which both the ego vehicle and the other road users find themselves.
  • the ego vehicle is the vehicle under consideration which, in analogy to the training phase, could use the fully trained model or the fully designed algorithm for completing data on the data recorded by sensors from its ego perspective in its regular operation. It is not necessary that such a model or algorithm is already provided for the ego vehicle in the complete data set, because the complete data set only serves to train such a model or algorithm, and the system for executing the finished model or algorithm is provided for the later regular operation of a vehicle and is not necessarily functionally included in the complete data set.
  • the role of the ego vehicle in the complete data set defines the ego perspective according to which the data of the complete data set or the already reduced data set are to be aligned, as if the data had been recorded sensorily from this ego perspective. It may be necessary for the reduced data set to be prepared as if the data from the respective data set had been recorded from an ego perspective of the vehicle using the system for executing the model or algorithm; then it does not matter whether the complete data set is first transformed (if it is not yet ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question, or whether the complete data set is first reduced accordingly and the reduced data set is transformed (if it is not already ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question.
  • the complete data set in its original form includes information from a bird's eye view.
  • Possible training data sets from a drone perspective would be, for example, the HighD data set ("HighD Dataset” from www.highd-dataset.com) or, in urban areas, the InD data set ("inD Dataset” from www.ind-dataset.com).
  • the completeness of the data means that a so-called "ground truth" is available.
  • a bird's eye view cannot be determined from the ego perspective using the ego vehicle's own sensors. It can A transformation must then be carried out that references the data to the sensor view of the ego vehicle. This serves to maintain consistency, so that when training the model or algorithm, input data with a comparable reference and comparable perspectives are used as in the later operation of the vehicle when applying the fully trained model or fully designed algorithm.
  • the reduction of the complete data set by one or more of the other road users to a reduced data set is preferably only carried out to the extent that at least one other road user always remains in the reduced data set in order to provide a data basis for estimating the behavior of other users based on the behavior of this one other road user.
  • the model or algorithm is created by machine learning. In the case of artificial neural networks, this can be done by so-called "back propagation". In particular, machine learning is carried out in a form of supervised learning.
  • the parameters (weights) - and in rare complex cases, optionally also the structure of the artificial neural network such as the number of levels (so-called "layers") - are adjusted.
  • a prerequisite for creation is always that input data is specified and output data associated with the input data is also specified, and the transmission by the model or algorithm is adjusted, in particular iteratively, until the model or algorithm independently arrives at only the input data and output data that correspond to the specified ones.
  • the fully trained model or the fully designed algorithm is able to use current input data from reality to determine corresponding output data that correspond to reality as intended. may correspond, in this case, to the correct completion of data on other road users.
  • machine learning is carried out with the specified output variables of the model or algorithm from the complete data set in such a way that data from the complete data set is used that is not present in the reduced data set.
  • the specified output variables include all data from the complete data set.
  • the model or algorithm is also able to detect whether all relevant actors of the scenario are present in the data set.
  • the reduced data set and in particular a complete data set reduced in several ways, can be used for other purposes, in particular training, validation and testing of the resulting models and algorithms.
  • model includes a large number of sub-models, for example by executing a separate, definable sub-model for each estimated additional road user and their trajectories. However, the large number of these sub-models is understood under the term "model” used above and below. The same applies to the algorithm.
  • machine learning makes use of implicitly known situations and patterns, such as the reaction of another road user that can be observed by the ego vehicle's sensors to a third road user that cannot be detected by the ego vehicle's sensors.
  • a reaction can be, for example, swerving, giving way, or something similar.
  • the presence and trajectory of the third road user can thus be deduced from the reaction of the other road user that is detected by the sensors - this corresponds to the completion of the data set, which in the present example is initially incomplete and initially only includes the other road user that can be observed by the ego vehicle's sensors.
  • the same complete data set can be used to provide the initial data in each iteration, or the complete data set can be replaced to provide a new data basis for another large number of reduced data sets.
  • planning is used here because the model or algorithm is intended to complete the traffic situation in a realistic way, so that a reconstructed traffic situation with completion would lead to the same data set of the recording vehicle. Nevertheless, the actually recorded situation can differ from the reconstructed one. For example, a real ego vehicle would slow down when crossing traffic, regardless of whether the crossing traffic is a truck or a bicycle.
  • a plurality of different reduced data sets are obtained from a single complete data set.
  • the model or the algorithm comprises a plausibility check, wherein the plausibility check is provided with an estimate of a respective trajectory of the road users that can and cannot be detected by sensors by the ego vehicle, wherein if an estimate of a trajectory of a further road user that can be detected by sensors deviates from a sensor-based determined trajectory of this further road user, the model or the algorithm generates an estimated trajectory of a further road user that cannot be detected by sensors and added for completion, wherein the plausibility check is adapted by machine learning when the model or the algorithm is generated.
  • heuristics that remain unchanged during generation are implemented in the model or in the algorithm.
  • the basic procedure for training the model or designing the algorithm is that one or more plausible trajectories are estimated for each road user on the basis of one or more models. If a road user deviates deviates from these trajectories, i.e. behaves in a conspicuous or implausible manner, an attempt is made to convert this deviation into plausible behavior by adding further road users.
  • the machine learning during the generation of the model or algorithm is carried out with the restriction that additional road users who cannot be detected by sensors are added to complete the model and are placed by estimation at locations that lie outside a sensory detection range of the ego vehicle.
  • a further aspect of the invention relates to a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, wherein the system is designed to execute a model or an algorithm, wherein input data based on sensor information from an ego vehicle and comprising data about the trajectories of other road users, which may be incomplete, are used to execute the model or the algorithm, and a complete data set generated by plausible reconstruction is obtained as output data of the model or the algorithm, which data includes trajectories of the other road users for the current traffic situation that are not directly contained in the sensor information of the ego vehicle.
  • the system is designed for a first ego vehicle and to link sensor information transmitted from a second ego vehicle by data fusion in order to expand the first ego vehicle's own sensor information and reduce the amount of data to be completed.
  • the system is designed to determine and output a plurality of possible plausibly completed data.
  • the respective completed data are provided with a value of the respective calculated probability for it.
  • the system is designed to carry out a plausibility analysis for plausible reconstruction, which includes a completeness analysis, wherein the completeness analysis checks whether the existing estimated number of other road users is sufficient to be able to plausibly explain the trajectories of all other road users, wherein the trajectories of all other road users include the trajectories of other road users determined by sensor data and the trajectories of other estimated existing road users estimated by completion.
  • Fig. 1 A method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention.
  • Fig. 2 A system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention.
  • the representations in the figures are schematic and not to scale.
  • Fig. 1 shows a method for generating a model or an algorithm for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle.
  • the steps of the method include:
  • Fig. 2 shows a system in use for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle.
  • the system is based on the results of the method in Fig. 1 and involves executing a model, whereby input data based on sensor information from an ego vehicle 1 and including data about the trajectories of other road users 3, which may be incomplete, are used to execute the model.
  • the ego vehicle 1 has a large number of sensors, such as lidar, radar, ultrasonic distance sensors, stereo cameras, etc.; on the one hand, the sensors all have finite ranges, and on the other hand, in some situations, such as the one shown in Fig.
  • the other road user 3 is located on the lower right and is not However, another road user 3 approaching the right-hand road branch is detected by sensors of the ego vehicle 1, so that its trajectory can be determined directly from the sensor data of the ego vehicle 1. From this trajectory executed by the other road user 3 approaching from the right, the ego vehicle 1 recognizes that this other road user 3 is behaving differently in response to something, namely that it is braking and slowly approaching the road branch which, from its perspective, is turning in from the right.
  • the trajectory of the additional road user 3 is therefore known for the ego vehicle 1 insofar as the initial data of the model includes that this additional road user 3 is in the upper road from the perspective of the ego vehicle 1, with the direction of travel downwards, so that this additional road user 3 appears in a right-of-way situation for the sensor-detectable additional road user 3 and it can be expected that this additional road user 3 from above will soon be in a relevant area around the ego vehicle 1.
  • alternatives of a bifurcation arise - both alternatives are output by the model and transferred to a decision module of the ego vehicle 1 to determine its own further behavior.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for generating a model for completing data on other traffic participants (3) in a traffic situation incompletely detected using sensors, having the steps of: providing (S1) a complete data set on a traffic situation, comprising the trajectories of an ego vehicle (1) and all of the other traffic participants (3); reducing (S2) the complete data set by the trajectories of one or more of the other traffic participants (3); and generating (S3) the model by means of a machine learning process using input variables from the reduced data set and output variables for the model from the complete data set such that the model is designed to generate a complete data set of the respective current traffic situation from an incomplete data set, said complete data set comprising the trajectories of the other traffic participants (3). In the process, the step of generating the model or the algorithm by means of a machine learning process is repeated for a plurality of different reduced data sets.

Description

MASCHINELL GELERNTE VERKEHRSSITUATIONS-VERVOLLSTÄNDIGUNG MACHINE LEARNED TRAFFIC SITUATION COMPLETION

Die Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, sowie ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation. The invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, as well as a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle.

Zur Steuerung von automatisierten Fahrzeugen bzw. zur Ausführung eines Fahrerassistenzsystems eines manuell geführten Fahrzeugs erfolgt typischerweise eine Prädiktion des Verhaltens anderer Verkehrsteilnehmer, insbesondere in Bezug auf ihre Trajektorien - im Sinne der Aktion und der Reaktion der Verkehrsteilnehmer. Zum Zwecke der Prädiktion werden typischerweise relevante Szenarien betrachtet, die zum Beispiel in einer Birds-Eye-View-Simulation (eine Simulation mit Informationen aus der Vogelperspektive) dazu genutzt werden, Verkehrsumgebungen mit agierenden und reagierenden Verkehrsteilnehmern zu modellieren. Idealerweise dienen als Grundlage dieser Verkehrsumgebungsmodelle vollständige Beschreibungen von Szenarien, deren Informationen zum Beispiel durch den Einsatz von Drohnen zur Verkehrsüberwachung gewonnen werden. In der Regel liegen solche Daten aus der Vogelperspektive, gewonnen beispielsweise durch den Einsatz unbemannter Luftfahrzeuge oder anderer stationärer Verkehrsüberwachungssys- teme, im regulären Betrieb eines Fahrzeugs jedoch nicht vor. Es muss in all diesen Fällen auf die alternative Möglichkeit ausgewichen werden, Daten aus jeweiliger Ego-Perspektive eines Fahrzeugs während seines Betriebs im Verkehrsgeschehen zu verwenden - dies wird auch als Shadowing bezeichnet. Diese Daten können jedoch per se nicht unmodifiziert für eine vollständige Kenntnis der Umgebung genügen, da mit den Sensoren der Fahrzeuge nicht alle Informationen wie aus der Vogelperspektive erkannt werden können (zum Beispiel durch Verdeckungen von Verkehrsteilnehmern oder durch eine eingeschränkte Perspektive). To control automated vehicles or to run a driver assistance system for a manually driven vehicle, the behavior of other road users is typically predicted, particularly with regard to their trajectories - in terms of the actions and reactions of the road users. For the purpose of prediction, relevant scenarios are typically considered, which are used, for example, in a bird's eye view simulation (a simulation with information from a bird's perspective) to model traffic environments with acting and reacting road users. Ideally, these traffic environment models are based on complete descriptions of scenarios, the information for which is obtained, for example, by using drones for traffic monitoring. However, such data from a bird's eye view, obtained, for example, by using unmanned aerial vehicles or other stationary traffic monitoring systems, are usually not available during regular operation of a vehicle. In all of these cases, the alternative option of using data from the respective ego perspective of a vehicle during its operation in traffic must be resorted to - this is also known as shadowing. However, these data per se cannot be sufficient, unmodified, to provide complete knowledge of the surroundings, since the vehicle sensors cannot detect all information as if from a bird's eye view (for example, due to obscuration of road users or a restricted perspective).

Aufgabe der Erfindung ist es deshalb, eine Nutzbarmachung von unvollständigen Verkehrsdaten, die insbesondere aus der Egoperspektive eines Verkehrsteilnehmers erfasst wurden (nach dem sogenannten individuellen Shadowing), zuverlässig durch Vervollständigung zu ermöglichen. The object of the invention is therefore to enable the utilization of incomplete traffic data, which were recorded in particular from the ego perspective of a road user (according to the so-called individual shadowing), reliably by completing them.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. The invention results from the features of the independent claims. Advantageous Further developments and refinements are the subject of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte: A first aspect of the invention relates to a method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle, comprising the steps:

- Bereitstellen eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs und die Trajektorien aller weiterer Verkehrsteilnehmer der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst; - Providing a complete data set on a traffic situation, wherein the complete data set includes the trajectory of an ego vehicle and the trajectories of all other road users in the traffic situation within a given time window;

- Reduzieren des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz; - Reducing the complete data set by the trajectories of one or more of the other road users to a reduced data set;

- Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer zu erzeugen; hierbei wird das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt. - Generating the model or algorithm by machine learning with predetermined input variables from the reduced data set and predetermined output variables of the model or algorithm from the complete data set, so that the model or algorithm is designed to generate a complete data set of the current traffic situation, including the trajectories of the other road users, from incomplete data by means of plausible reconstruction; the generation of the model or algorithm by machine learning is repeated for a large number of different reduced data sets.

Das Modell oder der Algorithmus, der nach dem erfindungsgemäßen Verfahren erzeugt wird, dient - wenn fertig erzeugt - zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs erfassten Verkehrssituation. Ob ein Modell oder ein Algorithmus verwendet wird, ist Auslegungsfrage. Während für ein Modell ein künstliches neuronales Netz verwendet werden kann, können auch weitere Schätzer angewendet werden, wie zum Beispiel ein Hidden Markov Modell, bei welchem die unvollständigen Daten als Emissionen des Systems betrachtet werden. Im Gegensatz zu solchen Modellen ist ein Algorithmus eine sequenzielle Abfolge von Instruktionen. Beispielsweise ist ein Kalman-Filter ein Algorithmus, und kein Modell. Modell und Algorithmus unterscheiden sich zwar in den oben genannten Punkten, sind jedoch funktionell gleichwertig, um ein System bereitzustellen, das sich zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines (Ego-)Fahrzeugs erfassten Verkehrssituation eignet. The model or algorithm generated by the method according to the invention serves - when fully generated - to complete data about other road users in a traffic situation recorded by sensors from a first-person perspective of a vehicle. Whether a model or an algorithm is used is a matter of interpretation. While an artificial neural network can be used for a model, other estimators can also be applied, such as a hidden Markov model, in which the incomplete data are viewed as emissions from the system. In contrast to such models, an algorithm is a sequential series of instructions. For example, a Kalman filter is an algorithm, not a model. Although the model and algorithm differ in the points mentioned above, they are functionally equivalent in order to provide a system that is suitable for completing data about other road users in a traffic situation recorded by sensors from a first-person perspective of a (first-person) vehicle.

Die Verkehrssituation umfasst dabei zumindest die Trajektorien des betrachteten Fahrzeugs, auch zu bezeichnen als Ego- Fahrzeug, als auch der weiteren Verkehrsteilnehmer. Der Begriff der Trajektorie ist jedoch auch dann gerechtfertigt, wenn sich das Ego- Fahrzeug oder die weiteren Verkehrsteilnehmer nicht bewegen, da der Begriff der Trajektorie eine Bahnkurve mit Zeitinformation angibt, und demnach auch eine statische Position durch eine Bahnkurve mit Zeitinformation beschrieben werden kann. The traffic situation includes at least the trajectories of the vehicle under consideration, also referred to as ego vehicle, as well as of the other road users. However, the term trajectory is also justified if the ego vehicle or the other road users are not moving, since the term trajectory indicates a trajectory with time information, and therefore a static position can also be described by a trajectory with time information.

Der vollständige Datensatz beschreibt demnach eine Verkehrssituation, in welcher sich sowohl das Ego- Fahrzeug als auch die weiteren Verkehrsteilnehmer befinden. Das Ego- Fahrzeug ist das betrachtete Fahrzeug, das in Analogie zur Trainingsphase das fertig trainierte Modell bzw. den fertig ausgelegten Algorithmus für die Vervollständigung von Daten über die sensorisch aus seiner Egoperspektive erfassten Daten in seinem regulären Betrieb anwenden könnte. Hierbei ist es nicht notwendig, dass im vollständigen Datensatz das Ego-Fahrzeug bereits ein solches Modell bzw. ein solcher Algorithmus vorgesehen ist, denn der vollständige Datensatz dient nur zum Training eines solchen Modells bzw. Algorithmus, und das System zum Ausführen des fertigen Modells bzw. Algorithmus ist für den späteren regulären Betrieb eines Fahrzeugs vorgesehen und im vollständigen Datensatz noch nicht notwendigerweise funktional enthalten. The complete data set therefore describes a traffic situation in which both the ego vehicle and the other road users find themselves. The ego vehicle is the vehicle under consideration which, in analogy to the training phase, could use the fully trained model or the fully designed algorithm for completing data on the data recorded by sensors from its ego perspective in its regular operation. It is not necessary that such a model or algorithm is already provided for the ego vehicle in the complete data set, because the complete data set only serves to train such a model or algorithm, and the system for executing the finished model or algorithm is provided for the later regular operation of a vehicle and is not necessarily functionally included in the complete data set.

Das Ego-Fahrzeug im vollständigen Datensatz definiert jedoch in seiner Rolle die Ego- Perspektive, nach der die Daten des vollständigen Datensatzes oder des bereits reduzierten Datensatzes zu richten sind, als wären die Daten sensorisch aus dieser Ego-Perspektive erfasst worden. Dabei kann es notwendig werden, dass der reduzierte Datensatz so aufbereitet wird, als wären die Daten aus dem jeweiligen Datensatz aus einer Egoperspektive des Fahrzeugs mit dem System zur Ausführung des Modells bzw. des Algorithmus erfasst worden; dann spielt es keine Rolle, ob zunächst der vollständige Datensatz so transformiert wird (wenn er es noch nicht bereit ist), als wäre er sensorisch aus der Ego-Perspektive dieses betrachteten Ego- Fahrzeugs ermittelt worden, oder ob zuerst der vollständige Datensatz entsprechend reduziert wird, und der reduzierte Datensatz so transformiert wird (wenn er es noch nicht bereits ist), als wäre er sensorisch aus der Ego- Perspektive dieses betrachteten Ego-Fahrzeugs ermittelt worden. However, the role of the ego vehicle in the complete data set defines the ego perspective according to which the data of the complete data set or the already reduced data set are to be aligned, as if the data had been recorded sensorily from this ego perspective. It may be necessary for the reduced data set to be prepared as if the data from the respective data set had been recorded from an ego perspective of the vehicle using the system for executing the model or algorithm; then it does not matter whether the complete data set is first transformed (if it is not yet ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question, or whether the complete data set is first reduced accordingly and the reduced data set is transformed (if it is not already ready) as if it had been determined sensorily from the ego perspective of this ego vehicle in question.

Das oben Gesagte kann insbesondere dann zutreffen, wenn der vollständige Datensatz in seiner ursprünglichen Form Informationen aus der Vogelperspektive umfasst. Mögliche Trainingsdatensätze aus Drohnenperspektive wären z.B. der HighD-Datensatz ("HighD Dataset" von www.highd-dataset.com) oder im urbanen Raum der InD-Datensatz ("inD Dataset" von www.ind-dataset.com). Durch die Vollständigkeit der Daten ist eine sogenannte "Ground-Truth" verfügbar. Eine solche Vogelperspektive kann jedoch nicht durch eigene Sensoren des Ego- Fahrzeugs aus der Egoperspektive ermittelt werden. Es kann dann eine Transformation vorzunehmen sein, die die Daten auf die Sensorsicht des Ego- Fahrzeugs referenziert. Dies dient zur Konsistenzwahrung, sodass beim Training des Modells bzw. des Algorithmus Eingangsdaten mit vergleichbarem Bezug und vergleichbaren Sichtweisen verwendet werden, wie im späteren Betrieb des Fahrzeugs bei der Anwendung des fertig trainierten Modells bzw. fertig ausgelegten Algorithmus. The above can be particularly true if the complete data set in its original form includes information from a bird's eye view. Possible training data sets from a drone perspective would be, for example, the HighD data set ("HighD Dataset" from www.highd-dataset.com) or, in urban areas, the InD data set ("inD Dataset" from www.ind-dataset.com). The completeness of the data means that a so-called "ground truth" is available. However, such a bird's eye view cannot be determined from the ego perspective using the ego vehicle's own sensors. It can A transformation must then be carried out that references the data to the sensor view of the ego vehicle. This serves to maintain consistency, so that when training the model or algorithm, input data with a comparable reference and comparable perspectives are used as in the later operation of the vehicle when applying the fully trained model or fully designed algorithm.

Eine Transformation in die Egoperspektive des Ego- Fahrzeugs ist jedoch nicht notwendig, wenn sowohl zum Training des Modells bzw. zur Auslegung des Algorithmus sowie auch während des späteren Betriebs des fertig trainierten Modells bzw. des fertig ausgelegten Algorithmus bereits interpretierte Sensordaten im jeweiligen Datensatz verwendet werden, beispielsweise ermittelte Trajektorien von für die Sensoren des Ego- Fahrzeugs erkennbare weitere Verkehrsteilnehmer. In diesem Fall ist in den Eingangsdaten des Modells bzw. des Algorithmus keine Information mehr über die Perspektive enthalten, mit der die weiteren Verkehrsteilnehmer erfasst worden sind. Es ist vielmehr die Perspektive aufgelöst und zu Informationen über das Verkehrsgeschehen abstrahiert. However, a transformation into the ego perspective of the ego vehicle is not necessary if already interpreted sensor data is used in the respective data set both for training the model or for designing the algorithm and during the subsequent operation of the fully trained model or the fully designed algorithm, for example determined trajectories of other road users that are recognizable to the sensors of the ego vehicle. In this case, the input data of the model or algorithm no longer contains any information about the perspective with which the other road users were recorded. Rather, the perspective is dissolved and abstracted into information about the traffic situation.

Das Reduzieren des vollständigen Datensatzes um einen oder mehrere der weiteren Verkehrsteilnehmer zu einem reduzierten Datensatz erfolgt bevorzugt nur insoweit, dass immer zumindest ein weiterer Verkehrsteilnehmer im reduzierten Datensatz übrigbleibt, um eine Datengrundlage zur Schätzung des Verhaltens weiterer Teilnehmer zu ermöglichen, auf Basis des Verhaltens dieses einen weiteren Verkehrsteilnehmers. The reduction of the complete data set by one or more of the other road users to a reduced data set is preferably only carried out to the extent that at least one other road user always remains in the reduced data set in order to provide a data basis for estimating the behavior of other users based on the behavior of this one other road user.

Das Erzeugen des Modells bzw. des Algorithmus erfolgt durch maschinelles Lernen. Im Falle von künstlichen neuronalen Netzen kann dies durch die sogenannte "back propagation" erfolgen. Insbesondere ist das maschinelle Lernen in einer Form des überwachten Lernens durchgeführt. Beim Erzeugen des Modells bzw. des Algorithmus werden im Falle eines künstlichen neuronalen Netzes die Parameter (Gewichte) - und in seltenen komplexen Fällen optional zusätzlich die Struktur des künstlichen neuronalen Netzes wie die Anzahl der Ebenen (sogenannte "Layer") - angepasst. Unabhängig davon, ob ein Modell oder ein anpassbarer Algorithmus verwendet wird, ist stets eine Voraussetzung der Erzeugung, dass Eingangsdaten vorgegeben werden und zu den Eingangsdaten zugehörige Ausgangsdaten ebenfalls vorgegeben werden, und die Übertragung durch das Modell bzw. den Algorithmus insbesondere iterativ angepasst wird, bis das Modell bzw. der Algorithmus selbstständig auf lediglich die Eingangsdaten hin zu Ausgangsdaten gelangt, die den vorgegebenen entsprechen. Ist dieser Zustand erreicht, ist das fertig trainierte Modell bzw. der fertig ausgelegte Algorithmus in der Lage, mit aktuellen Eingangsdaten aus der Realität entsprechende Ausgangsdaten zu ermitteln, die bestimmungsgemäß der Realität entsprechen mögen, in diesem Fall eine korrekte Vervollständigung von Daten über weitere Verkehrsteilnehmer. The model or algorithm is created by machine learning. In the case of artificial neural networks, this can be done by so-called "back propagation". In particular, machine learning is carried out in a form of supervised learning. When creating the model or algorithm, in the case of an artificial neural network, the parameters (weights) - and in rare complex cases, optionally also the structure of the artificial neural network such as the number of levels (so-called "layers") - are adjusted. Regardless of whether a model or an adaptable algorithm is used, a prerequisite for creation is always that input data is specified and output data associated with the input data is also specified, and the transmission by the model or algorithm is adjusted, in particular iteratively, until the model or algorithm independently arrives at only the input data and output data that correspond to the specified ones. Once this state has been reached, the fully trained model or the fully designed algorithm is able to use current input data from reality to determine corresponding output data that correspond to reality as intended. may correspond, in this case, to the correct completion of data on other road users.

Bevorzugt erfolgt das maschinelle Lernen mit den vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz so, dass Daten des vollständigen Datensatzes verwendet werden, die im reduzierten Datensatz nicht vorhanden sind. Insbesondere umfassen die vorgegebenen Ausgangsgrößen sämtliche Daten des vollständigen Datensatzes. Preferably, machine learning is carried out with the specified output variables of the model or algorithm from the complete data set in such a way that data from the complete data set is used that is not present in the reduced data set. In particular, the specified output variables include all data from the complete data set.

Bevorzugt ist das Modell bzw. der Algorithmus auch dazu in der Lage, zu erkennen, ob sämtliche relevanten Akteure des Szenarios im Datensatz vorliegen. Zusätzlich hierzu kann der reduzierte Datensatz, und insbesondere ein auf mehrere Weisen reduzierter vollständiger Datensatz, für weitere Zwecke dienen, insbesondere Training, Validierung und Tests von den erhaltenen Modellen und Algorithmen. Weiterhin kann vorgesehen sein, dass im Begriff des "Modells" eine Vielzahl von Teilmodellen inbegriffen ist, indem beispielsweise für jeden geschätzten weiteren Verkehrsteilnehmer und dessen Trajekto- rien ein eigenes abgrenzbares Teilmodell ausgeführt wird. Die Vielzahl dieser Teilmodelle wird jedoch unter dem oben und im Folgenden gebrauchten Begriff des "Modells" verstanden. Ähnliches gilt für den Algorithmus. Preferably, the model or algorithm is also able to detect whether all relevant actors of the scenario are present in the data set. In addition to this, the reduced data set, and in particular a complete data set reduced in several ways, can be used for other purposes, in particular training, validation and testing of the resulting models and algorithms. Furthermore, it can be provided that the term "model" includes a large number of sub-models, for example by executing a separate, definable sub-model for each estimated additional road user and their trajectories. However, the large number of these sub-models is understood under the term "model" used above and below. The same applies to the algorithm.

Das maschinelle Lernen nutzt dabei insbesondere implizit bekannte Situationen und Muster aus, wie beispielsweise die Reaktion eines sensorisch für das Ego- Fahrzeug beobachtbaren weiteren Verkehrsteilnehmers auf einen dritten Verkehrsteilnehmer, der jedoch sensorisch für das Ego- Fahrzeug nicht erkennbar ist. Eine solche Reaktion kann beispielsweise ein Ausweichen sein, ein Vorfahrt-Gewähren, oder Ähnliches. Aus der Reaktion des weiteren Verkehrsteilnehmers, welcher sensorisch erfasst wird, kann somit auf die Anwesenheit und die Trajektorie des dritten weiteren Verkehrsteilnehmers geschlossen werden - dies entspricht der Vervollständigung des Datensatzes, welcher im vorliegenden Beispiel zunächst unvollständig ist und zunächst nur den sensorisch für das Ego- Fahrzeug beobachtbaren weiteren Verkehrsteilnehmer umfasst. In particular, machine learning makes use of implicitly known situations and patterns, such as the reaction of another road user that can be observed by the ego vehicle's sensors to a third road user that cannot be detected by the ego vehicle's sensors. Such a reaction can be, for example, swerving, giving way, or something similar. The presence and trajectory of the third road user can thus be deduced from the reaction of the other road user that is detected by the sensors - this corresponds to the completion of the data set, which in the present example is initially incomplete and initially only includes the other road user that can be observed by the ego vehicle's sensors.

Wenn das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird, kann dabei einerseits in jeder Wiederholung derselbe vollständige Datensatz zum Vorgeben der Ausgangsdaten verwendet werden, oder andererseits auch der vollständige Datensatz ausgewechselt werden, um eine neue Datenbasis für eine weitere Vielzahl reduzierter Datensätze zu bieten. Der Begriff "plausibel" wird hierbei verwendet, da das Modell bzw. der Algorithmus die Verkehrssituation auf eine realistische Weise vervollständigen soll, sodass eine rekonstruierte Verkehrssituation mit Vervollständigung zu dem gleichen Datensatz des aufzeichnenden Fahrzeuges führen würde. Trotzdem kann sich die real aufgezeichnete Situation von der rekonstruierten unterscheiden. Ein reales Ego- Fahrzeug würde zum Beispiel die Fahrt bei kreuzendem Verkehr verlangsamen, unabhängig davon, ob es sich bei dem kreuzenden Verkehr um einen LKW oder ein Fahrrad handelt. When the generation of the model or algorithm by machine learning is repeated for a large number of different reduced data sets, the same complete data set can be used to provide the initial data in each iteration, or the complete data set can be replaced to provide a new data basis for another large number of reduced data sets. The term "plausible" is used here because the model or algorithm is intended to complete the traffic situation in a realistic way, so that a reconstructed traffic situation with completion would lead to the same data set of the recording vehicle. Nevertheless, the actually recorded situation can differ from the reconstructed one. For example, a real ego vehicle would slow down when crossing traffic, regardless of whether the crossing traffic is a truck or a bicycle.

Es ist daher eine vorteilhafte Wirkung der Erfindung, dass ein Modell bzw. ein Algorithmus bereitgestellt wird, der es ermöglicht, unvollständig erfasste Daten über eine Verkehrssituation plausibel zu vervollständigen. Es wird demnach die sogenannte "Ground-Truth" aus individuellen Shadowing-Aufzeichnungen rekonstruiert, ohne dass hierfür eine stationäre Verkehrsüberwachung notwendig wäre - vielmehr werden aus bereits vorhandenen Daten zusätzliche Informationen zur Schätzung nicht sensorisch erfasster Realität gewonnen. It is therefore an advantageous effect of the invention that a model or an algorithm is provided that makes it possible to plausibly complete incompletely recorded data about a traffic situation. The so-called "ground truth" is therefore reconstructed from individual shadowing recordings without the need for stationary traffic monitoring - instead, additional information is obtained from existing data to estimate reality that is not recorded by sensors.

Gemäß einer vorteilhaften Ausführungsform wird eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen. According to an advantageous embodiment, a plurality of different reduced data sets are obtained from a single complete data set.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Modell bzw. der Algorithmus eine Plausibilitätskontrolle, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird. According to a further advantageous embodiment, the model or the algorithm comprises a plausibility check, wherein the plausibility check is provided with an estimate of a respective trajectory of the road users that can and cannot be detected by sensors by the ego vehicle, wherein if an estimate of a trajectory of a further road user that can be detected by sensors deviates from a sensor-based determined trajectory of this further road user, the model or the algorithm generates an estimated trajectory of a further road user that cannot be detected by sensors and added for completion, wherein the plausibility check is adapted by machine learning when the model or the algorithm is generated.

Gemäß einer weiteren vorteilhaften Ausführungsform sind im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert. According to a further advantageous embodiment, heuristics that remain unchanged during generation are implemented in the model or in the algorithm.

Das prinzipielle Vorgehen beim Training des Modells bzw. Auslegen des Algorithmus ist, dass zu jedem Verkehrsteilnehmer auf Basis von einem oder mehreren Modellen eine oder mehrere plausible Trajektorien geschätzt werden. Weicht ein Verkehrsteilnehmer von diesen Trajektorien ab, verhält sich also auffällig bzw. unplausibel, wird diese Abweichung durch das Zufügen weiterer Verkehrsteilnehmer versucht in ein plausibles Verhalten zu überführen. The basic procedure for training the model or designing the algorithm is that one or more plausible trajectories are estimated for each road user on the basis of one or more models. If a road user deviates deviates from these trajectories, i.e. behaves in a conspicuous or implausible manner, an attempt is made to convert this deviation into plausible behavior by adding further road users.

Da es prinzipiell dafür unendlich viele Möglichkeiten gibt, werden beim Hinzufügen von Verkehrsteilnehmern verschiedene Punkte beachtet: Zieht ein Fahrzeug plötzlich nach links und anschließend wieder zurück in die Mitte des Fahrstreifens, wird ein Verkehrsteilnehmer z.B. Fußgänger, der auf die Straße läuft, eher auf die rechte Seite des Fahrzeugs per Schätzung platziert. Since there are in principle an infinite number of possibilities for this, various points are taken into account when adding road users: If a vehicle suddenly moves to the left and then back to the middle of the lane, a road user, e.g. a pedestrian who walks onto the road, is estimated to be placed on the right side of the vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform wird das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer an Orten per Schätzung platziert werden, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen. According to a further advantageous embodiment, the machine learning during the generation of the model or algorithm is carried out with the restriction that additional road users who cannot be detected by sensors are added to complete the model and are placed by estimation at locations that lie outside a sensory detection range of the ego vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform werden beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer entfernt, die außerhalb eines sensorischen Erfassungsbereichs des Ego- Fahrzeugs liegen. According to a further advantageous embodiment, when reducing the complete data set, only those of the other road users that lie outside a sensory detection range of the ego vehicle are removed.

Ein weiterer Aspekt der Erfindung betrifft ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation T rajektorien der weiteren Verkehrsteilnehmer umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego- Fahrzeugs enthalten sind. A further aspect of the invention relates to a system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, wherein the system is designed to execute a model or an algorithm, wherein input data based on sensor information from an ego vehicle and comprising data about the trajectories of other road users, which may be incomplete, are used to execute the model or the algorithm, and a complete data set generated by plausible reconstruction is obtained as output data of the model or the algorithm, which data includes trajectories of the other road users for the current traffic situation that are not directly contained in the sensor information of the ego vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform ist das System für ein erstes Ego- Fahrzeug und dazu ausgeführt, durch Datenfusion von einem zweiten Ego- Fahrzeug übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego- Fahrzeugs zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren. Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben. According to a further advantageous embodiment, the system is designed for a first ego vehicle and to link sensor information transmitted from a second ego vehicle by data fusion in order to expand the first ego vehicle's own sensor information and reduce the amount of data to be completed. According to a further advantageous embodiment, the system is designed to determine and output a plurality of possible plausibly completed data.

Bevorzugt werden die jeweiligen vervollständigten Daten mit einem Wert der jeweiligen berechneten Wahrscheinlichkeit dafür versehen. Preferably, the respective completed data are provided with a value of the respective calculated probability for it.

Gemäß einer weiteren vorteilhaften Ausführungsform ist das System dazu ausgeführt, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteilnehmer die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer umfassen. According to a further advantageous embodiment, the system is designed to carry out a plausibility analysis for plausible reconstruction, which includes a completeness analysis, wherein the completeness analysis checks whether the existing estimated number of other road users is sufficient to be able to plausibly explain the trajectories of all other road users, wherein the trajectories of all other road users include the trajectories of other road users determined by sensor data and the trajectories of other estimated existing road users estimated by completion.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen. Advantages and preferred developments of the proposed system result from an analogous and analogous transfer of the statements made above in connection with the proposed method.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Further advantages, features and details emerge from the following description, in which - if necessary with reference to the drawing - at least one embodiment is described in detail. Identical, similar and/or functionally identical parts are provided with the same reference numerals.

Es zeigen: Show it:

Fig. 1 : Ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung. Fig. 1: A method for generating a model or an algorithm for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention.

Fig. 2: Ein System für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation gemäß einem Ausführungsbeispiel der Erfindung. Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich. Fig. 2: A system for completing data about other road users in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle according to an embodiment of the invention. The representations in the figures are schematic and not to scale.

Fig. 1 zeigt ein Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation. Die Schritte des Verfahrens umfassen: Fig. 1 shows a method for generating a model or an algorithm for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle. The steps of the method include:

- Bereitstellen S1 eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs 1 und die Trajektorien aller weiterer Verkehrsteilnehmer 3 der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst; - Providing S1 a complete data set on a traffic situation, wherein the complete data set comprises the trajectory of an ego vehicle 1 and the trajectories of all other road users 3 of the traffic situation within a predetermined time window;

- Reduzieren S2 des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer 3 zu einem reduzierten Datensatz; - Reducing S2 the complete data set by the trajectories of one or more of the other road users 3 to a reduced data set;

- Erzeugen S3 des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus unvollständigen Daten durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer 3 zu erzeugen; - generating S3 of the model or algorithm by machine learning with predetermined input variables from the reduced data set and predetermined output variables of the model or algorithm from the complete data set, so that the model or algorithm is designed to generate a complete data set of the current traffic situation comprising the trajectories of the other road users 3 from incomplete data by means of plausible reconstruction;

Fig. 2 zeigt ein System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer 3 in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation im Einsatz. Das System basiert auf den Ergebnissen des Verfahrens der Fig. 1 und ist beinhaltet das Ausführen eines Modells, wobei für die Ausführung des Modells Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs 1 basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer 3 umfassen, die unvollständig sein können. Das Ego- Fahrzeug 1 weist hierbei eine Vielzahl von Sensoren auf, wie Lidar, Radar, Ultraschall- Abstandssensoren, Stereokameras, etc.; einerseits weisen die Sensoren alle endliche Reichweiten auf, andererseits sind in manchen Situationen, wie die in der Fig. 2 gezeigte, durch Verdeckungen von Bäumen, Gebäuden und Ähnliches andere Verkehrsteilnehmer 3 im näheren Umfeld des Ego- Fahrzeugs 1 nicht sensorisch erfassbar. Die in der Fig. 2 dargestellten weiteren Verkehrsteilnehmer 3 sind beide relevant für das Ego- Fahrzeug 1 , um das gezeigte Szenario an einer Kreuzung beurteilen zu können und über ein Entscheidungsfindungsmodul entsprechende Fahrmanöver vorzugeben zu können. Da jedoch der sensorische Erfassungsradius R begrenzt ist, wird nur der rechte untere weitere Verkehrsteilnehmer 3 erfasst, jedoch nicht der sich von oben nähernde weitere Verkehrsteilnehmer 3. Dieser liegt außerhalb des Radius R und wird außerdem durch ein Gebäude an der Kreuzung verdeckt. Der sich von dem rechten Straßenast nähernde weitere Verkehrsteilnehmer 3 wird jedoch sensorisch vom Ego- Fahrzeug 1 erfasst, sodass dessen Trajektorie unmittelbar aus den Sensordaten des Ego- Fahrzeugs 1 ermittelt werden kann. Aus dieser des sich von rechts nähernden weiteren Verkehrsteilnehmer 3 ausgeführten Trajektorie wird demnach vom Ego- Fahrzeug 1 erkannt, dass sich dieser weitere Verkehrsteilnehmer 3 in Reaktion auf etwas verändert verhält, nämlich dieser abbremst und langsam an den aus seiner Sicht von rechts einbiegenden Straßenast annähert. Das nach Fig. 1 trainierte Modell für einen jeweiligen Verkehrsteilnehmer wird mit den Daten einer digitalen Karte, der Positionsbestimmung des Ego- Fahrzeugs 1 und der bestimmten Position des rechten sensorisch erfassten weiteren Verkehrsteilnehmers 3 abgeglichen, und der Systemausgang dieses Modells erzeugt per Schätzung einen zusätzlichen weiteren Verkehrsteilnehmer 3, der nicht sensorisch erfassbar für das Ego- Fahrzeug 1 ist. Dieser per Schätzung ermittelte und hinzugefügte weitere Verkehrsteilnehmer 3 entspricht in der Fig. 2 dem sich von oben nähernden weiteren Verkehrsteilnehmer 3, dessen Existenz mit einer gewissen Wahrscheinlichkeit für das Ego- Fahrzeug 1 fortan angenommen wird. Die Trajektorie des weiteren Verkehrsteilnehmers 3 ist demnach insoweit für das Ego- Fahrzeug 1 bekannt, als dass in den Ausgangsdaten des Modells beinhaltet ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 in der aus Sicht des Ego- Fahrzeugs 1 oberen Straße befindet, mit Fahrtrichtung nach unten, sodass dieser zusätzliche weitere Verkehrsteilnehmer 3 in einer Vorfahrtsituation für den sensorisch erfassbaren weiteren Verkehrsteilnehmer 3 auftaucht und damit zu rechnen ist, dass sich dieser zusätzliche weitere Verkehrsteilnehmer 3 von oben in einem relevanten Bereich um das Ego- Fahrzeug 1 in Kürze befinden wird. Es entstehen an diesem Punkt Alternativen einer Bifurkation - beide Alternativen werden hierbei vom Modell ausgegeben und in ein Entscheidungsmodul des Ego- Fahrzeugs 1 zur Bestimmung des weiteren eigenen Verhaltens überführt. Fig. 2 shows a system in use for completing data about other road users 3 in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle. The system is based on the results of the method in Fig. 1 and involves executing a model, whereby input data based on sensor information from an ego vehicle 1 and including data about the trajectories of other road users 3, which may be incomplete, are used to execute the model. The ego vehicle 1 has a large number of sensors, such as lidar, radar, ultrasonic distance sensors, stereo cameras, etc.; on the one hand, the sensors all have finite ranges, and on the other hand, in some situations, such as the one shown in Fig. 2, other road users 3 in the immediate vicinity of the ego vehicle 1 cannot be detected by sensors due to obscuration by trees, buildings, and the like. The other road users 3 shown in Fig. 2 are both relevant for the ego vehicle 1 in order to be able to assess the scenario shown at an intersection and to be able to specify appropriate driving maneuvers via a decision-making module. However, since the sensor detection radius R is limited, only the other road user 3 on the lower right is detected, but not the other road user 3 approaching from above. This lies outside the radius R and is also hidden by a building at the intersection. The other road user 3 is located on the lower right and is not However, another road user 3 approaching the right-hand road branch is detected by sensors of the ego vehicle 1, so that its trajectory can be determined directly from the sensor data of the ego vehicle 1. From this trajectory executed by the other road user 3 approaching from the right, the ego vehicle 1 recognizes that this other road user 3 is behaving differently in response to something, namely that it is braking and slowly approaching the road branch which, from its perspective, is turning in from the right. The model trained according to Fig. 1 for a respective road user is compared with the data from a digital map, the position determination of the ego vehicle 1 and the determined position of the right-hand other road user 3 detected by sensors, and the system output of this model generates an additional other road user 3 by estimate who cannot be detected by sensors for the ego vehicle 1. This additional road user 3, which was determined and added by estimation, corresponds in Fig. 2 to the additional road user 3 approaching from above, whose existence is assumed with a certain probability for the ego vehicle 1 from now on. The trajectory of the additional road user 3 is therefore known for the ego vehicle 1 insofar as the initial data of the model includes that this additional road user 3 is in the upper road from the perspective of the ego vehicle 1, with the direction of travel downwards, so that this additional road user 3 appears in a right-of-way situation for the sensor-detectable additional road user 3 and it can be expected that this additional road user 3 from above will soon be in a relevant area around the ego vehicle 1. At this point, alternatives of a bifurcation arise - both alternatives are output by the model and transferred to a decision module of the ego vehicle 1 to determine its own further behavior.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird. Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the disclosed examples and other variations can be derived from them by the person skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also clear that embodiments mentioned by way of example really only represent examples that are not to be understood in any way as a limitation of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to implement the exemplary embodiments in concrete terms, whereby the person skilled in the art, with knowledge of the disclosed inventive concept, can make various changes, for example with regard to the function or the arrangement. individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

Bezugszeichenliste List of reference symbols

1 Ego- Fahrzeug 1 Ego vehicle

3 Verkehrsteilnehmer 3 road users

S1 Bereitstellen S2 Reduzieren S1 Provide S2 Reduce

S3 Erzeugen S3 Create

R sensorischer Erfassungsradius R sensor detection radius

Claims

Patentansprüche Patent claims 1. Verfahren zum Erzeugen eines Modells oder eines Algorithmus für eine Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, aufweisend die Schritte: 1. A method for generating a model or an algorithm for completing data about other road users (3) in a traffic situation that is incompletely recorded by sensors from a first-person perspective of a vehicle, comprising the steps: - Bereitstellen (S1) eines vollständigen Datensatzes über eine Verkehrssituation, wobei der vollständige Datensatz die Trajektorie eines Ego- Fahrzeugs (1) und die Trajektorien aller weiterer Verkehrsteilnehmer (3) der Verkehrssituation innerhalb eines vorgegebenen Zeitfensters umfasst; - Providing (S1) a complete data set on a traffic situation, wherein the complete data set comprises the trajectory of an ego vehicle (1) and the trajectories of all other road users (3) of the traffic situation within a predetermined time window; - Reduzieren (S2) des vollständigen Datensatzes um die Trajektorien eines oder mehrerer der weiteren Verkehrsteilnehmer (3) zu einem reduzierten Datensatz;- reducing (S2) the complete data set by the trajectories of one or more of the other road users (3) to a reduced data set; - Erzeugen (S3) des Modells oder des Algorithmus durch maschinelles Lernen mit vorgegebenen Eingangsgrößen aus dem reduzierten Datensatz und vorgegebenen Ausgangsgrößen des Modells oder des Algorithmus aus dem vollständigen Datensatz, sodass das Modell oder der Algorithmus dazu ausgelegt wird, aus einem unvollständigen Datensatz durch plausible Rekonstruktion einen vollständigen Datensatz der jeweils aktuellen Verkehrssituation umfassend die Trajektorien der weiteren Verkehrsteilnehmer (3) zu erzeugen; wobei das Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen für eine Vielzahl verschiedener reduzierter Datensätze wiederholt wird. - generating (S3) the model or the algorithm by machine learning with predetermined input variables from the reduced data set and predetermined output variables of the model or the algorithm from the complete data set, so that the model or the algorithm is designed to generate a complete data set of the current traffic situation comprising the trajectories of the other road users (3) from an incomplete data set by plausible reconstruction; wherein the generation of the model or the algorithm by machine learning is repeated for a large number of different reduced data sets. 2. Verfahren nach Anspruch 1 , wobei eine Vielzahl verschiedener reduzierter Datensätze aus einem einzigen vollständigen Datensatz gewonnen wird. 2. The method of claim 1, wherein a plurality of different reduced data sets are obtained from a single complete data set. 3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Modell bzw. der Algorithmus eine Plausibilitätskontrolle umfasst, wobei der Plausibilitätskontrolle eine Schätzung einer jeweiligen Trajektorie der durch das Ego- Fahrzeug (1) sensorisch erfassbaren und sensorisch nicht erfassbaren Verkehrsteilnehmer (3) bereitgestellt wird, wobei bei einer Abweichung einer Schätzung einer Trajektorie eines sensorisch erfassbaren weiteren Verkehrsteilnehmers (3) von einer sensorisch basiert ermittelten Trajektorie dieses weiteren Verkehrsteilnehmers (3) vom Modell bzw. vom Algorithmus eine geschätzte Trajektorie eines für die Vervollständigung hinzugefügten weiteren sensorisch nicht erfassbaren Verkehrsteilnehmer (3) erzeugt wird, wobei die Plausibilitätskontrolle beim Erzeugen des Modells oder des Algorithmus durch maschinelles Lernen angepasst wird. Verfahren nach Anspruch 3, wobei im Modell bzw. im Algorithmus bei der Erzeugung unverändert bleibende Heuristiken implementiert sind. Verfahren nach einem der Ansprüche 3 bis 4, wobei das maschinelle Lernen bei der Erzeugung von Modell bzw. Algorithmus mit der Restriktion durchgeführt wird, dass zur Vervollständigung hinzugefügte weitere sensorisch nicht erfassbare Verkehrsteilnehmer (3) an Orten virtuell platziert werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Reduzieren des vollständigen Datensatzes nur solche der weiteren Verkehrsteilnehmer (3) entfernt werden, die außerhalb eines Erfassungsbereichs des Ego- Fahrzeugs (1) liegen. System zur Vervollständigung von Daten über weitere Verkehrsteilnehmer (3) in einer sensorisch aus einer Egoperspektive eines Fahrzeugs unvollständig erfassten Verkehrssituation, wobei das System zum Ausführen eines Modells oder eines Algorithmus ausgeführt ist, wobei für die Ausführung des Modells oder des Algorithmus Eingangsdaten genutzt werden, die auf Sensorinformationen eines Ego- Fahrzeugs (1) basieren und Daten über die Trajektorien weiterer Verkehrsteilnehmer (3) umfassen, die unvollständig sein können, und als Ausgangsdaten des Modells bzw. des Algorithmus ein durch plausible Rekonstruktion erzeugter vollständiger Datensatz erhalten wird, der für die jeweils aktuelle Verkehrssituation Trajektorien der weiteren Verkehrsteilnehmer (3) umfasst, welche nicht unmittelbar in den Sensorinformationen des Ego- Fahrzeugs (1) enthalten sind. System nach Anspruch 7, wobei das System für ein erstes Ego- Fahrzeug (1) ist und dazu ausgeführt ist, durch Datenfusion von einem zweiten Ego- Fahrzeug (1) übermittelte Sensorinformationen zu verknüpfen, um die eigenen Sensorinformationen des ersten Ego- Fahrzeugs (1) zu erweitern und die Menge der zu vervollständigenden Daten zu reduzieren. System nach einem der Ansprüche 7 bis 8, wobei das System dazu ausgeführt ist, eine Vielzahl von möglichen plausibel vervollständigten Daten zu ermitteln und auszugeben. System nach Anspruch 9, wobei das System dazu ausgeführt ist, zur plausiblen Rekonstruktion eine Plausibilitätsanalyse auszuführen, die eine Vollständigkeitsanalyse umfasst, wobei die Vollständigkeitsanalyse überprüft, ob die bestehende geschätzte Zahl weiterer Verkehrsteilnehmer (3) ausreicht, um die Trajektorien aller weiteren Verkehrsteilnehmer (3) plausibel erklären zu können, wobei die Trajektorien aller weiteren Verkehrsteil- nehmer (3) die durch Sensordaten ermittelten Trajektorien weiterer Verkehrsteilnehmer (3) und die durch Vervollständigung geschätzten Trajektorien weiterer geschätzt existierender Verkehrsteilnehmer (3) umfassen. 3. Method according to one of the preceding claims, wherein the model or the algorithm comprises a plausibility check, wherein the plausibility check is provided with an estimate of a respective trajectory of the road users (3) that can be sensed and not sensed by the ego vehicle (1), wherein in the event of a deviation of an estimate of a trajectory of a further road user (3) that can be sensed by the sensor from a sensor-based determined trajectory of this further road user (3), the model or the algorithm generates an estimated trajectory of a further road user (3) that cannot be sensed by the sensor added for completion, wherein the plausibility check is performed when generating the Model or algorithm is adapted by machine learning. Method according to claim 3, wherein heuristics which remain unchanged are implemented in the model or algorithm during generation. Method according to one of claims 3 to 4, wherein the machine learning during generation of the model or algorithm is carried out with the restriction that further road users (3) which cannot be detected by sensors and are added to complete the data set are virtually placed at locations which lie outside a detection range of the ego vehicle (1). Method according to one of the preceding claims, wherein when reducing the complete data set, only those of the further road users (3) which lie outside a detection range of the ego vehicle (1) are removed. System for completing data about other road users (3) in a traffic situation that is incompletely recorded by sensors from an ego perspective of a vehicle, wherein the system is designed to execute a model or an algorithm, wherein input data based on sensor information from an ego vehicle (1) and including data about the trajectories of other road users (3), which may be incomplete, are used to execute the model or the algorithm, and a complete data set generated by plausible reconstruction is obtained as output data of the model or the algorithm, which includes trajectories of the other road users (3) for the current traffic situation that are not directly contained in the sensor information of the ego vehicle (1). System according to claim 7, wherein the system is for a first ego vehicle (1) and is designed to link sensor information transmitted by a second ego vehicle (1) by data fusion in order to expand the first ego vehicle's (1) own sensor information and reduce the amount of data to be completed. System according to one of claims 7 to 8, wherein the system is designed to determine and output a plurality of possible plausibly completed data. System according to claim 9, wherein the system is designed to carry out a plausibility analysis for plausible reconstruction, which includes a completeness analysis, wherein the completeness analysis checks whether the existing estimated number of other road users (3) is sufficient to be able to plausibly explain the trajectories of all other road users (3), wherein the trajectories of all other road users (3) include the trajectories of other road users (3) determined by sensor data and the trajectories of other estimated existing road users (3) estimated by completion.
EP23800768.6A 2022-11-17 2023-10-31 Machine-learned traffic situation completion Pending EP4619961A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022212266.6A DE102022212266A1 (en) 2022-11-17 2022-11-17 Machine-learned traffic situation completion
PCT/EP2023/080306 WO2024104775A1 (en) 2022-11-17 2023-10-31 Machine-learned traffic situation completion

Publications (1)

Publication Number Publication Date
EP4619961A1 true EP4619961A1 (en) 2025-09-24

Family

ID=88695417

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23800768.6A Pending EP4619961A1 (en) 2022-11-17 2023-10-31 Machine-learned traffic situation completion

Country Status (3)

Country Link
EP (1) EP4619961A1 (en)
DE (1) DE102022212266A1 (en)
WO (1) WO2024104775A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014203805B4 (en) * 2014-03-03 2025-07-17 Bayerische Motoren Werke Aktiengesellschaft Driver assistance system for detecting a collision partner that cannot be detected by sensors
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
DE102017212277B3 (en) * 2017-07-18 2018-09-06 Robert Bosch Gmbh Danger detection with intentional lane change
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
US11816901B2 (en) * 2020-03-04 2023-11-14 Nec Corporation Multi-agent trajectory prediction
DE102020004341A1 (en) * 2020-07-20 2020-11-19 Daimler Ag Method for automatically crossing an intersection area with a vehicle
DE102021003286A1 (en) * 2021-06-25 2022-01-20 Daimler Ag Method of operating a vehicle

Also Published As

Publication number Publication date
WO2024104775A1 (en) 2024-05-23
DE102022212266A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
EP3970077B1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
EP3765927B1 (en) Method for generating a training data record for training an artificial intelligence module for a control device of a vehicle
EP3748453B1 (en) Method and device for automatically executing a control function of a vehicle
DE102016212700A1 (en) Method and system for controlling a vehicle
EP3543985A1 (en) Simulation of different traffic situations for a test vehicle
EP3616184A1 (en) Method, computer program product, computer-readable medium, control unit, and vehicle comprising the control unit for determining a collective maneuver of at least two vehicles
DE102019216836A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle
DE102017006338B4 (en) Methods for efficient validation and safe application of autonomous and semi-autonomous vehicles
DE102019203712A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
EP3748454A1 (en) Method and device for automatically executing a control function of a vehicle
DE102021004426A1 (en) Method for training an autonomous driving function
DE102022132917A1 (en) Method and system for determining the criticality and controllability of scenarios for automated driving functions
WO2019206792A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
WO2022251890A1 (en) Method and system for testing a driver assistance system for a vehicle
DE112020007538T5 (en) Driving assistance device, learning device, driving assistance method, driving assistance program, learned model creation method, and learned model creation program data carrier
DE102019101613A1 (en) Simulate different traffic situations for a test vehicle
DE102020202540A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle
AT524822B1 (en) Method for testing a driver assistance system of a vehicle
DE102022208519A1 (en) Computer-implemented method and computer program for the movement planning of an ego driving system in a traffic situation, computer-implemented method for the movement planning of an ego driving system in a real traffic situation, control device for an ego vehicle
WO2024104775A1 (en) Machine-learned traffic situation completion
DE102021126820A1 (en) Method and processing device for controlling a driver assistance function and driver assistance system
DE102023124870B4 (en) Method and system for the extended automated calibration of functions of a driver assistance system
EP4673930A1 (en) Limited agent model use in hybrid traffic simulation with real trajectories
DE102018216719A1 (en) Keyframe-based autonomous vehicle operation
DE202017105656U1 (en) Predictive measuring system, actuator control system and apparatus for operating the predictive measuring system and / or the actuator control system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250613

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR