DE102023004359A1

DE102023004359A1 - Method for operating an at least partially automated vehicle and vehicle

Info

Publication number: DE102023004359A1
Application number: DE102023004359.1A
Authority: DE
Inventors: Julian Schmidt; Larissa Triess; Julian Jordan
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-10-28
Filing date: 2023-10-28
Publication date: 2025-04-30

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs (1), wobei eine fahrzeuginterne Recheneinheit eine Trajektorie (2.1, 2.2) für das Fahrzeug (1) durch Minimieren einer Kostenfunktion (3) festlegt, wobei sich die Kostenfunktion (3) aus einer gewichteten Summe mehrerer Kostenterme (4) zusammensetzt. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass in die Kostenfunktion (3) wenigstens ein separater Kostenterm (4) für Schlaglöcher (5) aufgenommen wird.

The invention relates to a method for operating an at least partially automated vehicle (1), wherein an in-vehicle computing unit determines a trajectory (2.1, 2.2) for the vehicle (1) by minimizing a cost function (3), wherein the cost function (3) is composed of a weighted sum of several cost terms (4). The method according to the invention is characterized in that at least one separate cost term (4) for potholes (5) is included in the cost function (3).

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs nach der vom Oberbegriff von Anspruch 1 näher definierten Art sowie ein entsprechend steuerbares Fahrzeug nach der im Oberbegriff von Anspruch 10 näher definierten Art.The invention relates to a method for operating an at least partially automated controllable vehicle according to the type defined in more detail by the preamble of claim 1 and to a correspondingly controllable vehicle according to the type defined in more detail in the preamble of claim 10.

Die Bewegungsplanung ist ein essentieller Bestandteil automatisiert steuerbarer Fahrzeuge. Die Fahrzeuge können dabei beispielsweise hochautomatisiert, vollautomatisiert oder gar autonom steuerbar sein, insbesondere gemäß SAE-Level 3 bis 5. Ein autonom steuerbares Fahrzeug erfordert dabei keine Anwesenheit einer fahrzeugführenden Person. Hierzu erfassen die Fahrzeuge mit Hilfe einer Umfeldsensorik die Umgebung und sind somit dazu in der Lage eine virtuelle Umgebungsrepräsentation zu generieren. Dabei prädizieren die Fahrzeuge die Bewegungen umliegender Agenten, also weiterer Verkehrsteilnehmer wie Fußgänger, Radfahrer, Pkws und dergleichen. Unter Berücksichtigung des Fahrziels ist es eine Aufgabe der zur Steuerung des Fahrzeugs vorgesehenen Recheneinheit eine vom Fahrzeug zu wählende Fahrtrajektorie zu bestimmen. Die Bewegungsplanung wirkt sich somit unmittelbar auf die Sicherheit, Effizienz, Komfort und dergleichen des automatisiert steuerbaren Fahrzeugs aus.Motion planning is an essential component of automated vehicles. These vehicles can be highly automated, fully automated, or even autonomous, particularly according to SAE Levels 3 to 5. An autonomous vehicle does not require the presence of a driver. To do so, the vehicles use environmental sensors to sense their surroundings and are thus able to generate a virtual representation of the environment. The vehicles predict the movements of surrounding agents, i.e., other road users such as pedestrians, cyclists, cars, and the like. Taking the destination into account, the computing unit responsible for controlling the vehicle is responsible for determining a travel trajectory to be chosen by the vehicle. Motion planning therefore has a direct impact on the safety, efficiency, comfort, and other aspects of the automated vehicle.

Ein Modul zur Bewegungsplanung wird auch als sogenannter „Motion Planner“ bezeichnet und besteht im Kern aus einer Kostenfunktion, die eine gewichtete Summe mehrerer Kostenterme darstellt. Dabei ist w_i der Gewichtungsfaktor des Kostenfaktors C_i. Die Kostenfunktion könnte lauten: $u_{1 : T} = a r g m i n_{u 1 : T} \sum w_{i} C_{i}$

A motion planning module is also called a "motion planner" and essentially consists of a cost function that represents a weighted sum of several cost terms. Here, w _i is the weighting factor of the cost factor C _i . The cost function could be:

u_{1 : T} = a r g m i n_{u 1 : T} \sum w_{i} C_{i}

Während der Bewegungsplanung ist es das Ziel, diejenigen zeitlichen Eingaben u_1:T zu finden, die die Kostenfunktion minimieren. Bei u_t handelt es sich um eine vom zumindest teilautomatisiert steuerbaren Fahrzeug auszuführende Aktion, auch als Kontrollaktion bezeichnet, wie beispielsweise das Beschleunigen, Abbremsen, Einschlagen eines bestimmten Lenkwinkels oder dergleichen. Zur Berechnung der Kostenterme kann es erforderlich sein, solche Kontrollaktionen in Zustände, auch als „State“ bezeichnet, umzuwandeln. Bei einem Zustand handelt es sich typischerweise um eine Position des Fahrzeugs in der Umgebung, beispielsweise angegeben in einem 2D-Koordinatensystem, einer Ausrichtung des Fahrzeugs relativ gegenüber der Umgebung, also eine Winkelangabe, und eine Fortbewegungsgeschwindigkeit. Mittels eines mathematischen Modells können dann Kontrollaktionen in Zustände umgewandelt werden. Hierzu wird beispielsweise verwiesen auf: https://arxiv.org/pdf/2207.10422.pdf .During motion planning, the goal is to find those temporal inputs u _1:T that minimize the cost function. u _t is an action to be performed by the at least partially automated vehicle, also referred to as a control action, such as accelerating, decelerating, turning a specific steering angle, or the like. To calculate the cost terms, it may be necessary to convert such control actions into states. A state is typically the position of the vehicle in the environment, for example, specified in a 2D coordinate system, the orientation of the vehicle relative to the environment, i.e., an angle specification, and a speed of travel. Using a mathematical model, control actions can then be converted into states. For this purpose, reference is made, for example, to: https://arxiv.org/pdf/2207.10422.pdf .

Typische Kostenterme eines zumindest teilautomatisiert steuerbaren Fahrzeugs sind die Fahreffizienz, der Fahrkomfort, das Einhalten von Verkehrsregeln, das Einhalten von Sicherheitsgrenzwerten, wie ein notwendiger Sicherheitsabstand zu weiteren Agenten, oder auch der Kraftstoffverbrauch oder die Fahrzeugbelastung.Typical cost terms of a vehicle that can be controlled at least partially automatically are driving efficiency, driving comfort, compliance with traffic regulations, compliance with safety limits, such as a necessary safety distance from other agents, or fuel consumption or vehicle load.

Während der Optimierung werden dabei die Eingaben u_1:T approximiert, die über dem Horizont T die Kostenfunktion minimieren. Eine analytische Lösung der Problemstellung ist meist nicht möglich. Die Gewichtungsfaktoren w_i werden hierbei entweder manuell ermittelt und entsprechend manuell eingestellt oder auch datengetrieben festgelegt, um beispielsweise menschliches Fahrverhalten möglichst gut nachzubilden.During optimization, the inputs u _1:T are approximated, which minimize the cost function over the horizon T. An analytical solution to the problem is usually not possible. The weighting factors w _i are either determined manually and adjusted accordingly, or determined data-driven, for example, to simulate human driving behavior as closely as possible.

Zumindest teilautomatisiert steuerbare Fahrzeuge, insbesondere autonom steuerbare Fahrzeuge, müssen dazu in der Lage sein, angemessen mit Hindernissen umzugehen. Dies bedeutet, dass Hindernissen ausgewichen werden muss, sollte bei einer Berührung des Hindernisses eine Beschädigung des Fahrzeugs drohen. Es gibt auch Hindernisse, die tangiert oder überfahren werden können, ohne dass eine Beschädigung des Fahrzeugs droht. Dies ist beispielsweise bei Schlaglöchern der Fall. Somit sind gesonderte Maßnahmen zu treffen, die für zumindest teilautomatisiert steuerbare Fahrzeuge, die ihre Fahrtrajektorie basierend auf dem Minimieren einer Kostenfunktion bestimmen, einen angemessenen Umgang mit Schlaglöchern ermöglichen.At least partially automated vehicles, especially autonomous vehicles, must be able to handle obstacles appropriately. This means that obstacles must be avoided if contact with them could result in damage to the vehicle. There are also obstacles that can be touched or driven over without threatening to damage the vehicle. This is the case, for example, with potholes. Therefore, special measures must be taken to enable at least partially automated vehicles, which determine their driving trajectory based on minimizing a cost function, to handle potholes appropriately.

Aus dem Stand der Technik sind Algorithmen zur Erkennung von Schlaglöchern aus den Sensordaten eines Fahrzeugs bekannt. Hierzu wird beispielsweise verwiesen auf: https://towardsdatascience.com/building-a-realtime-pothole-detection-system-using-machine-learning-and-computer-vision-2e5fb2e5e746 .Algorithms for detecting potholes from a vehicle's sensor data are known from the state of the art. Reference is made, for example, to: https://towardsdatascience.com/building-a-realtime-pothole-detection-system-using-machine-learning-and-computer-vision-2e5fb2e5e746 .

Ein Verfahren zur Bestimmung einer Trajektorie für ein autonom fahrendes Kraftfahrzeug sowie eine Steuereinrichtung und ein solches Kraftfahrzeug sind beispielsweise aus der DE 10 2017 212 373 A1 bekannt. Die Druckschrift beschreibt das Ableiten eines Steuerungsverhaltens eines autonom steuerbaren Fahrzeugs durch das Minimieren einer Kostenfunktion. Das autonom steuerbare Fahrzeug ist dabei auch dazu in der Lage Schlaglöcher zu umfahren. Dies ist durch das Berücksichtigen einer auf die Insassen des Kraftfahrzeugs und das Kraftfahrzeug selbst einwirkenden Belastung während der Fahrt in der Kostenfunktion möglich. So erhöht sich die Belastung beim Tangieren bzw. Überfahren eines Schlaglochs, was zu einem Anstieg der Kostenfunktion führt. Entsprechend werden Trajektorien bestimmt, die um die Schlaglöcher herum führen. Dabei muss jedoch approximiert werden, in welchem Ausmaß sich jeweilige Schlaglöcher auf die Belastung auswirken, wobei sich die abgeschätzte Belastung stark von der tatsächlichen Belastung unterscheiden kann. Dies wirkt sich nachteilig auf die Trajektorienplanung aus.A method for determining a trajectory for an autonomously driving motor vehicle as well as a control device and such a motor vehicle are known, for example, from DE 10 2017 212 373 A1 known. The publication describes the derivation of a control behavior of an autonomously controllable vehicle by minimizing a cost function. The autonomously controllable vehicle is also capable of avoiding potholes. This is possible by taking into account the load acting on the vehicle occupants and the vehicle itself during travel in the cost function. For example, the load increases when touching or driving over a pothole, which leads to an increase in the cost function. Accordingly, trajectories are determined that lead around the potholes. However, it is necessary to approximate the extent to which respective potholes affect the load, whereby the estimated load can differ significantly from the actual load. This has a detrimental effect on trajectory planning.

Ferner offenbart die DE 10 2021 133 744 A1 Methoden zum Navigieren eines autonomen Fahrzeugs auf Grundlage eines wahrgenommenen Risikos. Auch hier wird die Trajektorie eines autonom steuerbaren Fahrzeugs durch das Minimieren einer Kostenfunktion bestimmt. Dabei kann als Kostenterm in die Kostenfunktion ein seitlicher Abstand zu Hindernissen am Fahrbahnrand eingehen. Am Fahrbahnrad können Schlaglöcher liegen, die entsprechend zu einer Verringerung des seitlichen Abstands führen. Die Kostenfunktion entspricht dabei dem wahrgenommenen Risiko im Gegensatz zu einer objektiv berechneten Sicherheit.Furthermore, the DE 10 2021 133 744 A1 Methods for navigating an autonomous vehicle based on perceived risk. Here, too, the trajectory of an autonomously controlled vehicle is determined by minimizing a cost function. A lateral distance to obstacles at the edge of the road can be included as a cost term in the cost function. Potholes can be located along the road surface, which accordingly lead to a reduction in the lateral distance. The cost function corresponds to the perceived risk as opposed to an objectively calculated safety.

Ferner beschreibt die DE 10 2022 112 748 A1 die Verwendung von Ankunftszeitpunkten und Sicherheitsprozeduren in Bewegungsplanungstrajektorien für autonome Fahrzeuge.Furthermore, the DE 10 2022 112 748 A1 the use of arrival times and safety procedures in motion planning trajectories for autonomous vehicles.

Ferner beschreibt die WO 2021/127186 A1 Verfahren und Systeme zur Oberflächenmodellierung unter dem Einsatz von sogenannter „Ensemble Machine Learning Prediction“, trainiert mit Daten welche abgeleitet wurden von wenigstens einem externen Modell. Die Druckschrift beschreibt das gängige Vorgehen zum Trainieren von Maschinenlernmodellen. So wird mittels eines untrainierten Maschinenlernmodells eine Zielgröße bestimmt und eine zur Zielgröße korrespondierende Grundwahrheit als Referenz bereitgestellt. Die Größen gehen in eine Kostenfunktion ein, die es durch das Anpassen der Parameter des Maschinenlernmodells zu minimieren gilt. Sobald die Kostenfunktion minimiert ist, ist auch das Maschinenlernmodell ausreichend trainiert.Furthermore, the WO 2021/127186 A1 Methods and systems for surface modeling using so-called "ensemble machine learning prediction," trained with data derived from at least one external model. This publication describes the common procedure for training machine learning models. Using an untrained machine learning model, a target variable is determined, and a ground truth corresponding to the target variable is provided as a reference. The variables are input into a cost function, which must be minimized by adjusting the parameters of the machine learning model. Once the cost function is minimized, the machine learning model is sufficiently trained.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs anzugeben, mit dessen Hilfe es möglich ist, eine Trajektorie für das Fahrzeug zu bestimmen, welche besonders zuverlässig das Tangieren oder Überfahren von Schlaglöchern vermeidet.The present invention is based on the object of specifying an improved method for operating an at least partially automated vehicle, with the aid of which it is possible to determine a trajectory for the vehicle which particularly reliably avoids touching or driving over potholes.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs mit den Merkmalen des Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein entsprechend steuerbares Fahrzeug ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for operating an at least partially automated controllable vehicle having the features of claim 1. Advantageous embodiments and further developments as well as a correspondingly controllable vehicle emerge from the dependent claims.

Ein gattungsgemäßes Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs, wobei eine fahrzeuginterne Recheneinheit eine Trajektorie für das Fahrzeug durch Minimieren einer Kostenfunktion festlegt, wobei sich die Kostenfunktion aus einer gewichteten Summe mehrerer Kostenterme zusammensetzt, wird erfindungsgemäß dadurch weitergebildet, dass in die Kostenfunktion wenigstens ein separater Kostenterm für Schlaglöcher aufgenommen wird.A generic method for operating a vehicle that can be controlled at least partially automatically, wherein an internal vehicle processing unit determines a trajectory for the vehicle by minimizing a cost function, wherein the cost function is composed of a weighted sum of several cost terms, is further developed according to the invention in that at least one separate cost term for potholes is included in the cost function.

Erfindungsgemäß werden somit Schlaglöcher direkt in der Kostenfunktion berücksichtigt, im Gegensatz zu aus dem Stand der Technik bekannten Lösungen, bei denen Schlaglöcher entweder gar nicht oder nur indirekt, beispielsweise durch Verschlechterung eines anderen Kostenterms, wie beispielsweise einer belastungsbedingten Degradation des Fahrkomforts, berücksichtigt werden. Somit lässt sich der Einfluss von Schlaglöchern auf das Ermitteln der Trajektorie für das zumindest teilautomatisiert steuerbare Fahrzeug differenzierter steuern, was es letztendlich ermöglicht Trajektorien zu bestimmen, die zuverlässig an Schlaglöchern vorbeiführen. Im Gegensatz zu einer indirekten Berücksichtigung von Schlaglöchern in der Kostenfunktion durch die Verschlechterung eines anderen Kostenterms ist es somit möglich nachzuvollziehen, welchen Einfluss die Existenz von Schlaglöchern in der Umgebung des Fahrzeugs auf die Trajektorienplanung hat.According to the invention, potholes are thus directly considered in the cost function, in contrast to solutions known from the prior art, in which potholes are either not considered at all or only indirectly, for example by deteriorating another cost term, such as a load-related degradation of driving comfort. This allows the influence of potholes on the determination of the trajectory for the at least partially automated vehicle to be controlled in a more differentiated manner, which ultimately makes it possible to determine trajectories that reliably avoid potholes. In contrast to an indirect consideration of potholes in the cost function by deteriorating another cost term, it is thus possible to understand the influence that the existence of potholes in the vehicle's surroundings has on trajectory planning.

Generell ist es dabei möglich, dass ein einziger Kostenterm in die Kostenfunktion eingefügt wird, mit dem sämtliche im Umfeld des Fahrzeugs existierende Schlaglöcher berücksichtigt werden, oder aber es könnte auch für jedes Schlagloch ein individueller Kostenterm in die Kostenfunktion mit aufgenommen werden.In general, it is possible to insert a single cost term into the cost function that takes into account all potholes in the vehicle's vicinity, or an individual cost term could be included in the cost function for each pothole.

Das Fahrzeug ist zumindest teilautomatisiert steuerbar. Dies bedeutet, dass das Fahrzeug dazu in der Lage ist selbstständig zumindest in bestimmten Fahrsituationen die Fahrzeuglängs- und/oder Fahrzeugquerführung zu übernehmen. Insbesondere kann das Fahrzeug hochautomatisiert oder gar vollautomatisiert steuerbar sein. In einer ganz besonders vorteilhaften Ausführungsform kann das Fahrzeug auch autonom steuerbar sein, sodass keinerlei fahrzeugführende Person zur Überwachung des Verhaltens des Fahrzeugs mehr anwesend sein muss.The vehicle can be controlled at least partially automatically. This means that the vehicle is capable of independently assuming longitudinal and/or lateral control, at least in certain driving situations. In particular, the vehicle can be highly or even fully automated. In a particularly advantageous embodiment, the vehicle can also be controlled autonomously, so that no person driving the vehicle needs to be present to monitor the vehicle's behavior.

Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht dabei vor, dass das Fahrzeug Schlaglöcher mittels einer Umfeldsensorik erfasst und relativ gegenüber dem Fahrzeug verortet, der Kostenterm für die Schlaglöcher zumindest einen Kostenfaktor umfasst und der zum jeweiligen Zeitpunkt aktuelle Abstand zwischen dem Fahrzeug und dem nächstliegenden Schlagloch zur Bestimmung des Kostenfaktors verwendet wird. Die sensorgestützte Erfassung von Schlaglöchern ist, wie eingangs bereits erwähnt, generell aus dem Stand der Technik bekannt. So können Fahrzeuge die unterschiedlichsten Umgebungssensoren aufweisen wie beispielsweise Mono- und/oder Stereokameras, Laserscanner wie ein LiDAR, Ultraschallsensoren, Radarsensoren und dergleichen. Mittels solcher Sensoren lassen sich Tiefeninformationen gewinnen und somit statische und dynamische Umgebungsobjekte erkennen. Zudem kann die Umgebung vermessen werden, was es ermöglicht, eine virtuelle Repräsentation der Umgebung zu erzeugen. Insbesondere die computergestützte Analyse von Kamerabildern, auch als „Computer Vision“ bezeichnet, erlaubt es die Umgebung differenziert zu bewerten. So können beispielsweise auch Schlaglöcher anhand charakteristischer visueller Merkmale in Kamerabildern erkannt werden. Aufgrund der bekannten Einbaulage der Sensoren am Fahrzeug können dann die Schlaglöcher auch relativ gegenüber dem Fahrzeug verortet werden, und somit der Abstand zwischen den Schlaglöchern und dem Fahrzeug berechnet werden. Entsprechende Algorithmen zur Schlaglochdetektion können auch Kl basiert sein, beispielsweise unter dem Einsatz von tiefem Lernen, auch als „Deep Learning“ bezeichnet. Dabei berücksichtigt die Recheneinheit den jeweils aktuellen Abstand der Schlaglöcher zum Fahrzeug zur Bestimmung des Kostenfaktors. Bewegt sich also das Fahrzeug während eines Zeitinkrements weiter, so ändert sich auch der Abstand zu den jeweiligen Schlaglöchern.An advantageous development of the method according to the invention provides that the vehicle detects potholes using environmental sensors and locates them relative to the vehicle, the cost term for the potholes includes at least one cost factor, and the current distance between the vehicle and the nearest pothole at a given time is used to determine the cost factor. As already mentioned at the beginning, sensor-based detection of potholes is generally known from the prior art. Vehicles can have a wide variety of environmental sensors, such as mono and/or stereo cameras, laser scanners such as a LiDAR, ultrasonic sensors, radar sensors, and the like. Such sensors can be used to obtain depth information and thus detect static and dynamic environmental objects. In addition, the environment can be measured, which makes it possible to create a virtual representation of the environment. In particular, computer-aided analysis of camera images, also known as "computer vision," allows a differentiated assessment of the environment. For example, potholes can also be detected based on characteristic visual features in camera images. Because the sensors' installation position on the vehicle is known, the potholes can be located relative to the vehicle, and the distance between the potholes and the vehicle can be calculated. Corresponding algorithms for pothole detection can also be AI-based, for example, using deep learning. The computing unit considers the current distance of the potholes from the vehicle to determine the cost factor. Therefore, if the vehicle moves further during a time increment, the distance to the respective potholes also changes.

Dabei kann der Abstand zu einem jeweiligen Schlagloch auf verschiedene Art und Weise in die Kostenfunktion eingehen. So kann der Abstand beliebigen mathematischen Operationen unterzogen werden, um entsprechend in der Kostenfunktion als Kostenfaktor berücksichtigt zu werden. Im einfachsten Falle kann der Abstand direkt, beispielsweise in Form einer Abstandsangabe mit der Einheit Meter oder Millimetern, in die Kostenfunktion eingehen. Der Abstand könnte auch entdimensionalisiert werden.The distance to a particular pothole can be incorporated into the cost function in various ways. For example, the distance can be subjected to any mathematical operation to be considered as a cost factor in the cost function. In the simplest case, the distance can be incorporated directly into the cost function, for example, as a distance specification in meters or millimeters. The distance could also be dedimensionalized.

Bevorzugt trägt dabei die Recheneinheit in einem die Umgebung aus der Vogelperspektive repräsentierenden 2D-Koordinatensystem eine Begrenzungsbox für das Fahrzeug und eine Begrenzungsbox für jedes Schlagloch ein, bestimmt für jedes Schlagloch die euklidische Distanz zwischen der Begrenzungsbox des Fahrzeugs und der Begrenzungsbox des respektiven Schlaglochs und verwendet die kürzeste euklidische Distanz zur Bestimmung des Kostenfaktors. Bei der euklidischen Distanz zwischen zwei Objekten handelt es sich um den kürzesten Abstand, also eine direkte Verbindungslinie zwischen den jeweiligen Objekten. Das Bestimmen der euklidischen Distanz zwischen dem Fahrzeug und den jeweiligen Schlaglöchern ist besonders einfach möglich, wenn die entsprechenden Objekte in besagtes 2D-Koordinatensystem der Umgebung eingetragen werden. Die Begrenzungsbox kann dabei dem tatsächlichen Perimeterverlauf der Umrandung des Fahrzeugs bzw. der jeweiligen Schlaglöcher entsprechend. Dies erfordert eine besonders genaue Vermessung der Umgebung, ermöglicht aber auch das Bestimmen eines besonders exakten Distanzmaßes. In die Kostenfunktion geht somit der Abstand des Fahrzeugs zu demjenigen Schlagloch ein, welches die größte Nähe zum Fahrzeug aufweist. Somit lässt sich auf besonders geschickte und einfache Weise der Einfluss sämtlicher Schlaglöcher berücksichtigten, da für den jeweiligen Zeitpunkt nur das aktuell relevanteste Schlagloch von Bedeutung ist und entsprechend zur Trajektorienplanung berücksichtigt wird. Zudem wechselt das „relevante“ Schlagloch automatisch, sobald ein anderes Schlagloch näher zum Fahrzeug liegt.Preferably, the computing unit enters a bounding box for the vehicle and a bounding box for each pothole in a 2D coordinate system representing the surroundings from a bird's eye view, determines the Euclidean distance between the bounding box of the vehicle and the bounding box of the respective pothole for each pothole, and uses the shortest Euclidean distance to determine the cost factor. The Euclidean distance between two objects is the shortest distance, i.e. a direct connecting line between the respective objects. Determining the Euclidean distance between the vehicle and the respective potholes is particularly easy if the corresponding objects are entered into the said 2D coordinate system of the surroundings. The bounding box can correspond to the actual perimeter of the vehicle's border or the respective potholes. This requires particularly precise measurement of the surroundings, but also enables the determination of a particularly exact distance measure. The cost function thus includes the vehicle's distance to the pothole closest to the vehicle. This allows the influence of all potholes to be taken into account in a particularly clever and simple way, since only the most relevant pothole is relevant at any given time and is considered accordingly for trajectory planning. Furthermore, the "relevant" pothole changes automatically as soon as another pothole is closer to the vehicle.

Insbesondere handelt es sich bei dem 2D-Koordinatensystem um dasjenige Koordinatensystem, welches auch dazu genutzt wird, Kontrollaktionen des Fahrzeugs in Zustände umzurechnen. Dies erleichtert das Durchführen mathematischer Operationen, da somit übereinstimmende Koordinatenangaben vorliegen.In particular, the 2D coordinate system is the one used to convert vehicle control actions into states. This facilitates the performance of mathematical operations because consistent coordinate information is available.

Bevorzugt ist eine jeweilige Begrenzungsbox dabei idealisiert als Quader ausgeführt und/oder der Ursprung des 2D-Koordinatensystems ist im Mittelpunkt der Begrenzungsbox des Fahrzeugs fixiert.Preferably, each bounding box is idealized as a cuboid and/or the origin of the 2D coordinate system is fixed at the center of the bounding box of the vehicle.

Die Begrenzungsbox wird auch als „Bounding-Box“ bezeichnet. Durch das Idealisieren der Begrenzungsboxen des Fahrzeugs und/oder der Schlaglöcher als Quader, bzw. in einer 2D-Ansicht als Rechteck, sinken die Anforderungen an die Erfassungsgenauigkeit der Umgebungssensorik. Zudem sinkt der Rechenaufwand bei der Berechnung der Repräsentation der Umgebung.The bounding box is also called the "bounding box." By idealizing the bounding boxes of the vehicle and/or the potholes as a cuboid, or in a 2D view as a rectangle, The requirements for the detection accuracy of the environmental sensors are reduced. Furthermore, the computational effort required to calculate the representation of the environment is reduced.

Vorteilhafterweise wandert ferner das 2D-Koordinatensystem mit dem eigenen Fahrzeug mit, was das Berechnen des Fahrverhaltens des Fahrzeugs relativ gegenüber der Umgebung noch weiter erleichtert. Die Umgebung wird somit aus einer egozentrischen Betrachtungsweise vom Fahrzeug berücksichtigt.Advantageously, the 2D coordinate system also moves with the vehicle, further facilitating the calculation of the vehicle's driving behavior relative to its surroundings. The vehicle thus considers the environment from an egocentric perspective.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird ein Berücksichtigungsabstand für Schlaglöcher festgelegt und die Recheneinheit berücksichtigt den Kostenfaktor für das Schlagloch nur dann in der Kostenfunktion, wenn der Abstand zwischen dem Fahrzeug und dem nächstliegenden Schlagloch kleiner ist, als der Berücksichtigungsabstand, wobei die Recheneinheit den Kostenfaktor insbesondere durch Subtrahieren des Abstands von dem Berücksichtigungsabstand bestimmt. Somit ist es möglich Schlaglöcher, die weiter vom Fahrzeug entfernt sind als der Berücksichtigungsabstand, als Einflussfaktor für die Trajektorienbestimmung auszusparen. Der Berücksichtigungsabstand kann situationsbedingt einen geeigneten Wert annehmen, wie beispielsweise 0,2 m.According to a further advantageous embodiment of the method according to the invention, a consideration distance for potholes is defined, and the computing unit only considers the cost factor for the pothole in the cost function if the distance between the vehicle and the nearest pothole is smaller than the consideration distance. The computing unit determines the cost factor, in particular, by subtracting the distance from the consideration distance. This makes it possible to exclude potholes that are farther from the vehicle than the consideration distance as an influencing factor for trajectory determination. The consideration distance can assume a suitable value depending on the situation, such as 0.2 m.

Besonders vorteilhaft berechnet sich der Kostenfaktor für die Schlaglöcher dann gemäß der Formel: $\begin{matrix} Konstenfaktor = Ber \ddot{u} cksichtigungsabstand - aktueller Abstand des Fahrzeugs zum \\ n \ddot{a} chstliegenden Schlagloch . \end{matrix}$

The cost factor for potholes is then calculated particularly advantageously according to the formula:

\begin{matrix} Konstenfaktor = Ber \ddot{u} cksichtigungsabstand - aktueller Abstand des Fahrzeugs zum \\ n \ddot{a} chstliegenden Schlagloch . \end{matrix}

Dies bedeutet, dass bei einem hohen Abstand der Kostenfaktor einen geringen Wert annimmt und somit auch einen geringen Einfluss auf die Trajektorienplanung hat, und bei kleiner werdendem Abstand des Fahrzeugs zum nächstliegenden Schlagloch ansteigt, wodurch auch der Einfluss auf die Trajektorienberechnung zunimmt.This means that at a high distance the cost factor assumes a low value and thus has little influence on the trajectory planning, and as the distance of the vehicle to the nearest pothole decreases it increases, whereby the influence on the trajectory calculation also increases.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht dabei ferner vor, dass der Kostenfaktor für ein jeweiliges Schlagloch zu wenigstens zwei Zeitschritten bestimmt wird und die Recheneinheit einen aus diesen Kostenfaktoren gemittelten Kostenfaktor in der Kostenfunktion berücksichtigt. Das hierzu berücksichtigte Zeitfenster kann beliebig groß gewählt werden und beispielsweise fix ausgewählt sein oder auch situationsspezifisch länger oder kürzer ausfallen. Beispielsweise kann das Zeitfenster einige Millisekunden oder Sekunden oder auch Bruchteilen oder Vielfachen hiervon entsprechen.A further advantageous embodiment of the method according to the invention further provides that the cost factor for a respective pothole is determined at at least two time steps, and the computing unit considers a cost factor averaged from these cost factors in the cost function. The time window considered for this purpose can be of any size and, for example, can be fixed or can be longer or shorter depending on the situation. For example, the time window can correspond to a few milliseconds or seconds, or even fractions or multiples thereof.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens umfasst der Kostenterm für die Schlaglöcher zumindest einen Gewichtungsfaktor, welcher mit dem Kostenfaktor multipliziert wird. Über den Gewichtungsfaktor lässt sich das Ausmaß, wie sehr sich Schlaglöcher auf die Trajektorienbestimmung auswirken, einstellen. Der Gewichtungsfaktor kann dabei experimentell durch ein Expertenteam bestimmt werden oder auch datengetrieben festgelegt werden. Insbesondere kann der Gewichtungsfaktor auch variabel ausgestaltet sein und sich somit situationsspezifisch ändern. Beispielsweise kann der Gewichtungsfaktor auch von einer anderen Größe, wie beispielsweise der Fortbewegungsgeschwindigkeit des Fahrzeugs, abhängig sein. So könnte beispielsweise der Gewichtungsfaktor mit zunehmender Fahrgeschwindigkeit ebenfalls größer werden.According to a further advantageous embodiment of the method according to the invention, the cost term for the potholes comprises at least one weighting factor, which is multiplied by the cost factor. The weighting factor can be used to adjust the extent to which potholes affect trajectory determination. The weighting factor can be determined experimentally by a team of experts or can be set based on data. In particular, the weighting factor can also be variable and thus change depending on the situation. For example, the weighting factor can also depend on another variable, such as the speed of the vehicle. For example, the weighting factor could also increase with increasing driving speed.

Im einfachsten Falle beträgt der Gewichtungsfaktor „1“. Somit geht der Kostenfaktor unverändert in die Kostenfunktion ein.In the simplest case, the weighting factor is "1." Thus, the cost factor is included in the cost function unchanged.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass der Kostenterm für Schlaglöcher eine Tiefe eines jeweiligen Schlaglochs berücksichtigt. Während das Überfahren eines im Vergleich flachen Schlaglochs problemlos erfolgen kann, so kann der Komfort für die Fahrzeuginsassen sowie das Beschädigungspotential für das Fahrzeug bzw. eine Fahrzeugkomponente wie beispielsweise die Radaufhängung beim Überfahren eines tiefen Schlaglochs steigen. Unter Berücksichtigung der Schlaglochtiefe lassen sich somit noch geeignetere Trajektorien zum Führen des Fahrzeugs bestimmen.A further advantageous embodiment of the method according to the invention further provides that the cost term for potholes takes into account the depth of each pothole. While driving over a relatively shallow pothole can be done without any problems, the comfort for the vehicle occupants as well as the potential for damage to the vehicle or a vehicle component, such as the wheel suspension, can increase when driving over a deep pothole. Taking the pothole depth into account, even more suitable trajectories for guiding the vehicle can be determined.

Ohne Berücksichtigung der Schlaglochtiefe könnte beispielsweise eine solche Trajektorie bestimmt werden, die zwangsweise am Schlagloch vorbeiführt. Dies könnte zu ruckartigen Lenkmanövern bzw. starken Abbrems- und/oder Beschleunigungsvorgängen führen, was entsprechend den Fahrkomfort verringert sowie die Fahrzeugstruktur belastet. Handelt es sich in diesem Falle aber um ein flaches Schlagloch, so würde der Fahrkomfort bzw. die Fahrzeugbelastung weniger stark beeinträchtigt werden, wenn anstelle des Umfahrens des Schlaglochs die Fahrtrajektorie durch das Schlagloch hindurchführen würden. Entsprechend könnte das Durchfahren eines besonders tiefen Schlaglochs jedoch gravierende Folgen haben, also das ruckartige Umfahren des Schlaglochs, so dass in einem solchen Falle dennoch die Ausweichtrajektorie präferiert würde.Without taking the pothole depth into account, for example, a trajectory could be determined that would inevitably lead past the pothole. This could lead to sudden steering maneuvers or strong braking and/or acceleration, which would reduce driving comfort and stress the vehicle structure. However, if the pothole in question is shallow, driving comfort and vehicle stress would be less affected if the driving trajectory led through the pothole instead of avoiding it. Accordingly, the However, driving through a particularly deep pothole can have serious consequences, i.e. jerking around the pothole, so that in such a case the evasive trajectory would still be preferred.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens subtrahiert die Recheneinheit zur Berücksichtigung der Tiefe eines jeweiligen Schlaglochs im Kostenterm für jedes Schlagloch von der jeweiligen euklidischen Distanz des respektiven Schlaglochs zum Fahrzeug die Tiefe des Schlaglochs, insbesondere in Form einer gewichteten Tiefe. Somit lässt sich die Schlaglochtiefe auf mathematisch besonders geschickte und damit effiziente Form in der Kostenfunktion berücksichtigen. Durch das Wählen eines individuellen Gewichtungsfaktors für die Tiefe der Schlaglöcher lässt sich auch das Einflussausmaß der Schlaglochtiefe auf die Kostenfunktion anpassen. Auch hier kann der Gewichtungsfaktor wieder manuell durch ein Expertenteam festgelegt werden oder auch datengetrieben abgeleitet werden.According to a further advantageous embodiment of the method according to the invention, in order to take the depth of a respective pothole into account in the cost term for each pothole, the computing unit subtracts the depth of the pothole, in particular in the form of a weighted depth, from the respective Euclidean distance of the respective pothole to the vehicle. This allows the pothole depth to be taken into account in the cost function in a mathematically particularly clever and thus efficient way. By selecting an individual weighting factor for the depth of the potholes, the extent of the pothole depth's influence on the cost function can also be adjusted. Here, too, the weighting factor can be set manually by a team of experts or derived data-driven.

Bei einem Fahrzeug, umfassend eine Umfeldsensorik und eine zur Bestimmung von Steuerungsbefehlen unter Berücksichtigung einer geplanten Trajektorie eingerichtete Recheneinheit, sind erfindungsgemäß die Umfeldsensorik und die Recheneinheit zur Ausführung eines im vorigen beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Straßenfahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Das Fahrzeug kann die unterschiedlichsten Umfeldsensoren aufweisen, wie besagte Mono- oder Stereokameras, LiDARe, Ultraschallsensoren, Radarsensoren und dergleichen. Bei der Recheneinheit kann es sich um einen zentralen Bordcomputer oder auch eine Vielzahl an Steuergeräten von Fahrzeuguntersystemen handeln, die als Recheneinheit zusammenwirken. So können beispielsweise Sensordaten von einem ersten Steuergerät ausgewertet werden, woraufhin ein zweites Steuergerät die Trajektorie berechnet, welche von einem dritten Steuergerät zum Ableiten von Steuerungsbefehlen für das zumindest teilautomatisiert steuerbare Fahrzeug herangezogen wird.In a vehicle comprising environmental sensors and a computing unit configured to determine control commands taking into account a planned trajectory, the environmental sensors and the computing unit are configured according to the invention to carry out a method described above. The vehicle can be any road vehicle such as a car, truck, van, bus, or the like. The vehicle can have a wide variety of environmental sensors, such as the aforementioned mono or stereo cameras, LiDARS, ultrasonic sensors, radar sensors, and the like. The computing unit can be a central on-board computer or a plurality of control units of vehicle subsystems that interact as a computing unit. For example, sensor data can be evaluated by a first control unit, whereupon a second control unit calculates the trajectory, which is used by a third control unit to derive control commands for the at least partially automated vehicle.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs und des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.Further advantageous embodiments of the method according to the invention for operating a vehicle that can be controlled at least partially automatically and of the vehicle also emerge from the exemplary embodiments which are described in more detail below with reference to the figures.

Dabei zeigen:

1 eine schematische perspektivische Darstellung eines erfindungsgemäßen Fahrzeugs während der Fahrt und die hierzu korrespondierende von einer Recheneinheit des Fahrzeugs erzeugte Umgebungsrepräsentation;
2 eine zur Festlegung einer zu wählenden Trajektorie genutzte Kostenfunktion;
3 zwei zur Bestimmung eines separaten Kostenterms für Schlaglöcher verwendete Gleichungen;
4 eine Gleichung zur Bestimmung eines gemittelten Kostenfaktors für Schlaglöcher; und
5 zwei zur Bestimmung eines Kostenterms für Schlaglöcher unter Berücksichtigung einer Schlaglochtiefe verwendete Gleichungen.

Showing:

1 a schematic perspective representation of a vehicle according to the invention while driving and the corresponding environmental representation generated by a computing unit of the vehicle;
2 a cost function used to determine a trajectory to be chosen;
3 two equations used to determine a separate cost term for potholes;
4 an equation for determining an average cost factor for potholes; and
5 two equations used to determine a cost term for potholes considering a pothole depth.

1 zeigt ein erfindungsgemäßes Fahrzeug 1, welches zumindest teilautomatisiert gesteuert, insbesondere autonom gesteuert, auf einer Straße 11 auf ein Schlagloch 5 zufährt. Das Fahrzeug 1 erfasst seine Umgebung mittels einer Umfeldsensorik 6 und ist hierdurch dazu in der Lage das Schlagloch 5 zu detektieren und relativ gegenüber dem Fahrzeug 1 zu verorten. 1 shows a vehicle 1 according to the invention, which is driven at least partially automatically, in particular autonomously, on a road 11 towards a pothole 5. The vehicle 1 detects its surroundings by means of an environmental sensor system 6 and is thus able to detect the pothole 5 and locate it relative to the vehicle 1.

1 zeigt ebenfalls eine durch eine nicht näher dargestellte Recheneinheit des Fahrzeugs 1 erzeugte Umgebungsrepräsentation 12 in einem 2D-Koordinatensystem 7 aus der Vogelperspektive. Auf der Nachbarspur befindet sich dabei ein etwas weiter entfernt liegendes zweites Schlagloch 5. Dabei erzeugt die Recheneinheit eine Begrenzungsbox 8.1 um das Fahrzeug 1 und jeweilige Begrenzungsboxen 8.2 um die Schlaglöcher 5 und bestimmt einen Abstand zwischen den Begrenzungsboxen 8.1 und 8.2. Besonders vorteilhaft handelt es sich bei diesem Abstand um die euklidische Distanz d. Das direkt vor dem Fahrzeug 1 liegende Schlagloch 5 befindet sich dabei näher am Fahrzeug 1, als das Schlagloch 5 auf der Nachbarspur, sodass die Recheneinheit hier die kürzeste euklidische Distanz d_min aller erfassten Schlaglöcher 5 detektiert. 1 also shows an environmental representation 12 in a 2D coordinate system 7 from a bird's eye view, generated by a computing unit of the vehicle 1 (not shown in more detail). In the adjacent lane there is a second pothole 5 located somewhat further away. The computing unit creates a bounding box 8.1 around the vehicle 1 and respective bounding boxes 8.2 around the potholes 5 and determines a distance between the bounding boxes 8.1 and 8.2. This distance is particularly advantageous if it is the Euclidean distance d. The pothole 5 located directly in front of the vehicle 1 is closer to the vehicle 1 than the pothole 5 in the adjacent lane, so that the computing unit detects the shortest Euclidean distance d _min of all detected potholes 5.

Zudem ist in der Umgebungsrepräsentation 12 eine erste und zweite Trajektorie 2.1, 2.2 eingezeichnet, die von der Recheneinheit zur Steuerung des Fahrzeugs 1 berechnet wurde. Bei der ersten Trajektorie 2.1 handelt es sich um eine ursprüngliche Trajektorie, die durch das Schlagloch 5 hindurchführt und bei der zweiten Trajektorie 2.2 handelt es sich um eine Trajektorie, die um das vorausliegende Schlagloch 5 herumführt.In addition, a first and second trajectory 2.1, 2.2 are shown in the environment representation 12, which were calculated by the computing unit for controlling the vehicle 1. The first trajectory 2.1 is an original trajectory that leads through the pothole 5, and the second trajectory 2.2 is a trajectory that leads around the pothole 5 ahead.

Es ist hinreichend bekannt zur Bewegungsplanung zumindest teilautomatisiert steuerbarer Fahrzeuge 1 bzw. autonom steuerbarer Fahrzeuge 1 die nun tatsächlich vom Fahrzeug 1 zu wählende Trajektorie durch das Minimieren einer in 2 gezeigten Kostenfunktion 3 zu bestimmen. Erfindungsgemäß ist es vorgesehen, in diese Kostenfunktion 3 einen separaten Kostenterm 4 für Schlaglöcher 5 aufzunehmen. Dies ermöglicht es Schlaglöcher 5 direkt in der Kostenfunktion 3 zu berücksichtigen, was es besonders effektiv ermöglicht Schlaglöcher 5 zu vermeiden. So würde entsprechend die Recheneinheit das Trajektorie 2.2 zum tatsächlichen Steuern des Fahrzeugs 1 auswählen.It is sufficiently known for the movement planning of at least partially automated controllable vehicles 1 or autonomously controllable vehicles 1, the trajectory actually to be selected by the vehicle 1 by minimizing a 2 shown cost function 3. According to the invention, it is provided to include a separate cost term 4 for potholes 5 in this cost function 3. This makes it possible to take potholes 5 into account directly in the cost function 3, which makes it particularly effective to avoid potholes 5. Thus, the computing unit would accordingly select the trajectory 2.2 for actually controlling the vehicle 1.

Die Kostenfunktion 3 umfasst mehrere Kostenterme 4 für die unterschiedlichsten Größen, wie beispielsweise die Fahreffizienz, den Fahrkomfort, das Einhalten von Verkehrsregeln, Sicherheitsfaktoren wie das Einhalten festgelegter Abstände zu umliegenden Agenten und dergleichen. Ein jeweiliger Kostenterm 4 stellt ein Produkt aus einem Kostenfaktor 4.1 und einem Gewichtungsfaktor 4.2 dar. Im einfachsten Falle kann der Gewichtungsfaktor 4.2 den Wert „1“ annehmen, sodass der Kostenfaktor 4.1 „ungewichtet“ in die Kostenfunktion 3 eingeht. Es kann jedoch auch eine größere oder kleinere Zahl als „1“ als Gewichtungsfaktor 4.2 für einen jeweiligen Kostenfaktor 4.1 gewählt werden.The cost function 3 comprises several cost terms 4 for a wide variety of variables, such as driving efficiency, driving comfort, compliance with traffic regulations, safety factors such as maintaining specified distances from surrounding agents, and the like. Each cost term 4 represents a product of a cost factor 4.1 and a weighting factor 4.2. In the simplest case, the weighting factor 4.2 can assume the value "1", so that the cost factor 4.1 is included "unweighted" in the cost function 3. However, a larger or smaller number than "1" can also be selected as the weighting factor 4.2 for a respective cost factor 4.1.

Während der Bewegungsplanung ist es das Ziel, die zeitlichen Eingaben u_1:t zu finden, die die Kostenfunktion minimieren.During motion planning, the goal is to find the temporal inputs u _1:t that minimize the cost function.

Erfindungsgemäß wird der in 3 gezeigte Kostenfaktor 4.1 c_pothole,t in die Kostenfunktion 3 mit aufgenommen, um Schlaglöcher 5 direkt zu repräsentieren. 3 zeigt dabei eine mögliche Ausführungsform, wie der Kostenfaktor 4.1 berechnet werden kann. So kann ein Berücksichtigungsabstand 9 festgelegt werden, beispielsweise 0,2 m, von dem der Abstand des Fahrzeugs 1 zum nächstgelegenen Schlagloch 5 abgezogen wird. Der Kostenfaktor 4.1 kann dabei optional nur dann berücksichtigt werden, wenn der Berücksichtigungsabstand 9 unterschritten wird bzw. erreicht wird. Ansonsten, also wenn das Fahrzeug 1 weiter zum nächstliegenden Schlagloch 5 entfernt ist, als der Berücksichtigungsabstand 9, wird für den Kostenfaktor 4.1 der Wert „0“ gewählt.According to the invention, the 3 The cost factor 4.1 c _pothole,t shown is included in the cost function 3 to directly represent potholes 5. 3 shows a possible embodiment of how the cost factor 4.1 can be calculated. For example, a consideration distance 9 can be specified, for example, 0.2 m, from which the distance of vehicle 1 to the nearest pothole 5 is subtracted. The cost factor 4.1 can optionally only be taken into account if the consideration distance 9 is exceeded or reached. Otherwise, i.e., if vehicle 1 is further away from the nearest pothole 5 than the consideration distance 9, the value "0" is selected for the cost factor 4.1.

In einer bevorzugten Ausführungsform wird dabei als Abstand zwischen dem Fahrzeug 1 und den jeweiligen Schlaglöchern 5 die euklidische Distanz d gewählt. In der Gleichung repräsentiert dabei av_t die Begrenzungsbox 8.1 des Fahrzeugs und potthole_t ^j die Begrenzungsbox 8.2 des jeweiligen Schlaglochs j zum Zeitpunkt t. Somit geht automatisch diejenige euklidische Distanz d_min zur Bestimmung des Kostenfaktors 4.1 ein, die dem Abstand zum nächstliegenden Schlagloch 5 repräsentiert.In a preferred embodiment, the Euclidean distance d is chosen as the distance between the vehicle 1 and the respective potholes 5. In the equation, av _t represents the bounding box 8.1 of the vehicle and potthole _t ^j represents the bounding box 8.2 of the respective pothole j at time t. Thus, the Euclidean distance d _min that represents the distance to the nearest pothole 5 is automatically used to determine the cost factor 4.1.

Es ist auch möglich anstelle eines momentanen Kostenfaktors 4.1 einen in der Gleichung in 4 gezeigten gemittelten Kostenfaktor 4.3 zu verwenden. Hierzu werden die zu den jeweiligen Zeitpunkten t bestimmten momentanen Kostenfaktoren 4.1 aufsummiert und durch die jeweilige Messanzahl geteilt.It is also possible to use a cost factor 4.1 instead of a current cost factor 4.1 in the equation 4 The averaged cost factor 4.3 shown is to be used. For this purpose, the instantaneous cost factors 4.1 determined at the respective times t are summed and divided by the respective number of measurements.

5 veranschaulicht eine Gleichung die es ermöglicht eine Tiefe 10 der jeweiligen Schlaglöcher 5 in der Kostenfunktion 3 zu berücksichtigen. Dabei wird von der euklidischen Distanz d die gewichtete Tiefe 10 des jeweiligen Schlaglochs 5 subtrahiert. Die Tiefe 10 des jeweiligen Schlaglochs j wird dabei mit einem eigenen Gewichtungsfaktor 13 multipliziert. Hierdurch wird der Abstand: distance_offset (av_t,potthole_t ^j) erhalten. 5 illustrates an equation that allows a depth 10 of the respective potholes 5 to be taken into account in the cost function 3. The weighted depth 10 of the respective pothole 5 is subtracted from the Euclidean distance d. The depth 10 of the respective pothole j is multiplied by a separate weighting factor 13. This results in the distance: distance_offset (av _t ,potthole _t ^j ).

Mittels des erfindungsgemäßen Verfahrens lassen sich Schlaglöcher 5 besonders einfach und direkt als Einflussfaktor zur Ermittlung entsprechender Trajektorien 2.1, 2.2 berücksichtigen. Durch das Wählen geschickter Gewichtungsfaktoren 4.2 bzw. 13 lässt sich dabei das Ausmaß einstellen, wie sehr sich die Tiefe 10 eines jeweiligen Schlaglochs 5 bzw. der Abstand des Schlaglochs 5 zum Fahrzeug 1 auf die Trajektorienauswahl ausschlägt. Somit lassen sich situationsspezifisch besonders zutreffende Trajektorien ermitteln. Der Verschleiß der Fahrzeugkomponenten sinkt, da insbesondere tiefe Schlaglöcher 5 umfahren werden. Somit können Ausfallzeiten des Fahrzeugs 1 verkürzt werden und Wartungskosten reduziert werden. Aufgrund der Formulierung als Kostenterm 4 ist die Integration in bereits bestehende Algorithmen zur Verhaltensplanung möglich.Using the method according to the invention, potholes 5 can be considered particularly easily and directly as an influencing factor for determining corresponding trajectories 2.1, 2.2. By selecting clever weighting factors 4.2 and 13, respectively, the extent to which the depth 10 of a respective pothole 5 or the distance of the pothole 5 from the vehicle 1 affects the trajectory selection can be adjusted. This allows particularly appropriate trajectories to be determined for specific situations. Wear and tear on the vehicle components is reduced because, in particular, deep potholes 5 are avoided. This allows downtimes of the vehicle 1 to be shortened and maintenance costs to be reduced. Due to the formulation as cost term 4, integration into existing algorithms for behavior planning is possible.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10 2017 212 373 A1 [0009]
DE 10 2021 133 744 A1 [0010]
DE 10 2022 112 748 A1 [0011]
WO 2021/127186 A1 [0012]

Zitierte Nicht-PatentliteraturCited non-patent literature

https://arxiv.org/pdf/2207.10422.pdf [0004]
https://towardsdatascience.com/building-a-realtime-pothole-detection-system-using-machine-learning-and-computer-vision-2e5fb2e5e746 [0008]

Claims

Method for operating an at least partially automated controllable vehicle (1), wherein an internal vehicle computing unit determines a trajectory (2.1, 2.2) for the vehicle (1) by minimizing a cost function (3), wherein the cost function (3) is composed of a weighted sum of several cost terms (4), characterized in that at least one separate cost term (4) for potholes (5) is included in the cost function (3).

Procedure according to Claim 1 , characterized in that the vehicle (1) detects potholes (5) by means of an environmental sensor system (6) and locates them relative to the vehicle (1), the cost term (4) for the potholes (5) comprises at least one cost factor (4.1) and the current distance between the vehicle (1) and the nearest pothole (5) at the respective time (t) is used to determine the cost factor (4.1).

Procedure according to Claim 2 , characterized in that the computing unit enters a boundary box (8.1) for the vehicle (1) and a boundary box (8.2) for each pothole (5) in a 2D coordinate system (7) representing the surroundings from a bird's eye view, determines the Euclidean distance (d) between the boundary box (8.1) of the vehicle (1) and the boundary box (8.2) of the respective pothole (5) for each pothole (5) and uses the shortest Euclidean distance (d _min ) to determine the cost factor (4.1).

Proceedings Claim 3 , characterized in that a respective boundary box (8.1, 8.2) is idealized as a cuboid and/or the origin of the 2D coordinate system (7) is fixed in the center of the boundary box (8.1) of the vehicle (1).

Method according to one of the Claims 2 until 4 , characterized in that a consideration distance (9) for potholes (5) is determined and the computing unit only takes the cost factor (4.1) for the pothole (5) into account in the cost function (3) if the distance between the vehicle (1) and the nearest pothole (5) is smaller than the consideration distance (9), wherein the computing unit determines the cost factor (4.1) in particular by subtracting the distance from the consideration distance (9).

Method according to one of the Claims 2 until 5 , characterized in that the cost factor (4.1) for a respective pothole (5) is determined at least two time steps and the computing unit takes into account a cost factor (4.3) averaged from these cost factors (4.1) in the cost function (3).

Method according to one of the Claims 2 until 6 , characterized in that the cost term (4) for the potholes (5) comprises at least one weighting factor (4.2) which is multiplied by the cost factor (4.1).

Method according to one of the Claims 1 until 7 , characterized in that the cost term (4) for potholes (5) takes into account a depth (10) of a respective pothole (5).

Method according to one of the Claims 3 until 7 and Claim 8 , characterized in that the computing unit, in order to take into account the depth (10) of a respective pothole (5) in the cost term (4), subtracts the depth (10) of the pothole (5) from the Euclidean distance (d) for each pothole (5), in particular in the form of a weighted depth (10).

Vehicle (1), comprising an environmental sensor system (6) and a computing unit configured to determine control commands taking into account a planned trajectory (2.1, 2.2), characterized in that the environmental sensor system (6) and the computing unit are configured to carry out a method according to one of the Claims 1 until 9 are set up.