DE102024101216A1

DE102024101216A1 - Method for generating a synthetic view of a motor vehicle environment, processing device and computer program

Info

Publication number: DE102024101216A1
Application number: DE102024101216.1A
Authority: DE
Inventors: Dina Abdel-Hamid; Ibrahim Elsherbiney
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2024-01-17
Filing date: 2024-01-17
Publication date: 2025-07-17
Also published as: WO2025153270A1

Abstract

Die Erfindung ist auf ein Verfahren zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes (12) gerichtet, wobei das Umfeld (12) einen Parkplatz mit einer Anzahl von Linienmarkierungen (14) beinhaltet, wobei eine jeweilige Linienmarkierung (14) die Position einer Parklücke (16) angibt. Das Verfahren beinhaltet das Bestimmen (S1) eines Startpunkts (18) von jeder von einem vorbestimmten Satz von Linienmarkierungen (14), das Anpassen (S2) einer Linie (26) durch die Startpunkte (18), das Bestimmen (S3) einer mittleren Orientierung der Linienmarkierungen (14) mit Bezug auf die angepasste Linie (26), das Erzeugen (S4) eines Satzes von virtuellen Linienmarkierungen (24) mit der mittleren Orientierung, und das Anzeigen (S5) des Satzes von virtuellen Linienmarkierungen (24) als Teil der synthetischen Ansicht des Kraftfahrzeugumfeldes (12) auf einer Anzeigeanordnung des Kraftfahrzeugs (10). The invention is directed to a method for generating a synthetic view of a motor vehicle environment (12), wherein the environment (12) includes a parking space with a number of line markings (14), wherein a respective line marking (14) indicates the position of a parking space (16). The method includes determining (S1) a starting point (18) of each of a predetermined set of line markings (14), adjusting (S2) a line (26) through the starting points (18), determining (S3) an average orientation of the line markings (14) with respect to the adjusted line (26), generating (S4) a set of virtual line markings (24) with the average orientation, and displaying (S5) the set of virtual line markings (24) as part of the synthetic view of the motor vehicle environment (12) on a display arrangement of the motor vehicle (10).

Description

Die Erfindung ist auf ein Verfahren, insbesondere auf ein computerimplementiertes Verfahren, zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes in einem Linienparkszenario gerichtet. Mit anderen Worten, die Erfindung ist auf das Erzeugen einer synthetischen Ansicht des Umfeldes gerichtet, wobei das Umfeld einen Parkplatz mit einer Anzahl von Linienmarkierungen beinhaltet, wobei eine jeweilige Linienmarkierung die Position einer Parklücke angibt. Vorzugsweise ist die synthetische Ansicht eine Bildsymbolansicht und keine Kameraüberlagerung des Umfeldes.The invention is directed to a method, in particular to a computer-implemented method, for generating a synthetic view of a motor vehicle's surroundings in a line parking scenario. In other words, the invention is directed to generating a synthetic view of the surroundings, wherein the surroundings include a parking space with a number of line markings, each line marking indicating the position of a parking space. Preferably, the synthetic view is an image symbol view and not a camera overlay of the surroundings.

Weitere Aspekte der Erfindung sind auf eine Verarbeitungsvorrichtung mit einer Recheneinheit, die dazu eingerichtet ist, Schritte des erfindungsgemäßen Verfahrens durchzuführen, und auf ein Computerprogramm mit Befehlen, die, wenn das Programm durch eine Recheneinheit ausgeführt wird, bewirken, dass die Recheneinheit die Schritte des erfindungsgemäßen Verfahrens ausführt, gerichtet. Ein weiterer Aspekt der Erfindung ist auf ein computerlesbares Speichermedium gerichtet, auf dem das Computerprogramm gespeichert ist.Further aspects of the invention are directed to a processing device having a computing unit configured to perform steps of the method according to the invention, and to a computer program having instructions that, when executed by a computing unit, cause the computing unit to perform the steps of the method according to the invention. A further aspect of the invention is directed to a computer-readable storage medium on which the computer program is stored.

In vielen bekannten Fahrerassistenzsystemen, beispielsweise in Systemen für das Manövrieren mit niedriger Geschwindigkeit (LSMS), wie zum Beispiel Parkassistenzsystemen für das automatische oder halbautomatische Parken eines Kraftfahrzeugs in einem Umfeld des Kraftfahrzeugs, wird eine Eingabe auf der Basis von Sensordaten erzeugt, die Merkmale im Umfeld beschreiben. Gewöhnlich werden Daten von Sensoren eines Umfeldsensorsystems des Kraftfahrzeugs verwendet. Solche Sensorsysteme können Kamerasensoren, die Bilder oder Szenen des Umfeldes oder der jeweiligen Merkmale im Umfeld erfassen, beinhalten. Die Bilder oder Szenen können durch das LSMS mittels Computervision verarbeitet werden.In many known driver assistance systems, such as low-speed maneuvering systems (LSMS), such as parking assistance systems for the automatic or semi-automatic parking of a motor vehicle in an environment surrounding the motor vehicle, an input is generated based on sensor data describing features in the environment. Typically, data from sensors of an environment sensor system of the motor vehicle is used. Such sensor systems can include camera sensors that capture images or scenes of the environment or of the respective features in the environment. The images or scenes can be processed by the LSMS using computer vision.

Computervisionsalgorithmen, die auch als Maschinenvisionsalgorithmen oder Algorithmen für die automatische visuelle Wahrnehmung bezeichnet werden können, können als Computeralgorithmen zum automatischen Durchführen einer visuellen Wahrnehmungsaufgabe betrachtet werden. Eine visuelle Wahrnehmungsaufgabe, die auch als Computervisionsaufgabe bezeichnet wird, kann beispielsweise als Aufgabe zum Extrahieren von visuellen Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe in mehreren Fällen im Prinzip durch einen Menschen durchgeführt werden, der ein Bild, das den Bilddaten entspricht, visuell wahrnehmen kann. Im vorliegenden Zusammenhang werden jedoch visuelle Wahrnehmungsaufgaben automatisch durchgeführt, ohne die Unterstützung durch einen Menschen zu erfordern.Computer vision algorithms, which may also be referred to as machine vision algorithms or algorithms for automatic visual perception, can be considered as computer algorithms for automatically performing a visual perception task. A visual perception task, also referred to as a computer vision task, can be understood, for example, as a task for extracting visual information from image data. In particular, in several cases, the visual perception task can, in principle, be performed by a human who can visually perceive an image corresponding to the image data. In the present context, however, visual perception tasks are performed automatically, without requiring human assistance.

Ein Computervisionsalgorithmus kann beispielsweise als Bildverarbeitungsalgorithmus oder Algorithmus für die Bildanalyse verstanden werden, der unter Verwendung von Maschinenlernen trainiert wird und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, basieren kann. Ein solcher Computervisionsalgorithmus kann beispielsweise einen Objektdetektionsalgorithmus, einen Hindernisdetektionsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifikationsalgorithmus, einen Segmentierungsalgorithmus und/oder einen Tiefenabschätzalgorithmus beinhalten.A computer vision algorithm can be understood, for example, as an image processing algorithm or image analysis algorithm that is trained using machine learning and can be based, for example, on an artificial neural network, in particular a convolutional neural network. Such a computer vision algorithm can include, for example, an object detection algorithm, an obstacle detection algorithm, an object tracking algorithm, a classification algorithm, a segmentation algorithm, and/or a depth estimation algorithm.

Im Zusammenhang mit der Liniendetektion mittels Computervision, insbesondere im Zusammenhang mit dem Detektieren von Linienmarkierungen von Parklücken, beinhaltet ein bekanntes Problem die Verarbeitung von unvollständigen Eingangslinien, die unterbrochen, verblasst oder, beispielsweise mit Schnee, bedeckt sein können. In diesem Zusammenhang beschreibt US 2021/0248753 A1 einen Bildprozessor mit einer Bildgebungsvorrichtung, die ein Bild einer Straßenoberfläche um ein Fahrzeug herum erfasst, und einem Steuerabschnitt, der eine Markierung, die auf die Straßenoberfläche gezeichnet ist, aus dem erfassten Bild detektiert. Der Steuerabschnitt verbindet eine Vielzahl von unterbrochenen Markierungen, um eine einzelne Markierung zu erzeugen, wenn die detektierte Markierung in mehrere unterbrochen ist.In the context of line detection using computer vision, especially in the context of detecting line markings of parking spaces, a well-known problem involves the processing of incomplete entry lines that may be interrupted, faded, or covered, for example, with snow. In this context, US 2021/0248753 A1 an image processor including an imaging device that captures an image of a road surface around a vehicle, and a control section that detects a mark drawn on the road surface from the captured image. The control section connects a plurality of discontinuous marks to generate a single mark when the detected mark is discontinuous into multiple marks.

Abgesehen davon sind jedoch Eingangslinien, die durch Computervision detektiert werden, häufig inkohärent oder in Nichtübereinstimmung mit der Realität hinsichtlich eines Orientierungswinkels, einer Länge, eines Startpunkts und/oder eines Endpunkts einer jeweiligen Linienmarkierung. Mit anderen Worten, die Linienmarkierungen können mit verschiedenen Orientierungen detektiert werden, obwohl in der Realität die Linienmarkierungen einem regelmäßigen Muster folgen. Bekannte Linienmarkierungsmuster sind beispielsweise parallele Parklücken, Parklücken vom Fischgrätentyp oder ein gitterartiges Muster von Parklücken. Die Inkohärenz oder Nichtübereinstimmung kann durch Eigenschaften der Merkmale selbst wie zum Beispiel unterbrochene oder verblasste Linien verursacht werden. Die Inkohärenz kann jedoch auch durch Fehler während der Detektion verursacht werden. Wenn beispielsweise der Fahrzeugsensor mit Bezug auf den Boden geneigt ist, können geometrische Effekte zur falschen Detektion von Linienmarkierungen auf dem Boden führen.Apart from that, however, input lines detected by computer vision are often incoherent or inconsistent with reality in terms of an orientation angle, length, start point, and/or end point of a respective line marking. In other words, the line markings can be detected with different orientations, even though in reality the line markings follow a regular pattern. Common line marking patterns include parallel parking spaces, herringbone parking spaces, or a grid-like pattern of parking spaces. The incoherence or inconsistency can be caused by properties of the features themselves, such as broken or faded lines. However, the incoherence can also be caused by errors during detection. For example, if the vehicle sensor is tilted with respect to the ground, geometric effects can lead to the false detection of line markings on the ground.

Diese Inkohärenz oder Diskrepanz oder Nichtübereinstimmung macht es für ein LSMS schwierig, das Kraftfahrzeug im Umfeld zu lokalisieren und/oder eine spezifische Parklücke zum Parken des Kraftfahrzeugs auszuwählen. In Parkszenarien mit menschlicher Beteiligung, in denen ein menschlicher Fahrer sich auf eine synthetische Ansicht des Umfeldes verlässt, macht es die Inkohärenz auch schwierig für den Fahrer, sich im Umfeld zu lokalisieren und eine spezifische Parklücke zum manuellen oder halbautomatischen Parken des Kraftfahrzeugs auszuwählen.This incoherence or discrepancy or mismatch makes it for an LSMS difficult to locate the motor vehicle in the surrounding area and/or select a specific parking space to park the motor vehicle. In parking scenarios with human involvement, where a human driver relies on a synthetic view of the surrounding area, the incoherence also makes it difficult for the driver to locate themselves in the surrounding area and select a specific parking space to manually or semi-automatically park the motor vehicle.

Daher ist es eine Aufgabe der vorliegenden Erfindung, die Lokalisierung eines Kraftfahrzeugs in einem Umfeld, nämlich einem Linienparkszenario, zu erleichtern.Therefore, it is an object of the present invention to facilitate the localization of a motor vehicle in an environment, namely a line parking scenario.

Die Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte weitere Ausführungsformen der Erfindung sind durch die abhängigen Ansprüche, die folgende Beschreibung und die Figuren beschrieben.This object is achieved by the subject matter of the independent claims. Advantageous further embodiments of the invention are described by the dependent claims, the following description, and the figures.

Die Erfindung ist auf ein Verfahren, insbesondere auf ein computerimplementiertes Verfahren, zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes gerichtet, wobei das Umfeld einen Parkplatz mit einer Anzahl von Linienmarkierungen beinhaltet, wobei eine jeweilige Linienmarkierung die Position einer Parklücke angibt.The invention is directed to a method, in particular to a computer-implemented method, for generating a synthetic view of a motor vehicle environment, wherein the environment includes a parking space with a number of line markings, wherein a respective line marking indicates the position of a parking space.

Das erfindungsgemäße Verfahren beinhaltet die Schritte

- Bestimmen eines Startpunkts von jeder von einem vorbestimmten Satz oder einer vorbestimmten Anzahl von Linienmarkierungen,
- Anpassen einer Linie durch die Startpunkte,
- Bestimmen einer mittleren Orientierung der Linienmarkierungen mit Bezug auf die angepasste Linie,
- Erzeugen eines Satzes von virtuellen Linienmarkierungen mit der mittleren Orientierung, und
- Anzeigen des Satzes von virtuellen Linienmarkierungen als Teil der synthetischen Ansicht des Kraftfahrzeugumfeldes auf einer Anzeigeanordnung des Kraftfahrzeugs.

The method according to the invention comprises the steps

- Determining a starting point of each of a predetermined set or number of line markers,
- Adjusting a line through the starting points,
- Determining an average orientation of the line markings with respect to the fitted line,
- Creating a set of virtual line markers with the mean orientation, and
- Displaying the set of virtual line markings as part of the synthetic view of the motor vehicle's surroundings on a display arrangement of the motor vehicle.

Der vorbestimmte Satz von Linienmarkierungen kann eine Anzahl, beispielsweise zwei oder mehr, von realen Linienmarkierungen im Umfeld des Kraftfahrzeugs beinhalten. An sich können die Linienmarkierungen durch ein Sensorsystem des Kraftfahrzeugs, beispielsweise durch einen Kamerasensor, erfasst werden. Der vorbestimmte Satz kann jedoch Linienmarkierungen beinhalten, die bereits durch einen Computervisionsalgorithmus, beispielsweise durch einen Computervisionsalgorithmus, der durch ein Assistenzsystem des Kraftfahrzeugs betrieben wird, vorverarbeitet wurden. Mit anderen Worten, der vorbestimmte Satz von Linienmarkierungen kann das Ergebnis eines Verarbeitungsschritts sein, wobei ein Bild von realen Linienmarkierungen durch einen Computervisionsalgorithmus verarbeitet worden sein kann, um eine vorverarbeitete Version der realen Linienmarkierungen bereitzustellen.The predetermined set of line markings may include a number, for example two or more, of real line markings in the surroundings of the motor vehicle. As such, the line markings may be detected by a sensor system of the motor vehicle, for example, by a camera sensor. However, the predetermined set may include line markings that have already been preprocessed by a computer vision algorithm, for example, by a computer vision algorithm operated by an assistance system of the motor vehicle. In other words, the predetermined set of line markings may be the result of a processing step, wherein an image of real line markings may have been processed by a computer vision algorithm to provide a preprocessed version of the real line markings.

Der Startpunkt von jeder der Linienmarkierungen vom vorbestimmten Satz kann aus einem Bild der Linienmarkierungen bestimmt werden, das durch einen Sensor des Kraftfahrzeugs, beispielsweise durch den Kamerasensor, erfasst werden kann. Der Kamerasensor kann das Bild zu einer Recheneinheit für die Weiterverarbeitung im Verlauf des erfindungsgemäßen Verfahrens übertragen. Alternativ oder zusätzlich kann die Recheneinheit die vorstehend beschriebene vorverarbeitete Version der Linienmarkierungen oder des Bildes der Linienmarkierungen empfangen. Die Recheneinheit kann auch Daten, die den vorbestimmten Satz von Linienmarkierungen beschreiben, von einer digitalen Karte empfangen, die durch einen Online-Dienst oder durch ein Navigationsmodul des Kraftfahrzeugs der Recheneinheit bereitgestellt werden kann.The starting point of each of the line markings from the predetermined set can be determined from an image of the line markings, which can be captured by a sensor of the motor vehicle, for example by the camera sensor. The camera sensor can transmit the image to a computing unit for further processing in the course of the method according to the invention. Alternatively or additionally, the computing unit can receive the above-described preprocessed version of the line markings or the image of the line markings. The computing unit can also receive data describing the predetermined set of line markings from a digital map, which can be provided to the computing unit by an online service or by a navigation module of the motor vehicle.

Die Linie kann anfänglich an zwei der Startpunkte unter Verwendung von Standardlinienanpassungstechniken durch die Recheneinheit angepasst werden. Die anfänglich angepasste Linie kann auf die weiteren Startpunkte des Rests der Linienmarkierungen durch Betrachten der Standardabweichung jedes weiteren Startpunkts von der anfänglich angepassten Linie eingestellt werden.The line can be initially adjusted to two of the starting points by the computing unit using standard line adjustment techniques. The initially adjusted line can be adjusted to the other starting points of the remaining line markers by considering the standard deviation of each additional starting point from the initially adjusted line.

Zum Bestimmen der mittleren Orientierung der Linienmarkierungen mit Bezug auf die angepasste Linie kann ein Verfahren von gewichteten Mittelwerten verwendet werden. Dazu kann zuerst die mittlere Orientierung von mindestens zwei Linienmarkierungen mit Bezug auf die angepasste Linie bestimmt werden. Wenn eine weitere Linienmarkierungsorientierung von diesem anfänglich bestimmten Mittelwert um mehr als eine vorbestimmte Toleranz abweicht, weist die Orientierung der weiteren Linienmarkierung weniger Gewicht auf als die Orientierung von anderen Linienmarkierungen, die innerhalb der vorbestimmten Toleranz liegen. So wird die Konfidenz der mittleren Orientierung des ganzen Satzes von Linienmarkierungen mit jeder weiteren Linienmarkierung, die zur Berechnung hinzugefügt wird, erhöht.A weighted average method can be used to determine the mean orientation of the line markers with respect to the fitted line. This can be done by first determining the mean orientation of at least two line markers with respect to the fitted line. If another line marker orientation deviates from this initially determined mean by more than a predetermined tolerance, the orientation of the other line marker is given less weight than the orientation of other line markers that lie within the predetermined tolerance. Thus, the confidence of the mean orientation of the entire set of line markers increases with each additional line marker added to the calculation.

Die Recheneinheit erzeugt dann den Satz von virtuellen Linienmarkierungen, wobei alle der virtuellen Linienmarkierungen die bestimmte mittlere Orientierung aufweisen. Die Anzahl von virtuellen Linienmarkierungen kann gleich der Anzahl von Linienmarkierungen des vorbestimmten Satzes sein. Alternativ kann sich die Anzahl von virtuellen Linienmarkierungen von der Anzahl von Linienmarkierungen aus dem vorbestimmten Satz unterscheiden. Mit anderen Worten, zusätzliche virtuelle Linienmarkierungen können aus dem Satz von realen Linienmarkierungen auf der Basis des bestimmten Mittelwerts vorhergesagt werden. Folglich kann der Satz von virtuellen Linienmarkierungen mehr Linienmarkierungen beinhalten als der vorbestimmte Satz von realen Linienmarkierungen.The computing unit then generates the set of virtual line markers, wherein all of the virtual line markers have the determined mean orientation. The number of virtual line markers may be equal to the number of line markers of the predetermined set. Alternatively, the number of virtual Line markers differ from the number of line markers in the predetermined set. In other words, additional virtual line markers can be predicted from the set of real line markers based on the determined mean. Consequently, the set of virtual line markers can include more line markers than the predetermined set of real line markers.

Der Satz von virtuellen Linienmarkierungen kann durch die Recheneinheit zur Anzeigeanordnung des Kraftfahrzeugs übertragen werden. Folglich wird der Satz von virtuellen Linienmarkierungen, die alle dieselbe Orientierung aufweisen, nämlich die vorstehend beschriebene mittlere Orientierung der Linienmarkierungen des vorbestimmten Satzes, für den Fahrer des Kraftfahrzeugs über die Anzeigeanordnung oder -einrichtung angezeigt. Die Anzeigeanordnung kann als Mensch-Maschine-Schnittstelle (HMI) realisiert sein. Sie kann beispielsweise eine Berührungsoberfläche beinhalten, die dazu ausgelegt ist, eine Eingabe vom Fahrer über eine Berührungsgeste zu empfangen. Der Fahrer kann beispielsweise eine der Parklücken auswählen, die durch eine oder mehrere der virtuellen Linienmarkierungen markiert ist. Er kann dann das Kraftfahrzeug manuell in der ausgewählten Parklücke parken. Alternativ kann ein automatisiertes Parkassistenzsystem des Kraftfahrzeugs das Kraftfahrzeug (halb)automatisch innerhalb der ausgewählten Parklücke parken.The set of virtual line markings can be transmitted by the computing unit to the display arrangement of the motor vehicle. Consequently, the set of virtual line markings, all of which have the same orientation—namely, the above-described mean orientation of the line markings of the predetermined set—is displayed to the driver of the motor vehicle via the display arrangement or device. The display arrangement can be implemented as a human-machine interface (HMI). It can, for example, include a touch surface configured to receive input from the driver via a touch gesture. The driver can, for example, select one of the parking spaces marked by one or more of the virtual line markings. They can then manually park the motor vehicle in the selected parking space. Alternatively, an automated parking assistance system of the motor vehicle can (semi-)automatically park the motor vehicle within the selected parking space.

Obwohl die virtuellen Linienmarkierungen nicht notwendigerweise die Realität darstellen, wird aufgrund ihrer Regelmäßigkeit eine Lokalisierung des Kraftfahrzeugs in der synthetischen Ansicht des Umfeldes mit den virtuellen Linienmarkierungen erheblich erleichtert.Although the virtual line markings do not necessarily represent reality, their regularity makes localizing the motor vehicle in the synthetic view of the environment with the virtual line markings considerably easier.

Die Erfindung beinhaltet weitere Ausführungsformen, die zusätzliche Vorteile bereitstellen.The invention includes further embodiments that provide additional advantages.

Gemäß einer Ausführungsform werden die Linienmarkierungen des vorbestimmten Satzes verschiedenen vorbestimmten Klassen von Linienmarkierungen auf der Basis ihrer jeweiligen Orientierung zugewiesen, wobei nur Linienmarkierungen von derselben Klasse als Basis zum Erzeugen des Satzes von virtuellen Linienmarkierungen verwendet werden. Für jede Klasse kann eine vorbestimmte klassenspezifische Orientierung definiert werden. Linienmarkierungen mit einer Orientierung, die um mehr als einen vorbestimmten Toleranzwinkel von der vorbestimmten klassenspezifischen Orientierung abweicht, können aus dem Satz von Linienmarkierungen, auf dessen Basis die mittlere Orientierung bestimmt wird, ausgeschlossen werden. Mit anderen Worten, die Linienmarkierungen des vorbestimmten Satzes, vorzugsweise die realen Linienmarkierungen, werden auf der Basis ihrer jeweiligen Orientierung klassifiziert. Für die Klassifikation kann die Orientierung von jeder der Linienmarkierungen aus dem vorbestimmten Satz von Linienmarkierungen in einem Klassifikationsschritt bestimmt werden, der vor dem Berechnen oder Bestimmen der mittleren Orientierung der Linienmarkierungen des vorbestimmten Satzes durchgeführt werden kann. Mit anderen Worten, im Klassifikationsschritt wird eine Entscheidung hinsichtlich der Linienmarkierungen getroffen, die für die Berechnung der mittleren Orientierung und zum Erzeugen des Satzes von virtuellen Linienmarkierungen verwendet werden sollten oder nicht verwendet werden sollten. Die Vorauswahl von Linienmarkierungen verringert die potentielle Nichtübereinstimmung zwischen der mittleren Orientierung und den einzelnen Orientierungen der Linienmarkierungen des vorbestimmten Satzes. Außerdem wird die Konfidenz in der mittleren Orientierung weiter erhöht.According to one embodiment, the line markers of the predetermined set are assigned to different predetermined classes of line markers based on their respective orientation, wherein only line markers of the same class are used as a basis for generating the set of virtual line markers. For each class, a predetermined class-specific orientation can be defined. Line markers with an orientation that deviates from the predetermined class-specific orientation by more than a predetermined tolerance angle can be excluded from the set of line markers on the basis of which the average orientation is determined. In other words, the line markers of the predetermined set, preferably the real line markers, are classified based on their respective orientation. For classification, the orientation of each of the line markers from the predetermined set of line markers can be determined in a classification step, which can be performed before calculating or determining the average orientation of the line markers of the predetermined set. In other words, in the classification step, a decision is made regarding which line markers should or should not be used for calculating the mean orientation and generating the set of virtual line markers. Preselecting line markers reduces the potential mismatch between the mean orientation and the individual orientations of the line markers in the predetermined set. Furthermore, the confidence in the mean orientation is further increased.

Klassen von Linienmarkierungen können eine Klasse von parallelen Linienmarkierungen mit einer Orientierung von etwa 90 Grad mit Bezug auf die angepasste Linie und/oder eine Klasse von parallelen Linienmarkierungen mit einer anderen Orientierung als 90 Grad mit Bezug auf die angepasste Linie (Linienmarkierungen vom Fischgrätentyp) und/oder gitterartig angeordnete Linienmarkierungen beinhalten. Insbesondere können die Linienmarkierungen vom Fischgrätentyp eine Orientierung von etwa 40 bis 60 Grad mit Bezug auf die angepasste Linie aufweisen.Classes of line markers may include a class of parallel line markers with an orientation of approximately 90 degrees with respect to the adjusted line and/or a class of parallel line markers with an orientation other than 90 degrees with respect to the adjusted line (herringbone-type line markers) and/or grid-like line markers. In particular, the herringbone-type line markers may have an orientation of approximately 40 to 60 degrees with respect to the adjusted line.

Gemäß einer Ausführungsform wird ein Schnittpunkt einer jeweiligen Linienmarkierung des vorbestimmten Satzes mit der angepassten Linie bestimmt und als Startpunkt für eine jeweilige virtuelle Linienmarkierung verwendet. Mit anderen Worten, die Recheneinheit kann die Schnittpunkte zwischen den Linienmarkierungen des vorbestimmten Satzes und der angepassten Linie bestimmen, die an die Startpunkte der Linienmarkierungen des vorbestimmten Satzes angepasst wird. Dies kann durch einen Vergleich der Koordinaten der Startpunkte und der angepassten Linie durchgeführt werden. Mit anderen Worten, die Recheneinheit kann ein gemeinsames Koordinatensystem für die Linienmarkierungen des vorbestimmten Satzes und die angepasste Linie festlegen. In diesem gemeinsamen Koordinatensystem können die Koordinaten der Startpunkte und der angepassten Linie verglichen werden, um die Schnittpunkte zu bestimmen. Jede der virtuellen Linienmarkierungen kann dann an einem jeweiligen Startpunkt verankert sein. So weisen die virtuellen Linienmarkierungen automatisch denselben Abstand wie die Linienmarkierungen des vorbestimmten Satzes auf, der dem Abstand der realen Linienmarkierungen entsprechen kann. Dies kann die Lokalisierung des Kraftfahrzeugs und die Auswahl einer geeigneten Parklücke für das Kraftfahrzeug im Umfeld weiter erleichtern.According to one embodiment, an intersection point of a respective line marking of the predetermined set with the adjusted line is determined and used as the starting point for a respective virtual line marking. In other words, the computing unit can determine the intersection points between the line markings of the predetermined set and the adjusted line, which is adjusted to the starting points of the line markings of the predetermined set. This can be done by comparing the coordinates of the starting points and the adjusted line. In other words, the computing unit can define a common coordinate system for the line markings of the predetermined set and the adjusted line. In this common coordinate system, the coordinates of the starting points and the adjusted line can be compared to determine the intersection points. Each of the virtual line markings can then be anchored to a respective starting point. Thus, the virtual line markings automatically have the same distance as the line markings of the predetermined set, which can correspond to the distance of the real line markings. This can facilitate the localization of the motor vehicle and the Further facilitate the selection of a suitable parking space for the vehicle in the surrounding area.

Gemäß weiteren Ausführungsformen können ein Endpunkt von jeder und/oder eine mittlere Länge der Linienmarkierungen des vorbestimmten Satzes beim Erzeugen des Satzes von virtuellen Linienmarkierungen berücksichtigt werden. Dies verbessert weiter die Ähnlichkeit zwischen der synthetischen Ansicht des Umfeldes und dem realen Umfeld und erleichtert die Lokalisierung des Kraftfahrzeugs und die Auswahl einer geeigneten Parklücke für das Kraftfahrzeug im Umfeld.According to further embodiments, an endpoint of each and/or an average length of the line markings of the predetermined set can be taken into account when generating the set of virtual line markings. This further improves the similarity between the synthetic view of the surroundings and the real surroundings and facilitates the localization of the motor vehicle and the selection of a suitable parking space for the motor vehicle in the surroundings.

Gemäß einer Ausführungsform wird ein Abstand zwischen benachbarten Linienmarkierungen des vorbestimmten Satzes bestimmt, wobei der Satz von virtuellen Linienmarkierungen unter Berücksichtigung des bestimmten Abstandes erzeugt wird. Mit anderen Worten, der Abstand zwischen zwei benachbarten Linienmarkierungen aus dem vorbestimmten Satz von Linienmarkierungen des vorbestimmten Satzes kann bestimmt werden. Der Abstand kann zum Vorhersagen von fehlenden Linienmarkierungen in dem Satz von Linienmarkierungen des vorbestimmten Satzes, vorzugsweise der realen Linienmarkierungen, verwendet werden. Linienmarkierungen in dem Satz von realen Linienmarkierungen können beispielsweise aufgrund von Schneebedeckung oder dergleichen fehlen. Auf der Basis des bestimmten Abstandes können solche Lücken in dem Satz von realen Linienmarkierungen durch Vorhersagen der fehlenden Linienmarkierungen gefüllt werden. So kann ein vollständiger Satz von realen Linienmarkierungen zum Erzeugen der virtuellen Linienmarkierungen verwendet werden.According to one embodiment, a distance between adjacent line markings of the predetermined set is determined, wherein the set of virtual line markings is generated taking the determined distance into account. In other words, the distance between two adjacent line markings from the predetermined set of line markings of the predetermined set can be determined. The distance can be used to predict missing line markings in the set of line markings of the predetermined set, preferably the real line markings. Line markings in the set of real line markings can be missing, for example, due to snow cover or the like. Based on the determined distance, such gaps in the set of real line markings can be filled by predicting the missing line markings. Thus, a complete set of real line markings can be used to generate the virtual line markings.

Wie bereits beschrieben, kann eine Karte des Umfeldes für die Recheneinheit bereitgestellt werden. Gemäß einer Ausführungsform werden zusätzliche Merkmale aus dem Umfeld des Kraftfahrzeugs aus Kartendaten extrahiert, wobei der Satz von virtuellen Linienmarkierungen unter Berücksichtigung der zusätzlichen Merkmale erzeugt wird. Die Kartendaten können Objekte im Umfeld beschreiben, wobei die Kartendaten zum Erzeugen des Satzes von virtuellen Linienmarkierungen verwendet werden können. Die Objekte oder zusätzlichen Merkmale können eine Orientierung eines Randsteins und/oder eine Orientierung einer Wand im Umfeld beinhalten. Mit anderen Worten, diese Orientierungen können in die Bestimmung der mittleren Orientierung der Linienmarkierungen einbezogen werden. Dies kann beispielsweise in Szenarien brauchbar sein, in denen ein Randstein und/oder eine Wand mehr oder weniger parallel zu den Linienmarkierungen des vorbestimmten Satzes verläuft.As already described, a map of the surroundings can be provided to the computing unit. According to one embodiment, additional features from the surroundings of the motor vehicle are extracted from map data, wherein the set of virtual line markings is generated taking into account the additional features. The map data can describe objects in the surroundings, wherein the map data can be used to generate the set of virtual line markings. The objects or additional features can include an orientation of a curb and/or an orientation of a wall in the surroundings. In other words, these orientations can be included in determining the average orientation of the line markings. This can be useful, for example, in scenarios in which a curb and/or a wall runs more or less parallel to the line markings of the predetermined set.

Gemäß einer Ausführungsform kann das Verfahren den Schritt des Hervorhebens von verfügbaren Parklücken im angezeigten Satz von virtuellen Linienmarkierungen beinhalten. Die Recheneinheit kann beispielsweise eine Parklücke bestimmen, die für das Kraftfahrzeug hinsichtlich der Abmessungen und/oder des Abstandes und/oder des Abstandes zu einer Einfahrt des Parkplatzes und/oder gemäß vorgegebenen Benutzervorlieben geeignet ist. Eine solche geeignete Parklücke könnte in einer anderen Farbe als der Rest der Parklücken im Umfeld angezeigt werden. So kann der Fahrer des Kraftfahrzeugs die geeignete Parklücke schnell erblicken und das Fahrzeug dorthin manövrieren.According to one embodiment, the method may include the step of highlighting available parking spaces in the displayed set of virtual line markings. The computing unit may, for example, determine a parking space suitable for the motor vehicle in terms of dimensions and/or distance and/or distance to a parking lot entrance and/or according to predetermined user preferences. Such a suitable parking space could be displayed in a different color than the rest of the surrounding parking spaces. This allows the driver of the motor vehicle to quickly spot the suitable parking space and maneuver the vehicle there.

Optional kann der Satz von virtuellen Linienmarkierungen zu einem elektronischen Fahrzeugführungssystem des Kraftfahrzeugs zum automatischen oder halbautomatischen Führen des Kraftfahrzeugs zu einer ausgewählten verfügbaren oder geeigneten Parklücke geliefert oder übertragen werden. Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug in einer vollautomatisierten oder vollautonomen Weise und insbesondere ohne, dass ein manueller Eingriff oder eine Steuerung durch einen Fahrer oder Benutzer des Fahrzeug erforderlich ist, mittels mindestens eines Steuersignals zu führen. Das Fahrzeug führt alle erforderlichen Funktionen, wie zum Beispiel Lenkmanöver, Verlangsamungsmanöver und/oder Beschleunigungsmanöver, sowie die Überwachung und Aufzeichnung des Straßenverkehrs und entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als fortschrittliches Fahrerassistenzsystem, ADAS, implementiert werden, das einen Fahrer zum teilweise automatischen oder teilweise autonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum von April 2021.Optionally, the set of virtual line markings can be supplied or transmitted to an electronic vehicle guidance system of the motor vehicle for automatically or semi-automatically guiding the motor vehicle to a selected available or suitable parking space. An electronic vehicle guidance system can be understood as an electronic system configured to guide a vehicle in a fully automated or fully autonomous manner, and in particular without requiring manual intervention or control by a driver or user of the vehicle, by means of at least one control signal. The vehicle automatically performs all required functions, such as steering maneuvers, deceleration maneuvers, and/or acceleration maneuvers, as well as monitoring and recording road traffic and corresponding reactions. In particular, the electronic vehicle guidance system can implement a fully automated or fully autonomous driving mode according to Level 5 of the SAE J3016 classification. An electronic vehicle guidance system can also be implemented as an advanced driver assistance system, ADAS, which supports a driver for partially automated or partially autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automatic or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification. Here and below, SAE J3016 refers to the respective standard dated April 2021.

Daher kann das zumindest teilweise automatische Führen des Fahrzeugs das Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 beinhalten. Das zumindest teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs gemäß einem teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 beinhalten.Therefore, at least partially automatic driving of the vehicle may include driving the vehicle according to a fully automatic or fully autonomous driving mode according to Level 5 of the SAE J3016 classification. At least partially automatic driving of the vehicle may also include driving the vehicle according to a partially automatic or partially autonomous driving mode according to Levels 1 to 4 of the SAE J3016 classification.

Das mindestens eine Steuersignal kann beispielsweise für einen oder mehrere Aktuatoren des Kraftfahrzeugs bereitgestellt werden, einschließlich beispielsweise eines oder mehrerer Bremsaktuatoren und/oder eines oder mehrerer Lenkaktuatoren und/oder eines oder mehrerer Antriebsmotoren des Kraftfahrzeugs. Der eine oder die mehreren Aktuatoren können auf eine Längs- und/oder Quersteuerung des Kraftfahrzeugs einwirken, um das Kraftfahrzeug zumindest teilweise automatisch zu führen.The at least one control signal can, for example, be used for one or more actuators of the Motor vehicle, including, for example, one or more brake actuators and/or one or more steering actuators and/or one or more drive motors of the motor vehicle. The one or more actuators can act on a longitudinal and/or lateral control of the motor vehicle in order to guide the motor vehicle at least partially automatically.

Die Unterstützungsinformationen können mittels einer Ausgabevorrichtung des Kraftfahrzeugs, beispielsweise einer Anzeige und/oder eines Audioausgabesystems und/oder eines haptischen Ausgabesystems, ausgegeben werden.The assistance information can be output by means of an output device of the motor vehicle, for example a display and/or an audio output system and/or a haptic output system.

Wie bereits beschrieben, werden gemäß einer Ausführungsform mindestens die Startpunkte und/oder der Orientierung und/oder die Endpunkte und/oder der Abstand der Linienmarkierungen des vorbestimmten Satzes auf der Basis von Sensordaten von Sensoren eines Umfeldsensorsystems des Kraftfahrzeugs bestimmt. Ein Umfeldsensorsystem kann beispielsweise als Sensorsystem verstanden werden, das Sensordaten oder Sensorsignale erzeugen kann, die ein Umfeld des Umfeldsensorsystems darstellen, repräsentieren oder abbilden. Insbesondere kann die Fähigkeit, elektromagnetische oder andere Signale vom Umfeld zu erfassen oder zu detektieren, nicht als ausreichende Bedingung zum Qualifizieren eines Sensorsystems als Umfeldsensorsystem betrachtet werden. Kameras, Lidarsysteme, Radarsysteme oder Ultraschallsensorsysteme können beispielsweise als Umfeldsensorsysteme betrachtet werden.As already described, according to one embodiment, at least the starting points and/or the orientation and/or the end points and/or the distance of the line markings of the predetermined set are determined based on sensor data from sensors of an environment sensor system of the motor vehicle. An environment sensor system can be understood, for example, as a sensor system that can generate sensor data or sensor signals that depict, represent, or map an environment of the environment sensor system. In particular, the ability to capture or detect electromagnetic or other signals from the environment cannot be considered a sufficient condition for qualifying a sensor system as an environment sensor system. Cameras, lidar systems, radar systems, or ultrasonic sensor systems can, for example, be considered environment sensor systems.

Für Anwendungsfälle oder Anwendungssituationen, die in einem erfindungsgemäßen Verfahren entstehen können und die hierin nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Anforderung für eine Benutzerrückmeldung ausgegeben werden und/oder eine Vorgabeeinstellung und/oder ein vorbestimmter anfänglicher Zustand festgelegt werden. For applications or application situations that may arise in a method according to the invention and which are not explicitly described herein, it may be provided that, according to the method, an error message and/or a request for user feedback is output and/or a default setting and/or a predetermined initial state is defined.

Ein weiterer Aspekt der Erfindung ist auf ein Verfahren zum zumindest teilweise halbautomatischen Führen eines Kraftfahrzeugs in einem Umfeld des Kraftfahrzeugs gerichtet, das die folgenden Schritte beinhaltet:

- Bereitstellen einer synthetischen Ansicht des Kraftfahrzeugumfeldes für ein elektronisches Fahrzeugführungssystem des Kraftfahrzeugs, wobei die synthetische Ansicht gemäß einem Verfahren gemäß irgendeiner der vorstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erzeugt wird, und
- Führen des Kraftfahrzeugs auf der Basis der synthetischen Ansicht durch das elektronische Fahrzeugführungssystem.

A further aspect of the invention is directed to a method for at least partially semi-automatic driving of a motor vehicle in an environment of the motor vehicle, which method includes the following steps:

- Providing a synthetic view of the motor vehicle environment for an electronic vehicle guidance system of the motor vehicle, wherein the synthetic view is generated according to a method according to any of the above-described embodiments of the present invention, and
- Driving the motor vehicle based on the synthetic view provided by the electronic vehicle guidance system.

Ein weiterer Aspekt der Erfindung ist auf ein elektronisches Fahrzeugführungssystem mit einem Umfeldsensorsystem und einer Recheneinheit gerichtet, das dazu eingerichtet ist, ein Verfahren gemäß irgendeiner der vorstehend beschriebenen Ausführungsformen der vorliegenden Erfindung durchzuführen.A further aspect of the invention is directed to an electronic vehicle guidance system with an environment sensor system and a computing unit, which is configured to carry out a method according to any of the above-described embodiments of the present invention.

Wenn in der vorliegenden Offenbarung erwähnt ist, dass eine Komponente, insbesondere die Recheneinheit, dazu ausgelegt, dazu eingerichtet oder dazu entworfen ist und so weiter, eine bestimmte Funktion durchzuführen oder zu realisieren, einen bestimmten Effekt zu erreichen oder einem bestimmten Zweck zu dienen, kann dies derart verstanden werden, dass die Komponente, außer dass sie für diese Funktion, diesen Effekt oder diesen Zweck im Prinzip oder theoretisch verwendbar oder geeignet ist, durch eine entsprechende Anpassung, Programmierung, physikalische Auslegung und so weiter konkret und tatsächlich in der Lage ist, die Funktion auszuführen oder zu realisieren, den Effekt zu erreichen oder dem Zweck zu dienen.Whenever it is mentioned in the present disclosure that a component, in particular the computing unit, is designed, configured or configured, etc., to perform or realize a specific function, to achieve a specific effect or to serve a specific purpose, this can be understood to mean that the component, in addition to being usable or suitable for this function, effect or purpose in principle or theoretically, is concretely and actually capable of performing or realizing the function, achieving the effect or serving the purpose through appropriate adaptation, programming, physical design, etc.

Ein weiterer Aspekt ist auf ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gerichtet. Das Kraftfahrzeug kann ein Personenkraftwagen, ein Lastwagen, ein Personenbus oder ein Motorrad sein.Another aspect is directed to a motor vehicle with an electronic vehicle guidance system. The motor vehicle can be a passenger car, a truck, a passenger bus, or a motorcycle.

Ein weiterer Aspekt der Erfindung ist auf eine Verarbeitungsvorrichtung mit einer Recheneinheit gerichtet, die dazu eingerichtet ist, die Schritte des hierin beschriebenen Verfahrens durchzuführen.A further aspect of the invention is directed to a processing device having a computing unit configured to perform the steps of the method described herein.

Wenn nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens durch die Verarbeitungsvorrichtung, die mindestens eine Recheneinheit beinhaltet, insbesondere eine Datenverarbeitungseinrichtung des Fahrzeugs, durchgeführt werden. Insbesondere ist die mindestens eine Recheneinheit dazu eingerichtet oder ausgelegt, die Schritte des computerimplementierten Verfahrens durchzuführen. Für diesen Zweck kann die mindestens eine Recheneinheit beispielsweise ein Computerprogramm mit Befehlen speichern, die, wenn sie durch die mindestens eine Recheneinheit ausgeführt werden, bewirken, dass die mindestens eine Recheneinheit das computerimplementierte Verfahren ausführt.Unless otherwise stated, all steps of the computer-implemented method can be performed by the processing device, which includes at least one computing unit, in particular a data processing device of the vehicle. In particular, the at least one computing unit is configured or designed to perform the steps of the computer-implemented method. For this purpose, the at least one computing unit can, for example, store a computer program with instructions which, when executed by the at least one computing unit, cause the at least one computing unit to execute the computer-implemented method.

Alle Recheneinheiten der mindestens einen Recheneinheit können im Fahrzeug enthalten sein. Es ist jedoch auch möglich, dass alle Recheneinheiten der mindestens einen Recheneinheit ein Teil eines externen Rechensystems außerhalb des Fahrzeugs, beispielsweise eines Backend-Servers oder eines Cloud-Rechensystems, sind. Es ist auch möglich, dass die mindestens eine Recheneinheit mindestens eine Fahrzeugrecheneinheit des Fahrzeugs sowie mindestens eine externe Recheneinheit, die vom externen Rechensystem enthalten ist, beinhaltet. Die mindestens eine Fahrzeugrecheneinheit kann beispielsweise in einer oder mehreren elektronischen Steuereinheiten, ECUs, und/oder einer oder mehreren Zonensteuereinheiten, ZCUs, und/oder einer oder mehreren Domänensteuereinheiten, DCUs, des Fahrzeugs enthalten sein.All computing units of the at least one computing unit can be contained in the vehicle. However, it is also possible that all computing units of the at least one computing unit are part of an external computing system outside the vehicle. vehicle, for example, a backend server or a cloud computing system. It is also possible for the at least one computing unit to include at least one vehicle computing unit of the vehicle and at least one external computing unit contained by the external computing system. The at least one vehicle computing unit can, for example, be contained in one or more electronic control units (ECUs) and/or one or more zone control units (ZCUs) and/or one or more domain control units (DCUs) of the vehicle.

In der vorliegenden Offenbarung kann eine Recheneinheit beispielsweise als Datenverarbeitungsvorrichtung mit einem Verarbeitungsschaltkreis verstanden werden. Eine Recheneinheit kann daher Rechenoperationen durchführen, um Daten zu verarbeiten. Die Rechenoperationen können auch indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Nachschlagetabelle, LUT, beinhalten.In the present disclosure, a computing unit can be understood, for example, as a data processing device with a processing circuit. A computing unit can therefore perform computing operations to process data. The computing operations can also include indexed accesses to a data structure, for example, a lookup table (LUT).

Insbesondere kann eine Recheneinheit einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise, beispielsweise einen oder mehrere anwendungsspezifische integrierte Schaltkreise, ASIC, ein oder mehrere anwenderprogrammierbare Verknüpfungsfelder, FPGA, und/oder ein oder mehrere Ein-Chip-Systeme, SoC, beinhalten. Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere Zentraleinheiten, CPU, eine oder mehrere Graphikverarbeitungseinheiten, GPU, und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere Digitalsignalprozessoren, DSP, beinhalten. Die Recheneinheit kann auch einen physikalischen oder einen virtuellen Verbund von Computern oder anderen der Einheiten beinhalten.In particular, a computing unit may include one or more computers, one or more microcontrollers, and/or one or more integrated circuits, for example, one or more application-specific integrated circuits (ASICs), one or more field-programmable gate arrays (FPGAs), and/or one or more systems-on-chip (SoCs). The computing unit may also include one or more processors, for example, one or more microprocessors, one or more central processing units (CPUs), one or more graphics processing units (GPUs), and/or one or more signal processors, in particular one or more digital signal processors (DSPs). The computing unit may also include a physical or virtual network of computers or other of the units.

Eine Recheneinheit kann auch eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten beinhalten. Dabei kann eine Speichereinheit als flüchtiger Datenspeicher, beispielsweise als dynamischer Direktzugriffsspeicher, DRAM, oder als statischer Direktzugriffsspeicher, SRAM, oder als nichtflüchtiger Datenspeicher, beispielsweise Festwertspeicher, ROM, programmierbarer Festwertspeicher, PROM, löschbarer programmierbarer Festwertspeicher, EPROM, elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM, Flash-Speicher oder Flash-EEPROM, ferroelektrischer Direktzugriffsspeicher, FRAM, magnetoresistiver Direktzugriffsspeicher, MRAM, oder Phasenänderungsdirektzugriffsspeicher, PCRAM, implementiert werden.A computing unit may also include one or more hardware and/or software interfaces and/or one or more memory units. A memory unit may be implemented as a volatile data memory, for example, a dynamic random access memory (DRAM), a static random access memory (SRAM), or a non-volatile data memory, for example, a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), a flash memory or flash EEPROM, a ferroelectric random access memory (FRAM), a magnetoresistive random access memory (MRAM), or a phase-change random access memory (PCRAM).

Wenn in der vorliegenden Offenbarung erwähnt ist, dass eine Komponente des Kraftfahrzeugs und/oder der Datenverarbeitungsvorrichtung gemäß der Erfindung, insbesondere die Recheneinheit, dazu ausgelegt, dazu eingerichtet oder dazu entworfen ist und so weiter, eine bestimmte Funktion durchzuführen oder zu realisieren, einen bestimmten Effekt zu erreichen oder einem bestimmten Zweck zu dienen, kann dies derart verstanden werden, dass die Komponente, außer dass sie für diese Funktion, diesen Effekt oder diesen Zweck im Prinzip oder theoretisch verwendbar oder geeignet ist, durch eine entsprechende Anpassung, Programmierung, physikalische Auslegung und so weiter konkret und tatsächlich in der Lage ist, die Funktion auszuführen oder zu realisieren, den Effekt zu erreichen oder dem Zweck zu dienen.When it is mentioned in the present disclosure that a component of the motor vehicle and/or the data processing device according to the invention, in particular the computing unit, is designed, configured or configured, etc., to perform or realize a specific function, to achieve a specific effect or to serve a specific purpose, this can be understood to mean that the component, in addition to being usable or suitable for this function, effect or purpose in principle or theoretically, is concretely and actually capable of performing or realizing the function, achieving the effect or serving the purpose through appropriate adaptation, programming, physical design, etc.

Gemäß einem anderen Aspekt der Erfindung wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle durch mindestens eine Recheneinheit ausgeführt werden, bewirken die Befehle, dass die mindestens eine Recheneinheit ein erfindungsgemäßes Verfahren ausführt.According to another aspect of the invention, a computer program with instructions is provided. When the instructions are executed by at least one computing unit, the instructions cause the at least one computing unit to execute a method according to the invention.

Die Befehle können beispielsweise als Programmcode bereitgestellt werden. Der Programmcode kann beispielsweise als binärer Code oder Assembler und/oder als Quellencode einer Programmiersprache, beispielsweise C, und/oder als Programmskript, beispielsweise Python, bereitgestellt werden.The instructions can be provided, for example, as program code. The program code can be provided, for example, as binary code or assembly code and/or as source code of a programming language, for example, C, and/or as a program script, for example, Python.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, das ein erfindungsgemäßes Computerprogramm speichert, bereitgestellt.According to a further aspect of the invention, a computer-readable storage medium storing a computer program according to the invention is provided.

Das Computerprogramm und das computerlesbare Speichermedium sind jeweilige Computerprogrammprodukte mit den Befehlen.The computer program and the computer-readable storage medium are respective computer program products with the instructions.

Weitere Implementierungen der weiteren Aspekte gemäß der Erfindung folgen direkt aus den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere können individuelle Merkmale und entsprechende Erläuterungen sowie Vorteile in Bezug auf die verschiedenen Implementierungen des erfindungsgemäßen Verfahrens analog auf entsprechende Implementierungen der weiteren Aspekte gemäß der Erfindung übertragen werden. Insbesondere ist die erfindungsgemäße Datenverarbeitungsvorrichtung dazu ausgelegt oder programmiert, das erfindungsgemäße Verfahren auszuführen. Insbesondere führt die erfindungsgemäße Datenverarbeitungsvorrichtung das erfindungsgemäße Verfahren aus.Further implementations of the further aspects according to the invention follow directly from the various embodiments of the method according to the invention, and vice versa. In particular, individual features and corresponding explanations as well as advantages with regard to the various implementations of the method according to the invention can be transferred analogously to corresponding implementations of the further aspects according to the invention. In particular, the data processing device according to the invention is designed or programmed to carry out the method according to the invention. In particular, the data processing device according to the invention carries out the method according to the invention.

Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Figurenbeschreibung ersichtlich. Die vorstehend in der Beschreibung erwähnten Merkmale und Kombinationen von Merkmalen sowie die nachstehend in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Kombinationen von Merkmalen können von der Erfindung nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen enthalten sein. Insbesondere können Ausführungsformen und Kombinationen von Merkmalen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung enthalten sein. Überdies können Ausführungsformen und Kombinationen von Merkmalen, die über die in den Rezitationen der Ansprüche dargelegten Kombinationen von Merkmalen hinausgehen oder von diesen abweichen, von der Erfindung enthalten sein.Further features of the invention are evident from the claims, the figures and the description of the figures. description. The features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures, may be included by the invention not only in the respective specified combination, but also in other combinations. In particular, embodiments and combinations of features that do not have all the features of an originally formulated claim may also be included by the invention. Furthermore, embodiments and combinations of features that go beyond or deviate from the combinations of features set out in the recitations of the claims may be included by the invention.

Im Folgenden wird die Erfindung mit Bezug auf spezielle beispielhafte Implementierungen und jeweilige schematische Zeichnungen im Einzelnen erläutert. In den Zeichnungen können identische oder funktional identische Elemente mit denselben Bezugszeichen bezeichnet sein. Die Beschreibung von identischen oder funktional identischen Elementen wird mit Bezug auf verschiedene Figuren nicht notwendigerweise wiederholt.The invention will be explained in detail below with reference to specific exemplary implementations and respective schematic drawings. In the drawings, identical or functionally identical elements may be designated by the same reference numerals. The description of identical or functionally identical elements is not necessarily repeated with reference to different figures.

In den Figuren zeigt:

1 eine schematische Draufsicht eines Kraftfahrzeugs in einem Umfeld, wobei das Umfeld einen Parkplatz mit einer Vielzahl von Linienmarkierungen beinhaltet, die die Positionen von Parklücken angeben;
2 eine schematische Ansicht einer Ausgabe einer Detektion der Linienmarkierungen, wie in 1 gezeigt;
3 eine schematische Ansicht eines Satzes von virtuellen Linienmarkierungen, die auf der Basis der Ausgabe, wie in 2 gezeigt, gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens erzeugt werden; und
4 eine schematische Ansicht eines Verfahrens zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes gemäß einer erfindungsgemäßen Ausführungsform.

In the figures shows:

1 a schematic plan view of a motor vehicle in an environment, the environment including a parking lot with a plurality of line markings indicating the positions of parking spaces;
2 a schematic view of an output of a detection of the line markings, as in 1 shown;
3 a schematic view of a set of virtual line markers created based on the output as shown in 2 shown, are produced according to an embodiment of the method according to the invention; and
4 a schematic view of a method for generating a synthetic view of a motor vehicle environment according to an embodiment of the invention.

Die nachstehend erläuterten Ausführungsformen sind bevorzugte Ausführungsformen der Erfindung. In den Ausführungsformbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils individuelle Merkmale der Erfindung dar, die unabhängig voneinander betrachtet werden sollen, die auch die Erfindung unabhängig voneinander weiterbilden und somit auch individuell oder in einer anderen Kombination als der gezeigten als Komponenten der Erfindung betrachtet werden sollen. Weiterhin können die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzt werden. In den Figuren bezeichnen identische Bezugszeichen Elemente mit identischen Funktionen.The embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention, which should be considered independently of one another. They also further develop the invention independently of one another and should therefore also be considered as components of the invention, either individually or in a combination other than that shown. Furthermore, the described embodiments can also be supplemented by further features of the invention already described. In the figures, identical reference numerals designate elements with identical functions.

1 zeigt eine schematische Draufsicht eines Kraftfahrzeugs 10 in einem Umfeld 12, wobei das Umfeld 12 einen Parkplatz mit einer Vielzahl von Linienmarkierungen 14 beinhaltet, die die Positionen von Parklücken 16 angeben. Wegen der Lesbarkeit sind nur eine der Vielzahl von Linienmarkierungen 14 und eine der Vielzahl von Parklücken 16 mit dem jeweiligen Bezugszeichen markiert. 1 shows a schematic plan view of a motor vehicle 10 in an environment 12, wherein the environment 12 includes a parking lot with a plurality of line markings 14 indicating the positions of parking spaces 16. For legibility, only one of the plurality of line markings 14 and one of the plurality of parking spaces 16 are marked with the respective reference symbol.

Wenn durch das Umfeld 12 gefahren wird, kann das Sensorsystem des Kraftfahrzeugs 10 mit einem oder mehreren Sensoren Merkmalsdaten erfassen, die verschiedene Merkmale des Umfeldes 12 beschrieben. Startpunkte 18 und/oder Endpunkte 20 und/oder eine Länge 22 der Linienmarkierungen 14 können beispielsweise durch das Sensorsystem erfasst werden. Wegen der Lesbarkeit der Figur ist auch nur einer der jeweiligen Startpunkte 18, Endpunkte 20 und Längen 22 der Linienmarkierungen 14 mit dem jeweiligen Bezugszeichen markiert.When driving through the surroundings 12, the sensor system of the motor vehicle 10 can use one or more sensors to capture feature data describing various features of the surroundings 12. Starting points 18 and/or end points 20 and/or a length 22 of the line markings 14 can, for example, be detected by the sensor system. For the sake of legibility of the figure, only one of the respective starting points 18, end points 20, and lengths 22 of the line markings 14 is marked with the respective reference symbol.

Das Sensorsystem des Kraftfahrzeugs 10 kann die Merkmalsdaten zu einer Recheneinheit des Kraftfahrzeugs 10 übertragen. Die Recheneinheit kann aus den Merkmalsdaten eine Ausgabedatei berechnen, wie in 2 gezeigt.The sensor system of the motor vehicle 10 can transmit the feature data to a computing unit of the motor vehicle 10. The computing unit can calculate an output file from the feature data, as in 2 shown.

Die Ausgabedatei beinhaltet eine Ansicht des Umfeldes 12 mit Informationen über die Linienmarkierungen 14 und die Parklücken 16. Wie aus einem Vergleich von 1 und 2 zu sehen ist, unterscheidet sich die Orientierung der Linienmarkierungen 14 in der Ausgabedatei, wie in 2 gezeigt, von der realen Orientierung der Linienmarkierungen 14, wie in 1 gezeigt. Der Unterschied oder die Inkohärenz kann an einer fehlerhaften Detektion der Linienmarkierungen 14 durch das Sensorsystem des Kraftfahrzeugs 10 liegen. Auf der Basis einer solchen Ausgabedatei ist es schwierig, das Kraftfahrzeug 10 im Umfeld 12 genau zu lokalisieren. Aus der Ausgabedatei, wie in 2 gezeigt, können Linienmarkierungen 14 als vorbestimmter Satz von Linienmarkierungen 14 ausgewählt werden, auf der Basis dessen ein Satz von virtuellen Linienmarkierungen 24, wie im Folgenden im Zusammenhang mit 3 beschrieben, erzeugt werden kann. Alternativ oder zusätzlich kann auch ein vorbestimmter Satz oder eine vorbestimmte Anzahl der realen Linienmarkierungen 14, wie in 1 gezeigt, als Basis für die Erzeugung des Satzes von virtuellen Linienmarkierungen 24 verwendet werden.The output file contains a view of the surroundings 12 with information about the line markings 14 and the parking spaces 16. As can be seen from a comparison of 1 and 2 As can be seen, the orientation of the line markers 14 in the output file differs, as shown in 2 shown, from the real orientation of the line markings 14, as in 1 shown. The difference or incoherence may be due to an erroneous detection of the line markings 14 by the sensor system of the motor vehicle 10. Based on such an output file, it is difficult to precisely localize the motor vehicle 10 in the environment 12. From the output file, as shown in 2 shown, line markings 14 can be selected as a predetermined set of line markings 14, on the basis of which a set of virtual line markings 24, as described below in connection with 3 Alternatively or additionally, a predetermined set or a predetermined number of the real line markings 14, as described in 1 shown, can be used as a basis for generating the set of virtual line markings 24.

3 zeigt eine schematische Ansicht eines Satzes von virtuellen Linienmarkierungen 24, der durch die Recheneinheit des Kraftfahrzeugs 10 auf der Basis der Ausgabedatei, wie in 2 gezeigt, erzeugt wird. Um die virtuellen Linienmarkierungen 24 zu erzeugen, kann die Recheneinheit aus der Ausgabedatei einen Startpunkt 18 von jeder von einer vorbestimmten Anzahl von Linienmarkierungen 14 bestimmen und eine Linie 26 durch die Startpunkte 18 anpassen. Dies kann unter Verwendung von Standardlinienanpassungstechniken durchgeführt werden. Als nächster Schritt kann die Recheneinheit eine mittlere Orientierung der Linienmarkierungen 14 mit Bezug auf die angepasste Linie 26 bestimmen. Dies kann unter Verwendung von gewichteter Mittelwertbildung durchgeführt werden. In einem nächsten Schritt kann die Recheneinheit einen Satz von virtuellen Linienmarkierungen 24 mit der mittleren Orientierung erzeugen und den Satz von virtuellen Linienmarkierungen 24 als Teil einer synthetischen Ansicht des Umfeldes 12 für einen Fahrer des Kraftfahrzeugs 10 anzeigen. 3 shows a schematic view of a set of virtual line markings 24, which is generated by the computing unit of the motor vehicle 10 on the basis of the output file, as in 2 shown. To generate the virtual line markings 24, the computing unit may determine from the output file a starting point 18 of each of a predetermined number of line markings 14 and fit a line 26 through the starting points 18. This may be done using standard line fitting techniques. As a next step, the computing unit may determine an average orientation of the line markings 14 with respect to the fitted line 26. This may be done using weighted averaging. In a next step, the computing unit may generate a set of virtual line markings 24 having the average orientation and display the set of virtual line markings 24 as part of a synthetic view of the environment 12 for a driver of the motor vehicle 10.

4 zeigt eine schematische Ansicht eines Verfahrens zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes 12, wobei das Umfeld 12 einen Parkplatz mit einer Anzahl von Linienmarkierungen 14 beinhaltet, wobei eine jeweilige Linienmarkierung 14 die Position einer Parklücke 16 angibt. 4 shows a schematic view of a method for generating a synthetic view of a motor vehicle environment 12, wherein the environment 12 includes a parking space with a number of line markings 14, wherein a respective line marking 14 indicates the position of a parking space 16.

Ein Schritt S1 kann das Bestimmen eines Startpunkts 18 von jeder eines vorbestimmten Satzes oder einer vorbestimmten Anzahl von Linienmarkierungen 14 beinhalten. Ein Schritt S2 kann das Anpassen einer Linie 26 durch die Startpunkte 18 beinhalten. Ein Schritt S3 kann das Bestimmen einer mittleren Orientierung der Linienmarkierungen 14 mit Bezug auf die angepasste Linie 26 beinhalten. Ein Schritt S4 kann das Erzeugen eines Satzes von virtuellen Linienmarkierungen 24 mit der mittleren Orientierung beinhalten. Ein Schritt S5 kann das Anzeigen des Satzes von virtuellen Linienmarkierungen 24 als Teil der synthetischen Ansicht des Kraftfahrzeugumfeldes 12 auf einer Anzeigeanordnung des Kraftfahrzeugs 10 beinhalten.A step S1 may include determining a starting point 18 of each of a predetermined set or a predetermined number of line markers 14. A step S2 may include fitting a line 26 through the starting points 18. A step S3 may include determining an average orientation of the line markers 14 with respect to the fitted line 26. A step S4 may include generating a set of virtual line markers 24 having the average orientation. A step S5 may include displaying the set of virtual line markers 24 as part of the synthetic view of the motor vehicle surroundings 12 on a display arrangement of the motor vehicle 10.

Insgesamt zeigen die Beispiele, wie eine Unterstützung für einen Fahrer während einer Parklückenauswahl für einen Parkplatz mit Linienlücken bereitgestellt werden kann. Wie beschrieben, sind Eingangslinien, die durch Computervision detektiert werden, häufig hinsichtlich des Orientierungswinkels, der Länge und des Startpunkts inkohärent, obwohl die Parklinien in der Realität gewöhnlich in einer gitterartigen Weise gezeichnet sind.Overall, the examples demonstrate how support can be provided to a driver during parking space selection for a parking space with line gaps. As described, entry lines detected by computer vision are often incoherent in terms of orientation angle, length, and starting point, although in reality, parking lines are usually drawn in a grid-like manner.

Diese vorgeschlagene Lösung kann ein Teil einer Funktion, Mapview, sein, die eine selektive synthetische Ansicht des nahen Umfeldes zum Fahrzeug konstruieren und anzeigen soll, um den Fahrer dabei zu unterstützen, sich in einem Umfeld zum Auswählen einer Parklücke zu lokalisieren.This proposed solution can be part of a function, Mapview, which is intended to construct and display a selective synthetic view of the surroundings close to the vehicle to assist the driver in locating himself in an environment for selecting a parking space.

Die Erfindung ist auf das Korrigieren und Anzeigen von Parkmarkierungen (Linien) in Linienparkszenarien fokussiert. Dabei sollen eine Linienorientierung, eine Linienlänge, ein Linienstartpunkt, ein Linienabstand (Lückenbreite) und/oder eine Linienvorhersage (bei einer regulären Lücke können, wenn eine Mittellinie aufgrund von schlechter Qualität in der Realität fehlt, gegebene Nachbarinformationen vorhergesagt werden) berücksichtigt werden.The invention focuses on correcting and displaying parking markings (lines) in linear parking scenarios. A line orientation, a line length, a line starting point, a line spacing (gap width), and/or a line prediction (in the case of a regular gap, given neighbor information can be predicted if a center line is missing due to poor quality in reality) are to be taken into account.

Überdies verwendet diese Erfindung andere existierende Strukturen vom Umfeld, um die Erzeugung der synthetischen Ansicht zu verbessern, wie zum Beispiel existierende Randsteine und Wände.Furthermore, this invention uses other existing structures from the environment to enhance the generation of the synthetic view, such as existing curbs and walls.

In einer beispielhaften Situation fährt der Fahrer durch einen großen Parkplatz mit Lücken mit senkrechten Linien. Der Fahrer aktiviert den Parklückensuchmodus einer Parkassistenzfunktion seines Fahrzeugs. Mehrere Parkangebote stehen im Parkplatz zur Verfügung. Eine Anzeige des Fahrzeugs kann eine synthetische Näherung des Umfeldes anzeigen, einschließlich eines Satzes von virtuellen Linienmarkierungen, um dem Fahrer zu helfen, sich im Parkplatz zu lokalisieren und das gewünschte Parkangebot auszuwählen.In an example scenario, the driver is driving through a large parking lot with spaces marked with vertical lines. The driver activates the parking space search mode of a parking assistance feature of their vehicle. Several parking options are available in the parking lot. A vehicle display can show a synthetic approximation of the surroundings, including a set of virtual line markers, to help the driver locate themselves in the parking lot and select the desired parking option.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2021/0248753 A1 [0006]

Claims

A method for generating a synthetic view of a motor vehicle environment (12), wherein the motor vehicle environment (12) includes a parking space with a number of line markings (14), wherein a respective line marking (14) indicates the position of a parking space (16), the method comprising the steps of: - determining (S1) a starting point (18) of each of a predetermined set of line markings (14), - adjusting (S2) a line (26) through the starting points (18), - determining (S3) an average orientation of the line markings (14) with respect to the adjusted line (26), - generating (S4) a set of virtual line markings (24) with the average orientation, and - displaying (S5) the set of virtual line markings (24) as part of the synthetic view of the motor vehicle environment (12) on a display arrangement of the motor vehicle (10).

Procedure according to Claim 1 , wherein the line markers (14) of the predetermined set are assigned to different predetermined classes of line markers (14) on the basis of their respective orientation, wherein only line markers (14) of the same class are used as a basis for generating the set of virtual line markers (24).

Procedure according to Claim 2 , wherein the predetermined classes of line markings (14) of the predetermined set include line markings (14) for at least one of parallel parking spaces (16) and/or herringbone-type parking spaces (16) and/or grid-like parking spaces (16).

Method according to one of the preceding claims, wherein an intersection point of a respective line marker (14) of the predetermined set with the adapted line (26) is determined and used as a starting point for a respective virtual line marker (24).

A method according to any one of the preceding claims, including the step of determining an endpoint (20) of each of the predetermined set of line markers (14), fitting a line through the endpoints (20), the set of virtual line markers (24) being generated taking into account the fitted line (26).

A method according to any one of the preceding claims, including the step of determining an average length (22) of the line markers (14) of the predetermined set, wherein the set of virtual line markers (24) is generated taking into account the average length (22).

A method according to any one of the preceding claims, including the step of determining a distance between adjacent line markers (14) of the predetermined set, wherein the set of virtual line markers (24) is generated taking into account the determined distance.

Procedure according to Claim 7 wherein missing line markings (14) in the predetermined set of line markings (14) in the set of virtual line markings (24) are predicted taking into account the distance.

Method according to one of the preceding claims, wherein the mean orientation is determined on the basis of a weighted averaging algorithm.

Method according to one of the preceding claims, which includes the step of receiving a map of the surroundings (12) of the motor vehicle (10) which includes map data describing objects in the surroundings, the map data being used to generate the set of virtual line markers (24).

Procedure according to Claim 10 , wherein the objects include a curb, preferably the orientation of the curb, and/or a wall, preferably the orientation of the wall, in the motor vehicle environment (12).

A method according to any one of the preceding claims, including the step of highlighting available parking spaces (16) in the displayed set of virtual line markings (24).

Procedure according to Claim 12 which includes the step of providing the set of virtual line markings (24) to an electronic vehicle guidance system for automatically or semi-automatically guiding the motor vehicle (10) to a selected available parking space (16).

Method according to one of the preceding claims, wherein at least the starting points (18) and/or the orientation and/or the end points (20) and/or the distance of the line markings (14) of the predetermined set are determined on the basis of sensor data from sensors of an environment sensor system of the motor vehicle (10).

Method for at least semi-automatically driving a motor vehicle (10) in an environment (12) of the motor vehicle (10), which includes the following steps: - Providing a synthetic view of the motor vehicle environment (12) for an electronic vehicle guidance system of the motor vehicle (10), wherein the synthetic view is generated according to a method according to one of the preceding Claims 1 until 14 is generated, - guiding the motor vehicle (10) on the basis of the synthetic view by the electronic vehicle guidance system.

Electronic vehicle guidance system with an environment sensor system and a computing unit, which is configured to carry out a method according to one of the preceding claims.

Motor vehicle (10) with an electronic vehicle guidance system according to Claim 16 .

Processing device with a computing unit which is configured to carry out the steps of the method according to one of the Claims 1 until 15 to carry out.

Computer program with instructions which, when the program is executed by a computing unit, in particular by a computing unit of a processing device according to Claim 18 and/or by a computing unit of an electronic vehicle guidance system according to Claim 16 , is executed, cause the computing unit to carry out the steps of the method according to one of the Claims 1 until 15 executes.

Computer-readable storage medium on which the computer program is Claim 19 is stored.