DE102018220803A1

DE102018220803A1 - Precise tracking of vehicles

Info

Publication number: DE102018220803A1
Application number: DE102018220803.4A
Authority: DE
Inventors: Philip Wette
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2020-06-04
Also published as: CN111260918A

Abstract

Offenbart ist ein Verfahren zum spurgenauen Lokalisieren von mindestens einem Fahrzeug durch mindestens eine Servereinheit, wobei Messdaten eines Fahrzeugumfelds von der Servereinheit empfangen werden, eine Spurbreite einer vom Fahrzeug befahrenen Fahrspur aus den empfangenen Messdaten durch die Servereinheit ermittelt oder von der Servereinheit definiert wird, aufgrund der empfangenen Messdaten von der Servereinheit eine Fahrbahn ermittelt wird, basierend auf der ermittelten Spurbreite der Fahrbahn eine spurgenaue Position des Fahrzeugs ermittelt wird, und die spurgenaue Position des Fahrzeugs an ein Steuergerät des Fahrzeugs ausgegeben wird. Des Weiteren ist eine Servereinheit offenbart.

Disclosed is a method for locating at least one vehicle with precise tracking by at least one server unit, wherein measurement data of a vehicle environment are received by the server unit, a track width of a lane traveled by the vehicle is determined by the server unit from the received measurement data or is defined by the server unit on the basis of which received measurement data from the server unit, a lane is determined, a lane-accurate position of the vehicle is determined based on the lane width of the lane determined, and the lane-accurate position of the vehicle is output to a control unit of the vehicle. A server unit is also disclosed.

Description

Die Erfindung betrifft ein Verfahren zum spurgenauen Lokalisieren von mindestens einem Fahrzeug durch mindestens eine Servereinheit sowie eine Servereinheit zum Herstellen einer Kommunikationsverbindung zu mindestens einem Fahrzeug.The invention relates to a method for the precise localization of at least one vehicle by at least one server unit and a server unit for establishing a communication connection to at least one vehicle.

Stand der TechnikState of the art

Es sind bereits Verfahren zum spurgenauen Orten von Fahrzeugen bekannt, welche fahrzeugintern Messdaten auswerten und somit eine Lokalisierung vornehmen. Neben der Nutzung von GPS-Sensoren sind auch Verfahren bekannt, die Bilddaten von Kameras analysieren und daraus Rückschlüsse auf die eigene Fahrspur ziehen.Methods for locating vehicles with precise tracking are already known, which evaluate vehicle-internal measurement data and thus carry out a localization. In addition to the use of GPS sensors, methods are also known that analyze image data from cameras and draw conclusions about one's own lane.

Derartige Verfahren benötigen jedoch einen Rechenaufwand, der einen Rechenaufwand üblicher Steuergeräte übersteigt. Hierdurch kann die Zuverlässigkeit einer fahrzeuginternen spurgenauen Ortung auf Straßen mit einer Vielzahl an Fahrspuren und der Präsenz von Fahrzeugen im Messbereich der Sensoren nicht gewährleistet werden.However, such methods require a computing effort that exceeds the computing effort of conventional control devices. As a result, the reliability of a vehicle-internal tracking on roads with a large number of lanes and the presence of vehicles in the measuring range of the sensors cannot be guaranteed.

Offenbarung der ErfindungDisclosure of the invention

Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren und eine Servereinheit vorzuschlagen, welche eine kosteneffiziente und robuste Lokalisierung von Fahrzeugen ermöglichenThe object on which the invention is based can be seen in proposing a method and a server unit which enable cost-effective and robust localization of vehicles

Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.This object is achieved by means of the respective subject of the independent claims. Advantageous embodiments of the invention are the subject of dependent subclaims.

Nach einem Aspekt der Erfindung wird ein Verfahren zum spurgenauen Lokalisieren von mindestens einem Fahrzeug durch mindestens eine Servereinheit bereitgestellt. In einem Schritt werden Messdaten eines Fahrzeugumfelds von der Servereinheit empfangen. Eine Spurbreite einer vom Fahrzeug befahrenen Fahrspur wird aus den empfangenen Messdaten durch die Servereinheit ermittelt oder von der Servereinheit definiert.According to one aspect of the invention, a method for locating at least one vehicle with precise tracking is provided by at least one server unit. In one step, measurement data of a vehicle environment are received by the server unit. A track width of a lane traveled by the vehicle is determined from the received measurement data by the server unit or defined by the server unit.

Anschließend wird aufgrund der empfangenen Messdaten von der Servereinheit eine Fahrbahn ermittelt. Hierbei können ein oder mehrere Segmente bzw. Bereiche in den Messdaten als Fahrbahn durch die Servereinheit identifiziert werden.A roadway is then determined by the server unit on the basis of the measurement data received. Here, one or more segments or areas can be identified in the measurement data as a roadway by the server unit.

Basierend auf der ermittelten Spurbreite der Fahrbahn wird eine spurgenaue Position des Fahrzeugs ermittelt.Based on the determined lane width of the roadway, a precise position of the vehicle is determined.

Dabei kann gemäß einer Ausführungsform basierend auf der ermittelten Spurbreite eine Anzahl von Fahrspuren der Fahrbahn und die spurgenau Position des Fahrzeuges ermittelt werden. Insbesondere kann somit ermittelt werden auf welcher Fahrspur von den vorhandenen Fahrspuren sich das Fahrzeug gegenwärtig befindet oder welche Fahrspuren das Fahrzeug befahren hat.In this case, according to one embodiment, a number of lanes of the lane and the exact position of the vehicle can be determined based on the determined lane width. In particular, it can thus be determined which lane of the existing lanes the vehicle is currently in or which lanes the vehicle has traveled on.

Die spurgenaue Position des Fahrzeugs wird an ein Steuergerät ausgegeben. Somit kann das mindestens eine Fahrzeug seine eigene Position erfahren und sich beispielsweise innerhalb einer Karte identifizieren. Die spurgenaue Position des Fahrzeugs kann auch über eine Kommunikationsverbindung an das Fahrzeug bzw. das Steuergerät des Fahrzeugs übertragen werden.The exact position of the vehicle is output to a control unit. The at least one vehicle can thus experience its own position and identify itself, for example, on a map. The precise position of the vehicle can also be transmitted to the vehicle or the control unit of the vehicle via a communication link.

Nach einer weiteren Ausführungsform werden die Messdaten als segmentierte Messdaten von der Servereinheit empfangen. Dabei können von mindestens einem Sensor des Fahrzeugs ermittelte und fahrzeugintern von einem Steuergerät segmentierte Messdaten eines Fahrzeugumfelds über eine Kommunikationsverbindung von der Servereinheit empfangen werden. Eine Spurbreite der vom Fahrzeug befahrenen Fahrspur kann somit aus den empfangenen Messdaten durch die Servereinheit ermittelt oder von der Servereinheit definiert werden. Basierend auf der ermittelten Spurbreite wird eine Anzahl an Fahrspuren der Fahrbahn durch die Servereinheit berechnet und eine spurgenaue Position des Fahrzeugs ermittelt. Anschließend kann die spurgenaue Position des Fahrzeugs an ein Steuergerät des Fahrzeugs über die Kommunikationsverbindung übertragen werden.According to a further embodiment, the measurement data are received as segmented measurement data by the server unit. In this case, measurement data of a vehicle environment determined by at least one sensor of the vehicle and segmented internally by a control unit can be received by the server unit via a communication link. A track width of the lane traveled by the vehicle can thus be determined by the server unit from the received measurement data or can be defined by the server unit. Based on the ascertained lane width, a number of lanes of the lane are calculated by the server unit and an exact position of the vehicle is ascertained. The precise position of the vehicle can then be transmitted to a control unit of the vehicle via the communication link.

Gemäß einem weiteren Aspekt der Erfindung wird eine Servereinheit zum Herstellen einer Kommunikationsverbindung zu mindestens einem Fahrzeug bereitgestellt, wobei die Servereinheit dazu eingerichtet ist, zumindest eines der Verfahren auszuführen.According to a further aspect of the invention, a server unit for establishing a communication connection to at least one vehicle is provided, the server unit being set up to carry out at least one of the methods.

Durch das Verfahren kann eine kosteneffiziente und robuste Lokalisierung von Fahrzeugen bereitgestellt werden. Die Lokalisierung kann hierbei spurgenau erfolgen, wodurch dem Fahrzeug mitgeteilt wird, auf welcher Fahrspur sich das Fahrzeug auf dem aktuell befahrenen Straßenabschnitt befindet.The method can provide cost-effective and robust localization of vehicles. In this case, the localization can take place in a precise lane, as a result of which the vehicle is informed of the lane in which the vehicle is located on the section of road currently being traveled on.

Der mindestens eine fahrzeuginterne Sensor kann eine Frontkamera, Rückfahrkamera, Spiegelersatzkamera, LIDAR-Sensor, Radarsensor und dergleichen sein. Die durch den Sensor ermittelten Messdaten können in Form einer Tabelle, eines Bildes oder in Form von bewegten Bildern bzw. einer Bildsequenz vorliegen. Die jeweiligen Messdaten können von einem fahrzeuginternen Steuergerät empfangen und über eine Kommunikationseinheit an die Servereinheit übermittelt werden. Hierzu kann eine drahtlose Kommunikationsverbindung zwischen mindestens einem fahrzeugseitigen Steuergerät bzw. Kommunikationseinheit und der fahrzeugexternen Servereinheit hergestellt werden.The at least one in-vehicle sensor can be a front camera, rear view camera, mirror replacement camera, LIDAR sensor, radar sensor and the like. The measurement data determined by the sensor can be in the form of a table, an image or in the form of moving images or an image sequence. The respective measurement data can be received by an in-vehicle control unit and via a Communication unit to be transmitted to the server unit. For this purpose, a wireless communication connection can be established between at least one control unit or communication unit on the vehicle and the server unit external to the vehicle.

Die Kommunikationsverbindung kann vorzugsweise eine drahtlose Verbindung sein, welche auf einem WLAN, GSM, UMTS, LTE oder dergleichen Standard basiert.The communication connection can preferably be a wireless connection which is based on a WLAN, GSM, UMTS, LTE or similar standard.

Die Messdaten können komprimiert oder un-komprimiert an die Servereinheit übermittelt werden. Hierdurch kann der Rechenaufwand in ein Backendsystem bzw. die Servereinheit verlagert werden. Die Servereinheit kann stationär oder mobil, beispielsweise in einem Lastkraftwagen, angeordnet sein. Dieses Backendsystem kann eine höhere Rechenleistung als ein fahrzeuginternes Steuergerät aufweisen und beispielsweise neuronale Netze einsetzen, um die von einem Fahrzeug aufgenommenen Messdaten zu analysieren. Die Analyseergebnisse der Servereinheit können über die Kommunikationsverbindung an das mindestens eine Fahrzeug zurückgesendet werden.The measurement data can be transmitted to the server unit in compressed or uncompressed form. As a result, the computing effort can be shifted to a back-end system or the server unit. The server unit can be stationary or mobile, for example in a truck. This back-end system can have a higher computing power than an in-vehicle control unit and can, for example, use neural networks to analyze the measurement data recorded by a vehicle. The analysis results of the server unit can be sent back to the at least one vehicle via the communication link.

Durch das Verfahren und die Servereinheit kann eine hohe Güte der spurgenauen Ortung der Fahrzeuge bei gleichzeitig reduzierter Komplexität innerhalb des Fahrzeuges realisiert werden.The method and the server unit enable a high quality of the tracking of the vehicles with precise tracking and at the same time reduced complexity within the vehicle.

Das Auslagern der rechenintensiven Berechnung in die mindestens eine Servereinheit, können die Kosten und die Komplexität der Onboard-Elektronik der Fahrzeuge gesenkt werden.Outsourcing the computationally intensive calculation to the at least one server unit can reduce the costs and the complexity of the onboard electronics of the vehicles.

Nach einer Ausführungsform werden die empfangenen Messdaten durch die Servereinheit und/oder durch ein Steuergerät des Fahrzeugs semantisch in Klassen segmentiert. Die von den Sensoren ermittelten Messdaten können beispielsweise in Form eines Bildes vorliegen. Das Bild kann beispielsweise von einer Rückfahrkamera, einer Frontkamera oder einer Dashcam oder von einer Spiegelersatzkamera aufgezeichnet werden. Das vom Fahrzeug an die Servereinheit übermittelte Bild kann unter Zuhilfenahme eines neuronalen Netzes semantisch segmentiert werden. Dabei werden jedem Bildpunkt eine oder mehrere semantische Klassen zugeordnet. Derartige Klassen können beispielsweise Fahrzeuge, Fahrbahn, Gehweg, Vegetation, Gebäude, Fußgänger und dergleichen sein. Insbesondere können zumindest die Klassen Fahrbahn und Fahrzeuge durch das Verfahren genutzt werden. Des Weiteren kann der Einsatz von mindestens einer weiteren Klasse vorteilhaft sein, welche alle restlichen Bildpunkte beinhaltet, die den anderen Klassen nicht zugeordnet werden können.According to one embodiment, the received measurement data are segmented semantically into classes by the server unit and / or by a control device of the vehicle. The measurement data determined by the sensors can be in the form of an image, for example. The image can, for example, be recorded by a rear view camera, a front camera or a dash cam or by a mirror replacement camera. The image transmitted from the vehicle to the server unit can be semantically segmented with the help of a neural network. One or more semantic classes are assigned to each pixel. Such classes can be, for example, vehicles, roadway, sidewalk, vegetation, buildings, pedestrians and the like. In particular, at least the classes of roadway and vehicle can be used by the method. Furthermore, the use of at least one further class can be advantageous, which contains all the remaining pixels that cannot be assigned to the other classes.

Gemäß einer weiteren Ausführungsform wird die semantische Segmentierung der Messdaten durch mindestens ein neuronales Netz der Servereinheit und/oder des Steuergeräts des Fahrzeugs durchgeführt. Dadurch, dass Techniken der semantischen Segmentierung mittels neuronaler Netze verwendet werden, kann gewährleistet werden, dass die Lokalisierung der Fahrzeuge auch unter wechselnden Licht- und Umweltbedingungen zuverlässig funktioniert.According to a further embodiment, the semantic segmentation of the measurement data is carried out by at least one neural network of the server unit and / or the control unit of the vehicle. The fact that techniques of semantic segmentation by means of neural networks are used can ensure that the localization of the vehicles functions reliably even under changing light and environmental conditions.

Nach einem weiteren Ausführungsbeispiel wird die semantische Segmentierung der Messdaten anhand von einer Datenfusion von Messdaten von mindestens zwei Sensoren von der Servereinheit und/oder dem Steuergerät des Fahrzeugs ausgeführt. Die Segmentierung kann somit, alternativ zur Erstellung der semantischen Segmentierung beispielsweise eines Bildes einer Kamera durch ein neuronales Netz, auch durch ein anderes Verfahren erstellt werden. Beispielsweise kann die Segmentierung der Messdaten der mindestens einen Kamera durch eine Interpretation und/oder Fusion von Daten aus einer Stereokamera, einem Radarsensor oder einem LI DAR-Sensor erfolgen.According to a further exemplary embodiment, the semantic segmentation of the measurement data is carried out on the basis of a data fusion of measurement data from at least two sensors from the server unit and / or the control unit of the vehicle. As an alternative to creating the semantic segmentation, for example of an image of a camera through a neural network, the segmentation can thus also be created by another method. For example, the measurement data of the at least one camera can be segmented by interpreting and / or fusing data from a stereo camera, a radar sensor or an LI DAR sensor.

Gemäß einem weiteren Ausführungsbeispiel wird ein Fahrbahnsegment durch das Segmentieren der empfangenen Messdaten durch die Servereinheit und/oder das Steuergerät des Fahrzeugs berechnet. Das Fahrbahnsegment wird anschließend in Teilabschnitte unterteilt, wobei durch Objekte unverdeckte Teilabschnitte des Fahrbahnsegments zum Bestimmen einer Anzahl an Fahrspuren von der Servereinheit ausgewählt werden. Hierdurch ist es ausreichend, wenn lediglich Teilabschnitte einer Fahrbahn sichtbar sind. Eine derartige Situation kann beispielsweise bei einem erhöhten Verkehrsaufkommen auftreten, bei dem die Fahrbahn im Sichtbereich der Sensoren durch andere Fahrzeuge bedeckt ist. Der durch die Segmentierung als Fahrbahn klassifizierte Abschnitt des Bildes wird in Teilabschnitte aufgeteilt. Dies können beispielsweise rechteckige Teilabschnitte sein. Die Pixel der jeweiligen Teilabschnitte können anschließend analysiert werden. Gehören beispielsweise mehr als die Hälfte der Pixel in einem Teilabschnitt zur selben semantischen Klasse bzw. zu der Fahrbahn, so kann der gesamte Teilabschnitt der Fahrbahn zugeordnet werden. Hierdurch kann insbesondere eine Plausibilisierung der ermittelten Fahrspuren durchgeführt werden. Besitzt beispielsweise mindestens ein Teilabschnitt die semantische Klasse Fahrbahn, so gilt die Spur zu der der Teilabschnitt gehört als existent.According to a further exemplary embodiment, a road segment is calculated by segmenting the received measurement data by the server unit and / or the control unit of the vehicle. The lane segment is then subdivided into sections, objects being used to select uncovered sections of the lane segment to determine a number of lanes from the server unit. As a result, it is sufficient if only sections of a roadway are visible. Such a situation can occur, for example, in the case of increased traffic, in which the road in the field of view of the sensors is covered by other vehicles. The section of the image classified as a roadway by the segmentation is divided into subsections. These can be rectangular sections, for example. The pixels of the respective sections can then be analyzed. If, for example, more than half of the pixels in a subsection belong to the same semantic class or to the roadway, the entire subsection can be assigned to the roadway. In this way, a plausibility check of the determined lanes can be carried out. For example, if at least one section has the semantic class lane, the lane to which the section belongs is considered to exist.

Nach einer weiteren Ausführungsform werden die Messdaten des Fahrzeugumfelds als mindestens ein Bild oder als bewegte Bilder von der Servereinheit empfangen. Bevorzugterweise können die Messdaten von einer heckgerichteten Kamera, einer frontgerichteten Kamera oder einer in Fahrtrichtung des Fahrzeugs seitlich gerichteten Kamera ermittelt werden.According to a further embodiment, the measurement data of the vehicle surroundings are received by the server unit as at least one image or as moving images. The measurement data can preferably be obtained from a rear-facing camera, one front-facing camera or a camera pointing sideways in the direction of travel of the vehicle.

Gemäß einer weiteren Ausführungsform wird die von dem Fahrzeug befahrene Fahrspur anhand von Messdaten von mindestens zwei Sensoren des Fahrzeugs durch die Servereinheit ermittelt. Hierdurch können Messdaten mehrerer Sensoren dazu eingesetzt werden eine Fahrspur des Fahrzeugs zu lokalisieren. According to a further embodiment, the lane traveled by the vehicle is determined by the server unit on the basis of measurement data from at least two sensors of the vehicle. As a result, measurement data from several sensors can be used to locate a lane of the vehicle.

Beispielsweise können die Messdaten mehrerer Sensoren redundant eingesetzt werden, um die Fahrspur basierend auf Messdaten eines vor einem Fahrzeug liegenden Umfelds und/oder basierend auf Messdaten des hinter dem Fahrzeug liegenden Umfelds zu bestimmen.For example, the measurement data of a plurality of sensors can be used redundantly in order to determine the lane based on measurement data of an environment in front of a vehicle and / or on the basis of measurement data of the environment behind the vehicle.

Nach einem weiteren Ausführungsbeispiel wird die Spurbreite einer Fahrspur von der Servereinheit als eine konstante Fahrspur oder abhängig von einer Fahrbahnart definiert. Alternativ zu der Berechnung bzw. Schätzung der aktuellen Spurbreite basierend auf Messdaten, kann auch eine fest definierte Spurbreite durch die Servereinheit bestimmt werden. Beispielsweise kann eine universelle Spurbreite von 3,5 m definiert werden. Alternativ oder zusätzlich kann eine Straßenklasse anhand der Messdaten identifiziert und der jeweiligen Straßenklasse eine konstante Spurbreite zugewiesen werden. Hierbei können beispielsweise Autobahnen eine Spurbreite von 4,5 m, Straßen innerhalb von geschlossenen Ortschaften 3,5 m und Landstraßen 4,0 m aufweisen.According to a further exemplary embodiment, the lane width of a lane is defined by the server unit as a constant lane or depending on a type of lane. As an alternative to calculating or estimating the current track width based on measurement data, a fixedly defined track width can also be determined by the server unit. For example, a universal track width of 3.5 m can be defined. Alternatively or additionally, a road class can be identified on the basis of the measurement data and a constant lane width can be assigned to the respective road class. For example, highways can have a track width of 4.5 m, roads within closed towns 3.5 m and country roads 4.0 m.

Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen

1 schematische Darstellung einer Anordnung mit einem Fahrzeug und einem externen Servereinheit,
2 ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens,
3 ein von einer Rückfahrkamera ermittelte Messdaten in Form eines Bildes, und
4 das in 3 gezeigte semantisch segmentierte Bild mit dargestellten Teilabschnitten in einem Fahrbahnsegment.

Preferred exemplary embodiments of the invention are explained in more detail below on the basis of highly simplified schematic representations. Show here

1 schematic representation of an arrangement with a vehicle and an external server unit,
2nd 1 shows a schematic flowchart to illustrate a method,
3rd a measurement data determined by a reversing camera in the form of an image, and
4th this in 3rd Shown semantically segmented image with partial sections shown in a road segment.

Die 1 zeigt eine schematische Darstellung einer Anordnung 1 mit einem Fahrzeug 2 und einem externen Servereinheit 4. Das Fahrzeug 2 befährt eine Fahrbahn 6 mit zwei Fahrspuren 8.The 1 shows a schematic representation of an arrangement 1 with a vehicle 2nd and an external server unit 4th . The vehicle 2nd drives on a lane 6 with two lanes 8th .

Das Fahrzeug 2 weist eine Frontkamera 10 und eine Rückfahrkamera 12 auf. Die Frontkamera 10 und die Rückfahrkamera 12 können somit das Umfeld hinter dem Fahrzeug 2 und vor dem Fahrzeug 2 aufzeichnen. Hierzu werden durch die Frontkamera 10 und die Rückfahrkamera 12 Messdaten ermittelt. Die Messdaten können durch die Frontkamera 10 und die Rückfahrkamera 12 auch während der Fahrt des Fahrzeugs 2 aufgezeichnet werden.The vehicle 2nd has a front camera 10th and a rear view camera 12 on. The front camera 10th and the rear view camera 12 can thus the environment behind the vehicle 2nd and in front of the vehicle 2nd record. This is done through the front camera 10th and the rear view camera 12 Measured data determined. The measurement data can through the front camera 10th and the rear view camera 12 even while the vehicle is moving 2nd to be recorded.

Des Weiteren weist das Fahrzeug 2 ein Steuergerät 14 auf. Das Steuergerät 14 ist datenleitend mit der Frontkamera 10 und der Rückfahrkamera 12 verbunden und kann somit die ermittelten Messdaten auslesen und zumindest temporär speichern.Furthermore, the vehicle points 2nd a control unit 14 on. The control unit 14 is data-guiding with the front camera 10th and the rear view camera 12 connected and can thus read out the measured data determined and at least temporarily save it.

Das Steuergerät 14 weist eine fahrzeugseitige Kommunikationseinheit 16 auf. Mit Hilfe der Kommunikationseinheit 16 kann das Steuergerät 14 die ermittelten Messdaten der Frontkamera 10 und der Rückfahrkamera 12 an die fahrzeugexterne Servereinheit 4 übertragen.The control unit 14 has a vehicle-side communication unit 16 on. With the help of the communication unit 16 can the control unit 14 the measured data from the front camera 10th and the rear view camera 12 to the server unit external to the vehicle 4th transfer.

Gemäß dem Ausführungsbeispiel kann die Kommunikationseinheit 16 eine drahtlose Kommunikationsverbindung 18 zu der externen Servereinheit 4 herstellen. Die Kommunikationsverbindung 18 ist hier eine Mobilfunkverbindung, welche beispielsweise aus einem LTE- oder UMTS-Mobilfunkstandard basiert.According to the exemplary embodiment, the communication unit 16 a wireless communication link 18th to the external server unit 4th produce. The communication link 18th here is a cellular connection based, for example, on an LTE or UMTS cellular standard.

Über die Kommunikationsverbindung 18 können die fahrzeugseitig ermittelten Messdaten an die Servereinheit 4 übertragen werden. Die Servereinheit 4 weist mindestens ein neuronales Netz 20 auf, welches dazu eingesetzt werden kann die Messdaten auszuwerten.Via the communication link 18th the measurement data determined on the vehicle side can be sent to the server unit 4th be transmitted. The server unit 4th has at least one neural network 20th which can be used to evaluate the measurement data.

In der 2 ist ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens 22 zum spurgenauen Lokalisieren von mindestens einem Fahrzeug 2 dargestellt.In the 2nd is a schematic flow diagram illustrating a method 22 for pinpoint localization of at least one vehicle 2nd shown.

In einem Schritt 23 werden Messdaten durch mindestens einen fahrzeugseitigen Sensor 10, 12 ermittelt. Dies kann beispielsweise durch ein Aufnehmen eines Fotos durch die Rückfahrkamera 12 erfolgen. Das Bild bzw. die Messdaten werden anschließend über das Steuergerät 14 und über die Kommunikationseinheit 16 an die externe Servereinheit 4 übertragen 24. Die Kommunikationseinheit 16 dient hier als eine Funkschnittstelle.In one step 23 measurement data by at least one vehicle-side sensor 10th , 12 determined. This can be done, for example, by taking a photo with the rear-view camera 12 respectively. The image or the measurement data are then via the control unit 14 and via the communication unit 16 to the external server unit 4th transfer 24th . The communication unit 16 serves as a radio interface here.

In der 3 ist beispielhaft ein Foto der Rückfahrkamera 12 dargestellt. Hierbei sind die Messdaten in Form des Fotos ausgestaltet und zeigen eine Fahrbahn 6 mit drei Fahrspuren 8. Die Fahrspuren 8 sind teilweise durch Fahrzeuge verdeckt.In the 3rd is an example of a photo of the rear view camera 12 shown. The measurement data are designed in the form of a photo and show a roadway 6 with three lanes 8th . The lanes 8th are partially covered by vehicles.

Das Bild bzw. die Messdaten werden in einem weiteren Schritt 25 des Verfahrens 22 von der Servereinheit 4 empfangen.The image or the measurement data are in a further step 25th of the procedure 22 from the server unit 4th receive.

Die Servereinheit 4 ermittelt in einem weiteren Schritt 26 die Spurbreite D des in den Messdaten abgebildeten Straßenabschnitts. Dies geschieht, indem die zu der aktuellen Fahrspur 8 zugehörige linken und rechten Fahrbahnmarkierung M identifiziert und aus deren Lage die Spurbreite D der befahrenen Spur 8 geschätzt wird.The server unit 4th determined in a further step 26 the track width D of the road section shown in the measurement data. This is done by moving to the current lane 8th associated left and right lane markings M identified and from their position the track width D the traffic lane 8th is appreciated.

Parallel oder anschließend hierzu kann das vom Fahrzeug 2 übertragene Bild in der Servereinheit 4 unter Zuhilfenahme des neuronalen Netzes 20 semantisch segmentiert werden 27. Durch die semantische Segmentierung wird jeder Bildpunkt einer beispielsweise vordefinierten Klasse zugeordnet. Gemäß dem Ausführungsbeispiel werden für Fahrzeuge 32, die Fahrbahn 6, die Gehwege 34, die Vegetation 36 und für Gebäude 38 Klassen eingesetzt.At the same time or subsequently, this can be done by the vehicle 2nd transmitted image in the server unit 4th with the help of the neural network 20th be segmented semantically 27 . The semantic segmentation assigns each pixel to a predefined class, for example. According to the embodiment, for vehicles 32 , the roadway 6 , the walkways 34 who have favourited Vegetation 36 and for buildings 38 Classes used.

Die 4 zeigt das in 3 dargestellte Foto der Rückfahrkamera 12, welches perspektivisch entzerrt und durch das neuronale Netz 20 segmentiert wurde. Somit zeigt die 4 das Resultat der semantischen Segmentierung.The 4th shows that in 3rd illustrated photo of the rear view camera 12 , which is rectified in perspective and through the neural network 20th was segmented. Thus the 4th the result of semantic segmentation.

In einem weiteren Schritt 28 des Verfahrens 22 wird in dem semantisch segmentierten Bild ein Spurmodel angelegt. Dabei werden die Fahrspuren 8 beispielsweise basierend auf den identifizierten Fahrbahnmarkierungen M und der ermittelten Spurbreite D auf das Bild projiziert.In a further step 28 of the procedure 22 a track model is created in the semantically segmented image. The lanes 8th for example based on the identified road markings M and the determined track width D projected onto the image.

Anschließend wird für jede Fahrspur 8 geprüft 29, welchen Klassen die jeweilig auf der Fahrspur 8 positionierten Pixel zugeordnet sind. Hierdurch kann geprüft werden, ob die jeweilige Fahrspur 8 existiert. Basierend auf der Anzahl der existierenden Fahrspuren 8 kann abgeleitet werden, auf welcher Fahrspur 8 das Fahrzeug 2 sich befindet.Then for each lane 8th checked 29 which classes the respective in the lane 8th positioned pixels are assigned. This can be used to check whether the respective lane 8th exists. Based on the number of existing lanes 8th can be derived on which lane 8th the vehicle 2nd located.

Das in der 4 dargestellte segmentierte Bild zeigt die relevanten rechteckigen Teilbereiche 40 an, die zum Ermitteln der Anzahl an Fahrspuren 8 herangezogen wurden. Dabei werden drei weitere reguläre Fahrspuren 8 rechts neben dem Fahrzeug 2 durch die Servereinheit 4 identifiziert. Somit befindet sich das Fahrzeug 2 auf der dritten Fahrspur 8.That in the 4th The segmented image shown shows the relevant rectangular sections 40 to determine the number of lanes 8th were used. There are three more regular lanes 8th to the right of the vehicle 2nd through the server unit 4th identified. The vehicle is now located 2nd in the third lane 8th .

Die ermittelte Fahrspur bzw. die spurgenaue Position des Fahrzeugs 2 wird in einem weiteren Schritt 30 von der Servereinheit 4 an das Steuergerät 14 des Fahrzeugs 2 gesendet. In einem weiteren Schritt 31 wird die spurgenaue Position des Fahrzeugs 2 vom Steuergerät 14 empfangen.The determined lane or the exact position of the vehicle 2nd will be in a further step 30th from the server unit 4th to the control unit 14 of the vehicle 2nd Posted. In a further step 31 becomes the exact position of the vehicle 2nd from the control unit 14 receive.

Die spurgenaue Position des Fahrzeugs 2 kann hier beispielsweise eine explizite Fahrspur sein, welche durch das Fahrzeug 2 zum Zeitpunkt der Messung befahren wird. Alternativ oder zusätzlich kann die spurgenaue Position auch eine relative Position des Fahrzeugs 2 quer zur Fahrtrichtung bzw. einem Fahrbahnverlauf sein.The precise position of the vehicle 2nd can be an explicit lane, for example, which is caused by the vehicle 2nd is traversed at the time of the measurement. Alternatively or additionally, the track-accurate position can also be a relative position of the vehicle 2nd be transverse to the direction of travel or a course of the lane.

Die 4 verdeutlicht, dass das Verfahren 22 robust gegenüber teilweisen Verdeckungen von Fahrspuren 8 ist. In der 4 sind die verschiedenen Segmente bzw. Bildbereiche dargestellt, die unterschiedlichen Klassen zugeordnet wurden. Für das Verfahren ist es ausreichend, wenn beispielsweise zumindest ein Teilabschnitt 40 einer Fahrbahn 6 sichtbar ist. Dazu wird jede Fahrbahn in mehrere Teilabschnitte 40 aufgeteilt und die Pixel in diesen Teilabschnitten 40 analysiert. Gemäß dem Ausführungsbeispiel sind die Teilabschnitte rechteckig.The 4th clarifies that the procedure 22 robust against partial concealment of lanes 8th is. In the 4th shows the different segments or image areas that have been assigned to different classes. It is sufficient for the method if, for example, at least one section 40 a lane 6 is visible. For this purpose, each lane is divided into several sections 40 divided and the pixels in these subsections 40 analyzed. According to the exemplary embodiment, the partial sections are rectangular.

Gehören mehr als die Hälfte der Pixel in einem Teilabschnitt 40 zur selben semantischen Klasse, so wird dieses Teilstück dieser Klasse zugeordnet. Die 4 veranschaulicht dieses Vorgehen. Dabei sind einige Teilabschnitte 40 der Klasse Fahrzeug 32, der Klasse Fahrbahn 6 und der Klasse Fußgängerweg 34 zugeordnet. Besitzt mindestens ein Teilabschnitt 40 die semantische Klasse Fahrbahn, so gilt die Fahrspur 8 zu der der Teilabschnitt 40 gehört als existent.Belong to more than half of the pixels in a subsection 40 the same semantic class, this section is assigned to this class. The 4th illustrates this procedure. Here are some sections 40 the class vehicle 32 , the class lane 6 and the class pedestrian walkway 34 assigned. Has at least one section 40 the semantic class lane, the lane applies 8th to which the subsection 40 belongs as existent.

Um einen Konfidenzwert für die Schätzung der eigenen Fahrspur zu berechnen, wird die Information verwendet, wie viel potentieller Fahrspuren 8 durch andere Fahrzeuge 32 verdeckt werden. Dazu wird die folgende Formel eingesetzt: $Konfidenz = {(1 - (# {Pixel}_{Auto} / # {Pixel}_{Total}))}^{2}$

In order to calculate a confidence value for the estimation of one's own lane, the information about how many potential lanes is used 8th by other vehicles 32 be covered. The following formula is used for this:

Confidence = {(1 - (# {pixel}_{automobile} / # {pixel}_{Total}))}^{2nd}

Hierbei ist #Pixel_Auto die Summe aller Bildpunkte innerhalb aller Teilabschnitte 40, die der Klasse Fahrzeuge 32 zugeordnet sind. Die Variable #Pixel_Total beschreibt die Summe aller Bildpunkte von allen Teilabschnitten 40.#Pixel _{Auto is} the sum of all pixels within all sections 40 that of the class vehicles 32 assigned. The variable #Pixel _Total describes the sum of all pixels from all sections 40 .

Claims

Method (22) for localizing at least one vehicle (2) by at least one server unit (4), wherein Measurement data of a vehicle environment are received by the server unit (4), - a track width (D) of a lane (8) traveled by the vehicle (2) is determined from the received measurement data by the server unit (4) or is defined by the server unit (4), a lane (6) is determined by the server unit (4) on the basis of the measurement data received, - Based on the determined track width (D) of the roadway (6), a track-accurate position of the vehicle (2) is determined, and - The exact position of the vehicle (2) is output to a control unit (14) of the vehicle (2).

Procedure according to Claim 1 , based on the determined lane width (D) a number of lanes (8) of the lane (6) is determined and the exact position of the vehicle (2) is determined.

Procedure according to Claim 1 or 2nd The received measurement data are semantically segmented into classes by the server unit (2) and / or by a control device (14) of the vehicle (2).

Procedure according to Claim 3 The semantic segmentation of the measurement data is carried out by at least one neural network (20) of the server unit (4) and / or the control device (14) of the vehicle (2).

Procedure according to Claim 1 , 2nd or 3rd The semantic segmentation of the measurement data is carried out on the basis of a data fusion of measurement data from at least two sensors (10, 12) from the server unit (4) and / or the control unit (14) of the vehicle (2).

Procedure according to one of the Claims 1 to 5 , wherein a lane segment (6) is calculated by segmenting the received measurement data by the server unit (4) and / or the control unit (14) of the vehicle (2), the lane segment (6) being divided into subsections (40), whereby Sub-sections (40) of the road segment (6) that are not covered by objects (32) are selected by the server unit (4) to determine a number of traffic lanes (8).

Procedure according to one of the Claims 1 to 6 , The measurement data of the vehicle surroundings being received as at least one image or as moving images by the server unit (4).

Procedure according to one of the Claims 1 to 7 The lane (8) traveled by the vehicle (2) is determined by the server unit (4) on the basis of measurement data from at least two sensors (10, 12) of the vehicle (2).

Procedure according to one of the Claims 1 to 8th The lane width (D) of a lane (8) is defined by the server unit (4) as constant or depending on a type of lane.

Method according to one of the preceding claims, wherein the measurement data are received as segmented measurement data of a vehicle environment from the server unit (4).

Server unit (4) for establishing a communication connection (18) to at least one vehicle (2), the server unit (4) being set up to carry out the method (22) according to one of the preceding claims.