[go: up one dir, main page]

WO2022018007A1 - Verfahren zum schätzen einer eigenbewegung eines fahrzeugs anhand von messungen eines lidar-sensors sowie recheneinrichtung - Google Patents

Verfahren zum schätzen einer eigenbewegung eines fahrzeugs anhand von messungen eines lidar-sensors sowie recheneinrichtung Download PDF

Info

Publication number
WO2022018007A1
WO2022018007A1 PCT/EP2021/070094 EP2021070094W WO2022018007A1 WO 2022018007 A1 WO2022018007 A1 WO 2022018007A1 EP 2021070094 W EP2021070094 W EP 2021070094W WO 2022018007 A1 WO2022018007 A1 WO 2022018007A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
vehicle
clusters
point
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/070094
Other languages
English (en)
French (fr)
Inventor
Daniel SCHWENDNER
Yuran Liang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to US18/017,308 priority Critical patent/US12462403B2/en
Priority to CN202180060166.0A priority patent/CN116209920A/zh
Publication of WO2022018007A1 publication Critical patent/WO2022018007A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for estimating a self-motion of a vehicle.
  • the present invention relates to a computing device for a vehicle.
  • the present invention relates to a computer program and a computer-readable memory (medium).
  • Determining a vehicle's own movement is of crucial importance for driver assistance systems and automated or autonomous driving.
  • IMU inertial measurement units
  • this technology can be prone to error and may not provide sufficient accuracy.
  • the vehicle's own movement is determined using a satellite-supported position determination system.
  • satellite-supported position determination system may often not be available in urban areas, tunnels or the like.
  • DE 102008026397 A1 describes a system for estimating the vehicle dynamics, which includes the vehicle position and the vehicle speed, using a stationary object.
  • the system includes an object sensor, for example a lidar sensor, which supplies object signals of the stationary object.
  • the system also includes on-board sensors that provide signals representing vehicle motion.
  • the system also includes a mapping processor that receives object signals and provides object tracking through multiple data frames.
  • the system also includes a longitudinal state estimation processor that receives the object signals and the sensor signals and provides a correction for the forward vehicle speed.
  • the system also includes a lateral state estimation processor that receives the object signals and the sensor signals and provides a lateral correction for the vehicle speed.
  • the self-motion is estimated on the basis of sensor data from a lidar sensor using the iterative closest point method will.
  • Objects can be detected with the lidar sensor and point clouds can be determined that describe these objects. These point clouds can be determined for consecutive measurements or points in time. In addition, the points of the respective point clouds can be clustered or combined.
  • self-motion is usually determined indoors. Objects with known geometries and/or defined contours are usually available here. This usually ensures that the number of points in the point cloud does not change, since the contours of the objects are always the same.
  • filter methods are also used to select points from the point clouds, which are used for determining the proper motion.
  • the so-called “outliner” method the clusters formed are checked for an absolute number of points and point density. If the absolute number of points and/or the point density is too low, the cluster is regarded as an outlier or outliner and is filtered out or not taken into account.
  • a method is used to estimate a vehicle's own motion.
  • the method includes determining a first point cloud with a plurality of first points based on sensor data that is provided with a lidar sensor of the vehicle at a first point in time.
  • the procedure includes the determination of a second point cloud with a plurality of second points based on sensor data which are provided with the lidar sensor at a second point in time following the first point in time.
  • the method also includes associating the first points with clusters and the second points with clusters, and selecting first points from the first point cloud and selecting second points from the second point cloud.
  • the method includes determining a displacement between respective corresponding selected first points and selected second points and estimating the vehicle's own motion based on the displacement. In this case, it is provided that the selection of the first points and the selection of the second points are carried out as a function of a form of the respective cluster.
  • the purpose of the method is to determine or estimate the vehicle's own movement.
  • the movement of the vehicle can describe the speed and/or direction of travel of the vehicle.
  • the method can be carried out using a computing device in the vehicle, for example using an electronic control unit in the vehicle.
  • This computing device can continuously receive sensor signals from the vehicle's lidar sensor. With the lidar sensor, consecutive measurements or measurement cycles can be carried out. In the respective measurements, light signals can be emitted with the lidar sensor and the light signals reflected in the surroundings of the vehicle and in particular on objects can be received again. Based on the transit time between the transmission of the respective light signal and the reception of a light signal reflected by the object, the distance between the lidar sensor and the object can then be determined with knowledge of the propagation speed of the light signal. During a measurement cycle with the lidar sensor, light signals can be sent to different spatial areas of the environment and received again.
  • a cloud of points can then be determined on the basis of the received or reflected light signals.
  • This point cloud can be two-dimensional or three-dimensional.
  • This point cloud describes the surroundings of the vehicle.
  • at least a first cloud of points, which is determined at the first point in time or in a first measurement cycle, and a second point cloud, which is determined at a second point in time or in a second measurement cycle, are considered.
  • the second point in time follows the first point in time or the second measurement cycle follows the first measurement cycle.
  • the first points of the first point cloud are clustered and the second points of the point cloud are clustered.
  • first points of the first point cloud can be divided into groups and the second points in the second point cloud can also be divided into groups.
  • clustering an attempt is made in particular to combine the points which originate from the same object.
  • first points are selected from the first point cloud and second points are selected from the second point cloud.
  • the first points and the second points are filtered. It is assumed here that the selected first points and the selected second points are associated with a static object.
  • the displacement can then be determined between respective corresponding selected first points and second points. This shift can be determined, for example, with respect to the longitudinal direction of the vehicle and the transverse direction of the vehicle.
  • the displacement can describe a translation and a rotation.
  • the movement of the vehicle between the first point in time and the second point in time can then be determined from the shift between the selected first and second points.
  • the selection of the first points and the selection of the second points are carried out depending on a shape or shape of the respective cluster.
  • a shape or shape of the respective cluster In particular, based on the shape of the respective clusters of the first and second points, it can be estimated whether the cluster originates from a static or a dynamic object. First and second points, which come from a dynamic object, for example, should not be selected.
  • the shape of the clusters can be used to estimate whether the object is suitable for determining its own motion. If, for example, it is recognized from the shape that it is an extended object or an object for which the boundaries or contours cannot be clearly determined, this cannot be used to determine the vehicle's own movement. The aim is therefore to filter out dynamic objects and interfering objects. Overall, the determination of the vehicle's own movement can therefore be carried out more reliably on the basis of the measurements with the lidar sensor.
  • the displacement between the corresponding selected points is determined by means of an iterative closest point algorithm.
  • the point clouds can first be clustered and then filtered.
  • the first points from the first point cloud and the second points from the second point cloud can be selected.
  • the corresponding pairs of points in the first point cloud and the second point cloud can be determined. In principle, this can be achieved by finding the closest second point for a first point.
  • the points can be weighted. The points can be weighted depending on their surroundings, thus highlighting features and regions of interest.
  • points can be excluded or not taken into account. For example, points that are outliers or do not contribute to the convergence of the iterative closest point algorithm can be excluded.
  • an error measure can then be determined and an optimization can be performed.
  • the selection of the first points and the selection of the second points are additionally carried out depending on a location of the respective cluster.
  • the spatial position of the clusters relative to the vehicle can also be taken into account. Based on the spatial location of the clusters, it is also possible to estimate which object it may be. If this is taken into account, the proper motion can be calculated based on the measurements with the lidar sensor.
  • first points and for second points which are assigned to a roadway in an area surrounding the vehicle.
  • the vehicle is usually located on a roadway. It can be determined or estimated where the roadway is relative to the vehicle. This can also be used to determine whether a cluster can be assigned to the lane. If a cluster is assigned to the lane, it can be assumed with high probability that it is another road user and therefore a dynamic or moving object. The vehicle's own movement cannot be sufficiently determined on the basis of point clouds, which describe a dynamic object. It is therefore provided that clusters of first points and clusters of second points, which are arranged in an area of the roadway, are not taken into account or are filtered out.
  • clusters can be identified which are assigned to a boundary of the roadway, such as crash barriers or the like. These boundaries run parallel to the direction of travel of the roadway. In this way, these limitations can also be recognized and filtered out more reliably.
  • the selection is omitted for first points and for second points which are assigned to a cluster with an elongated shape.
  • the boundaries cannot be determined for oblong or spatially extended objects.
  • Such elongate clusters arise, for example, in the case of roadway boundaries, such as crash barriers, tunnel walls or the like.
  • the points may be arranged essentially along a line.
  • an elongate shape is understood to mean, in particular, a shape in which the length is significantly greater than the width.
  • These elongated clusters usually extend in the direction of travel or along the longitudinal axis of the vehicle. Different areas of these elongated objects can be detected in the successive measurements. Thus, the respective point clouds do not describe the same part of the object either.
  • Elongated objects can be regarded as interference objects with regard to the determination of the vehicle's own movement. Such interfering objects or clusters which describe such interfering objects are therefore not taken into account or filtered out.
  • elongated clusters can describe measurements from other road users and in particular other vehicles. If there are other vehicles in front of the driver's vehicle in the direction of travel, the rear areas are usually detected by the other vehicles. The points that describe these rear areas also form elongated clusters that extend transversely to the direction of travel or along the vehicle's transverse axis. These clusters, which are associated with dynamic objects, cannot be taken into account or filtered out when estimating the vehicle's own movement.
  • DBSCAN Density-Based Spatial Clustering of Applications with Noise
  • the clusters of the first point cloud and the clusters of the second point cloud are classified on the basis of a principal component analysis.
  • principal component analysis can be used to classify clusters as outliers.
  • elongated clusters or objects should not be taken into account or should be classified as outliers.
  • Principal component analysis can be used to determine a covariance matrix of the points in a cluster. Based on the covariance matrix, eigenvalues can then be determined which describe the points of a cluster. If the ratio of the eigenvalues is small or falls below a predetermined limit value, it can be assumed that the object is elongated and therefore an outlier. In this way, oblong objects can be reliably detected and filtered out.
  • corresponding clusters of the first points and clusters of the second points are determined, with the selection not being made for first points and for second points if the size and/or shape of the corresponding cluster differs.
  • the eigenvalues of the corresponding clusters can be considered. In the case of clusters or objects in which the ratio of the eigenvalues per dimension is, for example, greater than 5 or less than 1/5, it can be assumed that a noisy cluster is involved. Such noisy clusters can be filtered out.
  • the first points of the first point cloud can be assigned to the second points of the point cloud.
  • Nearest neighbor searches can be used for this. Tests have shown that so-called kd trees are particularly suitable here due to their accuracy, computing time and memory requirements.
  • the corresponding points of the point cloud can be determined and, on the other hand, points can be sorted out or discarded. For example, if the distance between points associated with one another exceeds a predetermined value, these can be sorted out.
  • a transformation which describes the translation and the rotation, can then be determined between the points assigned to one another, and the movement of the vehicle itself can be derived from this. In order to further improve the computational effort and the accuracy, an initial transformation can be specified.
  • this initial transformation can be determined using an Error State Extended Kalman Filter.
  • the final transformation can be determined by minimizing the error between point clouds.
  • a singular value decomposition can be used for this purpose.
  • a computing device according to the invention for a vehicle is set up to carry out a method according to the invention.
  • the computing device can be formed by an electronic control unit of the vehicle.
  • a sensor system includes a computing device according to the invention. Furthermore, the sensor system includes at least one lidar sensor.
  • This lidar sensor can be designed in particular as a so-called low-cost lidar sensor, which has a low resolution and/or a low frequency.
  • the lidar sensor can be connected to the computing device for data transmission.
  • sensor data and/or the point clouds which are determined with the lidar sensor in the respective measurements, can be transmitted to the computing device.
  • the movement of the vehicle itself can then be estimated with the computing device.
  • the sensor system can have satellite-based position determination systems and/or inertial measuring units, which can also be used to determine the vehicle's own movement.
  • a vehicle according to the invention comprises a sensor system according to the invention or a computing device according to the invention.
  • the vehicle is designed in particular as a passenger car.
  • the vehicle can also be designed as a utility vehicle.
  • a further aspect of the invention relates to a computer program, comprising instructions which, when the program is executed by a computing device, cause the latter to carry out a method according to the invention and the advantageous configurations thereof. Furthermore, the invention relates to a computer-readable (storage) medium, comprising instructions which, when executed by a computing device, cause the computing device to carry out a method according to the invention and the advantageous configurations thereof.
  • FIG. 1 shows a schematic representation of a vehicle which has a sensor system with a lidar sensor
  • FIG. 2 shows a schematic representation of point clouds which are determined on the basis of measurements with the lidar sensor, the measurements being recorded at different points in time;
  • FIG. 3 shows a schematic representation of a traffic situation in which the vehicle is located on a roadway
  • FIG. 4 shows a schematic representation of the detected point clouds in the traffic situation according to FIG. 3;
  • FIG. 5 shows a schematic flowchart of a method for determining a movement of the vehicle itself.
  • FIG. 1 shows a schematic representation of a vehicle 1, which is designed as a passenger car, in a plan view.
  • the vehicle 1 has a vehicle longitudinal direction x and a vehicle transverse direction y.
  • the vehicle 1 includes a sensor system 2 which has a computing device 3 .
  • This computing device 3 can be formed by an electronic control unit of the vehicle 1, for example.
  • the sensor system 2 includes a lidar sensor 4, with which an object in an area 5 of the vehicle 1 can be detected.
  • the sensor system 2 includes an inertial measuring unit 6.
  • FIG. 2 shows a highly simplified representation of a first point cloud W1, which includes first points P1, and a second point cloud W2, which includes second points P2.
  • the first point cloud W1 is determined using a first measurement with the lidar sensor 4 and the second point cloud W2 is determined using a second measurement with the lidar sensor 4 .
  • the two point clouds W1, W2 each describe a static object in the surroundings 5 of the vehicle 1. Based on an assignment of corresponding first points P1 and second points P2, the movement of the vehicle 1 can then be determined—as explained in more detail below.
  • the movement of the vehicle 1 itself can also be determined using the data from the inertial measuring unit 6 .
  • FIG. 3 shows a traffic situation in which the vehicle 1 is located on a roadway 7 in a schematic representation.
  • the vehicle 1 moves in the forward direction.
  • the roadway 7 has two lanes 8 and is delimited by crash barriers 9 .
  • Two other vehicles 10 are located as objects in the direction of travel in front of vehicle 1.
  • Roadway 7 can be part of a freeway or federal highway.
  • FIG 4 shows a first cloud of points W1 and a second cloud of points W2 in a schematic representation.
  • the point clouds W1 , W2 are plotted with respect to a longitudinal axis x of the vehicle 1 and a transverse axis y of the vehicle 1 .
  • These point clouds W1, W2 describe the traffic situation according to FIG definitely.
  • the first measurement was carried out at a first point in time and the second measurement was carried out at a second point in time following the first point in time.
  • the areas 11 and 12 of the point clouds W1, W2 originate from the crash barriers 9.
  • the points P1, P2, which originate from the crash barriers 9, form elongated clusters that extend along the vehicle's longitudinal direction x. In the case of these points P1, P2, which originate from elongate objects or the crash barriers 9, it is usually not the case that the points P1 and P2 describe the same areas of the object. Therefore, these elongated clusters of points P1 , P2 in regions 11 and 12 are not used for estimating the vehicle 1's own motion.
  • the areas 13 and 14 come from the other vehicles 10.
  • the other vehicles 10 are dynamic objects in the area 5 of the vehicle 1, which are not to Determination of the movement of the vehicle 1 are suitable. Since these vehicles 10 are located in front of the vehicle 1 in the direction of travel, the respective rear areas of the other vehicles 10 are recorded during the measurements with the lidar sensor 4 .
  • the points P1, P2, which describe the rear areas of the other vehicles 10, are also arranged in elongated clusters, with the clusters extending along the vehicle transverse direction y.
  • the points P1, P2, which are located in the areas 13, 14, are filtered out and not used for estimating the movement of the vehicle 1 itself.
  • FIG. 5 shows a schematic flowchart of a method for determining the movement of the vehicle 1.
  • a step S1a the first point cloud W1 is determined.
  • the first points P1 of the first point cloud W1 are clustered in a step S2a.
  • the first points P1 are then filtered in a step S3a.
  • the clusters or the points P1 which describe dynamic objects and disruptive objects such as crash barriers 9 can be filtered out.
  • the second point cloud W2 is determined in a step S1b
  • the second points P2 of the second point cloud W2 are clustered in a step S2b and the second point cloud is filtered in a step S3b.
  • the corresponding clusters are determined in a step S4.
  • noisy clusters are determined and filtered out.
  • noisy clusters can be clusters that change size and/or shape between measurements.
  • the respective displacement between corresponding first points P1 and second points P2 is then determined. The iterative closest point method is used for this. A translation and a rotation can thus be determined between the corresponding points P1, P2 and the movement of the vehicle 1 can be derived therefrom.
  • the method can also be used to estimate the vehicle's own movement on the basis of low-resolution lidar sensors 4 and imprecise point clouds. Furthermore, greater robustness can be achieved with environmental influences and a low frequency of the lidar sensor. With the iterative closest point method, the errors can be reduced by filtering.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs mit den Schritten: Bestimmen einer ersten Punktwolke mit einer Mehrzahl von ersten Punkten anhand von Sensordaten, welche mit einem Lidar-Sensor des Fahrzeugs zu einem ersten Zeitpunkt bereitgestellt werden, Bestimmen einer zweiten Punktwolke mit einer Mehrzahl von zweiten Punkten anhand von Sensordaten, welche mit dem Lidar-Sensor zu einem auf den ersten Zeitpunkt folgenden, zweiten Zeitpunkt bereitgestellt werden, Zuordnen der ersten Punkte zu Clustern und der zweiten Punkte zu Clustern, Auswählen von ersten Punkten aus der ersten Punktwolke und Auswählen von zweiten Punkten aus der zweiten Punktwolke, Bestimmen einer Verschiebung zwischen jeweiligen korrespondierenden ausgewählten ersten Punkten und ausgewählten zweiten Punkten und Schätzen der Eigenbewegung des Fahrzeugs anhand der Verschiebung, wobei die Auswahl der ersten Punkte und die Auswahl der zweiten Punkte in Abhängigkeit von einer Form der jeweiligen Cluster durchgeführt wird.

Description

Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs anhand von Messungen eines Lidar-Sensors sowie Recheneinrichtung
Die vorliegende Erfindung betrifft ein Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs. Zudem betrifft die vorliegende Erfindung eine Recheneinrichtung für ein Fahrzeug. Schließlich betrifft die vorliegende Erfindung ein Computerprogramm sowie ein computerlesbares Speicher(medium).
Die Bestimmung der Eigenbewegung eines Fahrzeugs ist für Fahrerassistenzsysteme bzw. das automatisierte oder autonome Fahren von entscheidender Bedeutung. Zur Bestimmung der Eigenbewegung werden bisher beispielsweise inertiale Messeinheiten (inertial measurement unit, IMU) verwendet. Diese Technologie kann aber anfällig für Fehler sein und eine nicht ausreichende Genauigkeit bieten. Darüber hinaus ist es aus dem Stand der Technik bekannt, dass die Eigenbewegung des Fahrzeugs mithilfe eines satellitengestützten Positionsbestimmungssystems ermittelt wird. Derartige Positionsbestimmungssysteme können aber in städtischen Gebieten, Tunneln oder dergleichen oftmals nicht verfügbar sein.
Des Weiteren ist es aus dem Stand der Technik bekannt, dass die Eigenbewegung eines Fahrzeugs anhand von Sensordaten eines Lidar-Sensors bestimmt wird. Hierzu beschreibt die DE 102008026397 A1 ein System zur Schätzung der Fahrzeugdynamik, die die Fahrzeugposition und die Fahrzeuggeschwindigkeit umfasst, anhand eines stationären Objekts. Das System umfasst einen Objektsensor, beispielsweise einen Lidar-Sensor, der Objektsignale des stationären Objekts liefert. Das System umfasst ferner fahrzeugseitige Sensoren, die Signale liefern, die die Fahrzeugbewegung repräsentieren. Das System umfasst außerdem einen Zuordnungsprozessor, der Objektsignale empfängt und die Objektverfolgung durch mehrere Datenrahmen versieht. Das System umfasst außerdem einen Längszustandsschätzprozessor, der die Objektsignale und die Sensorsignale empfängt und eine Korrektur der Fahrzeuggeschwindigkeit in Vorwärtsrichtung liefert. Das System umfasst außerdem einen Querzustandsschätzprozessor, der die Objektsignale und die Sensorsignale empfängt und einer Korrektur der Fahrzeuggeschwindigkeit in Querrichtung liefert.
Aus dem Bereich der Robotik ist es zudem bekannt, dass die Eigenbewegung auf Grundlage von Sensordaten eines Lidar-Sensors mit dem Iterative-Closest-Point-Verfahren abgeschätzt wird. Hierbei können mit dem Lidar-Sensor Objekte erfasst werden und Punktwolken bestimmt werden, welche diese Objekte beschreiben. Diese Punktwolken können für aufeinanderfolgende Messungen oder Zeitpunkte bestimmt werden. Zudem können die Punkte der jeweiligen Punktwolken geclustert bzw. zusammengefasst werden. Bei der Robotik wird die Bestimmung der Eigenbewegung üblicherweise in Innenräumen durchgeführt. Hier stehen üblicherweise Objekte mit bekannten Geometrien und/oder definierten Konturen zur Verfügung. Dadurch ist meist gewährleistet, dass sich die Anzahl der Punkte der Punktwolken nicht ändert, da die Kontur der Objekte stets gleich ist.
In diesem Zusammenhang werden auch Filter-Methoden verwendet, um Punkte aus den Punktwolken auszuwählen, welche für die Bestimmung der Eigenbewegung genutzt werden. Bei einer bekannten Filter-Methode, der sogenannten „Outliner“-Methode, werden die gebildeten Cluster auf eine absolute Punkteanzahl und Punktdichte hin überprüft. Falls die absolute Punkteanzahl und/oder die Punktdichte zu gering ist, wird das Cluster als Ausreißer bzw. Outliner betrachtet und herausgefiltert bzw. nicht berücksichtigt.
Im Straßenverkehr ist meist eine Vielzahl von dynamischen bzw. sich bewegenden Objekten vorhanden, welche sich nicht zur Bestimmung der Eigenbewegung des Fahrzeugs eignen. Darüber hinaus sind dort üblicherweise Störobjekte, wie beispielsweise Leitplanken, vorhanden, welche keine definierten Grenzen oder Konturen im Erfassungsbereich des Lidar-Sensors aufweisen. Diese Störobjekte werden mit den bekannten Filter-Methoden aber nicht als solche erkannt. Der Grund hierfür ist, dass diese Objekte eine hohe Punktdichte aufweisen und daher nicht unter das bekannte Filterkriterium fallen.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie die Eigenbewegung eines Fahrzeugs anhand von Messungen mit einem Lidar-Sensor zuverlässiger bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Computerprogramm sowie durch ein computerlesbares Speicher(medium) mit den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.
Ein erfindungsgemäßes Verfahren dient zum Schätzen einer Eigenbewegung eines Fahrzeugs. Das Verfahren umfasst das Bestimmen einer ersten Punktwolke mit einer Mehrzahl von ersten Punkten anhand von Sensordaten, welche mit einem Lidar-Sensor des Fahrzeugs zu einem ersten Zeitpunkt bereitgestellt werden. Zudem umfasst das Verfahren das Bestimmen einer zweiten Punktwolke mit einer Mehrzahl von zweiten Punkten anhand von Sensordaten, welche mit dem Lidar-Sensor zu einem auf den ersten Zeitpunkt folgenden, zweiten Zeitpunkt bereitgestellt werden. Außerdem umfasst das Verfahren das Zuordnen der ersten Punkte zu Clustern und der zweiten Punkte zu Clustern sowie das Auswählen von ersten Punkten aus der ersten Punktwolke und Auswählen von zweiten Punkten aus der zweiten Punktwolke. Darüber hinaus umfasst das Verfahren das Bestimmen einer Verschiebung zwischen jeweiligen korrespondierenden ausgewählten ersten Punkten und ausgewählten zweiten Punkten und das Schätzen der Eigenbewegung des Fahrzeugs anhand der Verschiebung. Dabei ist vorgesehen, dass die Auswahl der ersten Punkte und die Auswahl der zweiten Punkte in Abhängigkeit von einer Form der jeweiligen Cluster durchgeführt werden.
Mithilfe des Verfahrens soll die Eigenbewegung des Fahrzeugs bestimmt bzw. abgeschätzt werden. Die Eigenbewegung kann die Geschwindigkeit und/oder Fahrtrichtung des Fahrzeugs beschreiben. Das Verfahren kann mit einer Recheneinrichtung des Fahrzeugs, beispielsweise mit einem elektronischen Steuergerät des Fahrzeugs, durchgeführt werden. Diese Recheneinrichtung kann fortlaufend Sensorsignale von dem Lidar-Sensor des Fahrzeugs empfangen. Mit dem Lidar-Sensor können zeitlich aufeinanderfolgende Messungen bzw. Messzyklen durchgeführt werden. Bei den jeweiligen Messungen können mit dem Lidar-Sensor Lichtsignale ausgesendet werden und die in einer Umgebung des Fahrzeugs und insbesondere an Objekten reflektierten Lichtsignale wieder empfangen werden. Anhand der Laufzeit zwischen dem Aussenden des jeweiligen Lichtsignals und dem Empfangen eines von dem Objekt reflektierten Lichtsignals kann dann unter Kenntnis der Ausbreitungsgeschwindigkeit des Lichtsignals der Abstand zwischen dem Lidar-Sensor und dem Objekt bestimmt werden. Bei einem Messzyklus mit dem Lidar-Sensor können Lichtsignale in unterschiedliche Raumbereiche der Umgebung ausgesendet werden und wieder empfangen werden.
In einem Messzyklus des Lidar-Sensors kann dann auf Grundlage der empfangenen bzw. reflektierten Lichtsignale eine Punktwolke bestimmt werden. Diese Punktwolke kann zweidimensional oder dreidimensional sein. Diese Punktwolke beschreibt die Umgebung des Fahrzeugs. Vorliegend werden zumindest eine erste Punktwolke, welche zu dem ersten Zeitpunkt bzw. in einem ersten Messzyklus bestimmt wird, und eine zweite Punktwolke, welche zu einem zweiten Zeitpunkt bzw. in einem zweiten Messzyklus bestimmt wird, betrachtet. Dabei folgt der zweite Zeitpunkt auf den ersten Zeitpunkt bzw. der zweite Messzyklus folgt auf den ersten Messzyklus. Des Weiteren werden die ersten Punkte der ersten Punktwolke geclustert und die zweiten Punkte der Punktwolke werden geclustert. Mit anderen Worten können die ersten Punkte der ersten Punktwolke in Gruppen eingeteilt werden und die zweiten Punkte in der zweiten Punktwolke können ebenfalls in Gruppen eingeteilt werden. Bei dem Clustern wird insbesondere versucht, die Punkte, welche von demselben Objekt stammen, zusammenzufassen. Außerdem werden erste Punkte aus der ersten Punktwolke ausgewählt und aus der zweiten Punktwolke werden zweite Punkte ausgewählt. Mit anderen Worten werden die ersten Punkte und die zweiten Punkte gefiltert. Dabei wird angenommen, dass die ausgewählten ersten Punkte und die ausgewählten zweiten Punkte einem statischen Objekt zugeordnet sind. Zwischen jeweiligen korrespondierenden ausgewählten ersten Punkten und zweiten Punkten kann dann die Verschiebung bestimmt werden. Diese Verschiebung kann beispielsweise bezüglich der Fahrzeuglängsrichtung und der Fahrzeugquerrichtung bestimmt werden. Die Verschiebung kann eine Translation und eine Rotation beschreiben. Aus der Verschiebung zwischen den ausgewählten ersten und zweiten Punkten kann dann die Eigenbewegung des Fahrzeugs zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bestimmt werden.
Gemäß einem wesentlichen Aspekt der Erfindung ist vorgesehen, dass die Auswahl der ersten Punkte und die Auswahl der zweiten Punkte in Abhängigkeit von einer Form oder Formgebung der jeweiligen Cluster durchgeführt werden. Auf Grundlage der Form der jeweiligen Cluster der ersten und der zweiten Punkte kann insbesondere abgeschätzt werden, ob das Cluster von einem statischen oder einem dynamischen Objekt stammt. Erste und zweite Punkte, welche beispielsweise von einem dynamischen Objekt stammen, sollen nicht ausgewählt werden. Ferner kann anhand der Form der Cluster abgeschätzt werden, ob das Objekt für die Bestimmung der Eigenbewegung geeignet ist. Wenn beispielsweise anhand der Form erkannt wird, dass es sich um ein ausgedehntes Objekt bzw. ein Objekt, bei welchem die Grenzen bzw. Konturen nicht eindeutig bestimmt werden können, handelt, kann dies zur Bestimmung der Eigenbewegung des Fahrzeugs nicht herangezogen werden. Ziel ist es also, dynamische Objekte und Störobjekte herauszufiltern. Insgesamt kann somit die Bestimmung der Eigenbewegung des Fahrzeugs auf Grundlage der Messungen mit dem Lidar-Sensor zuverlässiger durchgeführt werden.
In einer Ausführungsform ist vorgesehen, dass die Verschiebung zwischen den korrespondierenden ausgewählten Punkten mittels eines Iterative-Closest-Point-Algorithmus bestimmt wird. Vor dem Durchführen des Iterative-Closest-Point-Algorithmus können die Punktwolken zunächst geclustert und anschließend gefiltert werden. Hierbei können zunächst die ersten Punkte aus der ersten Punktwolke und die zweiten Punkte aus der zweiten Punktwolke ausgewählt werden. Danach können die korrespondierenden Punkte- Paare in der ersten Punktwolke und der zweiten Punktwolke bestimmt werden. Dies kann grundsätzlich dadurch erreicht werden, dass für einen ersten Punkt der nächstliegende zweite Punkt gefunden wird. Darüber hinaus kann eine Gewichtung der Punkte vorgenommen werden. Die Punkte können anhängig von ihrer Umgebung gewichtet werden und somit Merkmale und Regionen von Interesse hervorgehoben werden. Fernern können Punkte ausgeschlossen bzw. nicht berücksichtigt werden. Beispielsweise können Punkte, welche Ausreißer sind oder nicht zur Konvergenz des Iterative-Closest-Point-Algorithmus beitragen, ausgeschlossen werden. Schließlich kann dann ein Fehlermaß bestimmt werden und es kann eine Optimierung durchgeführt werden.
In einerweiteren Ausführungsform werden die Auswahl der ersten Punkte und die Auswahl der zweiten Punkte zusätzlich in Abhängigkeit von einer Lage der jeweiligen Cluster durchgeführt. Zusätzlich zu der Form der Cluster kann auch die räumliche Lage der Cluster relativ zu dem Fahrzeug berücksichtigt werden. Auf Grundlage der räumlichen Lage der Cluster kann zudem abgeschätzt werden, um welches Objekt es sich handeln kann. Wenn dies berücksichtigt wird, kann die Eigenbewegung auf Grundlage der Messungen mit dem Lidar-Sensor.
Hierbei ist insbesondere vorgesehen, dass für erste Punkte und für zweite Punkte, welche einer Fahrbahn in einer Umgebung des Fahrzeugs zugeordnet werden, die Auswahl unterbleibt. Wenn die Eigenbewegung des Fahrzeugs bestimmt werden soll, befindet sich das Fahrzeug meist auf einer Fahrbahn. Es kann bestimmt oder abgeschätzt werden, wo sich die Fahrbahn relativ zu dem Fahrzeug befindet. Damit kann auch ermittelt werden, ob ein Cluster der Fahrbahn zugeordnet werden kann. Wenn ein Cluster der Fahrbahn zugeordnet wird, kann mit großer Wahrscheinlichkeit davon ausgegangen werden, dass es sich um einen weiteren Verkehrsteilnehmer und somit um ein dynamisches bzw. bewegtes Objekt handelt. Anhand von Punktwolken, welche ein dynamisches Objekt beschreiben, kann die Eigenbewegung des Fahrzeugs nicht ausreichend bestimmt werden. Daher ist vorgesehen, dass Cluster von ersten Punkten und Cluster von zweiten Punkten, welche in einem Bereich der Fahrbahn angeordnet sind, nicht berücksichtigt bzw. herausgefiltert werden. Zudem können anhand der räumlichen Lage Cluster erkannt werden, welche einer Begrenzung der Fahrbahn, wie Leitplanken oder dergleichen zugeordnet sind. Diese Begrenzungen verlaufen parallel zur Fahrtrichtung der Fahrbahn. Somit können auch diese Begrenzungen zuverlässiger erkannt und herausgefiltert werden. In einerweiteren Ausführungsform unterbleibt die Auswahl für erste Punkte und für zweite Punkte, welche einem Cluster mit einer länglichen Form zugeordnet sind. Bei länglichen bzw. räumlich ausgedehnten Objekten können die Grenzen nicht ermittelt werden. Solche länglichen Cluster ergeben sich beispielsweise bei Fahrbahnbegrenzungen, wie Leitplanken, Tunnelwänden oder dergleichen. Bei einem länglichen Cluster können die Punkte im Wesentlichen entlang einer Linie angeordnet sein. Unter einer länglichen Form wird vorliegend insbesondere eine Form verständen, bei welcher die Länge deutlich größer als die Breite ist. Diese länglichen Cluster weisen üblicherweise eine Erstreckung in Fahrtrichtung bzw. entlang der Fahrzeuglängsachse auf. Bei den aufeinanderfolgenden Messungen können jeweils unterschiedliche Bereiche dieser länglichen Objekte erfasst werden. Somit beschreiben die jeweiligen Punktwolken auch nicht denselben Teil des Objekts. Längliche Objekte können bezüglich der Bestimmung der Eigenbewegung des Fahrzeugs als Störobjekte angesehen werden. Solche Störobjekte bzw. Cluster, welche solche Störobjekte beschreiben, werden daher nicht berücksichtigt bzw. herausgefiltert.
Fernern können längliche Cluster Messungen von weiteren Verkehrsteilnehmern und insbesondere weiteren Fahrzeugen beschreiben. Wenn sich weitere Fahrzeuge in Fahrtrichtung vor dem Eigenfahrzeug befinden, werden von den weiteren Fahrzeugen üblicherweise die Heckbereiche erfasst. Die Punkte, welche diese Heckbereiche beschreiben, bilden auch längliche Cluster, welche sich quer zur Fahrtrichtung bzw. entlang der Fahrzeugquerachse erstrecken. Auch diese Cluster, welche dynamischen Objekten zugeordnet sind, können bei der Abschätzung der Eigenbewegung des Fahrzeugs nicht berücksichtigt werden bzw. herausgefiltert werden.
Weiterhin ist vorteilhaft, wenn zum Bestimmen der Cluster eine dichtebasierte räumliche Clusteranalyse mit Rauschen verwendet wird. Bei dem Clustern sollen die Punkte der jeweiligen Punktwolke erkannt werden, welche dasselbe Objekt beschreiben. Die dichtebasierte räumliche Clusteranalyse mit Rauschen (Density-Based Spatial Clustering of Applications with Noise, DBSCAN) bietet den Vorteil, dass eine ursprüngliche Anzahl von Clustern nicht benötigt wird, und Punkte, welche nicht Teil des Clusters sind, identifiziert werden können.
Gemäß einer weiteren Ausführungsform werden die Cluster der ersten Punktwolke und die Cluster der zweiten Punktwolke auf Grundalge einer Hauptkomponentenanalyse klassifiziert. Insbesondere kann die Hauptkomponentenanalyse dazu verwendet werden, Cluster als Ausreißer bzw. Outliner zu klassifizieren. Wie bereits erläutert sollen längliche Cluster bzw. Objekte nicht berücksichtigt werden bzw. als Ausreißer klassifiziert werden. Mittels der Hauptkomponentenanalyse kann eine Kovarianzmatrix der Punkte eines Clusters bestimmt werden. Auf Grundlage der Kovarianzmatrix können dann Eigenwerte bestimmt werden, welche die Punkte eines Clusters beschreiben. Wenn das Verhältnis der Eigenwerte klein ist bzw. einen vorbestimmten Grenzwert unterschreitet, kann davon ausgegangen werden, dass es sich um ein längliches Objekt und somit um einen Ausreißer handelt. Auf diese Weise können längliche Objekte auf zuverlässige Weise erkannt und herausgefiltert werden.
Weiterhin ist vorteilhaft, wenn korrespondierende Cluster der ersten Punkte und Cluster der zweiten Punkte bestimmt werden, wobei für erste Punkte und für zweite Punkte die Auswahl unterbleibt, falls sich eine Größe und/oder Form der korrespondierenden Cluster unterscheidet. Mit anderen Worten ist vorgesehen, dass verrauschte Objekte bzw. Cluster, welcher die Größe und/oder Form zwischen den Messungen ändern, herausgefiltert werden. Es soll also überprüft werden, ob die Abweichung eines Clusters aus der ersten Messung zu einem Cluster aus der zweiten Messung zu groß ist. Hierzu kann zunächst bestimmt werden, welche Cluster der ersten Punktwolke und welche Cluster der zweiten Punktwolke korrespondieren. Des Weiteren können die Eigenwerte der korrespondierenden Cluster betrachtet werden. Bei Clustern bzw. Objekten, bei denen je Dimension das Verhältnis der Eigenwerte beispielsweise größer als 5 bzw. kleiner als 1/5 ist, kann angenommen werden, dass es sich um ein verrauschtes Cluster handelt. Solche verrauschten Cluster können herausgefiltert werden.
Nach dem Bestimmen der gefilterten Punktwolken, können die ersten Punkte der ersten Punktwolke den zweiten Punkten der Punktwolke zugeordnet werden. Hierzu können nächste-Nachbar-Suchen verwendet werden. Dabei haben Versuche gezeigt, dass sich sogenannte k-d-Bäume hier besonders aufgrund der Genauigkeit, Rechenzeit und dem Speicherbedarf eignen. Hierbei können einerseits die korrespondierenden Punkte der Punktwolken bestimmt werden und andererseits Punkte aussortiert bzw. verworfen werden. Wenn beispielsweise der Abstand zwischen einander zugeordneten Punkten einen vorbestimmten Wert überschreitet, können diese aussortiert werden. Zwischen den einander zugeordneten Punkten kann dann einen Transformation, welche die Translation und die Rotation beschreibt, bestimmt werden und hieraus die Eigenbewegung des Fahrzeugs abgeleitet werden. Um den Rechenaufwand und die Genauigkeit zusätzlich zu verbessern, kann eine initiale Transformation vorgegeben werden. Diese initiale Transformation kann insbesondere mithilfe eines Error State Extended Kalman Filters bestimmt werden. Dabei kann die endgültige Transformation dadurch bestimmt werden, dass der Fehler zwischen Punktwolken minimiert wird. Hierzu kann insbesondere eine Singulärwertzerlegung genutzt werden. Eine erfindungsgemäße Recheneinrichtung für ein Fahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens eingerichtet. Die Recheneinrichtung kann durch ein elektronisches Steuergerät des Fahrzeugs gebildet sein.
Ein erfindungsgemäßes Sensorsystem umfasst eine erfindungsgemäße Recheneinrichtung. Des Weiteren umfasst das Sensorsystem zumindest einen Lidar-Sensor. Dieser Lidar- Sensor kann insbesondere als sogenannter Low-Cost-Lidar-Sensor ausgebildet sein, welcher eine geringe Auflösung und/oder eine niedrige Frequenz aufweist. Der Lidar-Sensor kann mit der Recheneinrichtung zur Datenübertragung verbunden sein. Somit können Sensordaten und/oder die Punktwolken, die mit dem Lidar-Sensor in den jeweiligen Messungen bestimmt werden, an die Recheneinrichtung übertragen werden. Mit der Recheneinrichtung kann dann die Eigenbewegung des Fahrzeugs abgeschätzt werden. Zudem kann das Sensorsystem satellitengestützte Positionsbestimmungssysteme und/oder inertiale Messeinheiten aufweisen, welche zusätzlich zur Bestimmung der Eigenbewegung des Fahrzeugs genutzt werden können.
Ein erfindungsgemäßes Fahrzeug umfasst ein erfindungsgemäßes Sensorsystem bzw. eine erfindungsgemäße Recheneinrichtung. Das Fahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Fahrzeug kann auch als Nutzfahrzeug ausgebildet sein.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen. Des Weiteren betrifft die Erfindung ein computerlesbares (Speicher)medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinrichtung diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, für das erfindungsgemäße Sensorsystem für das erfindungsgemäße Fahrzeug, für das erfindungsgemäße Computerprogramm sowie für das erfindungsgemäße computerlesbare (Speicher)medium.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:
Fig. 1 einen schematische Darstellung eines Fahrzeugs, welches ein Sensorsystem mit einem Lidar-Sensor aufweist;
Fig. 2 eine schematische Darstellung von Punktwolken, welche anhand von Messungen mit dem Lidar-Sensor bestimmt werden, wobei die Messungen zu unterschiedlichen Zeitpunkten aufgenommen werden;
Fig. 3 eine schematische Darstellung einer Verkehrssituation, bei welcher sich das Fahrzeug auf einer Fahrbahn befindet;
Fig. 4 eine schematische Darstellung der erfassten Punktwolken bei der Verkehrssituation gemäß Fig. 3; und
Fig. 5 eine schematisches Ablaufdiagramm eines Verfahrens zum Bestimmten einer Eigenbewegung des Fahrzeugs.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Fig. 1 zeigt in einer schematischen Darstellung ein Fahrzeug 1, welches als Personenkraftwagen ausgebildet ist, in einer Draufsicht. Das Fahrzeug 1 weist eine Fahrzeuglängsrichtung x und eine Fahrzeugquerrichtung y auf. Das Fahrzeug 1 umfasst ein Sensorsystem 2, welches eine Recheneinrichtung 3 aufweist. Diese Recheneinrichtung 3 kann beispielsweise durch ein elektronisches Steuergerät des Fahrzeugs 1 gebildet sein. Des Weiteren umfasst das Sensorsystem 2 einen Lidar-Sensor 4, mit welchem Objekt in einer Umgebung 5 des Fahrzeugs 1 erfasst werden können. Darüber hinaus umfasst das Sensorsystem 2 eine inertiale Messeinheit 6. Fig. 2 zeigt in einer stark vereinfachten Darstellung einer ersten Punktwolke W1, welche erste Punkte P1 umfasst, sowie einer zweiten Punktwolke W2, welche zweite Punkte P2 umfasst. Dabei wird die erste Punktwolke W1 anhand einer ersten Messung mit dem Lidar- Sensor 4 bestimmt und die zweite Punktwolke W2 wird anhand einer zweiten Messung mit dem Lidar-Sensor 4 bestimmt. Die beiden Punktwolken W1, W2 beschreiben jeweils ein statisches Objekt in der Umgebung 5 des Fahrzeugs 1. Anhand einer Zuordnung von korrespondierenden ersten Punkten P1 und zweiten Punkten P2 kann dann - wie nachfolgend näher erläutert - die Eigenbewegung des Fahrzeugs 1 bestimmt werden.
Ferner kann die Eigenbewegung des Fahrzeugs 1 zusätzlich anhand der Daten der inertialen Messeinheit 6 bestimmt werden.
Fig. 3 zeigt in einer schematischen Darstellung eine Verkehrssituation, bei welcher sich das Fahrzeug 1 auf einer Fahrbahn 7 befindet. Das Fahrzeug 1 bewegt sich dabei in Vorwärtsfahrtrichtung. Die Fahrbahn 7 weist vorliegend zwei Fahrstreifen 8 auf und ist durch Leitplanken 9 begrenzt. In Fahrrichtung vor dem Fahrzeug 1 befinden sich als Objekte zwei weitere Fahrzeuge 10. Die Fahrbahn 7 kann Teil einer Autobahn oder Bundesstraße sein.
Fig. 4 zeigt in einer schematischen Darstellung eine erste Punktwolke W1 und eine zweite Punktwolke W2. Dabei sind die Punktwolken W1, W2 bezüglich einer Längsachse x des Fahrzeugs 1 und einer Querachse y des Fahrzeugs 1 aufgetragen. Diese Punktwolken W1, W2 beschreiben die Verkehrssituation gemäß Fig. 3. Dabei wurde die erste Punktwolke W1 auf Grundlage einer ersten Messung mit Lidar-Sensor 4 des Fahrzeugs 1 bestimmt und die zweite Punktwolke W2 wurde auf Grundlage einer zweiten Messung mit dem Lidar-Sensor 4 bestimmt. Dabei wurde die erste Messung zu einem ersten Zeitpunkt durchgeführt und die zweite Messung wurde zu einem auf den ersten Zeitpunkt folgenden, zweiten Zeitpunkt durchgeführt.
Dabei stammen die Bereiche 11 und 12 der Punktwolken W1, W2 von den Leitplanken 9. Die Punkte P1, P2, welche von den Leitplanken 9 stammen, bilden längliche Cluster, die sich entlang der Fahrzeuglängsrichtung x erstrecken. Bei diesen Punkten P1 , P2, welche von länglichen Objekten bzw. den Leitplanken 9 stammen, ist es üblicherweise nicht der Fall, dass die Punkte P1 und P2 dieselben Bereiche des Objekts beschreiben. Daher werden diese länglichen Cluster von Punkten P1 , P2 in den Bereichen 11 und 12 nicht für die Schätzung der Eigenbewegung des Fahrzeugs 1 verwendet.
Die Bereiche 13 und 14 stammen von den weiteren Fahrzeugen 10. Die weiteren Fahrzeuge 10 sind dynamische Objekte in der Umgebung 5 des Fahrzeugs 1, welche sich nicht zur Bestimmung der Eigenbewegung des Fahrzeugs 1 eignen. Da sich diese Fahrzeuge 10 in Fahrtrichtung vor dem Fahrzeug 1 befinden, werden bei den Messungen mit dem Lidar- Sensor 4 die jeweiligen Heckbereiche der weiteren Fahrzeuge 10 erfasst. Die Punkte P1, P2, welche die Heckbereiche der weiteren Fahrzeuge 10 beschreiben sind ebenfalls in länglichen Clustern angeordnet, wobei sich die Cluster entlang der Fahrzeugquerrichtung y erstrecken. Auch die Punkte P1, P2, welche sich in den Bereichen 13, 14 befinden, werden herausgefiltert und nicht für die Abschätzung der Eigenbewegung des Fahrzeugs 1 verwendet.
Fig. 5 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen der Eigenbewegung des Fahrzeugs 1. In einem Schritt S1a wird die erste Punktwolke W1 bestimmt. Danach werden die ersten Punkte P1 der ersten Punktwolke W1 in einem Schritt S2a geclustert. In einem Schritt S3a erfolgt dann die Filterung der ersten Punkte P1. Hierbei können, wie zuvor im Zusammenhang mit Fig. 4 erläutert, die Cluster bzw. die Punkte P1 herausgefiltert werden, welche dynamische Objekte und Störobjekte, wie Leitplanken 9, beschreiben. Analog hierzu wird in einem Schritt S1b die zweite Punktwolke W2 bestimmt, in einem Schritt S2b werden die zweiten Punkte P2 der zweiten Punktwolke W2 geclustert und in einem Schritt S3b wird die zweite Punktwolke gefiltert.
Nach der Filterung werden in einem Schritt S4 die korrespondierenden Cluster bestimmt. In einem Schritt S5 werden verrauschte Cluster ermittelt und herausgefiltert. Verrauschte Cluster können Cluster sein, welche zwischen den Messungen die Größe und/oder die Form ändern. In einem Schritt S6 wird dann die jeweilige Verschiebung zwischen korrespondierenden ersten Punkten P1 und zweiten Punkten P2 bestimmt. Hierzu wird das Iterative-Closest-Point-Verfahren genutzt. Damit kann zwischen den korrespondierenden Punkten P1, P2 eine Translation und eine Rotation bestimmt werden und hieraus die Eigenbewegung des Fahrzeugs 1 abgeleitet werden.
Insgesamt kann mit dem Verfahren eine Schätzung der Eigenbewegung des Fahrzeugs auch auf Grundlage niedrig-auflösender Lidar-Sensoren 4 und ungenaue Punktwolken erfolgen. Des Weiteren kann eine höhere Robustheit bei Umwelteinflüssen und einer niedrigen Frequenz des Lidar-Sensors erreicht werden. Durch die Filterung können bei dem Iterative-Closest-Point-Verfahren die Fehler reduziert werden.

Claims

Ansprüche
1. Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs (1) mit den Schritten:
- Bestimmen einer ersten Punktwolke (W1) mit einer Mehrzahl von ersten Punkten (P1) anhand von Sensordaten, welche mit einem Lidar-Sensor (4) des Fahrzeugs (1) zu einem ersten Zeitpunkt bereitgestellt werden,
- Bestimmen einer zweiten Punktwolke (W2) mit einer Mehrzahl von zweiten Punkten (P2) anhand von Sensordaten, welche mit dem Lidar-Sensor (4) zu einem auf den ersten Zeitpunkt folgenden, zweiten Zeitpunkt bereitgestellt werden,
- Zuordnen der ersten Punkte (P1) zu Clustern und der zweiten Punkte (P2) zu Clustern,
- Auswählen von ersten Punkten (P1) aus der ersten Punktwolke (W1) und Auswählen von zweiten Punkten (P2) aus der zweiten Punktwolke (W2),
- Bestimmen einer Verschiebung zwischen jeweiligen korrespondierenden ausgewählten ersten Punkten (P1) und ausgewählten zweiten Punkten (P2) und
- Schätzen der Eigenbewegung des Fahrzeugs (1) anhand der Verschiebung, dadurch gekennzeichnet, dass
- die Auswahl der ersten Punkte (P1) und die Auswahl der zweiten Punkte (P2) in Abhängigkeit von einer Form der jeweiligen Cluster durchgeführt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Auswahl der ersten Punkte (P1) und die Auswahl der zweiten Punkte (P2) zusätzlich in Abhängigkeit von einer Lage der jeweiligen Cluster durchgeführt werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für erste Punkte (P1) und für zweite Punkte (P2), welcher einer Fahrbahn (8) in einer Umgebung (5) des Fahrzeugs (1) zugeordnet werden, die Auswahl unterbleibt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für erste Punkte (P1) und für zweite Punkte (P2), welche einem Cluster mit einer länglichen Form zugeordnet sind, die Auswahl unterbleibt.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen der Cluster eine dichtebasierte räumliche Clusteranalyse mit Rauschen verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, das die Cluster der ersten Punktwolke (W1) und die Cluster der zweiten Punktwolke (W2) auf Grundalge einer Hauptkomponentenanalyse klassifiziert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass korrespondierende Cluster der ersten Punkte (P1) und Cluster der zweiten Punkte (P2) bestimmt werden, wobei für erste Punkte (P1) und für zweite Punkte (P2) die Auswahl unterbleibt, falls sich eine Größe und/oder Form der korrespondierenden Cluster unterscheidet.
8. Recheneinrichtung (3) für ein Fahrzeug (1), wobei die Recheneinrichtung (3) zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
9. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung (3) für diese veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
10. Computerlesbares (Speicher)medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinrichtung (3) für diese veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
PCT/EP2021/070094 2020-07-23 2021-07-19 Verfahren zum schätzen einer eigenbewegung eines fahrzeugs anhand von messungen eines lidar-sensors sowie recheneinrichtung Ceased WO2022018007A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/017,308 US12462403B2 (en) 2020-07-23 2021-07-19 Method for estimating an ego motion of a vehicle on the basis of measurements of a lidar sensor and computing device
CN202180060166.0A CN116209920A (zh) 2020-07-23 2021-07-19 借助激光雷达传感器的测量和计算设备来估计车辆自身运动的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020119498.6A DE102020119498A1 (de) 2020-07-23 2020-07-23 Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs anhand von Messungen eines Lidar-Sensors sowie Recheneinrichtung
DE102020119498.6 2020-07-23

Publications (1)

Publication Number Publication Date
WO2022018007A1 true WO2022018007A1 (de) 2022-01-27

Family

ID=77071549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/070094 Ceased WO2022018007A1 (de) 2020-07-23 2021-07-19 Verfahren zum schätzen einer eigenbewegung eines fahrzeugs anhand von messungen eines lidar-sensors sowie recheneinrichtung

Country Status (4)

Country Link
US (1) US12462403B2 (de)
CN (1) CN116209920A (de)
DE (1) DE102020119498A1 (de)
WO (1) WO2022018007A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023001652B4 (de) 2023-04-24 2024-06-20 Mercedes-Benz Group AG Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10252323A1 (de) * 2002-11-11 2004-05-19 Ibeo Automobile Sensor Gmbh Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeuges
DE102008026397A1 (de) 2007-06-05 2009-01-29 GM Global Technology Operations, Inc., Detroit Radar-, Lidar- und Kamera-unterstützte Verfahren zur Schätzung der Fahrzeugdynamik
DE102018112115A1 (de) * 2017-05-25 2018-11-29 GM Global Technology Operations LLC Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754887B2 (en) * 2012-07-20 2014-06-17 Google Inc. Determining three-dimensional (3D) object data models based on object movement
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
US9903945B2 (en) * 2015-02-04 2018-02-27 GM Global Technology Operations LLC Vehicle motion estimation enhancement with radar data
DE102016223107A1 (de) * 2016-11-23 2018-05-24 Volkswagen Aktiengesellschaft System und Verfahren zur Schätzung der Eigenbewegung eines Fahrzeuges
US10663584B2 (en) * 2017-05-26 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Publishing LIDAR cluster data
WO2019099802A1 (en) * 2017-11-17 2019-05-23 DeepMap Inc. Iterative closest point process based on lidar with integrated motion estimation for high definitions maps
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
US11105927B2 (en) * 2018-11-29 2021-08-31 Waymo Llc Localization initialization for autonomous vehicles
US20200256999A1 (en) * 2019-02-07 2020-08-13 Atulya Yellepeddi Lidar techniques for autonomous vehicles
US12094153B2 (en) * 2019-05-08 2024-09-17 Nippon Telegraph And Telephone Corporation Point cloud analysis device, method, and program
KR102083911B1 (ko) * 2019-09-03 2020-03-04 주식회사 모빌테크 점군을 포함하는 라이다 지도 생성 방법
KR102083913B1 (ko) * 2019-09-03 2020-03-04 주식회사 모빌테크 라이다를 이용한 지도 생성 장치
CN110632617B (zh) * 2019-09-29 2021-11-02 北京邮电大学 一种激光雷达点云数据处理的方法及装置
US11585923B2 (en) * 2019-12-30 2023-02-21 GM Cruise Holdings LLC. Point cloud registration for LiDAR labeling
US11900626B2 (en) * 2020-01-31 2024-02-13 Toyota Research Institute, Inc. Self-supervised 3D keypoint learning for ego-motion estimation
US12372660B2 (en) * 2021-08-23 2025-07-29 GM Global Technology Operations LLC Identification of planar points in lidar point cloud obtained with vehicle lidar system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10252323A1 (de) * 2002-11-11 2004-05-19 Ibeo Automobile Sensor Gmbh Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeuges
DE102008026397A1 (de) 2007-06-05 2009-01-29 GM Global Technology Operations, Inc., Detroit Radar-, Lidar- und Kamera-unterstützte Verfahren zur Schätzung der Fahrzeugdynamik
DE102018112115A1 (de) * 2017-05-25 2018-11-29 GM Global Technology Operations LLC Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten

Also Published As

Publication number Publication date
US12462403B2 (en) 2025-11-04
US20230342954A1 (en) 2023-10-26
DE102020119498A1 (de) 2022-01-27
CN116209920A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
DE102015105206B4 (de) Verfahren und System zum Detektieren, Verfolgen und Abschätzen von stationären Straßenrandobjekten
DE102014111125B4 (de) Verfahren zum Erkennen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschallsensors, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
EP1844373B1 (de) Verfahren zur kursprädiktion in fahrerassistenzsystemen für kraftfahrzeuge
DE102017112865A1 (de) Vorrichtung zur automatisierten Fahrsteuerung, System mit derselben, und Verfahren hierfür
DE102016102002A1 (de) Verbesserung einer Fahrzeugbewegungsabschätzung mit Radardaten
DE112019000325B4 (de) Vorrichtung zur vorhersage des verhaltens eines sich bewegenden objekts
DE102006040334A1 (de) Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem und Fahrerassistenzsystem
EP3155454B1 (de) Verfahren und system zur anpassung eines navigationssystems
EP3898368B1 (de) Verfahren und system zum bestimmen einer korrigierten trajektorie eines fahrzeugs
DE102016011366A1 (de) Verfahren zur Positionsbestimmung eines Fahrzeugs
DE102013019804A1 (de) Verfahren zur Ermittlung einer Bewegung eines Objekts
DE102020105192A1 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102017118407B4 (de) Verfahren und systeme zur schätzung der strassenoberflächenreibung
DE102020203756A1 (de) Autobahnausfahrt-erfassung und linienspiegelung zur fahrzeugtrajektorien-bestimmung
EP3279049B1 (de) Steuerungs-system und steuerungs-verfahren zum bestimmen einer fahrbahn
DE102013217486A1 (de) Verfahren zur Repräsentation eines Umfelds eines Fahrzeugs in einem Belegungsgitter
EP3610224B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102005035746A1 (de) Verfahren zur Bestimmung einer Relativposition einer mobilen Einheit durch Vergleich von Scans einer Umgebung und mobile Einheit
DE102019132150A1 (de) Verfahren zum automatischen Kalibrieren eines Umfeldsensors, insbesondere eines Lidar-Sensors, eines Fahrzeugs auf Grundlage von Belegungskarten sowie Recheneinrichtung
EP3279051B1 (de) Steuerungs-system und steuerungs-verfahren zur auswahl und verfolgung eines kraftfahrzeugs
DE102018216999A1 (de) Verfahren, Computerprogramm und Messsystem für die Auswertung von Bewegungsinformationen
DE102018115895B4 (de) Verfahren und System zur Erkennung von Hindernissen
EP4183654A1 (de) Verfahren und vorrichtung zum bestimmen einer fahrzeugpose eines fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21746451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21746451

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18017308

Country of ref document: US