DE102024103611A1

DE102024103611A1 - Method for operating a lidar device

Info

Publication number: DE102024103611A1
Application number: DE102024103611.7A
Authority: DE
Inventors: Andreas Strasser; Jonathan Fischer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2024-02-08
Filing date: 2024-02-08
Publication date: 2025-08-14

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben einer Lidar-Vorrichtung (10) eines Fahrzeugs (12), wobei im Zuge des Verfahrens eine Sendeeinheit (14) der Lidar-Vorrichtung (10) Laserstrahlen in einen Erfassungsbereich (13) der Lidar-Vorrichtung aussendet, und den Erfassungsbereich (13) dabei innerhalb eines Abtastzyklus mit einer zugehörigen Bildwiederholrate abtastet, und eine Empfangseinheit (16) der Lidar-Vorrichtung den Erfassungsbereich (13) mit der Bildwiederholrate synchron zur Sendeeinheit (14) abtastet, und von einer Umgebung (11) des Fahrzeugs (12) reflektierte Laserstrahlen in elektrische Signale umwandelt. Eine Auswerteeinheit (20) ist vorgesehen, welche die elektrischen Signale auswertet und aus ihnen für jeden Abtastzyklus eine zugehörige Lidar-Punktewolke (42) ermittelt.Erfindungsgemäß legt die Auswerteeinheit (20) dynamisch für jede Lidar-Punktwolke (42) eine Fahrbahnoberfläche (24) fest, und ermittelt Bereiche, die von dieser Fahrbahnoberfläche (24) abweichen.The present invention relates to a method for operating a lidar device (10) of a vehicle (12), wherein, in the course of the method, a transmitting unit (14) of the lidar device (10) emits laser beams into a detection area (13) of the lidar device and scans the detection area (13) within a scanning cycle at an associated refresh rate, and a receiving unit (16) of the lidar device scans the detection area (13) at the refresh rate synchronously with the transmitting unit (14) and converts laser beams reflected from an environment (11) of the vehicle (12) into electrical signals. An evaluation unit (20) is provided which evaluates the electrical signals and determines from them an associated lidar point cloud (42) for each scanning cycle. According to the invention, the evaluation unit (20) dynamically defines a road surface (24) for each lidar point cloud (42) and determines areas that deviate from this road surface (24).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben einer Lidar-Vorrichtung gemäß dem Oberbegriff von Anspruch 1.The present invention relates to a method for operating a lidar device according to the preamble of claim 1.

Bei einem gattungsgemäßen Verfahren zum Betreiben einer Lidar-Vorrichtung eines Fahrzeugs sendet im Zuge des Verfahrens eine Sendeeinheit der Lidar-Vorrichtung Laserstrahlen in einen Erfassungsbereich der Lidar-Vorrichtung aus und tastet den Erfassungsbereich innerhalb eines Abtastzyklus mit einer zugehörigen Bildwiederholrate ab.In a generic method for operating a lidar device of a vehicle, a transmitting unit of the lidar device emits laser beams into a detection area of the lidar device and scans the detection area within a scanning cycle with an associated frame rate.

Eine Empfangseinheit der Lidar-Vorrichtung tastet den Erfassungsbereich mit der Bildwiederholrate synchron zur Sendeeinheit ebenfalls ab und wandelt von Objekten in einer Umgebung des Fahrzeugs reflektierte Laserstrahlen in elektrische Signale um. Diese elektrischen Signale werden von einer Auswerteeinheit der Lidar-Vorrichtung ausgewertet, wobei die Auswerteeinheit aus ihnen für jeden Abtastzyklus eine zugehörige Lidar-Punktewolke ermittelt.A receiving unit of the lidar device also scans the detection area at the frame rate synchronously with the transmitting unit and converts laser beams reflected from objects in the vehicle's surroundings into electrical signals. These electrical signals are evaluated by an evaluation unit of the lidar device, which then determines a corresponding lidar point cloud for each scanning cycle.

Bekannte Fahrzeuge mit einer Lidar-Vorrichtung nutzen diese, um eine Umgebung abzutasten und insbesondere Objekte in dieser Umgebung zu detektieren. Wird ein Laserstrahl von einem Objekt in der Umgebung, beispielsweise einem Fahrzeug, zu der Lidar-Vorrichtung zurückreflektiert, so kann anhand der Laufzeit auf die Distanz zwischen der Lidar-Vorrichtung und dem Objekt geschlossen werden.Known vehicles with a lidar device use it to scan an environment and, in particular, to detect objects in that environment. If a laser beam is reflected back to the lidar device from an object in the environment, such as a vehicle, the travel time can be used to determine the distance between the lidar device and the object.

Durch wiederholtes Aussenden des Laserstrahls in unterschiedliche Richtungen kann so ein Bereich der Umgebung gescannt oder abgetastet werden. Der abgetastete Bereich der Umgebung wird auch Sichtfeld oder Erfassungsbereich des Lidar-Systems genannt. Die Reflexionspunkte in der Umgebung, die den Laserstrahl der Lidar-Vorrichtung reflektiert haben, werden zu der Lidar-Punktwolke zusammengefasst. Diese Lidar-Punktwolke dient als eine Repräsentation der Umgebung.By repeatedly emitting the laser beam in different directions, an area of the environment can be scanned or sampled. The scanned area of the environment is also called the field of view or detection range of the lidar system. The reflection points in the environment that have reflected the laser beam from the lidar device are combined to form the lidar point cloud. This lidar point cloud serves as a representation of the environment.

Bekannte Verfahren zum Betreiben einer Lidar-Vorrichtung eines Fahrzeugs können allerdings Straßenschäden nur unzuverlässig erkennen. Solche Straßenschäden können beispielsweise Schlaglöcher oder Spurrillen sein und bei ungünstigen Sicht- und Witterungsbedingungen sind sie auch für Kamerasysteme eines Fahrzeugs nicht mehr zu erkennen. Insbesondere bei aktivierten Fahrassistenzfunktionen stellen Schlaglöcher, Spurrillen und andere Straßenschäden eine Gefahr für die Sicherheit der Insassen und andere Verkehrsteilnehmer dar, wenn die Fahrweise nicht entsprechend automatisiert angepasst wird.However, known methods for operating a vehicle's lidar system are unreliable in detecting road damage. Such road damage can include potholes or ruts, for example, and in poor visibility and weather conditions, they are no longer detectable even by a vehicle's camera systems. Especially when driver assistance functions are activated, potholes, ruts, and other road damage pose a threat to the safety of vehicle occupants and other road users if the driving style is not automatically adjusted accordingly.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, mittels welchem Straßenschäden durch eine Lidar-Vorrichtung zuverlässig erkannt werden können.It is therefore the object of the present invention to provide a method by means of which road damage can be reliably detected by a lidar device.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gemäß dem Kennzeichen von Anspruch 1 gelöst.This object is achieved according to the invention by a method according to the characterising part of claim 1.

Hierbei legt die Auswerteeinheit dynamisch für jede Lidar-Punktwolke eine Fahrbahnoberfläche fest, und ermittelt Bereiche, die von dieser Fahrbahnoberfläche abweichen.The evaluation unit dynamically defines a road surface for each lidar point cloud and identifies areas that deviate from this road surface.

Unter einem Festlegen ist dabei zu verstehen, dass durch die Lidar-Vorrichtung oder durch einen anderen Rechner des Fahrzeugs eine mathematische Modellfunktion für die Fahrbahnoberfläche bestimmt wird, die nach festgelegten Kriterien und Parametern am besten zu der Lidar-Punktewolke passt.By definition, it is meant that the lidar device or another computer in the vehicle determines a mathematical model function for the road surface that best fits the lidar point cloud according to defined criteria and parameters.

Unter dem dynamischen Festlegen einer Fahrbahnoberfläche ist dabei zu verstehen, dass nicht einmalig oder statisch eine Fahrbahnoberfläche beispielsweise ausgemessen, sondern dass diese Festlegung mit jedem Abtastzyklus neu durchgeführt wird. Wird also innerhalb eines Abtastzyklus mit der zugehörigen Bildwiederholrate jeweils ein sogenannter Frame erzeugt, so wird zu jedem solchen Frame innerhalb jedes Abtastzyklus aus der zugehörigen Lidar-Punktewolke die Fahrbahnoberfläche neu festgelegt.Dynamically defining a road surface means that a road surface is not measured once or statically, for example, but rather that this definition is performed anew with each sampling cycle. Therefore, if a so-called frame is generated within a sampling cycle with the corresponding frame rate, the road surface is redefined for each such frame within each sampling cycle from the corresponding lidar point cloud.

Die mit der Bildwiederholrate zyklische Wiederholung der Festlegung der Fahrbahnoberfläche gemäß der vorliegenden Erfindung ermöglicht erst die zuverlässige Erkennung von Straßenschäden, da beispielsweise Änderungen der relativen Positionierung der Lidar-Vorrichtung gegenüber der Fahrbahnoberfläche so berücksichtigt werden können. Wenn sich beispielsweise beim Durchfahren einer Kurve oder beim Überfahren einer Kuppe oder dem Durchfahren einer Wanne (Straßensenke) durch die resultierenden Beschleunigungskräfte der Abstand der Lidar-Vorrichtung zur tatsächlichen Fahrbahnoberfläche ändert, so wird diese neue Positionierung der Lidar-Vorrichtung während des nächsten Abtastzyklus berücksichtigt. Ohne eine erfindungsgemäße dynamische für jede Lidar-Punktwolke neue Festlegung der Fahrbahnoberfläche könnten solche Effekte fehlerhafterweise als Abweichung der Fahrbahnoberfläche und somit als potentieller Straßenschaden detektiert werden.The cyclical repetition of the definition of the road surface at the frame rate according to the present invention enables the reliable detection of road damage because, for example, changes in the relative positioning of the lidar device relative to the road surface can be taken into account. If, for example, when negotiating a curve or driving over a crest or through a trough (road depression), the distance of the lidar device from the actual road surface changes due to the resulting acceleration forces, this new positioning of the lidar device is taken into account during the next scanning cycle. Without a dynamic new definition of the road surface for each lidar point cloud according to the invention, such effects could be erroneously detected as a deviation in the road surface and thus as potential road damage.

Die vorliegende Erfindung bietet auch wesentliche Vorteile gegenüber Kamerabasierten Lösungen. Kameras können die Tiefe eines Schlaglochs oder einer Spurrille nur unzureichend oder gar nicht ermitteln. Mit dem erfindungsgemäßen Verfahren kann dies mit hoher Genauigkeit geschehen. Sogar beim Einsatz von Stereo-Kameras oder Multi-Kamera-Systemen ist die Messgenauigkeit in x, y und z Richtung grundsätzlich wesentlich geringer als bei einer Lidar-Vorrichtung, und dies auch bei guten Witterungsbedingungen.The present invention also offers significant advantages over camera-based solutions. Cameras can only inadequately or not at all determine the depth of a pothole or rut. With the method according to the invention, This can be done with high accuracy. Even when using stereo cameras or multi-camera systems, the measurement accuracy in the x, y, and z directions is generally significantly lower than with a lidar device, even under favorable weather conditions.

Eine weitere Gattung von Sensoren, die oft in Fahrzeugen verbaut sind, sind Radarsensoren. Diese sind allerdings grundsätzlich ungeeignet für die Erkennung von Schlaglöchern oder Spurrillen, da der Rückstreuquerschnitt von Asphalt oder anderen Bodenbelägen in der Wellenlänge von Radarsensoren verschwindend gering ist. Damit sind solche Strukturen von Radarsensoren nicht erkennbar.Another type of sensor often installed in vehicles is radar sensors. However, these are generally unsuitable for detecting potholes or ruts, as the backscatter cross-section of asphalt or other road surfaces is infinitesimal at the wavelength of radar sensors. Therefore, such structures cannot be detected by radar sensors.

Vorteilhafte Ausgestaltungen der vorliegenden Erfindung ergeben sich aus den Unteransprüchen.Advantageous embodiments of the present invention emerge from the subclaims.

Gemäß einer ersten bevorzugten Ausgestaltung des Verfahrens wird eine dynamische Kalibrierung vorgenommen, indem für jeden Frame einer Bildwiederholrate die Fahrbahnoberfläche neu ermittelt wird. Durch eine solche dynamische Kalibrierung während jedes Abtastzyklus und / oder für jeden Frame (Bild) wird die Ermittlung von Bereichen, die von der Fahrbahnoberfläche abweichen, besonders zuverlässig ausgestaltet.According to a first preferred embodiment of the method, dynamic calibration is performed by re-determining the road surface for each frame of a frame rate. Such dynamic calibration during each scanning cycle and/or for each frame (image) makes the determination of areas that deviate from the road surface particularly reliable.

Dabei kann auch mit einem „Gedächtnis“ gearbeitet werden, indem die Fahrbahnoberfläche des letzten Frames als Start- oder Ausgangspunkt oder zu einer Optimierung beim aktuellen Frame genutzt wird. Die bietet den Vorteil, dass die aktuelle Fahrbahnoberfläche schneller und präziser ermittelt werden kann.A "memory" can also be used, using the road surface from the last frame as a starting point or for optimization in the current frame. This offers the advantage that the current road surface can be determined more quickly and precisely.

Bei einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird die Fahrbahnoberfläche festgelegt, indem ein mathematisches Fitten oder eine Regressionsanalyse angewendet wird, um eine zu erwartende Fahrbahnoberfläche an die jeweilige Lidar-Punktewolke anzupassen.In a further advantageous embodiment of the present invention, the road surface is determined by applying mathematical fitting or regression analysis to adapt an expected road surface to the respective lidar point cloud.

Bei einem „Fitten“ wird im Rahmen einer Kurvenanpassung eine gegebene mathematische Modellfunktion bestmöglich an Datenpunkte angepasst. Ein einfaches Beispiel für eine eindimensionale Kurvenanpassung ist die Bestimmung einer Ausgleichsgeraden mit zwei Koeffizienten eines Polynoms ersten Grades. Wird die Lidar-Punktwolke einer Lidar-Vorrichtung eines Fahrzeugs an eine zu erwartende Fahrbahnoberfläche angepasst, so wird dieses Fitten in zwei Dimensionen vorgenommen. Eine Regressionsanalyse ist ein statistisches Analyseverfahren, welches das Ziel hat, eine mathematische Funktion aufzufinden, die ermittelten Daten - hier die Lidar-Punktewolke - am besten entspricht. Beispielsweise kann dabei die Methode der kleinsten Quadrate angewendet werden, welche die Summe der Abweichungsquadrate zwischen den Messpunkten der Lidar-Punktewolke und der ermittelten Fahrbahnebene minimiert.During a curve fitting, a given mathematical model function is adapted to the data points as best as possible. A simple example of a one-dimensional curve fitting is the determination of a best-fit line with two coefficients of a first-degree polynomial. If the lidar point cloud of a vehicle's lidar device is fitted to an expected road surface, this fitting is performed in two dimensions. Regression analysis is a statistical analysis method whose goal is to find a mathematical function that best fits the acquired data—in this case, the lidar point cloud. For example, the least squares method can be used, which minimizes the sum of the squares of the deviations between the measured points in the lidar point cloud and the determined road surface.

Bei einer Ausgestaltung des Verfahrens kann die zu erwartende Fahrbahnoberfläche als Ebene festgelegt werden.In one embodiment of the procedure, the expected road surface can be defined as a plane.

Bei einer weiteren alternativen Ausgestaltung der Erfindung kann die Fahrbahnoberfläche als Band festgelegt werden mit jeweils innerhalb festgelegter Grenzen erlaubten Kurvenradien, Querneigungen, Kuppen und Wannen. Dadurch wird beispielsweise verhindert, dass bauliche Änderungen im Verlauf der Fahrbahnoberfläche als Straßenschäden ermittelt werden. So kann berücksichtigt werden, welche maximalen und minimalen Kurvenradien üblicherweise auftreten oder berücksichtigt werden sollen. Auch Querneigungen, wie sie im Straßenbau beispielsweise in Kurven vorgesehen sind, oder Radien von Fahrbahnkrümmungen beim Überfahren von Kuppen oder Durchfahren von Wannen können so berücksichtigt werden. Besonders relevant ist hier ein Entfernungsbereich von 0 bis 100 Meter vor dem Fahrzeug, insbesondere von 0 bis 30 Meter. Es kann beispielsweise vorgesehen sein, dass zur Festlegung der Fahrbahnoberfläche nur Krümmungsradien der Fahrbahnoberfläche um horizontale Achsen von mindestens einigen hundert Metern, vorzugsweise von mindestens einem Kilometer berücksichtigt werden. Dadurch wird vermieden, dass ein Schlagloch mit kleineren Krümmungsradien fälschlicherweise als „normale“ Fahrbahnoberfläche ermittelt und somit nicht als Fahrbahnschaden detektiert wird.In a further alternative embodiment of the invention, the road surface can be defined as a band with curve radii, transverse gradients, crests, and troughs permitted within specified limits. This prevents, for example, structural changes along the road surface from being identified as road damage. This allows consideration of the maximum and minimum curve radii that typically occur or should be considered. Transverse gradients, such as those required in road construction, for example, in curves, or radii of road curvatures when driving over crests or through troughs, can also be taken into account. A distance range of 0 to 100 meters in front of the vehicle, in particular 0 to 30 meters, is particularly relevant here. For example, it can be provided that only radii of curvature of the road surface around horizontal axes of at least several hundred meters, preferably of at least one kilometer, are taken into account to determine the road surface. This prevents a pothole with smaller radii of curvature from being incorrectly identified as a "normal" road surface and thus not being detected as road damage.

Neben einer Neigung der Fahrbahnoberfläche quer zur Fahrtrichtung kann in einem entsprechenden Modell auch vorgesehen sein, dass eine Fahrbahnoberfläche quer zur Fahrtrichtung gekrümmt sein kann, also in Fahrbahnmitte oder Fahrspurmitte höher ausgebildet als am Fahrbahnrand, wie dies vorgesehen sein kann, um das Ablaufen von Regenwasser von der Fahrbahnoberfläche zu beschleunigen. Ebenso kann eine Fahrbahnoberfläche aus zwei zueinander gewinkelten Teilbändern mit beispielsweise jeweils einem Teilband für eine Fahrbahnoberfläche und für eine Gegenfahrbahn gebildet werden.In addition to a slope of the road surface perpendicular to the direction of travel, a corresponding model can also provide for a curved road surface perpendicular to the direction of travel, i.e., a higher one in the center of the roadway or lane than at the edge of the roadway, as may be intended to accelerate the runoff of rainwater from the road surface. Likewise, a road surface can be formed from two angled sections, for example, one for one road surface and one for the opposite lane.

Bei einer weiteren bevorzugten Ausgestaltung der vorliegenden Erfindung werden die Bereiche, die als von der Fahrbahnoberfläche abweichend analysiert werden, in Klassen unterteilt. Diese Klassen können Schlaglöchern, Spurrillen, Querrillen und Schwellen beinhalten.In a further preferred embodiment of the present invention, the areas analyzed as deviating from the road surface are divided into classes. These classes may include potholes, ruts, transverse grooves, and bumps.

Dabei kann beispielsweise vorgesehen sein, dass eine Abweichung von der ermittelten Fahrbahnoberfläche als Schlagloch klassifiziert wird, wenn sie mindestens einen Bereich mit näherungsweise elliptischer oder runder Umfangslinie aufweist, und eine Abweichungen von der ermittelten Fahrbahnoberfläche als Spurrille klassifiziert wird, wenn sie mindestens einen Bereich aufweist, der näherungsweise streifenförmig ausgebildet und in Fahrtrichtung ausgerichtet ist.For example, it can be provided that a deviation from the determined road surface is classified as a pothole if it has at least one area with an approximately elliptical or round circumference, and a deviation from the determined road surface is classified as a rut if it has at least one area that is approximately strip-shaped and aligned in the direction of travel.

Bei einer weiteren bevorzugten Ausgestaltung der Erfindung wird eine Abweichung von der ermittelten Fahrbahnoberfläche als Schlagloch oder als Spurrille klassifiziert, wenn festgelegte Anteile ihrer Fläche sich auf einem Niveau von mindestens 1 cm, vorzugsweise von mindestens 2 - 5 cm unter dem Niveau der festgelegten Fahrbahnoberfläche liegt. So wird definiert, welche Abweichungen beispielsweise von einem Fahrassistenzsystem überhaupt berücksichtigt werden sollen.In a further preferred embodiment of the invention, a deviation from the determined road surface is classified as a pothole or rut if specified portions of its surface are at a level of at least 1 cm, preferably at least 2-5 cm, below the level of the specified road surface. This defines which deviations, for example, should be considered by a driver assistance system.

Bei einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung ist vorgesehen, dass die durch Assistenzfunktionen beeinflusste Fahrweise des Fahrzeugs an die ermittelten, von der Fahrbahnoberfläche abweichenden Bereiche angepasst wird. So kann beispielsweise vorgesehen sein, dass das Fahrzeug vor detektierten Schlaglöchern oder Spurrillen auf eine niedrige Geschwindigkeit abgebremst wird. Weiter beispielhaft kann vorgesehen sein, dass ein automatisierter Überholvorgang beim Erkennen von Spurrillen oder Schlaglöchern nicht ausgeführt oder unterbrochen wird.In a particularly preferred embodiment of the present invention, the driving style of the vehicle influenced by assistance functions is adapted to the determined areas that deviate from the road surface. For example, it can be provided that the vehicle is decelerated to a low speed before detecting potholes or ruts. As a further example, it can be provided that an automated overtaking maneuver is not executed or is interrupted when detecting ruts or potholes.

Im Folgenden wird die Erfindung anhand der Figuren beispielhaft näher erläutert. Dabei zeigt:

1: eine schematische Darstellung eines Fahrzeugs 12, welches eine Lidar-Vorrichtung 10 aufweist,
2: ein Kamerabild, welches von einer Kamera des Fahrzeugs 12 in einer Fahrsituation aufgenommen wurde, und
3: eine Lidar-Punktwolke 42, wie sie von der Lidar-Vorrichtung 10 des Fahrzeugs 12 in der Fahrsituation der 2 aufgenommen wurde

The invention is explained in more detail below using the figures as examples. These figures show:

1 : a schematic representation of a vehicle 12 having a lidar device 10,
2 : a camera image taken by a camera of the vehicle 12 in a driving situation, and
3 : a lidar point cloud 42 as generated by the lidar device 10 of the vehicle 12 in the driving situation of 2 was recorded

1 zeigt eine schematische Darstellung eines Fahrzeugs 12, welches eine erfindungsgemäße Lidar-Vorrichtung 10 aufweist. Die Lidar-Vorrichtung 10 ist hierbeispielhaft an einem Fahrzeugdach angeordnet und in Fahrtrichtung nach vorne ausgerichtet. Selbstverständlich sind auch andere Positionen für die Anordnung der Lidar-Vorrichtung 10 möglich, wie beispielsweise der obere Bereich der Windschutzscheibe oder die Stirnseite des Fahrzeugs oberhalb des Stoßfängers, und auch andere Ausrichtungen sind möglich. Es können auch mehrere Lidar-Vorrichtungen 10 an einem Fahrzeug 12 verbaut sein. 1 shows a schematic representation of a vehicle 12 having a lidar device 10 according to the invention. The lidar device 10 is arranged, for example, on a vehicle roof and oriented forward in the direction of travel. Of course, other positions for the arrangement of the lidar device 10 are also possible, such as the upper area of the windshield or the front of the vehicle above the bumper, and other orientations are also possible. Multiple lidar devices 10 can also be installed on a vehicle 12.

Das Fahrzeug 12 ist als Personenkraftwagen ausgebildet. Die Lidar-Vorrichtung 10 weist eine Sendeinheit 14 zum Aussenden von Laserpulsen auf. Mittels der Laserpulse wird ein Erfassungsbereich 13 einer Umgebung 11 des Fahrzeugs 12 abgetastet. Die Lidar-Vorrichtung 10 beinhaltet weiterhin eine Empfangseinheit 16, welche dazu dient, die von einem Objekt in der Umgebung 11 zu Lidar-Vorrichtung 10 zurückreflektierten Laserpulse zu empfangen, und mittels eines Detektors in elektrische Signale zu wandeln.The vehicle 12 is configured as a passenger car. The lidar device 10 has a transmitting unit 14 for emitting laser pulses. The laser pulses are used to scan a detection area 13 of the surroundings 11 of the vehicle 12. The lidar device 10 further includes a receiving unit 16, which serves to receive the laser pulses reflected back to the lidar device 10 by an object in the surroundings 11 and to convert them into electrical signals using a detector.

In der Lidar-Vorrichtung 10 ist ferner eine Auswerteeinheit 20 vorgesehen zum Bestimmen einer Repräsentation der Umgebung 11 in dem Erfassungsbereich 13 anhand der elektrischen Signale. Die elektrischen Signale werden von der Empfangseinheit 13 über eine Signalleitung 18 der Auswerteeinheit 20 zugeführt. Die Auswerteeinheit 20 ist ferner mit einer Steuerleitung 22 mit der Sendeeinheit 14 verbunden. Sowohl die Sendeeinheit 14 als auch die Empfangseinheit 16 weisen Mittel auf, um den Erfassungsbereich 13 abzutasten.The lidar device 10 also includes an evaluation unit 20 for determining a representation of the environment 11 in the detection zone 13 based on the electrical signals. The electrical signals are fed from the receiving unit 13 to the evaluation unit 20 via a signal line 18. The evaluation unit 20 is also connected to the transmitting unit 14 via a control line 22. Both the transmitting unit 14 and the receiving unit 16 have means for scanning the detection zone 13.

2 zeigt eine schematische, vereinfachte Darstellung eines Kamerabild, welches von einer in der 1 nicht näher dargestellten Kamera des Fahrzeugs 12 in einer Fahrsituation aufgenommen wurde. Direkt vor dem Fahrzeug 12 ist ein erstes vorausfahrendes Fahrzeug 26 zu erkennen und links und rechts neben diesem ein zweites vorausfahrendes Fahrzeug 28 und ein drittes vorausfahrendes Fahrzeug 30. Am Bildrand links ist weiterhin ein versetzt fahrendes Fahrzeug 32 zu erkennen. Für das menschliche Auge und auch für die Kamera sind unter den dargestellten günstigen Licht- und Witterungsverhältnissen gerade noch Spurrillen 38 zu erkennen, die in eine Fahrbahnoberfläche 24 eingeprägt sind. Bei schlechteren Licht- und Witterungsverhältnissen wären dieses Spurrillen 38 für die Kamera nicht mehr detektierbar und selbst bei guten Bedingungen kann die Kamera nicht die Tiefe der Spurrillenrillen 38 ermitteln. 2 shows a schematic, simplified representation of a camera image, which is taken by a 1 was recorded by a camera of the vehicle 12 (not shown in detail) in a driving situation. Directly in front of the vehicle 12, a first vehicle 26 can be seen driving ahead, and to the left and right of this a second vehicle 28 and a third vehicle 30. At the left edge of the image, an offset vehicle 32 can also be seen. Under the favorable lighting and weather conditions shown, ruts 38 imprinted in a road surface 24 are just visible to the human eye and also to the camera. Under poorer lighting and weather conditions, these ruts 38 would no longer be detectable by the camera, and even under good conditions the camera cannot determine the depth of the ruts 38.

In der 3 ist eine Lidar-Punktwolke 42 dargestellt, wie sie von der Lidar-Vorrichtung 10 des Fahrzeugs 12 in der Fahrsituation der 2 aufgenommen wurde. Die Lidar-Punktwolke 42, die von der Auswerteeinheit 20 errechnet wurde, ist hier in einem Polarkoordinatensystem 34 dargestellt, wobei Linien gleicher Distanz abgebildet sind. In the 3 a lidar point cloud 42 is shown as it is generated by the lidar device 10 of the vehicle 12 in the driving situation of the 2 The lidar point cloud 42, which was calculated by the evaluation unit 20, is shown here in a polar coordinate system 34, with lines of equal distance being depicted.

Eine Entfernungsskala 36 ist eingefügt mit Zahlenwerten zu Radien, die Distanzen von 30 bis 250 Metern entsprechen. Die Lidar-Punktwolke 42 wurde aus Laufzeiten von zurückreflektierten Laserpulsen der Lidar-Vorrichtung 10 berechnet.A distance scale 36 is included with numerical values for radii corresponding to distances from 30 to 250 meters. The lidar point cloud 42 was calculated from the travel times of reflected laser pulses from the lidar device 10.

Bei weiterer Auswertung der Daten und ansatzweise auch durch einfachen Vergleich der 2 und 3 können den Fahrzeugen 26, 28, 30 und 32 entsprechende Bereiche in der Lidar-Punktwolke 42 der 3 zugeordnet werden, die daher in der 3 mit denselben Bezugszeichen gekennzeichnet sind.With further analysis of the data and also by simple comparison of the 2 and 3 The corresponding areas in the Lidar point cloud 42 of the vehicles 26, 28, 30 and 32 can be 3 which are therefore in the 3 are marked with the same reference symbols.

Ebenfalls in der 3 zu erkennen sind in Fahrtrichtung ausgerichtete streifenförmige Muster, die als Spurrillen 38 identifiziert werden können, wie sie bereits im Kamerabild der 3 zu sehen waren.Also in the 3 Strip-like patterns aligned in the direction of travel can be seen, which can be identified as ruts 38, as already shown in the camera image of the 3 were seen.

Der Lidar-Punktwolke 42 sind weiterhin mehrere Bereiche zu entnehmen, die als Schlaglöcher 40 zu identifizieren sind. Beim Vergleich der 2 und 3 ist zu erkennen, dass die Schlaglöcher 40 zwar in der Lidar-Punktwolke 42 der 3 zu erkennen sind, nicht aber auf dem schematischen Kamerabild der 2.The lidar point cloud 42 also shows several areas that can be identified as potholes 40. When comparing the 2 and 3 It can be seen that the potholes 40 are in the Lidar point cloud 42 of the 3 can be seen, but not on the schematic camera image of the 2 .

Bei einer erfindungsgemäßen Lidar-Vorrichtung 10 gemäß der vorliegenden Erfindung kann eine räumliche Auflösung von weniger als 1 cm erreicht werden. In der 3 wurden daher Bereiche markiert, die mehr als 1 cm unterhalb einer von der dynamischen Kalibrierung geschätzten Ebene der Fahrbahnoberfläche 24 detektiert wurden. Diese können als Straßenschäden und weiter als Spurrillen 38 oder Schlaglöchern 40 klassifiziert werden, wenn ergänzende Kriterien wie die Form der Umfangslinie (länglich und in Fahrtrichtung bei Spurrillen oder eher rund bei Schlaglöchern) berücksichtigt werden. Diese Bereiche wurden zur Verbesserung der Darstellung nachträglich mit Umfangslinien versehen.In a lidar device 10 according to the present invention, a spatial resolution of less than 1 cm can be achieved. 3 Therefore, areas were marked that were detected more than 1 cm below a road surface level 24 estimated by the dynamic calibration. These can be classified as road damage and further as ruts 38 or potholes 40 if additional criteria such as the shape of the perimeter line (elongated and in the direction of travel for ruts or more rounded for potholes) are taken into account. These areas were subsequently provided with perimeter lines to improve the representation.

Im Hinblick auf den zunehmenden Automatisierungsgrad von Fahrassistenzfunktionen bietet die vorliegende Erfindung wesentliche Vorteile bei der Verbesserung von bekannten Verfahren zum Betreiben von Lidar-Vorrichtungen, da die Qualität der Fahrbahnoberfläche 24, auf der sich das Fahrzeug 12 bewegt, deutlich besser ermittelt wird. Die Erkennung der von Straßenschäden wie Spurrillen 38 oder Schlaglöchern 40 ermöglicht die Anpassung einer autonomen Fahrweise, indem beispielsweise vor solchen Straßenschäden die Geschwindigkeit reduziert oder ein normalerweise ausgeführter Spurwechsel oder Überholvorgang nicht eingeleitet oder abgebrochen wird. Insgesamt wird daher die Sicherheit von Insassen des Fahrzeugs 12, aber auch von anderen Verkehrsteilnehmern in der Umgebung 11 des Fahrzeugs 12 durch ein erfindungsgemäßes Verfahren wesentlich verbessert.In view of the increasing degree of automation of driver assistance functions, the present invention offers significant advantages in improving known methods for operating lidar devices, since the quality of the road surface 24 on which the vehicle 12 is moving is determined significantly better. The detection of road damage such as ruts 38 or potholes 40 enables the adaptation of an autonomous driving style, for example, by reducing the speed before such road damage or by not initiating or aborting a normally performed lane change or overtaking maneuver. Overall, therefore, the safety of the occupants of the vehicle 12, but also of other road users in the environment 11 of the vehicle 12, is significantly improved by a method according to the invention.

BezugszeichenlisteList of reference symbols

1010: Lidar-VorrichtungLidar device
1111: UmgebungVicinity
1212: Fahrzeugvehicle
1313: ErfassungsbereichDetection range
1414: SendeeinheitTransmitter unit
1616: EmpfangseinheitReceiving unit
1818: SignalleitungSignal line
2020: AuswerteeinheitEvaluation unit
2222: Steuerleitungcontrol line
2424: FahrbahnoberflächeRoad surface
2626: erstes vorausfahrendes Fahrzeugfirst vehicle ahead
2828: zweites vorausfahrendes Fahrzeugsecond vehicle ahead
3030: drittes vorausfahrendes Fahrzeugthird vehicle ahead
3232: versetzt fahrendes Fahrzeugoffset vehicle
3434: PolarkoordinatensystemPolar coordinate system
3636: EntfernungsskalaDistance scale
3838: Spurrillenruts
4040: Schlaglöcherpotholes
4242: Lidar-PunktewolkeLidar point cloud

Claims

Method for operating a lidar device (10) of a vehicle (12), wherein in the course of the method: a transmitting unit (14) of the lidar device (10) emits laser beams into a detection area (13) of the lidar device, and scans the detection area (13) within a scanning cycle with an associated image refresh rate, a receiving unit (16) of the lidar device scans the detection area (13) with the image refresh rate synchronously with the transmitting unit (14), and converts laser beams reflected from an environment (11) of the vehicle (12) into electrical signals, an evaluation unit (20) which evaluates the electrical signals and determines from them an associated lidar point cloud (42) for each scanning cycle, characterized in that the evaluation unit (20) dynamically defines a road surface (24) for each lidar point cloud (42), and areas which are Road surface (24) deviate.

Procedure according to Claim 1 , characterized in that a dynamic calibration is carried out by determining the road surface (24) again for each frame of the refresh rate, preferably using the road surface (24) of the previous frame as the starting point for the current frame.

Method according to one of the preceding claims, characterized in that the road surface (24) is determined by a mathematical fitting or a regression analysis lysis is applied to adapt an expected road surface (24) to the respective lidar point cloud (42).

Method according to one of the preceding claims, characterized in that the road surface (24) is defined as a plane.

Method according to one of the preceding claims, characterized in that the road surface (24) is defined as a band with permitted curve radii, transverse gradients, crests and troughs, each within defined limits.

Method according to one of the preceding claims, characterized in that the road surface (24) can be inclined or curved transversely to the direction of travel or can be formed from two partial bands angled to one another.

Method according to one of the preceding claims, characterized in that the areas which were analyzed as deviating from the road surface (24) are divided into classes, wherein the classes include at least one of the following deviations from the determined road surface: a) potholes (40) b) ruts (38) c) transverse grooves d) thresholds

Procedure according to Claim 7 , characterized in that a deviation from the determined road surface (24) is classified as a pothole (40) if it has at least one area with an approximately elliptical or round circumferential line, and / or a deviation from the determined road surface is classified as a rut (38) if it has at least one area which is approximately strip-shaped and oriented in the direction of travel.

Procedure according to Claim 8 , characterized in that a deviation from the determined road surface (24) is classified as a pothole (40) or as a rut (38) if specified portions of their surface are at a level of at least 1 cm, preferably at least 2-5 cm below the level of the specified road surface (24).

Method according to one of the preceding claims, characterized in that the driving style of the vehicle (12) influenced by assistance functions is adapted to the determined areas deviating from the road surface (24).