DE102023123815A1

DE102023123815A1 - Correction of a measurement data set of a lidar sensor system

Info

Publication number: DE102023123815A1
Application number: DE102023123815.9A
Authority: DE
Inventors: Sergio Fernandez; Shuyun Guo
Original assignee: Valeo Detection Systems GmbH
Current assignee: Valeo Detection Systems GmbH
Priority date: 2023-09-05
Filing date: 2023-09-05
Publication date: 2025-03-06
Also published as: WO2025051454A1

Abstract

Zur Korrektur eines Messdatensatzes (15) eines Lidarsensorsystems (3), welches ein Detektorarray mit einer Vielzahl von Pixeln aufweist und wobei der Messdatensatz (15) Messwerte beinhaltet, die einen Energiewert und einen Entfernungswert beinhalten, wird ein Cluster (10) aus Pixeln identifiziert, deren Energiewerte größer oder gleich einem Grenzwert sind. Basierend auf den Entfernungswerten wird ein Entfernungswert des Clusters (10) bestimmt und Pixel in einer Umgebung (11a, 11b) des Clusters (10) werden als potentiell fehlerhaft identifiziert, deren Entfernungswerte innerhalb eines Entfernungsbereichs um den Entfernungswert des Clusters (10) liegen. Abhängig von einem Verlauf der Energiewerte der potentiell fehlerhaften Pixel werden die potentiell fehlerhaften Pixel als fehlerhaft klassifiziert, und deren Messwerte werden aus dem Messdatensatz (15) entfernt oder als fehlerhaft markiert.

To correct a measurement data set (15) of a lidar sensor system (3), which has a detector array with a plurality of pixels and wherein the measurement data set (15) contains measured values that include an energy value and a distance value, a cluster (10) of pixels is identified whose energy values are greater than or equal to a limit value. Based on the distance values, a distance value of the cluster (10) is determined and pixels in an environment (11a, 11b) of the cluster (10) are identified as potentially faulty whose distance values lie within a distance range around the distance value of the cluster (10). Depending on a course of the energy values of the potentially faulty pixels, the potentially faulty pixels are classified as faulty and their measured values are removed from the measurement data set (15) or marked as faulty.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems, welches ein Detektorarray mit einer Vielzahl von Pixeln aufweist und wobei der Messdatensatz wenigstens für die Pixel der Vielzahl von Pixeln Messwerte beinhaltet, die einen Energiewert und einen Entfernungswert beinhalten. Die Erfindung ist ferner auf ein computerimplementiertes Verfahren zur Objekterkennung und/oder Objektverfolgung gerichtet, das ein solches computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems beinhaltet, sowie auf ein computerimplementiertes Verfahren zur Abstandsbestimmung, das ein solches computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems beinhaltet. Die Erfindung ist außerdem auf ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs gerichtet, welches ein solches computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems beinhaltet. Außerdem ist die Erfindung auf eine Datenverarbeitungsvorrichtung zur Durchführung solcher computerimplementierter Verfahren gerichtet, auf ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug mit einer solchen Datenverarbeitungsvorrichtung, sowie auf ein entsprechendes Computerprogrammprodukt.The present invention relates to a computer-implemented method for correcting a measurement data set of a lidar sensor system, which has a detector array with a plurality of pixels and wherein the measurement data set contains measurement values that contain an energy value and a distance value at least for the pixels of the plurality of pixels. The invention is further directed to a computer-implemented method for object recognition and/or object tracking, which includes such a computer-implemented method for correcting a measurement data set of a lidar sensor system, and to a computer-implemented method for distance determination, which includes such a computer-implemented method for correcting a measurement data set of a lidar sensor system. The invention is also directed to a method for at least partially automatically driving a motor vehicle, which includes such a computer-implemented method for correcting a measurement data set of a lidar sensor system. The invention is also directed to a data processing device for carrying out such computer-implemented methods, to an electronic vehicle guidance system for a motor vehicle with such a data processing device, and to a corresponding computer program product.

Lidarsensorsysteme können für vielfältige Fahrerassistenzfunktionen sowie sonstige Funktionen zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs genutzt werden. Dazu kann ein Lidarsensorsystem beispielsweise an dem Kraftfahrzeug montiert werden, sodass entsprechend mittels des Lidarsensorsystems erzeugte Messdatensätze die äußere Umgebung des Kraftfahrzeugs darstellen. Es ist auch möglich, dass ein Lidarsensorsystem in einer Infrastruktur extern zu dem Kraftfahrzeug, beispielsweise in einer Parkinfrastruktur, montiert wird und der Messdatensatz die Umgebung des Lidarsensorsystems inklusive beispielsweise des Kraftfahrzeugs, weiterer Komponenten der Infrastrukturvorrichtung und/oder weiterer Kraftfahrzeuge darstellt. Basierend auf dem Messdatensatz beziehungsweise basierend auf einer Vielzahl nacheinander aufgenommener Messdatensätze entsprechender aufeinanderfolgender Frames können Steuersignale zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs und/oder Assistenzinformationen zur Unterstützung einer das Kraftfahrzeug führenden Peron erzeugt werden. Insbesondere enthalten solche Messdatensätze von Lidarsensorsystemen Informationen über die Position von Objekten in der Umgebung des Lidarsensorsystems und insbesondere über deren Entfernung von dem Lidarsensorsystems. Dazu emittiert das Lidarsensorsystems Laserimpulse und detektiert mittels des Detektorarrays von den Objekten in der Umgebung reflektierte Anteile der emittierten Laserimpulse. Bekannte Verfahren zur direkten oder indirekten Lichtlaufzeitmessung können verwendet werden, um die Entfernung der Objekte entsprechend zu bestimmen.Lidar sensor systems can be used for a variety of driver assistance functions and other functions for at least partially automatically driving a motor vehicle. For this purpose, a lidar sensor system can be mounted on the motor vehicle, for example, so that measurement data sets generated by the lidar sensor system represent the external environment of the motor vehicle. It is also possible for a lidar sensor system to be mounted in an infrastructure external to the motor vehicle, for example in a parking infrastructure, and the measurement data set represents the environment of the lidar sensor system, including, for example, the motor vehicle, other components of the infrastructure device and/or other motor vehicles. Based on the measurement data set or based on a large number of measurement data sets of corresponding consecutive frames recorded one after the other, control signals for at least partially automatically guiding the motor vehicle and/or assistance information to support a person driving the motor vehicle can be generated. In particular, such measurement data sets from lidar sensor systems contain information about the position of objects in the environment of the lidar sensor system and in particular about their distance from the lidar sensor system. To do this, the lidar sensor system emits laser pulses and uses the detector array to detect portions of the emitted laser pulses reflected from objects in the environment. Known methods for direct or indirect time-of-flight measurement can be used to determine the distance of the objects accordingly.

Die von dem Detektorarray erfassten reflektierten Anteile der Laserimpulse können dabei verzerrt oder gestört sein. Diese Verzerrung oder Störung resultiert beispielsweise aus der Absorption eines geringen Teils der Lichtleistung durch das das Medium im optischen Pfad, was den Brechungsindex beeinflussen und den Laserstrahl dadurch verzerren kann. Dieser Effekt macht sich besonders bei hoher optischer Leistung der reflektierten Anteile der Laserimpulse bemerkbar, wie sie beispielsweise auftreten können, wenn die reflektierenden Objekte hochreflektierend sind, beispielsweise sogenannte Retroreflektoren, wie sie Verkehrsschilder, Kraftfahrzeugaußenspiegel und so weiter darstellen könne. Dabei kann es vorkommen, dass die erfassten reflektierten Anteile der Laserimpulse nicht nur diejenigen Pixel des Detektorarrays aktivieren, welche die tatsächlichen Position des Reflexionspunkts in der Umgebung wiedergeben, sondern fälschlicherweise auch Pixel in deren Umgebung, sodass das Objekt gewissermaßen mit mehr Messpunkten detektiert wird, als korrekt wäre. werden kann als erwartet. Dieser Effekt wird beispielsweise als Blooming bezeichnet.The reflected portions of the laser pulses recorded by the detector array can be distorted or disturbed. This distortion or disturbance results, for example, from the absorption of a small part of the light power by the medium in the optical path, which can influence the refractive index and thus distort the laser beam. This effect is particularly noticeable when the reflected portions of the laser pulses have a high optical power, as can occur, for example, when the reflecting objects are highly reflective, such as so-called retroreflectors, which can represent traffic signs, vehicle exterior mirrors, and so on. It can happen that the recorded reflected portions of the laser pulses not only activate those pixels of the detector array that reflect the actual position of the reflection point in the environment, but also incorrectly activate pixels in their environment, so that the object is, in a sense, detected with more measuring points than would be correct. can be expected. This effect is known, for example, as blooming.

Bei der kamerabasierten Bilderfassung sind Ansätze zur Erkennung und Beseitigung von Blooming bekannt, bei denen überbelichtete Bereiche erkannt werden und Bildverarbeitungsfilter benutzt werden, um das Kamerabild um diese Bereiche herum zu schärfen. Bei Lidarsensorsystemen ist jedoch nicht nur die mittels der Pixel erfasste optische Energie relevant, sondern insbesondere auch der radiale Abstand des Objekts, der durch das Blooming ebenfalls verfälscht werden kann. Insbesondere macht das Blooming auch an sich korrekte Messungen an der Position der betroffenen unbrauchbar.In camera-based image capture, approaches to detecting and eliminating blooming are known in which overexposed areas are detected and image processing filters are used to sharpen the camera image around these areas. In lidar sensor systems, however, it is not only the optical energy captured by the pixels that is relevant, but also the radial distance of the object, which can also be distorted by blooming. In particular, blooming also renders otherwise correct measurements at the position of the affected object unusable.

Es ist eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit anzugeben, mittels eines Lidarsensorsystems erzeugte Messdatensätze zu korrigieren, um die Auswirkungen von Blooming wenigstens teilweise zu kompensieren.It is an object of the present invention to provide a possibility to correct measurement data sets generated by means of a lidar sensor system in order to at least partially compensate for the effects of blooming.

Diese Aufgabe wird durch den Gegenstand des unabhängigen Anspruchs gelöst. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is achieved by the subject matter of the independent claim. Advantageous further developments and preferred embodiments are the subject matter of the dependent claims.

Die Erfindung beruht auf dem Gedanken, einen Cluster von Pixeln des Detektorarrays zu identifizieren, deren Energiewerte gemäß dem Messdatensatz größer oder gleich einem vorgegebenen Grenzwert sind und in einer Umgebung des Clusters solche Pixel als potentiell fehlerhaft zu identifizieren, deren Entfernungswerte gemäß dem Messdatensatz ähnlich zu den Entfernungswerten der Pixel des Clusters sind. Abhängig von einem räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel werden diese als tatsächlich fehlerhaft klassifiziert, und der Messdatensatz wird korrigiert, indem die entsprechenden Messwerte der als fehlerhaft klassifizierten Pixel entfernt oder als fehlerhaft markiert werden.The invention is based on the idea of identifying a cluster of pixels of the detector array whose energy values according to the measurement data set are greater than or equal to a predetermined limit value and in an environment of the cluster to identify those pixels as potentially faulty whose distance values according to the measurement data set are similar to the distance values of the pixels in the cluster. Depending on a spatial progression of the energy values of the potentially faulty pixels, these are classified as actually faulty, and the measurement data set is corrected by removing the corresponding measured values of the pixels classified as faulty or marking them as faulty.

Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems, insbesondere eines Lidarsensorsystems eines Kraftfahrzeugs oder eines elektronischen Fahrzeugführungssystems für das Kraftfahrzeug, angegeben. Das Lidarsensorsystem weist einen Detektorarray mit einer Vielzahl von Pixeln auf. Der Messdatensatz wird erhalten, insbesondere von dem Lidarsensorsystem, und der Messdatensatz beinhaltet wenigstens für die Pixel der Vielzahl von Pixeln des Detektorarrays jeweilige Messwerte. Die Messwerte beinhalten einen jeweiligen Energiewert und einen jeweiligen Entfernungswert. Es wird ein Cluster aus einem oder mehreren nebeneinanderliegenden Pixeln des Detektorarrays identifiziert, wobei die jeweiligen Energiewerte der Pixel des Clusters jeweils größer oder gleich einem vorgegebenen Grenzwert sind. Basierend auf den jeweiligen Entfernungswerten der Pixel des Clusters wird ein Entfernungswert des Clusters bestimmt und Pixel in einer Umgebung, insbesondere einer vordefinierten Umgebung, des Clusters werden als potentiell fehlerhafte Pixel identifiziert, wenn deren jeweilige Entfernungswerte innerhalb eines Entfernungsbereichs, insbesondere eines vordefinierten Entfernungsbereichs, um den Entfernungswert des Clusters liegen. Die potentiell fehlerhaften Pixel werden abhängig von einem räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel als fehlerhaft, insbesondere als tatsächlich fehlerhaft, klassifiziert. Der Messdatensatz wird korrigiert, indem die Messwerte der als fehlerhaft klassifizierten Pixel in der Umgebung des Clusters aus dem Messdatensatz entfernt werden oder in dem Messdatensatz als fehlerhaft markiert werden. Der korrigierte Messdatensatz wird insbesondere gespeichert.According to one aspect of the invention, a computer-implemented method for correcting a measurement data set of a lidar sensor system, in particular a lidar sensor system of a motor vehicle or an electronic vehicle guidance system for the motor vehicle, is specified. The lidar sensor system has a detector array with a plurality of pixels. The measurement data set is obtained, in particular from the lidar sensor system, and the measurement data set contains respective measurement values at least for the pixels of the plurality of pixels of the detector array. The measurement values contain a respective energy value and a respective distance value. A cluster of one or more adjacent pixels of the detector array is identified, wherein the respective energy values of the pixels of the cluster are each greater than or equal to a predetermined limit value. Based on the respective distance values of the pixels of the cluster, a distance value of the cluster is determined and pixels in an environment, in particular a predefined environment, of the cluster are identified as potentially faulty pixels if their respective distance values are within a distance range, in particular a predefined distance range, around the distance value of the cluster. The potentially faulty pixels are classified as faulty, in particular as actually faulty, depending on a spatial progression of the energy values of the potentially faulty pixels. The measurement data set is corrected by removing the measured values of the pixels classified as faulty in the vicinity of the cluster from the measurement data set or by marking them as faulty in the measurement data set. The corrected measurement data set is in particular saved.

Sofern nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens von einer Datenverarbeitungsvorrichtung durchgeführt werden, welche wenigstens eine Recheneinheit aufweist, insbesondere von einer Datenverarbeitungsvorrichtung des Kraftfahrzeugs. Insbesondere ist die wenigstens eine Recheneinheit zur Durchführung der Schritte des computerimplementierten Verfahrens konfiguriert oder angepasst. Hierzu kann die wenigstens eine Recheneinheit beispielsweise ein Computerprogramm speichern, das Befehle beinhaltet, die bei Ausführung durch die wenigstens eine Recheneinheit die wenigstens eine Recheneinheit dazu veranlassen, das computerimplementierte Verfahren auszuführen.Unless otherwise stated, all steps of the computer-implemented method can be carried out by a data processing device which has at least one computing unit, in particular by a data processing device of the motor vehicle. In particular, the at least one computing unit is configured or adapted to carry out the steps of the computer-implemented method. For this purpose, the at least one computing unit can, for example, store a computer program which contains instructions which, when executed by the at least one computing unit, cause the at least one computing unit to carry out the computer-implemented method.

Alle Recheneinheiten der wenigstens einen Recheneinheit können Teil des Kraftfahrzeugs sein. Es ist jedoch auch möglich, dass alle Recheneinheiten der wenigstens einen Recheneinheit Teil eines externen Rechensystems außerhalb des Kraftfahrzeugs sind, zum Beispiel eines Backend-Servers oder eines Cloud-Computersystems. Es ist auch möglich, dass die wenigstens eine Recheneinheit sowohl mindestens eine Fahrzeugrecheneinheit des Kraftfahrzeugs als auch wenigstens eine externe Recheneinheit des externen Rechensystems umfasst. Die wenigstens eine Fahrzeugrecheneinheit kann beispielsweise von einem oder mehreren Steuergeräten, ECUs (englisch: electronic control units), und/oder von einem oder mehreren Zonensteuergeräten, ZCUs (englisch: zone control units), und/oder von einem oder mehreren Domänensteuergeräten, DCUs (englisch: domain control units), des Kraftfahrzeugs und/oder des Lidarsensorsystems umfasst sein.All computing units of the at least one computing unit can be part of the motor vehicle. However, it is also possible for all computing units of the at least one computing unit to be part of an external computing system outside the motor vehicle, for example a backend server or a cloud computer system. It is also possible for the at least one computing unit to comprise both at least one vehicle computing unit of the motor vehicle and at least one external computing unit of the external computing system. The at least one vehicle computing unit can, for example, be comprised of one or more control units, ECUs (electronic control units), and/or one or more zone control units, ZCUs (zone control units), and/or one or more domain control units, DCUs (domain control units), of the motor vehicle and/or the lidar sensor system.

Für jede Ausführungsform eines erfindungsgemäßen computerimplementierten Verfahrens erhält man eine entsprechende Ausführungsform eines Verfahrens zur Korrektur eines Messdatensatzes eines Lidarsensorsystems, das nicht rein computerimplementiert ist, indem ein Verfahrensschritt der Erzeugung des Messdatensatzes mittels des Lidarsensorsystems aufgenommen wird.For each embodiment of a computer-implemented method according to the invention, a corresponding embodiment of a method for correcting a measurement data set of a lidar sensor system, which is not purely computer-implemented, is obtained by including a method step of generating the measurement data set by means of the lidar sensor system.

Eine bekannte Bauform von Lidarsystemen sind sogenannte Laserscanner, bei denen ein Laserstrahl mittels einer Lichtumlenkvorrichtung abgelenkt wird, so dass verschiedene Ablenkwinkel des Laserstrahls realisiert werden können. Die Lichtumlenkvorrichtung kann beispielsweise einen drehbar gelagerten Spiegel enthalten. Alternativ kann die Lichtumlenkvorrichtung ein Spiegelelement mit einer kipp- und/oder schwenkbaren Oberfläche aufweisen. Das Spiegelelement kann beispielsweise als mikroelektromechanisches System, MEMS, ausgestaltet sein. In der Umgebung können die ausgesendeten Laserstrahlen teilweise reflektiert werden und die reflektierten Anteile können wiederum auf den Laserscanner treffen, insbesondere auf die Lichtumlenkvorrichtung, die sie auf eine Detektoreinheit des Laserscanners lenken kann. Jeder optische Detektor der Detektoreinheit erzeugt insbesondere ein zugehöriges Detektorsignal basierend auf den von dem jeweiligen optischen Detektor erfassten Anteilen. Anhand der räumlichen Anordnung des jeweiligen Detektors kann zusammen mit der aktuellen Position der Lichtumlenkvorrichtung, insbesondere ihrer Drehposition beziehungsweise ihrer Kipp- und/oder Schwenkposition, somit auf die Einfallsrichtung der detektierten reflektierten Anteile geschlossen werden. Eine Auswerteeinheit kann zudem beispielsweise eine Lichtlaufzeitmessung durchführen, um einen radialen Abstand des reflektierenden Objekts zu bestimmen. Zur Abstandsbestimmung kann alternativ oder zusätzlich auch ein Verfahren eingesetzt werden, gemäß dem ein Phasenunterschied zwischen emittiertem und detektiertem Licht ausgewertet wird.A known type of lidar system is a so-called laser scanner, in which a laser beam is deflected by means of a light deflection device, so that different deflection angles of the laser beam can be realized. The light deflection device can, for example, contain a rotatably mounted mirror. Alternatively, the light deflection device can have a mirror element with a tiltable and/or pivotable surface. The mirror element can, for example, be designed as a microelectromechanical system, MEMS. The emitted laser beams can be partially reflected in the environment and the reflected portions can in turn hit the laser scanner, in particular the light deflection device, which can direct them to a detector unit of the laser scanner. Each optical detector of the detector unit generates in particular an associated detector signal based on the portions detected by the respective optical detector. Based on the spatial arrangement of the respective detector, together with the current position of the light deflection device, in particular its rotational position or its tilting and/or pivoting position, the direction of incidence can thus be determined. The distance between the reflected portions detected can be determined by measuring the time of flight of the light in order to determine the radial distance of the reflecting object. Alternatively or additionally, a method can be used to determine the distance, according to which a phase difference between emitted and detected light is evaluated.

Andere Ausführungen von Lidarsystemen sind Flash Lidarsysteme. Dabei handelt es sich um nicht scannende Systeme, die keine solche Lichtablenkungsanordnung benötigen. Dabei wird das von der Lichtquelle erzeugte Laserlicht durch ein optisches Element gestreut, sodass es in einem einzigen Blitz über einen weiten Winkel ausgestrahlt wird.Other types of lidar systems are flash lidar systems. These are non-scanning systems that do not require such a light deflection arrangement. The laser light generated by the light source is scattered by an optical element so that it is emitted in a single flash over a wide angle.

Der Messdatensatz kann insbesondere einem Frame des Lidarsensorsystems entsprechen, im Falle eines Laserscanners also beispielsweise einem vollständigen Scandurchlauf. Insbesondere enthält der Messdatensatz also für wenigstens den Teil der Vielzahl von Pixeln genau einen Satz von Messwerten, der den jeweiligen Entfernungswert und den jeweiligen Energiewert beinhaltet.The measurement data set can correspond in particular to a frame of the lidar sensor system, for example a complete scan run in the case of a laser scanner. In particular, the measurement data set therefore contains exactly one set of measurement values for at least part of the plurality of pixels, which includes the respective distance value and the respective energy value.

Der Entfernungswert entspricht insbesondere einem radialen Abstand des jeweiligen reflektierenden Objekts beziehungsweise des Punkts in der Umgebung der zu der jeweiligen Reflexion führt, dessen reflektierte Anteile von dem entsprechenden Pixel detektiert werden. Der Entfernungswert kann beispielsweise durch Anwendung eines Verfahrens zur direkten Lichtlaufzeitmessung (englisch: time-of-flight) oder zur indirekten Lichtlaufzeitmessung bestimmt werden. Der Energiewert ist insbesondere ein Maß für die von dem jeweiligen Pixel aufgrund des entsprechenden reflektierten Anteils der Laserimpulse erfasste optische Energie. Der Energiewert muss aber nicht direkt als Energie gegeben sein, sondern kann auch ein Wert einer anderen Größe sein, welche die erfasste Energie betrifft beziehungsweise von dieser abhängt, wie beispielsweise eine Echopulsweite, EPW, eines entsprechenden Signalpulses eines Detektorsignals des jeweiligen Pixels, eine Fläche unter dem Signalpuls oder ein Teil der Fläche unter dem Signalpuls und so weiter.The distance value corresponds in particular to a radial distance of the respective reflecting object or the point in the environment which leads to the respective reflection, the reflected portions of which are detected by the corresponding pixel. The distance value can be determined, for example, by using a method for direct time-of-flight measurement or for indirect time-of-flight measurement. The energy value is in particular a measure of the optical energy recorded by the respective pixel due to the corresponding reflected portion of the laser pulses. However, the energy value does not have to be given directly as energy, but can also be a value of another quantity which relates to the recorded energy or depends on it, such as an echo pulse width, EPW, of a corresponding signal pulse of a detector signal of the respective pixel, an area under the signal pulse or a part of the area under the signal pulse and so on.

Es ist möglich, dass einzelne Pixel des Detektorarrays keine reflektierten Anteile von emittierten Laserimpulsen detektieren. Dennoch können auch für solche Pixel entsprechende Energiewerte beziehungsweise Entfernungswerte in dem Messdatensatz gespeichert sein, wobei diese dann insbesondere Standardwerte wie 0, ∞, oder n/a oder dergleichen sein können und keine physikalische oder technische Bedeutung betreffend ein Objekt der Umgebung des Lidarsensorsystems haben.It is possible that individual pixels of the detector array do not detect any reflected portions of emitted laser pulses. Nevertheless, corresponding energy values or distance values can also be stored in the measurement data set for such pixels, whereby these can then in particular be standard values such as 0, ∞, or n/a or the like and have no physical or technical significance with regard to an object in the environment of the lidar sensor system.

Wie bereits oben erwähnt beinhaltet der Cluster eines oder mehrere Cluster. Es wird also ein breites Verständnis für den Begriff Cluster zugrunde gelegt, sodass, sofern nicht anderes erwähnt ist, auch ein einzelnes Pixel einen Cluster bilden kann. Besteht der Cluster aus einem einzigen Pixel, so ist der Entfernungswert des Clusters gleich dem Entfernungswert des entsprechenden Pixels. Beinhaltet der Cluster zwei oder mehr Pixel, so wird der Entfernungswert des Clusters aus den einzelnen Entfernungswerten seiner Pixel berechnet, beispielsweise durch Mittelwertbildung oder Berechnung eines Medians oder dergleichen. Der Entfernungswert des Clusters kann auch einen minimalen Entfernungswert oder einen maximalen Entfernungswert der Entfernungswerte seiner Pixel entsprechen.As already mentioned above, the cluster contains one or more clusters. A broad understanding of the term cluster is therefore used, so that, unless otherwise stated, a single pixel can also form a cluster. If the cluster consists of a single pixel, the distance value of the cluster is equal to the distance value of the corresponding pixel. If the cluster contains two or more pixels, the distance value of the cluster is calculated from the individual distance values of its pixels, for example by averaging or calculating a median or the like. The distance value of the cluster can also correspond to a minimum distance value or a maximum distance value of the distance values of its pixels.

Zum Identifizieren des Clusters wird insbesondere ein Pixel des Detektorarrays identifiziert, dessen Energiewert größer oder gleich dem Grenzwert ist, wobei beispielsweise festgelegt sein kann, dass sich das Pixel in einem bestimmten definierten Teilbereich des Detektorarrays, beispielsweise in einer bestimmten Spalte oder innerhalb mehrerer nebeneinanderliegender Spalte des Detektorarrays, befindet. Ist ein solches Pixel identifiziert, so werden beispielsweise weitere neben dem identifizierten Pixel liegende Pixel dahingehend überprüft, ob deren Energiewert ebenfalls größer oder gleich dem Grenzwert sind. Ist dies der Fall, so können diese dem Cluster zugerechnet werden, sofern im resultierenden Cluster alle Pixel nebeneinanderliegen. So kann weiter vorgegangen werden, bis keine Pixel, insbesondere innerhalb des definierten Teilbereichs, mehr aufgefunden werden, deren Energiewert größer ist als der Grenzwert oder bis keine solchen direkt benachbarten Pixel mehr aufgefunden werden.To identify the cluster, in particular a pixel of the detector array is identified whose energy value is greater than or equal to the limit value, whereby it can be specified, for example, that the pixel is located in a certain defined sub-area of the detector array, for example in a certain column or within several adjacent columns of the detector array. If such a pixel is identified, then, for example, other pixels located next to the identified pixel are checked to see whether their energy value is also greater than or equal to the limit value. If this is the case, these can be assigned to the cluster, provided that all pixels in the resulting cluster are next to one another. The process can continue in this way until no more pixels are found, particularly within the defined sub-area, whose energy value is greater than the limit value, or until no more such directly adjacent pixels are found.

Dass ein erstes Pixel und ein zweites Pixel des Detektorarrays nebeneinanderliegen, kann hier und im Folgenden derart verstanden werden, dass das zweite Pixel in einer vordefinierten Nachbarschaft des ersten Pixels liegt, beispielsweise in einer Vierer-Nachbarschaft oder einer Achter-Nachbarschaft oder einer Manhattan-Nachbarschaft, wobei die zusätzliche Bedingung gelten kann, dass das erste und das zweite Pixel innerhalb des definierten Teilbereichs des Detektorarrays, insbesondere in einer oder mehreren nebeneinanderliegenden Spalten liegen.The fact that a first pixel and a second pixel of the detector array are adjacent to one another can be understood here and below to mean that the second pixel is in a predefined neighborhood of the first pixel, for example in a neighborhood of four or an neighborhood of eight or a Manhattan neighborhood, wherein the additional condition can apply that the first and the second pixel are within the defined sub-area of the detector array, in particular in one or more adjacent columns.

Zum Identifizieren der potentiell fehlerhaften Pixel werden insbesondere alle Pixel in der vordefinierten Umgebung des Clusters identifiziert, deren Entfernungswerte innerhalb des vordefinierten Entfernungsbereichs um die Entfernungswert des Clusters liegen. Die Umgebung des Clusters kann beispielsweise derart definiert sein, dass nur Pixel mit einem Abstand von einem der Cluster, der kleiner ist als ein vorgegebener Maximalabstand, in der Umgebung liegen und/oder nur Pixel innerhalb desselben Teilbereichs des Detektorarrays, insbesondere derselben Spalte oder derselben nebeneinanderliegenden Spalten, wie der Cluster selbst.To identify the potentially faulty pixels, all pixels in the predefined environment of the cluster are identified whose distance values are within the predefined distance range around the distance value of the cluster. The environment of the cluster can, for example, be defined in such a way that only pixels with a distance from one of the clusters that is smaller is greater than a predetermined maximum distance, in the environment and/or only pixels within the same sub-area of the detector array, in particular the same column or the same adjacent columns, as the cluster itself.

Die Umgebung kann auch derart definiert sein, dass alle Pixel des Clusters und der als potentiell fehlerhaft identifizierten Pixel nebeneinander und/oder innerhalb desselben Teilbereichs des Detektorarrays liegen.The environment can also be defined such that all pixels of the cluster and the pixels identified as potentially faulty are located next to each other and/or within the same sub-area of the detector array.

Insbesondere werden die potentiell fehlerhaften Pixel abhängig von deren Entfernungswerten und beispielsweise unabhängig von deren jeweiligen Energiewerten als potentiell fehlerhaft identifiziert. Mit anderen Worten sind die Energiewerte der potentiell fehlerhaften Pixel nicht notwendigerweise größer oder gleich dem Grenzwert und sind im Allgemeinen kleiner als der Grenzwert. Dadurch wird insbesondere dem Umstand Rechnung getragen, dass Blooming zwar in der Umgebung von Pixeln mit sehr hohem Energieeintrag auftritt, die von Blooming betroffenen Pixel selbst aber auch einen geringeren Energieeintrag aufweisen können.In particular, the potentially defective pixels are identified as potentially defective depending on their distance values and, for example, independently of their respective energy values. In other words, the energy values of the potentially defective pixels are not necessarily greater than or equal to the limit value and are generally smaller than the limit value. This takes into account in particular the fact that although blooming occurs in the vicinity of pixels with very high energy input, the pixels affected by blooming themselves can also have a lower energy input.

Der Entfernungsbereich kann insbesondere derart vordefiniert sein, dass ein Werteintervall mit einer definierten Breite vorgegeben wird und der Entfernungsbereich einem Intervall für die Entfernungswerte mit dieser Breite entspricht, wobei der Entfernungswert des Clusters innerhalb, beispielsweise in der Mitte, des Entfernungsbereichs liegt.The distance range can in particular be predefined in such a way that a value interval with a defined width is specified and the distance range corresponds to an interval for the distance values with this width, wherein the distance value of the cluster lies within, for example in the middle, of the distance range.

Zum Markieren der Messwerte der als fehlerhaft klassifizierten Pixel des Messdatensatzes kann beispielsweise für jedes als fehlerhaft klassifizierte Pixel ein entsprechender Flag gesetzt werden, der die Messwerte dieses Pixels als fehlerhaft oder ungültig kenntlich macht. Nicht als fehlerhaft klassifizierte Pixel werden dementsprechend nicht markiert beziehungsweise deren Flag wird gegebenenfalls nicht gesetzt.To mark the measured values of the pixels in the measurement data set that are classified as faulty, a corresponding flag can be set for each pixel classified as faulty, which identifies the measured values of this pixel as faulty or invalid. Pixels that are not classified as faulty are therefore not marked or their flag is not set.

Das Entfernen der Messwerte der als fehlerhaft klassifizierten Pixel kann auch als Filtern des Messdatensatzes bezeichnet werden. Werden die Messwerte eines als fehlerhaft klassifizierten Pixels aus dem Messdatensatz entfernt, so kann dies insbesondere derart verstanden werden, dass die entsprechenden Pixel in dem korrigierten Messdatensatz genauso behandelt werden, als ob an den entsprechenden Positionen keine reflektierten Anteile der emittierten Laserimpulse detektiert worden wären. Die Messwerte werden also insbesondere durch vorgegebene Standardwerte wie oben bereits erwähnt ersetzt.Removing the measured values of the pixels classified as faulty can also be referred to as filtering the measurement data set. If the measured values of a pixel classified as faulty are removed from the measurement data set, this can be understood in particular to mean that the corresponding pixels in the corrected measurement data set are treated in the same way as if no reflected portions of the emitted laser pulses had been detected at the corresponding positions. The measured values are therefore replaced in particular by predefined standard values as already mentioned above.

Der Erfindung liegen insbesondere zwei wesentliche Erkenntnisse zugrunde. Zum einen ist dies die Erkenntnis, dass die für von Blooming betroffene Pixel bestimmten Entfernungswerte in der Regel relativ nahe am Entfernungswert derjenigen Pixel liegen, die der Messung eines realen hochreflektierenden Objekts in der Umgebung entsprechen und die dementsprechend als Pixel des Clusters identifiziert werden. Demzufolge werden erfindungsgemäß die Pixel in der Umgebung des Clusters innerhalb des vordefinierten Entfernungsbereichs als potentiell fehlerhaft klassifiziert. Da jedoch per se nicht ausgeschlossen werden kann, dass sich an den entsprechenden Stellen tatsächlich reale Objekte befinden, wird dies mit der weiteren Erkenntnis kombiniert, dass der räumliche Verlauf der Energiewerte von von Blooming betroffenen Pixeln charakteristische Signaturen aufweist. Dementsprechend werden die potentiell fehlerhaften Pixel abhängig von dem räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel als fehlerhaft klassifiziert, also insbesondere nur dann als fehlerhaft klassifiziert, wenn sie zum einen vorab als potentiell fehlerhaft klassifiziert wurden und deren Energiewert einem räumlichen Verlauf eines für Blooming erwarteten Verlaufs entspricht.The invention is based in particular on two essential findings. Firstly, this is the finding that the distance values determined for pixels affected by blooming are generally relatively close to the distance value of those pixels that correspond to the measurement of a real, highly reflective object in the environment and are accordingly identified as pixels of the cluster. Accordingly, according to the invention, the pixels in the environment of the cluster within the predefined distance range are classified as potentially faulty. However, since it cannot be ruled out per se that there are actually real objects at the corresponding locations, this is combined with the further finding that the spatial course of the energy values of pixels affected by blooming has characteristic signatures. Accordingly, the potentially faulty pixels are classified as faulty depending on the spatial course of the energy values of the potentially faulty pixels, i.e. in particular only classified as faulty if, on the one hand, they were previously classified as potentially faulty and their energy value corresponds to a spatial course of a course expected for blooming.

Dadurch wird insbesondere erreicht, dass von Blooming betroffene Pixel mit erhöhter Zuverlässigkeit als solche identifiziert werden können und zum anderen, dass das Risiko reduziert wird, dass nicht von Blooming betroffene Pixel als von Blooming betroffen beziehungsweise als fehlerhaft klassifiziert werden. Mit anderen Worten wird sowohl das Risiko für falsch positive Detektionen von fehlerhaften Pixeln reduziert als auch das Risiko für falsch negative Detektionen solcher Pixel.This ensures that pixels affected by blooming can be identified as such with increased reliability and that the risk that pixels not affected by blooming are classified as affected by blooming or as faulty is reduced. In other words, both the risk of false positive detections of faulty pixels and the risk of false negative detections of such pixels are reduced.

Der korrigierte Messdatensatz kann von nachfolgenden Funktionen, auch als hierarchisch übergeordnete Funktionen bezeichnet, genauso verwendet werden, wie ein nicht korrigierter Messdatensatz des Lidarsensorsystems verwendet werden würde. Beinhaltet das Korrigieren des Messdatensatzes das Entfernen der Messwerte der als fehlerhaft klassifizierten Pixel, so ist damit automatisch sichergestellt, dass die Messwerte der als fehlerhaft klassifizierten Pixel nicht für die Durchführung der nachfolgenden Funktionen berücksichtigt werden. Werden die Messwerte der als fehlerhaft klassifizierten Pixel als fehlerhaft markiert, so kann diese Markierung bei der Durchführung der nachfolgenden Funktion berücksichtigt werden, indem insbesondere diese Werte nicht zur Durchführung der Funktion verwendet werden. In beiden Fällen wird so die Zuverlässigkeit der nachfolgenden Funktion erhöht. Handelt es sich dabei um eine Funktion zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs, so wird dadurch insbesondere die Fahrsicherheit erhöht.The corrected measurement data set can be used by subsequent functions, also referred to as hierarchically higher-level functions, in the same way as an uncorrected measurement data set from the lidar sensor system would be used. If correcting the measurement data set includes removing the measurement values of the pixels classified as faulty, this automatically ensures that the measurement values of the pixels classified as faulty are not taken into account when performing the subsequent functions. If the measurement values of the pixels classified as faulty are marked as faulty, this marking can be taken into account when performing the subsequent function, in particular by not using these values to perform the function. In both cases, this increases the reliability of the subsequent function. If this is a function for at least partially automatic driving of the motor vehicle, this particularly increases driving safety.

Gemäß zumindest einer Ausführungsform ist die Vielzahl von Pixeln des Detektorarrays entsprechend einer Vielzahl von Teilbereichen des Detektorarrays angeordnet. Die Teilbereiche der Vielzahl von Teilbereichen werden zum Erzeugen des Messdatensatzes nacheinander belichtet, also ein Teilbereich nach dem anderen in einer vorgegebenen Reihenfolge, bis alle Teilbereiche der Vielzahl von Teilbereichen belichtet sind. Der Cluster wird innerhalb eines ersten Teilbereichs der Vielzahl von Teilbereichen identifiziert, und die Umgebung des Clusters liegt innerhalb des ersten Teilbereichs.According to at least one embodiment, the plurality of pixels of the detector array are arranged in accordance with a plurality of sub-regions of the detector array. The sub-regions of the plurality of sub-regions are exposed one after the other to generate the measurement data set, i.e. one sub-region after the other in a predetermined order, until all sub-regions of the plurality of sub-regions are exposed. The cluster is identified within a first sub-region of the plurality of sub-regions, and the surroundings of the cluster lie within the first sub-region.

Mit anderen Worten liegen alle Pixel des Clusters und alle Pixel, die als potentiell fehlerhaft klassifiziert werden, innerhalb desselben ersten Teilbereichs. Dabei sei darauf hingewiesen, dass der Begriff „ersten“ lediglich den entsprechenden Teilbereich spezifiziert, jedoch unabhängig von der Reihenfolge der Belichtung der Vielzahl von Teilbereichen zu verstehen ist.In other words, all pixels of the cluster and all pixels that are classified as potentially defective lie within the same first sub-area. It should be noted that the term "first" only specifies the corresponding sub-area, but is to be understood independently of the order of exposure of the plurality of sub-areas.

Die Teilbereiche der Vielzahl von Teilbereichen sind voneinander verschieden, insbesondere alle voneinander verschieden. Die Teilbereiche der Vielzahl von Teilbereichen überlappen also nicht.The sub-areas of the plurality of sub-areas are different from one another, in particular they are all different from one another. The sub-areas of the plurality of sub-areas therefore do not overlap.

Falls das Lidarsensorsystem als Laserscanner ausgestaltet ist, entspricht die Reihenfolge der Belichtung der Vielzahl von Teilbereichen insbesondere der Scanrichtung. Falls das Lidarsensorsystem als Flash-Lidarsensorsystem ausgestaltet ist, kann sich die Reihenfolge beispielsweise durch Verwendung eines Shutters, insbesondere eines elektronischen Shutters, ergeben.If the lidar sensor system is designed as a laser scanner, the sequence of exposure of the plurality of sub-areas corresponds in particular to the scanning direction. If the lidar sensor system is designed as a flash lidar sensor system, the sequence can result, for example, from the use of a shutter, in particular an electronic shutter.

In solchen Ausführungsformen wird dem Umstand Rechnung getragen, dass ein hoher Energieeintrag auf Pixel des Clusters aufgrund von hochreflektierenden Objekten nur dann zu Blooming in angrenzenden Pixeln in der Umgebung führt, wenn diese gleichzeitig belichtet werden oder näherungsweise gleichzeitig. Dadurch wird das Risiko für falsch positive Detektion von Blooming weiter reduziert.In such embodiments, the fact is taken into account that a high energy input to pixels of the cluster due to highly reflective objects only leads to blooming in adjacent pixels in the environment if they are illuminated simultaneously or approximately simultaneously. This further reduces the risk of false positive detection of blooming.

Gemäß zumindest einer Ausführungsform ist die Vielzahl von Pixeln entsprechend einer Vielzahl von Spalten und einer Vielzahl von Zeilen des Detektorarrays angeordnet, und jeder der Teilbereiche der Vielzahl von Teilbereichen ist durch eine Spalte der Vielzahl von Spalten gegeben oder durch mehrere nebeneinanderliegende, insbesondere direkt nebeneinanderliegende, Spalten der Vielzahl von Spalten.According to at least one embodiment, the plurality of pixels is arranged corresponding to a plurality of columns and a plurality of rows of the detector array, and each of the sub-regions of the plurality of sub-regions is given by a column of the plurality of columns or by a plurality of adjacent, in particular directly adjacent, columns of the plurality of columns.

Dabei sei darauf hingewiesen, dass ein einzelnes Pixel des Detektorarrays nicht notwendigerweise aus einem einzigen optischen Detektor besteht. Vielmehr ist es auch möglich, dass eine Gruppe mehrerer nebeneinanderliegender optischer Detektoren ein Pixel bildet. Letzteres ist insbesondere bei der Verwendung von Einzelprotonen-Lawinenphotodioden, SPADs (englisch: Single Photon Avalanche Diodes), möglich. Dies hat zur Folge, dass auch eine einzige Spalte von Pixeln nicht notwendigerweise aus einer einzelnen Spalte optischer Detektoren besteht.It should be noted that a single pixel of the detector array does not necessarily consist of a single optical detector. Rather, it is also possible that a group of several adjacent optical detectors forms a pixel. The latter is particularly possible when using single proton avalanche photodiodes (SPADs). This means that even a single column of pixels does not necessarily consist of a single column of optical detectors.

In anderen Ausführungsformen ist es jedoch auch möglich, dass ein Pixel genau einem optischen Detektor, beispielsweise einer einzigen Photodiode oder Lawinenphotodiode, APD (englisch: Avalanche Photodiode), besteht.In other embodiments, however, it is also possible for a pixel to consist of exactly one optical detector, for example a single photodiode or avalanche photodiode (APD).

Gemäß zumindest einer Ausführungsform ist der erste Teilbereich durch genau eine Spalte der Vielzahl von Spalten gebildet.According to at least one embodiment, the first subregion is formed by exactly one column of the plurality of columns.

Dadurch lässt sich eine besonders genaue Lokalisierung der von Blooming betroffenen Pixel erreichen. Insbesondere sind alle Teilbereiche in manchen Ausführungsformen jeweils durch genau eine Spalte der Vielzahl von Spalten gebildet.This makes it possible to achieve particularly precise localization of the pixels affected by blooming. In particular, in some embodiments, all subregions are each formed by exactly one column of the plurality of columns.

Gemäß zumindest einer Ausführungsform entspricht der Grenzwert einem Sättigungsgrenzwert.According to at least one embodiment, the limit value corresponds to a saturation limit value.

Der Sättigungsgrenzwert kann beispielsweise durch eine entsprechende Limitierung der optischen Detektoren der Pixel des Detektorarrays gegeben sein und/oder durch entsprechende Limitierungen von elektronischen Komponenten zur Signalerfassung oder Signalauswertung, beispielsweise eines Analog-zu-Digital-Konverters, ADC (englisch: Analog-to-Digital Converter). Daher ist eine Messung eines Energiewerts oberhalb des Sättigungsgrenzwerts nicht möglich oder aufgrund entsprechend mangelnder Zuverlässigkeit nicht zugelassen. Im letzteren Fall können beispielsweise die Energiewerte von Pixeln, deren Energieeintrag eigentlich zu einem Wert über dem Sättigungsgrenzwert führen würde, auf den Sättigungsgrenzwert gesetzt werden.The saturation limit can be given, for example, by a corresponding limitation of the optical detectors of the pixels of the detector array and/or by corresponding limitations of electronic components for signal acquisition or signal evaluation, for example an analog-to-digital converter (ADC). Therefore, a measurement of an energy value above the saturation limit is not possible or is not permitted due to a corresponding lack of reliability. In the latter case, for example, the energy values of pixels whose energy input would actually lead to a value above the saturation limit can be set to the saturation limit.

In solchen Ausführungsformen sind die Energiewerte der Pixel des Clusters also gleich dem Sättigungsgrenzwert als vorgegebenem Grenzwert. Auf diese Weise wird der Cluster derart bestimmt, dass er nur Pixel mit besonders hohem Energieeintrag beinhaltet, was letztlich die Wahrscheinlichkeit für falsch positive Detektionen von durch Blooming beeinträchtigte Pixel verringert.In such embodiments, the energy values of the pixels of the cluster are therefore equal to the saturation threshold as a predetermined threshold. In this way, the cluster is determined in such a way that it only contains pixels with a particularly high energy input, which ultimately reduces the probability of false positive detections of pixels affected by blooming.

Gemäß zumindest einer Ausführungsform werden die potentiell fehlerhaften Pixel nur dann als fehlerhaft klassifiziert, wenn alle Pixel der potentiell fehlerhaften Pixel und alle Pixel des Clusters gemeinsam einen zusammenhängenden Bereich des Detektorarrays bilden.According to at least one embodiment, the potentially defective pixels are only classified as defective if all pixels of the potentially defective pixels and all pixels of the cluster together form a contiguous region of the detector array.

Mit anderen Worten werden die potentiell fehlerhaften Pixel nur dann als fehlerhaft klassifiziert, wenn alle potentiell fehlerhaften Pixel und alle Pixel des Clusters im oben beschriebenen Sinn nebeneinanderliegen.In other words, the potentially defective pixels are only classified as defective if all potentially defective pixels and all pixels of the cluster are adjacent to each other in the sense described above.

Dadurch wird dem Umstand Rechnung getragen, dass Blooming typischerweise kontinuierlich in einer bestimmten Umgebung von Pixeln des Clusters auftritt. In entsprechenden Ausführungsformen wird also das Risiko für falsch positive Detektionen fehlerhafter Pixel weiter reduziert.This takes into account the fact that blooming typically occurs continuously in a certain vicinity of pixels in the cluster. In corresponding embodiments, the risk of false positive detections of faulty pixels is thus further reduced.

Gemäß zumindest einer Ausführungsform enthält der Cluster zwei oder mehr nebeneinanderliegende Pixel des Detektorarrays, beispielsweise drei oder mehr.According to at least one embodiment, the cluster contains two or more adjacent pixels of the detector array, for example three or more.

Mit anderen Worten werden nur dann potentiell fehlerhafte Pixel identifiziert und gegebenenfalls als fehlerhaft klassifiziert, wenn der Cluster zwei oder mehr nebeneinanderliegende Pixel beziehungsweise drei oder mehr beinhaltet.In other words, potentially defective pixels are only identified and classified as defective if the cluster contains two or more adjacent pixels or three or more.

Auch dadurch wird das Risiko für falsch positive Detektionen fehlerhafter Pixel weiter reduziert.This also further reduces the risk of false positive detections of faulty pixels.

Gemäß zumindest einer Ausführungsform wird innerhalb eines zweiten Teilbereichs der Vielzahl von Teilbereichen ein erster weiterer Cluster aus einem oder mehreren nebeneinanderliegenden Pixeln des Detektorarrays identifiziert, wobei die jeweiligen Energiewerte der Pixel des ersten weiteren Clusters jeweils größer oder gleich dem vorgegebenen Grenzwert sind. Basierend auf den jeweiligen Entfernungswerten der Pixel des ersten weiteren Clusters wird ein Entfernungswert des ersten weiteren Clusters bestimmt und die Pixel in einer Umgebung des ersten weiteren Clusters werden als weitere potentiell fehlerhafte Pixel identifiziert, wenn deren jeweilige Entfernungswerte innerhalb des Entfernungsbereichs um den Entfernungswert des ersten weiteren Clusters liegen. Abhängig von einem räumlichen Verlauf der Energiewerte der ersten weiteren potentiell fehlerhaften Pixel werden die ersten weiteren potentiell fehlerhaften Pixel als fehlerhaft klassifiziert. Das Korrigieren des Messdatensatzes beinhaltet, dass die Messwerte der als fehlerhaft klassifizierten Pixel in der Umgebung des ersten weiteren Clusters aus dem Messdatensatz entfernt werden oder in dem Messdatensatz als fehlerhaft markiert werden.According to at least one embodiment, within a second sub-area of the plurality of sub-areas, a first further cluster is identified from one or more adjacent pixels of the detector array, wherein the respective energy values of the pixels of the first further cluster are each greater than or equal to the predetermined limit value. Based on the respective distance values of the pixels of the first further cluster, a distance value of the first further cluster is determined and the pixels in an environment of the first further cluster are identified as further potentially faulty pixels if their respective distance values are within the distance range around the distance value of the first further cluster. Depending on a spatial progression of the energy values of the first further potentially faulty pixels, the first further potentially faulty pixels are classified as faulty. Correcting the measurement data set includes removing the measurement values of the pixels classified as faulty in the environment of the first further cluster from the measurement data set or marking them as faulty in the measurement data set.

Die obigen Erläuterungen, Vorteile und Ausführungen betreffend den Cluster können analog auf den ersten weiteren Cluster übertragen werden. Des Weiteren ergeben sich weitere Ausführungsformen des computerimplementierten Verfahrens, indem die genannten Schritte für weitere, insbesondere alle Teilbereiche, der Vielzahl von Teilbereichen durchgeführt werden.The above explanations, advantages and statements regarding the cluster can be transferred analogously to the first additional cluster. Furthermore, further embodiments of the computer-implemented method result by carrying out the above-mentioned steps for further, in particular all, sub-areas of the plurality of sub-areas.

Der Entfernungsbereich um den Entfernungswert des ersten weiteren Clusters kann beispielsweise einem Intervall entsprechen, dessen Breite identisch ist zu dem Entfernungsbereich um den Entfernungswert des Clusters. Der Entfernungswert des ersten weiteren Clusters ist dabei jedoch nicht notwendigerweise gleich dem Entfernungswert des Clusters.The distance range around the distance value of the first additional cluster can, for example, correspond to an interval whose width is identical to the distance range around the distance value of the cluster. However, the distance value of the first additional cluster is not necessarily equal to the distance value of the cluster.

In solchen Ausführungsformen können die von Blooming betroffenen Pixel des Detektorarrays für den Messdatensatz vollständiger detektiert werden.In such embodiments, the blooming-affected pixels of the detector array for the measurement data set can be more completely detected.

Gemäß zumindest einer Ausführungsform wird innerhalb des ersten Teilbereichs ein zweiter weiterer Cluster aus einem oder mehreren nebeneinanderliegenden Pixeln des Detektorarrays, welche außerhalb des Clusters liegen, identifiziert, wobei die jeweiligen Energiewerte der Pixel des zweiten weiteren Clusters jeweils größer oder gleich dem vorgegebenen Grenzwert sind. Basierend auf den jeweiligen Entfernungswerten der Pixel des zweiten weiteren Clusters wird ein Entfernungswert des zweiten weiteren Clusters bestimmt, und die Pixel in einer Umgebung des zweiten weiteren Clusters werden als zweite weitere potentiell fehlerhafte Pixel identifiziert, wenn deren jeweilige Entfernungswerte innerhalb eines Entfernungsbereichs um den Entfernungswert des zweiten weiteren Clusters liegen. Abhängig von einem räumlichen Verlauf der Energiewerte der zweiten weiteren potentiell fehlerhaften Pixel werden die zweiten weiteren potentiell fehlerhaften Pixel als fehlerhaft klassifiziert. Das Korrigieren des Messdatensatzes beinhaltet, dass die Messwerte der als fehlerhaft klassifizierten Pixel in der Umgebung des zweiten weiteren Clusters aus dem Messdatensatz entfernt werden oder in dem Messdatensatz als fehlerhaft markiert werden.According to at least one embodiment, a second further cluster is identified within the first sub-area from one or more adjacent pixels of the detector array which lie outside the cluster, wherein the respective energy values of the pixels of the second further cluster are each greater than or equal to the predetermined limit value. Based on the respective distance values of the pixels of the second further cluster, a distance value of the second further cluster is determined, and the pixels in an environment of the second further cluster are identified as second further potentially faulty pixels if their respective distance values lie within a distance range around the distance value of the second further cluster. Depending on a spatial course of the energy values of the second further potentially faulty pixels, the second further potentially faulty pixels are classified as faulty. Correcting the measurement data set includes removing the measurement values of the pixels classified as faulty in the environment of the second further cluster from the measurement data set or marking them as faulty in the measurement data set.

Die obigen Erläuterungen, Vorteile und Ausführungen betreffend den Cluster können analog auf den zweiten weiteren Cluster übertragen werden. Der Entfernungsbereich um den Entfernungswert des zweiten weiteren Clusters kann beispielsweise einem Intervall entsprechen, dessen Breite identisch ist zu dem Entfernungsbereich um den Entfernungswert des Clusters.The above explanations, advantages and statements regarding the cluster can be transferred analogously to the second additional cluster. The distance range around the distance value of the second additional cluster can, for example, correspond to an interval whose width is identical to the distance range around the distance value of the cluster.

Gemäß zumindest einer Ausführungsform wird basierend auf einer vorgegebenen Pixelenergieverteilungsfunktion eine Clusterenergieverteilungsfunktion für den Cluster bestimmt. Der räumliche Verlauf der Energiewerte der potentiell fehlerhaften Pixel wird mit der Clusterenergieverteilungsfunktion abgeglichen, und die potentiell fehlerhaften Pixel werden abhängig von einem Ergebnis des Abgleichs als fehlerhaft klassifiziert.According to at least one embodiment, based on a predetermined pixel energy distribution function, a cluster energy distribution function is determined for the cluster. The spatial distribution of the energy values of the potentially defective pixels is compared with the cluster energy distribution function, and the potentially defective pixels are classified as defective depending on the result of the comparison.

Die Pixelenergieverteilungsfunktion ist insbesondere eine sogenannte Punktspreizfunktion des Lidarsensorsystems. Die Punktspreizfunktion ergibt sich insbesondere aus optischen Komponenten des Lidarsensorsystems. Die Punktspreizfunktion beschreibt insbesondere Abweichungen von einer optimalen Abbildung einer punktförmigen Lichtquelle durch die optischen Komponenten des Lidarsensorsystems. Die Punktspreizfunktion beschreibt insbesondere, wie ein idealisiertes punktförmiges Objekt durch das Lidarsensorsystem auf dem Detektorarray abgebildet würde, wie insbesondere die räumliche Verteilung der Energiewerte auf dem Detektorarray zu erwarten wäre. Die Punktspreizfunktion wird auch als Punktantwort bezeichnet und berücksichtigt beispielsweise Beugungseffekte, Abbildungsfehler und so weiter. Die tatsächliche Verteilung der Energiewerte auf dem Detektorarray entspricht insbesondere einer Faltung der tatsächlichen Form der Lichtquellen mit der Punktspreizfunktion. Mit anderen Worten verschmiert die Punktspreizfunktion das Bild beziehungsweise die Verteilung der Energiewerte auf dem Detektorarray. Beispielsweise ist die Punktspreizfunktion des Lidarsensorsystems näherungsweise radial symmetrisch. Insbesondere hat die Punktspreizfunktion im Zentrum einen Maximalwert und fällt nach außen hin ab, insbesondere sehr schnell und sehr stark.The pixel energy distribution function is in particular a so-called point spread function of the lidar sensor system. The point spread function results in particular from optical components of the lidar sensor system. The point spread function describes in particular deviations from an optimal image of a point-shaped light source by the optical components of the lidar sensor system. The point spread function describes in particular how an idealized point-shaped object would be imaged by the lidar sensor system on the detector array, in particular how the spatial distribution of the energy values on the detector array would be expected. The point spread function is also referred to as the point response and takes into account, for example, diffraction effects, imaging errors and so on. The actual distribution of the energy values on the detector array corresponds in particular to a convolution of the actual shape of the light sources with the point spread function. In other words, the point spread function smears the image or the distribution of the energy values on the detector array. For example, the point spread function of the lidar sensor system is approximately radially symmetrical. In particular, the point spread function has a maximum value in the center and drops outwards, in particular very quickly and very sharply.

Falls der Cluster aus einem einzigen Pixel besteht, so ist die Clusterenergieverteilungsfunktion gleich der Pixelenergieverteilungsfunktion. Anderenfalls wird die Clusterenergieverteilungsfunktion abhängig von der Pixelenergieverteilungsfunktion und insbesondere abhängig von den entsprechenden Pixelpositionen der einzelnen Pixel des Clusters bestimmt.If the cluster consists of a single pixel, the cluster energy distribution function is equal to the pixel energy distribution function. Otherwise, the cluster energy distribution function is determined depending on the pixel energy distribution function and in particular depending on the corresponding pixel positions of the individual pixels of the cluster.

Der räumliche Verlauf der Energiewerte der potentiell fehlerhaften Pixel entspricht insbesondere einem Verlauf auf dem Detektorarray. Der Abgleich des räumlichen Verlaufs der Energiewerte der potentiell fehlerhaften Pixel mit der Clusterenergieverteilungsfunktion beinhaltet es insbesondere, einen Abweichungswert zu berechnen, der die Abweichung des räumlichen Verlaufs der Energiewerte von der Clusterenergieverteilungsfunktion quantifiziert, beispielsweise einen mittleren quadratischen Fehler oder dergleichen. Das Ergebnis des Abgleichs beinhaltet insbesondere den so bestimmten Abweichungswert. Beispielsweise werden die potentiell fehlerhaften Pixel dann als fehlerhaft klassifiziert, wenn der Abweichungswert kleiner ist als beziehungsweise kleiner gleich einer vorgegebenen Maximalabweichung ist, insbesondere nur dann.The spatial course of the energy values of the potentially defective pixels corresponds in particular to a course on the detector array. The comparison of the spatial course of the energy values of the potentially defective pixels with the cluster energy distribution function includes in particular calculating a deviation value that quantifies the deviation of the spatial course of the energy values from the cluster energy distribution function, for example a mean square error or the like. The result of the comparison includes in particular the deviation value determined in this way. For example, the potentially defective pixels are classified as defective if the deviation value is less than or less than or equal to a predetermined maximum deviation, in particular only then.

In solchen Ausführungsformen wird ausgenutzt, dass die Energiewerte der von Blooming betroffenen Pixel in der Regel durch das Blooming dominiert werden und daher entsprechend der Punktspreizfunktion mit wachsender Entfernung von dem Cluster abfallen. Dadurch lässt sich eine besonders zuverlässige Identifizierung der von Blooming betroffenen Pixel erreichen.Such embodiments exploit the fact that the energy values of the pixels affected by blooming are generally dominated by the blooming and therefore decrease with increasing distance from the cluster in accordance with the point spread function. This allows particularly reliable identification of the pixels affected by blooming.

Die Pixelenergieverteilungsfunktion, insbesondere die Punktspreizfunktion, kann für das Lidarsensorsystem im Rahmen einer Kalibrierung, beispielsweise am Ende der Produktion des Lidarsensorsystems, bestimmt werden. Dabei kann die Pixelenergieverteilungsfunktion stückspezifisch für jedes einzelne Lidarsensorsystem bestimmt werden oder typspezifisch für alle Lidarsensorsysteme eines bestimmten Typs oder chargenspezifisch für alle Lidarsensorsysteme einer bestimmten Charge oder eines bestimmten Produktionszeitraums und so weiter.The pixel energy distribution function, in particular the point spread function, can be determined for the lidar sensor system as part of a calibration, for example at the end of the production of the lidar sensor system. The pixel energy distribution function can be determined piece-specifically for each individual lidar sensor system, or type-specifically for all lidar sensor systems of a certain type, or batch-specifically for all lidar sensor systems of a certain batch or a certain production period, and so on.

Gemäß zumindest einer Ausführungsform wird für jeden Pixel des Clusters die Pixelenergieverteilungsfunktion gemäß einer Position des jeweiligen Pixels, insbesondere einer Pixelposition auf dem Detektorarray, des jeweiligen Pixels verschoben, und die Clusterenergieverteilungsfunktion wird bestimmt, indem die verschobenen Pixelenergieverteilungsfunktionen, insbesondere alle verschobenen Pixelenergieverteilungsfunktionen der Pixel des Clusters, miteinander kombiniert werden, insbesondere miteinander gefaltet werden.According to at least one embodiment, for each pixel of the cluster, the pixel energy distribution function is shifted according to a position of the respective pixel, in particular a pixel position on the detector array, of the respective pixel, and the cluster energy distribution function is determined by combining the shifted pixel energy distribution functions, in particular all shifted pixel energy distribution functions of the pixels of the cluster, with one another, in particular by convolving them with one another.

Je nach Ausführungsform des computerimplementierten Verfahrens kann die Kombination der verschobenen Pixelenergieverteilungsfunktionen auch eine Gewichtung beziehungsweise eine Multiplikation mit einem Amplitudenkorrekturfaktor beinhalten, insbesondere zusätzlich zu der Faltung. Dies kann insbesondere vorteilhaft sein, wenn die Energiewerte der einzelnen Pixel des Clusters unterschiedlich sind. Die Amplitudenkorrekturfaktoren können dabei gleich oder proportional zum Energiewert des entsprechenden Pixels sein.Depending on the embodiment of the computer-implemented method, the combination of the shifted pixel energy distribution functions can also include a weighting or a multiplication with an amplitude correction factor, in particular in addition to the convolution. This can be particularly advantageous if the energy values of the individual pixels of the cluster are different. The amplitude correction factors can be equal to or proportional to the energy value of the corresponding pixel.

Wenn der Grenzwert für die Energiewerte dem Sättigungsgrenzwert entspricht, sind die Energiewerte aller Pixel des Clusters, wie oben erwähnt, gleich dem Sättigungsgrenzwert. In diesem Fall kann es beispielsweise sein, dass die Kombination der verschobenen Pixelenergieverteilungsfunktionen auch ein Beschneiden auf den Sättigungsgrenzwert beinhaltet, sodass Werte oberhalb des Sättigungsgrenzwerts auf den Sättigungsgrenzwert gesetzt werden.If the threshold for the energy values is equal to the saturation threshold, the energy values of all pixels of the cluster are equal to the saturation threshold, as mentioned above. In this case, for example, the combination of the shifted pixel energy distribution functions may also include clipping to the saturation threshold, so that values above the saturation threshold are set to the saturation threshold.

Bis auf gegebenenfalls den Gewichtungsfaktor oder Amplitudenkorrekturfaktor und die Verschiebung entsprechend der Position des jeweiligen Pixels sind die verschobenen Pixelenergieverteilungsfunktionen daher gleich, insbesondere ist deren Form gleich. Die Verschiebung erfolgt dabei derart, dass ein Zentrum der jeweiligen verschobenen Pixelenergieverteilungsfunktion der Position des jeweiligen Pixels, insbesondere deren Mittenposition des jeweiligen Pixels, entspricht.Except for the weighting factor or amplitude correction factor and the shift corresponding to the position of the respective pixel, if applicable, the shifted pixel energy distribution functions are therefore the same, in particular their shape is the same. The shift is carried out in such a way that a center of the respective shifted pixel energy distribution function corresponds to the position of the respective pixel, in particular its center position of the respective pixel.

Gemäß zumindest einer Ausführungsform wird basierend auf der Pixelenergieverteilungsfunktion eine erste weitere Clusterenergieverteilungsfunktion für den ersten weiteren Cluster bestimmt. Der räumliche Verlauf der Energiewerte der ersten weiteren potentiell fehlerhaften Pixel wird mit der ersten weiteren Clusterenergieverteilungsfunktion abgeglichen, und die ersten weiteren potentiell fehlerhaften Pixel werden abhängig von einem Ergebnis des Abgleichs als fehlerhaft klassifiziert.According to at least one embodiment, a first further cluster energy distribution function is determined for the first further cluster based on the pixel energy distribution function. The spatial progression of the energy values of the first further potentially defective pixels is compared with the first further cluster energy distribution function, and the first further potentially defective pixels are classified as defective depending on a result of the comparison.

Gemäß zumindest einer Ausführungsform wird basierend auf der Pixelenergieverteilungsfunktion eine zweite weitere Clusterenergieverteilungsfunktion für den zweiten weiteren Cluster bestimmt. Der räumliche Verlauf der Energiewerte der zweiten weiteren potentiell fehlerhaften Pixel wird mit der zweiten weiteren Clusterenergieverteilungsfunktion abgeglichen, und die zweiten weiteren potentiell fehlerhaften Pixel werden abhängig von einem Ergebnis des Abgleichs als fehlerhaft klassifiziert.According to at least one embodiment, a second further cluster energy distribution function is determined for the second further cluster based on the pixel energy distribution function. The spatial progression of the energy values of the second further potentially defective pixels is compared with the second further cluster energy distribution function, and the second further potentially defective pixels are classified as defective depending on a result of the comparison.

Die Erläuterung betreffen die Pixelenergieverteilungsfunktion und die Clusterenergieverteilungsfunktion können analog auf die entsprechenden Ausführungsformen mit dem ersten und/oder zweiten weiteren Cluster übertragen werden.The explanations relating to the pixel energy distribution function and the cluster energy distribution function can be transferred analogously to the corresponding embodiments with the first and/or second further cluster.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei einem erfindungsgemäßen Verfahren ergeben können und die hierin nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For applications or application situations that may arise with a method according to the invention and which are not explicitly described herein, it may be provided that, according to the method, an error message and/or a request to enter user feedback is issued and/or a standard setting and/or a predetermined initial state is set.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Objekterkennung (englisch: Object Detection) und/oder Objektverfolgung (englisch: Object Tracking) angegeben. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems durchgeführt, und unter Verwendung des korrigierten Messdatensatzes wird ein Objekterkennungsalgorithmus zur Erkennung eines Objekts in der Umgebung des Lidarsensorsystems und/oder ein Objektverfolgungsalgorithmus zur Verfolgung des Objekts durchgeführt.According to a further aspect of the invention, a computer-implemented method for object detection and/or object tracking is specified. In this case, a computer-implemented method according to the invention is carried out for correcting a measurement data set of a lidar sensor system, and using the corrected measurement data set, an object detection algorithm for detecting an object in the environment of the lidar sensor system and/or an object tracking algorithm for tracking the object is carried out.

Der Objekterkennungsalgorithmus beziehungsweise der Objektverfolgungsalgorithmus ist dabei insbesondere ein bekannter Algorithmus, der anstelle des Messdatensatzes erfindungsgemäß den korrigierten Messdatensatz verwendet.The object recognition algorithm or the object tracking algorithm is in particular a known algorithm which, according to the invention, uses the corrected measurement data set instead of the measurement data set.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Abstandsbestimmung angegeben. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes eines Lidarsensorsystems durchgeführt. Unter Verwendung des korrigierten Messdatensatzes wird ein Abstand eines Objekts in einer Umgebung des Lidarsensorsystems von dem Lidarsensorsystem bestimmt.According to a further aspect of the invention, a computer-implemented method for determining distance is specified. In this case, a computer-implemented method according to the invention is carried out for correcting a measurement data set of a lidar sensor system. Using the corrected measurement data set, a distance of an object in an environment of the lidar sensor system from the lidar sensor system is determined.

Die Bestimmung des Abstands des Objekts kann insbesondere basierend auf den nicht als fehlerhaft markierten oder den nicht aus dem Messdatensatz entfernten Messwerten des korrigierten Messdatensatzes bestimmt werden.The determination of the distance of the object can be made in particular based on the measurement values of the corrected measurement data set that are not marked as faulty or that are not removed from the measurement data set.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs angegeben. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes oder ein erfindungsgemäßes computerimplementiertes Verfahren zur Objekterkennung und/oder Objektverfolgung oder ein erfindungsgemäßes computerimplementiertes Verfahren zur Abstandsbestimmung durchgeführt. Unter Verwendung des korrigierten Messdatensatzes, gegebenenfalls insbesondere unter Verwendung eines Ergebnisses des Objekterkennungsalgorithmus und/oder Objektverfolgungsalgorithmus oder des Abstands des Objekts, wird, insbesondere mittels wenigstens einer Recheneinheit, wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs erzeugt und/oder werden Assistenzinformationen zur Assistenz einer das Kraftfahrzeug führenden Person, insbesondere zur Assistenz bei der Führung des Kraftfahrzeugs, erzeugt.According to a further aspect of the invention, a method for at least partially automatically driving a motor vehicle is specified. In this case, a computer-implemented method according to the invention for correcting a measurement data set or a computer-implemented method according to the invention for object recognition and/or object tracking or a computer-implemented method according to the invention for distance determination is carried out. Using the corrected measurement data set, optionally in particular using a result of the object recognition algorithm and/or object tracking algorithm or the distance of the object, at least one control signal for at least partially automatically driving the motor vehicle is generated, in particular by means of at least one computing unit, and/or assistance information is generated to assist a person driving the motor vehicle, in particular to assist in driving the motor vehicle.

Das wenigstens eine Steuersignal kann beispielsweise einem oder mehreren Aktuatoren des Kraftfahrzeugs bereitgestellt werden, darunter beispielsweise einem oder mehreren Bremsaktuatoren und/oder einem oder mehreren Lenkaktuatoren und/oder einem oder mehreren Antriebsmotoren des Kraftfahrzeugs. Der eine oder die mehreren Aktuatoren können eine Längs- und/oder Quersteuerung des Kraftfahrzeugs abhängig von dem wenigstens einen Steuersignal beeinflussen, um das Kraftfahrzeug zumindest teilweise automatisch zu führen.The at least one control signal can be provided, for example, to one or more actuators of the motor vehicle, including, for example, one or more brake actuators and/or one or more steering actuators and/or one or more drive motors of the motor vehicle. The one or more actuators can influence a longitudinal and/or transverse control of the motor vehicle depending on the at least one control signal in order to guide the motor vehicle at least partially automatically.

Die Assistenzinformationen können über ein Ausgabegerät des Kraftfahrzeugs an die das Kraftfahrzeug führende Person ausgegeben werden, beispielsweise über ein Display und/oder ein Audioausgabesystem und/oder ein haptisches Ausgabesystem.The assistance information can be output to the person driving the motor vehicle via an output device of the motor vehicle, for example via a display and/or an audio output system and/or a haptic output system.

Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsvorrichtung mit wenigstens einer Recheneinheit angegeben. Die wenigstens eine Recheneinheit ist dazu eingerichtet, ein erfindungsgemäßes computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes oder ein computerimplementiertes erfindungsgemäßes Verfahren zur Objekterkennung und/oder Objektverfolgung oder ein erfindungsgemäßes computerimplementiertes Verfahren zur Abstandsbestimmung durchzuführen.According to a further aspect of the invention, a data processing device with at least one computing unit is specified. The at least one computing unit is set up to carry out a computer-implemented method according to the invention for correcting a measurement data set or a computer-implemented method according to the invention for object recognition and/or object tracking or a computer-implemented method according to the invention for distance determination.

Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.A computing unit can be understood in particular as a data processing device that contains a processing circuit. The computing unit can therefore in particular process data to carry out computing operations. This may also include operations to carry out indexed access to a data structure, for example a conversion table, LUT (English: "look-up table").

Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere Digitalsignalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.The computing unit can in particular contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits (ASICs), one or more field-programmable gate arrays (FPGAs), and/or one or more single-chip systems (SoCs). The computing unit can also contain one or more processors, for example one or more microprocessors, one or more central processing units (CPUs), one or more graphics processing units (GPUs) and/or one or more signal processors, in particular one or more digital signal processors (DSPs). The computing unit can also contain a physical or virtual network of computers or other of the aforementioned units.

In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.In various embodiments, the computing unit includes one or more hardware and/or software interfaces and/or one or more memory units.

Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.A memory unit can be a volatile data storage device, such as a dynamic random access memory (DRAM) or a static random access memory (SRAM), or a non-volatile data storage device, such as a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), a flash memory or flash EEPROM, a ferroelectric random access memory (FRAM), a magnetoresistive random access memory (MRAM) or a Phase-change random access memory (PCRAM).

Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug angegeben. Das elektronische Fahrzeugführungssystem weist eine erfindungsgemäße Datenverarbeitungsvorrichtung auf. Die wenigstens eine Recheneinheit ist dazu eingerichtet, und unter Verwendung des korrigierten Messdatensatzes wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs zu erzeugen und/oder Assistenzinformationen zur Assistenz einer das Kraftfahrzeug führenden Person zu erzeugen.According to a further aspect of the invention, an electronic vehicle guidance system for a motor vehicle is specified. The electronic vehicle guidance system has a data processing device according to the invention. The at least one computing unit is set up to generate at least one control signal for at least partially automatically guiding the motor vehicle and/or to generate assistance information for assisting a person driving the motor vehicle using the corrected measurement data set.

Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom April 2021.An electronic vehicle guidance system can be understood as an electronic system that is set up to guide a vehicle fully automatically or fully autonomously, in particular without the need for a driver to intervene in the control system. The vehicle automatically performs all required functions, such as steering, braking and/or acceleration maneuvers, the observation and detection of road traffic and corresponding reactions. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016. An electronic vehicle guidance system can also be understood as a driver assistance system (ADAS), which supports the driver in partially automated or semi-autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automated or semi-autonomous driving mode according to levels 1 to 4 according to the SAE J3016 classification. Here and below, “SAE J3016” refers to the corresponding standard in the April 2021 version.

Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.The at least partially automatic vehicle guidance can therefore include guiding the vehicle according to a fully automatic or fully autonomous driving mode of level 5 according to SAE J3016. The at least partially automatic vehicle guidance can also include guiding the vehicle according to a partially automated or partially autonomous driving mode according to levels 1 to 4 according to SAE J3016.

Gemäß zumindest einer Ausführungsform beinhaltet das elektronische Fahrzeugführungssystem das Lidarsensorsystem.According to at least one embodiment, the electronic vehicle guidance system includes the lidar sensor system.

Gemäß zumindest einer Ausführungsform ist das Lidarsensorsystem als Laserscanner ausgestaltet.According to at least one embodiment, the lidar sensor system is designed as a laser scanner.

Gemäß zumindest einer Ausführungsform beinhaltet jedes Pixel des Detektorarrays einen oder mehrere optische Detektoren.According to at least one embodiment, each pixel of the detector array includes one or more optical detectors.

Gemäß zumindest einer Ausführungsform sind die optischen Detektoren des Detektorarrays jeweils als Einzelphotonen-Lawinenphotodioden ausgestaltet.According to at least one embodiment, the optical detectors of the detector array are each designed as single-photon avalanche photodiodes.

Gemäß zumindest einer Ausführungsform ist die Vielzahl von Pixeln des Detektorarrays entsprechend einer Vielzahl von Spalten und einer Vielzahl von Zeilen angeordnet. Die Anzahl der Zeilen liegt insbesondere zwischen 10 und 1000, beispielsweise zwischen 50 und 1000. Die Anzahl der Spalten liegt insbesondere zwischen 10 und 1000, insbesondere zwischen 50 und 1000, beispielsweise zwischen 100 und 1000.According to at least one embodiment, the plurality of pixels of the detector array are arranged according to a plurality of columns and a plurality of rows. The number of rows is in particular between 10 and 1000, for example between 50 and 1000. The number of columns is in particular between 10 and 1000, in particular between 50 and 1000, for example between 100 and 1000.

Weitere Ausführungsformen des erfindungsgemäßen elektronischen Fahrzeugführungssystems folgen unmittelbar aus den verschiedenen Ausgestaltungen der erfindungsgemäßen computerimplementierten Verfahren und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu den erfindungsgemäßen computerimplementierten Verfahren analog auf entsprechende Ausführungsformen des erfindungsgemäßen elektronischen Fahrzeugführungssystems übertragen. Insbesondere ist das erfindungsgemäße elektronische Fahrzeugführungssystem zum Durchführen eines erfindungsgemäßen computerimplementierten Verfahrens ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße elektronische Fahrzeugführungssystem ein erfindungsgemäßes computerimplementiertes Verfahren durch.Further embodiments of the electronic vehicle guidance system according to the invention follow directly from the various embodiments of the computer-implemented methods according to the invention and vice versa. In particular, individual features and corresponding explanations as well as advantages relating to the various embodiments of the computer-implemented methods according to the invention can be transferred analogously to corresponding embodiments of the electronic vehicle guidance system according to the invention. In particular, the electronic vehicle guidance system according to the invention is designed or programmed to carry out a computer-implemented method according to the invention. In particular, the electronic vehicle guidance system according to the invention carries out a computer-implemented method according to the invention.

Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt mit Befehlen angegeben. Bei Ausführung der Befehle durch eine Datenverarbeitungsvorrichtung, insbesondere erfindungsgemäße Datenverarbeitungsvorrichtung, veranlassen die Befehle die Datenverarbeitungsvorrichtung dazu, ein erfindungsgemäßes computerimplementiertes Verfahren durchzuführen.According to a further aspect of the invention, a computer program product with instructions is specified. When the instructions are executed by a data processing device, in particular a data processing device according to the invention, the instructions cause the data processing device to carry out a computer-implemented method according to the invention.

Die Befehle können beispielsweise als Programmcode vorliegen. Der Programmcode kann beispielsweise als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache, zum Beispiel C, und/oder als Programmskript, zum Beispiel Python, bereitgestellt sein.The instructions can be in the form of program code, for example. The program code can be provided, for example, as binary code or assembler and/or as source code of a programming language, for example C, and/or as a program script, for example Python.

Gemäß einem weiteren Aspekt der Erfindung wird ein weiteres Computerprogramm mit weiteren Befehlen angegeben. Bei Ausführung der weiteren Befehle durch ein erfindungsgemäßes elektronisches Fahrzeugführungssystem, insbesondere durch die Datenverarbeitungsvorrichtung des elektronischen Fahrzeugführungssystems, veranlassen die weiteren Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs durchzuführen.According to a further aspect of the invention, a further computer program with further instructions is specified. When the further instructions are executed by an electronic vehicle guidance system according to the invention, in particular by the data processing device of the electronic vehicle guidance system, the further instructions cause the electronic vehicle guidance system to carry out a method according to the invention for at least partially automatically guiding a motor vehicle.

Die weiteren Befehle können beispielsweise als Programmcode vorliegen. Der Programmcode kann beispielsweise als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache, zum Beispiel C, und/oder als Programmskript, zum Beispiel Python, bereitgestellt sein.The additional instructions can be in the form of program code, for example. The program code can be provided, for example, as binary code or assembler and/or as source code of a programming language, for example C, and/or as a program script, for example Python.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes Computerprogramm und/oder ein erfindungsgemäßes weiteres Computerprogramm speichert.According to a further aspect of the invention, a computer-readable storage medium is provided which stores a computer program according to the invention and/or a further computer program according to the invention.

Das Computerprogramm, das weitere Computerprogramm sowie das computerlesbare Speichermedium sind jeweils Computerprogrammprodukte mit den Befehlen und/oder den weiteren Befehlen.The computer program, the additional computer program and the computer-readable storage medium are each computer program products with the instructions and/or the additional instructions.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures can be included in the invention not only in the combination specified in each case, but also in other combinations. In particular, the invention can also include embodiments and combinations of features that do not have all the features of an originally formulated claim. In addition, the invention can include embodiments and combinations of features that go beyond the features specified in the back references. exceed or deviate from the combinations of features set out in the claims.

Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.The invention is explained in more detail below using specific embodiments and associated schematic drawings. In the figures, identical or functionally identical elements may be provided with the same reference numerals. The description of identical or functionally identical elements may not necessarily be repeated with respect to different figures.

In den Figuren zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen elektronischen Fahrzeugführungssystems;
2 eine schematische Darstellung verschiedener Aspekte einer beispielhaften Ausführungsform eines erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur eines Messdatensatzes eines Lidarsensorsystems;
3 eine schematische Darstellung einer Pixelenergieverteilungsfunktion gemäß einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur eines Messdatensatzes eines Lidarsensorsystems;
4 ein schematisches Ablaufdiagramm einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur eines Messdatensatzes eines Lidarsensorsystems; und
5 ein schematisches Ablaufdiagramm einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur eines Messdatensatzes eines Lidarsensorsystems.

In the figures show:

1 a schematic representation of a motor vehicle with an exemplary embodiment of an electronic vehicle guidance system according to the invention;
2 a schematic representation of various aspects of an exemplary embodiment of a computer-implemented method according to the invention for correcting a measurement data set of a lidar sensor system;
3 a schematic representation of a pixel energy distribution function according to another exemplary embodiment of a computer-implemented method according to the invention for correcting a measurement data set of a lidar sensor system;
4 a schematic flow diagram of another exemplary embodiment of a computer-implemented method according to the invention for correcting a measurement data set of a lidar sensor system; and
5 a schematic flow diagram of a further exemplary embodiment of a computer-implemented method according to the invention for correcting a measurement data set of a lidar sensor system.

In 1 ist schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform eines erfindungsgemäßen elektronischen Fahrzeugführungssystems 2 dargestellt. Das elektronische Fahrzeugführungssystem 2 enthält eine erfindungsgemäße Datenverarbeitungsvorrichtung mit wenigstens einer Recheneinheit 4. Das Kraftfahrzeug 1, beispielsweise das elektronische Fahrzeugführungssystem 2, weist ein Lidarsensorsystem 3 auf, das beispielsweise als Laserscanner ausgestaltet sein kann. Das Lidarsensorsystem 3 weist ein Detektorarray mit einer Vielzahl von Pixeln auf, die insbesondere gemäß einer Vielzahl von Zeilen und einer Vielzahl von Spalten angeordnet sind.In 1 A motor vehicle 1 is shown schematically with an exemplary embodiment of an electronic vehicle guidance system 2 according to the invention. The electronic vehicle guidance system 2 contains a data processing device according to the invention with at least one computing unit 4. The motor vehicle 1, for example the electronic vehicle guidance system 2, has a lidar sensor system 3, which can be designed as a laser scanner, for example. The lidar sensor system 3 has a detector array with a plurality of pixels, which are arranged in particular according to a plurality of rows and a plurality of columns.

Mittels des elektronischen Fahrzeugführungssystems 2 kann ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs 1 durchgeführt werden. Dabei führt die wenigstens eine Recheneinheit 4 ein erfindungsgemäßes computerimplementiertes Verfahren zur Korrektur eines Messdatensatzes 15 des Lidarsensorsystems 3 durch. Dazu erhält die wenigstens eine Recheneinheit 4 einen Messdatensatz 15, von dem Lidarsensorsystem 3 und erzeugt basierend darauf einen korrigierten Messdatensatz 16. Der Messdatensatz 15 enthält für jeden Pixel der Vielzahl von Pixeln jeweilige Messwerte inklusive eines jeweiligen Entfernungswerts und eines jeweiligen Energiewerts.By means of the electronic vehicle guidance system 2, a method according to the invention for at least partially automatically guiding the motor vehicle 1 can be carried out. In this case, the at least one computing unit 4 carries out a computer-implemented method according to the invention for correcting a measurement data set 15 of the lidar sensor system 3. For this purpose, the at least one computing unit 4 receives a measurement data set 15 from the lidar sensor system 3 and generates a corrected measurement data set 16 based thereon. The measurement data set 15 contains respective measurement values for each pixel of the plurality of pixels, including a respective distance value and a respective energy value.

Die wenigstens eine Recheneinheit 4 erzeugt unter Verwendung des korrigierten Messdatensatzes 16, also abhängig von dem korrigierten Messdatensatz 16, wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs 1 und/oder Assistenzinformationen zur Assistenz einer das Kraftfahrzeug 1 führenden Person.The at least one computing unit 4 generates, using the corrected measurement data set 16, i.e. depending on the corrected measurement data set 16, at least one control signal for at least partially automatically driving the motor vehicle 1 and/or assistance information for assisting a person driving the motor vehicle 1.

In 4 ist ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur des Messdatensatzes 15 gezeigt.In 4 a schematic flow diagram of an exemplary embodiment of the computer-implemented method according to the invention for correcting the measurement data set 15 is shown.

Nachdem die wenigstens eine Recheneinheit 4 den Messdatensatz 15 erhalten hat, identifiziert sie in Schritt 400 einen Cluster 10 aus einem oder mehreren nebeneinanderliegenden Pixeln des Detektorarrays, wobei die jeweiligen Energiewerte der Pixel des Clusters 10 größer oder gleich einem vorgegebenen Grenzwert sind, beispielsweise gleich einem Sättigungsgrenzwert sind.After the at least one computing unit 4 has received the measurement data set 15, it identifies in step 400 a cluster 10 from one or more adjacent pixels of the detector array, wherein the respective energy values of the pixels of the cluster 10 are greater than or equal to a predetermined limit value, for example equal to a saturation limit value.

In Schritt 420 bestimmt die wenigstens eine Recheneinheit 4 basierend auf den jeweiligen Entfernungswerten der Pixel des Clusters 10 einen Entfernungswert des Clusters 10, beispielsweise als Mittelwert der Entfernungswerte der Pixel des Clusters 10. Ferner identifiziert die wenigstens eine Recheneinheit 4 diejenigen Pixel als potentiell fehlerhafte Pixel, die in einer vordefinierten Umgebung 11a, 11b des Clusters 10 liegen und deren Entfernungswerte innerhalb eines vordefinierten Entfernungsbereichs um den Entfernungswert des Clusters 10 liegen.In step 420, the at least one computing unit 4 determines a distance value of the cluster 10 based on the respective distance values of the pixels of the cluster 10, for example as an average of the distance values of the pixels of the cluster 10. Furthermore, the at least one computing unit 4 identifies those pixels as potentially faulty pixels that lie in a predefined environment 11a, 11b of the cluster 10 and whose distance values lie within a predefined distance range around the distance value of the cluster 10.

In Schritt 440 klassifiziert die wenigstens eine Recheneinheit 4 die potentiell fehlerhaften Pixel abhängig von einem räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel als fehlerhaft und erzeugt den korrigierten Messdatensatz 16, indem die Messwerte der als fehlerhaft klassifizierten Pixel in der Umgebung 11a, 11b des Clusters 10 aus dem Messdatensatz 15 entfernt werden oder in dem Messdatensatz 15 als fehlerhaft markiert werden.In step 440, the at least one computing unit 4 classifies the potentially faulty pixels as faulty depending on a spatial progression of the energy values of the potentially faulty pixels and generates the corrected measurement data set 16 by removing the measurement values of the pixels classified as faulty in the environment 11a, 11b of the cluster 10 from the measurement data set 15 or by marking them as faulty in the measurement data set 15.

In 5 ist ein schematisches Ablaufdiagramm einer weiteren beispielhaften Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens zur Korrektur des Messdatensatzes 15 gezeigt.In 5 a schematic flow diagram of a further exemplary embodiment of the computer-implemented method according to the invention for correcting the measurement data set 15 is shown.

Nachdem die wenigstens eine Recheneinheit 4 den Messdatensatz 15 erhalten hat, wird in Schritt 500 eine Spalte des Detektorarrays ausgewählt. In Schritt 520 überprüft die wenigstens eine Recheneinheit 4, ob innerhalb der Spalte ein Cluster 10 aus einem oder mehreren, vorzugsweise zwei oder mehr, nebeneinanderliegenden Pixeln des Detektorarrays vorhanden ist, wobei die jeweiligen Energiewerte der Pixel des Clusters 10 größer oder gleich dem vorgegebenen Grenzwert sind, beispielsweise gleich dem Sättigungsgrenzwert. Ist dies nicht der Fall, so wird mit Schritt 500 weiterverfahren, indem die nächste Spalte des Detektorarrays ausgewählt wird. Anderenfalls wird mit Schritt 540 weiterverfahren.After the at least one computing unit 4 has received the measurement data set 15, a column of the detector array is selected in step 500. In step 520, the at least one computing unit 4 checks whether a cluster 10 of one or more, preferably two or more, adjacent pixels of the detector array is present within the column, wherein the respective energy values of the pixels of the cluster 10 are greater than or equal to the predetermined limit value, for example equal to the saturation limit value. If this is not the case, the process continues with step 500 by selecting the next column of the detector array. Otherwise, the process continues with step 540.

In Schritt 540 bestimmt die wenigstens eine Recheneinheit 4 basierend auf den jeweiligen Entfernungswerten der Pixel des Clusters 10 einen Entfernungswert des Clusters 10, beispielsweise als Mittelwert der Entfernungswerte der Pixel des Clusters 10. Ferner identifiziert die wenigstens eine Recheneinheit 4 diejenigen Pixel als potentiell fehlerhafte Pixel, die in einer vordefinierten Umgebung 11a, 11b des Clusters 10 liegen und deren Entfernungswerte innerhalb eines vordefinierten Entfernungsbereichs um den Entfernungswert des Clusters 10 liegen. Werden keine solchen potentiell fehlerhaften Pixel identifiziert, so wird mit Schritt 520 weiterverfahren, indem innerhalb derselben Spalte nach einem weiteren Cluster gesucht wird, dessen Pixel Energiewerte aufweisen, die größer oder gleich dem vorgegebenen Grenzwert sind. Anderenfalls wird mit Schritt 560 weiterverfahren.In step 540, the at least one computing unit 4 determines a distance value of the cluster 10 based on the respective distance values of the pixels of the cluster 10, for example as an average of the distance values of the pixels of the cluster 10. Furthermore, the at least one computing unit 4 identifies those pixels as potentially faulty pixels that are located in a predefined environment 11a, 11b of the cluster 10 and whose distance values are within a predefined distance range around the distance value of the cluster 10. If no such potentially faulty pixels are identified, the process continues with step 520 by searching within the same column for another cluster whose pixels have energy values that are greater than or equal to the predetermined limit value. Otherwise, the process continues with step 560.

Beispielsweise kann die wenigstens eine Recheneinheit 4 in Schritt 540 auch überprüfen, ob alle der potentiell fehlerhaften Pixel und alle Pixel des Clusters 10 gemeinsam einen zusammenhängenden Bereich des Detektorarrays bilden, also einen zusammenhängenden Abschnitt innerhalb der Spalte. Es wird beispielsweise nur dann mit Schritt 560 weiterverfahren, wenn dies der Fall ist und ansonsten mit Schritt 520.For example, the at least one computing unit 4 can also check in step 540 whether all of the potentially faulty pixels and all of the pixels of the cluster 10 together form a contiguous area of the detector array, i.e. a contiguous section within the column. For example, the process only continues with step 560 if this is the case and otherwise with step 520.

In 2 ist rechts schematisch eine Abbildung einer Umgebung des Lidarsensorsystems 3 gezeigt. Die Abbildung zeigt insbesondere ein Objekt 9, beispielsweise einen Teil einer Verkehrsbeschilderung, in der Umgebung des Lidarsensorsystems 3. In einem Bereich 6 des Objekts 9 ist dieses hochreflektierend, was beispielsweise dazu führt, dass Energiewerte der Pixel des Clusters 10 beispielsweise gleich dem Sättigungsgrenzwert sind. Dies ist schematisch links in 2 dargestellt, wo in vertikaler Richtung die Pixelpositionen der betrachteten Spalte aufgetragen sind und in horizontaler Richtung die zugehörigen Energiewerte. In Bereichen 7a, 7b vertikal oberhalb beziehungsweise unterhalb des Bereichs 6, ist das Objekt 9 nicht hochreflektierend, jedoch sind die Pixel in der betrachteten Spalte in den zugehörigen Bereichen 11a, 11b oberhalb beziehungsweise unterhalb der Pixel des Clusters 10 von Blooming betroffen.In 2 On the right, a schematic illustration of an environment of the lidar sensor system 3 is shown. The illustration shows in particular an object 9, for example a part of a traffic sign, in the environment of the lidar sensor system 3. In an area 6 of the object 9, this is highly reflective, which leads, for example, to energy values of the pixels of the cluster 10 being equal to the saturation limit value. This is shown schematically on the left in 2 where the pixel positions of the column under consideration are plotted in the vertical direction and the associated energy values in the horizontal direction. In areas 7a, 7b vertically above and below the area 6, the object 9 is not highly reflective, but the pixels in the column under consideration in the associated areas 11a, 11b above and below the pixels of the cluster 10 are affected by blooming.

In Schritt 560 bestimmt die wenigstens eine Recheneinheit 4 basierend auf einer vorgegebenen Punktspreizfunktion 13 eine Clusterenergieverteilungsfunktion für den Cluster 10 und gleicht den räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel mit der Clusterenergieverteilungsfunktion ab. Falls ein Abweichungswert zwischen dem räumlichen Verlauf der Energiewerte der potentiell fehlerhaften Pixel und der Clusterenergieverteilungsfunktion kleiner oder gleich einer vorgegebenen Maximalabweichung ist, klassifiziert die wenigstens eine Recheneinheit 4 die potentiell fehlerhaften Pixel als fehlerhaft. Ist dies der Fall, so erzeugt die wenigstens eine Recheneinheit 4 den korrigierten Messdatensatz 6, indem die Messwerte der als fehlerhaft klassifizierten Pixel in der Umgebung 11a, 11b des Clusters 10 aus dem Messdatensatz 15 entfernt werden oder in dem Messdatensatz 15 als fehlerhaft markiert werden. Anderenfalls wird mit Schritt 520 weiterverfahren, indem innerhalb derselben Spalte nach einem weiteren Cluster gesucht wird, dessen Pixel Energiewerte aufweisen, die größer oder gleich dem vorgegebenen Grenzwert sind.In step 560, the at least one computing unit 4 determines a cluster energy distribution function for the cluster 10 based on a predetermined point spread function 13 and compares the spatial progression of the energy values of the potentially defective pixels with the cluster energy distribution function. If a deviation value between the spatial progression of the energy values of the potentially defective pixels and the cluster energy distribution function is less than or equal to a predetermined maximum deviation, the at least one computing unit 4 classifies the potentially defective pixels as defective. If this is the case, the at least one computing unit 4 generates the corrected measurement data set 6 by removing the measurement values of the pixels classified as defective in the environment 11a, 11b of the cluster 10 from the measurement data set 15 or by marking them as defective in the measurement data set 15. Otherwise, the process continues with step 520 by searching for another cluster within the same column whose pixels have energy values that are greater than or equal to the predetermined limit value.

In 3 ist schematisch die Punktspreizfunktion 13 dargestellt sowie eine Pixelenergieverteilungsfunktion 14, die der auf einen Maximalwert beschränkten Punktspreizfunktion 13 entspricht. Um die Clusterenergieverteilungsfunktion zu bestimmen, kann die wenigstens eine Recheneinheit 4 für jeden Pixel des Clusters 10 die Pixelenergieverteilungsfunktion 14 gemäß einer Position des jeweiligen Pixels verschieben und die verschobenen Pixelenergieverteilungsfunktionen miteinander kombinieren, insbesondere falten.In 3 the point spread function 13 is shown schematically as well as a pixel energy distribution function 14, which corresponds to the point spread function 13 limited to a maximum value. In order to determine the cluster energy distribution function, the at least one computing unit 4 can shift the pixel energy distribution function 14 for each pixel of the cluster 10 according to a position of the respective pixel and combine the shifted pixel energy distribution functions with one another, in particular fold them.

Das Verfahren wurde bezüglich 5 derart beschrieben, dass eine Spaltenweise Analyse der Pixel erfolgt. Dies ist insbesondere von Vorteil, wenn die einzelnen Spalten nacheinander belichtet werden, um den Messdatensatz 15 zu erzeugen. Es ist aber auch möglich, dass das Detektorarray gemäß einem anderen Schema Teilbereich für Teilbereich belichtet wird. Dann kann das Verfahren entsprechend angepasst werden, dass an die Stelle der analysierten Spalten die Teilbereiche treten. Die Teilbereiche können beispielsweise Gruppen einer definierten Anzahl von nebeneinanderliegenden Spalten sein.The procedure was 5 described in such a way that a column-by-column analysis of the pixels is carried out. This is particularly advantageous if the individual columns are exposed one after the other to generate the measurement data set 15. However, it is also possible for the detector array to be exposed sub-area by sub-area according to a different scheme. The method can then be adapted accordingly so that the sub-areas take the place of the analyzed columns. The sub-areas can, for example, be groups of a defined number of adjacent columns.

Wie beschrieben, insbesondere unter Bezugnahme auf die Figuren, ermöglich es die Erfindung, mittels eines Lidarsensorsystems erzeugte Messdatensätze zu korrigieren, um die Auswirkungen von Blooming wenigstens teilweise zu korrigieren.As described, particularly with reference to the figures, the invention makes it possible to correct measurement data sets generated by a lidar sensor system in order to at least partially correct the effects of blooming.

Mit Vorteil werden zur erfindungsgemäßen Korrektur des Messdatensatzes keine Tracking-Algorithmen benötigt.Advantageously, no tracking algorithms are required for the inventive correction of the measurement data set.

In verschiedenen Ausführungsformen, in denen der Cluster zwei oder mehr Pixel aufweist, wird die Genauigkeit des Verfahrens erhöht, indem die Clusterenergieverteilungsfunktion entsprechend mehrerer Pixel berechnet wird, sodass das Risiko für fehlerhafte Klassifizierungen reduziert wird.In various embodiments where the cluster comprises two or more pixels, the accuracy of the method is increased by calculating the cluster energy distribution function according to multiple pixels, thus reducing the risk of misclassifications.

In verschiedenen Ausführungsformen wird die dem optischen Pfad des Lidarsensorsystems inhärente Punktspreizfunktion verwendet, um die fehlerhaften Punkte zu identifizieren. Dies erhöht die Robustheit des Verfahrens hinsichtlich der Verwendung für unterschiedliche Lidarsensorsysteme.In various embodiments, the point spreading function inherent in the optical path of the lidar sensor system is used to identify the faulty points. This increases the robustness of the method with respect to use for different lidar sensor systems.

Claims

Computer-implemented method for correcting a measurement data set (15) of a lidar sensor system (3), which has a detector array with a plurality of pixels and wherein the measurement data set (15) for the pixels of the plurality of pixels contains measurement values that include an energy value and a distance value, wherein - a cluster (10) is identified from one or more adjacent pixels of the detector array, wherein the respective energy values of the pixels of the cluster (10) are greater than or equal to a predetermined limit value; - based on the respective distance values of the pixels of the cluster (10), a distance value of the cluster (10) is determined and pixels in an environment (11a, 11b) of the cluster (10) are identified as potentially defective pixels if their distance values are within a distance range around the distance value of the cluster (10); - the potentially defective pixels are classified as defective depending on a spatial progression of the energy values of the potentially defective pixels; and - the measurement data set (15) is corrected by removing the measured values of the pixels classified as faulty in the environment (11a, 11b) of the cluster (10) from the measurement data set (15) or by marking them as faulty in the measurement data set (15).

Computer-implemented method according to claim 1 , wherein the plurality of pixels is arranged corresponding to a plurality of sub-regions of the detector array, the sub-regions are exposed one after the other to generate the measurement data set, the cluster (10) is identified within a first sub-region, and the environment (11a, 11b) of the cluster (10) lies within the first sub-region.

Computer-implemented method according to claim 2 , wherein the plurality of pixels are arranged according to a plurality of columns and a plurality of rows, and each of the sub-regions is formed by one or more adjacent columns of the plurality of columns.

Computer-implemented method according to claim 3 , wherein the first sub-area is formed by exactly one column of the plurality of columns.

Computer-implemented method according to one of the Claims 2 until 4 , wherein - within a second sub-area of the plurality of sub-areas, a first further cluster is identified from one or more adjacent pixels of the detector array, the respective energy values of the pixels of the first further cluster being greater than or equal to the predetermined limit value; - based on the respective distance values of the pixels of the first further cluster, a distance value of the first further cluster is determined and pixels in an environment of the first further cluster are identified as first further potentially faulty pixels if their distance values are within a distance range around the distance value of the first further cluster; - depending on a spatial progression of the energy values of the first further potentially faulty pixels, the first further potentially faulty pixels are classified as faulty; and - correcting the measurement data set (15) includes removing the measurement values of the pixels classified as faulty in the environment of the first further cluster from the measurement data set (15) or marking them as faulty in the measurement data set (15).

Computer-implemented method according to one of the Claims 2 until 5 , wherein - within the first sub-area, a second further cluster is identified from one or more adjacent pixels of the detector array which lie outside the cluster, wherein the respective energy values of the pixels of the second further cluster are greater than or equal to the predetermined limit value; - based on the respective distance values of the pixels of the second further cluster, a distance value of the second further cluster is determined and pixels in an environment of the second further cluster are identified as second further potentially faulty pixels if their distance values are within a distance range around the distance value of the second further cluster; - depending on a spatial progression of the energy values of the second further potentially faulty pixels, the second further potentially faulty pixels are classified as faulty; and - correcting the measurement data set (15) includes that the measurement values of the pixels classified as faulty in the environment of the second further cluster are removed from the measurement data set (15) or are marked as faulty in the measurement data set (15).

Computer-implemented method according to one of the preceding claims, wherein the limit value corresponds to a saturation limit value.

Computer-implemented method according to one of the preceding claims, wherein the potentially defective pixels are classified as defective only if all of the potentially defective pixels and all pixels of the cluster (10) together form a contiguous region of the detector array.

Computer-implemented method according to one of the preceding claims, wherein the cluster (10) contains two or more adjacent pixels of the detector array.

Computer-implemented method according to one of the preceding claims, wherein a cluster energy distribution function for the cluster (10) is determined based on a predetermined pixel energy distribution function (14), the spatial course of the energy values of the potentially defective pixels is compared with the cluster energy distribution function, and the potentially defective pixels are classified as defective depending on a result of the comparison.

Computer-implemented method according to claim 9 and claim 10 , wherein - for each pixel of the cluster (10) the pixel energy distribution function (14) is shifted according to a position of the respective pixel; and - the cluster energy distribution function is determined by combining the shifted pixel energy distribution functions with one another.

Computer-implemented method according to one of the Claims 10 or 11 , wherein pixel energy distribution function (14) corresponds to a point spread function of the lidar sensor system (3).

Computer-implemented method for object detection and/or object tracking, wherein a computer-implemented method according to one of the preceding claims is carried out and, using the corrected measurement data set (16), an object detection algorithm for detecting an object (9) in an environment of the lidar sensor system (3) and/or an object tracking algorithm for tracking the object (9) is carried out.

Computer-implemented method for distance determination, wherein a computer-implemented method according to one of the Claims 1 until 12 is carried out and using the corrected measurement data set (16) a distance of an object (9) in an environment of the lidar sensor system (3) from the lidar sensor system (3) is determined.

Method for at least partially automatically driving a motor vehicle (1), wherein a computer-implemented method according to one of the preceding claims is carried out and using the corrected measurement data set (16) - at least one control signal for at least partially automatically driving the motor vehicle (1) is generated; and/or - assistance information is generated for assisting a person driving the motor vehicle (1).

Data processing device with at least one computing unit (4) which is designed to carry out a computer-implemented method according to one of the Claims 1 until 14 to carry out.

Electronic vehicle guidance system (2) for a motor vehicle (1), comprising a data processing device according to claim 16 , wherein the at least one computing unit (4) is designed to, using the corrected measurement data set (16), - generate at least one control signal for at least partially automatically driving the motor vehicle (1); and/or - generate assistance information for assisting a person driving the motor vehicle (1).

Electronic vehicle guidance system (2) according to claim 17 , wherein the electronic vehicle guidance system (2) contains the lidar sensor system (3).

Computer program product comprising - instructions which, when executed by a data processing device, cause the data processing device to carry out a computer-implemented method according to one of the Claims 1 until 14 to carry out; and/or - further commands which, when executed by an electronic vehicle guidance system (2), are in accordance with one of the Claims 17 or 18 cause the electronic vehicle guidance system (2) to carry out a procedure according to claim 15 to carry out.