DE102021006248A1

DE102021006248A1 - object detection method

Info

Publication number: DE102021006248A1
Application number: DE102021006248.5A
Authority: DE
Inventors: Yun-Ling Chang; Yi-Feng Su; Ying-Ren Chen
Original assignee: Automotive Research and Testing Center
Current assignee: Automotive Research and Testing Center
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2023-06-22

Abstract

Ein Objekterfassungsverfahren umfasst Schritte, die für jedes von einem Lidar-Modul empfangene Punktwolkendatenelement auszuführen sind, des Auswählens eines ersten zu kombinierenden Bildes aus Bildern, die von einer Kameraeinrichtung empfangen werden, wobei das erste zu kombinierende Bild zeitlich dem Punktwolkendatenelement entspricht (51), des Auswählens eines zweiten zu kombinierenden Bildes aus den Bildern, das in der zeitlichen Folge das N-te Bild vor dem ersten zu kombinierenden Bild ist (52), des Kombinierens des ersten zu kombinierenden Bildes und des zweiten zu kombinierenden Bildes, um ein kombiniertes Bild zu erzeugen (53), des Erzeugens eines Ergebnisbildes durch Einfügen des Punktwolkendatenelements in das kombinierte Bild (54), und des Eingebens des Ergebnisbildes in ein trainiertes maschinelles Lernmodell, um eine Klasse zu bestimmen, der jedes Objekt in dem Ergebnisbild zugehörig ist (55).An object detection method comprises steps, to be performed for each point cloud data item received from a lidar module, of selecting a first image to be combined from images received from a camera device, the first image to be combined corresponding in time to the point cloud data item (51), des selecting a second image to be combined from the images that is the Nth image before the first image to be combined in the temporal sequence (52), combining the first image to be combined and the second image to be combined to form a combined image generating (53), generating a result image by inserting the point cloud data item into the combined image (54), and inputting the result image into a trained machine learning model to determine a class to which each object in the result image belongs (55).

Description

Die vorliegende Offenbarung betrifft das Erfassen von Objekten und insbesondere ein Objekterfassungsverfahren, das mehrere Sensordatenquellen kombiniert.The present disclosure relates to object detection and, more particularly, to an object detection method that combines multiple sensor data sources.

Ein herkömmliches Verfahren zum Erfassen von Objekten, die einen Weg einer sich bewegenden Trägervorrichtung, wie z.B. eines autonomen mobilen Roboters (AMR) oder eines selbstfahrenden Autos, behindern, verwendet eine heterogene Multisensor-Fusion, die mehrere Datenquellen wie Radar, Lidar und Kamera einbezieht, um die Objekte zu erfassen, so dass eine Kollision zwischen den Objekten und der Trägervorrichtung vermieden werden kann. Die verschiedenen Sensordatenquellen stellen jeweils eine andere Datenart bei einer anderen Frequenz bereit. Beispielsweise kann das Radar alle 50 Millisekunden (ms) ein Radardatenelement erzeugen, das Lidar alle 100 ms ein Punktwolkendatenelement erzeugen, und die Kamera alle 33 ms ein Bild erzeugen. Aufgrund der unterschiedlichen Abtastfrequenzen sind die verschiedenen Datenarten, die von den verschiedenen Sensoren erhalten werden, zeitlich nicht synchronisiert, was bedeutet, dass die verschiedenen Datenarten zu einem gleichen Zeitpunkt nicht in Bezug auf den gleichen Raum erzeugt werden. Eine solche räumliche und zeitliche Asynchronisation zwischen den verschiedenen Datenarten beeinträchtigt die Genauigkeit für die Erfassung der Hindernisobjekte.A traditional method for detecting objects obstructing a path of a moving carrier device, such as an autonomous mobile robot (AMR) or a self-driving car, uses heterogeneous multi-sensor fusion involving multiple data sources such as radar, lidar, and camera, to detect the objects so that collision between the objects and the carrier device can be avoided. The different sensor data sources each provide a different type of data at a different frequency. For example, the radar may produce a radar data item every 50 milliseconds (ms), the lidar may produce a point cloud data item every 100 ms, and the camera may produce an image every 33 ms. Due to the different sampling frequencies, the different types of data obtained from the different sensors are not synchronized in time, which means that the different types of data are generated at the same point in time, not with respect to the same space. Such spatial and temporal asynchronization between the different types of data affects the accuracy for the detection of the obstacle objects.

Es ist daher eine Aufgabe der Erfindung, ein Objekterfassungsverfahren bereitzustellen, das den nachteiligen Effekt vermindern kann, der durch die räumliche und zeitliche Asynchronisation zwischen mehreren Datenarten verursacht wird, die durch mehrere Sensordatenquellen erzeugt werden.It is therefore an object of the invention to provide an object detection method that can reduce the adverse effect caused by the spatial and temporal asynchronization between multiple data types generated by multiple sensor data sources.

Gemäß einem Aspekt der Erfindung ist das Objekterfassungsverfahren durch eine Recheneinrichtung auszuführen, die mit einer Kameraeinrichtung und einem Lidar-Modul, die auf einer Trägervorrichtung angeordnet sind, kommunizieren. Die Kameraeinrichtung ist dazu eingerichtet, kontinuierlich eine Serie von Bildern aufzunehmen, die eine Szene, die in der Nähe der Trägervorrichtung ist, zeigen, wobei die Szene mindestens ein Objekt umfasst. Das Lidar-Modul ist dazu eingerichtet, die Szene, die in der Nähe der Trägervorrichtung ist, kontinuierlich zu scannen, um mehrere Punktwolkendatenelemente, welche die Szene repräsentieren, in Serie zu erzeugen. Die Recheneinrichtung ist dazu eingerichtet, die Bilder von der Kameraeinrichtung und die Punktwolkendatenelemente vom Lidar-Modul zu empfangen. Das Objekterfassungsverfahren weist die folgenden Schritte auf, die in Bezug auf jedes der Punktwolkendatenelemente auszuführen sind, nachdem das Punktwolkendatenelement vom Lidar-Modul empfangen wurde: Auswählen eines ersten zu kombinierenden Bildes aus den Bildern, die von der Kameraeinrichtung empfangen worden sind, wobei das erste zu kombinierende Bild zeitlich dem Punktwolkendatenelement entspricht; Auswählen eines zweiten zu kombinierenden Bildes aus den Bildern, die von der Kameraeinrichtung empfangen worden sind, wobei das zweite zu kombinierende Bild das N-te Bild vor dem ersten zu kombinierenden Bild in der zeitlichen Folge der Bildaufnahme ist und N eine ganze Zahl ist, die nicht kleiner ist als drei; Kombinieren des ersten zu kombinierenden Bildes und des zweiten zu kombinierenden Bildes, um ein kombiniertes Bild zu erzeugen; Erzeugen eines Ergebnisbildes durch Einfügen des Punktwolkendatenelements in das kombinierte Bild; und Eingeben des Ergebnisbildes in ein trainiertes maschinelles Lernmodell, um eine Klasse zu bestimmen, der jedes in dem Ergebnisbild dargestellte Objekt zu gehörig ist.According to one aspect of the invention, the object detection method is to be carried out by a computing device that communicates with a camera device and a lidar module that are arranged on a carrier device. The camera device is set up to continuously record a series of images showing a scene that is in the vicinity of the carrier device, the scene comprising at least one object. The lidar module is configured to continuously scan the scene proximate to the host device to serially generate a plurality of point cloud data items representing the scene. The computing device is set up to receive the images from the camera device and the point cloud data elements from the lidar module. The object detection method has the following steps to be performed in relation to each of the point cloud data items after the point cloud data item has been received by the lidar module: selecting a first image to be combined from the images received from the camera device, the first to combining image temporally corresponds to the point cloud data item; selecting a second image to be combined from the images received from the camera device, the second image to be combined being the Nth image prior to the first image to be combined in the temporal sequence of image capture and N being an integer that is not less than three; combining the first image to be combined and the second image to be combined to create a combined image; generating a resultant image by inserting the point cloud data item into the combined image; and inputting the resultant image to a trained machine learning model to determine a class to which each object represented in the resultant image belongs.

Weitere Merkmale und Vorteile der Erfindung werden in der folgenden ausführlichen Beschreibung der Ausführungsformen unter Bezug auf die beigefügten Zeichnungen deutlich; wobei:

1 ein Blockdiagramm zum beispielhaften Darstellen eines Objekterfassungssystems gemäß einer Ausführungsform der Offenbarung zeigt;
2 ein Flussdiagramm zum beispielhaften Darstellen einen ersten Vorgang eines Objekterfassungsverfahrens gemäß einer Ausführungsform der Offenbarung zeigt;
3 ein Flussdiagramm zum beispielhaften Darstellen von Teilschritten von Schritt 21 des ersten Vorgangsgemäß einer Ausführungsform der Offenbarung zeigt;
4 ein schematisches Diagramm zum beispielhaften Darstellen einer ersten Umrechnungsregel und von Radarzeitperioden gemäß einer Ausführungsform der Offenbarung zeigt;
5 ein Flussdiagramm zum beispielhaften Darstellen eines zweiten Vorgangs des Objekterfassungsverfahrens gemäß einer Ausführungsform der Offenbarung zeigt;
6 ein Flussdiagramm zum beispielhaften Darstellen von Teilschritten von Schritt 51 des zweiten Vorgangs gemäß einer Ausführungsform der Offenbarung zeigt;
7 ein schematisches Diagramm zum beispielhaften Darstellen einer zweiten Umrechnungsregel und von Kamerazeitperioden gemäß einer Ausführungsform der Offenbarung zeigt; und
8 ein Flussdiagramm zum beispielhaften Darstellen von Teilschritten von Schritt 54 des zweiten Vorgangs gemäß einer Ausführungsform der Offenbarung zeigt.

Further features and advantages of the invention will become apparent in the following detailed description of the embodiments with reference to the accompanying drawings; whereby:

1 Figure 12 shows a block diagram exemplifying an object detection system according to an embodiment of the disclosure;
2 FIG. 12 shows a flowchart exemplifying a first operation of an object detection method according to an embodiment of the disclosure; FIG.
3 Figure 12 shows a flowchart exemplifying sub-steps of step 21 of the first process according to an embodiment of the disclosure;
4 Figure 12 shows a schematic diagram exemplifying a first conversion rule and radar time periods according to an embodiment of the disclosure;
5 Fig. 12 shows a flow chart exemplifying a second process of the object detection method according to an embodiment of the disclosure;
6 Fig. 12 shows a flowchart exemplifying sub-steps of step 51 of the second process according to an embodiment of the disclosure;
7 Figure 12 shows a schematic diagram exemplifying a second conversion rule and camera time periods according to an embodiment of the disclosure; and
8th a flowchart for the exemplary representation of sub-steps of step 54 of second operation according to an embodiment of the disclosure.

Bevor die Offenbarung näher beschrieben wird, wird darauf hingewiesen, dass, wo es als angemessen erachtet wird, Bezugszeichen oder Endabschnitte von Bezugszeichen in den Figuren wiederholt vorkommen, um entsprechende oder analoge Elemente zu bezeichnen, die optional ähnliche Eigenschaften haben können.Before the disclosure is described in further detail, it is noted that, where considered appropriate, reference numbers or suffixes of reference numbers are repeated among the figures to indicate corresponding or analogous elements that may optionally have similar characteristics.

1 zeigt beispielhaft ein Objekterfassungssystem gemäß einer Ausführungsform der Offenbarung. Das Objekterfassungssystem weist eine Kameraeinrichtung11, ein Lidar-Modul 12, ein Radarmodul 13 und eine Recheneinrichtung 14 auf, die elektrisch mit der Kameraeinrichtung 11, dem Lidar-Modul 12 und dem Radarmodul 13 verbunden ist und damit kommuniziert. Das Objekterfassungssystem soll auf einer Trägervorrichtung, z.B. einem Fahrzeug, angeordnet sein. 1 FIG. 12 shows an exemplary object detection system according to an embodiment of the disclosure. The object detection system has a camera device 11, a lidar module 12, a radar module 13 and a computing device 14 which is electrically connected to the camera device 11, the lidar module 12 and the radar module 13 and communicates with them. The object detection system should be arranged on a carrier device, eg a vehicle.

Die Kameraeinrichtung 11 ist dazu eingerichtet, kontinuierlich eine Serie von Bildern einer Szene in der Nähe der Trägervorrichtung, auf der das Objekterfassungssystem angeordnet ist, aufzunehmen. Die Szene kann mindestens ein Objekt umfassen. Gemäß einigen Ausführungsformen kann die Kameraeinrichtung 11 eine Kamera sein. In einer Ausführungsform ist die Kameraeinrichtung 11 eine Kamera, die alle 33 ms ein Bild aufnimmt.The camera device 11 is set up to continuously record a series of images of a scene in the vicinity of the carrier device on which the object detection system is arranged. The scene can include at least one object. According to some embodiments, the camera device 11 may be a camera. In one embodiment, the camera device 11 is a camera that takes an image every 33 ms.

Das Lidar-Modul 12 ist dazu eingerichtet, die Szene in der Nähe der Trägervorrichtung kontinuierlich zu scannen, um in Serie mehrere Punktwolkendatenelemente zu erzeugen, die die Szene repräsentieren. Gemäß einigen Ausführungsformen kann das Lidar-Modul 12 ein Lidar-Sensor sein. In einer Ausführungsform ist das Lidar-Modul 12 ein Lidar-Sensor, der alle 100 ms ein Punktwolkendatenelement durch Scannen der Szene von rechts nach links erzeugt.The lidar module 12 is configured to continuously scan the scene in the vicinity of the host device to serially generate a plurality of point cloud data items representing the scene. According to some embodiments, lidar module 12 may be a lidar sensor. In one embodiment, the lidar module 12 is a lidar sensor that generates a point cloud data item every 100 ms by scanning the scene from right to left.

Das Radarmodul 13 ist dazu eingerichtet, die Szene in der Umgebung der Trägervorrichtung 20 kontinuierlich zu scannen, um in Serie mehrere Radardatenelemente zu erzeugen, die die Szene darstellen.The radar module 13 is configured to continuously scan the scene surrounding the host device 20 to serially generate a plurality of radar data items representing the scene.

Gemäß einigen Ausführungsformen kann das Radarmodul 13 ein Radarsensor sein. In einer Ausführungsform ist das Radarmodul 13 ein Radarsensor, der alle 50 ms ein Radardatenelement erzeugt.According to some embodiments, the radar module 13 may be a radar sensor. In one embodiment, the radar module 13 is a radar sensor that generates a radar data item every 50 ms.

Die Kameraeinrichtung 11, das Lidar-Modul 12 und das Radarmodul 13 erfassen und scannen in einigen Ausführungsformen die Szene vor der Trägervorrichtung, können aber in anderen Ausführungsformen auch die Szene um die Trägervorrichtung herum erfassen und scannen.The camera device 11, the lidar module 12 and the radar module 13 capture and scan the scene in front of the host device in some embodiments, but can also capture and scan the scene around the host device in other embodiments.

Die Recheneinrichtung 14 ist dazu eingerichtet, die Bilder von der Kameraeinrichtung 11, die Punktwolkendatenelemente vom Lidar-Modul 12 und die Radardatenelemente vom Radarmodul 13 zu empfangen. Gemäß einigen Ausführungsformen kann die Recheneinrichtung 14 ein Prozessor, ein Mikroprozessor oder eine andere Art von Computerchip sein.The computing device 14 is set up to receive the images from the camera device 11 , the point cloud data elements from the lidar module 12 and the radar data elements from the radar module 13 . According to some embodiments, computing device 14 may be a processor, microprocessor, or other type of computer chip.

Das Objekterfassungssystem ist dazu eingerichtet, ein Objekterfassungsverfahren auszuführen, wenn es auf einer sich bewegenden Trägervorrichtung angeordnet ist. Das Objekterfassungsverfahren weist einen ersten Vorgang und einen zweiten Vorgang auf. Der erste Vorgang steht mit den Punktwolkendatenelementen vom Lidar-Modul 12 und den Radardatenelementen vom Radarmodul 13 in Beziehung. Der zweite Vorgang steht mit den Punktwolkendatenelementen vom Lidar-Modul 12 und den Bildern der Kameraeinrichtung 11 in Beziehung. Jedes Mal, wenn die Recheneinrichtung 14 ein Punktwolkendatenelement vom Lidar-Modul 12 empfängt, führt das Objekterfassungssystem den ersten Vorgang und den zweiten Vorgang aus.The object detection system is set up to carry out an object detection method when it is arranged on a moving carrier device. The object detection method has a first process and a second process. The first process relates to the point cloud data items from lidar module 12 and the radar data items from radar module 13 . The second process relates to the point cloud data elements from the lidar module 12 and the camera device 11 images. Each time the computing device 14 receives a point cloud data item from the lidar module 12, the object detection system performs the first operation and the second operation.

2 zeigt beispielhaft den ersten Vorgang, der in Reaktion darauf ausgeführt werden soll, dass die Recheneinrichtung 14 gemäß einer Ausführungsform der Offenbarung ein Punktwolkendatenelement vom Lidar-Modul 12 empfängt. Der erste Vorgang weist Schritte 21 - 25 auf, in denen das Punktwolkendatenelement, das die Ausführung dieser Schritte veranlasst, als „das aktuelle Punktwolkendatenelement“ bezeichnet wird. 2 FIG. 12 illustrates an example of the first operation to be performed in response to computing device 14 receiving a point cloud data item from lidar module 12, in accordance with an embodiment of the disclosure. The first process has steps 21-25, in which the point cloud data item that causes these steps to be performed is referred to as "the current point cloud data item".

In Schritt 21 wählt die Recheneinrichtung 14 für das aktuelle Punktwolkendatenelement ein Ziel-Radardatenelement aus den Ziel-Radardatenelementen aus, die die Recheneinrichtung 14 vom Radarmodul 13 empfangen hat, wobei das Ziel-Radardatenelement zeitlich dem aktuellen Punktwolkendatenelement entspricht. Insbesondere weist Schritt 21 die in 3 dargestellten Teilschritte 211 - 216 auf, die in Bezug auf das aktuelle Punktwolkendatenelement auszuführen sind.In step 21, the computing device 14 selects a target radar data element for the current point cloud data element from the target radar data elements which the computing device 14 has received from the radar module 13, the target radar data element corresponding in time to the current point cloud data element. In particular, step 21 instructs the in 3 sub-steps 211 - 216 shown, which are to be executed in relation to the current point cloud data element.

In Teilschritt 211 wählt die Recheneinrichtung 14 einen ersten Radardatenelementkandidaten und einen zweiten Radardatenelementkandidaten aus den Radardatenelementen aus, die vom Radarmodul 13 empfangen worden sind. Der erste Radardatenelementkandidat ist eines der Radardatenelemente, die das Radarmodul 13 zu einem Zeitpunkt erzeugt hat (nachstehend auch als „Zeitpunkt des ersten Radarkandidaten“ bezeichnet), der vor und am nähesten zu einem Zeitpunkt (nachstehend auch als „Punktwolkendatenzeitpunkt" bezeichnet) liegt, zu dem das Lidar-Modul 12 das aktuelle Punktwolkendatenelement erzeugt. Der zweite Radardatenelementkandidat ist das vorherige Radardatenelement vor dem ersten Radardatenelementkandidaten in der zeitlichen Folge der Radardatenerzeugung. Ein Zeitpunkt, zu dem das Radarmodul 13 den zweiten Radardatenelementkandidaten erzeugt, wird nachstehend als „Zeitpunkt des zweiten Radarkandidaten“ bezeichnet.In sub-step 211 the computing device 14 selects a first radar data element candidate and a second radar data element candidate from the radar data elements which have been received by the radar module 13 . The first radar data item candidate is one of the radar data items generated by the radar module 13 at a point in time (hereinafter also referred to as “first radar candidate point in time”) that is before and closest to a point in time (hereinafter also referred to as “point cloud data point in time”). lies at which the lidar module 12 generates the current point cloud data item. The second candidate radar datum is the previous radar datum before the first candidate radar datum in the time series of radar data generation. A timing when the radar module 13 generates the second radar datum candidate is hereinafter referred to as “second radar candidate timing”.

In Teilschritt 212 bestimmt die Recheneinrichtung 14 basierend mindestens auf dem ersten Radardatenelementkandidaten einen ersten Objektparameterwert, der mit einem des mindestens einen Objekts (nachstehend auch als „Referenzobjekt“ bezeichnet) in der Szene in der Umgebung der Trägervorrichtung verknüpft ist. Gemäß einigen Ausführungsformen kann der Objektparameter ein Abstand des Referenzobjekts von der Trägervorrichtung, eine Relativposition des Referenzobjekts in Bezug auf die Trägervorrichtung oder eine Relativgeschwindigkeit des Referenzobjekts in Bezug auf die Trägervorrichtung sein, ohne darauf beschränkt zu sein. Das Herleiten von Information über den Abstand, die Relativposition und die Relativgeschwindigkeit aus den Radardatenelementen ist im Stand der Technik bekannt und wird hier nicht beschrieben.In sub-step 212, the computing device 14 determines, based at least on the first radar data element candidate, a first object parameter value associated with one of the at least one object (hereinafter also referred to as “reference object”) in the scene in the vicinity of the carrier device. According to some embodiments, the object parameter may be a distance of the reference object from the carrier device, a relative position of the reference object in relation to the carrier device, or a relative speed of the reference object in relation to the carrier device, without being limited thereto. Deriving distance, relative position and relative velocity information from the radar data elements is well known in the art and will not be described here.

In Teilschritt 213 bestimmt die Recheneinrichtung 14 basierend mindestens auf dem zweiten Radardatenelementkandidaten einen zweiten Objektparameterwert, der mit dem Referenzobjekt in der Szene verknüpft ist.In sub-step 213, the computing device 14 determines a second object parameter value, which is linked to the reference object in the scene, based at least on the second radar data element candidate.

In Teilschritt 214 bestimmt die Recheneinrichtung 14 einen Schätzwert des Objektparameters, der dem Punktwolkendatenzeitpunkt, zu dem das aktuelle Punktwolkendatenelement durch das Lidar-Modul 12 erzeugt wird, entspricht. In sub-step 214 the computing device 14 determines an estimated value of the object parameter which corresponds to the point cloud data point in time at which the current point cloud data element is generated by the lidar module 12 .

Insbesondere wird der Schätzwert basierend auf dem Punktwolkendatenzeitpunkt, dem Zeitpunkt des ersten Radarkandidaten, dem Zeitpunkt des zweiten Radarkandidaten, dem in Schritt 212 bestimmten ersten Wert und dem in Schritt 213 bestimmten zweiten Wert bestimmt. In einigen Ausführungsformen, in denen der Objektparameter der Abstand des Referenzobjekts von der Trägervorrichtung ist, wird der Schätzwert unter Verwendung einer Formel hergeleitet: $f_{R} (t) = f_{R} (t_{- 1}) + \frac{f_{R} (t_{- 1}) - f_{R} (t_{- 2})}{t_{- 1} + t_{- 2}} (t - t_{- 1}) + ε_{1},$

wobei f_R(t) der Schätzwert ist, f_R(t_-1) der erste Wert ist, f_R(t_-2) der zweite Wert ist, t_-1 der Zeitpunkt des ersten Radarkandidaten ist, t_-2 der Zeitpunkt des zweiten Radarkandidaten ist, t der Punktwolkendatenzeitpunkt ist und ε₁ ein Rundungsfehler ist. Der Wert des Rundungsfehlers ε₁ kann im Voraus durch Experimente bestimmt werden.Specifically, the estimate is determined based on the point cloud data time point, the first radar candidate time point, the second radar candidate time point, the first value determined in step 212 , and the second value determined in step 213 . In some embodiments where the object parameter is the distance of the reference object from the support device, the estimate is derived using a formula:

f_{R} (t) = f_{R} (t_{- 1}) + \frac{f_{R} (t_{- 1}) - f_{R} (t_{- 2})}{t_{- 1} + t_{- 2}} (t - t_{- 1}) + e_{1},

where f _R (t) is the estimated value, f _R (t _-1 ) is the first value, f _R (t _-2 ) is the second value, t _-1 is the time of the first radar candidate, t _-2 is the time of the second radar candidate, t is the point cloud data time point, and ε ₁ is a rounding error. The value of the rounding error ε ₁ can be determined in advance through experiments.

In Teilschritt 215 bestimmt die Recheneinrichtung 14 basierend auf dem Schätzwert des Objektparameters und einer ersten Umrechnungsregel, die eine Beziehung zwischen dem Objektparameter und der Zeit definiert, eine Radarzeitperioden, die mit dem Schätzwert verknüpft ist. Insbesondere entsprechen die durch das Radarmodul 13 erzeugten Radardatenelemente jeweils unterschiedlichen Radarzeitperioden. Eine einem Radardatenelement entsprechende Radarzeitperiode wird als eine Zeitdauer bestimmt, die an einem Zeitpunkt beginnt, an dem das Radarmodul 13 das Radardatenelement erzeugt, und genau dann endet, bevor das Radarmodul 13 ein nächstes Radardatenelement erzeugt. Darüber hinaus bestimmt die Recheneinrichtung 14 einen geschätzten Zeitpunkt basierend auf dem Schätzwert und der ersten Umrechnungsregel und bestimmt dann die eine Radarzeitperiode aus den Radarzeitperioden, in die der geschätzte Zeitpunkt fällt. Die erste Umrechnungsregel ist eine Funktion des Objektparameters und wird basierend auf den Zeitpunkten, zu denen die Radardatenelemente durch das Radarmodul 13 jeweils erzeugt werden, und basierend auf Objektparameterwerten, die jeweils in Bezug auf die Radardatenelemente bestimmt werden, hergeleitet. 4 zeigt grafisch ein Beispiel für die erste Umrechnungsregel 410 und die Radarzeitperioden 420 - 423 gemäß einer Ausführungsform der Offenbarung, wobei die Radarzeitdauern 420 - 423 jeweils vier Radardatenelementen entsprechen, die durch das Radarmodul 13 jeweils zu Zeitpunkten t₀, t₁, t₂ und t₃ sequentiell erzeugt werden. Für den Schätzwert des in 4 beispielhaft dargestellten Objektparameters wird die Radarzeitperiode 421 bestimmt.In sub-step 215, based on the estimated value of the object parameter and a first conversion rule that defines a relationship between the object parameter and time, the computing device 14 determines a radar time period that is linked to the estimated value. In particular, the radar data items generated by the radar module 13 each correspond to different radar time periods. A radar time period corresponding to one radar datum is determined as a period of time starting at a point in time when the radar module 13 generates the radar datum and ending right before the radar module 13 generates a next radar datum. In addition, the computing device 14 determines an estimated point in time based on the estimated value and the first conversion rule and then determines the one radar time period from the radar time periods in which the estimated point in time falls. The first conversion rule is a function of the object parameter and is derived based on the times at which the radar data items are each generated by the radar module 13 and based on object parameter values each determined with respect to the radar data items. 4 12 graphically depicts an example of the first conversion rule 410 and the radar time periods 420-423, according to an embodiment of the disclosure, where the radar time periods 420-423 each correspond to four radar data items acquired by the radar module 13 at times t ₀ , t ₁ , t ₂ , and t ₃ are generated sequentially. For the estimated value of the in 4 The radar time period 421 is determined based on the object parameter shown as an example.

In Teilschritt 216 wählt die Recheneinrichtung 14 eines der vom Radarmodul 13 empfangenen Radardatenelemente, das der in Teilschritt 215 bestimmten Radarzeitperiode entspricht, als Ziel-Radardatenelement aus. Es wird darauf hingewiesen, dass die Teilschritte 211 - 216 das Ziel-Radardatenelement effektiv bestimmen können derart, dass es das Radardatenelement ist, das zeitlich am ehesten mit dem aktuellen Punktwolkendatenelement übereinstimmt, unabhängig davon, welche Abtastfrequenzen das Lidar-Modul 12 und das Radarmodul 13 verwenden, und unabhängig davon, wann das Lidar-Modul 12 und das Radarmodul 13 mit dem Scannen der Szene beginnen. Das auf diese Weise ausgewählte Ziel-Radardatenelement stellt einen Ausschnitt der Szene dar, der dem Ausschnitt der Szene, der durch das aktuelle Punktwolkendatenelement repräsentiert wird, zeitlich am nächsten liegt.In step 216, the computing device 14 selects one of the radar data elements received from the radar module 13, which corresponds to the radar time period determined in step 215, as the target radar data element. It should be noted that sub-steps 211 - 216 can effectively determine the target radar datum such that it is the radar datum that is closest in time to the current point cloud datum, regardless of what sampling frequencies the lidar module 12 and the radar module 13 use, and regardless of when the lidar module 12 and the radar module 13 start scanning the scene. The target radar data element selected in this way represents a section of the scene which is closest in time to the section of the scene which is represented by the current point cloud data element.

Zurück zu 2: In Schritt 22 analysiert die Recheneinrichtung 14 das aktuelle Punktwolkendatenelement unter Verwendung eines orientierten Bounding-Box-Algorithmus, der auf einer Principal-Component-Analyse (PCA) basieren kann, um Lidar-Positionsinformation in Bezug auf das mindestens eine Objekt in der Szene zu erhalten, die durch das Lidar-Modul 12 gescannt und im aktuellen Punktwolkendatenelement aufgezeichnet wird. Die Lidar-Positionsinformation 20 zeigt eine Position jedes des mindestens einen Objekts in der Szene an, die von dem aktuellen Punktwolkendatenelement hergeleitet wird.Back to 2 : In step 22, the computing device 14 analyzes the current point cloud data item using an oriented bounding box algorithm, which may be based on principal component analysis (PCA), to obtain lidar position information related to the at least one object in the scene obtained, which is scanned by the lidar module 12 and recorded in the current point cloud data item. The lidar position information 20 indicates a position of each of the at least one object in the scene derived from the current point cloud data item.

In Schritt 23 verwendet die Recheneinrichtung 14 ein Kalman-Filter, um für jedes des mindestens einen Objekts eine Position des Objekts basierend auf der Lidar-Positionsinformation, die für das aktuelle Punktwolkendatenelement erhalten wird, und der Lidar-Positionsinformation, die zuvor für jedes des mindestens einen Punktwolkendatenelements erhalten wurde, das vor dem aktuellen Punktwolkendatenelement empfangen wurde (als „mindestens ein vorheriges Punktwolkendatenelement“ bezeichnet), zu verfolgen, und bestimmt für jedes des mindestens einen Objekts einen Relativabstand des Objekts von der Trägervorrichtung basierend auf der derart verfolgten Position des Objekts. Es wird darauf hingewiesen, dass die Position des Objekts, die unter Verwendung des Kalman-Filters basierend auf der Lidar-Positionsinformation verfolgt wird, genauer ist als die Position des Objekts, die durch die Lidar-Positionsinformation angezeigt wird.In step 23, the computing device 14 uses a Kalman filter to calculate, for each of the at least one object, a position of the object based on the lidar position information obtained for the current point cloud data item and the lidar position information previously obtained for each of the at least a point cloud data item received before the current point cloud data item was received (referred to as "at least one previous point cloud data item"), and determines, for each of the at least one object, a relative distance of the object from the host device based on the object's position so tracked. It is noted that the position of the object tracked using the Kalman filter based on the lidar position information is more accurate than the position of the object indicated by the lidar position information.

In Schritt 24 analysiert die Recheneinrichtung 14 das Ziel-Radardatenelement, das für das aktuelle Punktwolkendatenelement in Schritt 21 ausgewählt worden ist, unter Verwendung des orientierten Bounding-Box-Algorithmus, um Radarpositionsinformation in Bezug auf das mindestens eine Objekt in der Szene zu erhalten, die durch das Radarmodul 13 gescannt und im Ziel-Radardatenelement aufgezeichnet wird. Die RadarPositionsinformation zeigt eine Position jedes des mindestens einen Objekts an, die von dem Ziel-Radardatenelement hergeleitet wird.In step 24, the computing device 14 analyzes the target radar datum selected for the current point cloud datum in step 21 using the oriented bounding box algorithm to obtain radar position information related to the at least one object in the scene that scanned by the radar module 13 and recorded in the target radar datum. The radar position information indicates a position of each of the at least one object derived from the target radar data item.

In Schritt 25 verwendet die Recheneinrichtung 14 das Kalman-Filter, um für jedes des mindestens einen Objekts eine Position des Objekts basierend auf der Radarpositionsinformation, die in Bezug auf das aktuelle Punktwolkendatenelement erhalten wird, und der Radarpositionsinformation, die zuvor in Bezug auf jedes des mindestens einen vorherigen Punktwolkendatenelements erhalten wurde, zu verfolgen, und bestimmt für jedes des mindestens einen Objekts eine Relativgeschwindigkeit des Objekts in Bezug auf die Trägervorrichtung basierend auf der derart verfolgten Position des Objekts. Es wird darauf hingewiesen, dass die Position des Objekts, die unter Verwendung des Kalman-Filters basierend auf der Radarpositionsinformation verfolgt wird, im Vergleich zu der durch die Radarpositionsinformation angezeigten Position des Objekts genauer ist.In step 25, the computing device 14 uses the Kalman filter to calculate, for each of the at least one object, a position of the object based on the radar position information obtained in relation to the current point cloud data item and the radar position information previously obtained in relation to each of the at least a previous point cloud data item was obtained, and for each of the at least one object, determines a relative velocity of the object with respect to the host device based on the position of the object so tracked. It is noted that the position of the object tracked using the Kalman filter based on the radar position information is more accurate compared to the position of the object indicated by the radar position information.

Der in 2 dargestellte erste Vorgang kann in weiteren Ausführungsformen abgeändert werden, die über den Umfang der Beschreibung hinausgehen. Beispielsweise werden die Schritte 24 und 25 nicht notwendigerweise nach den Schritten 22 und 23 ausgeführt. Stattdessen können die Schritte 24 und 25 vor den Schritten 22 und 23 oder parallel zu den Schritten 22 und 23 ausgeführt werden.the inside 2 The first process shown can be modified in other embodiments that go beyond the scope of the description. For example, steps 24 and 25 are not necessarily performed after steps 22 and 23. Instead, steps 24 and 25 may be performed before steps 22 and 23 or in parallel with steps 22 and 23.

5 zeigt beispielhaft den zweiten Vorgang des Objekterfassungsverfahrens, der in Reaktion auf den Empfang eines Punktwolkendatenelements vom Lidar-Modul 12 durch die Recheneinrichtung 14 gemäß einer Ausführungsform der Offenbarung auszuführen ist. Der zweite Vorgang umfasst die Schritte 51 - 55, in denen das Punktwolkendatenelement, das die Ausführung dieser Schritte veranlasst, auch als „das aktuelle Punktwolkendatenelement“ bezeichnet wird. Der zweite Vorgang kann vor, nach oder gleichzeitig mit dem ersten Vorgang ausgeführt werden. 5 FIG. 12 illustrates an example of the second act of the object detection method to be performed in response to the computing device 14 receiving a point cloud data item from the lidar module 12, according to an embodiment of the disclosure. The second process includes steps 51-55, in which the point cloud data item that causes these steps to be performed is also referred to as "the current point cloud data item". The second operation can be performed before, after, or at the same time as the first operation.

In Schritt 51 wählt die Recheneinrichtung 14 für das aktuelle Punktwolkendatenelement ein erstes zu kombinierendes Bild aus den Bildern aus, die die Recheneinrichtung 14 von der Kameraeinrichtung 11 empfangen hat, wobei das erste zu kombinierende Bild zeitlich dem aktuellen Punktwolkendatenelement entspricht. Insbesondere weist Schritt 51 die in 6 dargestellten Teilschritte 511 - 516 auf, die in Bezug auf das aktuelle Punktwolkendatenelement auszuführen sind.In step 51, the computing device 14 selects a first image to be combined for the current point cloud data element from the images that the computing device 14 has received from the camera device 11, the first image to be combined corresponding in time to the current point cloud data element. In particular, step 51 instructs the in 6 sub-steps 511 - 516 shown, which are to be executed in relation to the current point cloud data element.

In Teilschritt 511 wählt die Recheneinrichtung 14 ein erstes Kandidatenbild und ein zweites Kandidatenbild aus den Bildern aus, die von der Kameraeinrichtung 11 empfangen worden sind. Das erste Kandidatenbild ist eines der Bilder, die durch die Kameraeinrichtung 11 zu einem Zeitpunkt (nachstehend als „Zeitpunkt des ersten Bildkandidaten“ bezeichnet) aufgenommen wird, der vor dem Punktwolkendaten-Zeitpunkt und diesem am nächsten liegt, wobei das Lidar-Modul 12 das aktuelle Punktwolkendatenelement zu dem Punktwolkendaten-Zeitpunkt erzeugt. Das zweite Kandidatenbild ist das vorherige eine Bild, das in der zeitlichen Folge, in der die Bilder aufgenommen werden, vor dem ersten Kandidatenbild liegt. Ein Zeitpunkt, zu dem die Kameraeinrichtung 11 das zweite Kandidatenbild erzeugt, wird nachstehend als „Zeitpunkt des zweiten Bildkandidaten“ bezeichnet.In sub-step 511 the computing device 14 selects a first candidate image and a second candidate image from the images which have been received by the camera device 11 . The first candidate image is one of the images captured by the camera device 11 at a point in time (hereinafter referred to as “first image candidate point in time”) which is before and closest to the point cloud data point in time, with the lidar module 12 being the current one Point cloud data item created at the point cloud data point in time. The second candidate image is the previous one image that precedes the first candidate image in the temporal sequence in which the images are captured. A point in time when the camera device 11 generates the second candidate image is hereinafter referred to as “second image candidate point in time”.

In Teilschritt 512 bestimmt die Recheneinrichtung 14 basierend zumindest auf dem ersten Kandidatenbild einen dritten Objektparameterwert, der mit dem Referenzobjekt in der Szene in der Umgebung der Trägervorrichtung verknüpft ist.In sub-step 512, the computing device 14 determines a third object parameter value based at least on the first candidate image, associated with the reference object in the scene surrounding the host device.

In Teilschritt 513 bestimmt die Recheneinrichtung 14 einen vierten Objektparameterwert basierend zumindest auf dem zweiten Kandidatenbild.In sub-step 513, the computing device 14 determines a fourth object parameter value based at least on the second candidate image.

In Fällen, in denen der Objektparameter die Relativposition des Referenzobjekts in Bezug auf die Trägervorrichtung ist, ist das Herleiten von Information über die Relativposition vom ersten und vom zweiten Kandidatenbild aus dem Stand der Technik bekannt. In einigen Ausführungsformen, in denen der Objektparameter der Abstand des Referenzobjekts von der Trägervorrichtung oder die Relativgeschwindigkeit des Referenzobjekts in Bezug auf die Trägervorrichtung ist, können der dritte und der vierte Wert vom ersten und vom zweiten Kandidatenbild basierend auf einer Brennweite eines durch die Kameraeinrichtung 11 verwendeten Objektivs hergeleitet werden und können ferner basierend auf einer Kameramodellformel basieren, die von einem Lochkameramodell zum Kalibrieren der Kameraeinrichtung 11 hergeleitet wird, es können aber auch andere bekannte Verfahren zum Bestimmen von Abständen und/oder Relativgeschwindigkeiten von Bildern verwendet werden.In cases where the object parameter is the relative position of the reference object with respect to the support device, deriving information about the relative position from the first and second candidate images is known in the prior art. In some embodiments, in which the object parameter is the distance of the reference object from the carrier device or the relative speed of the reference object with respect to the carrier device, the third and fourth values from the first and second candidate images can be based on a focal length of a used by the camera device 11 objective and may further be based on a camera model formula derived from a pinhole camera model for calibrating the camera device 11, but other known methods for determining distances and/or relative velocities of images may also be used.

In Teilschritt 514 bestimmt die Recheneinrichtung 14 einen hergeleiteten Objektparameterwert, der dem Punktwolkendaten-Zeitpunkt entspricht, zu dem das aktuelle Punktwolkendatenelement durch das Lidar-Modul 12 erzeugt wird. Insbesondere wird der Schätzwert basierend auf dem Punktwolkendatenzeitpunkt, dem Zeitpunkt des ersten Bildkandidaten, dem Zeitpunkt des zweiten Bildkandidaten, dem in Schritt 512 bestimmten dritten Wert und dem in Schritt 513 bestimmten vierten Wert bestimmt. In einigen Ausführungsformen, in denen der Objektparameter der Abstand des Referenzobjekts von der Trägervorrichtung ist, wird der hergeleitete Wert unter Verwendung der folgenden Formel hergeleitet: $f_{I} (t) = f_{I} ({t'}_{- 1}) + \frac{f_{I} ({t'}_{- 1}) - f_{I} ({t'}_{- 2})}{{t'}_{- 1} - {t'}_{- 2}} (t - {t'}_{- 1}) + ε_{2},$

wobei fi(t) der hergeleitete Wert ist, f_I(t' _-1) der dritte Wert ist, f_I(t' _-2) der vierte Wert ist, t'_-1 der Zeitpunkt des ersten Bildkandidaten ist, t'_-2 der Zeitpunkt des zweiten Bildkandidaten ist, t der Punktwolkendatenzeitpunkt ist und ε₂ ein anderer Rundungsfehler ist, der im Voraus durch Experimente bestimmbar ist.In sub-step 514, the computing device 14 determines a derived object parameter value that corresponds to the point cloud data time point at which the current point cloud data element is generated by the lidar module 12. Specifically, the estimated value is determined based on the point cloud data time point, the first image candidate time point, the second image candidate time point, the third value determined in step 512 , and the fourth value determined in step 513 . In some embodiments where the object parameter is the distance of the reference object from the support device, the derived value is derived using the following formula:

f_{I} (t) = f_{I} ({t'}_{- 1}) + \frac{f_{I} ({t'}_{- 1}) - f_{I} ({t'}_{- 2})}{{t'}_{- 1} - {t'}_{- 2}} (t - {t'}_{- 1}) + e_{2},

where fi(t) is the derived value, f _I (t' _-1 ) is the third value, f _I (t' _-2 ) is the fourth value, t' _-1 is the time of the first image candidate, t' _{- 2} is the time point of the second image candidate, t is the point cloud data time point, and ε ₂ is another rounding error determinable in advance through experiments.

In Teilschritt 515 bestimmt die Recheneinrichtung 14 basierend auf dem hergeleiteten Objektparameterwert und einer zweiten Umrechnungsregel, die eine Beziehung zwischen dem Objektparameter und der Zeit definiert, eine Kamerazeitperiode, die mit dem hergeleiteten Wert verknüpft ist. Insbesondere entsprechen die durch die Kameraeinrichtung 11 aufgenommenen Bilder jeweils verschiedenen Kamerazeitperioden. Eine Kamerazeitdauer, die einem Bild entspricht, ist als eine Zeitdauer bestimmt, die zu einem Zeitpunkt beginnt, an dem das Bild durch die Kameraeinrichtung 11 aufgenommen wird, und genau dann endet, bevor die Kameraeinrichtung 11 ein nächstes Bild aufnimmt. Außerdem bestimmt die Recheneinrichtung 14 einen hergeleiteten Zeitpunkt basierend auf dem hergeleiteten Wert und der zweiten Umrechnungsregel und bestimmt dann die eine Kamerazeitperiode von den Kamerazeitperioden, in die der hergeleitete Zeitpunkt fällt. Die zweite Umrechnungsregel ist eine Funktion des Objektparameters und wird basierend auf den Zeitpunkten, zu denen die Bilder jeweils durch die Kameraeinrichtung 11 jeweils aufgenommen werden, und basierend auf Objektparameterwerten, die jeweils in Bezug auf die Bilder bestimmt werden, hergeleitet. 7 zeigt grafisch ein Beispiel der zweiten Umrechnungsregel 710 und der Kamerazeitperioden 720 - 723 gemäß einer Ausführungsform der Offenbarung, wobei die Kamerazeitperioden 720 - 723 jeweils vier Bildern entsprechen, die durch die Kameraeinrichtung 11 zu jeweiligen Zeitpunkten T₀, T₁, T₂ bzw. T₃ sequentiell aufgenommen werden. Für den hergeleiteten Wert des in 7 beispielhaft dargestellten Objektparameters wird die Kamerazeitperiode 721 bestimmt.In sub-step 515, the computing device 14 determines a camera time period associated with the derived value based on the derived object parameter value and a second conversion rule that defines a relationship between the object parameter and time. In particular, the images recorded by the camera device 11 each correspond to different camera time periods. A camera time period corresponding to one image is determined as a time period starting at a point in time when the image is captured by the camera device 11 and ending right before the camera device 11 captures a next image. In addition, the computing device 14 determines a derived point in time based on the derived value and the second conversion rule, and then determines the one camera time period of the camera time periods in which the derived point in time falls. The second conversion rule is a function of the object parameter and is derived based on the times at which the images are respectively captured by the camera device 11 and based on object parameter values determined with respect to the images respectively. 7 FIG. 1 graphically shows an example of the second conversion rule 710 and the camera time periods 720-723, according to an embodiment of the disclosure, wherein the camera time periods 720-723 each correspond to four images captured by the camera device 11 at respective times T ₀ , T ₁ , T ₂ , and T ₃ can be recorded sequentially. For the derived value of the in 7 The camera time period 721 is determined based on the object parameter shown as an example.

In Teilschritt 516 wählt die Recheneinrichtung 14 eines der von der Kameraeinrichtung 11 empfangenen Bilder, das der in Teilschritt 515 bestimmten Kamerazeitperiode entspricht, als das erste zu kombinierende Bild aus. Es wird darauf hingewiesen, dass die Teilschritte 511 - 516 das erste zu kombinierende Bild effektiv bestimmen können derart, dass es das Bild ist, das zeitlich am ehesten mit dem aktuellen Punktwolkendatenelement übereinstimmt, unabhängig davon, welche Abtastfrequenzen die Kameraeinrichtung 11 und das Lidar-Modul 12 verwenden, und unabhängig davon, wann die Kameraeinrichtung 11 und das Lidar-Modul 12 mit dem Fotografieren und Scannen der Szene beginnen.In sub-step 516, the computing device 14 selects one of the images received from the camera device 11, which corresponds to the camera time period determined in sub-step 515, as the first image to be combined. It should be noted that sub-steps 511 - 516 can effectively determine the first image to be combined such that it is the image that is closest in time to the current point cloud data item, regardless of the sampling rates of the camera device 11 and the lidar module 12, and regardless of when the camera assembly 11 and lidar module 12 begin photographing and scanning the scene.

Zurück zu 5: In Schritt 52 wählt die Recheneinrichtung 14 für das aktuelle Punktwolkendatenelement ein zweites zu kombinierendes Bild aus den Bildern aus, die die Recheneinrichtung 14 von der Kameraeinrichtung 11 empfangen hat. Das zweite zu kombinierende Bild ist das N-te Bild vor dem ersten zu kombinierenden Bild in der zeitlichen Folge der Bildaufnahme. In einer Ausführungsform ist N gleich drei. In einigen anderen Ausführungsformen ist N eine ganze Zahl, die größer ist als drei.Back to 5 : In step 52, the computing device 14 selects a second image to be combined from the images that the computing device 14 has received from the camera device 11 for the current point cloud data element. The second image to be combined is the Nth image before the first image to be combined in the time series of image acquisition. In one embodiment, N equals three. In some other embodiments, N is an integer greater than three.

In Schritt 53 kombiniert die Recheneinrichtung 14 das erste zu kombinierende Bild und das zweite zu kombinierende Bild, um ein kombiniertes Bild in Bezug auf das aktuelle Punktwolkendatenelement zu erzeugen. In einigen Ausführungsformen fügt die Recheneinrichtung 14 einen Teil des ersten zu kombinierenden Bildes mit einem Teil des zweiten zu kombinierenden Bildes zusammen, um das kombinierte Bild zu erzeugen. In einer Ausführungsform, in der das Lidar-Modul 12 die Szene in der Richtung von rechts nach links scannt, fügt die Recheneinrichtung 14 die linke Hälfte des ersten zu kombinierenden Bildes mit der rechten Hälfte des zweiten zu kombinierenden Bildes (das früher als das erste zu kombinierende Bild aufgenommen wurde) zusammen, um das kombinierte Bild zu erzeugen, so dass der Inhalt des kombinierten Bildes sowohl zeitlich als auch räumlich eher mit dem Inhalt des aktuellen Punktwolkendatenelements übereinstimmen kann, das Daten umfasst, die den rechten Teil der Szene widerspiegeln, der früher gescannt/erhalten wurde, sowie Daten, die den linken Teil der Szene widerspiegeln, der später gescannt/erhalten wurde.In step 53, the computing device 14 combines the first image to be combined and the second image to be combined to form a combined generate an image related to the current point cloud data item. In some embodiments, the computing device 14 merges a portion of the first image to be combined with a portion of the second image to be combined to generate the combined image. In an embodiment in which the lidar module 12 scans the scene in the right-to-left direction, the computing device 14 merges the left half of the first image to be combined with the right half of the second image to be combined (which is earlier than the first combining image was captured) together to produce the combined image such that the content of the combined image may more closely match, both temporally and spatially, the content of the current point cloud data item, which includes data reflecting the right part of the scene that used to be was scanned/obtained as well as data reflecting the left part of the scene which was later scanned/obtained.

In Schritt 54 erzeugt die Recheneinrichtung 14 ein Ergebnisbild in Bezug auf das aktuelle Punktwolkendatenelement durch Einbeziehen des aktuellen Punktwolkendatenelements in das kombinierte Bild. Insbesondere umfasst Schritt 54 die in 8 dargestellten Teilschritte 541 - 544.In step 54, the computing device 14 generates a resultant image related to the current point cloud data item by including the current point cloud data item in the combined image. In particular, step 54 includes the 8th sub-steps 541 - 544 shown.

In Teilschritt 541 erzeugt die Recheneinrichtung 14 ein zweidimensionales (2D) Punktwolkendatenelement basierend auf dem aktuellen Punktwolkendatenelement und einem Satz von Koordinatenumrechnungskoeffizienten. Gemäß einigen Ausführungsformen kann das Erzeugen des 2D-Punktwolkendatenelements eine Dimensionalitätsreduktion unter Verwendung einer PCA umfassen. Der Satz von Umrechnungskoeffizienten ist mit einem Punktwolken-Koordinatensystem verknüpft, das mit dem durch das Lidar-Modul 12 erzeugten Punktwolkendatenelement assoziiert ist, und ist mit einem Bildpixel-Koordinatensystem verknüpft, das mit den durch die Kameraeinrichtung 11 aufgenommenen Bildern assoziiert ist. Der Satz von Umrechnungskoeffizienten weist eine intrinsische Matrix und eine extrinsische Matrix auf. Die intrinsische Matrix kann basierend auf der Brennweite (in Pixeln) der Kameraeinrichtung 11 und einem Satz von Zentralkoordinaten der durch die Kameraeinrichtung 11 erzeugten Bilder hergeleitet werden. Die extrinsische Matrix kann basierend auf einer Relativposition des Lidar-Moduls 12 in Bezug auf die Position der Kameraeinrichtung 11 hergeleitet werden. Das Umwandeln des aktuellen Punktwolkendatenelements in das 2D-Punktwolkendatenelement kann durch bekannte Techniken erreicht werden, z.B. mit der Technologie der Camera Calibration Toolbox für Mat-Lab, wie auf der Website www.vision.caltech.edu beschrieben ist. Gemäß einigen Ausführungsformen kann das 2D-Punktwolkendatenelement ein Bild sein, das mehrere Punkte umfasst, die ein Objekt bzw. Objekte repräsentieren und die durch das Lidar-Modul 12 erfasst und im aktuellen Punktwolkendatenelement repräsentiert sind, und die jeweils Datenpunkten entsprechen, die im aktuellen Punktwolkendatenelement umfasst sind (d.h. die Punkte im 2D-Punktwolkendatenelement sind eine abgebildete Version der Datenpunkte im aktuellen Punktwolkendatenelement).In sub-step 541, the computing device 14 creates a two-dimensional (2D) point cloud data item based on the current point cloud data item and a set of coordinate conversion coefficients. According to some embodiments, generating the 2D point cloud data item may include dimensionality reduction using a PCA. The set of conversion coefficients is associated with a point cloud coordinate system associated with the point cloud data item generated by the lidar module 12 and is associated with an image pixel coordinate system associated with the images captured by the camera device 11 . The set of conversion coefficients has an intrinsic matrix and an extrinsic matrix. The intrinsic matrix can be derived based on the focal length (in pixels) of the camera device 11 and a set of central coordinates of the images generated by the camera device 11 . The extrinsic matrix may be derived based on a relative position of the lidar module 12 with respect to the position of the camera device 11 . Converting the current point cloud data item to the 2D point cloud data item can be accomplished by known techniques, such as the Camera Calibration Toolbox for Mat-Lab technology, as described at the website www.vision.caltech.edu. According to some embodiments, the 2D point cloud data item may be an image comprising a plurality of points representing an object or objects that are captured by the lidar module 12 and represented in the current point cloud data item, and that each correspond to data points contained in the current point cloud data item are included (i.e. the points in the 2D point cloud data item are a mapped version of the data points in the current point cloud data item).

In Teilschritt 542 erfasst die Recheneinrichtung 14 Randmerkmale, die im 2D-Punktwolkendatenelement auftreten und mit dem mindestens einen Objekt in der Szene verknüpft sind, um Grenzen des mindestens einen Objekts zu finden, das im 2D-Punktwolkendatenelement repräsentiert ist. Die Randerfassung in Punktwolken ist auf dem Fachgebiet bekannt und wird daher hier nicht im Detail beschrieben.In sub-step 542, the computing device 14 detects edge features occurring in the 2D point cloud data item and associated with the at least one object in the scene to find boundaries of the at least one object represented in the 2D point cloud data item. Edge detection in point clouds is well known in the art and is therefore not described in detail here.

In Teilschritt 543 erfasst die Recheneinrichtung 14 Randmerkmale, die im kombinierten Bild auftreten und mit dem mindestens einen Objekt in der Szene verknüpft sind, um Grenzen des mindestens einen Objekts zu finden, das im kombinierten Bild repräsentiert ist. Die Randerfassung in Bildern ist ebenfalls auf dem Fachgebiet bekannt und wird hier nicht im Detail beschrieben.In sub-step 543, the computing device 14 detects edge features occurring in the combined image and associated with the at least one object in the scene to find boundaries of the at least one object represented in the combined image. Edge detection in images is also known in the art and will not be described in detail here.

In Teilschritt 544 führt die Recheneinrichtung 14 eine Bildregistrierung bezüglich des 2D-Punktwolkendatenelements und des kombinierten Bildes durch Ausrichten der Randmerkmale im 2D-Punktwolkendatenelement mit den Randmerkmalen im kombinierten Bild aus, um das Ergebnisbild zu erzeugen.In sub-step 544, the computing device 14 performs image registration on the 2D point cloud data item and the combined image by aligning the edge features in the 2D point cloud data item with the edge features in the combined image to generate the resultant image.

Zurückkommend zu 5, gibt in Schritt 55 die Recheneinrichtung 14 das Ergebnisbild in ein trainiertes Objekterfassungsmodell ein, das ein maschinelles Lernmodell ist, um eine Klasse zu bestimmen, der jedes im Ergebnisbild dargestellte Objekt zugehörig ist. Das maschinelle Lernmodell wird im Voraus unter Verwendung eines maschinellen Lernalgorithmus und einer Vielzahl von Trainingsbildern trainiert, von denen jedes auf eine ähnliche Weise wie das Ergebnisbild erzeugt wird, und von denen jedes mit einer Position und einer Klasse jedes im Trainingsbild dargestellten Objekts gekennzeichnet ist.Coming back to 5 , in step 55 the computing device 14 inputs the resultant image into a trained object detection model, which is a machine learning model, to determine a class to which each object represented in the resultant image belongs. The machine learning model is trained in advance using a machine learning algorithm and a plurality of training images, each generated in a manner similar to the resultant image, and each labeled with a location and a class of each object represented in the training image.

Gemäß einigen Ausführungsformen kann die Recheneinrichtung 14 den in Schritt 23 bestimmten Relativabstand, die in Schritt 25 bestimmte Relativgeschwindigkeit und die in Schritt 55 bestimmte Klasse verwenden, um zu bestimmen, ob irgendein Objekt (d.h. ein Hindernis) vorhanden ist, das sich auf der Route der Trägervorrichtung befindet. In einigen Ausführungsformen kann die Recheneinrichtung 14 die Trägervorrichtung derart steuern, dass sie ihre Route ändert, um das Hindernis zu umgehen, oder ein Warnsignal ausgibt (z.B. ein Tonsignal, das über einen auf der Trägervorrichtung installierten Lautsprecher ausgegeben wird, eine Nachricht, die auf einem auf der Trägervorrichtung installierten Bildschirm angezeigt wird, oder ein Lichtsignal, das von einer auf der Trägervorrichtung installierten Glühlampe ausgegeben wird), um die Aufmerksamkeit einer Aufsichtsperson zu erregen, die den Betrieb der Trägervorrichtung überwacht, so dass eine Kollision der Trägervorrichtung mit dem Hindernis vermieden wird.According to some embodiments, computing device 14 may use the relative distance determined in step 23, the relative speed determined in step 25, and the class determined in step 55 to determine whether there is any object (ie, an obstacle) that is on the route of the Carrier device is located. In some embodiments, the computing device 14 can control the carrier device to change its route to avoid the obstacle, or emits a warning signal (e.g. a sound signal emitted through a loudspeaker installed on the supporting device, a message displayed on a screen installed on the supporting device, or a light signal emitted by a light bulb installed on the supporting device). to attract the attention of an attendant supervising the operation of the carrier device so that collision of the carrier device with the obstacle is avoided.

Unter Verwendung des vorstehend beschriebenen Objekterfassungsverfahrens, das den ersten und den zweiten Vorgang aufweist, die in den 2 und 5 dargestellt sind, können für jedes Objekt in der Szene in der Umgebung der Trägervorrichtung Abstands-, Geschwindigkeits- und Klasseninformation (wobei die Abstandsinformation hauptsächlich durch Daten vom Lidar-Modul 12, die Geschwindigkeitsinformation hauptsächlich durch Daten vom Radarmodul 13 und die Klasseninformation hauptsächlich durch Daten von der Kameraeinrichtung 11 bestimmt werden) des Objekts im Wesentlichen zu einem einzigen Zeitpunkt hergeleitet werden, so dass der nachteilige Effekt, der durch eine Asynchronisation in der Erfassungszeit (und auch des Erfassungsraums) in Bezug auf die Kameraeinrichtung 11, das Lidar-Modul 12 und das Radarmodul 13 verursacht wird, vermindert werden kann. Es ist bekannt, dass Radarsensoren ein gutes Mittel zum Bestimmen von (relativen) Geschwindigkeiten von Objekten sind, Lidar-Sensoren ein gutes Mittel zum Bestimmen von (relativen) Abständen von Objekten sind, und Kameras ein gutes Mittel zum Bestimmen der Klasse der Objekte sind. Das dargestellte Objekterfassungsverfahren geht erfolgreich mit dem Asynchronisationsproblem um, das bei Verwendung mehrerer Sensoren auftritt, und nutzt die Stärken der Kameraeinrichtung 11, des Lidar-Moduls 12 und des Radarmoduls 13 effektiv.Using the above-described object detection method having the first and second processes described in FIGS 2 and 5 are shown, for each object in the scene in the vicinity of the carrier device, distance, speed and class information (whereby the distance information is mainly provided by data from lidar module 12, the speed information is primarily provided by data from radar module 13 and the class information is primarily provided by data from of the camera device 11) of the object can be derived essentially at a single point in time, so that the adverse effect caused by an asynchronization in the detection time (and also the detection space) with respect to the camera device 11, the lidar module 12 and the Radar module 13 is caused, can be reduced. It is known that radar sensors are a good means of determining (relative) speeds of objects, lidar sensors are a good means of determining (relative) distances of objects, and cameras are a good means of determining the class of objects. The presented object detection method successfully deals with the asynchronization problem that arises when using multiple sensors and uses the strengths of the camera device 11, the lidar module 12 and the radar module 13 effectively.

In der vorstehenden Beschreibung sind zu Erläuterungszwecken zahlreiche spezifische Details dargelegt worden, um ein umfassendes Verständnis der Ausführungsformen zu ermöglichen. Für Fachleute ist jedoch offensichtlich, dass eine oder mehrere andere Ausführungsformen ohne einige dieser spezifischen Details realisierbar sind. Es sollte auch klar sein, dass in der vorliegenden Patentschrift die Bezugnahme auf „eine Ausführungsform“, eine Ausführungsform mit der Angabe einer Ordnungszahl usw. bedeutet, dass bei der praktischen Anwendung der Offenbarung ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft umfasst sein kann. Es sollte ferner beachtet werden, dass in der Beschreibung verschiedene Merkmale manchmal in einer einzigen Ausführungsform, Figur oder Beschreibung davon zusammengefasst sind, um die Beschreibung zu straffen und das Verständnis für die verschiedenen erfinderischen Aspekte zu erleichtern, und dass bei der praktischen Anwendung der Offenbarung gegebenenfalls ein oder mehrere Merkmale oder spezifische Details einer Ausführungsform zusammen mit einem oder mehreren Merkmalen oder spezifischen Details einer anderen Ausführungsform implementiert sein können.In the foregoing description, for the purposes of explanation, numerous specific details are set forth in order to provide a thorough understanding of the embodiments. However, it will be apparent to those skilled in the art that one or more other embodiments may be implemented without some of these specific details. It should also be understood that reference throughout this specification to “an embodiment,” an embodiment with an atomic number designation, etc., means that a particular feature, structure, or characteristic is encompassed in the practice of the disclosure can. It should further be noted that in the description, various features are sometimes grouped together into a single embodiment, figure, or description thereof in order to streamline the description and to facilitate understanding of the various inventive aspects and that in the practice of the disclosure, where appropriate one or more features or specific details of one embodiment may be implemented together with one or more features or specific details of another embodiment.

Claims

Object detection method to be carried out by a computing device (14) which communicates with a camera device (11) and a lidar module (12) which are arranged on a carrier device, the camera device (11) being set up to continuously record a series capture images showing a scene that is in the vicinity of the host device, the scene comprising at least one object, the lidar module (12) being configured to continuously monitor the scene that is in the vicinity of the host device to scan in order to generate in series a plurality of point cloud data elements which represent the scene, the computing device (14) being set up to receive the images from the camera device (11) and to receive the point cloud data elements from the lidar module (12), the object detection method being characterized by the following steps to be performed with respect to each of the point cloud data items after the point cloud data item has been received by the lidar module (12): selecting a first image to be combined from the images received from the camera means (11), the first image to be combined corresponding in time to the point cloud data item; selecting a second image to be combined from the images received from the camera device (11), the second image to be combined being the Nth image in the time sequence of image acquisition before the first image to be combined and N an integer is not less than three; combining the first image to be combined and the second image to be combined to create a combined image; generating a resultant image by inserting the point cloud data item into the combined image; and Inputting the resultant image to a trained machine learning model to determine a class to which each object represented in the resultant image belongs.

object detection method claim 1 , wherein the images recorded by the camera device (11) each correspond to different camera time periods and the method fer ner is characterized in that the step of selecting a first image to be combined has the following sub-steps: selecting a first candidate image and a second candidate image from the images received from the camera device (11), the first candidate image being one of the images to is captured at a first time prior to and closest to a second time, the point cloud data item being generated by the lidar module (12) at the second time, and the second candidate image being the previous image prior to the first candidate image in the temporal sequence of the image acquisition is; based on the first candidate image, determining a first object parameter value associated with one of the at least one object in the scene surrounding the host device; based on the second candidate image, determining a second object parameter value; based on the first point in time, the second point in time, a third point in time at which the second candidate image is captured by the camera device (11), the first object parameter value and the second object parameter value, determining a derived object parameter value corresponding to the second point in time; based on the derived object parameter value and a conversion rule defining a relationship between the object parameter and time, determining one of the camera time periods associated with the derived value; and selecting one of the images received from the camera means (11) corresponding to the one of the camera time periods so determined to serve as the first image to be combined.

object detection method claim 2 , further characterized in that the sub-step of determining a derived value is to determine the derived value using the following formula:

f_{I} (t) = f_{I} (t_{- 1}) + \frac{f_{I} (t_{- 1}) - f_{I} (t_{- 2})}{t_{- 1} - t_{- 2}} (t - t_{- 1}) + e,

where fi(t) is the derived value, f _I (t _-1 ) is the first object parameter value, f _I (t _-2 ) is the second object parameter value, t _-1 is the first time point, t _-2 is the third time point, t is the second point in time and ε is a rounding error.

object detection method claim 1 , further characterized in that the step of combining the first image to be combined and the second image to be combined is to merge a portion of the first image to be combined with a portion of the second image to be combined to create the combined image.

Object detection method according to one of Claims 1 until 4 , further characterized in that the step of generating a result image comprises the sub-steps of: generating a two-dimensional (2D) point cloud data item, based on the point cloud data item and on a set of coordinate conversion coefficients, wherein the set of conversion coefficients is associated with a point cloud coordinate system associated with the point cloud data items generated by the lidar module (12) and linked to an image pixel coordinate system associated with the images captured by the camera device (11); detecting edge features occurring in the 2D point cloud data item associated with the at least one object in the scene; detecting edge features occurring in the combined image and associated with the at least one object in the scene; and performing image registration on the 2D point cloud data item and the combined image by aligning the edge features in the 2D point cloud data item with the edge features in the combined image to generate the resultant image.

Object detection method according to one of Claims 1 until 5 , further characterized by the following steps to be performed with respect to each of the point cloud data items after the point cloud data item has been received from the lidar module (12): analyzing the point cloud data item using a bounding box algorithm to obtain lidar position information with respect to obtain the at least one object in the scene scanned by the lidar module (12) and recorded in the point cloud data item; and using a Kalman filter to track, for each of the at least one object, a position of the object based on the lidar position information obtained for the point cloud data item and other lidar position information previously available for each of the at least one point cloud data item prior to the current point cloud data item was received, and determining a relative distance of the object from the carrier device based on the position of the object so tracked for each of the at least one object.

Object detection method according to one of Claims 1 until 6 , wherein the computing device (14) communicates with a radar module (13) which is arranged on the carrier device, wherein the radar module (13) is set up to continuously scan the scene in the vicinity of the carrier device in order to generate a plurality of radar data elements representing the scene in series, the computing device (14) being set up to receive the radar data elements from the radar module (13). received, the object detection method being further characterized by the following steps to be performed with respect to each of the point cloud data items after the point cloud data item has been received by the lidar module (12): selecting a target radar data item for the point cloud data item from among the radar data items containing the computing means (14) received from the radar module (13), the target radar datum corresponding in time to the point cloud datum; analyzing the target radar datum using an oriented bounding box algorithm to obtain radar position information related to the at least one object in the scene scanned by the radar module (13) and recorded in the target radar datum; and using a Kalman filter to determine, for each of the at least one object, a position of the object based on the radar position information obtained in relation to the point cloud data item and other radar position information previously obtained in relation to each of the at least one point cloud data item existing prior to the point cloud data item was received, and determining, for each of the at least one object, a relative velocity of the object with respect to the host device based on the position of the object so tracked.

Object detection device according to claim 7 , wherein the radar datum generated by the radar module (13) respectively correspond to different radar time periods, and wherein the method is further characterized in that the step of selecting a target radar datum comprises the sub-steps of: selecting a first candidate radar datum and a second candidate radar datum from those generated by the radar module (13) received radar data items, wherein the first candidate radar data item is one of the radar data items generated at a first time prior to and closest to a second time, at which second time the point cloud data item is read by the lidar module (12) is generated, and wherein the second candidate radar datum is the previous radar datum before the first radar datum in the time series of radar data generation; based on the first candidate radar datum, determining a first object parameter value associated with one of the at least one object in the scene in the vicinity of the host device; based on the second candidate radar datum, determining a second object parameter value; based on the first point in time, the second point in time, a third point in time at which the second radar datum candidate is generated by the radar module (13), the first object parameter value and the second object parameter value, determining an estimated value of the object parameter corresponding to the second point in time; based on the estimate of the object parameter and a conversion rule defining a relationship between the object parameter and time, determining one of the radar time periods associated with the estimate; and selecting one of the radar datum received from the radar module (13) corresponding to the one of the radar time periods so determined to serve as the target radar datum.

object detection method claim 8 , further characterized in that the sub-step of determining an estimate is to determine the estimate using the following formula:

f_{R} (t) = f_{R} (t_{- 1}) + \frac{f_{R} (t_{- 1}) - f_{R} (t_{- 2})}{t_{- 1} - t_{- 2}} (t - t_{- 1}) + e,

where f _R (t) is the estimated value, f _R (t _-1 ) is the first object parameter value, f _R (t _-2 ) is the second object parameter value, t _-1 is the first time, t _-2 is the third time, t is the second point in time and ε is a rounding error.