DE10128954A1

DE10128954A1 - Monitoring method of spatial areas for moving or stationary objects using a laser scanning system, e.g. for monitoring the area in front of a motor vehicle, ensures that only one object is detected in an overlapping zone

Info

Publication number: DE10128954A1
Application number: DE10128954A
Authority: DE
Inventors: Ulrich Lages; Volker Willhoeft; Martin Dittmer
Original assignee: Ibeo Automobile Sensor GmbH
Current assignee: Ibeo Automobile Sensor GmbH
Priority date: 2001-06-15
Filing date: 2001-06-15
Publication date: 2002-12-19

Abstract

Method for provision of corrected data for generation of a model of a monitoring area (26) that is divided into two viewing areas (22, 24) using two optoelectronic sensors (10, 12), especially laser scanners for determination of the position of objects (28) within the area. According to the method raw data from each of the sensors within a given time period is assigned to a group. Each data group is then corrected using corrected data elements and transformed to a common coordinate system. Independent claims are also included for; (1) Computer program; (2) Corresponding device.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung korri gierter Daten zur Erzeugung eines Modells eines Überwachungsbereichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektronischen Sensoren, insbesondere Laserscannern, zur Bestimmung der Lage von erfaßten Gegenständen enthalten ist, ein entsprechendes Verfahren zur Erzeugung eines entsprechenden Modells sowie eine Vorrichtung zur Durchführung des Verfahrens.The present invention relates to a method for providing corri data for generating a model of a surveillance area, in the respective fields of view of at least two optoelectronic ones Sensors, especially laser scanners, for determining the position of is included, a corresponding method for Generation of a corresponding model and a device for Execution of the procedure.

Optoelektronische Sensoren zur Bestimmung der Lage von von ihnen er faßten Gegenständen, insbesondere Laserscanner zur Lageerfassung, sind grundsätzlich bekannt. Sie werden unter anderem dazu verwendet, unter Anwendung entsprechender Verfahren zur Weiterverarbeitung der von dem Sensor erfaßten Daten ein Modell ihres Sichtbereichs zu erzeugen, das eine Basis für weitere Verfahren zum Beispiel zur Steuerung von Vor richtungen in dem Sichtbereich oder in der Nähe des Sichtbereichs des Sensors bilden kann.Photoelectric sensors to determine the location of them objects, especially laser scanners for position detection basically known. They are used, among other things, at Application of appropriate processes for the further processing of to generate a model of their field of vision for the data acquired by the sensor, this is the basis for further processes, for example for controlling pre directions in or near the field of vision of the Sensor can form.

Ein Laserscanner, der winkelaufgelöst die Umgebung abtastet, erfaßt da bei zum Beispiel, ob bei einem bestimmten Winkel ein vom ihm ausge sandter Laserlichtstrahl von einem Punkt eines Gegenstands reflektiert wird und, falls dies der Fall ist, aus welcher Entfernung der Strahl reflek tiert wurde. Damit wird eine Menge von Datenpunkten in Form von Polar koordinaten erhalten, die die Lage von erfaßten Gegenstandspunkten cha rakterisieren. Häufig wird auf der Basis der von dem Sensor ausgegebenen Daten über die Lage einzelner erfaßter Gegenstandspunkte eine Objekter kennung und Objektverfolgung durchgeführt, um Gegenstände in dem Sichtbereich des Sensors als Ansammlung von Gegenstandspunkten zu erkennen, wobei erkannte Objekte in dem Modell entsprechenden Gegen ständen im Sichtbereich des Sensors zugeordnet sind. Die Objektinforma tionen des Modells werden dann bei nachfolgenden Verfahren verwendet.A laser scanner that scans the surroundings at an angle detects it at, for example, whether at a certain angle one originates from it A laser beam reflected from a point on an object and, if this is the case, the distance from which the beam is reflected was animal. This creates a lot of data points in the form of polar Get coordinates that cha the location of detected object points rakterisieren. Often, based on the output from the sensor Data about the location of individual detected object points an object Detection and object tracking performed to find objects in the Field of view of the sensor as a collection of object points recognize, with recognized objects in the model corresponding counter stands in the field of view of the sensor. The object information The model is then used in subsequent procedures.

Solche Sensoren können, zum Beispiel in Fahrzeugen aber auch in statio nären Einrichtungen, dazu benutzt werden, einen Überwachungsbereich, zum Beispiel vor dem Fahrzeug, zu beobachten. Zur Erweiterung des be obachteten Bereichs können dabei mindestens zwei Sensoren verwendet werden, deren Sichtbereiche sich in der Regel überschneiden. Befinden sich von den Sensoren erfaßte Objekte im Überschneidungsbereich, wer den an die nachfolgenden Verfahren von den Sensoren jeweils unter schiedliche Objektinformationen in Bezug auf den gleichen Gegenstand weitergegeben. Da in dem Modell der erfaßten Umgebung einem Gegen stand nur ein Objekt zugeordnet sein sollte, muß das Verfahren dann eine sogenannte Objektfusion durchführen. Dabei werden unterschiedliche Objekte der einzelnen Sensoren, die einem Gegenstand entsprechen, zu einem neuen Objekt zusammengeführt.Such sensors can, for example in vehicles, but also in statio facilities, are used to create a surveillance area, for example in front of the vehicle. To expand the be monitored area, at least two sensors can be used whose viewing areas usually overlap. Are located objects detected by the sensors in the overlap area, who to the following procedures from the sensors below different object information related to the same object passed. Because in the model of the detected environment a counter If only one object was to be assigned, the procedure must then be one perform so-called object fusion. Doing so will be different Objects of the individual sensors that correspond to an object merged into a new object.

Bei bekannten Verfahren erfolgt diese Objektfusion allein aufgrund der Objektdaten. Dies hat jedoch den Nachteil, daß hierbei nur eine - bezogen auf den Aufwand - geringe Genauigkeit des Modells nach der Objektfusion gegeben ist. Dies ist insbesondere dann der Fall, wenn die Gegenstände sich relativ zu den Sensoren bewegen.In known methods, this object fusion takes place solely on the basis of Object data. However, this has the disadvantage that only one - related on the effort - low accuracy of the model after object fusion given is. This is especially the case when the items move relative to the sensors.

Es ist Aufgabe der Erfindung, ein Verfahren sowie eine Vorrichtung bereit zustellen, welches die Erzeugung eines Modells eines Überwachungsbe reichs im Sichtbereich von mindestens zwei optoelektronischen Sensoren zur Lagebestimmung von Gegenständen mit hoher Genauigkeit gestattet.It is an object of the invention to provide a method and an apparatus to deliver, which is the creation of a model of a surveillance area range in the field of view of at least two optoelectronic sensors for determining the position of objects with high accuracy.

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des An spruchs 1.The problem is solved by a method with the features of the An saying 1.

Das erfindungsgemäße Verfahren stellt zur Erzeugung eines Modells eines Überwachungsbereichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektronischen Sensoren, insbesondere Laserscannern, zur Be stimmung der Lage von erfaßten Gegenständen liegt und Gegenstand spunkte enthält, korrigierte Daten der Sensoren bereit, die die Basis für eine einheitliche Objekterkennung und/oder -verfolgung darstellen kön nen.The method according to the invention provides for generating a model Surveillance area of at least in each viewing area two optoelectronic sensors, in particular laser scanners, for loading the position of the detected objects lies and the object contains points, corrected data from the sensors that are the basis for can represent uniform object recognition and / or tracking NEN.

Der Überwachungsbereich liegt innerhalb der Sichtbereiche der einzelnen Sensoren, die sich zwar in der Regel überschneiden werden, dies jedoch nicht unbedingt müssen. Der Überwachungsbereich im Sinne der Erfin dung kann auch durch eine der Anzahl der Sensoren entsprechende An zahl sich nicht berührender und/oder sich nicht überschneidender Sicht bereiche gegeben sein.The surveillance area is within the individual's field of vision Sensors that will usually overlap, but they do not necessarily have to. The surveillance area in the sense of the Erfin can also be determined by a number corresponding to the number of sensors pays a non-touching and / or non-overlapping view areas are given.

Bei den optoelektronischen Sensoren kann es sich im Prinzip um beliebige Sensoren handeln, mittels derer die Lage einzelner Punkte eines Gegen stands erfaßbar ist, insbesondere um entsprechende Laserscanner.In principle, the optoelectronic sensors can be any Act sensors by means of which the position of individual points of a counter is detectable, especially by means of appropriate laser scanners.

Die Bereitstellung korrigierter Daten erfolgt auf der Basis von Mengen von Rohdatenelementen, die Gegenstandspunkten in dem Überwachungsbe reich entsprechen. Die Rohdatenelemente einer Menge werden jeweils von einem der Sensoren bei einer Abtastung des Sichtbereichs erfaßt, so daß diese Menge dem entsprechenden Sensor zugeordnet ist. Die Rohda tenelemente umfassen zumindest die Lage, das heißt die Koordinaten, von Gegenstandspunkten, die von dem zugeordneten Sensor erfaßt wurden. Bei diesen Koordinaten kann es sich um Koordinaten in beliebigen Koor dinatensystemen wie zum Beispiel kartesischen, Polar- oder Kugelkoordi natensystemen handeln. Werden, wie zum Beispiel in der Regel bei Laser scannern der Fall, die Abstände von Reflexionen bei aufeinanderfolgenden, durch einen fortlaufenden Index gekennzeichneten Abtastwinkeln mit fe sten Inkrementen als Lagekoordinaten erfaßt, so können als Koordinaten auch nur die Indizes und die Abstände verwendet werden, wobei die Win kelinkremente bekannt sind.Corrected data is provided on the basis of quantities of Raw data items, the item points in the surveillance area correspond richly. The raw data elements of a set are each from detected one of the sensors during a scan of the field of view, so that this quantity is assigned to the corresponding sensor. The Rohda Ten elements include at least the position, that is, the coordinates, of Item points that were detected by the associated sensor. These coordinates can be coordinates in any coordinate dinate systems such as Cartesian, polar or spherical coordinates act nate systems. As is usually the case with lasers the case, the distances of reflections in successive, scanning angles marked with a continuous index with fe Most increments recorded as position coordinates, so as coordinates only the indices and the distances are used, whereby the Win small increments are known.

Die Mengen von Rohdatenelementen verschiedener Sensoren mit einer be stimmten zeitlichen Zuordnung zueinander bilden eine Gruppe, die einer Gesamtabtastung durch alle Sensoren entspricht. Von Bedeutung ist nur eine zeitliche Zuordnung überhaupt, nicht aber eine vollständige Syn chronität der Abtastvorgänge. Die zeitliche Zuordnung kann zum Beispiel dadurch gegeben sein, daß alle Abtastungen innerhalb eines bestimmten Zeitintervalls begonnen und abgeschlossen werden und insbesondere da durch, daß sich die den jeweiligen Mengen entsprechenden Abtastungen zeitlich überschneiden.The quantities of raw data elements from different sensors with one be Coordinated temporal allocation to each other form a group, the one Total scanning by all sensors corresponds. It only matters a temporal assignment at all, but not a complete syn chronology of the scans. The time allocation can, for example be given that all samples within a certain Time interval can be started and completed and especially there through that the samples corresponding to the respective quantities overlap in time.

Zur Bildung von korrigierten Mengen korrigierter Datenelemente, die den Mengen von Rohdatenelementen der Gruppe entsprechen, werden für jede Menge der Gruppe die in den Rohdatenelementen enthaltenen Koordina ten unter Berücksichtigung der Relativlage der jeweiligen Sensoren in ein gemeinsames Koordinatensystem transformiert. For the formation of corrected sets of corrected data elements that the Sets of raw data items corresponding to the group are for each Quantity of the group the coordinates contained in the raw data elements taking into account the relative position of the respective sensors common coordinate system transformed.

Wenn die Koordinaten der Rohdatenelemente verschiedener Sensoren nicht vom gleichen Typ sind, kann bei der Transformation zunächst eine Transformation in ein Koordinatensystem gleichen Typs erfolgen. Entspre chend der als bekannt vorausgesetzten Lage der Sensoren relativ zueinan der können die Koordinaten gleichen Typs durch entsprechende Verschie bung in ein gemeinsames Koordinatensystem mit einem gemeinsamen, das heißt für alle Sensoren gleichen Koordinatenursprung transformiert werden.If the coordinates of the raw data elements of different sensors are not of the same type, one can be used for the transformation Transformation into a coordinate system of the same type. Entspre chend relative to each other as the known position of the sensors the coordinates of the same type can be shifted accordingly exercise in a common coordinate system with a common, that is, the same coordinate origin is transformed for all sensors become.

Die Mengen von Rohdatenelementen können vor der Transformation ein gelesen werden, doch kann die Transformation der Rohdatenelemente ei nes Sensors auch bereits erfolgen, bevor das Einlesen der Rohdatenele mente dieses oder eines anderen Sensors beendet ist, da die Transforma tion für jedes Rohdatenelement unabhängig erfolgen kann. Sind in einem oder mehreren der Sensoren eine oder mehrere Auswerteeinrichtungen vorgesehen, mittels derer das Verfahren durchgeführt werden kann, kann auch direkt auf die Rohdatenelemente in einem Speicher der Auswerteein richtung zugegriffen werden, die entsprechend sonstiger Funktionen der Auswerteeinheit dort gespeichert sind.The quantities of raw data elements can be entered before the transformation read, but the transformation of the raw data elements ei sensor is already carried out before the raw data is read ment of this or another sensor is finished, because the transforma tion for each raw data element can be done independently. Are in one or more of the sensors one or more evaluation devices provided, by means of which the method can be carried out also directly on the raw data elements in a memory of the evaluation direction are accessed, which correspond to other functions of the Evaluation unit are stored there.

Die korrigierten Datenelemente können, je nach Art der Weiterverarbei tung, ausgegeben, gespeichert oder direkt weiterverarbeitet werden.The corrected data elements can, depending on the type of further processing processing, output, storage or further processing.

Insbesondere ermöglicht es das erfindungsgemäße Verfahren, auf der Ge samtmenge der korrigierten Datenelemente dann eine, zum Beispiel kon ventionelle, Objekterkennung und/oder -verfolgung durchzuführen. In particular, the method according to the invention enables on the Ge total amount of corrected data elements then one, for example con conventional, object detection and / or tracking.

Dies hat den Vorteil, daß eine Objekterkennung und/oder -verfolgung im Überschneidungsbereich der Sensoren für einen Gegenstand auf der Basis einer größeren Anzahl von dem gleichen Gegenstandspunkt zugeordneten korrigierten Datenelementen erfolgen kann, was die Genauigkeit wesent lich erhöht. Weiterhin können für den gleichen Gegenstand korrigierte Daten aus den verschiedenen Perspektiven der Sensoren zusammenge führt werden, was zum einen die Objekterkennung durch die so erweiterte Ansicht erleichtert, und zum anderen Komplikationen durch das Zusam menführen von sich nur teilweise überschneidenden Objekten vermeidet, die zu demselben Gegenstand gehören.This has the advantage that object detection and / or tracking in the Overlap area of the sensors for an object based assigned to a larger number of the same item point corrected data elements can be done, which is the accuracy Lich increased. Furthermore, corrected for the same item Data from different perspectives of the sensors combined leads, which on the one hand the object recognition through the so extended View relieved, and on the other hand complications from the combination avoiding only partially overlapping objects, that belong to the same object.

Vorteile ergeben sich insbesondere bei Sensoren mit polarer Aufnahme charakteristik wie zum Beispiel Laserscannern. Auch kleine Gegenstände im Nahbereich können bei solchen Sensoren einen sehr großen Winkelbe reich im Sichtbereich verdecken, so daß in diesem Winkelbereich entfern tere Gegenstände nicht mehr erfaßt werden können. Bei Verwendung von mehreren Sensoren, von denen mindestens einer einen solchen verdeck ten, entfernter liegenden Gegenstand erfassen kann, kann durch die er findungsgemäße Korrektur der Daten zur Erstellung eines Modells des Überwachungsbereichs auch der von nur dem einen Sensor erfaßte, für einen anderen Sensor verdeckte Gegenstand erkannt werden.There are advantages in particular with sensors with polar recording characteristics such as laser scanners. Even small items Such sensors can have a very large angular range at close range cover richly in the field of vision so that remove in this angular range tere objects can no longer be detected. When using several sensors, at least one of which hides one th, more distant object can be detected by the Correction of the data according to the invention to create a model of the Monitoring range also for only one sensor, for another sensor hidden object can be detected.

Darüber hinaus ist der aufwendige Vorgang der Objekterkennung und -verfolgung nur einmal durchzuführen, wodurch das Verfahren bei glei cher Genauigkeit effizienter arbeitet als Verfahren, bei denen die Objek terkennung und/oder -verfolgung für jede Menge von Rohdatenelementen getrennt erfolgt. In addition, the complex process of object detection and -Perform tracking only once, which makes the procedure the same Accuracy works more efficiently than methods in which the obj Detection and / or tracking for any amount of raw data elements done separately.

Daher ist ein weiterer, die Aufgabe lösender Gegenstand der Erfindung auch ein Verfahren zur Erzeugung eines Modells eines Überwachungsbe reichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektro nischen Sensoren, insbesondere Laserscannern, zur Bestimmung der Lage von erfaßten Gegenständen liegt und Gegenstandspunkte enthält, bei dem das erfindungsgemäße Verfahren zur Bereitstellung korrigierter Daten durchgeführt wird, und eine Objekterkennung und/oder -verfolgung auf der Basis der Gesamtmenge aller korrigierten Datenelemente erfolgt. Nach Durchführung der Objekterkennung und/oder -verfolgung können die be rechneten Objektdaten ausgegeben, gespeichert oder bei nachfolgenden Verfahren verwendet werden.Therefore, another object of the invention is achieved also a method for generating a model of a surveillance area reichs, in the respective field of view of at least two optoelectro African sensors, especially laser scanners, for determining the position of detected objects and contains object points at which the inventive method for providing corrected data is performed, and object detection and / or tracking based on the total of all corrected data items. To Implementation of object recognition and / or tracking can be calculated object data output, saved or in subsequent Procedures are used.

Bevorzugte Weiterbildungen und Ausführungsformen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Zeichnungen be schrieben.Preferred developments and embodiments of the invention are be in the dependent claims, the description and the drawings wrote.

Die Rohdatenelemente können bevorzugt weitere Informationen wie zum Beispiel die Echoamplitude der Reflexion enthalten, die bei der Objekter kennung verwendet werden können. Solche Daten können, wenn ihr Wert von kinematischen Daten oder dem Zeitpunkt der Erfassung abhängt, im Zuge der Korrektur der Koordinaten mitkorrigiert werden, oder ansonsten unverändert bleiben.The raw data elements can preferably contain further information such as Example contain the echo amplitude of the reflection, that of the object identifier can be used. Such data can, if its worth depends on kinematic data or the time of acquisition, in Be corrected during the correction of the coordinates, or otherwise remain unchanged.

Die Rohdatenelemente der Mengen einer Gruppe werden in der Regel nicht gleichzeitig erfaßt, da zum einen die Sensoren ihre Abtastung nicht unbe dingt zur gleichen Zeit beginnen (Latenz zwischen Sensoren) und zum an deren bei derselben Abtastung eines Sensors die Rohdatenelemente nur sukzessive erfaßt werden (abtastungsinterne Latenz). Bei einer Bewegung der Sensoren, insbesondere einer Relativbewegung, führt dies dazu, daß die Koordinaten von Rohdatenelementen, die zu verschiedenen Zeiten er faßten Gegenstandspunkten entsprechen, entsprechend der Zeitdifferen zen und der Bewegung der Sensoren verschoben sind. Daher werden be vorzugt bei der Bildung der korrigierten Mengen für jede Menge die Koor dinaten der Rohdatenelemente jeweils entsprechend der Bewegung des diese erfassenden Sensors und der Differenz zwischen einer als Zeitpunkt der Erfassung der jeweiligen Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt korrigiert.The raw data elements of the sets of a group are usually not recorded at the same time, because on the one hand the sensors are not uncompromised always starts at the same time (latency between sensors) and starts whose only the raw data elements during the same scanning of a sensor be recorded successively (internal latency). With a movement of the sensors, in particular a relative movement, this leads to the fact that the coordinates of raw data elements that he at different times corresponded to the item points, corresponding to the time differences zen and the movement of the sensors are shifted. Therefore, be prefers the koor when creating the corrected quantities for each quantity dinates of the raw data elements in accordance with the movement of the this sensing sensor and the difference between one as a point in time the acquisition of the respective raw data elements defined time and one Corrected reference time.

Damit wird eine Korrektur derart durchgeführt, daß die Koordinaten zu mindest näherungsweise die Lage der Gegenstandspunkte zu einem ge meinsamen Bezugszeitpunkt beschreiben. Dazu wird zunächst für jedes Rohdatenelement eine als Zeitpunkt der Erfassung der jeweiligen Rohda tenelemente definierte Zeit festgelegt. Obwohl die Messung der Erfas sungszeit jedes Rohdatenelements die genaueste Korrektur ergäbe, kann es aus praktischen Gründen sinnvoll und im Rahmen der erforderlichen Genauigkeit der Korrektur ausreichend sein, wenn eine andere bestimmte, geeignete Zeit als Zeitpunkt der Erfassung definiert wird.A correction is carried out in such a way that the coordinates increase at least approximately the location of the object points to a ge describe the common reference time. This is done first for each Raw data element as a time of recording the respective Rohda defined elements defined time. Although the measurement of the detected time of each raw data element could give the most accurate correction it makes sense for practical reasons and within the necessary Accuracy of correction may be sufficient if another particular, suitable time is defined as the time of acquisition.

Besonders bevorzugt wird als Zeitpunkt der Erfassung der Rohdatenele mente für alle Rohdatenelemente einer Menge eine als Zeitpunkt der Er fassung der Menge definierte Zeit verwendet. Dies bedeutet, daß allen Rohdatenelementen die gleiche Erfassungszeit zugeordnet wird, wodurch die zeitlichen Verschiebungen der Abtastungen zwischen verschiedenen Sensoren, also die Latenz zwischen den Sensoren, berücksichtigt werden können. Hierbei wird vorteilhaft zum Beispiel die Zeit des Beginns oder des Abschlusses einer Abtastung für den jeweiligen Sensor festgestellt und als Zeitpunkt der Erfassung der Menge verwendet, wobei es grundsätzlich ausreicht, nur die entsprechenden Zeitdifferenzen für jeweils ein Paar von Sensoren zu kennen.It is particularly preferred as the time of acquisition of the raw data element elements for all raw data elements of a set one as the time of the Er the amount of defined time used. This means that everyone Raw data elements are assigned the same acquisition time, which means the time shifts of the samples between different Sensors, i.e. the latency between the sensors, are taken into account can. Here, for example, the time of the beginning or is advantageous the completion of a scan for the respective sensor and used as the time of capturing the quantity, being basically is sufficient, only the corresponding time differences for each pair of Knowing sensors.

Häufig werden diese Zeitdifferenzen kleiner sein als die Dauer einer Abta stung durch einen Sensor und damit als der zeitliche Abstand der Erfas sung verschiedener Rohdatenelemente bei derselben Abtastung durch ei nen Sensor. Besonders bevorzugt wird daher bei der Festlegung der als Zeitpunkt der Erfassung eines Rohdatenelements definierten Zeit der zeit liche Abstand der Erfassung der einzelnen Rohdatenelemente der Menge zueinander berücksichtigt. Die als Zeitpunkt der Erfassung eines Rohda tenelements definierte Zeit kann sich dann ergeben aus der als Zeitpunkt der Erfassung der Menge definierten Zeit und der zeitlichen Differenz zwi schen der Erfassung von Rohdatenelementen während einer Abtastung, die zum Beispiel unter Annahme einer konstanten Abtastgeschwindigkeit aus der Lage des Rohdatenelements in der Reihe zeitlich aufeinanderfol gender Rohdatenelemente abgeleitet werden kann.Often these time differences will be less than the duration of a scan by a sensor and thus as the time interval of the detection solution of different raw data elements with the same sampling by egg a sensor. It is therefore particularly preferred when determining the as Time of acquisition of a raw data element defined time of time distance between the acquisition of the individual raw data elements of the quantity to each other. The as the time of recording a Rohda The time defined by tenelements can then result from the time the recording of the amount of defined time and the time difference between the acquisition of raw data elements during a scan, which, for example, assuming a constant scanning speed consecutive from the position of the raw data element in the series gender raw data elements can be derived.

Obwohl die Bestimmung der als Zeitpunkt der Erfassung eines Rohda tenelements definierten Zeit absolut erfolgen kann, ist sie nur relativ zu dem Bezugszeitpunkt notwendig, da eine näherungsweise Korrektur nur bezüglich der Bewegung in dem Zeitintervall zwischen Erfassung und Be zugszeitpunkt erfolgen soll. Dieser Bezugszeitpunkt kann, wenn nur die Verschiebungen aufgrund der unterschiedlichen Erfassungszeiten wäh rend derselben Abtastung korrigiert werden, für jede Menge unterschied lich gewählt werden. Bevorzugt wird jedoch ein für die Gruppe von Men gen gleicher Bezugszeitpunkt gewählt. Dieser Bezugszeitpunkt kann grundsätzlich frei gewählt werden, liegt aber vorzugsweise innerhalb des Zeitintervalls vom Beginn der frühesten Abtastung durch einen der Senso ren bis zum Abschluß der letzten Abtastung durch einen der Sensoren, wobei die Abtastungen jeweils Mengen der Gruppe entsprechen. Hier durch ist zum einen die Näherung für die Korrekturverschiebung genauer, da eine Approximation der zeitlich nicht zwangsläufig konstanten Bewe gung innerhalb des Zeitintervalls nur über kürzere Zeiten erfolgt. Zum anderen ist in diesem Fall die Bestimmung der als Zeitpunkt der Erfas sung eines Rohdatenelements definierten Zeit wesentlich vereinfacht, ins besondere wenn zum Beispiel der Beginn einer Abtastung durch einen der Sensoren als Bezugszeitpunkt gewählt wird.Although the determination of the time at which a Rohda can be done absolutely absolutely, it is only relative to the reference time is necessary because an approximate correction is only necessary regarding the movement in the time interval between acquisition and loading move time should take place. This reference time can, if only the Shifts due to the different acquisition times corrected using the same scan, different for each set be selected. However, one is preferred for the group of men selected the same reference date. This reference time can can be chosen freely, but is preferably within the Time interval from the start of the earliest scan by one of the Senso until the last scan is completed by one of the sensors, the samples corresponding to sets of the group. here because on the one hand the approximation for the correction shift is more accurate, since an approximation of the not necessarily constant time within the time interval only over shorter times. To the another is in this case the determination of the time of the acquisition solution of a raw data element defined time is significantly simplified, ins especially if, for example, the start of a scan by one of the Sensors is selected as the reference time.

Bei der Bewegung der Sensoren, die im erfindungsgemäßen Verfahren verwendet wird, kann es sich um die tatsächliche, reale Bewegung der Sensoren oder eine der tatsächlichen Bewegung angenäherte Bewegung handeln. Die Bewegung der Sensoren kann dabei zum Beispiel je nach Güte der Korrektur über deren Geschwindigkeiten oder auch über deren Geschwindigkeiten und Beschleunigungen berücksichtigt werden, wobei hierbei vektorielle Größen, das heißt Größen mit Betrag und Richtung, gemeint sind. Insbesondere kann, wenn die Sensoren sich relativ zuein ander in einer zeitlich konstanten Lage befinden, auch eine Drehbewegung der Anordnung berücksichtigt werden.When moving the sensors in the method according to the invention used, it can be the actual, real movement of the Sensors or a movement approximating the actual movement act. The movement of the sensors can vary, for example Goodness of the correction over their speeds or also over their Speeds and accelerations are taken into account here vectorial quantities, that is quantities with magnitude and direction, are meant. In particular, if the sensors are relative to each other others are in a constant position over time, including a rotary movement the arrangement are taken into account.

Die Daten über diese kinematischen Größen können zum Beispiel eingele sen werden. Bei Fahrzeugen können zum Beispiel über entsprechende Fahrzeugsensoren die Eigengeschwindigkeit des Fahrzeugs und der Lenk winkel oder die Gierrate verwendet werden, um die Bewegung der Senso ren zu spezifizieren. Diese Bewegung der Sensoren kann dann zum Bei spiel allein durch die Bewegung des Fahrzeugs angenähert sein, so daß bei Drehbewegungen allen Sensoren unabhängig von ihrer Anordnung die gleiche Bahngeschwindigkeit zugeordnet wird. In einer besseren Näherung kann zur Berechnung der Bewegung der Sensoren aus den kinematischen Daten eines Fahrzeugs natürlich auch deren Position an dem Fahrzeug berücksichtigt werden.The data on these kinematic quantities can be entered, for example will be. For vehicles, for example, you can use the corresponding Vehicle sensors the own speed of the vehicle and the steering angle or yaw rate can be used to measure the movement of the Senso to specify. This movement of the sensors can then help game can be approximated solely by the movement of the vehicle, so that with rotary movements all sensors regardless of their arrangement same web speed is assigned. In a better approximation can be used to calculate the movement of the sensors from the kinematic Data of a vehicle, of course, also its position on the vehicle be taken into account.

Die Bewegung der Sensoren bzw. die kinematischen Daten können jedoch auch aus einer entsprechenden parallelen Objekterkennung und/oder -verfolgung in den Sensoren oder einer nachfolgenden Objekterkennung bestimmt werden. Vorzugsweise werden kinematische Daten verwendet, die in zeitlicher Nähe zu den Mengen der Gruppe entsprechenden Abta stungen durch die Sensoren, besonders bevorzugt während der Abtastung durch einen der Sensoren, erfaßt werden.However, the movement of the sensors or the kinematic data can also from a corresponding parallel object recognition and / or -Tracking in the sensors or a subsequent object detection be determined. Kinematic data are preferably used, the intervals corresponding to the quantities of the group in time stungen by the sensors, particularly preferably during the scanning by one of the sensors.

Zur Korrektur können bevorzugt aus den kinematischen Daten der Bewe gung und der Zeitdifferenz zwischen einer als Zeitpunkt der Erfassung der jeweiligen Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt der Gruppe oder der Menge mit bekannten kinematischen Formeln die durch die Bewegung innerhalb der Zeitdifferenz verursachten Verschie bungen berechnet und die Koordinaten in den Rohdatenelementen ent sprechend korrigiert werden. Grundsätzlich können jedoch auch modifi zierte kinematische Beziehungen verwendet werden.For the correction, the kinematic data of the movement can preferably be used supply and the time difference between one as the time of recording the respective raw data elements defined time and a reference time the group or the set with known kinematic formulas Difference caused by movement within the time difference exercises and the coordinates in the raw data elements be corrected accordingly. In principle, however, can also be modifi graceful kinematic relationships can be used.

Die Korrekturen können hierbei erfolgen, sobald die kinematischen Daten und die Zeitdifferenzen festgestellt sind. Insbesondere können sie dann für die Sensoren bzw. die zugeordneten Mengen einer Gruppe getrennt oder gemeinsam und dabei jeweils vor, während oder nach der Transformation in ein gemeinsames Koordinatensystem erfolgen. The corrections can be made as soon as the kinematic data and the time differences are determined. In particular, they can then for the sensors or the assigned quantities of a group separately or together and before, during or after the transformation in a common coordinate system.

Werden zwei sich bewegende Gegenstandspunkte aufgrund der Latenz zwischen den Sensoren und/oder aufgrund der abtastungsinternen La tenz nicht gleichzeitig erfaßt, so weichen im allgemeinen die aus den Ko ordinaten der zugehörigen Rohdatenelemente bestimmten Lagen der Ge genstandspunkte und insbesondere ihre Abstände von den tatsächlichen Lagen und Abständen ab. Insbesondere bei schnell bewegten Gegenstän den können diese Abweichungen erheblich werden und eine spätere Ob jekterkennung und/oder -verfolgung nach Korrektur und Zusammenfüh rung der korrigierten Daten gemäß dem oben geschilderten Verfahren er schweren.Become two moving object points due to the latency between the sensors and / or due to the internal La not simultaneously recorded, so generally those from the Ko ordinates of the associated raw data elements determined locations of the Ge subject points and in particular their distances from the actual Layers and distances. Especially with fast moving objects these deviations can become significant and a later ob object recognition and / or tracking after correction and merging corrected data according to the procedure outlined above heavy.

Bevorzugt wird daher für jede Menge von Rohdatenelementen der Gruppe vor Bildung der entsprechenden korrigierten Menge eine Objekterkennung und/oder -verfolgung auf der Basis der Rohdatenelemente der Menge durchgeführt, wobei jedem erkannten Objekt Rohdatenelemente und je dem dieser Rohdatenelemente zumindest eine bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden. Bei der Bildung der kor rigierten Mengen werden dann Ergebnisse der Objekterkennung und/oder -verfolgung auf der Basis der einzelnen Mengen, insbesondere ein Teil der Bewegungsdaten, zur Korrektur verwendet. Durch die Durchführung einer Objekterkennung und/oder -verfolgung für jede Menge, d. h. für jeden Sensor getrennt, und unabhängig von der Bereitstellung korrigierter Da ten und einer nachfolgenden Objekterkennung und/oder -verfolgung, ist eine objektbezogene Korrektur von Fehlern der Rohdatenelemente auf grund der oben beschriebenen zeitlichen Latenzen möglich. Insbesondere können Rohdatenelemente, die schnell bewegten Gegenstandspunkten entsprechen, sehr umfassend im Hinblick auf die Latenzen korrigiert wer den, so daß eine Objekterkennung und/oder -verfolgung auf der Basis der korrigierten Datenelemente einfach und mit hoher Genauigkeit möglich ist.Preference is therefore given for any quantity of raw data elements in the group object recognition before forming the corresponding corrected quantity and / or tracking based on the raw data items of the set performed, with each recognized object raw data elements and each that of these raw data elements at least one during object tracking calculated movement data can be assigned. When forming the cor rigged quantities are then results of object recognition and / or -Tracking based on individual quantities, especially part of the Movement data, used for correction. By performing a Object detection and / or tracking for any set, d. H. for each Sensor separated, and regardless of the provision of corrected data ten and subsequent object detection and / or tracking an object-related correction of errors in the raw data elements possible due to the temporal latencies described above. In particular can raw data items, the fast moving item points correspond, very extensively corrected with regard to the latencies the so that object detection and / or tracking based on the corrected data elements easily and with high accuracy is.

Bei der Objekterkennung und/oder -verfolgung für jede der Mengen von Rohdatenelementen können bekannte Verfahren benutzt werden, wobei grundsätzlich schon vergleichsweise einfache Verfahren ausreichen. Die Objekterkennung und/oder -verfolgung kann allein anhand der Rohda tenelemente einer Menge erfolgen oder auch nach Transformation auf ein gemeinsames Koordinatensystem.In object detection and / or tracking for each of the sets of Known methods can be used in raw data elements, whereby in principle, comparatively simple procedures are sufficient. The Object detection and / or tracking can only be done using the Rohda elements of a set or after transformation to one common coordinate system.

Bei der geschilderten Weiterbildung des erfindungsgemäßen Verfahrens werden bevorzugt bei der Bildung der korrigierten Mengen für jede Menge die Koordinaten der Rohdatenelemente entsprechend der ihnen zugeord neten Bewegungsdaten und der Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeit punkt der Gruppe oder Menge korrigiert. Diese Korrektur kann selbstver ständlich allein oder zusätzlich zu der oben geschilderten Korrektur der Verschiebungen aufgrund der Sensorbewegung und der zeitlichen Laten zen erfolgen.In the described development of the method according to the invention are preferred in the formation of the corrected quantities for each quantity the coordinates of the raw data elements according to their assigned neten movement data and the difference between one as the time of the Recording of the raw data elements defined time and a reference time point of group or quantity corrected. This correction can self ver alone or in addition to the correction of the Shifts due to sensor movement and time latency zen done.

Im Hinblick auf die Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt der Gruppe oder Menge wird auf die obigen Ausführungen verwiesen, die auch hier entsprechend gelten, wenn die Bewegung des Sensors durch die Be wegung des Objekts ersetzt wird. Insbesondere kann als Bezugszeitpunkt ein für alle Mengen der Gruppe gleicher Bezugszeitpunkt gewählt werden. In terms of the difference between one as the time of acquisition of the raw data elements defined time and a reference time of Group or quantity is referred to the above explanations, which also apply here accordingly if the movement of the sensor by the loading movement of the object is replaced. In particular, can be used as a reference time the same reference time can be selected for all quantities in the group.

Bei den Bewegungsdaten kann es sich um beliebige kinematische Daten eines Objekts handeln, bevorzugt zum Beispiel je nach erforderlicher Güte der Korrektur um dessen Geschwindigkeit oder auch um dessen Ge schwindigkeit und Beschleunigung, wobei hierunter wiederum vektorielle Größen, das heißt Größen mit Betrag und Richtung, verstanden werden. Dabei können die Bewegungsdaten, die den einem Objekt zugeordneten Rohdatenelementen zugeordnet sind, gleich gewählt werden, insbesondere gleich den Bewegungsdaten des Objekts. Dies ist insbesondere dann sinn voll, wenn die Bewegungsdaten nur die Geschwindigkeit des Objekts um fassen, da dann allen das Objekt bildenden Rohdatenelemente konsisten terweise die gleichen Geschwindigkeiten zuzuordnen sind. Den Rohda tenelementen, die einem Objekt zugeordnet sind, können jedoch auch ein zeln Bewegungsdaten zugeordnet werden, was insbesondere dann sinnvoll ist, wenn die Bewegungsdaten des Objekts auch mögliche Drehbewegun gen des Objekts umfassen, da dann die einzelnen Objektpunkte unter schiedliche Momentangeschwindigkeiten aufweisen. Hierdurch ist eine be sonders weitgehende Korrektur der durch die zeitlichen Latenzen verur sachten Fehler in den Rohdatenelementen bei sich vergleichsweise schnell drehenden Gegenständen, beispielsweise Fahrzeugen mit hohen Gierra ten, gegeben.The movement data can be any kinematic data act on an object, preferably for example depending on the required quality the correction for its speed or also for its ge speed and acceleration, including vectorial Sizes, i.e. sizes with magnitude and direction, can be understood. The movement data can be assigned to an object Raw data elements are assigned to be chosen the same, in particular equal to the movement data of the object. This is particularly useful full if the motion data just around the speed of the object summarize, since then all raw data elements forming the object are consistent the same speeds can be assigned. The Rohda However, elements that are assigned to an object can also be a Individual movement data can be assigned, which is particularly useful then is when the movement data of the object also include possible rotary movements conditions of the object, since then the individual object points under have different instantaneous speeds. This is a be particularly extensive correction of the caused by the temporal latencies Gentle errors in the raw data elements are relatively quick rotating objects, such as vehicles with high yaw given.

Wie bei dem oben geschilderten Verfahren kann die Korrektur anhand entsprechender kinematischer Beziehungen zwischen Verschiebung, Be wegungsgrößen und Zeitdauer der Bewegung erfolgen, wobei auch hier Modifikationen möglich sind.As with the method described above, the correction can be made using corresponding kinematic relationships between displacement, Be movement sizes and duration of the movement take place, here too Modifications are possible.

Bei den oben geschilderten Verfahren zur Korrektur von Fehlern in den Rohdatenelementen, die durch die zeitlichen Latenzen zwischen Sensoren und durch die abtastungsinternen Latenzen verursacht werden, liegt be vorzugt der Bezugszeitpunkt zwischen der frühesten als Erfassungszeit definierten Zeit eines Rohdatenelements einer der Mengen der Gruppe und der zeitlich letzten als Erfassungszeit definierten Zeit eines Rohdatenele ments einer der Mengen der Gruppe liegt. Dadurch können die Fehler bei der Berechnung der Korrekturverschiebung insbesondere bei schnellen Änderungen der Bewegungsdaten reduziert werden.In the above-described methods for correcting errors in the Raw data elements caused by the temporal latencies between sensors and caused by the in-scan latencies is the reference time between the earliest is preferred as the acquisition time defined time of a raw data element one of the sets of the group and the last time of a raw data element defined as the acquisition time one of the quantities in the group. This can cause the errors in the calculation of the correction shift, especially for fast ones Changes in the movement data can be reduced.

Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens, bei dem die Ergebnisse einer Objekterkennung und/oder -verfolgung auf der Basis der einzelnen Mengen, insbesondere eines Teil der Bewegungs daten, zur Korrektur verwendet werden, werden mehrere Bezugszeit punkte verwendet, die jeweils einer einem Gegenstand entsprechenden Objektgruppe zugeordnet sind.In a further embodiment of the method according to the invention, where the results of object detection and / or tracking the basis of each set, especially part of the movement Data used for correction will have multiple reference times points are used, each corresponding to an object Object group are assigned.

Vor oder bei Bildung der Mengen korrigierter Datenelemente werden dazu jeweils einem Gegenstand zugeordnete Objektgruppen mit Objekten, die auf der Basis jeweils einer Menge von Rohdatenelementen erstellt wurden und als einem Gegenstand entsprechend erkannt werden, gebildet. Hierzu können zum Beispiel Verfahren zur Objekterkennung und/oder -verfolgung angewendet werden oder, wenn ein Objekt im Sichtbereich ei nes ersten Sensors in den Sichtbereich eines zweiten Sensors eintritt, Verfahren zur entsprechenden Extrapolation von Daten aus dem Sichtbe reich des ersten Sensors. Weiterhin werden für jede einem Gegenstand zugeordnete Objektgruppe die zugehörigen Rohdatenelemente in jeder Menge gesucht. Außerdem wird für jede Objektgruppe ein dieser zugeord neter Bezugszeitpunkt festgelegt. Bei der Bildung der Mengen korrigierter Datenelemente werden dann für jedes Objekt der einem Gegenstand zuge ordneten Objektgruppe die Koordinaten der ihm zugeordneten Rohda tenelemente in allen Mengen von Rohdatenelementen der Gruppe entspre chend der Bewegung des diese Rohdatenelemente erfassenden Sensors und/oder der diesen Rohdatenelementen zugeordneten Bewegungsdaten und der Differenz zwischen einer als Zeitpunkt der Erfassung des Rohda tenelements deinierten Zeit und dem Bezugszeitpunkt der Objektgruppe korrigiert.Before or when the quantities of corrected data elements are created, this becomes necessary Object groups each assigned to an object with objects that based on a set of raw data elements and recognized as corresponding to an object. For this can for example methods for object recognition and / or -tracking can be applied or when an object is in view the first sensor enters the field of view of a second sensor, Process for the corresponding extrapolation of data from the view range of the first sensor. Furthermore, one item for each assigned object group the associated raw data elements in each Quantity wanted. In addition, one is assigned to each object group neter reference point is determined. Corrected in the formation of the quantities Data elements are then added to each object for an object assigned the coordinates of the Rohda assigned to it elements in all sets of raw data elements correspond to the group according to the movement of the sensor detecting these raw data elements and / or the movement data assigned to these raw data elements and the difference between one as the time of detection of the Rohda time and the reference time of the object group corrected.

Bei den Bewegungsdaten kann es sich um beliebige kinematische Daten eines Sensors bzw. eines Objekts handeln, bevorzugt zum Beispiel je nach erforderlicher Güte der Korrektur um deren Geschwindigkeiten oder auch um deren Geschwindigkeiten und Beschleunigungen, wobei hierunter wiederum vektorielle Größen, das heißt Größen mit Betrag und Richtung, verstanden werden. Dabei können die Bewegungsdaten, die den einem Objekt zugeordneten Rohdatenelementen zugeordnet sind, gleich gewählt werden, insbesondere gleich den Bewegungsdaten des Objekts. Dies ist insbesondere dann sinnvoll, wenn die Bewegungsdaten nur die Geschwin digkeit des Objekts umfassen, da dann allen das Objekt bildenden Roh datenelementen konsistenterweise die gleiche Geschwindigkeit zuzuord nen ist. Den Rohdatenelementen, die einem Objekt zugeordnet sind, kön nen jedoch auch einzeln Bewegungsdaten zugeordnet werden, was insbe sondere dann sinnvoll ist, wenn die Bewegungsdaten des Objekts auch mögliche Drehbewegungen des Objekts umfassen, da dann die einzelnen Objektpunkte unterschiedliche Momentangeschwindigkeiten aufweisen. Hierdurch ist eine besonders weitgehende Korrektur der durch die zeitli chen Latenzen verursachten Fehler in den Rohdatenelementen bei sich vergleichsweise schnell drehenden Gegenständen, beispielsweise Fahrzeu gen mit hohen Gierraten, gegeben. The movement data can be any kinematic data act on a sensor or an object, for example depending on required quality of correction at their speeds or also about their speeds and accelerations, including this again vectorial quantities, that is quantities with magnitude and direction, be understood. The movement data that the one Object assigned to assigned raw data elements are selected the same become, in particular the same as the movement data of the object. This is particularly useful if the movement data only the speed of the object, since then all the raw material forming the object consistently assign the same speed to data elements is. The raw data elements that are assigned to an object can However, movement data can also be individually assigned, which in particular is particularly useful if the movement data of the object too possible rotational movements of the object include, since then the individual Object points have different instantaneous speeds. This is a particularly extensive correction of the time latencies caused errors in the raw data elements comparatively fast rotating objects, for example vehicles with high yaw rates.

Dabei wird im Hinblick auf die Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeit punkt der Gruppe oder Menge auf die obigen Ausführungen verwiesen, die auch hier entsprechend gelten. Abweichend davon wird hier jedoch für je de einem Gegenstand zugeordnete Objektgruppe einzeln ein Bezugszeit punkt gewählt, der bevorzugt nahe an dem Zeitpunkt einer Messung eines zugeordneten Rohdatenelements liegt.In doing so, the difference between one as the time of the Recording of the raw data elements defined time and a reference time point of the group or quantity referred to the above explanations, the apply accordingly here. Deviating from this, however, for each a reference time individually assigned to an object group selected point, which is preferably close to the time of a measurement of a assigned raw data element.

Bevorzugt liegen die den Objektgruppen jeweils zugeordneten Bezugszeit punkte zwischen der frühesten als Zeitpunkt der Erfassung definierten Zeit eines einem der Objekte der jeweiligen Objektgruppe zugeordneten Rohdatenelements und der zeitlich letzten als Zeitpunkt der Erfassung definierten Zeit eines einem Objekt der jeweiligen Objektgruppe zugeord neten Rohdatenelements, da hierdurch die Genauigkeit der Korrektur steigt. Dies ist insbesondere bei beschleunigten Gegenständen bzw. ent sprechenden Objekten von Bedeutung, da deren Bewegungsdaten sich während der tatsächlichen Erfassungszeit der entsprechenden Rohda tenelemente und dem Bezugszeitpunkt stark ändern können. Besonders bevorzugt ist mindesten ein einer Objektgruppe zugeordneter Bezugszeit punkt der Erfassungszeitpunkt eines einem Objekt dieser Objektgruppe zugeordneten Rohdatenelements, da hierdurch die Genauigkeit der Kor rektur weiter gesteigert wird. The reference time assigned to the object groups is preferably in each case points between the earliest defined as the time of acquisition Time of one of the objects assigned to the respective object group Raw data element and the last time as the time of acquisition defined time of an object of the respective object group Neten raw data element, as this makes the accuracy of the correction increases. This is particularly the case with accelerated objects or ent talking objects because their movement data is different during the actual acquisition time of the corresponding Rohda elements and the reference time can change significantly. Especially at least one reference time assigned to an object group is preferred point the time of acquisition of an object of this object group assigned raw data element, as this makes the accuracy of the Cor rectification is further increased.

Besonders bevorzugt enthalten die korrigierten Datenelemente für eine Objektgruppe auch den dieser Objektgruppe zugeordneten Bezugszeit punkt, so daß dieser bei einer nachfolgenden Objekterkennung und/oder -verfolgung berücksichtigt werden kann. Jeder Objektgruppe kommt da her gewissermaßen ein eigenes "Alter" zu.The corrected data elements particularly preferably contain one Object group also the reference time assigned to this object group point, so that this in a subsequent object detection and / or - tracking can be considered. Every object group comes there to a certain extent its own "age".

Bei den zuvor geschilderten Verfahren nach anderen Ausführungsformen dagegen wird den korrigierten Datenelementen insgesamt eine gemeinsa me Bezugszeit zugeordnet, bezüglich welcher die Rohdatenelemente korri giert sind. Die Gesamtmenge der korrigierten Datenelemente kann bei die sen anderen Ausführungsformen daher als einer Abtastung des Gesamt bereichs entsprechend angesehen werden. Bei der zuletzt beschriebenen Ausführungsform dagegen werden jeweils einer Objektgruppe entspre chend korrigierte Datenelemente bereitgestellt, was jeweils gewissermaßen als objektgruppenbezogene Abtastung angesehen werden kann.In the previously described method according to other embodiments on the other hand, the corrected data elements as a whole are shared me assigned reference time, with respect to which the raw data elements corri are greeded. The total amount of corrected data elements can be at Therefore, other embodiments as a sample of the total be viewed accordingly. With the last described Embodiment, however, correspond to a group of objects Correctly corrected data elements are provided, each to a certain extent can be viewed as a sample-based scan.

Bei dem erfindungsgemäßen Verfahren zur Erzeugung eines Modells eines Überwachungsbereichs wird daher bei einer bevorzugten Ausführungs form für jede Objektgruppe auf der Basis der dieser zugeordneten korri gierten Datenelemente eine Objekterkennung und/oder -verfolgung ge trennt durchgeführt, wozu gegebenenfalls die zugeordneten Bezugszeit punkte berücksichtigt werden.In the method according to the invention for generating a model of a Monitoring area is therefore in a preferred embodiment shape for each object group on the basis of the corri gated data elements ge object detection and / or tracking carried out separately, which may include the assigned reference time points are taken into account.

Die entsprechende Objekterkennung und/oder -verfolgung kann dabei unmittelbar nach Bildung der Objektgruppe und Korrektur der Rohda tenelemente erfolgen oder erst nach Bereitstellung aller korrigierten Da tenelemente, wobei die Information darüber, welche korrigierten Da tenelemente einer Objektgruppe zugeordnet sind, in den korrigierten Da tenelementen enthalten sein kann.The corresponding object detection and / or tracking can be done immediately after creating the object group and correcting the Rohda elements take place or only after all corrected data have been provided tenelemente, the information about which corrected Da ten elements are assigned to an object group in the corrected data can be included.

Ein solches Verfahren führt auch bei bewegten Sensoren und schnell be wegten Gegenständen zu sehr guten Ergebnissen.Such a method also leads to fast sensors moved objects to very good results.

Die oben geschilderten Ausführungsformen des Verfahrens, bei denen je weils auf jede Menge von Rohdatenelementen getrennt eine Objekterken nung und/oder -verfolgung angewendet wird, können vollständig auf einer Datenverarbeitungseinrichtung durchgeführt werden. Bevorzugt werden jedoch die Objekterkennung und/oder -verfolgung auf der Basis der Roh datenelemente einer Menge in einer Auswerteeinheit des diese Rohda tenelemente der Menge erfassenden Sensors und die anderen Schritte in einer separaten Datenverarbeitungseinrichtung durchgeführt. Dadurch wird zum einen ein Teil der Datenverarbeitung auf die Sensoren verlagert. Zum anderen weisen viele bekannte Sensoren, insbesondere Laserscan ner, die in Verbindung mit dem erfindungsgemäßen Verfahren einsetzbar sind, eine geeignete Auswerteeinheit bereits serienmäßig auf.The above-described embodiments of the method, in which each because detect an object separately for each set of raw data elements Tracking and / or tracking can be applied entirely on one Data processing device can be performed. To be favoured however, object detection and / or tracking based on the raw data elements of a set in an evaluation unit of this raw data elements of the quantity-sensing sensor and the other steps in performed a separate data processing device. Thereby Part of the data processing is shifted to the sensors. On the other hand, many known sensors, in particular laser scans ner, which can be used in connection with the inventive method a suitable evaluation unit is already standard.

Bevorzugt wird das erfindungsgemäße Verfahren iterativ für jeweils zeit lich aufeinanderfolgende Abtastungen der Sensoren durchgeführt, wobei nach Einlesen mindestens einer einem der Sensoren zugeordneten Menge von Rohdatenelementen, die bei einer späteren Abtastung erfaßt wurden als die Rohdatenelemente der bisher in der Gruppe von Mengen von Roh datenelementen enthaltenen, dem Sensor zugeordneten Menge von Roh datenelementen, eine neue Gruppe gebildet wird. Diese neue Gruppe ent hält die anderen Sensoren zugeordneten Mengen von Rohdatenelementen der bisherigen Gruppe sowie die mindestens eine neue Menge von Rohda tenelementen. Anschließend wird das erfindungsgemäße Verfahren auch für die neue Gruppe von Mengen von Rohdatenelementen durchgeführt, wobei gegebenenfalls bereits bei der vorhergehenden Iteration erhaltene Daten verwendet werden, das heißt nicht neu berechnet werden.The method according to the invention is preferably iterative for each time Lich carried out successive scans of the sensors, wherein after reading in at least one quantity assigned to one of the sensors of raw data elements that were acquired during a later scan than the raw data elements of the group of sets of raw so far amount of raw data associated with the sensor and assigned to the sensor data elements, a new group is formed. This new group ent holds the sets of raw data items associated with other sensors the previous group and at least a new amount from Rohda tenelementen. Then the method according to the invention also performed for the new group of sets of raw data elements, possibly already obtained in the previous iteration Data are used, that is, not to be recalculated.

Hierdurch werden bei der Verwendung mehrerer Sensoren öfter korrigierte Datenelemente erhalten, was eine häufigere Durchführung einer Objek terkennung und/oder -verfolgung erlaubt. Diese verläuft dann zudem unter günstigeren Bedingungen, da nur ein vergleichsweise kleiner Teil der Daten der jeweiligen Gesamtabtastung bzw. objektbezogenen Abta stung verändert wird, was vor allem die Objektverfolgung insgesamt er leichtert.This corrects more often when using multiple sensors Data items get what a more frequent execution of an object Detection and / or tracking allowed. This then also runs under more favorable conditions, since only a comparatively small part the data of the respective total scan or object-related scan stung is changed, which he especially the object tracking as a whole facilitated.

Bevorzugt wird das erfindungsgemäße Verfahren zur Bereitstellung korri gierter Daten für die Erzeugung von Modellen von Überwachungsberei chen verwendet, in denen sich die Sichtbereiche der Sensoren überlappen, da hierbei die Vorteile einer Objektfusion nach Korrektur und Zusam menführung der Rohdatenelemente aller Sensoren besonders ausgeprägt sind.The method according to the invention for providing corri data for the generation of models of surveillance areas Chen used in which the fields of view of the sensors overlap, since the advantages of an object fusion after correction and together management of the raw data elements of all sensors is particularly pronounced are.

Die erfindungsgemäßen Verfahren können bevorzugt auf entsprechenden Datenverarbeitungsanlagen unter Verwendung entsprechender Program me durchgeführt werden. Insbesondere können Standardcomputer mit entsprechenden Programmen verwendet werden, es können aber auch zum Beispiel schnelle digitale Signalprozessoren Verwendung finden.The methods according to the invention can preferably be based on corresponding Data processing systems using appropriate programs me be carried out. In particular, standard computers can appropriate programs can be used, but it can also for example, use fast digital signal processors.

Bei einer bevorzugten Ausführungsform wird das Verfahren vollständig auf einer oder - verteilt - auf mehreren Auswerteeinrichtungen, die in ei nem Sensor oder mehreren Sensoren vorhanden sind, ausgeführt. Insbe sondere im Fall von Laserscannern, die bereits Auswerteeinheiten mit Pro zessoren wie zum Beispiel digitale Signalprozessoren und Speicherein richtungen aufweisen, ist eine Ausführung des vollständigen Verfahrens auf einer oder mehreren der Auswerteeinheiten vorteilhaft. Eine Vorrich tung zur Erzeugung eines Modells eines Überwachungsbereichs enthält dann mindestens zwei optoelektronische Sensoren, insbesondere Laser scanner, deren Sichtbereiche einen Überwachungsbereich einschließen und von denen mindestens einer eine Auswerteeinrichtung aufweist, die zur Durchführung des erfindungsgemäßen Verfahrens und Ausgabe ent sprechender Daten ausgebildet ist, und Datenverbindungen zur Übertra gung der von den Laserscannern erfaßten Rohdatenelemente zu der oder den Auswerteeinrichtungen in einem oder mehreren Sensoren.In a preferred embodiment, the process is complete on one or - distributed - on several evaluation devices, which in egg sensor or multiple sensors are available. in particular especially in the case of laser scanners that already have evaluation units with Pro such as digital signal processors and memories have directions is an implementation of the full process on one or more of the evaluation units advantageous. A preacher device for generating a model of a surveillance area then at least two optoelectronic sensors, in particular lasers scanners whose fields of vision include a surveillance area and at least one of which has an evaluation device which ent to carry out the method and output according to the invention speaking data is formed, and data connections for transmission supply of the raw data elements acquired by the laser scanners to the or the evaluation devices in one or more sensors.

Ein weiterer Gegenstand der Erfindung ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren zur Bereit stellung korrigierter Daten oder das erfindungsgemäße Verfahren zur Er zeugung eines Modells eines Überwachungsbereichs durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.Another object of the invention is a computer program with Program code means to prepare the inventive method provision of corrected data or the inventive method for Er create a model of a surveillance area if the program is run on a computer.

Weiterer Gegenstand der Erfindung ist ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren zur Bereitstellung korrigierter Daten und/oder das erfindungsgemäße Verfahren zur Erzeu gung eines Modells eines Überwachungsbereichs durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird. Another object of the invention is a computer program product with program code means on a computer-readable data carrier are stored to provide the inventive method corrected data and / or the inventive method for generating model of a surveillance area if the computer program product is running on a computer.

Die Erfindung umfaßt außerdem eine Vorrichtung zur Erzeugung eines Modells eines Überwachungsbereichs mit mindestens zwei optoelektroni schen Sensoren, insbesondere Laserscannern, deren Sichtbereiche einen Überwachungsbereich einschließen, einer Datenverarbeitungseinrichtung, die zur Durchführung des erindungsgemäßen Verfahrens zur Bereitstel lung korrigierter Daten oder des erfindungsgemäßen Verfahrens zur Er stellung eines Modells eines Überwachungsbereichs ausgebildet ist, und Datenverbindungen zur Übertragung der von den Laserscannern erfaßten Rohdatenelemente zu der Datenverarbeitungseinrichtung.The invention also includes an apparatus for generating a Model of a surveillance area with at least two optoelectroni sensors, in particular laser scanners, whose fields of vision unite Include surveillance area, a data processing device, for the implementation of the method according to the invention corrected data or the inventive method for Er position of a model of a monitoring area is formed, and Data connections for the transmission of those detected by the laser scanners Raw data elements to the data processing device.

Weiterer Gegenstand der Erfindung ist eine Vorrichtung zur Erzeugung eines Modells eines Überwachungsbereichs mit mindestens zwei opto elektronischen Sensoren, insbesondere Laserscannern, deren Sichtberei che den Überwachungsbereichs einschließen und die jeweils eine Aus werteeinrichtung zur Objekterkennung und/oder -verfolgung und Ausga be entsprechender Objektdaten aufweisen, einer Datenverarbeitungsein richtung, die zur Durchführung des erindungsgemäßen Verfahrens zur Bereitstellung korrigierter Daten oder des erfindungsgemäßen Verfahrens zur Erstellung eines Modells eines Überwachungsbereichs ausgebildet ist, und Datenverbindungen zur Übertragung der von den Laserscannern er faßten Rohdatenelemente und Objektdaten zu der Datenverarbeitungsein richtung.Another object of the invention is a device for generating a model of a surveillance area with at least two opto electronic sensors, especially laser scanners, their field of vision include the surveillance area and one off each value facility for object recognition and / or tracking and output with corresponding object data, a data processing unit direction to carry out the inventive method for Provision of corrected data or the method according to the invention is trained to create a model of a surveillance area, and data connections for the transmission of the laser scanners included raw data items and object data for data processing direction.

Vorzugsweise werden bei den erfindungsgemäßen Vorrichtungen schnelle, echtzeitfähige Datenverbindungen verwendet.In the devices according to the invention, rapid, real-time data connections used.

Bevorzugte Ausführungsformen der Erfindung werden nun beispielhaft anhand der Zeichnung beschrieben. Es zeigen: Preferred embodiments of the invention will now become examples described using the drawing. Show it:

Fig. 1 eine schematische Draufsicht auf eine erfindungsgemäße Vor richtung zur Erzeugung eines Modells eines Überwachungsbe reichs, Fig. 1 is a schematic plan view of an inventive pre direction for generating a model of a Überwachungsbe kingdom

Fig. 2 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa chungsbereichs nach einer bevorzugten ersten Ausführungs form der Erfindung, Fig. 2 is a struktogrammartiges diagram for the operation of a method for generating a model of a surveil monitoring area according to a preferred execution of the invention, the first shape,

Fig. 3 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa chungsbereichs nach einer bevorzugten zweiten Ausfüh rungsform der Erfindung, und Fig. 3 is a struktogrammartiges diagram for the operation of a method for generating a model of a surveil monitoring area according to a preferred second exporting the invention approximate shape, and

Fig. 4 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa chungsbereichs nach einer bevorzugten dritten Ausführungs form der Erfindung. Fig. 4 is a structure diagram for the sequence of a method for generating a model of a monitoring area according to a preferred third embodiment of the invention.

In Fig. 1 sind zwei Laserscanner 10 und 12 zur Erfassung der Lage von Gegenständen an einem Fahrzeug 14 gehalten. Die Laserscanner 10 und 12 sind über Datenverbindungen 16 und 18 mit einer Datenverarbei tungseinrichtung 20 verbunden, die eine nicht gezeigte Ausgabeeinrich tung aufweist.In Fig. 1, two laser scanners 10 and 12 are held to detect the position of objects on a vehicle 14 . The laser scanners 10 and 12 are connected via data connections 16 and 18 to a data processing device 20 which has an output device (not shown).

Die Laserscanner 10 und 12 weisen als Sichtbereiche 22 und 24 jeweils Kreissektoren auf, die sich im Überwachungsbereich 26 überschneiden. The laser scanners 10 and 12 each have circular sectors as viewing areas 22 and 24 which overlap in the monitoring area 26 .

Der Überwachungsbereich 26 kann auch beide Sichtbereiche 22 und 24 vollständig umfassen. Die Sichtbereiche sind zur besseren Darstellung sehr klein gewählt, typischerweise ist die Reichweite von Laserscannern sehr viel größer. In dem Überwachungsbereich befindet sich ein Gegen stand 28.The monitoring area 26 can also completely encompass both viewing areas 22 and 24 . The viewing areas are very small for better display, typically the range of laser scanners is much larger. There is an item 28 in the monitoring area.

Die Laserscanner 10 und 12 arbeiten jeweils nach dem gleichen Verfah ren. Der Laserscanner 10 sendet in bekannter Weise jeweils einen mit konstanter Winkelgeschwindigkeit umlaufenden Laserstrahl aus, wobei ebenfalls umlaufend in konstanten Zeitabständen Δτ zu Zeiten τ_i in festen Winkelbereichen mit einem mittleren Winkel α_i detektiert wird, ob der La serstrahl von einem Punkt eines Gegenstands reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Sichtbereich. Von diesen Winkelbereichen sind nur einzelne gezeigt, unter anderem der dem mittleren Winkel α_i zugeordnete Winkelbereich. Hier sind die Winkelberei che zur deutlicheren Darstellung übertrieben groß gezeigt. In diesem Fall wird anhand der Laufzeit des Laserlichts der Abstand d_i des Punktes von dem Laserscanner 10 ermittelt. Der Laserscanner 10 erfaßt daher als Rohdatenelemente für den Gegenstandspunkt P des Gegenstands 28 den Winkel α_j und den bei diesem Winkel festgestellten Abstand d_j, das heißt die Position des Gegenstandspunkts in Polarkoordinaten. Die Menge M₁₀ der Rohdatenelemente, die von dem Laserscanner 10 erfaßt wurden, ent hält insgesamt Rohdatenelemente (α_k, d_k), wobei k eine natürliche Zahl zwischen 1 und der Anzahl der von dem Laserscanner 10 erfaßten Roh datenelemente ist. Entsprechend erfaßt der Laserscanner 12 Rohda tenelemente (β₁, e₁), wobei e₁ der Abstand eines Gegenstandspunktes ist, der im Winkelbereich um β₁ erfaßt wurde und 1 eine natürliche Zahl zwi schen 1 und der Anzahl der von dem Laserscanner 12 erfaßten Rohda tenelemente ist. Diese Rohdatenelemente bilden eine Menge M₁₂ von Roh datenelementen, die dem Laserscanner 12 zugeordnet ist. Der Gegen standspunkt P hat in Fig. 1 die Koordinaten (β_m, e_m).The laser scanners 10 and 12 each work according to the same method. The laser scanner 10 emits, in a known manner, a laser beam rotating at a constant angular velocity, also circumferentially detecting at constant time intervals Δτ at times τ _i in fixed angle ranges with a mean angle α _i whether the laser beam is reflected from a point of an object. The index i runs from 1 to the number of angular areas in the field of view. Only a few of these angular ranges are shown, including the angular range assigned to the mean angle α _i . Here, the angular ranges are exaggerated for clarity. In this case, the distance d _{i of} the point from the laser scanner 10 is determined on the basis of the transit time of the laser light. The laser scanner 10 therefore detects, as raw data elements for the object point P of the object 28, the angle α _j and the distance d _j determined at this angle, that is to say the position of the object point in polar coordinates. The amount M _{10 of} the raw data elements that were detected by the laser scanner 10 contains a total of raw data elements (α _k , d _k ), where k is a natural number between 1 and the number of raw data elements detected by the laser scanner 10 . Correspondingly, the laser scanner detects 12 raw data elements (β ₁ , e ₁ ), where e _{1 is} the distance of an object point that was detected in the angular range around β ₁ and 1 is a natural number between 1 and the number of raw data detected by the laser scanner 12 is ten elements. These raw data elements form a set M ₁₂ of raw data elements, which is assigned to the laser scanner 12 . The counter point P has in Fig. 1 the coordinates (β _m , e _m ).

Die Laserscanner 10 und 12 tasten ihren Sichtbereich jeweils in aufein anderfolgenden Abtastungen ab, so daß für jeden der Laserscanner eine zeitliche Folge von Rohdatenmengen entsteht.The laser scanners 10 and 12 each scan their field of vision in successive scans, so that a temporal sequence of raw data quantities arises for each of the laser scanners.

Eine Gruppe zeitlich einander zugeordneter Mengen von Rohdatenele menten wird jeweils von Mengen M₁₀ und M₁₂ gebildet, wobei der Beginn der Abtastung für eine der Mengen innerhalb des Zeitraums einer Abta stung für die andere Menge erfolgt. Dies bedeutet bei aufeinanderfolgen den Abtastungen des Sichtbereichs und entsprechender aufeinanderfol gender Ausgabe von Rohdatenmengen, daß eine Menge von Rohdatenele menten jeweils in zwei aufeinanderfolgenden Gruppen von Rohdatenmen gen enthalten sein kann.A group of temporally assigned sets of raw data elements is formed by sets M ₁₀ and M ₁₂ , the start of the scanning for one of the sets taking place within the period of one sampling for the other set. With successive scans of the viewing area and corresponding successive output of raw data quantities, this means that a quantity of raw data elements can be contained in two successive groups of raw data quantities.

Bei der Datenverarbeitungseinrichtung 20 kann es sich um einen übli chen Personalcomputer handeln, der mit einem hinreichend schnellen Prozessor, einem Hauptspeicher sowie entsprechenden Schnittstellen für die Datenverbindungen 16 und 18 ausgestattet ist. Grundsätzlich reicht eine Datenverbindung zwischen den Laserscannern, wenn diese über Auswerteeinrichtungen verfügen, auf denen die Erstellung des Modells des Überwachungsbereichs möglich ist. Geeignet wären zum Beispiel Aus werteeinrichtungen mit entsprechend programmierten digitalen Signalpro zessoren. The data processing device 20 can be a personal computer which is equipped with a sufficiently fast processor, a main memory and corresponding interfaces for the data connections 16 and 18 . Basically, a data connection between the laser scanners is sufficient if they have evaluation devices on which the creation of the model of the monitoring area is possible. For example, evaluation devices with appropriately programmed digital signal processors would be suitable.

Bei einem ersten, in Fig. 2 veranschaulichten Verfahren zur Erstellung ei nes Umgebungsmodells werden Korrekturen in Bezug auf die Bewegung der Laserscanner 10 und 12 durchgeführt. Dazu werden in Schritt 100 zunächst die Rohdatenmengen des Laserscanners 10 eingelesen und in Schritt 102 in ein gemeinsames kartesisches Koordinatensystem trans formiert. Als gemeinsames Koordinatensystem wird das System des Laser scanners 10 verwendet, so daß dessen Rohdatenelemente ohne weitere Verschiebung nur nach bekannten Formeln in kartesische Koordinaten überführt werden.In a first method illustrated in FIG. 2 for creating an environmental model, corrections are carried out with respect to the movement of the laser scanners 10 and 12 . For this purpose, the raw data quantities of the laser scanner 10 are first read in in step 100 and transformed into a common Cartesian coordinate system in step 102 . The system of the laser scanner 10 is used as a common coordinate system, so that its raw data elements are only converted into Cartesian coordinates according to known formulas without further displacement.

In Schritt 104 wird dann die nächste von einem der Laserscanner ausge gebene Rohdatenmenge eingelesen, wobei von Schritt 100 kommend der Beginn der Abtastung für die Menge M₁₂ während der Abtastung der Men ge M₁₀ stattfindet, so daß die Abtastung für die Menge M₁₂ später abläuft als die für die Menge Mlo. Im weiteren Verlauf des Verfahrens werden Rohdatenmengen jeweils abwechselnd von einem der beiden Laserscanner eingelesen, so daß immer die jeweils neueste Rohdatenmenge für jeden Laserscanner eingelesen ist. Die beiden Mengen bilden dabei jeweils eine Gruppe von Rohdatenmengen. Die Zeiten des Beginns der Abtastung wer den jeweils durch ein entsprechendes Signal des Laserscanners bestimmt, auf dessen Eintreffen hin die Zeit des Eintreffens gespeichert wird.In step 104 , the next raw data quantity output by one of the laser scanners is then read in, coming from step 100 the beginning of the scanning for the quantity M ₁₂ taking place during the scanning of the quantity M ₁₀ , so that the scanning for the quantity M _{12 occurs} later expires than that for the lot Mlo. In the further course of the method, raw data quantities are read alternately by one of the two laser scanners, so that the newest raw data quantity for each laser scanner is always read in. The two sets each form a group of raw data sets. The times of the start of the scan who each determined by a corresponding signal from the laser scanner, on the arrival of which the time of arrival is stored.

In Schritt 106 werden die Koordinaten der Rohdatenelemente der in Schritt 104 eingelesenen Rohdatenmenge zunächst in kartesische Koordi naten überführt. Die Koordinaten der Rohdatenelemente der neu eingele senen Menge, von Schritt 100 kommend ist dies M₁₂, werden nach der Überführung in kartesische Koordinaten entsprechend dem festen Relativ vektor R von dem Laserscanner 10 zu dem Laserscanner 12 verschoben, wenn die Menge dem Laserscanner 12 zugeordnet ist, wodurch sich die Koordinaten in dem gemeinsamen Koordinatensystem ergeben.In step 106 , the coordinates of the raw data elements of the raw data quantity read in step 104 are first converted into Cartesian coordinates. The coordinates of the raw data elements of the newly entered quantity, coming from step 100 , this is M ₁₂ , are moved from the laser scanner 10 to the laser scanner 12 after the conversion into Cartesian coordinates according to the fixed relative vector R, if the quantity is assigned to the laser scanner 12 , resulting in the coordinates in the common coordinate system.

In Schritt 108 wird dann ein Bezugszeitpunkt t_F festgelegt, zum Beispiel der Zeitpunkt des Beginns der späteren der den Rohdatenmengen ent sprechenden Abtastungen.In step 108 , a reference point in time t _F is then determined, for example the point in time at which the later scans corresponding to the raw data quantities begin.

In Schritt 110 werden jeweils vektorielle Geschwindigkeiten für die Laser scanner eingelesen. Die entsprechenden Geschwindigkeiten v₁₀ bzw. v₁₂ der Laserscanner 10 bzw. 12 sind dabei von entsprechenden, in Fig. 1 nicht gezeigten Sensoren des Fahrzeugs unter Berücksichtigung der Lage der Laserscanner 10 und 12 bestimmt. Bei einer einfacheren Näherung kann die Geschwindigkeit der Sensoren durch die Fahrzeuggeschwindig keit ohne die Berücksichtigung der Lage der Sensoren gegeben sein. Diese Geschwindigkeiten sind jeweils den Rohdatenelementen in den Mengen M₁₀ bzw. M₁₂ zugeordnet.In step 110 , vectorial speeds are read in for the laser scanners. The corresponding speeds v ₁₀ and v _{12 of} the laser scanners 10 and 12 are determined by corresponding sensors of the vehicle, not shown in FIG. 1, taking into account the position of the laser scanners 10 and 12 . With a simpler approximation, the speed of the sensors can be given by the vehicle speed without taking into account the position of the sensors. These speeds are assigned to the raw data elements in quantities M ₁₀ and M ₁₂ , respectively.

Für jedes Rohdatenelement in jeder der Mengen M₁₀ und M₁₂ werden dann die Schritte 112 und 114 ausgeführt.Steps 112 and 114 are then carried out for each raw data element in each of the sets M ₁₀ and M ₁₂ .

In Schritt 112 wird die Differenz zwischen einer als Zeitpunkt der Erfas sung des Rohdatenelements definierten Zeit und der Bezugszeit berechnet. Die als Zeitpunkt der Erfassung definierte Zeit ergibt sich aus dem Zeit punkt des Beginns der Abtastung und der Lage des Winkelbereichs, in dem das Rohdatenelement erfaßt wurde. Wurde das Rohdatenelement im Winkelbereich α_i bzw. β_i erfaßt, wird zu der Zeit des Beginns der Abta stung ein Betrag i.Δτ addiert. In step 112 , the difference between a time defined as the time of acquisition of the raw data element and the reference time is calculated. The time defined as the time of acquisition results from the time of the start of the scan and the position of the angular range in which the raw data element was acquired. If the raw data element was detected in the angular range α _i or β _i , an amount i.Δτ is added at the time of the start of the scanning.

In Schritt 114 werden dann die Koordinaten des Rohdatenelements um den Vektor verschoben, der sich aus Multiplikation des dem Rohda tenelement zugeordneten Geschwindigkeitsvektors v₁₀ oder v₁₂ mit der Zeitdifferenz aus Schritt 112 ergibt.In step 114 , the coordinates of the raw data element are then shifted by the vector which results from multiplying the speed vector v ₁₀ or v ₁₂ assigned to the raw data element by the time difference from step 112 .

Aus diesen korrigierten Daten wird in Schritt 116 eine Gesamtabtastung gebildet, auf deren Basis in Schritt 118 eine Objekterkennung und/oder -verfolgung durchgeführt wird und in Schritt 120 entsprechende Daten ausgegeben werden.From this corrected data, an overall scan is formed in step 116 , on the basis of which object detection and / or tracking is carried out in step 118 and corresponding data are output in step 120 .

Daraufhin wird mit Schritt 104 mit dem Einlesen der nächsten Rohda tenmenge fortgefahren, die im Beispiel ausgehend von Schritt 100 nach Durchlauf der folgenden Schritte die nächste Rohdatenmenge M₁₀ wäre, die die bisherige Menge M₁₀ ersetzt. Die Menge mit dem zeitlich früheren Beginn der Abtastung ist dann die nicht veränderte Menge M₁₂.Then, the operation proceeds to step 104 tenmenge with the reading of the next Rohda, which would in the example from step 100 after passing through the steps of the next raw data set M _10, which replaces the previous set M _10th The set with the earlier start of the scan is then the unchanged set M ₁₂ .

Das in Fig. 3 dargestellte Verfahren nach einer zweiten bevorzugten Aus führungsform der Erfindung läuft analog dem ersten Verfahren gemäß Fig. 2 ab, wobei zusätzlich Korrekturen im Hinblick auf die Bewegung von Gegenständen erfolgt. Schritte, die auch bei diesem Verfahren durchge führt werden, werden daher nicht näher erläutert.The method shown in FIG. 3 according to a second preferred embodiment of the invention proceeds analogously to the first method according to FIG. 2, additional corrections being made with regard to the movement of objects. Steps that are also carried out in this method are therefore not explained in detail.

Die Schritte 122 und 124 sowie 128 und 130, in denen Rohdatenmengen eingelesen und in ein gemeinsames Koordinatensystem transformiert wer den, entsprechen den Schritten 100 bis 106 des Verfahrens gemäß Fig. 2.Steps 122 and 124 and 128 and 130 , in which raw data quantities are read in and transformed into a common coordinate system, correspond to steps 100 to 106 of the method according to FIG. 2.

Im Unterschied zu dem Verfahren nach der ersten Ausführungsform wer den in den Schritten 126 und 132 auf der Rohdatenmenge M₁₀ bzw. der nächsten eingelesenen Rohdatenmenge eine Objekterkennung und/oder -verfolgung durchgeführt und als kinematische Daten die Geschwindig keiten der erkannten Objekte sowie die Zuordnung der Rohdatenelemente zu dem jeweiligen Objekt gespeichert. Hierdurch ergeben sich jeweils den Rohdatenelementen zugeordnete Objektgeschwindigkeiten. Zur Objekter kennung und/oder -verfolgung können zum Beispiel entsprechende, dem Fachmann bekannte Verfahren verwendet werden. Die Schritte 126 und 132 können auch vor den Schritten 124 und 130 ausgeführt werden, wo bei dann eine Transformation auch der dabei gewonnenen Objektbewe gungsdaten in das gemeinsame Koordinatensystem notwendig wäre.In contrast to the method according to the first embodiment, object recognition and / or tracking is carried out in steps 126 and 132 on the raw data amount M ₁₀ or the next read raw data amount and the kinematic data is the speed of the recognized objects and the assignment of the Raw data elements for the respective object are saved. This results in object speeds assigned to the raw data elements. Appropriate methods known to the person skilled in the art can be used, for example, for object detection and / or tracking. Steps 126 and 132 can also be carried out before steps 124 and 130 , where a transformation of the object movement data obtained in the process into the common coordinate system would then also be necessary.

Nach Festlegung des Bezugszeitpunkts in Schritt 134, der Schritt 108 des Verfahrens gemäß Fig. 2 entspricht, werden in Schritt 136, der Schritt 110 in Fig. 2 entspricht, die vektoriellen Geschwindigkeiten v₁₀ und v₁₂ eingelesen.After determining the reference time in step 134 , which corresponds to step 108 of the method according to FIG. 2, the vectorial speeds v ₁₀ and v _{12 are} read in step 136 , which corresponds to step 110 in FIG .

In Schritt 138 wird dann für jedes Rohdatenelement in jeder Rohdaten menge ein dem Rohdatenelement zugeordneter Geschwindigkeitsvektor durch Addition der der Rohdatenmenge bzw. dem diese erfassenden La serscanner zugeordneten Geschwindigkeit v₁₀ bzw. v₁₂ und der dem ent sprechende Rohdatenelement zugeordneten Objektgeschwindigkeit be stimmt.In step 138 , a speed vector assigned to the raw data element in each raw data quantity is then determined by adding the speed v ₁₀ or v ₁₂ assigned to the raw data quantity or the laser scanner detecting it and the object speed assigned to the corresponding raw data element.

In Schritt 140, der Schritt 112 in Fig. 2 entspricht, wird die Differenz zwi schen einer als Zeitpunkt der Erfassung des Rohdatenelements definierten Zeit und der Bezugszeit berechnet. In step 140 , which corresponds to step 112 in FIG. 2, the difference between a time defined as the time of acquisition of the raw data element and the reference time is calculated.

In Schritt 142 werden dann die Koordinaten des Rohdatenelements um den Vektor verschoben, der sich aus der Multiplikation des dem Rohda tenelement in Schritt 138 zugeordneten Geschwindigkeitsvektors mit der Zeitdifferenz aus Schritt 140 ergibt.In step 142 the coordinates of the raw data element are then shifted by the vector which results from the multiplication of the speed vector assigned to the raw data element in step 138 by the time difference from step 140 .

In den Schritten 144, 146 und 148, die den Schritten 116, 118 und 120 in Fig. 2 entsprechen, werden dann eine Gesamtabtastung mit auf einen ge meinsamen Bezugszeitpunkt korrigierten Datenelementen gebildet und hierauf basierend eine eine Objekterkennung und/oder -verfolgung unab hängig von den Objekterkennungen und/oder -verfolgungen in den Schritten 126 und 132 berechnet und entsprechende Daten ausgegeben.In steps 144 , 146 and 148 , which correspond to steps 116 , 118 and 120 in FIG. 2, an overall scan with data elements corrected to a common reference point in time is then formed and, based on this, an object detection and / or tracking independent of the object recognition and / or tracking in steps 126 and 132 and corresponding data is output.

Das Verfahren wird dann mit Schritt 128 fortgesetzt.The method then continues with step 128 .

Bei dem in Fig. 4 veranschaulichten Verfahren nach einer dritten Ausfüh rungsform der Erfindung wird im Unterschied zu dem Verfahren nach der zweiten Ausführungsform gemäß Fig. 3 nach der Korrektur der Daten für jeden Gegenstand getrennt eine Objekterkennung und -verfolgung durch geführt. Es werden dabei einige Schritte wie bei dem Verfahren nach der zweiten Ausführungsform ausgeführt und daher hier nicht näher be schrieben.In the method illustrated in FIG. 4 according to a third embodiment of the invention, in contrast to the method according to the second embodiment according to FIG. 3, object detection and tracking is carried out separately for each object after the data have been corrected. There are some steps as in the method according to the second embodiment and are therefore not described here.

In den Schritten 150, 152, 154, 156, 158 und 160, die den Schritten 122, 124, 126, 128, 130 und 132 von Fig. 3 entsprechen, werden die Rohda tenelemente eingelesen, deren Koordinaten in ein gemeinsames Koordi natensystem transformiert und auf den jeweiligen Rohdatenmengen eine Objekterkennung und/oder -verfolgung berechnet. In steps 150 , 152 , 154 , 156 , 158 and 160 , which correspond to steps 122 , 124 , 126 , 128 , 130 and 132 from FIG. 3, the raw data elements are read in, the coordinates of which are transformed into a common coordinate system and object detection and / or tracking is calculated on the respective raw data quantities.

In Schritt 162 werden durch Anwendung bekannter Verfahren zur Objek terkennung und/oder -verfolgung aus den in den Schritten 154 und 160 in allen Mengen von Rohdatenelementen erkannten Objekten Objektgrup pen gebildet, die Objekte enthalten, die als demselben Gegenstand ent sprechend erkannt werden.In step 162 , using known methods for object recognition and / or tracking, object groups are formed from the objects recognized in steps 154 and 160 in all sets of raw data elements, which groups contain objects that are recognized as the same object accordingly.

Die vektoriellen Geschwindigkeiten der Sensoren bzw. Laserscanner 10 und 12 werden in Schritt 164 entsprechend Schritt 108 in Fig. 2 eingele sen.The vector speeds of the sensors or laser scanners 10 and 12 are selected in step 164 in accordance with step 108 in FIG. 2.

Die folgenden Schritte 166 bis 180 werden für alle Objektgruppen durch geführt.The following steps 166 to 180 are carried out for all object groups.

In Schritt 166 werden für eine Objektgruppe in den beiden Rohdatenmen gen M₁₀ und M₁₂ die dem Objekt jeweils zugeordneten Rohdatenelemente gesucht.In step 166 , the raw data elements respectively assigned to the object are searched for an object group in the two raw data sets M ₁₀ and M ₁₂ .

In Schritt 168 wird für die Objektgruppe als Bezugszeitpunkt die als Er fassungszeitpunkt definierte Zeit desjenigen Rohdatenelements gewählt, das gemäß der als Erfassungszeitpunkt definierten Zeiten der Rohda tenelemente zuerst erfaßt wurde.In step 168 , the time defined as the acquisition time of the raw data element that was first acquired according to the times of the raw data elements defined as the acquisition time is selected as the reference time for the object group.

Für jedes der einem Objekt der Objektgruppe zugeordneten Rohdatenele mente wird dann in Schritt 170 ein Gesamtgeschwindigkeitsvektor be stimmt, der sich aus der eingelesenen Geschwindigkeit desjenigen Laser scanners, der das Rohdatenelement erfaßt hat, und der bei der Objekter kennung und/oder -verfolgung in Schritt 154 bzw. 160 berechneten Ge schwindigkeit dieses Rohdatenelements durch Addition berechnet. For each of the raw data elements assigned to an object of the object group, an overall speed vector is then determined in step 170 , which is derived from the read-in speed of the laser scanner which has acquired the raw data element and which is used for object detection and / or tracking in step 154 or 160 calculated Ge speed of this raw data element calculated by addition.

In Schritt 172 werden dann für jedes der den Objekten der Objektgruppe zugeordneten Rohdatenelemente die Zeitdifferenz wie in Schritt 140 in Fig. 3 berechnet und in Schritt 174 dessen Koordinaten entsprechend dem Produkt aus Gesamtgeschwindigkeitsvektor und Zeitdifferenz verschoben.In step 172 , the time difference is then calculated for each of the raw data elements assigned to the objects of the object group, as in step 140 in FIG. 3, and in step 174 its coordinates are shifted in accordance with the product of the total speed vector and the time difference.

In Schritt 176 werden die so korrigierten Datenelemente einer Objekt gruppe unter Zuordnung der jeweiligen Bezugszeitpunkte zu einer der Objektgruppe zugeordneten Abtastung zusammengeführt und in Schritt 178 auf dieser Basis eine Objekterkennung und/oder -verfolgung durch geführt, deren Ergebnisse in Schritt 180 ausgegeben werden.In step 176 , the data elements of an object group corrected in this way are merged with assignment of the respective reference times to a scanning assigned to the object group, and in step 178 an object recognition and / or tracking is carried out on the basis thereof, the results of which are output in step 180 .

Alternativ können jeweils nach der Bildung einer jeden Objektgruppe die Schritte 166 bis 180 ausgeführt werden.Alternatively, steps 166 to 180 can be carried out after the formation of each object group.

Nach Abarbeitung aller Objektgruppen wird mit Schritt 156 fortgefahren.After all object groups have been processed, step 156 is continued.

Zusammenfassend unterscheiden sich die geschilderten Verfahren nach den drei Ausführungsformen dadurch, daß bei dem ersten, in Fig. 2 ver anschaulichten Verfahren eine Korrektur nur in Bezug auf die Bewegung der Laserscanner und der zeitlichen Latenzen erfolgt, während bei dem Verfahren nach der zweiten Ausführungsform zusätzlich bei der Korrektur die Bewegung von erfaßten Gegenständen berücksichtigt wird. Bei diesen beiden Ausführungsformen erfolgt nach der Korrektur eine Objekterken nung und -verfolgung auf der Basis aller korrigierten Datenelemente. Bei dem Verfahren nach der dritten Ausführungsform werden im wesentlichen die gleichen Korrekturen wie bei dem Verfahren nach der zweiten Ausfüh rungsform, das heißt in Bezug auf die Bewegung der Laserscanner, der Gegenstände und der zeitlichen Latenzen durchgeführt, wobei jedoch die Bezugszeitpunkte, bezüglich derer korrigiert wird, auf einzelne Gegen stände bezogen sind und für die korrigierten Datenelemente, die einem Gegenstand entsprechen, jeweils eine separate Objekterkennung und -verfolgung durchgeführt wird. In summary, the described methods differ according to the three embodiments in that in the first method illustrated in FIG. 2, a correction is made only with respect to the movement of the laser scanner and the time latencies, while in the method according to the second embodiment additionally correction of the movement of detected objects is taken into account. In both of these embodiments, after the correction, object detection and tracking takes place on the basis of all corrected data elements. In the method according to the third embodiment, essentially the same corrections are carried out as in the method according to the second embodiment, that is to say with regard to the movement of the laser scanners, the objects and the temporal latencies, but the reference times with respect to which the corrections are made , are related to individual objects and separate object detection and tracking is carried out for the corrected data elements corresponding to an object.

LIST OF REFERENCE NUMBERS

1010

Laserscanner
laser scanner

1212

Laserscanner
laser scanner

1414

Fahrzeug
vehicle

1616

Datenverbindung
Data Connection

1818

Datenverbindung
Data Connection

2020

Datenverarbeitungseinrichtung
Data processing device

2222

Sichtbereich
viewing area

2424

Sichtbereich
viewing area

2626

Überwachungsbereich
monitoring area

2828

Gegenstand
object

Claims

1. A method for providing corrected data for generating a model of a monitoring area ( 26 ), which ranges in the respective field of view ( 22 , 24 ) of at least two optoelectronic sensors ( 10 , 12 ), in particular laser scanners, for determining the position of detected objects ( 28 ) lies and contains item points, on the basis of quantities of item points in the monitoring area corresponding raw data elements,
the quantities of raw data elements each being detected and assigned by one of the sensors ( 10 , 12 ) when scanning its field of view ( 22 , 24 ),
wherein the sets of raw data elements of different sensors ( 10 , 12 ) form a group with a specific time allocation to each other and
wherein the raw data elements of the sets at least the Coordina of ten of the associated sensor (10, 12) detected object points each in relation to the position of the sensing Sen sors (10, 12),
in which
to form the quantities of corrected data elements corresponding to the quantities of raw data elements of the group, the coordinates contained in the raw data elements for each quantity of the group are transformed into a common coordinate system, taking into account the relative position of the respective sensors ( 10 , 12 ).

2. The method according to claim 1, characterized in that in the formation of the corrected quantities for each quantity, the ordinates of the raw data elements in each case corresponding to the actual or an approximate movement of these, the sensors ( 10 , 12 ) and the difference between one corrected as the point in time of the acquisition of the respective raw data elements and a reference point in time.

3. The method according to claim 2, characterized, that as the time of capture of the raw data elements for everyone Raw data elements of a set one as the time of capturing the Quantity defined time is used.

4. The method according to claim 2 or 3, characterized, that when setting the as the time of capturing a raw data element defined time the time interval of the acquisition of the individual raw data elements of the set is done.

5. The method according to any one of the preceding claims, characterized, that for any set of raw data items in the group before formation the corresponding corrected quantity an object detection and / or tracking based on the raw data elements of the menus ge is carried out, with each recognized object raw data elements and each of these raw data elements in object tracking calculated movement data can be assigned, and that when the corrected quantities are formed, the object Detection and / or tracking based on the individual menu can be used for correction.

6. The method according to claim 5, characterized, that when creating the corrected quantities for each quantity, the Ko ordinates of the raw data elements according to their assigned neten movement data and the difference between one as time point of acquisition of the raw data elements defined time and egg be corrected at the reference time of the group or quantity.

7. The method according to any one of claims 2 to 6, characterized, that the reference time between the earliest is the acquisition time defined time of a raw data element one of the sets of Group and the last time defined as the acquisition time of a raw data element is one of the sets of the group.

8. The method according to claim 5,
characterized,
that before or when the amounts of corrected data elements are formed, object groups associated with an object ( 28 ) are created with objects that were created on the basis of a set of raw data and are recognized as an object ( 28 ) accordingly,
that for each object group assigned to an object ( 28 ) the associated raw data elements are searched for in any quantity, that for each object group assigned to an object ( 28 ) a reference time assigned to this is determined, and
that in the formation of the quantities of corrected data elements for each object, the coordinates of the raw data elements assigned to it in all quantities of the group corresponding to the movement of the respective sensor detecting these raw data elements ( 10 , 12 ) and / or the movement data assigned to these raw data elements and the difference between a time defined as the time of acquisition of the raw data element and the reference time of the object.

9. The method according to claim 8, characterized, that the reference times assigned to the object groups between the earliest time defined as the time of recording a raw assigned to an object of the respective object group data element and the last time as the time of acquisition defined time of an object of the respective object group ordered raw data element.

10. The method according to any one of claims 5 to 9, characterized in that the object detection and / or tracking based on the raw data elements of a quantity in an evaluation unit of the raw data of the quantity sensor ( 10 , 12 ) and the other steps in one other data processing device ( 20 ).

11. The method according to any one of claims 8 to 10, characterized, that the corrected data elements for an object group also the contain reference time assigned to this object group.

12. The method according to any one of the preceding claims,
characterized,
that it is carried out iteratively for time-sequential scans of the sensors ( 10 , 12 ),
wherein after reading in at least one new set of raw data elements assigned to one of the sensors, which was acquired during a later scan than the raw data elements of the set of raw data elements previously contained in the group of sets of raw data elements and assigned to the sensor, a new group is formed, contains the assigned quantities of raw data elements of the previous group and the new quantity of raw data elements, and
that it is then also carried out for the new group of sets of raw data elements, preference being given to using data already obtained in the previous iteration.

13. The method according to any one of the preceding claims, characterized in that the model is only generated for a monitoring area ( 26 ) in which the viewing areas ( 22 , 24 ) of the sensors ( 10 , 12 ) overlap.

14. A method for generating a model of a monitoring area ( 26 ), which is located in respective viewing areas ( 22 , 24 ) of at least two optoelectronic sensors ( 10 , 12 ), in particular laser scanners, for determining the position of detected objects ( 28 ) and Contains subject points, in which the method for providing corrected data is carried out according to one of the preceding claims, and object detection and / or tracking is carried out on the basis of all corrected data elements.

15. The method according to claim 14, characterized, that object detection and / or tracking based on the corrected data elements for each object group separated by is carried out, preferably the assigned reference times be taken into account.

16. The method according to any one of the preceding claims, characterized in that it is carried out completely in an evaluation device of one or more sensors ( 10 , 12 ).

17. Computer program with program code means to follow the procedures to perform according to any one of claims 1 to 16 when the Pro gram is running on a computer.

18. Computer program product with program code means based on a nem computer-readable data storage are stored to Ver drive according to one of claims 1 to 16 to perform if the computer program product is running on a computer becomes.

19. Device for generating a model of a monitoring area ( 26 ) with
at least two optoelectronic sensors ( 10 , 12 ), in particular laser scanners, whose viewing areas ( 22 , 24 ) include the monitoring area,
a data processing device ( 20 ) which is designed to carry out the method according to one of claims 1 to 15, and data connections ( 16 , 18 ) for transmitting the raw data elements detected by the sensors ( 10 , 12 ) to the data processing device ( 20 ).

20. Device for generating a model of a monitoring area ( 26 ) with
at least two optoelectronic sensors ( 10 , 12 ), in particular laser scanners, whose viewing areas ( 22 , 24 ) include the monitoring area ( 26 ) and each have an evaluation device for object detection and / or tracking and output corresponding to the object data,
a data processing device ( 20 ) which is designed to carry out the method according to one of claims 1 to 15, and data connections ( 16 , 18 ) for transmitting the raw data elements and object data detected by the sensors ( 10 , 12 ) to the data processing device ( 20 ) ,