[go: up one dir, main page]

DE19805794A1 - Schnelle planare Segmentierung von Entfernungsdaten für mobile Roboter - Google Patents

Schnelle planare Segmentierung von Entfernungsdaten für mobile Roboter

Info

Publication number
DE19805794A1
DE19805794A1 DE19805794A DE19805794A DE19805794A1 DE 19805794 A1 DE19805794 A1 DE 19805794A1 DE 19805794 A DE19805794 A DE 19805794A DE 19805794 A DE19805794 A DE 19805794A DE 19805794 A1 DE19805794 A1 DE 19805794A1
Authority
DE
Germany
Prior art keywords
level
levels
line
error
line segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE19805794A
Other languages
English (en)
Inventor
Patrick C Leger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Original Assignee
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University filed Critical Carnegie Mellon University
Publication of DE19805794A1 publication Critical patent/DE19805794A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

Die vorliegende Erfindung bezieht sich auf Roboter-Sicht­ systeme und insbesondere auf das Erfassen von Ebenen in unter Verwendung eines abgetasteten eindimensionalen Entfernungs­ sensors gesammelten Daten.
Bekannterweise sind schon viele verschiedene Roboter zum Sammeln von Sichtdaten oder äquivalenter Information über ihre Umwelt konstruiert wurden. Fernsehkameras, Radar, Sonar und Laser-Bildsysteme sind schon verwendet worden. Viele verschie­ dene Typen von Sensoren und Bilderkennungsverfahren sind verwendet worden. Die meisten Verfahren sind computertechnisch so aufwendig, daß die Verarbeitung langsam ist und normaler­ weise wenig Information über ein Objekt schnell aufgenommen werden kann. Diese Nachteile werden noch verschlimmert, wenn die Sensoren auf einer mobilen Plattform, wie zum Beispiel einem automobilen Fahrzeug, angebracht sind.
Oft sind in Fällen, wo die Sensoren auf einer mobilen Plattform angebracht sind, die Sensordaten auf einen einzigen Punkt für jedes erfaßte Objekt reduziert, wie das bei vielen Radarsystemen der Fall ist. Wenn detailliertere Information benötigt wird, kann die Plattform so stationär wie möglich gehalten werden, während Information über ein Objekt erfaßt wird. Ein Beispiel ist in der am 3. März 1994 eingereichten europäischen Patentanmeldung 617296 gegeben, wobei die erfaß­ ten Punkte auf eine einzige Ebene ungefähr parallel zum Boden des Fahrzeugs ungefähr in der Höhe der Scheinwerfer beschränkt werden. Solche Systeme sind zum Beispiel zur Vermeidung von Hindernissen geeignet, sind jedoch nicht ausreichend, wenn es der Zweck des Sensors ist, dreidimensionale Maße eines Ob­ jekts, wie zum Beispiel eines anderen Fahrzeugs, zu erhalten. Bei vielen existierenden Anwendungsbeispielen, wie zum Bei­ spiel bei auf Baumaschinen montierten Sensoren, ist das Beibe­ halten einer stabilen Plattform während des Sammelns von Meßdaten nicht praktikabel.
Es ist eine Aufgabe der Erfindung, ein Verfahren zum schnellen Extrahieren planarer Eigenschaften aus dreidimensio­ nalen Bilddaten vorzusehen.
Eine weitere Aufgabe der Erfindung ist es, planare Eigen­ schaften von dreidimensionalen Bilddaten in einer Umgebung mit vielen Rauschquellen zu extrahieren, wie zum Beispiel bei einer sich während des Datensammelns bewegenden Plattform.
Eine weitere Aufgabe der vorliegenden Erfindung ist das Kombinieren von durch viele Abtastlinien erhaltenen Entfer­ nungsmeßdaten in durch die Abtastlinien gelegte Ebenen ohne das Verbinden der Abtastlinien.
Die obigen Aufgaben werden gelöst durch ein Computer­ programm auf einem computerlesbaren Medium zum Analysieren von Entfernungsdaten aus Abtastlinien mit einem Liniensegmentbil­ dungscode zum Gruppieren der Datenpunkte in einer Abtastlinie in Liniensegmente, einem Liniensegmentverschmelzungscode zum Verschmelzen des jeweiligen Liniensegments in der jeweiligen Abtastlinie mit einer am besten passenden Ebene, wenn ein Fehler für die verschmolzene Ebene erzeugt wird, der innerhalb eines ersten Ebenenschwellenwerts liegt, sowie einem Ebenen- Verschmelzungscode zum Verschmelzen von jeweils zwei Ebenen, wenn ein Fehler für kombinierte Ebenen erzeugt wird, der innerhalb eines zweiten Ebenenschwellenwerts liegt. Das Compu­ terprogramm kann auf einem Computersystem ausgeführt werden, das mit einem auf einer mobilen Maschine, wie zum Beispiel einem Bagger oder einer anderen Baumaschine, montierten Scan­ ner verbunden ist. Der Scanner kann eine Radar- oder Laservor­ richtung sein, die zum Erfassen dreidimensionaler Punkte auf Oberflächen im interessierenden Bereich viele Abtastlinien in einem interessierenden Raum erzeugt.
Zum Erhalten der Liniensegmente zum Verschmelzen zur am besten passenden Ebene werden benachbarte vom Scanner erfaßte Punkte in der jeweiligen Abtastlinie zum Bilden von Linienseg­ menten verbunden. Die Liniensegmente in der jeweiligen Ab­ tastlinie werden verschmolzen, vorausgesetzt, das resultieren­ de Liniensegment hat einen innerhalb des Schwellenwerts gele­ genen Fehler. Der Fehler kann unter der Verwendung von klein­ sten Quadraten oder einer anderen Form der Regression berech­ ne werden. Der Prozeß wird so lange fortgesetzt, bis alle Liniensegmente mit anderen Liniensegmenten verschmolzen wur­ den, ohne daß dabei der Schwellenwert überschritten wurde.
Nach dem Bilden von Ebenen wird das jeweilige Linienseg­ ment in den folgenden Abtastlinien mit der am besten passenden Ebene verschmolzen, wenn ein Schwellenwert von der resultie­ renden verschmolzenen Ebene nicht überschritten wird. Linien­ segmente in einer Abtastlinie, die nicht mit einer Ebene verschmolzen werden können, werden mit unverschmolzenen Li­ niensegmenten aus vorhergehenden Abtastlinien verglichen, und die bestmögliche Verschmelzung wird zum Bilden einer neuen Ebene vorgenommen, wenn die resultierende Ebene einen Fehler hat, der innerhalb eines Schwellenwerts liegt.
Für jede der Ebenen werden Normalen berechnet. Mögliche Verschmelzungen von Ebenen mit ähnlichen Normalen werden nach dem Verarbeiten aller Abtastlinien berechnet. Die bestmögliche Verschmelzung für die jeweilige Ebene bei denjenigen Ebenen, die ähnliche Normalen haben, wird vorgenommen, wenn die kom­ binierte Ebene einen Fehler hat, der innerhalb eines Schwellenwerts liegt. Nachdem alle oben genannten möglichen Verschmelzungen durchgeführt wurden, werden die resultierenden Ebenen an eine herkömmliche Objekterkennungssoftware zum Durchführen von z. B. Hypothesenerzeugung und -überprüfung weitergegeben.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Figuren erläutert. Es zeigt:
Fig. 1 ein Flußdiagramm eines erfindungsgemäßen Verfahrens,
Fig. 2 ein Blockdiagramm eines Systems, das zum Implementieren eines erfindungsgemäßen Verfahrens verwendet werden kann,
Fig. 3 ein Beispiel für Entfernungsdaten, die zur Erfassung einer falschen Ebene führen könnten, und
Fig. 4 ein Beispiel für eine Entfernungsabtastung eines Kip­ pers von oben.
Wie in Fig. 1 gezeigt, beginnt ein erfindungsgemäßes Verfahren bei 10 mit dem Sammeln von Entfernungsdaten in einer Abtastlinie. Ein vereinfachtes Blockdiagramm eines Systems, das zum Implementieren eines erfindungsgemäßen Verfahrens verwendet werden kann, ist in Fig. 2 dargestellt. Die Abtast­ linien können mit einem Scanner 12 aufgenommen werden, wie zum Beispiel einem 5000 LASAR Nr. 0009-0064 von PERCEPTRON, Far­ mington Hills, Michigan, U.S.A. Das Verfahren kann auf einem Computersystem mit einem Prozessor 14, wie z. B. einem Prozes­ sor des Typs MIPOS R4700 auf einem VME-Board in einem BAJA4700 von HEURIKON, Madison, Wisconsin, U.S.A. oder einem INDIGO von SUN MICROSYSTEMS oder einem SUN ULTRASPARC, oder einer anderen geeigneten Datenverarbeitungsvorrichtung für die bestimmte Art von Roboter, in dem das System Anwendung findet, durchgeführt werden.
Es könnte zum Beispiel fast jedes beliebige Mikroprozes­ sorsystem in einen großen Bagger eingebaut werden, doch könnte eine kleinere mobile Plattform ein mit Batterien betriebenes System erfordern oder sogar ein vom Scanner 12 entferntes Computersystem. Die Componenten im Computersystem können daher durch einen Bus 16, wie in Fig. 2 gezeigt, oder durch ein alternatives Übertragungssystem, wie z. B. eine Funk- oder Infrarotverbindung, ein Kabelgeschirr usw. verbunden sein. Außerdem ist mit dem Prozessor 14 eine oder mehr Speicher­ einheiten 18 verbunden, wie zum Beispiel ein RAM zur Speiche­ rung von Arbeitsbereichdaten und eine Festplatte oder ein anderer nichtflüchtiger Speicher wie z. B. ein Bläschenspei­ cher. Schließlich können über eine Eingangs/Ausgangs-Schnitt­ stelle 20 die Ergebnisse der Verarbeitung erfindungsgemäß an andere Komponenten weitergegeben werden, wie z. B. einen weite­ ren Prozessor zur Durchführung der Objekterkennung. Alternativ kann der gleiche Prozessor 14 zum erfindungsgemäßen Verarbei­ ten der Entfernungsdaten und zum Durchführen der Objekterken­ nung verwendet werden, die unter Verwendung herkömmlicher Verfahren durchgeführt werden kann.
Beim Empfangen der Entfernungsdaten vom Scanner 12 werden bei 22 aus benachbarten Punkten in den Entfernungsdaten Li­ niensegmente gebildet. Bei 24 werden dann die Liniensegmente zu längeren Liniensegmenten und einem ersten Satz Ebenen verschmolzen. Ein Beispiel von Pseudocode zum Kombinieren von Liniensegmenten in einer Abtastlinie zum Bilden von längeren Liniensegmenten ist unten angegeben.
Pseudocode zur linearen Segmentierung
Wie im obigen Pseudocode angegeben, werden die Daten­ punkte in einer Abtastlinie zum Definieren einer Liste von die Datenpunkte verbindenden Liniensegmenten bei deren Empfang verwendet. Die Linearität eines jeden benachbarten Paars von Liniensegmenten wird berechnet, und wenn der Fehler geringer als ein Schwellenwert ist, wird die mögliche Verschmelzung in eine Prioritätsschlange eingetragen. Nachdem alle möglichen Verschmelzungen der ursprünglichen Liniensegmente berechnet wurden, wird die bestmögliche Verschmelzung in der Prioritäts­ schlange durchgeführt und die Liniensegmente, die verschmolzen wurden, werden von der Liste von Linien gestrichen, und eine neue Linie wird hinzugefügt. Der Prozeß des Durchführens der bestmöglichen Verschmelzung in der Prioritätsschlange wird so lange fortgesetzt, bis die Prioritätsschlange leer ist.
Die auf der Liste der Linien L verbleibenden Linienseg­ mente werden zu Ebenen verschmolzen. Anfänglich werden Ebenen aus Liniensegmenten gebildet, die nahe beieinanderliegen. Danach werden, wie unten beschrieben, Liniensegmente mit der am besten passenden Ebene verschmolzen. Bei der bevorzugten Ausführungsform wird die Nähe der Liniensegmente und Ebenen dadurch bestimmt, daß der interessierende Raum zum Erfassen eines Objekts in Zellen aufgeteilt wird und die Zellen identi­ fiziert werden, durch die die jeweiligen verbleibenden Linien­ segmente hindurchgehen. Zum Vereinfachen der Verarbeitung werden bei der in Pseudocode angegebenen Ausführungsform nur zwei Dimensionen dreidimensionaler Entfernungsdaten verwendet. Zum Beispiel können die Koordinaten der horizontalen Ebene zum Bestimmen von Zellenmitgliedschaft verwendet werden. Pseudoco­ de für diese Zwecke ist unten aufgeführt.
Pseudocode für Koordinaten-Zellen-Mitgliedschaft von Linien
Wie oben für jedes Liniensegment in der am letzten ver­ arbeiteten Abtastlinie werden der Ausgangs- und der Endpunkt der verbleibenden Liniensegmente daraufhin überprüft, ob sie in der gleichen Zelle liegen. Wenn dem so ist, wird das Li­ niensegment zur Zelle hinzugefügt, und die Verarbeitung wird mit dem nächsten Liniensegment fortgesetzt, bis alle verblei­ benden Liniensegmente in der als letztes verarbeiteten Ab­ tastlinie verarbeitet wurden. Wenn der Ausgangs- und Endpunkt des Liniensegments nicht in der gleichen Zelle sind, wird der Mittelpunkt des Liniensegments ermittelt und der Vorgang des Berechnens der Mitgliedschaft wird für jede Hälfte des Linien­ segments durchgeführt. Das Liniensegment wird so lange in immer kleinere Teile unterteilt, bis ein in einer einzigen Zelle liegendes Teil des Liniensegments gefunden ist. Die für die Liniensegmente in der jeweiligen Zelle verwendete Identi­ fikation ist für alle Teile des Liniensegments die gleiche. Außerdem zeichnet die Datenstruktur für das jeweilige Linien­ segment die Zellen auf, durch die das Liniensegment hindurch­ geht.
Die Größe der Zellen wird auf der Grundlage einer Anzahl von Faktoren gewählt, wie zum Beispiel die Größe des inter­ essierenden Raums, die Größe des (der) zu erkennenden Objekts (Objekte), die Auflösung der Scannerausrüstung usw., um die Schnelligkeit des Algorithmus zu optimieren. Zum Beispiel könnte für einen 7 Meter breiten und 14 Meter tiefen Raum ein Feld von 10×10 Zellen in der horizontalen Ebene verwendet werden.
Die Endziel der vorliegenden Erfindung ist das Erzeugen von Ebenen. Anfangs werden Linien in der gleichen Zelle dar­ aufhin getestet, wieviele Liniensegmente aus den Ebenen mit einem Fehler innerhalb eines Schwellenwerts verschmolzen werden können. Die Liniensegmente müssen von unterschiedlichen Abtastlinien stammen und sind ungefähr parallel, z. B. in einem Winkel von 15 Grad, und liegen ziemlich nahe beieinander. Bei der bevorzugten Ausführungsform werden Liniensegmente als zum Verschmelzen in ausreichender Nähe angesehen, wenn der Vektor zwischen den Schwerpunkten der Liniensegmente auf die Normale des jeweiligen Liniensegments projiziert wird und die Länge mindestens einer der Projektionen kürzer als ein halber Meter ist.
Wenn die Ebenen gebildet werden, wird das Feld von Zel­ len, das die Lage der Liniensegmente identifiziert, aktuali­ siert, um die Ebenen als in den gleichen Zellen liegend zu identifizieren, durch die diejenigen Liniensegmente hindurch­ gehen, die zum Bilden der Ebenen verschmolzen wurden. Die Berechnung des Fehlers für die Ebene verwendet alle drei Dimensionen der jeweiligen Linie, auch wenn die Zellenmit­ gliedschaft nur aufgrund von zwei Dimensionen bestimmt wird.
Bei nach der Bildung der anfänglichen Ebenen verarbeite­ ten Abtastlinien werden nach der Erstellung von Verschmel­ zungs-Liniensegmenten und dem Identifizieren der Zellen, durch die die verbleibenden Liniensegmente hindurchgehen, jedes Liniensegment bei 26 mit einer naheliegenden Ebene verschmol­ zen, die den kleinsten Fehler aufweist, wenn der Fehler inner­ halb eines Schwellenwerts liegt. Pseudocode zur Durchführung solcher Verschmelzungen ist unten angegeben.
Pseudocode zur planaren Segmentierung
Wie oben ausgeführt, wird für jedes Liniensegment in der Abtastlinie eine Verschmelzung für dieses Liniensegment und jede der durch die gleiche Zelle gehenden Ebenen, durch die dieses Liniensegment hindurchgeht, berechnet. Die bestmögliche Verschmelzung wird durchgeführt, wenn der Fehler geringer als ein Schwellenwert ist. Wenn eine neue Ebene durch eine Ver­ schmelzung mit einem Liniensegment erzeugt wird (und mögli­ cherweise mit einer anderen Ebene), wird die neue Ebene in eine Tabelle von Objekten aufgenommen, und das Liniensegment und die alte Ebene werden entfernt. Wenn die bestmögliche Verschmelzung zwischen dem Liniensegment und der durch die gleichen Zellen wie die Liniensegmente gehenden Ebenen einen Fehler aufweist, der höher als der Schwellenwert ist, wird bei 32 versucht, das Liniensegment mit den anderen durch die gleichen Zellen hindurchgehenden Liniensegmenten zu ver­ schmelzen. Die bestmögliche Verschmelzung von Liniensegmenten in eine Ebene wird dann durchgeführt, wenn die neue Ebene einen Fehler hat, der innerhalb des Schwellenwerts liegt. Die neue Ebene wird in die Tabelle der Objekte aufgenommen, und das zuvor existierende Liniensegment wird aus der Tabelle der Objekte gestrichen. Sonst wird das Liniensegment in der Ab­ tastlinie, die nicht mit einer Ebene oder zuvor existierenden Liniensegmenten verschmolzen werden konnte, in die Tabelle der Objekte aufgenommen.
Wenn noch mehr Abtastlinien 34 zu verarbeiten sind, geht die Verarbeitung wie oben beschrieben weiter. Nach dem Ver­ arbeiten aller Abtastlinien wird bei 36 versucht, Ebenen mit ähnlichen Normalen zu verschmelzen, wenn die kombinierte Ebene einen Fehler hat, der geringer als der Schwellenwert ist. Der Pseudocode zum Verschmelzen ähnlicher Ebenen ist unten aufge­ führt.
Pseudocode zum Verschmelzen ähnlicher Ebenen
Wie oben angegeben, ist der Pseudocode für das Verschmel­ zen ähnlicher Ebenen wie der Pseudocode für das Verschmelzen von Linien und Ebenen. Ein zweidimensionales Feld wird zum Vereinfachen des Vorgangs des Identifizierens von Ebenen, die zum Verschmelzen geeignete Kandidaten sind, mit Ebenen ge­ füllt. Das zweidimensionale Feld wird im von der Speicherein­ heit 18 gelieferten Arbeitsbereich definiert. Die Anzahl der Zellen in der Anordnung hängt davon ab, wie ähnlich die für eine mögliche Verschmelzung zu testenden Ebenen sein sollten. Das wiederum hängt von dem für den Fehler verwendeten Schwel­ lenwert, der Anzahl der Ebenen, dem Grad des Rauschens in den Entfernungsdaten, der Optimierung für die Geschwindigkeit usw. ab. Im wesentlichen repräsentiert das zweidimensionale Feld die von den Normalen für die jeweiligen Ebenen mit Achsen in einer Referenzebene, wie zum Beispiel die horizontale Ebene, die zum Identifizieren der Zellen verwendet wird, durch die Liniensegmente und Ebenen hindurchgehen, eingeschlossenen Winkel. Zum Beispiel kann eine Zelle eine Veränderung um 0,1 des absoluten Werts der X- und Y-Komponente der Normalen repräsentieren.
Nachdem das Feld gefüllt wurde, werden bei einer Zelle nach der anderen mögliche Verschmelzungen für jede Ebene in der Zelle mit anderen Ebenen in der Zelle und in den benach­ barten Zellen berechnet. Wie im obigen Pseudocode angegeben, werden insgesamt neun Zellen überprüft, da es sein kann, daß die Normale der mit anderen Ebenen verglichenen Ebene näher der Normalen einer Ebene in einer benachbarten Zelle als zur Normalen einer Ebene in der gleichen Zelle ist, wenn die Normale der zu vergleichenden Ebene nahe der Grenzen des Bereichs liegt.
Bei der bevorzugten Ausführungsform wird nicht versucht, die bestmögliche Verschmelzung herbeizuführen. Wenn einmal eine kombinierte Ebene mit einem Fehler gefunden ist, der geringer als ein Schwellenwert ist, werden die beiden ver­ schmolzenen Ebenen aus der Liste der Ebenen und vom Feld der Normalen gestrichen, und die kombinierte Ebene wird auf die Liste gesetzt, und die Normale der kombinierten Ebene wird dem Feld der Normalen hinzugefügt. Dann wird die nächste Ebene in der Ebenenliste verarbeitet. Da neue Ebenen ans Ende der Liste gesetzt werden, sind beim Erreichen des Endes der Liste alle Ebenen (einschließlich der neuen Ebenen) verarbeitet worden. Damit es keine möglichen Verschmelzungen von Ebenen mehr gibt, ist der letzte Schritt der Versuch des Verschmelzens nahe beieinanderliegender Ebenen wie im Pseudocode unten angegeben. Dieses Verfahren entdeckt Ebenen, vor allem kleine Ebenen, die in der Nähe liegen und deren Normale aufgrund von Meßfehlern und aufgrund des verwendeten Grads der Auflösung nicht in nebeneinanderliegenden Zellen sind, doch bei denen die resul­ tierende verschmolzene Ebene einen Fehler hat, der unterhalb eines akzeptablen Schwellenwerts liegt.
Pseudocode zum Verschmelzen nahegelegener Ebenen (mergeNearby- Planes)
Das zum Verschmelzen von Linien zu Ebenen verwendete Zellenfeld wird wieder zum Verschmelzen nahegelegener Ebenen verwendet, nachdem Ebenen ähnlicher Normaler verschmolzen wurden. Wie oben angegeben, ist der Vorgang des Verschmelzens nahegelegener Ebenen wir der des Verschmelzens von Ebenen mit ähnlichen Normalen. Der Unterschied besteht darin, daß die benachbarten Zellen die gleichen geographischen Zellen re­ präsentieren, die beim Verschmelzen von Linien und Ebenen anstelle der Komponenten von Normalen verwendet wurden. Der Vorgang wird so lange fortgesetzt, bis keine weiteren Ver­ schmelzungen mehr geschehen.
Ein Beispiel ist Fig. 3, in der ein aus Entfernungsdaten gewonnener Datensatz und eine abstrakte Darstellung 58 der Ladefläche des Kippers gezeigt sind. Die größeren Punkte repräsentieren Datenpunkte, die in drei Liniensegmenten ent­ halten sind, die in einer einzigen Abtastlinie vom oben aufge­ führten Pseudocode erfaßt wurden. Die Punkte in den Linienseg­ menten 60, 62 und 64 würden in Punkte vom Muldenvordach des Muldenkippers, von der linken Seite der Führerkabine bzw. vom Boden durch den oben aufgeführten Pseudocode verschmolzen werden.
Eine Entfernungsabtastung eines Kippers ist in Fig. 4 dargestellt. Aus dem aufgeführten Pseudocode erstellter Compu­ tercode würde Ebenen wie die angegebenen erzeugen. Diese Ebenen würden an die Objekterkennungssoftware 38 weitergege­ ben, die bekannte Software sein kann, die über ein Modell davon verfügt, wie das zu erkennende Objekt auszusehen hat. In herkömmlicher Weise erzeugt eine solche Erkennungssoftware eine Hypothese davon, was die Ebenen oder Teile der Ebenen repräsentieren, und es wird ein Überprüfungsvorgang zum Testen der Hypothese durchgeführt. Dieser Vorgang wird so lange wiederholt, bis ein Objekt erkannt wird, oder es wird festge­ stellt, daß die Ebenen keinem Objekt entsprechen, die die Software erkennen kann.

Claims (36)

1. Computerprogramm auf einem computerlesbaren Medium zum Analysieren von Entfernungsdaten aus Abtastlinien, gekenn­ zeichnet durch:
  • - einen Liniensegmentverschmelzungscode zum Verschmelzen jedes Liniensegments mit einer am besten passenden Ebene, wenn ein Fehler der verschmolzenen Ebene innerhalb eines ersten Ebenen-Schwellenwerts erzeugt wird, und
  • - einen Ebenenverschmelzungscode zum Verschmelzen zweier Paare von Ebenen, wenn ein Fehler einer kombinierten Ebene innerhalb eines zweiten Ebenen-Schwellenwerts erzeugt wird.
2. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, dadurch gekennzeichnet, daß
  • - die Liniensegmente zwischen einem Paar benachbarter, von den Entfernungsdaten in einer einzigen Abtastlinie definierter Punkte gebildet werden, und
  • - der Liniensegmentverschmelzungscode weiter aufweist, daß vor dem Verschmelzen eines jeden Liniensegments mit der am besten passenden Ebene Paare der Liniensegmente in jeder Abtastlinie verschmolzen werden, wenn ein Fehler für die verschmolzenen Liniensegmente innerhalb eines Linien-Schwel­ lenwerts erzeugt wird.
3. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 2, dadurch gekennzeichnet, daß der Liniensegmentver­ schmelzungscode für die Entfernungsdaten einer Abtastlinie ausgeführt wird, während die Entfernungsdaten einer weiteren Abtastlinie beschafft werden.
4. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, dadurch gekennzeichnet, daß der Ebenenverschmel­ zungscode jede Ebene mit mindestens entweder Ebenen mit ähn­ lichen Normalen oder Ebenen innerhalb einer vorbestimmten Entfernung zum Bilden einer der kombinierten Ebenen, deren Fehler für kombinierte Ebenen innerhalb des zweiten Ebenen­ schwellenwerts liegt, kombiniert.
5. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 4, dadurch gekennzeichnet, daß der Ebenenverschmel­ zungscode die Ebenen mit ähnlichen Normalen verschmilzt durch
  • - Berechnen einer Normalen für jede der Ebenen,
  • - Speichern von Identifikatoren der Ebenen in einem zweidi­ mensionalen Feld aufgrund von Komponenten der Normalen für die jeweiligen Ebenen, wobei jede Ebene in nur einer Zelle des Felds liegt, und
  • - Berechnen des Fehlers für die kombinierte Ebene für jede Ebene und alle anderen Ebenen in der einen Zelle und den dazu benachbarten Zellen zum Ermitteln eines Fehlers der kombinier­ ten Ebene innerhalb des zweiten Ebenenschwellenwerts.
6. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, dadurch gekennzeichnet, daß, wenn der beim Ver­ schmelzen eines der Liniensegmente mit der am besten passenden Ebene erzeugte Fehler größer ist als der erste Ebenenschwel­ lenwert, der erste Liniensegmentverschmelzungscode weiter aufweist, daß das eine Liniensegment mit einem weiteren Li­ niensegment in einer vorhergehenden Abtastlinie zum Erzeugen eines möglichst niedrigen Fehlers für eine verschmolzene Ebene verschmolzen wird, wenn der möglichst niedrige Fehler für eine verschmolzene Ebene innerhalb des ersten Ebenenschwellenwerts liegt.
7. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, dadurch gekennzeichnet, daß
  • - der Liniensegmentverschmelzungscode so lange ausgeführt wird, bis ein Verschmelzen der am besten passenden Ebene mit jedem Liniensegment einen Fehler für eine verschmolzene Ebene erzeugen würde, der größer wäre als der erste Schwellenwert und keine zwei Liniensegmente mehr verschmolzen werden können, bei denen der Fehler für eine verschmolzene Ebene innerhalb des ersten Ebenenschwellenwerts ist, und
  • - der Ebenenverschmelzungscode so lange ausgeführt wird, bis der Fehler für eine kombinierte Ebene einer jeden mögli­ chen Verschmelzung größer als der zweite Ebenenschwellenwert ist.
8. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, gekennzeichnet
  • - durch einen Raumaufteilungscode zum Aufteilen eines interessierenden Raums in Zellen, zum Identifizieren aller Zellen, durch die die jeweiligen Liniensegmente hindurchgehen, und
  • - dadurch, daß der Liniensegmentverschmelzungscode die am besten passende Ebene bestimmt, indem jedes Liniensegment nur mit den durch die Zellen hindurchgehenden Ebenen verglichen wird, durch die das Liniensegment hindurchgeht.
9. Computerprogramm auf einem computerlesbaren Speichermedi­ um nach Anspruch 8, dadurch gekennzeichnet, daß der Linienseg­ mentverschmelzungscode diejenigen Zellen, durch die die jewei­ lige Ebene hindurchgeht, als die Zellen identifiziert, durch die die zum Bilden der Ebene verschmolzenen Linien hindurch­ gehen.
10. Computerprogramm auf einem computerlesbaren Medium nach Anspruch 1, gekennzeichnet durch einen Objekterkennungscode zum Durchführen von Hypothesenerzeugung und -überprüfung von mindestens einem Objekt, das aus den kombinierten Ebenen gebildet ist, die aus dem zu Ende geführten Verarbeiten des Ebenenverschmelzungscodes resultieren.
11. Verfahren zum Erfassen mindestens eines Objekts aus Entfernungsdaten in mehreren Abtastlinien, gekennzeichnet durch die folgenden Schritte:
  • - Sammeln von Daten in mehreren Abastlinien,
  • - Verarbeiten jeder Abtastlinie zum Definieren von Linien­ segmenten zwischen allen Paaren nebeneinanderliegender Punkte der darin enthaltenen Entfernungsdaten,
  • - Bilden von Ebenen durch Kombinieren von Liniensegmenten in verschiedenen Abtastlinien,
  • - Verschmelzen jedes Liniensegments in jeder Abtastlinie mit einer am besten passenden Ebene, wenn ein Fehler erzeugt wurde, der innerhalb eines ersten Ebenenschwellenwerts liegt,
  • - Verschmelzen von jeweils zwei Ebenen zum Erzeugen kom­ binierter Ebenen, wenn ein Fehler für kombinierte Ebenen innerhalb eines zweiten Ebenenschwellenwerts erzeugt wird, und
  • - Durchführen von Hypothesenerzeugung und -überprüfung mindestens eines aus den kombinierten Ebenen gebildeten Ob­ jekts, wenn das Verschmelzen der Ebenen vollständig durch­ geführt ist.
12. Verfahren nach Anspruch 11, gekennzeichnet durch den folgenden Schritt: vor dem Verschmelzen eines jeden Linienseg­ ments mit der am besten Passenden Ebene Verschmelzen von Paaren der Liniensegmente in jeder Abtastlinie, falls jeweils ein Fehler für verschmolzene Liniensegmente innerhalb eines Linienschwellenwerts erzeugt wird.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß das Verschmelzen der Paare der Liniensegmente wiederholt für am besten übereinstimmenden Paare der Liniensegmente durch­ geführt wird, bis der Fehler für die verschmolzenen Linienseg­ mente der besten Übereinstimmung den Linienschwellenwert übersteigt.
14. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß das Verschmelzen der Ebenenpaare aufweist:
  • - Berechnen einer Normalen für jede der Ebenen,
  • - Speichern von Identifikatoren der Ebenen in einem zweidi­ mensionalen Feld, aufgrund von Komponenten der Normalen für die jeweiligen Ebenen, wobei jede Ebene nur in jeweils einer Zelle des Felds ist, und
  • - Berechnen des Fehlers für kombinierte Ebenen für eine Kombination der jeweiligen Ebene mit allen anderen Ebenen in der einen Zelle und den benachbarten Zellen zum Ermitteln eines Fehlers für kombinierte Ebenen innerhalb des zweiten Ebenenschwellenwerts.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß das Verschmelzen von Ebenenpaaren weiter aufweist: nach allen möglichen Verschmelzungen der Liniensegmente in allen Abtast­ linien innerhalb des ersten Ebenenschwellenwerts und der Ebenenpaare in benachbarten Zellen, Verschmelzen von Ebenen­ paaren innerhalb einer vorbestimmten Entfernung zum Bilden zusätzlicher kombinierter Ebenen, wenn der Fehler jeweils innerhalb eines dritten Ebenenschwellenwerts liegt.
16. Verfahren nach Anspruch 15, gekennzeichnet durch den folgenden Schritt: wenn der Fehler für verschmolzene Ebenen, der durch Verschmelzen eines der Liniensegmente mit der am besten passenden Ebene erzeugt wird, größer ist als der erste Schwellenwert, Verschmelzen des einen Liniensegments mit einem weiteren Liniensegment in einer vorhergehenden Abtastlinie zum Erzeugen eines möglichst niedrigen Fehlers für verschmolzene Ebenen, wenn der möglichst niedrige Fehler für verschmolzene Ebenen innerhalb eines vierten Ebenenschwellenwerts liegt.
17. Verfahren nach Anspruch 16, gekennzeichnet durch den folgenden Schritt:
  • - Aufteilen eines interessierenden Raums in Zellen zum Identifizieren aller Zellen, durch die das jeweilige Linien­ segment hindurchgeht, und
  • - dadurch, daß das Verschmelzen der Liniensegmente mit den Ebenen die am besten passende Ebene dadurch bestimmt, daß das jeweilige Liniensegment nur mit den denjenigen Ebenen ver­ glichen wird, die durch die Zelle hindurchgehen, durch die das Liniensegment hindurchgeht.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, daß das Verschmelzen der Liniensegmente mit den Ebenen diejenigen Zellen identifiziert, durch die die jeweilige Ebene hindurch­ geht, als diejenigen Zellen, durch die die zum Bilden der Ebene verschmolzenen Linien hindurchgehen.
19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß das Verschmelzen der Liniensegmente zum anfänglichen Bilden der Ebenen für die Entfernungsdaten in einer Abtastlinie durchgeführt wird, während die Entfernungsdaten für eine weitere Abtastlinie beschafft werden.
20. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß das Verschmelzen der Liniensegmente mit den Ebenen für die Entfernungsdaten in einer Abtastlinie durchgeführt wird, während die Entfernungsdaten für eine weitere Abtastlinie beschafft werden.
21. Robotersichtvorrichtung eines Roboters, gekennzeichnet durch:
  • - ein Scanner-Untersystem zum Sammeln von Entfernungsdaten in mehreren Abtastlinien,
  • - mindestens eine mit dem Scanner-Untersystem verbundenen Speichereinheit zum Speichern der Entfernungsdaten und eines Computerprogramms zur Analyse der Entfernungsdaten und zum Bereitstellen eines Arbeitsbereichs für die Analyse der Ent­ fernungsdaten,
  • - einen mit der Speichereinheit und dem Scanner-Untersystem verbundenen Prozessor zum Analysieren der Entfernungsdaten durch Ausführen des in der Speichereinheit gespeicherten Computerprogramms zum Definieren von Liniensegmenten zwischen Paaren benachbarter Punkte der Entfernungsdaten in der jewei­ ligen Abtastlinie zum Kombinieren der Liniensegmente zum Bilden von Ebenen, wobei ein erster Ebenenfehler für jede Ebene innerhalb eines ersten Ebenenschwellenwerts liegt, zum Verschmelzen von Paaren von Ebenen zum Bilden kombinierter Ebenen, wobei ein zweiter Ebenenfehler jeweils innerhalb eines zweiten Ebenenschwellenwerts liegt, und zum Erzeugen von Objektinformation, und
  • - eine mit dem Prozessor, der Speichereinheit und dem Roboter verbundenen Eingangs-/Ausgangs-Schnittstelle zum Liefern der Objektinformation aus der Analyse der Entfernungs­ daten an den Roboter.
22. Robotersichtvorrichtung nach Anspruch 21, dadurch gekenn­ zeichnet, daß der Prozessor vor dem Versuch der Kombination der Liniensegmente zum Bilden der Ebenen Paare von Linienseg­ menten in der jeweiligen Abtastlinie zum Bilden verschmolzener Liniensegmente verschmilzt, wobei jeweils ein Fehler für ver­ schmolzene Linien auftritt, vorausgesetzt, der Fehler für verschmolzene Linien ist innerhalb eines Linienschwellenwerts.
23. Robotersichtvorrichtung nach Anspruch 22, dadurch gekenn­ zeichnet, daß der Prozessor vor dem Bilden neuer Ebenen durch Verschmelzen zweier Liniensegmente alle unverschmolzenen Liniensegmente und die verschmolzenen Liniensegmente in jeder Abtastlinie mit einer am besten passenden Ebene, die während der Verarbeitung vorhergehender Abtastlinien zum Bilden einer verschmolzenen Ebene gebildet wurde, verschmilzt, vorausge­ setzt, ein dritter Ebenenfehler für die verschmolzene Ebene liegt innerhalb eines dritten Ebenenschwellenwerts.
24. Robotersichtvorrichtung nach Anspruch 23, dadurch gekenn­ zeichnet, daß, wenn der beim Verschmelzen eines der unver­ schmolzenen Liniensegmente und der verschmolzenen Linienseg­ mente in einer aktuellen Abtastlinie mit der am besten passen­ den Ebene erzeugte Fehler größer als der dritte Ebenenschwel­ lenwert ist, der Prozessor das eine der unverschmolzenen Liniensegmente und der verschmolzenen Liniensegmente in der aktuellen Abtastlinie mit einem der Liniensegmente in der vorhergehenden Abtastlinie zum Erzeugen eines minimalen Feh­ lers für eine verschmolzene Ebene unter allen Liniensegmenten, vorausgesetzt, der minimale Fehler für verschmolzene Ebenen ist innerhalb des ersten Ebenenschwellenwerts.
25. Robotersichtvorrichtung nach Anspruch 24, dadurch gekenn­ zeichnet, daß der Prozessor eine Normale für jede der Ebenen berechnet, zum Speichern von Identifikatoren der Ebenen in einem zweidimensionalen Feld im Arbeitsbereich der Speicher­ einheit aufgrund einer Komponente der Normalen für jede der Ebenen, zum Berechnen des zweiten Ebenenfehlers für jede Kombination von jeweils einer Ebene mit allen anderen Ebenen in der einen Zelle und den benachbarten Zellen und zum Spei­ chern der Kombination der Ebenen mit einem minimalen zweiten Ebenenfehler innerhalb des zweiten Ebenenschwellenwerts als eine der kombinierten Ebenen.
26. Robotersichtvorrichtung nach Anspruch 25, dadurch gekenn­ zeichnet, daß nach dem Durchführen aller möglicher Verschmel­ zungen der unverschmolzenen Liniensegmente und der verschmol­ zenen Liniensegmente mit der am besten passenden Ebene, bei denen der dritte Ebenenfehler innerhalb des dritten Ebenen­ schwellenwerts erzeugt wurde, und nach dem Durchführen aller möglichen Verschmelzungen von Liniensegmenten zum Bilden der neuen Ebenen mit dem ersten Ebenenfehler innerhalb des ersten Ebenenschwellenwerts und alle kombinierten Ebenen in benach­ barten Zellen, bei denen der zweite Ebenenfehler innerhalb des zweiten Ebenenschwellenwerts erzeugt wurde, gebildet wurden, der Prozessor die Ebenenpaare innerhalb einer vorbestimmten Entfernung zum Bilden zusätzlicher kombinierter Ebenen ver­ schmilzt, vorausgesetzt, ein vierter Ebenenfehler für jede zusätzliche kombinierte Ebene liegt innerhalb eines vierten Ebenenschwellenwerts.
27. Objekterkennungssystem für ein autonomes Fahrzeug, ge­ kennzeichnet durch:
  • - einen auf dem autonomen Fahrzeug angebrachten Scanner zum Sammeln von Entfernungsdaten in mehreren Abtastlinien eines interessierenden Bereichs und
  • - ein mit dem Scanner verbundenes Datenverarbeitungssystem zum Analysieren der Entfernungsdaten durch Definieren von Liniensegmenten zwischen Paaren benachbarter Punkte der Ent­ fernungsdaten in der jeweiligen Abtastlinie, Kombinieren der Liniensegmente zum Bilden von Ebenen, wobei jeweils ein erster Ebenenfehler innerhalb eines ersten Ebenenschwellenwerts liegt, Verschmelzen der Ebenen zum Bilden kombinierter Ebenen, wobei jeweils ein zweiter Ebenenfehler innerhalb eines zweiten Ebenenschwellenwerts liegt, und Identifizieren von Objekten im interessierenden Bereich aus den kombinierten Ebenen.
28. Objekterkennungssystem für ein autonomes Fahrzeug nach Anspruch 27, dadurch gekennzeichnet, daß das Datenverarbei­ tungssystem Paare von Liniensegmenten innerhalb jeder Abtast­ linie zum Bilden verschmolzener Liniensegmente verschmilzt, wobei jedes einen minimalen Fehler für verschmolzene Linien für mindestens eines der Liniensegmente der Paare hat, vor­ ausgesetzt, der minimale Fehler für verschmolzene Linien ist innerhalb eines Linienschwellenwerts, und verschmilzt dann jedes der unverschmolzenen Liniensegmente und der verschmolze­ nen Liniensegmente in jeder Abtastlinie mit einer am besten passenden Ebene, die während des Verarbeitens vorhergehender Abtastlinien gebildet wurde, zum Bilden einer verschmolzenen Ebene, vorausgesetzt, ein dritter Ebenenfehler für die ver­ schmolzene Ebene liegt innerhalb eines dritten Ebenenschwel­ lenwerts.
29. Objekterkennungssystem für ein autonomes Fahrzeug nach Anspruch 28, dadurch gekennzeichnet, daß das Datenverarbei­ tungssystem eine Normale für jede der Ebenen berechnet, Iden­ tifikatoren der Ebenen in einem zweidimensionalen Feld spei­ chert, aufgrund von Komponenten der Normalen für die jeweili­ gen Ebenen, den zweiten Ebenenfehler für jede Ebene in einer Zelle und aller anderen Ebenen in der einen Zelle und den benachbarten Zellen berechnet und als eine der kombinierten Ebenen eine Kombination der Ebenen mit einem minimalen zweiten Ebenenfehler innerhalb des zweiten Ebenenschwellenwerts spei­ chert.
30. Objekterkennungssystem für ein autonomes Fahrzeug nach Anspruch 29, dadurch gekennzeichnet, daß nach dem Durchführen aller möglichen Verschmelzungen der Liniensegmente und der verschmolzenen Liniensegmente, wobei der Fehler für verschmol­ zene Linien innerhalb des Linienschwellenwerts liegt, und aller möglichen Verschmelzungen unverschmolzener Liniensegmen­ te und verschmolzener Liniensegmente mit der am besten passen­ den Ebene, wobei der erste Ebenenfehler innerhalb des ersten Ebenenschwellenwerts liegt, und dem Bilden aller kombinierter Ebenen in benachbarten Zellen, wobei der zweite Ebenenfehler innerhalb des zweiten Ebenenschwellenwerts liegt, der Prozes­ sor Paare von Ebenen innerhalb einer vorbestimmten Entfernung zum Bilden zusätzlicher kombinierter Ebenen verschmilzt, vorausgesetzt, ein vierter Ebenenfehler liegt innerhalb eines vierten Ebenenschwellenwerts.
31. Verfahren zum Betreiben eines Computersystems zum Erken­ nen eines Objekts in einem interessierenden Raum, gekennzeich­ net durch die folgenden Schritte:
  • - Empfangen von Entfernungsdaten in mehreren Abtastlinien von einem Scanner,
  • - Verarbeiten der Entfernungsdaten zum Definieren von Liniensegmenten zwischen Paaren nebeneinanderliegender Punkte der Entfernungsdaten in jeder Abtastlinie zum Kombinieren der Liniensegmente zum Bilden von Ebenen, wobei jede einen ersten Ebenenfehler innerhalb eines ersten Ebenenschwellenwerts hat, zum Verschmelzen von Paaren von Ebenen zum Bilden kombinierter Ebenen, wobei jede einen zweiten Ebenenfehler innerhalb eines zweiten Ebenenschwellenwerts hat, und zum Erkennen eines Objekts im interessierenden Raum aus den kombinierten Ebenen, und
  • - Ausgeben von das im interessierenden Raum erkannten Objekt repräsentierenden Daten.
32. Verfahren nach Anspruch 31, weiter gekennzeichnet durch die folgenden Schritte:
  • - Speichern der vom Scanner empfangenen Entfernungsdaten, die einen dem interessierenden Raum entsprechenden Speicherbe­ reich definieren, der in zweidimensionale Zellen unterteilt ist, die Liniensegmentdaten für jedes durch einen entspre­ chenden Teil des interessierenden Raums hindurchgehendes Liniensegment und Ebenendaten in den zweidimensionalen Zellen speichern, die zuvor Liniensegmentdaten für die zum Bilden der von den Ebenendaten repräsentierten Ebenen verschmolzenen Liniensegmente gespeichert haben, und
  • - dadurch, daß das Verarbeiten weiter aufweist, daß jedes Liniensegment mit einer durch mindestens eine der Zellen, durch die das Liniensegment hindurchgeht, hindurchgehenden am besten passenden Ebene verschmilzt, wenn eine verschmolzene Ebene einen Fehler hat, der innerhalb eines dritten Ebenen­ schwellenwerts liegt.
33. Verfahren nach Anspruch 32, dadurch gekennzeichnet, daß das Verarbeiten zum Verschmelzen von Ebenenpaaren zum Bilden kombinierter Ebenen aufweist:
  • - Speichern von Identifikatoren der Ebenen in einem zweidi­ mensionalen Feld aufgrund von Komponenten der Normalen für die jeweiligen Ebenen,
  • - Berechnen des zweiten Ebenenfehlers für jede Ebene in einer Zelle und aller anderen Ebenen in der einen Zelle und den benachbarten Zellen,
  • - Speichern einer Kombination der Ebenen mit einem minima­ len zweiten Ebenenfehler innerhalb des zweiten Ebenenschwel­ lenwerts als eine der kombinierten Ebenen, und
  • - Verschmelzen von Paaren von Ebenen innerhalb einer vorbe­ stimmten Entfernung zum Bilden zusätzlicher kombinierter Ebenen, vorausgesetzt, ein Fehler für kombinierte Ebenen für jede zusätzliche kombinierte Ebene liegt innerhalb eines vierten Ebenenschwellenwerts.
34. Computersystem zum Erkennen eines Objekts in einem inter­ essierenden Raum aus durch einen Scanner gelieferten Entfer­ nungsdaten, gekennzeichnet durch:
  • - eine Einrichtung zum Empfangen von Entfernungsdaten in mehreren Abtastlinien vom Scanner, eine Einrichtung zum Verarbeiten der Entfernungsdaten zum Definieren von Liniensegmenten zwischen Paaren nebeneinander­ liegender Punkte der Entfernungsdaten in jeder Abtastlinie zum Kombinieren der Liniensegmente zum Bilden von Ebenen, wobei jeweils ein erster Ebenenfehler innerhalb eines ersten Ebenen­ schwellenwerts liegt, zum Verschmelzen von Paaren der Ebenen zum Bilden kombinierter Ebenen, wobei jeweils ein zweiter Ebenenfehler innerhalb eines zweiten Ebenenschwellenwerts liegt, und zum Erkennen eines Objekts im interessierenden Raum aus den kombinierten Ebenen, und
  • - eine Einrichtung zum Ausgeben von das im interessierenden Raum erkannte Objekt repräsentierenden Daten.
35. Computersystem nach Anspruch 34, weiter gekennzeichnet:
  • - durch eine Einrichtung zum Speichern der vom Scanner emp­ fangenen Entfernungsdaten und zum Definieren eines dem inter­ essierenden Raum entsprechenden Speicherbereichs, der in zweidimensionale Zellen aufgeteilt ist, Liniensegmentdaten für jedes durch einen entsprechenden Teil des interessierenden Raums hindurchgehendes Liniensegment und Ebenendaten in den zuvor Liniensegmentdaten speichernden Zellen Ebenendaten für die zum Bilden der durch die Ebenendaten repräsentierten Ebenen verschmolzenen Liniensegmente speichert, und
  • - dadurch, daß die Einrichtung zum Verarbeiten eine Ein­ richtung zum Verschmelzen eines jeden Liniensegments mit einer durch mindestens eine der Zellen, durch die das Liniensegment hindurchgeht, hindurchgehenden am besten passenden Ebene, wenn ein Fehler für verschmolzene Ebenen innerhalb eines dritten Ebenenschwellenwerts liegt, aufweist.
36. Computersystem nach Anspruch 35, dadurch gekennzeichnet, daß die Einrichtung zum Verarbeiten eine Einrichtung zum Ver­ schmelzen der Ebenenpaare zum Bilden kombinierter Ebenen aufweist, mit:
  • - einer Einrichtung zum Speichern von Identifikatoren der Ebenen in einem zweidimensionalen Feld aufgrund von Komponen­ ten einer Normalen für die jeweiligen Ebenen,
  • - einer Einrichtung zum Berechnen des zweiten Ebenenfehlers für jede Ebene in einer Zelle und alle anderen Ebenen in der einen Zelle und den benachbarten Zellen,
  • - einer Einrichtung zum Speichern einer Kombination der Ebenen mit einem minimalen zweiten Ebenenfehler innerhalb des zweiten Ebenenschwellenwerts als eine der kombinierten Ebenen, und
  • - einer Einrichtung zum Verschmelzen zusätzlicher Paare der Ebenen innerhalb einer vorbestimmten Entfernung zum Bilden zusätzlicher kombinierter Ebenen, vorausgesetzt, ein Fehler für kombinierte Ebenen liegt innerhalb eines vierten Ebenen­ schwellenwerts.
DE19805794A 1997-02-19 1998-02-12 Schnelle planare Segmentierung von Entfernungsdaten für mobile Roboter Ceased DE19805794A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/801,974 US5978504A (en) 1997-02-19 1997-02-19 Fast planar segmentation of range data for mobile robots

Publications (1)

Publication Number Publication Date
DE19805794A1 true DE19805794A1 (de) 1998-08-20

Family

ID=25182500

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19805794A Ceased DE19805794A1 (de) 1997-02-19 1998-02-12 Schnelle planare Segmentierung von Entfernungsdaten für mobile Roboter

Country Status (3)

Country Link
US (1) US5978504A (de)
JP (1) JP4046835B2 (de)
DE (1) DE19805794A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008020579A1 (de) * 2008-04-24 2009-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102014102943A1 (de) 2014-02-13 2015-08-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102021210903A1 (de) 2021-09-29 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10148060A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
WO2005088244A1 (ja) * 2004-03-17 2005-09-22 Sony Corporation 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
US6990390B2 (en) * 2004-05-19 2006-01-24 Caterpillar Inc. Method and apparatus to detect change in work tool
EP1840507B1 (de) * 2006-03-28 2013-07-17 Riccardo Clarici Verfahren und Integrationssystem zur digitalen Vermessung von dreidimensionalen Umgebungen.
JP4645601B2 (ja) * 2007-02-13 2011-03-09 トヨタ自動車株式会社 環境地図の生成方法及び移動ロボット
DE102009009569B4 (de) * 2009-02-19 2019-12-19 Daimler Ag Verfahren zum Ermitteln einer Teilfläche eines Bauteils
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
US20110232719A1 (en) * 2010-02-17 2011-09-29 Freda Robert M Solar power system
JP5493105B2 (ja) * 2010-03-19 2014-05-14 オプテックス株式会社 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置
US8199977B2 (en) 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
US8660365B2 (en) 2010-07-29 2014-02-25 Honeywell International Inc. Systems and methods for processing extracted plane features
AU2012202213B2 (en) 2011-04-14 2014-11-27 Joy Global Surface Mining Inc Swing automation for rope shovel
US8620533B2 (en) 2011-08-30 2013-12-31 Harnischfeger Technologies, Inc. Systems, methods, and devices for controlling a movement of a dipper
US8521418B2 (en) 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9206587B2 (en) 2012-03-16 2015-12-08 Harnischfeger Technologies, Inc. Automated control of dipper swing for a shovel
US9123165B2 (en) 2013-01-21 2015-09-01 Honeywell International Inc. Systems and methods for 3D data based navigation using a watershed method
US9153067B2 (en) 2013-01-21 2015-10-06 Honeywell International Inc. Systems and methods for 3D data based navigation using descriptor vectors
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9406138B1 (en) 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
US9412040B2 (en) * 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
CA2978389C (en) 2016-09-08 2025-12-09 Joy Global Surface Mining Inc System and method for semi-autonomous control of an industrial machine
US10515319B2 (en) * 2016-12-16 2019-12-24 Fetch Robotics, Inc. System and method for computing a probability that an object comprises a target
DE102017201169A1 (de) 2017-01-25 2018-07-26 Siemens Aktiengesellschaft Rechnergestütztes Bildverarbeitungsverfahren
CN110930411B (zh) * 2019-11-20 2023-04-28 浙江光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR617296A (fr) * 1925-10-24 1927-02-16 Instrument de musique producteur de sons continus
US5093869A (en) * 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
US5302997A (en) * 1992-12-28 1994-04-12 Eastman Kodak Company Composite photometric and range finding element array
JP3466661B2 (ja) * 1993-06-29 2003-11-17 キヤノン株式会社 画像処理装置及びその方法
JP2501010B2 (ja) * 1993-10-25 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション 移動ロボットの誘導装置
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008020579A1 (de) * 2008-04-24 2009-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102008020579B4 (de) * 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102014102943A1 (de) 2014-02-13 2015-08-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
US9233469B2 (en) 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
DE102014102943B4 (de) 2014-02-13 2018-08-30 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102021210903A1 (de) 2021-09-29 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung
US12387351B2 (en) 2021-09-29 2025-08-12 Robert Bosch Gmbh Method for picking up an object by means of a robotic device

Also Published As

Publication number Publication date
JPH10240944A (ja) 1998-09-11
JP4046835B2 (ja) 2008-02-13
US5978504A (en) 1999-11-02

Similar Documents

Publication Publication Date Title
DE19805794A1 (de) Schnelle planare Segmentierung von Entfernungsdaten für mobile Roboter
EP3454298B1 (de) Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
DE19858750B4 (de) Verfahren und Vorrichtungen zum Bestimmen der Position, Größe und Ausrichtung eines Objekts
DE112016006262B4 (de) Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102019123483B4 (de) Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102013208521A1 (de) Kollektives Erlernen eines hochgenauen Straßenmodells
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
EP1419402B1 (de) Verfahren zur erkennung und verfolgung von objekten
DE10226663A1 (de) Verfahren zum Auffinden von Gegenständen auf einer Trägerebene
DE102019127283A1 (de) System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs
DE69821225T2 (de) Verfahren zur kontrolle der oberfläche einer laufenden materialbahn mit vorklassifikation von ermittelten unregelmässigkeiten
DE69935705T2 (de) Gerät und Verfahren zum Bildvergleich
WO2020038944A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
EP4374341A1 (de) Verfahren zur überwachung eines laderaums
DE102019005431A1 (de) 3D-Modellerzeugungsvorrichtung
DE102017116565A1 (de) Erkennung von fahrzeuggrenzen
DE102017200146A1 (de) Verfahren zum Vermeiden von Kollisionen
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
WO2023186428A1 (de) Kalibrierung und justierung einer kamera eines fahrzeugs
DE102022204515A1 (de) Verfahren zum Bestimmen von Punktgruppen, die von einem vorgegebenen Betrachtungspunkt sichtbar oder nicht sichtbar sind

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8131 Rejection