DE102009009569B4

DE102009009569B4 - Verfahren zum Ermitteln einer Teilfläche eines Bauteils

Info

Publication number: DE102009009569B4
Application number: DE102009009569.1A
Authority: DE
Inventors: Dipl.-Ing. Höferlin Markus; Dipl.-Ing. Koch Andreas; Dipl.-Ing. Richter Mathias
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2009-02-19
Filing date: 2009-02-19
Publication date: 2019-12-19
Anticipated expiration: 2029-02-20
Also published as: DE102009009569A1

Abstract

Verfahren zum Ermitteln wenigstens einer Teilfläche eines in einem Behältnis befindlichen Bauteils als Angriffsfläche (18) zum Ansetzen einer Greifeinheit, bei welchem
a) mittels eines Sensors ein Bild des Bauteils erfasst wird, welches eine dreidimensionale Wolke (10) mit einer Mehrzahl von erfassten Bildpunkten (12) umfasst;
b) das Bild mittels einer Auswerteeinheit auf ein Vorliegen der wenigstens einen als Angriffsfläche (18) verwendbaren Teilfläche des Bauteils untersucht wird, wobei Bildpunkte (12) wenigstens einer dreidimensionalen Gitterzelle (14) zugeordnet werden und anhand der Bildpunkte (12) der Gitterzelle (14) ein Flächenstück (16) der wenigstens einen Teilfläche als Angriffsfläche (18), ermittelt wird;
c) auf der Angriffsfläche (18) wenigstens ein Greifpunkt zum Ansetzen einer Greifeinheit in Abhängigkeit von einer Größe einer Anlagefläche der Greifeinheit ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln wenigstens einer Teilfläche, insbesondere einer Angriffsfläche zum Ansetzen einer Greifeinheit, eines Bauteils, welches sich in einem Behältnis befindet. Bei diesem Verfahren wird mittels eines Sensors ein Bild des Bauteils erfasst, welches eine dreidimensionale Wolke mit einer Mehrzahl von erfassten Bildpunkten umfasst. Das Bild wird mittels einer Auswerteeinheit auf ein Vorliegen der wenigstens einen Teilfläche, insbesondere Angriffsfläche, des Bauteils untersucht.
Das Ermitteln von Teilflächen eines sich in einem Behältnis befindenden Bauteils ist insbesondere dann von Interesse, wenn diese Teilfläche als potenzielle Angriffsfläche zum Ansetzen einer Greifeinheit dienen soll, um so mittels der Greifeinheit ein Bauteil gezielt aus dem Behältnis, beispielsweise einer Gitterbox, entnehmen zu können.
Die PCT Anmeldung WO 2008/014960 A1 beschreibt ein Verfahren zur automatisierten 3D-Objekterkennung und Lagebestimmung. Das Verfahren geht aus von einem 3D-Messdatensatz („Punktewolke“) eines Arbeitsbereiches, in dem sich (mindestens) ein Objekt befindet. Mit Hilfe des Verfahrens wird das in dem Bereich befindliche Objekt detektiert und seine Lage erkannt. Hierzu werden an den 3D-Messdatensatz regelgeometrische Elemente angepasst, die eine „Repräsentation“ des auszuwählenden Objekts darstellen und dazu dienen, das Objekt zu identifizieren und seine Lage zu bestimmen; dies erfolgt beispielsweise mit Hilfe eines Best Fit Verfahrens. Basierend auf den dabei gewonnenen vollständigen Informationen bezüglich Lage/Position des auszuwählenden Objekts im Arbeitsbereich kann eine Behandlungsvorrichtung, z.B. ein Greifer zum Erfassen des Objekts, gesteuert werden.
Die PCT Anmeldung WO 2007/083039 A2 beschreibt ein Verfahren zum automatisierten Greifen von Bauteilen, die sich in einem Arbeitsbereich befinden. Basierend auf einem 3D-Messdatensatz („Punktewolke“) des Arbeitsbereichs werden die Bauteile anhand ihrer 3D-CAD-Daten erkannt, und es wird ein virtuelles 3D-CAD-Modell des Arbeitsbereiches erstellt. In diesem 3D-CAD-Modell des Arbeitsbereiches wird das virtuell zu greifende Bauteil bestimmt und die virtuellen Greifpositionen ermittelt. Die virtuellen Greifpositionen werden an einen Roboter übermittelt, der mit einem realen Greifer das reale Bauteil ergreift.
Das Patent US 5,978,504 A offenbart ein Verfahren zur Segmentierung einer Punktewolke aus 3D-Messdaten und zur Erkennung und Extraktion ebener Flächen aus dieser Punktewolke. Als mögliches Anwendungsgebiet dieses Verfahrens wird die Objekterkennung genannt, bei der die aus den Messdaten ermittelten Flächen an ein Modell des zu erkennenden Objekts angepasst werden.
Die Schrift von Richtsfeld, M; Zillich, M.: „Grasping Unknown Objects Based on 2½ D Range Data“ in 4th IEEE Conference on Automotive Science and Engineering 2008, S. 691-696 Abst., Abschn. I u. V beschäftigt sich mit der Problematik der Berechnung von Greifpunkten aus einer Punktewolke von 2½ -dimensionalen Messpunkten. Hierzu werden in der Punktewolke Regionen mit großer Krümmung detektiert, die als Ränder identifiziert und in Form von Linien abgebildet werden. Aufbauend auf diese Randlinien wird die Topologie der zugehörigen Objekte ermittelt und Greifpunkte definiert.
Die Schrift von Fransens, J., Reeth, F. in IEEE Proceedings of third International Symposium on 3D Data Processing, Visualization and Transmission (3DPVT06), 2006, S. 591-598 Abstr., Absch. 4 u. 4 : „Hierarchical PCA Decomposition of Point Clouds“ beschreibt ein Verfahren zur Extraktion ebener Teilflächen aus einer 3D-Punktewolke mit Hilfe der Hauptkomponentenanalyse. Das Verfahren beruht auf einer Segmentierung der 3D-Punktewolke mit Hilfe einer iterativen Baumstruktur (octree) und anschließendem Gruppieren der extrahierten ebenen Teilflächen zu größeren ebenen Bereichen.
Aus dem Stand der Technik ist es hierbei bekannt, mittels eines Sensors ein Bild des Bauteils zu erfassen, welches eine dreidimensionale Wolke mit einer Mehrzahl von erfassten Bildpunkten umfasst. Diese dreidimensionale Wolke von Bildpunkten auf ein Vorliegen der wenigstens einen Teilfläche hin auszuwerten ist jedoch bei aus dem Stand der Technik bekannten Verfahren mit einem sehr hohen Rechenaufwand verbunden.
Daher ist hier das Untersuchen auf ein Vorliegen der Angriffsfläche besonders zeitaufwendig. Eine ausreichend kurze, einer rationellen Handhabung bzw. Weiterverarbeitung genügende Taktzeit zum Ergreifen des Bauteils mittels der Greifeinheit ist bei einem solchen Verfahren nicht erreichbar. Darüber hinaus werden bekannte Verfahren, bei welchen die dreidimensionale Wolke an Bildpunkten ausgewertet wird, Anforderungen an zulässige Toleranzen in der Regel nicht gerecht und die Genauigkeit der Ermittlung der Angriffsfläche ist nicht zufriedenstellend.
Aufgabe der vorliegenden Erfindung ist es daher, ein verbessertes Verfahren der eingangs genannten Art zu schaffen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Als vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Bei dem erfindungsgemäßen Verfahren zum Ermitteln wenigstens einer Teilfläche, insbesondere einer Angriffsfläche zum Ansetzen einer Greifeinheit, eines Bauteils, welches sich in einem Behältnis befindet, bei welchem

a) mittels eines Sensors ein Bild des Bauteils erfasst wird, welches eine dreidimensionale Wolke mit einer Mehrzahl von erfassten Bildpunkten umfasst, und bei welchem
b) das Bild mittels einer Auswerteeinheit auf ein Vorliegen der wenigstens einen Teilfläche, insbesondere Angriffsfläche, des Bauteils untersucht wird,

Das Untersuchen des Bildes auf ein Vorliegen der wenigstens einen Teilfläche kann so mit vergleichsweise geringem Rechenaufwand und folglich besonders rasch erfolgen, da die Auswerteeinheit nicht eine Vielzahl von erfassten Bildpunkten, sondern lediglich anhand der Bildpunkte innerhalb einer dreidimensionalen Gitterzelle ermittelte Flächenstücke zum Auffinden der Teilfläche nutzt. Die Komplexität der Auswertung ist so stark verringert, da beim Untersuchen der Flächenstücke auf das Vorliegen der wenigstens einen Teilfläche ein zweidimensionales Auswertungsverfahren zum Einsatz kommen kann.
Das Zusammenfassen einer Vielzahl von Bildpunkten innerhalb einer jeweiligen dreidimensionalen Gitterzelle zu einem einzigen, anhand weniger Parameter beschreibbaren Flächenstück führt zu einer bedeutenden Reduzierung zu verarbeitender Daten. Das rasche Verarbeiten der Daten erlaubt ein rasches Ermitteln der Teilfläche eines Bauteils. Handelt es sich bei dieser Teilfläche um eine Angriffsfläche zum Ansetzen einer Greifeinheit, so ist hierdurch ein vollautomatisiertes Greifen des Bauteils, bei welchem es sich beispielsweise um ein Blechumformteil handeln kann, ermöglicht. Derartige Blechumformteile können insbesondere Stahlteile für einen Integralträger oder einen Hinterachsträger, sowie Aluminiumteile, insbesondere für einen Hinterachsträger, eines Kraftfahrzeugs, umfassen.
Das Verfahren ist im Rahmen einer automatisierten, rationellen Weiterverarbeitung von aus Behältnissen, beispielsweise aus Gitterboxen, zu entnehmenden Bauteilen innerhalb einer vorgegebenen Taktzeit einsetzbar. Das mittels der Greifeinheit aus dem Behältnis vereinzelte Bauteil kann in einem weiteren Schritt einer Einrichtung zum Erkennen einer Lage, Position und Orientierung des sich an der Greifeinheit befindenden Bauteils zugeführt werden. Ist die Lage, Orientierung und Position des Bauteils an der Greifeinheit ermittelt, kann das Bauteil anschließend definiert abgelegt bzw. einer entsprechenden Weiterverarbeitungseinrichtung zugeführt werden. Das lagerichtige Erkennen der Angriffsstelle, an welcher die Greifeinheit das Bauteil ergriffen hat, ermöglicht es, die Greifeinheit dazu zu veranlassen, das Bauteil in eine gewünschte räumliche Orientierung zu überführen. Dadurch ist ein geordnetes, lagerichtiges Ablegen des Bauteils ermöglicht.
In einer vorteilhaften Ausgestaltung der Erfindung wird beim Erfassen des Bilds des Bauteils gemäß Schritt a) ein, insbesondere mehr als eine Kamera nutzendes, Lichtschnittverfahren, insbesondere ein Laserlichtschnittverfahren, eingesetzt. Ein solches auf einem Triangulationsansatz basierendes Lichtschnittverfahren hat sich als besonders geeignet zum Ermitteln der wenigstens einen Teilfläche des Bauteils erwiesen.
Durch gleichzeitiges Einsetzen von zwei oder mehr Kameras beim Verwenden lediglich einer Lichtschnittlinie, insbesondere Laserlichtschnittlinie, können trotz unvermeidlicher Abschattungen der Bauteile in dem Behältnis potenzielle Angriffsflächen mit großer Genauigkeit und besonders rasch ermittelt werden. Beim Verwenden lediglich einer Kamera und einer Lichtschnittlinie, insbesondere Laserlichtschnittlinie, ist ein mehrmaliges Scannen der Bauteile in dem Behältnis zum Erfassen des Bilds möglich. Ebenso können zwei oder mehr als zwei Kameras mit jeweils einer, der Kamera zugeordneten Lichtschnittlinie, insbesondere Laserlichtschnittlinie, zum Ermitteln der Angriffsfläche herangezogen werden.
In weiter vorteilhafte Weise werden durch Zuordnen der Bildpunkte zu wenigstens einer dreidimensionalen Gitterzelle Nachbarschaftsbeziehungen zwischen Bildpunkten definiert. Dadurch ist es ermöglicht, zum Erstellen des die dreidimensionale Wolke von Bildpunkten umfassendes Bildes voneinander verschiedene Sensordatenerfassungen, beispielsweise Scans des Laserlichtschnittsensors, zu verwenden, zwischen welchen keine definierten Nachbarschaftsbeziehungen bestehen. Das Heranziehen mehrerer, voneinander unabhängiger Sensordatenerfassungen ermöglicht ein Erstellen eines sehr genauen Bildes des Bauteils.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird beim Ermitteln des Flächenstücks je dreidimensionaler Gitterzelle eine Hauptkomponentenanalyse der Bildpunkte einer jeweiligen Gitterzelle durchgeführt. Durch Reduzieren der Bildpunkte einer jeweiligen dreidimensionalen Gitterzelle auf die Hauptkomponenten eines Flächenstücks ist ein besonders wenig rechenaufwendiges und somit rasches Auffinden von Teilflächen, insbesondere von Angriffsflächen zum Ansetzen der Greifeinheit, ermöglicht. Des Weiteren wird durch die Hauptkomponentenanalyse das Rauschen des Sensors nahezu vollständig unterdrückt.
Als weiter vorteilhaft hat es sich gezeigt, voneinander verschiedene Flächenstücke in Abhängigkeit von einem Abstand zu einer Bezugsebene und/oder in Abhängigkeit von einer Raumausrichtung einer Flächenstücknormalen zu einer gemeinsamen Teilfläche zusammenzufassen. Einzelne Flächenstücke einer jeweiligen dreidimensionalen Gitterzelle werden also zu einer größeren Einheit fusioniert. Handelt es sich bei den Flächenstücken um im Wesentlichen planare Flächenstücke, so ergeben sich aus der Fusion größere, ebene Teilflächen.
Durch das Berücksichtigen des jeweiligen Abstands des Flächenstücks zu einer Bezugsebene ist sicherstellbar, nur diejenigen Flächenstücke zu einer gemeinsamen Teilfläche zusammenzufassen, deren Abstand zu der Bezugsebene innerhalb eines vorgebbaren Toleranzintervalls liegt.
Werden die Raumausrichtungen der jeweiligen Flächenstücknormalen beim Zusammenfassen der einzelnen Flächenstücke berücksichtigt, so ist sicherstellbar, dass lediglich die Flächenstücke zu einer gemeinsamen Teilfläche zusammengefasst werden, deren jeweilige Raumausrichtungen nicht um mehr als einen vorgebbaren Wert voneinander abweichen. Die aus einzelnen Flächenstücken gebildete größere Einheit weist dann eine vergleichsweise einheitliche Raumausrichtung auf.
In weiter vorteilhafter Weise werden hierbei voneinander verschiedene Flächenstücke mit voneinander abweichenden Raumausrichtungen der Flächenstücknormalen zu einer Teilfläche mit einer vorgebbaren Krümmung zusammengefasst. Dies erlaubt ein Zusammenfassen von Flächenstücken zu einer gekrümmten Teilfläche. Durch Vorgeben der maximal zulässigen Toleranz der Abweichungen der Raumausrichtungen der Flächenstücknormalen ist so ein maximaler Krümmungsradius vorgebbar, welcher ein sicheres Ansetzen der Greifeinheit ermöglicht.
Von Vorteil ist es hierbei weiterhin, wenn der wenigstens eine Greifpunkt in Abhängigkeit von einem Abstand der Anlagefläche zu einem Rand der Teilfläche und/oder einer Öffnung in dem Bauteil und/oder in Abhängigkeit von einer Orientierung der Anlagefläche ermittelt wird. Eventuelle Löcher oder Ausnehmungen in dem Bauteil werden also beim Ermitteln des Greifpunkts berücksichtigt. Dies ist insbesondere dann vorteilhaft, wenn als Greifeinheit ein Sauggreifer anstelle eines Magnetgreifers eingesetzt wird. Des Weiteren kann die Orientierung der Anlagefläche der Greifeinheit so verändert werden, dass ein maximaler Abstand der Anlagefläche der Greifeinheit zu dem Rand der Teilfläche oder der Öffnung in dem Bauteil gegeben ist. Ist auf der Teilfläche wenigstens ein geeigneter Greifpunkt ermittelt, so ist ein sicheres Greifen des Bauteils ermöglicht.
Schließlich hat es sich als vorteilhaft gezeigt, eine Rangordnung von Greifpunkten voneinander verschiedener Teilflächen in Abhängigkeit von einer Größe der jeweiligen Teilfläche und/oder einem Abstand der Anlagefläche zu einem Rand der Teilfläche und/oder in Abhängigkeit von einem Abstand der Teilfläche von einer Bezugsebene zu erstellen. Ist eine solche Rangordnung der Greifpunkte erstellt, so kann dasjenige Bauteil bevorzugt aus dem Behältnis entnommen werden, welches den zum Ansetzen der Greifeinheit am Besten geeigneten, also ranghöchsten Greifpunkt aufweist. Auf diese Weise sind insbesondere Kollisionen von Bauteilen miteinander beim Entnehmen aus dem Behältnis vermeidbar. Des Weiteren ist so ein besonders sicheres Greifen des Bauteils ermöglicht.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform sowie anhand der Zeichnungen. Dabei zeigen:

1 einen Bildausschnitt von sich in einer Gitterbox befindenden Bauteilen, wobei das Bild eine dreidimensionale Wolke von mittels eines Lichtschnittsensors erfassten Bildpunkten umfasst;
2 in jeweiligen dreidimensionalen Gitterzellen der dreidimensionalen Wolke ermittelte, planare Flächenstücke auf Oberflächen der Bauteile;
3 Angriffsflächen an Bauteilen, welche durch Zusammenfassen einer Mehrzahl voneinander verschiedener Flächenstücke gemäß 2 gewonnen wurden; und
4 Angriffsflächen unterschiedlicher Bauteile mit möglichen Greifpunkten zum Ansetzen einer Greifeinheit an dem jeweiligen Bauteil.

Das mit Bezug auf 1 bis 4 beschriebene Verfahren dient einem Ermitteln von potenziellen Angriffsflächen an Bauteilen, welche sich in einer Gitterbox befinden. Ist auf einer solchen Angriffsfläche ein Greifpunkt zum Ansetzen einer Greifeinheit ermittelt, lässt sich das Bauteil mittels der Greifeinheit aus der Gitterbox entnehmen. Nach diesem Vereinzeln des Bauteils wird eine Lageerkennung des Bauteils durchgeführt. Das Bauteil wird dann einer bauteilspezifischen Ablageeinrichtung zugeführt und dort definiert und lagerichtig abgelegt.
Der Gesamtprozess des vollautomatischen Greifens und Ablegens der Bauteile beim Vereinzeln aus der Gitterbox gliedert sich also in zwei Phasen. In der ersten Phase wird eine Angriffsfläche des Bauteils in der Gitterbox mittels einer 3D-Erkennung ermittelt und auf der Angriffsfläche ein Greifpunkt bestimmt. Dies ermöglicht das Greifen des Bauteiles an dem Greifpunkt. Nach dem Greifen wird das Bauteil in der zweiten Phase einer 2D-Bauteillageerkennung zugeführt. Hierbei wird die genaue Lage, Position und Orientierung des Bauteils an der Greifeinheit bestimmt, um das Bauteil schließlich definiert ablegen zu können.
Um das in 1 gezeigte Bild zu erhalten, wird mittels eines auf einem Triangulationsverfahren basierenden Lichtschnittsensors die Gitterbox mit den sich darin befindenden Bauteilen gescannt und eine dreidimensionale Wolke 10 mit einer Mehrzahl von erfassten Bildpunkten 12 erstellt. Hierbei fährt der Lichtschnittsensor mit einem bestimmten Scanwinkel und entlang eines bestimmten Verfahrweges über die Gitterbox. Die Wolke 10 an Bildpunkten 12 kann aufgrund von Reflexionen und Abschattungen Regionen ohne Information (Missing Data) enthalten. Durch erneutes Scannen dieser Regionen mit veränderten Scanwinkeln und/oder anderen Verfahrwegen des Lichtschnittsensors kann diese fehlende Information gewonnen werden.
Durch wiederholtes Scannen der Gitterbox sind im Bild der Scanprofile keine Nachbarschaftsbeziehungen zwischen Bildpunkten 12 der einzelnen Scans vorhanden. Aus diesem Grund muss die Nachbarschaft neu definiert werden. Hierzu wird ein dreidimensionales Raster verwendet. Das Raster umfasst dreidimensionale Gitterzellen 14. Alle Gitterzellen 14 sind in ihrer Ausdehnung gleich. Die Gitterzellen 14 können, wie in 1 gezeigt, benachbart oder überlappend angeordnet sein. Jeder Bildpunkt 12 der dreidimensionalen Wolke 10 wird einer Transformation unterzogen, um Scankoordinaten (Polarkoordinaten) in kartesische Koordinaten umzurechnen. Danach wird der Bildpunkt 12 der zugehörigen Gitterzelle 14 zugeordnet. Mehrfacheinordnungen bei überlappenden Gitterzellen 14 sind möglich.
Nachdem alle Bildpunkte 12 des Scans in kartesische Koordinaten transformiert und in die zugehörige Gitterzelle 14 einsortiert wurden, ist der nächste Schritt das Finden von kleinen planaren Flächenstücken 16 (Flächenpatches), welche in 2 gezeigt sind.
Hierfür wird für jede Gitterzelle i, die eine Mindestanzahl an Bildpunkten 12 beinhaltet, der Massenschwerpunkt c, nach Gleichung (1) berechnet. Hierbei ist $G_{i} \in R^{3}$
die Menge aller Bildpunkte 12 in der Gitterzelle i. $c_{i} = \frac{1}{| G_{i} |} \sum_{p \in G_{i}} p$
mit p = kartesische Koordinaten des Bildpunkts 12.
Wurden die Massenschwerpunkte berechnet, kann für jede der dreidimensionalen Gitterzellen i (Gitterzelle 14 in 1) eine 3×3 Korrelationsmatrix C_i nach Gleichung (2) aufgestellt werden. $C_{i} = \frac{1}{| G_{i} |} \sum_{p \in G_{i}} ((p - c_{i}) {(p - c_{i})}^{T})$
Hierbei steht (p - c_i)^T für den transponierten Spaltenvektor.
Die Korrelationsmatrix beinhaltet die Varianzen aller Bildpunkte 12 der Gitterzelle 14 bezüglich ihres Massenschwerpunktes. Durch Berechnung der Eigenvektoren e, (1 ≤ i ≤ 3) und den dazugehörigen Eigenwerten λ_i wird ein Korrelationsellipsoid erstellt. Bei dieser Hauptkomponentenanalyse (Principle Component Analyses, PCA) eines planaren Flächenstückes 16 bestimmen die Eigenvektoren und Eigenwerte das Korrelationsellipsoid. Der im Massenschwerpunkt ansetzende Eigenvektor des kleinsten Eigenwertes entspricht der Normalenrichtung des Flächenstücks 16.
Die Bedingung der Flächenstückextraktion lässt sich wie folgt definieren: Sind die Eigenwerte λ_i mit den zugehörigen Eigenvektoren e, entsprechend Gleichung (3) der Größe nach geordnet, so erfüllen die Eigenwerte die Gleichungen (4), (5) und (6). $i < j \to λ_{i} \leq λ_{j}$
$λ_{1} \approx 0$
$λ_{2} > > 0$
$λ_{3} > > 0$
Geometrisch lassen sich die Gleichungen wie folgt erläutern: Die Varianzen der Bildpunkte 12 sind in Richtung der durch Spannvektoren aufgespannten Ebene bei planaren Flächenstücken 16 groß. Die Eigenvektoren der großen Eigenwerte entsprechen den Spannvektoren des planaren Flächenstücks 16. In Richtung der Flächenstücknormale sind die Varianzen sehr klein. Der zugehörige Eigenvektor entspricht somit der Flächenstücknormalen. Werden die Kriterien nicht erfüllt, können die Bildpunkte 12 Kanten, Kugeln oder dergleichen geometrische Figuren bilden.
Nachdem eine Mehrzahl planarer Flächenstücke 16 bestimmt wurde, können voneinander verschiedene Flächenstücke 16 zu jeweils einer größeren Angriffsfläche 18, von denen einige in 3 als Beispiel für jeweilige Teilflächen des Bauteils gezeigt sind, zusammengefasst werden.
Zu diesem Zweck werden ein 2D-Grauwertbild der Abstandsinformationen und ein 2D-Farbbild der Normalenrichtungen erzeugt. Jeder Pixel des Grauwertbilds bzw. des Farbbilds entspricht dabei einem Flächenstück 16, welches in dem vorangegangenen Schritt ermittelt wurde. Die X- und Y-Rasterisierung ist durch die Gitterzellen 14 definiert. In dem 2D-Grauwertbild wird ein Abstand des jeweiligen Flächenstücks 16 zu einer Bezugsebene, beispielsweise zu einem Boden der Gitterbox, in welcher sich die Bauteile befinden, beim Zusammenfassen mit dem jeweils benachbarten Flächenstück 16 berücksichtigt. Somit werden Flächenstücke 16 dann zu einer Angriffsfläche 18 zusammengefasst, wenn ihr jeweiliger Abstand zu der Bezugsebene um nicht mehr als einen vorgegebenen Wert von dem Abstand des benachbarten Flächenstücks 16 zu der Bezugsebene abweicht.
In analoger Weise werden die Raumausrichtungen der Flächenstücknormalen benachbarter Flächenstücke 16 beim Zusammenfassen berücksichtigt. Die Normalenrichtungen der einzelnen Flächenstücke 16 sind hierbei in dem 2D-Farbbild farbkodiert. Für die Farbkodierung der normalisierten Normalen gilt vorliegend blau = X, grün = Y und rot = Z (Z = Hochrichtung, Richtung des Abstands zur Bezugsebene).
Benachbarte Flächenstücke 16 werden also zu einer größeren Angriffsfläche 18 zusammengefasst, falls sowohl die Abweichung der Abstände als auch der Raumausrichtungen der Flächenstücknormalen innerhalb bestimmter, vorgegebener Toleranzen liegen. Wird die Toleranz der Normalenabweichung weniger restriktiv gewählt, können Flächen mit Krümmungen innerhalb dieser Toleranz zusammengefasst werden.
In 3 sind auf diese Weise aus zusammengefassten Flächenstücken 16 gebildete Angriffsflächen 18 der Bauteile in der Gitterbox gezeigt.
Zum Ermitteln von Greifpunkten wird jede fusionierte Angriffsfläche 18 einem Schablonenabgleich (Template- Matching) unterzogen. Hierfür wird überprüft, ob eine zweidimensionale Schablone eines Haltemittels 20 der Greifeinheit (Greiferschablone) auf die Angriffsfläche 18 passt.
Das Haltemittel 20 der Greifeinheit ist in 4 auf einer jeweiligen Angriffsfläche 18 eines Bauteils dargestellt und umfasst beispielsweise einen Sauger und/oder Magneten. Als Sauger können insbesondere Flachsauger und/oder Balgsauger zum Einsatz kommen, wobei der eine Anlagefläche aus Schaumstoff oder dergleichen aufweisende Flachsauger auch ein Halten des Bauteils ermöglicht, wenn der Flachsauger bereichsweise ein Loch des Bauteils überdeckend an dem Bauteil angesetzt ist. Die zweidimensionale Schablone des Haltemittels 20 wird durch Projektion, entweder entlang der Z-Richtung oder entlang der Flächenstücknormalen, erzeugt.
Beim Schablonenabgleich wird also überprüft, ob die Schablone auf die infolge Projektion ebenfalls zweidimensionale Angriffsfläche 18 passt. Als Ergebnis kann ein binäres Bild erstellt werden, in welchem durch eine „1“ angegeben ist, ob die Schablone vollständig auf die Angriffsfläche 18 passt. Die übrigen Punkte des binären Bildes sind mit „0“ belegt.
Dieses binäre Bild wird weiter ausgewertet. Für jeden Greifpunkt wird ein Abstand der Anlagefläche des Haltemittels 20 zu einem Rand der Angriffsfläche 18, beispielsweise zu einer nächstgelegenen Kante der Angriffsfläche 18 oder zu einem Loch in dem Bauteil, ermittelt.
Des Weiteren werden unterschiedliche Orientierungen der Anlagefläche in Bezug auf die Angriffsfläche 18 daraufhin untersucht, bei welcher Orientierung der Anlagefläche ein besonders großer Abstand zu dem Rand der Angriffsfläche 18 besteht. Die zweidimensionale Schablone des Haltemittels 20 der Greifeinheit kann hierbei um eine Rotationsachse verdreht werden. Unterschiedliche Rotationen der Schablone und das Ermitteln des maximalen Abstands aller getesteter Rotationen der Schablone liefern so einen optimalen Greifpunkt je Angriffsfläche 18.
In 4 sind je Angriffsfläche 18 die zugehörigen optimalen Greifpunkte durch Darstellung der Lage und Orientierung Haltemittels 20 der Greifeinheit auf der Angriffsfläche 18 veranschaulicht. Ein solcher optimaler Greifpunkt je Angriffsfläche 18 weist maximalen Abstände zu nächsten Kanten der Angriffsfläche 18 auf und ist durch die zugehörige Rotation des Haltemittels 20, beispielsweise des Saugers, definiert.
Nach der Ermittlung des optimalen Greifpunktes je Angriffsfläche 18, wird die Güte des jeweiligen Greifpunktes durch eine Fitnessfunktion bewertet, und der Greifpunkt höchster Güte aus der Gesamtheit der betrachteten Greifpunkte je Angriffsfläche 18 ausgewählt. Es wird also eine Rangordnung der Greifpunkte erstellt. Zur Erstellung der Rangordnung werden die Größe der fusionierten Angriffsfläche 18, der Abstand des Haltemittels 20 zur nächstgelegenen Kante der Angriffsfläche 18, ein Erfahrungswert bisheriger Greifversuche in der Region, und der Abstand der Angriffsfläche 18 von einer Bezugsebene, also der Z-Wert des Greifpunktes, berücksichtigt. Zur Vermeidung des Greifens des Kistenbodens werden zudem Ebenen, deren Ausdehnung größer als ein maximaler und teilespezifischer Wert ist, sowie Ebenen, deren Flächeninhalt größer als ein maximaler teilespezifischer Flächeninhalt ist, ignoriert, da diese Ebenen keine Bauteile darstellen können. Ein ranghöchster Greifpunkt 22 ist in 4 durch Darstellung des entsprechenden zugehörigen Haltemittels auf der Angriffsfläche 18 veranschaulicht.
Dieses Greifpunkts 22 bedient sich dann die Greifeinheit, um das Bauteil aus der Gitterbox zu entnehmen. Nach dem Erkennen der genauen Lage, Position und Orientierung des Bauteils an der Greifeinheit kann das Bauteil schließlich definiert abgelegt werden.

Claims

Verfahren zum Ermitteln wenigstens einer Teilfläche eines in einem Behältnis befindlichen Bauteils als Angriffsfläche (18) zum Ansetzen einer Greifeinheit, bei welchem a) mittels eines Sensors ein Bild des Bauteils erfasst wird, welches eine dreidimensionale Wolke (10) mit einer Mehrzahl von erfassten Bildpunkten (12) umfasst; b) das Bild mittels einer Auswerteeinheit auf ein Vorliegen der wenigstens einen als Angriffsfläche (18) verwendbaren Teilfläche des Bauteils untersucht wird, wobei Bildpunkte (12) wenigstens einer dreidimensionalen Gitterzelle (14) zugeordnet werden und anhand der Bildpunkte (12) der Gitterzelle (14) ein Flächenstück (16) der wenigstens einen Teilfläche als Angriffsfläche (18), ermittelt wird; c) auf der Angriffsfläche (18) wenigstens ein Greifpunkt zum Ansetzen einer Greifeinheit in Abhängigkeit von einer Größe einer Anlagefläche der Greifeinheit ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Erfassen des Bilds des Bauteils gemäß Schritt a) ein, insbesondere mehr als eine Kamera nutzendes, Lichtschnittverfahren, insbesondere ein Laserlichtschnittverfahren, eingesetzt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass durch Zuordnen der Bildpunkte (12) zu wenigstens einer der dreidimensionalen Gitterzellen (14) Nachbarschaftsbeziehungen zwischen Bildpunkten (12) definiert werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass beim Ermitteln des Flächenstücks (16) eine Hauptkomponentenanalyse der Bildpunkte (12) einer Gitterzelle (14) durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass voneinander verschiedene Flächenstücke (16) in Abhängigkeit von einem Abstand zu einer Bezugsebene und/oder in Abhängigkeit von einer Raumausrichtung einer Flächenstücknormalen zu einer Teilfläche (18) zusammengefasst werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass voneinander verschiedene Flächenstücke (16) mit voneinander abweichenden Raumausrichtungen der Flächenstücknormalen zu einer Teilfläche (18) mit einer vorgebbaren Krümmung zusammengefasst werden.
Verfahren nach einem der Ansprüche 1 bis 6 dadurch gekennzeichnet, dass bei der Greifpunktermittlung gemäß Schritt c) der wenigstens eine Greifpunkt in Abhängigkeit von einem Abstand der Anlagefläche zu einem Rand der Teilfläche (18) und/oder einer Öffnung in dem Bauteil und/oder in Abhängigkeit von einer Orientierung der Anlagefläche ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine Rangordnung von Greifpunkten voneinander verschiedener Teilflächen (18) in Abhängigkeit von einer Größe der jeweiligen Teilfläche (18) und/oder einem Abstand der Anlagefläche zu einem Rand der Teilfläche (18) und/oder einem Abstand der Teilfläche (18) von einer Bezugsebene erstellt wird.