DE102021203779B4

DE102021203779B4 - Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes

Info

Publication number: DE102021203779B4
Application number: DE102021203779.8A
Authority: DE
Inventors: Kai Londenberg; Zsolt Farkas; Daniel Schulze; Maxim Derksen; Lisa Rangosch; Peter Motzko; Robert Schirmer
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2023-12-14
Anticipated expiration: 2041-04-17
Also published as: US20240198535A1; WO2022218670A1; EP4323965A1; CN117136384A; DE102021203779A1

Abstract

Verfahren (100) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30),wobei die Kamera (14) auf einem Robotorarm (12) angeordnet ist,wobei der Robotorarm (12) einen Endeffektor (13) umfasst,dadurch gekennzeichnet, dassdas Verfahren (100) folgende Schritte umfasst:a) Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13);b) Wählen (103) eines ersten Keypoints (20) auf dem Objekt (30);c) Bereitstellen (104) von Informationen von weiteren Keypoints relativ zum ersten Keypoint (20) in Objektkoordinaten;d) Führen (108) des Endeffektors (13) durch eine, insbesondere manuelle, Bewegung an die Position des ersten Keypoints (20);e) Bestimmen (111) der Position und der Ausrichtung des Endeffektors (13) am ersten Keypoint (20) in Weltkoordinaten;f) Ermitteln (112) der Position des ersten Keypoints (20) in Weltkoordinaten mit Hilfe der bestimmten Position und der Ausrichtung des Endeffektors (13) in Weltkoordinaten;g) Ermitteln (113) der Position der weiteren Keypoints in Weltkoordinaten auf Basis der ermittelten Position des ersten Keypoints in Weltkoordinaten und der relativen Position der weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten;h) Veränderung (114) der Position und/oder der Ausrichtung des Endeffektors (13) und Aufnahme eines Bildes (31) mittels der Kamera (14); wobei das aufgenommene Bild weitere Keypoints des Objektes erfasst,i) Ermitteln (115) von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein 3D-Kamerakoordinatensystem der Kamera (14);j) Bestimmen (116) von 2D-Kamerabildkoordinaten aller Keypoints im aufgenommenen Bild mittels Projektion aus deren 3D-Kamerakoordinaten.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern nach den unabhängigen Ansprüchen.
Aus dem Stand der Technik ist bekannt, mit Hilfe einer Kamera aufgenommene Bilder von einem Objekt händisch zu annotieren. Im Detail werden die Koordinaten mehrerer zuvor festgelegter Punkte auf dem Objekt durch den Menschen auf den Bildern ermittelt und gekennzeichnet. Alternativ können Marker an entsprechenden Punkten auf dem Objekt angebracht werden, um diese auf den Bildern erkennen und kennzeichnen zu können. Dies führt jedoch zu einer Veränderung der Ausgangsbedingungen, da das Objekt durch die Anbringung der Marker verändert wurde.
Die DE 10 2020 102 350 A1 betrifft eine Greifvorrichtung zum Ergreifen eines Bauteils mit mindestens einem radial zu einer Längsachse der Greifvorrichtung wirkendem Greifelement. Sie betrifft ferner ein Verfahren zur Ausrichtung einer Greifvorrichtung und einer Aufnahmekontur eines Bauteils relativ zueinander.
Die DE 10 2019 106 458 A1 zeigt ein Verfahren zur Ansteuerung eines Industrieroboters, umfassend die folgenden Schritte:

Erfassen von Bilddaten mindestens eines Bildes eines Werkstücks mittels einer ersten Kamera, deren optische Achse parallel zu einer Stoßrichtung eines Werkzeugs verläuft.
Anhand der erfassten Bilddaten erfolgt eine Suche nach einer Referenzstruktur des Werkstücks und es wird eine aktuelle Ist-Position mindestens eines Bezugspunkts (+) der Referenzstruktur in x-/y-Richtung relativ zur optischen Achse (oa) der ersten Kamera ermittelt. Nach einem Vergleich der aktuellen Ist-Position der Referenzstruktur mit einer Soll-Position der Referenzstruktur werden Steuerbefehle erzeugt, die zur Zustellung des Werkzeugs an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks dienen. Dabei wird eine aktuelle Ist-Position der Referenzstruktur in z-Richtung der optischen Achse (oa) ermittelt, indem eine aktuelle x/y-Abbildungsgröße der Referenzstruktur im erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur ein Abstand der Referenzstruktur von der ersten Kamera ermittelt und bei der Erzeugung des Steuerbefehls berücksichtigt wird.

Aus der DE 10 2005 051 533 B4 ergibt sich ein Verfahren zur Verbesserung der Positioniergenauigkeit eines Manipulators bezüglich eines Serienwerkstücks. Am Manipulator wird ein Sensor angeordnet. Es wird mindestens ein Referenzpunkt auf einem Referenzwerkstück ausgewählt. Der Manipulator wird an eine Ausgangsposition verfahren, von welcher aus er den Referenzpunkt mit einem Werkzeug zu bearbeiten imstande ist. Die Lage des Referenzpunkts wird mittels des Sensors erfasst. Anstelle des Referenz-Werkstücks wird nun das Serienwerkstück im Arbeitsbereich des Manipulators angeordnet. Dem Referenzpunkt wird ein Serienpunkt des Serienwerkstücks zugeordnet. Die Lage des Serienpunkts wird mittels des Sensors erfasst. Die Lageabweichung zwischen Referenzpunkt und Serienpunkt wird bestimmt und als Korrektur für die Position des Manipulators verwendet, indem dieser an eine korrigierte Position verfahren wird, deren Lageabweichung von der Ausgangsposition dieselbe ist wie die Lageabweichung zwischen Referenzpunkt und Serienpunkt. Nun wird der Manipulator in die korrigierte Position verfahren und von dieser aus wird der Serienpunkt mittels des Werkzeugs bearbeitet.
Die DE 103 45 743 A1 zeigt ein Verfahren und eine Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung. Das Verfahren zeichnet sich dadurch aus, dass die Pose der Bildempfangseinrichtung unter Verwendung mindestens einer robotereigenen Messeinrichtung bestimmt wird. Die Vorrichtung zeichnet sich aus durch einen Roboter mit integrierter, robotereigener Messeinrichtung zur Bestimmung der Pose der Bildempfangseinrichtung, wobei Position und Orientierung zusammengefasst als Pose verstanden werden.
Ein Verfahren zur dreidimensionalen Handhabung eines Objekts durch einen Roboter unter Verwendung eines Werkzeugs und einer am Roboter angebrachten Kamera, bei dem mindestens sechs Zielmerkmale, die normale Merkmale des Objekts sind, auf dem Objekt ausgewählt werden, ergibt sich aus der WO 2003 064 116 A2 .
Bei der US 2016 0 354 929 A1 umfasst ein Roboter einen Abschnitt zur Ableitung eines lokalen Koordinatensystems, der ein lokales Koordinatensystem mit zwei Wellen ableitet, die parallel zu einer Arbeitsebene und orthogonal zueinander sind, basierend auf einem Bild, in dem Markierungen, die drei oder mehr Markierungen, die drei oder mehr Punkte auf der Arbeitsebene, die nicht horizontal ist, darstellen, erfasst werden; und einen Steuerparameter-Erhaltungsabschnitt, der Steuerparameter über das lokale Koordinatensystem erhält. Steuerparameter über das lokale Koordinatensystem erhält.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Annotieren von mittels einer Kamera aufgenommenen Bildern zu automatisieren.
Gelöst wird die vorgenannte Aufgabe durch ein Verfahren zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes, wobei die Kamera auf einem Roboterarm angeordnet ist und wobei der Roboterarm einen Endeffektor umfasst.
Das Verfahren umfasst die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor. Die Kamera umfasst insbesondere ein Kamerakoordinatensystem. Der Roboterarm, der vorzugsweise an einem beweglichen Roboter angeordnet ist, weist den Endeffektor auf. Bei dem Endeffektor handelt es sich insbesondere um das freie Ende des Roboterarms. In anderen Worten handelt es sich um das letzte Armglied des Roboterarmes, der insbesondere einen Greifarm umfassen kann. Bei humanoiden Robotern kann ein Endeffektor beispielsweise eine Hand sein. Die Weltkoordinaten des Endeffektors sind bekannt, wobei durch die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor die Relation der Weltkoordinaten des Endeffektors zur Kamera ermittelt wird. In anderen Worten wird ein Zusammenhang zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem hergestellt.
Die Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor kann insbesondere eine Hand-Eye-Kalibration umfassen. Dabei wird insbesondere ein Kalibrierungsobjekt, beispielsweise ein Bild mit Schachbrettmuster, verwendet. Dieses Kalibrierungsobjekt wird mittels der Kamera aus unterschiedlichen Positionen und unterschiedlichen Ausrichtungen der Kamera aufgenommen. Die aufgenommenen Bilder werden zusammen mit den unterschiedlichen Positionen und Ausrichtungen abgespeichert. Da die Ausbildung des Kalibrierungsobjektes, beispielsweise beim Schachbrettmuster dessen genaues Muster und die Abmessungen der einzelnen quadratischen Flächen, bekannt ist, kann eine Verbindung zwischen der Position und der Ausrichtung des Endeffektors und der Kameraperspektive, in anderen Worten dem Kamerakoordinatensystem, bestimmt werden. Es können somit die Weltkoordinaten der Kamera im Weltkoordinatensystem hergeleitet werden. Die Kamera kann daher extrinsisch kalibriert werden. Vor allem können auf die oben beschriebene Weise auch optische Fehler der Kamera ermittelt werden. Eine Linsenverzerrung kann bspw. durch eine Verzerrung des abgebildeten Kalibrierungsobjektes auf einem aufgenommenen Bild erkannt werden. Es kann die Kamera daher auch intrinsisch kalibriert werden, da die Abbildung von den optischen Fehlern, beispielsweise Linsenverzerrungen, abhängt.
Das Verfahren umfasst das Wählen eines ersten Keypoints auf dem Objekt. Dabei wird der erste Keypoint frei gewählt. Ferner umfasst das Verfahren das Bereitstellen von Informationen von weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten, das heißt in anderen Worten in einem Objektkoordinatensystem. Die Keypoints sind somit zuvor definierte Punkte am Objekt.
Das Bereitstellen dieser Informationen kann vor allem ein Ausmessen der jeweiligen Position der weiteren Keypoints zum ersten Keypoint am Objekt umfassen. Dies kann beispielsweise ein händisches Ausmessen der jeweiligen relativen Positionen der weiteren Keypoints zum ersten Keypoint umfassen. Ferner kann das Verfahren ein Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes umfassen. Auf Basis der bereits vorhandenen Informationen, beispielsweise anhand von technischen Zeichnungen oder Abmessungen aus DIN-Normen, können die relativen Positionen ermittelt werden.
Das Verfahren umfasst das Führen des Endeffektors an die Position des ersten Keypoints. In anderen Worten wird der Endeffektor an die genaue Position des ersten Keypoints gebracht.
Das Führen an die Position des ersten Keypoints umfasst insbesondere eine manuelle Bewegung des Endeffektors an den ersten Keypoint.
Bei dem Endeffektor kann es sich insbesondere um einen Stecker handeln, wobei es sich bei dem Objekt um eine Buchse handeln kann. Dabei kann der Stecker insbesondere in die Buchse eingeführt werden und somit der Endeffektor an den ersten Keypoint geführt werden. Bei dem Roboter kann es sich insbesondere um einen mobilen Laderoboter handeln.
Das Verfahren umfasst das Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordinaten. Aus diesen kann auf die Weltkoordinaten des ersten Keypoints geschlossen werden. Da die Position und die Ausrichtung des Endeffektors in Weltkoordinaten bekannt sind, beziehungsweise diese nach einer Bewegung des Roboters und/oder des Roboterarms auf einfache Art und Weise bestimmt werden kann, kann die Position des ersten Keypoints ausgelesen werden. Insbesondere ist zuvor festgelegt, genau welche Stelle des Endeffektors an den ersten Keypoint geführt wird, wobei bekannt ist, wo diese Stelle am Endeffektor sitzt, sodass auch dessen Weltkoordinaten stets bekannt sind, bzw. nach einer entsprechenden Bewegung des Roboterarms oder des Roboters hergeleitet werden können. Die Weltkoordinaten dieser Stelle entsprechen dann den Weltkoordinaten des ersten Keypoint.
Da die relative Position der weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten vorliegt, kann auf Basis der nun ermittelten Position des ersten Keypoints in Weltkoordinaten die Bestimmung der Position der weiteren Keypoints in Weltkoordinaten erfolgen.
In einem nächsten Schritt umfasst das Verfahren eine Veränderung der Position und/oder der Ausrichtung des Endeffektors und eine Aufnahme eines Bildes mittels der Kamera. Das Bild liegt in 2D vor und umfasst ein 2D-Kamerabildkoordinatensystem. Das Verfahren kann eine Umrechnung der Weltkoordinaten der Keypoints in das Kamerakoordinatensystem der Kamera umfassen. Auf diese Weise werden Kamerakoordinaten, in anderen Worten 3D-Kamerakoordinaten, der Keypoints ermittelt. In anderen Worten werden die Positionen der Keypoints relativ zu der Kamera ermittelt. Dieser Schritt erfolgt unter Nutzung des Zusammenhangs zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem, der zuvor ermittelt wurde.
In einem weiteren Schritt umfasst das Verfahren das Bestimmen von Kamerabildkoordinaten, in anderen Worten 2D-Kamerabildkoordinaten, aller Keypoints mittels Projektion aus deren Kamerakoordinaten. In anderen Worten werden aus den 3D-Kamerakoordinaten mittels projektiver Geometrie Kamerabildkoordinaten aller Keypoints im aufgenommenen Bild ermittelt.
In einem weiteren Schritt können die ermittelten Positionen auf dem Bild gekennzeichnet werden. Auf diese Weise wird das aufgenommene Bild annotiert.
Unter dem Begriff „Annotieren“ ist insbesondere die Identifikation von zuvor definierten Punkten, in anderen Worten der Keypoints, in dem aufgenommenen Bild zu verstehen. Das vorliegende Verfahren stellt dabei ein automatisiertes Keypoint-Annotierungsverfahren bereit, sodass eine manuelle Identifikation von Keypoints auf Bildern unnötig ist. Somit umfasst das Verfahren keine manuelle Identifikation von Keypoints auf aufgenommenen Bildern. Unter einer manuellen Identifikation ist insbesondere ein händisches Annotieren der Bilder zu verstehen. In Bezug auf ein händisches Annotieren hat das vorliegende Verfahren den deutlichen Vorteil, dass menschliche Fehler vermieden werden und Bilder in einer hohen Anzahl auf eine sehr effektive Weise annotiert werden können. Insbesondere umfasst das Verfahren auch kein Aufbringen von Markierungen auf dem Objekt zur Erkennung von Keypoints auf aufgenommenen Bildern.
Das Verfahren kann das Abspeichern der ermittelten Kamerabildkoordinaten aller Keypoints umfassen. Insbesondere werden die Schritte zwischen der Veränderung der Position und/oder der Ausrichtung des Endeffektors und der Aufnahme eines Bildes mittels der Kamera und dem Bestimmen von Kamerabildkoordinaten aller Keypoints, vor allem inklusive der Abspeicherung der ermittelten Kamerabildkoordinaten, wiederholt ausgeführt, um eine Vielzahl annotierter Bilder zu erzeugen. Auf diese Weise können insbesondere Trainingsdaten für ein künstliches Netzwerk erstellt werden, wobei es sich bei diesen Trainingsdaten um die annotierten Bilder handelt. Beispielsweise können Trainingsdaten für einen mobilen Laderoboter, der beispielsweise ein Fahrzeug autonom aufladen soll, erstellt werden, um das neuronale Netzwerk so zu trainieren, dass der mobile Laderoboter den Endeffektor, in anderen Worten den Stecker, vollautomatisch in die Buchse des Fahrzeuges führen kann.
In einem weiteren Aspekt umfasst eine Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes, wobei die Vorrichtung zum Ausführen des oben beschriebenen Verfahrens ausgebildet ist. Hierfür weist die Vorrichtung vor allem eine Auswerteeinheit und eine Steuereinheit auf. Die Steuereinheit dient zum Ansteuern des Roboterarms und/oder des Roboters und/oder der Kamera. Die Auswerteinheit dient insbesondere zum Bestimmen einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor, zum Wählen eines ersten Keypoints auf dem Objekt, zur Auswertung bereitgestellter Informationen der relativen Positionen der weiteren Keypoints zum ersten Keypoint, zum Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordinaten, zum Ermitteln der Position des ersten Keypoints sowie der weiteren Keypoints in Weltkoordinaten, zum Ermitteln von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera und zum Bestimmen von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten und zur Kennzeichnung dieser. Ferner kann die Vorrichtung einer Speichereinheit zum Abspeichern des Bildes und der ermittelten Kamerabildkoordinaten der Keypoints umfassen.
Insbesondere umfasst die Vorrichtung den Roboterarm, wiederum umfassend den Endeffektor, und eine Kamera. Ferner kann die Vorrichtung den Roboter, der den Roboterarm umfasst, aufweisen.
Die Figuren zeigen in rein schematischer Darstellung:

1 ein Verfahrensschema eines erfindungsgemäßen Verfahrens; und
2 bis 8 verschiedene Verfahrensschritte des erfindungsgemäßen Verfahrens.

1 zeigt einen Verfahrensablauf eines erfindungsgemäßen Verfahrens 100, das als ersten Schritt die Bestimmung 101 einer Position und einer Ausrichtung der Kamera 14 relativ zum Endeffektor 13 umfasst. Dieser Schritt kann insbesondere eine Hand-Eye-Kalibration 102 umfassen.
Ferner umfasst das Verfahren ein Wählen 103 eines ersten Keypoints 20 auf dem Objekt 30, von dem Bilder aufgenommen werden sollen. Ferner umfasst das Verfahren 100 das Bereitstellen 104 von Informationen von weiteren Keypoints relativ zum ersten Keypoint 20 in Objektkoordinaten. Das Bereitstellen 104 kann ein Ausmessen 105 der Position der weiteren Keypoints relativ zum ersten Keypoint 20 am Objekt 30 umfassen oder das Nutzen 106 von bereits vorhandenen Informationen über Abmaße des Objektes 30.
Das Verfahren 100 umfasst das Führen des Endeffektors 13 an die Position des ersten Keypoints. Dies kann insbesondere eine manuelle Bewegung 109 des Endeffektors 13 an den ersten Keypoint 20 umfassen.
Das Verfahren 100 umfasst das Bestimmen 111 der Position und der Ausrichtung des Endeffektors 13 am ersten Keypoint 20 und das Ermitteln 112 der Position des ersten Keypoints in Weltkoordinaten sowie das Ermitteln 113 der Position der weiteren Keypoints in Weltkoordinaten.
Das Verfahren 100 umfasst eine Veränderung 114 der Position und/oder der Ausrichtung des Endeffektors 13 und eine Aufnahme eines Bildes 31 mittels der Kamera 14. Mit Hilfe einer Umrechnung der Weltkoordinaten der Keypoints in das Kamerakoordinatensystem der Kamera 14 können die Kamerakoordinaten der Keypoints ermittelt werden 115. Mittels Projektion können aus den Kamerakoordinaten Kamerabildkoordinaten aller Keypoints bestimmt und auf dem Bild gekennzeichnet werden 116. Die Kamerabildkoordinaten aller Keypoints werden vorzugsweise abgespeichert 117. Die Schritte 114 bis 117 werden insbesondere wiederholt durchgeführt, sodass auf diese Weise eine Vielzahl annotierter Bilder als Trainingsdaten für ein günstiges Netzwerk erstellt werden 118.
2 zeigt den Schritt der Bestimmung 101 einer Position und einer Ausrichtung der Kamera 14 einer erfindungsgemäßen Vorrichtung 10 relativ zum Endeffektor 13. Der Endeffektor 13 ist auf einem Roboterarm 12 eines Roboters 11 angeordnet.
In 3 ist dargestellt, wie ein erster Keypoint 20 in einem Objektkoordinatensystem 21 auf einem Objekt 30 gewählt wird 103. In diesem Beispiel ist der erste Keypoint 20 das Zentrum der oberen Öffnung der Buchse, die das Objekt 30 ist.
4 stellt dar, wie durch eine schrittweise Bewegung 109 des Roboterarms 12 an das Objekt 30 und den ersten Keypoint 20 der Endeffektor 13 an die Position des ersten Keypoints 20 geführt wird. In diesem Beispiel ist der Endeffektor 13 als Stecker mit zwei Kontaktstiften ausgebildet, wobei der in 4 obere Kotaktstift in die obere Öffnung der Buchse gesteckt wird. Die zentrale Stelle am festen Ende des oberen Kontaktstiftes ist die Stelle des Endeffektors, die am ersten Keypoint liegt, wenn der Stecker in der Buchse steckt. Da dessen Weltkoordinaten bekannt sind, werden die Weltkoordinaten des ersten Keypoints 20 auf diese Weise ermittelt.
In 5 wird gezeigt, wie die Position der weiteren Keypoints in Weltkoordinaten ermittelt werden 113. Beispielhaft ist ein zweiter Keypoint 23 gezeigt und dessen Umrechnung in das Weltkoordinatensystem 22 anhand der Informationen über die relative Position zum ersten Keypoint 20.
6 stellt dar, wie die Position und die Ausrichtung des Endeffektors 13 verändert wird 114 und ein Bild von dem Objekt 30 mittels der Kamera aufgenommen wird 114.
In 7 ist rein schematisch dargestellt, wie Kamerakoordinaten der Keypoints ermittelt werden 115. In anderen Worten werden die Positionen der Keypoints relativ zu der Kamera 14 ermittelt.
In 8 ist dargestellt, wie Kamerabildkoordinaten der Keypoints mittels Projektion aus deren Kamerakoordinaten bestimmt werden 116. Rein schematisch ist dargestellt, wie mittels projektiver Geometrie aus den Kamerakoordinaten der Keypoints, die rechts dargestellt sind, die Kamerabildkoordinaten der Keypoints in einem Bild 31, das mittels der Kamera 14 aufgenommen wurde, ermittelt werden.
Bezugszeichenliste

100: Verfahren
101: Bestimmung einer Position und einer Ausrichtung der Kamera relativ zum Endeffektor
102: Hand-Eye-Kalibration
103: Wählen eines ersten Keypoints auf dem Objekt
104: Bereitstellen von Informationen von weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten
105: Ausmessen der Position der weiteren Keypoints zum ersten Keypoint
106: Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes
108: Führen des Endeffektors an die Position des ersten Keypoints
109: Manuelle Bewegung des Endeffektors an den ersten Keypoint
111: Bestimmen der Position und der Ausrichtung des Endeffektors am ersten Keypoint in Weltkoordi naten
112: Ermitteln der Position des ersten Keypoints in Weltkoordinaten
113: Ermitteln der Position der weiteren Keypoints in Weltkoordinaten
114: Veränderung der Position und/oder der Ausrichtung des Endeffektors und Aufnahme eines Bildes mittels der Kamera
115: Ermitteln von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein Kamerakoordinatensystem der Kamera
116: Bestimmen von Kamerabildkoordinaten aller Keypoints mittels Projektion aus deren Kamerakoordinaten und Kennzeichnung dieser
117: Abspeichern der Kamerabildkoordinaten aller Keypoints
118: Erstellen von Trainingsdaten im Sinne annotierter Bilder für ein künstliches Netzwerk
10: Vorrichtung
11: Robotor
12: Robotorarm
13: Endeffektor
14: Kamera
20: erster Keypoint
21: Objektkoordinatensystem
22: Weltkoordinatensystem
23: zweiter Keypoint
30: Objekt
31: Bild

Claims

Verfahren (100) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30), wobei die Kamera (14) auf einem Robotorarm (12) angeordnet ist, wobei der Robotorarm (12) einen Endeffektor (13) umfasst, dadurch gekennzeichnet, dass das Verfahren (100) folgende Schritte umfasst: a) Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13); b) Wählen (103) eines ersten Keypoints (20) auf dem Objekt (30); c) Bereitstellen (104) von Informationen von weiteren Keypoints relativ zum ersten Keypoint (20) in Objektkoordinaten; d) Führen (108) des Endeffektors (13) durch eine, insbesondere manuelle, Bewegung an die Position des ersten Keypoints (20); e) Bestimmen (111) der Position und der Ausrichtung des Endeffektors (13) am ersten Keypoint (20) in Weltkoordinaten; f) Ermitteln (112) der Position des ersten Keypoints (20) in Weltkoordinaten mit Hilfe der bestimmten Position und der Ausrichtung des Endeffektors (13) in Weltkoordinaten; g) Ermitteln (113) der Position der weiteren Keypoints in Weltkoordinaten auf Basis der ermittelten Position des ersten Keypoints in Weltkoordinaten und der relativen Position der weiteren Keypoints relativ zum ersten Keypoint in Objektkoordinaten; h) Veränderung (114) der Position und/oder der Ausrichtung des Endeffektors (13) und Aufnahme eines Bildes (31) mittels der Kamera (14); wobei das aufgenommene Bild weitere Keypoints des Objektes erfasst, i) Ermitteln (115) von Kamerakoordinaten der Keypoints durch Umrechnung der Weltkoordinaten der Keypoints in ein 3D-Kamerakoordinatensystem der Kamera (14); j) Bestimmen (116) von 2D-Kamerabildkoordinaten aller Keypoints im aufgenommenen Bild mittels Projektion aus deren 3D-Kamerakoordinaten.
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren (100) keine manuelle Identifikation von Keypoints auf einem mittels der Kamera (14) aufgenommenen Bild (31) umfasst.
Verfahren (100) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren (100) kein Aufbringen von Markierungen auf dem Objekt (30) zur Erkennung von Keypoints auf dem aufgenommenen Bild (31) umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bestimmung (101) einer Position und einer Ausrichtung der Kamera (14) relativ zum Endeffektor (13) eine Hand-Eye-Kalibration (102) umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (104) von Informationen von weiteren Keypoints ein Ausmessen der jeweiligen Position der weiteren Keypoints zum ersten Keypoint (20) am Objekt umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (104) von Informationen von weiteren Keypoints ein Nutzen von bereits vorhandenen Informationen über Abmaße des Objektes (30) umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Führen (108) eine manuelle Bewegung (109) des Endeffektors (13) an den ersten Keypoint (20) umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Abspeichern (117) der 2D-Kamerabildkoordinaten aller Keypoints umfasst.
Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) ein wiederholtes Ausführen der Schritte h) bis j) zum Erzeugen einer Vielzahl annotierter Bilder umfasst.
Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass mittels des Verfahrens (100) Trainingsdaten für ein künstliches Netzwerk erstellt werden (118), wobei es sich bei den Trainingsdaten um annotiere Bilder handelt.
Vorrichtung (10) zum Annotieren von mit Hilfe einer Kamera (14) aufgenommenen Bildern (31) eines Objektes (30), dadurch gekennzeichnet, dass die Vorrichtung zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 10 ausgebildet ist.
Vorrichtung (10) nach Anspruch 11, dadurch gekennzeichnet, dass die Vorrichtung (10) einen Robotorarm (12) umfassend einen Endeffektor (13) und eine Kamera (14) umfasst.