DE10159574A1

DE10159574A1 - Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen

Info

Publication number: DE10159574A1
Application number: DE10159574A
Authority: DE
Inventors: Hermann Tropf
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-10-15
Filing date: 2001-12-05
Publication date: 2003-04-30
Anticipated expiration: 2021-12-06
Also published as: DE10159574B9; DE10164944B4; DE10159574B4

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist, mit einem Einrichtbetrieb und/oder Automatikbetrieb. In einem Einrichtbetrieb werden ein oder mehrere Bereiche des Werkstücks über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang des Werkstücks abgebildet, mindestens ein Bild über jeden Abbildungsstrahlengang aufgenommen und Bilder und/oder davon abgeleitete Daten gespeichert, wobei die Bildaufnahmeeinrichtung bzw. das Werkstück sich in einer Ausgangslage bzw. Standardlage befinden und der Vorgang wiederholt wird für die Relativlagen, in denen jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird. Alternativ oder zusätzlich wird in einem Automatikbetrieb mindestens ein Bild von jedem der Bereiche des Werkstücks über je mindestens einen der ihnen zugeordneten Abbildungsstrahlengänge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage, aufgenommen und durch einen Vergleich der aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus einem Einrichtbetrieb eine aktuelle ...

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Gegenständen in unbekannter oder ungenauer Lage, insbesondere mittels Robotern.
Wenn die Gegenstände in fester Position und Orientierung präsentiert werden, kann das Greifen oder Bearbeiten mittels Roboter ohne Modifikation einer einmal einprogrammierten Bewegung geschehen. Ist die Lage der Gegenstände unsicher, z. B. aufgrund von Unsicherheiten der Teileaufnahme, so muss für das Greifen oder Bearbeiten die Bewegung des Greif- bzw. Bearbeitungswerkzeugs und damit die des Roboters korrigiert werden.
Beispiele für das Greifen sind die Entnahme aus Formfolien, Regalen oder Gitterboxen. Beispiele für das Bearbeiten sind das Schleifen oder der Klebemittelauftrag; zur Bearbeitung sind ebenso zu zählen das Montieren und das Fügen, wie beispielsweise das Montieren von Anbauteilen wie Scheiben oder Rädern an Automobil-Karossen oder das Einsetzen oder Anschweissen von Bolzen.
Zum besseren Verständnis der Erfindung werden im folgenden hier verwendete Begriffe näher erläutert.
Da es sich bei den Gegenständen meist um Werkstücke handelt, wird im folgenden von Werkstücken gesprochen, im verallgemeindernden Sinn irgend eines, bezüglich der Genauigkeitsforderungen der Anwendung hinreichend starren Gegenstandes.
Unter Werkzeug ist im folgenden je nach Aufgabenstellung verallgemeinernd entweder der Greifer oder das Bearbeitungswerkzeug zu verstehen.
Als Lage wird im folgenden die dreidimensionale Position und Orientierung im Raum (englisch "position and attitude") bezeichnet. Die Lage eines Werkstücks wird durch mindestens 6 Parameter beschrieben, i.d.R. durch drei translatorische und drei rotatorische, mit denen ein werkstücksfestes Koordinatensystem in Bezug zu festen Raumkoordinaten steht.
Der mehrdimensionale endliche Raum der in der vorliegenden Aufgabenstellung möglichen Lageabweichungen (i.d.R. ein 6-dimensionaler Hyperquader) wird im folgenden als Arbeitsbereich bezeichnet. Je genauer die Halterung der Werkstücke, desto kleiner darf der Arbeitsbereich sein.
Der Begriff Roboter ist hier allgemein zu verstehen im Sinne eines mechanischen oder virtuellen Systems mit programmierbarer oder per Algorithmus steuerbarer oder regelbarer Bewegung. Durch die Bewegung wird die Relativlage von Werkzeug und Werkstück verändert, wahlweise Werkzeug gegen Werkstück oder umgekehrt oder beides.
Unter der Anzahl der Freiheitsgrade ist die Achsenzahl des verwendeten Roboters zu verstehen. Normalerweise liegen 6 Freiheitsgrade vor. Es sind jedoch je nach Situation auch mehr Freiheitsgrade möglich oder weniger. Es kann Roboterachsen geben, deren Bewegung/Stellung zur Lösung der hier gestellten Aufgabe grundsätzlich nicht verändert werden muss; sie zählen hier nicht zu den Freiheitsgraden.
Im Einrichtbetrieb (Offline-Betrieb) eines Systems wird - i.d.R. unter menschlicher Überwachung oder Führung - das System für die Anwendung parametriert, einschliesslich z. B. Teachen einer Roboterbahn, Teachen eines Bildanalysesystems und Kalibrierung, sofern erforderlich.
Im Automatikbetrieb (Online-Betrieb) arbeitet das System selbsttätig oder halbautomatisch entsprechend der vorliegenden Aufgabenstellung.
Unter der Standardlage eines Werkstücks verstehen wir im folgenden eine zufällig oder speziell gewählte Lage, für die der Roboter eingeteacht wird. Aufgabe ist es, das Werkstück auch in einer von dieser Standardlage abweichenden Lage korrekt zu greifen oder zu bearbeiten. Die Standardlage braucht nicht in irgendeiner bekannten Beziehung zu den Raumkoordinaten zu stehen. Salopp gesprochen könnte man das Werkstück auf einen Tisch werfen, und die so entstandene zufällige und geometrisch unspezifizierte Lage als Standardlage zum Teachen verwenden.
Ausgangslage ist eine im allgemeinen beim Teachen festgelegte Lage von Systemkomponenten, in der im Automatikbetrieb die jeweils ersten Bildaufnahmen durchgeführt werden.
Als Fixmerkmale (hier speziell eingeführter Begriff) werden solche Merkmale eines Werkstücks bezeichnet, die ortsfest auf den Werkstücken vorhanden sind, wie "von Natur aus" vorhandene Formen wie Kanten, Ecken, Löcher, Sicken, aber auch künstliche Marken (werkstückbezogen ortsfest angebrachte Aufdrucke, Prägungen, Klebepunkte oder werkstückbezogen ortsfeste Projizierungen wie Laserpunkte oder Lasermuster).
Fixmerkmale sind auch solche, die unter Zuhilfenahme von strukturiertem Licht ein Muster erzeugen, das werkstückbezogen ortsfest ist. Dies kann zur Erhöhung der Störsicherheit sinnvoll sein: beispielsweise kann man, um Werkstückkanten zuverlässiger darzustellen, ein dünnes Linienmuster auf die Oberfläche projizieren und mittels eines angepassten Softwarefilters die Regionen mit Streifenmuster hervorheben, um eine sichere Figur-Hintergrund-Trennung zu erhalten (auf dem Hintergrund befindet sich kein Streifenmuster mit passenden Linienabständen).
Als ausgezeichnete Punkte werden solche Fixmerkmale bezeichnet, die durch Punkte repräsentiert werden, z. B. die Mitte eines Kreises oder ein Eckpunkt einer Kontur, gegeben als Schnittpunkt von zwei Geradenstücken.
Zusätzlich zu den werkstückbezogen ortsfesten Merkmalen können nicht ortsfeste, beleuchtungstechnisch erzeugte Merkmale verwendet werden. Diese werden in folgenden als Flexmerkmale bezeichnet (hier speziell eingeführter Begriff).

Beispiele für Flexmerkmale

a) Wölbungen: Bei Bewegung der Kamera gegenüber dem Werkstück und gerichteter Beleuchtung wandern die Reflexionskanten auf der Wölbung relativ zum Werkstück und verformen sich ausserdem. Sie sind nicht werkstücksbezogen fest, aber reproduzierbar und zur Gewinnung der Lageinformation geeignet.
b) Projektion von Lichtmustern (i.d.R. mittels Leser realisiert): die sich hierbei ergebenden Formen können grundsätzlich zur dreidimensionalen Auswertung herangezogen werden; da normalerweise die Beleuchtung nicht parallel mit dem Werkstück bewegt wird, sind die Formen nicht werkstücksbezogen fest.

Merkmale sind Fixmerkmale oder Flexmerkmale.
Ein Merkmal ist i. a. dreidimensional; die Abbildung eines ein Merkmal umfassenden Werkstückbereiches in ein zweidimensionales Koordinatensystem über ein Strahlenbündel, im folgenden auch Abbildungsstrahlengang genannt, wird als Merkmalsbild bezeichnet.
Ein solches Merkmalsbild kann weiter überführt werden in eine kompaktere Beschreibung in Form eines t-dimensionalen Bildbeschreibungsvektors von Werten, w1, w2, . . . wt, mit t > = 1. In der Regel gilt t > = 2.
Die Komponenten des Bildbeschreibungsvektors sind Masszahlen, die Eigenschaften der Abbildung von Merkmalen in Merkmalsbildern erfassen. Einfachstes Beispiel, mit t = 2, ist die Messung des Schwerpunktes der Abbildung eines Lochs, der durch die beiden Schwerpunkts-Bildkoordinaten beschrieben wird. Ein weiteres Beispiel ist die Berechnung von Verschiebung und Verdrehung eines beliebig strukturierten Bildmusters über Korrelationsverfahren (t = 3). Wie weiter unten anhand der Ausführungsbeispiele zu der Erfindung erläutert wird, sind für den Bildbeschreibungsvektor auch Masse geeignet wie Grössenveränderung, Helligkeits- und Farbveränderung, Ortsfrequnzveränderungen - also Werte, die keine Verschiebung oder Verdrehung in Bildkoordinaten beschreiben.
Die triviale Art, einen Merkmalsvektor aus einem Grauwert-Merkmalsbild mit der Grösse nx mal ny Pixel zu bestimmen, besteht darin, einfach alle Pixelgrauwerte direkt in einen Bildbeschreibungsvektor mit nx mal ny Komponenten zu überführen.
Durch die Zusammenfassung mehrerer Bildbeschreibungsvektoren, die derselben (i. a. unbekannten) mechanischen Werkstückaufnahmesituation (z. B. der Ausgangslage) zuzuordnen sind, entsteht ein Vektor, der im folgenden als Lagebeschreibungsvektor bezeichnet wird.
Wohlgemerkt beschreibt der Lagebeschreibungsvektor die zu bestimmende Lageabweichung nicht direkt, sondern implizit!
Eine Korrektur der Roboterbewegung kann abgeleitet werden aus der Abweichung der aktuellen Lage von der Standardlage.
Diese Abweichung wird nach der konventionellen Vorgehensweise ermittelt, indem ein werkstückeigenes Koordinatensystem definiert wird, und indem die absolute Lage des Werkstücks sowohl für die Standardlage als auch für die aktuelle Lage bestimmt wird. Für die Bestimmung einer absoluten Lage mittels optischer Sensoren, speziell Bildverarbeitungssystemen, werden in der Literatur zweierlei Methoden angegeben:

a) modellbasierte Methoden,
b) dreidimensional messende Systeme.

Modellbasierte Systeme verwenden die bekannte Geometrie von Fixmerkmalen im werkstückeigenen Koordinatensystem.
Zu modellbasierten Verfahren zählen zum Beispiel [GMR], [Fan], [Isr]. Bei allen drei Beispielen muss der Bezug der Merkmale zu einem körpereigenen Koordinatensystem bekannt sein. [GMR] verwendet Punkte oder Punkte und Linien, eine oder mehrere Kameras. [Isr] verwendet nur Linien, drei oder mehr Kameras. [Fan] verwendet Punkte, drei oder mehr Kameras, ausserdem einen Eichkörper, der für die Kalibrierung vor jede Kamera zu positionieren ist.
Nachteile der modellbasierten Methoden sind:

- die Lage der Merkmale im werkstückseigenen Koordinatensystem muss bekannt sein,
- die Kamera muss aufwendig kalibriert werden,
- sie können grundsätzlich keine Flexmerkmale handhaben.

Bei dreidimensional messenden Systemen braucht die Teilegeometrie nicht bekannt zu sein; mit ihnen werden beispielsweise handgefertigte Modelle abgetastet zur Generierung von CAD-Daten für die Serienproduktion.
Ein anderes Beispiel ist die Bahnregelung mittels Lichtschnittverfahren.
Die Messmethoden für dreidimensional messende Systeme sind:

1. punktweise Abstandsmessung über gepulstes oder moduliertes Licht, zusammen mit Messung der Licht-Laufzeit bzw. Phasenverschiebung,
2. Triangulation über mindestens eine Kamera und strukturiertes Licht,
3. Triangulation über mindestens 2 Kameras (Stereo). Nachteilig ist die Methode b1) mit einem sehr hohen apparativen Aufwand verbunden und erfordert eine aufwendige, stabile Messtechnik.

Nachteilig ist die Methode b2) mit hohem apparativem Aufwand verbunden und erfordert überdies einen sehr hohen Aufwand bei der Kalibrierung der Systeme; Kamera- und Beleuchtungsgeometrie müssen bekannt und sehr stabil sein.
Bei messenden Systemen zur Abtastung von Oberflächen nach Methode b2) kann der Sensor definiert bewegt werden, um für grossflächige Werkstücke den Messbereich solcher Systeme in Verbindung mit einer bekannten mechanischen Bewegung zu erweitern:
Nach [Dif] wird der Sensor entweder entsprechend einer vorher bekannten Idealform bewegt und der (b2-)Sensor vermisst Abweichungen davon, oder der Sensor dient als Null-Indikator, um eine geregelte Bewegung in konstantem Abstand von der Oberfläche zu erzeugen, wobei diese Bewegung als Messergebnis dient.
Nach [Per] dient ein Roboter zur Führung eines (b2-)Sensors, wobei die im allgemeinen nicht ausreichende Genauigkeit des Roboters durch eine von Roboter und Sensor unabhängige, nicht näher beschriebene Zusatzeinrichtung (z. B. zusätzliches "Photogrammetrie"-System oder "Kinematic correction module") erhöht.
Bei Stereoverfahren (b3) werden die selben Merkmale von jeweils mindestens 2 Kameras erfasst; aus der Disparität der Abbildung der Merkmale in den Bildern und aus den bekannten Daten der Kamera-Geometrie wird die dreidimensionale Lage der Merkmale berechnet. Die Werkstückgeometrie und die Lage der Merkmale im Werkstückkoordinatensystem braucht im allgemeinen nicht bekannt zu sein.
Ein Nachteil der Stereoverfahren ist, dass verschiedene Kameras gleiche Merkmale erfassen müssen. Daraus ergibt sich ein Problem bei grossen Werkstücken: Um die erforderliche Rotationsgenauigkeit zu erzielen, müssen mehrere möglichst weit auseinander liegende Merkmale erfasst werden. Das führt dazu, dass

- entweder die Bildfelder sehr gross werden, was nun doch wiederum zu Genauigkeitsproblemen wegen geringer Bildpunktauflösung führt,
- oder dass für weit auseinanderliegende Merkmale je zwei Kameras erforderlich sind, für drei weit auseinander liegende Merkmale also insgesamt mindestens 6 Kameras (s. z. B. [Lee]).

Ausserdem dürfen sich die Merkmale bei veränderter Beleuchtungs- und Betrachtungsgeometrie nicht ändern. Fleanerkmale verbieten sich daher vielfach.
Stereoverfahren sind ausführlich in [Kle] beschrieben.
Ein gravierender Nachteil der triangulierenden Messverfahren (b2 und b3) ist die Notwendigkeit der genauen Kalibrierung, Kamera(s) und ggf. strukturierte Beleuchtung betreffend; ausserdem muss der Aufbau sehr stabil sein, um die geforderte Messgenauigkeit auch im rauen Industriebetrieb aufrechterhalten zu können.
Anmerkung: Die Kalibrierung einer Kamera beschreibt die Abbildungsgeometrie; man unterscheidet üblicherweise äussere und innere Parameter. Die äusseren Parameter beschreiben die Lage des Projektionszentrums und der optischen Achse im Raum, sowie den (skalaren) Abstand zwischen Projektionszentrum und Abbildungsebene. Die inneren Parameter beschreiben die Schräglage der Abbildungsebene zur optischen Achse und die Lage des Durchstosspunktes der optischen Achse durch die Bildebene relativ zum Bildrahmen.
In jüngerer Zeit entstand das Arbeitsgebiet "Visual Servoing", im folgenden kurz Servoverfahren genannt [Hut]. Hier wird versucht, mit unkalibrierten oder ungenau kalibrierten Systemen über optische Rückkopplung eine Regelung von Robotern zu realisieren. Während der Roboterbewegung wird versucht, die Position der Merkmale in den Merkmalsbildern möglichst genau auf Soll zu bringen. Dies impliziert die Möglichkeit der Berechnung der Position von Merkmalen im Bildbereich.
Anmerkung: Bei einer Regelung wird im Gegensatz zu einer Steuerung durch die Rückführung einer Messgrösse (hier der Position der Merkmale in den Merkmalsbildern) auf eine Stellgrösse (hier der Roboterstellung) eingewirkt. Bei Servoverfahren sind daher laufende Bildaufnahmen während der Bewegung erforderlich, um die Abweichung der Messgrössen von den Sollwerten durch die Bewegung zu minimieren.
Bei Servoverfahren kann die folgende Fallunterscheidung getroffen werden:
Fall 1
Hand-Auge-Koordination ("hand-eye-coordination")
Bei Hand-Auge-Koordination wird das Werkzeug relativ zu den(r) Kamera(s) bewegt.
Die Kamera erfasst das Werkzeug oder Teile davon oder Markierungen oder mechanische Teile, die in geometrischer Beziehung zum Werkzeug stehen. Unterscheidung nach Bewegung Fall 1a: Das Werkzeug wird bewegt und die Kamera steht fest.
Fall 1b: Das Werkzeug steht fest und die Kamera wird bewegt.
Fall 1c: Das Werkzeug und die Kamera werden beide bewegt, beispielsweise können verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera. Unterscheidung nach Bilderfassung Fall 1x: Die Kamera erfasst das Werkstück und das Werkzeug (Standardfall).
Fall 1y: Die Kamera erfasst das Werkstück und nicht das Werkzeug.
Fall 1z: Die Kamera erfasst nicht das Werkstück und erfasst das Werkzeug.
Im Fall 1x kann die Roboterposition in Bezug auf die aktuelle Werkstücklage gesteuert oder geregelt werden.
Im Fall 1y kann die Roboterposition in Bezug auf die aktuelle Werkstücklage gesteuert werden.
Im Fall 1z kann nur eine Regelung der Roboterbewegung an sich realisiert werden, nicht aber im Bezug auf die aktuelle Werkstückposition.
Fall 2
Auge-in-Hand ("eye-in-hand")
Bei Auge-in-Hand wird (werden) die Kamera(s) parallel mit dem Werkzeug relativ zum Werkstück bewegt. Unterscheidung nach Bewegung Fall 2a: Das Werkzeug und Kameras werden bewegt und das Werkstück steht still.
Fall 2b: Das Werkzeug und Kameras stehen fest und das Werkstück wird bewegt.
Fall 2c: Das Werkzeug und Kameras werden gemeinsam bewegt, und das Werkstück wird bewegt, beispielsweise können verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera einerseits und Werkstück andererseits. Unterscheidung nach Bilderfassung Fall 2x: Die Kamera erfasst das Werkstück und das Werkzeug.
Fall 2y: Die Kamera erfasst das Werkstück und erfasst nicht das Werkzeug.
Im Fall 2x kann die Roboterposition in Bezug auf die aktuelle Werkstücklage gesteuert oder geregelt werden, die Situation entspricht ungefähr dem Fall 1x.
Im Fall 2y kann die Roboterposition in Bezug auf die aktuelle Werkstücklage gesteuert oder geregelt werden.
Um bei Servoverfahren die Regelung zu optimieren, wird versucht, den Zusammenhang zwischen Bewegung der Roboterachsen und der örtlichen Verschiebung der Abbildung von Fixmerkmalen zu modellieren.
Vorgänger der Servoverfahren sind einfache, steuernd arbeitende Systeme, die jeweils einen der folgenden Fälle betrachten:

- Stereo,
- Fall 1x,
- Tracking ohne exakte Tiefenschätzung,

Die Lineare Approximation dieses Zusammenhangs um einen Arbeitspunkt wird durch sog. visuelle Jakobi-Matrix beschrieben. Für die Hand-Auge-Koordination wurde zur Gewinnung der Jakobi-Matrix vorgeschlagen, dass im Einrichtbetrieb ein Satz von orthogonalen Roboterbewegungen durchgeführt wird, bei gleichzeitiger Beobachtung der Bewegung der Position der Abbildung der Merkmale [Ja1].
Verschiedene bekannte Verfahren der Funktionsapproximation wurden vorgeschlagen: stückweise lineare Näherung, stückweise mit Splines [Ja0], "Quasi-Newton"-Verfahren [Pie].
Bei all diesen Annäherungen wird während der Regelungvorgangs einer Hand-zu-Auge-Koordinationsaufgabe versucht, durch die Näherung eine Schätzung für die optimale Bewegung abzuleiten, um mit der nächsten Bildaufnahme eine weitere, erhofft genauere, Schätzung durchführen zu können.

Servoverfahren haben die folgenden Nachteile

Servoverfahren können in Fall 1x oder Fall 2x ohne Kalibrierung oder mit sehr ungenauer Kalibrierung arbeiten. Im hier eingeschlossenen Fall 2y jedoch benötigen wir für Zwecke der Werkstückhandhabung oder Werkstückbearbeitung eine genaue Kalibrierung.
Für Zwecke der Zielverfolgung (Tracking) durch Auge-in-Hand Systeme mit Servoverfahren wird die Bewegung der Position der Abbildung von Merkmalen abhängig von der Kamerabewegung bestimmt

a) analytisch [Mar]: das wiederum setzt Kenntnis der Kamerageometrie voraus (d. h. modellbasiert),
b) durch online Schätzung; Problem ist die Schätzung der Entfernungsabhängigkeit der Parameter in der Jacobimatrix ([Hut] S. 26); für das Tracking kommt man mit einer sehr groben Schätzung dieser Parameter aus, indem man die Zielpositionen in die Nähe der optischen Achse verlegt. Ohne zuverlässige Abstandsinformation sind jedoch Aufgaben der Werkstückhandhabung oder Werkstückbearbeitung nicht lösbar.

Servoverfahren sind auf die explizite Ableitung von Positionsinformation aus den Bildern angewiesen, wie dies beispielsweise bei Verwendung von ausgezeichneten Punkten realisierbar ist. Ohne solche explizite Positionsinformation kann kein visual Servoing realisiert werden.
Ausserdem ist bei Servoverfahren aufgrund der regelnden Vorgehensweise im Automatikbetrieb die laufende Aufnahme und Auswertung von Bildern erforderlich, und damit insbesondere eine sehr schnelle Auswertung. Damit ist der Ansatz auch auf relativ einfache oder hardwaremässig unterstützte Bildauswertungsmethoden begrenzt.

Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Werkstücken bereitzustellen.

Die Aufgabe wird erfindungsgemäss nach Anspruch 1 bzw 18 gelöst.

Die Erfindung ermöglicht eine derartige Korrektur

- ohne eine Kamerakalibrierung durchführen zu müssen,
- ohne die Geometrie des Werkstückes oder seiner Merkmale kennen zu müssen,
- ohne überhaupt über positionsmässig erfassbare Merkmale in den Bildern verfügen zu müssen (bei Servoverfahren nach bisherigen Ansätzen erforderlich); es sind keine Ausgezeichneten Punkte erforderlich,
- unter Vermeidung des oben angegebenen Nachteils von Stereosystemen, dass grosse Werkstücke nur ungenau oder mit sehr vielen Kameras gehandhabt werden können.

Die Korrektur der Roboterbewegung ist eine geometrische Transformation einer i. a. dreidimensionalen Bewegung

a) zum Greifen: die Modifikation einer vorgeteachten Bewegung von einer meist festen Ausgangslage bis zur Greifposition für das aktuelle Werkstück,
b) zum Bearbeiten: die Modifikation einer vorgeteachten Bearbeitungsbahn.

Die Modifikation ist typischerweise als additive Korrektur (Verschiebung, Verdrehung) auf die vorgeteachte Greifposition bzw. die vorgeteachte Bearbeitungsbahn realisiert. In Sonderfällen kann es sinnvoll sein, daraus eine nichtlinare Verzerrung der Bewegung abzuleiten.

Das hier beschriebene Verfahren kann auch zur Vorkorrektur der Bewegung eingesetzt werden, um in Verbindung mit weiteren Verfahren, insbesondere zusätzlichen Sensoren, eine genauere Feinkorrektur zu ermöglichen, z. B. für die Schweissbahnkorrektur.

Im folgenden werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben, in denen:
Fig. 1 eine Prinzipdarstellung einer ersten erfindungsgemässen Ausführungsform zeigt,
Fig. 2 eine Prinzipdarstellung einer zweiten erfindungsgemässen Ausführungsform zeigt,
Fig. 3 eine Prinzipdarstellung einer dritten erfindungsgemässen Ausführungsform zeigt,
Fig. 4 eine Prinzipdarstellung einer vierten erfindungsgemässen Ausführungsform zeigt,
Fig. 5 eine Prinzipdarstellung einer fünften erfindungsgemässen Ausführungsform zeigt.
Fig. 1 zeigt eine Anordnung mit drei Kameras 10, 11, 12 und einem Strahlenbündel bzw. Abbildungsstrahlengang 20, 21, 22 pro Kamera. Die Merkmale sind Fixmerkmale (Löcher, Kontur) 30, 31, 32 am Werkstück 2. Die Kameras 10, 11, 12 sind am Werkzeug 1 befestigt. Entweder wird das Werkzeug 1 mit den Kameras bewegt oder das Werkstück 2 wird bewegt.
Die Fixmerkmale 30, 31, 32 sind hier zwar als Punkte repräsentierbar, es müssen jedoch keine Punktkoordinaten berechnet werden, es genügen einfache Bildvergleichsmethoden, um die Werkstücklage zu bestimmen. Ohne die erfindungsgemässen Kennzeichen zu verlassen, können natürlich auch Koordinatenwerte für Lagebeschreibungsvektoren (Definition siehe oben) herangezogen werden.
Fig. 2 zeigt die prinzipiell gleiche Anordnung, jedoch sind nur zwei Kameras 10, 11 vorgesehen. Dabei sind zwei Strahlenbündel 20a, 20b mit einer einzigen Kamera 10 realisiert.
Fig. 3 zeigt die Verwendung eines Reflexes von einer Lichtquelle 40 auf glatter, konvexer Oberfläche, als Beispiel für ein Flexmerkmal 34. Der Reflex stellt sich auf der Oberfläche als Fleck dar, der bei Bewegung des Werkstückes 2 relativ zum Werkstück wandert, dennoch ist er geeignet, daraus die Werkstücklage abzuleiten.
Es braucht weder die Position noch die Grösse noch die Form des Flecks bekannt zu sein; es genügt die Tatsache, dass der Fleck sich bei Bewegung des Werkstücks aus Sicht der Kamera 10 reproduzierbar ändert.
Fig. 4 zeigt die Verwendung von strukturiertem Licht von Lichtquellen 50, 51, 52, zur Erzeugung von Flexmerkmalen. Die Flexmerkmale 60, 61, 62 sind projizierte Lichtmuster mit irgendeiner Struktur, die nicht weiter spezifiziert zu werden braucht; weder die geometrische Form noch irgendwelche Abmessungen brauchen bekannt zu sein. Willkürlich wurde für das Beispiel ein "wildes" Punktemuster, ein Kreisring und ein Rechteck verwendet. Solcherart Flexmerkmale sind für die Lage des Werkstückes 2 signifikant.
Fig. 5 zeigt die gleiche Anordnung wie Fig. 4, jedoch ist die projizierende Einrichtung 50, 51, 52 nicht schräg, sondern tangential ausgerichtet. Die Projizierende Einrichtung 50, 51, 52 ist weitwinklig, so dass sich bei Bewegung des Werkstücks 2 INNERHALB der Betrachtungs-Strahlenbündel eine Verzerrung der Projektionsmuster ergibt, was zur Einhaltung der Signifikanzbedingung zwar grundsätzlich ausreicht, aber bezüglich Stabilität und Genauigkeit weniger empfehlenswert ist als die strenge Einhaltung des Tangentenverbots.
Die Berechnung der aktuellen Lage kann direkt aus den abgespeicherten Bildern abgeleitet werden, wenn man im Einrichtbetrieb den Arbeitsbereich in allen Freiheitsgraden mit ausreichend kleinen Schritten abtastet und Bildaufnahmen durchführt, die Merkmalsbilder speichert und im Automatikbetrieb nach der Lage mit dem ähnlichsten Satz von Abbildungen sucht. Diese Brute-Force-Methode setzt lediglich voraus, dass sich in verschiedenen Lagen reproduzierbar unterschiedliche, der Lageinformation innerhalb des Arbeitsbereichs eindeutig zuordenbare k-Tupel (k = Anzahl der Abbildungsstrahlengänge oder Strahlenbündel) von Merkmalsbildern ergeben. Diese Voraussetzung wird im folgenden einfach Signifikanzbedingung genannt.
Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung und wird weiter unten diskutiert.
Das Verfahren läuft vorzugsweise auf das Durchsuchen einer mehr oder weniger grossen Datenbank von Lagebeschreibungsvektoren hinaus. Es kann eine grosse, hochdimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation und mit langen Vektoren arbeitet. Für das effiziente Durchsuchen solcher Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit.
Bezüglich Arbeitsweise im Automatikbetrieb kann man unterscheiden:

- Nach Abtastweite:
- Suche in einer Datenbank von Lagebeschreibungsvektoren, die durch feine Abtastung des Arbeitsbereiches entsteht.
- interpolierendes Arbeiten mit einer Datenbank, die durch grobe Abtastung des Arbeitsbereiches entsteht.

Im letzten Fall ist die Datenbank wesentlich kleiner, da der Arbeitsbereich nur grob abgetastet wurde. Anschliessend wird aus mehreren benachbarten Lagekandidaten, über Interpolieren der Ähnlichkeitswerte, die Lage bestimmt.

- Nach Datenbankinhalt:
- Arbeiten mit grossen Lagebeschreibungsvektoren in Form von Merkmalsbildern
- Arbeiten mit kompakteren Lagebeschreibungsvektoren (grundsätzlich sind nur 6 Vektorkomponenten erforderlich, um bei 6 Freiheitsgraden eine Lagekorrektur mit nur einer Bildaufnahme pro Bündel oder Abbildungsstrahlengang zu realisieren).

Diese Methoden können auch miteinander kombiniert werden.
Die Interpolation mit reinen Bilddaten ist unter bestimmten Voraussetzungen realisierbar: die Bildinhalte müssen - möglichst in verschiedenen Richtungen - strukturiert sein, es sollten grobe und möglichst auch feine Strukturen vorhanden sein.
Die den Strahlenbündeln (auch Abbildungsstrahlengang genannt) zugeordneten zweidimensionalen Koordinatensysteme sind normalerweise (aber nicht notwendigerweise) eben; sie können auch koplanar sein. Verschiedenen Strahlenbündel werden entweder durch verschiedene Kameras realisiert (Fig. 1) oder durch dieselbe Kamera realisiert (Fig. 2, dort umfasst Kamera 11 das Bündel 31 und Kamera 10 die Bündel 20a und 20b).
Die Bereiche dürfen sich grundsätzlich überlappen, sind jedoch vorteilhafterweise disjunkt oder mit nur geringer Überlappung realisiert.
Die Abgrenzung der Strahlenbündel kann durch mechanische Begrenzung von Bildfeldern geschehen, aber auch - insbesondere bei Realisierung mehrerer Strahlenbündel durch dieselbe Kamera - verfahrensmäßig durch Aufteilung des gesamten Kamerabildes in Bereiche. Die den Bereichen entsprechenden Bildausschnitte (Merkmalsbilder) bzw. davon abgeleitete Daten werden im Einrichtbetrieb gespeichert bzw. im Automatikbetrieb weiterverarbeitet.
Falls alle Strahlenbündel durch dieselbe Kamera realisiert werden, ist zur Einhaltung der Signifikanzbedingung erforderlich, daß nicht alle Strahlen parallel sind; ein telezentrischer Strahlengang ist in diesem Fall also ausgeschlossen.
Bei Zentralprojektion ist die Signifikanzbedingung umso sicherer erfüllbar, je besser das Tangentenverbot erfüllt ist; dies wiederum ist bei Verwenden einer einzelnen Kamera umso besser erfüllbar; je weitwinkliger das Objektiv ist. In der Praxis reicht in diesem Fall ein Objektfeldwinkel von mehr als ca. 20 Grad; bevorzugt mindestens 45 Grad; bei ca. 90 Grad Objektfeldwinkel ist das Tangentenverbot am besten erfüllbar: dann können in einer Ebene liegende Werkstückbereiche alle mit ca. 45 Grad zur Tangente geschnitten werden.
Entsprechendes gilt für die Verwendung von insgesamt zwei Kameras, wobei zwei Strahlenbündel durch eine von diesen zwei Kameras realisiert sind: das Tangentenverbot ist umso sicherer erfüllbar, je weitwinkliger das Objektiv dieser Kamera ist.
Falls mehrere Strahlenbündel durch dieselbe Kamera realisiert werden, ist es auch ausreichend, das Herausgreifen der Werkstückbereiche dieser Kamera nicht explizit, sondern implizit durchzuführen. Der Bildvergleich zweier Werkstückbereiche mit den entsprechenden Bereichen aus dem Einrichtbetrieb kann zusammenfassend in einem einzigen Schritt mit je einem Bild aus Einrichtbetrieb und Automatikbetrieb realisiert werden.
In diesen Vergleich können schadlos durchaus andere Partien des Bildas außerhalb der Bereiche einbezogen sein; man kann dann z. B. auch mit Gesamtbildern arbeiten, denn wenn die Bildpartien, die nicht die Tangentenbedingung erfüllen, sich bei Bewegung der Bildaufnahmeeinrichtung gegen das Werkstück nicht verändern, liefern diese Bildpartien zur Bildauswertung zwar keinen Beitrag, es ist aber auch nicht schädlich. In diesem Fall werden die zusammengefaßten Bereiche als einzelner Bereich angesprochen, der über einen ihm zugeordneten Strahlengang abgebildet wird.
Ein Bereich kann im Sonderfall auch den ganzen aus dem Blickwinkel der betreffenden Kamera sichtbaren Teil der Werkstückoberfläche umfassen.
Die Strahlenbündel entsprechen nicht notwendigerweise einer Zentralprojektion, wie in Fig. 1 dargestellt; sie können beispielsweise auch parallel sein, wie bei der Verwendung von telezentrischen Objektiven (Parallelprojektion).
Die Begrenzung der Strahlenbündel ist nicht notwendigerweise kreisförmig, wie in Fig. 1 dargestellt; die ausgewerteten Bereiche können beliebig abgegrenzt sein.
Verschiedene Strahlenbündel können auch mit der selben Kamera in verschiedener Position und ggf. in verschiedener Einstellung (z. B. Zoom), zeitlich nacheinander realisiert werden.
Im Rahmen der vorliegenden Erfindung können die Bildaufnahmen sowohl im Stillstand als auch während der Bewegung erfolgen zu Zeitpunkten, wenn sich die Systemkomponenten in den betreffenden Lagen befinden.
Das erfindungsgemäße Verfahren ist in beiden Fällen dabei ohne Einschränkung einsetzbar. Die Praxis der industriellen Bildverarbeitung bietet viele bewährte Möglichkeiten der Bildaufnahme in der Bewegung, durch die z. B. das Problem der Bewegungsunschärfe unterbunden wird (z. B. Blitzbeleuchtung, Shuttertechnik, CMOS-Sensoren).
Das Verfahren kann auch mit alternativ "umschaltbaren" Werkstückbereichen arbeiten. Beispiel: zur Lagekorrektur eines Schraubers für die Montage eines PKW-Rades mit 6 Schrauben, seien zwei alternative Sätze von je drei Werkstückbereichen in einer einzigen, (kurzbrennweitigen, um das weiter unten erläuterte Tangentenverbot gut einzuhalten) Kamera definiert.
Die Bereiche sind so gewählt, dass unabhängig von der Drehlage der Radnabe in mindestens einem der Sätze von Bildbereichen in jedem der drei Bereiche immer ein Schraubenloch sichtbar ist. Die den Sätzen zugeordneten Mengen von Bereichen brauchen grundsätzlich nicht disjunkt zu sein.
Die Beziehung zwischen der Ausgangslage und den weiteren Lagen kann in beliebigen Einheiten gemessen sein, die diese Beziehung beschreiben, vorzugsweise in der Anzahl der Schritte von Verfahrachsen oder in Raumkoordinaten-Inkrementen.
Das Speichern von Relativlagen (Schritt f) kann explizit geschehen durch Abspeichern der Werte, aber auch implizit, indem man beispielsweise in einer Programmschleife lediglich entsprechende Schrittweiten und Endwerte angibt.
Im Automatikbetrieb kann zwischen Bildaufnahmen eine definierte Bewegung des Roboters liegen

a) um die Eindeutigkeit der Zuordnung mit weniger Kameras zu erreichen und/oder
b) zur Gewinnung von Redundanzen und dadurch Erhöhung der Genauigkeit und Störsicherheit.

Unabhängig davon können auch mehrere Bildaufnahmen in gleicher Roboterposition zur Erhöhung der Genauigkeit und Störsicherheit sinnvoll sein.
Mit dem erfindungsgemässen Verfahren kann sowohl eine Steuerung als auch eine Regelung (ähnlich visual Servoing, mit mehreren Bildaufnahmen pro Strahlenbündel) realisiert werden.
Mit dem erfindungsgemässen Verfahren kann vorzugsweise auch eine mehrstufige, hierarchische Bestimmung der Lage realisiert werden: Im einem ersten Schritt wird eine grobe Lagebestimmung realisiert, auf Basis einer Datenbasis mit grober Abtastung, worauf der Roboter die Lage dementsprechend zunächst grob korrigiert. In den folgenden Schritten werden Datenbasen mit zunehmend kleineren Fangbereichen und zunehmend kleineren Abtastweiten verwendet.
Die Signifikanzbedingung ist wie nachfolgend beschrieben erzielbar:
Wir gehen zunächst gedanklich von 3 ausgezeichneten Punkten aus.
In [Fis] wird gezeigt, dass aus der zweidimensionalen Abbildung von 3 ausgezeichneten Punkten mit bekanntem Abstand, über eine einzelne Kamera mit bekannten inneren Parametern, die äusseren Kameraparameter berechnet werden können. Dies entpricht umgekehrt der Bestimmung der Lage des 3-D-Punktetripels bei bekannten Kameraparametern. Umformung der die Aufgabe beschreibenden geometrischen Gleichungen [Fis] führen zu einer Gleichung vierten Grades mit bis zu 4 diskreten, reellen positiven Lösungen. Diese Lösungen können jedoch grundsätzlich nahe beisammen liegen.
Wenn es gelingt, durch Wahl der Geometrie der Strahlenbündel zu garantieren, dass maximal eine Lösung im Arbeitsbereich liegen kann, ist bei 3 ausgezeichneten Punkten und einer Kamera die Signifikanzbedingung einhaltbar. Die Lösungen sollten also soweit auseinanderliegen, dass sich im Arbeitsbereich nur eine Lösung befinden kann.
Mehrdeutigkeiten entstehen

1. wenn Strahlenbündel parallel zu den translatorischen Freiheitsgraden des Roboters sind,
- - aufgrund der Rotationsfreiheitsgrade.

Wenn bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbündel tangential schneiden, fallen 2 diskrete Lösungen zusammen. Entsprechende anschauliche Betrachtungen werden in [Wil] durchgeführt für den 1-Kamera-Fall; sie sind für den hier vorliegenden Fall mit im allgemeinenen mehreren Kameras topologisch äquivalent: Wenn die rotierenden ausgezeichneten Punkte die Strahlenbündel beinahe tangential schneiden, liegen die Schnittpunkte nah beisammen. Wenn sie sie in einem grösseren Winkel (z. B. > 20 Grad) schneiden, liegen sie weit auseinander.
Bei nicht zu grossem Arbeitsbereich kann also sichergestellt werden, dass im Arbeitsbereich nur eine Lösung liegt.
Bedingung ist bei ausgezeichneten Punkten also, dass bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbündel nicht tangential, sondern möglichst in einem grösseren Winkel (z. B. > 20 Grad) schneiden. Diese Bedingung, zusammen mit der Forderung, dass Strahlenbündel nicht parallel zu den translatorischen Freiheitsgraden des Roboters sind, wird im folgenden Tangentenverbot genannt. Sie ist leicht und auf vielfältige Weise einzuhalten und beispielsweise dann erfüllt, wenn die Strahlenbündel ein Dreibein darstellen und sich der Drehpunkt in der Mitte der Grundfläche des Dreibeins befindet und die Drehachsen nicht durch die Merkmale gehen.
Das Tangentenverbot ist bei Flexmerkmalen auch dann erfüllt, wenn die LICHT-Strahlenbündel dort, wo sie die Flexmerkmale treffen, nicht tangential zum Kreis um die Rotationsachsen sind.
Das Tangentenverbot ist ein Beispiel für die Erreichung der Signifikanzbedingung. Das Tangentenverbot ist also eine hinreichende, aber nicht notwendige Bedingung für die Erreichung der (notwendigen) Signifikanzbedingung. Siehe Beispiel Fig. 5: hier ist die Signifikanzbedingung auch ohne Einhaltung des Tangentenverbots erfüllt.
Andererseits ist die Einhaltung des Tangentenverbots vorteilhaft, wie man aus Vergleich von Fig. 4 und Fig. 5 entnehmen kann: In Fig. 5 verzerren sich bei Körper-Rotation die abgebildeten Muster nur geringfügig, während sie sich in Fig. 4 deutlich verändern.
Da es sich bei dieser Erfindung um die KORREKTUR einer Bewegung handelt, sind die Arbeitsbereiche in der Regel ausreichend klein, um z. B. sicherstellen zu können, dass eine Rotationsachse nicht durch ein Merkmal hindurchgeht.
Für die geometrischen Betrachtungen setzen [Fis] und [Wil] die Kenntnis der Punkteabstände im Raum voraus; für die vorliegende Erfindung ist diese Kenntnis nicht unbedingt erforderlich. Die Überlegungen von [Fis] und [Wil] sind hilfreich, um zu erkennen, unter welchen topologischen geometrischen Voraussetzungen die Signifikanzbedingung erzielbar ist.
Die Lösbarkeits- und Eindeutigkeits- und Stabilitätsbetrachtungen sind abstrakt-geometrische Überlegungen und von den konkreten Abstandsmassen unabhängig. Die für die Bestimmung der Lageabweichung erforderliche Zusatzinformation stammt aus den im Einrichtbetrieb gespeicherten Daten. Lageinformation wird nur implizit bestimmt.
Bleibt noch der Übergang von der Vermessung der Abbildung von ausgezeichneten Punkten zum Abspeichern und Vergleichen von allgemeinen Lagebeschreibungsvektoren, die im Extremfall direkt als Merkmalsbilder gegeben sein können:
Über Korrelationsverfahren kann man bekanntermassen ohne ausgezeichnete Punkte die Verschiebung und Verdrehung eines Bildes gegenüber einem Referenzbild berechnen, vorausgesetzt die Bilder besitzen gewisse näherungsweise reproduzierbare Strukturen, die in mindestens zwei Richtungen ausgeprägt sind. Solche Verfahren gestatten die Verschiebungsberechnung auch beim Vorhandensein von Störungen.
Im allgemeineren Fall verfügt man über keinerlei positionsmässig erfassbare Merkmale, also entweder nur direkt über Bilder oder Bildbeschreibungsvektoren mit Massen, die keine Positionen in Bildern angeben. Solche Masse sind z. B. Grössenveränderung, Verdrehung, Verzerrung, Helligkeits- und Farbveränderung, Ortsfrequenzveränderungen. Diese Änderungen können auch durch geeignete Beleuchtungsmassnahmen gezielt herbeigeführt werden, beispielsweise durch strukturiertes Licht oder Moiré-Muster auf dem Werkstück.
Dieser allgemeine Fall kann auf den Fall mit ausgezeichneten Punkten zurückgeführt werden, indem man sich vorstellt, dass bei Bewegung des Werkstücks im Raum sich Bildstrukturen und damit verbundene Wertetupel mit in einem monotonen Zusammenhang tendenziell so verändern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall wäre.

- Wertevergleich: Zur eindeutigen Zuordnung kann zum Beispiel ein auf dem Werkstück festes Gittermuster verwendet werden, dessen Gitterweite und Orientierung sich bei der Roboterbewegung in der Abbildung verändert; es genügt die Berechnung der Gitterweite und der Orientierung, ohne Positionsdaten zu berechnen.
- Bildvergleich: Ein begrenztes Schachbrettmuster zum Beispiel, dessen Rastergrösse und Orientierung sich bei der Roboterbewegung in der Abbildung verändert, kann durch Bildvergleich einem von mehreren vorher gespeicherten Schachbrettmustern zugeordnet werden, ohne die jeweilige Rastergrösse und die Orientierung direkt zu berechnen (ein Schachbrett ist für direkten Bildvergleich günstiger als beispielsweise ein Gitter mit feinen Linien).

Damit ist plausibel gemacht, dass mit der angegebenen Anordnung auch bei direktem Bildvergleich, ohne über irgendwelche von den Bildern abgeleitete Positionswerte zu verfügen, die Signifikanzbedingung eingehalten werden kann.
Bleibt noch der Übergang von Fixmerkmalen auf Flexmerkmale. Hier gilt eine ähnliche Überlegung: Auch hier sind Anordnungen realisierbar, mit denen Bildstrukturen entstehen, aufgrund derer skalare Wertetupel sich tendenziell so monoton verändern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall ist.
Beispiel eines Flexmerkmals: Die Erzeugung eines Gittermusters oder eines Schachbrettmusters mittels strukturierter Beleuchtung führt bei geeigneter Beleuchtungsgeometrie auf den gleichen oben geschilderten Effekt, ohne dass solche Muster auf dem Werkstück vorhanden sein müssen. Siehe Beispiele Fig. 4 und 5.
Zu Flexmerkmalen siehe auch das Beispiel Fig. 3.
Im folgenden werden Vorteile der Erfindung erläutert.
Es müssen nicht unbedingt konventionelle geometrische Merkmale wie Kanten, Ecken, Löcher aufgenommen werden. Es genügen grundsätzlich Abbildungen, aus denen sich irgendwelche reproduzierbare Bildstrukturen ergeben, die sich in irgendeiner Weise bei Veränderung der Aufnahmegeometrie ändern und in ihrer Gesamtheit eine eindeutige Zuordnung zur Lage ermöglichen.
Dazu gibt es vielerlei Möglichkeiten.
Merkmale im oben angegebenen Sinn erfüllen diese Forderung bei Einhalten des oben geschilderten Tangentenverbots. Solche Merkmale können verwendet werden, ihre Geometrie braucht jedoch nicht bekannt zu sein.
Auch geeignet zur Auswahl der zu erfassenden Bereiche sind beispielsweise

- Oberflächenformen wie Sicken, Wölbungen,
- künstlich erzeugte Flexmerkmale (s. o.),
- inhomogene Strukturen wie reproduzierbare Übergänge von Oberflächenstrukturen; beliebige metrisch undefinierte, aber in der optischen Abbildung reproduzierbare Merkmale.

Eine analytisch oder experimentelle Bestimmung der visuellen Jakobimatrix oder eines funktionellen (z. B. stückweise linear approximierenden) Zusammenhangs zwischen Roboterbewegung und der Bewegung konventioneller (d. h. mit Positionsdaten verknüpfbarer) Bildmerkmale ist nicht erforderlich. Im allgemeinen Fall des Arbeitens mit einer grossen Bild-Datenbasis werden von den Bildern überhaupt keine Daten abgeleitet. Eine Darstellung irgendeines funktionellen Zusammenhangs erübrigt sich.
Das hier vorgestellte Verfahren ist nicht darauf angewiesen, dass gepulstes, moduliertes oder strukturiertes Licht eingesetzt wird. Das hier vorgestellte Verfahren kann grundsätzlich mit beliebigem Licht arbeiten, z. B. dem Tageslicht. Wird eine spezielle Beleuchtung verwendet, so kann diese durchaus zur Erhöhung der Störanfälligkeit gegen Fremdlicht zusätzlich gepulst oder moduliert oder auf einen bestimmten Spektralbereich begrenzt oder strukturiert werden. Dies ist jedoch nicht grundsätzlich erfoderlich; das Verfahren fällt also weder unter b1) noch unter b2) und ist - auch bei zusätzlicher Verwendung von strukturiertem oder gepulstem oder moduliertem Licht - nicht mit den messtechnischen Problemen der Verfahren b1) und b2) verbunden.
Bei der hier vorgestellten Erfindung betrachten im Gegensatz zu Stereo-Verfahren die Kameras im allgemeinen unterschiedliche Merkmale, u. a. mit dem Vorteil, dass grosse Werkstücke leichter und genauer zu erfassen sind. Je weiter die Merkmale auseinander liegen, desto genauer ist die Bewegungskorrektur möglich. Grundsätzlich reicht andererseits jedoch, im Gegensatz zu Stereosystemen, eine einzige Kamera aus.
Im Gegensatz zu modellbasierten Systemen braucht die Werkstückgeometrie oder die Lage der Merkmale in einem Werkstück-Koordinatensystem nicht bekannt zu sein, ja sogar ein Werkstückkoordinatensystem braucht nicht definiert zu sein. Die Aufgabe ist gelöst, indem die Abweichung der Werkstücklage gegenüber der Standardlage implizit bestimmt wird, ohne dass die geometrischen Verhältnisse bei Standardlage bekannt zu sein brauchen. Die wirkliche Lage des Werkstücks im Raum braucht prinzipiell weder in der Standardlage noch in der im Automatikbetrieb angetroffenen Lage bekannt zu sein und auch nicht berechnet zu werden.
Ein Kalibrieren des Robotersystems auf Weltkoordinaten, wie es beispielsweise in [Ben] mittels Bewegung von Kameras mit Blick auf eine Kalibrierplatte realisiert wird, entfällt.
Im Gegensatz zu konventionellen Stereosystemen braucht die Kamerageometrie nicht bekannt zu sein. Die Lage der ebenen Koordinatensysteme im Raum braucht nicht bekannt zu sein. Eine Berechnung der inneren oder äusseren Kamerakoordinaten entfällt damit.
Ohne mathematische Mehrdeutigkeitsprobleme können auch Systeme mit mehr als 6 Roboter-Freiheitsgraden realisiert werden. Soll z. B. ein Knickarmroboter eine bestimmte Lage des Greifers oder Werkzeugs im Raum herstellen, so kann es vorkommen, dass bestimmte Lagen mit mehreren verschiedenen Roboterstellungen erreicht werden können. Die damit verbundenen mathematischen Probleme existieren hier nicht, da aufgrund des Vorzeigens in verschiedenen Robotereinstellungen eben nur diese (und ggf. dazu benachbarte) Einstellungen für den Automatikbetrieb in Frage kommen.
Es ist nicht erforderlich, künstliche Merkmale anzubringen, wie z. B. Klebepunkte.
Das Verfahren gestattet eine steuernde oder regelnde Vorgehensweise.
Das Verfahren ist einsetzbar, ohne dass positionsmässig erfassbare Merkmale in den Bildern verfügbar sein müssen.
In einem konkreten System ist der Übergang von Fixmerkmalen zu Flexmerkmalen grundsätzlich realisierbar allein durch Ändern der Beleuchtungseinrichtung, ohne an den restlichen Komponenten wie Roboter, Steuerung, insbesondere Bildauswertungsverfahren, etwas zu ändern.
Das Verfahren gestattet eine Selbstüberwachung, indem verschiedene Ausgangsstellungen des Roboters definiert werden und für diese Stellungen, jeweils nach einer korrigierenden Roboterbewegung, mit zusätzlichen Bildaufnahmen, das Erreichen des Korrekturziels überprüft wird. Die Werkstücklage braucht hierfür nur konstant zu sein und braucht nicht der Standardlage zu entsprechen.
Die bei der Selbstüberwachung auftretende Abweichung kann für eine automatische Adaption an langsam oder geringfügig veränderliche Gegebenheiten verwendet werden.

Quellen

[Ben] Luis Manuel Conde Bento, Duarte Miguel Horta Mendoca: Computer Vision and Kinametic Sensing in Robotics. Thesis Department of Automatic Control, Lund Institute of Technology, Juni 2001

[Dif] US 6 211 506 B1

[Fan] US 4 639 878

[Fis] M. A. Fischler, R. C. Bolles: Random Sample Consensus: A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M.

June 1981, Vol. 24, No. 6, pp. 381-395.

[GMR] US 4 942 539

[Hut] S. HutchinSon, G. Hager, P. Corke: A Tutorial on Visual Servo Control. IEEE Trans. on Robotics and Automation. Vol. 12 No. 5, S. 651-670, Oct. 1996.

[Isr] EU 0 911 603 B1

[Ja0] www.cs.rochester.edu/u/jag/PercAct/dvfb.html Stand 23. 09. 2001

[Ja1] M. Jaegersand, O. Fuentes, R. Nelson: Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation. Proc. Int. Conf. on Robotics an Automation, 1997

[Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; räumliche Information aus digitalen Bildern.

Vieweg Verlag Braunschweig, 1996.

[Lee] D. E. B. Lees, P. Trepagnier: Guiding Robots with Stereo Vision. Robotics Today, April 1984, S. 79-81.

[Mar] E. Marchand: VISP: a Software Environment for Eye-in-Hand Visual Servoing. IEEE Int. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224-3230, Detroit, Michigan, 1999.

[Per] EP 1 076 221 A2

[Pie] J. A. Piepmeier, G. V. McMurray, H. Lipkin: Dynamic quasi-Newton Method for Uncalibrated Visual Servoing. 1999 IEEE Int. Conf. on Robotics & Automation, Minneapolis, May 1999.

[Wil] William, D. E. Wolfe: The Perspective View of Three Points. IEEE Trans. on Pattern Analysis and Machine Intelligence. Vol. 13, No. 1 Jan. 1991, pp 66-73.

Claims

1. Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist
mit einem Einrichtbetrieb mit folgenden Schritten

a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang,

b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage,

c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage,

d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang,

e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und

f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei
für jede Relativlage:
die Relativlage selbst explizit oder implizit gespeichert wird,
die Schritte d) und e) wiederholt werden,
und/oder
mit einem Automatikbetrieb mit folgenden Schritten

g) Aufnehmen mindestens eines Bildes von jedem der Bereiche des Werkstücks über je mindestens einen der ihnen zugeordneten Abbildungsstrahlengänge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage

h) Vergleich der in Schritt g) aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus einem Einrichtbetrieb,

i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h)

j) Korrigieren der Relativbewegung abhängig von der in Schritt i) berechneten Relativlage.

2. Verfahren nach Anspruch 1,
wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist:
es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad,
es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet,
es werden drei oder mehr Kameras verwendet.

3. Verfahren nach Anspruch 1 oder 2, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen.

4. Verfahren nach einem der Ansprüche 1 bis 3, wobei für mindestens zwei Abbildungsstrahlengänge getrennte Kameras verwendet werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, wobei für mindestens zwei Abbildungsstrahlengänge die selbe Kamera verwendet wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, wobei zwei Abbildungsstrahlengänge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen.

7. Verfahren nach einem der Ansprüche 1 bis 5, wobei mindestens drei Abbildungsstrahlengänge untereinander keine parallelen Strahlen besitzen.

8. Verfahren nach einem der Ansprüche 1 bis 7, wobei mindestens ein Bereich ein Merkmal aufweist, das auf dem Werkstück fest ausgebildet ist.

9. Verfahren nach einem der Ansprüche 1 bis 8, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstück erzeugt wird.

10. Verfahren nach einem der Ansprüche 1 bis 9, wobei das Werkstück oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist.

11. Verfahren nach Anspruch 10, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 9 gilt:
der betreffende Strahlengang ist schräg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet.

12. Verfahren nach Anspruch 10, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 9 gilt:
der betreffende Strahlengang ist schräg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstückbereichs um die Drehachsen.

13. Verfahren nach einem der Ansprüche 1 bis 12,
mit mehrstufiger Arbeitsweise,
mit Ausführung der Schritte g) bis j) in jeder Stufe,
wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe.

14. Verfahren nach einem der Ansprüche 1 bis 13, mit mehreren Sätzen von Bildbereichen, wobei abhängig vom aktuellen Bildinhalt ein Satz von Bildbereichen zur Lagekorrektur gewählt wird.

15. Verfahren nach einem der Ansprüche 1 bis 14, mit einem Selbstüberwachungsbetrieb mit den Schritten:

- Durchführen der Schritte g) bis j) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und

- erneutes Durchführen der Schritte g) bis j) für diese Lage und Prüfen, ob die neu berechnete Relativbewegung ausreichend klein ist.

16. Verfahren nach einem der Ansprüche 1 bis 14, mit einem Selbstüberwachungsbetrieb mit den Schritten:

- Durchführen der Schritte g) bis i) und Speichern der Korrekturwerte K-Null

- wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen l, mit bekannten Lageabweichungen Delta-l von der Ausgangslage

- für jede dieser Lagen l:

- Durchführen der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-l,

- Vergleichen der Korrekturen K-Neu-l mit der Superposition von K-Null und Delta-1.

17. Verfahren nach Anspruch 15 oder 16, wobei die Selbstüberwachung ein Prüfergebnis über eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfügig veränderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Änderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 10.

18. Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglichen ist
wobei in einem Einrichtbetrieb folgende Schritte durchführbar sind:

c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage,

d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang,

e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und

f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei
für jede Relativlage:
die Relativlage selbst explizit oder implizit gespeichert wird,
die Schritte d) und e) wiederholt werden,
und/oder in einem Automatikbetrieb folgende Schritte durchführbar sind:

i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h),

19. Vorrichtung nach Anspruch 18,
wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist:
es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad,
es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet,
es werden drei oder mehr Kameras verwendet.

20. Vorrichtung nach Anspruch 18 oder 19, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen.

21. Vorrichtung nach einem der Ansprüche 18 bis 20, wobei für mindestens zwei Abbildungsstrahlengänge getrennte Kameras vorgesehen sind.

22. Vorrichtung nach einem der Ansprüche 18 bis 21, wobei für mindestens zwei Abbildungsstrahlengänge die selbe Kamera vorgesehen ist.

23. Vorrichtung nach einem der Ansprüche 18 bis 22, wobei zwei Abbildungsstrahlengänge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen.

24. Vorrichtung nach einem der Ansprüche 18 bis 22, wobei mindestens drei Abbildungsstrahlengänge untereinander keine parallelen Strahlen besitzen.

25. Vorrichtung nach einem der Ansprüche 18 bis 24, wobei mindestens ein Bereich ein Merkmal aufweist, da s auf dem Werkstück fest ausgebildet ist.

26. Vorrichtung nach einem der Ansprüche 18 bis 25, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstück erzeugt wird.

27. Vorrichtung nach einem der Ansprüche 18 bis 26, wobei das Werkstück oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist.

28. Vorrichtung nach Anspruch 27,
wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 26 gilt:
der betreffende Strahlengang ist schräg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet.

29. Vorrichtung nach Anspruch 27, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 26 gilt:
der betreffende Strahlengang ist schräg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstückbereichs nrn die Drehachsen.

30. Vorrichtung nach einem der Ansprüche 18 bis 29,
bei der eine mehrstufige Arbeitsweise durchführbar ist,
mit Ausführung der Schritte g) bis i) in jeder Stufe,
wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe.

31. Verfahren nach einem der Ansprüche 18 bis 30, mit mehreren Sätzen von Bildbereichen, mit der Möglichkeit, abhängig vom aktuellen Bildinhalt einen Satz von Bildbereichen zur Lagekorrektur zu wählen.

32. Vorrichtung nach einem der Ansprüche 18 bis 31,
wobei in einem Selbstüberwachungsbetrieb folgende Schritte durchführbar sind:

- Durchführen der Schritte g) bis i) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und

- erneutes Durchführen der Schritte g) bis i) für diese Lage und Prüfen, ob die neu berechnete Relativbewegung ausreichend klein ist.

33. Vorrichtung nach einem der Ansprüche 18 bis 31,
wobei in einem Selbstüberwachungsbetrieb folgende Schritte durchführbar sind:

- Durchführen der Schritte g) bis i) und Speichern der Korrekturwerte K-Null,

- wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen l, mit bekannten Lageabweichungen Delta-l von der Ausgangslage,

- für jede dieser Lagen l:

- Durchführen der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-l.

- Vergleichen der Korrekturen K-Neu-l mit der Superposition von K-Null und Delta-l.

34. Vorrichtung nach Anspruch 32 oder 33, wobei die Selbstüberwachung ein Prüfergebnis über eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfügig veränderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Änderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 27.