-
Die Erfindung betrifft ein Verfahren zur Manipulation eines Objekts durch ein Robotersystem mit einem robotischen Manipulator.
-
Aus dem Stand der Technik ist bekannt, dass robotische Systeme, die beispielsweise in der Orbitalrobotik, Telechirurgie, Pflege oder Telenavigation eingesetzt werden und traditionelle bilaterale Telemanipulationsansätze nutzen, aufgrund technischer und physischer Beschränkungen oft die Genauigkeit und Leistung von Telemanipulationsaufgaben beeinträchtigen. Um dieser Problematik entgegenzuwirken, ist aus dem Stand der Technik das modellgestützte haptische Telemanipulationsverfahren (MATM) bekannt, das auf zwei Arten von virtuellen Modellen beruht - ein fernes virtuelles Modell, das die geteilte autonome Funktion des teleoperierten Roboters ermöglicht, und ein lokales virtuelles Modell, das darauf abzielt, dem menschlichen Bediener unterstützende haptische Rückmeldungen zu geben.
-
Ein ähnliches robotisches System ist aus
DE102023125994A1 bekannt, das eine Simulation ausführt, indem ein virtuelles Modell verwendet wird. Das Informationsverarbeitungsgerät umfasst eine Verarbeitungseinheit. Die Verarbeitungseinheit ist konfiguriert, das virtuelle Modell und einen Bedienungsabschnitt auf einer Anzeigeeinheit anzuzeigen, wobei der Bedienungsabschnitt durch einen Benutzer verwendet wird, um das virtuelle Modell zu bedienen, und Einstellungsinformationen über den Bedienungsabschnitt in Reaktion auf eine Eingabe des Benutzers zu ändern.
-
Ein ähnliches robotisches System ist aus
DE102020104359B4 bekannt, welches ein Verfahren zum Einschränken eines Arbeitsraumes eines Robotermanipulators offenbart.
-
Ein ähnliches robotisches System ist aus
DE112019001256B3 bekannt, welches eine Steuervorrichtung zum Steuern des Betriebs eines Arbeitsroboters zum Ausführen einer Arbeit in einem Zielbereich unter Verwendung eines Manipulators offenbart.
-
Ein ähnliches robotisches System ist aus
DE69332914T2 bekannt, welches ein chirurgisches System zur Teleoperation offenbart.
-
Ein ähnliches robotisches System ist aus
US11090804B2 bekannt, welches einen Anzeigeapparat und einen virtuellen Umgebungsbildschirm umfasst, der den Zustand eines identifizierten Roboters anzeigt, und einen Parameter-Einstellungsbildschirm, der die Positions- und Orientierungsdaten numerisch darstellt.
-
Ein ähnliches robotisches System ist aus
JP2019081242A bekannt, welches ein Simulationsgerät offenbart, das einem virtuellen Roboter ermöglicht, eine Simulation durchzuführen.
-
Aufgabe der Erfindung ist es, ein sicheres Verfahren bereit zu stellen, welches die Steuerung eines robotischen Systems mit einem robotischen Manipulator ermöglicht und ungewollte Kollisionen oder Berührungen zwischen Manipulatoren, oder Manipulator-Objekten, bei der Nutzung des robotischen Systems verhindert.
-
Objekte, mit denen ein Manipulator nicht kollidieren sollte, sind Objekte, die der Nutzer nicht aktiv manipulieren will. Im Fall der Telechirurgie könnten diese Objekte zum Beispiel lebenswichtige Organe, Blutgefäße oder Gewebe sein, an welchen nicht operiert werden soll.
-
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Ansprüche 1, 12 und 13.
-
Das erfindungsgemäße Verfahren zur Manipulation eines Objekts weist ein robotisches System auf. Dieses kann zum Beispiel ein Industrieroboter, wie er zur Fließbandfertigung eingesetzt wird sein, oder ein Operationsroboter, wie er in der Telemedizin eingesetzt wird, oder ein humanoider Roboter oder ein Roboter wie er im Weltall oder der ISS eingesetzt wird, sein. Grundsätzlich eignet sich jedes robotische System, welches ausgebildet ist, einen Manipulator aufzunehmen für das erfindungsgemäße Verfahren.
-
Bei einem erfindungsgemäßen Manipulator kann es sich um eine Vielzahl von Aufsätzen für das Robotische System handeln. Ein Manipulator kann sein:
- Ein Greifer, eine mechanische Hand, ein Schneidwerkzeug (Skalpell, Säge, Messer, etc.), ein Schweiß-Gerät, ein Rotationswerkzeug (Bohrer, Fräse, Winkelschleifer), eine geometrische Form (Stab, Haken, Kegel, Quader, etc.), eine universelle Aufnahmevorrichtung für Greifer.
-
Das erfindungsgemäße robotische System weist ferner einen oder mehrere Sensoren auf, welche in der Lage sind, die Position des Manipulators und oder eines Objektes im Raum zu bestimmen. Sensoren, die dazu geeignet sind, sind zum Beispiel: Kameras, Lidar-Sensoren, Radar-Sensoren, MRT- oder Röntgensensoren, Time-of-Flight-Sensoren, sowie Ultraschall- oder Infrarotsensoren. Zur Bestimmung der Position des robotischen Manipulators eignen sich ebenfalls Winkelsensoren oder Lagesensoren an oder in den Gelenken des robotischen Systems.
-
Durch die Sensor-Daten ist der erfindungsgemäße Prozessor in der Lage, die Position eines oder mehrerer Objekte sowie eines oder mehrerer Manipulatoren zu bestimmen und basierend darauf ein virtuelles Modell mit mindestens einem virtuellen Manipulator und mindestens einem virtuellen Objekt zu erstellen. Solche virtuellen Modelle können Punktwolken, 3D-Modelle, Voxel-Maps oder Sphere-Trees sein. Diese Modelle können sowohl klassisch als auch mit Wahrscheinlichkeiten, Konfidenzwerten oder Wahrscheinlichkeitsverteilungen gebildet sein.
-
Im erfindungsgemäßen Verfahren wird das virtuelle Objekt und / oder der virtuelle Manipulator vergrößert. Die Vergrößerung kann durch eine Skalierung der individuellen Raumachsen erfolgen, oder durch Projektion, oder eine beliebige Matrix-Multiplikation.
-
Im erfindungsgemäßen Verfahren wird ein Mindestabstand zwischen Objekt und Manipulator basierend auf einem Berührungspunkt zwischen
virtuellem Objekt und / oder virtuellem Manipulator
oder
vergrößertem virtuellem Objekt und / oder virtuellem Manipulator
oder
virtuellem Objekt und / oder vergrößertem virtuellem Manipulator
oder
vergrößertem virtuellem Objekt und / oder vergrößertem virtuellem Manipulator
bestimmt.
-
Ein Berührungspunkt kann ein Punkt, eine Kurve oder eine Fläche sein, in dem sich virtueller Manipulator und virtuelles Objekt berühren und/oder überschneiden. Es ist die Region, an der zwei Objekte Kontakt haben.
-
Der erfindungsgemäße Mindestabstand wird somit basierend auf dem erfindungsgemäßen Berührungspunkt bestimmt, indem erfindungsgemäß definiert ist, dass sich
virtuelles Objekt und / oder virtueller Manipulator
oder
vergrößertes virtuelles Objekt und / oder virtueller Manipulator
oder
virtuelles Objekt und / oder vergrößerter virtueller Manipulator
oder
vergrößertes virtuelles Objekt und / oder vergrößerter virtueller Manipulator
nicht berühren dürfen, oder nicht überlappen dürfen, oder nicht mehr als ein manuell eingestellter Wert überlappen dürfen. Wird eines der vorgenannten Kriterien verletzt, kann sich eine kritische Berührung ergeben.
-
Es ist bevorzugt, dass die Vergrößerung durch eine Skalierung des virtuellen Objekts und/oder des virtuellen Manipulators durch eine Multiplikation mit einem Vergrößerungsfaktor, Vergrößerungsvektor oder einer Vergrößerungs-matrix skaliert realisiert wird.
Ein Vergrößerungsfaktor ist zum Beispiel ein Skalar, welcher eine gleichmäßige Skalierung in alle Dimensionen des virtuellen Objekts und/oder des virtuellen Manipulators ermöglicht.
Ein Vergrößerungsvektor ist ein dreidimensionaler Vektor, bei dem die drei Komponenten die Skalierungsfaktoren in den entsprechenden Raumrichtungen repräsentieren. Ein Skalierungsfaktor größer als 1 in einer Dimension bewirkt eine Vergrößerung entlang dieser Richtung, während ein Faktor kleiner als 1 zu einer Verkleinerung führt. Vorteilhaft ist es, dass der Vergrößerungsvektor auch in einem gedrehten Bezugskoordinatensystem angewendet werden kann, so dass ein Objekt beispielsweise in eine beliebige Raumrichtung stärker vergrößert wird.
-
Eine Vergrößerungsmatrix ist eine mathematische Matrix, die dazu dient, Vergrößerungen oder Verkleinerungen von dreidimensionalen Objekten in einem koordinatenbasierten System zu beschreiben. Typischerweise handelt es sich um eine 3x3- oder 4x4-Matrix, wobei die Diagonalelemente die Skalierungsfaktoren für die jeweiligen Raumrichtungen repräsentieren. Ein Skalierungsfaktor größer als 1 bewirkt eine Vergrößerung entlang der entsprechenden Achse, während ein Faktor kleiner als 1 zu einer Verkleinerung führt. Die Vergrößerungsmatrix erlaubt es, die Größe und Form von Objekten zu modifizieren. Durch Hinzufügen von Translationskomponenten kann sie auch dazu verwendet werden, die Vergrößerung, um einen bestimmten Punkt zu zentrieren und somit gleichzeitig Translationen durchzuführen. Die Vergrößerungsmatrix ermöglicht auch Scherungen, indem die Nicht-Diagonalelemente der Matrix für die entsprechenden Achsen eingestellt werden.
-
Es ist bevorzugt, dass die Vergrößerung durch eine Skalierung des virtuellen Objekts und/oder des virtuellen Manipulators durch Sicherheitsschichten realisiert wird. Eine Sicherheitsschicht oder auch Abstandsschicht in virtuellen Umgebungen ermöglicht die Einführung eines Sicherheitsabstands zwischen verschiedenen virtuellen Objekten. Die Abstandsschicht entspricht einer Vergrößerung der virtuellen Objekte, wobei eine Hülle mit konstanter Dicke um das Objekt gelegt wird. Die Vergrößerung durch diese Schicht entspricht nicht einer klassischen Skalierung, sondern der Hinzufügung einer schützenden Hülle um das virtuelle Objekt. Diese Vergrößerung kann mittels eines Abstandsfeldes, beispielsweise gespeichert in einer Voxel-Map, umgesetzt werden.
-
Es ist bevorzugt, dass die Vergrößerung durch eine Skalierung des virtuellen Objekts und/oder des virtuellen Manipulators durch eine Extrusion realisiert wird. Im Kontext eines CAD-Programms beschreibt Extrusion normalerweise das entstehende Volumen durch Verschiebung oder Drehung eines 2D-Objekts. In der vorliegenden Erfindung wird der Begriff allgemeiner verwendet und bezieht sich auf die Bewegung von 3D-Objekten. Anders ausgedrückt handelt es sich um eine Vereinigungsoperation, oder kontinuierliche volumetrische Vereinigung oder volumetrische Extrusion.
-
Es ist bevorzugt, dass der Vergrößerungsfaktor zur Vergrößerung des virtuellen Objekts unterschiedlich für unterschiedliche Raumachsen ist. Die unterschiedliche Vergrößerung in unterschiedliche Raumachsen kann sich zum Beispiel durch eine unterschiedliche Beschaffenheit des Objekts entlang unterschiedlicher Achsen ergeben. So könnte zum Beispiel die eine Seite eines Organs, welche viele Blutgefäße aufweist von einem höheren Mindestabstand profitieren als dessen Rückseite, welche beispielsweise durch eine Fettschicht geschützt ist. Durch das dynamische Einstellen des Vergrößerungsfaktors ergibt sich maximale Beweglichkeit für den Manipulator, mit minimalem Risiko einer kritischen Berührung.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Objekts von der Bewegungsrichtung und/oder Bewegungsgeschwindigkeit des Manipulators abhängig ist. Die unterschiedliche Vergrößerung abhängig von der Manipulator-Bewegungsrichtung und/oder Bewegungsgeschwindigkeit kann beispielsweise vorteilhaft sein, wenn der Manipulator in Richtung eines Objekts bewegt wird. So kann die Vergrößerung des virtuellen Objekts und /oder virtuellen Manipulators beispielsweise entlang der Bewegungsrichtung vergrößert werden, während die Vergrößerung entlang anderer Achsen konstant bleibt. Die Vergrößerung kann ebenfalls abhängig von der Geschwindigkeit und/oder Drehgeschwindigkeit des Manipulators in bzw. um eine oder mehrere Raumachsen angepasst werden. So könnten hohe Manipulator-Geschwindigkeiten zu einer erhöhten Vergrößerung führen, um beispielsweise die Trägheit des Manipulators zu berücksichtigen.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Objekts von der Bewegungsrichtung und/oder Bewegungsgeschwindigkeit des Objekts und/oder von der Relativgeschwindigkeit zwischen Objekt und Manipulator abhängig ist. Die unterschiedliche Vergrößerung abhängig von der Objekt-Bewegungsrichtung und/oder Bewegungsgeschwindigkeit kann beispielsweise vorteilhaft sein, wenn sich das Objekt bewegt, wie zum Beispiel ein Herz. So kann die Vergrößerung des virtuellen Objekts und /oder virtuellen Manipulators beispielsweise entlang der Kontraktionsrichtung des Herzes vergrößert werden, während die Vergrößerung entlang anderer Achsen konstant bleibt. Die Vergrößerung kann ebenfalls abhängig von der Geschwindigkeit und/oder Drehgeschwindigkeit des Objekts in bzw. um eine oder mehrere Raumachsen angepasst werden. So könnten hohe Objekt-Geschwindigkeiten und / oder Kontraktionsgeschwindigkeiten zu einer erhöhten Vergrößerung führen, um beispielsweise die Trägheit des Objekts zu berücksichtigen.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Objekts von der Genauigkeit der Sensoren abhängt, die zur Erstellung des virtuellen Objekts und des virtuellen Manipulators in dem robotischen System verwendet werden. Der Vergrößerungsfaktor zum Vergrößern des virtuellen Objekts hängt von der Genauigkeit der Sensoren ab. Diese Genauigkeit, kann zum Beispiel beeinträchtigt werden durch: die Bauart und Qualität des Sensors, Beleuchtung, Nebel, Rauch, Vibrationen, Verdecken des Objekts und /oder Manipulators durch z.B. Teile des robotischen Systems, oder andere externe Komponenten oder Menschen. Eine Änderung der Genauigkeit der Sensordaten kann so zu einer Änderung des Vergrößerungsfaktors des virtuellen Objekts genutzt werden.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Objekts mit einer translatorischen oder rotatorischen Verschiebung kombiniert wird. Hierbei kann ein Vergrößerungsfaktor von 1 verwendet werden. Ein Vergrößerungsfaktor von 1 führt zu keiner effektiven Vergrößerung, sodass auch rein rotatorische oder translatorische Verschiebungen möglich sind um den Mindestabstand zu gewährleisten. Dies kann von Vorteil sein, wenn die Lage des betreffenden virtuellen Objektes nicht plausibel ist. Dies kann zum Beispiel bei der Durchdringung von starren Objekten auftreten. Durch eine Verschiebung mit gleichzeitiger Vergrößerung mit einem Vergrößerungsfaktor größer als 1 kann der Sicherheitsabstand auf einer Seite eines virtuellen Objektes/ Objektes größer eingestellt werden als auf dessen gegenüberliegender Seite. Dies kann von Vorteil sein, wenn beispielsweise eine Seite eines Objekts empfindlich oder gefährlich ist und besonders stark gemieden werden muss. Ebenso kann dies von Vorteil sein, wenn eine Bewegung des Objektes erwartet wird oder möglich ist.
-
Der von einem Prozessor berechnete Fehler des virtuellen Modells oder Objekts kann ebenfalls Einfluss auf den Vergrößerungsfaktor des virtuellen Objekts nehmen. Ändert sich der berechnete Fehler, beispielsweise der statistische Fehler, so ändert sich der Vergrößerungsfaktor des virtuellen Objekts. Zum Beispiel führt ein größerer Fehler zu einem größeren Vergrößerungsfaktor.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor des virtuellen Objekts in alle Richtungen gleich ist. Dies kann von Vorteil sein, um das erfindungsgemäße Verfahren auf robotischen Systemen mit eingeschränkter Rechenleistung zu benutzen.
-
Es ist bevorzugt, dass der Vergrößerungsfaktor zur Vergrößerung des virtuellen Manipulators unterschiedlich für unterschiedliche Raumachsen ist. Die unterschiedliche Vergrößerung in unterschiedliche Raumachsen kann sich zum Beispiel durch eine unterschiedliche Beschaffenheit des Manipulators entlang unterschiedlicher Achsen ergeben. So könnte zum Beispiel die eine Seite eines Manipulators eine Klinge aufweisen, was einen größeren Vergrößerungsfaktor in der Richtung, in der die Klinge schneiden kann, rechtfertigt. Die Rückseite des Manipulators könnte hingegen stumpf sein, was einen kleineren Vergrößerungsfaktor orthogonal zur Rückseite des Manipulators rechtfertigen würde. Durch das dynamische Einstellen des Vergrößerungsfaktors ergibt sich maximale Beweglichkeit für den Manipulator, mit minimalem Risiko einer kritischen Berührung.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Manipulators von der Bewegungsrichtung und/oder Bewegungsgeschwindigkeit des Manipulators und/oder von der Relativgeschwindigkeit zwischen Objekt und Manipulator abhängig ist. Die unterschiedliche Vergrößerung abhängig von der Manipulator-Bewegungsrichtung und/oder Bewegungsgeschwindigkeit kann beispielsweise vorteilhaft sein, wenn der Manipulator in Richtung eines Objekts bewegt wird. So kann die Vergrößerung des virtuellen Objekts und /oder virtuellen Manipulators beispielsweise entlang der Bewegungsrichtung vergrößert werden, während die Vergrößerung entlang anderer Achsen konstant bleibt. Die Vergrößerung kann ebenfalls abhängig von der Geschwindigkeit und/oder Drehgeschwindigkeit des Manipulators in bzw. um eine oder mehrere Raumachsen angepasst werden. So könnten hohe Manipulator-Geschwindigkeiten zu einer erhöhten Vergrößerung führen, um beispielsweise die Trägheit des Objekts zu berücksichtigen.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Manipulators von der Bewegungsrichtung und/oder Bewegungsgeschwindigkeit des Objekts abhängig ist. Die unterschiedliche Vergrößerung abhängig von der Objekt-Bewegungsrichtung und/oder Bewegungsgeschwindigkeit kann beispielsweise vorteilhaft sein, wenn sich das Objekt bewegt, wie zum Beispiel ein Herz. So kann die Vergrößerung des virtuellen Objekts und /oder virtuellen Manipulators beispielsweise entlang der Kontraktionsrichtung des Herzes vergrößert werden, während die Vergrößerung entlang anderer Achsen konstant bleibt. Die Vergrößerung kann ebenfalls abhängig von der Geschwindigkeit und/oder Drehgeschwindigkeit des Objekts in bzw. um eine oder mehrere Raumachsen angepasst werden. So könnten hohe Objekt-Geschwindigkeiten und / oder Kontraktionsgeschwindigkeiten zu einer erhöhten Vergrößerung führen, um beispielsweise die Trägheit des Objekts zu berücksichtigen.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Manipulators von der Genauigkeit der Sensoren abhängt, die zur Erstellung des virtuellen Objekts und des virtuellen Manipulators in dem robotischen System verwendet werden. Der Vergrößerungsfaktor zum Vergrößern des virtuellen Manipulators hängt von der Genauigkeit der Sensoren ab. Diese Genauigkeit, kann zum Beispiel beeinträchtigt werden durch: die Bauart und Qualität des Sensors, Beleuchtung, Nebel, Rauch, Vibrationen, Verdecken des Objekts und / oder Manipulators durch z.B. Teile des robotischen Systems, oder ein Objekt, oder andere externe Komponenten oder Menschen. Eine Änderung der Genauigkeit der Sensordaten kann so zu einer Änderung des Vergrößerungsfaktors des virtuellen Manipulators genutzt werden.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor zum Vergrößern des virtuellen Manipulators mit einer translatorischen oder rotatorischen Verschiebung kombiniert wird. Hierbei kann ein Vergrößerungsfaktor von 1 verwendet werden. Ein Vergrößerungsfaktor von 1 führt zu keiner effektiven Vergrößerung, sodass auch rein rotatorische oder translatorische Verschiebungen möglich sind um den Mindestabstand zu gewährleisten. Dies kann von Vorteil sein, wenn die Lage des betreffenden virtuellen Manipulators nicht plausibel ist. Dies kann zum Beispiel bei der Durchdringung von starren Objekten auftreten.
-
Der von einem Prozessor berechnete Fehler des virtuellen Modells oder virtuellen Manipulators kann ebenfalls Einfluss auf den Vergrößerungsfaktor des virtuellen Manipulators nehmen. Wird der berechnete Fehler, beispielsweise statistischer Fehler größer, so ändert sich der Vergrößerungsfaktor des virtuellen Manipulators. Zum Beispiel führt ein größerer Fehler zu einem größeren Vergrößerungsfaktor.
-
Es ist ebenfalls bevorzugt, dass der Vergrößerungsfaktor des virtuellen Manipulators in alle Richtungen gleich ist. Dies kann von Vorteil sein, um das erfindungsgemäße Verfahren auf robotischen Systemen mit eingeschränkter Rechenleistung zu benutzen.
-
Es ist bevorzugt, dass das robotische System mindestens ein Benutzerterminal mit mindestens einem Eingabegerät aufweist, welches in der Lage ist, Eingaben zur Steuerung des robotischen Systems von mindestens einem Benutzer entgegenzunehmen. Eine Ausgestaltung des Benutzerterminals kann ein mobiles Endgerät, wie ein Smartphone oder Tablett sein.
-
Eine alternative Ausgestaltung des Benutzerterminals kann ein Computer mit Bildschirm, Tastatur, Maus, Gamepad oder Joystick sein.
-
Eine alternative Ausgestaltung des Benutzerterminals kann ein Exoskelett oder ein Roboterarm sein, welcher die Bewegungen des Benutzers nachvollzieht und mit Hilfe des Exoskeletts oder eines Roboterarms und Aktuatoren in der Lage ist, dem Nutzer haptisches oder physisches Feedback zu geben. Zum Beispiel könnten sich die Exoskelett Gliedmaßen oder die Gliedmaßen des Roboterarms nicht näher an ein Objekt heran bewegen lassen als der berechnete Mindestabstand in erfindungsgemäßem Verfahren.
-
Die Rückstellkräfte der Aktuatoren des Exoskeletts oder des Roboterarms würden dem Nutzer also nicht erlauben, einen Manipulator näher an ein Objekt zu bewegen als der erfindungsgemäß bestimmte Mindestabstand, da der Roboterarm oder das Exoskelett dem User Kraft und/oder Drehmomentfeedback gibt.
-
Es ist bevorzugt, dass das mindestens ein Eingabegerät dazu ausgebildet ist, dem Benutzer Feedback zu geben, ob der Mindestabstand erreicht oder überschritten ist. Dieses Feedback kann entweder visuell, durch Anzeigen auf einem Bildschirm, oder dem Aufleuchten einer Anzeige oder Leuchtvorrichtung geschehen. Es ist weiterhin bevorzugt, dass dieses Feedback auditiv ist, indem beispielsweise eine Durchsage eines digitalen Assistenten ertönt, oder ein Warnton, oder beides. Es ist weiterhin bevorzugt, dass das Feedback haptisch ist. So könnte zum Beispiel ein Eingabegerät vibrieren, sobald der Mindestabstand erreicht oder überschritten ist. Es ist weiterhin bevorzugt, dass für den Fall, dass das Eingabegerät ein Exoskelett oder ein Roboterarm ist, das Feedback physisch erfolgt und der Benutzer gar nicht erst in der Lage ist mit dem Manipulator den Mindestabstand zu überschreiten. Dies resultiert in einer Rückstellkraft oder einem Blockieren des Exoskeletts oder Roboterarms, sobald der Mindestabstand erreicht oder überschritten ist. Jegliche Kombination der Feedbacks ist denkbar.
-
Es ist bevorzugt, dass zusätzlich zur Vergrößerung des virtuellen Modells und/oder des virtuellen Manipulators ein Vektorfeld berechnet wird, welches Rückstellvektoren beinhaltet, die proportional zur Rückstellkraft des virtuellen Manipulators sind. Das Vektorfeld kann basierend auf der Position und einer Wahrscheinlichkeits- oder Konfidenzverteilung für die Position des virtuellen Manipulators und/oder virtuellen Objekts gebildet werden. Basierend auf diesen Positionen und den berechneten Fehlern der Position, welche basierend auf statistischen Fehlern, oder Sensorfehlern, welche den Sensordaten und/oder Modelldaten anhängen, gebildet werden, wird eine Wahrscheinlichkeits- oder Konfidenzverteilung für die Position des virtuellen Objekts und/oder des virtuellen Manipulators gebildet. Dies ist vorteilhaft, da die berechneten Positions-Wahrscheinlichkeits- oder Positions-Konfidenzverteilung zum Rand der Vergrößerung kontinuierlich kleiner wird. Somit kann die Kraft oder die Steifigkeit für die Kollisionsvermeidung an Orten kleiner Wahrscheinlichkeits- oder Konfidenzverteilung gering sein, während sie an Orten hoher Wahrscheinlichkeits- oder Konfidenzverteilung hoch ist.
-
In einer weiteren bevorzugten Ausführungsform sind die Konfidenzwerte in einer räumlichen Datenstruktur gespeichert, beispielsweise in einer Voxel-Map. Die Werte können die Konfidenz bzw. die Genauigkeitsinformation der Sensoren annehmen. Abhängig von den Konfidenzwerten kann die Vergrößerung des virtuellen Manipulators und/oder virtuellen Objekts angepasst werden. Dies ist von Vorteil, um auch bei geringer Konfidenz unbeabsichtigte Kollisionen sicher vermeiden zu können. Befindet sich beispielsweise der Manipulator in einem Bereich niedriger Sensorgenauigkeit, so kann dies über eine entsprechend größere Vergrößerung kompensiert werden.
-
Es ist bevorzugt, dass der Nutzer mit Hilfe von einem der Eingabegeräte des Benutzerterminals in der Lage ist, den bestimmten Mindestabstand manuell zu ändern, indem insbesondere der Vergrößerungsfaktor des virtuellen Objekts und / oder des virtuellen Manipulators geändert wird. Die Eingabe zur Änderung des Mindestabstands kann entweder durch das Drücken oder Drehen eines Knopfes, sowie einem oder mehrerer Sprachbefehle, sowie einer oder mehrerer Eingaben via Maus, Tastatur, Gamepad oder Joystick erfolgen. Für den Fall, dass das Eingabegerät ein Exoskelett oder Roboterarm ist, sind weiterhin Gesten für die Änderung des Mindestabstands denkbar.
-
Es ist bevorzugt, dass der geänderte Mindestabstand positiv ist, um manuell eine zusätzliche Sicherheitsmarge zwischen Manipulator und Objekt zu schaffen. Es ist weiterhin bevorzugt, dass der Mindestabstand negativ ist, um eine Interaktion zwischen Manipulator und Objekt zu erlauben. Ein negativer Mindestabstand ermöglicht im bevorzugten Szenario eine Berührung zwischen Manipulator und Objekt, beispielsweise um die beiden miteinander interagieren zu lassen. Eine Interaktion könnte ein Greifen, Schieben, Ziehen, Schneiden, Schweißen, Stoßen, Fräsen, etc. sein. Ein solcher negativer Mindestabstand kann einen Vergrößerungsfaktor kleiner 1, also eine Verkleinerung und/oder einer translatorische oder rotatorische Verschiebung des virtuellen Objektes realisiert werden.
-
Es ist bevorzugt, dass die Änderung des realen Abstandes zwischen Objekt und Manipulator, basierend auf dem Mindestabstand, kontinuierlich angepasst wird, um ruckartige Bewegungen zu vermeiden. Bei einer Änderung z.B. der Sensordaten-Qualität kann es zu einer sprunghaften Änderung des Mindestabstands kommen, was zu ruckartigen Bewegungen des Manipulators führen kann. Zusätzlich kann es zu ruckartigen Bewegungen des Benutzers im Exoskelett oder Roboterarm kommen, welche es zu vermieden gilt. Deshalb ist es Ziel dieser bevorzugten Ausführungsform, solche schnellen Bewegungen zu verhindern und sprunghafte Änderungen des Mindestabstands mit einer begrenzten und kontinuierlichen Rate durchzuführen, also mit einer Limitierung in der Zeitableitung der Vergrößerung.
-
Eine angemessene Rate könnte festgelegt werden aufgrund der typischen Bewegungsgeschwindigkeit für das haptische Gerät oder den Roboter. Dies ist für jedes haptische Gerät und jeden Roboter und auch für jeden Bediener unterschiedlich. So könnte sie beispielsweise auf 1-20% dieser typischen Geschwindigkeit eingestellt werden.
-
Es ist weiterhin bevorzugt, dass der reale Abstand zwischen Objekt und Manipulator berücksichtigt wird, wobei sichergestellt wird, dass der Mindestabstand nicht größer eingestellt werden kann, als der reale Abstand zwischen Manipulator und Objekt, um ruckartige Bewegungen oder ein aktives Verhalten der Algorithmik zu vermeiden. Dieses Szenario ist insbesondere dann wichtig, wenn ein Benutzer gerade den Mindestabstand nicht unterschreitet und sodann von Seiten des Benutzers oder des Systems der Mindestabstand so geändert wird, dass er größer ist als der aktuelle Mindestabstand zwischen Objekt und Manipulator. Hier können spontan große Rückstellkräfte sowohl zwischen Objekt und Manipulator, als auch für den Benutzer im Exoskelett oder Roboterarm auftreten, welche es zu vermeiden gilt.
-
Es ist bevorzugt, dass der Manipulator zusätzliche Sensoren aufweist zur genaueren Bestimmung des realen Abstands zwischen Objekt und Manipulator. Solche Sensoren können genutzt werden, um die Qualität des virtuellen Modells zu verbessern und die genauen Abstände zwischen Objekt und Manipulator genauer zu bestimmen. Solche Sensoren können sein: Kameras, Infrarotsensoren, Ultraschallsensoren, Radarsensoren, Taster, kapazitive Sensoren, resistive Sensoren, etc.
-
Es ist bevorzugt, dass der bestimmte Mindestabstand abhängig von den Materialien des Objektes und/oder des Manipulators ist. So könnten zum Beispiel weiche Materialien einen geringeren Mindestabstand ermöglichen als feste, welche ein erhöhtes Risiko tragen, bei kritischer Berührung einen unerwünschten Effekt zu erzielen. So könnte zum Beispiel ein weicher Manipulator z.B. ein Softrobot-manipulator einen geringeren Mindestabstand ermöglichen.
-
Es ist weiterhin bevorzugt, dass der Vergrößerungsfaktor des virtuellen Objekts und /oder des virtuellen Manipulators abhängig von den Materialien des Objektes und/oder des Manipulators ist. So könnten zum Beispiel weiche Materialien einen kleineren Vergrößerungsfaktor ermöglichen, als feste, welche ein erhöhtes Risiko tragen, bei kritischer Berührung, einen unerwünschten Effekt zu erzielen. So könnte zum Beispiel ein weicher Manipulator z.B. ein Softrobot einen kleineren Vergrößerungsfaktor ermöglichen.
-
In diesem Szenario könnte bevorzugt jeweils der Vergrößerungsfaktor des Manipulators verkleinert werden, sollte dieser aus einem weichen Material bestehen, oder der Vergrößerungsfaktor des Objekts verkleinert werden, sollte dies aus einem weichen Material bestehen.
-
Es ist bevorzugt, dass mehrere Objekte im virtuellen Modell erfasst sind und unterschiedliche oder einheitliche Mindestabstände für unterschiedliche Objekt-Manipulator Paare bestimmt werden und/oder das robotische System mehrere Manipulatoren aufweist, die mehreren Manipulatoren im virtuellen Modell erfasst sind und unterschiedliche oder einheitliche Mindestabstände für unterschiedliche Objekt-Manipulator Paare bestimmt werden. Ein Szenario für mehrere Objekte könnte zum Beispiel während einer medizinischen Operation vorkommen, in dem das robotische System mehrere Organe detektiert, von jedem dieser Organe ein virtuelles Objekt erzeugt wird und abhängig von seiner Überlebenswichtigkeit für den Patienten unterschiedliche Mindestabstände zwischen Manipulator und Objekt bestimmt werden.
-
Bevorzugt gilt gleiches für ein medizinisches Operationsszenario, indem mehrere Manipulatoren während der Operation genutzt werden, beispielsweise einer zum Wegdrücken von Gewebe, hier wäre der Mindestabstand zwischen einem ersten Manipulator und Gewebe null oder negativ. Bevorzugt könnte ein zweiter Manipulator ein Skalpell aufweisen, welcher einen positiven Mindestabstand zwischen Objekten und dem zweiten Manipulator aufweisen sollte.
-
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand von Figuren erläutert.
-
Es zeigen:
- 1: ein bevorzugtes robotisches System
- 2: eine bevorzugte Ausführungsform des Verfahrens zum Vergrößern des virtuellen Objektes und / oder eines virtuellen Manipulators
- 3: eine bevorzugte Ausführungsform des Benutzerterminals als Roboterarme
- 4a - 4f: Verschiedene Arten der Vergrößerung eines Objekts
-
Das robotische System 1 gemäß 1 weist zwei Manipulatoren 2a und 2b auf, die als Greifer ausgestaltet sind. Es weist ferner Sensoren 3 auf, die ausgebildet sind, um die Manipulatoren 2a und 2b und Objekt(e) 4 im Sichtfeld der Sensoren 3 zu detektieren. Basierend auf diesen Sensorinformationen wird ein virtuelles Modell 5 mit einem virtuellen Objekt 6 und den virtuellen Manipulatoren 7a und 7b erstellt.
-
2a zeigt eine Nahaufnahme des Objekts 4 mit Manipulator 2a. 2b zeigt den virtuellen Manipulator 7a sowie das virtuelle Objekt 6. 2b weist ferner das vergrößerte virtuelle Objekt 9 und den Manipulator 8a auf.
-
3 zeigt eine bevorzugte Ausführungsform des Eingabegeräts als Roboterarme 10. Die Sitzmöglichkeit 11 erlaubt es dem Benutzer, bequem die beiden Roboterarme 12a und 12b zu greifen und zu bewegen. Sensoren in den Roboterarmen sind in der Lage, Bewegungen des Benutzer-Terminals an ein robotisches System zu übertragen und dank des erfindungsgemäßen Verfahrens Sicherheitsabstände zu Objekten zu wahren. Diese Mindestabstände sind bevorzugt für den Nutzer fühlbar, indem ein Roboterarm eine Rückstellkraft entgegen der Kraft des Nutzers entwickelt, sollte ein kritischer Kontakt zu Stande kommen.
-
4a zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um uniforme translatorische Skalierungen um den Objektmittelpunkt. Diese werden zum Beispiel durch einen Skalierungsfaktor, oder einen Vektor mit drei gleichen Werten für die drei Raumrichtungen realisiert.
-
4b zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um uniforme translatorische Skalierungen um einen Punkt ungleich des Objektmittelpunktes. Diese werden zum Beispiel durch eine 4x4 Skalierungsmatrix, die als Translationselemente eine entsprechende Verschiebung nach rechts oben enthält, und als Skalierungsfaktoren drei gleiche Werte ausweist realisiert.
-
4c zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um Sicherheitsschichten (Safety Margin) realisiert beispielsweise durch einen geometrischen Algorithmus wie z.B. den VPS (Voxmap-PointShell-Algorithmus).
-
4d zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um uneinheitliche Sicherheitsabstände, realisiert beispielsweise durch einen Vergrößerungsvektor mit einer größeren Skalierung entlang der Hochachse.
-
4e zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um eine volumetrische Extrusion durch Drehung um eine zentrale Achse 14. Die zentrale Achse 14 ist als Strich im Zentrum des Objekts dargestellt. Die Drehung erfolgt in- und gegen- den Uhrzeigersinn um die zentrale Achse um einige Grad.
-
4f zeigt ein virtuelles Objekt 6 in der Mitte mit zwei unterschiedlichen Vergrößerungen. Bei den Vergrößerungen handelt es sich um eine volumetrische Extrusion durch Drehung um eine Achse 15 am linken Objektrand. Die Achse 15 am linken Objektrand ist als Strich am linken Rand des Objekts dargestellt. Die Drehung erfolgt in- und gegen- den Uhrzeigersinn um die genannte Achse um einige Grad.