GR1010790B

GR1010790B - Method and system for robotic 2d and 3d imaging for surgical planning and intrasurgical navigation

Info

Publication number: GR1010790B
Application number: GR20230100818A
Authority: GR
Inventors: Γεωργιος Βασιλειου Παπαϊωαννου
Original assignee: Γεωργιος Βασιλειου Παπαϊωαννου
Priority date: 2023-10-05
Filing date: 2023-10-05
Publication date: 2024-10-15

Abstract

Η εφεύρεση αφορά ένα ρομποτικό σύστημα για 2D και 3D απεικόνιση για χειρουργικό σχεδιασμό και ενδοχειρουργική πλοήγηση. Η προτεινόμενη συσκευή αποτελείται από ένα ρομπότ ειδικά σχεδιασμένο για ασφαλή αλληλεπίδραση ανθρώπου/ρομπότ, ένα ρομποτικό σύστημα αγγειογραφίας με πολλαπλούς βραχίονες και μία ή περισσότερες κάμερες πλοήγησης. Παρουσιάζονται, επίσης, νέοι τρόποι ελέγχου για το χειρισμό ρομπότ στο κλινικό περιβάλλον. Παρουσιάζεται και μια μέθοδος για τη γρήγορη βαθμονόμηση των εμπλεκόμενων εξαρτημάτων και προκαταρκτικές δοκιμές ακρίβειας ολόκληρης της πιθανής αλυσίδας σφαλμάτων, καθώς και οι κατάλληλες υποθέσεις. Η βαθμονόμηση του ρομπότ με το σύστημα πλοήγησης με τη χρήση τόσο του ανθρώπινου χειριστή, της μηχατρονικής πολλαπλών επιπέδων, όσο και της τεχνητής νοημοσύνης (ΑΙ) παρέχει εναπομείναν σφάλμα 0,80 mm (rms) με τυπική απόκλιση συν/πλην 0,40 mm. Ένα δεύτερο ακριβέστερο και ακριβέστερο σετ στερεοσκοπικά προσανατολισμένων καμερών φέρνει αυτές τις τιμές σε βελτίωση 30-50 τοις εκατό σε σχέση με το πρώτο σύστημα.The invention relates to a robotic system for 2D and 3D imaging for surgical planning and intraoperative navigation. The proposed device consists of a robot specifically designed for safe human/robot interaction, a robotic angiography system with multiple arms and one or more navigation cameras. New control modes for robot manipulation in the clinical environment are also presented. A method for rapid calibration of the involved components and preliminary accuracy tests of the entire possible error chain, as well as appropriate assumptions, are also presented. Calibration of the robot with the navigation system using both the human operator, multi-level mechatronics, and artificial intelligence (AI) provides a residual error of 0.80 mm (rms) with a standard deviation of plus/minus 0.40 mm. A second, more precise and accurate set of stereoscopically oriented cameras brings these values to a 30-50 percent improvement over the first system.

Description

ΠΕΡΙΓΡΑΦΗ DESCRIPTION

Μέθοδος και σύστημα για ρομποτική απεικόνιση 2D και 3D για χειρουργικό σχεδιασμό και ενδοχειρουργική πλοήγηση Method and system for robotic 2D and 3D imaging for surgical planning and intraoperative navigation

ΠΕΔΊΟ ΤΗΣ ΕΦΕΥΡΕΣΗΣ FIELD OF THE INVENTION

Η παρούσα εφεύρεση αφορά ένα ρομποτικό σύστημα για 2D και 3D απεικόνιση για χειρουργικό σχεδιασμό και ενδοχειρουργική πλοήγηση. The present invention relates to a robotic system for 2D and 3D imaging for surgical planning and intraoperative navigation.

ΙΣΤΟΡΙΚΟ ΤΗΣ ΕΦΕΥΡΕΣΗΣ HISTORY OF THE INVENTION

Η χειρουργική ρομποτική είναι ένας εξελισσόμενος τομέας με σχετικά σύντομη ιστορία. Η πρώτη καταγεγραμμένη ιατρική εφαρμογή έγινε το 1985, όπου πραγματοποιήθηκε βιοψία εγκεφάλου. Η χειρουργική ρομποτική είναι ένας διεπιστημονικός τομέας στον οποίο πολλά στοιχεία αλληλεπίδρούν μεταξύ τους. Σε αυτά περιλαμβάνονται ήλεκτρομηχανικές συσκευές όπως κινητήρες, γρανάζια και μία ποικιλία αισθητήρων. Τα χειρουργικά ρομπότ έχουν πολλές δυνατότητες για τη βελτίωση φροντίδας των ασθενών. Έχουν ορισμένα πλεονεκτήματα σε σχέση με τους ανθρώπους, για παράδειγμα, δεν έχουν το τρέμουλο των 20 Hz (εγγενές στους ανθρώπους) και μπορούν να ακολουθούν ομαλές τροχιές με μεγαλύτερη ακρίβεια. Σε διαδικασίες όπου οι γιατροί βρίσκονται κοντά σε ακτινοβολία, η χρήση ενός ρομποτικού συστήματος μπορεί να βοηθήσει στην αποφυγή της έκθεσης. Surgical robotics is an evolving field with a relatively short history. The first recorded medical application was in 1985, when a brain biopsy was performed. Surgical robotics is an interdisciplinary field in which many components interact with each other. These include electromechanical devices such as motors, gears, and a variety of sensors. Surgical robots have many potentials for improving patient care. They have certain advantages over humans, for example, they do not have the 20 Hz jitter (inherent in humans) and can follow smooth trajectories with greater precision. In procedures where doctors are in close proximity to radiation, the use of a robotic system can help avoid exposure.

Εξ ορισμού, ο χειρουργός είναι χειρωνακτικός εργάτης. Χρησιμοποιεί τα χέρια του για να κόψει ιστούς με νυστέρια και ψαλίδια, χρησιμοποιούν χειροπρίονα για να κόβουν οστά, να τοποθετούν βίδες, να ράβουν με κλωστή καί σύρμα κ.λπ. Για να εκτελέσει αυτές τις δραστηριότητες ένα ρομποτικό σύστημα, πρέπει να είναι ιδιαίτερα καλά εξοπλισμένο με ένα τεράστιο φάσμα εσωτερικών και εξωτερικών αισθητήρων. Η τεχνολογία των αισθητήρων είναι πολύ σημαντική στις σύγχρονες χειρουργικές αίθουσες και θα είναι απαραίτητη στις χειρουργικές αίθουσες του μέλλοντος. Τα συστήματα χειρουργικής ρομποτικής χρησιμοποιούν πλέον μεγάλη ποικιλία αισθητήρων. Σε αντίθεση με τη ρομποτική που αναπτύσσεται στη βιομηχανία αυτοματισμού, όπου τα ρομποτικά συγκροτήματα είναι απομονωμένα από τον άνθρωπο, ένα χειρουργικό ρομπότ ασκεί δυνάμεις απευθείας στα όργανα του ασθενούς. Ο σχεδιασμός ενός ρομπότ που αγγίζει, πιέζει και κόβει απευθείας όργανα, τα οποία είναι τόσο εύθραυστα όσο και ζωτικά, παρουσιάζει μία σειρά από ζητήματα. Τα ζητήματα αυτά έχουν επιβραδύνει την πρακτική αυτού του πολλά υποσχόμενου πεδίου. By definition, a surgeon is a manual worker. He uses his hands to cut tissue with scalpels and scissors, he uses handsaws to cut bone, he places screws, he sews with thread and wire, etc. To perform these activities, a robotic system must be particularly well equipped with a huge range of internal and external sensors. Sensor technology is very important in modern operating rooms and will be essential in the operating rooms of the future. Surgical robotic systems now use a wide variety of sensors. In contrast to robotics developed in the automation industry, where robotic assemblies are isolated from humans, a surgical robot exerts forces directly on the patient’s organs. Designing a robot that directly touches, presses, and cuts organs that are both fragile and vital presents a number of issues. These issues have slowed the practice of this promising field.

Παρά τις προκλήσεις που σχετίζονται με τη χειρουργική ρομποτική, υπάρχουν ορισμένα επιτυχημένα συστήματα που έχουν γίνει αποδεκτά από τον FDA και είναι διαθέσιμα στο εμπόριο. Για παράδειγμα, το ρομπότ Da-Vinci (Intuitive Surgical Inc., Sunnyvale, CA, ΗΠΑ) είναι το σύστημα με τη μεγαλύτερη διείσδυση στην αγορά, με περισσότερες από 5000 μονάδες (91 εκατομμύρια χειρουργικές επεμβάσεις ετησίως) που έχουν ήδη πωληθεί παγκοσμίως. Ο σχεδιασμός του παρέχει στους χειρουργούς αυξημένη επιδεξιότητα κατά την εργασία μέσω μικρών τομών στο σώμα. Το σύστημα περιλαμβάνει ένα πιλοτήριο όπου ο χειρουργός ελέγχει εξ αποστάσεως το ρομπότ χρησιμοποιώντας απτικές συσκευές, ένα καρότσι με τέσσερις βραχίονες (τρεις από τους οποίους, ανάλογα με την εργασία, μπορεί να έχουν τσιμπιδάκια, ψαλίδια, να κρατούν νυστέρι και ο άλλος βραχίονας κρατάει λαπαροσκόπιο) και εξοπλισμό επεξεργασίας εικόνας. Ένα άλλο επιτυχημένο χειρουργικό ρομπότ είναι το CyberKnife<®>(Accuray Inc, Sunnyvale, CA, ΗΠΑ). To σύστημα έχει τη δυνατότητα να ακτινοβολεί τους όγκους με μεγάλη ακρίβεια ακόμη και όταν η ανατομία του ασθενούς κινείται λόγω της αναπνοής. Η βασική ιδέα αυτής της προσέγγισης είναι η αποφυγή βλάβης του υγιούς ιστού γύρω από τον όγκο. Το σύστημα περιλαμβάνει έναν γραμμικό επιταχυντή τοποθετημένο στον καρπό ενός ρομποτικού βραχίονα έξι βαθμών ελευθερίας. Η αποστολή του ρομποτικού συστήματος είναι ο ακριβής προσανατολισμός του γραμμικού επιταχυντή προς τον όγκο. Για την όραση, το σύστημα χρησιμοποιεί δύο ορθογώνιες κάμερες ακτινών X εξοπλισμένες με επίπεδους ανιχνευτές. Για μεγαλύτερη ακρίβεια, το σύστημα περιλαμβάνει ένα σύστημα πλοήγησης για την παρακολούθηση του ασθενούς σε πραγματικό χρόνο. Τόσο το σύστημα Da Vinci όσο και το σύστημα CyberKnife κάνουν χρήση διαφόρων αισθητήρων που είναι απαραίτητοι για την εκτέλεση των καθηκόντων τους. Στην ίδια κατηγορία ανήκει καιτο ρομπότ Makoplasty (Stryker Inc USA) που εκτελεί εναλλακτικές επεμβάσεις γόνατος υψηλής ακρίβειας. Μέχρι σήμερα, η Stryker έχει εγκαταστήσει περίπου 860 ρομπότ Mako σε όλο τον κόσμο, με 700 από αυτά στις ΗΠΑ. Despite the challenges associated with surgical robotics, there are a number of successful systems that have been approved by the FDA and are commercially available. For example, the Da-Vinci robot (Intuitive Surgical Inc., Sunnyvale, CA, USA) is the system with the highest market penetration, with more than 5000 units (91 million surgeries per year) already sold worldwide. Its design provides surgeons with increased dexterity when working through small incisions in the body. The system includes a cockpit where the surgeon remotely controls the robot using haptic devices, a cart with four arms (three of which, depending on the task, may have forceps, scissors, or a scalpel, and the other arm holds a laparoscope), and image processing equipment. Another successful surgical robot is the CyberKnife<®>(Accuray Inc, Sunnyvale, CA, USA). The system has the ability to irradiate tumors with great precision even when the patient's anatomy moves due to breathing. The basic idea of this approach is to avoid damaging healthy tissue around the tumor. The system includes a linear accelerator mounted on the wrist of a six-degree-of-freedom robotic arm. The task of the robotic system is to precisely orient the linear accelerator towards the tumor. For vision, the system uses two orthogonal X-ray cameras equipped with flat detectors. For greater precision, the system includes a navigation system to track the patient in real time. Both the Da Vinci system and the CyberKnife system make use of various sensors that are necessary to perform their tasks. The Makoplasty robot (Stryker Inc USA) that performs high-precision knee replacement surgeries also belongs to the same category. To date, Stryker has installed approximately 860 Mako robots worldwide, with 700 of them in the USA.

Αναλύοντας ορισμένα επιτυχημένα χειρουργικά ρομποτικά συστήματα, είναι δυνατόν να διαπιστωθεί ότι πρόκειται για μεμονωμένες προσπάθειες που χρησιμοποιούν διαφορετικά επίπεδα τεχνολογίας. Οι ειδικοί αντιλαμβάνονται ότι παρά τις πολλές λύσεις που προσφέρονται και επιχειρούν να εισάγουν την αυτοματοποίηση στο κλινικό περιβάλλον, αυτό απέχει ακόμη πολύ από το επίπεδο τυποποίησης που έχει επιτευχθεί από τον κλάδο. Η τυποποίηση είναι το κλειδί για την ανάπτυξη της χειρουργικής ρομποτικής. Analyzing some successful surgical robotic systems, it is possible to see that these are isolated efforts using different levels of technology. Experts realize that despite the many solutions offered and attempting to introduce automation into the clinical environment, this is still far from the level of standardization that has been achieved by the industry. Standardization is the key to the development of surgical robotics.

Το μηχανικό μέρος ενός ρομπότ χρησιμοποιεί ειδικούς αισθητήρες για τη μέτρηση της θέσης όχι μόνο του τελικού ενεργοποιητή αλλά και κατά μήκος της κινηματικής του. Οι πλέον χρησιμοποιούμενες τεχνολογίες για τη μέτρηση της θέσης και των παραγώγων της είναι οι resolvers, οι οπτικοί κωδικοποιητές και οι μαγνητικοί κωδικοποιητές με αισθητήρες hall. Η τεχνολογία αυτή έχει ανοίξει την πόρτα στην ανάπτυξη ρομποτικών συστημάτων ικανών να αλληλεπιδρούν με μεταβαλλόμενα περιβάλλοντα. Οι Hirzinger κ.ά. (Ινστιτούτο Ρομποτικής και Μηχατρονικής στο German Aerospace Center) έχουν αναπτύξει ένα ρομποτικό σύστημα για ασφαλή αλληλεπίδραση με τον άνθρωπο. Ο ισχυρός έλεγχος συμμόρφωσης αυτών των συστημάτων επιτρέπει στον χρήστη να τραβήξει ή να σπρώξει τον ρομποτικό βραχίονα με το χέρι και το σύστημα θα κινηθεί σαν να μην έχει βάρος. Αυτός ο τρόπος ελέγχου αναφέρεται συνήθως ως "μαλακή ρομποτική" ή "ρομποτική χειρός". Το σύστημα MiroSurge, το οποίο χρησιμοποιεί παρόμοια συστήματα ελέγχου, σχεδιάστηκε για ελάχιστα επεμβατικές χειρουργικές επεμβάσεις. The mechanical part of a robot uses special sensors to measure the position not only of the final actuator but also along its kinematics. The most widely used technologies for measuring position and its derivatives are resolvers, optical encoders and magnetic encoders with hall sensors. This technology has opened the door to the development of robotic systems capable of interacting with changing environments. Hirzinger et al. (Institute of Robotics and Mechatronics at the German Aerospace Center) have developed a robotic system for safe interaction with humans. The strong compliance control of these systems allows the user to pull or push the robotic arm with their hand and the system will move as if it were weightless. This control mode is usually referred to as "soft robotics" or "hand robotics". The MiroSurge system, which uses similar control systems, was designed for minimally invasive surgical procedures.

Μέχρι σήμερα, ωστόσο, δεν υπήρξε ποτέ μία ρομποτική συσκευή με ενσωματωμένη δυνατότητα απεικόνισης διαθέσιμη στην αγορά της υγειονομικής περίθαλψης. Τα ιατρικά ρομπότ είναι ρομπότ επαγγελματικών υπηρεσιών που χρησιμοποιούνται εντός και εκτός νοσοκομειακών χώρων για να προάγουν το συνολικό επίπεδο περίθαλψης των ασθενών. To date, however, there has never been a robotic device with built-in imaging capability available in the healthcare market. Medical robots are professional service robots used inside and outside of hospital settings to enhance the overall level of patient care.

Μειώνουν τον φόρτο εργασίας του ιατρικού προσωπικού, επιτρέποντάς του να αφιερώνει περισσότερο χρόνο στην άμεση φροντίδα των ασθενών, ενώ παράλληλα δημιουργούν μια ουσιαστική επιχειρησιακή διαδικασία που παρέχει αποδοτικότητα και μειωμένο κόστος επένδυσης για τους παρόχους υγειονομικής περίθαλψης. Η Διεθνής Ομοσπονδία Ρομποτικής World Robotics 2018 Service Robots δήλωσε ότι οι πωλήσεις ιατρικών ρομπότ αυξήθηκαν κατά 73% το 2017 σε σχέση με το 2016, αντιπροσωπεύοντας το 2,7% του συνόλου των επαγγελματικών πωλήσεων ρομπότ εξυπηρέτησης. They reduce the workload of medical staff, allowing them to spend more time on direct patient care, while creating a meaningful business process that provides efficiency and reduced investment costs for healthcare providers. The International Federation of Robotics World Robotics 2018 Service Robots said that sales of medical robots increased by 73% in 2017 compared to 2016, representing 2.7% of all professional service robot sales.

Τα ιατρικά ρομπότ χρησιμοποιούνται λόγω του αυξανόμενου πληθυσμού ηλικιωμένων και για την εκτέλεση ελάχιστα επεμβατικών χειρουργικών επεμβάσεων σε ασθενείς, ώστε να είναι οικονομικά αποδοτικά. Medical robots are being used due to the growing elderly population and to perform minimally invasive surgical procedures on patients, so that they are cost-effective.

Το κύριο πλεονέκτημα της ρομποτικής βοήθειας είναι η δυνατότητα ενίσχυσης ή επέκτασης των χεριών καιτων ματιών του χειρουργού κατά τη διάρκεια της χειρουργικής επέμβασης. Ο έλεγχος ενός χειρουργικού ρομποτικού συστήματος πρέπει να είναι εύκολη και διαισθητική για τους χρήστες που δεν είναι εξοικειωμένοι με τη ρομποτική. Επομένως, κατά την ανάπτυξη ενός χειρουργικού ρομπότ, η κατάλληλη διεπαφή ανθρώπου-μηχανής είναι απαραίτητη. Η λέξη απτική ορίζεται στη ρομποτική ως οι πραγματικές και προσομοιωμένες απτικές αλληλεπιδράσεις μεταξύ ρομπότ, ανθρώπου και πραγματικού, απομακρυσμένου ή προσομοιωμένου περιβάλλοντος. Το σύστημα Da-Vinci, για παράδειγμα, χρησιμοποιεί μια απτική συσκευή για τον διαισθητικό χειρισμό του ρομπότ. Άλλα χειρουργικά συστήματα χρησιμοποιούν joysticks και απτικές συσκευές, όπως η συσκευή Phantom Omni (Sensable Technologies Inc., Wilmington, MA, USA). The main advantage of robotic assistance is the ability to augment or extend the surgeon's hands and eyes during surgery. The control of a surgical robotic system must be easy and intuitive for users who are not familiar with robotics. Therefore, when developing a surgical robot, an appropriate human-machine interface is essential. The word haptic is defined in robotics as the real and simulated tactile interactions between a robot, a human, and a real, remote, or simulated environment. The Da-Vinci system, for example, uses a haptic device to intuitively manipulate the robot. Other surgical systems use joysticks and haptic devices, such as the Phantom Omni device (Sensable Technologies Inc., Wilmington, MA, USA).

Ένα ουσιαστικό μέρος στην ανάπτυξη της χειρουργικής ρομποτικής είναι η ικανότητά της να απεικονίζει τη χειρουργική περιοχή. Είναι χρήσιμο να ταξινομηθούν οι τρόποι ανίχνευσης οπτικοποίησης σε μεθόδους πραγματικού χρόνου, οι οποίες παρέχουν συνεχή οπτικοποίηση της περιοχής ενδιαφέροντος, και σε μεθόδους η πραγματικού χρόνου, οι οποίες χρησιμοποιούνται συνήθως για προεγχειρητική διάγνωση και σχεδιασμό. An essential part of the development of surgical robotics is its ability to visualize the surgical site. It is useful to classify the visualization detection methods into real-time methods, which provide continuous visualization of the area of interest, and non-real-time methods, which are typically used for preoperative diagnosis and planning.

Συνήθως χρησιμοποιούμενες μέθοδοι ανίχνευσης σε πραγματικό χρόνο είναι τα ενδοσκόπια, οι υπέρηχοι, η ακτινοσκόπηση και η οπτική τομογραφία συνοχής (OCT). Τα ενδοσκόπια είναι η πιο επιτυχημένη μέθοδος απεικόνισης. Χρησιμοποιούνται συνήθως για ελάχιστες επεμβατικές διαδικασίες. Δυστυχώς, δεν μπορούν να παράσχουν περαιτέρω πληροφορίες από το εσωτερικό του ιστού. Αντίθετα, οι υπέρηχοι παρέχουν εικόνες 2D σε πραγματικό χρόνο από το εσωτερικό του ιστού, αλλά μόνο ένας εξειδικευ μένος κλινικός ιατρός είναι σε θέση να χρησιμοποιήσει σωστά αυτή την τεχνική. Η φθοριοσκόπηση είναι μια τεχνική που προσφέρει υψηλή χωρική ανάλυση, ώστε να διακρίνονται αντικείμενα μεγέθους μικρότερου του χιλιοστού. Η δισδιάστατη εικόνα της είναι σαφώς δείχνει την αντίθεση μεταξύ διαφορετικών υλικών (όπως τα οστά και το συκώτι) και διαφορετικών πυκνοτήτων ιστών (όπως η καρδιά και οι πνεύμονες). Ο μεγαλύτερος περιορισμός της ακτινοσκόπησης είναι ότι όλες οι επικαλυπτόμενες δομές περιορίζονται σε ένα μόνο επίπεδο εικόνας. Commonly used real-time detection methods are endoscopes, ultrasound, fluoroscopy and optical coherence tomography (OCT). Endoscopes are the most successful imaging method. They are usually used for minimally invasive procedures. Unfortunately, they cannot provide further information from inside the tissue. In contrast, ultrasound provides real-time 2D images from inside the tissue, but only a skilled clinician is able to use this technique correctly. Fluoroscopy is a technique that offers high spatial resolution, allowing objects smaller than a millimeter to be distinguished. Its two-dimensional image clearly shows the contrast between different materials (such as bone and liver) and different tissue densities (such as heart and lungs). The biggest limitation of fluoroscopy is that all overlapping structures are confined to a single image plane.

Ακτινοχειρουργική. Η ακτινοχειρουργική είναι μια θεραπεία (όχι χειρουργική επέμβαση) κατά την οποία εστιασμένες ακτίνες ιονίζουσας ακτινοβολίας κατευθύνονται στον ασθενή, κυρίως για τη θεραπεία όγκων. Κατευθύνοντας τη δέσμη μέσα από τον όγκο σε διάφορους προσανατολισμούς, παρέχεται επαρκής δόση ακτινοβολίας στον όγκο, ενώ ο περιβάλλων ιστός δέχεται σημαντικά λιγότερη ακτινοβολία. Radiosurgery. Radiosurgery is a treatment (not surgery) in which focused beams of ionizing radiation are directed at the patient, primarily to treat tumors. By directing the beam through the tumor in various orientations, an adequate dose of radiation is delivered to the tumor, while the surrounding tissue receives significantly less radiation.

Πριν από την παρακολούθηση των ιστών σε πραγματικό χρόνο, η ακτινοχειρουργική πρακτικά περιοριζόταν στη θεραπεία του εγκεφάλου με τη χρήση στερεοτακτικών πλαισίων που τοποθετούνται στο κρανίο με οστικές βίδες. Τώρα που είναι δυνατή η παρακολούθηση των ιστών σε πραγματικό χρόνο, τα συστήματα είναι διαθέσιμα στο εμπόριο και πρέπει να τονιστεί ότι τα ρομποτικά συστήματα απεικόνισης πρόκειται να συμβάλουν σημαντικά σε αυτόν τον τομέα της ιατρικής. Τα σημαντικότερα συστήματα απεικόνισης μη πραγματικού χρόνου που χρησιμοποιούνται στη χειρουργική ρομποτική είναι οι ακτίνες X, η υπολογιστική τομογραφία (CT), ο μαγνητικός συντονισμός (MR) και τομογραφία εκπομπής ποζιτρονίων (ΡΕΤ). Προηγούμενες εργασίες έχουν γίνει με τη χρήση αξονικής τομογραφίας, (π.χ. το σύστημα ROBODOC και CASPAR) που χρησιμοποιείται για την ολική ισχιακή και αντικατάσταση γόνατος. Στο σύστημα CyberKnife χρησιμοποιείται τεχνολογία ακτινών X για τον εντοπισμό της θέσης στόχου. Η μαγνητική τομογραφία είναι η τεχνική απεικόνισης που προσφέρει την πιο ακριβή διαφοροποίηση των ιστών. Πρόσφατα, ειδικά σχεδιασμένα ρομπότ, κατασκευασμένα από μη μεταλλικά μέρη, μπορούν να χρησιμοποιηθούν μαζί με την μαγνητική τομογραφία. Before real-time tissue monitoring, radiosurgery was practically limited to brain treatment using stereotactic frames placed on the skull with bone screws. Now that real-time tissue monitoring is possible, the systems are commercially available and it should be emphasized that robotic imaging systems are set to make a significant contribution to this field of medicine. The most important non-real-time imaging systems used in surgical robotics are X-ray, computed tomography (CT), magnetic resonance (MR) and positron emission tomography (PET). Previous work has been done using computed tomography (e.g. the ROBODOC and CASPAR systems) used for total hip and knee replacement. The CyberKnife system uses X-ray technology to locate the target location. MRI is the imaging technique that offers the most accurate tissue differentiation. Recently, specially designed robots, made of non-metallic parts, can be used in conjunction with MRI.

Η FD-CT είναι μια τεχνολογία που συνδυάζει τη φθοριοσκόπηση (πραγματικού χρόνου) και την αξονική τομογραφία (μη πραγματικού χρόνου) σε μια ενιαία συσκευή, η οποία αποτελείται από ένα πολύ βραχίονα εξοπλισμένο με επίπεδους ανιχνευτές. Η τεχνολογία FD σε σύγκριση με το φιλμ ακτινών X και τους ενισχυτές εικόνας προσφέρει υψηλότερο δυναμικό εύρος, μείωση της δόσης, γρήγορη ψηφιακή ανάγνωση, διατηρώντας παράλληλα συμπαγή σχεδίασμά. Αν και η FD-CT παρέχει υψηλότερη χωρική ανάλυση από την κοινή CT, περιλαμβάνει ορισμένα μειονεκτήματα, όπως μικρότερο οπτικό πεδίο και χαμηλότερη χρονική ανάλυση. Παρ' όλα αυτά, η FD-CT έχει ήδη αποδειχθεί μοναδική για τον σχεδίασμά και την διεγχειρητική χειρουργική. Ωστόσο, τα C-arms δεν χαρακτηρίζονται από ευελιξία καί ευκολία στη χρήση- ειδικότερα, δεν έχουν τη δυνατότητα επιλογής αυθαίρετων γωνιών. FD-CT is a technology that combines fluoroscopy (real-time) and computed tomography (non-real-time) in a single device, which consists of a multi-arm equipped with flat detectors. FD technology compared to X-ray film and image intensifiers offers higher dynamic range, dose reduction, fast digital readout, while maintaining compact designs. Although FD-CT provides higher spatial resolution than conventional CT, it includes some disadvantages, such as a smaller field of view and lower temporal resolution. Nevertheless, FD-CT has already proven itself unique for planning and intraoperative surgery. However, C-arms are not characterized by flexibility and ease of use - in particular, they do not have the ability to select arbitrary angles.

Ένα από τα εμπόδια της χρήσης ρομποτικών συστημάτων με συσκευές απεικόνισης είναι ότι το μέγεθος της πύλης του οπίσθιου τμήματος δεν είναι αρκετά μεγάλο ώστε να φιλοξενήσει τόσο τον ασθενή όσο και την κινηματική ορισμένων ρομπότ. Πολλά προβλήματα σύγκρουσης προκύπτουν από αυτούς τους τύπους συσκευών και αυτός είναι ένας από τους λόγους για τους οποίους πολλοί ερευνητές έχουν κατασκευάσει μικρά ειδικά ρομποτικά συστήματα που χωράνε στον εναπομείναντα χώρο. Ένα πρόσφατο σύστημα FD-CT (Artis zeego, Siemens Healthcare, Forchheim, Γερμανία) χρησιμοποιεί ρομποτικό βραχίονα (KUKA Robots, Gersthofen, Γερμανία) για αυξημένη ευελιξία κινήσεων. Αυτό το σύστημα μπορεί να χρησιμοποιηθεί για ευέλικτη διεγχειρητική απεικόνιση και θα μπορούσε να συντονιστεί με άλλα ρομποτικά συστήματα για να βοηθήσει τον χειρουργό. One of the obstacles to using robotic systems with imaging devices is that the size of the posterior portal is not large enough to accommodate both the patient and the kinematics of some robots. Many collision problems arise with these types of devices, and this is one of the reasons why many researchers have built small, custom-built robotic systems that fit into the remaining space. A recent FD-CT system (Artis zeego, Siemens Healthcare, Forchheim, Germany) uses a robotic arm (KUKA Robots, Gersthofen, Germany) for increased flexibility of movement. This system can be used for flexible intraoperative imaging and could be coordinated with other robotic systems to assist the surgeon.

Εκτός από τους κωδικοποιητές και τις συσκευές απεικόνισης ως τρόπους ανίχνευσης, οι εντοπιστές έχουν επίσης μελετηθεί προκειμένου να αναλυθούν τα οφέλη τους για εφαρμογές χειρουργικής ρομποτικής. Οι συσκευές αυτές παρακολουθούν τη θέση των εργαλείων σε σχέση με την ανατομία του ασθενούς. Το όργανο θα μπορούσε να είναι ένα χειρουργικό εργαλείο που συγκρατείται από έναν ρομποτικό βραχίονα. Στο σύστημα CyberKnife, αναπτύσσεται ένας οπτικός εντοπιστής για την παρακολούθηση της θέσης ενός ασθενούς που είναι επιρρεπής σε κινήσεις λόγω της αναπνοής. In addition to encoders and imaging devices as sensing modalities, locators have also been studied to analyze their benefits for surgical robotics applications. These devices track the position of instruments relative to the patient's anatomy. The instrument could be a surgical instrument held by a robotic arm. In the CyberKnife system, an optical locator is being developed to track the position of a patient who is prone to respiratory movements.

ΠΕΡΙΛΗΨΗ ΤΗΣ ΕΦΕΥΡΕΣΗΣ SUMMARY OF THE INVENTION

Η προτεινόμενη συσκευή αποτελείται από ένα ρομπότ ειδικά σχεδιασμένο για την ασφαλή αλληλεπίδραση ανθρώπου/ρομπότ, ένα ρομποτικό σύστημα αγγειογραφίας με πολλαπλούς βραχίονες και μία ή περισσότερες κάμερες πλοήγησης. Θα παρουσιαστούν επίσης νέες στρατηγικές ελέγχου για το χειρισμό του ρομπότ στο κλινικό περιβάλλον. Μια μέθοδος για τη γρήγορη βαθμονόμηση των εμπλεκόμενων στοιχείων και θα παρουσιαστούν επίσης προκαταρκτικές δοκιμές ακρίβειας ολόκληρης της αλυσίδας πιθανών σφαλμάτων, καθώς και οι κατάλληλες υποθέσεις. Η βαθμονόμηση του ρομπότ με το σύστημα πλοήγησης με τη χρήση τόσο ανθρώπινου χειριστή, μηχατρονικής πολλαπλών επιπέδων και τεχνητής νοημοσύνης (ΑΙ) θα στοχεύσει σε εναπομείναν σφάλμα 0,80 mm (rms) με τυπική απόκλιση ±0,40 mm. Η ακρίβεια του ρομποτικού συστήματος κατά τη στόχευση σταθερών σημείων σε διαφορετικές θέσεις εντός του χώρου εργασίας είναι 1 mm (rms) με τυπική απόκλιση ±0,5 mm. Μετά τη βαθμονόμηση, και λόγω του ελέγχου κλειστού βρόχου, η απόλυτη ακρίβεια εντοπισμού θέσης θα στοχευθεί αποτελεσματικά και θα μειωθεί στην ακρίβεια της κάμερας πλοήγησης, η οποία θα είναι αρχικά 0.30 mm (rms). Το δεύτερο περισσότερο ακριβής και ακριβές σετ των στερεοσκοπικά προσανατολισμένων καμερών φέρνει τις τιμές αυτές σε βελτίωση 30-50% πάνω από το σύστημα beta. Ο εφαρμοζόμενος έλεγχος επιτρέπει στο ρομπότ να αντισταθμίζει μικρές κινήσεις του ασθενούς. The proposed device consists of a robot specifically designed for safe human/robot interaction, a robotic angiography system with multiple arms and one or more navigation cameras. New control strategies for the manipulation of the robot in the clinical environment will also be presented. A method for the rapid calibration of the involved components and preliminary accuracy tests of the entire chain of possible errors will also be presented, as well as the appropriate assumptions. The calibration of the robot with the navigation system using both a human operator, multi-level mechatronics and artificial intelligence (AI) will target a residual error of 0.80 mm (rms) with a standard deviation of ±0.40 mm. The accuracy of the robotic system when targeting fixed points at different locations within the workspace is 1 mm (rms) with a standard deviation of ±0.5 mm. After calibration, and due to the closed-loop control, the absolute positioning accuracy will be effectively targeted and reduced to the accuracy of the navigation camera, which will initially be 0.30 mm (rms). The second more precise and accurate set of stereoscopically oriented cameras brings these values to a 30-50% improvement over the beta system. The applied control allows the robot to compensate for small movements of the patient.

Οι βασικές πτυχές της εφεύρεσης είναι οι ακόλουθες: The main aspects of the invention are the following:

Η παρούσα εφεύρεση αφορά ένα σύστημα ρομποτικής απεικόνισης για χειρουργικό σχεδίασμά και ενδοχειρουργική πλοήγηση που αποτελείται από The present invention relates to a robotic imaging system for surgical planning and intraoperative navigation consisting of

α) δύο συντονισμένους ρομποτικούς βραχίονες, όπου ο πρώτος εκτελεί τη χειρουργική εργασία και το δεύτερο ζεύγος ρομπότ παρέχει ακριβή απεικόνιση του στόχου. a) two coordinated robotic arms, where the first performs the surgical task and the second pair of robots provides precise visualization of the target.

b) Έναν ελεγκτής b) An auditor

c) Έναν ελεγκτής εφαρμογών c) An application controller

d) Μια οθόνη d) A screen

ε) Ένα χειριστήριο (joystic) e) A joystick

Ο πρώτος ρομποτικός βραχίονας που εκτελεί τη χειρουργική εργασία διαθέτει επτά περιστροφικές αρθρώσεις, σε καθεμία από τις οποίες είναι ενσωματωμένος ένας αισθητήρας ροπής για τη μέτρηση των ασκούμενων δυνάμεων. The first robotic arm to perform the surgical task has seven rotary joints, each of which has a torque sensor integrated into it to measure the forces exerted.

Όλα τα εξαρτήματα κατασκευάζονται σε ένα κινητό καρότσι. Ο ελεγκτής είναι ελεγκτής πραγματικού χρόνου. All components are manufactured on a mobile cart. The controller is a real-time controller.

Η οθόνη μπορεί να είναι οθόνη αφής. The screen may be a touch screen.

Το χειριστήριο (joystick) μπορεί να είναι ένα βιομηχανικό joystick. The joystick may be an industrial joystick.

Ένας τρίτος και ένας τέταρτος βραχίονας μπορούν να προστεθούν ως απεικόνιση απεικόνισης. Το σύστημα μπορεί να περιλαμβάνει δεδομένα Cathlab. A third and fourth arm can be added as an imaging display. The system can include Cathlab data.

Το σύστημα χρησιμοποιείται μέσω μιας διεγχειρητικής μεθόδου για τη χρήση, που αποτελείται από το ακόλουθα βήματα The system is used via an intraoperative method of use, consisting of the following steps:

a) Ο ασθενής σταθεροποιείται στο τραπέζι της αξονικής τομογραφίας και έχει τοποθετηθεί συσκευή καταγραφής εικόνας ασθενούς. a) The patient is stabilized on the CT table and a patient image recording device is placed.

b) Λαμβάνεται τρισδιάστατη σάρωση με το ρομποτικό αγγειογραφικό σύστημα, ενώ οι ανακατασκευασμένες εικόνες αξονικής τομογραφίας μεταφέρονται αμέσως στο σύστημα πλοήγησης σύστημα. b) A 3D scan is obtained with the robotic angiography system, while the reconstructed CT images are immediately transferred to the navigation system.

c) μόλις οι εικόνες εμφανιστούν σε μια οθόνη, ο κλινικός ιατρός θα καθορίσει τα σημεία εισόδου και τα σημεία-στόχους. c) once the images are displayed on a screen, the clinician will determine the entry points and target points.

d) Το ρομποτικό καροτσάκι τοποθετείται δίπλα στον ασθενή και ο ιατρός σηκώνει το ρομπότ με το χέρι, ενεργοποιεί τον διαδραστικό έλεγχο τοποθέτησης και μετακινεί τον βραχίονα του ρομπότ έως ότου η άκρη του εργαλείου βρεθεί πάνω από το σημείο εισόδου. d) The robotic cart is placed next to the patient and the physician lifts the robot by hand, activates the interactive positioning control and moves the robot arm until the tip of the tool is over the entry point.

e) Μόλις ο κλινικός γιατρός ενεργοποιήσει τον νεκροδιακόπτη, το ρομπότ προσανατολίζει τον κάτοχο βελόνας στον προγραμματισμένο στόχο. e) Once the clinician activates the kill switch, the robot orients the needle holder to the programmed target.

f) εάν απαιτείται, το σημείο εισόδου μπορεί να επανατοποθετηθεί με τη χρήση ενός joystick χρησιμοποιώντας την επιλογή περιστροφής στόχου. f) if required, the entry point can be repositioned using a joystick using the target rotation option.

g) Η βελόνα εισάγεται χειροκίνητα από τον κλινικό ιατρό χρησιμοποιώντας τον υποδοχέα βελόνας του ρομπότ ως οδηγό. g) The needle is inserted manually by the clinician using the robot's needle holder as a guide.

Μπορεί να πραγματοποιηθεί τρισδιάστατη αξονική τομογραφία. A 3D CT scan can be performed.

h) Μόλις η βελόνα χτυπήσει τον στόχο, μπορεί να ληφθεί δείγμα ιστού ή, σε περίπτωση εκτομής, να πραγματοποιηθεί θεραπεία. h) Once the needle hits the target, a tissue sample can be taken or, in the case of a resection, treatment can be performed.

ΑΠΟΚΆΛΥΨΗ ΤΗΣ ΕΦΕΥΡΕΣΗΣ DISCLOSURE OF THE INVENTION

Στην ενότητα αυτή παρουσιάζεται η ιδέα ενός πλήρως αισθητικοποιημένου ρομποτικού χειρουργικού συστήματος. Το προτεινόμενο σύστημα θα χρησιμοποιεί μία ποικιλία εννοιών που χρησιμοποιούνται στη χειρουργική ρομποτική, όπως η απτική, η μαλακή ρομποτική, η οπτικοποίηση και η εξωτερική παρακολούθηση. Το χειρουργικό σύστημα θα αποτελείται από δύο συντονισμένους ρομποτικούς βραχίονες με έναν τρίτο και έναν τέταρτο βραχίονα που θα λειτουργούν ως εξαρτήματα απεικόνισης οπτικοποίησης. Το πρώτο εκτελεί τη χειρουργική εργασία και το δεύτερο ζεύγος ρομπότ παρέχει ακριβή οπτικοποίηση του στόχου. Το σύστημα θα προσαρμοστεί για τραυματισμούς που απειλούν τη ζωή, όπου συνήθως εισάγεται μια βελόνα σε μια ανατομία προκειμένου να εξαχθούν δείγματα ιστού για περαιτέρω ανάλυση ή να εγχυθούν ουσίες για θεραπεία. Θα δώσουμε έμφαση στην περιγραφή της τεχνολογίας αισθητήρων που θα χρησιμοποιηθεί στο σύστημα. Εκτός από τα συμβατικά πρότυπα που χρησιμοποιούνται συνήθως στο ιατρικό περιβάλλον, το σύστημα θα χρησιμοποιεί πρότυπα από τη βιομηχανία αυτοματισμού, υλικά και μεθόδους. In this section, the concept of a fully sensoryized robotic surgical system is presented. The proposed system will utilize a variety of concepts used in surgical robotics, such as haptics, soft robotics, visualization, and external monitoring. The surgical system will consist of two coordinated robotic arms with a third and a fourth arm acting as visualization imaging components. The first performs the surgical task and the second pair of robots provides precise visualization of the target. The system will be adapted for life-threatening injuries, where a needle is typically inserted into an anatomy in order to extract tissue samples for further analysis or inject substances for treatment. We will emphasize the description of the sensor technology that will be used in the system. In addition to conventional standards commonly used in the medical environment, the system will utilize standards from the automation industry, materials, and methods.

Στο Σχήμα 1 παρουσιάζονται τα κύρια στοιχεία του συστήματος. Ένα σειριακό ρομποτικό σύστημα θα χρησιμοποιηθεί για την εισαγωγή της βελόνας. Θα διαθέτει μια ειδική υποδοχή βελόνας που θα είναι προσαρτημένη στον καρπό του γιατρού. Αυτός ο μηχανισμός επιτρέπει στον ιατρό να εισάγει τη βελόνα χειροκίνητα. Figure 1 shows the main components of the system. A serial robotic system will be used to insert the needle. It will have a special needle holder that will be attached to the physician's wrist. This mechanism allows the physician to insert the needle manually.

Το ρομποτικό σύστημα θα αποτελείται από έναν ελεγκτή πραγματικού χρόνου και έναν ελεγκτή εφαρμογής. Θα σχεδιαστεί για να ελέγχεται χειροκίνητα μέσω μιας οθόνης αφής και ενός βιομηχανικού joystick. Για την εύκολη τοποθέτηση του ρομποτικού συστήματος κατά μήκος του χειρουργικού τραπεζιού, όλα τα εξαρτήματα θα κατασκευαστούν σε ένα κινητό καρότσι. Με αυτόν τον τρόπο, το σύστημα μπορεί να τοποθετείται και να απομακρύνεται εύκολα από το τραπέζι του ασθενούς. Για τον στόχο απεικόνισης, θα αναπτυχθεί ένα ρομποτικά καθοδηγούμενο σύστημα αγγειογραφίας εξοπλισμένο με σαρωτή επίπεδης οθόνης. Εναλλακτικά, θα χρησιμοποιηθεί επίσης ένα στερεοτακτικό σύστημα 4 ρομπότ με δύο πομπούς και δύο ανιχνευτές για την αντιμετώπιση των προβλημάτων τρισδιάστατης μεγέθυνσης και σφάλματος παράλλαξης. Αυτός ο ειδικός απεικονιστής πολλαπλών βραχιόνων μπορεί να τοποθετηθεί κατά μήκος του χειρουργικού τραπεζιού παρέχοντας πλήρη κάλυψη του σώματος. Σε αντίθεση με τους συμβατικούς βραχίονες C, που περιστρέφονται μόνο γύρω από μια σταθερή θέση, αυτό το σύστημα απεικόνισης θα μπορεί να διαμορφωθεί για τη σάρωση ανατομικών στόχων με διαφορετικές γωνίες και τροχιές κυρτού σχήματος. Μόλις ληφθεί μια σάρωση, θα στείλει τις ανακατασκευασμένες τρισδιάστατες εικόνες στον ελεγκτή της εφαρμογής για προγραμματισμό. Επιπλέον, μπορούν να χρησιμοποιηθούν προβολές 2D και 3D για την απεικόνιση του στόχου σε πραγματικό χρόνο. Με βάση τις εικόνες, ο χειρουργός μπορεί να επιλέξει ένα στόχο καί ένα κατάλληλο σημείο εισόδου. Το άλλο σημαντικό μέρος του συστήματος θα είναι ένας οπτικός εντοπιστής, ο οποίος παρακολουθεί με ακρίβεια τη θέση της βελόνας μέσω του πλαισίου αναφοράς που είναι προσαρτημένο στον υποδοχέα της βελόνας. Επιπλέον, θα παρακολουθεί επίσης τη θέση του ασθενούς μέσω ενός πλαισίου αναφοράς που είναι προσαρτημένο σε αυτό. The robotic system will consist of a real-time controller and an application controller. It will be designed to be manually controlled via a touch screen and an industrial joystick. For easy positioning of the robotic system along the operating table, all components will be built on a mobile cart. In this way, the system can be easily positioned and removed from the patient table. For the imaging objective, a robotically guided angiography system equipped with a flat panel scanner will be developed. Alternatively, a stereotactic 4-robot system with two transmitters and two detectors will also be used to address the problems of 3D magnification and parallax error. This special multi-arm imager can be positioned along the operating table providing full body coverage. Unlike conventional C-arms, which only rotate around a fixed position, this imaging system will be configurable to scan anatomical targets at different angles and curved trajectories. Once a scan is taken, it will send the reconstructed 3D images to the application controller for programming. In addition, 2D and 3D views can be used to visualize the target in real time. Based on the images, the surgeon can select a target and an appropriate entry point. The other important part of the system will be an optical locator, which accurately tracks the position of the needle via the reference frame attached to the needle holder. In addition, it will also track the position of the patient via a reference frame attached to it.

Η φυσική απτική ανατροφοδότηση κατά την εισαγωγή της βελόνας θα παρέχει σημαντικές πληροφορίες από τα χαρακτηριστικά του περιβάλλοντος ιστού μέσω της τροχιάς. Μεταξύ αυτών των χαρακτηριστικών είναι δυνατόν να ληφθεί μια αίσθηση ανάδρασης της ανομοιόμορφης σκληρότητας και ελαστικότητας του ιστού. Ως εκ τούτου, αποφασίστηκε να χρησιμοποιηθεί το ρομπότ μόνο για την τοποθέτηση και τον προσανατολισμό της βελόνας. Μόλις επιτευχθεί η επιθυμητή κατεύθυνση της βελόνας από το ρομπότ, το καθήκον του χειρουργού είναι να εισάγει τη βελόνα προσεκτικά. Με αυτόν τον τρόπο, λαμβάνεται υπόψη η εμπειρία του κλινικού ιατρού, ο οποίος διατηρεί τον έλεγχο της επέμβασης. Στην εικόνα 2 που ακολουθεί παρουσιάζονται τα κύρια στοιχεία του συστήματος σε μια επεμβατική σουίτα. Το σύστημα αγγειογραφίας περιλαμβάνει δύο σειριακά ρομπότ (FANUK Robots) που σχηματίζουν ένα ζεύγος πομπού-ανιχνευτή. The natural haptic feedback during needle insertion will provide important information from the characteristics of the surrounding tissue through the trajectory. Among these characteristics, it is possible to obtain a feedback sense of the non-uniform hardness and elasticity of the tissue. Therefore, it was decided to use the robot only for the placement and orientation of the needle. Once the desired direction of the needle is achieved by the robot, the surgeon’s task is to insert the needle carefully. In this way, the experience of the clinician is taken into account, who maintains control of the procedure. Figure 2 below shows the main elements of the system in an interventional suite. The angiography system includes two serial robots (FANUK Robots) forming a transmitter-detector pair.

Ροή εργασίας Workflow

Οι περισσότερες ρομποτικές συσκευές τοποθέτησης βελονών χρησιμοποιούν μια συγκεκριμένη ροή εργασίας, αλλά το παρόν σύστημα παροχής διαθέτει ορισμένες διαφορετικές καινοτομίες. Μία από αυτές είναι η λεγάμενη περιστροφή του στόχου, η οποία παρέχει την ευελιξία αλλαγής του σημείου εισαγωγής, ενώ ο στόχος είναι σταθερός. Αυτή η μέθοδος δεν είναι δυνατή με τα ρομπότ RCM που χρησιμοποιούν ροή εργασίας που είναι σήμερα διαθέσιμη. Most robotic needle placement devices use a specific workflow, but the current delivery system features some different innovations. One of these is so-called target rotation, which provides the flexibility to change the insertion point while the target is fixed. This method is not possible with RCM robots that use a workflow that is currently available.

Η ροή εργασίας περιγράφεται στα επόμενα βήματα: The workflow is described in the following steps:

i. Προετοιμασία: Ο ασθενής θα σταθεροποιηθεί στο τραπέζι της αξονικής τομογραφίας και θα συνδεθεί ένας καταγραφέας εικόνας του ασθενούς. i. Preparation: The patient will be stabilized on the CT table and a patient image recorder will be connected.

ii. Απεικόνιση: Το ρομποτικό αγγειογραφικό σύστημα πραγματοποιεί τρισδιάστατη σάρωση. Οι ανακατασκευασμένες εικόνες αξονικής τομογραφίας μεταφέρονται αμέσως στο σύστημα πλοήγησης σύστημα. ii. Imaging: The robotic angiography system performs a 3D scan. The reconstructed CT images are immediately transferred to the navigation system.

iii. Σχεδιασμός: Μόλις οι εικόνες εμφανιστούν σε μια οθόνη αφής, ο κλινικός ιατρός θα καθορίσει τα σημεία εισόδου και τα σημεία-στόχους. iii. Planning: Once the images are displayed on a touch screen, the clinician will determine the entry points and target points.

iv. Διαδραστική τοποθέτηση: Το ρομποτικό καροτσάκι τοποθετείται δίπλα στον ασθενή. Στη συνέχεια, ο γιατρός θα σηκώσει το ρομπότ με το χέρι, θα ενεργοποιήσει το διαδραστικό τον έλεγχο τοποθέτησης και μετακινήστε τον βραχίονα του ρομπότ έως ότου η άκρη του εργαλείου βρεθεί πάνω από το σημείο εισόδου, iv. Interactive positioning: The robotic cart is placed next to the patient. The doctor will then lift the robot by hand, activate the interactive positioning control, and move the robot arm until the tip of the tool is over the entry point,

ν. Αυτόματη τοποθέτηση: Το ρομπότ προσανατολίζει τον υποδοχέα βελόνας στον προγραμματισμένο στόχο. n. Automatic positioning: The robot orients the needle holder to the programmed target.

vi. Επανατοποθέτηση (λειτουργία τηλεχειρισμού): Εάν απαιτείται, το σημείο εισόδου μπορεί να αλλάξει με τη χρήση ενός joystick χρησιμοποιώντας την επιλογή περιστροφής στόχου. Κατά τη διάρκεια αυτής της διαδικασίας, η τροχιά της βελόνας θα εμφανίζεται συνεχώς στις τρισδιάστατες εικόνες. Σε αυτό το σημείο, οι εναλλακτικές τοποθετήσεις των δύο ρομποτικών βραχιόνων με πομπό και ανιχνευτή, μπορούν να δοκιμαστούν για βέλτιστα αποτελέσματα. vi. Repositioning (remote control mode): If required, the entry point can be changed using a joystick using the target rotation option. During this process, the trajectory of the needle will be continuously displayed on the 3D images. At this point, alternative placements of the two robotic arms with transmitter and detector can be tested for optimal results.

νii. Εισαγωγή της βελόνας: Μπορεί να πραγματοποιηθεί σάρωση επιβεβαίωσης με φθοριοσκόπηση ή πλήρης τρισδιάστατη αξονική τομογραφία. νii. Needle insertion: A confirmation scan with fluoroscopy or full 3D CT scan may be performed.

viii. Παρέμβαση ή θεραπεία: Μόλις η βελόνα χτυπήσει το στόχο, ένα δείγμα ιστού μπορεί να ληφθεί ή, σε περίπτωση εκτομής, μπορεί να πραγματοποιηθεί θεραπεία. Τρόποι ελέγχου των ρομπότ. Όπως φαίνεται στη ροή εργασιών, το ρομποτικό σύστημα θα έχει τρεις διαφορετικές στρατηγικές ελέγχου: viii. Intervention or treatment: Once the needle hits the target, a tissue sample can be taken or, in the case of ablation, treatment can be performed. Robot control modes. As shown in the workflow, the robotic system will have three different control strategies:

■ Διαδραστική λειτουργία: Ο ρομποτικός βραχίονας θα μπορεί να ελίσσεται ελεύθερα, σαν να μην έχει βάρος, προς όλες τις κατευθύνσεις του καρτεσιανού χώρου (βαρύτητα ελέγχου αντιστάθμισης). Με το πιάσιμο του βραχίονα του ρομπότ με το χέρι και το διαδοχικό πάτημα δύο κουμπιών που είναι προσαρτημένα σε αυτόν, θα ενεργοποιείται η διαδραστική λειτουργία- θα είναι επίσης δυνατή η αλλαγή της θέσης του αγκώνα του ρομπότ με το πάτημά του. ■ Interactive mode: The robotic arm will be able to maneuver freely, as if it were weightless, in all directions of Cartesian space (gravity compensation control). By grasping the robot arm with the hand and successively pressing two buttons attached to it, the interactive mode will be activated - it will also be possible to change the position of the robot's elbow by pressing it.

■ Λειτουργία καθοδηγούμενης εικόνας: Το ρομπότ θα κινηθεί σύμφωνα με τα δεδομένα σχεδιασμού που βασίζονται σε δεδομένα που αφορούν τον ασθενή και μετρώνται από το σύστημα πλοήγησης. ■ Image-guided mode: The robot will move according to the design data based on patient-related data measured by the navigation system.

■ Λειτουργία τηλεχειρισμού: Ο χρήστης θα ελέγχει το ρομποτικό βραχίονα με ένα joystick σε συντεταγμένες TCP (σημείο κέντρου εργαλείου). Μπορούν να γίνουν προσαρμογές στη γωνία εισόδου, ενώ η υποδοχή της βελόνας παραμένει στραμμένη στο στόχο. Αυτό είναι αρκετά χρήσιμο, καθώς ο χρήστης μπορεί να ακολουθήσει τη νέα τροχιά σε τρισδιάστατες εικόνες και επιλέξτε την πιο κατάλληλη. ■ Remote control mode: The user will control the robotic arm with a joystick in TCP (tool center point) coordinates. Adjustments can be made to the entry angle while the needle socket remains pointed at the target. This is quite useful as the user can follow the new trajectory in 3D images and select the most suitable one.

Κυλιόμενο ρομπότ. Όπως αναφέρθηκε, το ρομπότ εισαγωγής βελονών θα τοποθετηθεί σε κινητό καροτσάκι, μαζί με τον ελεγκτή του κατασκευαστή και έναν ειδικό ελεγκτή για την εφαρμογή (εικόνα 3). Το καροτσάκι μπορεί να τοποθετηθεί κοντά στο χειρουργικό τραπέζι, έτσι ώστε ο ρομποτικός βραχίονας να μπορεί να τοποθετηθεί κοντά στον ασθενή χωρίς να παρεμβαίνει με την τροχιά του πολυβραχίονα. Για να γίνει αυτό διαισθητικά, το ρομπότ θα διαθέτει ειδικές λειτουργίες ελέγχου. Rolling robot. As mentioned, the needle insertion robot will be placed on a mobile cart, together with the manufacturer’s controller and a dedicated controller for the application (figure 3). The cart can be placed close to the operating table, so that the robotic arm can be positioned close to the patient without interfering with the trajectory of the multi-arm. To do this intuitively, the robot will have special control functions.

Το ρομπότ εισαγωγής βελόνας είναι το ORTHOS (παρούσα διάταξη), ένα ελαφρύ ρομπότ ειδικά σχεδιασμένο για ασφαλή αλληλεπίδραση ανθρώπου-ρομπότ. Λόγω του γεγονότος ότι αυτά τα ρομπότ έχουν καλύμματα από ανθρακονήματα και πλαίσιο από αλουμίνιο ζυγίζουν λιγότερο από 15 Kg. Όλοι οι αισθητήρες (συμπεριλαμβανομένων των κωδικοποιητών, των προφυλακτήρων και άλλων), οι ελεγκτές κινητήρων και τα καλώδια είναι ενσωματωμένα στον βραχίονα, γεγονός που καθιστά αυτό το ρομπότ κατάλληλο για χειρισμό σε ένα πολυπληθές περιβάλλον όπου η ασφάλεια αποτελεί μείζον ζήτημα. The needle insertion robot is the ORTHOS (present configuration), a lightweight robot specifically designed for safe human-robot interaction. Due to the fact that these robots have carbon fiber covers and an aluminum frame, they weigh less than 15 Kg. All sensors (including encoders, bumpers, and others), motor controllers, and cables are integrated into the arm, making this robot suitable for handling in a crowded environment where safety is a major concern.

Το ρομπότ διαθέτει επτά περιστροφικές αρθρώσεις- σε αντίθεση με τα έξι ρομπότ D. ο. F., η πρόσθετη άρθρωση επιτρέπει την αλλαγή της θέσης των αγκώνων χωρίς να επηρεάζουν τη στάση του εργαλείου του ρομπότ. Σε κάθε άρθρωση του ρομπότ, ένας αισθητήρας ροπής μετρά tις ασκούμενες δυνάμεις. Ένα από τα σημαντικότερα πλεονεκτήματα αυτής της διάταξης είναι ότι το ρομπότ μπορεί να χρησιμοποιηθεί στη λεγάμενη λειτουργία "αντιστάθμισης σάλτσας". Σε αυτή τη λειτουργία ελέγχου, ο βραχίονας του ρομπότ μπορεί να μετακινηθεί πιάνοντας το ρομπότ με το χέρι με σχεδόν καμία αντίσταση. Μόλις ο χρήστης σταματήσει να το τραβάει ή να το σπρώχνει (σε οποιοδήποτε μέρος της δομής του), παραμένει στη θέση του περιμένοντας την επόμενη κίνηση- θα μοιάζει πολύ με ένα αντικείμενο μέσα σε ένα διαστημόπλοιο, όπου δεν υπάρχει βαρύτητα. Αν είναι απαραίτητο να αλλάξετε κάποιες παραμέτρους του τρόπου ελέγχου, όπως το εικονικό βάρος, η τριβή και η δύναμη του ελατηρίου (που μπορεί να αλλάξει τη συμπεριφορά της λειτουργίας αντιστάθμισης), η διεπαφή προγραμματισμού του ελεγκτή έχει τη δυνατότητα να το πράξει. The robot has seven rotary joints - unlike the six D. o. F. robots, the additional joint allows the elbows to be repositioned without affecting the robot's tool posture. At each joint of the robot, a torque sensor measures the applied forces. One of the most important advantages of this arrangement is that the robot can be used in the so-called "sauce compensation" mode. In this control mode, the robot arm can be moved by gripping the robot with the hand with almost no resistance. Once the user stops pulling or pushing it (at any part of its structure), it remains in place waiting for the next movement - it will look a lot like an object inside a spaceship, where there is no gravity. If it is necessary to change some parameters of the control mode, such as the virtual weight, friction and spring force (which can change the behavior of the compensation function), the controller programming interface has the ability to do so.

Στο κάτω μέρος της κινητής πλατφόρμας θα τοποθετήσουμε τον ελεγκτή πραγματικού χρόνου και τον ελεγκτή εφαρμογής. Στο εσωτερικό πλαίσιο θα υπάρχουν αρκετοί αισθητήρες για λόγους ασφαλείας, οι οποίοι θα περιγραφούν στην ενότητα σύστημα ελέγχου. At the bottom of the mobile platform we will place the real-time controller and the application controller. On the inner frame there will be several sensors for safety reasons, which will be described in the control system section.

Ο ελεγκτής ρομπότ πραγματικού χρόνου, ο ελεγκτής εφαρμογών, ένα τερματικό διαύλου DeviceNET και μια οθόνη αφής θα ενσωματωθούν. Μια διπλή λαβή θα προσαρτηθεί στον καρπό του ρομπότ για χειρισμό. Η ιδέα πίσω από τη χρήση δύο λαβών είναι ότι ο χρήστης μπορεί να το σηκώσει και από τις δύο πλευρές του τραπεζιού του ασθενούς. Κάθε λαβή θα έχει δύο κουμπιά, ένα στο πάνω μέρος και ένα στο εσωτερικό. Με το πάτημα των μπουτόν, μπορεί να ενεργοποιηθεί η λειτουργία αντιστάθμισης βαρύτητας. Για λόγους ασφαλείας, αυτή η διαδραστική λειτουργία μπορεί να ενεργοποιηθεί μόνο όταν πατηθούν και τα δύο κουμπιά πίεσης, το πάνω με τον αντίχειρα και το κάτω με το δείκτη. Στο άκρο της λαβής θα τοποθετηθεί ένας παθητικός εναλλάκτης εργαλείων σε περίπτωση που η ιατρική εφαρμογή απαιτεί διαφορετικό εργαλείο. Ξεκινώντας από τον παθητικό αλλαγής εργαλείων, το ρομπότ θα μπορεί να καλύπτεται από ένα αποστειρωμένο κάλυμμα για την προστασία του ρομπότ από το αίμα του ασθενούς και άλλα υγρά. The real-time robot controller, the application controller, a DeviceNET bus terminal and a touch screen will be integrated. A dual handle will be attached to the robot’s wrist for handling. The idea behind using two handles is that the user can pick it up from either side of the patient’s table. Each handle will have two buttons, one on the top and one on the inside. By pressing the buttons, the gravity compensation function can be activated. For safety reasons, this interactive function can only be activated when both push buttons are pressed, the upper one with the thumb and the lower one with the index finger. A passive tool changer will be placed at the end of the handle in case the medical application requires a different tool. Starting from the passive tool changer, the robot can be covered by a sterile cover to protect the robot from the patient’s blood and other fluids.

Για την παρακολούθηση της βελόνας με τον οπτικό εντοπιστή, ένα δυναμικό πλαίσιο αναφοράς (DRF) θα προσαρτηθεί στον υποδοχέα της βελόνας (Εικόνα 4). Η συσκευή που θα φέρειτη βελόνα είναιτο μπεζ κομμάτι που είναι τοποθετημένο στο μπροστινό μέρος του εργαλείου. Είναι κατασκευασμένο εξ ολοκλήρου από PEEK για τη διασφάλιση της βιοσυμβατότητας. Επιπλέον, οι ιδιότητές του καθιστούν το υλικό αυτό απαλλαγμένο από τεχνουργήματα στις εικόνες αξονικής τομογραφίας. Ο υποδοχέας βελόνας πρέπει να μπορεί να φέρει διαφορετικά ένθετα για την υποστήριξη διαφορετικών διαμέτρων βελονών ή οργάνων. To track the needle with the optical locator, a dynamic reference frame (DRF) will be attached to the needle holder (Figure 4). The device that will carry the needle is the beige piece that is placed on the front of the tool. It is made entirely of PEEK to ensure biocompatibility. In addition, its properties make this material free from artifacts in CT images. The needle holder must be able to carry different inserts to support different diameters of needles or instruments.

Σύστημα ελέγχου. Όπως αναφέρθηκε προηγουμένως, το ρομπότ που θα χρησιμοποιηθεί είναι ένα σειριακό ρομπότ. Αυτοί οι τύποι ρομπότ έχουν εξαιρετική επαναληψιμότητα, αλλά η απόλυτη ακρίβεια εντοπισμού δεν είναι εξαιρετική λόγω μικρών ανακριβειών στην κινηματική τους ή λόγω σφαλμάτων βαθμονόμησης που αυξάνονται με την πάροδο του χρόνου. Αυτές οι ανακρίβειες έχουν μικρότερο αντίκτυπο όταν δίνονται στο ρομπότ εντολές διαφορικής κίνησης, που σημαίνει ότι το ρομπότ πρέπει να κινηθεί σχετικά με την τελευταία του θέση αντί για την απόλυτη θέση του. Με βάση αυτή την υπόθεση, η παρούσα προσέγγιση συνίσταται στον εντοπισμό τη θέση TCP (Tool Center Point) και εκτελώντας μικρές κινήσεις ξεκινώντας από την πραγματική θέση. Control system. As mentioned before, the robot to be used is a serial robot. These types of robots have excellent repeatability, but the absolute localization accuracy is not excellent due to small inaccuracies in their kinematics or due to calibration errors that increase over time. These inaccuracies have less impact when the robot is given differential motion commands, which means that the robot must move relative to its last position instead of its absolute position. Based on this assumption, the present approach consists of locating the TCP (Tool Center Point) position and performing small movements starting from the actual position.

Ελεγκτής εφαρμογών. Το κύριο καθήκον του ελεγκτή εφαρμογής είναι να συλλέγει δεδομένα από όλα τα στοιχεία του συστήματος, να επεξεργάζεται αυτές τις πληροφορίες και να στέλνει εντολές προς εκτέλεση από τους ενεργοποιητές. Ο ελεγκτής εφαρμογής λαμβάνει δεδομένα αισθητήρων από τον ελεγκτή πραγματικού χρόνου (μετρήσεις της θέσης του ρομπότ και δύναμη), ο οπτικός εντοπιστής (θέσεις και προσανατολισμοί του πλαισίου αναφοράς), το ρομποτικό σύστημα αγγειογραφίας (προβολές 2D και ανακατασκευή 3D εικόνας), μια οθόνη αφής (οδηγίες σχεδιασμού του χρήστη) και ένα joystick (κινήσεις εντολών του χρήστη). Στο Σχήμα 5 παρουσιάζεται μια επισκόπηση των στοιχείων του συστήματος και των πρωτοκόλλων επικοινωνίας τους με τον ελεγκτή εφαρμογής. Application Controller. The main task of the application controller is to collect data from all system components, process this information, and send commands to be executed by the actuators. The application controller receives sensor data from the real-time controller (robot position and force measurements), the optical locator (reference frame positions and orientations), the robotic angiography system (2D views and 3D image reconstruction), a touch screen (user design instructions), and a joystick (user command movements). An overview of the system components and their communication protocols with the application controller is presented in Figure 5.

Ο ελεγκτής εφαρμογής θα διαθέτει μια μηχανή κατάστασης η οποία θα ενεργοποιείται ανάλογα με την πραγματική κατάσταση και τις πληροφορίες δεδομένων από τα στοιχεία του συστήματος. Παραδείγματα αυτών των μεταβάσεων είναι όταν ο χρήστης εισάγει εντολές στην οθόνη αφής, μια εικόνα είναι έτοιμη για χρήση, θα ενεργοποιηθεί ο διαδραστικός έλεγχος, έχουν φθάσει δεδομένα σχετικά με την ασφάλεια από τον ελεγκτή KRC πραγματικού χρόνου κ.λπ. Τα εσωτερικά χαρακτηριστικά που σχετίζονται με την ασφάλεια του ρομπότ, όπως ο περιορισμός της ταχύτητας, η παρακολούθηση της δύναμης, θα υποβάλλονται σε επεξεργασία σε πραγματικό χρόνο από το KRC. Τα εξωτερικά κουμπιά έκτακτης ανάγκης που σχετίζονται με την ασφάλεια και τα εξωτερικά κουμπιά ενεργοποίησης που σχετίζονται με την ασφάλεια (από τη λαβή) θα συνδεθούν με το KRC και με τον ελεγκτή εφαρμογής μέσω σύνδεσης DeviceNet. The application controller will have a state machine that will be activated depending on the actual state and data information from the system components. Examples of these transitions are when the user enters commands on the touch screen, an image is ready for use, interactive control is activated, safety-related data has arrived from the real-time KRC controller, etc. The internal safety-related features of the robot, such as speed limitation, force monitoring, will be processed in real time by the KRC. The external safety-related emergency buttons and external safety-related activation buttons (from the handle) will be connected to the KRC and to the application controller via a DeviceNet connection.

Διεπαφή αισθητήρα ρομπότ. Τα δυναμικά δεδομένα της στάσης του ρομπότ και των εντολών κίνησης θα ανταλλάσσονται κυκλικά μέσω της διεπαφής αισθητήρων ρομπότ (RSI). Η διεπαφή RSI σε πραγματικό χρόνο είναι η λύση που θα παρέχουμε για τη σύνδεση του αισθητήρα με τους ελεγκτές του. Οι θεμελιώδεις μηχανισμοί επικοινωνίας δεδομένων συγκεντρώνονται στο RSI, το οποίο θα είναι δομημένο με σπονδυλωτή δομή και θα ενσωματωθεί στη διεπαφή προγραμματισμού του ρομπότ. Robot Sensor Interface. The dynamic data of the robot's posture and movement commands will be exchanged cyclically through the Robot Sensor Interface (RSI). The real-time RSI interface is the solution we will provide for connecting the sensor to its controllers. The fundamental data communication mechanisms are concentrated in the RSI, which will be structured with a modular structure and integrated into the robot programming interface.

Θα υποστηρίζει σύγχρονη και ασύγχρονη μεταφορά δεδομένων με βάση βιομηχανικά πρότυπα επικοινωνίας (Fieldbus, Ethernet). Στην παρούσα έρευνα, η ανταλλαγή δεδομένων μεταξύ του αισθητήρα (στην προκειμένη περίπτωση του οπτικού εντοπιστή) και του ρομπότ θα γίνει με τη χρήση ενός μηνύματος XML. Τα δεδομένα του αισθητήρα θα υποβάλλονται σε επεξεργασία εντός του πυρήνα πραγματικού χρόνου του ελεγκτή ρομπότ με τη χρήση προκαθορισμένων λειτουργικών μονάδων (π.χ. ψηφιακά φίλτρα, μετασχηματισμοί, αλγόριθμοί ελέγχου) που θα συνδυαστούν σε μία βιβλιοθήκη συναρτήσεων. Oι εργασίες επεξεργασίας θα μπορούν να εκτελούνται εντός ενός χρόνου κύκλου παρεμβολής καρτεσιανής κίνησης (12 ms), επιτρέποντας στα σήματα των αισθητήρων να επηρεάζουν την τοποθέτηση του ρομπότ κατά τη διάρκεια των κινήσεων. Για τη μεταφορά δεδομένων XML θα δημιουργηθεί μία σύνδεση TCP/IP από το KCR στον ελεγκτή εφαρμογής. Σε κάθε κύκλο παρεμβολής του KRC ένα πακέτο XML που περιέχει την πραγματική θέση του ρομπότ, τις γωνίες των αρθρώσεων, τις μετρούμενες δυνάμεις των αξόνων και τα ρεύματα του κινητήρα θα σταλεί στον ελεγκτή εφαρμογής. Με βάση αυτά τα δεδομένα, ο ελεγκτής εφαρμογής θα υπολογίσει ένα πακέτο XML που θα περιέχει ένα διάνυσμα διόρθωσης για το TCP. To KRC θα επεξεργαστεί το λαμβανόμενο πακέτο μόνο εάν φτάσει εντός της ίδιας χρονοθυρίδας. It will support synchronous and asynchronous data transfer based on industrial communication standards (Fieldbus, Ethernet). In this research, the data exchange between the sensor (in this case the optical locator) and the robot will be done using an XML message. The sensor data will be processed within the real-time core of the robot controller using predefined functional units (e.g. digital filters, transformations, control algorithms) that will be combined in a function library. The processing operations will be able to be performed within a Cartesian motion interpolation cycle time (12 ms), allowing the sensor signals to influence the robot's positioning during the movements. For the XML data transfer, a TCP/IP connection will be established from the KCR to the application controller. In each interpolation cycle of the KRC an XML packet containing the actual robot position, joint angles, measured axis forces and motor currents will be sent to the application controller. Based on this data, the application controller will calculate an XML packet containing a correction vector for the TCP. The KRC will process the received packet only if it arrives within the same time slot.

Διάγραμμα ροής. Η ακολουθία του προγράμματος του συστήματος παρουσιάζεται στο Σχήμα 6. Μετά την εκκίνηση, ο ελεγκτής εφαρμογής αρχικοποιεί το πρωτόκολλο DeviceNet καί ανοίγει ένα κανάλι επικοινωνίας με το KRC. Oι εσωτερικές μεταβλητές του KRC που επηρεάζουν άμεσα τη διαμόρφωση καί την κίνηση του ρομπότ θα μπορούν να ελέγχονται εξωτερικά από τον ελεγκτή εφαρμογής. Τέτοιες μεταβλητές μπορούν, για παράδειγμα, να ενεργοποιούν/απενεργοποιούν τα φρένα, να ενεργοποιούν μία εξωτερική διακοπή, να επιλέγουν ένα πρόγραμμα, να ειδοποιούν όταν ενεργοποιείται ένα κλείδωμα διαμόρφωσης ή όταν η κινηματική του ρομπότ δεν είναι βαθμονομημένη, κ.λπ. Στη συνέχεια αρχικοποιούνται το joystick και η κάμερα. Για να γίνει αυτό, δημιουργείται ένα κανάλι USB για το joystick και μια σειριακή επικοινωνία για την κάμερα. Στη συνέχεια ξεκινά η αρχικοποίηση του ρομπότ. Αυτό περιλαμβάνει την επιλογή προγράμματος (στο KRC) χρησιμοποιώντας το ανοικτό κανάλι DeviceNet. Στη συνέχεια προσδιορίζονται οι ασφάλειες και απελευθερώνονται τα φρένα του ρομπότ. Το ρομπότ θα μετακινηθεί στη συνέχεια στη προγραμματισμένη αρχική θέση. Ανοίγει ένα κανάλι TCP/IP για την ανταλλαγή δεδομένων μέσω RSI. Μετά από εντολή από τον ελεγκτή εφαρμογής, θα ξεκινήσει η ανταλλαγή δεδομένων RSI. Αυτή αποτελείταί από δύο βρόχους ελέγχου, έναν στον ελεγκτή εφαρμογής που ονομάζεται κεντρικός βρόχος ελέγχου και έναν δεύτερο στο KRC. Χρησιμοποιώντας το RSI, οι βρόχοι ελέγχου ενεργοποιούνται ο ένας από τον άλλο κάθε 12 ms. Σε κάθε κεντρικό βρόχο ελέγχου, ο ελεγκτής εφαρμογής λαμβάνει δεδομένα από το σύστημα πλοήγησης, το χειριστήριο και το τερματικό. Στη συνέχεια στέλνει τα επεξεργασμένα δεδομένα στο KRC, το οποίο με τη σειρά του εκτελεί τις εντολές (ρύθμιση της θέσης του ρομπότ). To KRC στέλνει πίσω ένα πακέτο που περιέχει τις πραγματικές συνθήκες του ρομπότ. Αυτή η ανταλλαγή δεδομένων επαναλαμβάνεται έως ότου ο χρήστης σταματήσει το πρόγραμμα. Εάν υπάρξει καθυστέρηση, η μετάδοση δεδομένων θα διακοπεί και το ρομπότ θα σταματήσει. Ο βρόχος ελέγχου εξηγείται λεπτομερέστερα στην επόμενη ενότητα. Flowchart. The system program sequence is shown in Figure 6. After startup, the application controller initializes the DeviceNet protocol and opens a communication channel with the KRC. The internal variables of the KRC that directly affect the configuration and movement of the robot can be controlled externally by the application controller. Such variables can, for example, activate/deactivate the brakes, activate an external interrupt, select a program, notify when a configuration lock is activated or when the robot kinematics are not calibrated, etc. Then the joystick and the camera are initialized. To do this, a USB channel is created for the joystick and a serial communication for the camera. Then the robot initialization begins. This includes program selection (in the KRC) using the open DeviceNet channel. Then the fuses are specified and the robot brakes are released. The robot will then move to the programmed home position. A TCP/IP channel is opened for data exchange via RSI. After a command from the application controller, the RSI data exchange will start. This consists of two control loops, one in the application controller called the central control loop and a second one in the KRC. Using RSI, the control loops are activated by each other every 12 ms. In each central control loop, the application controller receives data from the navigation system, the control unit and the terminal. It then sends the processed data to the KRC, which in turn executes the commands (adjusting the robot position). The KRC sends back a packet containing the actual conditions of the robot. This data exchange is repeated until the user stops the program. If there is a delay, the data transmission will be interrupted and the robot will stop. The control loop is explained in more detail in the next section.

Βρόχος ελέγχου ρομπότ. Η νέα θέση και ο προσανατολισμός του ρομπότ θα μετρώνται συνεχώς με τη χρήση του βρόχου ελέγχου στο Σχήμα 7. Υπάρχουν δύο τρόποι για τον έλεγχο της στάσης του ρομπότ, είτε με τα δεδομένα που λαμβάνονται από τον οπτικό εντοπιστή είτε με τις εντολές κίνησης που δίνει ο χρήστης μέσω του joystick. Robot control loop. The new position and orientation of the robot will be continuously measured using the control loop in Figure 7. There are two ways to control the robot's attitude, either with data received from the optical locator or with movement commands given by the user via the joystick.

To KRC μεταφέρει μέσω του RSI την πραγματική θέση του ρομπότ (του καρπού) σε συντεταγμένες βάσης του ρομπότ. Η μηχανή κατάστασης ελέγχει ποια λειτουργία ελέγχου έχει επιλεγεί από τον χρήστη. Εάν η πραγματική λειτουργία είναι η "λειτουργία πλοήγησης", ο ελεγκτής διαβάζει τις θέσεις και τους προσανατολισμούς του εργαλείου και της ανατομίας του ασθενούς και χρησιμοποιεί αυτές τις πληροφορίες για να υπολογίζει το σημείο ρύθμισης TCP. Δεδομένης της θέσης του ρομπότ και του σημείου ρύθμισης, ο ελεγκτής εκτιμά τη μετατόπιση χρησιμοποιώντας ορισμένους μετασχηματισμούς. Εάν είναι ενεργοποιημένη η "λειτουργία Joystick", τότε η μετρούμενη τιμή από αυτή τη συσκευή εισόδου θα ληφθεί ως μετατόπιση. Τέλος, σε κάθε περίπτωση, ένας ελεγκτής PID λαμβάνει την τιμή διόρθωσης που πρέπει να σταλεί στο KRC σε συντεταγμένες TCP. The KRC transfers the actual position of the robot (wrist) in robot base coordinates via the RSI. The state machine checks which control mode has been selected by the user. If the actual mode is the “navigation mode”, the controller reads the positions and orientations of the tool and the patient’s anatomy and uses this information to calculate the TCP setpoint. Given the robot position and the setpoint, the controller estimates the displacement using some transformations. If the “Joystick mode” is enabled, then the measured value from this input device will be taken as the displacement. Finally, in each case, a PID controller receives the correction value to be sent to the KRC in TCP coordinates.

Σύνδεση DeviceNet. Μια σύνδεση DeviceNet θα χρησιμοποιηθεί για την κοινή χρήση πρόσθετων εισόδων και εξόδων μεταξύ του ελεγκτή εφαρμογής και του KRC. Αυτές οι είσοδοι/έξοδοι λειτουργούν ανεξάρτητα από την επικοινωνία RSI και θα χρησιμοποιηθούν για την αρχικοποίηση του ελεγκτή KUKA, την κοινή χρήση πρόσθετων πληροφοριών και τη χρήση τους ως διακοπών. Όταν πατηθούν τα κουμπιά ελέγχου του ρομπότ, αυτή η είσοδος μετατρέπεται σε DeviceNet πρωτόκολλο μέσω ενός τερματικού διαύλου (ΒΚ5250, BECKHOFF New Automation Technology GmbH, Verl, Γερμανία) και τελικά μοιράζεται και με τους δύο ελεγκτές. DeviceNet connection. A DeviceNet connection will be used to share additional inputs and outputs between the application controller and the KRC. These inputs/outputs operate independently of the RSI communication and will be used to initialize the KUKA controller, share additional information and use them as interrupts. When the robot control buttons are pressed, this input is converted to DeviceNet protocol via a bus terminal (BK5250, BECKHOFF New Automation Technology GmbH, Verl, Germany) and is ultimately shared with both controllers.

To DeviceNet είναι ένα πρωτόκολλο επικοινωνίας που χρησιμοποιείται στη βιομηχανία αυτοματισμού για τη διασύνδεση συσκευών ελέγχου για την ανταλλαγή δεδομένων. Χρησιμοποιεί ένα δίκτυο περιοχής ελεγκτών ως τεχνολογία κορμού και ορίζει ένα επίπεδο εφαρμογής για την κάλυψη μιας σειράς προφίλ συσκευών. Οι τυπικές εφαρμογές περιλαμβάνουν την ανταλλαγή πληροφοριών, συσκευές ασφαλείας και μεγάλα δίκτυα ελέγχου εισόδου/εξόδου. To DeviceNet είναι ένα αρκετά διαδεδομένο πρότυπο στη βιομηχανία αυτοματισμού και χρησιμοποιείται σε μεγάλο βαθμό για τον έλεγχο ρομπότ χάρη στις δυνατότητές του σε πραγματικό χρόνο. Οι ελεγκτές μας εδώ θα είναι εξοπλισμένοι με μια κάρτα DeviceNet που μπορεί να χρησιμοποιηθεί για την ανταλλαγή πληροφοριών με εξωτερικούς PLC (προγραμματιζόμενους λογικούς ελεγκτές) ή υπολογιστές. DeviceNet is a communication protocol used in the automation industry to interconnect control devices for data exchange. It uses a controller area network as the backbone technology and defines an application layer to cover a range of device profiles. Typical applications include information exchange, safety devices and large I/O control networks. DeviceNet is a fairly widespread standard in the automation industry and is widely used for robot control due to its real-time capabilities. Our controllers here will be equipped with a DeviceNet card that can be used to exchange information with external PLCs (programmable logic controllers) or computers.

Επομένως, θα εγκατασταθεί μια κάρτα DeviceNet slave στον ελεγκτή εφαρμογής για να συνδεθεί με εκείνη του KR C2 lr (Σχήμα 8). Η κάρτα που θα χρησιμοποιηθεί είναι μια κάρτα AnyBus-PCI DeviceNet slave με ρυθμό baud 500 Kbit/sec και 512 προγραμματίζει μένα bytes I/O (HMS Industrial Networks AB, Halmstad, Σουηδία). Τα δεδομένα DeviceNet θα διαμοιράζονται μεταξύ του ελεγκτή εφαρμογής, του ελεγκτή ρομπότ (και του απεικονιστή ρομπότ) και τον τερματικό σταθμό του λεωφορείου (εικόνα 8) . Therefore, a DeviceNet slave card will be installed in the application controller to connect to that of the KR C2 lr (Figure 8). The card to be used is an AnyBus-PCI DeviceNet slave card with a baud rate of 500 Kbit/sec and 512 programmable bytes I/O (HMS Industrial Networks AB, Halmstad, Sweden). The DeviceNet data will be shared between the application controller, the robot controller (and robot imager) and the bus terminal (Figure 8).

Περιηγηθείτε . Για την ανάπτυξη και την αξιολόγηση του ρομποτικού συστήματος θα χρησιμοποιηθεί ένας οπτικός εντοπιστής (Polaris, NDI, Waterloo, ON, Canada). Ένα εμπορικό σύστημα πλοήγησης με σταθμό σχεδιασμού θα χρησιμοποιηθεί σε μία τελική κλινική εγκατάσταση. Ο οπτικός εντοπιστής παρακολουθεί τη θέση και τον προσανατολισμό των δυναμικών πλαισίων αναφοράς (DRF). Αυτά τα πλαίσια έχουν τέσσερις ανακλαστικές σφαίρες, τις οποίες χρησιμοποιεί ο οπτικός εντοπιστής για να παρακολουθεί με ακρίβεια (με τρεις ή περισσότερες σφαίρες, είναι δυνατόν να κατασκευαστεί ένα σύστημα συντεταγμένων με κέντρο μία από τις σφαίρες). Ο ρυθμός ενημέρωσης του οπτικού εντοπιστή που θα χρησιμοποιηθεί θα είναι 120 Hz και προβλέπεται να έχει ακρίβεια εντοπισμού 0,30 mm (rms). Δεδομένου ότι ο βρόχος ελέγχου θα λειτουργεί στα 80-90 Ηz, ένας οπτικός εντοπιστής με υψηλότερο ποσοστό απόκτησης είναι η καλύτερη επιλογή. Θα συνδέσουμε επίσης τον οπτικό εντοπιστή στους ρομποτικούς βραχίονες της αγγειογραφίας. Browse . An optical tracker (Polaris, NDI, Waterloo, ON, Canada) will be used to develop and evaluate the robotic system. A commercial navigation system with a design station will be used in a final clinical setup. The optical tracker tracks the position and orientation of dynamic reference frames (DRFs). These frames have four reflective spheres, which the optical tracker uses to track accurately (with three or more spheres, it is possible to construct a coordinate system centered on one of the spheres). The update rate of the optical tracker to be used will be 120 Hz and is expected to have a tracking accuracy of 0.30 mm (rms). Since the control loop will operate at 80-90 Hz, an optical tracker with a higher acquisition rate is the best choice. We will also connect the optical tracker to the angiography robotic arms.

To TCP βρίσκεται στο κάτω άκρο της υποδοχής της βελόνας. Κατά τη διάρκεια της χειρουργικής επέμβασης, πρέπει να τοποθετηθεί πάνω από την επιφάνεια του δέρματος προς την κατεύθυνση του στόχου προκειμένου να εισαχθεί η βελόνα. Η επιθυμητή θέση του TCP, TCPdes, επιλέγεται στο CT σύνολο δεδομένων (με συντεταγμένες Ima) κατά τη διάρκεια του βήματος σχεδιασμού και μπορεί, εάν είναι απαραίτητο, να αλλάξει με οδηγίες που προέρχονται από το joystick. Ο μετασχηματισμός καταχώρισης PatRefΤIma χρησιμοποιείται για τον προσδιορισμό του μετασχηματισμού TCPdes σε σχέση με το PatRef, όπου το TCPTTCPdes πρέπει να ελαχιστοποιηθεί για να επιτευχθεί η επιθυμητή θέση. The TCP is located at the lower end of the needle socket. During surgery, it must be positioned above the skin surface in the direction of the target in order to insert the needle. The desired position of the TCP, TCPdes, is selected in the CT dataset (with Ima coordinates) during the planning step and can, if necessary, be changed by instructions coming from the joystick. The registration transformation PatRefΤIma is used to determine the TCPdes transformation with respect to PatRef, where TCPTTCPdes must be minimized to achieve the desired position.

Για τον έλεγχο του ρομπότ, η μετατόπιση πρέπει να μετατραπεί σε συντεταγμένες RobWrist. Για να γίνει αυτό, πρέπει πρώτα να γίνει ο μετασχηματισμός βαθμονόμησης RobRefΤRobWrist αξιολογήθηκε. Η αλυσίδα του τελευταίου μετασχηματισμού και ενός απεικονιστή τεσσάρων ρομπότ (στερεοτακτικός) φαίνονται στα Σχήματα 11 και 10β αντίστοιχα. To control the robot, the displacement must be transformed into RobWrist coordinates. To do this, the calibration transformation RobRefТRobWrist must first be evaluated. The chain of the latter transformation and a four-robot (stereotactic) imager is shown in Figures 11 and 10b respectively.

Μετασχηματισμοί συστήματος. Για την καθοδήγηση μιας βελόνας σε μια ανατομική περιοχή, το ρομπότ και η περιοχή-στόχος πρέπει να συσχετίζονται. Για να γίνει αυτό, είναι απαραίτητο να βρεθεί ένας μετασχηματισμός μεταξύ των δύο συστημάτων συντεταγμένων. Στην παρούσα προσέγγιση, ο οπτικός εντοπιστής χρησιμοποιείται ως ενδιάμεση συντεταγμένη. Ο οπτικός εντοπιστής θα παρακολουθεί τόσο την πραγματική θέση του ρομπότ όσο και την πραγματική θέση του ασθενούς. Η πραγματική θέση του ασθενούς που μετράται από τον οπτικό εντοπιστή σε σχέση με την τρισδιάστατη εικόνα πραγματοποιείται κατά τη διαδικασία καταχώρισης. Απαιτείται μια διαδικασία βαθμονόμησης για τη συσχέτιση του ρομπότ με τον οπτικό εντοπιστή. System transformations. To guide a needle into an anatomical region, the robot and the target region must be correlated. To do this, it is necessary to find a transformation between the two coordinate systems. In the present approach, the optical locator is used as an intermediate coordinate. The optical locator will track both the actual position of the robot and the actual position of the patient. The actual position of the patient measured by the optical locator relative to the 3D image is realized during the registration process. A calibration process is required to correlate the robot with the optical locator.

Είσοδος. Σε αντίθεση με τις ορθοπεδικές επεμβάσεις όπου είναι δυνατή η στερέωση ενός DRF στο οστό, οι επεμβάσεις εισαγωγής βελόνας εκτελούνται σε μαλακούς ιστούς. Η άκαμπτη στερέωση δεν είναι δυνατή λόγω της παραμόρφωσης των ιστών. Ως εκ τούτου, θα πρέπει να αναπτυχθεί μια ειδική μέθοδος καταχώρισης. Το σχήμα της συσκευής που θα χρησιμοποιηθεί σε αυτή τη μέθοδο θα μειώσει σημαντικά τα σφάλματα που εισάγονται από την παραμόρφωση των ιστών. Αποτελείται από ένα DRF προσαρτημένο σε ένα πλαίσιο το οποίο έχει κενό χώρο (για την εισαγωγή της βελόνας) στο κέντρο και δείκτες αξονικής τομογραφίας κατανεμημένους σε γνωστή γεωμετρία. Για τη σταθεροποίηση των κινήσεων του ασθενούς χρησιμοποιείται ένας σάκος κενού. Ο μετασχηματισμός από το σύστημα συντεταγμένων DRF στο σύστημα συντεταγμένων CT-δεικτών είναι γνωστός εκ των προτέρων και θα χρησιμοποιηθεί για την εξαγωγή του μετασχηματισμού PatRef Tima που θα καταχωρίσει την εικόνα του ασθενούς στην πλοήγηση σύστημα. Entry. Unlike orthopedic procedures where it is possible to fix a DRF to the bone, needle insertion procedures are performed in soft tissues. Rigid fixation is not possible due to tissue deformation. Therefore, a special registration method should be developed. The shape of the device to be used in this method will significantly reduce the errors introduced by tissue deformation. It consists of a DRF attached to a frame which has an empty space (for needle insertion) in the center and CT markers distributed in a known geometry. A vacuum bag is used to stabilize the patient's movements. The transformation from the DRF coordinate system to the CT-marker coordinate system is known in advance and will be used to derive the PatRef Tima transformation that will register the patient image in the navigation system.

Βαθμονόμηση. Calibration.

Η διαδικασία βαθμονόμησης συνίσταται στην εύρεση του μετασχηματισμού RobRefTRobWrist και του μετασχηματισμού RobRefTTCP. Μόλις εκτιμηθούν αυτοί οι μετασχηματισμοί, ολόκληρη η αλυσίδα μετασχηματισμών του συστήματος είναι γνωστή. Για τον χρήστη, η διαδικασία βαθμονόμησης αποτελείται από δύο απλά βήματα: i. Περιστρέψτε το ρομπότ. Μια μικρή άκρη σιδήρου εισάγεται στη θήκη βελόνας. Το ρομπότ καθοδηγείται χρησιμοποιώντας τη λειτουργία αντιστάθμισης της βαρύτητας και το άκρο του σιδήρου εισάγεται σε μια σταθερή εσοχή. Με τον οπτικό εντοπιστή στραμμένο προς το ρομποτικό εργαλείο, ο χρήστης περιστρέφει το ρομπότ κάνοντας ομαλές περιστροφικές κινήσεις για περίπου 30 δευτερόλεπτα. The calibration process consists of finding the RobRefTRobWrist transformation and the RobRefTTCP transformation. Once these transformations are estimated, the entire chain of transformations of the system is known. For the user, the calibration process consists of two simple steps: i. Rotate the robot. A small iron tip is inserted into the needle holder. The robot is guided using the gravity compensation function and the iron tip is inserted into a fixed recess. With the optical locator pointed towards the robotic tool, the user rotates the robot in smooth rotational movements for about 30 seconds.

ii. Αυτόματη ακολουθία. Ένα DRF αναφοράς τοποθετείται κοντά στη βάση του ρομπότ (πάντα εντός του όγκου μέτρησης της κάμερας). Κατά την επιλογή του χρήστη, το ρομπότ ακολουθεί μια ακολουθία κινήσεων. ii. Automatic sequencing. A reference DRF is placed near the base of the robot (always within the camera measurement volume). At the user's choice, the robot follows a sequence of movements.

iii. Εσωτερικά, κατά τη διάρκεια του βήματος περιστροφής, εκτιμώνται τα RobWristPTCP και RobRefPTCP. Και τα δύο είναι απαραίτητα για τον υπολογισμό του RobRefTRobWrist. Στην αυτόματη ακολουθία, εκτελείται ένας αλγόριθμος για τον υπολογισμό του RobRefTRobWrist. iii. Internally, during the rotation step, RobWristPTCP and RobRefPTCP are estimated. Both are necessary to calculate RobRefTRobWrist. In the automatic sequence, an algorithm is executed to calculate RobRefTRobWrist.

Η μέθοδος βαθμονόμησης που θα εφαρμοστεί στην παρούσα έρευνα είναι παρόμοια με εκείνη που χρησιμοποιήθηκε στις εφαρμογές ιατρικής ρομποτικής με παρόμοιες συσκευές. Η μέθοδος αυτή συνίσταται στην εύρεση του μετασχηματισμού από ένα σταθερό DRF (Ref) στο σύστημα συντεταγμένων της βάσης ρομπότ RobBase, RefTRobBase, το οποίο είναι χρήσιμο μόνο για τη βαθμονόμηση. The calibration method that will be applied in this research is similar to the one used in medical robotics applications with similar devices. This method consists of finding the transformation from a fixed DRF (Ref) to the RobBase robot base coordinate system, RefTRobBase, which is useful only for calibration.

Τρόποι ελέγχου του χρήστη. Θα σχεδιαστεί μια γραφική διεπαφή χρήστη (GUI) για την εύκολη επιλογή των λειτουργιών του ρομπότ (Εικόνα 13). Οι συντεταγμένες του στόχου σε σχέση με τον ασθενή θα είναι επίσης αναγνώσιμος από ένα αρχείο κειμένου. Θα ενημερώνει επίσης τον χρήστη όταν το ρομπότ καί ο ασθενής δεν είναι ορατοί από την κάμερα πλοήγησης. Η πραγματική απόσταση από το TCP έως τον στόχο θα εμφανίζεται συνεχώς. User control methods. A graphical user interface (GUI) will be designed for easy selection of robot functions (Figure 13). The coordinates of the target relative to the patient will also be readable from a text file. It will also inform the user when the robot and the patient are not visible from the navigation camera. The actual distance from the TCP to the target will be displayed continuously.

Στη συνέχεια εξηγούνται οι λειτουργίες ελέγχου του χρήστη. Μόνο το joystick θα επιτραπεί. Σε αυτή τη λειτουργία ελέγχου το TCP μπορεί να μετακινηθεί σε καρτεσιανές συντεταγμένες σύμφωνα με σχήμα14. Μια κίνηση του joystick προς τα αριστερά αντιστοιχεί σε κίνηση του ρομπότ προς τα αριστερά και ούτω καθεξής για κινήσεις προς τα δεξιά, προς τα εμπρός και προς τα πίσω. Με το πάτημα των πλευρικών κουμπιών του joystick το ρομπότ μπορεί να κινείται εμπρός και πίσω κατά μήκος της κατεύθυνσης της βελόνας (κατεύθυνση x στις συντεταγμένες TCP) με σταθερή ταχύτητα. Το ρομπότ θα υπολογίσει εσωτερικά όλους τους απαραίτητους μετασχηματισμούς. Εάν ο χρήστης θέλει να αλλάξει τον προσανατολισμό του TCP (αλλά να διατηρήσετε τη θέση), αρκεί να πατήσετε το επάνω κουμπί του joystick για να ξεκινήσει η κίνηση κατά μήκος των a και b (βλέπε εικόνα 14). The user control functions are explained below. Only the joystick will be allowed. In this control mode the TCP can be moved in Cartesian coordinates according to figure 14. A movement of the joystick to the left corresponds to a movement of the robot to the left and so on for movements to the right, forward and backward. By pressing the side buttons of the joystick the robot can move back and forth along the direction of the needle (x direction in TCP coordinates) at a constant speed. The robot will internally calculate all the necessary transformations. If the user wants to change the orientation of the TCP (but keep the position), it is enough to press the top button of the joystick to start the movement along a and b (see figure 14).

Αυτόματος προσανατολισμός. Μόλις επιλεγεί αυτή η λειτουργία, το ρομπότ θα προσανατολίσει αυτόματα το TCP στο στόχο, όπως φαίνεται στην Εικόνα 15. Εξακολουθεί να είναι δυνατή η αλλαγή της θέσης του TCP χρησιμοποιώντας το joystick όπως στη "λειτουργία μόνο με joystick", αλλά μόλις το joystick αφεθεί ελεύθερο (επιτυγχάνεται μια νέα επιθυμητή θέση), το ρομπότ θα προγραμματιστεί να επαναπροσανατολιστεί δείχνοντας προς το στόχο, αλλά τώρα από μια νέα οπτική γωνία. Αυτή η λειτουργία ελέγχου είναι αρκετά χρήσιμη για την εύρεση νέων σημείων εισόδου. Κατά τη διάρκεια της διαδικασίας, ο ακτινολόγος θα μπορεί να μετακινείται σε διαφορετικά σημεία εισόδου και να αποφασίσετε ποιο από τα δύο θα ήταν καταλληλότερο. Αυτός ο τρόπος ελέγχου μπορεί να είναι πιο χρήσιμος για τους ακτινολόγους από την αναφερόμενη μέθοδο RCM, όπου μπορεί να επιλεγεί μόνο ένα σημείο εισόδου (διαφορετικά πρέπει να επαναληφθεί ολόκληρη η καρτεσιανή τοποθέτηση, η οποία περιλαμβάνει τη χειροκίνητη μετακίνηση του ρομπότ σε διαφορετική θέση στο δέρμα και στη συνέχεια την προσπάθεια περιστροφής του ξανά). Αυτόματος προσανατολισμός με σταθερή απόσταση: η μόνη διαφορά είναι ότι ο χρήστης μπορεί να αποφασίσει για την απόσταση της τροχιάς. Η επιθυμητή απόσταση μπορεί να εισαχθεί από τον χρήστη στο GUI. Automatic orientation. Once this mode is selected, the robot will automatically orient the TCP to the target, as shown in Figure 15. It is still possible to change the position of the TCP using the joystick as in the “joystick only mode”, but once the joystick is released (a new desired position is achieved), the robot will be programmed to reorient itself pointing towards the target, but now from a new perspective. This control mode is quite useful for finding new entry points. During the procedure, the radiologist will be able to move to different entry points and decide which one would be more suitable. This way of control may be more useful for radiologists than the mentioned RCM method, where only one entry point can be selected (otherwise the entire Cartesian positioning must be repeated, which involves manually moving the robot to a different position on the skin and then trying to rotate it again). Automatic orientation with fixed distance: the only difference is that the user can decide on the distance of the trajectory. The desired distance can be entered by the user in the GUI.

Αυτόματος προσανατολισμός στο επίπεδο: Με την επιλογή αυτής της λειτουργίας, το TCP μπορεί να κινείται με το joystick μόνο κατά μήκος ενός νοητού επιπέδου που τοποθετείται πάνω από το δέρμα του ασθενούς. To TCP εξακολουθεί να είναι προσανατολισμένο προς το στόχο ανά πάσα στιγμή. Automatic plane orientation: By selecting this mode, the TCP can only be moved with the joystick along an imaginary plane placed over the patient's skin. The TCP remains oriented towards the target at all times.

Προγραμματισμός των αναμενόμενων αποτελεσμάτων. Θα πραγματοποιηθούν προκαταρκτικές δοκιμές ακρίβειας των στοιχείων και των διαδικασιών που αναπτύχθηκαν. Το συνολικό σφάλμα της αλυσίδας θα περιλαμβάνει τα σφάλματα που εισάγονται από το σύστημα απεικόνισης, τον προγραμματισμό, την καταγραφή των ασθενών καί μη αναγνωρισμένες κινήσεις ιστών του ασθενούς. Πρόσθετα σφάλματα θα εισαχθούν από το ρομποτικό σύστημα καί τη σύνδεσή του με το σύστημα πλοήγησης, δηλαδή κινηματικό σφάλμα του ρομπότ, σφάλμα βαθμονόμησης του ρομπότ, σφάλμα μέτρησης του συστήματος πλοήγησης καί σφάλμα βαθμονόμησης του οργάνου. Τα σφάλματα αυτά θα αξιολογηθούν σε τρία πειράματα- αρχικά με ομοιώματα. Τα δύο πρώτα πειράματα, δηλαδή η αξιολόγηση των κινηματικών σφαλμάτων καί το σφάλμα του συστήματος απεικόνισης, θα εκτιμηθεί κατά πόσον το σύστημα θα είναι σε θέση να επιτύχει ακρίβεια τοποθέτησης παρόμοια με εκείνη της οπτικής παρακολούθησης, 0,30 mm (rms). Programming of expected results. Preliminary accuracy tests of the developed components and procedures will be performed. The total error of the chain will include the errors introduced by the imaging system, programming, patient registration and unrecognized tissue movements of the patient. Additional errors will be introduced by the robotic system and its connection to the navigation system, namely robot kinematic error, robot calibration error, navigation system measurement error and instrument calibration error. These errors will be evaluated in three experiments - initially with dummies. The first two experiments, namely the evaluation of kinematic errors and the imaging system error, will assess whether the system will be able to achieve positioning accuracy similar to that of optical tracking, 0.30 mm (rms).

Δοκιμές ακρίβειας για τη στόχευση μίας βελόνας. Οι μετρήσεις αυτές θα πραγματοποιηθούν με τη χρήση μιας ειδικά σχεδιασμένης συσκευής δοκιμής και μιας αγγειογραφικής στερεοτακτικής στο σύστημα απεικόνισης για την απεικόνιση των σφαλμάτων. Η συσκευή δοκιμής αποτελείται από μια σειρά από ράβδους με αιχμές που κατανέμονται σε διάφορες θέσεις, όπως αυτή που φαίνεται στην εικόνα 16. Το ύψος των πέντε υψηλότερων ράβδων πρέπει να είναι 40 mm (από τη βάση έως την άκρη), ενώ το ύψος των τεσσάρων χαμηλότερων ράβδων πρέπει να είναι 25 mm (τα ύψη αυτά μπορούν να ποικίλλουν). Στη μία πλευρά της συσκευής δοκιμής τοποθετείται ένα DRF. Οι αποστάσεις από το DRF συστήματος συντεταγμένων στα άκρα των ράβδων πρέπει να είναι γνωστά εκ των προτέρων. Η κατασκευαστική ακρίβεια του προσαρτήματος δοκιμής πρέπει να είναι περίπου 0,01 mm. Accuracy tests for needle targeting. These measurements will be performed using a specially designed test device and an angiographic stereotactic in the imaging system to visualize the errors. The test device consists of a series of rods with spikes distributed in various positions, as shown in Figure 16. The height of the five highest rods shall be 40 mm (from base to tip), while the height of the four lowest rods shall be 25 mm (these heights may vary). A DRF shall be placed on one side of the test device. The distances from the coordinate system DRF to the ends of the rods shall be known in advance. The manufacturing accuracy of the test fixture shall be approximately 0.01 mm.

Οι διάφορες συσκευές και τα αντικείμενα βαθμονόμησης φαίνονται στα σχήματα 16, 16a, 16b, 16c, 16d. The various calibration devices and objects are shown in figures 16, 16a, 16b, 16c, 16d.

Για το πείραμα, το καροτσάκι με το ρομποτικό σύστημα θα τοποθετηθεί στη μία πλευρά 30 του χειρουργικού τραπεζιού. Το ρομποτικό εργαλείο θα τοποθετηθεί πάνω από τη συσκευή δοκιμής, η οποία θα τοποθετηθεί στο χειρουργικό τραπέζι χρησιμοποιώντας τη λειτουργία αντιστάθμισης της βαρύτητας. Χρησιμοποιώντας τη γραφική διεπαφή χρήστη, το ρομποτικό σύστημα θα προγραμματιστεί με τη θέση του επιλεγμένου άκρου. To TCP θα τοποθετηθεί αναλόγως πάνω από το επιλεγμένο άκρο χρησιμοποιώντας τη λειτουργία ελέγχου joystick. Μετά από έναν αυτόματο προσανατολισμό εντολής, που επιλέγεται στο GUI, το ρομπότ θα προσανατολίσει το TCP προς το στόχο. Η γωνία από την κατακόρυφο της ράβδου προς το TCP θα εκτιμηθεί και δεν θα πρέπει να υπερβαίνει τις 45 μοίρες. Το πείραμα θα διεξαχθεί χρησιμοποιώντας διαφορετικά μήκη τροχιάς σε κάθε ράβδο (30-60 mm). Στη συνέχεια, το ρομπότ θα σταματήσει με την εφαρμογή των φρένων του ρομπότ και θα εισαχθεί βελόνα 150 mm με διάμετρο 2 mm μέχρι την άκρη φτάνει στην κορυφή της ράβδου. Θα πραγματοποιηθεί αξονική τομογραφία (20 s, εύρος περιστροφής 200°) και θα ανακατασκευαστεί με τη μέθοδο CBCT. Το σφάλμα απόστασης θα ορίζεται ως η μετρούμενη απόσταση από το άκρο της βελόνας έως το άκρο της ράβδου στις εικόνες αξονικής τομογραφίας. For the experiment, the cart with the robotic system will be placed on one side 30 of the operating table. The robotic tool will be placed above the test device, which will be placed on the operating table using the gravity compensation function. Using the graphical user interface, the robotic system will be programmed with the position of the selected limb. The TCP will be positioned accordingly above the selected limb using the joystick control function. After an automatic orientation command, selected in the GUI, the robot will orient the TCP towards the target. The angle from the vertical of the rod to the TCP will be estimated and should not exceed 45 degrees. The experiment will be conducted using different track lengths on each rod (30-60 mm). The robot will then be stopped by applying the robot brakes and a 150 mm needle with a diameter of 2 mm will be inserted until the tip reaches the top of the rod. A CT scan will be performed (20 s, rotation range 200°) and reconstructed using the CBCT method. The distance error will be defined as the measured distance from the tip of the needle to the tip of the rod in the CT images.

Το πείραμα θα επαναληφθεί με προσέγγιση από πέντε διαφορετικές κατευθύνσεις για όλες τις ράβδους καί άλλα αντικείμενα βαθμονόμησης, με αποτέλεσμα να προκόψει μία σειρά μετρήσεων. Η μέση τετραγωνική ρίζα του σφάλματος εντοπισμού erms με την τυπική του απόκλιση ο καί η ελάχιστη και η μέγιστη απόκλιση emin καί emax αντίστοιχα από τις μετρήσεις αυτές θα δημιουργηθούν καί θα συζητηθούν. The experiment will be repeated with an approach from five different directions for all the rods and other calibration objects, resulting in a series of measurements. The root mean square error of the location erms with its standard deviation ω and the minimum and maximum deviations emin and emax respectively from these measurements will be generated and discussed.

Επιθυμητά αποτελέσματα/προοπτικές. Στην παρούσα έρευνα θα παρουσιαστεί ένα πλήρως αισθητικοποιημένο ρομποτικό σύστημα για χειρουργικές επεμβάσεις. Αυτού του είδους τα συστήματα σε μεγάλο βαθμό εξαρτώνται από πληροφορίες από διάφορους αισθητήρες. Ως εκ τούτου, στην παρούσα εργασία το κύριο βάρος πέφτει στην τεχνολογία των αισθητήρων που χρησιμοποιούνται. Το ρομποτικό σύστημα θα προσαρμοστεί για την τοποθέτηση βελονών σε ανατομικές περιοχές όπως το ήπαρ, οι νεφροί και οι πνεύμονες. Σε αυτούς τους τύπους διαδικασιών, απαιτείται συνήθως μια διαδικασία επεμβατικής ακτινολογίας για την απεικόνιση του στόχου. Το σύστημα θα χρησιμοποιεί έναν οπτικό εντοπιστή για τον έλεγχο του ρομπότ και τον εντοπισμό του ασθενούς. Για την απεικόνιση του στόχου θα χρησιμοποιηθεί ένα FD-CT με ρομποτική καθοδήγηση ( και σε δεύτερη φάση ένα στερεοστατικό σύστημα με τέσσερα ρομπότ), το οποίο δίνει στα συστήματα την ευελιξία να κινούνται κατά μήκος του τραπεζιού του ασθενούς με τη χρήση joysticks και πεντάλ. Η κινητή ρομποτική πλατφόρμα που θα αναπτυχθεί μπορεί εύκολα να τοποθετηθεί σε μια διεγχειρητική εφαρμογή. Το παρόν ρομπότ παροχής στρατηγικών ελέγχου επιτρέπουν τον χειροκίνητο χειρισμό του ρομπότ. Για λεπτές κινήσεις, το ρομπότ θα μπορεί να χειρίζεται μέσω joystick ενώ ο στόχος είναι σταθερός, βοηθώντας τον κλινικό ιατρό να επιλέξει διαφορετικά σημεία εισόδου. Η αυτοσυναρμολογούμενη θήκη εργαλείων θα μπορεί να υποστηρίζει διαφορετικούς τύπους εργαλείων για διαφορετικές λειτουργίες του ρομπότ. Θα αναπτυχθεί ειδικά ένας ελεγκτής εφαρμογής για χειρουργικές εφαρμογές που απαιτούν απόκριση σε πραγματικό χρόνο. Ο έλεγχος σε πραγματικό χρόνο θα είναι δυνατός χάρη στο RSI-Ethernet. Desired results/prospects. In this research, a fully sensoryized robotic system for surgical procedures will be presented. Such systems are largely dependent on information from various sensors. Therefore, in this work, the main emphasis falls on the sensor technology used. The robotic system will be adapted for needle placement in anatomical areas such as the liver, kidneys and lungs. In these types of procedures, an interventional radiology procedure is usually required to image the target. The system will use an optical locator to control the robot and locate the patient. A robotically guided FD-CT (and in a second phase a stereotactic system with four robots) will be used for target imaging, which gives the systems the flexibility to move along the patient table using joysticks and pedals. The mobile robotic platform to be developed can be easily placed in an intraoperative application. The present robot provides control strategies that allow manual manipulation of the robot. For fine movements, the robot can be operated via a joystick while the target is fixed, helping the clinician to select different entry points. The self-assembling tool holder can support different types of tools for different robot functions. An application controller will be developed specifically for surgical applications that require real-time response. Real-time control will be possible thanks to RSI-Ethernet.

Λόγω της ύπαρξης διαφορετικών τμημάτων του συστήματος, δηλαδή του ρομποτικού βραχίονα, του ρομποτικού FD-CT, του ρομποτικού απεικονιστή και του οπτικού εντοπιστή, θα απαιτηθεί διαδικασία βαθμονόμησης. Για τον κλινικό ιατρό, αυτή η διαδικασία βαθμονόμησης θα είναι εύκολο να εκτελεστεί χωρίς την ανάγκη τεχνικής βοήθειας. Μόλις ολοκληρωθεί η βαθμονόμηση, θα επιβεβαιωθεί οπτικά ότι το ρομπότ αντιδρά ταχύτερα στις νέες προγραμματισμένες θέσεις. Στη σταθερή κατάσταση δεν θα πρέπει να υπάρχουν σημαντικές ταλαντώσεις. Όταν το πλαίσιο αναφοράς του ασθενούς μετακινείται χειροκίνητα με αργές κινήσεις, το ρομπότ θα πρέπει να αντικατοπτρίζει την κίνηση ομαλά. Για μεγάλες κινήσεις το ρομπότ θα πρέπει να αντιδρά αρκετά γρήγορα για να αντικατοπτρίζει τις κινήσεις χρησιμοποιώντας φίλτρα Kalman και έναν οπτικό εντοπιστή με ταχύτερη συχνότητα (100-400 Hz) για βέλτιστη απόκριση. Κατά τη στόχευση σημείων με το ρομποτικό σύστημα θα υπάρξει μια ολόκληρη αλυσίδα σφαλμάτων. Το σημαντικότερο σφάλμα μεταξύ του σφάλματος βαθμονόμησης του ρομπότ, του σφάλματος οπτικού εντοπισμού, του σφάλματος κατασκευής της συσκευής δοκιμής καί του σφάλματος ανακατασκευής της εικόνας θα αξιολογηθεί διεξοδικά. Το αποδεκτό σφάλμα του 1,0 mm με τυπική απόκλιση ±0,5 mm θα είναι το ανώτερο όριο συστολής, αλλά η συσκευή θα πρέπει να ρυθμιστεί ώστε να μειωθεί κατά 50%. Η χρήση διαφορετικών καμερών πλοήγησης με μεγαλύτερη ακρίβεια και μικρότερο ρομπότ θα δοκιμαστεί επίσης για να επαληθευτούν τυχόν βελτιώσεις στην ακρίβεια. Μια καλλιτεχνική απεικόνιση ενός εναλλακτικού σχεδιασμού μιας χειρουργικής περιοχής που θα περιλαμβάνει το σύστημα ORTHOS που παρέχεται εδώ παρουσιάζεται στο Σχήμα 18. Due to the existence of different parts of the system, namely the robotic arm, the robotic FD-CT, the robotic imager and the optical locator, a calibration procedure will be required. For the clinician, this calibration procedure will be easy to perform without the need for technical assistance. Once the calibration is complete, it will be visually confirmed that the robot reacts faster to the new programmed positions. In the steady state, there should be no significant oscillations. When the patient’s frame of reference is manually moved with slow movements, the robot should mirror the movement smoothly. For large movements, the robot should react fast enough to mirror the movements using Kalman filters and an optical locator with a faster frequency (100-400 Hz) for optimal response. When targeting points with the robotic system, there will be a whole chain of errors. The most important error between the robot calibration error, the optical localization error, the test device manufacturing error and the image reconstruction error will be thoroughly evaluated. The acceptable error of 1.0 mm with a standard deviation of ±0.5 mm will be the upper limit of contraction, but the device should be adjusted to reduce it by 50%. The use of different navigation cameras with higher accuracy and a smaller robot will also be tested to verify any improvements in accuracy. An artistic depiction of an alternative design of a surgical area that would include the ORTHOS system provided here is shown in Figure 18.

ΣΥΝΤΟΜΗ ΠΕΡΙΓΡΑΦΗ ΤΩΝ ΣΧΕΔΙΩΝ BRIEF DESCRIPTION OF THE PROJECTS

Το Σχήμα 1 παρουσιάζει ένα σκαρίφημα ενός πλήρως ολοκληρωμένου συστήματος για διαδερμικές επεμβάσεις. Figure 1 shows a sketch of a fully integrated system for percutaneous procedures.

Το Σχήμα 2 δείχνει μια ρύθμιση του συστήματος που μπορεί να γίνει με διαφορετικούς τύπους ρομπότ πλοήγησης για πιθανή ενσωμάτωση στην επεμβατική σουίτα. Figure 2 shows a system setup that can be done with different types of navigation robots for possible integration into the interventional suite.

Το σχήμα 3 δείχνει μια εικόνα της παρούσας διάταξης του σχεδιαστή για την κινητή πλατφόρμα ρομπότ με τοποθετημένο το ORTHOS. Εικόνα 4. Ένα DRF όπως αυτό που φαίνεται εδώ από μια άλλη εφαρμογή θα προσαρτηθεί στο εργαλείο προκειμένου να παρακολουθείται από το σύστημα πλοήγησης- το εργαλείο θα σχεδιαστεί αυτόνομο. Τα μέρη με μπεζ χρώμα θα είναι κατασκευασμένα από PEEK για να εξασφαλίζεται η απεικόνιση χωρίς τεχνουργήματα. Figure 3 shows a picture of the current designer layout for the mobile robot platform with the ORTHOS mounted. Figure 4. A DRF like the one shown here from another application will be attached to the tool to be tracked by the navigation system - the tool will be designed autonomously. The beige colored parts will be made of PEEK to ensure artifact-free imaging.

Το Σχήμα 4 δείχνει την αρχιτεκτονική ελέγχου, όπου ο ελεγκτής της εφαρμογής θα λαμβάνουν πληροφορίες από τα διάφορα εξαρτήματα του συστήματος και τις χρησιμοποιούν για τον έλεγχο του ρομποτικού βραχίονα. Figure 4 shows the control architecture, where the application controller will receive information from the various system components and use it to control the robotic arm.

Το Σχήμα 5 δείχνει Κατά την αρχικοποίηση, θα ανοίξουν όλα τα κανάλια που είναι απαραίτητα για την επικοινωνία του ελεγκτή εφαρμογής με τα κύρια στοιχεία του συστήματος. Στη συνέχεια, ο ελεγκτής εφαρμογής και το KRC ανταλλάσσουν πληροφορίες μέσω του RSI για τον έλεγχο της κίνησης του ρομπότ, (δεξιά) Σχήμα 7. Βρόχος ελέγχου για το χειρισμό της στάσης του ρομπότ στον ελεγκτή εφαρμογής. Figure 5 shows During initialization, all channels necessary for the application controller to communicate with the main system components will be opened. Then, the application controller and the KRC exchange information via RSI to control the robot's movement, (right) Figure 7. Control loop for handling the robot's posture in the application controller.

Το σχήμα 6 δείχνει τη σύνδεση DeviceNet. Τα δεδομένα στο δίαυλο μπορούν να εγγραφούν/διαβαστούν από οποιαδήποτε από τις συνδεδεμένες κάρτες. Figure 6 shows the DeviceNet connection. Data on the bus can be written/read by any of the connected cards.

Το σχήμα 7 δείχνει όλα τα συστήματα συντεταγμένων. Ω οπτικός εντοπιστής μετρά τους μετασχηματισμούς CamTRobRef και το DRF αδύναμο CamTRobRef σε συντεταγμένες κάμερας. Η λήψη του μετασχηματισμού PatRefTlma είναι ο στόχος της διαδικασίας καταχώρισης. Figure 7 shows all coordinate systems. The optical locator measures the CamTRobRef transformations and the DRF weak CamTRobRef in camera coordinates. Obtaining the PatRefTlma transformation is the goal of the registration process.

Το Σχήμα 8 δείχνει το Εναλλακτικά, μια διάταξη στερεοτακτικότητας τεσσάρων ρομπότ θα χρησιμοποιηθεί για την αντιμετώπιση προβλημάτων που σχετίζονται με τη μεγέθυνση, την απόκρυψη και την παράλλαξη. Figure 8 shows the Alternatively, a four-robot stereotactic array will be used to address problems related to magnification, occlusion, and parallax.

Το Σχήμα 9 δείχνει το μετασχηματισμό μετατόπισης σε συντεταγμένες RobWrist. Figure 9 shows the displacement transformation in RobWrist coordinates.

Το σχήμα 10 δείχνει ένα βιομηχανικό joystick όπως αυτό της εικόνας που θα κατασκευαστεί για να μετακινήσει το TCP σε καρτεσιανές συντεταγμένες. Με το πάτημα του επάνω κουμπιού του joystick θα είναι δυνατή η περιστροφή του TCP. Figure 10 shows an industrial joystick like the one in the image that will be built to move the TCP in Cartesian coordinates. Pressing the top button of the joystick will allow the TCP to be rotated.

Το σχήμα 11 δείχνει ότι στη λειτουργία αυτόματου προσανατολισμού το ρομπότ θα προσανατολίσει το TCP σε σχέση με το στόχο κάθε φορά μετά την εκτέλεση μιας κίνησης του joystick. Εάν ο ασθενής κινηθεί, το ρομπότ θα αντιδράσει και θα αντισταθμίσει την κίνηση του ασθενούς και θα επαναπροσανατολιστεί προς τον στόχο. Figure 11 shows that in the automatic orientation mode the robot will orient the TCP relative to the target each time after a joystick movement is performed. If the patient moves, the robot will react and compensate for the patient's movement and reorient itself towards the target.

Στο σχήμα 12 παρουσιάζεται ένας κύβος βαθμονόμησης δείγματος για τη βαθμονόμηση της παρούσας διάταξης με ακρίβεια κατασκευής 0,01 mm. Figure 12 shows a sample calibration cube for calibrating the present device with a manufacturing accuracy of 0.01 mm.

Το σχήμα 13 δείχνει μια εναλλακτική συσκευή δοκιμών ακρίβειας με πολλαπλά σημεία βαθμονόμησης μεταβλητής γεωμετρίας σε συνδυασμό με τα δύο ρομπότ απεικόνισης. Στο Σχήμα 14 παρουσιάζεται ένα στερεοτακτικό σύστημα τεσσάρων ρομπότ για πειράματα ακρίβειας με δύο πομπούς και δύο ανιχνευτές για την ολοκλήρωση της δοκιμής τρισδιάστατης στερεοτακτικότητας . Figure 13 shows an alternative precision testing device with multiple variable geometry calibration points in combination with the two imaging robots. Figure 14 shows a four-robot stereotactic system for precision experiments with two transmitters and two detectors to complete the 3D stereotactic testing.

Το σχήμα 15 δείχνει ένα εναλλακτικό σύστημα βαθμονόμησης της στατικής και δυναμικής ακρίβειας. Figure 15 shows an alternative system for calibrating static and dynamic accuracy.

Στο Σχήμα 16 παρουσιάζονται προηγμένα συστήματα για στατική και δυναμική βαθμονόμηση ακρίβειας πέρα από το επίπεδο του χιλιοστού έως το επίπεδο των 10 μικρομέτρων. Figure 16 presents advanced systems for static and dynamic accuracy calibration beyond the millimeter level to the 10 micrometer level.

Το σχήμα 17 δείχνει έναν εναλλακτικό σχεδίασμά της παρούσας χειρουργικής σουίτας που περιλαμβάνει το σύστημα χειρουργικής καθοδήγησης ORTHOS. Figure 17 shows an alternative design of the present surgical suite that includes the ORTHOS surgical guidance system.

Claims

1. Robotic imaging system for surgical planning and intraoperative navigation consisting of

two coordinated robotic arms, where the first performs the surgical task and the second pair of robots provides precise visualization of the target.

A controller

An application controller

One screen

A joystick controller

2. A robotic imaging system for surgical planning and intraoperative navigation, as described in claim 1, wherein the first robotic arm performing the surgical task has seven rotational joints, each of which has a torque sensor integrated in it for measuring the applied forces.

3. A robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, wherein all components are constructed on a mobile cart.

A robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, wherein the controller is a real-time controller.

5. A robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, wherein the display may be a touch screen.

6. A robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, wherein the joystick controller may be an industrial joystick controller.

7. A robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, wherein a third arm can be added as an imaging display.

8. A robotic imaging system for surgical planning and intraoperative navigation, as described in claim 7, wherein a fourth arm can be added as an imaging display.

9. Robotic imaging system for surgical planning and intraoperative navigation, as described in the preceding claims, including laboratory data with diagnostic equipment for the heart - Cathlab.

10. An intraoperative method for using the system for robotic imaging, as described in the preceding claims, with the following steps:

a) The patient is stabilized on the CT table and a patient image recording device is placed.

b) A 3D scan is obtained with the robotic angiography system, while the reconstructed CT images are immediately transferred to the navigation system.

c) Once the images are displayed on a screen, the clinician will determine the entry points and target points.

d) The robotic cart is placed next to the patient and the physician lifts the robot by hand, activates the interactive positioning control and moves the robot arm until the tip of the tool is over the entry point.

e) Once the clinician activates the kill switch, the robot orients the needle holder to the programmed target, if required, the entry point can be repositioned using a joystick using the target rotation option,

g) The needle is inserted manually by the clinician using the robot's needle holder as a guide - a confirmation scan with fluoroscopy or full 3D CT scan can be performed, h) Once the needle hits the target, a tissue sample can be taken or, in the case of resection, treatment can be performed.