DE102006035292B4

DE102006035292B4 - Verfahren und System zum Übertragen von positionszugeordneten Informationen aus einer virtuellen in eine tatsächliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen Realität sowie Verwendung eines solchen Systems

Info

Publication number: DE102006035292B4
Application number: DE102006035292A
Authority: DE
Inventors: Rainer Konietschke
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2006-07-26
Filing date: 2006-07-26
Publication date: 2010-08-19
Anticipated expiration: 2026-07-27
Also published as: DE102006035292A1

Abstract

Verfahren zum Übertragen von positionszugeordneten Informationen aus einer virtuellen räumlichen Realität in eine tatsächliche räumliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen räumlichen Realität, bei welchem Verfahren die in der virtuellen Realität aufgenommenen Informationen in Bezug auf ein der virtuellen Realität zugeteiltes Koordinatensystem bestimmt werden und zur Darstellung in der tatsächlichen Realität eine Registrierung vorgenommen wird, bei der eine Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems (6) transformiert, so dass die in die tatsächliche Realität zu übertragenden positionszugeordneten Informationen in dieser transformationsgetreu mittels einer Anzeigevorrichtung angezeigt werden, die eine einen Lichtstrahl (5) aussendende Lichtquelle (3) enthält, deren Position in der tatsächlichen Realität mittels des Trackingsystems (6) ermittelt wird, dadurch gekennzeichnet, dass aus der ermittelten Position der Lichtquelle (3) und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung einer in der Anzeigevorrichtung zur Ablenkung...

Description

Die Erfindung betrifft ein Verfahren zum Übertragen von positionszugeordneten Informationen aus einer virtuellen räumlichen Realität in eine tatsächliche räumliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen räumlichen Realität, wobei die in der virtuellen Realität aufgenommenen Informationen in Bezug auf ein der virtuellen Realität zugeteiltes Koordinatensystem bestimmt werden und zur Darstellung in der tatsächlichen Realität eine Registrierung vorgenommen wird, bei der eine Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden.
Die Erfindung betrifft auch ein System zur Durchführung des Verfahrens, sowie eine Verwendung dieses Systems.
Ein wichtiges und beispielhaftes Anwendungsgebiet des durch die Erfindung zu schaffenden Verfahrens soll im Bereich der minimalinvasiven chirurgischen Operationen, also sogenannter ”Schlüsselloch”-Operationen liegen, bei denen mit langen, stabförmigen medizinischen Instrumenten durch künstlich erstellte Körperöffnungen hindurch operiert wird. Vor der eigentlichen Durchführung solcher minimalinvasiver Operationen ist eine präoperative Planung erforderlich, da der Ort auf der Körperoberfläche, an welchem der Chirurg den Einstichpunkt in den Körper des Patienten setzt, großen Einfluss auf die Erreichbarkeit der Stelle hat, an der innerhalb des Körpers operiert werden soll. Daher ist es wichtig, vor der Operation anhand von präoperativem Bildmaterial, wie z. B. Computertomographie(CT)-Daten, zu untersuchen, wo an der Körperoberfläche ein oder mehrere Einstichpunkte liegen sollten.
Das Ergebnis der präoperativen Phase sind in diesem Fall die Koordinaten der Einstichpunkte relativ zu demjenigen Koordinatensystem, in dem die präoperativen Daten aufgenommen wurden.
Damit dann im Operationssaal die Koordinaten der Einstichpunkte auf der Körperoberfläche des Patienten eingezeichnet werden können, wird im allgemeinen ein Trackingsystem verwendet, das es ermöglicht, die Lage von Gegenständen im Raum relativ zu dem Koordinatensystem des Trackingsystems zu messen. Um die Planungsergebnisse der präoperativen Phase, also aus der virtuellen Realität, in den Operationssaal, also in die tatsächliche Realität, zu übertragen, ist daher zunächst eine sogenannte Registrierung durchzuführen, bei der die Transformationsmatrix ermittelt wird, die das Koordinatensystem, in dem das präoperative Bildmaterial vorliegt, in das Koordinatensystem des Trackingsystems im Operationssaal transformiert.
Allgemeiner betrachtet handelt es sich also um Anwendungen, bei denen die virtuelle Realität mit der tatsächlichen Realität abgeglichen werden soll. Es ist also in Form der virtuellen Realität ein Modell der tatsächlichen Realität vorhanden, in dem Positionsinformationen oder ganz allgemein positionszugeordnete Informationen existieren, die in die tatsächliche Realität übertragen werden sollen.
Zum Abgleich zwischen virtueller Welt und realer Welt gibt es einige bekannte Möglichkeiten, die nachfolgend angegeben werden.
Mit Hilfe eines getrackten Zeigestabs können Positions- und Orientierungsdaten aus der virtuellen Welt in die reale Welt übertragen werden. Dazu wird die Position der Spitze des Zei gestabs gemessen und mit der zu findenden Position in der virtuellen Realität verglichen. Die aktuelle Position des Zeigestabs kann in der virtuellen Realität angezeigt werden und der Benutzer kann nun die Position des Zeigestabs mit der Ziel-Position, die ebenfalls in der virtuellen Realität angezeigt wird, abgleichen. Befindet sich der ”virtuelle” Zeigestab in der virtuellen Realität an der gewünschten Position, so ist auch der reale Zeigestab an der korrespondierenden Position. Wahlweise wäre ein akustisches Feedback denkbar. Die Ermittlung der gewünschten Lage ist in diesem Fall manuell durch den Benutzer durchzuführen. Es erfolgt also keine automatische Ermittlung.
Eine Alternative dazu besteht darin, die zu findenden Positionen durch einen getrackten Roboter anzufahren. Dieser könnte so gesteuert werden, dass seine Spitze auf die Stelle zeigt, die aus der virtuellen Realität in die tatsächliche Realität übertragen werden soll.
Aus US-5 617 857 A ist ein Abbildungssystem mit einem medizinischen Instrument bekannt, das eine Quelle zum Ausstrahlen detektierbarer Energie und einen Instrumentenkörper mit einem Arbeitsteil enthält. Das Abbildungssystem umfasst außerdem einen Detektor zum Detektieren der Energie und einen Prozessor zum Ermitteln des Ortes des medizinischen Instruments auf der Grundlage der detektierten Energie. In diesem bekannten Abbildungssystem ist am medizinischen Instrument ein Speicher zum Speichern von Anfangsinformationen, wie z. B. der Lage der energieausstrahlenden Mittel in Bezug auf den Instrumentenkörper, vorgesehen. Eine Übertragungseinrichtung ist zum Übertragen der Anfangsinformationen aus dem Speicher zum Prozessor nach Verbindung des medizinischen Instruments mit dem Prozessor vorgesehen. Auf diese Weise kann der Prozessor dann sich selbst entsprechend dem beigefügten Instrument konfigu rieren, so dass das System dem Ort des Instrumentenkörpers im dreidimensionalen Raum nach Detektion der ausgestrahlten Energie folgen kann.
Aus US 5 803 089 A ist ein System zum Überwachen der Position eines medizinischen Instruments in Bezug auf einen Patientenkörper und zum Darstellen wenigstens eines aus einer Vielzahl von vorher aufgezeichneten Bildern dieses auf die Position des medizinischen Instruments ansprechbaren Körpers bekannt. Das System enthält eine Referenzeinheit, eine abgesetzte Einheit, einen positionscharakteristischen Feldgenerator, einen Feldsensor, einen Positionsdetektor und eine Darstellungseinrichtung am Ausgang. Die Referenzeinheit ist bezüglich wenigstens eines Teils des Patientenkörpers unbeweglich, so dass sie in Bezug auf einen Zieloperationsplatz im wesentlichen unbeweglich ist. Die abgesetzte Einheit ist am medizinischen Instrument angebracht.
Der Feldgenerator ist entweder mit der Referenzeinheit oder der abgesetzten Einheit verbunden und erzeugt ein positionscharakteristisches Feld in einem den Zieloperationsplatz einschließenden Bereich. Der Feldsensor ist mit der jeweils anderen Einheit verbunden und spricht auf das Vorliegen des Feldes an, um ein dem erfassten Feld entsprechendes Sensorausgangssignal zu erzeugen. Der Positionsdetektor steht mit dem Sensorausgangssignal in Verbindung und erzeugt Positionsdaten, die der Position der abgesetzten Einheit in Bezug auf die Referenzeinheit entsprechen. Die ausgangsseitige Darstellungseinrichtung steht mit dem Positionsdetektor in Verbindung, um wenigstens eines der vorher aufgezeichneten Bilder, die auf die Positionsdaten ansprechen, anzuzeigen.
Dieses bekannte System umfasst außerdem eine Registrierungseinheit, die mit dem Speicher und den Positionsdaten in Ver bindung steht. Der Speicher speichert die Vielzahl von vorher aufgezeichneten Bildern des Körpers. Jedes vorher aufgezeichnete Bild entspricht einem ebenen Bereich innerhalb des Körpers, so dass die Vielzahl der durch die aufgezeichneten Bilder dargestellten ebenen Bereiche ein erstes Koordinatensystem definiert. Die Registrierungseinheit korreliert die Positionsdaten eines zweiten Koordinatensystems, so wie es durch den Positionsdetektor definiert ist, mit der Vielzahl der vorher aufgezeichneten Bilder des ersten Koordinatensystems und identifiziert ein gewünschtes vorher aufgezeichnetes Bild, das mit der Position der abgesetzten Einheit in Bezug auf den Patientenkörper verbunden ist.
In US 6 529 758 B2 ist ein bildgeführtes chirurgisches Verfahren unter Verwendung einer Registrierung präoperativer räumlicher Abtastdaten beschrieben, die vor dem chirurgischen Eingriff erfasst worden sind, bezüglich dem Patienten registriert wurden und zum Aufbauen eines räumlichen perspektivischen Bildes der chirurgischen Eingriffsstelle verwendet werden. Die Registrierung der räumlichen Abtastdaten kann hierbei durch Erzeugung eines Lichtmusters auf der Patientenoberfläche durch Bewegen eines Laserstrahls über die chirurgische Eingriffsstelle erreicht werden. Das Lichtmuster wird durch wenigstens zwei Kameras aus verschiedenen festen Positionen aufgenommen, digitalisiert und zum Bilden einer Laserrekonstruktion der Patientenoberfläche verwendet. Diese digitale Oberfläche kann dann mit den räumlichen Abtastdaten abgeglichen werden, wobei ein verbessertes räumliches perspektivisches Bild der chirurgischen Eingriffsstelle gebildet wird.
In US 2004/0254584 A1 ist ein computergestütztes Navigationsverfahren für Hüftersatzchirurgie beschrieben, bei dem eine Beckenebene aus wenigstens drei erkennbaren anatomischen Merkmalen des Beckens bestimmt wird, mit einem Trackingsystem die Orientierung eines Hüftgelenkpfannenimplantats zur Erlangung von Implantierungsorientierungsdaten ermittelt wird und das Hüftgelenkpfannenimplantat in eine gewünschte Orientierung in Bezug auf die bestimmte Beckenebene eingestellt wird, indem die erwähnten Implantierungsorientierungsdaten zu der bestimmten Beckenebene in Bezug gesetzt werden. Vorzugsweise enthält das System Oberschenkelknochen-Trackingmarker, die an einem Oberschenkel des Patienten sicher befestigt sind und durch das Trackingsystem verfolgbar sind, um Änderungen in der Beinlänge und im Oberschenkelversatz festzustellen.
US 2002/0016541 A1 beschreibt ein Verfahren und ein System zum Projizieren eines Bildes auf einen Patienten, wobei dieses Bild auf Markierungen basiert, die auf Bildern angebracht wurden, die vorher von dem Patienten angefertigt wurden. Das Bild wird beispielsweise durch einen Laser auf den Patienten projiziert. Die Position des Patienten und das Bild werden hierbei im gleichen Referenzrahmen erfasst. Es erfolgt sodann eine Zuordnung der Markierungen auf den vorher angefertigten Bildern zu den entsprechenden Stellen auf dem Patientenkörper. Die Projektion des Bildes auf den Patienten erfolgt hiernach in Abhängigkeit von diesen Markierungen.
Es ist festzustellen, dass bisher kein Verfahren oder System existiert, mit dem ein in einer virtuellen räumlichen Realität erfasster und dort festgelegter Punkt oder ganz allgemein eine darin bestimmte positionszugeordnete Information dann im Raum der tatsächlichen Realität einfach und flexibel angezeigt werden kann. Die Verwendung von Robotern ist zwar grundsätzlich möglich für Anwendungen, in denen ohnehin Roboter zur Verfügung stehen, aber auch im Hinblick auf Geschwindigkeit, Zeigebereich, Platzbedarf, Flexibilität, Kosten und Genauigkeit sind Roboter in vielen Fällen nachteilig.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System zu schaffen, womit in einer virtuellen räumlichen Realität erfasste und dort festgelegte Punkte oder ganz allgemein darin bestimmte positionszugeordnete Informationen ohne Robotereinsatz im Raum der tatsächlichen Realität einfach und flexibel nicht nur bei feststehender, sondern auch bei einer beliebig und schnell bewegten, die Lichtquelle enthaltenden Anzeigevorrichtung korrekt angezeigt und damit mühelos wiedergefunden werden.
Die Aufgabe wird erfindungsgemäß gelöst durch die Merkmale der gegenständlichen Ansprüche 1, 5 und 21 bis 24 sowie 26.
Gemäß der Erfindung, die sich auf ein Verfahren der eingangs genannten Art bezieht, wird diese Aufgabe dadurch gelöst, dass die positionszugeordneten Informationen in der tatsächlichen Realität mittels einer Anzeigevorrichtung angezeigt werden, die eine einen Lichtstrahl aussendende Lichtquelle und eine Lichtstrahl-Ablenkeinrichtung enthält, dass die Position der Lichtquelle in der tatsächlichen Realität mittels des Trackingsystems ermittelt wird, dass aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der Ablenkeinrichtung berechnet und eingestellt wird, so dass nach seiner Ablenkung der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Position gerichtet bleibt.
Bei einer Anwendung des Verfahrens im Bereich minimalinvasiver medizinischer Operationen besteht die virtuelle räumliche Realität in einer anhand von präoperativem Bildmaterial durchgeführten, präoperativen Planung, die als Ergebnis Einstichpunkte relativ zu demjenigen Koordinatensystem hat, in dem die präoperativen Informationen aufgenommen werden und welches das Koordinatensystem der virtuellen Realität bildet. Zur Darstellung in der tatsächlichen Realität des Operationssaals wird die Registrierung vorgenommen, bei der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität der präoperativen Phase zugeteilte Koordinatensystem in das Koordinatensystem des im Operationssaal vorgesehenen Trackingsystems transformiert.
Die Einstichpunkte werden in der tatsächlichen Realität des Operationssaals mit Hilfe der die Lichtquelle und die Ablenkeinrichtung enthaltenden Anzeigevorrichtung angezeigt, wobei die Position der Lichtquelle in der tatsächlichen Realität des Operationssaals mittels des dortigen Trackingsystems ermittelt wird. Aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität der präoperativen Phase in die tatsächliche Realität des Operationssaals transformierten Einstichpunkten wird die vorzunehmende Stellung der Ablenkeinrichtung berechnet und gesteuert, so dass nach seiner Ablenkung der Lichtstrahl exakt auf den betreffenden Einstichpunkt gerichtet ist. Im Fall einer Bewegung der Lichtquelle wird die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt, dass der abgelenkte Lichtstrahl stets auf diesen zugewiesenen Einstichpunkt gerichtet bleibt.
Bei fester Anbringung der Anzeigevorrichtung im Raum der tatsächlichen Realität ist nach einer einmaligen Registrierung im Raum der tatsächlichen Realität kein Trackingsystem mehr erforderlich.
Ein die gestellte Aufgabe lösendes System zur Durchführung des angegebenen Verfahrens nach der vorliegenden Erfindung ist dadurch gekennzeichnet, dass eine Vorrichtung zur Speicherung der in der virtuellen Realität aufgenommenen, positionszugeordneten Informationen relativ zu dem der virtuellen Realität zugeteilten Koordinatensystem vorgesehen ist, dass zur Darstellung in der tatsächlichen Realität eine Registrierungseinrichtung vorgesehen ist, in der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden. Zur Anzeige der positionszugeordneten Informationen in der tatsächlichen Realität ist eine Anzeigevorrichtung vorgesehen, die eine einen Lichtstrahl aussendende Lichtquelle und eine steuerbare Licht strahl-Ablenkeinrichtung enthält, dass im Fall einer beweglichen, also nicht fest angebrachten Anzeigevorrichtung zur Ermittlung der Position der Lichtquelle in der tatsächlichen Realität ein Trackingsystem vorgesehen ist. Ferner ist eine Auswerteeinheit vorgesehen, die aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der steuerbaren Ablenkeinrichtung berechnet, so dass nach seiner Ablenkung der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Position gerichtet bleibt.
Bei dem Verfahren und dem System nach der vorliegenden Erfindung wird demnach die Lage der Quelle des Lichtstrahls, der durch die steuerbare Ablenkeinrichtung, z. B. zwei stellbare Spiegel abgelenkt werden kann, mit Hilfe eines Trackingsystems ermittelt. Aus dieser Lage und der Lage des gewünschten anzustrahlenden Punktes wird berechnet, wie die Ablenkeinrichtung, also im Beispiel die zwei Spiegel, einzustellen sind, so dass der Lichtstrahl genau in die richtige Richtung zeigt. Wird die Lichtquelle bewegt, so wird die Ablenkeinrichtung automatisch entsprechend nachgestellt, so dass der Lichtstrahl immer auf die gleiche Stelle zeigt.
Die Verbindung der Systemteile Lichtquelle, Ablenkeinrichtung, Auswerteeinheit und eventuell Trackingsystem führt zu einem neuen und vorteilhaften System, das automatisch Punkte im Raum ”markieren” kann bzw. positionszugeordnete Informationen ortsabhängig bereitstellen kann.
Die Anzeigevorrichtung lässt sich als Handgerät oder fest montiert realisieren. Bei einer Realisierung als Handgerät kann dieses kabellos oder kabelgebunden ausgeführt werden. Bei fester Montage im Raum der tatsächlichen Realität und vorheriger Registrierung der Anzeigevorrichtung wird kein Trackingsystem mehr benötigt.
Der Lichtstrahl lässt sich in der Ablenkeinrichtung durch zwei oder mehr verstellbare Spiegel oder eine Pan-Tilt-Einheit oder magnetische Felder oder elektrische Felder ablenken.
In der Lichtquelle kann der Lichtstrahl durch einen Laser, einen Scheinwerfer, eine Infrarotquelle oder Leuchtdioden oder aber auch parallel durch verschiedene dieser Lichtstrahl-Erzeugungssysteme erzeugt werden.
Die Auswerteeinheit, die aus der Lage der Lichtquelle und der gewünschten Lichtstrahlrichtung die Stellung der steuerbaren Ablenkeinrichtung, z. B. zweier Spiegel, berechnet und die Ablenkeinrichtung auch steuert, kann als externes Gerät oder integriert in der als Handgerät ausgeführten Anzeigevorrichtung realisiert werden.
Es können auch mehrere Anzeigevorrichtungen verwendet werden, damit durch sich kreuzende Lichtstrahlen dreidimensionale Punkte markiert oder verschiedene Farben oder Muster realisiert werden können.
Vorteilhafte und zweckmäßige Weiterbildungen des Verfahrens und Systems nach der vorliegenden Erfindung sind in Unteransprüchen angegeben, die sich unmittelbar oder mittelbar auf den Patentanspruch 1 bzw. 5 beziehen.
Außerdem sind in Ansprüchen noch vorteilhafte und zweckmäßige Verwendungsmöglichkeiten angegeben.
Durch die Erfindung ergibt sich eine Reihe von Vorteilen.
Was die Kosten angeht, so ist das Verfahren nach der Erfindung, verglichen mit anderen automatischen Verfahren, z. B. der Verwendung von Robotern, deutlich preisgünstiger, da die Komponenten der Anzeigevorrichtung mit Lichtquelle und Ablenkeinrichtung als Standardkomponenten erhältlich sind und ein Trackingsystem in beiden Fällen nötig ist.
Was die Geschwindigkeit angeht, so ist es durch ein Spiegelsystem mit entsprechender Verstellgeschwindigkeit in der Ablenkeinrichtung möglich, auch mehrere Punkte ”gleichzeitig” anzuleuchten. Es ist kein manueller Abgleich nötig, was das Verfahren im Vergleich zu einer Abtastung mit Zeigestab deutlich schneller macht.
Was den Platzbedarf betrifft, so ist es möglich, die Anzeigevorrichtung in Form eines kompakten Handgeräts zu realisieren. Als weitere Möglichkeit kann die Anzeigevorrichtung außerhalb des eigentlichen Manipulationsbereichs extern fest angebracht werden, wodurch der wichtige Bereich um das Zentrum des Arbeitsgebiets herum freigehalten wird.
Was die Genauigkeit betrifft, so haben gängige Spiegelsysteme zur Verwendung in der Ablenkeinrichtung eine extrem hohe Genauigkeit, so dass die Gesamtgenauigkeit des Systems in erster Linie von der Genauigkeit des Trackingsystems abhängt. Da dieses frei gewählt werden kann, ist die bestmögliche Genauigkeit erreichbar.
Was den Zeigebereich angeht, so ergibt sich der Bereich, der mit der Anzeigevorrichtung des erfindungsgemäßen Systems abgedeckt werden kann, aus dem Tracking-Bereich des Trackingsystems und der Reichweite des Lichtstrahls. Er ist damit größer als der eines normalen Roboters und auch größer als der eines getrackten Zeigestabes.
Allgemein eignen sich das Verfahren und das System nach der vorliegenden Erfindung für eine Vielzahl von Anwendungen, bei denen die ”virtuelle Welt” mit der ”tatsächlichen Welt” abgeglichen werden soll. Dies bedeutet, dass ein Modell der tatsächlichen Welt vorhanden ist, in dem Positionsdaten oder andere positionszugeordnete Informationen vorhanden sind, die in die tatsächliche Welt übertragen werden sollen.
Eine weitere interessante Anwendung neben derjenigen für minimalinvasive chirurgische Operationen mit präoperativer Planung ergibt sich, wenn schnell verstellbare Spiegel als steuerbare Ablenkeinrichtung verwendet werden, mit welchen nicht nur Punkte, sondern auch Linien, Buchstaben oder Symbole auf eine Oberfläche projiziert werden können. In diesem Fall wäre es möglich, ein ebenfalls getracktes Objekt lageabhängig zu beschriften. Konkrete Anwendungen fänden sich z. B. in der Montageassistenz. Nummerierungen könnten direkt auf die entsprechenden Bauteile projiziert werden. Soll beispielsweise ein Monteur eine Lichtmaschine in ein Kraftfahrzeug einbauen und dabei fünf Schrauben 1 bis 5 nacheinander festschrauben, so projiziert die Anzeigevorrichtung nun auf die Positionen, an denen die jeweiligen Schrauben eingedreht werden sollen, die entsprechenden Nummern 1 bis 5.
Neben der Verwendung bei minimalinvasiven chirurgischen Operationen mit präoperativer Planung und bei Montagevorgängen zum gezielten und geplanten Anzeigen von Montagestellen be steht eine Verwendungsmöglichkeit für die Führung in Museen oder Ausstellungen, so dass synchron zur Beschreibung eines Objekts die Anzeigevorrichtung einen gerade besprochenen Teil dieses ausgestellten Objekts gezielt anleuchtet.
Eine weitere Verwendungsmöglichkeit besteht bei Lehre und Ausbildung mit der Anzeigevorrichtung als zitterfreier Laserpointer oder gekoppelt mit einem Computer-Präsentationsprogramm.
Auch für Bühnen- und Showeffekte zur Realisierung einer interaktiven Lasershow, die auf die Position von Personen, z. B. des Showmasters, reagiert, lässt sich das System nach der Erfindung vorteilhaft verwenden, genauso wie bei einer logistischen Verwaltung. Eine solche logistische Verwaltung kann z. B. diejenige einer Bibliothek, eines Archivs oder dergleichen sein, wobei mittels der Anzeigevorrichtung die logistisch zu verwaltenden Objekte, z. B. Bücher in einer Bibliothek, aufgefunden werden sollen. Dazu sind die Positionen der Objekte in der Speichervorrichtung der virtuellen Realität abgespeichert. Die Anzeigevorrichtung mit ihrem passend abgelenkten Lichtstrahl zeigt auf das gesuchte Objekt, sobald dessen Position dem System mitgeteilt worden ist.
Auch im Bereich der Werbung, der Spieleindustrie und des Event-Managements kann das System nach der vorliegenden Erfindung vorteilhaft eingesetzt werden.
Die vorliegende Erfindung und zwei Ausführungsbeispiele für eine Anzeigevorrichtung des für minimalinvasive Operationen eingesetzten Systems werden nachfolgend anhand von Zeichnungen erläutert. Es zeigen:
1 in schematischer Ansicht ein Ausführungsbeispiel einer als Handgerät ausgeführten Anzeigevorrichtung des Systems nach der Erfindung, und
2 ebenfalls in schematischer Ansicht ein Ausführungsbeispiel einer als fest montiertes Gerät ausgeführten Anzeigevorrichtung des Systems nach der Erfindung.
Bei der präoperativen Planung minimalinvasiver Operationen wird mit langen, stabförmigen Instrumenten durch künstliche Körperöffnungen operiert. Der Ort auf der Körperoberfläche, an welchem der Chirurg den Einstichpunkt in den Patienten setzt, hat großen Einfluss auf die Zugänglichkeit der Stelle, an der im Inneren des Körpers operiert werden soll. Daher ist es von großer Bedeutung, vor der Operation anhand von präoperativem Bildmaterial zu untersuchen, an welcher Stelle ein Einstichpunkt am Besten zu setzen ist.
Das Ergebnis der präoperativen Planung sind die Koordinaten der Einstichpunkte relativ zum Koordinatensystem, in dem die präoperativen Informationen aufgenommen wurde. Um dann bei der tatsächlichen Operation im Operationssaal die Koordinaten der Punkte auf der Körperoberfläche wiederzufinden und einzuzeichnen, wird ein Trackingsystem verwendet, das z. B. von optischer oder magnetischer Natur sein kann.
Das Trackingsystem ermöglicht das Messen der Lage von Gegenständen im Raum relativ zum Koordinatensystem des Trackingsystems. Um die präoperativen Planungsergebnisse (= virtuelle Realität) in den Operationssaal (= tatsächliche Realität) zu übertragen, wird zunächst eine Registrierung durchgeführt, bei der die Transformationsmatrix ermittelt wird, die das Koordinatensystem, in dem das präoperative Bildmaterial vor liegt, in das Koordinatensystem des Trackingsystems transformiert.
Durch den in 1 schematisch dargestellten Aufbau einer für das erfindungsgemäße System vorgesehenen Anzeigevorrichtung ist man nun in der Lage, die Positionen von präoperativ geplanten Einstichpunkten, z. B. des Einstichpunktes 1, auf der Körperoberfläche 2 eines Patienten wiederzufinden. Bei dieser, als mobiles Handgerät ausgeführten Anzeigevorrichtung sind eine Laserstrahlquelle 3 und eine zwei stellbare Spiegel enthaltende, steuerbare Ablenkeinrichtung 4 vorgesehen. Die Lage der Quelle 3 des Laserstrahls 5, der durch die beiden stellbaren Spiegel der Ablenkeinrichtung 4 abgelenkt werden kann, wird mit Hilfe eines im Operationssaal angebrachten Trackingsystems 6 ermittelt.
Aus der Lage der Quelle 3 und der auf Grund der Koordinatentransformation bei der Registrierung bekannten Lage des Einstichpunktes 1 wird in einer Auswerteeinheit 7 berechnet, wie die beiden Spiegel der Ablenkeinrichtung 4 gestellt werden müssen, damit der Laserstrahl 5 genau auf den Einstichpunkt 1 zeigt. Wird die Laserstrahlquelle 3 bewegt, so werden die beiden Spiegel in der steuerbaren Ablenkeinrichtung 4 auf Grund der Lagemessung mittels des Trackingsystems 6 und der Berechnung der Spiegelstellungen in der Auswerteeinheit 7 automatisch entsprechend nachgestellt, so dass der Laserstrahl 5 immer auf die gleiche Stelle, nämlich den geplanten Einstichpunkt 1 zeigt.
Die Ablenkwinkel des Laserstrahls 5 nach Durchlaufen der Ablenkeinrichtung 4 sind α in der Azimutebene und β in der Elevationsebene. Die Auswerteeinheit 7 steuert also die beiden Spiegel der steuerbaren Ablenkeinrichtung entsprechend ihrem Berechnungsergebnis. Auf diese Weise können die präoperativ geplanten Einstichpunkte, im Beispiel der geplante Einstichpunkt 1, äußerst komfortabel und exakt auf die Körperoberfläche 2 des Patienten übertragen werden. Die Auswerteeinheit 7 kann als externes Gerät ausgeführt oder in der als Handgerät ausgebildeten Anzeigevorrichtung integriert werden.
Auch durch den in 2 schematisch dargestellten Aufbau einer für das erfindungsgemäße System vorgesehenen Anzeigevorrichtung können die Positionen von präoperativ geplanten Einstichpunkten, z. B. des Einstichpunktes 1, auf der Körperoberfläche 2 eines Patienten wiedergefunden werden. Bei dieser im Gegensatz zum vorher beschriebenen Ausführungsbeispiel nicht beweglichen, sondern fest im Operationssaal montierten Anzeigevorrichtung sind ebenfalls eine Laserstrahlquelle 3 und eine zwei stellbare Spiegel aufweisende, steuerbare Ablenkeinrichtung 4 vorgesehen.
Die Lage der Quelle 3 des Laserstrahls 5, der durch die beiden stellbaren Spiegel der Ablenkeinrichtung 4 abgelenkt werden kann, muss in diesem Fall nicht laufend mit Hilfe eines im Operationssaal angebrachten Trackingsystems ermittelt werden, so dass dieses in diesem Fall eingespart werden kann. Es ist lediglich für eine vorherige Registrierung der Lage der Laserstrahlquelle 3 in der Räumlichkeit des Operationssaals zu sorgen.
Aus der bekannten Lage der Quelle 3 und der auf Grund der Koordinatentransformation bei der Registrierung bekannten Lage des Einstichpunktes 1 wird auch hier in einer Auswerteeinheit 7 berechnet, wie die beiden Spiegel der Ablenkeinrichtung 4 gestellt werden müssen, damit der Laserstrahl 5 genau auf den Einstichpunkt 1 zeigt.
Die beiden Spiegel in der steuerbaren Ablenkeinrichtung 4 werden auf Grund der Berechnung der Spiegelstellungen in der Auswerteeinheit 7 automatisch entsprechend nachgestellt, so dass der Laserstrahl 5 immer auf die gleiche Stelle, nämlich den geplanten Einstichpunkt 1 zeigt. Die Ablenkwinkel des Laserstrahls 5 nach Durchlaufen der Ablenkeinrichtung 4 sind α in der Azimutebene und β in der Elevationsebene. Die Auswerteeinheit 7 steuert also die beiden Spiegel der steuerbaren Ablenkeinrichtung entsprechend ihrem Berechnungsergebnis. Auch bei diesem Ausführungsbeispiel werden also die präoperativ geplanten Einstichpunkte, im Beispiel der geplante Einstichpunkt 1, genau und ganz bequem auf die Körperoberfläche 2 des Patienten übertragen.

1: Einstichpunkt
2: Körperoberfläche
3: Laserstrahlquelle, Lichtstrahlquelle
4: Ablenkeinrichtung
5: Laserstrahl, Lichtstrahl
6: Trackingsystem
7: Auswerteeinheit
α: Ablenkwinkel in der Azimutebene
β: Ablenkwinkel in der Elevationsebene

Claims

Verfahren zum Übertragen von positionszugeordneten Informationen aus einer virtuellen räumlichen Realität in eine tatsächliche räumliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen räumlichen Realität, bei welchem Verfahren die in der virtuellen Realität aufgenommenen Informationen in Bezug auf ein der virtuellen Realität zugeteiltes Koordinatensystem bestimmt werden und zur Darstellung in der tatsächlichen Realität eine Registrierung vorgenommen wird, bei der eine Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems (6) transformiert, so dass die in die tatsächliche Realität zu übertragenden positionszugeordneten Informationen in dieser transformationsgetreu mittels einer Anzeigevorrichtung angezeigt werden, die eine einen Lichtstrahl (5) aussendende Lichtquelle (3) enthält, deren Position in der tatsächlichen Realität mittels des Trackingsystems (6) ermittelt wird, dadurch gekennzeichnet, dass aus der ermittelten Position der Lichtquelle (3) und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung einer in der Anzeigevorrichtung zur Ablenkung des von der Lichtquelle (3) ausgehenden Lichtstrahls (5) vorgesehenen, steuerbaren Lichtstrahl-Ablenkeinrichtung (4) berechnet und eingestellt wird, so dass der Lichtstrahl (5) nach seiner Ablenkung (α, β) durch die steuerbare Lichtstrahl-Ablenkeinrichtung (4) exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle (3) die steuerbare Lichtstrahl-Ablenkeinrichtung (4) automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl (5) stets auf die zugewiesene Position gerichtet bleibt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Anwendung des Verfahrens im Bereich minimalinvasiver medizinischer Operationen die virtuelle räumliche Realität in einer anhand von präoperativem Bildmaterial durchgeführten, präoperativen Planung besteht, die als Ergebnis Einstichpunkte relativ zu demjenigen Koordinatensystem hat, in dem die präoperativen Informationen aufgenommen werden und welches das Koordinatensystem der virtuellen Realität bildet, dass zur Darstellung in der tatsächlichen Realität des Operationssaals die Registrierung vorgenommen wird, bei der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität der präoperativen Phase zugeteilte Koordinatensystem in das Koordinatensystem des im Operationssaal vorgesehenen Trackingsystems (6) transformiert, dass die Einstichpunkte (1) in der tatsächlichen Realität des Operationssaals mit Hilfe der die Lichtquelle (3) und die Ablenkeinrichtung (4) enthaltenden Anzeigevorrichtung angezeigt werden, bei welchem Verfahren die Position der Lichtquelle (3) in der tatsächlichen Realität des Operationssaals mittels des dortigen Trackingsystems (6) ermittelt wird, dass aus der ermittelten Position der Lichtquelle (3) und den aus der virtuellen Realität der präoperativen Phase in die tatsächliche Realität des Operationssaals transformierten Einstichpunkten die vorzunehmende Stellung der Ablenkeinrichtung (4) berechnet wird, so dass nach seiner Ablenkung der Lichtstrahl (5) exakt auf den betreffenden Einstichpunkt gerichtet ist und im Fall einer Bewegung der Lichtquelle (3) die Ablenkeinrichtung (4) automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl (5) stets auf diesen zugewiesenen Einstichpunkt gerichtet bleibt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei fester Anbringung der Anzeigevorrichtung im Raum der tatsächlichen Realität nach einer einmaligen Regist rierung im Raum der tatsächlichen Realität kein Trackingsystem (6) mehr erforderlich ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mit dem Lichtstrahl (5) ausgestrahlten Informationen diejenigen eines oder mehrerer Punkte und/oder von Linien und/oder von Buchstaben und/oder von Symbolen sind, die über die Ablenkeinrichtung (4) auf eine Oberfläche in der tatsächlichen räumlichen Realität projiziert werden.
System zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vorrichtung zur Speicherung der in der virtuellen Realität aufgenommenen, positionszugeordneten Informationen relativ zu dem der virtuellen Realität zugeteilten Koordinatensystem vorgesehen ist, dass zur Darstellung in der tatsächlichen Realität eine Registrierungseinrichtung vorgesehen ist, in der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems (6) transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden, dass zur Anzeige der positionszugeordneten Informationen in der tatsächlichen Realität eine Anzeigevorrichtung vorgesehen ist, die eine einen Lichtstrahl (5) aussendende Lichtquelle (3) und eine steuerbare Ablenkeinrichtung (4) enthält, dass im Fall einer beweglichen, also nicht fest angebrachten Anzeigevorrichtung zur Ermittlung der Position der Lichtquelle (3) in der tatsächlichen Realität ein Trackingsystem (6) vorgesehen ist, und dass eine Auswerteeinheit (7) vorgesehen ist, die aus der ermittelten Position der Lichtquelle (3) und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der steuerbaren Ablenkeinrichtung (4) berechnet, so dass nach seiner Ablenkung (α, β) der Lichtstrahl (5) exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle (3) die steuerbare Ablenkeinrichtung (4) automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl (5) stets auf die zugewiesene Position gerichtet bleibt.
System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle (3) in der Anzeigevorrichtung eine Laserstrahlquelle ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle (3) in der Anzeigevorrichtung ein Scheinwerfer ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle (3) in der Anzeigevorrichtung durch Leuchtdioden gebildet ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle (3) in der Anzeigevorrichtung eine Infrarot-Strahlungsquelle ist.
System nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Lichtquelle (3) in der Anzeigevorrichtung parallel durch zwei oder mehr verschiedenartige Strahlungsquellen gebildet ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung (4) des Lichtstrahls (5) in der Anzeigevorrichtung durch zwei oder mehr verstellbare Spiegel gebildet ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung (4) des Lichtstrahls (5) in der Anzeigevorrichtung durch eine Pan-Tilt-Einheit gebildet ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung (4) des Lichtstrahls (5) in der Anzeigevorrichtung durch eine steuerbare Vorrichtung zur Erzeugung von den Lichtstrahl (5) in seiner Auslenkung beeinflussenden magnetischen oder elektrischen Feldern gebildet ist.
System nach Anspruch 6, dadurch gekennzeichnet, dass die Anzeigevorrichtung als Handgerät ausgebildet ist.
System nach Anspruch 6, dadurch gekennzeichnet, dass die Anzeigevorrichtung als im Raum der tatsächlichen Realität fest montierte Vorrichtung ausgebildet ist, wobei bei vorheriger Registrierung mittels der Registrierungseinrichtung kein Trackingsystem (6) im Raum der tatsächlichen Realität erforderlich ist.
System nach Anspruch 6, dadurch gekennzeichnet, dass die Auswerteeinheit (7) ein externes Gerät ist.
System nach Anspruch 14, dadurch gekennzeichnet, dass die Auswerteeinheit (7) in der als Handgerät ausgebildeten Anzeigevorrichtung integriert ist.
System nach Anspruch 14, dadurch gekennzeichnet, dass die Anzeigevorrichtung als kabelloses Handgerät ausgebildet ist.
System nach Anspruch 14, dadurch gekennzeichnet, dass die Anzeigevorrichtung als kabelgebundenes Handgerät ausgebildet ist.
System nach einem der Ansprüche 6 bis 19, dadurch gekennzeichnet, dass mehrere Anzeigevorrichtungen in der tatsächlichen räumlichen Realität vorgesehen sind, durch deren sich kreuzende Lichtstrahlen (5) dreidimensionale Punkte markierbar sind oder verschiedene Farben oder Muster realisierbar sind.
Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems zur Führung in Museen oder Ausstellungen, so dass synchron zur Beschreibung eines Objekts die Anzeigevorrichtung einen gerade besprochenen Teil dieses ausgestellten Objekts gezielt anleuchtet.
Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems bei Lehre und Ausbildung mit der Anzeigevorrichtung als zitterfreier Laserpointer oder gekoppelt mit einem Computer-Präsentationsprogramm.
Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems für Bühnen- und Showeffekte zur Realisierung einer interaktiven Lasershow, die auf die Position von Personen reagiert.
Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems mit Anzeigevorrichtung bei Montagevorgängen zum gezielten und geplanten Anzeigen von Montagestellen.
Verwendung nach Anspruch 24, dadurch gekennzeichnet, dass mit der Anzeigevorrichtung nicht nur Punkte, sondern auch Linien, Buchstaben oder Symbole auf eine Montage-Arbeitsoberfläche in der tatsächlichen Realität projiziert werden.
Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems bei einer Bibliothek oder einem Archiv, wobei mittels der Anzeigevorrichtung die logistisch zu verwaltenden Objekte aufgefunden werden sollen, dass dazu die Positionen der Objekte in der Speichervorrichtung der virtuellen Realität abgespeichert sind und dass die Anzeigevorrichtung mit ihrem passend abgelenkten Lichtstrahl (5) auf das gesuchte Objekt zeigt, sobald dessen Position dem System mitgeteilt worden ist.