DE10315592A1

DE10315592A1 - Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu

Info

Publication number: DE10315592A1
Application number: DE10315592A
Authority: DE
Inventors: Frank Olschewski; Volker Dr. Seyfried
Original assignee: Leica Microsystems Heidelberg GmbH; Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2003-04-05
Filing date: 2003-04-05
Publication date: 2004-10-28
Anticipated expiration: 2023-04-06
Also published as: US7471817B2; DE10315592B4; US20040197017A1

Abstract

Das Verfahren und System vereinfacht bewegliche Interaktionen durch virtuelle Bezugsobjekte und fluss-basierte Koordinatentransformationen zur Erzeugung eines veränderlichen Bezugrahmens.

Description

Die Erfindung betrifft ein Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich veränderten mikroskopischen Objekten. Interaktion bedeutet dabei zum einen das Ausführen von Manipulationen an den mikroskopischen Objekten. Ferner bedeutet Interaktion auch die Aufnahme, Speicherung und Verarbeitung von Daten, die von den ausgewählten mikroskopischen Objekten gewonnen werden.

Ein zweiter Aspekt der Erfindung betrifft ein System zur Beobachtung und Manipulation von sich räumlich und zeitlich veränderten mikroskopischen Objekten. Im besonderen umfasst das System ein konfokales Scanmikroskop, das einen Beleuchtungslichtstrahl über ein Objekt führt, mehrere Detektoren, die aus dem vom Objekt ausgehenden Licht Intensitäten aus unterschiedlichen Spektralbereichen ermitteln, eine Verarbeitungseinheit, einen PC, eine Eingabeeinheit und ein Display.

Es existieren zahlreiche Verfahren zum Ausführen von Interaktionen an biologischen Objekten. Dabei ist jedoch zu beachten, dass diese biologischen Objekte ruhen oder sich wenig zeitlich und räumlich ändern. Eine Auswertung von Daten sich zeitlich und räumlich ändernder mikroskopischer Objekte konnte bisher nicht zufriedenstellend durchgeführt werden.

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten zu schaffen, und dabei unabhängig von der Bewegung der mikroskopischen Objekte eine gezielte Interaktion an den ausgewählten Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts gewährleisten zu können.

Die objektive Aufgabe wird durch ein Verfahren gelöst, das die Merkmale des Patentanspruchs 1 aufweist.

Eine weitere Aufgabe der Erfindung ist, ein System zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten zu schaffen, und dabei unabhängig von der Bewegung der mikroskopischen Objekte eine gezielte Interaktion an den ausgewählten Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts gewährleisten zu können.

Die objektive Aufgabe wird durch ein System gelöst, das die Merkmale des Patentanspruchs 7 aufweist.

Die Erfindung hat den Vorteil, dass zunächst mit einem Mikroskop ein Bild einer Probe erzeugt wird, wobei das Bild mindestens ein mikroskopisches Objekt umfasst. Anhand des Bildes wird interaktiv durch den Benutzer mindestens ein virtuelles Bezugsobjekt definiert. Dieses Bezugsobjekt definiert eine diskrete Punktemenge von Interaktionsorten, zusammenhängende Regionen von Interaktionsorten oder lokale Koordinatensysteme, die in die Schwerpunkte der abgebildeten Objekte gelegt werden. Durch diesen Schritt wird mindestens eine Region oder mehrere Positionen im Objekt bestimmt. Mit dem Mikroskop wird eine Folge von Bildern aufgenommen und aus diesen Bildern wird ein optischer Fluss berechnet. Dieser optische Fluss beschreibt die Bewegung der Grauwerte aus einem Bild in das nächste. Der aus der Folge der Bilder errechnete optische Fluss wird auf die Menge vordefinierter virtueller Bezugsobjekte wie kartesisches Koordinatensystem, Region oder Positionen im Objekt angewandt. Schließlich erfolgt das Ausführen der Interaktionen auf den durch den optischen Fluss geänderten virtuellen Bezugsobjekten und somit in einem geänderten Koordinatensystem, einer geänderten Region oder den geänderten Positionen im sich zeitlich und räumlich verändernden mikroskopischen Objekt. Auf diese Weise wird sichergestellt, dass die Interaktion an dem vom Benutzer gewünschten Ort trotz Eigenbewegung oder Deformation des mikroskopischen Objekts, durchgeführt wird.

Die Interaktion wird im Rahmen dieser Schrift als die Gewinnung von Messdaten des Objekts oder auch als die gezielte Manipulation des Objekts an mindestens einer Position des Objekts definiert. Beispiele sind die Gewinnung von Intensitätsparametern durch Aufnahme oder Berechnungen wie Mittelwert, Maximum, Varianz oder beliebiege Momente der Intensitätsverteilung innerhalb einer Region. Die Gewinnung von Messdaten kann auch die Gewinnung von Geometriedaten, wie z.B. Schwerpunkt, Oberfläche, Umfang, Volumen einer markierten Region oder die Bewegung des Schwerpunkts der markierten Region sein, die sich unter dem Einfluss des Flussfeldes verändern. Weitere Klassen von Messwerten ergeben sich aus der Detektion von Kollisionen markierter Objekte unter der Einwirkung des Flussfeldes. Diese Messdaten werden durch das Verfahren in geeigneter Form extrahiert und stehen im Nachhinein einer Visualisierung sowie einer rechnergesteuerten Datenanalyse zur Verfügung. Weitere Beispiele für Interaktionen ist die gezielte Beleuchtung von Positionen innerhalb des Objekts mit elektromagnetischer Strahlung. Bei der Manipulation des Objekts kann es sich z.B. um ein gezieltes Bleichen von Farbstoffen, eine gezielte Photoaktivierung von Farbstoffen oder einen Cage-Compound-Release in einem bestimmten Bereich des mikroskopischen Objekts handeln (z.B. ein Zellkern). Ebenfalls kann die Manipulation des mikroskopischen Objekts das Schneiden oder Ausschneiden der bestimmten Region oder Positionen des Objekts umfassen. Dabei ist es besonders wichtig, dass man die Bewegungen und die zeitliche Veränderung des Objekts miterfasst, um das mikroskopischen Objekt an der richtigen und auch gewünschten Stelle zu schneiden oder auch zu manipulieren. Die Interaktion kann somit die Gewinnung aller erdenklichen Messdaten und auch die gezielte Manipulation des Objekts in einem ausgewählten Bereich oder an ausgewählten Positionen des mikroskopischen Objekts umfassen.

Die Erfindung wird im folgenden am Beispiel eines konfokalen Mikroskops beschrieben, wobei dem Fachmann klar ist, daß dieselbe Technologie auch auf andere Mikroskopiearten angewandt werden kann. Weitere vorteilhafte Ausgestaltungen der Erfindung können den Unteransprüchen entnommen werden.

In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen:
1 eine schematische Darstellung eines Ausführungsbeispiels eines Scanmikroskops, wobei den Detektoren ein SP Modul nachgeschaltet ist;
2 eine Ausführungsform der Auswahl eines mikroskopischen Objekts;
3 eine weitere Ausführungsform der Auswahl eines mikroskopischen Objekts;
4 eine graphische Darstellung der Bewegung des Objekts im kartesischen Koordinatensystem;
5 eine graphische Darstellung der Bewegung eines Objekts, wobei ein kartesisches Koordinatensystem im Schwerpunkt des Objekts festgelegt ist und bei der Bewegung des Objekts mitbewegt wird;
6 eine schematische Darstellung der Ermittlung des Verschiebungsvektorfeldes; und
7 eine schematische Darstellung eines Teilbereichs einer weiteren Ausführungsform des Mikroskopsystems, wobei verschiedene Stellelemente vorgesehen sind.
In 1 ist das Ausführungsbeispiel eines konfokalen Scanmikroskops 100 schematisch gezeigt. Obwohl hier ein konfokales Scanmikroskop 100 dargestellt ist soll es nicht als Beschränkung der Erfindung aufgefasst werden.
Es ist ebenso denkbar den Gegenstand der Erfindung auch mit einem konventionellen Mikroskop zu realisieren. Der von mindestens einem Beleuchtungssystem 1 kommende Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch aufgehängten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine Scanoptik 12 und ein Mikroskopobjektiv 13 hindurch über bzw. durch eine Probe 15 führt. Der Beleuchtungslichtstrahl 3 wird bei nicht transparenten Proben 15 über die Probenoberfläche geführt. Bei biologischen Proben 15 oder transparenten Proben kann der Beleuchtungslichtstrahl 3 auch durch die Probe geführt werden. Zu diesen Zwecken werden nichtleuchtende Präparate gegebenenfalls mit einem geeigneten Farbstoff präpariert (nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt vorhandene Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt und senden Licht in einem ihnen eigenen charakteristischen Bereich des Spektrums aus. Dieses von der Probe 15 ausgehende Licht definiert einen Detektionslichtstrahl 17. Dieser gelangt durch das Mikroskopobjektiv 13, die Scanoptik 12 und über das Scanmodul 7 zum Umlenkmittel 5, passiert dieses und gelangt über ein Detektionspinhole 18 auf mindestens eine Detektoreinheit 19. Die z.B. als Photomultiplier ausgeführt ist. In dem hier dargestellten System des Scanmikroskops 100 ist dem Detektor 19 ein SP-Modul 20 vorgeschaltet. Mit dem SP-Modul 20 kann der Benutzer den geeigneten Bereich zur Detektion auswählen und gegebenenfalls auf entsprechende Detektoren richten. Es ist dem Fachmann klar, dass auch andere Detektoren, wie z.B. Dioden, Dioden-Arrays, APDs, Photomultiplier-Arrays, CCD-Chips oder CMOS-Bildsensoren eingesetzt werden können. Der von der Probe 15 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in 1 als gestrichelte Linie dargestellt. Im Detektor 19 werden elektrische, zur Leistung des von der Probe 15 ausgehenden Lichtes, proportionale Detektionssignale erzeugt. Da, wie bereits oben erwähnt, von der Probe Licht nicht nur einer Wellenlänge ausgesandt wird, ist es sinnvoll vor der mindestens einen Detektionseinheit 19 das SP-Modul 20 vorzusehen. Die von dem Detektor 19 oder den Detektoren erzeugten Daten werden an ein Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist mindestens ein Peripheriegerät 27 zugeordnet, das z.B. als Display ausgebildet ist. Mit dem Display 27 werden dem Benutzer die von den Detektoren aufgenommenen und an das Rechnersystem 23 gelieferten Daten der Probe 15 bildlich dargestellt. Die bildliche Darstellung der Probe 15 umfasst mindestens ein mikroskopisches Objekt 30. Ferner ist dem Rechnersystem 23 ein Eingabemittel zugeordnet, das z. B. aus einer Tastatur 28 einer Einstellvorrichtung 29 für die Komponenten des Mikroskopsystems und einer Maus 25 besteht. Mit der Maus 25 kann z.B. der Benutzer das mikroskopische Objekt 30 auswählen, um an dem ausgewählten Objekt 30 entsprechende Manipulationen durchführen zu können. Neben der Auswahl des gesamten mikroskopischen Objekts 30, kann der Benutzer auch einzelne Positionen 63₀ bzw. Pixel im Bild der Probe 15 auswählen, um aufgrund dieser ausgewählten Positionen gezielte Manipulationen bzw. Interaktionen durchführen zu können. Das mikroskopische Objekt kann auch ohne direktes Markieren durch den Benutzer mittels automatischer Bildverarbeitungsalgorithmen ausgewählt werden. Diese Bildverarbeitungsalgorithmen sind aus dem Stand der Technik hinlänglich bekannt.
In 2 ist eine Ausführungsform für die Auswahl eines mikroskopischen Objekts innerhalb der Probe 15 dargestellt. Die vom Scanmikroskop 100 aufgenommenen Daten der Probe 15 sind auf dem Display 27 in bildlicher bzw. graphischer Form dargestellt. Das Bild der Probe 15 umfasst mehrere mikroskopische Objekte 30. Von den mikroskopischen Objekten 30 kann durch den Benutzer mindestens ein mikroskopisches Objekt 30 ausgewählt werden. Die Auswahl des mikroskopischen Objekts 30 erfolgt z.B. mittels der Maus 25. Hierzu kann der Benutzer mit der Maus 25 z.B. ein Fadenkreuz 35 auf das mikroskopische Objekt richten. Durch einen Mausklick ist dieses mikroskopische Objekt 30 ausgewählt. Das Rechnersystem 23 ermittelt anhand der Auswahl den Schwerpunkt des mikroskopischen Objekts 30. Ebenso kann z.B. der Benutzer, wie in 3 dargestellt ist, mittels eines Mauszeigers 37 innerhalb eines ausgewählten mikroskopischen Objekts 30 eine virtuelles Bezugsobjekt definieren, welches eine Region 36 festlegt innerhalb der bestimmte Manipulationen bzw. Interaktionen durchgeführt werden können. Ebenso kann der Benutzer im oder am mikroskopischen Objekt mehrere Positionen 38 festlegen, an denen die ausgewählten Messungen bzw. Interaktionen durchgeführt werden.
4 zeigt eine graphische Darstellung der Bewegung eines mikroskopischen Objekts 30 in einem statischen Koordinatensystem. Das statische Koordinatensystem 40 umfasst eine X-Achse und eine Y-Achse, die beide senkrecht zueinander angeordnet sind. Im Koordinatensystem 40 ist ein mikroskopisches Objekt 30 zum Zeitpunkt T = 0 eingezeichnet. Ebenso ist in 4 das mikroskopische Objekt 30 zum Zeitpunkt T = N eingezeichnet. Der Übergang vom mikroskopischen Objekt 30 beim Zeitpunkt T = 0 zum mikroskopischen Objekt 30 beim Zeitpunkt T = N wird mittels eines ersten Vektors 41 und eines zweiten Vektors 42 dargestellt. Der zweite Vektor 42 ist dabei länger als der erste Vektor 41, was auf eine Bewegung des mikroskopischen Objekts 30 hindeutet, die aus einer Translation in Verbindung mit einer Rotation entstanden ist. Es ist schwierig, mit dieser Ausführungsform die bestimmten und ausgewählten Interaktionspositionen bzw. Interaktionsflächen zu definieren und wieder aufzufinden. Dies liegt vor allem darin, dass ein statisches Koordinatensystem zum Verfolgen der Interaktionspositionen bzw. Interaktionsflächen verwendet wird. Es ist immer schwierig vom Koordinatenursprung des statischen Koordinatensystems 40 auf die neue Position bzw. Lage der Regionen bzw. Positionen innerhalb des mikroskopischen Objekts 30 zum Zeitpunkt T = N zu rechnen.
In 5 ist eine graphische Darstellung der Bewegung eines mikroskopischen Objekts dargestellt, wobei als virtuelles Bezugsobjekt ein Koordinatensystem in den Schwerpunkt des mikroskopischen Objekts gelegt ist, das bei der Bewegung des mikroskopischen Objekts diesem folgt. Wie bereits oben erwähnt, wählt der Benutzer ein mikroskopisches Objekt 30 im Bild der Probe aus und das Rechnersystem 23 ermittelt den Schwerpunkt 50 des mikroskopischen Objekts 30. In 5 ist das mikroskopische Objekt 30 zum Zeitpunkt T = 0 dargestellt. Der Schwerpunkt 50₀ zum Zeitpunkt T = 0 befindet sich innerhalb des mikroskopischen Objekts 30. Der Schwerpunkt 50₀ bildet den Ursprung des Koordinatensystems 52₀ zum Zeitpunkt T = 0. Das mikroskopische Objekt 30-0 umfasst ferner eine Region 51, an der eventuell Manipulationen bzw. Interaktionen durchgeführt werden sollen. Das mikroskopische Objekt 30 zum Zeitpunkt T = N ist aus dem mikroskopischen Objekt 30 zum Zeitpunkt T = 0 durch Rotation und Translation hervorgegangen. Hinzu kommt, dass das mikroskopische Objekt 30 ebenfalls Verformungen unterworfen sein kann. Verformungen treten bei biologischen Objekten häufig auf. Somit ändert sich auch die Lage des Schwerpunkts 50 zum Zeitpunkt T = N innerhalb des mikroskopischen Objekts 30 zum Zeitpunkt T = N. Die Region 51 an der Manipulationen bzw. Interaktionen ausgeführt werden sollen ist in dem vorliegenden Fall teilweise aus dem mikroskopischen Objekt 30 ausgewandert. Die Objektbewegungen verfolgt man durch Tracking und Nachführen der Koordinatentransformation, indem man das optische Flussfeld als Kraft auf das Koordinatensystem einwirken lässt. Dieses in 5 dargestellte Verfahren funktioniert manchmal hinreichend, versagt jedoch in gewissen Situationen Beispiele hierfür sind die bereits erwähnten Verformungen der mikroskopischen Objekte, wie sie in der Biologie üblich sind.
6 zeigt die schematische Darstellung der Ermittlung eines Verschiebungsvektorfeldes 60, das die Rotation und Translation zwischen einem mikroskopischen Objekt 30 zum Zeitpunkt T = 0 und einem mikroskopischen Objekt 30 zum Zeitpunkt T = N repräsentiert. Das mikroskopische Objekt 30 ist durch eine Region 61 dargestellt, die von einer Linie 62 umschlossen ist. Die Linie 62 kann auch die ausgewählte Region umschließen, und somit zumindest ein Teil des mikroskopischen Objekts 30 sein. Das Rechnersystem 23 vergleicht nun die festgelegten Positionen 63₀ am mikroskopischen Objekt 30 zum Zeitpunkt T = 0 mit der Lage von mehreren Positionen 63_N am mikroskopischen Objekt 30 zum Zeitpunkt T = N durch die Berechnung eines zeitlich veränderlichen Flussfeldes. Menschliche Augen können dies durch die Verfolgung einzelner Merkmale nachvollziehen, wie in der Zeichnung entlang der Linie 62 ducrch mehrere Positionen 63₀ verdeutlicht wird. Fehlen Bezugsmerkmale kann das Auge diese Transformation nicht nachvollziehen, während das mathematische Werkzeug eine Lösung liefert. Das Verschiebungsvektorfeld 60 resultiert aus der Zuordnung einander entsprechender Pixel-Positionen zum Zeitpunkt T = 0 und zum Zeitpunkt T = 1 und zum darauffolgenden Zeitpunkt T = 2, sukzessive bis zum Zeitpunkt T = N. Das Verschiebungsvektorfeld 60 findet man dadurch, in dem das Rechnersystem 23 Korrespondenzen zwischen allen Pixel-Positionen 63-0 zum Zeitpunkt T = 0 und den Pixel-Positionen 63-N zum Zeitpunkt T = N sukzessive sucht. Die Beschränkung auf die Pixel 63-0, 63-N ist nur zur Verdeutlichung gemacht, mathematisch wird die Lösung des Flussproblems mit allen Pixeln vorgenommen. Obwohl in den 4 und 5 lediglich zwei aufeinanderfolgende mikroskopische Objekte dargestellt sind, ist es für den Fachmann selbstverständlich, dass das erfinderische Verfahren auf eine Bildfolge von N-Bildern angewendet werden kann. Auch die Verallgemeinerung auf mehr als ein Objekt ist problemlos möglich. Anhand der Bildfolge bzw. Volumenfolge wird durch die Lösung des Flussproblems die Deformation und Bewegung bestimmt, die man auf die anfänglich definierten Regionen bzw. Positionen anwendet und diese somit verfolgt bzw. trackt. Dieses Verfahren benötigt keine Binarisierung von Objekten sondern arbeitet auf den Intensitäten und somit auf einem quasi-kontinuierlichen Modell. Das Verschiebungsvektorfeld ermittelt sich z.B. über die Gleichungen 1 bis 3 die auch als „optische Fluss" Gleichung bezeichnet wird,

wobei I die Intensität ist. Es ist dem Fachmann allerdings hinreichend bekannt, daß es weitere Flussgleichungen gibt, die diese ersetzen können. Die aus diesen Gleichungen hervorgehenden Vektorfelder sind die Änderungsanweisungen, um die durch die virtuellen Bezugsobjekte definierten Orte in jedem Zeitschritt anzupassen.
Die Modifikationen bzw. Interaktionen erfolgen immer auf dem geänderten Koordinatensystem und folglich an der geänderten Position des mikroskopischen Objekts 30. In der Praxis heißt dies, dass die im mikroskopischen Objekt 30 markierte Region 61 bzw. Positionen 63 der Koordinatensystemänderung unterworfen sind, die durch das gefundene Verschiebungsvektorfeld definiert sind. Die Modifikationen bzw. Interaktionen werden aufgrund der Koordinatensystemänderungen an den virtuellen Bezugsobjekten, also z.B. auf die Region 61 bzw. auf die Positionen 63, angewendet. So werden z.B. in Abhängigkeit von der Zeit die Geometriedaten, wie z.B. der Schwerpunkt, die Oberfläche, der Umfang oder das Volumen des sich verändernden mikroskopischen Objekts 30 ermittelt. Ebenso kann die Bewegung des Schwerpunkts oder ähnlicher Merkmale über die Zeit bildlich dargestellt und ausgewertet werden. Aus den Geometriedaten können abgeleitete Geometriedaten, wie Geschwindigkeit, Beschleunigung oder Verzögerung ermittelt werden. Ebenso ist es möglich Kollisions-, Vereinigungs- und Trennungsstatistiken vordefinierter mikroskopischer Objekte im Bild der Probe 15 über die Zeit zu erfassen, die im Rahmen oben gegebenener Definition als Messung generalisiert werden. Ebenso ist es möglich Intensitäten innerhalb eines interessierenden Bereichs (Region of Interest) über die Zeit zu erfassen. Dies ermöglicht z.B. Organellen oder sonstige von Biologen erkennbare strukturierte Objekte innerhalb einer biologischen Masse zu kennzeichnen und Prozesse im Innern der mikroskopischen Objekte oder Organellen zu messen, obwohl diese sich heftig bewegen und/oder zappeln. Hinzu kommt, dass mit dem erfindungsgemäßen Verfahren Manipulationen der markierten Pixelbereiche mittels elektromagnetischer Strahlung durchgeführt werden können. Bei der Verwendung eines Scanmikroskops handelt es sich derzeit bei der Manipulation durch Strahlung vorzugsweise um Laserstrahlung zu Zwecken des Bleichens, des Schneidens, des Cage-Compound-Release oder der Photoaktivierung, wobei dem Fachmann hinreichend klar ist, daß jede weitere in Zukunft auftretende Interaktion mit elektromagnetischer Strahlung auch abgedeckt ist. Diese Manipulation wird ausschließlich auf den durch das virtuelle Bezugsobjekt definierten Bereiches des mikroskopischen Objekts 30 angewendet und zwar unabhängig davon, wie sich der Bereich des mikroskopischen Objekts 30 über die Zeit verändert und bewegt. Bei der Verwendung eines herkömmlichen Mikroskops oder eines Scanmikroskops, kann man z.B. Bereiche oder Positionen eines mikroskopischen Objekts 30 markieren, diese über die Zeit verfolgen und diese zu einem bestimmten Zeitpunkt schneiden bzw. manipulieren. Dabei ist durch das erfindungsgemäße Verfahren sichergestellt, dass unabhängig von der Bewegung des mikroskopischen Objekts 30 diese Stelle geschnitten bzw. manipuliert wird, die zu einem Zeitpunkt T = 0 von den Benutzer ausgewählt worden ist.
7 zeigt eine schematische Darstellung eines Teilbereichs des Mikroskopsystems, der die Verbindung des Rechnersystems 23 mit den verschiedenen Stellelementen des Scanmikroskops 100 offenbart. In einer besonderen Ausführungsform kann die Berechnung der Bewegung des mikroskopischen Objekts 30 mit einem FPGA/DSP 63 durchgeführt werden. Hinzu kommt, dass der FPGA/DSP 63 auch dazu herangezogen werden kann, das Scanmikroskop 100 über entsprechend ansteuerbare Stellelemente nachzuregeln, falls das ausgewählte mikroskopische Objekt 30 bzw. die Region im mikroskopischen Objekt 30 das durch das Mikroskop festgelegte Bildfeld verlässt. Der FPGA/(DSP 63 kann ebenfalls als Einschub im Rechnersystem 23 selbst ausgebildet sein. Ebenso ist es denkbar, dass eine Software die Berechnung für die Bewegungsverfolgung und die Ermittlung des Verschiebungsvektorfeldes realisiert. Dabei können sowohl die Software und/oder der FPGA/DSP 63 in entsprechender Weise zusammenarbeiten. Die durch das Softwaremodul und/oder das FPGA/DSP 63 ermittelten Veränderungen des mikroskopischen Objekts 30, werden zum eventuellen Nachführen der optischen Systeme des Scanmikroskops herangezogen. Ist es z.B. erforderlich, das Bildfeld des Scanmikroskops aufgrund der Auswanderung des mikroskopischen Objekts 30 nachzuführen, so werden an entsprechende Stellelemente Aktuatorsignale an der Software bzw. dem FPGA/DSP 63 geliefert. Das Scanmikroskop 100 ist mit einem XYZ-Tisch 65 versehen, der in allen drei Raumrichtungen verstellbar ausgerichtet ist. Für jede Achse ist ein Stellmotor 66 vorgesehen, über den eine geeignete Verstellung des XYZ-Tisches 65 durchgeführt werden kann. Die Signale für die Verstellung werden aufgrund des Trackings von der Software oder von dem FPGA/DSP 63 erzeugt. Ebenso erzeugt die Software oder der FPGA/DSP 63 Signale zum Verstellen eines Objektivrevolvers 67 des Scanmikroskops 100 um somit eine Veränderung des Bildfeldes herbeiführen zu können. Der Objektivrevolver 67 umfasst einen ersten Stellmotor 68 zum Drehen des Objektiverevolvers, so dass eines der mehreren Objektive 70 in die Arbeitsposition gebracht werden kann. Hinzu kommt, dass ein zweiter Stellmotor, oder Aktuator 69 (Piezo) vorgesehen ist, der eine Relativbewegung zwischen dem Objektivrevolver 67 und dem XYZ-Tisch 65 erzeugt. Das Auswählen eines anderen Objektivs 70 wird z.B. dann angeregt, wenn aufgrund der Bewegungen des mikroskopischen Objekts 30 bzw. der ausgewählten Region die Auswahl eines neuen Bildfensters erforderlich ist. Ebenso wird aufgrund des ermittelten Verschiebungsvektorfeldes durch die Software oder den FPGA/DSP 63 an die Galvos des Scanmoduls entsprechende Steuersignale geliefert, damit diese der Bewegung des mikroskopischen Objekts 30 in entsprechender Weise folgen können und somit die gewünschte Interaktion bzw. Modifikation ausschließlich auf den ausgewählten Bereich des mikroskopischen Objekts anwenden. Die Anzahl der Stellmöglichkeiten im mikroskopischen System hängt vor allem im wesentlichen von der jeweils gewünschten Ausstattung des mikroskopischen Systems ab. Eine Standardkonfiguration eines Scanmikroskops 100 hat z.B. neben einer Galvanometersteuerung in XYZ für die Steuerung des Abtastpunktes häufig noch einen XY-Tisch und einen groben z-Aktuator womit sich für XYZ jeweils zwei Sätze von Aktuatoren ergeben, die zur Steuerung genutzt werden können.
Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

Claims

Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten (15), mit einem Mikroskop, gekennzeichnet durch die folgenden Schritte: – Erzeugen mindestens eines Bildes einer Probe, die mindestens ein mikroskopisches Objekt umfasst, – Definition von virtuellen Bezugsobjekten auf einem diskreten Raster des aufgenommenen Bildes bzw. der aufgenommenen Bilder durch den Benutzer zur Definition von Regionen. – Automatisierte Aufnahme einer Folge von Bild- oder Volumendaten. – Sukzessives Ermitteln eines optischen Flusses aus der Folge von aufgenommenen Bildern; – Anwenden des ermittelten optischen Flusses auf die definierten Bezugsobjkekte; und – Ausführen von Interaktionen auf das durch den optischen Fluss geänderte Bezugsobjekt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet das die virtuellen Bezugsobjekte als Regionen, diskrete Punktmengen oder lokale Koordinatensysteme auf dem Bezugsraster der Bildfolge definiert sind und Interaktionsorte definieren.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Interaktionen die Gewinnung von Messdaten des Objekts oder die gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte definierten Positionen umfassen
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Gewinnung der Messdaten – Bilddaten, – Geometriedaten des virtuellen Bezugobjekts, wie Schwerpunkt, Oberfläche, Umfang oder Volumen, oder – aus Geometriedaten des virtuellen Bezugobjekts abgeleitete Grössen wie Geschwindigkeit, Beschleunigung, Volumen- und Oberflächenwachstumsraten, Kollissionstatistiken von virtuellen Bezugsobjekten, sowie – das Bestimmen der Intensität innerhalb der durch das virtuelle Bezugsobjekt definierte Region durch die Erfassung der Intensitätsverteilungsfunktion und beliebiger davon abgeleiteter Parameter wie Mittelwert, Varianz, Schiefe, oder höhere Momente sowie andere in der Statistik üblichen Parameter wie Quantile, Median oder Spanbreite umfasst.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die gezielte Manipulation des Objekts, bezüglich der bestimmten Regionen oder Positionen im Objekt, durch Strahlung erfolgt zum Zwecke von Bleichen, Photoaktivierung, Cage-Compound-Release sowie Schneiden und Ausschneiden.
System zur Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten (15) umfasst ein konfokales Scanmikroskop (100) das einen Beleuchtungslichtstrahl (3) über ein Objekt (15) führt, mehrere Detektoren, die aus dem vom Objekt (15) ausgehenden Licht (17) Intensitäten aus unterschiedlichen Spektralbereichen ermitteln, eine Verarbeitungseinheit (23), einen PC (34), eine Eingabeeinheit (33) und ein Display (27), dadurch gekennzeichnet, dass: – dem Anwender auf dem Display ein einzelnes Bild präsentiert – der Anwender interaktiv virtuelle Bezugsobjekte auf dem auf dem Display (27) angezeigten Bild mit der Hilfe der Eingabeeinheit (33) zur Positionsfestlegung definiert. – in der Verarbeitungseinheit (23) ein Mittel zur Bestimmung des optischen Flusses aus den von Detektoren (19) ermittelten Intensitäten aus unterschiedlichen Spektralbereichen untergebracht ist, – in der Verarbeitungseinheit (23) ein Mittel zur Anwendung des optischen Flusses auf die virtuellen Bezugsobjekte vorliegt und – die Verarbeitungseinheit (23) Interaktionen auf der Basis der veränderten Bezugsobjekte steuert.
System nach Anspruch 7, dadurch gekennzeichnet, das die virtuellen Bezugsobjekte als Regionen, diskrete Punktmengen oder lokale Koordinatensysteme auf dem Bezugsraster der Bildfolge definiert sind und Interaktionsorte definieren.
System nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Interaktionen sowohl die Gewinnung von Messdaten des Objekts als auch die gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte definierten Position erfolgt.
System nach Anspruch 9, dadurch gekennzeichnet, dass die Gewinnung der Messdaten – Geometriedaten, wie Schwerpunkt, Oberfläche, Umfang oder Volumen, oder – Aus Geometriedaten abgeleitete Grössen wie Geschwindigkeit, Beschleunigung, Volumen- und Oberflächenwachstumsraten, Kollissionstatistiken von virtuellen Bezugsobjekten, sowie – das Bestimmen der Intensität innerhalb der durch das virtuelle Bezugsobjekt definierte Region durch die Erfassung der Intensitätsverteilungsfunktion und beliebiger davon abgeleiteter Parameter wie Mittelwert, Varianz, Schiefe, oder höhere Momente sowie andere in der Statistik üblichen Parameter wie Quantile, Median oder Spanbreite umfasst.
System nach Anspruch 10, dadurch gekennzeichnet, dass die gezielte Manipulation des Objekts, bezüglich der bestimmten Regionen oder Positionen im Objekt, die Manipulation durch Strahlung erfolgt zum Zwecke von Bleichen, der Photoaktivierung, des Cage-Compound-Release sowie des Schneiden und des Ausschneidens.