DE102008059788B4

DE102008059788B4 - Analyse und Klassifizierung insbesondere biologischer oder biochemischer Objekte auf Basis von Zeitreihen-Bildern, anwendbar bei der zytometrischen Time-Lapse-Zellanalyse in der bildbasierten Zytometrie

Info

Publication number: DE102008059788B4
Application number: DE102008059788.0A
Authority: DE
Inventors: Dr. Joanidopoulos Konstantin; Dr. Krüger Daniel; Dipl.-Inform. Martens Daniel
Original assignee: Olympus Soft Imaging Solutions GmbH
Current assignee: Evident Technology Center Europe GmbH
Priority date: 2008-12-01
Filing date: 2008-12-01
Publication date: 2018-03-08
Anticipated expiration: 2028-12-02
Also published as: GB0920999D0; DE102008059788A1; GB2465686B; GB2465686A; US20100135566A1

Abstract

Vorgeschlagen wird unter anderem ein Verfahren zur Analyse und Klassifizierung interessierender Objekte, etwa biologischer oder biochemischer Objekte, auf Basis von Zeitreihenbildern, beispielsweise zur Verwendung zur Timelapse-Analyse in der bildbasierten Zytometrie. Es werden zu unterschiedlichen Zeiten Bilder der interessierenden Objekte, etwa Zellen, aufgenommen und diese Bilder einer Segmentierung unterzogen, um Bildelemente als Objekt-Abbilder bzw. Subobjekt-Abbilder interessierender Objekte bzw. Subobjekte interessierender Objekte zu identifizieren. Identifizierte Objekt-Abbilder bzw. Subobjekt-Abbilder werden dann in Bildern der Zeitreihe einander zugeordnet und als Abbild desselben Objekts bzw. Subobjekts bzw. als Resultat eines Objekts bzw. Subobjekts identifiziert. In Bezug auf einzelne Bilder werden darin sich manifestierende erste Merkmale erfasst und in Bezug auf mehrere zu verschiedenen Zeiten aufgenommene Bilder werden darin sich manifestierende zweite Merkmale erfasst. Auf Basis wenigstens eines sich auf wenigstens ein zweites Merkmal beziehenden Klassifikators erfolgt eine Klassifizierung der in den digitalen Bildern der Reihe identifizierten einzelnen Objekte bzw. Subobjekte, als Basis oder Teil einer weiteren Analyse in Hinblick auf wenigstens eine interessierende Fragestellung.

Description

Die Erfindung betrifft ein Verfahren zur Analyse und Klassifizierung interessierender Objekte auf Basis von Zeitreihen-Bildern wenigstens einer Gruppe interessierender Objekte. Es wird vor allem, aber nicht ausschließlich, an biologische oder biochemische Objekte gedacht, insbesondere biologische Zellen oder Zellverbände. Das durch die Erfindung bereitgestellte Verfahren ist universell einsetzbar, kann aber besonders zweckmäßig bei der zytometrischen Zellanalyse, speziell Zeitreihen- oder Timelaps-Analyse, in der bildbasierten Zytometrie angewendet werden.
In der Zytometrie (cytometry) sind Datenauswerteverfahren bekannt und etabliert, die für große Datenmengen geeignet sind. Üblicherweise werden Daten von Parametern und Merkmalen, die von Einzel-Objekten gewonnen werden, in eindimensionalen oder zweidimensionalen Histogrammen aufgetragen. In solchen Hystogrammen können dann Sub-Populationen der erfassten Objekte mit bestimmten Eigenschaften ausgewählt werden. Anhand anderer Parameter bzw. Merkmale können solche ausgewählte Sub-Populationen dann ebenfalls in Histogrammen dargestellt werden, aus denen dann ggf. wieder Sub-Populationen ausgewählt werden. Es ist auf diese Weise möglich, komplexe Klassifikationsschemata zu erstellen, wobei die Komplexität aber in der klassischen, ihren Ursprung in der Durchflusszytometrie habenden Zytometrie aber dadurch begrenzt ist, dass nur eine geringe Anzahl von Parametern bzw. Merkmalen anfällt, nämlich typischerweise Farbe (bzw. Wellenlänge), Intensität und Streulichtsignal. Zur klassischen Durchflusszytometrie wird auf die einschlägige Fachliteratur verwiesen, sowie auf die US 4,021,117 , die US 4,661,913 und die US 4,845,653 .
Dieses Analyseprinzip wurde von der Anmelderin Olympus Soft Imaging Solutions GmbH bereits erfolgreich auf unter dem Begriff „bildbasierte Zytometrie” bildbasierte Anwendungen übertragen, bei denen sich die Anzahl der verfügbaren Parameter bzw. Merkmale vervielfacht hat, da zusätzlich zu den aus der klassischen Zytometrie bekannten Parametern die Objektgröße (insbesondere Zellgröße) und andere morphologische Parameter aus jeweiligen mikroskopisch, ggf. fluoreszenzmikroskopisch, aufgenommenen Bild gewonnen werden. Die Anwendung von zytometrischen Analyseverfahren zur bildbasierten Analyse von etwa fluoreszenzgefärbten Zellen ist bisher aber nicht stark verbreitet. Die Compucyte Corporation bietet ein entsprechendes, automatisiertes „Imaging Cytometer” unter der Bezeichnung „iCyte^®” an (vgl. http://www.compucyte.com). Ferner bietet die Amnis Corporation unter der Bezeichnung „ImageStream^®” ein durchflussbasiertes System für die bildbasierte Zytometrie an (vgl. www.amnis.com).
In den allgemeinen Naturwissenschaften werden häufig dynamische bzw. zeitliche Verhalten beschreibende Daten erhoben und analysiert. Hierzu werden in der Regel in zeitlichen Abständen Messwerte aufgenommen. Aus solchen Messwertereihen können dann Kurven erstellt und aus diesen Kurven könnten mittels verschiedener üblicher Verfahren (Stichworte „Kurvenfitting”, „Kurvendiskussion”) Werte abgeleitet werden, die den jeweiligen dynamischen Prozess bzw. die jeweiligen dynamischen Prozesse charakterisieren. Beispiele sind Größen wie Zerfallskonstanten, Frequenz bei zyklischen bzw. periodischen Signale, Anstiegskonstanten, Zeitpunkte maximaler bzw. minimaler Intensität, Ausdehnung einer Kurve, Halbwertsbreite oder ein anderes typisches zeitliches Intervall einer Kurve, Geschwindigkeit usw.. Typisch für eine solche kinetische Analyse ist die Ableitung singulärer Werte aus Messkurven, die aus vielen Messpunkten bestehen und die von einzeln sich dynamisch verändernden Objekten stammen.
In der Biologie werden solche Verfahren bisher nur in Teilgebieten (z. B. Neurophysiologie, Enzymologie), jedoch nicht für bildbasierte Screening-Anwendungen verwendet. So sind in der klassischen Zytometrie aus präparativen Gründen keine dynamischen Assays möglich. Die Anwendung von mathematischen Analyseverfahren auf aus einzelnen Messwerten generierte Kurven wie etwa Kurvenfitting und dergleichen auf kinetische bzw. dynamische Daten, die aus bildbasierten Experimenten stammen, ist in der Biologie und Biochemie generell sehr wenig verbreitet und bisher nur für einzelne Experimente bekannt, in denen eine einzelne Kurve oder wenige einzelne Kurven so analysiert und charakterisiert werden. Zu verweisen ist beispielsweise auf die US 5,332,905 , nach der der zeitliche Verlauf des Intensitätsverhältnisses zweier Fluoreszenzsignale gemessen und ausgewertet wird, um das Identitätsverhältnis mit Konzentrationen jeweiliger Spezies in der Probe zu korrelieren.
Große Bedeutung in der Biologie und Biochemie haben mittlerweile so genannte „Live-Cell-High-Content-Screening-Systeme und Verfahren”. Verwendet werden vollautomatisierte mikroskopbasierte Imaging-Systeme, die in der Lage sind, Zeitreihen-Messungen an typischerweise in großer Anzahl vorliegenden lebenden Zellen durchzuführen. Ein entsprechendes, auch zur automatischen Berechnung von Änderungen der Intensität oder/und Verteilung von Fluoreszenzsignalen fluoreszierender Reportermoleküle an bzw. in Zellen vorgesehenes System ist beispielsweise aus der EP 0 983 498 B1 bekannt.
Unter dem Stichwort „Tracking” sind Verfahren bekannt, mit denen es möglich ist, in zeitlichen aufeinander folgenden Bildern Objekte zu identifizieren und über die Bilder einer Reihe die jeweiligen Objektabbilder so einander zuzuordnen, dass automatisch Veränderungen dieser Objekte über die Zeit erfasst bzw. gemessen werden können. Ein Beispiel ist das aus der EP 1 348 124 B1 bekannte Tracking-Verfahren zur Identifizierung von Zellen während kinetischer Versuchsreihen (Assays).
Solche automatisierte Tracking-Verfahren werden schon in Life-Cell-High-Screening-Systemen eingesetzt, um kinetische Daten auf Einzelzellebene zu gewinnen. Diese kinetischen Daten werden in Form von Kurven dargestellt, so dass es anhand der Darstellung auf einem Bildschirm oder einem Ausdruck prinzipiell möglich ist, Kurvengruppen zu unterscheiden, deren Kurvenverlauf unterschiedlich ist. Quantitative Möglichkeiten zur Messung solcher Unterschiede sowie zur Auswahl von Kurvengruppen anhand objektivierbarer, quantitativer Kriterien sind nur für Datensätze möglich, die sich anhand einfacher Schwellwerte unterscheiden lassen. Methoden für die Analyse komplexer Datensätze fehlen. Die Analyse mittels einfacher Schwellwerte versagt spätestens dann, wenn die Kurvenanzahl sehr groß wird, oder die Kurven sehr unterschiedliche Formen haben, so dass sie sich unübersichtlich überlagern.
Die herkömmliche Analyse kinetischer Parameter etwa in der Biologie (einschließlich Medizin) beschränkt sich beispielsweise darauf, jeweilige biologische Objekte aufgrund eines kinetischen Parameters in unterschiedliche Gruppen einzuordnen. So beschränkt sich etwa im Aufsatz „Biological effects of recombinant human zona pellucida proteins on sperm function”, Autoren Pedro Caballero-Campo et al., in Biology of Reproduction 74, 760–768 (2006) die Analyse im Kern auf die Einordnung untersuchter Spermien in Gruppen unterschiedlicher Motilität, unter Verwendung eines computerbasierten Spermien-Analysators (IVOS Spermien-Analysator des Anbieters Hamilton-Thorne BioSiences, vgl. www.hamiltonthorne.com/products/casa/ivos.htm).
Ein Verfahren nach dem Oberbegriff von Anspruch 1 zur automatischen Segmentierung, Klassifikation und zum Tracking von Zellkernen in der Timelapse-Mikroskopie ist aus der US 2006/0127881 A1 bekannt.
Diverse bildbasierte Diagnose- und Klassifizierungsverfahren sind aus der WO 2008/005426 A2 , DE 197 54 909 A1 , DE 199 20 300 A1 und WO 2007/144854 A2 bekannt. In diesem Zusammenhang kann zusätzlich auch auf die WO 2007/035687 A3 , WO 2006/114003 A1 , US 2004/0264752 A1 und US 5,253,302 verwiesen werden.
Aufgabe der Erfindung ist, ein grundsätzlich universell einsetzbares Verfahren zur Analyse und Klassifizierung interessierender Objekte auf Basis von Zeitreihen-Bildern wenigstens einer Gruppe interessierender Objekte (etwa biologischer oder biochemischer Objekte, wie Zellen) bereitzustellen, welches die Analyse von in Kurven darstellbaren, aus Zeitreihen-Bildern direkt oder indirekt entnommenden kinetischen oder dynamischen Daten ermöglicht, speziell auch für den Fall, dass solche kinetischen Daten gleichzeitig für eine Vielzahl von einzelnen Objekten vorliegen und in ihrer Gesamtheit ausgewertet werden sollen.
Insbesondere ist es eine Zielsetzung der Erfindung, eine Klassifizierung von sich in kinetischen bzw. dynamischen Parametern unterscheidenden Populationen auf Basis von den Bildern einer Zeitreihe von Bildern entnommenen kinetischen Daten zu ermöglichen, speziell im Falle einer eine große Anzahl von Individuen enthaltender Gesamtheit von Objekten, die zu einer entsprechend großen Datenmenge von sich auf unterschiedliche Individuen beziehender Daten führen.
Weiter ist es eine Zielsetzung, ein entsprechendes Verfahren bereitzustellen, welches grundsätzlich dafür geeignet ist, auf Daten angewendet zu werden, die in an sich bekannten Time-Lapse-High-Content-Screening-Systemen mittels bekannter Tracking-Methoden erzeugt werden, herkömmlich aber allenfalls qualitativ bzw. anhand sehr einfacher Kriterien ausgewertet werden konnten.
Zur Lösung wenigstens einer dieser Aufgabe stellt die Erfindung bereit ein Verfahren zur Analyse und Klassifizierung interessierender Objekte, beispielsweise biologischer oder biochemischer Objekte, auf Basis von Zeitreihen-Bildern wenigstens einer Gruppe interessierender Objekte, beispielsweise zur Verwendung bei der zytometrischen Zellanalyse (speziell Zeitreihen- oder Timelaps-Analyse) in der bildbasierten Zytometrie, welches umfasst:

A) Aufnehmen auf optischem und elektronischem Wege und elektronisches Speichern einer Mehrzahl von digitalen Bildern der in einem Objektbereich einer optischen Objektuntersuchungseinrichtung befindlichen Gruppe interessierender Objekte, wobei die Mehrzahl von digitalen Bildern wenigstens eine Reihe von zu unterschiedlichen Zeitpunkten aufgenommenen digitalen Bildern der Gruppe interessierender Objekte umfasst;
B) Unterziehen zumindest der Reihe von zu unterschiedlichen Zeitpunkten aufgenommenen digitalen Bilder der Mehrzahl von digitalen Bilder einer digitalen Bildverarbeitung zur Segmentierung, umfassend wenigstens eines von i) Identifizieren von Bildelementen als Objekt-Abbilder einzelner interessierende Objekte der Gruppe interessierender Objekte und ii) Identifizieren von Bildelementen als Subobjekt-Abbilder einzelner Subobjekte jeweiliger interessierender Objekte der Gruppe interessierender Objekte, und elektronisches Speichern von diese Segmentierung und Identifizierung repräsentierenden Segmentierungsdaten;
C) zumindest auf Basis von den Segmentierungsdaten: Zuordnen von identifizierten Objekt-Abbildern oder Subobjekt-Abbildern in zu zeitlich aufeinander folgenden Zeitpunkten aufgenommenen digitalen Bildern der Reihe zur Identifizierung als Abbild des selben Objekts bzw. Subobjekts oder als Abbilder von in einer Ursprung-Resultat-Beziehung stehender Objekte bzw. Subobjekte, und elektronisches Speichern von diese Zuordnung und damit die Identifizierung repräsentierenden Zuordnungsdaten;
D) zumindest auf Basis von den Segmentierungsdaten oder den Segmentierungsdaten und den Zuordnungsdaten oder/und von durch die Segmentierungsdaten oder durch die Segmentierungsdaten und die Zuordnungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe: Erfassung von sich direkt oder indirekt in einem einzelnen digitalen Bild der Reihe manifestierenden ersten Merkmalen von durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese Merkmale repräsentierenden ersten Merkmalsdatensatzes;
E) zumindest auf Basis von den Zuordnungsdaten oder den Zuordnungsdaten und den Segmentierungsdaten oder/und von durch die Zuordnungsdaten oder durch die Zuordnungsdaten und die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe oder/und von ersten Merkmalsdaten des ersten Merkmalsdatensatz: Erfassung von sich direkt oder indirekt in Unterschieden zwischen mehreren der digitalen Bilder der Reihe manifestierenden zweiten Merkmalen von durch die Segmentierung und Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese zweiten Merkmale repräsentierenden zweiten Merkmalsdatensatzes;
F) Definieren zumindest eines sich auf wenigstens ein zweites Merkmal beziehenden, auf zweite Merkmalsdaten des zweiten Merkmalsdatensatzes anwendbaren zweiten Klassifikators, derart, dass ein durch das Zuordnen in den digitalen Bildern der Reihe identifiziertes einzelnes Objekt bzw. Subobjekt zu einer dem Klassifikator zugeordneten zweiten Klasse gehört, wenn diesem Objekt bzw. Subobjekt zugeordnete zweite Merkmalsdaten des zweiten Merkmalsdatensatzes wenigstens eine eine Klassifikation in Bezug auf das wenigstens eine zweite Merkmal repräsentierende zweite Klassifikationsbedingung erfüllen, und elektronisches Speichern von den zweiten Klassifikator mit der zweiten Klassifikationsbedingung repräsentierenden zweiten Klassifikatordaten;
G) Klassifizieren unter Anwenden wenigstens eines definierten zweiten Klassifikators auf den zweiten Merkmalsdatensatz zur Ermittlung von durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu der zweiten Klasse gehören, die dem angewendeten zweiten Klassifikator zugeordnet ist, bzw. die zu mehreren zweiten Klassen gehören, die jeweils einem der angewendeten zweiten Klassifikatoren zugeordnet sind; und
H) Analyse von den nach dieser Klassifizierung der zweiten Klasse bzw. den zweiten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.

Nach dem Erfindungsvorschlag werden Zeitreihen-Bilder der untersuchten Objekte aufgenommen und segmentiert, um darin Bildelemente als Objekt-Abbilder bzw. Subobjekt-Abbilder zu identifizieren und entsprechende Segmentierungsdaten für die weitere Verarbeitung abzuspeichern. Es kann dann ein an sich herkömmliches „Tracking” durchgeführt werden, um identifizierte Objekt-Abbilder bzw. Subobjekt-Abbilder in Bildern der Zeitreihe so einander zuzuordnen, dass sie als Abbild desselben Objekts bzw. Subobjekts identifiziert werden. In diesem Zusammenhang kann man prägnant davon sprechen, dass Objekt-Abbilder bzw. Subobjekt-Abbilder aus mehreren, zeitlich aufeinander folgenden digitalen Bildern zu Objektspuren bzw. Subobjektspuren zugeordnet werden, wobei jede Objektspur ausschließlich Objekt-Abbilder bzw. Subobjekt-Abbilder umfasst, die demselben Objekt bzw. Subobjekt der untersuchten Gruppe von Objekten zugeordnet sind.
Inhalt des Verfahrens ist ferner die Ermittlung bzw. Erfassung von momentanen oder/und statischen Merkmalen der Objekte, wobei statische bzw. momentane Merkmale eines Objekts oder Subobjekts aus den Bilddaten eines einzelnen digitalen Bildes auf Grundlage des dem Objekt bzw. Subobjekt zugeordneten Objektabbilds bzw. Subobjekt-Abbilds oder/und aus den Segmentierungsdaten, sowie gewünschtenfalls auch – wenn schon ermittelt – den Zuordnungsdaten ermittelt, ggf. berechnet werden. Solche statischen bzw. dynamischen Merkmale werden als erste Merkmale des ersten Merkmalsdatensatzes gespeichert. Erste Merkmale können also alle aus einem einzelnen Bild entnehmbar oder ableitbare Parameter, Werte, Merkmale usw. sein.
Inhalt des Verfahrens ist ferner die Ermittlung bzw. Erfassung dynamischer oder kinetischer Merkmale von untersuchten Objekten, die direkt oder indirekt mehreren, zu unterschiedlichen Zeitpunkten aufgenommenen Bildern der Zeitreihe entnehmbar sind. Grundlage dieser Ermittlung bzw. Erfassung ist die durch die Zuordnungsdaten beschriebene Zuordnung von Objekten bzw. Subobjekten zwischen den Bildern der Zeitreihe. Prägnant kann man davon sprechen, dass die dynamischen bzw. kinetischen Merkmale auf Grundlage der dem jeweiligen identifizierten Objekt bzw. Subobjekt zugeordneten Objektspur, typischerweise auch dem dieser Objektspur zugeordneten Objekt-Abbildern bzw. Subobjekt-Abbildern, ermittelt (ggf. berechnet) werden. Entsprechende dynamische bzw. kinetische Merkmale werden als zweite Merkmalsdaten des zweiten Merkmalsdatensatzes abgespeichert. Zweite Merkmale können also alle aus mehreren Bildern der Zeitreihe entnehmbare oder ableitbare Parameter, Werte, Merkmale usw. sein. Zweckmäßig gehören aus einem einzelnen Bild für sich alleine entnehmbare bzw. ableitbare Parameter, Werte, Merkmale usw. nicht zu den zweiten Merkmalen.
Inhalt des Verfahrens ist ferner dann die Zuordnung von in den Bildern als Objekt-Abbild bzw. Subobjekt-Abbild enthaltener Objekte zur Objektklassen, wobei ein Objekt einer bestimmten Objektklasse zugeordnet ist bzw. zu dieser gehört, wenn die momentanen bzw. statischen Merkmale und die dynamischen bzw. kinetischen Merkmale des Objekts innerhalb eines der Objektklasse entsprechenden Merkmalsraumbereich eines durch die ersten und zweiten Merkmale aufgespannten multidimensionalen Merkmalraum liegen. Die Klassifizierung erfolgt mittels zumindest eines sich zumindest auf wenigstens ein zweites Merkmal beziehenden Klassifikators (als „zweiter Klassifikator” bezeichnet), wobei in der Regel mehrere Klassifikatoren angewendet werden. Es wird vor allem an mehrere zweite Klassifikatoren gedacht. Es soll aber auch nicht ausgeschlossen werden, dass mindestens ein sich auf wenigstens ein erstes Merkmal des ersten Merkmalsdatensatzes beziehender Klassifikator (als „erster Klassifikator” bezeichnet) angewendet wird. Die verschiedenen Klassifikatoren können eine jeweilige Klassifizierung in Bezug auf verschiedene Unterräume des von den momentanen bzw. statischen und den dynamischen bzw. kinetischen Merkmalen aufgespannten multidimensionalen Merkmalsraum vornehmen.
Im Falle eines sich über die Zeit ändernden, also nicht statischen ersten Merkmals, also eines aus einem jeweiligen Bild entnehmbaren bzw. ableitbaren momentanen Merkmals, kann die Klassifizierung in Bezug auf ein solches erstes Merkmal in Bezug auf den Wert zu einem bestimmten Zeitpunkt bzw. in einem bestimmten Bild der Zeitreihe erfolgen, beispielsweise der momentane Wert zu Beginn der Spur oder Wert zum Zeitpunkt, in dem eine die zeitliche Entwicklung dieses Merkmals angebende Kurve ihr Maximum annimmt, oder der momentane Wert nach Eintritt irgendeines Ereignisses. Angemerkt sei, dass die abgespeicherten ersten Merkmalsdaten nicht zwingend unmittelbar die aus den einzelnen Bildern entnommenen bzw. abgeleiteten ersten Merkmale wiedergeben müssen, sondern dass aus diesen Daten nach erfolgter Zuordnung gemäß Schritt C) den zeitlichen Verlauf summarisch beschreibende Daten als erste Merkmalsdaten bzw. ersten Merkmalsdatensatz gespeichert werden können. Anstelle einer den zeitlichen Verlauf irgendeiner Größe wiedergebenden Wertefolge könnte auch eine diesen zeitlichen Verlauf beschreibende Funktion in Form eines Polygons oder einer Spline-Funktion abgespeichert werden, die für einen jeweiligen Zeitpunkt bzw. ein jeweiliges Bild der Zeitreihe den Wert für das jeweilige erste Merkmal angibt.
Auf die Klassifizierung mittels zumindest eines zweiten Klassifikators erfolgt dann eine weitere Analyse der der betreffenden zweiten Klasse bzw. dem betreffenden zweiten Klassen zugehörigen Objekte bzw. Subobjekte, wobei sich die Analyse vor allem als weitere, mehrstufige Klassifizierung und Anwendung sich vor allem auf unterschiedliche Unterräume des aufgespannten Merkmalsraums beziehenden Klassifikatoren darstellen kann, wobei sowohl erste Klassifikatoren als auch zweite Klassifikatoren zur Anwendung kommen können. Es wird vor allem an die simultane oder zeitlich aufeinander folgende Anwendung einer Kette von verschiedenen zweiten Klassifikatoren gedacht.
Vor allem wird daran gedacht, dass simultan oder zeitlich aufeinander folgend, gegebenenfalls gemäß einer Interaktion eines Benutzers mit einer Benutzerschnittstelle zeitlich aufeinander folgend, verschiedene erste oder/und zweite Klassifikatoren, vor allem aber verschiedene zweite Klassifikatioren, angewendet werden, die sich in der Regel auf verschiedene Unterräume des Merkmalsraums beziehen. Dabei kann die Definition eines Klassifikatiors in einer grafischen Darstellung, insbesondere zweidimensionalen Projektion des Merkmalsraums in einer Benutzerschnittstelle einer das Verfahren implementierenden Software, erfolgen, wobei sich auf verschiedene Unterräume beziehende Klassikatoren sehr zweckmäßig in grafischen Darstellungen des betreffenden Unterräums definiert werden können, etwa durch Eingabe von Bereichsgrenzen oder Markieren einer gewissen Subpopulation mittels eines Anzeigegeräts (etwa Grafiktablett oder Computermaus) auf einem Bildschirm.
Nach bevorzugten Ausführungformen kommen als entsprechende Unterräume vor allem eindimensionale, zweidimensionale oder dreidimensionale Unterräume in Betracht, welche aus zweiten Merkmalen oder aus Transformationen von zweiten Merkmalen gebildet werden. Eine solche Transformation kann beispielsweise eine Hauptkomponentenanalyse über die Bestimmung der Eigenvektoren einer Kovarianz-Matrix sein. In mindestens einem dieser Unterräume wird dann mindestens ein Klassifikator definiert, um aus der Gesamtpopulation der Objekte (zweiter Klasse) Subpopulationen abzuleiten. Daraufhin kann in mindestens einem weiteren Unterraum unter Verwendung dieser Subpopulation mindestens ein weiterer Klassifikator definiert werden, durch dessen Anwendung wiederum eine weitere Subpopulation aus der zuvor abgeleiteten Subpopulation gebildet werden kann. Objekte von Interesse können speziell auch durch logische Verknüpfung so gewonnener verschiedener Klassifikatoren klassifiziert und damit analysiert werden.
Zur vorstehenden Definition des erfindungsgemäßen Verfahrens ist noch auf Folgendes ausdrücklich hinzuweisen:
Die Angabe ”zweiter” bzw. ”zweite” der Begriffe ”zweiter Klassifikator” bzw. ”zweite Klasse” bzw. ”zweite Klassifikationsbedingung” bzw. ”zweite Klassifikatordaten” verweist auf eine Klassifizierung in Bezug auf wenigstens ein in Schritt E) erfasstes ”zweites Merkmal”, zur Unterscheidung von einer – im Rahmen der Erfindung zusätzlich ebenfalls möglichen und in der Praxis grundsätzlich ebenfalls relevanten – Klassifizierung in Bezug auf wenigstens ein in Schritt D) erfasstes ”erstes Merkmal”. In der Erörterung entsprechender Weiterbildungsmöglichkeiten werden die Begriffe ”erster Klassifikator” bzw. ”erste Klasse” bzw. ”erste Klassifikationsbedingung” bzw. ”erste Klassifikatordaten” verwendet, von denen die Angabe ”erster” bzw. ”erste” auf die Klassifizierung in Bezug auf wenigstens ein in Schritt D) erfasstes ”erstes Merkmal” verweist.
”Erste Merkmale” sind aus einem einzelnen Bild entnehmbare momentane Merkmale (die sich über die Zeit verändern können) und über die Zeit statische, sich nicht verändernde Merkmale. Sind für die ”erste Klassifizierung” vor allem die statischen, sich nicht verändernden Merkmale von Interesse, so könnte man anstelle der Begriffe ”erste Merkmale”, ”erster Klassifikator”, ”erste Klasse”, ”erste Klassifikationsbedingung” und ”erste Klassifikatordaten” treffend die Begriffe ”Statik-Merkmale”, ”Statik-Klassifikator”, ”Statik-Klasse”, ”Stank-Klassifikationsbedingung” und ”Statik-Klassifikatordaten” verwenden. Sind hingegen für die „erste Klassifizierung” vor allem über die Zeit sich ändernde, momentane Merkmale von Interesse, so könnte man anstelle der Begriffe „erste Merkmale”, „erster Klassifikator”, „erste Klasse”, „erste Klassifikationsbedingung” und „erste Klassifikatordaten” die Begriffe „Momentan-Merkmale”, „Momentan-Klassifikator”, „Momentan-Klasse”, „Momentan-Klassifikationsbedingungen” und „Momentan-Klassifikatordaten” verwenden, wobei die Klassifikationsbedingung für ein solches erstes Merkmal sich auf den Momentanwert zu einem bestimmten Zeitpunkt bzw. den aus einem bestimmten Bild der Zeitreihe entnommenen bzw. abgeleiteten Momentenwert bezieht, wobei der interessierende Zeitpunkt bzw. das interessierende Bild der Zeitreihe aus dem zeitlichen Verlauf des betreffenden Momentanwerts abgeleitet oder/und sich aus einem zugeordneten zweiten Merkmal oder mehreren zugeordneten zweiten Merkmalen ergeben könnte.
”Zweite Merkmale” sind aus mehreren, zu verschiedenen Zeitpunkten aufgenommenen Bildern entnehmbare bzw. aus solchen ”zweiten Merkmalen” abgeleitete Merkmale, die sich auf sich in den Bilderen manifestierenden Veränderungen über die Zeit beziehen, also auf dynamische oder kinetische Prozesse oder allgemein auf die Dynamik oder Kinetik der untersuchten Objekte bzw. deren Subobjekte. Anstelle der Begriffe ”zweite Merkmale”, ”zweiter Klassifikator”, ”zweite Klasse”, ”zweite Klassifikationsbedingung” und ”zweite Klassifikatordaten” könnte man deshalb treffend die Begriffe ”Kinetik-Merkmale”, ”Kinetik-Klassifikator”, ”Kinetik-Klasse”, ”Kinetik-Klassifikationsbedingung” und ”Kinetik-Klassifikatordaten” oder ”Dynamik-Merkmale”, ”Dynamik-Klassifikator”, ”Dynamik-Klasse”, ”Dynamik-Klassifikationsbedingung” und ”Dynamik-Klassifikatordaten” verwenden. Weiter unten ist für ”zweite Merkmale” der Begriff ”Objektkinetikmerkmale” verwendet, wobei sogenannte ”primäre Objektkinetikmerkmale” und sogenannte ”indirekte Objektkinetikmerkmale” (auch als ”sekundäre Objektkinetikmerkmale” bezeichenbar) unterschieden werden. Die ”indirekten Objektkinetikmerkmale” charakterisieren die ”Kinetik” oder ”Dynamik” indirekt in Bezug auf einen vorgegebenen oder vorgebbaren zeitlichen Modellverlauf, wohingegen die ”primären Objektkinetikmerkmale die ”Kinetk” oder ”Dynamik” direkt (oder zumindest direkter) charakterisieren.
In den Rahmen der Erfindung fällt, aus Zeitreihen-Bildern der untersuchten Objekte die Dynamik bzw. Kinetik beschreibende Zeitreihen-Kurven zu ermitteln und aus diesen mittels an sich bekannter mathematischer Verfahren singuläre Messwerte oder Kennwerte zu ermitteln, die eine jeweilige Kurve charakterisieren. Solche einzelnen Messwerte bzw. Kennwerte können dann mittels an sich in der Zytometrie etablierten Datenauswertemethoden klassifiziert und analysiert werden, ggf. unter Verwendung eines an sich bekannten zytometrischen Interfaces. Kern der Erfindung ist, dass aus Zeitreihen-Aufnahmen direkt oder indirekt entnehmbare zeitliche Änderungen in Bezug auf jeweilige Objekte bzw. Subobjekte durch Charakteristika der zeitlichen Änderung kennzeichnende „Kinetikdaten” oder „Dynamikdaten” beschrieben werden und dass diese „Kinetikdaten” oder „Dynamikdaten” dann – gewünschtenfalls zusammen mit statischen oder momentanen Objektdaten bzw. Subobjektdaten – einer zytometrischen Analyse und Klassifizierung unterzogen werden.
In einer Ex-post-Betrachtung erscheint diese Erfindungsidee vergleichsweise einfach. Zu berücksichtigen ist aber, dass in den Naturwissenschaften, speziell in der Biologie, aber auch in der Physik und in der Chemie, kinetische Kurvenanalysen in der Regel nur zur Erfassung eines oder sehr weniger, für die Kinetik charakteristischer Werte verwendet werden, da meist ein Modell der beobachteten Phänomene vorliegt (Zerfallszeit, Frequenz, usw.). Physiker und Chemiker sind mit den Verfahren der Zytometrie nicht vertraut, und es besteht für Physiker und Chemiker in der Regel auch gar kein Bedarf, in großen Datenmengen, die auf einer Gesamtheit vieler Individuen beruhen, Populationen bzw. Subpopulation zu klassifizieren, die sich in kinetischen bzw. dynamischen Parametern unterscheiden.
Die Erfindung ist im Rahmen der Anspruchsvorgaben universell, für beliebige Arten von kinetischen Experimenten und Datensätzen einsetzbar, um zu klassifizieren bzw. zu klassifizieren und zu analysieren. Gegenüber dem Stand der Technik ist nicht nur eine qualitative Auswertung und nicht nur eine Auswertung anhand einfacher Kriterien in Hinblick auf eine nur sehr begrenzte Anzahl von Fragestellungen und in Bezug auf eine nur sehr begrenzte Anzahl experimentellen Ergebnissen möglich, sondern es lassen sich auch komplizierte Fragestellungen in im Prinzip beliebigen experimentellen Zusammenhängen untersuchen. So lassen sich komplexeste Zeitreihen-Experimente auswerten, ohne dass intransparente mathematische Verfahren, wie z. B. Cluster-Analyse, zur Anwendung kommen müssen. Die Anwendung des erfindungsgemäßen Verfahrens kann vorteilhaft unter Verwendung einer eine grafische Benutzerschnittstelle aufweisenden Software, eines sogenannten Grafischen Tools, erfolgen, welches einfach – nämlich interaktiv und intuitiv – zu bedienen ist und eine schrittweise Klassifizierung zur Analyse der Daten ermöglicht.
In der klassischen Zytometrie sind aus präparativen Gründen überhaupt keine dynamischen Assays möglich, so dass für den Zytometriker kein Bedarf besteht, auf Basis von kinetischen Merkmalen zu klassifizieren. Wie ausgeführt, ist die Anwendung von Kurvendiskussionsmethoden wie Kurven-Fitting und dergleichen, auf kinetische Daten in der Biologie nur für einzelne, sich in der Regel nur auf wenige Individuen beziehende Experimente bekannt (vgl. etwa die schon angesprochene US 5,332,905 ). Soweit kinetische Daten beim Time-Lapse-High-Content-Screening in großer Menge anfallen, konnte nicht erwartet werden, dass die sich nur auf wenige Parameter beziehende klassische Zytometrie Hinweise geben könnte, die eine bessere Auswertung der kinetischen Daten ermöglicht. Eine Klassifizierung fand allenfalls auf Basis einfacher Schwellwert-Klassifizierungen statt.
Die klassische Zytometrie konnte auch deswegen keine Hinweise im Hinblick auf die Auswertung kinetischer Daten beim Time-Lapse-High-Content-Screening geben, da sich die zytometrische Analyse nicht auf Kurven bezieht bzw. Kurvenscharen anwenden lässt. Voraussetzung für die herkömmliche zytrometrische Analyse ist die Reduktion der Kurven auf Einzelwerte. Eine Klassifizierung von Kurvenscharen konnte daher nur für eine sehr begrenzte Anzahl von Experimenten und Datensätzen und nur ansatzweise erfolgen, wie durch Anwendung von einfachen Schwellwert-Bedingungen. Komplexere Datensätze lassen sich so aber nicht analysieren.
Zu berücksichtigen ist auch, dass gerade beim Time-Lapse-High-Content-Screening und auch beim Life-Cell-High-Content-Screening die Kurvencharakteristik jeweiliger kinetischer Daten in der Regel unbekannt ist. Es existiert in der Regel kein aus grundlegenden Prinzipien ableitbares Modell. Existiert kein solches Modell, besteht auch keine Veranlassung für den Versuch, die Kinetik durch aus Kurven ableitbare singuläre Werte zu charakterisieren bzw. zu beschreiben.
Auch nach dem erfindungsgemäßen Verfahren steht normalerweise nicht die Charakterisierung oder Analyse einzelner Kurve im Vordergrund, sei es, dass ein Modell existiert oder dass kein Modell existiert. Es wurde aber erkannt, dass eine Datenanalyse auf der Ebene der aus den Kinetiken abgeleiteten Parametern gegenüber einer herkömmlichen, im Datenraum der Primärdaten (Kinetiken) erfolgenden Datenanalyse viele Vorteile bietet und insbesondere die Identifizierung von Subpopulationen einer viele Individuen habenden Gesamtheit wesentlich erleichtert oder überhaupt erst ermöglicht. Dabei können auch typische Kurvenarten zum Einsatz kommen, ohne dass es tatsächlich ein Modell gibt, aus welchem ein einzelner Kurventyp ableitbar ist.
Damit wird nach der Erfindung eine insbesondere halb- oder vollautomatische Erfassung und Auswertung einer Vielzahl von eine jeweilige Kurve charakterisierender Parameter ermöglicht, um Populationen bzw. Subpopulationen von Kurvenscharen zu identifizieren, die sich in einem oder mehreren Parametern möglicherweise unterscheiden.
Anwendungsgebiete der Erfindung sind insbesondere die biologische und medizinische Grundlagenforschung und die angewandte Forschung in der Biologie und Medizin, sowie Toxikologie und Pharmakologie, Diagnostik, vor allem, aber nicht ausschließlich, diagnostische Forschung, Drug-Screening, Compound-Screening, Small-Molecule-Screening und Ähnliches. Es ist aber nicht ausgeschlossen, dass neben Anwendungsbereichen im Gebiet „Life-Sciences” auch Anwendungsmöglichkeiten in völlig anderen naturwissenschaftlichen und technischen Gebieten bestehen.
Es wird vor allen an Anwendungen in der Mikroskopie, insbesondere in der Licht-Mikroskopie oder/und Fluoreszenz-Mikroskopie gedacht, sowie allgemein in bildbasierten Untersuchungen (Imaging), vor allem, aber nicht ausschließlich, an Fluoreszenz-Imaging. Besonders vorteilhaft ist die Erfindung bei Zell-basierten Assays mit lebenden Zellen anwendbar.
Die Bereitstellung des erfindungsgemäßen Verfahrens beispielsweise in Form einer Software zur zytometrischen Analyse von kinetischen Daten erweitert die Funktionalität etwa von High-Content-Screening-Systemen erheblich, erschließt neue quantitative Möglichkeiten in der Datenauswertung und trägt so zur Erzielung von weiterführenden Ergebnissen in der Forschung und Entwicklung und in anderen angesprochenen Gebieten bei. Dies wird auch zum kommerziellen Wert und kommerziellem Erfolg versprechender Auswertesoftware und entsprechender Screening-Systeme und sonstiger Analysesysteme, die die Erfindungsideen implementieren, positiv beitragen.
Es kommen vielfältige Ausgestaltungen und Weiterbildungen des erfindungsgemäßen Verfahrens zur Analyse und Klassifizierung interessierender Objekte in Betracht. Bezug nehmend auf die Verfahrensschritte A) bis H) der Erfindungsdefinition ist darauf hinzuweisen, dass durch die Buchstabenfolge A) bis H) keine bestimmte zeitliche Reihenfolge der einzelnen Verfahrensschritte implizit ist. Eine zwingende Aufeinanderfolge einzelner Verfahrensschritte ergibt sich nur aus dem technischen Inhalt einzelner Verfahrensschritte, nämlich dann, wenn ein Verfahrensschritt auf Basis von Daten erfolgt, die die Durchführung eines anderen Verfahrensschritts voraussetzen. Selbst dann können solche voneinander abhängige bzw. sich aufeinander sich beziehende Verfahrensschritte simultan in Form eines gemeinsamen Verfahrensschritts durchgeführt werden. So kommt es durchaus in Betracht, dass etwa die Verfahrensschritte D) und E) in einem Zug auf Basis aller heranzuziehender Bilder der Zeitreihe durchgeführt werden. Auch der Verfahrensschritt C) könnte hierbei mit einbezogen sein, bräuchte also nicht zwingend als eigener Verfahrensschritt unabhängig bzw. vorausgehend der Durchführung der Verfahrensschritte D) und E) durchgeführt werden. Die Definition der Erfindung ist also als funktionelle Definition zu verstehen. Ob bzw. in welchem Umfang die Funktionen in einer bestimmten Reihenfolge oder simultan erfüllt werden, ist egal. Nur wenn eine Funktion technisch zwingend auf einer anderen Funktion aufbaut, gibt es durch die Funktionsangaben implizierte Abhängigkeiten. Trotzdem könnten diese Funktionen implementierende Verfahrensschritte simultan durchgeführt werden. Hängen die Funktionen nicht voneinander ab, ist die Reihenfolge der Durchführung beliebig.
So kommt es auch ohne weiteres in Betracht, dass vorausgehend dem Zuordnen gemäß Schritt C) das Erfassen gemäß Schritt D) durchgeführt wird zumindest auf Basis von den Segmentierungsdaten oder/und von durch die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe. Alternativ ist es möglich, dass nachfolgend dem Zuordnen gemäß Schritt C) das Erfassen gemäß Schritt D) durchgeführt wird zumindest auf Basis von den Segmentierungsdaten oder/und von durch die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe. Vorteilhaft kann vorgesehen sein, dass nachfolgend dem Zuordnen gemäß Schritt C) das Erfassen gemäß Schritt D) durchgeführt wird zumindest auf Basis von den Segmentierungsdaten und den Zuordnungsdaten oder/und von durch die Segmentierungsdaten und die Zuordnungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, wobei erste Merkmale als erste Merkmale von durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten identifiziert werden und entsprechende Identifizierungsdaten als wenigstens ein Teildatensatz des ersten Merkmalsdatensatzes elektronisch gespeichert werden. Eine vorteilhafte Realisierung umfasst vorausgehend dem Zuordnen gemäß Schritt C):

D1) zumindest auf Basis von den Segmentierungsdaten oder/und von durch die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe: Erfassung von sich direkt oder indirekt in einem einzelnen digitalen Bild der Reihe manifestierenden ersten Merkmalen von durch die Segmentierung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese Merkmale repräsentierenden ersten Merkmalsdatensatzes.

In diesem Falle kann man zweckmäßig vorsehen, dass das Erfassen gemäß Schritt D) das dem Zuordnen gemäß Schritt C) vorausgehende Erfassen gemäß Schritt D1) umfasst, und dass Schritt D) nachfolgend dem Zuordnen gemäß Schritt C) ferner umfasst, auf Basis der Zuordnungsdaten erste Merkmale als erste Merkmale von durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zu identifizieren und entsprechende Identifizierungsdaten als wenigstens ein Teildatensatz des ersten Merkmalsdatensatzes elektronisch zu speichern.
Nach einer bevorzugten Ausführungsform umfasst das Verfahren zur Analyse und Klassifizierung ferner die Schritte:

F1) Definieren zumindest eines sich auf wenigstens ein erstes Merkmal beziehenden, auf erste Merkmalsdaten des ersten Merkmalsdatensatzes anwendbaren ersten Klassifikators, derart, dass ein durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifiziertes einzelnes Objekt bzw. Subobjekt zu einer dem Klassifikator zugeordneten ersten Klasse gehört, wenn diesem Objekt bzw. Subobjekt zugeordnete erste Merkmalsdaten des ersten Merkmalsdatensatzes wenigstens eine eine Klassifikation in Bezug auf das wenigstens eine erste Merkmal repräsentierende erste Klassifikationsbedingung erfüllen, und elektronisches Speichern von den ersten Klassifikator mit der ersten Klassifikationsbedingung repräsentierenden ersten Klassifikatordaten, und
G1) Klassifizieren unter Anwenden wenigstens eines definierten ersten Klassifikators auf den ersten Merkmalsdatensatz zur Ermittlung von durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu der ersten Klasse gehören, die dem angewendeten ersten Klassifikator zugeordnet ist, bzw. die zu mehreren ersten Klassen gehören, die jeweils einem der angewendeten ersten Klassifikatoren zugeordnet sind.

Wie angesprochen, kann dabei eine Klassifizierung nach wenigstens einem statischen Merkmal oder/und nach wenigstens einem sich zeitlich verändernden Merkmal in Bezug auf einen Momentanwert zu einem bestimmten Zeitpunkt (oder in einem bestimmten Bild der Zeitreihe oder auch in Bezug auf mehrere Zeitpunkte bzw. mehrere Bilder der Zeitreihe) erfolgen, wobei der interessierende Zeitpunkt bzw. das interessierende Bild sich aus dem Verlauf des Momentanwerts oder/und wenigstens einem zweiten Merkmal ergeben kann.
Man kann vorsehen, dass die Segmentierung gemäß Schritt B), das bzw. ein Erfassen gemäß Schritt D) bzw. Schritt D1) und zumindest eine Klassifizierung gemäß Schritt G1) vorausgehend dem Erfassen gemäß Schritt E) oder vorausgehend dem Zuordnen gemäß Schritt C) simultan in einem Segmentierungs-, Erfassungs- und Klassifizierungsschritt durchgeführt wird. Ferner kann es zweckmäßig sein, dass das bzw. ein Erfassen gemäß Schritt D) oder D1) zumindest eine Klassifizierung gemäß Schritt G1) vorausgehend dem Zuordnen gemäß Schritt C) durchgeführt wird und das Zuordnen gemäß Schritt C) nur in Bezug auf identifizierte Objekt-Abbilder bzw. Subobjekt-Abbilder durchgeführt wird, die einem Objekt bzw. Subobjekt entsprechen, welches zu der ersten Klasse gehört, die dem angewendeten ersten Klassifikator zugeordnet ist, bzw. welches zu mehreren ersten Klassen gehört, die jeweils einem der angewendeten ersten Klassifikatoren zugeordnet sind. Es wird in diesem Zusammenhang auch daran gedacht, dass die Klassifizierung gemäß Schritt G) zusammen mit einer Klassifizierung gemäß Schritt G1) durchgeführt wird, um Objekte bzw. Subobjekte zu ermitteln, die zu den Klassen gehören, die jeweils einem der angewendeten Klassifikatoren zugeordnet sind.
Vorteilhaft kann das Verfahren zur Analyse und Klassifizierung ferner umfassen:

H1) Analyse von den nach wenigstens einer Klassifizierung gemäß Schritt G1) der ersten Klasse bzw. den ersten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.

Weiter kann das Verfahren zur Analyse oder Klassifizierung vorteilhaft umfassen:

G2) Klassifizieren unter Anwenden wenigstens eines definierten ersten Klassifikators auf den ersten Merkmalsdatensatz und wenigstens eines definierten zweiten Klassifikators auf den zweiten Merkmalsdatensatz zur Ermittlung von durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu den den angewendeten Klassifikatoren zugeordneten Klassen gehören.

Es wird speziell auch daran gedacht, dass die Klassifizierung gemäß Schritt G2) die Klassifizierung gemäß Schritt G) und die Klassifizierung gemäß Schritt G1) umfasst.
Vorteilhaft kann das Verfahren zur Analyse und Klassifizierung ferner umfassen:

H2) Analyse von den nach wenigstens einer Klassifizierung gemäß Schritt G2) der wenigstens einen ersten Klasse und der wenigstens eine zweiten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.

Dabei kann die Analyse gemäß Schritt H2) die Analyse gemäß Schritt H) oder die Analyse gemäß Schritt H1), oder sowohl die Analyse gemäß Schritt H) als auch die Analyse gemäß Schritt H1) umfassen.
Es wird vor allem daran gedacht, dass die Analyse gemäß Schritt H) oder Schritt H1) oder Schritt H2) wenigstens eine weitere Klassifizierung gemäß Schritt G) oder Schritt G1) oder Schritt G2) umfasst. Dabei kann vorgesehen sein, dass die Klassifizierung gemäß Schritt G) und von der Analyse gemäß Schritt H) zumindest wenigstens eine weitere Klassifizierung gemäß Schritt G) oder Schritt G1) oder Schritt G2) simultan als eine Mehrfach-Klassifizierung durchgeführt werden. Die Analyse nach Schritt H) in Verbindung mit der Klassifizierung nach Schritt G) kann rein als Anwendung mehrerer unterschiedlicher Klassifikatoren realisiert sein.
In diesem Zusammenhang wird speziell als besonders vorteilhaft vorgeschlagen, dass zur Analyse bzw. zur Klassifizierung und Analyse eine Reihe von Klassifizierungen gemäß Schritt G) oder/und Schritt G1) oder/und Schritt G2) simultan oder verkettet durchgeführt wird, um diejenigen Objekte oder Subobjekte zu ermitteln, die nach ihren in Bezug auf die ersten oder/und zweiten Merkmale erfassten ersten bzw. zweiten Merkmalsdaten, diese verstanden als Koordinaten in einem durch die ersten oder/und zweiten Merkmale aufgespannten multidimensionalen Merkmalsraum, in einem bestimmten Merkmalsraumbereich liegen, der durch die angewendeten ersten bzw. zweiten Klassifikatoren ausgewählt ist. Im Falle sich über die Zeit ändernder erster Merkmale sind ggf. jene Objekte oder Subobjekte zu ermitteln, die nach ihrer „Spur” im Merkmalsraum durch einen bestimmten Merkmalsraumbereich gehen. Dabei können zur Klassifizierung erste bzw. zweite Klassifikatoren angewendet werden, die sich auf verschiedene Teilräume des multidimensionalen Merkmalsraums beziehen. Ferner können zur Klassifizierung erste bzw. zweite Klassifikatoren angewendet werden, die sich auf denselben Teilraum des multidimensionalen Merkmalsraums beziehen.
Erwähnt werden sollte, dass die Analyse gemäß Schritt H) oder Schritt H1) oder Schritt H2) wenigstens eine weitere Definition wenigstens eines weiteren Klassifikators gemäß Schritt F) oder Schritt F1) und wenigstens eine weitere Klassifizierung auf Basis des weiteren Klassifikators gemäß Schritt G) oder Schritt G1) oder Schritt G2) umfassen kann.
Es sollte darauf hingewiesen werden, dass das Klassifizieren durch Anwenden wenigstens eines definierten ersten bzw. zweiten Klassifikators gemäß Schritt G) oder Schritt G1) oder Schritt G2) durchgeführt werden kann zur Ermittlung von in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die nicht zu der Klasse gehören, die dem angewendeten Klassifikator zugeordnet ist, bzw. die nicht zu mehreren Klassen gehören, die jeweils einem der angewendeten Klassifikatoren zugeordnet sind. In diesem Zusammenhang ist zu beachten, dass ein Klassifikator KA der die zur Klasse A gehörenden Objekte ermittelt, zu einem Klassifikator KB = NICHT-KA korrespondiert, der diejenigen Objekte ermittelt, die nicht zur Klasse A gehört. Diese nicht zu Klasse A gehörenden Objekte können als der Klasse B zugehörig betrachtet werden. Insoweit reicht es aus, nur solche Klassifikatoren ausdrücklich zu erwähnen, die die zur dem Klassifikator zugeordneten Klasse zugehörigen Objekte selektiert.
Es wird im Rahmen der Erfindung vor allem auch daran gedacht, dass im Schritt F) bzw. im Schritt F1) oder im Zuge der Analyse gemäß Schritt H) oder Schritt H1) oder Schritt H2) wenigstens ein erster bzw. zweiter Klassifikator definiert wird und im Schritt G) bzw. im Schritt G1) oder im Zuge der Analyse gemäß Schritt H) oder Schritt H1) oder Schritt H2) zum Klassifizieren angewendet wird, der sich auf mehrere erste Merkmale bezieht und auf erste Merkmalsdaten des ersten Merkmalsdatensatz anwendbar ist bzw. der sich auf mehrere zweite Merkmale bezieht und auf zweite Merkmalsdaten des zweiten Merkmalsdatensatz anwendbar ist. Ferner kann es sehr zweckmäßig sein, wenn im Schritt F) oder im Zuge der Analyse gemäß Schritt H) oder Schritt H2) wenigstens ein zweiter Klassifikator definiert wird und im Schritt G) oder im Zuge der Analyse gemäß Schritt H) oder Schritt H2) zum Klassifizieren angewendet wird, der sich auf wenigstens ein erstes Merkmal und wenigstens ein zweites Merkmal bezieht und auf erste Merkmalsdaten des ersten Merkmalsdatensatzes und zweite Merkmalsdaten des zweiten Merkmalsdatensatzes oder auf aus ersten Merkmalsdaten und zweiten Merkmalsdaten kombinierte Merkmalsdaten anwendbar ist.
Ein solcher sich auf mehrere Merkmale beziehender Klassifikator kann zweckmäßig wenigstens eine diese Merkmale in der Art einer Funktion oder Relation mehrerer Variablen verknüpfende Klassifikationsbedingung aufweisen. Eine so erzielte Klassifikation geht über die einfache Anwendung einer oder mehrerer Schwellwertbedingungen in Bezug auf die ersten bzw. zweiten Merkmale hinaus. Die Klassifikation kann damit der Auswahl bzw. dem Auffinden eines Merkmalsraumbereichs entsprechend, der durch sich im Prinzip beliebig im multidimensionalen Merkmalsraum erstreckende Hyperebenen begrenzt ist, die durch mehrdimensionale Ebenengleichungen beschrieben werden.
Es sollte auch darauf hingewiesen werden, dass vorausgehend den Aufnehmen gemäß Schritt A) wenigstens ein erster Klassifikator gemäß Schritt F) vordefiniert werden kann oder/und dass vorausgehend dem Aufnehmen gemäß Schritt A) wenigstens ein zweiter Klassifikator gemäß Schritt F1) vordefiniert werden kann. Es wird auch daran gedacht, dass wenigstens ein gemäß Schritt F) bzw. F1) vordefinierter erster bzw. zweiter Klassifikator zusammen mit dem Verfahren zur Benutzung für die Analyse und einer Klassifizierung bereitgestellt wird.
Zweckmäßig kann wenigstens ein erster Klassifikator gemäß Schritt F) oder/und wenigstens ein zweiter Klassifikator gemäß Schritt F1) interaktiv, auf Basis einer Benutzereingabe, definiert werden. Ferner kann wenigstens ein erster Klassifikator gemäß Schritt G1) oder im Zuge der Analyse gemäß Schritt H1) oder Schritt H2) oder/und wenigstens ein zweiter Klassifikator gemäß Schritt G) oder im Zuge der Analyse gemäß Schritt H) oder Schritt H2) interaktiv, auf Basis einer Benutzereingabe, angewendet werden.
Das Verfahren zur Anlayse und Klassifizierung kann vorteilhaft teilautomatisiert oder vollautomatisiert durchgeführt werden. In diesem Zusammenhang wird daran gedacht, dass das Verfahren ohne Benutzereingaben durchgeführt wird zumindest während wenigstens eines, vorzugsweise während der Durchführung mehrerer, höchstvorzugsweise während der Durchführung aller der Schritte B), C), D) bzw. D1), E), G) bzw. G1) und H) bzw. H1) bzw. H2).
Man kann vorsehen, dass bei der Erfassung und Auswertung zeitlicher Verläufe, speziell bei der Erfassung zweiter Merkmale, die Änderungen zwischen den Bildern der Zeitreihe über die die gesamte Zeitreihe, also die gesamte zeitliche Entwicklung der interessierenden ersten Merkmale, berücksichtigt wird. Es werden also gewissermaßen die sich aus der zeitlichen Entwicklung beispielsweise von Zellmerkmalen ergebenden Kurvenverläufe in voller Länge zur Analyse und Merkmalsextraktion genutzt. Dies ist vor allem dann sinnvoll, wenn ein entsprechender zeitlicher Verlauf bzw. eine entsprechende Kurve als Ganzes untersucht und ihre globale Charakteristik ermittelt und analysiert und dabei ggf. zur Klassifizierung verwendet werden soll.
Es ist aber nicht immer der gesamte zeitliche Verlauf bzw. eine gesamte Kurve von Interesse. Häufig gibt es zeitliche Teilbereiche, in denen beispielsweise von außen ein Prozess angestoßen wird, z. B. durch eine Pipettierung, oder in denen das untersuchte Objekt ein bestimmtes Verhalten zeigt, beispielsweise ein objektindividuelles Ereignis auftritt. Solche interessierenden zeitlichen Verläufe könnten dann untergehen bzw. nicht hinreichend berücksichtigt werden, wenn die Merkmalsextraktion auf Basis des jeweiligen gesamten zeitlichen Verlaufs erfolgt.
Es wird deswegen weiterbildend vorgeschlagen, dass betreffend mindestens einen wenigstens ein erstes Merkmal betreffenden zeitlichen Verlauf wenigstens ein interessierender Zeitbereich, der einer Teilreihe der Reihe von Bildern entspricht, halb- oder voll-automatisch bestimmt oder interaktiv ausgewählt wird und auf Basis des zeitlichen Verlaufes im interessierenden Zeitbereich oder/und der Bilder der Teilreihe wenigstens ein zweites Merkmal erfasst und als zweites Merkmal des zweiten Merkmalsdatensatz gespeichert wird. Dabei wird beispielsweise daran gedacht, dass wenigstens ein Zeitbereich so bestimmt oder ausgewählt wird, dass der Zeitbereich ein Zeitintervall umfasst, welches sich an den Zeitpunkt einer Einwirkung auf die Objekte anschließt. Weiter wird in diesem Zusammenhang daran gedacht, dass wenigstens ein Zeitbereich so bestimmt oder ausgewählt wird, dass der Zeitbereich ein Zeitintervall umfasst, welches sich an den Zeitpunkt eines bei einem jeweiligen Objekt bzw. den Objekten auftretenden Ereignisses anschließt.
Man kann zweckmäßig vorsehen, dass die Bestimmung bzw. Auswahl wenigstens eines interessierenden Zeitbereichs eine Mehrzahl oder alle der durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekte bzw. Subobjekte auf einer diesen Objekten gemeinsam zugeordneten absoluten Zeitskala betrifft. In diesem Zusammenhang wird beispielsweise daran gedacht, dass ein externes Ereignis, wie etwa eine Pipettierung, eine zeitliche Entwicklung bei den untersuchten Objekten auslöst, die ausgewertet werden soll.
Eine andere, sehr zweckmäßige Möglichkeit ist, dass die Bestimmung bzw. Auswahl wenigstens eines interessierenden Zeitbereichs wenigstens ein durch die Zuordnung in den digitalen Bildern der Reihe identifiziertes einzelnes Objekte bzw. Subobjekt auf einer diesem Objekt individuell zugeordneten relativen Zeitskala betrifft. Es kann nämlich auch bei einzelnen Objekten zu unterschiedlichen Zeitpunkten ein interessierendes Ereignis auftreten oder eine interessierende zeitliche Entwicklung einsetzen, so dass für verschiedene Objekte auf einer absoluten Zeitskala gegeneinander versetzte interessierende Zeitbereiche zu bestimmen bzw. auszuwählen sind.
Bevorzugt ist vorgesehen, dass wenigstens ein zweiter Klassifikator definiert und zur Klassifizierung angewendet wird, der sich auf wenigstens ein auf Basis des zeitlichen Verlaufes im interessierenden Zeitbereich oder/und der Bilder der Teilreihe erfasstes zweites Merkmal bezieht.
Nach einer zweckmäßigen Ausgestaltung des Verfahrens zur Analyse und Klassifizierung ist vorgesehen, dass eine eine Vielzahl von interessierenden Objekten umfassende Gruppe interessierender Objekte oder mehrere jeweils eine Vielzahl von interessierenden Objekten umfassende Gruppen interessierender Objekte oder eine oder mehrere Gruppen aus mehreren, jeweils eine Vielzahl von interessierenden Subgruppen von interessierenden Objekten in dem Objektbereich angeordnet wird, und dass die digitalen Bilder dieser Gruppe bzw. Gruppen bzw. Subgruppen gemäß Schritt A) im Falle mehrerer Gruppen für alle interessierenden Objekte dieser Gruppen gleichzeitig oder gruppenweise nacheinander oder im Falle mehrerer Subgruppen einer Gruppe für alle Subgruppen gleichzeitig oder subgruppenweise nacheinander aufgenommen werden. In diesem Zusammenhang wird speziell vorgeschlagen, dass aufeinander folgend Gruppen von interessierenden Objekten oder Gruppen aus mehreren Subgruppen von interessierenden Objekten manuell oder teilautomatisiert oder vollautomatisiert dem Objektbereich zugeführt und nach dem Aufnehmen der Mehrzahl von digitalen Bilder der jeweils zugeführten, momentan im Objektbereich befindlichen mindestens einen Gruppe gemäß Schritt A) wieder abgeführt werden. Weiterhin wird vorgeschlagen, dass sich jedes Objekt der Gruppe in einer eigenen Objektaufnahme eines für alle Objekte der Gruppe gemeinsamen, dem Objektbereich zugeführten Objekträgers befindet oder dass sich die Objekte jeder Gruppe bzw. die Objekte jeder Subgruppe gemeinsam in einer der Gruppe bzw. Subgruppe zugeordneten Objektaufnahme eines für alle Gruppen bzw. Subgruppen gemeinsamen, dem Objektbereich zugeführten Objekträgers befinden. Dabei kann das Objekt bzw. können die Objekte in der jeweiligen Objektaufnahme zusammen mit einem das Objekt bzw. die Objekte umgebenden oder dieses bzw. diese tragenden Medium aufgenommen sein.
Im Rahmen der Erfindung soll aber auch nicht ausgeschlossen sein, dass die Objekte bzw. dass die Gruppe bzw. die Gruppen bzw. die Subgruppen mittels eines die Objekte fördernden flüssigen Mediums dem Objektbereich zugeführt und nach dem Aufnehmen der digitalen Bilder wieder abgeführt werden.
Aus den vorangehenden Ausführungen dürfte sich zumindest implizit schon ergeben, dass die zweiten Merkmale eine Kinetik oder ein dynamisches Verhalten oder eine Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug auf ein jeweiliges Objekt bzw. Subobjekt direkt charakterisierende direkte (primäre) Objektkinetikmerkmale umfassen können, die unmittelbar oder mittelbar aus Unterschieden zwischen mehreren der digitalen Bilder der Reihe oder aus diese Unterschiede wiederspiegelnden Daten aus den Zuordnungsdaten bzw. aus den Segmentierungsdaten bzw. aus den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe bzw. aus den ersten Merkmalsdaten ermittelt werden. Es kann wenigstens ein sich auf ein direktes (primäres) Objektkinetikmerkmal beziehender Klassifikator definiert und zum Klassifizieren angewendet werden. In der Regel werden mehrere derartige Klassifikatoren definiert und angewendet, gleichzeitig oder nacheinander.
Ferner können die zweiten Merkmale eine Kinetik oder ein dynamisches Verhalten oder eine Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug ein jeweiliges Objekt bzw. Subobjekt indirekt charakterisierende indirekte (sekundäre) Objektkinetikmerkmale umfassen, die mittelbar, auf Basis eines vorgegebenen oder vorgebbaren zeitlichen Modellverlaufs, aus Unterschieden zwischen mehreren der digitalen Bilder der Reihe oder aus diese Unterschiede wiederspiegelnden Daten aus den Zuordnungsdaten bzw. aus den Segmentierungsdaten bzw. aus den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe bzw. aus den ersten Merkmalsdaten ermittelt werden. Die indirekten Objektkinetikmerkmale können beispielsweise wenigstens einen Anpassungsparameter mindestens eine den zeitlichen Modellverlauf beschreibenden Funktion umfassen. Ferner wird auch daran gedacht, dass die indirekten Objektkinetikmerkmale wenigstens eine eine Abweichung oder eine Übereinstimmung zwischen der Kinetik bzw. dem dynamischen Verhalten bzw. der Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug ein jeweiliges Objekt bzw. Subobjekt einerseits und dem zeitlichen Modellverlauf andererseits quantifizierende Abweichungsgröße bzw. Übereinstimmungsgröße umfassen. Es wurde gefunden, dass derartige, sich auf einen Modellverlauf beziehenden indirekten Objektkinetikmerkmale eine sehr wirkungsvolle und zur Findung einer interessierenden Subpopulation zielführende Klassifizierung ermöglichen, wobei es nicht zwingend ist, dass der Modellverlauf aus grundlegenden Prinzipien herleitbar ist. Es können vielmehr auch typische, im jeweiligen Zusammenhang auftretende Modellverläufe zugrunde gelegt werden, um zu sehen, welcher dieser Modellverläufe am besten passt und so indirekt auf Basis unterschiedlicher typischer Modelle zu klassifizieren. Es ist also sehr vorteilhaft, wenn wenigstens ein sich auf ein indirektes (sekundäres) Objektkinetikmerkmal, insbesondere einen Anpassungsparameter oder eine Abweichungsgröße oder Übereinstimmungsgröße, beziehender Klassifikator definiert und zum Klassifizieren angewendet wird. Zweckmäßig können auch mehrere derartige Klassifikatoren definiert und angewendet werden, gleichzeitig oder nacheinander.
Angemerkt sei, dass eine solche Klassifizierung auf Basis indirekter Objektkinetikmerkmale in einer Ebene noch höherer Abstraktion als auf der Ebene der aus den Kinetiken abgeleiteten Parameter (insbesondere die angesprochenen primären Objektkinematikmerkmale) erfolgt, welche selbst aus dem Datenraum der Primärdaten (Kinetiken) nur abgeleitet sind. Es erfolgt insoweit ein zweifacher Übergang zu die Kinetik charakterisierenden Daten eines höheren Abstraktionsgrads, was überraschenderweise zu besonders guten Ergebnissen betreffend die Klassifizierung und Analyse führt.
Anzumerken ist, dass die Klassifizierung auf Basis der zweiten Merkmale, speziell der direkten und indirekten Objektkinetikmerkmale, so wirkungsvoll ist, dass durchaus auf eine Klassifizierung nach ersten Merkmalen verzichtet werden kann, zumindest im Rahmen der Durchführung der Analyse gemäß Schritt H). Praktischerweise wird häufig aber eine Klassifizierung nach einem oder mehreren ersten Parametern zum „Ausfiltern” von vornherein uninteressanten Objekten, beispielsweise defekten Zellen und dergleichen, zweckmäßig sein, etwa auch um diese von der Segmentierung und der Zuordnung auszuschließen, um den Datenverarbeitungsaufwand zu reduzieren. Dies ist aber nur eine Option und spielt bei heute üblicherweise zur Verfügung stehenden Datenverarbeitungsresourcen keine sehr wichtige Rolle mehr.
Aus den vorangehenden Ausführungen ergibt sich schon, dass das Verfahren zweckmäßig zum Finden wenigstens einer Population oder Subpopulation interessierender Objekte durchgeführt werden kann, die sich durch wenigstens eine bestimmte, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Eigenschaft oder/und durch wenigstens eine bestimmte, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Reaktion auf wenigstens eine gezielte Einwirkung oder/und durch wenigstens ein bestimmtes, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Verhalten von anderen Objekten unterscheiden. Dabei können die Objekte vorausgehend der Zufuhr in den Objektbereich oder/und im Objektbereich vorausgehend dem Aufnehmen der digitalen Bilder oder/und während dem Aufnehmen der Reihe von digitalen Bildern einer chemischen oder/und biochemischen oder/und biologischen oder physikalischen Einwirkung ausgesetzt werden. In diesem Zusammenhang wird beispielsweise vorgeschlagen, dass wenigstens ein Reagenz zur Herbeiführung der chemischen oder/und biochemischen oder/und biologischen Einwirkung zugeführt wird.
Das Aufnehmen der digitalen Bilder kann auf Basis einer physikalischen, insbesondere optischen Anregung der Objekte bzw. Subobjekte oder von Inhaltsstoffen der Objekte bzw. Subobjekte zur Emission von gemäß Schritt A) aufzunehmender optischer Strahlung erfolgt. In diesem Zusammenhang wurde schon das Stichwort fluoreszenzbasiertes Imaging gegeben und speziell die Fluoreszenzmikroskopie erwähnt.
Das Aufnehmen der digitalen Bilder kann auf Basis einer Auflicht- oder/und Durchlichtbeleuchtung der Objekte erfolgen, alternativ oder zusätzlich zu einem fluoreszenzbasierten Imaging.
Die interessierenden Objekte, die dem Verfahren zur Analyse und Klassifizierung unterzogen werden, können bevorzugt biologische Objekte, beispielsweise lebende oder tote Zellen oder zusammenhängende Gruppen von Zellen oder Zellfragmente oder Gewebeproben, oder biochemische Objekte umfassen. Es wird vor allem daran gedacht, dass die interessierenden Objekte mikroskopische Objekte umfassen und die Objektuntersuchungseinrichtung als Mikroskopie-Objektuntersuchungseinrichtung oder Fluoreszenzmikroskopie-Objektuntersuchungseinrichtung ausgeführt ist.
Unter die Definition des erfindungsgemäßen Verfahrens zur Analyse und Klassifizierung fällt ohne Beschränkung der Allgemeinheit auch ein Verfahren zur Analyse und Klassifizierung von Zellen oder Zellkomponenten, umfassend:

– das Bereitstellen einer Vielzahl von Zellen an mindestens einem Ort, wobei eine Zelle ein oder mehrere fluoreszierendere Reportermoleküle beinhalten kann,
– das optische Abtasten oder Erfassen mehrerer Zelle an dem Ort bzw. an jedem der Orte, welche Zellen enthalten, um optische Signale von Zellen oder/und den fluoreszierenden Reportermolekülen auf oder in den Zellen zu erhalten,
– das Umwandeln der optischen Signale in digitale Daten, und
– das Ausnutzen der digitalen Daten, um a) Messungen der Intensität oder/und Verteilung der fluoreszierender Signale von den fluoreszierenden Reportermolekülen auf oder innerhalb der Zellen durchzuführen oder/und b) Messungen der Konturen oder allgemein Topologie oder Morphologie von Zellen oder Zellkomponenten durchzuführen,

– das Verwenden der Messungen, um a) Änderungen in der Intensität oder/und Verteilung der fluoreszierenden Signale von den fluoreszierenden Reportermolekülen auf oder innerhalb von Zellen zu bestimmen, um hieraus ein oder mehrere kinetische Merkmale abzuleiten oder/und b) statische oder/und momentane Merkmale aus den Messungen der Kontur oder allgemein Topologie oder Morphologie von Zellen oder Zellkomponenten zu bestimmen;

Beispielsweise kann sich ein Klassifikator auf einen Mindestwert für die Länge einer Zeitspanne eines gemessenen Signals beziehen, um Zellen mit zu kurzer Lebensdauer auszusortieren. Ferner kann sich ein Klassifikator auf wenigstens einen Parameter eines Modellverlaufs oder die Güte einer Anpassung eines Modellverlaufs an gemessene Änderungen beziehen. Klassifikatoren können vorgegeben sein, automatisch erzeugt werden oder manuell gewählt oder definiert werden.
Die Erfindung stellt ferner ein Analyse- und Klassifizierungs-System zur Durchführung des erfindungsgemäßen Verfahrens zur Analyse und Klassifizierung bereit, umfassend:

– ein optische Objektuntersuchtungseinrichtung mit einer Aufnahmeeinrichtung zur Aufnahme von digitalen Bildern von in einem Objektbereich der Objektuntersuchungseinrichtung befindlichen interessierenden Objekten und einer elektronischen Speichereinrichtung zum Speichern der digitalen Bilder und weiterer Daten,
– eine digitalelektronische Prozessoreinrichtung, die dafür ausgeführt oder programmiert ist, von dem erfindungsgemäßen Verfahren zur Analyse und Klassifizierung zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchzuführen sowie ggf. zusätzlich weitere Schritte des Verfahrens nach den vorstehend behandelten Weiterbildungen des Verfahrens durchzuführen.

Das Analyse- und Klassifizierungs-System wird in der Regel einer Anzeigevorrichtung aufweisen, auf der aufgenommene Bilder und Klassifizierungs- und Analyse-Ergebnisse repräsentierende Darstellungen durch die Prozessoreinrichtung anzeigbar sind.
Die Erfindung stellt ferner ein Programm zur Analyse und Klassifizierung interessierender Objekte auf Basis von Zeitreihen-Bildern bereit, umfassend Programmcode, welcher bei der Ausführung mittels einer programmierbaren Prozessoreinrichtung von dem erfindungsgemäßen Verfahren zur Analyse und Klassifizierung zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchführt sowie ggf zusätzlich weitere Schritte des Verfahrens nach vorstehend behandelten Weiterbildungen des Verfahrens durchführt. Das Programm kann als Programmcode oder/und zum Programmcode zugehörige Daten wenigstens einen gemäß Schritt F) vordefinierten zweiten Klassifikator oder/und wenigstens einen gemäß Schritt F1) vordefinierten ersten Klassifikator enthalten.
Die Erfindung stellt ferner bereit ein Programmprodukt, in Form eines ausführbaren Programmcode tragenden Datenträgers oder in Form von auf einem Netzwerk-Server bereitgehaltenen, über ein Netzwerk herabladbaren ausführbaren Programmcode, welcher bei der Ausführung mittels einer programmierbaren Prozessoreinrichtung von dem erfindungsgemäßen Verfahren zur Analyse und Klassifizierung zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchführt sowie ggf zusätzliche weitere Schritte des Verfahrens nach den vorstehend behandelten Weiterbildungen des Verfahrens durchführt. Das Programmprodukt kann als Programmcode oder/und als zum Programmcode zugehörige Daten wenigstens einen gemäß Schritt F) vordefinierten zweiten Klassifikator oder/und wenigstens einen gemäß Schritt F1) vordefinierten ersten Klassifikator enthalten.
Die Erfindung wird im Folgenden nach einer detaillierteren Darstellung der technischen Hintergründe und des Stands der Technik anhand von Beispielen sowie Ausführungsbeispielen der Erfindung näher erläutert.
1 bis 3 zeigen Beispiele für optische Objektuntersuchungseinrichtungen, auf deren Basis ein erfindungsgemäßes Analyse- und Klassifizierungssystem bereitstellbar ist.
4 ist eine Graustufendarstellung eines fluoreszenzmikroskopischen Drei-Kanal-Bilds von Zellen, zu dem die 5a, 5b und 5c Farbauszüge für die Kanäle blau, grün und rot zeigen.
6 zeigt in der Teilfigur 6a ein Beispiel für eine Schwellwertsegmentierung und in 6b ein Beispiel für eine Trennung zusammenhängender Objekte durch Anwendung eines Wasserscheidenalgorithmus sowie in Teilfigur 6c ein Beispiel für eine durch Einarisierung resultierende Maske für Messungen im zugrunde liegenden Ursprungsbild.
7 veranschaulicht eine Zuordnung von Objektabbildern in Bildern einer Zeitreihe als Objektabbilder des gleichen Objekts (so genanntes Tracking).
8 zeigt in Teilfigur 8a ein Beispiel für eine Bewegungsspur einer Zelle und in 8b eine Galerie zugehöriger Einzelbilder der Zelle;
Zellen: MIN6 Zellen (Mausinsulinomzellen) liposomal transfiziert mit Dendra2-nuc (photo-konverlierbares Dendra2 gekoppelt an ein nukleares Importsignal)
Mikroskop: Olympus IX81, Objektiv 20xLUCPlanFLN, Filter HC-Set GFP/DsRed sbx (AHF Analysentechnik), Inkubator (37°C, 5% CO2, 60% Luftfeuchte)
Aufnahme: Dr. S. Baltrusch, Medizinische Hochschule Hannover.
9 zeigt ein Beispiel für eine einfache Signal-Schwellwert-Klassifizierung in Bezug auf kinetische Kurvenscharen.
10 zeigt ein Beispiel für eine einfache Zeit-Schwellwert-Klassifizierung in Bezug auf kinetische Kurvenscharen.
11 zeigt ein Beispiel für eine Schar von Kurven, die die Änderung eines Fluoreszenz-Intensitätsverhältnisses über der Zeit angeben und bei denen eine Schwellwert-Klassifizierung ebenso wie eine visuelle Klassifizierung durch das geschulte Auge versagen;
GFP/Red ratio: Ratio aus grün fluoreszierendem Dendra2 (GFP-Kanal) und nach Photo-Konvertierung durch UV-Licht entstandenem rot fluoreszierendem Dendra2 (Red-Kanal)
Zellen: MIN6 Zellen (Mausinsulinomzellen) liposomal transfiziert mit Dendra2-nuc (photo-konvertierbares Dendra2 gekoppelt an ein nukleares Importsignal)
Mikroskop: Olympus IX81, Objektiv 20xLUCPlanFLN, Filter HC-Set GFP/DsRed sbx (AHF Analysetechnik), Inkubator (37°C, 5% CO2, 60% Luftfeuchte)
Aufnahme: Dr. S. Baltrusch, Medizinische Hochschule Hannover.
12 bis 21 zeigen Bildschirminhalte von Benutzerinterface-Fenstern und Ergebnis-Ausgabe-Fenstern bei der zytometrische Bildanalyse zweidimensionaler, keine Informationen über zeitliche Änderungen enthaltender Bilddaten.
22 veranschaulicht die Generierung von Timelaps-Bilddaten entweder langsam (über eine Mikrotiterplatte) oder über eine einzelne Probe bzw. über einen einzelnen Well der Mikrotiterplatte oder schnell auf einer einzelnen Bildposition einer Probe bzw. eines Wells.
23 zeigt ein Beispiel für eine Definition von Kurvenmerkmalen als kinetische Merkmale oder Parameter, auf deren Basis erfindungsgemäß klassifiziert werden kann, in einem Benutzerinterface-Fenster.
24 bis 27 zeigen schematisch Standardwerken der biologischen Literatur entnommene Messergebnisse, um Anwendungsmöglichkeiten für die erfindungsgemäße Analyse und Klassifizierung und sich aus dieser Anwendung ergebende Vorteile aufzuzeigen.
28 zeigt in fluoreszenzmikroskopischen Aufnahmen die Teilungsaktivität von Zellen zu verschiedenen Zeitpunkten zur Erläuterung eines speziellen Anwendungsbeispiels der erfindungsgemäßen Analyse und Klassifizierung.
29 bis 52 zeigen Bildschirminhalte einer Benutzerschnittstelle (Benutzerinterface) und von Anzeigefenstern einer bei diesem Anwendungsbeispiel zur Klassifizierung und Analyse verwendeten Auswertesoftware bzw. eines mit dieser Software realisierten Analyse- und Klassifizierungssystems, wobei die Abfolge dieser Figuren verschiedene Schritte der Analyse und Klassifizierung, beginnend bei der Segmentierung (29), über die Festlegung zu analysierender stationärer Merkmale (30), Zeitreihen-Bilder einer jeweiligen Zelle (31 und 32), Zell-Histogramme und Zell-Cluster in verschiedenen Teilräumen eines Merkmalsraums (33 bis 36), eine Selektion einer nachverfolgten Zelle mit Spur auf dem Histogramm (37 und 38), die Definition kinetischer Merkmale und damit eines entsprechenden kinetischen Merkmalraums (39) und die Definition aus kinetischen Merkmalen abgeleiteter kinetischer Merkmale (40), die Definition einer Klasse bestimmter Zellen und eine Schar kinetischer Kurven und Histogramme für Zellen dieser Klasse (41 bis 43) und die Definition von Unterklassen und entsprechende Klassifizierungsergebnisse (44 bis 47) sowie die Definition weiterer Unterklassen und entsprechender Klassifizierungsergebnisse (48 bis 52) veranschaulichen;
Zellen: MIN6 Zellen (Mausinsulinomzellen) liposomal transfiziert mit Dendra2-Glucokinase (photo-konvertierbares Dendra2 gekoppelt an das Glucose phosphorylierende Enzym Glucokinase)
Mikroskop: Olympus IX81, Objektiv 20xLUCPlanFLN, Filter HC-Set GFP/DsRed sbx (AHF Analysetechnik), Inkubator (37°C, 5% CO2, 60% Luftfeuchte)
Aufnahme: Dr. S. Baltrusch, Medizinische Hochschule Hannover.
53 ist ein Beispiel für kinetische Kurven einer typischen biologische Probe, in denen sich ein Effekt nur in einem bestimmten zeitlichen Bereich zeigt.
54 und 55 zeigen Beispiele für die Einschränkung einer Untersuchung nach kinetischen Merkmalen auf bestimmte zeitliche Teilbereiche eines Kurvenverlaufs.
56 zeigt solchen interessierenden Zeitbereichen entsprechende Kurvenverläufe für mitotische Zellen auf einer absoluten Zeitskala.
57 zeigt solchen interessierenden Zeitbereichen entsprechende Kurvenverläufe für mitotische Zellen auf einer Zell-individuellen relativen Zeitskala.
58 bis 60 veranschaulichen die Definition eines relativen, kurvenspezifischen Zeitpunkts (58) und die Definition relativer interessierender Zeitbereiche in Bezug auf einen kurvenspezifischen speziellen Bezugszeitpunkt (59 und 60).
61 veranschaulicht die Definition des Zeitpunkts eines Kurvenmaximums (Peak) als Bezugszeitpunkt.
62 und 63 veranschaulichen die Ermittlung der mittleren Steigung vor und nach dem Peak einer jeweiligen Kurve in den zuvor definierten zeitlichen Teilbereichen.
64 zeigt ein Beispiel für ein entsprechendes Auswerteergebnis auf Basis der Kurvensteigungen, in dem sich im Falle vieler Individuen interessierende Populationen (Cluster) zeigen könnten.
Ohne Beschränkung der Allgemeinheit kann die Erfindung besonders vorteilhaft auf Anwendungen in der biologischen und medizinischen Grundlagen- und angewandten Forschung, der Toxikologie und Pharmakologie, der Diagnostik und diagnostischen Forschung, dem Drug-Screening, Compound-Screening, Small-Molecule-Screening und allgemein im Anwendungsgebiet „Life-Science” angewendet werden, wobei betreffend die Technologie und Assays (Experimente) ohne Beschränkung der Allgemeinheit an Mikroskopie, sowohl Lichtmikroskopie als auch Fluoreszenzmikroskopie, Imaging (vorwiegend, aber nicht zwingend Fluoreszenz-Imaging) und Zell-basierte Assays mit lebenden Zellen gedacht wird. Es kommen – ohne Beschränkung der Allgemeinheit – speziell solche Anwendungen in Betracht, die durch das Stichwort „Kinetische Zytometrie” (kinetic cytometry) angesprochen werden können.
Von besonderer Relevanz ist das erfindungsgemäße Verfahren zur Analyse und Klassifizierung dann, wenn große Datenmengen anfallen, die auszuwerten sind. Große Datenmengen fallen beispielsweise bei teil- oder vollautomatisierten Systemen an. Aber auch bei Systemen mit geringer Automatisierung können größere Datenmengen anfallen, die auszuwerten sind. Ein insoweit für die Anwendung der Erfindung besonders relevantes Beispiel sind so genannte Zeitreihen-Experimente, insbesondere bildbasierte Zeitreihen-Experimente.
Beispiele von zur Verfügung stehenden teilautomatisierten und vollautomatisierten Systemen, in Bezug auf deren Mess- und Erfassungsdaten das erfindungsgemäße Verfahren vorteilhaft angewendet werden kann und auf deren Basis zweckmäßig ein erfindungsgemäßes Analyse- und Klassifizierungs-System bereitgestellt werden kann, sind etwa verschiedene Produkte des Anbieters OLYMPUS.
a) cell^*
Als Beispiele für teilautomatisierte Systeme sind die Systeme der Reihe „cell” zu nennen, speziell etwa die Olympus-Produkte cell^P, cell^M, Cell^R.
cell^*-Systemkomponenten sind typischerweise die folgenden:

• Mikroskop: aufrecht (Objektiv von oben), oder „invers” (Objektiv von unten), unterschiedliche Grade an Motorisierung
• Fluoreszenztaugliche empfindliche Digitalkamera (CCD)
• Fluoreszenzlichtquelle
• Inkubator (optional) (Klimakammer für Lebendzellbeobachtung)
• PC
• Software
• Motorisierter Objekttisch (optional)
• diverse optionale Komponenten: Laser, Shutter (Verschlussblenden), Filterwechsler, etc.

Solche teilautomatisierten Systeme können prinzipiell für sehr ähnliche Zeitreihen-Experimente (Time-Lapse-Experimente) verwendet werden, wie vollautomatisierte Systeme. Im Unterschied zu vollautomatisierten Systemen werden in der Regel die jeweiligen Experimente nur an wenigen Orten und für wenige Zellen durchgeführt. Es werden meist keine Mikrotiterplatten verwendet, sondern in der Regel Kulturschalen. Die Datenmengen sind entsprechend geringer. Bisher wurden die mit diesen Systemen gewonnenen Bilder semi-manuell ausgewertet, indem der Anwender interaktiv am PC mit der Maus Regionen in den Zellen von Interesse markiert (so genannte „regions of interest”, kurz „ROI”), in denen die Änderung über die Zeit gemessen werden soll. Das erfindungsgemäße Verfahren kann bei der Verwendung solcher teilautomatisierter Systeme bzw. allgemein im Falle von geringeren Datenmengen vorteilhaft für die Auswertung und Analyse eingesetzt werden, da so schneller, zuverlässiger und objektiver Analyseergebnisse bereitgestellt werden können und dabei auch eine wesentlich größere Anzahl von Parametern bestimmt bzw. analysiert werden kann.
b) Scan^R
Beispiele für vollautomatisierte Systeme des Anbieters OLYMPUS sind die Systeme scan^R und dotSlide.
1 zeigt ein typisches Systemdiagramm eines Scan^R-Systems. Gezeigt sind ein Mikroskop 1, eine CCD-Kamera 2, eine Fluoreszenzlichtquelle 3, eine Klimakammer 4, ein Personal Computer 5 mit Software 6, ein motorisierter Objekttisch 7 und eine Probe 10.
2 ist ein Systemdiagramm des scan^R-Systems mit einem Proben-Laderoboter. Gezeigt sind ein Mikroskop 1, eine CCD-Kamera 2, eine Fluoreszenzlichtquelle 3, ein motorisierter Objekttisch 7, ein Proben-Laderoboter 8 und eine Probe 10.
3 ist ein Systemdiagramm des scan^R-Systems mit Pipettier-Roboter. Gezeigt sind ein Mikroskop 1, eine CCD-Kamera 2, eine Fluoreszenzlichtquelle 3, ein motorisierter Objekttisch 7, ein Pipettier-Roboter 9 und eine Probe 10.
Typische System-Komponenten und System-Unterkomponenten des scan^R-Systems sind die folgenden:

• Mikroskop 1: in der Regel „invers” (Objektiv von unten), obligat voll motorisiert 1a Mikroskop-Gehäuse 1b motorisiertes Fluoreszenz-Filterkarussell 1c Fluoreszenz-Filter 1d Objektiv auf motorisiertem Objektiv-Wechsler (W) und mit motorisiertem Z-Fokus-Trieb (Z) 1e Hardware-Autofokus (optional)
• Fluoreszenztaugliche empfindliche Digitalkamera (2) (CCD)
• Fluoreszenzlichtquelle 3 In der Zeichnung als Faser-gekoppelte Lichtquelle ausgeführt, jedoch auch direkt gekoppelt möglich. 3a Motorisierter Verschluss (Shutter) 3b Motorisierter Abschwächer 3c Motorisiertes Filterrad (schneller Wechsel des Fluoreszenzanregungslichts) 3d Fluoreszenzlichtquelle (Xe-, Hg-, oder XeHg-Brenner) 3e Lichtleiter 3f Einkoppelung
• Inkubator 4 (optional) (Klimakammer für Lebendzellbeobachtung)
• PC 5
• Software 6
• Motorisierter Objekttisch 7 (obligat)
• diverse optionale Komponenten: Shutter (Verschlussblenden), Filterwechsler, etc.
• Proben-Lade-Roboter 8 (optional) (Be-/Entlade-System für z. B. Mikrotiterplatten) 8a Ladearm 8b Greifer 8c Probenbehälter (Platten-Stapler)
• Pipettier-Roboter 9 (System zur automatischen kontrollierten Zufuhr von Flüssigkeiten, mit denen die Zellen stimuliert werden können). 9a Flüssigkeitsappilkationssystem zum Zuführen und/oder Absaugen von Flüssigkeiten
• Biologische Proben 10, in der Regel Mikrotiterplatten, oder Objektträger.

scan^R ist ein vollautomatisiertes Fluoreszenzmikroskop, das automatisiert Bilder aufnimmt und analysiert. Die Bildaufnahme- und Analyse-Modalitäten werden in der Regel von Experten konfiguriert und aufgesetzt. Die Experimente (Assays) können im Anschluss auch durch technisches Personal durchgeführt werden. Die Systeme laufen stunden-, teilweise tagelang ohne Benutzerinteraktion. Die Experimente, die auf derartigen Systemen durchgeführt werden, sind weitgehend standardisiert (so genannte Assays). Die Motivation für die Standardisierung und Automatisierung hat mehrere Gründe, die gleichermaßen für die Grundlagenforschung, wie für die angewandte Forschung in der Pharma- und Biotech-Industrie höchst relevant sind. Verschiedene dieser Gründe ergeben sich aus den folgenden, aber keine abschließende Aufzählung darstellenden Anwendungsbereichen.
Besonders interessierende Anwendungsbereiche des scan^R-Systems und anderer vollautomatisierter Systeme sind beispielsweise die folgenden:
„Quantifizierung”:
Biologische Prozesse sollen nicht mehr nur „deskriptiv” beschrieben werden, sondern exakt quantifiziert werden. Da biologische Systeme (Zellen) eine sehr hohe inhärente Variabilität aufweisen, ist eine große Anzahl an Einzelexperimenten nötig, um statistisch belastbare quantitative Daten zu erhalten.
4 ist eine Schwarz-Weiß-/Graustufen-Repräsentation eines Drei-Kanalbilds von Zellen, die mit einem ersten fluoreszenten zellkernspezifischen Markierungsfarbstoff (blau), einem zweiten, für ein zytoplasmatisches Gen spezifischen Markierungsfarbstoff (grün) und einem dritten, für ein weiteres zytoplasmatisches Gen spezifischen Markierungsfarbstoff (rot) angefärbt sind. Zu dem RGB-Overlay der 4 zeigt 5a den blauen Kanal (B), zeigt 5b den grünen Kanal (G) und zeigt 5c den roten Kanal (R). Pfeile mit Abkürzung R und G für die Farben rot und grün weisen auf entsprechende Farbanteile im RGB-Overlay-Bild hin. Aus 5a ergibt sich, dass die meisten, in 4 erkennbaren Objekte die blauen Zellen ohne andersfarbige Markierungsfarbstoffe sind.
Bei den zytoplasmischen Markierungsfarbstoffen handelt es sich um fluoreszente Proteine, die an zelluläre Proteine von Interesse spezifisch mittels gentechnischer Methoden gekoppelt wurden. Alle Zellen im Bild sind genetisch identisch und haben exakt die gleiche Behandlung erfahren. Insoweit könnte man erwarten, dass alle Zellen das gleiche optische Erscheinungsbild zeigen. Tatsächlich gibt es etliche Zellen, die kein grünes Signal (G) aufweisen und von den Zellen mit grünem Signal zeigen nur wenige ein rotes Signal (R + G). Ferner schwankt die Intensität von grünem und rotem Signal erheblich. Um bei dieser biologisch bedingten Variabilität aussagekräftige quantitative und statistisch haltbare Aussagen zu treffen, ist eine große Anzahl an Messungen unter objektiven und vergleichbaren Kriterien unabdingbar. Die Erfindung zielt darauf, auch die Auswertung solcher zeitabhängigen Messungen unter objektiven und vergleichbaren Kriterien durchführen zu können, und zwar speziell auch im Falle sehr großer Datenmengen, die bei einem vollautomatisierten System ausfallen können.
„Screening”:
Moderne Forschung muss oft eine gewaltige Anzahl an Experimenten durchführen. In vielen Bereichen der Biomedizinischen Forschung hat daher die Automatisierung bereits vor vielen Jahren Einzug gehalten. Die Sequenzierung des menschlichen Genoms (ca. 20.000 Gene mit zehntausenden, bis hunderttausenden von Basen pro Gen, sowie 99% genfreie DNA-Sequenzen) durch die Firma Celera innerhalb von 2 Jahren war nur durch die vollständige Automatisierung möglich. Im Gegensatz zu „Genomics” und Proteomics” weist die Mikroskopie noch einen sehr geringen Grad der Automatisierung auf. Automatisierte Mikroskope sind erst seit wenigen Jahren im Markt erhältlich und noch wenig verbreitet.
Beispiele für Mikroskop-basiertes Screening:
Das menschliche Genom ist zwar sequenziert, die Funktion der meisten Gene ist jedoch unbekannt. Wissenschaftler, die sich auf spezielle biologische Prozesse spezialisiert haben und diese gut kennen, z. B. Transportvorgänge in der Zelle, können jetzt nach unbekannten Genen suchen, die mit Transportvorgängen zu tun haben. Vor allem bei Fragestellungen, bei denen Orts-Information wichtig ist, ist die Fluoreszenzmikroskopie die Methode der Wahl. Für einen typischen Genomweiten Screen sind mindestens ca. 60.000 Einzelexperimente nötig, die mit Mehrfachbestimmungen schnell auf eine Gesamtzahl an über 200.000 Experimenten anwachsen. Im Substanz- und Drug-Screening werden Substanzbibliotheken mit einigen tausend, bis einigen hunderttausend Substanzen eingesetzt. Dies ist manuell nicht mehr zu bewältigen. Die Erfindung zielt darauf, solche Auswertungen im Falle zeitabhängiger Messungen zu ermöglichen, und zwar speziell auch im Falle sehr großer Datenmengen, die bei einem vollautomatisierten System anfallen können.
„Objektivierung & Standardisierung”:
Durch die Automatisierung wird die Messung und Auswertung an die „Maschine” übergeben. Dadurch ist sichergestellt, dass sowohl die Bildaufnahme, als auch die Bildanalyse für alle Experimente und Zellen unter den identischen Bedingungen erfolgt und Fehler durch manuelle Interaktion individueller Anwender weitgehend ausgeschlossen sind. Die Erfindung zielt darauf, solch eine optimierende und standardisierende Auswertung auch im Falle zeitabhängiger Bilddaten zu ermöglichen, und zwar speziell auch im Falle sehr großer Datenmengen, die bei einem vollautomatisierten System anfallen können.
c) dotSlide
dotSlide ist ein vollautomatisiertes System zum Einscannen von Objektträgern mit histologischen oder pathogogischen fixierten Präparaten, das vor allem im medizinisch-klinischen Bereich angewendet wird. Herkömmlich liegt der Schwerpunkt auf der Bildaufnahme von fixierten Präparaten, die mit absorptiven Farbstoffen angefärbt sind. Es kommt durchaus aber in Betracht, mit derartigen Slide-Scanning-Systemen auch zeitaufgelöste Messungen an lebenden Präparaten (z. B. Gewebeschnitten) mit absorptiven Farbstoffen (z. B. Farbumschlagsreaktion oder Fluoreszenz-Farbstoff) etwa zum Nachweis spezifischer Moleküle durchzuführen. Im Falle derartiger Anwendungen könnte die Datenauswertung vorteilhaft durch Anwendung des erfindungsgemäßen Verfahrens zur Analyse und Klassifizierung erfolgen.
Typische Systemkomponenten des dotSlide-Systems sind die folgenden:

• Mikroskop: in der Regel aufrecht (Objektiv von oben), obligat voll motorisiert
• Farb-Digitalkamera (CCD)
• Durchlichtquelle
• Fluoreszenzlichtquelle (optional)
• PC
• Software
• Motorisierter Objekttisch (obligat)
• Probe-Lade-Roboter (optional) (Be-/Entlade-System für Objekträger)

Im Folgenden wird der technische Hintergrund der Erfindungsvorschläge erläutert und werden mehr oder weniger nahe oder fern liegende Methoden des Stands der Technik, die zum Verständnis der Erfindungsvorschläge und deren Relevanz von Interesse sind, kurz beschrieben.
1. Mikroskopie
1.1 Zeitreihen-Experimente in der Mikroskopie (Time-Lapse-Mikroskopie)
In der Mikroskopie werden schon seit langem Zeitreihenexperimente (englisch time lapse) durchgeführt. In diesen Experimenten wird die Veränderung bestimmter Eigenschaften (Parameter) von Objekten (in der Regel Zellen, oder Zellbestandteile) über die Zeit beobachtet (vgl. beispielsweise US 5,332,905 ). Die Zeiträume und die benötigte Zeitauflösung, die bei diesen Experimenten eine Rolle spielen sind extrem unterschiedlich. Es gibt sehr schnelle Prozesse, wie zum Beispiel die elektrische Aktivierung von Nervenzellen, die in ein bis wenigen Millisekunden (= 1/1000 Sekunden!) ablaufen, sowie sehr langsame Prozesse, die über Stunden und Tage beobachtet werden, wie z. B. Zellteilung, oder Genexpression und Genregulation.
Die Eigenschaften, deren Änderungen über die Zeit beobachtet werden, sind ebenfalls sehr unterschiedlich:

a Bewegung der Zelle: Ändert die Zelle ihren Ort? Ist diese Bewegung gerichtet, oder zufällig? Geschwindigkeit? Strecke? Beschleunigung? Ist die Bewegung konstant, oder veränderlich?
b Bewegung von Zellbestandteilen in der Zelle, z. B. Zellvesikel (Geschwindigkeit, Beschleunigung, ...)
c Veränderung der Intensität eines Indikatorsignals in der Zelle: In der Regel können zelluläre Prozesse nicht direkt gemessen werden, sondern werden mittels geeigneter Indikatoren visualisiert. Diese Indikatoren sind in der Mikroskopie bevorzugt spezifische Farbstoffe. Insbesondere mittels Fluoreszenzmikroskopie kann hochspezifisch und mit sehr gutem Signal-Hintergrundverhältnis angefärbt werden.

Beispiel 1: Fluoreszente Proteine
Fluoreszente Proteine kommen natürlicherweise in Meeresquallen vor. Die Gensequenzen sind bekannt. Daher können diese Gensequenzen mittels etablierter Genmanipulationsmethoden in Zellen eingebracht und an die Gensequenzen zellulärer Proteine von Interesse angekoppelt werden. Dadurch werden diese Proteine in der Zelle per Fluoreszenz sichtbar, sofern sie in der Zelle expremiert werden (= die Gensequenz wird abgelesen und in ein Protein übersetzt). Über die Intensität des Fluoreszenzsignals lässt sich die Menge des Proteins in der Zelle bestimmen. Über die Änderung der Fluoreszenz über die Zeit lässt sich bestimmen, ob und wie sich die Menge des Proteins in der Zelle verändert. Die Menge des Proteins kann von vielen Faktoren abhängen, die nun alle quantitativ untersucht werden können: Alter und Zustand der Zelle. Ist die Menge des Proteins durch zelleigene genetische Faktoren kontrolliert? Ist die Menge des Proteins durch externe Faktoren, z. B. Pharmaka, Chemikalien, Zellsignalstoffe beeinflussbar?
Beispiel 2: Indikatoren für den Ionenhaushalt (= geladene Moleküle) in der Zelle
Der Ionenhaushalt spielt eine zentrale Rolle für lebende Zellen. Zur Regulation des Wassergehalts ist die Regulation der Ionenkonzentration und der Ionenezusammensetzung innerhalb und außerhalb des Organismus lebensnotwendig. Viele Stoffwechselkrankheiten sind auf Fehlfunktionen in der Ionenenregulation zurückzuführen (z. B. Zystische Fibrose). Ebenso wichtig und bekannter ist die elektrische Leitung und Verarbeitung von Signalen in Nervenzellen, die durch sehr schnelle Änderungen der Ionenkonzentration stattfindet. Eines der wichtigsten Ionen für zelluläre Kommunikation, nicht nur in Nervenzellen, sondern in allen Körperzellen, ist das Kalzium-Ion Ca++. Die Kalzium-Konzentration in Zellen und in Zellbestandteilen lässt sich sehr gut mit Fluoreszenzfarbstoffen messen, deren Signalintensität von der Kalzium-Konzentration direkt abhängt (typische Kalzium-Farbstoffe sind z. B. FURA, Fluo3, Fluo4, Cameleon). Für die hier vorgestellte Methode ist besonders wichtig, dass sich die Kalzium-Signale der unterschiedlichen Signalwege häufig nicht in ihrer Intensität, sondern nach dem charakteristischen Zeitverlauf unterscheiden.

d Veränderung des Orts eines Indikator-Signals in der Zelle Sehr viele Prozesse in Zellen gehen mit Änderungen in der Lokalisation von Proteinen einher.

Beispiel 1: Intrazellulärer Transport
Membran-assoziierte und sekretorische Proteine werden im Endoplasmatischen Reticulum synthetisiert und von diesem über den Golgi-Apparat und ein Netzwerk an Vesikeln (Trans-Golgi-Network) zu Ihren Zielmembranen transportiert, oder aus der Zelle ausgeschleust. Während dieses Transportprozesses werden die Proteine spezifisch modifiziert. Ein kompliziertes und noch nicht verstandenes Netzwerk aus Signalsequenzen und Transport-Proteinen stellt sicher, dass die Proteine ihre Zielorte erreichen. Sehr viele sogenannte Speicherkrankheiten lassen sich auf Defekte in dieser Transportkette zurückführen.
Beispiel 2: Translokation
Es gibt bestimmte Rezeptor-Moleküle auf der Zelloberfläche, die für die Zell-Zell-Kommunikation zuständig sind (z. B. Hormonrezeptoren). Wenn an diese Rezeptoren spezifische Signalmoleküle, die Liganden, binden, werden in der Zelle interne Signalkaskaden in Gang gesetzt, die häufig damit verbunden sind, dass Proteine z. B. vom Zytosol in den Zellkern wandern und dort spezifisch Gene aktivieren. Auf Störungen dieser Signalwege lassen sich bestimmte Tumor-Arten zurückführen. Des weiteren wirken sehr viele Medikamente über die Aktivierung und Desaktivierung von zellulären Signalwegen, die über Zelloberflächenrezeptoren vermittelt werden. Daher sind diese Signalwege für die pharmazeutische Forschung von größtem Interesse.

e Veränderung der Form der Zelle Zellen weisen eine sehr veränderliche Morphologie auf und können ihre Form in kurzer Zeit (wenige Minuten) ändern. Diese Änderungen lassen auf den Zustand der Zelle rückschließen.
f Veränderung der Form von Zellbestandteilen Ebenso wie die gesamte Zelle, kann sich auch die Morphologie von Zellbestandteilen ändern. So kann aus der Art der Veränderung des Zellkerns geschlossen werden, ob die Zelle nekrotisch (durch äußere Einflüsse verursachter Zelltot), oder apoptotisch (durch eine interne Signalkaskade ausgelöster Zelltot „zellulärer Selbstmord”) ist. Durch bestimmte Pharmaka (Zytochalasin) kann das Zytoskelett von Zellen zerstört werden. Dies bewirkt Änderungen der inneren und äußeren Zellmorphologie.

1.2 Technologischer Stand der Technik zur Analyse von Zeitreihenexperimenten in der Biologie
Typischerweise werden von mindestens halbautomatisierten Bilderfassungssystemen Zeitserien von Bildern aufgenommen. Die Automatisierung ist notwendig, da nur so sichergestellt werden kann, dass die Bilder in einem konstanten, bzw. bekannten zeitlichen Abstand aufgenommen werden. Diese Daten können auf unterschiedliche Weise analysiert werden. Hier werden ausschließlich weitgehend automatisierte Verfahren beschrieben.
1.2.1 Segmentierung
Für die Automatisierte Zeitreihenanalyse müssen zunächst in allen Bildern die Objekte von Interesse identifiziert werden. Die Objektidentifizierung kann in 2 separaten Schritten erfolgen: 1. Segmentierung (= Identifizierung von Objekten, gegenüber Nicht-Objekten); 2. Klassifizierung: Identifizierung von Objekten von Interesse anhand charakteristischer Eigenschaften, gegenüber von segmentierten Objekten, die für die weitere Analyse nicht von Interesse sind. Beispiel: Alle Zellen in dem Bild gemäß 4 bzw. gemäß den 5a–5c können anhand des blauen Signals (Zellkern) identifiziert und segmentiert werden. Für die weitere Analyse sind jedoch nur Zellen von Interesse, die zusätzlich sowohl ein grünes, als auch ein rotes Signal ausweisen. Alternativ können Segmentierung und Klassifikation auch in einem Schritt durch komplexere Algorithmen erfolgen.
Die Segmentierung erfolgt über den gesamten Bilddatensatz gleichermaßen. Die Zeitliche Aufeinanderfolge der Bilder wird nicht berücksichtigt.
Hier sei beispielhaft eine von etlichen Möglichkeiten beschrieben, wie Objekte in Bildern erkannt werden können. Fachterminologisch spricht man davon, dass die Bilder „segmentiert” werden, um die Objekte zu erkennen.
In einem ersten, in 6a veranschaulichten Schritt wird ein Schwellwert gesetzt. Alle Bildbereiche, die heller sind als dieser Schwellwert, werden als Objekte definiert. Alle dunkleren Bereiche als der Schwellwert werden dem Hintergrund zugeordnet. Einige Objekte, die für das Auge als eigenständiges Objekt erkennbar sind, sind nicht getrennt, da zwischen ihnen der Schwellwert nicht unterschritten wird.
In einem zweiten Schritt werden deswegen mit einem zweiten geeigneten Algorithmus (beispielsweise einem so genannten „Wasserscheidenalgorithmus”) zusammenhängende Objekte getrennt, wie in 6b gezeigt. In einem dritten Schritt werden dann helle Bildbereiche, die vollständig vom Hintergrund umgeben sind oder vom Wasserscheidenalgorithmus getrennt wurden, als unabhängige Objekte definiert, und es wird ein binarisiertes Bild von den individuellen Objekten erstellt, wobei die Objekte gekennzeichnet, beispielsweise durchnummeriert und farbcodiert werden, wie in 6c in Form einer Graustufendarstellung wiedergegeben. Dieses binarisierte Bild kann dann als Maske für die Messungen und Erfassungen im Originalbild dienen.
1.2.2 „Tracking”
Im Anschluss an die Segmentierung werden mit bekannten Verfahren (z. B. über die örtliche Nähe) in den zeitlich aufeinander folgenden Bildern die Objekte über die Zeit identifiziert und zugeordnet, so dass es möglich ist Veränderungen dieser Objekte über die Zeit zu messen.
Hier sei beispielhaft, unter Bezugnahme auf eine schematische Darstellung in 7, eine von etlichen Möglichkeiten beschrieben, wie Objekte in Zeitreihenbildern identifiziert werden können. In den Zeitreihenbildern t0–t4 werden zunächst unabhängig Objekte detektiert. Es steht noch keine Information über die Zusammengehörigkeit der Einzelobjekte bzw. Objektabbilder zu einem bestimmten Objekt über die Zeit zur Verfügung. Von den detektierten Objekten wird der Schwerpunkt bestimmt (auch andere Eigenschaften eignen sich für dieses Verfahren) und ein Akzeptanzbereich definiert. Wenn sich der Schwerpunkt des Objektes aus einem Bild innerhalb des projektierten Akzeptanzbereiches aus dem zeitlich unmittelbar vorherigen Bild befindet, wird das Objekt einem einzigen Objekt zugeordnet. Diese zeitliche Zuordnung ist Voraussetzung für die Messung der Veränderungen von Eigenschaften des Objekts über die Zeit.
8a zeigt die durch ein solches Tracking ermittelte Bewegungsspur einer Zelle. 8b ist eine Galerie der zugehörigen Einzelbilder, in denen die Zelle jeweils in das Zentrum des betreffenden Bildausschnittes gelegt wurde. Jedes Einzelbild der Galerie entspricht einem anderen Aufnahmezeitpunkt der Mikroskopieaufnahme und einem anderen Zellort aufgrund der Bewegung der Zelle. Bezug nehmend auf das Beispiel der 4 könnte aufgrund eines solchen Trackings beispielsweise das Intensitätsverhältnis des zwischen dem roten und dem gründen Farbstoff in der Zelle über die Zeit gemessen und in Form einer entsprechen Messkurve dargestellt werden, die eine weitere Auswertung ermöglicht.
1.2.3 Kinetische Analyse
In den Naturwissenschaften allgemein werden häufig dynamische Daten erhoben und analysiert. In der Regel werden in zeitlichen Abständen Messwerte genommen. Aus diesen Messwerten werden Kurven erstellt und aus diesen Kurven können im Prinzip mittels mathematischer Verfahren („Fitting”, „Kurvendiskussion usw.”) Werte abgeleitet werden, die die dynamischen Prozesse charakterisieren. Solche mathematischen Verfahren finden in der Biologie bisher nur in Teilbereichen Anwendung und werden für Zell- und Bildbasierte Screeningexperimente nicht verwendet.
Beispiele für so ableitbare Werte: Zerfallskonstante, Frequenz bei zyklischen Signalen, Anstiegskonstante, Zeitpunkt der maximalen oder minimalen Intensität, Ausdehnung, Geschwindigkeit, usw..
Festzuhalten ist dabei, dass aus Messkurven, die aus vielen Messpunkten bestehen und die von einzelnen, sich dynamisch verändernden Objekten stammen, charakteristische Einzel-Werte abgeleitet werden.
1.2.4 Live-Cell High-Content Screening
Bekannt und Stand der Technik sind vollautomatisierte mikroskopbasierte Imaging-Systeme, die in der Lage sind, Zeitreihen-Messungen an lebenden Zellen durchzuführen.
1.2.5 Time-Lapse High Content Screening
Automatisierte Tracking Verfahren, wie unter 1.2.2 beschrieben, werden in Live-Cell High-Content Screening Systemen, wie unter 1.2.4 beschrieben, eingesetzt, um kinetische Daten auf Einzelzellebene zu gewinnen. Diese kinetischen Daten werden üblicherweise in Form von Kurven dargestellt. Anhand der Darstellung ist es nur dann möglich, Kurvengruppen zu unterscheiden, deren Kurvenverlauf unterschiedlich ist, wenn diese Kurven sich in einem Parameter und dem zeitlichen Verlauf eindeutig unterscheiden. Dies ist für sehr viele Fragestellungen und für die typischen stark streuenden Ergebnisse biologischer Experimente meist nicht der Fall. Es stehen vor allem keine quantitativen Möglichkeiten zur Verfügung, Unterschiede, die allein in der Kurvenform bestehen, exakt zu messen, sowie die Auswahl der Kurven anhand objektivierbarer, quantitativer Kriterien bezüglich der Kurvenformen zu treffen. Ebenso versagt diese Art der Analyse, wenn die Kurvenanzahl sehr groß wird, oder die Kurven sehr unterschiedliche Formen haben, so dass sie sich unübersichtlich überlagern.
Manchmal wird das geschulte Auge in einer resultierenden Kurvenschar sehr vieler Kurven noch Kurvenformen unterschiedlichen Typs differenzieren können. Es gibt auch Spezialfälle, bei denen aufgrund eines einfachen Signal-Schwellwerts (vgl. 9) oder eines einfachen Zeit-Schwellwerts (vgl. 10) verschiedene Kurven-Teilscharen deutlich qualitativ unterscheidbar sind. Werden solche anhand einfacher Schwellwerte unterscheidbaren Kurven-Teilscharen erwartet, wird man entsprechende Differenzierungen auch automatisiert oder automatisch durchführen können. Eine Trennung von Kurvenscharen anhand von Schwellwerten setzt aber voraus, dass sich die Kurven bereits in einem einzigen Parameter deutlich unterscheiden.
Wenn jedoch etwa aufgrund der typischen Variabilität biologischer Proben keine Trennung nach sich deutlich unterscheidenden singulären und primären Kurvenparametern möglich ist, versagen sowohl das geschulte menschliche Auge als auch herkömmliche Ansätze einer datenverarbeitungsmäßigen Differenzierung und Klassifizierung.
11 zeigt eine Auswahl von unterschiedlichen Kurven des zeitlichen Verlaufs eines Farbstoff-Intensitätsverhältnisses aus einem Datensatz von über 5000 Kurven. Weder durch das geschulte menschliche Auge, noch durch herkömmliche Auswerteansätze lassen sich aus solchen Messdaten interessierende Sub-Populationen identifizieren, selbst wenn in einer farbigen Darstellung die Kurven in verschiedenen Farben wiedergegeben sind. Es ist anzumerken, dass für typische Zell- und Bild-basierte Screeningexperimente üblicherweise mehrere zehntausend bis mehrere hunderttausend Kurven anfallen.
Durch Anwendung des erfindungsgemäßen Verfahrens zur Analyse und Klassifizierung können in einer solchen Kurvenschar aber Populationen eindeutig identifiziert und in Klassen eingeordnet werden, die sich anhand ihrer Kinetik signifikant unterscheiden. So können z. B. Zellen identifiziert werden, deren Intensitätssignal gegenüber anderen Zellen deutlich unterschiedliche charakteristische Verläufe über der Zeit aufweisen.
2. Stand der Technik in der Zytometrie
2.1 Ursprung in der Durchflusszytometrie
Ursprünglich ist die Methodik der zytometrischen Datenanalyse für den Bereich der Durchflusszytometrie (eng: Flow Cytometry) entwickelt worden (vgl. beispielsweise US 4,021,117 , US 4,661,913 und US 4,845,653 ).
In der Durchflusszytometrie werden Zellen in flüssiger Phase einzeln analysiert, indem sie durch einen Hüllstrom fokussiert durch eine Beleuchtung geleitet werden, welche ein optisches Signal auslöst (unter anderem Fluoreszenz), welches über Detektoren aufgenommen wird. Jeder Detektor i gibt ein eindimensionales Signal a_i(x) an die Datenverarbeitung weiter, wobei x der Ort der Zelle in der verwendeten Durchflusskammer ist.
Dies entspricht im Wesentlichen einem eindimensionalen Scanvorgang, der für einzelne Zellen nicht wiederholbar ist, da durch die Flüssigkeitsführung bei einem zweiten Durchgang die Zuordnung der Signale zu den Zellen nicht mehr möglich ist. Damit können aber auch keine direkten zeitlichen Entwicklungen einzelner Zellsignale vermessen werden.
Die gewonnenen Signale a_i(x) sind dann charakterisiert durch das Auftreten von Peaks, welche durch geeignete Verfahren vermessen werden, so dass für jede Zelle Vermessungsparameter (z. B: Fläche, Höhe, Breite) aus jedem der angeschlossenen Detektoren anfallen.
Häufig wird zur Erhöhung der Messpräzision ein Detektorsignal (typischerweise ein Durchlichtsignal: SSC, FSC) zur Bestimmung des Zellanfangs und Endes verwendet (eng: „Trigger Signal”).
Generell ergibt sich aus dem Verfahren die Problematik, die sehr großen anfallenden Datenmengen auch nutzbar zu machen, da der typische Zelldurchsatz pro Probe im Bereich von einigen 10^3–10^7 liegt.
Eine weitere Problematik ist, dass verschiedene Zelltypen und Fremdpartikel in der Flüssigkeit auftreten können, so dass eine Zuordnung der Datenpunkte zu den verschiedenen Gruppen erschwert wird. Ist kein Sorter angeschlossen, kann man aber die analysierten Partikel nicht weiter auf ihre Eigenschaften untersuchen, da eine spätere Zuordnung einzelner Partikel zu Zelltypen nicht möglich ist.
Aus den technischen Bedingungen der Durchflusszytometrie haben sich für die Analyse der Zellen zusammenfassend damit folgende Problematiken ergeben:
Handhabbarer Umgang und Nutzung großer Datenmengen
A priori unbekannte Verteilungscharakteristika der Klassen (da biologische Systeme)
Zuordnung der Einzelpartikelergebnisse zu Klassen für die Messung und Zählung
2.2 Methodik der zytometrischen Zellanalyse
Die oben angesprochenen Problematiken sind durch die Einführung zytometrischer Datenanalyse wesentlich gelöst worden.
Dabei werden Projektionen des mehrdimensionalen Eigenschafts- oder Parameterraums in einer, zwei zuweilen auch drei Dimensionen in Darstellungen der Dichteverteilung, z. B. Histogrammen oder Scatterplots, verwendet, um auf diesen Klassifikatoren zu definieren, welche über logische Operatoren verknüpft werden. Histogramme unterscheiden sich dabei von Scatterplots, dass sie Repräsentationen der Dichteverteilung sind, wohingegen Scatterplots reine Datenpunktdarstellungen sind und damit bei sehr hohen Datendichten versagen. Alternative Darstellungen der Dichteverteilung sind z. B. Konturplots mit Linien gleicher Dichte.
Generell bedeutet eine größere Datenmenge eine höhere Präzision der Messwerte (z. B.: Prozentzahl oder Mittelwerte der Klassen). Die höhere Datendichte im Merkmalsraum erlaubt aber auch eine wesentlich einfachere Klassifikation der Objekttypen. Auch eine gewählte Projektion für eine zweidimensionale Darstellung ist für die zytometrische Analyse von Bedeutung. Eine große Anzahl von Datenpunkten erlaubt in der Regel bereits eine recht sinnvolle und genaue Einteilung in Klassen, ohne weitere a priori Information über den Ursprung der Daten (Blindklassifizierung). Durch die Projektion auf lediglich 2 Dimensionen wird die Datendichte erhöht. Die Dichte kann dabei in einer graphischen Darstellung farbkoloriert sein.
Die Verbindung der in niedrigdimensionalen Projektionen des Merkmalsraums erstellten Klassifikatoren über logische Operatoren erlaubt es des Weiteren, unerwünschte Objekte aus der statistischen Betrachtung zu eliminieren und weitere Analysen auf Subklassen durchzuführen.
2.3 Imaging Zytometrie
Die Verfahren der zytometrischen Analyse werden seit geraumer Zeit zur bildbasierten Analyse fluoreszenzgefärbter Zellen angewandt, sind aber nicht stark verbreitet.
Produktseitig sind insbesondere beim Laserscanner Compucyte iCyte (http://www.compucyte.com/icyte.htm) oder beim durchflussbasierten Imagestream Amnis (http://www.amnis.com/) zytometrische Bildanalysen zu finden. Diese Systeme sind technisch nur bedingt oder gar nicht für Timelapsanalyse geeignet und kennen keine zytometrische Timelapsanalyse.
Der wesentliche Unterschied zu Durchflussdaten ist die Dimensionalität des zu Grunde liegenden Ursprungsmaterials. Dies ist im Durchfluss eindimensional, im Imaging typischerweise zweidimensional, kann aber wegen der prinzipiellen Möglichkeit, identische Zellen aus verschiedenen Bildern zuzuordnen, auch die Zeit oder die dritte Raumdimension umfassen.
Zum weiteren Verständnis wird im Folgenden ein einfaches Beispiel einer solchen zytometrischen Bildanalyse entsprechend dem Stand der Technik auf zweidimensionalen Bilddaten beruhend auf mit dem scan^R-System gemachten Untersuchungen in allen wesentlichen Schritten vorgestellt. Es kommt die Analyse- und Klassifizierungs-Software des Scan^R-Systems zum Einsatz.
Dabei geht es nur um die Erstellung der Klassifikatoren und deren Auswertung, um zu Probenergebnissen zu kommen. So erstellten Analyseregeln könnten natürlich analog zur automatisierten Analyse ohne manuelle Eingriffe auf eine Vielzahl von Proben angewandt werden.
1. Schritt: Objektdetektion
Beispiel: Mit Hilfe des scan^R Systems sind bereits Bilddaten gewonnen worden und zwar von einer Mikrotiter-Platte mit mehreren Probenwells (siehe 12, die die Selektion von Wells und Positionen in einem jeweiligen Well auf einer Platte veranschaulicht).
Falls notwendig wird die Maskendetektion angepasst (13, die die Objektdetektion und Segmentierung z. B. über Schwellwerte veranschaulicht). Optional können Subobjekte definiert werden, welche auf oder an den Masken der Hauptobjekte gefunden werden.
2. Schritt: Definition der zweidimensionalen Merkmalsdaten
Es wird definiert, welche Merkmalsdaten (Parameter) aus der Maske gewonnen werden (14).
Es können auch Merkmalsdaten auf den Subobjekten gewonnen werden welche über statistische Operatoren Merkmalsdaten dieser Subobjekte auf den Hauptobjekten generieren.
14 zeigt das Benutzerinterface zur Definition derjenigen Parameter (Merkmale), welche auf der Maske gemessen werden sollen. Es können beispielsweise Merkmale aus einer Gesamtliste von etwa 100 verschiedenen Merkmalen ausgewählt werden.
3. Schritt: Analyse und zytometrische Klassifikation durchführen
Es kann nun die Bildanalyse durchgeführt werden. Dies ist ein zeitaufwendiger Schritt, da speziell für die Segmentierung (Objektdetektion) die Bilder als Ganzes als Datengrundlage dienen und auch die Umgebungen der Pixel in den Segmentierungsschritt einbezogen werden müssen.
Die Bilder bestehen dabei typischerweise aus –10^6 Pixel (z. B.: 1344·1024), so dass beispielsweise für eine Platte mit 4 Bildern pro Well und 96 Wells insgesamt ~0.5·10^9 Datenpunkte und die Umgebung in die Algorithmen einbezogen sind.
Die nachfolgende Definition der zytometrische Klassifikation kann hingegen interaktiv eingerichtet werden, da der Merkmalsraum vergleichsweise wenig Datenpunkte hat (~ einige Millionen) und die zytometrische Klassifikation weniger Rechenzeit benötigt.
Für die Klassifizierung werden Regionen verwandt, welche über boolesche Operatoren verknüpft werden.
Die Regionen können über Quadranten, Ranges, Polygone oder andere ein- oder zweidimensionale Klassifikatoren definiert werden.
In dem Abbild eines Bildschirminhalts gemäß 15 sieht man eine typische vorselektierte Gruppe gut segmentierter Zellkerne. Diese bilden in der Flächen/Zirkularitätsprojektion einen Cluster, aus welchem durch ein Polygon R01 ein Klassifikator definiert werden kann. Durch diesen Klassifikationsschritt können unzureichend gut segmentierte Zellkerne definiert und damit entfernt werden.
Beim Beispiel der 15 liegt ein durch ein Fadenkreuz ausgewählter, schlecht segmentierter Zellkern außerhalb der in der Projektion des Merkmalsraums auf Fläche und Zirkularität definierten Region R01.
In einem zweiten Schritt kann man nun die so selektierten Zellkerne in einer weiteren Projektion des Merkmalraums darstellen, welche in dem gegebenen Beispiel die Intensitäten in einem ersten Kanal (Dapi Kanal, blau) und in einem Kanal (Kanal des des Reparaturmarkers, rot) angibt (16).
16 zeigt eine Projektion des Merkmalsraums Dapi/Reparaturmarker zur Definition der Regionen R01 und R03 unter Berücksichtigung der Klasse der gut segmentierten Zellkerne (R01).
Die Regionen können weiter zu Klassifikatoren verknüpft werden. In dem Bildschirm-Abbild gemäß 17 definiert die Klasse (Gate) G1 beispielsweise die Zellkerne mit einer einfachen DNS, während G2 eine doppelte DNS vorweist, wie sie typisch für die Phase des Zellzyklus vor der Mitose ist. 17 veranschaulicht die Definition der aktiven und passiven Zellen auf Basis des Reparaturmarkers, und zwar gemäß Teilfigur A bezogen auf die Klasse G1 und gemäß Teilfigur B gezogen auf die Klasse G2.
Des Weiteren definieren die in den Histogrammen der 17 identifizierten Regionen R04 und R05 Unterklassen von Zellen, die Aktivitäten des Reparaturmechanismus zugeordnet sind. Damit lassen sich die Regionen über logische Operatoren zu sinnvollen Klassen zusammenfassen, wie in 18 exemplarisch gezeigt.
Im hier gezeigten Beispiel wurden die Klassen R01 für die richtig segmentierten Zellkerne sowie G1 für die erste Phase des Zellzyklus (17A), G2 für die zweite Phase des Zellzyklus (17B) und mit R04 und R05 die Reparaturaktiven sowie Reparaturpassiven Zellen definiert.
4. Schritt Gewinnung der Probenresultate auf Basis der Klassifikation
Sobald die Klassen (Gates) definiert sind (vgl. 14), können die Ergebnisse für die einzelnen Proben (Wells auf der Platte) extrahiert werden. In diesem Beispiel ist erkennbar, dass die Proben mit höheren Well Nummern eine leicht verringerte Teilungsaktivität zeigen (weniger G2 in 19), dass die aktiven Zellen im Wesentlichen in der G2 Phase sind (20, 21) und dass einige Proben (9–12) eine deutlich geringere Aktivierung zeigen (21). Natürlich lassen sich auch Merkmalsmittelwerte einzelner Klassen für die jeweiligen Proben extrahieren.
Die angesprochenen Figuren zeigen jeweils Darstellungen entsprechend einem Bildschirminhalt in einem Benutzerinterface der Analyse- und Klassifizierungs-Software. 12 zeigt die Sektion von Wells und Positionen im Well auf einer Mikrotiter-Platte. 13 zeigt Bildschirminhalte bei der Objektdetektion und Segmentierung zum Beispiel über Schwellwerte. Es sind noch Zellkerne vorhanden, die noch nicht gut segmentiert werden.
14 zeigt die Benutzerschnittstelle für die Definition von Parametern (Merkmalen), welche auf der durch die Segmentierung erhaltenen Maske gemessen werden. Es kann eine Vielzahl von unterschiedlichen Merkmalen (etwa 100 verschiedene) erfasst werden.
Gemäß 15 kann die Definition einer einem Klassifikator entsprechenden Region R01 interaktiv in der Projektion des Merkmalraums auf zwei Koordinatenachsen, der Fläche und der Zirkularität, erfolgen.
16 zeigt ein Beispiel für eine Projektion des Merkmalraums Dapi/Reparaturmarker zur Definition von Regionen R02 und R02 unter Berücksichtigung der Klasse der gut segmentierten Zellkerne (R01). 17 zeigt die Definition der Klassen von aktiven Zellen und von passiven Zellen auf Basis des Reparaturmarkers (A: Reparaturmarker auf G1, B: Reparaturmarker auf G2). 18 zeigt das Bildschirminterface für die Definition von Klassen anhand logischer Operatoren.
Die 19 bis 21 zeigen Ergebnisse der Klassifikation und damit Ergebnisse der damit vorgenommenen Analyse, und zwar 19 eine Darstellung der Prozentzahlen der G1- und G2-Klassen in Bezug auf die Gesamtheit der Klasse R01, 20 eine Darstellung der Prozentzahlen der aktiven und passiven Klassen in Bezug auf die Gesamtheit der Klasse G1 und 21 eine Darstellung der Prozentzahlen der aktiven und passiven Klassen in Bezug auf die Gesamtheit der Klasse G2.
3. Zytometrische Timelapsanalyse als Beispiel für ein erfindungsgemäßes Analyse- und Klassifizierungsverfahren
Wie bei der statischen Mikroskopie müssen bei der Timelapsanalyse aus den Bilddaten Objektinformationen gewonnen werden. Prinzipiell unterscheidet sich dabei die Mikroskopie, speziell die Floureszenzmikroskopie, vom Videotracking durch die Dichte der Bildinformation (vergleichsweise viel unspezifischer Hintergrund) und den in der Regel geringeren Framerates. Dabei können die Bilder für langsame biologische Prozesse durch Wiederholung über eine gesamte Probenplatte oder einem einzelnen Well generiert werden oder für schnelle Prozesse innerhalb einer einzelnen Position in einem Well (siehe 22).
3.1 Timelapsanalyse: Populationsanalyse
Bereits ohne Zuordnung der Bilddaten kann eine Zytometrische Analyse auf Basis einer sogenannten Populationsanalyse durchgeführt werden. Dabei werden die analysierten Objekte wie im statischen Fall lediglich aus einzelnen Bildframes gewonnen und diese dann wie in der statischen Mikroskopie eine Klassifizierung unterzogen. Die Ergebnisse dieser Klassifizierung zu jedem Zeitpunkt generieren dann Kurvenverläufe für jede analysierte Probe, welche einer Kurvendiskussion unterzogen werden können.
Auch hieraus lassen sich viele interessierende Fragestellungen beantworten. Es handelt sich aber nur um eine summarische Analyse in Bezug auf ein gesamtes Ensemble von Objekten, ohne Berücksichtigung der zeitlichen Entwicklung in Bezug auf einzelne Objekte, da es an einer Zuordnung von in Bildern der Timelapse-Zeitreihe identifizierten Objekten als Abbild desselben Objekts fehlt. Gegenstand der Erfindung ist demgegenüber eine im Folgenden beschriebene Timelapse-Analyse auf Basis einer Zuordnung von durch eine Segmentierung in einzelnen Bildern der Zeitreihe identifizierten Objekt-Abbildern eines jeweiligen selben Objekts, setzt also ein irgendwie ausgeführtes Tracking voraus.
3.2 Timelapsanalyse: Tracking
Beim Tracking werden Kurvenverläufe von Merkmalen für jedes einzelne Objekt generiert. Es werden also die durch die Segmentierung in den einzelnen Bildern der Zeitreihe identifizierten Objekt-Abbilder einander als Abbild eines jeweiligen selben Objekts einander zugeordnet. Dies ermöglicht eine erheblich umfangreichere Informationsgewinnung, da eine zeitliche Analyse auf Einzelobjektebene möglich wird. Dabei können sehr einfache Verfahren zur Anwendung kommen. Beispielsweise reicht es bei geometrisch statischen Zellen aus, eine Maske aus dem ersten Zeitframe zu gewinnen und diese Maske auf allen weiteren Zeitframes zu verwenden. Häufig müssen aber auch komplexere, an sich aber bekannte Algorithmen zur Anwendung kommen.
Zum Tracking in der Mikroskopie müssen dabei zum Teil andere Verfahren als beim Videotracking verwendet werden, da es nur in Teilen des Bildes Informationen gibt und damit die Objekterkennung schwieriger aus den Änderungen abzuleiten ist (vgl. z. B. EP 1 348 124 B1 ).
Generell kann man 2 Ansätze unterscheiden:

1. Verwendung der gesamten Bildinformation zur Gewinnung der Objektdaten
2. Getrennte Objekterkennung auf Einzelframes mit anschließender Zuordnung im Merkmalsraum

Unabhängig von der Art des Verfahrens gewinnt man für jeden Zeitpunkt und jedes Objekt eine Maske, welche wie im statischen Verfahren zur Gewinnung von Merkmalen zu diesem Zeitpunkt genutzt werden kann.
Dabei kann es jedoch zu Lücken im Tracking kommen. Wenn die Bedingungen für die Erkennung der Objekte sich zeitlich ändern, ist der Trackingalgorithmus eventuell nicht mehr in der Lage eine Zuordnung der Objekte korrekt herzustellen. Zusätzlich kommt es vor, dass Objekte auch während des Zeitverlaufs entstehen, verschwinden oder ineinander übergehen oder sich trennen. In beiden Fällen entstehen durch das Tracking Teilspuren der Objekte, welche sich nicht über den vollständigen Beobachtungszeitraum erstrecken. Informationen über den Zusammenhang solcher Teilspuren können von besonderem Interesse sein und sind prinzipiell aus den Trackingdaten ableitbar.
3.3 Zytometrische Timelapsanalyse auf Trackingdaten
Durch die Anwendung zytometrischer Analyse auf den Trackingdaten kann die Analyse von Timelapsedaten erheblich vereinfacht werden. Dabei profitiert der Ansatz von der auch im statischen Fall vorhandenen Möglichkeit, ohne Zusatzinformation Klassen identifizieren zu können und über die Projektionen und logische Verbindung der Regionen unerwünschte Datenpunkte zu entfernen.
Dabei werden in einem ersten Schritt aus den Kurven, welche aus dem Tracking gewonnen wurden, einzelne Objektmerkmale extrahiert.
Als Basis für die Kurvenverläufe können alle statischen und aus den einzelnen Bildern gewonnenen momentanen Merkmale dienen (z. B. Intensitäten, Geometrien, Orte), zusätzlich aber auch dynamische Merkmale wie Geschwindigkeit und Bewegungsrichtung.
Die Kurven können dann vor der Merkmalsextraktion geglättet oder abgeleitet werden, bzw. es können Zeitbereiche gesetzt werden (siehe 23, die ein Beispiel für die Definition von Kurvenmerkmalen gibt). Die letztendliche Merkmalsextraktion wird dann durch Operatoren wie:
Länge der Spur
Mittelwert
Maximum/Minimum
Standardabweichung
Erster/Letzter Wert
Zeitpunkt des Maximums/Minimums
Zeitpunkt des Begins/Endes
Anzahl Nullstellendurchgänge
Anzahl lokaler Maximuma/Minimuma
oder durch die Parameter eines Kurvenfits bestimmt.
Des Weiteren können Bereiche, welche aus Triggerpunkten einer Flüssigkeitszufuhr oder sonstiger externer Ereignisse definiert werden, als Merkmale verwendet werden (vgl. US 5,332,905 ).
Wie bei der herkömmlichen, keine zeitlichen Änderungen berücksichtigenden Imaging Zytometrie können anschließend Merkmale miteinander verrechnet werden.
Nach der Gewinnung der Merkmalsdaten können diese in der zytometrischen Analyse klassifiziert werden. Das heißt, jede durch das Tracking gewonnene Spur bildet einen multidimensionalen Datenpunkt im Merkmalsraum, auf dessen Projektionen Regionen zur Klassifizierung definiert werden. Berücksichtigt man zusätzlich sich ändernde, aus den einzelnen Bildern jeweils entnehmbare momentane Merkmale, resultiert aus dem Tracking eine multidimensionale Spur im auch diese Merkmale berücksichtigenden Merkmalsraum. Zusätzlich zur Klassifizierung im Hinblick auf die besonders aussagekräftigen dynamischen Merkmale kann auch in Bezug auf statische Merkmale und momentane Merkmale zu einem bestimmten Zeitpunkt klassifiziert werden. Es kann also eine Klassifizierung entsprechend der herkömmlichen Imaging Zytometrie betreffend statische Merkmale oder/und sich ändernde momentane Merkmale in Bezug auf einen bestimmten Zeitpunkt zusätzlich angewendet werden.
4. Anwendungsbeispiele aus der Biologie für die erfindungsgemäße zytometrische Timelapseanalyse
Es werden im Folgenden allgemeine Beispiele aus der Biologie vorgestellt, bei denen die vorgeschlagene Analyse- und Klassifizierungsmethode mit besonders großem Nutzen eingesetzt werden kann.
Die im Folgenden dargestellten Beispiele sind Standardwerken der biologischen Fachliteratur entnommen. Es handelt sich um bekannte und beschriebene, sowie teilweise bis auf die molekulare Ebene aufgeklärte Phänomene. In typischen Screening-Experimenten werden häufig derartige gut charakterisierte Experimente verwendet, um nach unbekannten Genen, oder Substanzen zu suchen, die auf den bekannten Prozess einen Einfluss ausüben.
4.1 Beispiel 1: Ionenkanäle
Ionenkanäle sind für alle Zellen zur Regulation des Wasserhaushalts und des zellinneren Milieus lebensnotwendig. Des Weiteren spielen Sie eine zentrale Rolle bei der Reizleitung und Reizverarbeitung im Nervensystem. Entsprechend dramatische Auswirkungen haben Defekte an Ionenkanälen auf den Organismus. Es sind viele Krankheiten bekannt, die sich auf defekte Ionenkanäle zurückführen lassen. Hier sei als Beispiel keine humanmedizinische Krankheit, sondern die besser beschriebene und verstandene Mutante „Shaker” der Fruchtfliege Drosophila beschrieben. Diese Mutanten fallen durch stark unkoordinierte Bewegungen auf. Es stellte sich heraus, dass dies auf einen Defekt des Kalium-Kanals in Nervenzellen zurückzuführen ist, der dazu führt, dass die Aktionspotentiale einen veränderten Zeitverlauf zeigen. Für die hier vorgestellte Methode ist an diesem Beispiel vor allem relevant, dass sich der Unterschied zwischen dem defekten Kanal und einem gesunden Kanal ausschließlich in der Form der Kinetik unterscheidet. Sowohl der Maximalwert, als auch die zeitliche Dauer des Aktionspotentials sind kaum unterscheidbar. Die hier dargestellte Messung wurde mit elektrophysiologischen Methoden durchgeführt. Mit geeigneten spannungssensitiven Farbstoffen und sehr schnellen Kameras ließen sich derartige Messungen auch mit Bildgebenden Verfahren durchführen. Für Screening-Anwendungen sind derartige Experimente interessant, da zum Beispiel mit Massenansätzen nach Substanzen geforscht werden kann, mit denen die krankhafte Veränderung aufgehoben werden kann.
24 zeigt den typischen Zeitverlauf (Kinetik) des Aktionspotentials in gesunden Fruchtfliegen („wild type”) und in der Mutante „Shaker”. Der Unterschied manifestiert sich fast ausschließlich in der Kurvenform, weder im Maximalwert, noch in der Dauer. Den schematischen Messergebnissen liegt die Messung der Spannung über die Zellmembran mittels Elektroden, also keine Anwendung eines bildgebenden Verfahrens, zugrunde. Wie 25 zeigt, kann die Veränderung des Kanalverhaltens der Mutante durch die Zugabe eines synthetischen Peptids teilweise rückgängig gemacht werden. Auch für diese Messungen wurde kein bildgebendes Verfahren verwendet, sondern die „Patch-Clamp-Methode, mit der die Ströme, nicht die Spannung, über die Membran gemessen werden. Es kommt aber in Betracht, den 24 und 25 entsprechende Messungen mit bildgebenden Verfahren durchzuführen, wie schon angesprochen. Dies würde ermöglichen, die entsprechenden Messungen gleichzeitig in Bezug auf viele Nervenzellen durchzuführen. Aufgrund der Variabilität von Messungen in der Biologie wurden hieraus sehr unübersichtliche Probenscharen aus jeweils einer Vielzahl von Einzelkurven resultieren, die mit herkömmlichen Verfahren kaum sinnvoll ausgewertet werden können. Auf Basis der erfindungsgemäßen zytometrischen Time-Lapse-Analyse wäre es demgegenüber aber möglich, eine Klassifizierung und Analyse der Time-Laps-Messergebnisse durchzuführen, um interessierende Fragestellungen zu beantworten.
4.2 Beispiel 2: Kalziumsignale in Muskelzellen
In diesem Beispiel wurde die Kalzium-Konzentration in kultivierten Muskelzellen mittels des Fluoreszenzfarbstoffes „fura-2” mit Bildgebenden Verfahren gemessen. Der Farbstoff „fura-2” ändert seine Fluoreszenzeigenschaften in Abhängigkeit von der Kalziumkonzentration in der Zelle. Da bei diesen Messungen die absolute Signalintensität von der Menge des Farbstoffes in der Zelle und dem Volumen der Zelle abhängt und daher extrem stark schwankt, kann diese nicht zum direkten Vergleich herangezogen werden. Im Beispiel wird die Änderung der Kalzium-Konzentration in 2 unmittelbar benachbarten Muskelzellen gezeigt. Die Reaktion fällt völlig unterschiedlich aus. Eine Zelle zeigt rhythmische in der Intensität abfallende schnelle Konzentrationsänderungen, währen die andere Zelle ein starkes Anfangssignal zeigt, das zunächst schnell und anschließend langsam abfällt. Sämtliche Zwischenformen, sowie weitere charakteristische Zellreaktionen können vorkommen. Mit der hier vorgestellten Methode können derartige Unterschiede im Kurvenverlauf schnell, einfach und eindeutig für eine beliebig große Anzahl an Bildern differenziert und klassifiziert werden. Damit wird es möglich beispielhaft folgende Fragestellungen zu bearbeiten:
Wie viele unterschiedliche Reaktionstypen gibt es?
Worin unterscheiden sich diese?
Welche Substanzen (Pharmaka → Drug-Screening) lösen welche Reaktionen aus?
Mit welchen Substanzen können die Reaktionen unterdrückt werden?
26 zeigt ein Kalzium-Imaging in Muskelzellen. Gezeigt ist der schematische Zeitverlauf (die Kinetik) des Kalziumsignals in unterschiedlichen Muskelzellen, gemessen mittels eines Fluoreszenzfarbstoffes, der seine Fluoreszenzeigenschaften in Abhängigkeit von der Kalziumkonzentration in der Zelle ändert. Die Zellen lassen sich morphologisch nicht unterscheiden. In der Gesamtpopulation gibt es Zellen mit unterschiedlichsten Reaktionsmustern. Der Unterschied manifestiert sich vorwiegend in der Kurvenform, weder im Maximalwert, noch in der Dauer. Durch Anwendung herkömmlicher Auswertemethoden lassen sich solche Unterschiede kaum sinnvoll erfassen, vor allem nicht quantitativ. Die erfindungsgemäße zytometrische Time-Lapse-Analyse eröffnet demgegenüber die Möglichkeit, solche Unterschiede nicht nur qualitativ, sondern auch quantitativ zu erfassen und durch mehrfache Klassifizierungen zu analysieren.
4.3 Beispiel 3: Proteinexpressionsmuster
Die Produktion (Expression) zellulärer Proteine ist streng reguliert. Insbesondere Proteine, die an den Zellteilungsprozessen beteiligt sind, zeigen räumlich und zeitlich begrenzte Expressionsmuster. Veränderungen in diesen Expressionsmustern können Indikatoren für krankhafte Prozesse, wie zum Beispiel Krebs sein. Daher ist es von großem Interesse nicht nur das Auftauchen, bzw. Vorhandensein bestimmter Proteine in Zellen zu bestimmen, sondern auch den zeitlichen Verlauf der Synthese und des Abbaus exakt zu erfassen.
Entsprechende Proteinexpressionsmuster sind in 27 schematisch gezeigt. Gezeigt ist der Zeitverlauf (die Kinetik) des Expressionsmusters zweier regulatorischer Proteine (Proto-Onkogene), die an der Zellteilung beteiligt sind. Das erste Genproduct c-Fos ist als virales Onkogen (krebserzeugend) bekannt. In der krebsassoziierten Form ist c-Fos nicht mehr zeitlich reguliert und zeigt nicht mehr den typischen Kurvenverlauf. Werden derartige Messungen in Bezug auf viele Zellen durchgeführt, etwa im Rahmen eines Screenings, so ermöglicht die erfindungsgemäße zytometrische Time-Lapse-Analyse, derartige Kinetiken nicht nur quantitativ, sondern auch qualitativ auszuwerten und interessierende Subpopulationen zu identifizieren.
5. Konkrete Anwendungsbeispiele für die erfindungsgemäße zytometrische Timelapsanalyse
Im Folgenden werden im Detail Anwendungsbeispiele für die zytometrische Timelapsanalyse ausgeführt. Die Anwendungsbeispiele sind mit einem scan^R Prototypen ausgeführt worden.
5.1 Live Cell Mitose Analyse
Bei der Live Cell Matrix Analyse geht es um lebende Zellen mit Teilungsaktivität. Es ist sowohl ein floureszenter Zellmarker (TxRed) als auch ein reiner Zytoplasmamarker (GFP) vorhanden. Die Zellen zeigen eine starke Teilungsaktivität, was die Zuordnung der Objekte erschwert.
Die Abbildungen A und B der 28 zeigen den gleichen Bildausschnitt und damit die Teilungsaktivität der Zellen zu verschiedenen Zeitpunkten. Die Zellzahl und die Position der Zellen ändern sich sehr stark. Diese Situation ist typisch für Zeitreihenexperimente und stellt hohe Anforderungen an die Objekterkennung und Objektverfolgung („Tracking”) über die Zeit.
1. Segmentierung
In einem ersten Schritt werden die Objekte segmentiert. Dies wird auf dem stärkeren Kanal (TxRed) durchgeführt (siehe 29). In diesem eine Segmentierung in einem einzelnen Timeframe veranschaulichenden Beispiel wird dafür eine einfache Schwellwertdetektion verwendet. Die Objektdetektion ist noch unvollständig und kann durch zusätzliche Bildverarbeitung verbessert werden.
2. Festlegung der stationären und momentanen Merkmale als Beispiel für „erste Merkmale”
Im nächsten Schritt wird festgelegt, welche Merkmale auf jedem Timeframe und jedem Objekt gemessen werden sollen. Eine Liste der in jedem Bild der Zeitreihe zu messenden Merkmale (statische/stationäre Merkmale bzw. momentane Merkmale) ist in 30 zu sehen, die einen entsprechenden Bildschirminhalt der Benutzerschnittstelle zeigt.
Dadurch ergibt sich nach Analyse aller Bilder für jedes Objekt und jeden Zeitpunkt ein Datenpunkt im Merkmalsraum, von dem in den 31 bis 36 verschiedene Ansichten gezeigt sind.
Die Analyse aller Bilder ist dabei ein zeitaufwendiger Schritt, da auf den umfangreichen Bilddaten gerechnet werden muss.
Die verschiedenen Ansichten des Merkmalsraums der stationären bzw. momentanen Merkmale, also aller Merkmale, die aus einem einzelnen Bild direkt oder indirekt ableitbar sind, zeigen im Einzelnen Folgendes: 31 zeigt eine Galerie passiver Zellen und 32 zeigt eine Galerie aktiver Zellen, jeweils für eine von zwei in einer farblichen Darstellung des Histogramms gemäß 34 trotz relativ kleiner Intensitätsunterschiede bereits unterscheidbarer Punktwolken, nämlich einerseits GFP-aktiver Zellen (32) und GFP-passiver Zellen (31). Das Histogramm der 34 zeigt die mittlere Intensität gegen die Fläche, und es sind in der der 34 zugrunde liegenden Bildschirmanzeige die genannten zwei Cluster (aktiv und passiv; Punktwolke passiver Zellen links in 34 und Punktwolke aktiver Zellen rechts in 34) unterscheidbar.
33 zeigt eine mögliche Klassifizierung von richtig segmentierten Zellen über die Zirkularität (circularity) und die Fläche (area). 35 stellt die Zeit gegen die mittlere GFP-Intensität in der Populationsanalyse dar. Die Bildposition X, Y erkannter Objekte ist in 36 dargestellt.
3. Festlegung der kinetischen Merkmale als Beispiel für „zweite Merkmale”
Nun kann das Tracking (Zuordnen der Objekte) und die Extraktion der kinetischen Merkmale definiert werden. Die eigentliche Zuordnung zur Gewinnung der Kurven erfolgt dabei automatisch durch einen Algorithmus, welcher die Nähe der Orte als Grundlage der Zuordnung verwendet. 37 und 38 zeigen ein Beispiel einer Zelle mit Ihrer Bewegungsspur. In 37 ist ein Histogramm gezeigt, welches die Länge des Kurvenverlaufs (Life Time) gegen einen den Ausschlag der Flächen im Kurvenverlauf quantifizierenden Parameter dargestellt. Ein Fadenkreuz markiert das gerade selektierte Objekt im Merkmalsraum, welches in 38 mit seiner Segmentierung abgebildet ist. Es handelt sich dabei um ein dem letzten Punkt der Kurve zugehöriges Bild. In einer farblichen Darstellung erkennt man als farblich codierte Linie am Objekt den Bewegungsverlauf des Objekts über den gesamten aufgenommenen Zeitraum, also neben der selektierten Zelle auch deren räumliche Spur (Ortsspur).
39 zeigt das Benutzerinterface zur Auswahl der kinetischen Merkmale, welche aus den Kurven extrahiert werden. Hierdurch wird der kinetische Merkmalsraum definiert. Teilweise werden diese Merkmale für die endgültigen Ergebnisse nicht verwendet, sondern dienen lediglich dem Zweck, den Assay besser entwickeln zu können und um zu sehen, ob gewisse Merkmalskombinationen Cluster ausbilden, welche Aussagen über die Biologie oder die Funktion der Algorithmen machen können.
Zum Definitionsinterface der 39 für kinetische Merkmale und damit des kinetischen Merkmalsraums ist noch Folgendes zu erwähnen.
Die durch den Scrollbar verdeckten kinetischen Merkmale sind Min (Meanlntensity(GFP)) und Max(MeanIntensity(GFP), welche sich auf die minimalen und maximalen GFP-Intensitäten im Kurvenverlauf beziehen.

Auswählbare Merkmale sind zum Beispiel die Folgenden:

First(Meanlntensity(GFP))	Erster Wert der GFP Intensität im Kurvenverlauf
mean(Meanlntensity(GFP))	Mittlerer Wert der GFP Intensität über den gesamten Kurvenverlauf
mean(Area)	Mittlerer Wert der Objektfläche über den gesamten Kurvenverlauf
Min(speedofmotionX)	Minmale Geschwindigkeit in X-Richtung im gesamten Kurvenverlauf
Max(speedofmotionX)	Maximale Geschwindigkeit in X-Richtung im gesamten Kurvenverlauf
t_max(Meanlntensity(GFP))	Zeitpunkt der maximalen GFP Intensität im Kurvenverlauf
lifetime	Gesamte Länge einer Kurve. Diese wird beeinflusst durch die Fähigkeit des Tracking Algorithmus oder durch biologische Ursachen (verschwinden des Objekts)
Max(Der(Area))	Wert der maximalen Ableitung des Flächenverlaufs. Typischerweise wird die Kurve vor dem Bilden der Ableitung geglättet.
Max(Area)	Maximaler Flächenwert über den gesamten Kurvenverlauf
Min(Area)	Minimaler Flächenwert über den gesamten Kurvenverlauf
Min(MeanIntensity(GFP))	Minimale GFP Intensitäten im Kurvenverlauf
Max(MeanIntensity(GFP))	Maximale GFP Intensitäten im Kurvenverlauf

Es können auch abgeleitete kinetische Merkmale (abgeleitete „zweite Merkmale”) definiert werden, welche nicht aus einer jeweiligen Kurve, sondern aus anderen kinetischen Merkmalen gewonnen werden. 40 zeigt das entsprechende Benutzerinterface. Die Parameter dieser Merkmale werden nicht aus einer Kurve gewonnen, sondern resultieren beispielsweise auf Basis einer mathematischen Formel aus anderen kinetischen Merkmalen. Ein Beispiel ist das kinetische Merkmal MaxMinAreaRatio. Dies ist ein abgeleitetes Merkmal, welches über die Parameternummern P8 und P9 dem Verhältnis aus der maximalen Fläche (Max(Area)) und der minimalen Fläche (Min(Area)) entspricht, also MaxMinAreaRatio = P8/P9 = Max(Area)/Min(Area). Ein solches abgeleitetes kinetisches Merkmal könnte z. B. als kinetischer Parameter für die Größe der Anschläge der Fläche im Kurvenverlauf dienen. Ein Wert von 1 für dieses Merkmal stände für keine Veränderung und würde für starke Anschläge der Fläche ansteigen.
4. Zytometrische Klassifizierung
Die so gewonnen kinetischen Merkmalsdaten können nun in mehreren Schritten klassifiziert werden. Ein wesentlicher Schritt ist dabei die Sortierung in eine brauchbare Klasse, da sowohl die Segmentierung als auch das Nachverfolgen der Zellen wegen der hohen Zelldichte und der Teilungsaktivitäten sehr Fehlerträchtig ist.
In einem ersten Schritt werden beim hier erläuterten Anwendungsbeisiel zunächst die Zellen definiert, welche über einen ausreichenden Zeitraum nachverfolgt wurden. Dies geschieht über das Merkmal „Liftime”, welches die Länge der jeweiligen Spur angibt. 41 zeigt eine Definition der Klasse „Long”, die Zellen mit einer langen Spur entsprechend einer langen Lebensdauer des Zeitbereichs R01 entspricht. Diese Region ist als einseitiges Intervall [R01 definiert. Die Schar längerer Kurven bzw. diese Klasse länger nachverfolgter Zellen wird durch diese Region R01 in einem so genannten „Gate Manager” im eindimensionalen Histogramm gemäß 41 als Gate „Long” definiert. 42 zeigt eine Teilmenge der dieser Klasse „long” = R01 entsprechenden Kurven, durch Abbildung des Kurvenverlaufs der GFP-Intensität über der Zeit. Zu erkennen sind Kurven, welche den charakterisischen Mitosenpeak zeigen, sowie Kurven ohne einen solchen Peak.
Durch die Definition dieser Klasse können auf einem weiteren Histogramm nun eindeutig Cluster identifiziert werden. Diagramm A von 43 zeigt ein Histogramm der mittleren (y) gegen die maximale (x) Intensität aller Objekte und Diagramm B zeigt das Histogramm der mittleren (y) gegen die maximale (x) Intensität nur für die Objekte der Klasse „long”.
Dabei ist nur mit der Klasse long eine deutliche Auftrennung in zwei Cluster sichtbar. Dies kann wiederum genutzt werden, um zwei Regionen zu definieren, welche mitotische (teilende) Zellen von nicht-mitotischen Zellen trennen.
Da die beiden Cluster schräg in der Projektionsdarstellung liegen, wird klar, das einer der beiden kinetischen Merkmale zur Klassifizierung nicht ausgereicht hätte.
In dem Diagramm B der 43 lassen sich dann die Klassen R02 und R03 definieren, die der Klasse der mitotischen (teilenden) Zellen und der Klasse der nicht-mitotischen Zellen entsprechen, vgl. 44. 45 zeigt die Definition dieser Klassen aus den Regionen im Gate-Manager (Klassifikator-Manager). Die beiden angesprochenen Klassen sind jeweils über die logische Verknüpfung („AND”) der in der Abbildung der 44 eingezeichneten Regionen (R02, R03) mit der Klasse „long” definiert.
Die Intensitätsverläufe und die Galerie von Zellbildern gemäß 46 gehören zur Klasse der nicht-mitotischen Zellen und die Intensitätsverläufe und Galerie von Zellbildern gemäß 47 gehören zur Klasse der mitotischen Zellen. Für die mitotischen Zellen zeigt sich sowohl im Intensitätsverlauf als auch in den Zellbildern klar ein Sprung in der GFP-Intensität, der während der Mitose auftritt.
Gezeigt ist also ein Beispiel für die Klassifizierung in mitotischer und nicht-mitotischer Zellen. Die Abbildungen zeigen, wie durch Anwendung eines Gates oder Klassifikators („Long”) zwei Cluster in einem Teilraum des Merkmalsraums identifiziert werden können. 44 zeigt die Einteilungsdefinition über Regionen im Merkmalsraum der maximalen gegen die mittleren GFP-Intensitäten. 46 zeigt im Diagramm B zu dem Klassifikator R02 eine zu R02 auf „long” gehörende Kurvenschar und in der Bildergalerie C Zeitreihenbilder einer Zelle aus dieser Schar. Da die charakteristischen Mitosepeaks fehlen, handelt es sich um die nicht-mitotischen Zellen. Die Klasse der mitotischen Zellen ist demgegenüber in der Kurvenschar gemäß Diagramm D von 47 und für eine Zelle in der Bildergalerie E von 47 gezeigt. Die Mitosepeaks sind nicht nur in der Kurvenschar, sondern auch in den Bildern der Zelle selbst erkennbar.
Zur Unterteilung der Zellen können in anderen Situationen auch mehrfache logische Verknüpfungen zur Bildung jeweiliger Klassen definiert werden.
Eine weitere mögliche Einteilung wäre eine Einteilung in frühe und späte Mitose (siehe 48 bis 50). Die Unterteilung der Mitoseklasse in frühe und späte Mitose erfolgt über den Zeitpunkt der maximalen Intensität. In dem in 48 gezeigten Gate-Manager werden diese Unterklassen (Zellen mit früher Mitose und Zellen mit später Mitose) durch Verknüpfung der im Histogramm gemäß 49 gezeigten Regionen R04 und R05 definiert. Das Histogramm zeigt die Objekthäufigkeit für die Zeitpunkte maximaler GFP-Intensität für die Klasse der mitodischen Zellen. 50 zeigt in der Bildergalerie C Bildverläufe über die Zeit für frühe Mitose (Region R04) und in der Bildergalerie D Bildverläufe für die späte Mitose (Region R05) für eine jeweilige Beispielzelle der beiden zusätzlich definierten Klassen.
5. Ergebnisse
Über die Definition der Klassen lassen sich nun Prozentzahlen bestimmter kinetischer Klassen abrufen (siehe 51 und 52). Dabei muss die statistische Grundklasse angegeben werden (z. B.: mitotic oder long).
Es lassen sich nun auch Statistiken (z. B.: Mittelwerte) kinetischer Merkmale der jeweiligen Klassen bestimmen.
51 zeigt das Nutzerinterface zur Ausgabe der Probenergebnisse, um die Prozentzahl von mitotischen/nicht-mitotischen Zellen in den beiden Proben B3 und B4 zu erhalten. Es wird für jede Probe die Prozentzahl der Klassen in Bezug auf die statistische Grundmenge „long” angezeigt. In lediglich zwei Wells (B3 und B4) entsprechend Gruppen 2 und 3 sind tatsächlich Zellen gefunden worden. 52 zeigt in dem Benutzerinterface das Verhältnis von später und früher Mitose in den beiden Proben. Als Probenergebnis wird für jede Probe die Prozentzahl der Klassen in Bezug auf die statistische Grundmenge „mitotic” angezeigt. Lediglich in den beiden Wells B3 und B4 (entsprechend Gruppen 2 und 3) sind tatsächlich Zellen gefunden worden.
5.2 Weitere Beispielszenarien
Für manche Untersuchungen kann ein interessierender Prozess dadurch quantifiziert werden, dass die Veränderung eines Quotienten der Fluoreszenzintensität zweier Fluorophore bestimmt wird. Es können beispielsweise Fluorphore eingesetzt werden, die über einen UV-Blitz aktiviert werden, wobei auf den Blitz dann Bilder einer Zeitreihe aufgenommen werden. Die Auswertung auf Basis eines solchen Intensitätsquotienten bietet den Vorteil, dass auch Messungen an sich in drei Dimensionen bewegenden Zellen und unterschiedlichen Positionen in Bezug auf eine Focusebene durchgeführt werden können, bei denen die absolute Intensität kein sinnvoller Messparameter für die Bestimmung eines interessierenden Prozesses ist.
Bei der Analyse der Kinetik können auch Kurvenfitts zum Einsatz kommen, beispielsweise ein Anfitten an einen linearen oder exponentiellen oder sonstigen Kurvenverlauf. Als kinetische Merkmale können dann auch gegenüber der eigentlichen Kinetik abstraktere kinetische Merkmale auf Grundlage des Kurvenfitts dienen, nämlich beispielsweite die Fittparameter sowie die Fittfehler, etwa mittlerer Standardfehler (MSE) der Kurvenfitts, so dass etwa nach einem linearen Kurvenverlauf einerseits und einem exponentiellen Kurvenverlauf andererseits klassifiziert werden kann und ferner auch nach unterschiedlichen Fittfehlerklassen weiter klassifiziert werden könnte.
Es kann dann also auch auf Basis der Fittfehler (etwa MSE) klassifiziert werden, etwa um Zellen bzw. Kurven zu selektieren, die sich durch einen kleinen Fittfehler an die zugrunde gelegte Fittfunktion auszeichnen. Unterschiedliche Klassen können sich beispielsweise auch in einem oder mehreren Fittparametern zeigen. Beispielsweise könnte sich im Falle eines exponentiellen Kurvenfitts eine Klasse von Individuen zeigen, die sich durch einen erheblich größeren Exponentialfaktor von anderen Individuen unterscheidet.
Im schon angesprochenen Quotienten von Fluoreszenzintensitäten könnten sich beispielsweise zwei Gruppen bei der Klassifizierung zeigen, von denen eine sich durch einen starken und die andere sich durch einen schwachen Abfall des Quotienten auszeichnet.
Zu überprüfen wäre, ob alle diese Zellen gleicherweise photoaktiviert wurden. Ein Fehler könnte daraus entstehen, dass zum Zeitpunkt der Photoaktivierung nicht alle Zellen im Fokus des Objektivs, durch welches auch die Photoaktivierung zweckmäßig erfolgen kann, waren. Um diesen Fehler auszuschließen, könnte zusätzlich über die Intensität eines der Fluorophore zum Zeitpunkt der Photoaktivierung (t = 0) klassifiziert werden, um nur solche Zellen zu berücksichtigen, die in gleicher Weise photoaktiviert wurden. Es kann so eine Klasse von Zellen gebildet werden, welche als Grundlage für eine saubere Quantifizierung des interessierenden Prozesses dienen kann. Auf Basis einer solchen Klasse können beispielsweise Mittelwerte der linearen Regression des Intensitätsquotienten zur Bestimmung einer intessierenden Aktivität, etwa eines Proteinabbaus, in Abhängigkeit von speziellen Umgebungsfaktoren bestimmt werden.
Dies sind nur einige Gedanken zu möglichen Experimenten und zu dann auf Basis der Erfindungsvorschläge zweckmäßig in Frage kommenden Auswertungen durch mehrstufige Klassifizierung speziell auf Basis von kinetischen Merkmalen, einschließlich abstrakter kinetischer Merkmale wie Fittparameter und Fittfehlergrößen. Dem Fachmann werden viele andere Experimente mit Zellen in den Sinn kommen, bei denen die erfindungsgemäße Analyse und Klassifizierung zweckmäßig eingesetzt werden kann.
6. Timelapsanalyse mit Eingrenzung der Kurvendiskusion auf Schlüsselbereiche
In dem Beispiel gemäß vorangehendem Abschnitt 6.1 wurden die sich aus der zeitlichen Entwicklung der Zellmerkmale ergebenden Kurvenverläufe in voller Länge zur Analyse und Merkmalsextraktion genutzt. Dies ist immer dann sinnvoll, wenn die Kurve als Ganzes untersucht, und ihre globale Charakteristik ermittelt werden soll. Ein Beispiel hierfür wurde auch im Abschnitt 6.2 gegeben, wo die Klassifizierung nach linearem bzw. exponentiellem Kurvenverlauf beispielhaft erwähnt wurde.
Nun ist nicht immer die Kurve als Ganzes von Interesse, sondern häufig nur ein zeitlicher Teilbereich, in dem beispielsweise von außen ein Prozess angestoßen wurde (z. B. Pipetierung), oder das untersuchte Objekt ein bestimmtes Verhalten aufweist.
Die im Folgenden beschriebene Funktionalität stellt eine äußerst interessante Erweiterung der Analyse-Möglichkeiten dar, da mit dieser Funktionalität die Analyse der Kurven auf spezielle Bereiche von Interesse auf dieser Kurve eingeschränkt werden kann.
Dazu wird zuerst eine Kurvenanalyse der gesamten Kurve vorgenommen, und dann wird ein charakteristischer Punkt der Kurve bestimmt. Anschließend wird ein Zeitfenster bestimmt, in dem, um diesen Punkt herum, die eigentliche Kurvenanalyse stattfindet.
Der Sinn einer solchen Vorgehensweise ergibt sich aus Folgendem: Eine typische biologische Kurve ist in 53 gezeigt.
In den Bereichen A und C passiert „nichts” Interessantes, nur Hintergrundrauschen ist zu sehen, einzig im Bereich B ist ein Effekt zu beobachten. Der Zeitpunkt t-max ist bei biologischen Proben in der Regel höchst variabel. Eine feste Zeit lässt sich für eine lokale Kurvenanalyse nicht einstellen. Die lokale Kurvenanalyse muss bezüglich der Absolutzeitskala relativ erfolgen, da jede Kurve einen anderen t-max Zeitpunkt hat, was in 53 zur Vereinfachung nicht gezeigt ist. Wenn die Kurve global auf z. B. die Zerfallskonstante ausgewertet wird, erhält man ein fehlerhaftes Ergebnis (f(lin-global) (linearer Fit auf den gesamten Kurvenverlauf ab Maximum), f(exp-global)) (exponentieller Fit auf den gesamten Kurvenverlauf ab Maximum). Erst wenn der Analysebereich auf den tatsächlich interessanten Bereich eingeschränkt wird (tmax-Grence B/C) erhält man einen genaueren Wert (f(exp-local)) (exponentieller Fit auf den eingeschränkten Kurvenverlauf ab Maximum).
6.1 Definition der zeitlichen Teilbereiche
54 zeigt ein Beispiel für eine Einschränkung der Untersuchung auf den Kurvenverlauf zwischen t = 50 und t = 100. Der so definierte zeitliche Teilbereich oder auch region of interest (ROI), kann sich entweder auf einen absoluten Zeitpunkt beziehen, oder aber relativ zur jeweiligen Kurve definiert sein.
6.1.1 ROI mit absoluter Zeitskala
Bei Verwendung der absoluten Zeitskala beziehen sich die ROIs auf einen absoluten Zeitpunkt, beispielsweise den Zeitpunkt der ersten Bildaufnahme oder den Zeitpunkt eines externen Ereignisses (z. B. Pipettierung). Bei der Analyse werden alle Kurven entsprechend des ROIs beschnitten, und nur der innerhalb des ROIs liegende Teil geht in die Analyse ein.
55 zeigt ein Beispiel für die Einschränkung der Untersuchung auf den Kurvenverlauf ab t = 40 auf der absoluten Zeitskala.
6.1.2 Relative Zeitskala
Gilt es Ereignisse im Kurvenverlauf zu analysieren, die für jede Zelle zu einem unterschiedlichem Zeitpunk eintreten (Beispiel Mitose, siehe oben), so wird eine relative ROI definiert, die sich auf einen Zeitpunkt bezieht, der spezifisch für die jeweilige Kurve ist. Auf diese Weise können Kurventeilverläufe isoliert untersucht werden, auch wenn das untersuchte Ereignis zu unterschiedlichen Zeitpunkten eintritt.
56 zeigt den Intensitätsverlauf für verschiedene mitotische Zellen auf einer absoluten Zeitskala. 57 zeigt demgegenüber den Intensitätsverlauf über der Zeit für mitotische Zellen auf einer relativen Zeitskala, bei der der Zeitpunkt t = 0 dem Zeitpunkt des Intensitätskurvenmaximums entspricht.
58 zeigt das Benutzerinterface, mit der sich ein relativer, kurvenspezifischer Zeitpunkt, hier der Zeitpunkt des Maximums, definieren lässt. Unter Bezugnahme auf einen solchen relativen Zeitpunkt t = 0 kann dann ein relativer interessierender Bereich ROI definiert werden, der nach 59 beispielsweise die letzten fünf Zeitschritte vor dem Peak, also vor dem zuvor definierten Zeitpunkt t = 0 des Kurvenmaximums umfasst. 60 zeigt demgegenüber die Definition eines relativen ROIs, umfassend die ersten 15 Zeitschritte nach dem Peak, also nach der Zeit t = 0, dem Zeitpunkt des Kurvenmaximums.
6.2 Anwendungsbeispiel: Live Cell Mitose Analyse
Zellteilung führt aufgrund der DNA-Verdopplung zu einem charakteristischen Peak in der gemessenen GFP Intensität. Hier soll nun mithilfe relativer ROIs die mittlere Steigung im Peak-Anstieg sowie die mittlere Steigung im Peak-Abfall ermittelt werden.
61 zeigt die Definition des Intensitätskurvenmaximums (Peak) als Bezugszeitpunkt t = 0. Gemäß 62 wird dann ein kinetisches Merkmal in Form der mittleren Steigung in einem beispielsweise fünf Zeitschritte langen Bereich vor dem Peak bei t = 0 definiert, welcher für die betrachtete Kurve einen bestimmten Wert aufweist. Es kann ein entsprechender Operator definierbar sein, der auf alle einschlägigen Kurven anwendbar ist und die betreffende Steigung ausgibt. In entsprechender Weise kann gemäß 63 die mittlere Steigung in einem beispielsweise fünfzehn Zeitschritte langen Bereich nach dem Kurvenmaximum, also dem Peak bei t = 0, ermittelt und ein entsprechender Operator definiert werden, welcher für eine jeweilige Kurve die betreffende Steigung angibt. 64 zeigt dann ein Histogramm, welches die mittlere Steigung des Peak-Anstiegs gegen die mittlere Steigung des Peak-Abfalls zeigt. Mangels einer großen Anzahl von jeweils durch einen Punkt repräsentierten Individuen lassen sich noch nicht eindeutig Subpopulationen (Cluster) erkennen. Wird entsprechend in Bezug auf sehr viele Individuen bzw. Intensitätskurven mitotischer Zellen klassifiziert, könnten sich in einem solchen Histogramm verschiedene Cluster erkennen lassen, und es könnten in Bezug auf solche Cluster Klassifikatoren definiert werden, um die Analyse weiter zu verfeinern.
7. Schlussbemerkung
Vorstehend wurden nicht beschränkende Beispiele für die Implementierung der Erfindungsvorschläge gegeben und einige Anwendungsmöglichkeiten der erfindungsgemäßen mehrstufigen Klassifizierung bzw. der erfindungsgemäßen Klassifizierung und Analyse als nicht beschränkende Anwendungsbeispiele aufgezeigt. Auf Basis an sich im Stand der Technik bekannter Objektuntersuchungseinrichtungen, beispielsweise der oben angesprochenen Systeme des Anbieters Olympus, können erfindungsgemäße Klassifizierungssysteme bzw. Klassifizierungs- und Analysesysteme bereitgestellt werden. Die Erfindung kann vor allem auch in einer Auswertesoftware verkörpert sein, die beispielsweise aus einem herkömmlichen System ein erfindungsgemäßes System macht.
Vorgeschlagen wird unter anderem ein Verfahren zur Analyse und Klassifizierung interessierender Objekte, etwa biologischer oder biochemischer Objekte, auf Basis von Zeitreihenbildern, beispielsweise zur Verwendung zur Zeitreihen- oder Timelapse-Analyse in der bildbasierten Zytometrie. Es werden zu unterschiedlichen Zeiten Bilder der interessierenden Objekte, etwa Zellen, aufgenommen und diese Bilder einer Segmentierung unterzogen, um Bildelemente als Objekt-Abbilder bzw. Subobjekt-Abbilder interessierender Objekte bzw. Subobjekte interessierender Objekte zu identifizieren. Identifizierte Objekt-Abbilder bzw. Subobjekt-Abbilder werden dann in Bildern der Zeitreihe einander zugeordnet und als Abbild desselben Objekts bzw. Subobjekts bzw. als Resultat eines Objekts bzw. Subobjekts identifiziert. In Bezug auf einzelne Bilder werden darin sich manifestierende erste Merkmale erfasst und in Bezug auf mehrere zu verschiedenen Zeiten aufgenommene Bilder werden darin sich manifestierende zweite Merkmale erfasst. Auf Basis wenigstens eines sich auf wenigstens ein zweites Merkmal beziehenden Klassifikators erfolgt eine Klassifizierung der in den digitalen Bildern der Reihe identifizierten einzelnen Objekte bzw. Subobjekte, als Basis oder Teil einer weiteren Analyse in Hinblick auf wenigstens eine interessierende Fragestellung. Die weitere Analyse bzw. die angesprochene Klassifizierung zusammen mit der weiteren Analyse kann sich als simultane oder aufeinander folgende Anwendung mehrerer Klassifikatoren darstellen, von denen wenigstens einer sich auf wenigstens ein zweites Merkmal bezieht. Es wird vor allem an eine simultane oder aufeinander folgende Klassifizierung mittels mehrerer sich direkt oder indirekt auf wenigstens ein zweites Merkmal beziehender Klassifikatoren gedacht. Zweckmäßig kann aber auch die Anwendung wenigstens eines Klassifikators sein, der sich auf wenigstens ein erstes Merkmal bezieht. Durch den Erfindungsvorschlag wird eine zytometrische Zeitreihen- oder Timelapse-Analyse in Bezug auf ein zeitliches Verhalten einer Mehrzahl von Objekten ermöglicht.
Einen Zusammenhang mit und zugleich eine Abgrenzung der auf Basis des Erfindungsvorschlags ermöglichten zytometrischen Zeitreihen- oder Timelapse-Analyse von der herkömmlichen zytometrischen Analyse bzw. Klassifikation ergibt sich daraus, dass die zytometrische Klassifikation nur mit Einzelwerten funktioniert, die sich als Punkt im Parameterraum bzw. Merkmalsraum darstellen lassen. Ein Zeitreihenexperiment liefert jedoch keinen Einzelwert, sondern eine Wertetabelle, die sich als Kurve darstellen lässt. Auf solche Kurven lässt sich die herkömmliche zytometrische Analyse nicht anwenden. Um Zeitmessungen einer zytometrischen Analyse überhaupt zugänglich zu machen, müssen solche Kurven auf einzelne charakteristische Werte reduziert bzw. durch einzelne charakteristische Werte repräsentiert werden. Im Rahmen der bzw. durch die Erfindungsvorschläge ist genau dies möglich. Aus den Kurven werden Sätze von Einzelparametern extrahiert, die die Kurven charakterisieren. Auf diese Einzelwerte lassen sich an sich bekannte zytometrische Verfahren anwenden, um etwa Populationen und Subpopulationen zu suchen, die sich in kinetischen Parametern (Eigenschaften) unterscheiden und dementsprechend nach der Erfindung klassifiziert werden können. Dies wird erst auf Basis der erfindungsgemäßen Lehre möglich.

Claims

Verfahren zur Analyse und Klassifizierung interessierender Objekte, beispielsweise biologischer oder biochemischer Objekte, auf Basis von Zeitreihen-Bildern wenigstens einer Gruppe interessierender Objekte, beispielsweise zur Verwendung bei der zytometrischen Zellanalyse, speziell Zeitreihen- oder Timelaps-Analyse, in der bildbasierten Zytometrie, umfassend: A) Aufnehmen auf optischem und elektronischem Wege und elektronisches Speichern einer Mehrzahl von digitalen Bildern der in einem Objektbereich einer optischen Objektuntersuchungseinrichtung befindlichen Gruppe interessierender Objekte, wobei die Mehrzahl von digitalen Bildern wenigstens eine Reihe von zu unterschiedlichen Zeitpunkten aufgenommenen digitalen Bildern der Gruppe interessierender Objekte umfasst; B) Unterziehen zumindest der Reihe von zu unterschiedlichen Zeitpunkten aufgenommenen digitalen Bilder der Mehrzahl von digitalen Bilder einer digitalen Bildverarbeitung zur Segmentierung, umfassend wenigstens eines von i) Identifizieren von Bildelementen als Objekt-Abbilder einzelner interessierender Objekte der Gruppe interessierender Objekte und ii) Identifizieren von Bildelementen als Subobjekt-Abbilder einzelner Subobjekte jeweiliger interessierender Objekte der Gruppe interessierender Objekte, und elektronisches Speichern von diese Segmentierung und Identifizierung repräsentierenden Segmentierungsdaten; C) zumindest auf Basis von den Segmentierungsdaten: Zuordnen von identifizierten Objekt-Abbildern oder Subobjekt-Abbildern in zu zeitlich aufeinander folgenden Zeitpunkten aufgenommenen digitalen Bildern der Reihe zur Identifizierung als Abbild des selben Objekts bzw. Subobjekts oder als Abbilder von in einer Ursprung-Resultat-Beziehung stehender Objekte bzw. Subobjekte, und elektronisches Speichern von diese Zuordnung und damit die Identifizierung repräsentierenden Zuordnungsdaten; D) zumindest auf Basis von den Segmentierungsdaten oder den Segmentierungsdaten und den Zuordnungsdaten oder/und von durch die Segmentierungsdaten oder durch die Segmentierungsdaten und die Zuordnungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe: Erfassung von sich direkt oder indirekt in einem einzelnen digitalen Bild der Reihe manifestierenden ersten Merkmalen von durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese Merkmale repräsentierenden ersten Merkmalsdatensatzes; dadurch gekennzeichnet, dass das Verfahren ferner umfasst: E) zumindest auf Basis von den Zuordnungsdaten oder den Zuordnungsdaten und den Segmentierungsdaten oder/und von durch die Zuordnungsdaten oder durch die Zuordnungsdaten und die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe oder/und von ersten Merkmalsdaten des ersten Merkmalsdatensatz: Erfassung von sich direkt oder indirekt in Unterschieden zwischen mehreren der digitalen Bilder der Reihe manifestierenden zweiten Merkmalen von durch die Segmentierung und Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese zweiten Merkmale repräsentierenden zweiten Merkmalsdatensatzes; F) Definieren zumindest eines sich auf wenigstens ein zweites Merkmal beziehenden, auf zweite Merkmalsdaten des zweiten Merkmalsdatensatzes anwendbaren zweiten Klassifikators, derart, dass ein durch das Zuordnen in den digitalen Bildern der Reihe identifiziertes einzelnes Objekt bzw. Subobjekt zu einer dem Klassifikator zugeordneten zweiten Klasse gehört, wenn diesem Objekt bzw. Subobjekt zugeordnete zweite Merkmalsdaten des zweiten Merkmalsdatensatzes wenigstens eine eine Klassifikation in Bezug auf das wenigstens eine zweite Merkmal repräsentierende zweite Klassifikationsbedingung erfüllen, und elektronisches Speichern von den zweiten Klassifikator mit der zweiten Klassifikationsbedingung repräsentierenden zweiten Klassifikatordaten; G) Klassifizieren unter Anwenden wenigstens eines definierten zweiten Klassifikators auf den zweiten Merkmalsdatensatz zur Ermittlung von durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu der zweiten Klasse gehören, die dem angewendeten zweiten Klassifikator zugeordnet ist, bzw. die zu mehreren zweiten Klassen gehören, die jeweils einem der angewendeten zweiten Klassifikatoren zugeordnet sind; und H) Analyse von den nach dieser Klassifizierung der zweiten Klasse bzw. den zweiten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.
Verfahren zur Analyse und Klassifizierung nach Anspruch 1, umfassend vorausgehend dem Zuordnen gemäß Schritt C): D1) zumindest auf Basis von den Segmentierungsdaten oder/und von durch die Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe: Erfassung von sich direkt oder indirekt in einem einzelnen digitalen Bild der Reihe manifestierenden ersten Merkmalen von durch die Segmentierung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten zumindest für eine Mehrzahl an verschiedenen Zeitpunkten aufgenommenen digitalen Bildern der Reihe und elektronisches Speichern wenigstens eines diese Merkmale repräsentierenden ersten Merkmalsdatensatzes.
Verfahren zur Analyse und Klassifizierung nach Anspruch 1 oder 2, umfassend: F1) Definieren zumindest eines sich auf wenigstens ein erstes Merkmal beziehenden, auf erste Merkmalsdaten des ersten Merkmalsdatensatzes anwendbaren ersten Klassifikators, derart, dass ein durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifiziertes einzelnes Objekt bzw. Subobjekt zu einer dem Klassifikator zugeordneten ersten Klasse gehört, wenn diesem Objekt bzw. Subobjekt zugeordnete erste Merkmalsdaten des ersten Merkmalsdatensatzes wenigstens eine eine Klassifikation in Bezug auf das wenigstens eine erste Merkmal repräsentierende erste Klassifikationsbedingung erfüllen, und elektronisches Speichern von den ersten Klassifikator mit der ersten Klassifikationsbedingung repräsentierenden ersten Klassifikatordaten, und G1) Klassifizieren unter Anwenden wenigstens eines definierten ersten Klassifikators auf den ersten Merkmalsdatensatz zur Ermittlung von durch die Segmentierung oder durch die Segmentierung und die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu der ersten Klasse gehören, die dem angewendeten ersten Klassifikator zugeordnet ist, bzw. die zu mehreren ersten Klassen gehören, die jeweils einem der angewendeten ersten Klassifikatoren zugeordnet sind.
Verfahren zur Analyse und Klassifizierung nach Anspruch 3, umfassend: H1) Analyse von den nach wenigstens einer Klassifizierung gemäß Schritt G1) der ersten Klasse bzw. den ersten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.
Verfahren zur Analyse und Klassifizierung nach Anspruch 3 oder 4, umfassend: G2) Klassifizieren unter Anwenden wenigstens eines definierten ersten Klassifikators auf den ersten Merkmalsdatensatz und wenigstens eines definierten zweiten Klassifikators auf den zweiten Merkmalsdatensatz zur Ermittlung von durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekten bzw. Subobjekten, die zu den den angewendeten Klassifikatoren zugeordneten Klassen gehören.
Verfahren zur Analyse und Klassifizierung nach Anspruch 5, umfassend: H2) Analyse von den nach wenigstens einer Klassifizierung gemäß Schritt G2) der wenigstens einen ersten Klasse und der wenigstens einen zweiten Klassen zugehörigen Objekten bzw. Subobjekten zugeordneten Daten aus wenigstens einem von i) den Zuordnungsdaten, ii) den Segmentierungsdaten, iii) den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe, iv) ersten Merkmalsdaten des ersten Merkmalsdatensatzes und v) zweiten Merkmalsdaten des zweiten Merkmalsdatensatzes im Hinblick auf wenigstens eine interessierende Fragestellung.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Analyse gemäß Schritt H) oder Schritt H1) oder Schritt H2) wenigstens eine weitere Klassifizierung gemäß Schritt G) oder Schritt G1) oder Schritt G2) umfasst.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Klassifizierung gemäß Schritt G) und von der Analyse gemäß Schritt H) zumindest wenigstens eine weitere Klassifizierung gemäß Schritt G) oder Schritt G1) oder Schritt G2) simultan als eine Mehrfach-Klassifizierung durchgeführt werden.
Verfahren zur Analyse und Klassifizierung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass zur Analyse bzw. zur Klassifizierung und Analyse eine Reihe von Klassifizierungen gemäß Schritt G) oder/und Schritt G1) oder/und Schritt G2) simultan oder verkettet durchgeführt wird, um diejenigen Objekte oder Subobjekte zu ermitteln, die nach ihren in Bezug auf die ersten oder/und zweiten Merkmale erfassten ersten bzw. zweiten Merkmalsdaten, diese verstanden als Koordinaten in einem durch die ersten und zweiten Merkmale aufgespannten multidimensionalen Merkmalsraum, in einem bestimmten Merkmalsraumbereich liegen, der durch die angewendeten ersten bzw. zweiten Klassifikatoren ausgewählt ist.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass betreffend mindestens einen wenigstens ein erstes Merkmal betreffenden zeitlichen Verlauf wenigstens ein interessierender Zeitbereich, der einer Teilreihe der Reihe von Bildern entspricht, halb- oder voll-automatisch bestimmt oder interaktiv ausgewählt wird und auf Basis des zeitlichen Verlaufes im interessierenden Zeitbereich oder/und der Bilder der Teilreihe wenigstens ein zweites Merkmal erfasst und als zweites Merkmal des zweiten Merkmalsdatensatz gespeichert wird.
Verfahren zur Analyse und Klassifizierung nach Anspruch 10, dadurch gekennzeichnet, dass wenigstens ein Zeitbereich so bestimmt oder ausgewählt wird, dass der Zeitbereich ein Zeitintervall umfasst, welches sich an den Zeitpunkt einer Einwirkung auf die Objekte anschließt.
Verfahren zur Analyse und Klassifizierung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass wenigstens ein Zeitbereich so bestimmt oder ausgewählt wird, dass der Zeitbereich ein Zeitintervall umfasst, welches sich an den Zeitpunkt eines bei einem jeweiligen Objekt bzw. den Objekten auftretenden Ereignisses anschließt.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Bestimmung bzw. Auswahl wenigstens eines interessierenden Zeitbereichs eine Mehrzahl oder alle der durch die Zuordnung in den digitalen Bildern der Reihe identifizierten einzelnen Objekte bzw. Subobjekte auf einer diesen Objekten gemeinsam zugeordneten absoluten Zeitskala betrifft.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Bestimmung bzw. Auswahl wenigstens eines interessierenden Zeitbereichs wenigstens ein durch die Zuordnung in den digitalen Bildern der Reihe identifiziertes einzelnes Objekte bzw. Subobjekt auf einer diesem Objekt individuell zugeordneten relativen Zeitskala betrifft.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass wenigstens ein zweiter Klassifikator definiert und zur Klassifizierung angewendet wird, der sich auf wenigstens ein auf Basis des zeitlichen Verlaufes im interessierenden Zeitbereich oder/und der Bilder der Teilreihe erfasstes zweites Merkmal bezieht.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die zweiten Merkmale eine Kinetik oder ein dynamisches Verhalten oder eine Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug ein jeweiliges Objekt bzw. Subobjekt direkt charakterisierende direkte Objektkinetikmerkmale umfassen, die unmittelbar oder mittelbar aus Unterschieden zwischen mehreren der digitalen Bilder der Reihe oder aus diese Unterschiede wiederspiegelnden Daten aus den Zuordnungsdaten bzw. aus den Segmentierungsdaten bzw. aus den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe bzw. aus den ersten Merkmalsdaten ermittelt werden, wobei vorzugsweise wenigstens ein sich auf ein direktes Objektkinetikmerkmal beziehender Klassifikator definiert und zum Klassifizieren angewendet wird.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass die zweiten Merkmale eine Kinetik oder ein dynamisches Verhalten oder eine Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug ein jeweiliges Objekt bzw. Subobjekt indirekt charakterisierende indirekte Objektkinetikmerkmale umfassen, die mittelbar, auf Basis eines vorgegebenen oder vorgebbaren zeitlichen Modellverlaufs, aus Unterschieden zwischen mehreren der digitalen Bilder der Reihe oder aus diese Unterschiede wiederspiegelnden Daten aus den Zuordnungsdaten bzw. aus den Segmentierungsdaten bzw. aus den durch mindestens eines von den Zuordnungsdaten und Segmentierungsdaten identifizierten Bildinhaltsdaten der digitalen Bilder der Reihe bzw. aus den ersten Merkmalsdaten ermittelt werden.
Verfahren zur Analyse und Klassifizierung nach Anspruch 17, dadurch gekennzeichnet, dass die indirekten Objektkinetikmerkmale wenigstens einen Anpassungsparameter mindestens einer den zeitlichen Modellverlauf beschreibenden Funktion umfassen.
Verfahren zur Analyse und Klassifizierung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die indirekten Objektkinetikmerkmale wenigstens eine eine Abweichung oder eine Übereinstimmung zwischen der Kinetik bzw. dem dynamischen Verhalten bzw. der Änderung zwischen den Aufnahmezeitpunkten der digitalen Bilder in Bezug ein jeweiliges Objekt bzw. Subobjekt einerseits und dem zeitlichen Modellverlauf andererseits quantifizierende Abweichungsgröße bzw. Übereinstimmungsgröße umfassen.
Verfahren zur Analyse und Klassifizierung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass wenigstens ein sich auf ein indirektes Objektkinetikmerkmal, insbesondere einen Anpassungsparameter oder eine Abweichungsgröße oder Übereinstimmungsgröße, beziehender Klassifikator definiert und zum Klassifizieren angewendet wird.
Verfahren zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es zum Finden wenigstens einer Population oder Subpopulation interessierender Objekte durchgeführt wird, die sich durch wenigstens eine bestimmte, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Eigenschaft oder/und durch wenigstens eine bestimmte, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Reaktion auf wenigstens eine gezielte Einwirkung oder/und durch wenigstens ein bestimmtes, sich in ersten oder/und zweiten Merkmalen wiederspiegelnde Verhalten von anderen Objekten unterscheiden.
Verfahren zur Analyse und Klassifizierung nach Anspruch 21, dadurch gekennzeichnet, dass die Objekte vorausgehend der Zufuhr in den Objektbereich oder/und im Objektbereich vorausgehend dem Aufnehmen der digitalen Bilder oder/und während dem Aufnehmen der Reihe von digitalen Bildern einer chemischen oder/und biochemischen oder/und biologischen oder physikalischen Einwirkung ausgesetzt werden.
Verfahren zur Analyse und Klassifizierung nach Anspruch 22, dadurch gekennzeichnet, dass wenigstens ein Reagenz zur Herbeiführung der chemischen oder/und biochemischen oder/und biologischen Einwirkung zugeführt wird.
Verfahren zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aufnehmen der digitalen Bilder auf Basis einer physikalischen, insbesondere optischen Anregung der Objekte bzw. Subobjekte oder von Inhaltsstoffen der Objekte bzw. Subobjekte zur Emission von gemäß Schritt A) aufzunehmender optischer Strahlung erfolgt.
Verfahren zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aufnehmen der digitalen Bilder auf Basis einer Auflicht- oder/und Durchlichtbeleuchtung der Objekte erfolgt.
Verfahren zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die interessierenden Objekte biologische Objekte, beispielsweise lebende oder tote Zellen oder zusammenhängende Gruppen von Zellen oder Zellfragmente oder Gewebeproben, oder biochemische Objekte umfassen.
Verfahren zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die interessierenden Objekte mikroskopische Objekte umfassen und die Objektuntersuchungseinrichtung als Mikroskopie-Objektuntersuchungseinrichtung oder Fluoreszenzmikroskopie-Objektuntersuchungseinrichtung ausgeführt ist.
Analyse- und Klassifizierungs-System zum Durchführen des Verfahrens zur Analyse und Klassifizierung nach einem der vorhergehenden Ansprüche, umfassend: – ein optische Objektuntersuchtungseinrichtung mit einer Aufnahmeeinrichtung zur Aufnahme von digitalen Bildern von in einem Objektbereich der Objektuntersuchungseinrichtung befindlichen interessierenden Objekten und einer elektronischen Speichereinrichtung zum Speichern der digitalen Bilder und weiterer Daten, – eine digitalelektronische Prozessoreinrichtung, die dafür ausgeführt oder programmiert ist, von dem Verfahren zur Analyse und Klassifizierung nach Anspruch 1 zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchzuführen sowie ggf. zusätzlich weitere Schritte des Verfahrens nach einem der Ansprüche 2 bis 27 durchzuführen.
Programm zur Analyse und Klassifizierung interessierender Objekte auf Basis von Zeitreihen-Bildern, umfassend Programmcode, welcher bei der Ausführung mittels einer programmierbaren Prozessoreinrichtung von dem Verfahren zur Analyse und Klassifizierung nach Anspruch 1 zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchführt sowie ggf. zusätzlich weitere Schritt des Verfahrens nach einem der Ansprüche 2 bis 27 durchführt.
Programmprodukt, in Form eines ausführbaren Programmcode tragenden Datenträgers oder in Form von auf einem Netzwerk-Server bereitgehaltenen, über ein Netzwerk herabladbaren ausführbaren Programmcode, welcher bei der Ausführung mittels einer programmierbaren Prozessoreinrichtung von dem Verfahren zur Analyse und Klassifizierung nach Anspruch 1 zumindest die Segmentierung gemäß Schritt B), das Zuordnen gemäß Schritt C), das Erfassen gemäß Schritt E) und das Klassifizieren nach Schritt G) und ggf. die Analyse gemäß Schritt H) durchführt sowie ggf. zusätzlich weitere Schritt des Verfahrens nach einem der Ansprüche 2 bis 27 durchführt.