DE102013107301A1

DE102013107301A1 - Verfahren zur Bildregistrierung

Info

Publication number: DE102013107301A1
Application number: DE201310107301
Authority: DE
Inventors: Hauke HEIBEL; Martin Groher; Marco Feuerstein
Original assignee: microDimensions GmbH
Current assignee: Microdimensions De GmbH
Priority date: 2013-07-10
Filing date: 2013-07-10
Publication date: 2015-01-15
Also published as: US20150016703A1; US9317894B2

Abstract

Es wird ein Verfahren (30) zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung histologischer Schnitte beschreiben. Das Verfahren umfasst ein Einlesen (32) jeweils eines Datensatzes von wenigstens zwei Schnitten, wobei jeder der Datensätze m Abbildungen jeden Schnittes in m Auflösungsebenen (11, 12, 13) umfasst, wobei jede Abbildung der Auflösungsebenen 1 bis m-1 jeweils in mindestens zwei Zellen aufgeteilt ist, wobei jede der Abbildungen eine unterschiedliche Bildauflösung aufweist, wobei die Abbildung mit der höchsten Bildauflösung der Auflösungsebene 1 zugeordnet ist und die Abbildung mit der niedrigsten Bildauflösung der Auflösungsebene m zugeordnet ist; ein Registrieren (33) der zwei m-ten Abbildungen der zwei Schnitte auf der Auflösungsebene m und Ermitteln einer Global-Transformation für die Auflösungsebene m; ein Ausrichten (34) der zwei Abbildungen der Auflösungsebene m-1 unter Verwendung der Global- Transformation der Auflösungsebene m; und ein Registrieren (35) von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-1.

Description

Stand der Technik
Bildregistrierung wird in der digitalen Bildverarbeitung verwendet, um zwei oder mehr Bilder, beispielsweise Bilder histologischer Schnitte räumlich in Übereinstimmung zu bringen. Die zu registrierenden Bilder unterscheiden sich voneinander, da sie als verschiedene Modalitäten, aus verschiedenen Positionen, von verschiedenen Orten (z.B. innerhalb einer Gewebeprobe), zu unterschiedlichen Zeitpunkten, mit unterschiedlichen Objektiven oder in unterschiedlicher Auflösung aufgenommen wurden.
In manchen Fällen müssen bei der Bildregistrierung große Datensätze verarbeitet werden. Beispielsweise kann ein einzelner histologischer Schnitt leicht mehr als ein Gigabyte an Speicherplatz erfordern. Sind nun eine Vielzahl histologischer Schnitte bei einer Bildregistrierung involviert, können die Grenzen der heute verfügbaren Speicherkapazität schnell überschritten werden. Die Verarbeitung solcher großer Datensätze bei einer Bildregistrierung erfordert auch einen großen Zeitaufwand, der häufig unerwünscht oder nachteilig ist.
Offenbarung der Erfindung
Die Aufgabe der Erfindung besteht darin, die oben genannten Probleme zumindest teilweise zu lösen, zum Beispiel mit der Zielsetzung die für eine Bildregistrierung notwendige Speicherkapazität zu reduzieren oder den Zeitaufwand für die Bildregistrierung zu minimieren.
Gemäß Ausführungsformen der Erfindung wird hierzu ein Verfahren zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung histologischer Schnitte beschrieben, in dem sukzessive eine auflösungsabhängige Global-Transformation bestimmt wird. Das Verfahren umfasst a) ein Einlesen jeweils eines Datensatzes von wenigstens zwei Schnitten, wobei jeder der Datensätze m Abbildungen jeden Schnittes in m Auflösungsebenen umfasst, wobei jede Abbildung der Auflösungsebenen 1 bis m-1 jeweils in mindestens zwei Zellen aufgeteilt ist, wobei jede der Abbildungen eine unterschiedliche Bildauflösung aufweist, wobei die Abbildung mit der höchsten Bildauflösung der Auflösungsebene 1 zugeordnet ist und die Abbildung mit der niedrigsten Bildauflösung der Auflösungsebene m zugeordnet ist; b) ein Registrieren der zwei m-ten Abbildungen der zwei Schnitte auf der Auflösungsebene m und Ermitteln einer Global-Transformation für die Auflösungsebene m; c) ein Ausrichten der zwei Abbildungen der Auflösungsebene m-1 unter Verwendung der Global-Transformation der Auflösungsebene m; und d) ein Registrieren von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-1.
Die zur Bildregistrierung verwendeten Schnitte sind nicht auf histologischer Schnitte begrenzt, sondern umfassen alle Bilder oder Schichtbilder, die aus dreidimensionalen Körpern erhalten werden können. Dies sind beispielsweise Bilder aus der Computertomographie (CT), Magnetresonanztomographie (MRT), digitalen Volumentomographie (DVT) oder ähnlichem.
Ein Verfahren typischer Ausführungsformen führt zuerst eine grobe Ausrichtung der zwei Abbildungen auf einer gegebenen Auflösungsebene mit der zuvor bestimmten Global-Transformation einer Ebene mit der nächsten geringeren Auflösung durch. Die Ebene m ist dabei die Ebene mit der geringsten Auflösung und kann ebenfalls in mehrere Zellen unterteilt sein. Anschließend wird eine Registrierung nur eines Teils der zwei Abbildungen durchgeführt. Insbesondere werden nicht die ganzen Abbildungen registriert, sondern nur ein Unterbereich der Abbildungen (d.h., die Untergruppe von Zellen), der beispielsweise von einem Benutzer ausgewählt werden kann. Hierdurch reduzieren sich die benötigte Speicherkapazität und eine für die Registrierung erforderliche Zeit, da nur Unterbereiche der Abbildungen registriert werden und nicht die ganzen Abbildungen.
Gemäß Ausführungsformen der Erfindung umfasst das Verfahren weiter ein e) Ausrichten der zwei Abbildungen der Auflösungsebene m-2 unter Verwendung der Global-Transformation der Auflösungsebene m-1; und f) Registrieren von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-2. Das Verfahren wird also typischerweise auf der nächsten Auflösungsebene m-2 fortgesetzt. Die Registrierung erfolgt dabei wiederum nur für die Unterbereiche der Abbildungen, d.h. die Untergruppe von Zellen. Beispielweise erfolgt die Registrierung auf der Auflösungsebene m-2 für genau die Zellen, in denen das ausgewählte Bildelement enthalten ist.
Gemäß Ausführungsformen der Erfindung umfasst das Verfahren weiter ein g) Ausrichten der zwei Abbildungen der Auflösungsebene m-n unter Verwendung der Global-Transformation der Auflösungsebene m-n+1; und h) Registrieren von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-n, wobei n eine ganze Zahl von 3 bis m-1 ist. Das Verfahren kann so sukzessive von einer Auflösungsebene ausgehend, beispielsweise der Auflösungsebene m mit der niedrigsten Auflösung, bis zum Erreichen einer beispielsweise automatisch oder durch einen Benutzer ausgewählten Auflösungsebene durchgeführt werden. Die Registrierung erfolgt dabei jeweils für Unterbereiche der Abbildungen, d.h. jeweilige Untergruppe von Zellen. Gemäß einiger Ausführungsformen erfolgt die Registrierung auf jeder Auflösungsebene immer nur für genau die Zellen, in denen das ausgewählte Bildelement enthalten ist. Insbesondere das Ausrichten der Schritte c), e) und g) kann als initiales oder anfängliches Ausrichten bezeichnet werden.
Gemäß Ausführungsformen der Erfindung werden die Blöcke g) und h) sukzessive für n = 3 bis n = k wiederholt werden, wobei k eine ganze Zahl von 4 bis m-1 ist oder k eine von einem Benutzer gewählte ganze Zahl von 4 bis m-1 ist. Ein Benutzer kann also eine gewünschte Auflösung festlegen und das Verfahren wird nur so lange sukzessive fortgesetzt, bis die vom Benutzer ausgewählte Auflösungsebene erreicht ist.
Gemäß Ausführungsformen der Erfindung umfasst das Registrieren von jeweils einer Untergruppe von Zellen ein Erstellen einer jeweiligen lokalen Transformation für eine jede Zelle der Untergruppe. Für jede Zelle wird also eine eigene lokale Transformation bestimmt, was eine exakte Ausrichtung der jeweiligen Zellen der beiden Abbildungen ermöglicht.
Gemäß Ausführungsformen der Erfindung wird die jeweilige lokale Transformation einer Zelle der Untergruppe basierend auf der zuvor bestimmten Global-Transformation der nächsten höheren Auflösungsebene erstellt.
Gemäß Ausführungsformen der Erfindung umfasst das Verfahren weiter ein Validieren wenigstens einer der erstellten lokalen Transformationen für wenigstens eine Zelle der Untergruppe. Dies ermöglicht, dass nur geeignete lokale Transformationen verwendet werden. Wird durch das Validieren beispielsweise eine fehlerhafte lokale Transformationen entdeckt (Validierung ist z.B. negativ), so wird diese verworfen und nicht mehr für zukünftige Registrierungen verwendet. Wird die lokale Transformation jedoch positiv validiert, so wird die lokale Transformation beispielsweise für ihre Zelle und ihre Auflösungsebene gespeichert und kann bei zukünftigen Registrierungen und/oder Ausrichtungen verwendet werden.
Gemäß Ausführungsformen der Erfindung umfasst das Verfahren weiter ein Aktualisieren der Global-Transformation wenigstens einer der Auflösungsebenen basierend auf wenigstens einer der für die Zellen dieser Ebene erstellten lokalen Transformationen. Werden lokale Transformationen für eine gegebene Auflösungsebene bestimmt, so kann unter Verwendung derselben die Genauigkeit der Global-Transformation dieser Auflösungsebene erhöht werden. Dies führt insbesondere dazu, dass das erfindungsgemäße Ausrichten der Auflösungsebene mit der nächsten höheren Auflösung vor dem Registrieren der Untergruppe von Zellen exakter erfolgen kann. Beispielsweise wird das Aktualisieren der Global-Transformation nach wenigstens einem der obigen Schritte d), f) und h) durchgeführt.
Gemäß Ausführungsformen der Erfindung umfasst das Verfahren weiter ein Auswählen eines Bildelements durch einen Benutzer oder automatisch vor dem Registrieren von der Untergruppe von Zellen. Das Auswählen findet gemäß einigen Ausführungsformen vor dem Schritt a) statt. Der Benutzer kann beispielsweise einen Bereich eines histologischen Schnittes, den er genauer betrachten möchte, zum Beispiel um eine medizinische Diagnose zu erstellen, auswählen. Weiter kann er gemäß einigen Ausführungsformen auch die gewünschte Auflösung auswählen.
Gemäß Ausführungsformen der Erfindung werden die Zellen der Untergruppe ausgewählt, so dass das Bildelement in einer jeden der Untergruppen enthalten ist und/oder wobei keine der Zellen der Untergruppe nicht zumindest einen Teil des Bildelementes enthält. So wird erreicht, dass nur diejenigen Zellen auf den Auflösungsebenen registriert werden, die das Bildelement enthalten, das beispielsweise von einem Benutzer oder automatisch ausgewählt wird. Der Registrierungsprozess beschränkt sich auf das wesentliche, ohne unnötige Speicherkapazität oder Zeit zu gebrauchen.
Gemäß Ausführungsformen der Erfindung ist ein System zum Registrieren von wenigstens zwei Bildern beschrieben. Das System umfasst einen Prozessor, der eingerichtet ist, um das oben beschriebene Verfahren auszuführen.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine schematische Ansicht von Auflösungsebenen gemäß typischer Ausführungsformen;
2 eine schematische Ansicht einer Hierarchie von Zellen der Auflösungsebenen der 1 gemäß typischer Ausführungsformen;
3 ein Flussdiagramm eines Verfahrens zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung von histologischen Schnitten, gemäß typischer Ausführungsformen;
4 ein Flussdiagramm eines Verfahrens zum Validieren einer für eine Zelle einer Auflösungseben erstellten lokalen Transformation gemäß hier beschriebenen Ausführungsformen; und
5 eine schematische Ansicht eines Systems zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung von histologischen Schnitten, gemäß hier beschriebenen Ausführungsformen.
Ausführungsformen der Erfindung
1 ist eine schematische Ansicht eines hierarchischen Gitters 10 mit einer Anzahl von m Auflösungsebenen gemäß hier beschriebenen Ausführungsformen. Gezeigt sind m = 3 Auflösungsebenen, die mit den Bezugszeichen 11, 12 und 13 bezeichnet sind. Die Anzahl der Auflösungsebenen ist bei typischen Ausführungsformen nicht auf drei begrenzt. Es kann eine beliebige Anzahl von Auflösungsebenen vor oder nach den gezeigten Auflösungsebenen 11, 12 und 13 vorhanden sein. Die erste Auflösungsebene 11 weist eine erste Auflösung auf, die Auflösungsebene 12 weist eine zweite Auflösung auf, die höher als die der ersten Auflösungsebene 11 ist, und die Auflösungsebene 13 weist eine Auflösung auf, die höher als die der Auflösungsebene 12 ist.
Die Auflösungsebenen 11, 12 und 13 sind in Zellen unterteilt. Gemäß einigen Ausführungsformen umfasst die Auflösungsebene 11 eine Zelle, die Auflösungsebene 12 umfasst vier Zellen, und die Auflösungsebene 13 umfasst 16 Zellen.
Bei dem dargestellten Ausführungsbeispiel weist jede Zelle einer Auflösungsebene vier Nachkommen in der Auflösungsebene mit der nächsten höheren Auflösung auf. Bei weiteren Ausführungsformen kann auch eine andere Anzahl als vier Nachkommen in der nächsten Auflösungsebene vorhanden sein. Typischerweise weist jede Auflösungsebene mit der nächst höheren Auflösung zumindest zwei Nachkommen je Zelle auf.
Gemäß einigen Ausführungsformen ist die Auflösungsebene 11 mit einer Zelle diejenige Auflösungsebene mit der geringsten Auflösung. Es können jedoch weitere Auflösungsebenen vorhanden sein, die eine geringere Auflösung aufweisen als die Auflösungsebene 11. Gemäß einigen Ausführungsformen kann das Verfahren insbesondere bei einer beliebigen Auflösungsebene beginnen.
Jede der Auflösungsebenen umfasst eine Abbildung eines jeden Schnittes. In 1 ist ein in den Abbildungen enthaltenes Objekt, beispielsweise ein Organ oder eine histologische Struktur, beispielsweise ein Tumor oder ein Lymphknoten, mit dem Bezugszeichen 14 bezeichnet. Ein Bildelement 15 wird gemäß einigen Ausführungsformen automatisch oder durch einen Benutzer vorab ausgewählt, bevor das Verfahren zur Bildregistrierung beginnt. Weiter wird gemäß einigen Ausführungsformen auch eine gewünschte Auflösung automatisch oder durch einen Benutzer vorab ausgewählt.
2 ist eine schematische Ansicht einer Hierarchie 20 von Zellen der Auflösungsebenen 11, 12 und 13 der 1 gemäß hier beschriebenen Ausführungsformen. Wie oben erläutert, umfasst die Auflösungsebene 11 eine Zelle, die Auflösungsebene 12 umfasst vier Zellen, und die Auflösungsebene 13 umfasst 16 Zellen. Diese sind in der 2 als Kreise dargestellt. Jede Zelle einer Auflösungsebene hat dabei vier Nachkommen in der Auflösungsebene mit der nächsten höheren Auflösung. Ausgefüllte Kreise geben dabei diejenigen Zellen einer jeden Ebene an, die das Bildelement 15 enthalten. Gemäß dem Verfahren zur Bildregistrierung werden nur diejenigen Zellen auch wirklich registriert, die das Bildelement 15 enthalten, also alle Zellen, die in 2 als ausgefüllte Kreise dargestellt sind.
3 ist ein Flussdiagramm eines Verfahrens 30 zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung von histologischen Schnitten, gemäß hier beschriebenen Ausführungsformen. Das Verfahren beginnt mit Block 31, in dem beispielsweise ein Benutzer ein Bildelement auswählt und eine Zielauflösung, also eine Auflösung, in der das Bildelement beispielsweise auf einem Bildschirm dargestellt werden soll, vorgibt.
Im Block 32 werden jeweils ein Datensatz von wenigstens zwei Schnitten eingelesen, wobei jeder der Datensätze m Abbildungen jeden Schnittes in m Auflösungsebenen umfasst, wobei jede Abbildung der Auflösungsebenen 1 bis m-1 jeweils in mindestens zwei Zellen aufgeteilt ist, wobei jede der Abbildungen eine unterschiedliche Bildauflösung aufweist, und wobei die Abbildung mit der höchsten Bildauflösung der Auflösungsebene 1 zugeordnet ist und die Abbildung mit der niedrigsten Bildauflösung der Auflösungsebene m zugeordnet ist.
Bezugnehmend auf das Beispiel der 1 und 2 werden für jeden Schnitt drei Abbildungen eingelesen, also jeweils eine Abbildung eines jeden Schnittes für jede Auflösungsebene 11, 12 und 13. Da das Bildelement vorab ausgewählt wird, wird gemäß einigen Ausführungsformen nur die Untergruppe von Zellen einer jeden Abbildung eingelesen, die das Bildelement enthält. Dies verkürzt die zum Einlesen und Verarbeiten benötigte Zeit. Alternativ werden gemäß einigen Ausführungsformen alle Zellen einer Abbildung eingelesen, wobei dann beispielsweise nur die Untergruppe von Zellen bei der weiteren Verarbeitung (Registrieren der Untergruppe von Zellen usw.) verwendet wird.
Im Block 33 werden die zwei m-ten Abbildungen der zwei Schnitte auf der Auflösungsebene m registriert und eine Global-Transformation für die Auflösungsebene m ermittelt. Im Beispiel der 1 und 2 werden die zwei Abbildungen der zwei Schnitte auf der Auflösungsebene 11 mit der geringsten Auflösung registriert, und eine Global-Transformation für diese Auflösungsebene 11 bestimmt.
Im Block 34 werden die zwei Abbildungen der Auflösungsebene m-1 unter Verwendung der Global-Transformation der Auflösungsebene m grob ausgerichtet. Im Beispiel der 1 und 2 werden die zwei Abbildungen der zwei Schnitte auf der Auflösungsebene 12 mit den vier Zellen mit der Global-Transformation der Auflösungsebenen 11 grob ausgerichtet. Wurde nur die Zelle mit dem Bildelement 15 eingelesen, wird gemäß einigen Ausführungsformen nur diese mit der Global-Transformation der Auflösungsebene 11 ausgerichtet. Wurde die ganze Abbildung, also alle vier Zellen eingelesen, wird gemäß einigen Ausführungsformen die gesamte Abbildung mit der Global-Transformation der Auflösungsebene 11 ausgerichtet. Gemäß einigen Ausführungsformen werden alle Zellen eingelesen und dann nur diejenigen Zellen ausgerichtet, die das Bildelement 15 enthalten.
Im Block 35 wird jeweils eine Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-1 registriert. Im Beispiel der 1 und 2 wird eine Untergruppe von Zellen der Auflösungsebene 12 registriert, die in diesem Fall eine einzelne Zelle enthält, also die Zelle mit dem Bildelement 15.
Gemäß Ausführungsformen der Erfindung umfasst das Registrieren der Untergruppe von Zellen ein Erstellen einer jeweiligen lokalen Transformation für eine jede Zelle der Untergruppe. Insbesondere wird gemäß einigen Ausführungsformen für jede Zelle der Untergruppe eine individuelle lokale Transformation erstellt. Bei der lokalen Transformation handelt es sich gemäß einigen Ausführungsformen um eine zweidimensionale (2D) Transformation, und insbesondere um eine lineare Transformation.
Gemäß Ausführungsformen der Erfindung umfasst die lokale Transformation eine Anzahl von zu bestimmenden Parametern, beispielsweise sechs Parameter. Dies können gemäß einigen Ausführungsformen diejenigen sechs Parameter sein, die die maximalen sechs Freiheitsgrade von linearen 2D-Transformationen beschreiben: zwei Freiheitsgrade in der Translation (dx, dy), zwei Freiheitsgrade in der Skalierung (sx, sy), ein Freiheitsgrad bezüglich einer Rotation in der Ebene (alpha), und ein Freiheitsgrad in der Scherung (beta).
Gemäß Ausführungsformen der Erfindung werden einer oder mehrere der sechs Parameter für die Bildregistrierung der Untergruppe der Zellen verwendet. Insbesondere wird gemäß einigen Ausführungsformen eine beliebige Auswahl der oben genannten sechs Parameter für die Registrierung verwendet. Gemäß einigen Ausführungsformen werden einige Parameter vorab festgelegt, beispielsweise auf feste Größen, oder bleiben unbeachtet.
Gemäß einigen Ausführungsformen hängt dies insbesondere von den Aufnahmemodalitäten ab. Wurden die Abbildungen der Schnitte beispielsweise aus derselben Position mit demselben Gerät aufgenommen, kann unter Umständen der Parameter bezüglich einer Rotation in der Ebene aus dem zu lösenden Gleichungssystem entfallen.
Gemäß Ausführungsformen der Erfindung wird die jeweilige lokale Transformation einer Zelle der Untergruppe basierend auf der Global-Transformation der nächsten höheren Auflösungsebene erstellt. Gemäß einigen Ausführungsformen kann die lokale Transformation einer Zelle einer Auflösungsebene mit einer Minimierungs-Funktion erhalten und/oder nach einer vorangegangenen Initialisierung aktualisiert werden. Die Minimierungs-Funktion kann gemäß einigen Ausführungsformen eine Unähnlichkeit der mit der lokalen Transformation transformierten Abbildungen bzw. Zellen beschreiben.
Gemäß Ausführungsformen der Erfindung wird wenigstens eine der lokalen Transformationen der Zelle(n) der Untergruppe der Auflösungsebene validiert. Dieses Verfahren ist in 4 dargestellt und wird später unter Bezugnahme auf 4 beschrieben.
Im Block 36 wird überprüft, ob die gemäß einigen Ausführungsformen vom Benutzer ausgewählte Auflösungsebene erreicht ist. Ist dies der Fall, so geht das Verfahren zu Block 37 über und wird beendet. Gemäß einigen Ausführungsformen wird das Registrierungsergebnis dann in der gewählten Auflösung beispielsweise auf einem Bildschirm dargestellt. Insbesondere wird gemäß einigen Ausführungsformen der Erfindung nur die Untergruppe der Zellen dargestellt.
Wird im Block 36 festgestellt, dass die gemäß einigen Ausführungsformen vom Benutzer ausgewählte Auflösungsebene noch nicht erreicht ist, fährt das Verfahren mit Block 34 fort.
Im Wesentlichen werden die oben beschriebenen Blöcke 34 und 35 für die nächste Auflösungsebene wiederholt. Im Beispiel der 1 und 2 wird gemäß einigen Ausführungsformen im Block 34 die Global-Transformation der Auflösungsebene 12 verwendet, um die zwei Abbildungen der zwei Schnitte auf der Auflösungsebene 13 mit den 16 Zellen grob auszurichten. Wurden nur die 4 Zellen mit dem Bildelement 15 eingelesen, werden dabei nur diese mit der Global-Transformation der Auflösungsebene 12 ausgerichtet. Wurde die ganze Abbildung, also alle 16 Zellen eingelesen, wird gemäß einigen Ausführungsformen die gesamte Abbildung mit der Global-Transformation der Auflösungsebene 12 ausgerichtet. Gemäß einigen Ausführungsformen werden alle Zellen eingelesen und dann nur diejenigen Zellen ausgerichtet, die das Bildelement 15 enthalten.
Anschließend wird im Block 35 jeweils eine Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene 13 registriert. Im Beispiel der 1 und 2 wird eine Untergruppe von Zellen der Auflösungsebene 13 registriert, die in diesem Fall vier Zellen mit dem Bildelement 15 enthält. Die Registrierung erfolgt dabei so, wie es schon oben beim Block 35 beschrieben ist.
Im Block 36 wird wiederum überprüft, ob die gemäß einigen Ausführungsformen vom Benutzer ausgewählte Auflösungsebene erreicht ist. Ist dies der Fall, so geht das Verfahren zu Block 37 über und wird beendet. Gemäß einigen Ausführungsformen wird das Registrierungsergebnis dann in der gewählten Auflösung beispielsweise auf einem Bildschirm dargestellt nachdem die Bilder mit der zuvor berechneten Global-Transformation ausgerichtet wurden. Insbesondere wird gemäß Ausführungsformen der Erfindung nur die Untergruppe der Zellen dargestellt.
Wird im Block 36 festgestellt, dass die gemäß einigen Ausführungsformen vom Benutzer ausgewählte Auflösungsebene noch nicht erreicht ist, wiederholt das Verfahren die Blöcke 34 und 35 für die nächste Auflösungsebene. Die Schritte 34, 35 und 36 werden dabei solange abwechselnd wiederholt, bis die gemäß einigen Ausführungsformen vom Benutzer ausgewählte Auflösungsebene erreicht ist. Ist dies der Fall, so geht das Verfahren schließlich zu Block 37 über und wird beendet. Gemäß einigen Ausführungsformen wird das Registrierungsergebnis, wie bereits beschrieben, in der gewählten Auflösung beispielsweise auf einem Bildschirm dargestellt, nachdem die Bilder mit der zuvor berechneten Global-Transformation ausgerichtet wurden. Insbesondere wird gemäß Ausführungsformen der Erfindung nur die Untergruppe der Zellen dargestellt.
4 ein Flussdiagramm eines Verfahrens zum Validieren einer für eine Zelle einer Auflösungseben erstellten lokalen Transformation gemäß hier beschriebenen Ausführungsformen.
Gemäß einigen Ausführungsformen der Erfindung wird das Verfahren der 4 direkt im Anschluss an Block 35 der 3 für die jeweiligen Auflösungsebenen, auf denen die jeweiligen Untergruppen von Zellen registriert wurden durchgeführt. Gemäß einigen Ausführungsformen der Erfindung wird das Verfahren der 4 vor Block 37 nach Erreichen der ausgewählten Auflösungsebene für eine oder mehrerer der erstellten lokalen Transformationen durchgeführt.
Das Verfahren der 4 beginnt im Block 41 mit dem Registrieren der Untergruppe von Zellen der zwei Abbildungen auf einer gegebenen Auflösungsebene, also mit dem Erstellen einer lokalen Transformation für jede Zelle der besagten Untergruppe. Block 41 in 4 entspricht dabei im Wesentlichen Block 35 der 3.
Im Block 42 wird die erstellte lokale Transformation validiert. Dies ermöglicht, dass nur geeignete lokale Transformationen verwendet werden. Wird durch das Validieren beispielsweise eine fehlerhafte lokale Transformationen entdeckt (Validierung ist z.B. negativ), so wird diese im Block 43 verworfen und nicht mehr für zukünftige Registrierungen verwendet. Gemäß einigen Ausführungsformen wird der Block 41 (also der Block 35 der 3) wiederholt, und zwar beispielsweise so lange, bis eine gültige lokale Transformation gefunden ist. Wird die lokale Transformation jedoch positiv validiert, so wird die lokale Transformation gemäß einigen Ausführungsformen für ihre Zelle und ihre Auflösungsebene im Block 44 gespeichert und wird gemäß einigen Ausführungsformen bei zukünftigen Registrierungen und/oder Ausrichtungen verwendet.
Gemäß Ausführungsformen der Erfindung umfasst das Validieren einen heuristischen Test, beispielsweise mit drei heuristischen Kriterien, für die im Folgenden Beispiele aufgezeigt sind.
Ein erstes Kriterium kann auf einer Analyse der Struktur der zwei Abbildungen bzw. der jeweiligen Zellen der Abbildungen basieren. Gemäß einigen Ausführungsformen wird eine Analyse der Struktur derjenigen beiden Zellen der Abbildungen durchgeführt, für die die zu validierende lokale Transformation erstellt wurde. Beispielsweise wenn die in den beiden Zellen bzw. Abbildungen enthaltene strukturelle Information eine erste Grenze unterscheidet, kann die lokale Transformation als negativ validiert und verworfen werden (Block 43).
Ein zweites Kriterium kann auf einer Analyse der oben beschriebenen Minimierungs-Funktion basieren. Wenn die Unähnlichkeit der transformierten Zelle, die die Minimierungs-Funktion beschreibt, eine zweite Grenze übersteigt, kann die lokale Transformation als negativ validiert und verworfen werden (Block 43).
Ein drittes Kriterium kann auf einer Analyse wenigstens eines Parameters der oben beschriebenen Minimierungs-Funktion basieren. Wenn einer der Parameter eine jeweilige Grenze übersteigt, kann die lokale Transformation als negativ validiert und verworfen werden (Block 43). Bei typischen Ausführungsformen wird die lokale Transformation als negativ validiert und im Block 43 verworfen, wenn einer, zwei oder alle drei Kriterien dies anzeigen. Erfolgt eine positive Validierung, so wird die lokale Transformation für ihre Zelle und ihre Auflösungsebene im Block 44 gespeichert und kann beispielsweise bei zukünftigen Registrierungen und/oder Ausrichtungen verwendet werden.
5 ist eine schematische Ansicht eines Systems 50 zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung von histologischen Schnitten, gemäß hier beschriebenen Ausführungsformen. Das System ist eingerichtet, um das oben beschriebenen Verfahren auszuführen.
Ein Benutzer kann beispielsweise mittels einer Benutzerschnittstelle 53 ein Bildelement (im Beispiel der 1 und 2 mit Bezugszeichen 15 bezeichnet) und eine gewünschte Auflösung auswählen. Diese Anfrage wird an einen Prozessor 52 übertragen 54. Der Prozessor 52 fordert jeweils einen Datensatz von wenigstens zwei Schnitten von wenigstens einer Vorrichtung, an und liest sie ein 55, 56.
Bezugnehmend auf das Beispiel der 1 und 2 werden für jeden Schnitt drei Abbildungen eingelesen, also jeweils eine Abbildung für jede Auflösungsebene 11, 12 und 13. Da das Bildelement vorab ausgewählt wird, wird gemäß einigen Ausführungsformen nur die Untergruppe von Zellen einer jeden Abbildung eingelesen, die das Bildelement enthält. Dies verkürzt die zum Einlesen und Verarbeiten benötigte Zeit. Alternativ werden gemäß einigen Ausführungsformen alle Zellen einer Abbildung eingelesen werden, wobei dann nur die Untergruppe von Zellen bei der weiteren Verarbeitung (Ausrichten, Registrieren der Untergruppe von Zellen usw.) verwendet wird.
Der Prozessor 52 führt dann das erfindungsgemäße Verfahren zur Bildregistrierung von Schnitten durch und stellt das Registrierungsergebnis beispielsweise mittels der Benutzerschnittstelle dar (57). Gemäß einigen Ausführungsformen wird das Registrierungsergebnis dann, wie bereits beschrieben, in der gewählten Auflösung beispielsweise auf einem Bildschirm dargestellt werden, nachdem es mit der zuvor berechneten Global-Transformation ausgerichtet wurde. Insbesondere wird gemäß einigen Ausführungsformen der Erfindung nur die Untergruppe der Zellen dargestellt.

Claims

Verfahren zur Bildregistrierung von Schnitten, insbesondere zur Bildregistrierung histologischer Schnitte mit: a) Einlesen jeweils eines Datensatzes von wenigstens zwei Schnitten, wobei jeder der Datensätze m Abbildungen jeden Schnittes in m Auflösungsebenen (11, 12, 13) umfasst, wobei jede Abbildung der Auflösungsebenen 1 bis m-1 jeweils in mindestens zwei Zellen aufgeteilt ist, wobei jede der Abbildungen eine unterschiedliche Bildauflösung aufweist, wobei die Abbildung mit der höchsten Bildauflösung der Auflösungsebene 1 zugeordnet ist und die Abbildung mit der niedrigsten Bildauflösung der Auflösungsebene m zugeordnet ist; b) Registrieren der zwei m-ten Abbildungen der zwei Schnitte auf der Auflösungsebene m und Ermitteln einer Global-Transformation für die Auflösungsebene m; c) Ausrichten der zwei Abbildungen der Auflösungsebene m-1 unter Verwendung der Global-Transformation der Auflösungsebene m; und d) Registrieren (35) von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-1.
Verfahren nach Anspruch 1, weiter mit e) Ausrichten der zwei Abbildungen der Auflösungsebene m-2 unter Verwendung der Global-Transformation der Auflösungsebene m-1; und f) Registrieren von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-2.
Verfahren nach Anspruch 2, weiter mit g) Ausrichten der zwei Abbildungen der Auflösungsebene m-n unter Verwendung der Global-Transformation der Auflösungsebene m-n+1; und h) Registrieren) von jeweils einer Untergruppe von Zellen jeweils aus allen Zellen der zwei Abbildungen der Auflösungsebene m-n, wobei n eine ganze Zahl von 3 bis m-1 ist.
Verfahren nach Anspruch 3, wobei g) und h) sukzessive für n = 3 bis n = k wiederholt werden, wobei k eine ganze Zahl von 4 bis m-1 ist oder k eine von einem Benutzer gewählte ganze Zahl von 4 bis m-1 ist.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Registrieren von jeweils einer Untergruppe von Zellen ein Erstellen einer jeweiligen lokalen Transformation für eine jede Zelle der Untergruppe umfasst.
Verfahren nach Anspruch 5, wobei die jeweilige lokale Transformation einer Zelle der Untergruppe basierend auf der Global-Transformation der nächsten höheren Auflösungsebene (11, 12, 13) erstellt wird.
Verfahren nach einem der Ansprüche 5 oder 6, weiter mit einem Validieren (40) der erstellten lokalen Transformation für wenigstens eine Zelle der Untergruppe.
Verfahren nach einem der Ansprüche 1 bis 7, weiter mit einem Auswählen eines Bildelements (15) durch einen Benutzer oder automatisch vor dem Registrieren von jeweils einer Untergruppe von Zellen.
Verfahren nach Anspruch 8, wobei die Zellen der Untergruppe ausgewählt werden, so dass das Bildelement (15) in einer jeden der Untergruppen enthalten ist und/oder wobei keine der Zellen der Untergruppe nicht zumindest einen Teil des Bildelementes (15) enthält.
Verfahren nach einem der vorstehenden Ansprüche, weiter mit einem Aktualisieren der Global-Transformation wenigstens einer der Auflösungsebenen basierend auf wenigstens einer der für die Zellen dieser Ebene erstellten lokalen Transformationen.
System (50) zum Registrieren von wenigstens zwei Bildern, umfassend einen Prozessor (52), der eingerichtet ist, um das Verfahren nach einem der vorstehenden Ansprüche auszuführen.