-
Die
vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung
zur Segmentierung eines Objekts aus einem Bilddatensatz, bei denen
aus Trainingsdaten zunächst ein implizites statistisches
Formmodell des Objekts erstellt wird und die Segmentierung des Objekts
anschließend durch Anpassung einer aktiven Kontur an eine
Objektkontur im Bilddatensatz erfolgt, wobei das Formmodell die
Deformation der aktiven Kontur beschränkt.
-
Im
Bereich der medizinischen Bildgebung stellt die Segmentierung anatomischer
Strukturen wie bspw. der Leber aus Bilddatensätzen eine
fundamentale Aufgabe dar. Auf Grundlage des Segmentierungsergebnisses
kann die Größe oder der Volumeninhalt des Objekts
bestimmt werden. Diese Größen sind bspw. in der Onkologie
wichtig, um das Tumorwachstum und damit den Therapieerfolg zu überwachen.
Eine Segmentierung ist auch für die Planung eines Eingriffs
sehr wichtig, bspw. für eine geplante Organtransplantation.
-
Die
Segmentierung komplexer Strukturen, in der vorliegenden Patentanmeldung
ebenfalls als Objekte bezeichnet, stellt eine anspruchsvolle Aufgabe
dar, für die zahlreiche Algorithmen bekannt sind. Beim
Einsatz von Algorithmen, die alleine auf der Auswertung von Intensitätswerten
oder davon abgeleiteten Merkmalen der Bilddaten beruhen, ergeben
sich Schwierigkeiten bei Bilddaten mit geringem Kontrast oder fehlenden
Kanten. Zusätzlich können pathologische Strukturen
und starkes Rauschen, bspw. aufgrund der reduzierten Strahlungsdosis
in der Computertomographie (CT), falsche Kanten und eine ungleichmäßige
Merkmalsstatistik verursachen und damit Algorithmen beeinträchtigen,
die auf Kantendetektion bzw. Homogenitätskriterien für
Regionen basieren.
-
S.
J. Lim et al., "Segmentation of the Liver Using the Deformable
Contour Method an CT Images", PCM 2005, LNCS, 3767: 570–581,
2005, beschreiben eine 2D-Segmentierung der Leber, bei
der zunächst eine Kombination einer Schwellwerttechnik
mit morphologischen Operationen auf unterschiedlichen Bildauflösungen
angewendet wird. Die damit erhaltene Anfangskontur wird dann über
die Suche nach einem glatten Pfad in den Gradientenmagnituden der
Bilddaten verfeinert.
-
Liu
et al., „Liver Segmentation for CT Images Using GVF Snake",
Medical Physics, 32(12): 3699–3706, 2005, nutzen
eine aktive Kontur auf Basis eines Gradientenvektorfeldes (GVF)
zur Segmentierung der Leber. Über einen sog. Canny-Kantendetektor
wird ein Kanten-Bild erzeugt, das vorverarbeitet wird, um irrtümlich ausgeschlossene
konkave Gebiete vor der Berechnung des Gradientenvektorfeldes zu
eliminieren.
-
Heimann
et al., „Shape Constrained Automatic Segmentation of the
Liver based an a Heuristic Intensity Model", 3D Segmentation
in the Clinic – A Grand Challenge, MICCAI 2006 Workshop,
2006, beschreiben eine 3D-Segmentierung der Leber durch
Anpassen eines Active Shape Model an die Bilddaten. Dies erfolgt gemäß der
bekannten Technik von Cootes et al., "Active Shape
Models – Their Training and Application", Computer
Vision and Image Understanding, 61(1): 38–59, 1995.
Das explizite Active Shape Model wird über eine Hauptkomponentenanalyse
(PCA: Principal Component Analysis) an Trainingskonturen erstellt,
die aus Mengen korrespondierender Landmarken-Punkte bestehen. Neue
mit dem Formmodell konsistente Konturen werden dann durch eine Linearkombination
der mittleren Kontur und der größten Eigenmoden
ausgedrückt, die durch die PCA erhalten werden. Zur Anpassung
des Formmodells an die Bilddaten werden für jede Landmarke Intensitätsprofile
in Richtung der Oberflächennormale der momentan aktiven
Kontur mit unterschiedlichen Verschiebungen bestimmt. Ein so genannter
Nächster Nachbar Klassifikator wird dann genutzt, um den
Punkt entlang der Normale zu erhalten, der mit der höchsten
Wahrscheinlichkeit zur Kontur der Leber gehört. Die momentane Kontur
des Active Shape Model wird dann in Richtung der wahrscheinlichsten
Objektkonturpunkte unter Berücksichtigung der Limitierungen
des Active Shape Model deformiert.
-
Ein
weiterer Ansatz zur 3D-Segmentierung der Leber wird in Kainmüller
et al., „Shape Constrained Automatic Segmentation of the
Liver based an a Heuristic Intensity Model", 3D Segmentation
in the Clinic – A Grand Challenge, MICCAI 2006 Workshop,
2006, beschrieben. Dieser Ansatz basiert ebenfalls auf
einem Active Shape Model der Leber. Anstelle eines Nächsten
Nachbar Klassifikators wird hier jedoch ein heuristisches Intensitätsmodell
zur Anpassung der Kontur an die Bilddaten eingesetzt.
-
Die
meisten 2D-Segmentierungstechniken für die Segmentierung
der Leber basieren heutzutage auf dem sog. Aktive Konturen Ansatz
(„Snakes”). Hierbei werden häufig heuristische
Ansätze einbezogen, um die Bildung von unzulässigen
Konturen zu verhindern, bspw. um konkave Bereiche zu entfernen.
Das begrenzt jedoch die Anwendbarkeit dieser Techniken. Die meisten
bekannten 3D-Techniken zur Segmentierung der Leber nutzen heutzutage
ein Active Shape Model. Hierbei handelt es sich um sog. explizite
Active Shape Models, bei denen die Repräsentation der Konturen
durch Landmarken-Punkte erfolgt. Eine derartige Repräsentation kann
normalerweise nur mit einer starren Topologie umgehen, so dass bspw.
ein Aufspalten oder Zusammenführen von Objektbereichen
nicht möglich ist. Ebenfalls bekannte Freiform-Deformationen,
die oft in die Modelle einbezogen werden, um durch die Formmodelle
auferlegte Begrenzungen zu lockern, erfordern eine spezielle Vorgehensweise,
um Selbstüberschneidungen zu vermeiden. Die Nutzung von
expliziten Active Shape Models bereitet vor allem bei Objekten Probleme,
die starke Krümmungen aufweisen. In diesem Fall können aufgrund
des oftmals nur groben Abstandes der Landmarken-Punkte sowie bei
starker Krümmung der Kontur wertvolle Bildinformationen
leicht übersehen werden.
-
Die
Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren
sowie eine Vorrichtung zur Segmentierung von Objekten in Bilddatensätzen
anzugeben, die eine robuste Segmentierung auch von Objekten mit
starken Krümmungen oder geringer Dicke ermöglichen.
-
Die
Aufgabe wird mit dem Verfahren und der Vorrichtung gemäß den
Patentansprüchen 1 und 5 gelöst. Vorteilhafte
Ausgestaltungen des Verfahrens sowie der Vorrichtung sind Gegenstand
der abhängigen Patentansprüche oder lassen sich
der nachfolgenden Beschreibung entnehmen.
-
Bei
dem vorgeschlagenen Verfahren zur Segmentierung eines Objekts aus
einem Bilddatensatz wird kein explizites sondern ein implizites
Active Shape Model eingesetzt. Das dem impliziten Active Shape Model eigene
statistische Formmodell wird in bekannter Weise zunächst
aus Trainingsdaten erstellt. Anschließend erfolgt die Segmentierung
durch Annäherung bzw. Anpassung einer aktiven Kontur auf
Basis des Active Shape Model an eine wahrscheinliche Objektkontur
im Bilddatensatz. Hierbei kann es sich sowohl um einen 2D- als auch
um einen 3D-Bilddatensatz handeln, wobei das Formmodell und die
aktive Kontur dann jeweils passend aus 2D- oder 3D-Trainingsdaten
erstellt werden. Die Annäherung der aktiven Kontur erfolgt
beim vorliegenden Verfahren in mehreren Annäherungsschritten.
Dabei wird wiederholt ein Bereich gleichen Abstands um die dem Bilddatensatz überlagerte
aktive Kontur festgelegt. Dadurch ergeben sich eine äußere
Begrenzung – außerhalb des von der aktiven Kontur
umschlossenen Gebiets – und eine innere Begrenzung – innerhalb
des von der aktiven Kontur umschlossenen Gebiets. Innerhalb des
festgelegten Bereichs gleichen Abstands um die aktive Kontur werden
den einzelnen Rasterpunkten des Bilddatensatzes vorzeichenbehaftete
Distanzwerte zugeordnet, die ein Maß für den euklidischen
Abstand des jeweiligen Rasterpunktes zur aktiven Kontur darstellen.
Punkte innerhalb des Bereiches und außerhalb der Kontur
erhalten einen positiven Distanzwert, Punkte innerhalb des Bereiches
und innerhalb der Kontur erhalten einen negativen Distanzwert.
-
Unter
den Rasterpunkten werden hierbei die einzelnen Bildpunkte des Bilddatensatzes
verstanden. Darüber hinaus wird für jeden Rasterpunkt
im Bereich eine Wahrscheinlichkeit bestimmt, mit welcher der Punkt auf
der Kontur des gesuchten Objekts liegt. Dies kann z. B. mit dem
oben erwähnten nächsten Nachbar Klassifikator
erfolgen. Dabei wird für jeden Rasterpunkt ein Intensitätsprofil
aus dem Bilddatensatz abgetastet, wobei die Richtung des Profils
durch den Gradientenvektor der vorzeichenbehafteten Distanzfunktion
gegeben ist. Anschaulich entspricht dieser Gradientenvektor für
Punkte auf der Kontur des Active Shape Model der Normalen an die
Kontur. Anhand des Intensitätsprofils wird jedem Rasterpunkt
im Bereich eine Wahrscheinlichkeit zugewiesen. Von der äußeren
Begrenzung des Bereichs, der inneren Begrenzung des Bereichs und
von lokalen Minima der Distanzwerte innerhalb des Bereichs werden
Projektionsstrahlen in Richtung der Kontur des Active Shape Model
betrachtet, die senkrecht auf der aktiven Kontur enden. Unter allen
Rasterpunkten, die auf einem Projektionsstrahl liegen, wird derjenige
Rasterpunkt bestimmt, der auf diesem Projektionsstrahl mit der höchsten
Wahrscheinlichkeit zur Begrenzung des zu segmentierenden Objekts
gehört. Für jedes Paar von Projektionsstrahlen,
die auf dem gleichen Rasterpunkt der aktiven Kontur enden, werden
die beiden auf diese Weise bestimmten Rasterpunkte in ihrer Wahrscheinlichkeit
verglichen und der Rasterpunkt mit der höchsten Wahrscheinlichkeit
ausgewählt. Dies erfolgt für alle betrachteten
Projektionsstrahlen. Die Projektionsstrahlen sind hierbei so gewählt,
dass sie alle Rasterpunkte des Bilddatensatzes innerhalb des Bereichs
gleichen Abstandes um die aktive Kontur beinhalten. Die auf diese
Weise ausgewählten Rasterpunkte ergeben eine wahrscheinliche
Objektkontur, an die dann die Kontur des Active Shape Model unter
Berücksichtigung der Beschränkungen des zugrunde
liegenden Formmodells angenähert wird. Diese Vorgehensweise
wird im nächsten Annäherungsschritt jeweils wiederholt,
bis eine ausreichende Annäherung oder Anpassung der aktiven Kontur
an das zu segmentierende Objekt erreicht ist, d. h. bis der Unterschied
zwischen der aktiven Kontur und der bei dem entsprechenden Annäherungsschritt
ermittelten Objektkontur einen vorgebbaren Schwellwert unterschreitet.
In diesem Fall gibt die aktive Kontur dann die Grenzen des Objekts
unter Berücksichtigung des Active Shape Models wieder,
so dass damit das Objekt segmentiert ist. Die Berechnung der vorzeichenbehafteten
Distanzen, der Wahrscheinlichkeiten und der Projektionspfade muss
nicht in jedem Annäherungsschritt neu erfolgen, sondern
nur, wenn die Kontur des Active Shape Model den Bereich, in welchem
die Distanzen etc. das letzte Mal berechnet wurden, verlässt.
Ist dies nicht der Fall, reicht es einfach aus, die Kontur des Active
Shape Model an die jeweils nächsten bereits bestimmten
Punkte mit der höchsten Wahrscheinlichkeit anzunähern.
-
Bei
dem vorgeschlagenen Verfahren und der zugehörigen Vorrichtung,
in die dieses Verfahren implementiert ist, wird somit ein implizites
Active Shape Model (implizites ASM) eingesetzt, das eine robuste
Segmentierung ermöglicht. Durch Verzicht auf ein auf Landmarken
basierendes Modell werden die mit derartigen Modellen verbundenen
Schwierigkeiten umgangen. Allerdings ist die Anpassung eines impliziten
ASM an die Bilddaten komplizierter, da keine Landmarken-Punkte verfügbar
sind, die in Richtung der wahrscheinlichsten Begrenzung des Objektes
bewegt werden können. Durch die vorgeschlagene Vorgehensweise
auf Basis des Bereichs gleichen Abstandes und der darin durchgeführten
Bestimmungen wird die Annäherung bzw. Anpassung jedoch
mit hoher Zuverlässigkeit ermöglicht. Das vorgeschlagene
Verfahren führt vor allem bei Objekten mit starken Krümmungen
zu besseren Ergebnissen als ein auf Landmarken basierendes Modell,
da keine Rasterpunkte bei der Prüfung verloren gehen. Weiterhin
können ohne weitere Maßnahmen auch sehr dünne
Strukturen oder Objekte ohne die Gefahr von Selbstüberschneidungen
segmentiert werden.
-
Vorzugsweise
wird bei dem vorgeschlagenen Verfahren ein implizites ASM eingesetzt,
wie es von Rousson et al., „Implicit Active Shape
Models for 3D Segmentation in MR Imaging", MICCAI 2004,
3216: 209–216, 2004, beschrieben wird, wobei das
implizite ASM in die sog. Levelset-Methodik eingebunden wird.
-
Zur
Anpassung eines derartigen impliziten ASM wird die aktive Kontur
als Nullniveaumenge einer Levelset-Funktion ϕ definiert,
die sich einerseits gemäß dem Bildinhalt entwickelt
und andererseits durch eine weitere Levelset-Funktion ψ,
welche aus dem statistischen Formmodell erzeugt wird, in den annehmbaren
Formen beschränkt ist. Diese Levelset-Funktion ψ setzt
sich aus der mittleren Levelset-Funktion ψ – sowie einer gewichteten
Summe der N größten Eigenmoden ψ
i zusammen, also
wobei ψ – durch Mittelung aller
vorzeichenbehafteten Distanzfunktionen der Trainingsdatensätze
bestimmt wird und ψ
i die Eigenmoden
der PCA der Trainingsdatensätze sind.
-
Die
Anpassung der aktiven Kontur unter Berücksichtigung des
ASM wird durch das folgende Energiefunktional bestimmt, das die
quadratische Differenz zwischen beiden Levelset-Funktionen angibt:
A ist dabei eine affine Transformation,
welche die in ψ als Nullniveaumenge eingebettete Kontur
des Formmodells an die in ϕ als Nullniveaumenge eingebettete
aktive Kontur, welche am Bildinhalt ausgerichtet ist, anpasst. Die
Komponenten des Vektors λ sind die Gewichte der Eigenmoden.
Da nur die Anpassung der beiden Konturen, d. h. der Nullniveaumengen
von ϕ und ψ, interessiert, wird die Dirac'sche
Deltafunktion δ in die obige Energiefunktion eingeführt.
Der Integrationsraum wird als Ω ⊂ R
2 (bzw. Ω ⊂ R
3 für den dreidimensionalen Fall) bezeichnet.
-
Diese
Gleichung wird im Hinblick auf ϕ sowie A und λ iterativ
minimiert. Für die einzelnen Gewichte λi sowie für die Komponenten der
Transformation A, welche Rotationswinkel um die Koordinatenachsen
sowie Skalierung und Translationen sind, wird dazu jeweils die Ableitung
von E nach dem jeweiligen Gewicht λi bzw. nach
der jeweiligen Komponente von A berechnet und damit ein Gradientenabstieg
durchgeführt. Eine Vorschrift zur Optimierung von E im
Hinblick auf ϕ ergibt sich entsprechend der Variationsrechnung
aus der Euler Lagrange Gleichung zu obiger Gleichung (1). Das Resultat
ist eine Einschränkung der partiellen Differentialgleichung,
welche die Deformation von ϕ und damit die Deformation
der aktiven Kontur steuert. Weitere Einzelheiten zu einer derartigen
Vorgehensweise finden sich in der bereits genannten Veröffentlichung
von Rousson et al.. Damit erfolgt die Anpassung der aktiven Kontur,
d. h. der Levelset-Funktion ϕ, auf Basis sowohl des statistischen
Formmodells als auch der Bildinformation. Während die Anpassung
auf Basis des Formmodells grundsätzlich bekannt ist, besteht
die Besonderheit des vorliegenden Verfahrens in der vorgeschlagenen
Vorgehensweise zur Anpassung an die Bildinformation bzw. Bilddaten.
Die Bestimmung der Rasterpunkte auf den jeweiligen Projektionsstrahlen,
die mit der höchsten Wahrscheinlichkeit zur Objektbegrenzung
zählen, kann auf unterschiedliche Weise erfolgen, vorzugsweise
auf Basis eines sog. Appearance Model, wie bspw. des nächsten
Nachbar Klassifikators.
-
Um
die aktive Kontur zu den Rasterpunkten innerhalb der Begrenzung
mit den höchsten Wahrscheinlichkeiten zu bewegen, kann
grundsätzlich der Gradient der Wahrscheinlichkeitskarte
berechnet werden. Da das Einzugsgebiet des Gradienten einer Wahrscheinlichkeitskarte
begrenzt ist, wird vorzugsweise eine zusätzliche Maßnahme
ergriffen. Diese Maßnahme besteht in der Berechnung des
Gradientenvektorfeldes (GVF) der Wahrscheinlichkeitskarte. Dadurch
werden die Gradientenvektoren, welche sonst nur nahe von Rasterpunkten mit
einer Wahrscheinlichkeit größer Null existieren, über
den gesamten Bereich gleichen Abstands diffundiert. Auf diese Weise
entsteht ein wesentlich größerer Einzugsbereich
der Gradientenvektoren, um die aktive Kontur zu führen.
Die Berechnung eines derartigen Gradientenvektorfeldes ist bspw.
aus Xu et al., „Snakes, Shapes and Gradient Vector
Flow", IEEE Transactions an Image Processing, 7(3): 359–369,
1998 bekannt. Bei dieser Ausführungsform wird
der GVF-Term in die partielle Differentialgleichung zur Deformation
der aktiven Kontur eingebracht und konkurriert mit dem Term, der
die Beschränkungen auf Basis des Formmodells repräsentiert.
So beschreiben bspw. Paragios et al., „Gradient
Vector Flow Fast Geodesic Active Contours", International
Conference an Computer Vision 2001, 67–73, 2001,
die Einführung eines derartigen GVF-Terms in die Gleichung
für die Entwicklung der aktiven Kontur.
-
Die
vorgeschlagene Vorrichtung umfasst zumindest eine Speichereinheit
für die Trainingsdaten und den Bilddatensatz, eine Recheneinheit
zur Ausführung der für die Durchführung
des Verfahrens erforderlichen Prozessschritte, ein Trainingsmodul
zur Erstellung des statistischen Formmodells auf Basis der Trainingsdatensätze
sowie ein Segmentierungsmodul, das die Verfahrensschritte zur Anpassung
der aktiven Kontur an das zu segmentierende Objekt gemäß dem
vorgeschlagenen Verfahren durchführt. Das segmentierte
Objekt kann dann an einer Bildanzeigeeinrichtung dargestellt werden,
die mit der Vorrichtung verbunden sein kann.
-
Das
vorgeschlagene Verfahren und die zugehörige Vorrichtung
eignen sich vor allem für Bilddatensätze der medizinischen
Bildgebung, bspw. zur Segmentierung der Leber aus tomographischen
Bilddatensätzen. Derartige Bilddatensätze können
von unterschiedlichen Bildaufzeichnungsgeräten stammen,
bspw. von einem Computertomographen oder einem Magnetresonanztomographen,
sind jedoch nicht auf die letztgenannten Geräte beschränkt.
-
Das
vorgeschlagene Verfahren sowie die zughörige Vorrichtung
werden nachfolgend anhand eines Ausführungsbeispiels in
Verbindung mit den Zeichnungen nochmals kurz erläutert.
Hierbei zeigen:
-
1 eine
schematische Darstellung der prinzipiellen Vorgehensweise bei dem
vorgeschlagenen Verfahren;
-
2 eine
schematische Darstellung der Festlegung des Bereiches gleichen Abstands
um die aktive Kontur;
-
3 eine
schematische Darstellung zur Ermittlung der Wahrscheinlichkeiten
unter Nutzung von Projektionsstrahlen und
-
4 eine
schematische Darstellung der vorgeschlagenen Vorrichtung.
-
Das
vorgeschlagene Verfahren und die zugehörige Vorrichtung
werden nachfolgend am Beispiel der Segmentierung der Leber aus einem
CT-Bilddatensatz nochmals näher erläutert. 1 zeigt
hierzu den Ablauf in stark schematisierter Darstellung. Die Ausführungen
beziehen sich hierbei auf einen 2D-Bilddatensatz, so dass die aktive
Kontur eine geschlossene Linie und der Bereich gleichen Abstands
ein Band darstellt, auf dessen zentraler Achse diese geschlossene
Linie verläuft. Es ist jedoch offensichtlich, dass sich
das vorgeschlagene Verfahren ohne weiteres auch auf drei Dimensionen
erweitern lässt, um eine Segmentierung in einem 3D-Bilddatensatz
durchzuführen.
-
Bei
dem vorgeschlagenen Verfahren werden mehrere Bilddatensätze
der Leber von unterschiedlichen Patienten zur Verfügung
gestellt, die als Trainingsdatensätze für die
Erstellung eines statistischen Formmodells dienen. Ein Satz an Segmentierungsmasken,
die durch manuelle Segmentierung der Leber in den Trainingsdatensätzen
erhalten werden, stellt die Basis des statistischen Formmodells
dar. Maskenpunkte mit einem Wert ungleich 0 gehören zu
dem Objekt, d. h. der Leber. Alle anderen Maskenpunkte mit einem
Wert gleich 0 stellen den Hintergrund dar. Für die Analyse
der möglichen Formen der Leber müssen zunächst
Variationen zwischen den einzelnen Segmentierungsmasken eliminiert
werden, die durch Ähnlichkeitstransformationen verursacht
werden, d. h. durch Translation, Rotation und isotrope Skalierung.
Daher wird zunächst eine der Masken als Referenzmaske gewählt.
Für alle anderen Masken werden dann entsprechende Transformationen
ermittelt, durch die der Überlappungsgrad zwischen jedem
Maskenpaar maximiert wird. Dies kann bspw. mit der Technik von Tsai
et al., „A Shape-Based Approach to the Segmentation of
Medical Imagery Using Level Sets”, IEEE Transactions an
Medical Imaging, 22(2): 137–154, 2003 erfolgen. Translation,
Rotation und Skalierung werden für jede Transformation
mit der Technik des Gradientenabstiegs optimiert. Da das Verfahren
eine größere Anzahl von Iterationen erfordert
und anfällig für lokale Minima ist, werden Translation,
Rotation und Skalierung normalisiert, bevor die Technik des Gradientenabstiegs
zur Verfeinerung der zunächst nur groben Überlagerung
eingesetzt wird.
-
Im
Anschluss an diese gegenseitige Ausrichtung und geeignete Skalierung
der einzelnen Segmentierungsmasken werden die durch diese Masken
repräsentierten Formen in eine implizite Repräsentation
umgewandelt. Dies erfolgt durch Erzeugung einer Vorzeichen-behafteten
Abstandsfunktion für jede Maske, bei der jedem Rasterpunkt
sein positiver oder negativer euklidischer Abstand zur Begrenzung
der dargestellten Form zugeordnet wird. Rasterpunkte innerhalb der
Form erhalten dabei ein negatives Vorzeichen, Rasterpunkte außerhalb
der Form, die damit zum Hintergrund zählen, ein positives
Vorzeichen.
-
Anschließend
wird eine Hauptkomponentenanalyse (PCA) mit den dadurch erhaltenen
Abstandskarten (Abstands-Map) durchgeführt, um die verbleibenden
Variationen zu analysieren, die auf unterschiedliche Formen der
Leber zurückzuführen sind. Neue Formen werden
implizit als Nullniveaumenge der Levelset-Funktion
ausgedrückt, wobei λ dem
Vektor der Modengewichte λ
i der
Eigenmoden, ψ – dem Mittelwert über alle Abstandsfunktionen
und ψ
i den N signifikanten Eigenmoden
entsprechen, die aus der PCA erhalten werden.
-
Für
den Einsatz dieses aus Trainingsdaten erstellten Modells zur Bildsegmentierung
wird eine weitere Levelset-Funktion ϕ eingeführt,
die sich als aktive Kontur entsprechend dem Bildinhalt entwickelt
und in ihrer Entwicklung durch die Levelset-Funktion ψ des
Formmodells eingeschränkt ist. Die Beschränkung
der Anpassung der aktiven Kontur durch das Formmodell kann durch
das bereits weiter oben erläuterte Energiefunktional beschrieben
werden, die die quadratische Differenz zwischen beiden Levelset-Funktionen
angibt:
-
Diese
Gleichung wird in iterativer Weise minimiert, bis sich eine statische
Lösung ergibt, d. h. die Werte der Modengewichte λi sowie die Werte der Transformationsparameter
in A (Rotationswinkel, Skalierungsfaktor, Translationswerte) und
insbesondere die Aktive Kontur Levelset-Funktion ϕ ändern
sich nicht mehr. Die aktive Kontur entspricht dann dem segmentierten
Objekt, das bspw. an einem Monitor dargestellt werden kann.
-
Die
Besonderheit des vorgeschlagenen Verfahrens besteht in der Kombination
eines impliziten ASM mit einer besonderen Vorgehensweise bei der
Anpassung der aktiven Kontur an die Bildinformation. Diese Anpassung
wird im Folgenden nochmals anhand des vorliegenden Beispiels näher
erläutert.
-
Bei
einem expliziten ASM werden in der Regel sog. Appearance Models
eingesetzt, um die Deformation oder Entwicklung der aktiven Kontur
zu führen. Dies schließt die Bestimmung von Intensitätsprofilen
an jeder Landmarke in einer Richtung normal zur Oberfläche
des Objekts während einer Trainingsphase ein. Bei Annahme
einer Normalverteilung wird das Appearance Model dadurch erhalten,
dass die Mittelwert- und die Kovarianzmatrix der Profile berechnet
wird. Dieses Prinzip wurde auch auf zufällige Verteilungen
erweitert, indem sowohl Rand- als auch nicht auf dem Rand liegende
Profile bestimmt und ein Nächster Nachbar Klassifikator
eingesetzt wurden. Während der Segmentierung wird dann
jeder Landmarken-Punkt in seiner Normalrichtung in Richtung des
wahrscheinlichsten Begrenzungspunktes des Objekts bewegt. Verglichen
mit einfachen Randdetektoren wird mit dieser bekannten Vorgehensweise
auf Basis eines expliziten ASM eine größere Robustheit
der Segmentierung erreicht.
-
Im
Gegensatz zu dieser bekannten Technik setzt das vorliegende Verfahren
und die zughörige Vorrichtung ein implizites ASM ein, in
das ein Bildterm auf Basis eines Appearance Models integriert wird.
Die Vorgehensweise der Anpassung der aktiven Kontur an die Bilddaten
wird anhand der schematischen Darstellungen der 2 und 3 näher
erläutert.
-
2 zeigt
hierbei die aktive Kontur 1, die durch die Nullniveaumenge
von Φ repräsentiert wird. Die Bilddaten selbst,
denen diese Kontur überlagert wird, sind in dieser und
der nächsten Figur nicht zu erkennen. Die aktive Kontur 1 ist
Bestandteil des ASM und stellt in ihrer Anfangsform bspw. den Mittelwert über
die aus den Trainingsdaten gewonnenen Formen der Leber dar. Für
die Anpassung an die Bilddaten wird beim vorgeschlagenen Verfahren
zunächst ein schmales Band gleichen Abstands um die aktive
Kontur 1 gelegt. Die Breite des Bandes kann hierbei bspw.
5–30 mm betragen. Dieses Band wird in der Figur durch die äußere
Begrenzung 3 und die innere Begrenzung 2 in gestrichelten
Linien dargestellt. Der Abstand der äußeren Begrenzung 3 zur
aktiven Kontur 1 und der inneren Begrenzung 2 zur
aktiven Kontur 1 entspricht dem Abstand r, der mit dem
Bezugszeichen 4 in der Figur gekennzeichnet ist. Jedem
Rasterpunkt des Bilddatensatzes, der innerhalb dieses Bandes liegt,
wird ein positiver oder negativer Abstandswert, abhängig
von der Lage und dem Abstand zur aktiven Kontur 1, zugeordnet.
So erhält bspw. Punkt 5 einen positiven Abstandswert 7 und
Punkt 6 einen negativen Abstandswert 8. Die dabei
erhaltene Abstandskarte kann bspw. über den sog. Fast Marching
Algorithmus erstellt werden. Für alle Rasterpunkte innerhalb
des schmalen Bandes, d. h. bspw. für die Punkte 5, 6 und 9,
werden Intensitätsprofile an ihrer entsprechenden Position
innerhalb des Bildes bestimmt, wobei die Intensitätsprofile
in Normalenrichtung ermittelt werden, die durch ∇Φ gegeben
ist. Diese Normalenrichtung wird in der 2 beispielhaft
am Punkt 9 durch den Vektor 10 angedeutet. Über
ein geeignetes Appearance Model wird für jeden Rasterpunkt
die Wahrscheinlichkeit dafür berechnet, dass er zur Begrenzung
bzw. Oberfläche des zu segmentierenden Objektes zählt.
Als Appearance Model kann bspw. ein sog. k Nächster Nachbar
(k-NN) Klassifikator eingesetzt werden. Anstelle eines k-NN Klassifikators
können selbstverständlich auch andere Techniken,
wie z. B. Mittelwertvektor & Kovarianzmatrix,
verwendet werden, die ebenfalls eine kontinuierliche Wahrscheinlichkeit
liefern.
-
Anschließend
wird jeweils entlang von Projektionsstrahlen der Rasterpunkt mit
der höchsten Wahrscheinlichkeit auf dem jeweiligen Projektionsstrahl
bestimmt. Die Projektionsstrahlen beginnen auf den Rändern
des schmalen Bandes (Begrenzungslinien 2, 3) und
an lokalen Extrema der zugrunde liegenden Abstandskarte, die durch
die gepunktete Linie lokaler Minima 11 in der 3 angedeutet
sind. Die Projektionsstrahlen enden senkrecht auf der aktiven Kontur 1.
Für jeden Projektionsstrahl, der innerhalb (Projektionsstrahl 12)
oder außerhalb (Projektionsstrahl 13) der durch
die aktive Kontur 1 eingeschlossenen Gebiete liegt, wird ein
Gradienten-Anstieg oder -abstieg auf der die Levelset-Funktion Φ repräsentierenden,
Vorzeichen-behafteten Abstandskarte durchgeführt, bis die
aktive Kontur 1 erreicht ist. Nur der Rasterpunkt mit der
höchsten Wahrscheinlichkeit wird entlang jedes Projektionspfades
bestimmt. Dies betrifft bspw. bei Projektionspfad 12 den
Punkt 14 und bei Projektionspfad 13 den Punkt 15.
Alle anderen Rasterpunkte werden nicht mehr berücksichtigt.
-
Schließlich
wird für alle Paare von internen und externen Projektionsstrahlen,
die auf dem gleichen Rasterpunkt 16 auf der aktiven Kontur 1 enden,
nur derjenige der beiden vorher bestimmten Rasterpunkte ausgewählt,
der von beiden die höhere Wahrscheinlichkeit aufweist,
zur Objektbegrenzung zu gehören. Als Ergebnis dieses Algorithmus
wird eine Karte (Map) erhalten, die lediglich die Rasterpunkte mit
der höchsten Wahrscheinlichkeit enthält. Wird
davon ausgegangen, dass echte Randpunkte des Objekts durch das Appearance Model
höhere Wahrscheinlichkeiten erhalten haben als Rasterpunkte,
die nicht zum Rand des Objekts zählen, so wird durch die
vorgeschlagene Vorgehensweise eine Eliminierung falscher Randpunkte
erreicht. Damit wird verhindert, dass sich der Anpassungsalgorithmus
an der falschen Position in einem lokalen Minimum festsetzt.
-
Da
der Einfangbereich der oben beschriebenen Wahrscheinlichkeitskarte
begrenzt ist, kann die Führung der aktiven Kontur in Richtung
der Randpunkte alleine auf Basis des Gradienten unter Umständen
nicht ausreichen. Daher wird im vorliegenden Beispiel das Gradientenvektorfeld
(GVF) der Wahrscheinlichkeitskarte berechnet, um die Gradientenvektoren über
das gesamte schmale Band zu verteilen. Dies vergrößert
den Einfangbereich deutlich. Der GVF-Term wird in die Entwicklung
der aktiven Kontur einbezogen, wie dies bspw. aus der bereits genannten
Veröffentlichung von Paragios et al. bekannt ist. Der GVF-Term
konkurriert mit dem vorher beschriebenen Begrenzungsterm auf Basis
des Formmodells, der sich aus dem weiter oben angeführten Energiefunktional
(Gleichung (1)) ableitet. Die Entwicklungsgleichung für
die Levelset-Funktion Φ der aktiven Kontur kann dann folgendermaßen
dargestellt werden:
-
Wobei Φt die Zeitableitung der Levelset-Funktion,
g eine Stoppfunktion, „div” den Divergenzoperator und ν das
GVF-Feld darstellen. Der erste Term auf der rechten Seite dieser
Gleichung (2), der durch α gewichtet ist, trägt
zu Glättung der Kontur unter Berücksichtigung
des Bildinhalts mittels der Stoppfunktion g bei. Der zweite Term,
der durch β gewichtet ist, führt den GVF ein,
um die Kontur zu den Randpunkten zu treiben. Schließlich
stellt der dritte Term, durch γ gewichtet, die durch das
ASM auferlegten Beschränkungen dar. Er er gibt sich gemäß der
Variationsrechnung über Φ aus der Euler-Lagrange
Gleichung des obigen Energiefunktionals (Gleichung (1)). Weitere
Details zu dem ersten und zweiten Term können bspw. der
oben genannten Veröffentlichung von Paragios et al. und
zum dritten Term der oben genannten Veröffentlichung von
Rousson et al. entnommen werden.
-
4 zeigt
schließlich ein Beispiel für die Vorrichtung zur
Durchführung des vorgeschlagenen Verfahrens in stark schematisierter
Darstellung. Die Vorrichtung kann bspw. durch eine Rechenstation
mit einer Recheneinheit 17 und einem Datenspeicher 18 gebildet
sein, der die entsprechenden Trainingsdatensätze, den Bilddatensatz
sowie alle während der Durchführung des Verfahrens
anfallenden Daten aufnimmt. Ein Modul 19 erstellt aus den
Trainingsdatensätzen das statistische Formmodell auf Basis
der bekannten Verfahrensschritte. Ein Segmentierungsmodul 20 führt
schließlich die besonderen Verfahrensschritte des vorgeschlagenen
Verfahrens aus, insbesondere die Anpassung der aktiven Kontur an
die Bilddaten unter Berücksichtigung des ASM. Das segmentierte
Objekt kann schließlich an einem mit der Vorrichtung verbundenen
Monitor 21 einem Benutzer dargestellt werden. Die Segmentierung
kann nach Erstellung des ASM ohne jeglichen Benutzereingriff vollautomatisch
erfolgen.
-
Das
vorgeschlagene Verfahren arbeitet verglichen mit den Algorithmen,
die auf Landmarken basieren, vor allem in Objektbereichen mit starker
Krümmung zuverlässiger, bei denen Randpunkte bei
den bekannten Verfahren aufgrund der groben Abstände der
Landmarken übersehen werden können. Durch die
Verschiebung der Landmarken in Normalenrichtung kann hier in Bereichen
zwischen den auseinander laufenden Verschiebungspfaden möglicherweise
wichtige Bildinformation nicht berücksichtigt werden. Ein
weiteres Problem tritt bspw. auch dann auf, wenn ein Randpunkt mit
der höchsten Wahrscheinlichkeit hinter einem anderen Teil
der Oberfläche liegt.
-
Diese
Probleme werden mit dem vorliegenden Algorithmus vermieden. Bei
diesem Algorithmus werden Wahrscheinlichkeiten für das
gesamte schmale Band berechnet, so dass kein einziger Randpunkt übersehen
werden kann. Allerdings müssen falsche Randpunkte entfernt
werden, um ein festsetzen des Algorithmus in lokalen Minima zu verhindern.
Dies wird bei dem vorgeschlagenen Verfahren dadurch erreicht, dass alle
hierbei bestimmten Wahrscheinlichkeiten zurück auf die
momentane aktive Kontur projiziert werden und nur der Punkt mit
der höchsten Wahrscheinlichkeit für jedes Paar
von Projektionsstrahlen für die Anpassung der aktiven Kontur
berücksichtigt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - S. J. Lim
et al., ”Segmentation of the Liver Using the Deformable
Contour Method an CT Images”, PCM 2005, LNCS, 3767: 570–581,
2005 [0004]
- - Liu et al., „Liver Segmentation for CT Images Using
GVF Snake”, Medical Physics, 32(12): 3699–3706, 2005 [0005]
- - Heimann et al., „Shape Constrained Automatic Segmentation
of the Liver based an a Heuristic Intensity Model”, 3D
Segmentation in the Clinic – A Grand Challenge, MICCAI
2006 Workshop, 2006 [0006]
- - Cootes et al., ”Active Shape Models – Their
Training and Application”, Computer Vision and Image Understanding,
61(1): 38–59, 1995 [0006]
- - Kainmüller et al., „Shape Constrained Automatic
Segmentation of the Liver based an a Heuristic Intensity Model”,
3D Segmentation in the Clinic – A Grand Challenge, MICCAI
2006 Workshop, 2006 [0007]
- - Rousson et al., „Implicit Active Shape Models for
3D Segmentation in MR Imaging”, MICCAI 2004, 3216: 209–216,
2004 [0014]
- - Xu et al., „Snakes, Shapes and Gradient Vector Flow”,
IEEE Transactions an Image Processing, 7(3): 359–369, 1998 [0018]
- - Paragios et al., „Gradient Vector Flow Fast Geodesic
Active Contours”, International Conference an Computer
Vision 2001, 67–73, 2001 [0018]