DE112004000377T5

DE112004000377T5 - Bildsegmentierung in einer dreidimensionalen Umgebung

Info

Publication number: DE112004000377T5
Application number: DE112004000377T
Authority: DE
Inventors: Cheng-Chung Liang
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Healthineers Ag De
Priority date: 2003-03-12
Filing date: 2004-03-11
Publication date: 2006-04-27
Anticipated expiration: 2024-03-12
Also published as: US7561725B2; WO2004081871A1; DE112004000377B4; US20050018902A1

Abstract

Verfahren zur Bildsegmentierung in einer dreidimensionalen Umgebung, mit den Schritten:
Empfangen von Scandaten;
Auswählen eines Blickvektors relativ zu den Scandaten;
Rendern (Rendering) der Scandaten als ein 3D-Bild um den Bildvektor herum;
Anzeigen des gerenderten (berechneten) 3D-Bildes;
Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bilds;
Durchführen einer 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Bildvektor, um ein segmentiertes 3D-Objekt zu erhalten; und
Anzeigen des segmentierten 3D-Objekts.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung mit der Seriennummer 60/454,117 (Anwaltsaktenzeichen Nr. 2003P03674US), eingereicht am 12. März 2003 mit dem Titel "Livewire tool in 3D Environment" die hierin mit ihrer Gesamtheit einbezogen ist.

HINTERGRUND

Medizinische Bilddaten erhält man z. B. typischerweise in der Form von Schnitten durch unterschiedliche Arten von Bildgebungsdaten. Diese Schnitte werden anschließend aufeinander gestapelt, um ein dreidimensionales ("3D") Volumen zu bilden. Einen interessierenden 3D-Bereich aus einem volumetrischen 3D-Datensatz zu extrahieren ist immer noch eine herausfordernde Aufgabe. Die Hauptschwierigkeit liegt darin, dass es keinen robusten automatischen Algorithmus gibt, der sämtliche unterschiedlichen Situationen und Anwendung bewältigen kann. Wenn es an automatischen Verfahren fehlt, ist in der Regel der Eingriff eines menschlichen Experten zum Extrahieren von gewünschten interessierenden Bereichen oder Regionen notwendig.

Die Bearbeitung von 2D-Schnitten ist ein Weg, das 3D-Volumen aus medizinischen Bildgebungsdaten zu untersuchen. Ein interaktives 2D-Segmentierungswerkzeug, das man als eine intelligente Schere bezeichnet, erleichtert dem Benutzer die Abgrenzung von interessierenden 2D-Bereichen. Obwohl eine intelligente Schere ein sehr nützliches Werkzeug für einen 2D-Schnitt ist, ist es nicht sehr attraktiv, wenn ein Benutzer hunderte oder tausende von Schnitten durchsuchen muss. Manchmal werden signifikante Merkmale in der Richtung der ursprünglich gescannten Schnitte nicht deutlich, sondern zeichnen sich deutlicher in anderen Richtungen. Es wäre für die Wirksamkeit der Benutzerinteraktivität und die Formtreue förderlich, wenn dem Benutzer Werkzeuge zur Verfügung stünden, um die signifikanten Merkmale entlang der verdeutlicherenden Richtung abzugrenzen.

Um diesem Ansatz Rechnung zu tragen, sollte es für Benutzer eine Möglichkeit geben, die Schnitte in einer beliebigen Richtung oder einem beliebigen Winkel umzuschalten und den interessierenden Bereich abzugrenzen. Die Benutzeroberfläche der meisten derzeitigen medizinischen Bildgebungssysteme basiert auf verschiedenen Ansichtsfenstern von 2D-Bildern, die durch das 3D-Volumen in unterschiedlichen Richtungen schneiden. Diese Oberfläche wird üblicherweise durch ein 3D-Ansichtsfenster begleitet, das die 3D-Ergebnisse der Bearbeitungen visualisieren kann, jedoch keine Editiermöglichkeit aufweist. Diese Art Arbeitsumgebung ist im Allgemeinen ungünstig, da der Benutzer zwischen der 3D-Ansicht und den 2D-Ansichten vor und zurückspringen muss und die laufenden 2D-Schnitte im 3D-Raum geistig miteinander in Beziehung setzen muss.

Demgemäss ist ein System und ein Verfahren von Nöten, das geeignet ist, Benutzern zu erlauben, 2D-Segmentierungswerkzeuge auf 2D-Schnitte direkt in einer 3D-Umgebung anzuwenden. Die vorliegende Offenbarung ist auf diese und andere Punkte gerichtet.

ZUSAMMENFASSUNG

Diese und andere Nachteile und Beeinträchtigungen des Standes der Technik werden durch eine Vorrichtung und ein Verfahren zur Bildsegmentierung in einer dreidimensionalen Umgebung angesprochen.

Es ist ein Verfahren, eine Vorrichtung und eine Programmspeichervorrichtung zur Bildsegmentierung in einer dreidimensionalen Umgebung vorgesehen zum Empfang von Scandaten, zum Auswählen eines Blickvektors relativ zu den Scandaten, zum Rendern (Rendering) der Scandaten als ein 3D-Bild um den Bildvektor, zum Anzeigen des gerenderten 3D-Bilds, zum Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bilds, zum Durchführen einer 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Blickvektor, um ein segmentiertes 3D-Objekt zu erhalten, und zum Anzeigen des segmentierten 3D-Objekts.

Diese und andere Aspekte, Merkmale und Vorteile der vorliegenden Offenbarung werden anhand der nachfolgenden Beschreibung beispielhafter Ausführungsformen deutlich, die in Verbindung mit den beigefügten Zeichnungen zu lesen ist.

KURZBESCHREIBUNG DER FIGUREN
Die Lehre der vorliegenden Offenbarung umfasst eine Vorrichtung und ein Verfahren zur Bildsegmentierung in einer dreidimensionalen Umgebung gemäß der folgenden beispielhaften Figuren, in denen:
1 ein Flussdiagramm zur Bildsegmentierung in einer dreidimensionalen Umgebung gemäß einer veranschaulichenden Ausführungsform der vorliegenden Offenbarung zeigt;
2 eine graphische Darstellung einer 3D-gerenderten Achtelansicht gemäß 1 zeigt;
3 graphische Darstellungen von 2D-Segmentierungen gemäß 1 darstellt;
4 graphische Darstellungen von 2D-Segmentierungen gemäß 1 zeigt;
5 eine graphische Darstellung einer 2D-Segmentierung gemäß 1 darstellt; und
6 graphische Darstellungen einer 2D-Segmentierung in optionalen 2-1/2 D-Modus gemäß 1 darstellt.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Einen interessierenden dreidimensionalen ("3D") Bereich aus einem Stapel von medizinischen Scanschnitten zu extrahieren war bisher eine herausfordernde Aufgabe. Die Hauptschwierigkeit liegt darin, dass kein stabiler automatischer Algorithmus existiert, der sämtliche unterschiedlichen Situationen und Anwendungen bewältigen kann. Zum Extrahieren des gewünschten Bereichs oder der Organe ist üblicherweise ein menschliches Hinzutun unvermeidbar. Es ist jedoch ohne geeignete Hilfsmittel für Menschen eine aufwändige Aufgabe, die große Anzahl von beteiligten Schnitten durchzuarbeiten. Die Ausführungsformen der vorliegenden Offenbarung wenden ein mächtiges zweidimensionales ("2D") Bildsegmentierungshilfsmittel direkt in der 3D-Umgebung an, das hierin als "Livewire" ("Lebendlinie") bezeichnet wird. Diese Anordnung stellt den Benutzer die Hilfsmittel zur Verfügung, um effektiver relevante 3D-Bereich zu extrahieren.
Bevorzugte Ausführungsformen der vorliegenden Offenbarung stellen ein System bereit, bei denen Benutzer das Livewire-Hilfsmittel auf 2D-Schnitte direkt in einer 3D-Umgebung anwenden können. Damit können Benutzer interessierende Bereiche direkt auf einer 3D-Ansicht auf einer getrennten 2D-Ansicht zeichnen, wodurch die Bürde des Hin- und Herschaltens zwischen einer 3D- und den 2D-Ansichten beseitigt wird. In dieser 3D-Ansicht können 2D-Schnitte zusammen so wiedergegeben werden, dass Benutzer ein besseres Gefühl des 3D-Raums bekommen können. Diese 3D-Umgebung ist ebenfalls so gestaltet, dass Benutzer den in Bearbeitung befindlichen Schnitt leicht umschalten können, so dass sie die hervorstechenden Merkmale der Daten in einer verringerten Zeitdauer extrahieren können. Die nachfolgende beispielhafte Beschreibung sieht ein Livewire-Hilfsmittel, eine 3D-Arbeitsumgebung und die Integration des Livewire-Hilfsmittels in die 3D-Arbeitsumgebung vor.
Das zu Grunde liegende Arbeitsszenario des Livewire-Hilfsmittels ist, dass ein Benutzer einen Ankerpunkt auf einem Bild auswählt und anschließend die Maus zu anderen Positionen auf dem Bild frei bewegt. Das Livewire-Hilfsmittel stellt automatisch eine Verbindungslinie vom Ankerpunkt zur augenblicklichen Mausposition bereit. Diese Verbindungslinie fällt im Allgemeinen an den Grenzen des Bereichs innerhalb des Bildes, was der Benutzer üblicherweise wünscht, wodurch das Erfordernis einer sehr vorsichtigen Zeichnung durch den Benutzer entlang der Grenzen eliminiert wird. Da die Verbindungslinie sich gemäß der Bewegung der Mausposition ändert, sieht es so aus, als wäre die Linie lebend. Demgemäß hat sich der Begriff "Livewire" (Lebendlinie) eingeprägt, um dieses Hilfsmittel zu beschreiben. Benutzer können einen Abschnitt der Linie durch Klicken eines neuen Ankerpunkts fixieren. Durch Klicken von lediglich wenigen Ankerpunkten können Benutzer eine sehr komplizierte Form aus dem Bild umgrenzen.
Der zu Grunde liegende Algorithmus für Livewire findet die Grenzdefinition über dynamische Programmierung und formuliert sie als ein Problem der Graphensuche (Graph Searching). Es ist das Ziel, den optimalen Weg zwischen einem Startknoten und einem Satz von Zielknoten zu finden. Optimal ist definiert als der Weg minimaler kumulativer Kosten von einem Startpunkt zu einem Zielpunkt. Die kumulativen Kosten eines Wegs bestehen aus der Summe der lokalen Kantenkosten auf dem Weg.
In einer beispielhaften Ausführungsform ist ein manueller Überschreibmechanismus in das Livewire-Hilfsmittel integriert. Während einer Livewire-Zeichensitzung kann ein Benutzer die Maus ziehen (d. h. die Maus bei gleichzeitigem Drücken einer Maustaste bewegen), um die Kurve zu zeichnen, ohne dass die Livewire-Funktion in einem gewissen störenden Bereich aktiviert ist. Wenn der Benutzer die Taste loslässt, ist das Livewire-Hilfsmittel wieder angeschaltet. Auf diese Weise kann ein Benutzer eine Kontur sehr schnell unter Verwendung der Kombination von Livewire- und Freihandzeichnung zeichnen, ohne an dere Knöpfe der graphischen Benutzerumgebung (GUI) drücken zu müssen, um den automatischen Modus z. B. an- und auszuschalten.
Das Grundverhalten einer beispielhaften 3D-Arbeitsumgebung ist im Vergleich mit vielen fortgeschrittenen 3D-Visualisierungspakten oder -arbeitsstationen vorteilhaft. Grundsätzlich weist die 3D-Arbeitsumgebung drei orthogonale Schnitte auf, die den 3D-Raum in acht Abschnitte aufteilen. Daher bezeichnet man diese Ansicht als Achtelansicht (Octant View, "OV").
Wie in 1 dargestellt ist ein Flussdiagramm zur Bildsegmentierung in einer dreidimensionalen Umgebung im Allgemeinen mit der Bezugsziffer 100 gekennzeichnet. Das Flussdiagramm 100 umfasst einen Startblock 110, der zu einem Eingabeblock 112 zum Empfang von Scandaten führt. Der Eingabeblock 112 führt zu einem Funktionsblock 114 zum Auswählen eines Blickvektors. Der Funktionsblock 114 wiederum führt zu einem Funktionsblock 116 zum Rendern (Berechnen) der Scandaten als ein 3D-Bild um den Blickvektor herum. Der Funktionsblock 116 führt zu einem Funktionsblock 118 zum Anzeigen des gerenderten 3D-Bilds für einen Benutzer. Der Funktionsblock 118 wiederum führt zu einem Entscheidungsblock 120 zum Ändern des Blickvektors. Wenn der Blickvektor geändert werden soll, wird die Steuerung zurück zum Funktionsblock 114 gegeben.
Wenn der Blickvektor derselbe bleibt, gibt der Entscheidungsblock 120 die Steuerung an einen Funktionsblock 122 zum Auswählen eines Schnittbereichs weiter. Der Funktionsblock 122 führt zu einem Funktionsblock 124 zum Durchführen der 2D-Segmentierung auf dem momentanen Schnitt relativ zum Blickvektor. Der Funktionsblock 124 wiederum übergibt die Steuerung an einen Entscheidungsblock 126 zur Bestimmung, ob mehr Schnitte im ausgewählten Schnittbereich vorhanden sind. Wenn keine Schnitte mehr vorhanden sind, wird die Steuerung an den Funktionsblock 124 zurückgegeben. Wenn jedoch alle Schnitte aus dem gewählten Bereich segmentiert worden sind, wird die Kontrolle an einen Funktionsblock 128 zur Anzeige des segmentierten Objekts gegeben. Der Funktionsblock 128 wiederum gibt die Steuerung an einen Endblock 130 weiter.
Unter Bezugnahme auf 2 ist eine Bildschirmabbildung einer Achtelansicht allgemein mit der Bezugsziffer 200 gekennzeichnet. Hier stellt die Achtelansicht drei orthogonale Ebenen bereit, wobei jede senkrecht auf einer der Koordinatenachsen steht. Jede Ebene weist drei Anzeigemodi auf: aktiv, inaktiv und unsichtbar. Wenn eine Ebene sich im aktiven Modus befindet, erscheint sie als Graustufenbild begleitet von einer voll gezeichneten hellen Umrandung. Wenn eine Ebene sich im inaktiven Modus befindet, erscheint sie als transparentes Bild zusammen mit einer gestrichelten Umrandung. Wenn eine Ebene sich im unsichtbaren Modus befindet, ist lediglich die gestrichelte Umrandung dargestellt. Jede Ebene kann unabhängig auf einen der drei Modi eingestellt werden. Wenn eine Ebene sich im aktiven Modus befindet und eine weitere Ebene im inaktiven Modus, kann ein Benutzer immer noch den Anteil der aktiven Ebene sehen, der sich hinter der inaktiven Ebene befindet, und so wird ihm ein gutes Gefühl des 3D-Raumes vermittelt.
Die graphische Benutzeroberfläche ist so gestaltet, dass die Achtelansicht die meiste Fensterfläche belegt und drei Symbolbilder auf der rechten Seite liegen. Die drei Symbolbilder zeigen dem Benutzer die herkömmlichen 2D-Schnittansichten an. Sie dienen auch als In-Bild-Steuerelemente (in-scene controls), so dass der Benutzer auf ein Symbolbild klicken kann, um zu dessen Anzeigemodus in der Achtelansicht zu schalten. Die Positionen der Symbolbilder können gemäß der Anwendungserfordernisse neu angeordnet werden.
Das Achtelansicht-Bild wird initialisiert als würde man auf den Nullpunkt von einem entfernten Punkt im ersten Achtel blicken. Das Koordinatensystem ist das gängige Rechtshänder-Koordinatensystem, wobei die Z-Achse nach oben zeigt. Das ge samte Bild der Achtelansicht kann z. B. unter Verwendung einer Mausziehbewegung rotiert werden. Der Rotationswinkel der Z-Ebene ist vorzugsweise von –60 bis +60 Grad beschränkt. Dies führt dazu, dass die Z-Achse immer nach oben zeigt, so dass der Benutzer das Gefühl der 3D-Ansicht nach mehreren Rotationen nicht verliert. Der Benutzer kann dennoch immer noch beliebige Teile einer 3D-Form sehen, da die Rotationswinkel alle gewünschten Ansichtsrichtungen abdecken außer kleinen Bereichen der Nord- bzw. Südpole. Dieser Aufbau stimmt mit vielen vorhandenen Softwarepaketen der computerunterstützten Konstruktion (CAD) überein, die dem Benutzer üblicherweise ein "Grundniveau" für die Arbeiten bereitstellen, so dass der Benutzer im 3D-Raum die Orientierung nicht verliert.
Eines der attraktiven Merkmale der Achtelansicht ist, dass man sehr leicht zu anderen Ebenen übergehen oder umschalten kann. Dies ist bei der Livewire-Anwendung in besonderem Maße nützlich. Man kann zu einer Ebene gehen, die parallel zur momentanen aktiven Ebene liegt durch Ergreifen eines sich bewegenden Hilfsmittels und Ziehen entlang einer Führungsschiene. Übergangsbilder in niedriger Auflösung werden mit dem Ziehen dargestellt, so dass der Benutzer grob wissen kann, wo er aufhören muss. Um auf ein Bild entlang einer anderen Achse zu schalten, muss der Benutzer lediglich auf diese Ebene klicken. Es muss keine weitere Steuerung aufgerufen werden.
Diese Benutzerschnittstelle betont die folgenden Gestaltungsmerkmale und Vorteile:
Reduzierte Mausbewegungsdistanz: viele In-Bild-Steuerelemente werden bereitgestellt, die die Benutzeroberfläche für die Bearbeitung intuitiver machen und die Mausbewegungsdistanz zu einem Großteil reduzieren. Wenn ein Benutzer länger auf einer Benutzeroberfläche arbeiten muss, erhöht das Reduzieren von unnötigen Mausbewegungen die Produktivität, reduziert die Ablenkung und verbessert die Ergonomie.
Reichhaltige visuelle Hilfsmittel und Rückmeldung: visuelle Hilfsmittel können Hilfe bereitstellen, um die Ansichtsgrößenordnung mit der Größenordnung der Eingabevorrichtung in Übereinstimmung zu bringen. Da der Achtelansichtsraum ein 3D-Raum ist, weist er drei Freiheitsgrade auf. Die beispielhafte Eingabeeinrichtung ist eine herkömmliche Maus, die zwei Freiheitsgrade aufweist. Durch zu Verfügung stellen von einigen visuellen Hilfsmitteln wie z. B. einer Schiebeleiste kann die Bewegung auf lediglich eine Dimension begrenzt werden, und sowohl Eingabe- als auch Ausgabevorrichtungen können aufeinander abgestimmt werden. Mit einer visuellen Rückmeldung kann ein Benutzer ebenfalls genau wissen, in welchem Zustand er sich befindet und entsprechend reagieren. Andere visuelle Rückmeldungen umfassen das Ändern der Form des Zeigers (Cursor), um das momentane Merkmal wiederzuspiegeln. Z. B. kann der Zeiger zu einer Eieruhr geändert werden, wenn der Benutzer warten muss. Fortschrittsergebnisanzeigen können dem Benutzer ebenfalls Hinweise geben über den Status des Prozesses.
Intuitive Steuerung: Die intuitive Steuerung stellt dem Benutzer eine bessere Bearbeitung der Benutzerschnittstelle zur Verfügung. Wenn der Benutzer das Bild weiter nach rechts bewegen möchte, bewegt man einfach die Maus nach rechts. Wenn der Benutzer es nach vorne bewegen möchte, bewegt man einfach die Maus von sich aus nach vorne. Wenn der Benutzer es zurückbewegen möchte, wird man versuchen, die Maus zurück zu einem hin zu ziehen. Durch das intuitive Design stimmt die natürliche Bewegung des Benutzers mit seiner Absicht überein. Wenn diese Übereinstimmung nicht erzielt wird, könnte sich ein Benutzer bei der Manipulation unbeholfen fühlen. Visuelle Hilfsmittel können ebenfalls einen wichtigen Einfluss auf die intuitive Steuerung haben. Wenn dem Benutzer z. B. eine Schiebeleiste präsentiert wird, die von der linken unteren Ecke zur oberen rechten Ecke verläuft, wird der Benutzer intuitiv die Maus in dieser diagonalen Art bewegen. Das interne Design stimmt mit dieser Aktion überein, um die Aktivität auf dem Bildschirm korrekt wiederzuspiegeln.
In-Bild-Steuerung: Die Benutzeroberflächengestaltung lässt den Benutzer Dinge in einem Bild tun, durch die Bewegungsdistanzen der Maus minimiert und das Klicken von Knöpfen oder Menüs vermieden wird. Graphische Hilfselemente im Bild sind zur Durchführung von unterschiedlichen Aufgaben enthalten. Wenn der Mauszeiger über ein graphisches Hilfselement bewegt wird, wird dessen zu Grunde liegende Funktionalität auf die des speziellen graphischen Hilfsmittels geändert. Diese Art von Gestaltung ermöglicht den Benutzern eine bessere visuelle Bewusstwerdung des aktuellen Zustands des Zeigers und vermeidet ein Hin- und Herbewegen der Maus beim Auswählen von unterschiedlichen Modi z. B. aus einer Menü- oder Aufgabenleiste. Demnach sind zwei dreieckige Griffhilfselemente auf zwei gegenüberliegenden Ecken einer Ebene enthalten. Wenn ein Zeiger auf die Spitze eines der Hilfsmittel geklickt wird, erscheint eine Schiebeleiste, die den Benutzer durch Ziehen entlang beschränkter Richtungen führt, um die Ebene umzuwandeln.
Obwohl Segmentierungswerkzeuge üblicherweise in einem 2D-Bild angewendet werden, das in einem rechteckigen oder quadratischen Bereich auf dem Bildschirm angezeigt wird, heben beispielhafte Ausführungsformen des Livewire-Hilfsmittels diese Beschränkung auf und lassen es zu, dass diese Ebene irgendwo im 3D-Raum auftritt. Mit dieser Anordnung kann das Livewire-Hilfsmittel direkt auf ein in einem 3D-Raum eingebettetes 2D-Bild angewendet werden. Das grundlegende Segmentierungsarbeitsprinzip bleibt das gleiche, es wird jedoch eine besondere Transformation zwischen der Mausposition und den Bildkoordinaten verwendet. Wenn ein 2D-Bild als eine Ebene im 3D-Raum behandelt wird, wird der Schnittpunkt eines Strahls ermittelt, der von der Mausposition zu dieser Ebene entspringt.
Es ist zu bemerken, dass die Bildschirmkoordinaten üblicherweise gegenüber den Fensterkoordinaten bezüglich der X-Achse aufgrund der Tatsache gespiegelt sind, dass der Ursprung der Bildschirmkoordinaten auf der oberen linken Ecke basiert, wäh rend der Ursprung der Fensterkoordinaten von OpenGL auf der unteren linken Ecke basiert. Mit einer Blicktransformationsmatrix T, die einen Punkt von Objektkoordinaten in Fensterkoordinaten transformiert, einem Fensterpunkt s₁(x, y) und mit der Bildebene Ax + By + Cz + D = 0, lässt sich der Schnittpunkt p₃ durch die folgenden drei Schritte ermitteln: 1) man nehme einen Punkt s₁(x, y, 0) in Fensterkoordinaten und führe eine inverse Transformation durch, um dessen entsprechenden Punkt p1 in Objektkoordinaten zu erhalten p₁ = T^–1·s₁. 2) man nehme einen weiteren Punkt s₂(x, y, 1), um p₂ zu erhalten. 3) p₃ = p₁ + k·v, wobei k der Abstand von p₁ zu p₃ und v = p₂ – p₁ ist.
Die Berechnung des Abstands k kann weiterhin vereinfacht werden, wenn die spezielle Anwendung nur die Ebenen behandelt, die orthogonal zu einer der Koordinatenachsen sind. Z. B. wird die Ebenengleichung orthogonal zur Z-Achse auf z + D = 0 vereinfacht. Der Abstand k kann berechnet werden durch k = –(D + P₁(z))/v(z).
Hier ist der Übergang von Objektkoordinaten zu Bildkoordinaten nur ein Skalierungsfaktor. Da die Ebene in der Achtelansichtkoordinate in einem Bereich von 0 bis 1 auf jeder Seite verläuft, muss das Hilfsmittel nur die Anzahl von Pixeln entlang jeder Seite multiplizieren, um zum tatsächlichen Ort eines Pixels im Bild zu gelangen.
Die Achtelansicht-Benutzeroberfläche wird unter Verwendung von OpenGL entwickelt, das dem Fachmann bekannt ist. Um die interaktive Geschwindigkeit des Livewire-Hilfsmittels zu erzielen, werden Transferoperationen von Pixelrechtecken verwendet, anstatt das gesamte Bild während einer Livewire-Zeichensitzung erneut zu zeichnen. Das Bild wird während der Zeichensitzung außer für die Änderungen eines Teils der Livewire-Linie fixiert. Deshalb besteht kein Bedarf, alles für diese Änderung neu zu zeichnen. Eine Kopie des gesamten Vollbildes wird vor Aufnahme der Livewire-Zeichensitzung gespeichert. Die Zeichen box wird für das sich bewegende Stück des Livewires verfolgt. Wenn eine Aktualisierung notwendig ist, wird der Bereich des gespeicherten Vollbildes innerhalb der Zeichenbox zurück in den Vollbildzwischenspeicher kopiert, das neue Stück des Livewires wird gezeichnet. Dieser Ansatz ist im Allgemeinen effizienter als das gesamte Bild neu zu zeichnen.
Ein besonderer Zeichenmodus kann in der Achtelansichteinstellung für Livewire in zweieinhalb Dimensionen ("2 1/2 D") erzielt werden. Eine Achtelansicht kann mit zwei oder 3 orthogonalen Bildern aufgesetzt werden. Diese Ansicht wird als ein projiziertes Bild genommen und als das Arbeitsbild für das Livewire-Hilfsmittel verwendet. Nachdem die Begrenzungen von einigen Bereichen des projizierten Bildes durch das Livewire-Hilfsmittel abgegrenzt wurden, wird die Grenze in den 3D-Raum zurückprojiziert. Auf diese Weise zeichnet Livewire die Konturen auf unterschiedlichen Ebenen in einer einzigen Zeichensitzung.
Wendet man sich nun 3 zu, ist ein Beispiel, das eine Livewire-Zeichensitzung veranschaulicht, allgemein mit der Bezugsziffer 300 gekennzeichnet. In diesem Beispiel wird die Darstellung eines Oberschenkelknochens aus dem Datenvolumen extrahiert. Dies war in der Vergangenheit keine leichte Aufgabe, da übliche Bildverarbeitungstechniken wie z. B. Threshholding oder Bereichswachstum (Region Growing) in diesem Fall typischerweise versagen. Dies ist deshalb der Fall, da es in einem gewissen Bereich/gewissen Bereichen, wo der Oberschenkelknochen sehr nahe am Becken liegt, keine klare Grenze gibt.
3(a) zeigt eine Livewire-Zeichensitzung wie begonnen. Die Lebendlinie (Live Path) ist auf dem Anzeigebildschirm in oranger Farbe gekennzeichnet. 3(b) zeigt, dass ein Abschnitt der Grenze fixiert ist, und dies ist auf dem Anzeigebildschirm in purpurner Farbe gekennzeichnet. 3(c) zeigt die eine Kontur, die mit lediglich drei Klicks vervollständigt ist. 3(d) zeigt das Umschalten auf eine Ebene in der an deren Achse. Die neue Arbeitsebene wird nun in Graustufen und die alte Arbeitsebene transparent dargestellt.
Wendet man sich 4 zu, die die Abfolge aus 3 weiterführt, ist das weitergeführte Beispiel, das eine Livewire-Zeichensitzung veranschaulicht, allgemein mit der Bezugsziffer 400 gekennzeichnet. 4(e) zeigt, dass das Bild rotiert ist, um einen besseren Winkel für das Zeichnen einer neuen Ebene zu erhalten, und eine neue Livewire-Zeichensitzung wird begonnen. 4(f) zeigt einen Abschnitt der Begrenzung, die in der neuen Ebene fixiert ist. 4(g) zeigt zwei vollständige Konturen im 3D-Raum, nachdem die Ebenen auf transparente Modi geschaltet wurden. In diesem Beispiel dauerte der gesamte Prozess lediglich ungefähr eineinhalb Minuten.
Nach dem Extrahieren von zwei orthogonalen Konturen wird ein Formrekonstruktionsalgorithmus angewendet, um eine grobe Näherung des Oberschenkelknochens zu erhalten. 4(h) zeigt Ergebnisse in einem Drahtgitterformat.
Wendet man sich 5 zu, die die Abfolge der 3 und 4 weiterführt, ist das weitergeführte Beispiel, das eine Livewire-Zeichensitzung veranschaulicht, allgemein mit der Bezugsziffer 500 gekennzeichnet. 5(i) zeigt die Sitzungsergebnisse in einem oberflächenschattierten Format.
Wie in 6 dargestellt ist der Livewire-Ablauf im besonderen 2 1/2 D-Modus allgemein mit der Bezugsziffer 600 gekennzeichnet. 6(a) zeigt ein Verbundbild an, wenn der besondere Zeichenmodus angeschaltet ist. Hier schneiden sich jeweils drei Graustufenbilder. 6(b) zeigt, dass der Livewire in diesem Verbundbild gezeichnet ist. 6(c) zeigt den fertigen Umriss. 6(d) zeigt den gedrehten Winkel, um aufzuzeigen, dass der Umriss tatsächlich ein 3D-Umriss ist.
Damit bieten die Ausführungsformen der vorliegenden Offenbarung mächtige 2D-Segmentierungshilfsmittel für Anwendungen in einer 3D-Umgebung, wodurch Benutzern ermöglicht wird, signifikante 3D-Merkmale und interessierende 3D-Bereiche zu extrahieren. Bevorzugte Ausführungsformen können als sehr nützliche 3D-Editierwerkzeuge in klinischen Anwendungen dienen.
Die Benutzeroberfläche ist ein wichtiger Teil beim Ausliefern von klinischer Software, da die Benutzeroberfläche hauptsächlich bestimmt, ob die Software effektiv verwendet wird. Durch die Gestaltung einer klinischen Benutzeroberfläche ist ein Designer gut beraten, zu berücksichtigen, dass die Software die Anforderungen des Arztes erfüllen muss, nicht umgekehrt. Die Benutzeroberfläche muss intuitiv und einfach zu erlernen sein. Es ist entscheidend, dass die Benutzeroberfläche den Arzt nicht mit Details der Implementierung belastet.
Ein Grund, warum die vorliegend offenbarte Achtelansicht früher existierenden medizinischen Anwendungsoberflächen überlegen ist, ist, dass dem Benutzer eine bessere 2D/3D-Beziehung präsentiert wird. Viele vorhandene Benutzeroberflächen weisen mehrere 2D-Schnittansichten auf, wodurch von den Benutzern verlangt wird, deren Verhältnisse zueinander im Kopf zu konstruieren, um das 3D-Bild zu erhalten. Diese Aufgabe erfordert üblicherweise zusätzliches Training und kann eine steile Lernkurve erfordern. Stattdessen bietet die vorliegende Achtelansicht dem Benutzer direkt eine 3D-Ansicht, wodurch eine Rekonstruktion im Kopf durch den Benutzer vermieden wird. Mit einer bereits auf dem Bildschirm vorhandenen visuellen Darstellung können sich Benutzer vom Konstruieren eines 3D-Bilds im Kopf lösen und sich auf andere Aufgaben wie z. B. die Segmentierungsführung konzentrieren.
Diese und andere Merkmale und Vorteile der vorliegenden Offenbarung können basierend auf der hierin vorhandenen Lehre durch einen gewöhnlichen Fachmann festgestellt werden. Es versteht sich, dass die Lehre der vorliegenden Offenbarung in unterschiedlichen Formen von Hardware, Software, Firmware, Prozes soren mit besonderem Zweck oder aus Kombinationen davon implementiert werden kann.
Am vorteilhaftesten wird die Lehre der vorliegenden Offenbarung als eine Kombination von Hardware und Software implementiert. Darüber hinaus wird die Software vorzugsweise als ein Anwendungsprogramm implementiert, das konkret auf einer Programmspeichereinheit enthalten ist. Das Anwendungsprogramm kann von einer Maschine und durch eine Maschine ausgeführt werden, die eine beliebige geeignete Architektur aufweist. Vorzugsweise ist die Maschine auf einer Computerplattform implementiert, die Hardware wie z. B. ein oder mehrere Hauptverarbeitungseinheiten ("CPU"), einen Schreiblesespeicher ("RAM") und Eingabe-/Ausgabe-("I/O")-Schnittstellen aufweist. Die Computerplattform kann ebenfalls ein Betriebssystem und Mikrobefehlscode aufweisen. Die verschiedenen Prozesse und Funktionen, die hierin beschrieben sind, können entweder Teil des Mikrobefehlscodes oder Teil des Anwendungsprogramms oder einer beliebigen Kombination davon sein, die durch eine CPU ausgeführt werden können. Zusätzlich können verschiedene andere Peripherieeinrichtungen mit der Computerplattform verbunden sein wie z. B. eine zusätzliche Datenspeichereinheit und eine Druckeinheit.
Es versteht sich des Weiteren, da einige der in den beigefügten Zeichnungen abgebildeten Systembestandteile und -verfahren vorzugsweise in Software implementiert sind, dass die tatsächlichen Verbindungen zwischen Systembestandteilen oder den Prozessfunktionsblöcken sich je nach Art und Weise unterscheiden können, in der die vorliegende Offenbarung programmiert ist. Mit der hierin angegebenen Lehre wird ein mit dem angemessenen Fachwissen ausgestatteter Fachmann in der Lage sein, diese und ähnliche Implementierungen oder Konfigurationen der vorliegenden Offenbarung zu betrachten.
Obwohl die veranschaulichenden Ausführungsformen hierin unter Bezugnahme auf die beigefügten Zeichnungen beschrieben wurden, versteht es sich, dass die vorliegende Offenbarung nicht auf diese genauen Ausführungsformen beschränkt ist, und dass verschiedene Änderungen und Modifikationen darin durch den Fachmann vollzogen werden können, ohne vom Wesen der vorliegenden Offenbarung abzuweichen. Sämtliche derartigen Änderungen oder Modifikationen sind mit Absicht als innerhalb des Umfangs der vorliegenden Offenbarung mit eingeschlossen, wie sie in den beigefügten Ansprüchen dargestellt ist.
Zusammenfassung
Verfahren sowie hierzu geeignete Vorrichtung zur Bildsegmentierung in einer dreidimensionalen Umgebung, mit den Schritten:
Empfangen von Scandaten;
Auswählen eines Blickvektors relativ zu den Scandaten;
Rendern (Rendering) der Scandaten als ein 3D-Bild um den Bildvektor herum;
Anzeigen des gerenderten (berechneten) 3D-Bildes;
Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bilds;
Durchführen einer 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Bildvektor, um ein segmentiertes 3D-Objekt zu erhalten; und
Anzeigen des segmentierten 3D-Objekts.

Claims

Verfahren zur Bildsegmentierung in einer dreidimensionalen Umgebung, mit den Schritten: Empfangen von Scandaten; Auswählen eines Blickvektors relativ zu den Scandaten; Rendern (Rendering) der Scandaten als ein 3D-Bild um den Bildvektor herum; Anzeigen des gerenderten (berechneten) 3D-Bildes; Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bilds; Durchführen einer 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Bildvektor, um ein segmentiertes 3D-Objekt zu erhalten; und Anzeigen des segmentierten 3D-Objekts.
Verfahren nach Anspruch 1, das weiterhin die Durchführung der Im-Bild-Steuerung von Schnitten innerhalb des 3D-Bilds durch Greifhilfselemente auf den 2D-Schnittbildern innerhalb eines gerenderten 3D-Bildes umfasst.
Verfahren nach Anspruch 2, das weiterhin das Bereitstellen von Schiebeleisten umfasst, die entlang von eingeschränkten Richtungen bewegbar sind, um die Auswahl der Schnittbereiche zu führen;
Verfahren nach Anspruch 1, wobei der Schritt des Auswählens eines Bereichs von Schnitten innerhalb des 3D-Bilds die Auswahl von 2D-Bildebenen entlang unterschiedlicher Achsen umfasst, um innerhalb des gerenderten 3D-Bildes angezeigt zu werden.
Verfahren nach Anspruch 1, wobei der Schritt des Durchführens der 2D-Segmentierung die Bestimmung der Übereinstimmung zwischen einem Mauspunkt und den Daten innerhalb eines 2D-Bildes im 3D-gerenderten Bild umfasst.
Verfahren nach Anspruch 5, wobei der Schritt des Bestimmens der Übereinstimmung die Bestimmung des Schnittpunkts des Mauspunktes und des 2D-Schnittbildes innerhalb des 3D-Bildes durch folgende Schritte umfasst: Erhalten eines Mauspunktes in Fensterkoordinaten; inverses Transformieren des Mauspunktes, um dessen entsprechenden ersten Punkt in Objektkoordinaten der Scandaten zu erhalten; Berechnen eines zweiten Punktes entlang eines geraden Vektors vom ersten Mauspunkt; und Bestimmung des Schnittpunktes als Funktion des ersten Punktes, eines Abstandes vom ersten Punkt zum Schnittpunkt und eines Vektors, der durch Subtrahieren des ersten Punktes vom zweiten Punkt ermittelt wurde.
Verfahren nach Anspruch 1, wobei der Schritt der Durchführung der 2D-Segmentierung das Zeichnen des Segmentierungsumrisses in einer Vielzahl von unterschiedlichen Ebenen im gerenderten 3D-Bild innerhalb einer einzelnen Zeichensitzung umfasst.
Verfahren nach Anspruch 7, das weiterhin die Rückprojektion der Koordinaten der Segmentierungsumrisse innerhalb jeder 2D-Bildebene auf den 3D-Koordinatenraum aufweist.
Verfahren nach Anspruch 1 weiterhin mit den Schritten: Auswählen eines zweiten Blickvektors relativ zum gerenderten 3D-Bild; und erneutes Rendern der Scandaten als ein 3D-Bild um den zweiten Blickvektor herum.
Verfahren nach Anspruch 1, wobei der Schritt des Durchführens der 2D-Segmentierung umfasst: Auswählen eines Ankerpunktes; Transformieren des Ankerpunktes von Objektkoordinaten in Fensterkoordinaten; und Bestimmung eines Schnittpunktes des Ankerpunktes mit einer Bildebene.
Verfahren nach Anspruch 1, wobei die Scandaten mittels einer medizinischen Bildgebungsvorrichtung erzeugt wurden.
Verfahren nach Anspruch 11, wobei das segmentierte 3D-Objekt ein Organ kennzeichnet.
Verfahren nach Anspruch 1, das weiterhin das manuelle Überschreiben eines Abschnitts der 2D-Segmentierung umfasst, die angrenzend zwischen zwei Abschnitten der automatischen 2D-Segmentierung angeordnet ist.
Vorrichtung zur Bildsegmentierung in einer dreidimensionalen Umgebung, mit: Eingabemitteln zum Empfang von Scandaten; mit den Eingabemitteln gekoppelte Auswahlmittel zum Auswählen eines Blickvektors relativ zu den Scandaten; mit den Auswahlmitteln gekoppelte Renderingmittel zum Rendern der Scandaten als ein 3D-Bild um den Blickvektor herum; mit den Renderingmitteln gekoppelte erste Anzeigemittel zum Anzeigen des gerenderten 3D-Bildes; mit den Anzeigemitteln gekoppelte Bereichsauswahlmitteln zum Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bildes; mit den Bereichsauswahlmitteln gekoppelte Segmentierungsmittel zum Durchführen der 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Blickvektor, um ein segmentiertes 3D-Objekt zu erhalten; und mit den Segmentierungsmitteln gekoppelte zweite Anzeigemittel zum Anzeigen des segmentierten 3D-Objekts.
Vorrichtung nach Anspruch 14, die weiterhin Steuerungsmittel zum Durchführen der In-Bild-Steuerung von Schnitten innerhalb des 3D-Bildes mittels Greifhilfselementen auf den 2D-Schnittbildern innerhalb eines gerenderten 3D-Bildes umfasst.
Vorrichtung nach Anspruch 15, die weiterhin Führungsmittel zum Bereitstellen von Schiebeleisten umfasst, die entlang beschränkter Richtungen bewegbar sind, um die Auswahl der Schnittbereiche zu führen.
Vorrichtung nach Anspruch 14, wobei die Bereichsauswahlmittel Auswahlmittel zum Auswählen von 2D-Bildebenen entlang verschiedener Achsen umfassen, um innerhalb des gerenderten 3D-Bildes angezeigt zu werden.
Vorrichtung nach Anspruch 14, wobei die Segmentierungsmittel Mausmittel zur Bestimmung der Übereinstimmung zwischen einem Mauspunkt und den Daten innerhalb eines 3D-Bildes im gerenderten 3D-Bild umfassen.
Vorrichtung nach Anspruch 18, wobei die Mausmittel Überschneidungsmittel umfassen zur Bestimmung der Schnittmenge des Mauspunkts und des 2D-Schnittbilds innerhalb des 3D-Bilds, mit: Fenstermitteln zum Empfangen eines Mauspunkts in Fensterkoordinaten; inversen Transformationsmitteln zur inversen Transformation des Mauspunkts, um dessen entsprechenden ersten Punkt in Objektkoordinaten der Scandaten zu erhalten; Vektormitteln zum Berechnen eines zweiten Punkts entlang eines geraden Vektors vom ersten Mauspunkt; und Funktionsmitteln zur Bestimmung des Schnittspunkts als eine Funktion des ersten Punkts, eines Abstands vom ersten Punkt zum Schnittpunkt und eines Vektors, der durch Subtrahieren des ersten Punkts vom zweiten Punkt ermittelt wurde.
Vorrichtung nach Anspruch 14, wobei die Segmentierungsmittel Zeichenmittel zum Zeichnen der Segmentierungsumrisse in einer Vielzahl von unterschiedlichen Ebenen im gerenderten 3D-Bild innerhalb einer einzelnen Zeichensitzung umfassen.
Vorrichtung nach Anspruch 20, die darüber hinaus Rückprojektionsmittel zur Rückprojektion der Punktkoordinaten des Segmentierungsumrisses innerhalb jeder 2D-Bildebene in den 3D-Koordinatenraum umfasst.
Vorrichtung nach Anspruch 14, des Weiteren mit: zweiten Auswahlmitteln, die mit mindestens einer der ersten und zweiten Anzeigemittel gekoppelt sind, zum Auswählen eines zweiten Blickvektors relativ zum gerenderten 3D-Bild; und zweiten Renderingmitteln, die mit den zweiten Auswahlmitteln gekoppelt sind zum erneuten Rendern der Scandaten als ein 3D-Bild um den zweiten Blickvektor herum.
Vorrichtung nach Anspruch 14, wobei die Segmentierungsmittel zur Durchführung der 2D-Segmentierung umfassen: Ankermittel, die mit den Segmentierungsmitteln gekoppelt sind, zum Erfassen von Merkmalsumrissen innerhalb des 2D-Bilds im 3D-Bild Schnittmittel zur Bestimmung der Mauskoordinatenübereinstimmung mit der 2D-Bildebene Transformationsmittel zum Umwandeln des erfassten Merkmalsumrisses in Fensterkoordinaten zur Anzeige im 3D-Bild.
Vorrichtung nach Anspruch 14, die weiterhin eine medizinische Bildgebungsvorrichtung zum Erzeugen der Scandaten umfasst.
Vorrichtung nach Anspruch 24, wobei das segmentierte 3D-Objekt ein Organ kennzeichnet.
Vorrichtung nach Anspruch 14, die weiterhin manuelle Überschreibemittel aufweist, die mit den Segmentierungsmitteln gekoppelt sind, zum Bereitstellen einer manuell überschriebenen 2D-Segmentierung, die angrenzend zwischen zwei Bereichen einer automatischen 2D-Segmentierung angeordnet ist.
Maschinenlesbare Programmspeichervorrichtung, die konkret ein Programm von maschinenausführbaren Befehlen enthält, um Programmschritte zur Bildsegmentierung in einer dreidimensionalen Umgebung durchzuführen, wobei die Programmschritte umfassen: Empfangen von Scandaten; Auswählen eines Blickvektors relativ zu den Scandaten; Rendern der Scandaten als ein 3D-Bild um den Blickvektor herum; Anzeigen des gerenderten 3D-Bildes; Auswählen eines Bereichs von 2D-Bildschnitten innerhalb des 3D-Bilds; Durchführen einer 2D-Segmentierung auf den ausgewählten Schnitten relativ zum Blickvektor, um ein segmentiertes 3D-Objekt zu erhalten; und Anzeigen des segmentierten 3D-Objekts.
Programmspeichervorrichtung nach Anspruch 27, wobei die Programmschritte des Weiteren die Durchführung von In-Bild-Steuerung von Schnitten innerhalb des 3D-Bilds durch Greifhilfselemente auf den 2D-Schnittbildern innerhalb eines gerenderten 3D-Bildes umfassen.
Programmspeichervorrichtung nach Anspruch 28, wobei die Programmschritte des Weiteren das Bereitstellen von Schiebeleisten umfassen, die entlang beschränkter Richtungen bewegbar sind, um die Auswahl der Schnittbereiche zu führen.
Programmspeichervorrichtung nach Anspruch 27, wobei der Programmschritt des Auswählens eines Bereichs von Schnitten innerhalb des 3D-Bilds das Auswählen von 2D-Bildebenen entlang verschiedener Achsen umfasst, um innerhalb des gerenderten 3D-Bilds angezeigt zu werden.
Programmspeichervorrichtung nach Anspruch 27, wobei der Programmschritt des Durchführens der 2D-Segmentierung die Bestimmung der Übereinstimmung zwischen einem Mauspunkt und den Daten innerhalb eines 2D-Bilds im gerenderten 3D-Bild umfasst.
Programmspeichervorrichtung nach Anspruch 31, wobei der Programmschritt des Bestimmens der Übereinstimmung das Bestimmen der Schnittmenge des Mauspunkts und des 2D-Schnittbildes innerhalb des 3D-Bilds durch folgende Programmschritte umfasst: Empfangen eines Mauspunktes in Fensterkoordinaten; inverses Transformieren des Mauspunkts, um dessen entsprechenden ersten Punkt in Objektkoordinaten der Scandaten zu erhalten; Berechnen eines zweiten Punkts entlang eines geraden Vektors vom ersten Mauspunkt; und Bestimmen des Schnittpunkts als Funktion des ersten Punkts, eines Abstands vom ersten Punkt zum Schnittpunkt und eines Vektors, der durch Subtrahieren des ersten Punkts vom zweiten Punkt ermittelt wurde.
Programmspeichervorrichtung nach Anspruch 27, wobei der Programmschritt des Durchführens der 2D-Segmentierung das Zeichnen des Segmentierungsumrisses in einer Vielzahl von unterschiedlichen Ebenen im gerenderten 3D-Bild innerhalb einer einzelnen Zeichensitzung umfasst.
Programmspeichervorrichtung nach Anspruch 33, die des Weiteren den Programmschritt der Rückprojektion der Punktkoordinaten der Segmentierungsumrisse innerhalb jeder 2D-Bildebene in den 3D-Koordinatenraum umfasst.
Programmspeichervorrichtung nach Anspruch 27, wobei die Programmschritte weiterhin aufweisen: Auswählen eines zweiten Blickvektors relativ zum gerenderten 3D-Bild; und erneutes Rendern der Scandaten als ein 3D-Bild um den zweiten Blickvektor herum.
Programmspeichervorrichtung nach Anspruch 27, wobei der Programmschritt des Durchführens der 2D-Segmentierung aufweist: Auswählen eines Ankerpunktes; Transformieren des Ankerpunktes von Objektkoordinaten in Fensterkoordinaten; und Bestimmen einer Schnittmenge des Ankerpunkts innerhalb einer Bildebene.
Programmspeichervorrichtung nach Anspruch 27, wobei die Scandaten mittels einer medizinischen Bildgebungsvorrichtung erzeugt werden.
Programmspeichervorrichtung nach Anspruch 37, wobei das segmentierte 3D-Objekt ein Organ kennzeichnet.
Programmspeichervorrichtung nach Anspruch 27, wobei die Programmschritte des Weiteren den Schritt des Durchführens der manuell überschriebenen 2D-Segmentierung aufweisen, die angrenzend zwischen zwei Abschnitten der automatischen 2D-Segmentierung angeordnet ist.