DE102022201536A1

DE102022201536A1 - Verfahren zur Bildregistrierung eines Teilbereichs in einem Objektbild in ein Referenzbild mittels einer validen Abbildungsvorschrift, Vorrichtung zur Bildregistrierung und Computerprogramm

Info

Publication number: DE102022201536A1
Application number: DE102022201536.3A
Authority: DE
Inventors: Sai Gokul Hariharan
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthcare GmbH
Priority date: 2022-02-15
Filing date: 2022-02-15
Publication date: 2023-03-23

Abstract

In einer Trainingsphase eines neuronalen Netzes (11) zum Ermitteln einer validen Abbildungsvorschrift (T(ψ)) wird ein Verlustwert (L) für die temporäre Abbildungsvorschrift (T) anhand einer Verlustfunktion (D) ermittelt, um einen Teilbereich (TO) eines Objektbildes (OB) in einen Teilbereich (TB) eines Referenzbildes (RB) zu überführen. Die Verlustfunktion (D) beinhaltet eine Summe quadratischer Abweichungen. Diese Abweichungen beinhalten jeweils eine erste Pixelposition (x1, y1) in dem Objektbild (OB) und eine zweite Pixelposition (x2, y2) in dem Referenzbild (RB). Die zweite Pixelposition (x2, y2) kann durch Anwenden der temporären Abbildungsvorschrift (T0) auf die erste Pixelposition (x1, y1) bestimmt werden. Eine weitere temporäre Abbildungsvorschrift (T0) und ein weiterer Verlustwert (L) werden bevorzugt so lange ermittelt, bis der Verlustwert (L) einen vorgegebenen Schwellenwert (SW) unterschreitet. Der Teilbereich (TO) des Objektbildes (OB) wird von dem Referenzbild (RB) mittels jener Abbildungsvorschrift (T) als valide Abbildungsvorschrift (T(ψ) subtrahiert.

Description

Die Erfindung betrifft ein Verfahren zur Bildregistrierung eines Teilbereichs in einem Objektbild in ein Referenzbild, insbesondere ergänzt durch digitale Subtraktionsangiographie, mittels einer validen Abbildungsvorschrift. Insbesondere kann nach einer Bildregistrierung eine digitale Subtraktion zum Einsatz kommen. Ferner betrifft die Erfindung eine Vorrichtung zur Bildregistrierung mit einem Bilderzeuger zum Generieren eines Objektbilds. Zudem betrifft die Erfindung ein entsprechendes Computerprogramm und einen dazugehörigen computerlesbaren Datenträger.
Um immer anspruchsvollere endovaskuläre Behandlungen durchführen zu können, haben röntgenbasierte interventionelle Verfahren in der medizinischen Praxis zunehmend an Bedeutung gewonnen. Für einige Verfahren wie zum Beispiel Erkennung und anschließende Behandlung von Aneurysmen oder arteriovenösen Verformungen im Rahmen interventioneller neuroradiologischer Verfahren sind digitale Subtraktionsangiographiebilder mit entsprechend hoher Bildqualität notwendig. Bei Subtraktionsangiographiebildern wird in der Regel ein Maskenbild (Objektbild ohne Kontrastmittel, flüssige Emboliemittel, medizinische Geräte oder andere Instrumente) von einem oder mehreren Füllbildern (Referenzbild mit Kontrastmittel, flüssige Emboliemittel, medizinische Geräte oder andere Instrumente) subtrahiert. Dies kann nach einer Log-Transformation geschehen. Das Maskenbild ist häufig das Objektbild, während das Füllbild oft das Referenzbild darstellt. Jedoch kann es auch genau umgekehrt sein. Dadurch können Blutgefäße mittels Entfernens des anatomischen Hintergrunds verbessert dargestellt werden.
Maskenbilder sowie Füllbilder sind aufgrund von Patientenbewegungen oder Organbewegungen häufig nicht exakt räumlich zueinander ausgerichtet. Aus diesem Grund können Subtraktionsangiographiebilder Ausrichtungsartefakte aufweisen. Daher werden Algorithmen eingesetzt, um geometrische Transformationen zwischen Objektbildern und Referenzbildern zu bestimmen. Wenn jedoch Kontrastmittel oder Klebstoff initiiert wird, kann es erhebliche Unterschiede zwischen den Referenzbildern und Füllbildern geben. Diese Unterschiede können einen Bildregistrierungsprozess erheblich verfälschen. Eine entsprechend bestimmte Transformation kann daher nicht geeignet oder gar fehlerhaft sein. Derartige Methoden können während einer Anwendungsphase auf eine Lösung von Optimierungsproblemen angewiesen sein. Daher kann der Einsatz dieser Methoden in Echtzeit einen Kompromiss zwischen Nutzen und Aufwand erfordern.
Die Veröffentlichung VoxelMorph: „A Learning Framework for Deformable Medical Image Registration“ von den Autoren Guha Balakrishnan, Amy Zhao, Mert R. Sabuncu, John Guttag und Adrian V. Dalca vom 17. Januar 2019 präsentieren ein schnelles lernbasiertes Rahmenwerk für deformierbare, paarweise medizinische Bildregistrierung. Das Verfahren wird VoxelMorph genannt. Es wird eine Funktion formuliert, welche ein Eingabebildpaar auf ein Deformationsfeld abbildet, welches diese Bilder aufeinander abstimmt. Mittels eines neuronalen Faltungsnetzwerks wird diese Funktion parametrisiert und optimiert. Es werden zwei verschiedene Trainingsstrategien angesprochen. In einem ersten unüberwachten Trainingsmodus wird das Modell hinsichtlich der Zielfunktionen maximiert, die auf den Bildintensitäten beruhen. In einem zweiten Trainingsmodus werden in den Trainingsdaten verfügbare Hilfssegmentierungen in den Trainingsdaten genutzt.
Viele lernbasierte Methodiken zur Extraktion von Deformationsvektoren bieten jedoch keine Lösung bezüglich komplexer Optimierungsprobleme während einer Inferenz an. Eine Inferenz stellt insbesondere das Anwenden eines trainierten Modells während einer Bildregistrierung dar. Die Inferenz repräsentiert somit insbesondere eine Art „Life-Verfahren“. Bereits bekannte Verfahren regulieren jedoch die Deformationsfelder, um sicherzustellen, dass sie physikalisch plausibel sind. Aufgrund der vorgenommenen Regulierung oder Anpassungen können derartige Verfahren zu falschen Deformationsvektoren führen, wenn Kontrastmittel eingesetzt werden. Darüber hinaus berücksichtigen derartige Verfahren keine Präferenz eines Anwenders, zum Beispiel eines Arztes oder einer medizinischen Hilfskraft.
Eine Aufgabe der Erfindung kann darin gesehen werden, eine Bildregistrierung effizienter zu gestalten. Insbesondere sollte ein entsprechend verbessertes Verfahren während einer Interferenz-Phase eingesetzt werden können.
Die Aufgabe wird mittels der unabhängigen Patentansprüche dieser Anmeldung gelöst. Sinnvolle Weiterbildungen und alternative Ausführungsformen sind in den Unteransprüchen, der Beschreibung sowie in den Figuren angegeben.
Ein erster Aspekt betrifft ein Verfahren zur Bildregistrierung eines Teilbereichs in einem Objektbild in einem Referenzbild mittels einer validen Abbildungsvorschrift. Dies geschieht bevorzugt mittels einer digitalen Subtraktion des Objektbildes von dem Referenzbild beziehungsweise mittels digitaler Subtraktionsangiographie. Der Teilbereich kann eine Pixelgruppe mit mehreren Pixeln im Objektbild umfassen. Diese Pixelgruppe kann beispielsweise 5 x 5 oder 7 x 7 Pixel umfassen. Um ein vorgegebenes Pixel kann ein vorgegebener Bereich benachbarter Pixel angeordnet sein. Dieser vorgegebene benachbarte Bereich kann die Pixelgruppe darstellen. Eine valide Abbildungsvorschrift bezeichnet insbesondere eine Abbildungsvorschrift, welche einem vorgegebenen Qualitätskriterium genügt. Dazu können mehrere unterschiedliche temporäre Abbildungsvorschriften im Vorfeld berechnet oder vorgegeben werden. Insbesondere können in einem iterativen Prozess mehrere unterschiedliche temporäre Abbildungsvorschriften ermittelt werden, welche bevorzugt zur validen Abbildungsvorschrift führen.
Das Verfahren kann mit Hilfe folgender Verfahrensschritte ausgeführt werden. In einem ersten Schritt a wird insbesondere das Referenzbild, das Objektbild und ein trainierbares oder ein trainiertes neuronales Netz bereitgestellt. Im Falle des neuronalen Netzes kann es sich um Faltungsnetzwerk handeln. Das Faltungsnetzwerk kann als Convolutional Neural Network ausgebildet sein. Ebenso kann das neuronale Netz als Generative Adversarial Network ausgebildet sein.
In einem weiteren Schritt b kann der Teilbereich in dem Objektbild, der mit dem Referenzbild zu registrieren ist, vorgegeben werden. Registrieren kann das Ermitteln der validen Abbildungsvorschrift und das entsprechende Überführen des Objektbildes in das Referenzbild bedeuten (vgl. Schritt g). Anschließend kann nach der Bildregistrierung eine weitere Bildbearbeitung erfolgen. Beispielsweise kann von dem registrierten Bild (das Objektbild, das mittels der validen Abbildungsvorschrift in das Referenzbild überführt wird) das ursprüngliche Objektbild durch digitale Subtraktion abgezogen werden. Insbesondere wird das Objektbild von dem Referenzbild subtrahiert oder die jeweiligen Teilbereiche (Differenz = Referenzbild - Objektbild). Das Referenzbild kann dem registrierten Bild entsprechen. Das registrierte Bild entsteht bevorzugt durch eine Transformation des Objektbildes mittels der validen Abbildungsvorschrift in das Referenzbild beziehungsweise in die jeweiligen Teilbereiche.
Der Teilbereich kann beispielsweise manuell vorgegeben werden. Dazu kann ein Anwender (Arzt) eine Pixelposition und eine Umgebung um diese Pixelposition einstellen oder vorgeben. Möglich wären zum Beispiel ein Pixel und ein Radius, womit ein kreisförmiger Teilbereich definiert wäre. Entsprechend kann ein rechteckiger Bereich oder anderweitig geformter Bereich manuell vorgegeben werden. Es können mehrere verschiedene Teilbereiche vorgegeben werden. Für die verschiedenen Teilbereiche können unterschiedliche valide Abbildungsvorschriften ermittelt werden. Ein Teilbereich kann innerhalb einer Region eines relevanten Bereiches (z.B. eines Organs) liegen, während ein anderer Teilbereich außerhalb davon angeordnet sein kann.
Der Teilbereich kann zusätzlich oder alternativ durch das neuronale Netz vorgegeben oder angepasst werden. Dies kann insbesondere bei einem iterativen Verfahren vorgesehen sein. Zum Beispiel kann der Teilbereich im ersten Schritt manuell vorgeben werden und das neuronale Netz kann den Teilbereich während des iterativen Verfahrens modifizieren und/oder in mehrere Teilbereiche aufteilen. Im Idealfall kann eine valide Abbildungsvorschrift für alle Teilbereiche bestimmt werden. Jedoch kann das neuronale Netz stattdessen mehrere valide Abbildungsvorschriften ermitteln, wobei jede valide Abbildungsvorschrift einem bestimmten Teilbereich zugeordnet ist. Dadurch kann die Bildregistrierung weiter verfeinert oder optimiert werden.
Ebenso kann eine temporäre Abbildungsvorschrift für die Bildregistrierung vorgegeben werden. Dies kann durch das neuronale Netz oder manuell erfolgen. Die temporäre Abbildungsvorschrift kann sich im weiteren Verlauf des Verfahrens ändern. Die temporäre Abbildungsvorschrift bezieht sich insbesondere auf die jeweiligen Teilbereiche. Somit kann es eine erste, zweite, dritte etc. temporäre Abbildungsvorschrift geben. Die erste temporäre Abbildungsvorschrift kann als initiale Abbildungsvorschrift bezeichnet werden. Die initiale Abbildungsvorschrift kann insbesondere auf zuvor erfolgten Berechnungen basieren oder auf einer Schätzung beruhen. Im einfachsten Fall kann die erste temporäre Abbildungsvorschrift die Einheitsmatrix oder eine affine Abbildung sein.
In einem weiteren Schritt c kann das neuronale Netz zum Ermitteln der validen Abbildungsvorschrift für die digitale Subtraktion der beiden Bilder oder die Bildregistrierung trainiert werden. Dazu werden insbesondere die folgenden weiteren Schritte ausgeführt.
Es ist möglich, dass dem Schritt d eine Ausrichtung des Referenzbildes oder des Teilbereichs des Referenzbildes gegenüber dem Objektbild oder dem Teilbereich des Objektbildes vorausgeht. Damit können die beiden Teilbereiche einander ausgerichtet werden, bevor der Verlustwert ermittelt wird. Bestenfalls ist das Ausrichtung nur einmal erforderlich, kann jedoch bei Bedarf erneut durchgeführt werden. Damit können die Pixelpositionen im Objektbild und/oder Referenzbild entsprechend dem Ausrichten modifiziert werden. Damit können leichte Abweichungen aufgrund einer veränderten Pose oder Stellung des Patienten besser kompensiert werden. Das Ermitteln der validen Abbildungsvorschrift kann effizienter oder robuster gestaltet werden.
In einem nächsten Schritt d kann ein Verlustwert für die temporäre Abbildungsvorschrift anhand einer Verlustfunktion ermittelt werden. Die Verlustfunktion beinhaltet insbesondere eine quadratische Abweichung und einen jeweiligen Gewichtungsfaktor für jedes Pixel des Teilbereichs in dem Objektbild. Die Abweichungen ergeben sich insbesondere anhand einer Differenz der ersten Pixelposition im Objektbild und einer zweiten Pixelposition im Referenzbild. Zusätzlich kann der Abweichung ein Offset zugefügt werden. Dazu können insbesondere die jeweiligen einander zugehörigen Pixel in dem Objektbild und Referenzbild gegenübergestellt werden. Die Verlustfunktion kann eine Vielzahl von quadratischen Abweichungen beinhalten. Diese Vielzahl von quadratischen Abweichungen können jeweils einzeln mit einem vorgegebenen Schwellenwert verglichen werden. Es ist möglich ein iteratives Verfahren solange weiterzuführen, bis jede einzelne quadratische Abweichung unterhalb des vorgegebenen Schwellenwerts liegt. Die dazugehörige temporäre Abbildungsvorschrift unterschreitet betreffend jedes einzelne Pixel den Schwellenwert und kann als finale oder valide Abbildungsvorschrift genutzt werden. Die quadratische Abweichung kann anhand eines Pixels aus dem Referenzbild mit dem dazugehörigen Pixel aus dem Objektbild beim Berechnen der quadratischen Abweichung berücksichtigt werden. Zugleich kann dazu jeweils ein entsprechender Gewichtungsfaktor für jedes Pixel berücksichtigt werden.
Der Schritt d kann alternativ wie folgt durchgeführt werden. Beim Schritt d kann insbesondere ein Verlustwert für die temporäre Abbildungsvorschrift anhand einer Verlustfunktion ermittelt werden. Dabei beinhaltet die Verlustfunktion insbesondere eine Summe quadratischer Abweichungen. Diese quadratischen Abweichungen werden bevorzugt jeweils anhand einer Differenz einer ersten Pixelposition in dem Objektbild und einer zweiten Pixelposition in dem Referenzbild ermittelt. Die zweite Pixelposition wird bevorzugt durch Anwenden der temporären Abbildungsvorschrift auf die erste Pixelposition bestimmt. Anstelle einer ersten oder zweiten Pixelposition kann jeweils eine Pixelgruppe oder ein Pixelbereich verwendet werden. Der jeweilige Pixelbereich kann mit dem entsprechenden Teilbereich identisch sein. Das Ermitteln des Verlustwerts kann mittels entsprechender Summation der jeweiligen Abweichungen über alle Pixel aus dem Pixelbereich erfolgen. Zudem wird bevorzugt für jede Differenz ein jeweiliger Gewichtungsfaktor für jedes Pixelpaar aus erster Pixelposition und zweiter Pixelposition berücksichtigt. Insbesondere wird für jedes Pixelpaar aus erster und zweiter Pixelposition eine jeweilige Differenz zum Ermitteln des Verlustwerts berechnet. Insbesondere wird der Verlustwert anhand einer Summe mehrerer quadratischer Abweichungen gebildet. Diese quadratischen Abweichungen beinhalten jeweils die dazugehörige Differenz. Insbesondere kann für jedes Pixel aus dem Teilbereich des Objektbilds eine jeweilige quadratische Abweichung zum Ermitteln des Verlustwerts berechnet werden. Diese jeweiligen quadratischen Abweichungen werden bevorzugt aufsummiert und ergeben dadurch insbesondere den Verlustwert.
In einem weiteren Schritt e wird insbesondere die zweite Pixelposition durch Anwenden der temporären Abbildungsvorschrift auf die erste Pixelposition bestimmt. Zugleich wird insbesondere für jede Differenz ein jeweiliger Gewichtungsfaktor für jedes Pixelpaar aus erster Pixelposition und zweiter Pixelposition berücksichtigt. Somit können mehrere Gewichtungsfaktoren oder eine Vielzahl von Gewichtungsfaktoren berücksichtigt werden. Die mehreren Gewichtungsfaktoren können durch eine Matrix, eine „Gewichtungsmatrix“ zusammengefasst werden.
In einem weiteren Schritt f wird insbesondere der ermittelte Verlustwert mit einem vorgegebenen Schwellenwert verglichen. Bei diesem Vergleich kann ermittelt werden, ob der Verlustwert den Schwellenwert unterschreitet oder überschreitet. Dieser Vergleich stellt insbesondere ein Qualitätskriterium betreffend die temporäre Abbildungsvorschrift dar. Falls der Verlustwert den vorgegebenen Schwellenwert unterschreitet, so kann die temporäre Abbildungsvorschrift als gut genug klassifiziert werden. In diesem Fall wandelt sich die temporäre Abbildungsvorschrift in die valide Abbildungsvorschrift. Ergibt jedoch der Vergleich, dass der Verlustwert oberhalb des vorgegebenen Schwellenwerts liegt, so wird bevorzugt das Verfahren weitergeführt. In diesem Fall kann das Verfahren in eine Schleife oder eine Iteration münden.
In einem weiteren Schritt g werden bevorzugt jeweils eine weitere temporäre Abbildungsvorschrift und ein weiterer Verlustwert ermittelt. Dies geschieht insbesondere durch eine iterative Anwendung der Verfahrensschritte b bis g, bevorzugt d, e und f. Diese Verfahrensschritte können iterativ wiederholt werden. Das Ermitteln der jeweils weiteren temporären Abbildungsvorschrift und des weiteren Verlustwerts wird bevorzugt so lange ausgeführt, bis der Verlustwert den vorgegebenen Schwellenwert unterschreitet. Dies kann sowohl während einer Trainingsphase, insbesondere während der Schritte b bis g, als auch während einer Inferenzphase, insbesondere während Schritt h erfolgen. Damit wird die temporäre Abbildungsvorschrift insbesondere als valide Abbildungsvorschrift bereitgestellt. Insbesondere wird jeweils eine weitere zusätzliche temporäre Abbildungsvorschrift so lange neu berechnet oder ermittelt, bis der vorgegebene Schwellenwert unterschritten wird und somit die temporäre Abbildungsvorschrift in die valide Abbildungsvorschrift überführt werden kann.
Zusätzlich oder alternativ kann der Teilbereich des Referenzbildes durch eine Anwendung der validen Abbildungsvorschrift auf den Teilbereich des Objektbildes registriert, überführt oder integriert werden. Von dem registrierten Teilbereich des Referenzbildes kann jener Teilbereich des Objektbildes digital subtrahiert werden.
Zusätzlich kann das Objektbild mittels der validen Abbildungsvorschrift in das Referenzbild überführt werden. Dies entspricht bevorzugt der Bildregistrierung. Bevorzugt wird die zusätzliche temporäre Abbildungsvorschrift während der Trainingsphase berechnet. Jedoch kann dies alternativ oder zusätzlich auch bei der Inferenzphase geschehen.
Alternativ kann einem optionalen weiteren Schritt h insbesondere der Teilbereich des Objektbildes mit dem Referenzbild mit jener Abbildungsvorschrift als valide Abbildungsvorschrift registriert werden, welche einem Verlustwert unterhalb des vorgegebenen Schwellenwerts zugeordnet ist. Es ist möglich, dass im Rahmen einer weiteren Bildbearbeitung eine digitale Subtraktion vorgenommen wird. Dabei kann insbesondere das Objektbild oder der entsprechende Teilbereich von dem registrierten Teilbereich oder registrierten Referenzbild subtrahiert werden. Das registrierte Referenzbild kann ein modifiziertes Referenzbild sein, welches durch eine Einbindung des Objektbildes in das Referenzbild mittels der validen Abbildungsvorschrift hervorgeht.
Beim Subtrahieren der beiden Bilder können die jeweiligen Teilbereiche mittels digitaler Bildsubtraktion zu einem gemeinsamen Bild zusammengeführt werden. Insbesondere wird für das Registrieren des Teilbereichs des Objektbilds mit dem Referenzbild, also für die Bildregistrierung, die valide Abbildungsvorschrift herangezogen. Durch die valide Abbildungsvorschrift kann das Objektbild in das Referenzbild überführt, integriert und/oder registriert werden. Das Erzeugen eines gemeinsamen Bildes durch digitale Bildsubtraktion kann als „Bildfusion“ betrachtet werden, da aus zwei Bildern ein Bild erzeugt werden. Im Anschluss an diese Bildfusion kann mittels digitaler Subtraktionsangiographie eine weitere Bildbearbeitung erfolgen. Die valide Abbildungsvorschrift ist insbesondere eine temporäre Abbildungsvorschrift, welche zu einem Verlustwert unterhalb des vorgegebenen Schwellenwerts führt. Mit Hilfe der jeweiligen Gewichtungsfaktoren kann das Verfahren situationsgenau angepasst werden. Die Gewichtungsfaktoren können als Teil der Abbildungsvorschriften betrachtet werden. Mittels der Gewichtungsfaktoren kann auf einen oder mehrere Parameter der temporären oder validen Abbildungsvorschrift Einfluss genommen werden. Zum Beispiel können störende Objekte im Bild (Skalpell, etc.) dadurch ausgeblendet werden. Die temporäre Abbildungsvorschrift kann für jedes Pixel eine eigene separate Abbildung oder Transformation vorsehen. Dadurch kann ebenfalls Einfluss auf die Verlustfunktion genommen werden beziehungsweise kann die Verlustfunktion bezüglich eines Patienten oder einer Situation angepasst werden. Dadurch kann die Bildregistrierung weiter verbessert werden.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass für die temporäre Abbildungsvorschrift sieben Matrizen ermittelt werden. Die sieben Matrizen können jeweils eine Translation, Scherung und Skalierung in zwei Dimensionen sowie eine Rotation des Teilbereichs und/oder vorgegebener Pixelbereiche aus dem Teilbereich definieren. Die sieben Matrizen können mittels entsprechender Matrizenmultiplikation in die temporäre oder valide Abbildungsvorschrift überführt werden. Die zwei Dimensionen ergeben sich insbesondere aufgrund der Zweidimensionalität bei Bildern. Die erste Matrix kann eine Translation in x-Richtung, die zweite Matrix eine Translation in y-Richtung, die dritte Matrize eine Scherung in x-Richtung, die vierte Matrix eine Scherung in y-Richtung, die fünfte Matrix eine Skalierung in x-Richtung, die sechste Matrix eine Skalierung in y-Richtung und die siebte Matrix kann eine Rotation definieren. Dabei gilt zu beachten, dass mithilfe der Matrizen jedes Pixel einer eigenen Abbildung zugeführt werden kann. Ebenso können mehr als sieben oder weniger als sieben Matrizen verwendet werden. Damit kann jedem Pixel ein eigener Parametersatz für die Abbildung zugeordnet werden. Die Parameter für die Abbildungsvorschrift können die Translation, Scherung, Skalierung und/oder Rotation betreffen.
Die x-Richtung und y-Richtung können insbesondere ein kartesisches Koordinatensystem aufspannen. Ebenso können anstelle der x- und y-Richtung auch andere Koordinatensysteme zum Einsatz kommen. Beispielsweise können die zwei Dimensionen mit Hilfe von Polarkoordinaten dargestellt werden. In diesem Fall würden die Matrizen jeweils einen Radius und einen Winkel adressieren. Jede dieser sieben Matrizen kann jeweils eine affine Transformation repräsentieren. Eine affine Abbildung oder affine Transformation ist insbesondere eine Abbildung, bei der eine Kollinearität, Parallelität sowie Teilverhältnisse bewahrt bleiben. Bilder von Punkten, die auf einer Geraden liegen, liegen nach einer affinen Abbildung wieder auf einer Geraden. Die Bilder zweier paralleler Geraden sind unter Anwendung einer affinen Abbildung wieder parallel.
Ebenfalls können die Gewichtungsfaktoren in Form einer Matrix, der Gewichtungsmatrix, dargestellt werden. Die Gewichtungsmatrix kann dabei einer Gaußschen Normalverteilung folgen. Insbesondere kann bei einem Trainieren des neuronalen Netzes gezielt eine jeweilige einzelne Matrix oder mehrere einzelne Matrizen optimiert werden. Zum Beispiel kann das Trainingsverfahren sich konkret ausschließlich auf die Skalierung beziehen. Ebenso kann die Trainingsphase sich ausschließlich auf Translation oder Rotation beziehen. Entsprechendes kann auch für die Scherung gelten. Es ist auch möglich, lediglich das neuronale Netz bezüglich der x-Richtung oder y-Richtung zu trainieren. Dazu kann es hilfreich sein, wenn die temporäre oder valide Abbildungsvorschrift mit Hilfe dieser sieben Matrizen aufgespaltet werden kann.
Eine weitere vorteilhafte zusätzliche oder alternative Ausführungsform sieht vor, dass die Verlustfunktion um einen Krankheitsterm ergänzt wird. Der Krankheitsterm beschreibt insbesondere erwartbare Bewegungen aufgrund einer diagnostizierten Krankheit. Diese erwartbaren Bewegungen können beim Ermitteln der validen Abbildungsvorschrift berücksichtigt werden. Der Krankheitsterm kann ein patientenspezifisches Verhalten berücksichtigen. Der Krankheitsterm kann beispielsweise ein Zittern, auch Tremor genannt, berücksichtigen. Bei einem Tremor kann der Patient unter einem Zittern leiden, welches sich auf eine Position der im Objektbild befindlichen Organe auswirken kann. Ähnliches kann bei einem Schluckauf der Fall sein. So ist es möglich, dass aufgrund des Tremors die inneren Organe des Patienten einer periodischen Bewegung unterworfen sind. Die durch den Tremor induzierte Bewegung, insbesondere periodische Bewegung, kann durch die Verlustfunktion berücksichtigt werden. Ohne eine solche Berücksichtigung könnte die Bildregistrierung zu einem verfälschten Ergebnis führen, da eine zittrige Bewegung des Patienten, die sich auf seine inneren Organe auswirkt, unberücksichtigt bliebe. Als Tremor oder umgangssprachlich Zittern wird häufig das Muskelzittern angesprochen. Das Muskelzittern kann als ein unwillkürliches, sich rhythmisch wiederholendes Zusammenziehen einander entgegenwirkender Muskelgruppen bezeichnet werden. Bei gesunden Menschen kann der physiologische Tremor zwar gemessen werden, ist jedoch in der Regel kaum sichtbar. Bei verschiedenen Erkrankungen kann jedoch ein deutlich sichtbarer Tremor als Symptom auftreten.
Zusätzlich kann der Krankheitsterm bei dem Vorgeben des Teilbereichs berücksichtigt werden. Das neuronale Netz kann aufgrund erwartbarer Bewegungen, die durch den Krankheitsterm resultieren, den Teilbereich in Schritt b anpassen.
Der Krankheitsterm kann darüber hinaus unterschiedliche Arten von Tremoren unterscheiden. So kann der Tremor sich als Bewegungstremor, Haltetremor, Intentionstremor und/oder isometrischer Tremor ausbilden. Aufgrund des Zitterns beziehungsweise der daraus resultierenden periodischen Bewegungen können die Pixelpositionen in dem Referenzbild beeinflusst werden. Mittels des Krankheitsterms können vorgegebene Pixelbereiche betreffend ihre Position im Zeitablauf und somit in nachfolgenden Bildern prognostiziert werden. Mithilfe eines jeweiligen Zeitstempels des Objektbildes und des Referenzbildes kann ein zeitlicher Abstand bestimmt werden. Damit kann eine zeitabhängige Bewegung, ausgedrückt durch den Krankheitsterm, vorhergesagt werden. Mit Hilfe des Krankheitsterms kann ein derartiger Einfluss berücksichtigt werden und somit ein realistischeres oder effizienteres Verfahren zur Bildregistrierung ermöglicht werden. Anstelle eines Tremors kann eine andere diagnostizierte Krankheit zu einer unterschiedlichen erwartbaren Bewegung beim Krankheitsterm führen. Zum Beispiel kann ein „Schluckauf“ ebenfalls zu einer Verschiebung von Organen im Bild führen. Der Krankheitsterm kann in diesem Fall eine Frequenz und Intensität des Schluckaufs als Parameter beinhalten.
Eine zusätzliche oder alternative Ausführungsform kann vorsehen, dass die Verlustfunktion um einen Positionsterm ergänzt wird, der eine Pose eines Patienten oder eines Körperteils des Patienten beschreibt. Die Pose des Patienten oder die Pose des Körperteils des Patienten kann beim Ermitteln der validen Abbildungsvorschrift berücksichtigt werden. Die Pose repräsentiert insbesondere eine Position sowie Ausrichtung des Patienten. Entsprechendes gilt für den Körperteil des Patienten. Der Positionsterm kann eine zeitabhängige Pose beschreiben. Mittels den Bildern zugeordneter Zeitstempel kann ein Zeitabstand zwischen dem Objektbild und dem Referenzbild berechnet werden. Damit kann eine Entwicklung der Pose im Zeitablauf berechnet und vorhergesagt werden.
Wird der Patient einmal frontal und anschließend dazu etwas leicht verdreht aufgenommen, so würde sich dessen Herz, Niere oder Leber entsprechend unterschiedlich darstellen. Dies kann bereits aufgrund einer Bewegung, wie der Atmung, der Fall sein. Die jeweiligen Posen der entsprechenden Organe würden auf dem Referenzbild und Objektbild unterschiedlich aussehen. Ohne Berücksichtigung dieser unterschiedlichen Posen der jeweiligen Organe würde die Bildregistrierung zu einem verfälschten registrierten Bild führen. Der Positionsterm kann neben der Pose des Patienten zusätzlich oder alternativ eine Pose eines Bilderzeugers berücksichtigen. So ist es möglich, dass sich nicht der Patient, sondern ein Röntgengerät in Bezug zum Patienten seine Position ändert. Dies kann beispielsweise bei einem medizinischen C-Bogen der Fall sein, der in Relation zum Patienten etwas verdreht wird. Ebenso ist es möglich, die Pose des Patienten mit Hilfe einer Kamera zu erfassen. Dabei kann ebenfalls eine dynamische Veränderung der Patientenpose und/oder einer Pose eines Bilderzeugers berücksichtigt werden. Dies gilt insbesondere für ein Inferenzverfahren, also bei einer vor Ort-Anwendung der Bildregistrierung. So kann während einer Bildregistrierung eine temporäre Abbildungsvorschrift weiter trainiert werden und zu einer neuen verbesserten validen Abbildungsvorschrift überführt werden. Bei Bedarf kann die Pose des Patienten oder des Körperteils mit Hilfe einer Schätzung approximiert werden. Sowohl der Krankheitsterm als auch der Positionsterm können zeitabhängig ausgestaltet sein. Mithilfe von Zeitstempeln von Bildern können Zeitabstände berechnet und die zeitabhängigen Terme können beim Ermitteln der validen Abbildungsvorschrift berücksichtigt werden. Damit kann zwar die Bewegung nicht immer vollständig kompensiert werden, jedoch können Fehler oder Artefakte in den registrierten Bildern reduziert werden.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass der Positionsterm und/oder der Krankheitsterm mittels zweier konkurrierender neuronaler Netze optimiert werden. Dazu kann insbesondere ein diskriminierendes Netzwerk eine durch ein erzeugendes Netzwerk ermittelte temporäre Abbildungsvorschrift so lange zurückweisen, bis das erzeugende Netzwerk eine valide Abbildungsvorschrift ermittelt. Die valide Abbildungsvorschrift führt insbesondere zu einem Verlustwert unterhalb eines durch das diskriminierende Netzwerk festgelegten Grenzwerts. Dies bedeutet, dass der vorgegebene Schwellenwert durch das diskriminierende Netzwerk vorgegeben werden kann. In diesem Fall wird der Schwellenwert als Grenzwert bezeichnet, der durch das diskriminierende Netzwerk definiert wird. Dies bedeutet, dass das Vorgeben des Schwellenwerts durch ein neuronales Netz, nämlich durch das diskriminierende Netz, vorgenommen werden kann. Somit kann der Schritt f nicht nur bezüglich des Vergleichens, sondern auch bezüglich des Schwellenwerts durch das jeweilige neuronale Netz vorgenommen werden. Mit der Anpassung des Positionsterms und/oder des Krankheitsterms mithilfe der konkurrierenden neuronalen Netze kann der Verlustwert minimiert werden. Damit kann das registrierte Bild, welches bevorzugt durch die valide Abbildungsvorschrift entsteht, weiter optimiert werden. Dadurch kann das Ermitteln der validen Abbildungsvorschrift beschleunigt werden und/oder eine noch präzisere valide Abbildungsvorschrift kann bereitgestellt werden.
Eine zusätzliche oder alternative Ausführungsform kann vorsehen, dass das neuronale Netz zum Optimieren des Positionsterms und/oder des Krankheitsterms ein generatives adversariales Netz mit zwei konkurrierenden Netzwerken ist. Das Trainieren des erzeugenden Netzes und/oder Ermitteln der validen Abbildungsvorschrift kann durch die beiden konkurrierenden Netze erfolgen. Das generative adversariale Netz kann das Generative Adversarial Network bezeichnet werden. Ein solches Netz ist auch als GAN-Netzwerk bekannt. Ein generatives adversariales Netzwerk kann somit aus zwei künstlichen neuronalen Netzen bestehen, welche ein Nullsummenspiel durchführen. Mit Hilfe dieser beiden Netzwerke können jeweils die Parameter der validen Abbildungsvorschrift ermittelt und/oder verbessert werden. Es kann jede einzelne der mehreren Matrizen der validen Abbildungsvorschrift optimiert werden.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass die Verlustfunktion um einen Gradienten-Term erweitert wird. Der Gradienten-Term kann eine Änderung von Parametern der temporären Abbildungsvorschrift über einen vorgegebenen Pixelbereich in dem Objektbild, Referenzbild und/oder einem erzeugten Bild beschreiben. Insbesondere wird der Gradienten-Term beim Ermitteln der validen Abbildungsvorschrift berücksichtigt. Dies bedeutet, dass die Verlustfunktion einen zusätzlichen Term, nämlich den Gradienten-Term, enthält. Somit kann die Verlustfunktion D mit Hilfe folgender Formel dargestellt werden. $V e r l u s t f u n k t i o n D : M S E + R_{s} (ψ) + R_{c} (ψ) + P (ψ) = L;$
Dabei bezeichnet D die Verlustfunktion, MSE bezeichnet die Summe der quadratischen Abweichungen, R_s(ψ) bezeichnet den Gradienten-Term, R_c(ψ) bezeichnet den Krankheitsterm, P(ip) bezeichnet den Positionsterm. Ψ repräsentiert insbesondere einen Parametersatz für die temporäre oder valide Abbildungsvorschrift. Der Parametersatz kann mittels einer oder mehrerer Matrizen definiert sein. Im Fall der sieben Matrizen kann eine 7-D Abbildungsvorschrift (zweimal Translation, zweimal Skalierung, zweimal Scherung, einmal Rotation) definiert werden. Die gilt insbesondere für die vorgegebenen Teilbereiche, welche einen vorgegebenen Pixelbereich umfassen können. Die Verlustfunktion D führt zu einem Verlustwert L, der sich aus Formel 1 ergibt. Der Verlustwert L kann als Qualitätsmaß für die temporäre Abbildungsvorschrift T0 aufgefasst werden. Bei einem Verlustwert L oberhalb des Schwellenwerts wird das Ermitteln der validen Abbildungsvorschrift fortgesetzt. Ist der Verlustwert L kleiner als der Schwellenwert, so ist die valide Abbildungsvorschrift bestimmt oder gefunden.
Die quadratische Abweichung kann wie folgt berechnet werden. $M S E_{x, y} = M S E (f i l l_{x 2, y 2} - T {(m a s k, ψ [x 1, y 1])}_{x 2, y 2})$
oder $M S E_{x, y} = M S E (f i l l_{x, y} - T {(m a s k, ψ [x, y])}_{x, y})$
fill_x,y beschreibt ein Pixelbereich im Referenzbild. ψ[x,y] ist der dazugehörige Pixelbereich im Objektbild. T(mask, ψ[x,y])_x,y stellt die Anwendung der temporären oder validen Abbildungsvorschrift auf ψ[x,y] dar, womit der Pixelbereich aus dem Objektbild in Pixelbereich des Referenzbildes überführbar ist.
Gemäß Formel 2b ist es möglich, dass x1=x2=x und y1=y2=y ist. Je nachdem welches Bild überführt oder registriert wird, kann der entsprechende Index angepasst werden. Wenn zum Beispiel die Registrierung auf das Objektbild vorgenommen werden soll, können die Indizes entsprechend vertauscht werden.
Der Gradienten-Term kann insbesondere eine Abweichung eines Parameters in x-Richtung und/oder y-Richtung betreffen. Der Gradienten-Term kann zum Beispiel eine Translationsmatrix, eine Skalierungsmatrix, eine Rotationsmatrix und/oder eine Scherungsmatrix betreffen. Er gibt insbesondere eine Änderung des jeweiligen Parameters in x-Richtung und/oder y-Richtung an. Somit wird der Gradienten-Term insbesondere durch eine Differenz zwischen der ersten Pixelposition und der zweiten Pixelposition beeinflusst. Dabei kann jeweils zwischen der x-Richtung und der y-Richtung unterschieden werden. Mit Hilfe des Gradienten-Terms können Parametervariationen im Bild besser berücksichtigt werden.
Eine zusätzliche oder alternative Ausführungsform des Verfahrens kann vorsehen, dass für unterschiedliche Gewichtungsfaktoren jeweils die dazugehörige valide Abbildungsvorschrift ermittelt wird. Entsprechendes kann für unterschiedliche Gewichtungsmatrizen gelten. Die mehreren validen Abbildungsvorschriften können klassifiziert werden, und insbesondere kann eine weitere Abbildungsvorschrift basierend auf der Klassifizierung der mehreren Abbildungsvorschriften als temporäre Abbildungsvorschrift durch das neuronale Netz ermittelt werden. Die Klassifizierung kann insbesondere in Abhängigkeit von dem Verlustwert erfolgen. Dadurch können die Abbildungsvorschriften einfach in valide und temporäre Abbildungsvorschriften differenziert werden. Eine detailliertere Untergliederung kann dadurch mittels entsprechend abgestufter Schwellenwerte erfolgen. Die Klassifizierung kann während einer Anwendungsphase oder einer Inferenz erfolgen.
Die Klassifizierung kann auch ein manuelles Adaptieren der Objektbilder umfassen. Dies kann bei einer Echtzeit-Bildregistrierung angesetzt werden. Dabei können vorgegebene Pixel oder Pixelbereiche in dem Objektbild modifiziert werden. Diese manuelle Modifikation kann insbesondere durch ein entsprechendes Anpassen der Verlustfunktion und/oder der temporären Abbildungsvorschrift berücksichtigt werden. Das Anpassen der Verlustfunktion und/oder der temporären Abbildungsvorschrift kann dabei das neuronale Netz durchführen. Dabei können die jeweiligen Einzelterme der Verlustfunktion und/oder der temporären Abbildungsvorschrift abgeändert werden. Somit kann eine manuelle Änderung des Objektbilds durch das neuronale Netz dadurch berücksichtigt werden, indem das neuronale Netz lernt, die temporäre Abbildungsvorschrift entsprechend anzupassen.
Insbesondere kann der Teilbereich des Objektbilds und/oder des Referenzbildes manuell modifiziert werden. Zusätzlich oder alternativ kann mindestens ein Parameter der temporären Abbildungsvorschrift manuell modifiziert werden. Das neuronale Netz kann in Abhängigkeit von dieser Modifikation die Verlustfunktion und/oder die temporäre Abbildungsvorschrift anpassen. Bevorzugt wird die Verlustfunktion und/oder die temporäre Abbildungsvorschrift so angepasst, dass die Schritte d, e und f konvergieren. Dies bedeutet insbesondere, dass das neuronale Netz die temporäre Abbildungsvorschrift und/oder Verlustfunktion so anpasst, dass bei einem iterativen Verfahren die temporäre Abbildungsvorschrift in die valide Abbildungsvorschrift überführt wird.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass eine Pose des Patienten und/oder eine Veränderung der Pose durch eine Kamera ermittelt werden. Dabei kann der Positionsterm dynamisch anhand der durch die Kamera abgeleiteten Pose und/oder Veränderung der Pose angepasst werden. Die Kamera kann beispielsweise eine einfache Kamera in Form einer Webcam oder eine 3D-Kamera (Tiefenkamera) sein. Mithilfe eine 3D Kamera können für die Bildregistrierung 3 dimensionale Informationen betreffend Positionsdaten der Teilbereiche erfasst und für das Verfahren genutzt werden. Dadurch kann eine Änderung der Pose des Patienten registriert und durch einen dynamisch angepassten Positionsterm die Verlustfunktion entsprechend angepasst werden. Eine dynamische Überwachung der Patientenpose ist insbesondere bei einer vor Ort-Anwendung beziehungsweise bei einer Inferenz von Bedeutung. Bewegt sich beispielsweise der Patient, so kann diese Bewegung während der Bildregistrierung in Form eines dynamisch angepassten Positionsterms berücksichtigt werden. Dadurch kann das Verfahren zur Bildregistrierung komfortabler und/oder realistischer ausgestaltet werden.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass der Verlustterm um einen Bewegungsterm betreffend einen Bilderzeuger, insbesondere einen medizinischen C-Bogen, ergänzt wird. Der Bewegungsterm beschreibt insbesondere eine räumliche Relation zwischen dem Patienten und dem Bilderzeuger. Der Bilderzeuger kann ein (interventioneller) MR-Scanner und/oder ein Röntgengerät sein. Ebenso können weitere medizinische bildgebende Verfahren für den Bilderzeuger in Frage kommen. Die valide Abbildungsvorschrift kann zusätzlich in Abhängigkeit von dem Bewegungsterm ermittelt werden. Wird beispielsweise der medizinische C-Bogen etwas verdreht, so ergibt sich dadurch eine neue räumliche Relation zwischen dem Patienten und dem medizinischen C-Bogen. Der Bewegungsterm kann insbesondere die räumliche Relation in Abhängigkeit von der Zeit berücksichtigen. Eine neue Position des medizinischen C-Bogens kann sich durch eine Steuereinheit des Bilderzeugers und/oder anhand einer 3D-Kamera ergeben, welche die räumliche Relation zwischen Patienten und dem Bilderzeuger überwacht. Dadurch können während einer Bildregistrierung, also bei einer Inferenzphase, veränderliche räumliche Relationen berücksichtigt werden. So kann eine bessere Echtzeit-Bildregistrierung ermöglicht werden.
In einer vorteilhaften zusätzlichen oder alternativen Ausführungsform kann der Bewegungsterm eine Positionsänderung und/oder eine projizierte Flächenänderung von Organen, verursacht durch eine Atmung des Patienten, berücksichtigen. Bei einer Atmung eines Menschen ändern sich insbesondere die Volumina der jeweiligen Lungenflügel. Ebenso kann sich das Volumen eines Zwerchfells verändern. Die Volumenänderung der Organe kann durch eine entsprechende projizierte Fläche im Objektbild berücksichtigt werden. Je nach Positionsänderung der entsprechenden Organe kann es im Objektbild zu einer Vergrößerung oder Verkleinerung der durch das Organ abgebildeten Fläche kommen. Somit kann der Bewegungsterm eine Änderung der Position und/oder einer projizierten Fläche der Organe, die durch die Atmung verursacht wird, berücksichtigen. So kann der Bewegungsterm noch realistischer ausgedrückt werden.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass für einen jeweiligen Teilbereich ein jeweiliger Verlustwert ermittelt wird. In Abhängigkeit von diesem jeweiligen Verlustwert können die vorgegebenen Pixel mit Hilfe von weiteren Pixeln approximiert werden. Dabei grenzen die weiteren Pixel bevorzugt unmittelbar an die vorgegebenen Pixel an. Diese Approximation kann in Abhängigkeit von dem jeweiligen Verlustwert durchgeführt werden. Bevorzugt werden die weiteren Pixel dann approximiert, wenn der Verlustwert der weiteren Pixel größer ist als der Verlustwert der vorgegebenen Pixel. Ein relativ großer Verlustwert kann zu einer unrealistischen Abbildungsvorschrift führen. Wenn dagegen im Teilbereich der vorgegebenen Pixel der dazugehörige Verlustwert relativ klein ist, also den vorgegebenen Schwellenwert unterschreitet, kann es vorteilhaft sein, die weiteren Pixel mittels einer entsprechenden Approximation zu ermitteln. In diesem Fall ist es nicht nötig, für die weiteren Pixel eine eigene valide Abbildungsvorschrift zu berechnen. Stattdessen kann die valide Abbildungsvorschrift für die vorgegebenen Pixel entsprechend modifiziert werden, um die weiteren Pixel zu bestimmen. Dies gilt insbesondere für die jeweiligen Positionen der Pixel. Die weiteren und vorgegebenen Pixel betreffen insbesondere die jeweiligen Pixelpositionen. Die Approximation kann beispielsweise durch eine Linearisierung der validen Abbildungsvorschrift für die vorgegebenen Pixel sein. So kann eine valide Abbildungsvorschrift für den jeweiligen Teilbereich vorgegebener Pixel auch auf andere Pixelbereiche angewendet werden. Dies kann zu einer beschleunigten Bildregistrierung führen.
Eine zusätzliche oder alternative Ausführungsform sieht vor, dass der jeweilige Gewichtungsfaktor für jedes Pixel in einer Gewichtungsmatrix repräsentiert wird. Die Gewichtungsmatrix bildet insbesondere Strukturen eines Inneren eines Patientenkörpers ab. Diese Strukturen können durch die Gewichtungsmatrix berücksichtigt werden. Die Strukturen können insbesondere als Organe, Blutgefäße, Knochen, Implantate, Kontrastmittel und/oder eine Flüssigkeitsansammlung ausgebildet sein. Insbesondere kann die Verwendung von Kontrastmittel zu bewussten Änderungen im Objektbild führen. Insbesondere können Gegenstände wie Skalpell, Fadenkamera, Fäden oder Kontrastmittel ausgeblendet werden. Ohne die Berücksichtigung einer entsprechenden Gewichtungsmatrix würde beim Ermitteln der validen Abbildungsvorschrift dieser auffällige Unterschied berücksichtigt werden, obwohl der tatsächliche Unterschied jedoch kleiner ist oder der auffällige Unterschied bewusst und gezielt, beispielsweise mit Kontrastmittel, herbeigeführt ist. Insbesondere kann bei der Bildregistrierung ein vorgegebener Bereich des Objektbilds bevorzugt oder ausschließlich für das Ermitteln der validen Abbildungsvorschrift ausgewählt werden. Soll beispielsweise lediglich eine Lunge des Patienten untersucht werden, so kann die Gewichtungsmatrix derart angepasst sein, dass lediglich jene Bildbereiche in dem Objektbild in das Referenzbild überführt werden, welche die Lunge darstellen oder beinhalten. Entsprechendes kann für die Blutgefäße, Knochen, Implantate und/oder Flüssigkeitsansammlungen gelten.
Mit Hilfe des Gewichtungsfaktors oder der Gewichtungsmatrix können unterschiedliche Behandlungsansätze bei der Bildregistrierung oder dem Ermitteln der validen Abbildungsvorschrift berücksichtigt werden. Ebenfalls kann die Gewichtungsmatrix individuell auf den Patienten angepasst werden. Patientenpräferenzen können ebenfalls mit Hilfe der Gewichtungsmatrix berücksichtigt werden. Beispielsweise kann eine individualisierte Gewichtungsmatrix Informationen bezüglich vorhandener Implantate beinhalten. Dies gilt insbesondere für Positionsinformationen von Implantaten im Objektbild. Mit Hilfe der Gewichtungsmatrix kann die Verlustfunktion in Abhängigkeit von dem Patienten und/oder einer Erkrankung und/oder einer Behandlung angepasst werden. Dadurch kann das Verfahren zur Bildregistrierung oder zum Fusionieren (digitale Subtraktion) des Referenzbildes mit dem Objektbild optimiert werden und während einer Inferenzphase Anwendung finden. Somit kann eine deutlich bessere Echtzeit-Bildregistrierung ermöglicht werden.
Ein zweiter Aspekt dieser Erfindung betrifft eine Vorrichtung zur Bildregistrierung. Diese Vorrichtung kann einen Bilderzeuger zum Generieren eines Objektbildes aufweisen. Die Vorrichtung beinhaltet bevorzugt eine Schnittstelle zum Empfangen oder Speichern eines Referenzbildes und/oder eines Objektbildes. Insbesondere kann die Vorrichtung eine Steuereinheit aufweisen. Die Steuereinheit ist insbesondere eingerichtet, einen Verlustwert für die temporäre Abbildungsvorschrift anhand einer Verlustfunktion zu ermitteln. Sie ist ferner dazu eingerichtet, den ermittelten Verlustwert mit einem vorgegebenen Schwellenwert zu vergleichen, und je nach Ausgang des Vergleichs kann die Steuereinheit eine weitere temporäre Abbildungsvorschrift und einen weiteren Verlustwert ermitteln. Die Steuereinheit kann dieses Verfahren iterativ so lange ausführen, bis der Verlustwert den vorgegebenen Schwellenwert unterschreitet. Dazu kann die Steuereinheit iterativ immer neue temporärere Abbildungsvorschriften ermitteln, bis der Verslustwert den Schwellenwert unterschreitet.
Die Steuereinheit kann insbesondere ein neuronales Netz sein. Das neuronale Netz kann ein Convolutional Neural Network, ein Generative Adversarial Network und/oder ein gefaltetes Netzwerk sein. Sämtliche Aspekte, Merkmale und Vorteile bezüglich des Verfahrens gelten sinngemäß und analog für die Vorrichtung sowie umgekehrt. Somit ist die Steuereinheit insbesondere dazu eingerichtet, jedes beschriebene Verfahren in dieser Anmeldung auszuführen. Die Steuereinheit kann ebenfalls eingerichtet sein, den Bilderzeuger und/oder die Schnittstelle anzusteuern.
In weiteren vorteilhaften Ausführungsform kann der Bilderzeuger ein Röntgengerät, ein MR-Scanner, ein Endoskop, eine Ultraschall-Sonde, eine Infrarot-Kamera, eine UV-Kamera und/oder eine Gamma-Kamera sein. Mit Hilfe dieser genannten Geräte kann jeweils ein medizinisches Bild erzeugt werden. Dies kann sowohl für das Objektbild als auch für das Referenzbild gelten. Das Objektbild und Referenzbild können jeweils aus unterschiedlichen Modalitäten stammen. Dies bedeutet beispielsweise, dass das Referenzbild ein Röntgenbild ist, während das Objektbild ein Ultraschallbild von einer Ultraschall-Sonde ist. Entsprechend andere beliebige Kombinationen aus unterschiedlichen Modalitäten sind ebenfalls möglich. Die genannten Ausführungen und Vorteile zu den bisherigen Ausführungsformen gelten sinngemäß und analog für diesen Fall.
Eine weitere vorteilhafte Vorrichtung kann vorsehen, dass das Röntgengerät als Bilderzeuger einen medizinischen C-Bogen aufweist. Zudem kann die Steuereinheit eingerichtet sein, eine Bewegung des C-Bogens für die Bildregistrierung zu berücksichtigen. Dazu kann die Steuereinheit beispielsweise Zugriff auf eine Kamera haben, welche ausgebildet ist, die Bewegung des medizinischen C-Bogens zu erfassen. Zusätzlich oder alternativ kann die Steuereinheit unmittelbar die Bewegung des C-Bogens erfassen. Dies ist zum Beispiel dann der Fall, wenn die Steuereinheit selbst die Bewegung des medizinischen C-Bogens veranlasst. Dazu kann die Steuereinheit den entsprechenden Bewegungsterm dynamisch anpassen. Die Steuereinheit kann somit mit Hilfe eines dynamisch angepassten Bewegungsterms eine sich verändernde räumliche Relation zwischen dem Patienten und dem medizinischen C-Bogen berücksichtigen. So kann die valide Abbildungsvorschrift effizienter bestimmt werden.
Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm. Das Computerprogramm umfasst insbesondere Befehle, die bewirken, dass die Vorrichtung eines der geschilderten Verfahren ausführt. Ein vierter Aspekt betrifft einen computerlesbaren Datenträger, auf dem das Computerprogramm gespeichert ist. Das Computerprogramm sowie der computerlesbare Datenträger können jeweils durch das neuronale Netz verwirklicht sein. Hierbei kann das Verfahren zur Bildregistrierung oder zum Trainieren des neuronalen Netzes insbesondere mittels eines Prozessors ausgeführt werden, insbesondere mittels einer Recheneinheit einer Steuereinheit oder eines Bilderzeugers ausgeführt werden. Die Steuereinheit kann insbesondere einen Computer, einen Mikrocontroller oder einen integrierten Schaltkreis umfassen. Alternativ kann die Steuereinheit einen realen oder virtuellen Verbund von Computern umfassen.
Die Steuereinheit kann eine Schnittstelle, einen Prozessor und eine Speichereinheit umfassen. Bei der Schnittstelle kann es sich um eine Hardware- oder Softwareschnittstelle handeln (beispielsweise PCI-Bus, USB oder Firewire). Eine Recheneinheit der Steuereinheit kann Hardware-Elemente oder Software-Elemente aufweisen, beispielsweise einen Mikroprozessor oder ein sogenanntes FPGA (englisches Akronym für „Field Programmable Gate Array“). Eine Speichereinheit kann als nicht dauerhafte Arbeitsspeicher (Random Access Memory, kurz RAM) oder als dauerhafter Massenspeicher (Festplatte, USB-Stick, SD-Karte, Solid State Disk) realisiert sein.
Die im Zusammenhang mit dem Verfahren zur Bildregistrierung des Objektbilds mit dem Referenzbild sowie dem Ermitteln der validen Abbildungsvorschrift gemäß dem ersten dem ersten Aspekt der Erfindung vorgestellten Merkmale, Ausführungsformen sowie deren Vorteile gelten entsprechend für die Vorrichtung und die Steuereinheit gemäß dem zweiten Aspekt der Erfindung, für das Computerprogramm gemäß dem dritten Aspekt, den computerlesbaren Datenträge gemäß dem vierten Aspekt und jeweils umgekehrt. Die Steuereinheit kann ein Computerprogramm, umfassen, welches Befehle beinhaltet, die bewirken, dass jede Ausführungsform des Verfahrens ausgeführt wird. Das Computerprogramm kann auf dem computerlesbaren Medium (SD-Karte, USB-Stick etc.) gespeichert sein.
Die Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert. Dabei ist zu beachten, dass diese Zeichnungen lediglich beispielhaft darstellen, wie die Erfindung ausgeführt werden kann. Die Zeichnungen sind jedoch nicht dahingehend zu interpretieren, dass die Erfindung nur auf diesem Wege ausgeführt werden kann.
Dabei zeigen:

1 eine schematische Übersicht über die Vorrichtung mit einem Objektbild und einem Referenzbild;
2 ein beispielhaftes Ablaufdiagramm für ein mögliches Verfahren.

In 1 ist beispielhaft eine Vorrichtung 100 gezeigt. Im unteren Bereich ist ein Bilderzeuger 13 dargestellt. Der Bilderzeuger 13 ist im Beispiel von 1 als ein medizinischer C-Bogen 12 ausgebildet. Der medizinische C-Bogen 12 kann von einer Steuereinheit 10 angesteuert werden. Die Steuereinheit 10 kann ein neuronales Netz 11 beinhalten. Das neuronale Netz 11 kann insbesondere darauf trainiert sein, eines der geschilderten Verfahren auszuführen. Im Bereich des medizinischen C-Bogens 12 ist ein Patient 14 zu erkennen. Mit Hilfe des medizinischen C-Bogens 12 können Röntgenbilder erzeugt werden. Oberhalb des medizinischen C-Bogens 12 ist jeweils ein Objektbild OB und ein Referenzbild RB gezeigt.
Die Vorrichtung 100 dient insbesondere dazu, das Objektbild OB in das Referenzbild RB zu überführen. Das Objektbild OB soll in das Referenzbild RB integriert werden. Bei dem Objektbild OB ist ein erster Bereich TO gestrichelt angedeutet. Im Referenzbild RB ist ein zweiter Bereich TB angedeutet. Innerhalb dieser Bereiche ist jeweils ein Körperinhalt B0 dargestellt. Im Beispiel von 1 ist als Körperinhalt B0 ein Herz dargestellt. Das Herz weist jeweils einen Schwerpunkt mit jeweiligen ersten und zweiten Koordinaten auf. Im Objektbild OB weist der erste Schwerpunkt eine erste Pixelposition x1, y1 und im Referenzbild RB eine zweite Pixelposition x2, y2 auf. Im Objektbild und Referenzbild sind jeweils eine x-Richtung und eine y-Richtung dargestellt. Ziel der Bildregistrierung oder der Bildfusionierung ist es, aus dem Teilbereich TB des Referenzbildes RB unerwünschte Darstellungen mittels Subtraktion des Teilbereichs TO des Objektbildes OB zu entfernen. Dazu wird eine valide Abbildungsvorschrift T(ψ) gesucht, welche den ersten Bereich TO mit dem Referenzbild RB registriert. Der erste Bereich TO kann als Teilbereich des Objektbildes OB betrachtet werden. Entsprechendes gilt für den zweiten Bereich TB. Die Abbildungsvorschrift kann sowohl eine temporäre Abbildungsvorschrift T0 als auch die valide Abbildungsvorschrift T(ψ) sein.
Rechts vom Referenzbild RB sind verschiedene Matrizen bezüglich eines Gewichtungsfaktors w sowie Parameter ψ für eine Abbildungsvorschrift T gezeigt. Ψ stellt einen Parametersatz dar. Der Parametersatz ψ kann in einzelne Parametermatrizen ψ1, ..., ψ7 aufgeteilt werden. Die Abbildungsvorschrift T kann die temporäre Abbildungsvorschrift T0 oder die valide Abbildungsvorschrift T(ψ) sein. Insbesondere kann die valide Abbildungsvorschrift T(ψ) sieben Matrizen beinhalten. Diese sieben Matrizen w1, w2, w3, ..., w7 ergeben sich insbesondere aufgrund einer Skalierung entlang der x- und y-Richtung, einer Translation entlang der x- und y-Richtung, einer Scherung entlang der x- und y-Richtung sowie einer in 1 angedeuteten Rotation R des Herzens. Somit stellt ψ1 die erste Matrix dar, W2 die zweite Matrix, ψ3 die dritte Matrix, ψ4 die vierte Matrix, W5 die fünfte Matrix, ψ6 die sechste Matrix, während ψ7 die siebte Matrix repräsentiert. Mehreren Gewichtungsfaktoren w können in einer Gewichtungsmatrix WM zusammengefasst werden. Die Gewichtungsmatrix WM kann analog wie die valide Abbildungsvorschrift T(ψ) in sieben Untermatrizen w1 bis w7 untergliedert sein. Entsprechend kann die Gewichtungsmatrix WM sich sieben Untermatrizen w1, w2, ..., w7 untergliedert sein. Dabei kann die erste Untermatrix bezüglich des Gewichtungsfaktors w1 der ersten Matrix ψ1 der validen Abbildungsvorschrift T(ψ) zugeordnet werden. Die jeweiligen Matrizen betreffend den Gewichtungsfaktor w sowie die Parameter ψ für die Abbildungsvorschrift T können zu der validen Abbildungsvorschrift T(ψ) zusammengeführt werden.
Rechts neben dem Patienten 14 ist eine Kamera 18 angedeutet. Mit Hilfe dieser Kamera 18 kann eine Pose des Patienten 14 dynamisch aufgezeichnet werden. Eine Veränderung der Pose des Patienten 14 kann mittels des Positionsterms P(ψ) berücksichtigt werden. Dieser Positionsterm P(ψ) kann für die Verlustfunktion L verwendet werden. Die Verlustfunktion L kann beispielsweise mit Hilfe von folgender Formel dargestellt werden: $V e r l u s t f u n k t i o n D : M S E + R_{s} (ψ) + R_{c} (ψ) + P (ψ) = L;$
Dabei bezeichnet D die Verlustfunktion, MSE bezeichnet die Summe der quadratischen Abweichungen, R_s(ψ) bezeichnet den Gradienten-Term, R_c(ψ) bezeichnet den Krankheitsterm, P(ip) bezeichnet den Positionsterm. Ψ repräsentiert insbesondere einen Parametersatz, der sich insbesondere auf den vorgegebenen Teilbereich oder Pixelbereich im Objektbild bezieht. Dieser Bereich ist insbesondere der Teilbereich in dem Objektbild und kann einen vorgegebenen Pixelbereich umfassen.
Die quadratische Abweichung kann wie folgt berechnet werden. $M S E_{x, y} = M S E ((f i l l_{x 1, y 1} - T {(m a s k, ψ [x 2, y 2])}_{x 2, y 2}) ⊙ W M)$
Formel 3 ist Formel 2a oder 2b sehr ähnlich mit dem Unterschied, dass Formel 3 die Gewichtungsmatrix WM enthält. Die Ausführungen zu Formel 2b gelten sinngemäß und analog für die Formel 3. Die Gewichtungsmatrix WM wirkt bevorzugt auf die Differenz der Pixelpositionen aus dem Referenzbild und jener Pixelposition, die sich durch Anwenden der temporären Abbildungsvorschrift auf die zweite Pixelposition ergibt. Das neuronale Netz 11 adaptiert die temporäre Abbildungsvorschrift T0 insbesondere iterativ solange, bis die Verlustfunktion D zu einem Verlustwert L führt, der unterhalb eines vorgegebenen Schwellenwerts SW liegt. Die temporäre Abbildungsvorschrift T0 kann mittels des Parametersatzes Ψ dem Teilbereich im Objektbild OB den dazugehörigen Teilbereich im Referenzbild RB zuordnen. Dabei tritt ein Verlustwert L auf. Ist der Verlustwert L kleiner als der vorgegebene Schwellenwert SW, so spricht man von der validen Abbildungsvorschrift T(Ψ).
Die Vorrichtung 100 kann prinzipiell bezüglich jedes einzelnen Pixels aus dem Objektbild OB eine separate valide Abbildungsvorschrift T(ψ) ermitteln. Bevorzugt wird jedoch ein Pixelbereich oder eine Pixelgruppe in die erste Pixelposition vorgegeben und in das Referenzbild RB übertragen. Der Teilbereich TO stellt diese Pixelgruppe dar. Der Teilbereich TO kann beispielsweise 5 x 5 oder 7 x 7 Pixel groß sein. Die Vorrichtung 100 kann insbesondere die valide Abbildungsvorschrift T(ψ) in Echtzeit bestimmen. Somit kann die Vorrichtung 100 während einer Inferenzphase dynamisch die valide Abbildungsvorschrift T(ψ) anpassen oder verbessern. Die valide Abbildungsvorschrift T(ψ) kann eine affine Abbildung beschreiben. Diese affine Abbildung kann in sieben Unterabbildungen gemäß den Matrizen ψ1 bis ψ7 unterteilt sein. Das neuronale Netz 11 kann für jedes Pixel im Objektbild OB die dazugehörige Pixelposition im Referenzbild RB ermitteln. Bevorzugt erfolgt dies jedoch für eine Pixelgruppe, welche durch den jeweiligen Teilbereich repräsentiert wird.
Der erste Teilbereich TO kann im Vergleich zum zweiten Teilbereich TB unterschiedlich groß sein. Die Vorrichtung 100 beziehungsweise das Verfahren können automatisch die jeweiligen Transformationsmatrizen Ψ zwischen dem Objektbild OB und dem Referenzbild RB mit niedriger und hoher Auflösung ermitteln. Das neuronale Netz 11 kann eine unterschiedliche Geometrie des Bilderzeugers 13 in Form des Positionsterms P(ψ) berücksichtigen. Dieser Positionsterm P(ψ) kann im Vorfeld als Eingabe für das neuronale Netz 11 bereitgestellt werden.
Das neuronale Netz 11 kann eine Unsicherheit bezüglich der temporären Abbildungsvorschrift T0 oder validen Abbildungsvorschrift T(ψ) ermitteln. Diese Unsicherheit kann als Ausgabe bereitgestellt werden. Diese Unsicherheit kann das neuronale Netz 11 nutzen, um zu lernen, die valide Abbildungsvorschrift T(ψ) besser zu ermitteln. Das neuronale Netz 11 wird insbesondere darauf trainiert, eine valide Abbildungsvorschrift T(ψ) zu finden, die zu einem Verlustwert L unterhalb des Schwellenwerts führt. Weist eine temporäre Abbildungsvorschrift T0 einen Verlustwert L unterhalb des Schwellenwerts SW auf, dann erfolgt bevorzugt eine Umbenennung der Abbildungsvorschrift in die valide Abbildungsvorschrift T(ψ). Der Verlustwert L wird bevorzugt lediglich bezüglich des Teilbereichs TO oder TB bestimmt. Ein an dem ersten Teilbereich TO im Objektbild OB angrenzender weiterer Teilbereich kann durch Bestimmen einer weiteren validen Abbildungsvorschrift T(ψ) oder durch eine Interpolation jener Abbildungsvorschrift T(ψ) erfolgen, welche für den ersten Teilbereich TO gültig ist. Dies gilt insbesondere dann, wenn der weitere Teilbereich einen größeren Verlustwert L aufweist als der erste Teilbereich TO, welcher das Organ BO zeigt.
Das neuronale Netz 11 kann ein adversariales Netzwerk sein. Bei einer bekannten Bewegung des medizinischen C-Bogens 12 oder bei einer bekannten Bewegung des Patienten 14 aufgrund eines Muskelzitterns können derartige Bewegungen mit Hilfe eines entsprechenden Krankheitsterms Rc(ψ) berücksichtigt werden. Der Krankheitsterm Rc(ψ) kann periodische Bewegungen der inneren Organe BO in Abhängigkeit von der Zeit beschreiben. So kann eine Prognose der Pose des Organs BO anhand des Referenzbildes RB erfolgen. So ist eine Vorhersage der Organpose im Objektbild RB möglich. Entsprechendes kann umgekehrt möglich sein, also ausgehend vom Objektbild OB kann eine Organpose im Referenzbild RB mittels des Krankheitsterms Rc(ψ) erfolgen. Auch eine Organpose, die zeitlich zwischen den beiden Bildern liegt, ist möglich. Die zeitlichen Abstände können mittels entsprechender Zeitstempel der jeweiligen Bilder bestimmt werden. Damit kann die Vorrichtung 100 während der Inferenzphase beschleunigt werden. Zusätzlich kann sich als Vorteil ergeben, dass bei Röntgenbildern eine Reduzierung der Strahlendosis möglich ist. Die Qualität bei der Bildregistrierung kann gesteigert werden, und Bildartefakte aufgrund einer zweidimensionalen Projektion von einer dreidimensionalen Bewegung können zwar nicht komplett korrigiert werden, aber deutlich reduziert werden. Ebenso kann eine Präferenz des Anwenders (Arzt) berücksichtigt werden.
Der Gradienten-Term Rs(ψ) kann mit folgender Formel ausgedrückt werden: $R s (ψ) = \frac{\partial ψ}{\partial x} + \frac{\partial ψ}{\partial y}$
Vorgegebene Patientenkenntnisse, Eigenschaften des Patienten 14 und/oder Präferenzen des Anwenders können durch das neuronale Netz 11 berücksichtigt werden. Leidet der Patient 14 beispielsweise an Muskelzittern oder einem Schluckauf, so können sich daraus periodische Bewegungen ergeben, welche sich auch auf die Position der inneren Organe BO auswirken können. Beispielsweise könnte dies zu einem vibrierenden Herzen B0 führen. Das neuronale Netz 11 kann ausgestaltet sein, derartige Eigenschaften des Patienten 14 und/oder Anwenderpräferenzen bei der Bildregistrierung zu berücksichtigen. Derartige Präferenzen des Patienten 14 können insbesondere dann von Nutzen sein, wenn mehr als eine Lösung für die Bildfusionierung gegeben ist. Das neuronale Netz 11 kann unterschiedliche Berechnungsansätze oder Berechnungsmethoden anwenden, um die valide Abbildungsvorschrift T(ψ) zu ermitteln. Es kann vorgesehen sein, dass das neuronale Netz 11 zwischen diesen unterschiedlichen Ansätzen hin und her geschaltet werden kann.
So kann beispielsweise das neuronale Netz 11 einen ersten Ansatz aufweisen, der auf eine vorgegebene Erkrankung des Patienten 14 optimiert ist. Ein zweiter Ansatz des neuronalen Netzes 11 kann auf eine Drehung (Rotation) des medizinischen C-Bogens 12 optimiert sein. Es ist möglich, dass das neuronale Netz 11 zwischen diesen beiden Ansätzen umgeschaltet werden kann.
In 2 ist beispielhaft ein möglicher Ablauf eines Verfahrens gezeigt. Das Verfahren kann die Verfahrensschritte a bis h aufweisen. In einem ersten Schritt a werden das Referenzbild RB, das Objektbild OB und das neuronale Netz 11 bereitgestellt. In dem Schritt b wird der Teilbereich TO in dem Objektbild OB vorgegeben. Dieser Teilbereich TO soll mit dem Referenzbild RB registriert werden. Dazu kann zunächst eine erste temporäre Abbildungsvorschrift T vorgegeben werden. In einem weiteren Schritt c wird insbesondere eine Trainingsphase des neuronalen Netzes 11 eingeleitet, um die valide Abbildungsvorschrift T(ψ) für die Bildregistrierung zu ermitteln. Dazu wird in einem weiteren Schritt d der Verlustwert L für die temporäre Abbildungsvorschrift T anhand einer Verlustfunktion D ermittelt. Die Verlustfunktion D beinhaltet eine Summe quadratischer Abweichungen (MSE), welche jeweils anhand einer Differenz einer ersten Pixelposition x1, y1 in dem Objektbild OB und einer zweiten Pixelposition x2, y2 in dem Referenzbild RB ermittelt wird.
In einem Schritt e wird die zweite Pixelposition durch Anwenden der temporären Abbildungsvorschrift T0 auf die erste Pixelposition x1, y1 bestimmt. Für jede Differenz wird ein jeweiliger Gewichtungsfaktor w für jedes Pixelpaar aus erster Pixelposition x1, y1 und zweiter Pixelposition x2, y2 berücksichtigt. Der Schritt e dient insbesondere dazu, die Summe quadratischer Abweichungen zu bestimmen. In einem weiteren Schritt f wird insbesondere überprüft, ob der Verlustwert L einen vorgegebenen Schwellenwert SW überschreitet. Ist dies der Fall, so wird bevorzugt das Verfahren iterativ weitergeführt. Dazu können insbesondere die Schritte b bis g erneut ausgeführt werden. Dies geschieht bevorzugt so lange, bis der Verlustwert L den Schwellenwert SW unterschreitet. Das neuronale Netz 11 kann ebenfalls lernen, den Schwellenwert SW in Abhängigkeit von einer Patienteneigenschaft, einer Anwenderpräferenz und/oder einer Behandlungsmethode anzupassen. Die Behandlungsmethode kann im Vorfeld vorgegeben oder hinterlegt sein. Wird bei dem iterativen Verfahren eine valide Abbildungsvorschrift T(ψ) ermittelt, welche den vorgegebenen Schwellenwert SW unterschreitet, so kann das Verfahren in den letzten Schritt h übergehen. Bei dem Schritt h wird insbesondere der Teilbereich TO des Objektbildes OB mit dem Referenzbild RB mit jener Abbildungsvorschrift T als valide Abbildungsvorschrift T(ψ) registriert. Die valide Abbildungsvorschrift T(ψ) ist insbesondere jene Abbildungsvorschrift T, welche einem Verlustwert L unterhalb des vorgegebenen Schwellenwerts SW zugeordnet ist. Dies wird insbesondere dadurch gewährleistet, indem im Schritt d überprüft wird, ob der Verlustwert L den Schwellenwert SW überschreitet.
Sämtliche Merkmale, Beispiele und Vorteile, die im Vorfeld genannt wurden, können sinngemäß und analog auf das schematisch dargestellte Verfahren in 2 übertragen werden. Mit Hilfe des Verfahrens und/oder der Vorrichtung 100 kann die Bildregistrierung oder das Fusionieren von medizinischen Bildern während einer Inferenzphase, also während einer Applikationsphase, beschleunigt sowie verbessert werden.

Claims

Verfahren zur Bildregistrierung eines Teilbereichs (TO) in einem Objektbild (OB) in ein Referenzbild (RB) mittels einer validen Abbildungsvorschrift T(ψ) durch Ausführen folgender Verfahrensschritte: a: Bereitstellen des Referenzbildes (RB), des Objektbildes (OB) und eines trainierbaren oder trainierten neuronalen Netzes (11), b: Vorgeben des Teilbereichs (TO) in dem Objektbild (OB), der mit dem Referenzbild (RB) zu registrieren ist, und einer temporären Abbildungsvorschrift (T0) zum Registrieren des Teilbereichs (TO) des Objektbildes (OB) mit dem Referenzbild (RB), c: Trainieren des neuronalen Netzes (11) zum Ermitteln der validen Abbildungsvorschrift T(ψ) für die Bildregistrierung durch folgende weitere Schritte: d: Ermitteln eines Verlustwerts (L) für die temporäre Abbildungsvorschrift (T0) anhand einer Verlustfunktion (D), wobei die Verlustfunktion (D) eine Summe quadratischer Abweichungen beinhaltet, die jeweils anhand einer Differenz einer ersten Pixelposition (x1,y1) in dem Objektbild (OB) und einer zweiten Pixelposition (x2, y2) in dem Referenzbild (RB) ermittelt wird, e: wobei die zweite Pixelposition (x2,y2) durch Anwenden der temporären Abbildungsvorschrift (T0) auf die erste Pixelposition (x1, y1) bestimmt wird, und für jede Differenz ein jeweiliger Gewichtungsfaktor (w) für jedes Pixelpaar aus erster Pixelposition (x1, y1) und zweiter Pixelposition (x2, y2) berücksichtigt wird, f: Vergleichen des Verlustwertes (L) mit einem vorgegebenen Schwellenwert (SW), g: Ermitteln je einer weiteren temporären Abbildungsvorschrift (T0) und eines weiteren Verlustwerts (L), solange bis der Verlustwert (L) den vorgegebenen Schwellenwert (SW) unterschreitet und somit die temporäre Abbildungsvorschrift (T0) als valide Abbildungsvorschrift (T(ψ)) bereitgestellt wird, für die Bildregistrierung.
Verfahren nach Anspruch 1, wobei das neuronale Netz (11) die Schritte b bis g, insbesondere d, e, f und g iterativ solange ausführt, bis die valide Abbildungsvorschrift T(ψ) bestimmt ist und/oder insbesondere der Teilbereich (TB) des Referenzbildes (RB) mittels Anwendung der validen Abbildungsvorschrift (T(ψ)) auf den Teilbereich (TO) des Objektbildes registriert wird und von dem registrierten Teilbereich (TB) des Referenzbildes (RB) der Teilbereich (TO) des Objektbildes (OB) digital subtrahiert wird.
Verfahren nach Anspruch 1 oder 2, wobei für die Abbildungsvorschrift (T) sieben Matrizen (ψ1 - ψ7) ermittelt werden und die sieben Matrizen (ψ1 - ψ7) jeweils eine Translation, Scherung und Skalierung in zwei Dimensionen (x, y) sowie eine Rotation (R) des Teilbereichs (TO) und/oder vorgegebener Pixelbereiche aus dem Teilbereich (TO) definieren.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verlustfunktion (D) um einen Krankheitsterm (Rc(ψ)) ergänzt wird, wobei der Krankheitsterm (Rc) erwartbare Bewegungen aufgrund einer diagnostizierten Krankheit beschreibt und diese erwartbaren Bewegungen beim Ermitteln der validen Abbildungsvorschrift (T(ψ)) berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verlustfunktion (D) um einen Positionsterm (P(ψ)) ergänzt wird, der eine Pose eines Patienten (14) oder eines Körperteils (BO) des Patienten (14) beschreibt, und die Pose des Patienten (14) oder des Körperteils (BO) beim Ermitteln der validen Abbildungsvorschrift (T(ψ)) berücksichtigt wird.
Verfahren nach einem der Ansprüche 4 bis 5, wobei der Positionsterm (P(ψ)) und/oder der Krankheitsterm (Rc(ψ)) mittels zweier konkurrierender neuronaler Netze (20) optimiert werden, wobei insbesondere ein diskriminierendes (19) Netzwerk eine durch ein erzeugendes Netzwerk (17) ermittelte temporäre Abbildungsvorschrift (T) zurückweist, bis das erzeugende Netzwerk (17) eine valide Abbildungsvorschrift (T(ψ)) ermittelt, welche zu einem Verlustwert (L) unterhalb eines durch das diskriminierende Netzwerk (19) festgelegten Grenzwerts liegt, wobei insbesondere das neuronale Netz (11) ein generatives adversariales Netz mit zwei konkurrierenden Netzen (17, 19) ist und das Trainieren des erzeugenden Netzes (17) und/oder Ermitteln der validen Abbildungsvorschrift (T(ψ)) durch die beiden konkurrierenden Netze (17, 19) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verlustfunktion (D) um einen Gradienten-Term (Rs(ψ)) erweitert wird, wobei der Gradienten-Term (Rs(W)) eine Änderung von Parametern (ψ) der temporären Abbildungsvorschrift (T) über einen vorgegebenen Pixelbereich (TO, TB) in dem Objektbild (OB), Referenzbild (RB) und/oder einem erzeugten registrierten Bild beschreibt, und der Gradienten-Term (Rs(W)) bei Ermitteln der validen Abbildungsvorschrift (T(ψ)) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für unterschiedliche Gewichtungsfaktoren (w) jeweils die dazugehörige valide Abbildungsvorschrift (T(ψ)) ermittelt wird, die mehreren validen Abbildungsvorschriften (T(ψ)) klassifiziert werden und insbesondere eine weitere Abbildungsvorschrift (T) basierend auf der Klassifizierung der mehreren Abbildungsvorschriften (T) als temporäre Abbildungsvorschrift (T0) durch das neuronale Netz (11) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein Parameter der temporären Abbildungsvorschrift (T0) und/oder der Teilbereich (TO) des Objektsbilds (OB) manuell modifiziert werden und das neuronale Netz (11) basierend in Abhängigkeit von dieser Modifikation die Verlustfunktion (D) anpasst, wobei bevorzugt die Anpassung der Verlustfunktion (D) und/oder der temporären Abbildungsvorschrift (T0) in Schritt g) zu einer Konvergenz der Schritte d, e und f führt.
Verfahren nach einem Ansprüche 4 bis 9, wobei eine Pose des Patienten (14) und/oder eine Veränderung der Pose durch eine Kamera (18) ermittelt wird, und der Positionsterm (P(ψ)) dynamisch anhand der durch die Kamera (18) abgeleiteten Pose und/oder Veränderung der Pose angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verlustfunktion (D) um einen Bewegungsterm betreffend einen Bilderzeuger (13), insbesondere einen medizinischen C-Bogen (12), ergänzt wird, wobei der Bewegungsterm eine räumliche Relation zwischen dem Patienten (14) und dem Bilderzeuger (13) beschreibt, und die valide Abbildungsvorschrift (T(ψ)) zusätzlich in Abhängigkeit von dem Bewegungsterm ermittelt wird.
Verfahren nach Anspruch 11, wobei der Bewegungsterm eine Positionsänderung und/oder projizierte Flächenänderung im Objektbild (OB) von Organen (BO), verursacht durch eine Atmung des Patienten (14), berücksichtigt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für einen jeweiligen Teilbereich (TO) vorgegebener Pixel ein jeweiliger Verlustwert (L) ermittelt wird und in Abhängigkeit von diesem Verlustwert (L) die vorgegebenen Pixel mithilfe von weiteren Pixeln, welche in einer vorgegebenen Umgebung der vorgegebenen Pixel angeordnet sind, approximiert werden, wobei die weiteren Pixel bevorzugt unmittelbar an die vorgegeben Pixel angrenzen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der jeweilige Gewichtungsfaktor (w) für jedes Pixel in einer Gewichtungsmatrix (WM) repräsentiert wird und die Gewichtungsmatrix (WM) Strukturen eines Inneren eines Patientenkörpers abbilden und/oder berücksichtigen, wobei die Strukturen insbesondere als Organe (BO), Blutgefäße, Knochen, Implantate, Kontrastmittel und/oder eine Flüssigkeitsansammlung ausgebildet sind.
Vorrichtung (100) zur Bildregistrierung mit - Bilderzeuger (13) zum Generieren eines Objektbildes (OB), - einer Schnittstelle (16) zum Empfangen oder Speichern eines Referenzbildes (RB), - einer Steuereinheit (10), welche eingerichtet ein Verfahren gemäß den Ansprüchen 1 bis 14 auszuführen.
Vorrichtung (100) nach Anspruch 15, wobei der Bilderzeuger (13) ein Röntgengerät, ein MR-Scanner, ein Endoskop, eine Ultraschall-Sonde, eine Infrarot-Kamera, eine UV-Kamera und/oder eine Gamma-Kamera ist.
Vorrichtung (100) nach Anspruch 16, wobei das Röntgengerät als Bilderzeuger (13) einen medizinischen C-Bogen (12) aufweist und die Steuereinheit (10) eingerichtet ist, eine Bewegung des C-Bogens (12) für die Bildregistrierung zu berücksichtigen.
Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung gemäß einem der Ansprüche 15 bis 17 ein Verfahren gemäß den Ansprüchen 1 bis 14 ausführt.
Computerlesbarer Datenträger, auf dem das Computerprogramm nach Anspruch 18 gespeichert ist.