DE102024203742B4 - Verfahren zur Erzeugung eines augmentierten Abbilds durch ein medizinisches Visualisierungssystem, medizinisches Visualisierungssystem und Computerprogrammprodukt - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung eines augmentierten Abbilds (AA) durch ein medizinisches Visualisierungssystem (4) umfassend die Schritte:
a. Empfangen zumindest eines Bildsignals, welches von mindestens einer Bilderfassungseinrichtung (5) eines Operationsmikroskops (10) erzeugt wurde und welches ein Abbild (A1) eines Untersuchungsbereichs (1) repräsentiert,
b. Aufteilen des Abbilds (A1) in einen Vordergrundbereich (V) und in einen Hintergrundbereich (H),
c. Empfangen zumindest eines Signals, welches Zusatzinformation (ZI) zur Augmentierung repräsentiert oder kodiert,
d. Erzeugen des augmentierten Abbilds (AA) durch Überlagerung des Hintergrundbereichs (H) des Abbilds (A1) des Untersuchungsbereichs (1) oder eines Teils davon mit den Zusatzinformationen (ZI) sowie ein medizinisches Visualisierungssystem (4) und ein Computerprogrammprodukt.

Description

• Die Erfindung betrifft ein Verfahren zur Erzeugung eines augmentierten Abbilds durch ein medizinisches Visualisierungssystem, ein medizinisches Visualisierungssystem und ein Computerprogrammprodukt.
• Zur Vorbereitung und Durchführung von insbesondere medizinischen Operationen an einem Patienten werden unter anderem Operationsmikroskope verwendet. Solche Operationsmikroskope werden von einem Nutzer, z.B. einem Chirurg oder einem Assistenten, während einer Behandlung genutzt, um eine insbesondere vergrößerte Darstellung eines Untersuchungsbereiches, insbesondere in oder auf dem Situs des Patienten, bereitzustellen. Hierzu kann ein Operationsmikroskop ein Objektiv oder ein Objektivsystem umfassen, um eine reelle optische Abbildung des Untersuchungsbereichs zu erzeugen. Das Objektiv kann optische Elemente zur Strahlführung und/oder -formung und/oder -lenkung umfassen. Ein optisches Element kann insbesondere eine Linse sein.
• Operationsmikroskope finden Anwendung in medizinischen Einrichtungen, aber auch in Laboren oder bei industriellen Anwendungen. Beispielhafte medizinische Anwendungsgebiete sind die Neurochirurgie, die Augenchirurgie, die Hals-Nasen-Ohren-Chirurgie, die plastische oder rekonstruktive Chirurgie und die orthopädische Chirurgie. Diese Aufzählung ist nicht abschließend. Generell werden sie in allen Bereichen der Chirurgie eingesetzt, in denen eine vergrößerte und hochauflösende Sicht auf das Operationsfeld erforderlich ist, um präzise Eingriffe durchzuführen.
• Unterschieden werden kann zwischen analogen und digitalen Operationsmikroskopen. Im Gegensatz zu digitalen Operationsmikroskopen erfassen analoge Operationsmikroskope keine Abbilder, die dann z.B. auf einem Bildschirm zur vergrößerten Darstellung des Untersuchungsbereichs angezeigt werden, sondern bieten eine direkt visuell erfassbare Vergrößerung des Untersuchungsbereiches für den Nutzer. Hierbei gelangt vom Anwendungsbereich reflektierte oder gestreute Strahlung durch das Objektiv in zumindest einen Strahlengang und zu zumindest einem Ausgabeabschnitt, durch oder in den der Nutzer schaut, um die Strahlung und somit auch die in der Regel vergrößerte Darstellung des Untersuchungsbereichs visuell zu erfassen. Eine beispielhafte Ausführungsform eines Ausgabeabschnitts ist ein so genanntes Okular in oder durch das der Nutzer blickt, um den Untersuchungsbereich mit zumindest einem Auge optisch zu erfassen. Digitale Operationsmikroskope umfassen genau oder zumindest eine Bilderfassungseinrichtung zur mikroskopischen Abbildung, die Strahlung in einem Strahlengang des Operationsmikroskops erfasst, um ein insbesondere vergrößertes Abbild zu erzeugen, wobei dieses Abbild dem Nutzer oder auch mehreren Nutzern auf einer oder mehreren Anzeigeeinrichtung(en) angezeigt werden kann. Somit kann eine hoch-aufgelöste Visualisierung ermöglicht werden. Das Abbild kann in Form eines insbesondere übertragbaren Bildsignals erzeugt werden, welches das Abbild kodiert bzw. repräsentiert. Rein digitale Operationsmikroskope verfügen im Unterschied zu analogen Operationsmikroskopen über keinen Ausgabeabschnitt für visuell erfassbare Strahlung, insbesondere also kein Okular. Ein Bildsignal kann dann in Form von einem Datensignal übertragen werden, insbesondere in drahtgebundener oder in drahtloser Art und Weise. Digitale Operationsmikroskope ermöglichen, Abbilder und Videos aufzunehmen, diese zu speichern und weiterzuverarbeiten. Durch Anwendung von Verfahren der Bildverarbeitung können insbesondere Kontrast, Helligkeit und andere Parameter angepasst werden, um eine Bildqualität der erzeugten Abbilder zu optimieren. Hybride Operationsmikroskope können sowohl zumindest eine Bilderfassungseinrichtung als auch zumindest einen Ausgabeabschnitt. Beispielsweise kann die in einem Strahlengang des Operationsmikroskops geführte Strahlung mit einem Strahlteiler aufgeteilt werden, wobei ein erster Anteil zum Ausgabeabschnitt geleitet und ein weiterer Anteil von der zumindest einen Bilderfassungseinrichtung erfasst wird.
• Weiter bekannt sind Stereooperationsmikroskope, die in der Regel zwei getrennte Strahlengänge zur Strahlführung umfassen und dem Nutzer einen Tiefeneindruck von dem Untersuchungsbereich bereitstellen. Hierzu können die in den beiden Strahlengängen geführten Strahlen über Ausgabeabschnitte visuell durch den Nutzer erfasst werden. Digitale Operationsmikroskope umfassen alternativ oder zusätzlich zwei Bilderfassungseinrichtungen, die jeweils die Strahlen in einem der Strahlengänge erfassen, um ein Abbild zu erzeugen, wobei dann basierend auf den beiden Abbildern, die auch als korrespondierende Abbilder bezeichnet werden können, dem Nutzer über eine geeignete Anzeigeeinrichtung eine dreidimensionale Abbildung bereitgestellt wird. Die Bilderfassungseinrichtungen bilden hierbei Teile eines Stereo(kamera)systems. Das Operationsmikroskop kann ein medizinisches Visualisierungssystem bilden oder das medizinische Visualisierungssystem kann das Operationsmikroskop umfassen.
• Nachfolgend erläuterte Bestandteile des medizinischen Visualisierungssystems können Bestandteile des Operationsmikroskops sein oder verschieden vom Operationsmikroskop ausgebildete Bestandteile.
• Weiter bekannt ist die Bereitstellung einer augmentierten Darstellung des Untersuchungsbereichs für einen Nutzer. Eine augmentierte Darstellung kann insbesondere eine Darstellung des realen Untersuchungsbereichs sein, welche computergestützt erweitert wird, insbesondere indem als Zusatzinformation mindestens ein virtuelles Objekt und/oder eine andere Zusatzinformation in die Darstellung des realen Untersuchungsbereichs eingeblendet oder dieser überlagert wird. Die augmentierte Darstellung kann einem Nutzer in Form eines augmentierten Abbilds auf einer Anzeigeeinrichtung angezeigt oder über einen Ausgabeabschnitt in visuell erfassbarer Weise bereitgestellt werden.
• Zusatzinformation können in Form von Daten bereitgestellt sein, die eine geometrische Beschreibung eines insbesondere dreidimensionalen Raums, insbesondere mit darin angeordneten Objekten repräsentieren oder kodieren. Zusatzinformationen können auch aus solchen Daten erzeugte Informationen sein, beispielsweise durch ein Rendern erzeugte Informationen. Unter Rendering oder Bildsynthese versteht man den Prozess der computerimplementierten Erzeugung eines fotorealistischen oder nicht fotorealistischen Bildes aus einem 2D- oder 3D-Modell. Mehrere Modelle können in einer Szenendatei definiert werden, die Objekte in einer definierten Sprache oder Datenstruktur enthält. Die Szenendatei kann Geometrie-, Blickpunkt-, Textur-, Beleuchtungs- und Schattierungsinformationen enthalten, die die virtuelle Szene beschreiben. Die in der Szenendatei enthaltenen Daten werden dann an ein Rendering-Programm weitergeleitet, das sie verarbeitet und in eine digitale Bild- oder Rastergrafikdatei ausgibt. Eine Softwareanwendung oder Komponente, die das Rendering durchführt, wird als Rendering-Engine, Rendering-Engine, Rendering-System, Grafik-Engine oder einfach als Renderer bezeichnet.
• Eine wichtige Anforderung bei einer Augmentierung ist, dass ein Betrachter des augmentierten Abbilds, insbesondere ein Chirurg, durch die Augmentierung bei seiner Tätigkeit nicht gestört oder abgelenkt wird. Insbesondere ist es wünschenswert, dass ein Chirurg auch dann ergonomisch operieren kann, wenn er einen Untersuchungsbereich mit einer überlagerten Augmentierung betrachtet. So ist es insbesondere wichtig, dass ein Objekt, wie z.B. ein Tumor, der entlang einer Blick- oder Betrachtungsrichtung räumlich hinter einer Oberfläche des Untersuchungsbereiches liegt, auch in einem augmentierten Abbild derart dargestellt wird, dass er nicht fälschlicherweise räumlich vor der Oberfläche angeordnete Objekte überlagert, da dies die räumliche Wahrnehmung des Betrachters erschweren kann. Auch kann hierdurch ein Stereo-Tiefeneindruck bei einer Betrachtung durch ein Stereooperationsmikroskop verfälscht werden. Dies kann insbesondere dann der Fall sein, wenn auch augmentierte Objekte in stereoskopisch wahrnehmbarer Weise überlagert werden, da die entsprechende dreidimensionale Wahrnehmung für den Betrachter verwirrend sein kann.
• Befinden sich weitere Objekte, wie z.B. chirurgische Instrumente, in einem Blickfeld des medizinischen Visualisierungssystems, so kann die Augmentierung problematisch sein, wenn hierdurch die Darstellung der Objekte überlagert wird, da ein Betrachter somit in der Wahrnehmung von Informationen über eine Relativlage zwischen dem Objekt und dem Untersuchungsbereich gestört werden kann. Ferner kann es problematisch sein, wenn eine Augmentierung Bereiche überdeckt, in die Gewebe abgebildet ist, da ein Betrachter, insbesondere der bereits erwähnte Chirurg, das abgebildete Gewebe klar sehen möchte, um z.B. operative Schritte durchzuführen.
• Die US2010/295931 A1 bezieht sich auf das technische Gebiet der medizinischen Navigationsbildausgabe. Die medizinische Navigation wird im Rahmen der bildgesteuerten Chirurgie eingesetzt und unterstützt den Chirurgen bei der optimalen Positionierung seiner Instrumente, wobei z.B. auf zuvor erfasste Bilddaten des Patienten Bezug genommen wird. Dem behandelnden Arzt steht somit eine Bildausgabe, z. B. ein Monitor, zur Verfügung, auf dem er erkennen kann, wo sich sein Instrument bzw. dessen Funktionsteil in Bezug auf bestimmte Körperregionen des Patienten befindet.
• Die US 2015/221105 A1 offenbart Bildgebungssysteme, Bildgebungsvorrichtungen und Bildgebungsverfahren, die Teile eines mehrdimensionalen rekonstruierten Bildes mit mehrdimensionalen Visualisierungen von mindestens einem Teil einer Operationsstelle verschmelzen. Die Bildgebungssysteme können mehrdimensionale rekonstruierte Bilder auf der Grundlage präoperativer Bilddaten erzeugen. In einem ausgewählten Abschnitt der Visualisierung können die Bildgebungssysteme einen Teil des mehrdimensionalen rekonstruierten Bildes anzeigen.
• Das Dokument M. Allan et. al., 2017 Robotic Instrument Segmentation Challenge, https://arxiv.org/abs/1902.06426, 2019 offenbart eine semantische Segmentierung.
• Das Dokument Tian, Yuan; Guan, Tao; Wang, Cheng: Real-time occlusion handling in augmented reality based on an object tracking approach. Sensors, 2010, 10. Jg., Nr. 4, S. 2885-2900. DOI: https://doi.org/10.3390/s100402885 offenbart ein Echtzeit-Okklusionsbehandlungsverfahren auf Basis eines Objektverfolgungsansatzes.
• Es stellt sich somit das technische Problem, ein Verfahren zur Erzeugung eines augmentierten Abbilds durch ein medizinisches Visualisierungssystem, ein medizinisches Visualisierungssystem sowie ein Computerprogrammprodukt zu schaffen, die eine Darstellungsqualität des augmentierten Abbilds zur verbesserten Wahrnehmung eines abgebildeten Untersuchungsbereichs bei einer Augmentierung erhöhen und somit zumindest einen der vorhergehend erläuterten Nachteile überwinden.
• Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der unabhängigen Ansprüche. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich durch die Unteransprüche.
• Vorgeschlagen wird ein Verfahren zur Erzeugung eines augmentierten Abbilds durch ein medizinisches Visualisierungssystem. Dieses umfasst insbesondere ein Operationsmikroskop oder kann durch das Operationsmikroskop gebildet sein.
• Operationsmikroskope und ihre technischen Merkmale wurden eingangs bereits kurz erläutert. Das Operationsmikroskop kann insbesondere ein Stereo-Mikroskop sein. Auch kann das Operationsmikroskop als Endoskop ausgebildet sein.
• Ein Operationsmikroskop kann einen Mikroskopkörper umfassen. Das eingangs erläuterte Objektiv kann in den Mikroskopkörper integriert oder an diesem befestigt sein, insbesondere lösbar. Hierbei kann das Objektiv ortsfest relativ zum Mikroskopkörper angeordnet sein. Neben dem Objektiv kann der Mikroskopkörper ebenfalls mindestens einen Strahlengang für die mikroskopische Abbildung und/oder weitere optische Elemente zur Strahlführung und/oder -formung und/oder -ablenkung aufweisen oder ausbilden. Bei analogen und hybriden Operationsmikroskopen kann der Mikroskopkörper mindestens eine Befestigungsschnittstelle zur insbesondere lösbaren Befestigung eines Ausgabeelements, z.B. eines Okulars, umfassen. Der Mikroskopkörper kann ein Gehäuse umfassen oder ausbilden oder in einem Gehäuse angeordnet sein. Bestandteile des Operationsmikroskops, wie z.B. eine Bilderfassungseinrichtung zur mikroskopischen Abbildung, können in oder an dem Gehäuse angeordnet sein.
• Das medizinische Visualisierungssystem kann neben dem Operationsmikroskop ein Stativ zur Halterung des Operationsmikroskops umfassen. Das Operationsmikroskop, insbesondere der Mikroskopkörper, kann an dem Stativ mechanisch befestigt sein. Das Stativ ist hierbei derart ausgebildet, dass es eine Bewegung des Operationsmikroskops im Raum ermöglicht, insbesondere mit mindestens einem Freiheitsgrad, vorzugsweise mit sechs Freiheitsgraden, wobei ein Freiheitsgrad ein Translations- oder ein Rotationsfreiheitsgrad sein kann. Weiter kann das Stativ mindestens eine Antriebseinrichtung zur Bewegung des Operationsmikroskops umfassen. Eine solche Antriebseinrichtung kann beispielsweise ein Servomotor sein. Selbstverständlich kann das Stativ auch Mittel zur Kraft-/ Momentenübertragung, z.B. Getriebeeinheiten, umfassen. Insbesondere ist es möglich, die mindestens eine Antriebseinrichtung derart anzusteuern, dass das Operationsmikroskop eine gewünschte Bewegung und somit eine gewünschte Lageänderung im Raum ausführt oder eine gewünschte Lage, also eine Position und/oder Orientierung, im Raum einnimmt. Beispielsweise kann die mindestens eine Antriebseinrichtung derart angesteuert werden, dass eine optische Achse eines Objektivs des Operationsmikroskops eine gewünschte Orientierung einnimmt. Weiter kann die mindestens eine Antriebseinrichtung derart angesteuert werden, dass ein Referenzpunkt des Operationsmikroskops, z.B. ein Fokuspunkt, an einer gewünschten Position im Raum positioniert wird. Eine Soll-Lage kann von einem Nutzer oder einem anderen übergeordneten System vorgegeben werden. Verfahren zur Steuerung der mindestens einen Antriebseinrichtung in Abhängigkeit einer Soll-Lage und einer kinematischen Struktur des Stativs sind hierbei dem Fachmann bekannt.
• Weiter kann das medizinische Visualisierungssystem eine oder sogar mehrere Anzeigeeinrichtung(en) zur Anzeige der Abbilder umfassen. Die Anzeigeeinrichtung kann zur Darstellung von zwei- oder dreidimensionalen Abbildern dienen. Ein dreidimensionales Abbild kann insbesondere ein Stereo-Bildpaar sein oder umfassen, wobei die Abbilder dieses Bildpaares stereoskopische Abbilder sind. Typische Anzeigeeinrichtungen sind Bildschirme, insbesondere 3D-Bildschirme, Head-Mounted-Displays (HMD) oder digitale Okulare, die auch als so genannte Booms bezeichnet werden können.
• Weiter kann das medizinische Visualisierungssystem, insbesondere das Operationsmikroskop, einen oder mehrere der folgend angeführten Elemente umfassen:
• • mindestens eine Weißlicht-Beleuchtungseinrichtung,
• • mindestens eine Infrarot-Beleuchtungseinrichtung,
• • mindestens eine Fluoreszenz-Beleuchtungseinrichtung zur Anregung von Fluoreszenzstrahlung,
• • mindestens einen Strahlfilter zur Bereitstellung von Anregungsstrahlung mit Wellenlängen aus einem breiteren Spektrum, z.B. dem Spektrum der Weißlicht-Beleuchtungseinrichtung,
• • mindestens eine Fluoreszenzerfassungseinrichtung zum Erfassen von Fluoreszenzstrahlung,
• • mindestens eine Filtereinrichtung zum Filtern von Strahlung aus einem breiteren Spektrum, z.B. zur Erfassung durch eine Bilderfassungseinrichtung zur mikroskopischen Abbildung,
• • mindestens eine Bilderfassungseinrichtung einer optischen Lageerfassungseinrichtung, die auch als Umfeldkamera bezeichnet werden kann,
• • mindestens eine Einrichtung zur Blickrichtungserkennung,
• • mindestens eine Lageerfassungseinrichtung zur Bestimmung einer Pose, also einer Position und/oder Orientierung, zumindest des Operationsmikroskops
• • mindestens eine Eingabeeinrichtung zur Bedienung,
• • mindestens eine Schnittstelle zur Datenübertragung zu oder von einem weiteren System oder einer weiteren Einrichtung,
• • mindestens eine Einrichtung zur Bestimmung von Tiefeninformationen, insbesondere bezüglich der im Erfassungsbereich des Operationsmikroskops angeordneten Elemente, die z.B. als Abstandssensor ausgebildet sein kann,
• • mindestens eine Speichereinrichtung zur Speicherung von Signalen und/oder Informationen insbesondere in abrufbarer Weise.
• Eine Bilderfassungseinrichtung kann insbesondere einen CMOS- oder CCD-Sensor umfassen. Ein Erfassungsbereich der Umfeldkamera kann den Erfassungsbereich des Operationsmikroskops vollständig oder zumindest teilweise umfassen. Alternativ kann ein Erfassungsbereich des Operationsmikroskops den Erfassungsbereich der Umfeldkamera vollständig oder zumindest teilweise umfassen.
• In einem Fluoreszenz-Visualisierungsmodus kann eine Filtereinrichtung in einen Beobachtungsstrahlengang eingebracht werden, wodurch einem Betrachter eine durch die Filtereinrichtung gefilterte Darstellung des Untersuchungsbereichs bereitgestellt. Diese Strahlung kann durch die mindestens eine Bilderfassungseinrichtung zur mikroskopischen Abbildung erfasst werden. Alternativ kann Fluoreszenzstrahlung auch von einer Erfassungseinrichtung erfasst werden, die von der Bilderfassungseinrichtung zur mikroskopischen Abbildung verschieden ist, z.B. von einer Spektralkamera. Der Fluoreszenz-Modus ermöglicht in vorteilhafter Weise eine intraoperative Gewebedifferenzierung. Mit fluoreszenzbasierten Abbildern kann insbesondere Tumorgewebe visualisiert werden. Mit polarisationskontrastbasierten Abbildern kann insbesondere Nervengewebe visualisiert werden.
• Die Bedienung von medizinischen Visualisierungssystemen kann z.B. über eine manuelle Betätigung eines Bestandteils, insbesondere des Operationsmikroskops, oder einer entsprechenden Eingabeeinrichtung, über eine Sprachsteuerung, eine Gestensteuerung, eine Blicksteuerung, eine bildbasierte Steuerung oder andere Bedienverfahren erfolgen. Das medizinische Visualisierungssystem oder das Operationsmikroskop kann die hierzu erforderlichen Einrichtungen umfassen. Eine bildbasierte Steuerung kann insbesondere die Erzeugung von Bedien- oder Steuersignalen durch Auswertung von mindestens einem Abbild umfassen, die von einer Bilderfassungseinrichtung zur mikroskopischen Abbildung oder einer Bilderfassungseinrichtung einer optischen Lageerfassungseinrichtung erzeugt wurden.
• Einstellbare Betriebsparameter des medizinische Visualisierungssystems oder des Operationsmikroskops können durch einen oder mehrere der folgend angeführten Parameter gebildet sein:
• • Vergrößerungsfaktor oder Zoom-Faktor,
• • Arbeitsabstand bzw. Fokuslage,
• • Erfassungsbereich
• • Beleuchtungsintensität,
• • Beleuchtungsspektrum.
• Das vorgeschlagene Verfahren umfasst folgende Schritte:
1. a) Empfangen zumindest eines Bildsignals, welches von mindestens einer Bilderfassungseinrichtung des Operationsmikroskops erzeugt wurde und welches ein Abbild eines Untersuchungsbereichs repräsentiert. Das Bildsignal kann hierbei über eine Schnittstelle des medizinischen Visualisierungssystems empfangen werden. Insbesondere kann das Bildsignal ein zweidimensionales Abbild repräsentieren. Der Untersuchungsbereich kann ein Bereich des Situs eines Patienten während einer Operation oder während einer diagnostischen Untersuchung sein. Das empfangene Bildsignal kann hierbei vorzugsweise ein Weißlicht-Abbild (VIS-Abbild) repräsentieren, das mit sichtbarer Strahlung, also Strahlung aus einem Wellenlängenbereich zwischen 360 nm und 830 nm, erzeugt wurde. Auch ist vorstellbar, dass das Abbild als Fluoreszenzkontrast-Abbild bereitgestellt wird, welches durch Strahlung mit vorbestimmten fluoreszenzspezifischen Wellenlängen oder Wellenlängenbereichen erzeugt wurde, beispielsweise mit Wellenlängen von 400 nm oder 560 nm. Auch kann das Abbild als Polarisationskontrast-Abbild bereitgestellt werden, welches durch Strahlung mit einer vorbestimmten Polarisation erzeugt wurde. Die Bilderfassungseinrichtung des Operationsmikroskops kann folglich eine Bilderfassungseinrichtung zur mikroskopischen, also vergrößerten, Abbildung des Untersuchungsbereichs sein oder eine davon verschiedene Bilderfassungseinrichtung sein.
2. b) Aufteilen des Abbilds in einen Vordergrundbereich und in einen Hintergrundbereich. Diese Aufteilung kann auch als Segmentierung bezeichnet werden. Insbesondere werden Bildpunkte oder Bildbereiche des Abbilds entweder dem Vordergrundbereich oder dem Hintergrundbereich zugeordnet bzw. entweder als Vordergrund oder als Hintergrund klassifiziert. Das Aufteilen kann insbesondere derart erfolgen, dass in den Vordergrundbereich Elemente wie z.B. Objekte oder Strukturen abgebildet sind, die nicht durch eine Augmentierung überlagert werden sollen, wobei diese Elemente als Vordergrundelemente bezeichnet werden können. Vordergrundelemente umfassen z.B. Instrumente, insbesondere chirurgische Instrumente, Hände oder Finger bzw. Abschnitte davon. Entsprechend sind im Hintergrundbereich Elemente, die auch als Hintergrundelemente bezeichnet werden, abgebildet, die durch eine Augmentierung überlagert werden können. Hintergrundelemente umfassen insbesondere Gewebe. Hintergrundelemente können jedoch ebenfalls Instrumente sein. Insbesondere können sogenannte hybride Elemente existieren, die je nach Szenario Hintergrund- oder Vordergrundelemente sein können. Ein beispielhaftes hybrides Element kann z.B. ein Tupfer sein, der als Hintergrundelement klassifiziert wird, insbesondere wenn er statisch und/oder unbetätigt im Untersuchungsbereich angeordnet ist. Der Tupfer kann aber auch als Vordergrundelement klassifiziert werden, insbesondere wenn er sich um mehr als ein vorbestimmtes Maß bewegt und/oder von einem Nutzer betätigt wird. Im Sinne dieser Erfindung sind Vordergrundelemente nicht auf Instrumente beschränkt. Ferner wird zur Detektion von Vordergrundelementen keine Objekterkennung durchgeführt. Insbesondere können sowohl Teilbereiche des Abbilds, in denen Gewebe abgebildet ist, als auch Teilbereiche des Abbilds, in die ein Instrument abgebildet ist, als Teile des Hintergrundbereichs klassifiziert werden. Die Aufteilung kann insbesondere erfolgen, indem eine Bildmaske erzeugt wird, die Informationen über Vorder- und Hintergrundbereich repräsentiert. Eine solche Bildmaske wird nachfolgend noch erläutert. Die Bildmaske kann durch ein übertragbares Signal repräsentiert bzw. kodiert werden. Selbstverständlich können Informationen über die Aufteilung auch in anderer Weise bereitgestellt werden.
3. c) Empfangen zumindest eines Signals umfassend Zusatzinformationen zur Augmentierung. Dieses Signal, welches nachfolgend als Zusatzinformationssignal bezeichnet wird, kann über eine Schnittstelle des medizinischen Visualisierungssystems empfangen werden. Beispielhafte Zusatzinformationen wurden eingangs bereits erläutert. Vorzugsweise repräsentiert das Zusatzinformationssignal ein insbesondere zweidimensionales Abbild des Untersuchungsbereichs, welches basierend auf präoperativ oder intraoperativ erzeugten Informationen bereitgestellt wird. Das Zusatzinformationssignal kann hierbei von einer weiteren Einrichtung des medizinischen Visualisierungssystems erzeugt werden, beispielsweise einer weiteren Bilderfassungseinrichtung oder einem Sensor. Auch kann das Zusatzinformationssignal aus einer Speichereinrichtung des medizinischen Visualisierungssystems abgerufen werden. Ebenfalls ist vorstellbar, dass das Zusatzinformationssignal aus einem übergeordneten System, beispielsweise einem Netzwerk, abgerufen wird. Das Zusatzinformationssignal repräsentiert oder codiert Informationen, die dem Abbild des Untersuchungsbereichs überlagert werden sollen.
4. d) Erzeugen des augmentierten Abbilds durch Überlagerung des Hintergrundbereichs oder eines Teils davon mit den Zusatzinformationen. In einer Ausführungsform wird die Überlagerung mit Zusatzinformationen ausschließlich im Hintergrundbereich oder in einem Teil des Hintergrundbereichs vorgenommen.
• Das erzeugte augmentierte Abbild kann dann, insbesondere als Bildsignal, an eine Anzeigeeinrichtung übertragen werden, wobei diese dann angesteuert wird, um das Abbild in visuell erfassbarer Weise auszugeben. Insbesondere in einem virtuellen (3D-)Abbild oder einem augmentierten (3D-)Abbild können sichtbare und/oder verdeckte Objekte bzw. Elemente abgebildet sein, womit diese dann auch in visuell erfassbarer Weise dargestellt werden können.
• Im Falle eines Stereo-Operationsmikroskops können Bildsignale, welche die von den beiden Bilderfassungseinrichtungen des Stereosystems erzeugt wurden und welche korrespondierende Abbilder des Untersuchungsbereichs repräsentieren, empfangen werden. Jedes dieser korrespondierenden Abbilder kann dann in den Vordergrundbereich und in den Hintergrundbereich aufgeteilt werden. Ferner können nach Empfangen des zumindest einen Signals umfassend Zusatzinformationen (korrespondierende) augmentierte Abbilder erzeugt werden, indem jedem der Abbilder die Zusatzinformationen im Hintergrundbereich überlagert werden. Es ist auch möglich, dass für jedes der korrespondierenden Abbilder ein abbildspezifisches Zusatzinformationssignal zur Augmentierung empfangen wird, welches dann zum Erzeugen des augmentierten Abbilds genutzt wird. Beispielsweise kann mit virtuellen Bilderfassungseinrichtungen jeweils ein Zusatzinformationssignal erzeugt werden, welches ein virtuelles Abbild repräsentiert, das aus bzw. von den Zusatzinformationen erzeugt wird. Die virtuellen Bilderfassungseinrichtungen können optische Modelle der Bilderfassungseinrichtungen des Stereosystems sein. Somit wird in vorteilhafter Weise eine perspektivisch korrekte Augmentierung erzeugt, insbesondere in einer dreidimensionalen und konsistenten Weise. Ein virtuelles Abbild kann eine Textur kodieren, insbesondere mit Farb- und/oder Transparenzinformationen.
• Zum Erzeugen des augmentieren Abbilds können die Zusatzinformationen in den Strahlengang eingebracht, z.B. eingespiegelt, werden. Z.B. können diese mittels einer Projektionseinrichtung des Operationsmikroskops auf ein Projektionselement, z.B. eine insbesondere strahlungsdurchlässige Scheibe projiziert werden, welches im Strahlengang angeordnet ist. Das augmentierte Abbild kann dann erzeugt werden, indem ein Abbild auf Basis der Strahlen erzeugt wird, in die die Zusatzinformation wie erläutert eingebracht wurde. Alternativ oder kumulativ kann die das augmentierte Abbild repräsentierende Strahlung auch durch einen Ausgabeabschnitt zur visuellen Erfassung durch einen Betrachter bereitgestellt werden.
• Alternativ kann ein augmentiertes Abbild erzeugt werden, in dem ein Abbild des realen Untersuchungsbereichs computergestützt erweitert wird, insbesondere durch eine Bildverarbeitung. Hierbei können dem Abbild des realen Untersuchungsbereichs die Zusatzinformationen überlagert werden. Bei einem Stereooperationsmikroskop ist es möglich, dass dem Nutzer zwei augmentierte Darstellungen bereitgestellt werden. Generell können hierzu in jeden der beiden Strahlengänge eines Stereooperationsmikroskops (zueinander korrespondierende) Zusatzinformationen eingebracht werden. Bei digitalen Stereooperationsmikroskopen können z.B. aus den von beiden Bilderfassungseinrichtungen erzeugten Abbildern jeweils augmentierte Abbilder erzeugt werden. Somit kann einem Nutzer auch auf einer entsprechenden Anzeigeeinrichtung oder durch einen Ausgabeabschnitt ein augmentiertes Abbild mit Tiefeninformationen, also eine augmentierte dreidimensionale Darstellung, bereitgestellt werden.
• Zusatzinformationen, die einem Nutzer durch Augmentierung dargestellt werden, können insbesondere präoperativ erzeugte Informationen sein, die z.B. in Form von präoperativ erzeugten Daten bereitgestellt werden, wobei diese auch zur Planung eines Eingriffs dienen können. Solche präoperativ erzeugten Daten können insbesondere Volumendaten sein. Volumendaten können in Form einer Punktwolke, in Form einer voxelbasierten Repräsentation oder in Form einer Mesh-basierten Repräsentation bereitgestellt sein. Die Zusatzinformationen können insbesondere auch in Form eines insbesondere übertragbaren Signals bereitgestellt sein.
• Präoperative Daten können z.B. durch computertomografiebasierten oder magnetresonanztomografiebasierten Verfahren erzeugt werden. Auch können andere, insbesondere bildgebende, Verfahren wie z.B. Ultraschall-basierte, röntgenbasierte, fluoreszenzbasierte, SPECT (Single-Photon-Emissionscomputertomographie)-basierte oder PET (Positron-Emissions-Tomographie)-basierte Verfahren zur Erzeugung genutzt werden. Durch eine solche Augmentierung kann z.B. ein Tumor-Objekt oder seine Konturen, die auf Basis von präoperativen Informationen erzeugt wurden, einem Weißlichtbild überlagert werden.
• In präoperativen Daten, die mit einem magnetresonanztomografiebasierten Verfahren erzeugt werden, können verschiedene Gewebearten wie z.B. Fettgewebe, Muskelgewebe, Tumorgewebe aber auch Blutgefäße und Nervenbahnen identifiziert werden. In präoperativen Daten, die mit einem computertomografiebasierten Verfahren erzeugt werden, können insbesondere knöcherne Strukturen dargestellt werden.
• Alternativ oder zusätzlich zur Verwendung von präoperativ erzeugten Informationen zur Bereitstellung des augmentierten Abbilds ist es möglich, dass intraoperative, also während einer Behandlung aufgenommene oder erzeugte, Informationen als Zusatzinformationen zur Erzeugung des augmentierten Abbilds Verwendung finden. So können zum Beispiel während einer Operation Informationen gesammelt und gespeichert werden, die dann im Anschluss zum Erzeugen eines augmentierten Abbilds verwendet werden können. Dies ist insbesondere dann von Vorteil, wenn es unterschiedliche Visualisierungsmodalitäten gibt, die zu unterschiedlichen Zeitpunkten aktiviert werden. So können zum Beispiel in einer Fluoreszenz-Visualisierungsmodalität Fluoreszenz-Informationen dargestellt oder einem Weißlicht-Abbild überlagert werden.
• Den Zusatzinformationen kann ein Bezugskoordinatensystem zugeordnet sein, wodurch die Zusatzinformationen auch räumliche Informationen umfassen können. Dieses Bezugskoordinatensystem kann auch als Welt-Koordinatensystem bezeichnet werden.
• Zur Augmentierung ist es in der Regel notwendig, eine Registrierung zwischen dem Bezugskoordinatensystem der Zusatzinformationen und einem Bezugskoordinatensystem des medizinischen Visualisierungssystems, insbesondere der Operationsmikroskops oder einer Bilderfassungseinrichtung des Operationsmikroskops, durchzuführen. Diese Registrierung kann vor der Augmentierung durchgeführt werden. Durch die Registrierung wird ein räumlicher Bezug sowohl der Zusatzinformationen als auch des Abbilds zu einem gemeinsamen Bezugskoordinatensystem bestimmt, insbesondere auch für die Informationen in dem von der Bilderfassungseinrichtung des Operationsmikroskops erzeugten Abbild. Dieses gemeinsame Bezugskoordinatensystem, das nachfolgend auch als Referenzkoordinatensystem bezeichnet wird, kann insbesondere das Bezugskoordinatensystem der Zusatzinformationen, das Bezugskoordinatensystem des medizinischen Visualisierungssystems aber auch ein davon verschiedenes Bezugskoordinatensystem sein.
• Zur Registrierung können verschiedene Verfahren, zum Beispiel Verfahren einer modellbasierten Registrierung, durchgeführt werden. Hierbei können in einem Abbild Merkmale detektiert werden, die zu vorbekannten Merkmalen, z.B. zu geometrischen Merkmalen in den Zusatzinformationen korrespondieren, wobei dann die Registrierung in Abhängigkeit dieser korrespondierenden Merkmale bestimmt werden kann. Die Registrierung kann beispielsweise in Form einer Transformationsmatrix, die einen Rotations- und/oder Translationsanteil umfasst, bestimmt werden. Eine beispielhafte, modellbasierte Registrierung kann eine kantenbasierte Registrierung sein, wobei die korrespondierenden Merkmale beispielsweise durch eine Eigenschaft mindestens einer, vorzugsweise mehrerer Kanten sowohl im Abbild als auch in den Zusatzinformationen gebildet werden. Auch kann eine topografiebasierte Registrierung erfolgen, insbesondere wenn eine Topografie bestimmt werden kann, z.B. mit einem Stereosystem eines Operationsmikroskops. So können in dem mindestens einen Abbild topografische Informationen bestimmt werden, wobei dann sowohl in den Zusatzinformationen als auch in diesen topografischen Informationen korrespondierende Merkmale bzw. Punkte oder Abschnitte detektiert werden, die dann zur Bestimmung der Registrierung verwendet werden können.
• Die Zusatzinformationen können also registrierte Informationen sein. Im Sinne dieser Erfindung kann die Eigenschaft „registriert“ bedeuten, dass ein räumlicher Bezug zu dem Referenzkoordinatensystem bekannt ist, insbesondere in Form einer Transformationsmatrix. Eine registrierte Einrichtung kann Signale erzeugen, deren räumlicher Bezug zu dem Referenzkoordinatensystem bekannt ist.
• Die Zusatzinformationen können insbesondere durch Rendern erzeugt werden. So kann ein virtuelles Abbild durch Rendern erzeugt werden, welches dann zur Augmentierung genutzt und z.B. einem insbesondere live aufgenommenen Abbild des realen Untersuchungsbereichs überlagert wird. Das virtuelle Abbild kann ebenfalls als Bildsignal bereitgestellt werden, welches das virtuelle Abbild kodiert bzw. repräsentiert.
• Das virtuelle Abbild kann mit einer virtuellen Bilderfassungseinrichtung erzeugt werden, wobei diese ein mathematisches bzw. physikalisches und insbesondere computergestützt auswertbares optisches Modell einer Bilderfassungseinrichtung sein kann. Insbesondere kann eine computerimplementierte Berechnung der Bildpunkte des virtuellen Abbilds erfolgen. Dieses virtuelle Abbild ist u.a. abhängig von Parametern der (modellierten) Bilderfassungseinrichtung. Insbesondere kann das virtuelle Abbild in Abhängigkeit der intrinsischen Parameter der Bilderfassungseinrichtung zur mikroskopischen Abbildung erzeugt werden, insbesondere mit diesen Parametern. Werden korrespondierende Abbilder eines virtuellen Stereosystems erzeugt, so können diese zusätzlich auch in Abhängigkeit der extrinsischen Parameter der beiden Bilderfassungseinrichtungen zur mikroskopischen Abbildung erzeugt werden, insbesondere mit diesen Parametern. Mit anderen Worten können bei der Auswertung des Modells zur Erzeugung der virtuellen Abbilder die Parameter der Bilderfassungseinrichtung(en) des Operationsmikroskops berücksichtigt werden, die zur mikroskopischen Abbildung dienen. Das ermöglicht es, virtuelle Abbilder unter den gleichen Bedingungen zu erzeugen wie reale Abbilder.
• Ebenfalls kann das virtuelle Abbild in Abhängigkeit einer Pose, also einer Position und/oder Orientierung, der (modellierten) Bilderfassungseinrichtung des Operationsmikroskops erzeugt werden. Insbesondere kann bei der Auswertung des Modells zur Erzeugung der virtuellen Abbilder die Pose der Bilderfassungseinrichtung(en) des Operationsmikroskops berücksichtigt werden, die zur mikroskopischen Abbildung dienen, wobei die erläuterten Registrierungsinformationen genutzt werden können. Unter Berücksichtigung der Registrierungsinformationen kann z.B. bestimmt werden, welche Pose der virtuellen Bilderfassungseinrichtung im Bezugskoordinatensystem der Zusatzinformationen, welches auch als Render-Koordinatensystem bezeichnet werden kann, der realen Pose der (modellierten) Bilderfassungseinrichtung des Operationsmikroskops entspricht und diese Information für den Rendervorgang genutzt werden. Mit anderen Worten kann eine Pose der mindestens einen virtuellen Bilderfassungseinrichtung gleich der Pose der modellierten Bilderfassungseinrichtung im Referenzkoordinatensystem sein. Somit ist es möglich, ein virtuelles Abbild zu erzeugen, das einem von der modellierten Bilderfassungseinrichtung sowohl von den Parametern als auch von der Aufnahmepose her entspricht. Z.B. kann ein zu überlagerndes Abbild eines Tumor-Objekts durch ein Rendern erzeugt werden und dann als Bild- oder Videosignal übertragen und zur Augmentierung genutzt werden.
• So kann es für die Bereitstellung von virtuellen Abbildern erforderlich sein, eine aktuelle Pose des Operationsmikroskops, insbesondere der Bilderfassungseinrichtung, zu bestimmen. Diese Pose kann mit einer Lageerfassungseinrichtung bestimmt werden. Durch eine Registrierung kann ein Bezug zwischen dem Bezugskoordinatensystem der Lageerfassungseinrichtung und den vorhergehend erläuterten Bezugskoordinatensystemen, insbesondere dem Bezugskoordinatensystem der Zusatzinformationen, bestimmt werden. Somit wird ermöglicht, die Pose des Operationsmikroskops in einem gewünschten Bezugskoordinatensystem, insbesondere dem Referenzkoordinatensystem, zu bestimmen. In Abhängigkeit der Pose des Operationsmikroskops kann wiederum eine Pose der optischen Achse des Objektivs oder eine Position eines Fokuspunkts bestimmt werden. Ist das Operationsmikroskop an einem Stativ mit mindestens einem Gelenk befestigt, so kann die Pose des Operationsmikroskops auch in Abhängigkeit einer Gelenkstellung bestimmt werden, wobei die Gelenkstellung z.B. durch eine Erfassungseinrichtung bzw. einen Sensor erfasst werden kann.
• Die Position des Operationsmikroskops und die Zusatzinformationen können eine vorhergehend beschriebene Szene definieren, d. h. ein virtuelles räumliches Modell, das Objekte und ihre Materialeigenschaften, Lichtquellen sowie die Position und Blickrichtung eines Beobachters, hier des Operationsmikroskops, definiert.
• Selbstverständlich ist es möglich, dass mit der Lageerfassungseinrichtung oder einer weiteren Lageerfassungseinrichtung auch die Pose von mindestens einem weiteren Subjekt oder Objekt oder einem Teil davon erfasst wird. Ein Subjekt kann insbesondere ein Nutzer des medizinischen Visualisierungssystems sein, z.B. ein Betrachter des Untersuchungsbereichs oder einer Anzeigeeinrichtung. So ist es beispielsweise vorstellbar, eine Pose eines Körperteils eines solchen Nutzers, z.B. einer Hand, eines Arms oder eines Kopfes, zu bestimmen. Ein Objekt kann insbesondere ein weiterer Bestandteil des medizinischen Visualisierungssystems, insbesondere eine Anzeigeeinrichtung, sein. Ein Objekt kann jedoch auch Gegenstand sein, der nicht Teil des medizinischen Visualisierungssystems ist, z.B. ein Einrichtungsgegenstand wie ein Operationstisch oder ein medizinisches Instrument. Somit wird ermöglicht, die Pose des weiteren Subjekts oder Objekts in einem gewünschten Bezugskoordinatensystem zu bestimmen.
• Eine solche Lageerfassungseinrichtung kann auch als Trackingsystem bezeichnet werden. Ein Trackingsystem kann ein optisches, ein elektromagnetisches oder ein in anderer Weise arbeitendes Trackingsystem sein. Das Trackingsystem kann ein markerbasiertes Trackingsystem sein, welches aktive oder passive Marker erfasst. Marker können an Objekten oder Subjekten angeordnet sein, deren Pose durch das Trackingsystem erfasst werden soll. Ein optisches Trackingsystem kann insbesondere optisch erfassbare Marker umfassen. Ein optisches Trackingsystem kann insbesondere ein System zur monoskopischen Lageerfassung sein. Hierbei kann die Pose eines Objekts durch Auswertung eines zweidimensionalen Abbilds, insbesondere genau eines zweidimensionalen Abbilds, bestimmt werden. Insbesondere kann zur Bestimmung der Lage eine Auswertung von Intensitätswerten von Pixeln (Bildpunkten) des zweidimensionalen Abbilds durchgeführt werden.
• Es ist weiter vorstellbar, dass das medizinische Visualisierungssystem mindestens eine Bilderfassungseinrichtung einer optischen Lageerfassungseinrichtung umfasst, die insbesondere Bestandteil des Operationsmikroskops sein kann. Diese kann auch als Umfeldkamera bezeichnet werden und insbesondere zur monoskopischen Lageerfassung dienen.
• Ein Trackingsystem kann auch Teil einer Eingabeeinrichtung sein, wobei z.B. eine Gestensteuerung oder eine Blickrichtungssteuerung in Abhängigkeit von Informationen, die vom Trackingsystem erzeugt werden, erfolgt.
• Das erfindungsgemäße Verfahren ermöglicht in vorteilhafter Weise eine verbesserte Darstellungsqualität eines Untersuchungsbereichs, der durch ein augmentiertes Abbild repräsentiert wird, da durch die Überlagerung ausschließlich im Hintergrundbereich in zuverlässiger Weise eine widersprüchliche Wahrnehmung von Informationen durch einen Betrachter vermieden wird, insbesondere da Zusatzinformationen, die wie vorhergehend erläutert hinter einer Oberfläche des Untersuchungsbereichs liegen, nicht fälschlicherweise im Vordergrund dargestellt werden.
• Im Unterschied zu einer reinen Objekterkennung zur Detektion von Vordergrundelementen bietet das vorgeschlagene Verfahren den Vorteil, dass ein Informationsgehalt des augmentierten Abbilds erhöht werden kann, da die Zuordnung zu Vorder- oder Hintergrundbereich nicht objekterkennungsbasiert erfolgt. Vielmehr wird ermöglicht, dass ein Objekt je nach Szenario dem Vorder- oder Hintergrundbereich zugeordnet werden kann.
• In einer weiteren Ausführungsform werden zumindest zwei Bildsignale empfangen, die zeitlich nacheinander von der mindestens einen Bilderfassungseinrichtung des Operationsmikroskops erzeugt wurden und die jeweils ein Abbild des Untersuchungsbereichs repräsentieren. Weiter wird eine Information über eine zeitliche Veränderung der Bildinformation in Abhängigkeit dieser zumindest zwei Abbilder bestimmt und die Aufteilung des Abbilds, insbesondere des zeitlich früher oder zeitlich später erzeugten Abbilds in den Vorder- und Hintergrundbereich, erfolgt in Abhängigkeit dieser Information. Die Veränderung der Bildinformation kann insbesondere abhängig von der Veränderung oder als die Veränderung zwischen den zumindest zwei Abbildern bestimmt werden, z.B. als Differenz der Abbilder oder abhängig davon.
• Die Information über eine zeitliche Veränderung der Bildinformation kann vorzugsweise eine Information zum optischen Fluss sein, die in Abhängigkeit dieser zumindest zwei Abbilder bestimmbar ist. Die Informationen zum optischen Fluss bilden eine Repräsentation von Bewegungsinformationen, wobei die Informationen insbesondere eine scheinbare Bewegung von Helligkeitsmustern in einer Bildsequenz repräsentieren. Der optische Fluss der erläuterten Bildsequenz kann z.B. als ein Vektorfeld der in die Bildebene projizierten Geschwindigkeit von sichtbaren Punkten des Objektraums, insbesondere im Koordinatensystem der Bilderfassungseinrichtung, bestimmt werden. Insbesondere kann jedem Bildpunkt des Abbilds eine den optischen Fluss repräsentierende Größe zugeordnet werden. In diesem Fall kann ein Bildpunkt dem Vordergrundbereich zugeordnet werden, falls die ihm zugeordnete Größe größer als ein vorbestimmter Schwellwert ist. Ist die dem Bildpunkt zugeordnete Größe kleiner als der oder gleich dem vorbestimmten Schwellwert, so kann der Bildpunkt dem Hintergrundbereich zugeordnet werden. Hierdurch ergibt sich in vorteilhafter Weise eine einfach implementierbare und zuverlässige Aufteilung in den Vorder- und Hintergrundbereich, welche eine gute Darstellungsqualität des augmentierten Abbilds ermöglicht.
• Alternativ zur Bestimmung der Informationen zum optischen Fluss können auch andere Verfahren zur Bestimmung der Information über eine zeitliche Veränderung der Bildinformation angewendet werden, z.B. Verfahren zur Bestimmung eines Bewegungsfelds (motion field). Das Bewegungsfeld gibt für jeden Bildpunkt eines Abbilds Bewegungsinformationen, insbesondere einer 3D-Bewegung, an. Insbesondere kann Bewegungsfeld die wahre, insbesondere dreidimensionale, Bewegung an jedem Punkt repräsentieren, die auf das 2D-Bild abgebildet wird.
• In einer weiteren Ausführungsform werden Tiefeninformationen für das zumindest eine Abbild des Untersuchungsbereichs bestimmt, wobei die Aufteilung in Abhängigkeit dieser Tiefeninformation erfolgt. Eine Tiefeninformation kann beispielsweise einen Abstand des in einen Bildpunkt abgebildeten Elements von einem Referenzpunkt, einer Referenzlinie oder einer Referenzfläche repräsentieren. Dieser Abstand kann entlang einer Referenzrichtung bestimmt werden. Der Abstand kann insbesondere in dem Referenzkoordinatensystem bestimmt werden. Beispielsweise kann die Referenzfläche senkrecht zur optischen Achse des Operationsmikroskops orientiert sein, wobei die Referenzrichtung parallel zur optischen Achse orientiert ist. In der Referenzfläche kann beispielsweise einen Schnittpunkt zwischen optischer Achse und einem Abschlussglas des Operationsmikroskops angeordnet sein.
• Die Tiefeninformation kann mit der erläuterten Einrichtung zur Bestimmung der Tiefeninformation bestimmt werden, beispielsweise einem Abstandssensor. Ein solcher Abstandssensor kann beispielsweise ein OCT-Abstandssensor, ein Lidar-Sensor, ein Time-of-Flight-Sensor oder ein Triangulationssensor wie beispielsweise ein Streifenprojektionssensor sein. Selbstverständlich können auch Abstandssensoren verwendet werden, die gemäß anderer physikalischer Wirkprinzipien Abstandsinformationen erzeugen.
• Die Einrichtung zur Bestimmung der Tiefeninformation kann registriert sein, wobei die Tiefeninformationen also registrierte Informationen sein können.
• Es ist auch möglich, aus insbesondere korrespondierenden Abbildern eines Stereosystems insbesondere registrierte Rekonstruktionsinformationen zu bestimmen, die eine dreidimensionale Rekonstruktion des Erfassungsbereichs repräsentieren, wobei die Tiefeninformationen in Abhängigkeit dieser Rekonstruktionsinformationen bestimmt werden. Beispielsweise ist es möglich, in der dreidimensionalen Rekonstruktion eine Oberfläche des Untersuchungsbereichs zu detektieren und dann den Abstand von dem/der vorhergehend erläuterten Referenzpunkt-, -linie oder -fläche zu bestimmen.
• Weiter ist es möglich, Tiefeninformationen aus präoperativ erzeugten Informationen zu bestimmen. So kann beispielsweise eine Schädeloberfläche oder eine Duraoberfläche in präoperativen Informationen detektiert werden, wobei dann, wie vorhergehend erläutert, ebenfalls ein Abstand von dem/der vorhergehend erläuterten Referenzpunkt-, -linie oder - fläche bestimmt werden kann.
• Insbesondere kann eine Tiefenkarte für das Abbild des Untersuchungsbereichs erzeugt werden, welche jedem Bildpunkt des Abbilds eine Tiefeninformation zuordnet. Dann kann ein Bildpunkt dem Vordergrundbereich zugeordnet werden, dessen Tiefeninformation größer als ein vorbestimmter minimaler Schwellwert und/oder kleiner als ein vorbestimmter maximaler Schwellwert ist. Andernfalls kann der Bildpunkt dem Hintergrundbereich zugeordnet werden. Auch ist es möglich, einen statistischen Parameter der derart erzeugten Tiefeninformationen zu bestimmen, beispielsweise einen Mittelwert oder Median aller den Bildpunkten zugeordneten Tiefeninformationen. Ist die einem Bildpunkt zugeordnete Tiefeninformation größer als oder kleiner als der Median oder der Mittelwert, kann dieser Bildpunkt dem Vordergrundbereich zugeordnet werden, andernfalls wird er dem Hintergrundbereich zugeordnet. Auch hierdurch ergibt sich in vorteilhafter Weise eine einfach implementierbare und zuverlässige Aufteilung in den Vorder- und Hintergrundbereich, welche eine gute Darstellungsqualität des augmentierten Abbilds ermöglicht
• In einer weiteren Ausführungsform werden für das Abbild des Untersuchungsbereichs oder zumindest einen Teilbereich davon semantische Zusatzinformationen bestimmt, wobei die Aufteilung in Abhängigkeit dieser semantischen Zusatzinformationen erfolgt. Die semantischen Zusatzinformationen können Informationen sein, die zusätzlich zu davon verschiedenen Informationen, z.B. zusätzlich zu den vorhergehend erläuterten Informationen über eine zeitliche Veränderung der Bildinformation und/oder den Tiefeninformationen, bei der Aufteilung berücksichtigt werden. Insbesondere können dem Abbild, insbesondere einem Bildpunkt oder einer Menge von Bildpunkten, neben einer zur visuellen erfassbaren Darstellung benötigten Information, wie beispielsweise einer Farb- und/oder einer Transparenzinformation, eine Bedeutungsinformation zugeordnet werden. Die Bedeutungsinformation kann insbesondere eine beschreibende Information über die Art des abgebildeten Elements, seine Beziehung zu anderen abgebildeten Elementen oder zur Umgebung sein. Diese Information können insbesondere bildbasiert bestimmt werden, z.B. mit einem Verfahren zur semantischen Segmentierung. Semantische Zusatzinformationen können also Informationen über bzw. aus eine(r) semantische(n) Segmentierung einer abgebildeten Szene sein, wobei die segmentierte Szene z.B. in Bildbereiche eingeteilt sein kann, denen jeweils eine Klasse aus einer Menge vorbestimmter Klassen zugeordnet ist. Die Menge vorbestimmter Klassen kann beispielsweise die Klasse „Gewebe“, die Klasse „Instrument“, die Klasse „Tuch“, die Klasse „Tupfer“ und/oder eine weitere Klasse umfassen.
• Semantische Zusatzinformationen können insbesondere Informationen sein, die zur erläuterten Aufteilung ausgewertet werden können, also aufteilungsrelevante Informationen. Durch die Auswertung von semantischen Zusatzinformationen kann insbesondere jeder Bildpunkt des Abbilds als Bildpunkt klassifiziert werden, in den ein Hintergrundelement oder ein Vordergrundelement abgebildet ist. Insbesondere kann die semantische Zusatzinformation von der zur visuell erfassbaren Darstellung des Abbilds benötigten Information verschieden sein. Durch die Berücksichtigung von semantischen Zusatzinformationen ergibt sich in vorteilhafter Weise eine sehr zuverlässige Aufteilung in Vorder- und Hintergrundbereich, was wiederum die Darstellungsqualität verbessert.
• In einer weiteren Ausführungsform werden für das Abbild des Untersuchungsbereichs oder zumindest einen Teilbereich davon Kontextinformationen bestimmt, wobei die Aufteilung in Abhängigkeit dieser Kontextinformationen erfolgt. Kontextinformationen können insbesondere Informationen über einen zeitlichen oder einen räumlichen Kontext sein. Auch kann eine Kontextinformation eine Information über eine Art einer aktuellen Nutzeraktivität, über einen Typ einer aktuellen Operationsphase oder über einen Operationstyp umfassen. Insbesondere können die Kontextinformationen von den zur visuell erfassbaren Darstellung des Abbilds benötigten Informationen verschieden sein. Durch die Berücksichtigung von Kontextinformationen ergibt sich in vorteilhafter Weise eine sehr zuverlässige Aufteilung in Vorder- und Hintergrundbereich, was wiederum die Darstellungsqualität verbessert.
• In einer weiteren Ausführungsform wird die Aufteilung mittels eines Modells durchgeführt, welches durch maschinelles Lernen erzeugt wurde. Der Begriff maschinelles Lernen umfasst oder bezeichnet hierbei Verfahren zur Bestimmung des Modells basierend auf Trainingsdaten. So ist es möglich, das Modell durch Verfahren zum überwachten Lernen zu bestimmen, wobei hierzu die Trainingsdaten, also ein Trainingsdatensatz, Eingabedaten und Ausgabedaten umfassen. Als Eingabedaten können hierbei Abbilder, die den Untersuchungsbereich repräsentieren, bzw. die entsprechenden Bildsignale bereitgestellt werden, wobei als Ausgabedaten die Aufteilung des jeweiligen Abbilds in Vorder- und Hintergrundbereich bereitgestellt werden.
  Z.B. können Ein- und Ausgabedaten solcher Trainingsdaten erzeugt werden, indem ein Nutzer in den Abbildern die Vorder- und Hintergrundbereich manuell auswählt. So kann das Modell den Zusammenhang zwischen Abbildern und deren Aufteilung in Vorder- und Hintergrundbereich lernen. Es ist aber auch vorstellbar, dass zur Bestimmung des Modells Verfahren des unüberwachten Lernens angewendet werden.
• Geeignete mathematische Algorithmen für das maschinelle Lernen umfassen: Decision Tree-basierte Verfahren, Ensemble Methods (z.B. Boosting, Random Forrest) -basierte Verfahren, Regression-basierte Verfahren, Bayes'sche Methoden (z.B. Bayesian Belief Networks)-basierte Verfahren, Kernel Methoden (z.B. Support Vector Machines)-basierte Verfahren, Instance- (z.B. k-Nearest Neighbour)-basierte Verfahren, Association Rule Learning-basierte Verfahren, Boltzmann Maschine-basierte Verfahren, Artificial Neural Networks (z.B. Perceptron) -basierte Verfahren, Deep Learning (z.B. Convolutional Neural Networks, Stacked Autoencoders) -basierte Verfahren, Transformer-basierte Verfahren, Dimensionality Reduction-basierte Verfahren, Regularization Methods-basierte Verfahren.
• Nach der Erstellung des Modells, also nach der Trainingsphase, kann das derart parametrisierte Modell in der so genannten Inferenzphase verwendet werden, um aus Abbildern dann die Aufteilung in Vorder- und Hintergrundbereich zu erzeugen. Hierdurch ergibt sich eine zuverlässige und qualitativ hochwertige Aufteilung. Das Modell kann insbesondere einmalig, vorzugsweise mit einem geeignet großen Datensatz, trainiert (Trainingsphase) und danach als Modell eingesetzt (Inferenzphase) werden.
• In einer weiteren Ausführungsform wird die Aufteilung mittels eines neuronalen Netzes durchgeführt. Beispielsweise kann das neuronale Netz als Autoencoder oder als faltendes neuronales Netz (Convolutional Neural Network, CNN) oder als RNN (Recurrent Neural Network) oder als LSTM-Netz (long short-term memory network) oder als neuronales Transformer-Netz oder als eine Kombination aus mindestens zwei der erwähnten Netze ausgebildet sein. Ein solches neuronales Netz, insbesondere das als Autoencoder ausgebildete neuronale Netz, kann hierbei mittels der vorhergehend erläuterten Trainingsdaten trainiert werden, wobei dann nach dem Training die Aufteilung durchgeführt werden kann. Hierbei ermöglicht die Ausbildung des neuronalen Netzes als Autoencoder in vorteilhafter Weise, dass der für die Aufteilung benötigte Rechenaufwand gering ist, wodurch die Aufteilung in einfacher Weise insbesondere durch eingebettete Systeme zuverlässig und zeitlich schnell durchgeführt werden kann.
• Die Ausbildung als CNN erlaubt in vorteilhafter Weise eine Reduktion der Komplexität des Netzes und ist damit geeignet für Geräte mit geringer Rechenleistung. Dies betrifft sowohl die Trainingsphase als auch die Inferenzphase. Auch ergibt sich in vorteilhafter Weise, dass die zum Training benötigte Zeitdauer bei CNN kurz ist, insbesondere kürzer als bei LSTM-Netzen, die ebenfalls im Vergleich höhere Rechenleistungen benötigen. Die Ausbildung als LSTM-Netz weist jedoch eine besonders gute Eignung für die Analyse von Zeitreihen auf, da ihre Architektur den Bezug zu zeitlichen Abhängigkeiten berücksichtigt. Somit ergibt sich in vorteilhafter Weise eine hohe Qualität der Aufteilung.
• In einer weiteren Ausführungsform umfassen Eingangsgrößen für die modellbasierte Aufteilung zusätzlich zu dem mindestens einen Abbild des Untersuchungsbereichs bzw. zu dem entsprechenden Bildsignal zumindest eine der folgenden Informationen:
1. a) Tiefeninformationen für das zumindest eine Abbild des Untersuchungsbereichs,
2. b) zumindest ein zeitlich vor dem Abbild des Untersuchungsbereichs erzeugtes Abbild des Untersuchungsbereichs,
3. c) ein zu dem Abbild des Untersuchungsbereichs korrespondierendes Abbild, welches von einer weiteren Bilderfassungseinrichtung des Operationsmikroskops erzeugt wurde,
4. d) Informationen zur Klassifikation von abgebildeten Objekten,
5. e) Informationen zur Klassifikation einer Nutzeraktivität,
6. f) Informationen zur Klassifikation einer Operationsphase,
7. g) Informationen zur Klassifikation eines Operationstyps.
• Umfasst das Operationsmikroskop ein Stereosystem mit zwei Bilderfassungseinrichtungen und wurde das Abbild des Untersuchungsbereichs durch eine der Bilderfassungseinrichtungen erzeugt, so kann das erläuterte korrespondierende Abbild durch die verbleibende Bilderfassungseinrichtung des Stereosystems erzeugt werden. Die Informationen gemäß der Punkt d) und e) können semantische (Zusatz)Informationen bilden. Die Informationen gemäß der Punkte f) und g) können Kontextinformationen bilden. Somit können Eingangsgrößen für die modellbasierte Aufteilung Bildinformationen, z.B. in Form eines mikroskopischen Weißlicht-Abbilds und gegebenenfalls eines Abbilds gemäß Punkt b) oder c), und/oder Bildverarbeitungsinformationen, z.B. eine Information über eine zeitliche Veränderung der Bildinformation und/oder eine Information gemäß Punkt a), und/oder semantische (Zusatz)Informationen und/oder Kontextinformationen sein.
• Die Information zur Klassifikation von abgebildeten Objekten kann eine Information über eine Klasse sein, der ein abgebildetes Objekt zugeordnet ist. Eine beispielhafte Klasse kann die Klasse „Gewebe“ oder die Klasse „Instrument“ sein.
  Eine Information zur Klassifikation der Nutzeraktivität kann eine Information über eine Klasse der Nutzeraktivität sein, beispielsweise über die Klasse „Schneiden“, „Saugen“, „Ablatieren“, „Koagulieren“, „Retraktieren“ oder „Tupfen“.
• Entsprechend kann eine Information zur Klassifikation einer Operationsphase eine Information über die Klasse der aktuellen Operationsphase sein, beispielsweise die Klasse „Eröffnung“, „Exploration“, „Resektion“, „Rekonstruktion“, „Wundverschluss“, „Wundheilung“, „Planung der Eröffnung“, „Freilegung“.
• Die Information zur Klassifikation des Operationstyps kann eine Klasse des Operationstyps sein, beispielsweise die Klasse „neurochirurgische Operation“, „orthopädische Operation“, „ophthalmologische Operation“. Neurochirurgische Operationen können auch in die Klassen z.B. „Tumoreingriffe“, „vaskuläre Eingriffe“ oder „spinale Eingriffe“ eingeteilt sein. Ophthalmologische Operationen können auch in die Klassen „Vorderabschnittschirurgie“, „Hinterabschnittschirurgie“ eingeteilt sein, wobei die Vorderabschnittschirurgie z.B. Eingriffe zur Behandlung eines Katarakts oder zur Descemetmembran-Endotheliale-Keratoplastik umfasst. Die Hinterabschnittschirurgie umfasst z.B. ein (Membran)Peeling oder eine Vitrektomie.
• Die Tiefeninformationen können wie vorhergehend erläutert bestimmt werden. Die Informationen zur Klassifikation können durch eine Klassifikationseinrichtung bestimmt werden, wobei die Klassifikation insbesondere bildbasiert, also durch Auswertung zumindest eines Abbilds, insbesondere der Bilderfassungseinrichtung des Operationsmikroskops oder einer davon verschiedenen Bilderfassungseinrichtung, erfolgen kann. Auch können die Informationen zur Klassifikation vorbestimmte Informationen sein. Auch ist es möglich, dass die Informationen zur Klassifikation in Abhängigkeit von Steuersignalen bestimmt werden, die für das oder in dem medizinischen Visualisierungssystem erzeugt werden. Auch können solche Informationen durch die Bedienung einer Eingabeeinrichtung erzeugt werden.
• Durch die Berücksichtigung einer, mehrerer oder aller der genannten Informationen zusätzlich zu dem mindestens einen Abbild des Untersuchungsbereichs ergibt sich in vorteilhafter Weise, dass die Zuverlässigkeit und die Genauigkeit der Aufteilung in Vorder- und Hintergrundbereich verbessert werden kann, was wiederum die Wahrnehmbarkeit des augmentierten Abbilds durch den Nutzer verbessert.
• Weiter erfindungsgemäß wird nach der Aufteilung des Abbilds des Untersuchungsbereichs in den Vorder- und den Hintergrundbereich, jedoch vor der Überlagerung, eine Größe des Vordergrundbereichs verändert, insbesondere zumindest in Bezug auf einen Teilbereich des Vordergrundbereichs. So kann die Größe des Vordergrundbereichs vergrößert oder verkleinert werden, insbesondere indem Bildpunkte des Hintergrundbereichs um einen Teilbereich des Vordergrundbereichs herum dem Vordergrundbereich zugewiesen werden oder Bildpunkte eines Teilbereichs des Vordergrundbereichs dem Hintergrundbereich zugewiesen werden. Wird der Vordergrundbereich vergrößert, so wird der Hintergrundbereich verkleinert. Wird der Vordergrundbereich verkleinert, so wird der Hintergrundbereich entsprechend vergrößert. Eine Veränderung kann entsprechend einer geometrischen Form erfolgen, beispielsweise kann eine kreisförmige, eine ellipsoidförmige, eine rechteckförmige oder eine quadratische Vergrößerung bzw. Verkleinerung erfolgen, wobei z.B. alle Bildpunkte, die in einer geometrischen Form um einen Referenzpunkt des Teilbereichs herum angeordnet sind, dem Vordergrundbereich zugeordnet werden. Eigenschaften der Veränderung, beispielsweise eine geometrische Form und/oder die Größe der Veränderung, können hierbei vorbestimmt sein.
• Alternativ oder kumulativ wird eine Größe des Hintergrundbereichs verändert, insbesondere zumindest in Bezug auf einen Teilbereich des Hintergrundbereichs, insbesondere vergrößert oder verkleinert. Hierfür gelten die für die Veränderung des Vordergrundbereichs getätigten Erläuterungen in entsprechender Weise.
• Durch eine derart nachträgliche Veränderung der Größe des Vorder- und/oder des Hintergrundbereichs ergibt sich in vorteilhafter Weise, dass insbesondere in bestimmten anwendungsabhängigen Szenarien eine weiter verbesserte Darstellungsqualität für das augmentierte Abbild ermöglicht wird. So kann beispielsweise erreicht werden, dass ein Bildbereich, der ein das Gewebe kontaktierenden Teil, z.B. die Spitze eines Instruments zeigt und der als Vordergrundbereich klassifiziert ist, vergrößert wird, um einem Nutzer eine nicht durch Augmentierung beeinflusste Wahrnehmung des kontaktierten Gewebes zu ermöglichen. Ebenfalls kann ermöglicht werden, dass wenig Informationsgehalt beinhaltende Vordergrundabschnitte verkleinert werden. Hierdurch kann die Darstellungsqualität des bereitgestellten augmentierten Abbilds weiter verbessert werden.
• In einer weiteren Ausführungsform wird ein zu verändernder Teilbereich des Vorder- oder Hintergrundbereichs durch ein Verfahren zur Objekterkennung bestimmt. Der zu verändernde Teilbereich kann einen Teilbereich des Vorder- oder Hintergrundbereichs bezeichnen in Bezug auf welchen die Größe des Vorder- oder des Hintergrundbereichs verändert wird. Alternativ kann der zu verändernde Teilbereich auch einen Teilbereich bezeichnen, dessen Größe verändert wird.
• Wie vorhergehend erläutert kann z.B. die Größe des Vordergrundbereichs vergrößert oder verkleinert werden, insbesondere indem Bildpunkte des Hintergrundbereichs in einem Abschnitt neben einem oder zumindest teilweise um einen Teilbereich des Vordergrundbereichs herum dem Vordergrundbereich zugewiesen werden oder Bildpunkte eines Teilbereichs des Vordergrundbereichs dem Hintergrundbereich zugewiesen werden. Entsprechend kann die Größe des Hintergrundbereichs vergrößert oder verkleinert werden, insbesondere indem Bildpunkte des Vordergrundbereichs in einem Abschnitt neben einem oder zumindest teilweise um einen Teilbereich des Hintergrundbereichs herum dem Hintergrundbereich zugewiesen werden oder Bildpunkte eines Teilbereichs des Hintergrundbereichs dem Vordergrundbereich zugewiesen werden.
• Das Verfahren zur Objekterkennung kann insbesondere ein bildbasiertes Verfahren sein, welches also durch Auswertung des mindestens einen Abbilds mindestens einen Bildpunkt einem Objekt zuordnet. Derartige Verfahren sind dem Fachmann bekannt. So ist es beispielsweise möglich, bestimmte Teilabschnitte, z.B. eine Spitze eines Instruments, durch ein Verfahren zur Objekterkennung im Abbild zu bestimmen. Dann kann die Größe des Vordergrundbereichs in Bezug auf diesen Teilbereich vergrößert werden. In diesem Fall können Eigenschaften der Veränderung objektabhängig sein, wobei einem Objekt vorbestimmte Eigenschaften der Veränderung zugeordnet sein können. Hierdurch ergibt sich in vorteilhafter Weise eine zuverlässige Identifizierung eines Teilbereichs, was wiederum die vorhergehend erläuterte Darstellungsqualität verbessert.
• In einer weiteren Ausführungsform wird ein zu verändernder Teilbereich in Abhängigkeit von mindestens einem optischen Parameter des Operationsmikroskops bestimmt. Optische Parameter können insbesondere die vorhergehend erläuterten Betriebsparameter sein. So kann z.B. ein Bildbereich, der Vordergrund-Elemente abbildet, die nicht in einem vorbestimmten Intervall um einen eingestellten Arbeitsabstand des Operationsmikroskops herum angeordnet sind, als zu verkleinernden Teilbereich des Vordergrundbereichs bestimmt werden. Hierbei kann davon ausgegangen werden, dass solche Vordergrund-Elemente vom Mikroskop unscharf, also mit nicht ausreichender Bildqualität, abgebildet werden, wobei die Bildqualität insbesondere eine Bildschärfe repräsentieren kann. Es kann sinnvoll sein, solche Vordergrundteilbereiche mit nicht ausreichender Bildqualität zu vergrößern oder auch verkleinern. Mit anderen Worten kann ein Bildbereich mit nicht ausreichender Bildqualität vergrößert oder verkleinert werden, wobei die Bildqualität z.B. von einem Maß der Unschärfe der in den Bildbereich abgebildeten Element abhängen kann.
• Durch eine Verkleinerung eines solchen (Vordergrundteil)Bereichs kann ein zusätzlicher Bildbereich für eine Augmentierung geschaffen werden, wobei dieser zusätzliche Bildbereich aber nur einen solchen Bereich umfasst, in denen Bildinformationen wie z.B. Gewebe oder Instrumente mit nicht ausreichender Bildqualität abgebildet sind.
• Durch ein Vergrößern eines solchen (Vordergrundteil)Bereichs kann verhindert werden, dass in Nachbarschaft zu einem Bildbereich mit nicht ausreichender Bildqualität, eine Augmentierung mit ausreichender Bildqualität erfolgt, z.B. indem neben einem unscharfen Bildbereich ein scharfer Bildbereich durch Augmentierung erzeugt wird. Durch diese Art der Darstellung kann in vorteilhafter Weise erreicht werden, dass ein Betrachter weniger verwirrt wird. Ein solches Vergrößern kann insbesondere erfolgen, wenn die Bildqualität schlechter als ein vorbestimmtes Maß ist.
• Auch denkbar wäre, dass die Darstellung von augmentierten Informationen, insbesondere in Nachbarschaft zu einem Bildbereich mit nicht ausreichender Bildqualität, mit der gleichen nicht ausreichenden Bildqualität erfolgt. Eine solche Darstellung von augmentierten Informationen kann insbesondere dann erfolgen, wenn die Bildqualität besser als ein oder gleich einem vorbestimmtes/n Maß ist.
• Hierdurch kann in vorteilhafter Weise ebenfalls eine zuverlässige Identifizierung von zu verändernden Teilbereichen erfolgen, was wiederum die vorhergehend erläuterte Darstellungsqualität verbessert.
• Weiter erfindungsgemäß wird die Veränderung abhängig von
1. a) einem Abstand des in den Teilbereich abgebildeten Objekts bzw. Elements von einer Oberfläche des Untersuchungsbereichs,
2. b) einer teilbereichsspezifischen Bildinformation
durchgeführt.
• Insbesondere kann eine Eigenschaft der Veränderung abhängig von mindestens einer der genannten Größen gewählt werden. So kann beispielsweise die Größe der Veränderung zu dem Abstand positiv oder negativ korrelierend sein. Der Abstand kann insbesondere in Abhängigkeit der vorhergehend erläuterten Tiefeninformationen bestimmt werden. Selbstverständlich sind auch andere Arten der Bestimmung des Abstands vorstellbar.
• Die Bildinformation kann eine Eigenschaft des Abbilds sein und bildbasiert bestimmt werden. Sie kann insbesondere eine Unschärfeinformation, eine Verschattungsinformation oder eine Kontrastinformation sein. Die teilbereichsspezifische Bildinformation kann ebenfalls durch eine entsprechende Einrichtung bestimmt werden. Insbesondere kann eine bildbasierte Bestimmung dieser Information(en) erfolgen. So ist es beispielsweise möglich, ein Verfahren zur Unschärfeklassifikation und/oder ein Verfahren zur Schattenklassifikation und/oder ein Verfahren zur Kontrastklassifikation durchzuführen, um Bildbereiche, insbesondere des Vordergrundbereichs, zu bestimmen, die mehr als ein vorbestimmtes Maß unscharf und/oder mehr als ein vorbestimmtes Maß verschattet sind und/oder nicht ausreichend Kontrast aufweisen. Derartige Bereiche können dann verkleinert werden, insbesondere auch vollständig vom Vordergrundbereich entfernt werden. Auch vorstellbar ist, dass solche Bereiche vergrößert werden.
• Auch kann die Bildqualität in einem Bildbereich in Abhängigkeit der Bildinformation, also z.B. der Unschärfeinformation und/oder der Verschattungsinformation und/oder der Kontrastinformation, bestimmt werden, wobei die Vergrößerung und/oder die Verkleinerung dann in Abhängigkeit der Bildqualität erfolgen kann. Hierzu kann auf die vorhergehenden Ausführungen verwiesen werden.
• Hierdurch ergibt sich in vorteilhafter Weise, dass auch Teilbereiche des Vordergrundbereichs zur Augmentierung genutzt werden, die ansonsten wenig Informationsgehalt für einen Nutzer bereitstellen würden. Dies verbessert wiederum die Darstellungsqualität und erhöht den Informationsgehalt des augmentierten Abbilds.
• In einer weiteren Ausführungsform wird ein zu verändernder Teilbereich und/oder die Veränderung der Größe mittels eines Modells bestimmt, welches durch maschinelles Lernen erzeugt wurde, insbesondere mittels eines neuronalen Netzes. Hierzu kann auf die diesbezüglichen vorhergehenden Ausführungen bezüglich der Aufteilung des Abbilds in einen Vordergrundbereich und in einen Hintergrundbereich mittels eines Modells verwiesen werden. Als Eingabedaten eines Trainingsdatensatzes können hierbei Abbilder und die diesen Abbildern zugeordnete Aufteilung in Vorder- und Hintergrundbereiche bzw. die entsprechenden Bildsignale bereitgestellt werden. Als Ausgabedaten kann eine Information über ausgewählte Teilbereiche und/oder die veränderte Aufteilung in Vorder- und Hintergrundbereich bereitgestellt werden. Z.B. können Ein- und Ausgabedaten solcher Trainingsdaten erzeugt werden, indem ein Nutzer die Teilbereiche und/oder die Veränderungen des Vorder- und Hintergrundbereichs manuell auswählt. So kann das Modell den Zusammenhang zwischen Abbildern und deren Aufteilung in Vorder- und Hintergrundbereich sowie der nachträglich veränderten Aufteilung lernen. Hierdurch ergibt sich eine zuverlässige und qualitativ hochwertige Bestimmung des zu verändernden Teilbereichs und/oder der Veränderung der Größe.
• In einer weiteren Ausführungsform umfassen Eingangsgrößen für die Bestimmung des zu verändernden Teilbereichs und/oder der Veränderung der Größe zumindest eine der vorhergehend erläuterten Informationen a) bis g) für die modellbasierte Aufteilung. Hierdurch ergibt sich in vorteilhafter Weise, dass die Zuverlässigkeit und die Genauigkeit der Bestimmung des zu verändernden Teilbereichs und/oder der Veränderung der Größe verbessert werden kann, was wiederum die Wahrnehmbarkeit des augmentierten Abbilds durch den Nutzer verbessert.
• Weiter vorgeschlagen wird ein medizinisches Visualisierungssystem, insbesondere umfassend oder bestehend aus einem Operationsmikroskop, welches mindestens eine Schnittstelle zum Empfang eines Bildsignals einer Bilderfassungseinrichtung zum Erzeugen eines Abbilds eines Untersuchungsbereichs und mindestens eine Auswerteeinrichtung umfasst. Das medizinische Visualisierungssystem, insbesondere die Auswerteeinrichtung, ist konfiguriert, ein Verfahren gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen durchzuführen. Wie vorhergehend erläutert kann das medizinische Visualisierungssystem insbesondere noch mindestens eine der folgenden Einrichtungen umfassen:
• - eine Einrichtung zur Bestimmung von Informationen zur Klassifikation von abgebildeten Objekten und/oder einer Nutzeraktivität und/oder einer Operationsphase und/oder eines Operationstyps,
• - eine Einrichtung zur Bestimmung eines Abstands eines abgebildeten Objekts von einer Oberfläche des Untersuchungsbereichs,
• - eine Einrichtung zur Bestimmung einer teilbereichsspezifischen Unschärfe- und/oder Verschattungsinformation.
• Die Auswerteinrichtung kann als Recheneinrichtung ausgebildet sein oder eine solche umfassen. Eine Recheneinrichtung wiederum kann mindestens einen Mikrocontroller und/oder mindestens eine integrierte Schaltung umfassen oder als solche(r) ausgebildet sein. Die Recheneinrichtung kann insbesondere das virtuelle Bild erzeugen. Es ist möglich, dass das Auswertegerät hierzu mindestens eine Grafikverarbeitungseinheit (GPU) umfasst. Das medizinische Visualisierungssystem ermöglicht in vorteilhafter Weise die Ausführung eines Verfahrens gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen mit den bereits erläuterten Vorteilen.
• Weiter vorgeschlagen wird ein Computerprogrammprodukt mit einem Computerprogramm, wobei das Computerprogramm Softwaremittel zur Ausführung mehrerer oder aller Schritte, insbesondere der Schritte b. und c., des Verfahrens gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen umfasst, wenn das Computerprogramm von oder in einem Computer oder einem Automatisierungssystem ausgeführt wird. Der Computer oder das Automatisierungssystem kann die vorhergehend erläuterte Auswerteeinrichtung umfassen. Das Computerprogrammprodukt kann insbesondere Mittel zur Durchführung des Renderings, d. h. eine Rendering-Engine, umfassen. Das Computerprogrammprodukt ermöglicht in vorteilhafter Weise die Ausführung eines Verfahrens gemäß einer der in dieser Offenbarung beschriebenen Ausführungsformen mit den bereits erläuterten Vorteilen.
• Die Erfindung wird anhand von Ausführungsbeispielen näher erläutert. Die Figuren zeigen:
• 1a eine exemplarische Darstellung einer Überlagerung ohne eine erfindungsgemäße Aufteilung in Vorder- und Hintergrundbereich,
• 1b eine weitere exemplarische Darstellung eines augmentierten Abbilds ohne eine erfindungsgemäße Aufteilung in Vorder- und Hintergrundbereich,
• 2 ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens,
• 3 eine exemplarische Darstellung eines augmentierten Abbilds, das mit dem erfindungsgemäßen Verfahren erzeugt wurde,
• 4a eine schematische Darstellung eines Untersuchungsbereichs und eines Instruments,
• 4b eine schematische Darstellung eines Abbilds der in 4a dargestellten Szene,
• 4c eine schematische Darstellung von Informationen zum optischen Fluss,
• 4d eine schematische Darstellung einer Bildmaske,
• 5a eine schematische Darstellung eines Untersuchungsbereichs und eines Instruments,
• 5b eine schematische Darstellung eines Abbilds der in 5a dargestellten Szene,
• 5c eine schematische Darstellung von Tiefeninformationen,
• 5d eine schematische Darstellung einer Bildmaske,
• 6 ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens in einer weiteren Ausführungsform,
• 7 ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens in einer weiteren Ausführungsform,
• 8a eine schematische Darstellung einer Bildmaske,
• 8b ein auf Basis der in 8a dargestellten Bildmaske erzeugtes augmentiertes Abbild,
• 9a eine schematische Bildmaske mit lokal vergrößertem Vordergrundbereich,
• 9b ein auf Basis der in 9a dargestellten Bildmaske erzeugtes augmentiertes Abbild,
• 10a eine schematische Darstellung einer Operationsszene,
• 10b eine schematische Darstellung von zu augmentierenden Zusatzinformationen,
• 10c eine exemplarische Bildmaske,
• 10d ein auf Basis der in 10c dargestellten Bildmaske erzeugtes augmentiertes Abbild,
• 10e eine weitere exemplarische Bildmaske,
• 10f ein auf Basis der in 10e dargestellten Bildmaske erzeugtes augmentiertes Abbild,
• 10g eine weitere exemplarische Bildmaske,
• 10h ein auf Basis der in 10g dargestellten Bildmaske erzeugtes augmentiertes Abbild,
• 11 ein schematisches Blockdiagramm eines erfindungsgemäßen medizinischen Visualisierungssystems.
• Nachfolgend bezeichnen gleiche Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
• 1a zeigt ein exemplarisches Weißlicht-Abbild eines Untersuchungsbereichs 1 mit Instrumenten 2. Dem Abbild ist ein virtuelles Objekt 3, beispielsweise ein Tumorobjekt 3, deckend überlagert. Diese Überlagerung erfolgt ohne Berücksichtigung von Bereichen im Abbild, die zur Augmentierung geeignet sind. Erkennbar ist, dass durch das Tumorobjekt 3 Teile eines Instruments 2 und des Gewebes verdeckt werden.
• 1b zeigt die gleiche Szene wie 1a, wobei das Tumorobjekt 3 transparenter als in 1a, insbesondere halbtransparent, dargestellt ist. Trotz der nunmehr ermöglichten Wahrnehmbarkeit von in 1a durch das Tumorobjekt 3 verdeckten Teilbereichen des Instruments 2 ist dennoch die Wahrnehmbarkeit der vom Tumorobjekt 3 verdeckten Gewebebereiche und Instrumentenabschnitte erschwert. Ebenfalls entsteht der räumliche Eindruck, dass das Tumorobjekt 3 über dem Gewebe schwebt, was eine räumlich korrekte Wahrnehmung der Szene für einen Betrachter erschwert.
• 2 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens zur Erzeugung eines augmentierten Abbilds AA durch ein medizinisches Visualisierungssystem 4 (siehe 11). In einem Empfangsschritt ES1 wird ein Bildsignal empfangen, welches von mindestens einer Bilderfassungseinrichtung 5 zur mikroskopischen Abbildung (siehe z.B. 11) erzeugt wurde und welches ein Abbild eines Untersuchungsbereichs 1 repräsentiert. Dieses Abbild A1 wird in einem Aufteilungsschritt AS in einen Vordergrundbereich V und in einen Hintergrundbereich H (siehe z.B. 4d) aufgeteilt. Beispielhafte Möglichkeiten zur Aufteilung werden nachfolgend noch erläutert.
• In einem weiteren Empfangsschritt ES2 wird mindestens ein Signal umfassend Zusatzinformationen ZI zur Augmentierung, welches auch als Zusatzinformationssignal bezeichnet wird, empfangen. In 2 dargestellt ist, dass das Zusatzinformationssignal in abrufbarer Weise in einer Speichereinrichtung 6 gespeichert ist, die Teil des medizinischen Visualisierungssystems 4 sein kann. Allerdings ist es auch möglich, dass die Zusatzinformationen ZI intraoperativ erfasst werden und/oder über eine geeignete Schnittstelle aus einem Netzwerk abgerufen werden. Das Zusatzinformationssignal kann insbesondere ebenfalls ein Abbild repräsentieren, vorzugsweise ein Abbild mit der gleichen Größe wie das von der Bilderfassungseinrichtung 5 erzeugte Abbild A1. Das vom Zusatzinformationssignal repräsentierte Abbild kann insbesondere ein virtuelles Abbild sein, welches aus präoperativ erzeugten Zusatzinformationen ZI erzeugt wird. Wie eingangs bereits erläutert, kann ein solches virtuelles Abbild mit einer virtuellen Bilderfassungseinrichtung erzeugt werden, welche ein optisches Modell der Bilderfassungseinrichtung 5 ist.
• In einem Erzeugungsschritt GS wird dann das augmentierte Abbild AA erzeugt, indem die Zusatzinformationen ZI dem Abbild A1 im Hintergrundbereich H oder einem Teil davon überlagert werden.
• Im Aufteilungsschritt AS kann eine Bildmaske M erzeugt werden, die Informationen über den Vordergrundbereich V und den Hintergrundbereich H kodiert bzw. repräsentiert. Die Bildmaske M kann insbesondere als Abbild, insbesondere zweidimensionales Abbild, bereitgestellt werden, wobei eine Bildgröße der Bildmaske M einer Bildgröße des Abbilds A1 entsprechen kann. Jeder Bildpunkt der Bildmaske M kann hierbei als Vordergrundbereich V oder als Hintergrundbereich H klassifiziert sein. Die Bildmaske M kann beispielsweise ein binäres Abbild sein, wobei Vordergrundbereich-Bildpunkte mit dem Wert 1 oder 0 und Hintergrundbereich-Bildpunkte mit dem jeweils verbleibenden Wert belegt sind.
• In diesem Fall kann die Überlagerung der Zusatzinformationen ZI nur bei Bildpunkten des Abbilds A1 erfolgen, deren korrespondierende Bildpunkte in der Bildmaske M als Hintergrundbereich-Bildpunkte klassifiziert sind. Ein korrespondierender Bildpunkt kann die gleichen Bildpunktkoordinaten aufweisen, die sich auf gleiche Bildkoordinatensysteme beziehen können. Insbesondere kann die Überlagerung deckend oder mit einem vorbestimmten Transparenzgrad, insbesondere halbtransparent, erfolgen. Zur Überlagerung können beispielsweise ein Alpha-Blending-Verfahren genutzt werden. In diesem Fall kann jedem Hintergrundbereich-Bildpunkt der Bildmaske ein Alpha-Wert zwischen 0 (einschließlich) und 1 (einschließlich) zugeordnet werden, wobei der Wert 0 oder 1 beispielsweise völlige Transparenz und der Wert von 1 oder 0 völlige Lichtundurchlässigkeit repräsentiert. Ist einem Hintergrundbereich-Bildpunkt in der Bildmaske M ein Alpha-Wert, der völlige Lichtundurchlässigkeit repräsentiert, zugeordnet, so kann der korrespondierende Bildpunkt im Abbild A1 völlig, also deckend, durch Zusatzinformationen überlagert werden. Ist einem Hintergrundbereich-Bildpunkt der Bildmaske M ein Alpha-Wert, der weder die völlige Transparenz noch die völlige Lichtundurchlässigkeit repräsentiert, zugeordnet, so wird der korrespondierende Bildpunkt im Abbild A1 nicht vollständig deckend durch Zusatzinformationen überlagert. Ist einem Hintergrundbereich-Bildpunkt in der Bildmaske M ein Alpha-Wert, der völlige Transparenz repräsentiert, zugeordnet, so kann der korrespondierende Bildpunkt im Abbild A1 nicht durch Zusatzinformationen überlagert werden.
• Es ist auch vorstellbar, dass zumindest einem, vorzugsweise jedoch mehreren, Vordergrundbereich-Bildpunkt(en) der Bildmaske ein Alpha-Wert zugeordnet wird, der nicht die völlige Transparenz repräsentiert, wobei ein minimaler Transparenzgrad aller Vordergrundbereich-Bildpunkte größer ist als ein maximaler Transparenzgrad aller Hintergrundbereich-Bildpunkte. Somit kann ein augmentiertes Abbild erzeugt werden in dem eine Überlagerung in einem Vordergrundbereich im Vergleich transparenter dargestellt wird als eine Überlagerung in einem Hintergrundbereich. Auf diese Weise kann ein Betrachter auch im Bereich des Vordergrunds Zusatzinformationen wahrnehmen; die die Wahrnehmung des Vordergrundbereichs aufgrund der höheren Transparenz aber weniger stören.
• Es ist möglich, allen Hintergrundbereich-Bildpunkten Alpha-Werte zwischen dem Maß für vollständige Transparenz (ausschließlich) und dem Maß für vollständige Lichtundurchlässigkeit (einschließlich) zuzuordnen, wobei den Vordergrundbereich-Bildpunkten ein Alpha-Wert mit dem Maß der vollständigen Transparenz zugeordnet wird.
• Das augmentierte Abbild AA kann dann an eine Anzeigeeinrichtung 20 (siehe 11) übertragen werden, insbesondere als Bildsignal, um es für einen Betrachter in visuell erfassbarer Weise darzustellen.
• 3 zeigt ein exemplarisches augmentiertes Abbild AA, das mit dem in 2 dargestellten Verfahren erzeugt wurde. Bei der in 3 dargestellten Szene repräsentieren die Zusatzinformationen ZI das Tumorobjekt 3. Erkennbar ist, dass das Tumorobjekt 3 im Unterschied zu den in 1a und 1b dargestellten Abbildern die Instrumente 2 nicht verdeckt. Hierbei sind also die Instrumente 2 in dem Vordergrundbereich V des Abbilds A1 abgebildet, während Gewebebereiche des Untersuchungsbereichs 1 in dem Hintergrundbereich H abgebildet sind. Das in 3 dargestellte augmentierte Abbild AA ermöglicht einem Betrachter eine verbesserte Wahrnehmung der Szene und bietet somit eine höhere Darstellungsqualität.
• 4a zeigt eine exemplarische Darstellung eines Instruments 2 und eines Untersuchungsbereichs 1, insbesondere einer Situs-Oberfläche. Ebenfalls dargestellt ist eine Bilderfassungseinrichtung 5 eines Operationsmikroskops.
• 4b zeigt ein von der Bilderfassungseinrichtung 5 erzeugtes Abbild A1. Darin abgebildet sind das Instrument 2 und der Untersuchungsbereich 1, wobei das Instrument 2 Teile des Untersuchungsbereichs 1 verdeckt.
• 4c zeigt exemplarisch und durch Pfeile angedeutete Informationen zum optischen Fluss im Abbild A1. Diese Informationen zum optischen Fluss können erzeugt werden, indem zumindest zwei Bildsignale empfangen werden, die zeitlich nacheinander von der Bilderfassungseinrichtung 5 erzeugt wurden und jeweils ein Abbild A1 des Untersuchungsbereichs 1 repräsentieren. Verfahren zur Bestimmung dieser Informationen aus der Sequenz dieser Abbilder A1 sind dem Fachmann bekannt. Durch Pfeile angedeutet ist, dass einem Teilbereich des Abbilds A1, in den das Instrument 2 abgebildet ist, eine den optischen Fluss repräsentierende Größe zugeordnet ist, die größer als ein vorbestimmter Schwellwert sind. Die Bildpunkte dieses Abschnitts können dann als Vordergrundbereich V klassifiziert werden, also als Vordergrundbereich-Bildpunkte, während die verbleibenden Bildpunkte des Abbilds A1 als Hintergrundbereich H, also als Hintergrundbereich-Bildpunkte, klassifiziert werden. Die resultierende aus Vordergrundbereich-Bildpunkten und Hintergrundbereich-Bildpunkten bestehende Bildmaske M ist in 4d dargestellt.
• 5a zeigt eine exemplarische Darstellung eines Instruments 2 und eines Untersuchungsbereichs 1, insbesondere einer Situs-Oberfläche. Ebenfalls dargestellt ist eine Bilderfassungseinrichtung 5 eines Operationsmikroskops.
• 5b zeigt ein von der Bilderfassungseinrichtung 5 erzeugtes Abbild A1. Darin abgebildet sind das Instrument 2 und der Untersuchungsbereich 1, wobei das Instrument 2 Teile des Untersuchungsbereichs 1 verdeckt.
• 5c zeigt exemplarisch Tiefeninformationen im Abbild A1. Diese Informationen können z.B. mit einem Abstandssensor erzeugt werden, der einen Abstand des Instruments und des nicht verdeckten Teils des Untersuchungsbereichs z.B. von einer Referenzebene, die senkrecht zu einer optischen Achse des Operationsmikroskops orientiert ist und in der ein Schnittpunkt der optischen Achse mit einem Abschlussglas des Operationsmikroskops angeordnet ist, entlang einer optischen Achse des Operationsmikroskops, erfasst. Erkennbar ist, dass einem Teilbereich des Abbilds A1, in dem das Instrument 2 abgebildet ist, Abstandsinformationen zugeordnet sind, die einen Abstand repräsentieren, der geringer ist als der Abstand, der dem Teilbereich des Abbilds A1 zugeordnet ist, der den nicht verdeckten Teil des Untersuchungsbereichs abbildet. Insbesondere ist dieser geringere Abstand kleiner als ein vorbestimmter Abstand.
  Die Bildpunkte dieses Instrumenten-Teilbereichs können dann als Vordergrundbereich V klassifiziert werden, also als Vordergrundbereich-Bildpunkte, während die verbleibenden Bildpunkte des Abbilds A1 als Hintergrundbereich H, also als Hintergrundbereich-Bildpunkte, klassifiziert werden. Die resultierende aus Vordergrundbereich-Bildpunkten und Hintergrundbereich-Bildpunkten bestehende Bildmaske M ist in 5d dargestellt.
• 6 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens in einer weiteren Ausführungsform. Im Unterschied zu der in 2 dargestellten Ausführungsform werden für den Aufteilungsschritt AS neben den zur visuell erfassbaren Darstellung des Abbilds A1 notwendigen Informationen, insbesondere Farbinformationen, weitere Informationen I berücksichtigt. Solche weiteren Informationen I können insbesondere semantische Zusatzinformationen oder Kontextinformationen sein. Insbesondere können solche semantischen Informationen oder Kontextinformationen die in Bezug auf 5c erläuterten Tiefeninformationen für das Abbild A1 sein. Ist die Bilderfassungseinrichtung 5, mit der das Abbild A1 erzeugt wurde, Teil eines Stereosystems, so können die Informationen I auch Informationen über ein zu dem Abbild A1 korrespondierendes Abbild repräsentieren, welches von einer weiteren Bilderfassungseinrichtung 5b (siehe 11) erzeugt wurde. Auch können die Informationen I zumindest ein zeitlich vor dem Abbild A1 erzeugtes Abbild des Untersuchungsbereichs 1 repräsentieren.
• Vorzugsweise umfassen die Informationen I auch Informationen über eine Klassifikation von Objekten, die im Abbild A1abgebildet sind. Hierzu kann eine Objekterkennung durchgeführt werden, wobei dann erkannte Objekte mit einem Klassifikationsverfahren klassifiziert werden. Durch diese Klassifikation wird aber keine Klassifikation im Vorder- und Hintergrundbereich V, H bereitgestellt, insbesondere existiert für zumindest eine Objektklasse der Menge aller Objektklassen keine eindeutige Zuordnung zu Vordergrundbereich V oder Hintergrundbereich H. So können z.B. Objekte der Klasse „Tücher“ oder „Tupfer“ dem Hintergrundbereich zugewiesen werden, insbesondere wenn diese statisch, z.B. ortsfest relativ zum Situs bzw. auf dem Gewebe des Situs liegend, angeordnet sind. Solche Objekte der Klasse „Tücher“ oder „Tupfer“ können aber auch dem Vordergrundbereich zugewiesen werden, insbesondere wenn diese nicht statisch angeordnet sind, insbesondere weil sie von einem Instrument gehalten oder sogar bewegt werden. Auch ein Objekt oder Bereich der Klasse „Gewebe“ kann dem Hintergrundbereich zugewiesen werden, insbesondere wenn sich in diesem Gewebebereich oder in einem vorbestimmten Bereich um diesen Gewebebereich herum kein Objekt oder Bereich der Klasse „Instrument“ befindet. Alternativ kann ein Objekt oder Bereich der Klasse „Gewebe“ aber auch dem Vordergrundbereich zugewiesen werden, insbesondere wenn sich in diesem Gewebebereich oder in einem vorbestimmten Bereich um diesen Gewebebereich herum ein Objekt oder Bereich der Klasse „Instrument“ befindet. Im letzteren Fall kann vermieden werden, dass eine Augmentierung einen Betrachter beim Betrachten von Bereichen stören würde, mit denen ein Instrument aktuell interagiert.
• Ebenfalls können die Informationen I Informationen über eine Klassifikation einer Nutzeraktivität, einer Operationsphase oder eines Operationstyps sein. Diese wurden vorhergehend bereits erläutert.
• Es ist möglich, dass der Aufteilungsschritt AS mit einem Modell bzw. durch Auswertung eines Modells durchgeführt wird, welches durch maschinelles Lernen erzeugt wurde, insbesondere durch Auswertung eines neuronalen Netzes. Eine Eingangsgröße des Modells kann das zumindest eine Abbild A1 des Untersuchungsbereichs 1 sein. Eine weitere Eingangsgröße können die erläuterten Informationen I sein. Eine Ausgangsgröße des Modells kann die vorhergehend erläuterte Bildmaske M sein.
• 7 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens in einer weiteren Ausführungsform. Im Unterschied zu der in 6 dargestellten Ausführungsform wird nach dem Aufteilungsschritt zur Erzeugung der Bildmaske M ein Veränderungsschritt VS ausgeführt. In dem Veränderungsschritt wird eine Größe des Vordergrundbereichs V zumindest in Bezug auf einen Teilbereich des Vordergrundbereichs V verändert. Als Ergebnis des Veränderungsschritts VS wird eine modifizierte Bildmaske MV bereitgestellt. Diese entspricht der Bildmaske M, umfasst jedoch im Vergleich zur Bildmaske M mehr oder weniger Vordergrundbereich-Bildpunkte und somit auch entsprechend weniger oder mehr Hintergrundbereich-Bildpunkte. Durch Strichlinien gekennzeichnet ist, dass optional der Aufteilungsschritt AS und/oder der Veränderungsschritt VS in Abhängigkeit der vorhergehend erläuterten weiteren Informationen I durchgeführt werden können.
• 8a zeigt eine schematische Bildmaske M mit drei Vordergrundbereich-Elementen, die z.B. zu Bildabschnitten des Abbilds A1 korrespondieren, in welche Instrumente 2 (siehe 3) abgebildet sind.
• 8b stellt das augmentierte Abbild AA dar, welches auf Basis dieser Bildmaske M erzeugt wird. Erkennbar ist, dass ein augmentiertes Tumorobjekt 3 die abgebildeten Instrumente 2 nicht überdeckt.
• 9a zeigt eine exemplarische modifizierte oder veränderte Bildmaske MV. Im Unterschied zu der in 8a dargestellten Bildmaske M ist ersichtlich, dass der Vordergrundbereich V im Bereich einer Spitze bzw. eines freien Endes der Instrumente 2 vergrößert wurde. Insbesondere ist die Vergrößerung des Vordergrundbereichs V erfolgt, indem um einen Referenzpunkt des Teilbereichs, in diesem Fall z.B. um einen geometrischen Mittelpunkt eines als Instrumentenspitze klassifizierten Bildmaskenabschnitts, eine Kreisfläche mit einem vorbestimmten Durchmesser definiert wird und alle Bildpunkte der veränderten Bildmaske MV in dieser Kreisfläche als Vordergrundbereich-Bildpunkte klassifiziert werden.
• 9b zeigt das auf Basis der veränderten Bildmaske MV erzeugte augmentierte Abbild. Im Unterschied zu dem in 8b dargestellten augmentierten Abbild AA ist erkennbar, dass ein Teil des Gewebes um die Instrumentenspitzen herum nicht durch das Tumorobjekt 3 augmentiert ist. Hierdurch wird einem Betrachter die Möglichkeit gegeben, das von den Instrumenten betätigte Gewebe ohne Augmentierung wahrzunehmen.
• 10a zeigt ein exemplarisches Abbild A1, welches von einer Bilderfassungseinrichtung 5 eines medizinischen Visualisierungssystems 4 (siehe 11) erzeugt wurde.
• 10b zeigt eine exemplarische Darstellung eines Tumorobjekts 3, welches von einem Zusatzinformationssignal repräsentiert wird.
• 10c zeigt eine exemplarische Bildmaske M mit Vordergrundbereich V und Hintergrundbereich H, welche ohne den in 7 dargestellten Veränderungsschritt VS erzeugt wurde.
• 10d zeigt das auf Basis dieser Bildmaske M erzeugte augmentierte Abbild AA.
• 10e zeigt eine im Vergleich mit der in 10c dargestellten Bildmaske M veränderte Bildmaske MV mit einem in der Größe veränderten Vordergrund und Hintergrundbereich V, H. In dem entsprechenden Veränderungsschritt VS (siehe 7) wurden verschattete Bildabschnitte vB des Abbilds A1 detektiert, wobei der Vordergrundbereich V der in 10c dargestellten Bildmaske M um Bildbereiche verringert wurde, die verschattet sind. Solche verschatteten Bildbereiche vB können beispielsweise mit Schattenklassifikationsverfahren bestimmt werden. Ein beispielhaftes Klassifikationsverfahren vergleicht Farbwerte von Bildpunkten des Abbilds A1 mit vorbestimmten Schwellwerten und klassifiziert in Abhängigkeit des Vergleichsergebnisses einen Bildpunkt als verschatteten Bildpunkt.
• 10f zeigt ein augmentiertes Abbild AA, welches auf Basis der in 10e dargestellten veränderten Bildmaske erzeugt wurde. Ersichtlich ist, dass dem Abbild A1 auch im verschatteten Bildbereich vB Zusatzinformationen ZI überlagert werden können.
• 10g zeigt eine im Vergleich mit der in 10c dargestellten Bildmaske M veränderte Bildmaske MV mit einem in der Größe veränderten Vordergrund und Hintergrundbereich V, H. In dem entsprechenden Veränderungsschritt VS (siehe 7) wurden zusätzlich zu den verschatteten Bildbereichen vB unscharfe Bildabschnitte uB des Abbilds A1 detektiert, wobei der Vordergrundbereich V der in 10c dargestellten Bildmaske M um Bildbereiche verringert wurde, die unscharf sind. Solche unscharfen Bildbereiche uB können beispielsweise mit Unschärfeklassifikationsverfahren bestimmt werden. Ein beispielhaftes Klassifikationsverfahren zur Detektion von unscharfen Bereichen kann die Anwendung von Laplace-Operatoren, insbesondere die Anwendung von Laplace-Pyramiden, und Schwellwertoperatoren umfassen.
• 10h zeigt ein augmentiertes Abbild AA, welches auf Basis der in 10g dargestellten veränderten Bildmaske erzeugt wurde. Ersichtlich ist, dass dem Abbild A1 auch im unscharfen Bildbereich uB Zusatzinformationen ZI überlagert werden können.
• 11 zeigt ein schematisches Blockschaltbild eines medizinischen Visualisierungssystems 4 sowie einen Untersuchungsbereich 1. Ebenfalls dargestellt sind ein Instrument 2 und ein Tumorobjekt 3, welche in einem Erfassungsbereich eines Operationsmikroskops 10 des medizinischen Visualisierungssystems 4 angeordnet sind. Das Tumorobjekt 3 kann ein verdecktes Objekt sein.
• Optionale Elemente des medizinischen Visualisierungssystems 4 sind hierbei gestrichelt dargestellt. Das medizinische Visualisierungssystem 4 umfasst mindestens eine Bilderfassungseinrichtung 5 zur mikroskopischen Abbildung des Untersuchungsbereichs 1. Die Bilderfassungseinrichtung 5 kann Teil des Operationsmikroskops 10 sein, welches ein Objektiv 19 mit einem Abschlussglas umfassen kann. Dieses Operationsmikroskop 10 wiederum kann als Stereo-Operationsmikroskop ausgebildet sein, wobei dieses eine weitere Bilderfassungseinrichtung 5b zur mikroskopischen Abbildung des Untersuchungsbereichs 1 umfasst und die Bilderfassungseinrichtungen 5, 5b ein Stereosystem bilden. Ebenfalls dargestellt ist eine Speichereinrichtung 6, in der Zusatzinformationen ZI gespeichert sein können. Das medizinische Visualisierungssystem 4 umfasst weiter eine Auswerteeinrichtung 7, die ein von der Bilderfassungseinrichtung 5 erzeugtes Abbild A1 empfangen und auswerten kann, wobei das Abbild A1 als Bildsignal über eine Schnittstelle 21 an die Auswerteeinrichtung 7 übertragen werden kann. Mit der Auswerteeinrichtung 7 kann insbesondere der Aufteilungsschritt AS und der Erzeugungsschritt GS durchgeführt werden.
• Weiter dargestellt ist, dass das medizinische Visualisierungssystem 4 eine Einrichtung 8 zur Bestimmung von Tiefeninformationen umfassen kann. Diese kann z.B. als Abstandssensor ausgebildet sein oder einen solchen umfassen. Ebenfalls dargestellt ist eine Schnittstelle 9 des medizinischen Visualisierungssystems 4 zur Datenübertragung mit weiteren, insbesondere übergeordneten, Systemen.
• Weiter kann das medizinische Visualisierungssystem 4 umfassen:
• • mindestens eine Weißlicht-Beleuchtungseinrichtung 11,
• • mindestens eine Infrarot-Beleuchtungseinrichtung 12,
• • mindestens eine Fluoreszenz-Beleuchtungseinrichtung 13 zur Anregung von Fluoreszenzstrahlung,
• • mindestens eine Fluoreszenzerfassungseinrichtung 14 zum Erfassen von Fluoreszenzstrahlung,
• • mindestens eine Umfeldkamera 15,
• • mindestens eine Einrichtung 16 zur Blickrichtungserkennung eines Betrachters,
• • mindestens ein Trackingsystem 17,
• • mindestens eine Eingabeeinrichtung 18 zur Bedienung bzw. Steuerung des medizinischen Visualisierungssystems,
• • mindestens eine Anzeigeeinrichtung 20.
• Die Elemente des medizinischen Visualisierungssystems 4 können hierbei daten- und/oder signaltechnisch verbunden sein.
• Nicht dargestellt sind Strahlfilter zur Bereitstellung von Anregungsstrahlung mit Wellenlängen aus einem breiteren Spektrum, z.B. dem Spektrum der Weißlicht-Beleuchtungseinrichtung oder zum Filtern von Strahlung aus einem breiteren Spektrum.
• Die Umfeldkamera 15 kann Bestandteil eines weiteren Trackingsystems sein, welches insbesondere zur optischen Bestimmung einer Pose von Instrumenten im Erfassungsbereich der Umfeldkamera 15 dient. Die Bestimmung der Pose kann eine monoskopische Bestimmung sein. Insbesondere kann die Bestimmung auch eine markerbasierte Bestimmung sein. Abbilder der Umfeldkamera 15 können insbesondere zur Objekterkennung ausgewertet werden, um einen Teilbereich zu identifizieren in Bezug auf welchen dann die Größe des Vordergrundbereichs V und/oder Hintergrundbereichs H verändert wird.
• Bezugszeichenliste

1

Untersuchungsbereich

2

Instrument

3

Tumorobjekt

4

medizinisches Visualisierungssystem

5

Bilderfassungseinrichtung eines Operationsmikroskops

5b

weitere Bilderfassungseinrichtung des Operationsmikroskops

6

Speichereinrichtung

7

Auswerteeinrichtung

8

Einrichtung zur Bestimmung von Tiefeninformationen

9

Schnittstelle

10

Operationsmikroskop

11

Weißlicht-Beleuchtungseinrichtung

12

Infrarot-Beleuchtungseinrichtung

13

Fluoreszenz-Beleuchtungseinrichtung

14

Fluoreszenzerfassungseinrichtung

15

Umfeldkamera

16

Einrichtung zur Blickrichtungserkennung

17

Trackingsystem

18

Eingabeeinrichtung

19

Objektiv

20

Anzeigeeinrichtung

21

Schnittstelle

A1

Abbild

M

Bildmaske

MV

veränderte Bildmaske

I

Information

ZI

Zusatzinformationen

V

Vordergrundbereich

H

Hintergrundbereich

AA

augmentiertes Abbild

ES1

Empfangsschritt

AS

Aufteilungsschritt

ES2

Empfangsschritt

GS

Erzeugungsschritt

VS

Veränderungsschritt

Claims (13)

1. Verfahren zur Erzeugung eines augmentierten Abbilds (AA) durch ein medizinisches Visualisierungssystem (4), umfassend die Schritte: a. Empfangen zumindest eines Bildsignals, welches von mindestens einer Bilderfassungseinrichtung (5) eines Operationsmikroskops (10) erzeugt wurde und welches ein Abbild (A1) eines Untersuchungsbereichs (1) repräsentiert, b. Aufteilen des Abbilds (A1) in einen Vordergrundbereich (V) und in einen Hintergrundbereich (H), c. Empfangen zumindest eines Signals, welches Zusatzinformationen (ZI) zur Augmentierung repräsentiert oder kodiert, d. Erzeugen des augmentierten Abbilds (AA) durch Überlagerung des Hintergrundbereichs (H) des Abbilds (A1) des Untersuchungsbereichs (1) oder eines Teils davon mit den Zusatzinformationen (ZI), wobei nach der Aufteilung des Abbilds (A1) des Untersuchungsbereichs (1) in den Vordergrundbereich (V) und den Hintergrundbereich (H) - eine Größe des Vordergrundbereichs (V) und/oder - eine Größe des Hintergrundbereichs (H) verändert wird, wobei die Veränderung abhängig von - einem Abstand eines in einen Teilbereich abgebildeten Objekts von einer Oberfläche des Untersuchungsbereichs (1) und/oder - einer teilbereichsspezifischen Bildinformation durchgeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Überlagerung mit Zusatzinformationen (ZI) ausschließlich im Hintergrundbereich (H) oder in einem Teil des Hintergrundbereichs (H) vorgenommen wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest zwei Bildsignale empfangen werden, die zeitlich nacheinander von der mindestens einen Bilderfassungseinrichtung (5) des Operationsmikroskops (10) erzeugt wurden und welche jeweils ein Abbild (A1) des Untersuchungsbereichs (1) repräsentieren, wobei eine Information über eine zeitliche Veränderung der Bildinformation in Abhängigkeit dieser zumindest zwei Abbilder (A1) bestimmt wird und die Aufteilung des Abbilds (A1) in Abhängigkeit dieser Information zum optischen Fluss erfolgt.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Tiefeninformationen für das zumindest eine Abbild (A1) des Untersuchungsbereichs (1) bestimmt werden und die Aufteilung in Abhängigkeit dieser Tiefeninformation erfolgt.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass für das zumindest eine Abbild (A1) des Untersuchungsbereichs (1) oder zumindest einen Teilbereich davon semantische Zusatzinformationen bestimmt werden, wobei die Aufteilung in Abhängigkeit dieser semantischen Zusatzinformationen erfolgt.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass für das zumindest eine Abbild (A1) des Untersuchungsbereichs (1) oder zumindest einen Teilbereich davon Kontextinformationen bestimmt werden, wobei die Aufteilung in Abhängigkeit dieser Kontextinformationen erfolgt.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Aufteilung mittels eines Modells durchgeführt wird, welches durch maschinelles Lernen erzeugt wurde, vorzugsweise mittels eines neuralen Netzes.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass Eingangsgrößen für die modellbasierte Aufteilung zusätzlich zu dem mindestens einen Abbild (A1) des Untersuchungsbereichs (1) zumindest eine der folgende Informationen umfassen: a. Tiefeninformationen für das zumindest eine Abbild des Untersuchungsbereichs, b. zumindest ein zeitlich vor dem Abbild des Untersuchungsbereichs erzeugtes Abbild des Untersuchungsbereichs, c. ein zu dem Abbild des Untersuchungsbereichs korrespondierendes Abbild, welches von einer weiteren Bilderfassungseinrichtung (5b) des Operationsmikroskops (10) erzeugt wurde, d. Informationen zur Klassifikation von abgebildeten Objekten, e. Informationen zur Klassifikation einer Nutzeraktivität, f. Informationen zur Klassifikation einer Operationsphase, g. Informationen zur Klassifikation eines Operationstyps.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein zu verändernder Teilbereich des Vordergrundbereichs (V) und/oder des Hintergrundbereichs (H) durch ein Verfahren zur Objekterkennung bestimmt wird und/oder dass ein zu verändernder Teilbereich in Abhängigkeit von optischen Parametern des Operationsmikroskops (10) bestimmt wird.
10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein zu verändernder Teilbereich und/oder die Veränderung der Größe mittels eines Modells bestimmt wird, welches durch maschinelles Lernen erzeugt wurde.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass Eingangsgrößen für eine modellbasierte Bestimmung des zu verändernden Teilbereichs und/oder der Veränderung der Größe zumindest eine der folgende Informationen umfassen: a. Tiefeninformationen für das zumindest eine Abbild des Untersuchungsbereichs, b. zumindest ein zeitlich vor dem Abbild des Untersuchungsbereichs erzeugtes Abbild des Untersuchungsbereichs, c. ein zu dem Abbild des Untersuchungsbereichs korrespondierendes Abbild, welches von einer weiteren Bilderfassungseinrichtung (5b) des Operationsmikroskops (10) erzeugt wurde, d. Informationen zur Klassifikation von abgebildeten Objekten, e. Informationen zur Klassifikation einer Nutzeraktivität, f. Informationen zur Klassifikation einer Operationsphase, g. Informationen zur Klassifikation eines Operationstyps.
12. Medizinisches Visualisierungssystem (4), umfassend mindestens eine Schnittstelle (20) zum Empfang eines Bildsignals einer Bilderfassungseinrichtung (5) zum Erzeugen eines Abbilds (A1) eines Untersuchungsbereichs (1) und mindestens eine Auswerteeinrichtung (7), wobei das medizinische Visualisierungssystem (4) konfiguriert ist, ein Verfahren mit den Schritten gemäß einem der Ansprüche 1 bis 11 durchzuführen.
13. Computerprogrammprodukt mit einem Computerprogramm, wobei das Computerprogramm Softwaremittel zur Ausführung mehrerer oder aller Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 umfasst, wenn das Computerprogramm von oder in einem Computer oder einem Automatisierungssystem ausgeführt wird.