[go: up one dir, main page]

DE102020205976A1 - Anpassen einer erweiterten und/oder künstlichen Realität - Google Patents

Anpassen einer erweiterten und/oder künstlichen Realität Download PDF

Info

Publication number
DE102020205976A1
DE102020205976A1 DE102020205976.4A DE102020205976A DE102020205976A1 DE 102020205976 A1 DE102020205976 A1 DE 102020205976A1 DE 102020205976 A DE102020205976 A DE 102020205976A DE 102020205976 A1 DE102020205976 A1 DE 102020205976A1
Authority
DE
Germany
Prior art keywords
data set
projection
display device
planning
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020205976.4A
Other languages
English (en)
Inventor
Martin Berger
Marcus Pfister
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102020205976.4A priority Critical patent/DE102020205976A1/de
Priority to US17/244,011 priority patent/US12026837B2/en
Priority to CN202110517110.5A priority patent/CN113648073B/zh
Publication of DE102020205976A1 publication Critical patent/DE102020205976A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Architecture (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft eine Darstellungsvorrichtung zur Darstellung einer erweiterten und/oder künstlichen Realität, wobei die Darstellungsvorrichtung eine Sensoreinheit aufweist, die zur Erfassung einer Nutzereingabe ausgebildet ist, wobei die Darstellungsvorrichtung zum Empfangen eines medizinischen Bilddatensatzes aufweisend zumindest eine Projektionsabbildung und eines medizinischen Planungsdatensatzes ausgebildet ist,wobei die Darstellungsvorrichtung dazu ausgebildet ist, die erweiterte und/oder künstliche Realität basierend auf dem Planungsdatensatz und der zumindest einen Projektionsabbildung zu erzeugen und darzustellen,wobei die Darstellungsvorrichtung ferner dazu ausgebildet ist, eine virtuelle räumliche Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität basierend auf der Nutzereingabe anzupassen.Die Erfindung betrifft weiterhin ein System, ein Verfahren zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz, sowie ein Computerprogrammprodukt.

Description

  • Die vorliegende Erfindung betrifft eine Darstellungsvorrichtung zur Darstellung einer erweiterten und/oder künstlichen Realität, ein System, ein Verfahren zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz, sowie ein Computerprogrammprodukt.
  • Für eine, insbesondere intraprozedurale, Unterstützung eines medizinischen Bedienpersonals, beispielsweise eines Arztes, bei einer Untersuchung und/oder Behandlung eines Untersuchungsobjekts, werden häufig präprozedurale medizinische Bilddaten von dem Untersuchungsobjekt verwendet und dem medizinischen Bedienpersonal angezeigt. Dabei können die präprozeduralen Bilddaten eine vorverarbeitete Information, beispielsweise zur Planung der Prozedur, aufweisen.
  • Eine besonders realistische Darstellung medizinischer Informationen, beispielsweise von den medizinischen Bilddaten des Untersuchungsobjekts, kann mittels einer Darstellung einer erweiterten (engl. augmented) und/oder künstlichen (engl. virtual) Realität (engl. Abkürzung: AR bzw. VR) ermöglicht werden. Hierbei werden häufig reale Objekte, beispielsweise medizinische Objekte und/oder das Untersuchungsobjekt, mit virtuellen Daten, insbesondere medizinischen Bilddaten und/ oder virtuellen Objekten, überlagert und in einer Anzeige dargestellt. Für eine realitätsnahe Darstellung mit hohem Immersionsgrad ist eine genaue Registrierung innerhalb der virtuellen Daten und/oder zwischen den virtuellen Daten mit den realen Objekten erforderlich. Hierfür werden oftmals automatisierte Registrierungsalgorithmen angewandt, welche auf geometrischen und/oder anatomischen Landmarken der Bilddaten basieren. Nachteilig ist hierbei jedoch, dass die bekannten Registrierungsalgorithmen eine aufwändige und zugleich konsistente Annotation der Landmarken in den verschiedenen Bilddaten erfordern. Eine unzureichende Annotation kann dabei nachteilig zu schlechteren Registrierungsergebnissen führen.
  • Der Erfindung liegt daher die Aufgabe zugrunde, eine besonders intuitive Anpassung einer erweiterten und/oder künstlichen Realität zu ermöglichen.
  • Die Aufgabe wird erfindungsgemäß gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
  • Die Erfindung betrifft in einem ersten Aspekt eine Darstellungsvorrichtung zur Darstellung einer erweiterten und/oder künstlichen Realität. Dabei weist die Darstellungsvorrichtung eine Sensoreinheit auf, die zur Erfassung einer Nutzereingabe ausgebildet ist. Ferner ist die Darstellungsvorrichtung zum Empfangen eines medizinischen Bilddatensatzes aufweisend zumindest eine Projektionsabbildung und zum Empfangen eines medizinischen Planungsdatensatzes ausgebildet. Zudem ist die Darstellungsvorrichtung dazu ausgebildet, die erweiterte und/ oder künstliche Realität basierend auf dem Planungsdatensatz und der zumindest einen Projektionsabbildung zu erzeugen und darzustellen. Des Weiteren ist die Darstellungsvorrichtung dazu ausgebildet, eine virtuelle räumliche Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität basierend auf der Nutzereingabe anzupassen.
  • Die Darstellungsvorrichtung kann vorteilhafterweise eine portable, insbesondere durch einen Nutzer tragbare, erste Anzeigeeinheit umfassen, die zur Anzeige der erweiterten (engl. augmented) und/oder künstlichen (engl. virtual) Realität (engl. Abkürzung: AR bzw. VR) ausgebildet ist. Dabei kann die erste Anzeigeeinheit zumindest teilweise durchsichtig und/ oder durchblickbar ausgebildet sein. Vorteilhafterweise kann die erste Anzeigeeinheit derart ausgebildet sein, dass sie von dem Nutzer zumindest teilweise innerhalb eines Sichtfeldes des Nutzers tragbar ist. Hierfür kann die erste Anzeigeeinheit vorteilhafterweise als Brille, insbesondere Datenbrille, und/oder Helm, insbesondere Datenhelm, und/oder Bildschirm ausgebildet sein.
  • Ferner kann die erste Anzeigeeinheit dazu ausgebildet sein, reale Objekte, beispielsweise gegenständliche, insbesondere medizinische, Objekte und/oder das Untersuchungsobjekt, mit virtuellen Daten, insbesondere gemessenen und/oder simulierten und/oder verarbeiteten medizinischen Bilddaten und/oder virtuellen Objekten, überlagert und in einer Anzeige darzustellen.
  • Die Sensoreinheit kann beispielsweise einen optischen und/ oder akustischen und/oder haptischen und/oder elektromagnetischen Sensor umfassen. Ferner kann die Sensoreinheit zumindest teilweise in die erste Anzeigeeinheit integriert angeordnet sein. Alternativ oder zusätzlich kann die Sensoreinheit zumindest teilweise an einem Körperteil des Nutzers, beispielsweise als Handschuh und/oder Zeigeeinrichtung, und/ oder an einem medizinischen Gerät, insbesondere einem medizinischen Bildgebungsgerät, und/oder, insbesondere ortsfest, im Raum angeordnet sein. Dabei ist die Sensoreinheit vorteilhafterweise zur Erfassung der Nutzereingabe, insbesondere anhand eines Eingabemittels, ausgebildet. Das Eingabemittel kann beispielsweise eine Zeigeeinrichtung und/oder eine Eingabeeinheit und/oder ein Körperteil des Nutzers und/oder ein optisches und/oder akustisches Signal umfassen. Die Nutzereingabe kann insbesondere eine Transformationsanweisung zur Anpassung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität umfassen. Hierfür kann die Darstellungsvorrichtung ausgebildet sein, die mittels der Sensoreinheit erfasste Nutzereingabe zu skalieren.
  • Vorteilhafterweise kann die Sensoreinheit zur zweidimensionalen und/oder dreidimensionalen Erfassung der Nutzereingabe, insbesondere anhand des Eingabemittels, ausgebildet sein. Dies kann insbesondere bei einer Erfassung der Nutzereingabe mittels eines optischen und/oder haptischen und/oder elektromagnetischen Sensors ermöglicht werden. Dabei kann die Nutzereingabe eine Trajektorie, insbesondere zwischen einem räumlichen Startpunkt und einem räumlichen Endpunkt, aufweisen. Die Darstellungsvorrichtung kann dazu ausgebildet sein, den räumlichen Startpunkt mit einem Greifpunkt, insbesondere an einer Ecke und/oder Kante und/oder Kontur und/oder einem Bildpunkt, des Planungsdatensatzes zu assoziieren. Alternativ oder zusätzlich kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen und darzustellen, dass der Planungsdatensatz zumindest ein virtuelles, insbesondere anwählbares, Bedienelement aufweist. Dabei kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, das zumindest eine Bedienelement durch eine Nutzereingabe anzuwählen und mit dem Startpunkt der Trajektorie zu assoziieren.
  • Die Darstellungsvorrichtung kann vorteilhafterweise eine Schnittstelle aufweisen, die zum Empfangen des medizinischen Bilddatensatzes und/oder des medizinischen Planungsdatensatzes ausgebildet ist. Die Schnittstelle kann insbesondere zum Erfassen und/oder Auslesen eines computerlesbaren Datenspeichers und/oder zum Empfangen von einer Datenspeichereinheit, beispielsweise einer Datenbank, ausgebildet sein. Des Weiteren kann die Darstellungsvorrichtung eine Bereitstellungseinheit aufweisen, welche zum Erzeugen und/oder Anpassen der erweiterten und/oder künstlichen Realität ausgebildet ist. Ferner kann die Bereitstellungseinheit zum Verarbeiten der Nutzereingabe, insbesondere eines Signals der Sensoreinheit, und/oder des Planungsdatensatzes und/oder des Bilddatensatzes ausgebildet sein. Zudem kann der medizinische Bilddatensatz und/oder der medizinische Planungsdatensatz von einer weiteren Bereitstellungseinheit eines medizinischen Bildgebungsgeräts bereitgestellt werden. Der medizinische Planungsdatensatz kann bezüglich des medizinischen Bilddatensatzes mittels desselben oder mittels eines verschiedenen medizinischen Bildgebungsgeräts aufgenommen und/oder bereitgestellt sein. Das medizinische Bildgebungsgerät kann beispielsweise als medizinisches Röntgengerät, insbesondere als medizinisches C-Bogen-Röntgengerät, und/oder Computertomographieanlage (CT) und/oder Magnetresonanzanlage (MRT) und/oder Positronenemissionstomographieanlage (PET) und/oder Sonographiegerät ausgebildet sein.
  • Vorteilhafterweise können der Planungsdatensatz und der Bilddatensatz zumindest teilweise einen gemeinsamen Untersuchungsbereich eines Untersuchungsobjekts abbilden. Dabei kann das Untersuchungsobjekt beispielsweise ein menschlicher und/ oder tierischer Patient und/oder ein Phantom und/oder Werkstück sein. Der Untersuchungsbereich kann beispielsweise ein räumlicher Ausschnitt, insbesondere eine Körperregion, des Untersuchungsobjekts sein. Dabei kann der Planungsdatensatz den Untersuchungsbereich des Untersuchungsobjekts vorteilhafterweise präprozedural abbilden. Ferner kann der Bilddatensatz den Untersuchungsbereich vorteilhafterweise intraprozedural abbilden. Der Bilddatensatz kann ferner zumindest eine, insbesondere zweidimensionale, Projektionsabbildung, insbesondere eine Röntgenprojektionsabbildung und/oder Sonographieprojektionsabbildung, des Untersuchungsbereichs aufweisen. Vorteilhafterweise kann der Bilddatensatz, insbesondere die zumindest eine Projektionsabbildung, eine intraprozedurale Abbildung des Untersuchungsbereichs aufweisen, wobei ein medizinisches Objekt in dem Untersuchungsbereich angeordnet ist. Das medizinische Objekt kann beispielsweise ein chirurgisches und/oder diagnostisches Instrument, beispielsweise ein Katheter und/oder Führungsdraht und/oder Endoskop sein. Vorteilhafterweise kann die zumindest eine Projektionsabbildung entlang einer Projektionsrichtung, insbesondere Angulation, mittels des medizinischen Bildgebungsgeräts aufgenommen sein. Ferner kann der Bilddatensatz mehrere Projektionsabbildungen des Untersuchungsbereichs aufweisen, welche vorteilhafterweise entlang verschiedener Projektionsrichtungen mittels des medizinischen Bildgebungsgeräts aufgenommen sind.
  • Zudem kann der Bilddatensatz, insbesondere die Projektionsabbildungen, zeitaufgelöst sein.
  • Der Planungsdatensatz kann vorteilhafterweise eine zweidimensionale und/oder dreidimensionale Abbildung des Untersuchungsbereichs aufweisen. Zudem kann der Planungsdatensatz zeitaufgelöst sein.
  • Die Darstellungsvorrichtung kann vorteilhafterweise dazu ausgebildet sein, die erweiterte und/oder künstliche Realität basierend auf dem Planungsdatensatz und der zumindest einen Projektionsabbildung zu erzeugen und darzustellen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen, dass der Planungsdatensatz beabstandet bezüglich einer graphischen Darstellung der zumindest einen Projektionsabbildung, insbesondere zweidimensional und/oder dreidimensional, dargestellt wird. Des Weiteren kann die Darstellungsvorrichtung dazu ausgebildet sein, zumindest einen segmentierten Teil des Planungsdatensatzes, beispielsweise eine Knochenstruktur und/oder einen Gewebebereich, insbesondere dreidimensional, beispielsweise als Volumennetzmodell, in der erweiterten und/oder künstlichen Realität darzustellen. Ferner kann die Darstellungsvorrichtung, insbesondere die erste Anzeigeeinheit, dazu ausgebildet sein, den Planungsdatensatz und/oder die zumindest eine Projektionsabbildung in der erweiterten und/oder künstlichen Realität zumindest teilweise transparent darzustellen. Die Darstellungsvorrichtung kann ferner dazu ausgebildet sein, die erweiterte und/oder künstliche Realität ortsfest bezüglich einer realen räumlichen Umgebung des Nutzers zu erzeugen und darzustellen. Hierfür kann die Sensoreinheit zur Erfassung einer Positionierungsänderung der ersten Anzeigeeinheit bezüglich der realen räumlichen Umgebung des Nutzers ausgebildet sein. Die Sensoreinheit kann hierfür beispielsweise einen gyroskopischen und/oder optischen und/oder elektromagnetischen Sensor umfassen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen, dass sowohl der Planungsdatensatz als auch die zumindest eine Projektionsabbildung zumindest teilweise, insbesondere gleichzeitig, durch den Nutzer optisch erfassbar sind.
  • Die Sensoreinheit kann vorteilhafterweise zur Erfassung einer initialen räumlichen Positionierung der Nutzereingabe, insbesondere des Eingabemittels, an dem Startpunkt ausgebildet sein. Dabei kann die initiale räumliche Positionierung eine Information zur räumlichen Position, insbesondere bezüglich der Sensoreinheit und/oder bezüglich eines Referenzpunkts, und/oder zur räumlichen Ausrichtung des erfassten Eingabemittels am Startpunkt aufweisen. Ferner kann die erfasste initiale räumliche Positionierung der Nutzereingabe mit einer virtuellen räumlichen Positionierung des Planungsdatensatzes, insbesondere des Greifpunkts, registriert sein. Die virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere des Greifpunkts, kann eine Information zur virtuellen räumlichen Position und/oder Ausrichtung des Planungsdatensatzes in einem Koordinatensystem der erweiterten und/oder künstlichen Realität aufweisen.
  • Analog dazu kann die Sensoreinheit zur Erfassung einer finalen räumlichen Positionierung der Nutzereingabe, insbesondere des Eingabemittels, an dem Endpunkt ausgebildet sein.
  • Die Darstellungsvorrichtung kann dazu ausgebildet sein, die virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere des Greifpunkts, relativ zur zumindest einen Projektionsabbildung gemäß der Nutzereingabe anzupassen. Dabei kann die virtuelle räumliche Positionierung des Planungsdatensatzes eine Information zu einer virtuellen räumlichen Position und/oder Ausrichtung des Planungsdatensatzes, insbesondere des Greifpunkts, in der erweiterten und/oder künstlichen Realität aufweisen. Ferner kann die virtuelle räumliche Positionierung bezüglich eines Koordinatensystems der Darstellungsvorrichtung, insbesondere der ersten Anzeigeeinheit, bestimmt sein. Zudem kann die virtuelle räumliche Positionierung eine Relativpositionierung bezüglich der zumindest einen Projektionsabbildung aufweisen. Die Darstellungsvorrichtung kann dazu ausgebildet sein, den Greifpunkt in der erweiterten und/oder künstlichen Realität vom Startpunkt hin zum Endpunkt zu repositionieren. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität während und/oder nach der Nutzereingabe anzupassen und darzustellen.
  • Die vorgeschlagene Darstellungsvorrichtung ermöglicht eine besonders intuitive Anpassung der erweiterten und/oder künstlichen Realität. Ferner kann durch die Anpassung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität eine einfache und zugleich präzise Registrierung ermöglicht werden. Insbesondere kann eine Fehlausrichtung zwischen dem Planungsdatensatz und der zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität vorteilhaft verringert werden. Dabei kann der Nutzer vorteilhafterweise auf einfache und präzise Weise die virtuelle räumliche Positionierung des Planungsdatensatzes mittels der Nutzereingabe, insbesondere gleichzeitig, entlang mehrerer räumlicher Freiheitsgrade in der erweiterten und/oder künstlichen Realität anpassen.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, zumindest eine Planungsprojektionsabbildung des Planungsdatensatzes zu erzeugen. Zudem kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung zu erzeugen und darzustellen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Planungsprojektionsabbildung bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung anzupassen.
  • Vorteilhafterweise kann der Bilddatensatz Metadaten aufweisen, wobei die Metadaten eine Information zu einer Aufnahmegeometrie und/oder einem Betriebsparameter des medizinischen Bildgebungsgeräts zur Aufnahme des Bilddatensatzes aufweisen können. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, basierend auf den Metadaten eine virtuelle Quelle, beispielsweise eine virtuelle Röntgenquelle und/oder Sonographiequelle, in der erweiterten und/oder künstlichen Realität bezüglich der zumindest einen Projektionsabbildung gemäß der jeweiligen Aufnahmegeometrie anzuordnen.
  • Die zumindest eine Planungsprojektionsabbildung kann insbesondere eine virtuelle Projektionsabbildung des Planungsdatensatzes entlang einer virtuellen Projektionsrichtung ausgehend von der virtuellen Quelle sein. Die zumindest eine Planungsprojektionsabbildung kann insbesondere alle Merkmale und Eigenschaften aufweisen, die in Bezug zu der zumindest einen Projektionsabbildung beschrieben wurden und umgekehrt.
  • Des Weiteren kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität aufweisend zumindest ein virtuelles Hilfselement zu der zumindest einen Projektionsabbildung und/oder zu der zumindest einen Planungsprojektionsabbildung zu erzeugen und darzustellen. Das virtuelle Hilfselement kann beispielsweise eine graphische Darstellung eines Projektionskegels und/oder eines Zentralstrahls der virtuellen Quelle entlang der jeweiligen, insbesondere virtuellen, Projektionsrichtung aufweisen. Die Sensoreinheit kann dabei zur Erfassung einer weiteren Nutzereingabe ausgebildet sein. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die virtuelle Projektionsrichtung zur Erzeugung der zumindest einen Planungsprojektionsabbildung basierend auf der weiteren Nutzereingabe anzupassen. Dabei kann das Erfassen der weiteren Nutzereingabe insbesondere analog zum Erfassen der Nutzereingabe erfolgen. Ferner kann das Anpassen der virtuellen Projektionsrichtung zur Erzeugung der zumindest einen Planungsprojektionsabbildung analog zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität erfolgen.
  • Die Darstellungsvorrichtung kann dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen, dass der Planungsdatensatz beabstandet bezüglich einer graphischen Darstellung der zumindest einen Projektionsabbildung und einer graphischen Darstellung der zumindest einen Planungsprojektionsabbildung, insbesondere zweidimensional und/ oder dreidimensional, dargestellt wird. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Projektionsabbildung und die zumindest eine Planungsprojektionsabbildung in der erweiterten und/oder künstlichen Realität zumindest teilweise transparent und/oder, insbesondere gegenseitig, überlagert zu erzeugen und darzustellen.
  • Bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung, insbesondere relativ zur virtuellen Quelle, kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Planungsprojektionsabbildung anzupassen, insbesondere neu zu erzeugen. Das Anpassen der zumindest einen Planungsprojektionsabbildung kann insbesondere eine virtuelle Projektionsabbildung des Planungsdatensatzes in der geänderten virtuellen räumlichen Positionierung entlang der virtuellen Projektionsrichtung ausgehend von der virtuellen Quelle umfassen.
  • Durch das Erzeugen der erweiterten und/oder künstlichen Realität zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung, kann vorteilhafterweise eine besonders intuitive und zugleich präzise Repositionierung des Planungsdatensatzes bezüglich der, insbesondere virtuellen, Projektionsrichtung ermöglicht werden. Ferner kann ein einfach erfassbarer Vergleich zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung zum Erzeugen der zumindest einen Planungsprojektionsabbildung entlang einer Projektionsrichtung der zumindest einen Projektionsabbildung ausgebildet sein.
  • Dabei kann jeweils eine Projektionsrichtung der zumindest einen Projektionsabbildung als jeweils eine virtuelle Projektionsrichtung zur Erzeugung der zumindest einen Planungsprojektionsabbildung vorgegeben werden. Hierdurch kann erreicht werden, dass die Abbildungsgeometrie zur virtuellen Projektionsabbildung des Planungsdatensatzes entlang der zumindest einen virtuellen Projektionsrichtung ausgehend von der virtuellen Quelle vorteilhafterweise der Aufnahmegeometrie zur Aufnahme der zumindest einen Projektionsabbildung entspricht. Vorteilhafterweise kann hierdurch eine intuitive Repositionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität derart ermöglicht werden, dass die zumindest eine Planungsprojektionsabbildung mit jeweils einer der zumindest einen Projektionsabbildung in Übereinstimmung gebracht werden kann. Somit kann der im Planungsdatensatz abgebildete Untersuchungsbereich des Untersuchungsobjekts bezüglich der virtuellen Quelle, der virtuellen Projektionsrichtung und/oder der zumindest einen Planungsprojektionsabbildung derart virtuell positioniert werden, dass eine Abweichung zwischen der Abbildungsgeometrie zur Erzeugung der zumindest einen Planungsprojektionsabbildung und der Aufnahmegeometrie zur Aufnahme der zumindest einen Projektionsabbildung des Untersuchungsbereichs minimiert wird.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung zum Erzeugen einer Rückprojektion der zumindest einen Projektionsabbildung ausgebildet sein. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der zumindest einen Rückprojektion zu erzeugen und darzustellen.
  • Zudem kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Rückprojektion bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung anzupassen.
  • Vorteilhafterweise kann der Bilddatensatz Metadaten aufweisen, wobei die Metadaten eine Information zu einer Aufnahmegeometrie und/oder einem Betriebsparameter des medizinischen Bildgebungsgeräts zur Aufnahme des Bilddatensatzes aufweisen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, basierend auf den Metadaten eine virtuelle Quelle, beispielsweise eine virtuelle Röntgenquelle und/oder Sonographiequelle, in der erweiterten und/oder künstlichen Realität bezüglich der zumindest einen Projektionsabbildung gemäß der jeweiligen Aufnahmegeometrie anzuordnen.
  • Die zumindest eine Rückprojektion kann eine virtuelle, insbesondere gefilterte, Rückprojektion der zumindest einen Projektionsabbildung auf den Planungsdatensatz umfassen. Dabei kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Rückprojektion entlang der Projektionsrichtung der jeweiligen Projektionsabbildung hin zur virtuellen Quelle zu erzeugen.
  • Die Darstellungsvorrichtung kann dazu ausgebildet sein, die zumindest eine Rückprojektion und den Planungsdatensatz in der erweiterten und/oder künstlichen Realität zumindest teilweise transparent und/oder, insbesondere gegenseitig, überlagert zu erzeugen und darzustellen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Rückprojektion zumindest teilweise überlagert auf einer Oberfläche, beispielsweise einem segmentierten Volumennetzmodell, zumindest eines Teils des Planungsdatensatzes, beispielsweise einer Knochenstruktur und/oder einem Gewebebereich, in der erweiterten und/oder künstlichen Realität darzustellen.
  • Bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung, insbesondere relativ zur jeweiligen Projektionsrichtung, kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest eine Rückprojektion anzupassen, insbesondere neu zu erzeugen. Das Anpassen der zumindest einen Rückprojektion kann eine virtuelle, insbesondere gefilterte, Rückprojektion der zumindest einen Projektionsabbildung auf den Planungsdatensatz in der geänderten virtuellen räumlichen Positionierung umfassen.
  • Durch das Erzeugen der erweiterten und/oder künstlichen Realität zusätzlich basierend auf der zumindest einen Rückprojektion, kann vorteilhafterweise eine besonders intuitive und zugleich präzise Repositionierung des Planungsdatensatzes bezüglich der Projektionsrichtung der zumindest einen Projektionsabbildung und/oder Rückprojektion ermöglicht werden. Ferner kann ein einfach erfassbarer Vergleich zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz in der erweiterten und/oder künstlichen Realität ermöglicht werden. Somit kann der im Planungsdatensatz abgebildete Untersuchungsbereich des Untersuchungsobjekts bezüglich der virtuellen Quelle, der zumindest einen Projektionsrichtung und/oder der zumindest einen Projektionsabbildung derart virtuell positioniert werden, dass eine, insbesondere räumliche, Abweichung zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz minimiert wird.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, eine Transformationsvorschrift zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung basierend auf der Nutzereingabe zu bestimmen.
  • Die Darstellungsvorrichtung kann dazu ausgebildet sein, die Transformationsvorschrift derart basierend auf der Nutzereingabe zu bestimmen, dass der Planungsdatensatz, insbesondere der Greifpunkt, bei Anwenden der Transformationsvorschrift auf den Planungsdatensatz in der erweiterten und/oder künstlichen Realität vom Startpunkt hin zum Endpunkt umpositioniert wird. Sofern die Nutzereingabe am Startpunkt eine Information zu einer räumlichen Positionierung des Eingabemittels aufweist, kann die Darstellungsvorrichtung ausgebildet sein, die, insbesondere initiale, virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere des Greifpunkts, mit der räumlichen Positionierung des Eingabemittels am Startpunkt zu assoziieren. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die Transformationsvorschrift basierend auf der erfassten Änderung der räumlichen Positionierung des Eingabemittels vom Startpunkt zum Endpunkt der Nutzereingabe zu bestimmen. Dabei kann die Transformationsvorschrift dazu ausgebildet sein, die virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere den Greifpunkt, in der erweiterten und/oder künstlichen Realität gemäß der erfassten Änderung, insbesondere entlang der Trajektorie, anzupassen. Die Transformationsvorschrift kann dabei eine rigide und/oder nicht-rigide Transformation des Planungsdatensatzes umfassen, insbesondere bezüglich der zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität. Die Darstellungsvorrichtung kann insbesondere dazu ausgebildet sein, die Transformationsvorschrift wiederholt während der Erfassung der Nutzereingabe zu bestimmen.
  • Hierdurch kann eine besonders präzise Steuerung der Repositionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität durch den Nutzer mittels der Nutzereingabe ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, zumindest einen räumlichen Freiheitsgrad der Transformationsvorschrift basierend auf einer geometrischen Eigenschaft des Planungsdatensatzes und/oder des Bilddatensatzes festzulegen.
  • Die Transformationsvorschrift kann zur rigiden und/oder nicht-rigiden Transformation des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität entlang zumindest eines räumlichen Freiheitsgrads, insbesondere entlang mehrerer räumlicher Freiheitsgrade, ausgebildet sein. Dabei kann der zumindest eine räumliche Freiheitsgrad beispielsweise ein Bewegungsfreiheitsgrad einer virtuellen Rotationsbewegung und/oder virtuellen Translationsbewegung und/oder einer Skalierung des Planungsdatensatzes sein. Vorteilhafterweise kann die Darstellungsvorrichtung dazu ausgebildet sein, den zumindest einen räumlichen Freiheitsgrad der Transformationsvorschrift basierend auf einer geometrischen Eigenschaft des Planungsdatensatzes und/oder des Bilddatensatzes festzulegen. Dabei kann die geometrische Eigenschaft beispielsweise eine Information zur Aufnahmegeometrie des Planungsdatensatzes und/oder des Bilddatensatzes aufweisen. Ferner kann die geometrische Eigenschaft eine Information zur Positionierung des Untersuchungsbereichs des Untersuchungsobjekts bezüglich des medizinischen Bildgebungsgeräts, insbesondere bezüglich einer Quelle und/oder einem Detektor, zur Aufnahme des Planungsdatensatzes und/oder der Bilddaten umfassen. Des Weiteren kann die geometrische Information eine Information zur räumlichen Ausbildung des Planungsdatensatzes und/oder der Bilddaten umfassen, beispielsweise eine Ausdehnungsinformation und/oder eine Ausrichtungsinformation und/oder eine Positionierungsinformation und/oder eine Tiefeninformation. Vorteilhafterweise kann durch das Festlegen des zumindest einen räumlichen Freiheitsgrads der Transformationsvorschrift basierend auf der geometrischen Eigenschaft des Planungsdatensatzes und/oder des Bilddatensatzes eine, insbesondere unerwünschte und/oder unphysikalische, Transformation des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität verhindert werden. Beispielsweise kann eine virtuelle Rotationsbewegung des Planungsdatensatzes, insbesondere beliebig, zugelassen werden, während eine virtuelle Translationsbewegung des Planungsdatensatzes nur in einem vordefinierten räumlichen Bereich und/oder entlang einer vordefinierten Raumrichtung innerhalb der erweiterten und/oder künstlichen Realität zugelassen wird. Insbesondere kann eine virtuelle Bewegung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung mittels des zumindest einen Freiheitsgrads der Transformationsvorschrift derart begrenzt werden, dass ein Ineinanderbewegen von Planungsdatensatz und der zumindest einen Projektionsabbildung verhindert wird (engl. out-ofplane).
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Sensoreinheit einen optischen und/oder haptischen und/oder elektromagnetischen und/oder akustischen Sensor und/oder eine Blickrichtungserfassungseinheit (engl. eye-tracker) umfassen. Dabei kann die Sensoreinheit dazu ausgebildet sein, zum Erfassen der Nutzereingabe eine Positionierung und/oder Bewegung zumindest eines Körperteils des Nutzers und/oder eine Spracheingabe des Nutzers und/oder eine Blickrichtung des Nutzers zu erfassen.
  • Dabei kann der optische Sensor beispielsweise eine Kamera, insbesondere eine Monokamera und/oder Stereokamera und/oder Tiefenkamera, umfassen. Vorteilhafterweise kann der optische Sensor zur Erfassung einer räumlichen Positionierung und/oder Bewegung des zumindest einen Körperteils des Nutzers, insbesondere bezüglich der Darstellungsvorrichtung, ausgebildet sein. Ferner kann die Sensoreinheit zum Erfassen einer, insbesondere räumlich und/oder zeitlich aufgelösten, Eingabegeste des Nutzers, insbesondere des Eingabemittels, als Nutzereingabe ausgebildet sein. Des Weiteren kann der haptische Sensor beispielsweise ein Steuerelement umfassen, welches mittels eines Körperteils des Nutzers bedienbar ist, beispielsweise ein Joystick und/oder eine Zeigeeinrichtung und/ oder ein haptischer Controller und/oder ein haptischer Handschuh. Der elektromagnetische Sensor kann beispielsweise dazu ausgebildet sein, eine Bewegung eines Körperteils und/oder Eingabemittels des Nutzers anhand einer Änderung eines elektromagnetischen Feldes um die Darstellungsvorrichtung herum zu erfassen. Der akustische Sensor kann beispielsweise zumindest ein Mikrofon umfassen, welches zur Erfassung einer Spracheingabe des Nutzers, beispielsweise einem Sprachbefehl und/oder einem akustischen Signal, ausgebildet ist. Ferner kann die Sensoreinheit eine Blickrichtungserfassungseinheit aufweisen, welche Blickrichtungserfassungseinheit zur Erfassung einer Blickrichtung des Nutzers bezüglich der Darstellung der erweiterten und/oder künstlichen Realität ausgebildet ist. Insbesondere kann die Sensoreinheit zumindest teilweise in die Darstellungsvorrichtung, insbesondere in die erste Anzeigeeinheit, integriert angeordnet sein.
  • Die Sensoreinheit kann insbesondere mehrere verschiedene Sensoren zur Erfassung der Nutzereingabe aufweisen. Beispielsweise kann zumindest einer der Sensoren zum Erfassen der Nutzereingabe für das Festlegen und/oder Auswählen des Greifpunkts ausgebildet sein. Ferner kann zumindest ein weiterer Sensor zum Erfassen der Nutzereingabe für das Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes ausgebildet sein. Hierdurch kann eine besonders intuitive und flexible Bedienung der Darstellungsvorrichtung durch einen Nutzer ermöglicht werden. Insbesondere in einem chirurgischen Umfeld kann eine hohe Flexibilität bei der Art der Erfassung der Nutzereingabe mittels der Sensoreinheit vorteilhaft sein.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann der Planungsdatensatz und/oder der Bilddatensatz eine vorbestimmte Bildinformation aufweisen. Dabei kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der vorbestimmten Bildinformation zu erzeugen und darzustellen.
  • Die Darstellungsvorrichtung kann insbesondere zum Empfangen und/oder Erzeugen der vorbestimmten Bildinformation, insbesondere basierend auf dem Planungsdatensatz und/oder dem Bilddatensatz, ausgebildet sein. Die vorbestimmte Bildinformation kann eine, insbesondere vorverarbeitete, Bildinformation, beispielsweise einen Bildgradienten und/oder ein Kantenbild, und/oder ein Wahrscheinlichkeitsbild aufweisend eine Wahrscheinlichkeitsinformation hinsichtlich des Vorhandenseins einer bestimmten Struktur umfassen. Alternativ oder zusätzlich kann die vorbestimmte Bildinformation eine, insbesondere zweidimensionale, Segmentierung von, insbesondere anatomischen, Landmarken und/oder Strukturen, beispielsweise einem Gefäß und/oder einer Knochenstruktur und/oder einem Organ und/oder einem Gewebebereich, und/oder von einem medizinischen Objekt umfassen, beispielsweise einem Katheter und/ oder Führungsdraht und/oder Endoskop.
  • Sofern der Planungsdatensatz eine vorbestimmte Bildinformation aufweist, kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der vorbestimmten Bildinformation des Planungsdatensatzes derart zu erzeugen und darzustellen, dass diese vorbestimmte Bildinformation für den Nutzer erfassbar ist. Hierfür kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Planungsdatensatzes beispielsweise graphisch auf einer, insbesondere zweidimensionalen und/oder dreidimensionalen, Oberfläche des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität darzustellen, beispielsweise als Überlagerung. Alternativ oder zusätzlich kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Planungsdatensatzes analog zur Planungsprojektionsabbildung abzubilden. Insbesondere kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Planungsdatensatzes als Teil der Planungsprojektionsabbildung darzustellen.
  • Sofern der Bilddatensatz eine vorbestimmte Bildinformation aufweist, kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der vorbestimmten Bildinformation des Bilddatensatzes derart zu erzeugen und darzustellen, dass diese vorbestimmte Bildinformation des Bilddatensatzes für den Nutzer erfassbar ist. Hierfür kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Bilddatensatzes graphisch in der erweiterten und/oder künstlichen Realität darzustellen, beispielsweise als Überlagerung mit der zumindest einen Projektionsabbildung. Alternativ oder zusätzlich kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Bilddatensatzes analog zur Rückprojektion abzubilden. Insbesondere kann die Darstellungsvorrichtung ausgebildet sein, die vorbestimmte Bildinformation des Bilddatensatzes als Teil der Rückprojektion auf dem Planungsdatensatz in der erweiterten und/oder künstlichen Realität darzustellen.
  • Das Einbinden der vorbestimmten Bildinformation des Planungsdatensatzes und/oder des Bilddatensatzes in die Erzeugung und/oder Darstellung der erweiterten und/oder künstlichen Realität kann eine optische Hilfestellung an den Nutzer zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes bereitstellen. Hierdurch kann eine schnelle und zugleich präzise Erfassung von Abweichungen in der erweiterten und/oder künstlichen Realität durch den Nutzer ermöglicht werden, beispielsweise zwischen Planungsdatensatz und Rückprojektion und/oder zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, die vorbestimmte Bildinformation basierend auf der Nutzereingabe, insbesondere aus einer Anzahl von empfangenen vorbestimmten Bildinformationen, auszuwählen, beispielsweise durch Anzeige einer Voransicht und/oder eines Menüs in der erweiterten und/oder künstlichen Realität. Alternativ oder zusätzlich kann die Darstellungsvorrichtung dazu ausgebildet sein, die vorbestimmte Bildinformation basierend auf der Nutzereingabe zu erzeugen. Hierfür kann der Nutzer beispielsweise einen Bildpunkt und/oder eine Abbildung einer anatomische Struktur und/oder einer geometrischen Struktur und/oder eines medizinisches Objekts in der erweiterten und/oder künstlichen Realität, insbesondere in dem Planungsdatensatz und/oder der zumindest einen Projektionsabbildung, mittels der Nutzereingabe festlegen.
  • Die vorgeschlagene Ausführungsform ermöglicht eine besonders nutzerfreundliche Anzeige einer Hilfestellung zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität.
  • In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung eine erste und eine zweite Anzeigeeinheit aufweisen. Dabei kann die erste Anzeigeeinheit zur Darstellung der erweiterten und/oder künstlichen Realität ausgebildet sein. Ferner kann die zweite Anzeigeeinheit zur Darstellung der zumindest einen Projektionsabbildung und/oder der zumindest einen Planungsprojektionsabbildung ausgebildet sein. Zudem kann die Sensoreinheit zum Erfassen einer räumlichen Relativpositionierung der ersten und der zweiten Anzeigeeinheit relativ zueinander ausgebildet sein. Dabei kann die Darstellungsvorrichtung zum Anpassen der erweiterten und/oder künstlichen Realität basierend auf der erfassten Relativpositionierung ausgebildet sein.
  • Die räumliche Relativpositionierung der ersten und der zweiten Anzeigeeinheit zueinander kann eine Information zur räumlichen Position und/oder Ausrichtung der ersten und der zweiten Anzeigeeinheit relativ zueinander umfassen.
  • Die zweite Anzeigeeinheit kann beispielsweise einen Monitor und/oder ein Display umfassen. Dabei kann die Sensoreinheit zum zumindest teilweisen Erfassen der zweiten Anzeigeeinheit, insbesondere einer räumlichen Relativpositionierung der zweiten Anzeigeeinheit bezüglich der ersten Anzeigeeinheit, ausgebildet sein. Sofern die Sensoreinheit zumindest teilweise in die erste Anzeigeeinheit integriert angeordnet ist, kann eine Erfassung der zweiten Anzeigeeinheit zur Bestimmung der räumlichen Relativpositionierung ausreichen. Alternativ kann die Sensoreinheit zum Erfassen der ersten und der zweiten Anzeigeeinheit ausgebildet sein, insbesondere relativ zueinander und/oder absolut bezüglich eines räumlichen Referenzpunkts. Die erste und/oder zweite Anzeigeeinheit kann beispielsweise eine definierte Form und/oder eine Markerstruktur aufweisen. Alternativ oder zusätzlich kann die Sensoreinheit zum Erfassen der Darstellung der zumindest einen Projektionsabbildung und/oder der zumindest einen Planungsprojektionsabbildung auf der zweiten Anzeigeeinheit ausgebildet sein. Ferner kann die erste und/oder die zweite Anzeigeeinheit dazu ausgebildet sein, ein Signal umfassend eine Information zur räumlichen Positionierung an die Sensoreinheit bereitzustellen. Hierfür kann die erste und/oder zweite Anzeigeeinheit einen Positionierungssensor aufweisen, beispielsweise einen gyroskopischen und/oder optischen und/oder elektromagnetischen Sensor.
  • Vorteilhafterweise kann die Darstellungsvorrichtung dazu ausgebildet sein, die erweiterte und/oder künstliche Realität basierend auf der erfassten Relativpositionierung derart anzupassen, dass die Darstellung der zumindest einen Projektionsabbildung und/oder der zumindest einen Planungsprojektionsabbildung auf der zweiten Anzeigeeinheit in die erweiterte und/oder künstliche Realität zumindest teilweise eingebettet und/oder integriert wird. Die Darstellungsvorrichtung, insbesondere die erste Anzeigeeinheit, kann dazu ausgebildet sein, die erweiterte und/oder künstliche Realität über der Darstellung auf der zweiten Anzeigeeinheit zumindest teilweise überlagert darzustellen.
  • Hierdurch kann eine besonders einfache Integration der erweiterten und/oder künstlichen Realität in ein bestehendes Arbeitsumfeld des Nutzers aufweisend die zweite Anzeigeeinheit ermöglicht werden. Dabei kann die vorgeschlagene Darstellungsvorrichtung dem Nutzer zusätzliche Information in der zumindest teilweise überlagerten Darstellung der ersten und zweiten Anzeigeeinheit erfassbar darstellen.
  • Die Erfindung betrifft in einem zweiten Aspekt ein System umfassend eine Darstellungsvorrichtung nach einem der vorangehenden Ansprüche und ein medizinisches Bildgebungsgerät. Dabei ist das medizinische Bildgebungsgerät zur Aufnahme und/ oder zum Bereitstellen und/oder zum Empfangen des Planungsdatensatzes und/oder des Bilddatensatzes ausgebildet.
  • Die Vorteile des vorgeschlagenen Systems entsprechen im Wesentlichen den Vorteilen der vorgeschlagenen Darstellungsvorrichtung zur Darstellung einer erweiterten und/oder künstlichen Realität. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
  • Das medizinische Bildgebungsgerät kann beispielsweise als medizinisches Röntgengerät, insbesondere als medizinisches C-Bogen-Röntgengerät, und/oder Computertomographieanlage (CT) und/oder Magnetresonanzanlage (MRT) und/oder Positronenemissionstomographieanlage (PET) und/oder Sonographiegerät ausgebildet sein. Dabei kann das medizinische Bildgebungsgerät ferner zur Aufnahme und/oder zum Empfangen und/oder zum Bereitstellen des Planungsdatensatzes und/oder des Bilddatensatzes ausgebildet sein.
  • Das medizinische Bildgebungsgerät kann insbesondere eine Schnittstelle aufweisen, die zum Bereitstellen und/oder Empfangen des medizinischen Bilddatensatzes und/oder des medizinischen Planungsdatensatzes, insbesondere an die Darstellungsvorrichtung, ausgebildet ist. Die Schnittstelle kann insbesondere zum Erfassen und/oder Auslesen eines computerlesbaren Datenspeichers und/oder zum Empfangen von einer Datenspeichereinheit, beispielsweise einer Datenbank, ausgebildet sein.
  • Die Erfindung betrifft in einem dritten Aspekt ein Verfahren zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz. Dabei wird in einem ersten Schritt a) ein Planungsdatensatz eines Untersuchungsobjekts empfangen. Ferner wird in einem zweiten Schritt b) ein Bilddatensatz aufweisend zumindest eine Projektionsabbildung des Untersuchungsobjekts empfangen. In einem dritten Schritt c) wird eine erweiterte und/oder künstliche Realität basierend auf dem Planungsdatensatz und der zumindest einen Projektionsabbildung erzeugt. In einem vierten Schritt d) wird eine graphische Darstellung der erweiterten und/oder künstlichen Realität mittels einer Darstellungsvorrichtung aufweisend eine Sensoreinheit angezeigt. In einem fünften Schritt e) wird eine Nutzereingabe mittels der Sensoreinheit erfasst. Ferner wird in einem sechsten Schritt f) eine virtuelle räumliche Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität basierend auf der Nutzereingabe angepasst.
  • Die Vorteile des vorgeschlagenen Verfahrens entsprechen im Wesentlichen den Vorteilen der vorgeschlagenen Darstellungsvorrichtung zur Darstellung einer erweiterten und/oder künstlichen Realität und/oder des vorgeschlagenen Systems. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
  • Die vorstehend beschriebenen Schritte a) bis f) des vorgeschlagenen Verfahrens können vorteilhafterweise nacheinander und/oder zumindest teilweise gleichzeitig ausgeführt werden. Vorteilhafterweise können die Schritte a) bis f) des vorgeschlagenen Verfahrens mittels einer vorgeschlagenen Darstellungsvorrichtung ausgeführt werden. Insbesondere kann das Anzeigen der graphischen Darstellung der erweiterten und/oder künstlichen Realität im Schritt d) mittels der vorgeschlagenen Darstellungsvorrichtung, insbesondere der ersten Anzeigeeinheit, erfolgen.
  • Vorteilhafterweise kann durch das Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/ oder künstlichen Realität im Schritt f) eine Registrierung zwischen dem Planungsdatensatz und dem Bilddatensatz, insbesondere der zumindest einen Projektionsabbildung, verbessert werden. Vorteilhafterweise kann der Planungsdatensatz in der erweiterten und/oder künstlichen Realität basierend auf der Nutzereingabe derart positioniert werden, dass eine virtuelle räumliche Positionierung des darin abgebildeten Untersuchungsbereichs bezüglich der zumindest einen Projektionsabbildung mit einer räumlichen Positionierung des Untersuchungsbereichs zum Zeitpunkt der Aufnahme der zumindest einen Projektionsabbildung bezüglich der zumindest einen Projektionsabbildung eine hohe Übereinstimmung aufweist. Hierdurch kann eine besonders passgenaue Darstellung des Planungsdatensatzes und der zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität vorteilhaft ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens können die Schritte d) bis f) bis zum Eintreten einer Abbruchbedingung wiederholt ausgeführt werden. Die Abbruchbedingung kann beispielsweise eine maximale Anzahl von Wiederholungen umfassen. Alternativ oder zusätzlich kann die Abbruchbedingung durch eine vordefinierte Nutzereingabe ausgelöst werden, beispielsweise eine vordefinierte Geste des Nutzers.
  • Hierdurch kann eine, insbesondere iterative, Anpassung der virtuellen Relativpositionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann Schritt c) weiterhin ein Anwenden einer Transformationsvorschrift zum Registrieren des Planungsdatensatzes mit dem Bilddatensatz umfassen.
  • Dabei kann die Transformationsvorschrift derart basierend auf der Nutzereingabe bestimmt werden, dass der Planungsdatensatz, insbesondere der Greifpunkt, bei Anwenden der Transformationsvorschrift auf den Planungsdatensatz in der erweiterten und/oder künstlichen Realität vom Startpunkt hin zum Endpunkt umpositioniert wird. Sofern die Nutzereingabe am Startpunkt eine Information zu einer räumlichen Positionierung des Eingabemittels aufweist, kann die, insbesondere initiale, virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere des Greifpunkts, mit der räumlichen Positionierung des Eingabemittels am Startpunkt assoziiert werden. Ferner kann die Transformationsvorschrift basierend auf der erfassten Änderung der räumlichen Positionierung des Eingabemittels vom Startpunkt zum Endpunkt der Nutzereingabe bestimmt werden. Dabei kann die Transformationsvorschrift dazu ausgebildet sein, die virtuelle räumliche Positionierung des Planungsdatensatzes, insbesondere den Greifpunkt, in der erweiterten und/oder künstlichen Realität gemäß der erfassten Änderung, insbesondere entlang der Trajektorie, anzupassen. Die Transformationsvorschrift kann dabei eine rigide und/oder nicht-rigide Transformation des Planungsdatensatzes umfassen, insbesondere bezüglich der zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität. Die Transformationsvorschrift kann, insbesondere wiederholt, während der Erfassung der Nutzereingabe im Schritt e) bestimmt werden.
  • Hierdurch kann eine besonders präzise Steuerung der Repositionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität durch den Nutzer mittels der Nutzereingabe ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann Schritt c) ferner ein Erzeugen zumindest einer Planungsprojektionsabbildung des Planungsdatensatzes entlang einer Projektionsrichtung der zumindest einen Projektionsabbildung umfassen. Dabei kann die erweiterte und/oder künstliche Realität zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung erzeugt werden. Ferner kann Schritt f) ein Anpassen der zumindest einen Planungsprojektionsabbildung bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung umfassen.
  • Analog zu einer der vorstehend beschriebenen Ausführungsformen des vorgeschlagenen Verfahrens kann der Bilddatensatz Metadaten aufweisen, wobei basierend auf den Metadaten eine virtuelle Quelle in der erweiterten und/oder künstlichen Realität bezüglich der zumindest einen Projektionsabbildung gemäß der jeweiligen Aufnahmegeometrie angeordnet werden kann. Die zumindest eine Planungsprojektionsabbildung kann insbesondere eine virtuelle Projektionsabbildung des Planungsdatensatzes entlang einer virtuellen Projektionsrichtung ausgehend von der virtuellen Quelle sein. Die zumindest eine Planungsprojektionsabbildung kann insbesondere alle Merkmale und Eigenschaften aufweisen, die in Bezug zu der zumindest einen Projektionsabbildung beschrieben wurden und umgekehrt.
  • Die erweiterte und/oder künstliche Realität kann vorteilhafterweise derart in den Schritten c) und d) erzeugt und angezeigt werden, dass diese zumindest ein virtuelles Hilfselement zu der zumindest einen Projektionsabbildung und/oder zu der zumindest einen Planungsprojektionsabbildung aufweist. Das virtuelle Hilfselement kann beispielsweise eine graphische Darstellung eines Projektionskegels und/oder eines Zentralstrahls der virtuellen Quelle entlang der jeweiligen, insbesondere virtuellen und/oder realen, Projektionsrichtung aufweisen. Die Sensoreinheit kann dabei zur Erfassung einer weiteren Nutzereingabe ausgebildet sein. Ferner kann die virtuelle Projektionsrichtung zur Erzeugung der zumindest einen Planungsprojektionsabbildung basierend auf der weiteren Nutzereingabe angepasst werden. Dabei kann das Erfassen der weiteren Nutzereingabe insbesondere analog zum Erfassen der Nutzereingabe erfolgen. Ferner kann das Anpassen der virtuellen Projektionsrichtung zur Erzeugung der zumindest einen Planungsprojektionsabbildung analog zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität erfolgen.
  • Die erweiterte und/oder künstliche Realität kann vorteilhafterweise derart erzeugt werden, dass der Planungsdatensatz beabstandet bezüglich einer graphischen Darstellung der zumindest einen Projektionsabbildung und einer graphischen Darstellung der zumindest einen Planungsprojektionsabbildung, insbesondere zweidimensional und/oder dreidimensional, angezeigt wird. Ferner können die zumindest eine Projektionsabbildung und die zumindest eine Planungsprojektionsabbildung in der erweiterten und/oder künstlichen Realität zumindest teilweise transparent und/oder, insbesondere gegenseitig, überlagert dargestellt werden.
  • Bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung, insbesondere relativ zur virtuellen Quelle, kann die zumindest eine Planungsprojektionsabbildung angepasst werden, insbesondere neu erzeugt werden. Das Anpassen der zumindest einen Planungsprojektionsabbildung kann insbesondere eine virtuelle Projektionsabbildung des Planungsdatensatzes in der geänderten virtuellen räumlichen Positionierung entlang der virtuellen Projektionsrichtung ausgehend von der virtuellen Quelle umfassen.
  • Durch das Erzeugen der erweiterten und/oder künstlichen Realität zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung, kann vorteilhafterweise eine besonders intuitive und zugleich präzise Repositionierung des Planungsdatensatzes bezüglich der, insbesondere virtuellen, Projektionsrichtung ermöglicht werden. Ferner kann ein einfach erfassbarer Vergleich zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann die Abbruchbedingung einen Vergleich zwischen einem Übereinstimmungsmaß und einem vorgegebenen Schwellwert umfassen. Dabei kann das Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung bewerten.
  • Der Schwellwert kann beispielsweise durch einen Nutzer eingegeben und/oder vorgegeben werden.
  • Das Übereinstimmungsmaß kann vorteilhafterweise eine Information zu einer, insbesondere bildpunktweisen, Übereinstimmung zwischen der zumindest einen Planungsprojektionsabbildung und zumindest einem Teil des Planungsdatensatzes umfassen, insbesondere entlang miteinander korrespondierender realer und virtueller Projektionsrichtungen. Das Übereinstimmungsmaß kann insbesondere basierend auf einer Übereinstimmungsmetrik ermittelt werden. Ferner kann das Übereinstimmungsmaß beispielsweise anhand eines Vergleichs von Bildwerten und/oder geometrischen Merkmalen und/oder anatomischen Merkmalen zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung bestimmt werden. Dabei kann eine hohe Übereinstimmung zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung erreicht werden, wenn der Planungsdatensatz bezüglich der zumindest einen Projektionsabbildung und/oder bezüglich der jeweiligen Projektionsrichtung im Wesentlichen analog zur Abbildungsgeometrie des Untersuchungsbereichs, insbesondere zum Zeitpunkt der Aufnahme der zumindest einen Projektionsabbildung, virtuell repositioniert ist. Dabei kann das Übereinstimmungsmaß ferner derart bestimmt werden, dass das Übereinstimmungsmaß entlang der Freiheitsgrade der Transformationsvorschrift eine, insbesondere verschiedene, Gewichtung und/oder Skalierung aufweist. Hierdurch kann eine besonders präzise Registrierung des Planungsdatensatzes mit dem Bilddatensatz, insbesondere mit der zumindest einen Projektionsabbildung, ermöglicht werden.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann Schritt c) ferner ein Erzeugen einer Rückprojektion der zumindest einen Projektionsabbildung umfassen. Dabei kann die erweiterte und/oder künstliche Realität zusätzlich basierend auf der zumindest einen Rückprojektion erzeugt werden. Zudem kann Schritt f) ein Anpassen der zumindest einen Rückprojektion bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung umfassen.
  • Vorteilhafterweise kann der Bilddatensatz Metadaten aufweisen, wobei die Metadaten eine Information zu einer Aufnahmegeometrie und/oder einem Betriebsparameter des medizinischen Bildgebungsgeräts zur Aufnahme des Bilddatensatzes aufweisen. Ferner kann basierend auf den Metadaten eine virtuelle Quelle, beispielsweise eine virtuelle Röntgenquelle und/oder Sonographiequelle, in der erweiterten und/oder künstlichen Realität bezüglich der zumindest einen Projektionsabbildung gemäß der jeweiligen Aufnahmegeometrie angeordnet werden.
  • Die zumindest eine Rückprojektion kann vorteilhafterweise eine virtuelle, insbesondere gefilterte, Rückprojektion der zumindest einen Projektionsabbildung auf den Planungsdatensatz umfassen. Dabei kann die zumindest eine Rückprojektion entlang der Projektionsrichtung der jeweiligen Projektionsabbildung hin zur virtuellen Quelle erzeugt werden. Die erweiterte und/oder künstliche Realität kann vorteilhafterweise derart erzeugt werden, dass darin die zumindest eine Rückprojektion und der Planungsdatensatz zumindest teilweise transparent und/oder, insbesondere gegenseitig, überlagert dargestellt werden. Die zumindest eine Rückprojektion kann zumindest teilweise überlagert auf einer Oberfläche, beispielsweise einem segmentierten Volumennetzmodell, zumindest eines Teils des Planungsdatensatzes, beispielsweise einer Knochenstruktur und/oder einem Gewebebereich, in der erweiterten und/oder künstlichen Realität dargestellt werden.
  • Bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung, insbesondere relativ zur jeweiligen Projektionsrichtung, kann die zumindest eine Rückprojektion angepasst werden, insbesondere neu erzeugt werden. Das Anpassen der zumindest einen Rückprojektion kann vorteilhafterweise eine virtuelle, insbesondere gefilterte, Rückprojektion der zumindest einen Projektionsabbildung auf den Planungsdatensatz in der geänderten virtuellen räumlichen Positionierung umfassen.
  • Durch das Erzeugen der erweiterten und/oder künstlichen Realität zusätzlich basierend auf der zumindest einen Rückprojektion, kann vorteilhafterweise eine besonders intuitive und zugleich präzise Repositionierung des Planungsdatensatzes bezüglich der Projektionsrichtung der zumindest einen Projektionsabbildung und/oder Rückprojektion ermöglicht werden. Ferner kann ein einfach erfassbarer Vergleich zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz in der erweiterten und/oder künstlichen Realität ermöglicht werden. Somit kann der im Planungsdatensatz abgebildete Untersuchungsbereich des Untersuchungsobjekts bezüglich der virtuellen Quelle, der zumindest einen Projektionsrichtung und/oder der zumindest einen Projektionsabbildung derart virtuell positioniert werden, dass eine, insbesondere räumliche, Abweichung zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz minimiert wird.
  • In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann die Abbruchbedingung einen Vergleich zwischen einem weiteren Übereinstimmungsmaß und einem vorgegeben weiteren Schwellwert umfassen. Dabei kann das weitere Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz bewerten.
  • Der weitere Schwellwert kann beispielsweise durch einen Nutzer eingegeben und/oder vorgegeben werden.
  • Das weitere Übereinstimmungsmaß kann vorteilhafterweise eine Information zu einer Übereinstimmung zwischen der zumindest einen Rückprojektion und zumindest einem Teil des Planungsdatensatzes umfassen, insbesondere dem Teil des Planungsdatensatzes auf welchen die Rückprojektion abgebildet wird. Das weitere Übereinstimmungsmaß kann insbesondere basierend auf einer Übereinstimmungsmetrik, insbesondere bildpunktweise, ermittelt werden. Ferner kann das weitere Übereinstimmungsmaß beispielsweise anhand eines Vergleichs von Bildwerten und/ oder geometrischen Merkmalen und/oder anatomischen Merkmalen zwischen dem Planungsdatensatz und der zumindest einen Rückprojektion bestimmt werden. Dabei kann eine hohe Übereinstimmung zwischen dem Planungsdatensatz und der zumindest einen Rückprojektion erreicht werden, wenn der Planungsdatensatz bezüglich der zumindest einen Rückprojektion, insbesondere bezüglich der zumindest einen Projektionsabbildung und/oder bezüglich der jeweiligen Projektionsrichtung, im Wesentlichen analog zur Abbildungsgeometrie des Untersuchungsbereichs, insbesondere zum Zeitpunkt der Aufnahme der zumindest einen Projektionsabbildung, virtuell repositioniert ist. Dabei kann das weitere Übereinstimmungsmaß ferner derart bestimmt werden, dass das weitere Übereinstimmungsmaß entlang der Freiheitsgrade der Transformationsvorschrift eine, insbesondere verschiedene, Gewichtung und/oder Skalierung aufweist. Hierdurch kann eine besonders präzise Registrierung des Planungsdatensatzes mit dem Bilddatensatz, insbesondere mit der zumindest einen Projektionsabbildung, ermöglicht werden.
  • Die Erfindung betrifft in einem vierten Aspekt ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher einer Bereitstellungseinheit ladbar ist, mit Programmabschnitten, um alle Schritte des vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz auszuführen, wenn die Programmabschnitte von der Bereitstellungseinheit ausgeführt werden. Das Computerprogrammprodukt kann dabei eine Software mit einem Quellcode, der noch kompiliert und gebunden oder der nur interpretiert werden muss, oder einen ausführbaren Softwarecode umfassen, der zur Ausführung nur noch in die Bereitstellungseinheit zu laden ist. Durch das Computerprogrammprodukt kann das Verfahren zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz mittels einer Bereitstellungseinheit schnell, identisch wiederholbar und robust ausgeführt werden. Das Computerprogrammprodukt ist so konfiguriert, dass es mittels der Bereitstellungseinheit die erfindungsgemäßen Verfahrensschritte ausführen kann.
  • Das Computerprogrammprodukt ist beispielsweise auf einem computerlesbaren Speichermedium gespeichert oder auf einem Netzwerk oder Server hinterlegt, von wo es in den Prozessor einer Bereitstellungseinheit geladen werden kann, der mit der Bereitstellungseinheit direkt verbunden oder als Teil der Bereitstellungseinheit ausgebildet sein kann. Weiterhin können Steuerinformationen des Computerprogrammprodukts auf einem elektronisch lesbaren Datenträger gespeichert sein. Die Steuerinformationen des elektronisch lesbaren Datenträgers können derart ausgestaltet sein, dass sie bei Verwendung des Datenträgers in einer Bereitstellungseinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für elektronisch lesbare Datenträger sind eine DVD, ein Magnetband oder ein USB-Stick, auf welchem elektronisch lesbare Steuerinformationen, insbesondere Software, gespeichert ist. Wenn diese Steuerinformationen von dem Datenträger gelesen und in eine Bereitstellungseinheit gespeichert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden.
  • Die Erfindung kann ferner von einem computerlesbaren Speichermedium und/oder elektronisch lesbaren Datenträger ausgehen, auf welchem von einer Bereitstellungseinheit lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz auszuführen, wenn die Programmabschnitte von der Bereitstellungseinheit ausgeführt werden.
  • Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Bereitstellungseinheiten auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, sowie Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben. In unterschiedlichen Figuren werden für gleiche Merkmale die gleichen Bezugszeichen verwendet. Es zeigen
    • 1 eine schematische Darstellung eines vorgeschlagenen Systems aufweisend eine vorgeschlagene Darstellungsvorrichtung und ein medizinisches C-Bogen-Röntgengerät,
    • 2 bis 5 schematische Darstellungen verschiedener Ausbildungen einer erweiterten und/oder künstlichen Realität,
    • 6 bis 8 schematische Darstellungen verschiedener Ausführungsformen eines vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz.
  • In 1 ist ein vorgeschlagenes System schematisch dargestellt. Dabei kann das System eine vorgeschlagene Darstellungsvorrichtung D und ein medizinisches Bildgebungsgerät umfassen. Ferner kann das medizinische Bildgebungsgerät beispielsweise als medizinisches C-Bogen-Röntgengerät 37 ausgebildet sein. Dabei kann die Darstellungsvorrichtung D eine Bereitstellungseinheit PRVS.D aufweisen, welche zum Erzeugen und/oder Anpassen einer erweiterten und/oder künstlichen Realität ausgebildet ist. Ferner kann das medizinische C-Bogen-Röntgengerät 37 eine weitere Bereitstellungseinheit PRVS.37 umfassen. Dabei kann die Darstellungsvorrichtung D, insbesondere die Bereitstellungseinheit PRVS.D, zur Ausführung eines vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes mit einem Bilddatensatz ausgebildet sein.
  • Ferner kann das medizinische C-Bogen-Röntgengerät 37 eine Detektoreinheit 34 und eine Röntgenquelle 33 aufweisen, welche an einem Arm 38 des C-Bogen-Röntgengerätes 37 beweglich um ein oder mehrere Achsen herum gelagert sein können. Ferner kann das medizinische C-Bogen-Röntgengerät 37 eine Bewegungsvorrichtung 39 umfassen, welche eine Bewegung des C-Bogen-Röntgengerätes 37 im Raum ermöglicht. Zur Aufnahme des medizinischen Bilddatensatzes aufweisend zumindest eine Projektionsabbildung und/oder des Planungsdatensatzes von einem Untersuchungsbereich UB eines Untersuchungsobjekts 31, welches auf einer Patientenlagerungsvorrichtung 32 angeordnet ist, kann die weitere Bereitstellungseinheit PRVS.37 ein Signal 24 an die Röntgenquelle 33 senden. Daraufhin kann die Röntgenquelle 33 ein Röntgenstrahlenbündel, insbesondere einen Kegelstrahl und/oder Fächerstrahl und/oder Parallelstrahl, aussenden. Beim Auftreffen des Röntgenstrahlenbündels, nach einer Wechselwirkung mit einem abzubildenden Untersuchungsbereich des Untersuchungsobjekts 31, auf einer Oberfläche der Detektoreinheit 34, kann die Detektoreinheit 34 ein Signal 21 an die weitere Bereitstellungseinheit PRVS.37 senden. Die weitere Bereitstellungseinheit PRVS.37 kann beispielsweise anhand des Signals 21 den Bilddatensatz und/oder den Planungsdatensatz empfangen. Ferner kann die weitere Bereitstellungseinheit PRVS.37 den Bilddatensatz und/oder den Planungsdatensatz zur Erzeugung der erweiterten und/oder künstlichen Realität an die Darstellungsvorrichtung D, insbesondere die Bereitstellungseinheit PRVS.D, bereitstellen. Hierfür kann die weitere Bereitstellungseinheit PRVS.37 ein entsprechendes Signal 27, insbesondere drahtlos, an die Darstellungsvorrichtung D, insbesondere die Bereitstellungseinheit PRVS.D, senden.
  • Vorteilhafterweise kann die Darstellungsvorrichtung D eine Sensoreinheit S aufweisen, die zur Erfassung einer Nutzereingabe, insbesondere eines Eingabemittels IM, ausgebildet ist. Das Eingabemittel IM kann beispielsweise eine Zeigeeinrichtung und/oder eine Eingabeeinheit und/oder ein Körperteil des Nutzers und/oder ein optisches und/oder akustisches Signal umfassen. Ferner kann die Darstellungsvorrichtung D zum Empfangen des medizinischen Bilddatensatzes aufweisend zumindest eine Projektionsabbildung und des medizinischen Planungsdatensatzes, insbesondere mittels des Signals 27, ausgebildet sein. Dabei kann die Bereitstellungseinheit PRVS.D zum Verarbeiten der Nutzereingabe, insbesondere eines Signals von der Sensoreinheit S, und/oder des Planungsdatensatzes und/oder des Bilddatensatzes ausgebildet sein. Des Weiteren kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zu erzeugen und darzustellen. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, die virtuelle räumliche Positionierung des Planungsdatensatzes relativ zur zumindest einen Projektionsabbildung in der erweiterten und/oder künstlichen Realität basierend auf der Nutzereingabe anzupassen.
  • Die Darstellungsvorrichtung D kann vorteilhafterweise eine portable, insbesondere durch den Nutzer U tragbare, erste Anzeigeeinheit umfassen, die zur Anzeige der erweiterten (engl. augmented) und/oder künstlichen (engl. virtual) Realität (engl. Abkürzung: AR bzw. VR) ausgebildet ist. Dabei kann die erste Anzeigeeinheit zumindest teilweise durchsichtig und/oder durchblickbar ausgebildet sein. Vorteilhafterweise kann die erste Anzeigeeinheit derart ausgebildet sein, dass sie von dem Nutzer U zumindest teilweise innerhalb eines Sichtfeldes des Nutzers U tragbar ist. Hierfür kann die erste Anzeigeeinheit vorteilhafterweise als Brille, insbesondere Datenbrille, und/oder Helm, insbesondere Datenhelm, und/oder Bildschirm ausgebildet sein.
  • Ferner kann die erste Anzeigeeinheit dazu ausgebildet sein, reale Objekte, beispielsweise gegenständliche, insbesondere medizinische, Objekte und/oder das Untersuchungsobjekt 31, mit virtuellen Daten, insbesondere gemessenen und/oder simulierten und/oder verarbeiteten medizinischen Bilddaten und/oder virtuellen Objekten, überlagert und in einer Anzeige darzustellen.
  • Die Sensoreinheit S kann ferner einen optischen und/oder haptischen und/oder elektromagnetischen und/oder akustischen Sensor und/oder eine Blickrichtungserfassungseinheit umfassen. Dabei kann die Sensoreinheit S dazu ausgebildet sein, zum Erfassen der Nutzereingabe eine Positionierung und/oder Bewegung zumindest eines Körperteils des Nutzers U und/oder eine Spracheingabe des Nutzers U und/oder eine Blickrichtung des Nutzers U zu erfassen.
  • Des Weiteren kann das medizinische C-Bogen-Röntgengerät 37 eine Eingabeeinheit 42, beispielsweise eine Tastatur, und/ oder eine zweite Anzeigeeinheit 41, beispielsweise ein Monitor und/oder Display, umfassen. Die Eingabeeinheit 42 kann vorzugsweise in die zweite Anzeigeeinheit 41 integriert sein, beispielsweise bei einem kapazitiven Eingabedisplay. Dabei kann durch eine Eingabe des Nutzers U an der Eingabeeinheit 42 eine Steuerung des medizinischen C-Bogen-Röntgengeräts 37 ermöglicht werden. Hierfür kann die Eingabeeinheit 42 beispielsweise ein Signal 26 an die weitere Bereitstellungseinheit PRVS.37 senden.
  • Ferner kann die zweite Anzeigeeinheit 41 dazu ausgebildet sein, Informationen und/oder graphische Darstellungen von Informationen des medizinischen C-Bogen-Röntgengeräts 37 und/ oder der Bereitstellungseinheit PRVS.D und/oder der weiteren Bereitstellungseinheit PRVS.37 und/oder weiterer Komponenten anzuzeigen. Zudem kann die zweite Anzeigeeinheit 41 zur Darstellung der zumindest einen Projektionsabbildung ausgebildet sein. Hierfür kann die Bereitstellungseinheit PRVS.37 beispielsweise ein Signal 25 an die zweite Anzeigeeinheit 41 senden.
  • Des Weiteren kann die Sensoreinheit S zum Erfassen einer räumlichen Relativpositionierung der ersten und der zweiten Anzeigeeinheit 41 ausgebildet sein. Dabei kann die Darstellungsvorrichtung D zum Anpassen der erweiterten und/oder künstlichen Realität basierend auf der erfassten Relativpositionierung ausgebildet sein.
  • In 2 ist eine beispielhafte Ausbildung der erweiterten und/oder künstlichen Realität, insbesondere aus einer Sicht des Nutzers U, schematisch dargestellt. Dabei kann eine Hand des Nutzers U das Eingabemittel IM bilden. Zudem kann die Nutzereingabe eine Trajektorie, insbesondere zwischen einem räumlichen Startpunkt und einem räumlichen Endpunkt, aufweisen. Die Darstellungsvorrichtung D kann dazu ausgebildet sein, den räumlichen Startpunkt mit einem Greifpunkt GP, insbesondere an einer Ecke und/oder Kante und/oder Kontur und/ oder einem Bildpunkt, des Planungsdatensatzes DS zu assoziieren. Die Darstellungsvorrichtung D kann ferner dazu ausgebildet sein, die erweiterte und/oder künstliche Realität basierend auf dem Planungsdatensatz DS und der Projektionsabbildungen PI1 und PI2 zu erzeugen und darzustellen. Insbesondere kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen, dass der Planungsdatensatz DS beabstandet bezüglich einer graphischen Darstellung der Projektionsabbildungen PI1 und PI2 dargestellt wird. Des Weiteren kann die Darstellungsvorrichtung D dazu ausgebildet sein, zumindest einen segmentierten Teil des Planungsdatensatzes DS, beispielsweise eine Knochenstruktur und/oder einen Gewebebereich, insbesondere dreidimensional, beispielsweise als Volumennetzmodell, in der erweiterten und/oder künstlichen Realität darzustellen. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität derart zu erzeugen, dass sowohl der Planungsdatensatz DS als auch die Projektionsabbildungen PI1 und PI2 zumindest teilweise, insbesondere gleichzeitig, durch den Nutzer U optisch erfassbar sind. Dabei kann der Planungsdatensatz DS den Untersuchungsbereich UB präprozedural abbilden. Ferner kann der Bilddatensatz, insbesondere die Projektionsabbildungen PI1 und PI2, den Untersuchungsbereich UB intraprozedural abbilden, wobei ein medizinisches Objekt MD in dem Untersuchungsbereich UB angeordnet ist. Folglich können die Projektionsabbildungen PI1 und PI2 jeweils eine Projektionsabbildung des Untersuchungsbereichs UB, insbesondere intraprozedural mit dem darin angeordneten medizinischen Objekt MD, entlang verschiedener Projektionsrichtungen PD1 und PD2 aufweisen.
  • Des Weiteren kann der Planungsdatensatz DS und/oder der Bilddatensatz eine vorbestimmte Bildinformation aufweisen. Dabei kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der vorbestimmten Bildinformation zu erzeugen und darzustellen. Die vorbestimmte Bildinformation kann eine, insbesondere vorverarbeitete, Bildinformation, beispielsweise einen Bildgradienten und/oder ein Kantenbild, und/oder ein Wahrscheinlichkeitsbild aufweisend eine Wahrscheinlichkeitsinformation hinsichtlich des Vorhandenseins einer bestimmten Struktur umfassen. Alternativ oder zusätzlich kann die vorbestimmte Bildinformation eine, insbesondere zweidimensionale, Segmentierung von, insbesondere anatomischen, Landmarken und/oder Strukturen, beispielsweise einem Gefäß und/oder einer Knochenstruktur und/oder einem Organ und/oder einem Gewebebereich, und/oder von einem medizinischen Objekt umfassen, beispielsweise einem Katheter und/oder Führungsdraht und/oder Endoskop. In 2 ist eine segmentierte Knochenstruktur, insbesondere ein Schädel, aus dem Planungsdatensatz DS in der erweiterten und/oder künstlichen Realität beispielhaft für eine vorbestimmte Bildinformation schematisch dargestellt.
  • Die Darstellungsvorrichtung D kann ferner dazu ausgebildet sein, die vorbestimmte Bildinformation basierend auf der Nutzereingabe auszuwählen und/oder zu erzeugen.
  • Vorteilhafterweise kann der Bilddatensatz Metadaten aufweisen, wobei die Metadaten eine Information zu einer Aufnahmegeometrie und/oder einem Betriebsparameter des medizinischen Bildgebungsgeräts zur Aufnahme des Bilddatensatzes aufweisen. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, basierend auf den Metadaten jeweils eine virtuelle Quelle Q1 bzw. Q2, beispielsweise eine virtuelle Röntgenquelle, in der erweiterten und/oder künstlichen Realität bezüglich der Projektionsabbildungen PI1 und PI2 gemäß der jeweiligen Aufnahmegeometrie anzuordnen.
  • Des Weiteren kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität aufweisend zumindest ein virtuelles Hilfselement zu den Projektionsabbildungen PI1 und PI2 zu erzeugen und darzustellen. Das virtuelle Hilfselement kann beispielsweise eine graphische Darstellung jeweils eines Projektionskegels und/oder jeweils eines Zentralstrahls der virtuellen Quellen Q1 und Q2 entlang der jeweiligen, insbesondere virtuellen, Projektionsrichtung PD1 und PD2 aufweisen.
  • In 3 und 4 ist jeweils eine beispielhafte virtuelle räumliche Anordnung des Planungsdatensatzes DS und der Projektionsabbildungen PI1 und PI2 in der erweiterten und/oder künstlichen Realität schematisch dargestellt. Dabei kann die Darstellungsvorrichtung D dazu ausgebildet sein, Planungsprojektionsabbildungen PPI1 und PPI2 des Planungsdatensatzes DS, insbesondere entlang der Projektionsrichtungen PD1 und PD2 der Projektionsabbildungen PI1 und PI2, zu erzeugen. Die Darstellungsvorrichtung D kann ferner dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf den Planungsprojektionsabbildungen PPI1 und PPI2 zu erzeugen und darzustellen. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, die Planungsprojektionsabbildungen PPI1 und PPI2 bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes DS relativ zu den Projektionsabbildungen PI1 und PI2 anzupassen.
  • Mit anderen Worten, kann jeweils eine der Projektionsrichtungen PD1 und PD2 der Projektionsabbildungen PI1 und PI2 als jeweils eine virtuelle Projektionsrichtung zur Erzeugung der Planungsprojektionsabbildungen PPI1 und PPI2 vorgegeben werden. Hierdurch kann erreicht werden, dass die Abbildungsgeometrie zur virtuellen Projektionsabbildung des Planungsdatensatzes DS entlang der virtuellen Projektionsrichtungen ausgehend von den virtuellen Quellen Q1 und Q2 vorteilhafterweise der Aufnahmegeometrie zur Aufnahme der Projektionsabbildungen PI1 und PI2 entspricht. Vorteilhafterweise kann hierdurch eine intuitive Repositionierung des Planungsdatensatzes DS relativ zur den Projektionsabbildungen PI1 und PI2 in der erweiterten und/oder künstlichen Realität derart ermöglicht werden, dass die Planungsprojektionsabbildungen PPI1 und PPI2 mit jeweils einer der Projektionsabbildungen PI1 und PI2, insbesondere einem Referenzabschnitt RI1 und RI2 innerhalb der Projektionsabbildungen PI1 und PI2, in Übereinstimmung gebracht werden kann. Somit kann der im Planungsdatensatz DS abgebildete Untersuchungsbereich UB des Untersuchungsobjekts 31 bezüglich der virtuellen Quellen Q1 und Q2, der virtuellen Projektionsrichtung und/oder der Planungsprojektionsabbildungen PPI1 und PPI2 derart virtuell positioniert werden, dass eine Abweichung zwischen der Abbildungsgeometrie zur Erzeugung der Planungsprojektionsabbildungen PPI1 und PPI2 und der Aufnahmegeometrie zur Aufnahme der Projektionsabbildungen PI1 und PI2 minimiert wird.
  • Eine beispielhafte virtuelle Repositionierung des Planungsdatensatzes in der erweiterten und/oder künstlichen Realität ist in 4 schematisch dargestellt. Dabei kann die Sensoreinheit S vorteilhafterweise zur Erfassung einer initialen räumlichen Positionierung der Nutzereingabe UI, insbesondere des Eingabemittels IM, an einem Startpunkt IP, insbesondere einem Startpunkt der Trajektorie T, ausgebildet sein. Analog dazu kann die Sensoreinheit S zur Erfassung einer finalen räumlichen Positionierung der Nutzereingabe UI, insbesondere des Eingabemittels IM, an dem Endpunkt TP ausgebildet sein.
  • Die Darstellungsvorrichtung D kann dazu ausgebildet sein, eine Transformationsvorschrift zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes DS relativ zu den Projektionsabbildungen PI1 und PI2 basierend auf der Nutzereingabe UI zu bestimmen. Des Weiteren kann die Darstellungsvorrichtung D dazu ausgebildet sein, zumindest einen räumlichen Freiheitsgrad der Transformationsvorschrift basierend auf einer geometrischen Eigenschaft des Planungsdatensatzes DS und/oder des Bilddatensatzes festzulegen.
  • Die Darstellungsvorrichtung D kann dazu ausgebildet sein, die virtuelle räumliche Positionierung des Planungsdatensatzes DS, insbesondere des Greifpunkts GP, relativ zur den Projektionsabbildungen PI1 und PI2 gemäß der Nutzereingabe UI anzupassen. Die Darstellungsvorrichtung D kann dazu ausgebildet sein, den Greifpunkt GP in der erweiterten und/oder künstlichen Realität vom Startpunkt IP hin zum Endpunkt TP zu repositionieren. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität während und/oder nach der Nutzereingabe UI anzupassen und darzustellen.
  • 5 zeigt eine weitere beispielhafte Ausbildung der erweiterten und/oder künstlichen Realität, insbesondere aus der Sicht des Nutzers U. Dabei kann die Darstellungsvorrichtung D dazu ausgebildet sein, eine Rückprojektion RP1 der Projektionsabbildung PI1 zu erzeugen. Ferner kann die Darstellungsvorrichtung D dazu ausgebildet sein, die erweiterte und/oder künstliche Realität zusätzlich basierend auf der Rückprojektion RP1 zu erzeugen und darzustellen.
  • Die Rückprojektion RP1 kann beispielsweise eine virtuelle, insbesondere gefilterte, Rückprojektion der Projektionsabbildung PI1 auf den Planungsdatensatz DS umfassen. Dabei kann die Darstellungsvorrichtung D dazu ausgebildet sein, die Rückprojektion RP1 entlang der Projektionsrichtung der jeweiligen Projektionsabbildung hin zur virtuellen Quelle zu erzeugen. Die Darstellungsvorrichtung D kann insbesondere dazu ausgebildet sein, die Rückprojektion RP1 und den Planungsdatensatz DS in der erweiterten und/oder künstlichen Realität zumindest teilweise transparent und/oder, insbesondere gegenseitig, überlagert zu erzeugen und darzustellen. Im in 5 schematisch dargestellten Ausführungsbeispiel kann beispielsweise das in der Projektionsabbildung PI1 abgebildete medizinische Objekt MD auf eine, im Planungsdatensatz DS abgebildete und/oder segmentierte, Abbildung einer Gefäßstruktur rückprojiziert und dargestellt werden.
  • Die Darstellungsvorrichtung D kann ferner dazu ausgebildet sein, die Rückprojektion RP1 bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes DS relativ zur Projektionsabbildung PI1 anzupassen.
  • In 6 ist eine vorteilhafte Ausführungsform eines vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes DS mit einem Bilddatensatz ID schematisch dargestellt. Dabei kann in einem ersten Schritt a) der Planungsdatensatz DS empfangen werden REC-DS. Ferner kann in einem zweiten Schritt b) der Bilddatensatz ID aufweisend zumindest eine Projektionsabbildung PI empfangen werden REC-ID. Hiernach kann die erweiterte und/oder künstliche Realität AR basierend auf dem Planungsdatensatz DS und der zumindest einen Projektionsabbildung PI in einem dritten Schritt c) erzeugt werden GEN-AR. In einem vierten Schritt d) kann eine graphische Darstellung der erweiterten und/oder künstlichen Realität AR mittels der Darstellungsvorrichtung D, insbesondere mittels der ersten Anzeigeeinheit, angezeigt werden VISU-AR. In einem fünften Schritt e) kann die Nutzereingabe UI mittels der Sensoreinheit S erfasst werden CAP-UI. Ferner kann in einem sechsten Schritt f) die virtuelle räumliche Positionierung des Planungsdatensatzes DS relativ zur zumindest einen Projektionsabbildung PI in der erweiterten und/oder künstlichen Realität AR basierend auf der Nutzereingabe UI angepasst werden ADJ-AR. Dabei können die Schritte d) bis f) bis zum Eintreten einer Abbruchbedingung A wiederholt ausgeführt werden.
  • Des Weiteren kann Schritt c) ein Anwenden einer Transformationsvorschrift zum Registrieren des Planungsdatensatzes DS mit dem Bilddatensatz ID umfassen.
  • In 7 ist eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes DS mit einem Bilddatensatz ID schematisch dargestellt. Dabei kann Schritt c) ferner ein Erzeugen GEN-RP einer Rückprojektion der zumindest einen Projektionsabbildung PI umfassen. Ferner kann die erweiterte und/oder künstliche Realität AR zusätzlich basierend auf der zumindest einen Rückprojektion erzeugt werden. Des Weiteren kann Schritt f) ein Anpassen ADJ-RP der zumindest einen Rückprojektion bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes DS relativ zur zumindest einen Projektionsabbildung PI umfassen. Vorteilhafterweise kann die Abbruchbedingung A einen Vergleich zwischen einem weiteren Übereinstimmungsmaß und einem vorgegebenen weiteren Schwellwert umfassen, wobei das weitere Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Rückprojektion und dem Planungsdatensatz DS bewertet.
  • 8 zeigt eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zur Registrierung eines Planungsdatensatzes DS mit einem Bilddatensatz ID. Dabei kann Schritt c) ferner ein Erzeugen GEN-PPI zumindest einer Planungsprojektionsabbildung umfassen. Ferner kann die erweiterte und/oder künstliche Realität AR zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung erzeugt werden. Zudem kann Schritt f) ein Anpassen ADJ-PPI der zumindest einen Planungsprojektionsabbildung bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes DS relativ zur zumindest einen Projektionsabbildung PI umfassen. Vorteilhafterweise kann die Abbruchbedingung A einen Vergleich zwischen einem Übereinstimmungsmaß und einem vorgegebenen Schwellwert umfassen, wobei das Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Planungsprojektionsabbildung und der zumindest einen Projektionsabbildung DS bewertet.
  • Die in den beschriebenen Figuren enthaltenen schematischen Darstellungen bilden keinerlei Maßstab oder Größenverhältnis ab.
  • Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorhergehend detailliert beschriebenen Verfahren sowie bei den dargestellten Vorrichtungen lediglich um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert werden können, ohne den Bereich der Erfindung zu verlassen. Weiterhin schließt die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht aus, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließen die Begriffe „Einheit“ und „Element“ nicht aus, dass die betreffenden Komponenten aus mehreren zusammenwirkenden Teil-Komponenten bestehen, die gegebenenfalls auch räumlich verteilt sein können.

Claims (19)

  1. Darstellungsvorrichtung (D) zur Darstellung einer erweiterten und/oder künstlichen Realität (AR), wobei die Darstellungsvorrichtung (D) eine Sensoreinheit (S) aufweist, die zur Erfassung (CAP-UI) einer Nutzereingabe (UI) ausgebildet ist, wobei die Darstellungsvorrichtung (D) zum Empfangen (REC-ID, REC-DS) eines medizinischen Bilddatensatzes (ID) aufweisend zumindest eine Projektionsabbildung (PI) und eines medizinischen Planungsdatensatzes (DS) ausgebildet ist, wobei die Darstellungsvorrichtung (D) dazu ausgebildet ist, die erweiterte und/oder künstliche Realität (AR) basierend auf dem Planungsdatensatz (DS) und der zumindest einen Projektionsabbildung (PI) zu erzeugen (GEN-AR) und darzustellen (VISU-AR), wobei die Darstellungsvorrichtung (D) ferner dazu ausgebildet ist, eine virtuelle räumliche Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) in der erweiterten und/oder künstlichen Realität (AR) basierend auf der Nutzereingabe (UI) anzupassen (ADJ-AR) .
  2. Darstellungsvorrichtung (D) nach Anspruch 1, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) dazu ausgebildet ist: - zumindest eine Planungsprojektionsabbildung (PPI) des Planungsdatensatzes (DS) zu erzeugen (GEN-PPI), - die erweiterte und/oder künstliche Realität (AR) zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung (PPI) zu erzeugen (GEN-AR) und darzustellen (VISU-AR), - die zumindest eine Planungsprojektionsabbildung (PPI) bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) anzupassen (ADJ-PPI).
  3. Darstellungsvorrichtung (D) nach Anspruch 2, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) zum Erzeugen (GEN-PPI) der zumindest einen Planungsprojektionsabbildung (PPI) entlang einer Projektionsrichtung der zumindest einen Projektionsabbildung (PI) ausgebildet ist.
  4. Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) dazu ausgebildet ist: - eine Rückprojektion (RP) der zumindest einen Projektionsabbildung (PI) zu erzeugen (GEN-RP), - die erweiterte und/oder künstliche Realität (AR) zusätzlich basierend auf der zumindest einen Rückprojektion (RP) zu erzeugen (GEN-AR) und darzustellen (VISU-AR), - die zumindest eine Rückprojektion (RP) bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) anzupassen (ADJ-RP).
  5. Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) dazu ausgebildet ist, eine Transformationsvorschrift zum Anpassen der virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) basierend auf der Nutzereingabe (UI) zu bestimmen.
  6. Darstellungsvorrichtung (D) nach Anspruch 5, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) dazu ausgebildet ist, zumindest einen räumlichen Freiheitsgrad der Transformationsvorschrift basierend auf einer geometrischen Eigenschaft des Planungsdatensatzes (DS) und/oder des Bilddatensatzes (ID) festzulegen.
  7. Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinheit (S) einen optischen und/oder haptischen und/oder elektromagnetischen und/oder akustischen Sensor und/oder eine Blickrichtungserfassungseinheit umfasst, wobei die Sensoreinheit (S) dazu ausgebildet ist, zum Erfassen (CAP-UI) der Nutzereingabe (UI) eine Positionierung und/oder Bewegung zumindest eines Körperteils des Nutzers (U) und/oder eine Spracheingabe des Nutzers (U) und/oder eine Blickrichtung des Nutzers (U) zu erfassen.
  8. Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Planungsdatensatz (DS) und/oder der Bilddatensatz (ID) eine vorbestimmte Bildinformation aufweisen, wobei die Darstellungsvorrichtung (D) dazu ausgebildet ist, die erweiterte und/oder künstliche Realität (AR) zusätzlich basierend auf der vorbestimmten Bildinformation zu erzeugen (GEN-AR) und darzustellen (VISU-AR).
  9. Darstellungsvorrichtung (D) nach Anspruch 8, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D) dazu ausgebildet ist, die vorbestimmte Bildinformation basierend auf der Nutzereingabe (UI) auszuwählen und/oder zu erzeugen.
  10. Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellungsvorrichtung (D): - eine erste Anzeigeeinheit zur Darstellung (VISU-AR) der erweiterten und/oder künstlichen Realität (AR) aufweist, - eine zweite Anzeigeeinheit (41) zur Darstellung der zumindest einen Projektionsabbildung (PI) und/oder der zumindest einen Planungsprojektionsabbildung (PPI) aufweist, wobei die Sensoreinheit (S) ferner zum Erfassen einer räumlichen Relativpositionierung der ersten und der zweiten Anzeigeeinheit (41) relativ zueinander ausgebildet ist, wobei die Darstellungsvorrichtung (D) dazu ausgebildet ist, die erweiterte und/oder künstliche Realität (AR) basierend auf der erfassten Relativpositionierung anzupassen (ADJ-AR).
  11. System umfassend eine Darstellungsvorrichtung (D) nach einem der vorangehenden Ansprüche und ein medizinisches Bildgebungsgerät (37), wobei das medizinische Bildgebungsgerät (37) zur Aufnahme und/oder zum Bereitstellen des Planungsdatensatzes (DS) und/oder des Bilddatensatzes (ID) ausgebildet ist.
  12. Verfahren zur Registrierung eines Planungsdatensatzes (DS) mit einem Bilddatensatz (ID), umfassend: a) Empfangen (REC-DS) eines Planungsdatensatzes (DS) eines Untersuchungsobjekts (31), b) Empfangen (REC-ID) eines Bilddatensatzes (ID) aufweisend zumindest eine Projektionsabbildung (PI) des Untersuchungsobjekts (31), c) Erzeugen (GEN-AR) einer erweiterten und/oder künstlichen Realität (AR) basierend auf dem Planungsdatensatz (DS) und der zumindest einen Projektionsabbildung (PI), d) Anzeigen (VISU-AR) einer graphischen Darstellung der erweiterten und/oder künstlichen Realität (AR) mittels einer Darstellungsvorrichtung (D) aufweisend eine Sensoreinheit (S), e) Erfassen (CAP-UI) einer Nutzereingabe (UI) mittels der Sensoreinheit (S), f) Anpassen einer virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) in der erweiterten und/oder künstlichen Realität (AR) basierend auf der Nutzereingabe (UI).
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Schritte d) bis f) bis zum Eintreten einer Abbruchbedingung (A) wiederholt ausgeführt werden.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass Schritt c) weiterhin ein Anwenden einer Transformationsvorschrift zum Registrieren des Planungsdatensatzes (DS) mit dem Bilddatensatz (ID) umfasst.
  15. Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass Schritt c) ferner ein Erzeugen (GEN-PPI) zumindest einer Planungsprojektionsabbildung (PPI) des Planungsdatensatzes (DS) entlang einer Projektionsrichtung der zumindest einen Projektionsabbildung (PI) umfasst, wobei die erweiterte und/oder künstliche Realität (AR) zusätzlich basierend auf der zumindest einen Planungsprojektionsabbildung (PPI) erzeugt wird (GEN-AR), wobei Schritt f) ferner ein Anpassen (ADJ-PPI) der zumindest einen Planungsprojektionsabbildung (PPI) bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) umfasst.
  16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Abbruchbedingung (A) einen Vergleich zwischen einem Übereinstimmungsmaß und einem vorgegebenen Schwellwert umfasst, wobei das Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Planungsprojektionsabbildung (PPI) und der zumindest einen Projektionsabbildung (PI) bewertet.
  17. Verfahren nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, dass Schritt c) ferner ein Erzeugen (GEN-RP) einer Rückprojektion (RP) der zumindest einen Projektionsabbildung (PI) umfasst, wobei die erweiterte und/oder künstliche Realität (AR) zusätzlich basierend auf der zumindest einen Rückprojektion (RP) erzeugt wird, wobei Schritt f) ferner ein Anpassen der zumindest einen Rückprojektion (RP) bei einer Änderung der virtuellen räumlichen Positionierung des Planungsdatensatzes (DS) relativ zur zumindest einen Projektionsabbildung (PI) umfasst.
  18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Abbruchbedingung (A) einen Vergleich zwischen einem weiteren Übereinstimmungsmaß und einem vorgegebenen weiteren Schwellwert umfasst, wobei das weitere Übereinstimmungsmaß eine Übereinstimmung zwischen der zumindest einen Rückprojektion (RP) und dem Planungsdatensatz (DS) bewertet.
  19. Computerprogrammprodukt, welches ein Programm umfasst und direkt in einen Speicher einer programmierbaren Recheneinheit einer Bereitstellungseinheit (PRVS.D) ladbar ist, mit Programmmitteln, um ein computerimplementiertes Verfahren nach einem der Ansprüche 12 bis 18 auszuführen, wenn das Programm in der Recheneinheit der Bereitstellungseinheit (PRVS.D) ausgeführt wird.
DE102020205976.4A 2020-05-12 2020-05-12 Anpassen einer erweiterten und/oder künstlichen Realität Pending DE102020205976A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020205976.4A DE102020205976A1 (de) 2020-05-12 2020-05-12 Anpassen einer erweiterten und/oder künstlichen Realität
US17/244,011 US12026837B2 (en) 2020-05-12 2021-04-29 Adapting an augmented and/or virtual reality
CN202110517110.5A CN113648073B (zh) 2020-05-12 2021-05-12 对增强现实和/或虚拟现实的调整

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020205976.4A DE102020205976A1 (de) 2020-05-12 2020-05-12 Anpassen einer erweiterten und/oder künstlichen Realität

Publications (1)

Publication Number Publication Date
DE102020205976A1 true DE102020205976A1 (de) 2021-11-18

Family

ID=78280366

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020205976.4A Pending DE102020205976A1 (de) 2020-05-12 2020-05-12 Anpassen einer erweiterten und/oder künstlichen Realität

Country Status (3)

Country Link
US (1) US12026837B2 (de)
CN (1) CN113648073B (de)
DE (1) DE102020205976A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021206568A1 (de) * 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6083163A (en) * 1997-01-21 2000-07-04 Computer Aided Surgery, Inc. Surgical navigation system and method using audio feedback
JP2007512854A (ja) * 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニ 手術用ナビゲーションシステム（カメラプローブ）
RU2471239C2 (ru) 2006-10-17 2012-12-27 Конинклейке Филипс Электроникс Н.В. Визуализация трехмерных изображений в комбинации с двумерными проекционными изображениями
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US9615802B2 (en) 2012-03-26 2017-04-11 Koninklijke Philips N.V. Direct control of X-ray focal spot movement
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10991070B2 (en) * 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
CN114903591A (zh) 2016-03-21 2022-08-16 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN105788390A (zh) 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CA3055244A1 (en) 2017-03-10 2018-09-13 Biomet Manufacturing, Llc Augmented reality supported knee surgery
CN107296650A (zh) 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
US11071593B2 (en) 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
EP3336848B1 (de) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Verfahren zum betreiben einer medizinischen abbildungsvorrichtung und medizinische abbildungsvorrichtung
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US11553969B1 (en) * 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
DE102019211536A1 (de) 2019-08-01 2021-02-04 Siemens Healthcare Gmbh Automatische Lokalisierung einer Struktur

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GONG, R. H. [et al.]: Interactive initialization of 2D/3D rigid registration. Medical physics, 2013, 40. Jg., Nr. 12, S. 121911.
LIAO, H. [et al.]: 3-D augmented reality for MRI-guided surgery using integral videography autostereoscopic image overlay. IEEE transactions on biomedical engineering, 2010, 57. Jg., Nr. 6, S. 1476-1486.
PRATT, P. [et al.]: Through the HoloLens™ looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European radiology experimental, 2018, 2. Jg., Nr. 1, S. 1-7.

Also Published As

Publication number Publication date
CN113648073B (zh) 2025-02-14
US20210358220A1 (en) 2021-11-18
CN113648073A (zh) 2021-11-16
US12026837B2 (en) 2024-07-02

Similar Documents

Publication Publication Date Title
DE102015226669B4 (de) Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
DE102007059599B4 (de) Vorrichtung für eine medizinische Intervention und Betriebsverfahren für eine Vorrichtung für eine medizinische Intervention
DE102008017111B4 (de) System und Verfahren zur Navigation eines Ojektes in einem abgebildeten Subjekt
US9622831B2 (en) Method and apparatus to provide updated patient images during robotic surgery
EP2914194A1 (de) Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung
US20070083102A1 (en) Method for the graphical representation of a medical instrument inserted at least partially into an object under examination
EP3626176B1 (de) Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
DE102014102425B4 (de) Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
DE19807884C2 (de) Verfahren zur Kalibrierung einer Aufnahmevorrichtung zur Bestimmung von räumlichen Koordinaten anatomischer Zielobjekte und Vorrichtung zur Durchführung des Verfahrens
WO2019149400A1 (de) Verfahren zur positionsplanung eines aufnahmesystems eines medizinischen bildgebenden geräts und medizinisches bildgebendes gerät
EP3598948A1 (de) Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
DE102021201729A1 (de) Vorrichtung zum Bewegen eines medizinischen Objekts und Verfahren zum Bereitstellen einer Steuerungsvorgabe
DE102021205700B4 (de) Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
WO2011120795A1 (de) Verfahren zum ermitteln von dreidimensionalen volumendaten und bildgebungsvorrichtung
EP3499461B1 (de) Darstellung von markern in der medizinischen bildgebung
DE102012200686A1 (de) Verfahren und Vorrichtung zur Positionierung einer Röntgenvorrichtung
DE102020215559B4 (de) Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
DE102020205976A1 (de) Anpassen einer erweiterten und/oder künstlichen Realität
DE102021206565A1 (de) Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
DE102021204728A1 (de) Verfahren und System zum Bereitstellen eines korrigierten Datensatzes
DE102021202753A1 (de) Bereitstellen eines korrigierten Datensatzes
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery
DE102014219581A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur
DE102022209888B3 (de) Verfahren zum Bereitstellen eines Kollisionsmodells und System
DE102023205716A1 (de) Verfahren zum Bereitstellen eines Krümmungsparameters, medizinisches Objekt und System

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE