[go: up one dir, main page]

CN118215936A - 用于腹腔镜和视频辅助手术的交互式增强现实系统 - Google Patents

用于腹腔镜和视频辅助手术的交互式增强现实系统 Download PDF

Info

Publication number
CN118215936A
CN118215936A CN202280074817.6A CN202280074817A CN118215936A CN 118215936 A CN118215936 A CN 118215936A CN 202280074817 A CN202280074817 A CN 202280074817A CN 118215936 A CN118215936 A CN 118215936A
Authority
CN
China
Prior art keywords
image
camera
augmented reality
surgeon
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280074817.6A
Other languages
English (en)
Inventor
赵斌
李宁
万山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianshi Medical Technology Usa Co ltd
Original Assignee
Jianshi Medical Technology Usa Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianshi Medical Technology Usa Co ltd filed Critical Jianshi Medical Technology Usa Co ltd
Publication of CN118215936A publication Critical patent/CN118215936A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开描述了交互式增强现实系统，以改善提高外科医生在腹腔镜和视频辅助手术中的视野和环境感知。该系统可实现交互式机制，外科医生可在增强现实功能的初始校准阶段提供监督信息，结合计算机视觉算法，在手术前(或手术中)图像/模型与之后的手术中范围图像之间进行图像配准，以实现图像配准的高精确度。除了手术开始前的初始化阶段，外科医生和系统之间在手术过程中也可交互。具体来说，病人组织在手术过程中可能移动或变形(例如由切割引起)而导致图像配准精度下降时，增强现实系统可在手术过程中通过寻求外科医生的额外监督标记来重新校准。增强现实系统可通过按需利用外科医生的指导来达到高精度的图像匹配，提高外科医生在手术中的对各种显著或隐藏器官和组织的可视性，并对手术操作中的关键器官和组织进行提示和预警。

Description

用于腹腔镜和视频辅助手术的交互式增强现实系统
相关专利申请的交叉引用
本申请要求获得于2021年11月9日提交的第63/277,511号美国临时申请的优先权的权益，该临时申请的全部公开内容通过引用的方式并入本文。
技术领域
本公开涉及用于视频辅助手术的增强现实系统，更具体地说，涉及用于腹腔镜手术的交互式增强现实系统。视频辅助手术可包括机器人和非机器人手术，包括机器人腹腔镜手术和非机器人腹腔镜手术。视频辅助手术包括各种各样和广泛的手术，它们并不限于本文具体提到的示例。
背景技术
腹腔镜手术或视频辅助手术的一个主要挑战是外科医生的观察条件有限，因为腹腔镜或其他类型的摄像机的视角很小，如图1中示例性的肝脏环境所示。此外，外科医生有时需要看不同的显示器，一个显示来自窥镜提供的实时视频，另一个显示手术前的诊断成像，包括CT(X射线计算机断层扫描)、MRI(磁共振成像)、PET(正电子发射断层扫描)或超声检查(“超声波”)，这些通常用于手术计划和到手术部位的导航。然后，外科医生必须在头脑中将这种单独的手术前成像与现场腹腔镜视图相融合，造成额外的精神负担。
发明内容
本公开内容针对的是用于视频辅助手术的增强现实系统。增强现实系统可以是交互式的，视频辅助手术可以包括腹腔镜手术，包括机器人腹腔镜手术和非机器人腹腔镜手术。一些设备的实施例可以包括设备，该设备包括：物理控制台，该物理控制台被配置为：接收用户提供的信息，该信息表明参考图像中的解剖结构与连接到手术器械的摄像机的目标视场的摄像机捕获的图像中相对应的解剖结构之间的多个匹配点，其中摄像机捕获的图像是由摄像机捕获的；基于接收的用户提供的信息执行图像配准，该信息表明参考图像中的解剖结构与摄像机捕获的图像中的相对应的解剖结构之间的多个匹配点；并基于图像配准，在摄像机捕获的图像上叠加增强现实内容；用于记录图像配准的存储器，该存储器包括在物理控制台中或与物理控制台分离，其中，叠加了增强现实内容的摄像机捕获的图像显示在显示器上。在一些设备的实施例中，物理控制台被配置为：检查图像配准的精确性；以及重新校准图像配准。在一些设备的实施例中，物理控制台被配置为：生成风险情况的警报。
一些方法的实施例可以包括一种方法，包括：由摄像机捕获摄像机的目标视场的图像，该摄像机连接到手术器械；接收用户提供的信息，该信息表明参考图像中的解剖结构与摄像机捕获的图像中相应的解剖结构之间的多个匹配点；基于接收的用户提供的信息进行图像配准，该信息表明参考图像中的解剖结构与摄像机捕获的图像中相对应的解剖结构之间的多个匹配点；基于图像配准，在摄像机捕获的图像上叠加增强现实内容；以及显示叠加了增强现实内容的摄像机捕获的图像。
一些非暂时性机器可读介质的实施例可以包括存储指令的非暂时性机器可读介质，这些指令在被一个或多个处理器执行时，使该一个或多个处理器执行一种方法，该方法包括：接收用户提供的信息，该信息表明参考图像中的解剖结构与连接到手术器械的摄像机的目标视场的摄像机捕获的图像中相对应的解剖结构之间的多个匹配点，其中摄像机捕获的图像由摄像机捕获；基于收到的用户提供的信息执行图像配准，该信息表明参考图像中的解剖结构与摄像机捕获的图像中相对应的解剖结构之间的多个匹配点；以及基于图像配准，在摄像机捕获的图像上叠加增强现实内容，其中，叠加了增强现实内容的摄像机捕获的图像显示在显示器上。
在一些实施例中，手术器械包括腹腔镜。在一些实施例中，参考图像是计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声波图像。在一些实施例中，增强现实内容是基于3D模型的，而3D模型是基于参考图像的。在一些实施例中，增强现实内容包括从摄像机的目标视场中隐藏的可视化内容。
附图说明
图1说明了腹腔镜或其他类型的摄像机在示例性的肝脏环境下的观察角度。
图2说明了放置在人类颅骨上用于导航的基准点。
图3说明了具有AR系统的腹腔镜系统的示例性实施例。
图4说明了在AR控制台中实施的AR系统的示例性实施例。
图5说明了用于增强现实系统的初始校准和手术中重新校准的交互式图像配准。
图6说明了AR软件的屏幕布局，外科医生可以使用它来标记手术前成像/模型与手术中成像之间的匹配点或特征。
图7说明了初始校准后的跟踪阶段。
图8说明了手术前(或手术中)的3D模型变形为之后的手术中3D模型。
图9说明了具有AR系统的系统(具有两个成像装置)的示例性实施例。
具体实施方式
本公开内容不限于所描述的特定系统、装置和方法，因为这些系统、装置和方法可能会有所不同。描述中使用的术语只是为了描述特定的版本或实施例，而不是为了限制其范围。现在将对各种示例进行描述。本描述提供了具体的细节，以便对这些示例进行彻底的理解和有利的描述。然而，熟悉相关技术的人将理解，各种示例可以在没有这些细节中的很多细节的情况下实施。同样，相关领域的技术人员也会理解，实施例可以包括许多其他未在此详细描述的明显特征。此外，一些众所周知的结构或功能可以不在此详细显示或描述，以避免不必要地掩盖相关描述。
增强现实(AR)可以将多个信息源合并到由计算机生成的统一视图中，其中多个信息源实时对齐。除了将手术前成像或模型融合到现场手术视图中，其他重要的结构也可以被突出显示，以便更容易定位，其中隐藏的解剖结构(例如，器官表面以下的血管或肿瘤)可以作为叠加显示，以提高安全性并且避免手术错误和并发症。
这种增强现实系统可用于手术导航，在腹腔镜图像中往往不能直接看到要切除的结构(如肿瘤)的确切位置和大小。提供对这种隐藏结构的精确可视化的AR系统有助于外科医生选择最佳的解剖方案，使对健康组织的损害降到最低。除了融合不同的成像模式外，AR系统还能在风险情况下通过声音或屏幕上的弹框来提示外科医生，例如，当器械离结构太近构成危险时。
本公开描述了一种交互式增强现实系统，用于改善外科医生在腹腔镜和视频辅助手术中的视野和环境感知。该系统可以实现一种交互式机制，其中外科医生可以在增强现实功能的初始校准阶段提供监督信息，而不是纯粹依靠计算机视觉算法在手术前图像/模型与手术中范围图像之间进行图像配准，从而实现了图像配准的高精确度。除了手术开始前的初始化阶段外，在手术过程中，外科医生和系统之间也能产生交互。具体来说，病人组织在手术过程中可能会移动或变形，例如由切割引起。当图像配准精度下降时，增强现实系统可以在手术过程中通过寻求外科医生的额外监督标记来重新校准。
增强现实系统可以通过间歇式地利用外科医生的指导来提高外科医生在手术中的视野，以达到高的图像配准精度。即使腹腔镜或其他类型的摄像机的视角很小，本公开的AR系统也能增强外科医生可见的内容。例如，如果摄像机被放置在非常接近肝脏组织的位置，在没有这个AR系统的情况下，外科医生只能看到红色的组织。但是这个AR系统可以显示出红色肝脏组织下面的内容，这样外科医生就可以看到更多的信息。
通过增强现实技术进行的手术导航已被广泛用于神经和脊柱手术，在这些手术中，追踪器可以被放置在刚性结构上，如颅骨或骨骼。例如，图2展示了放置在人的颅骨上用于导航的基准点。另一方面，由于腹腔镜手术中组织/器官的频繁且不规则的移动，由外科医生的手术所造成的组织变形，以及将跟踪器放置在目标组织上的困难，都使得增强现实技术在腹腔镜手术导航中还没有看到成功的应用。本公开内容超越了神经和脊柱手术，描述了一种用于腹腔镜手术的增强现实系统，在腹腔镜手术中，很难将跟踪器放置在刚性结构上。
用于手术导航的增强现实技术的关键是手术前图像/模型与手术中图像之间的图像配准。这在传统上是通过计算机视觉算法的创新实现的，没有外科医生的参与。由于腹腔镜手术中组织的移动和变形，单纯地基于计算机视觉的技术无法实现高的图像配准精度。另外，这些图像配准模型的黑匣子性质也导致了外科医生对其的不信任。为了克服这些挑战，本公开内容描述了一种交互式机制，其中外科医生通过提供手术前和手术中图像之间的一些匹配点作为锚点来帮助算法进行图像配准。然后，该系统使用这些锚点进行图像配准，以实现高精确度。
本公开内容描述了一种增强现实系统，用于改善外科医生在腹腔镜和视频辅助手术中的视野和环境感知，这是通过将手术前(或手术中)成像和重建的模型融合到现场腹腔镜视图中，将隐藏的解剖结构可视化为现场图像的叠加，并提醒外科医生注意危险情况来实现的。这种AR系统的关键模块是图像配准，该图像配准将现场腹腔镜视频与手术前(或手术中)数据对齐，即把它们融合到共同的坐标系中。在这种AR系统中的图像配准的主要挑战是，软组织不是刚性的，而是在手术前和手术中会移动和变形的。为了应对这样的挑战，本公开内容描述了一种人机回圈(human-in-the-loop)交互式机制，以缩小多种模式的图像之间潜在匹配的搜索空间，从而提高图像配准的准确性。具体来说，该系统吸收了外科医生在手术过程中对关键解剖点的标记，如主要动脉的位置，并利用这些额外的信息来帮助将现场腹腔镜图像与手术前(或手术中)的成像相匹配。
这里，视频辅助手术可包括机器人和非机器人手术，包括机器人腹腔镜手术和非机器人腹腔镜手术。视频辅助手术可包括视频辅助胸腔镜手术(VATS)。视频辅助手术可包括内窥镜、经皮穿刺，和结肠镜手术。视频辅助手术并不局限于本文所叙述的具体示例，而是包括种类繁多、范围广泛的手术。
图3说明了具有AR系统的腹腔镜系统300的示例性实施例。AR系统可以在AR控制台310中实施，或以其他形式因素和实施方式实施，包括硬件或软件或硬件与软件的组合。AR控制台310可以从腹腔镜360捕获视频图像帧，例如，通过视频捕获卡。摄像机362可以连接到腹腔镜360上，包括在腹腔镜360里面作为腹腔镜360的一部分，或以其他方式与腹腔镜360集成。摄像机362可以包括捕获图像的摄像机，这些图像可以从腹腔镜360发送到AR控制台310。AR控制台310可以例如通过硬盘或其他存储介质存储手术前(或手术中)的3D模型，该模型可以从CT、MRI、PET或超声成像中重建。AR控制台310可以运行AR软件，将手术前(或手术中)3D模型与来自腹腔镜360的手术中视频图像帧对齐，例如，由AR软件使用计算机视觉算法来执行对齐。AR监视器330可以将增强现实的结果可视化，例如，增强视频，其中变形的术前(或术中)3D模型被叠加在腹腔镜视频上。AR监视器330可以是显示从AR控制台310接收的增强视频的基本监视器，或者是更高性能的监视器系统，其除了有可以显示增强视频的显示部件外，还包括可以执行AR控制台310的部分或全部功能以生成增强视频的电路。另外，显示器可以执行AR监视器330的功能，例如作为AR控制台310的一部分的面板显示器，或者可以与AR控制台310通信连接的独立显示器，例如，通过有线连接或无线连接。AR系统的用户，例如外科医生或其他手术团队成员，可以操作腹腔镜控制台340来调整或监测腹腔镜360的设置。外科医生或其他手术团队成员可以基于AR图像进一步进行手术治疗，例如，通过使用吻合器或能量器械来切割、移除和封闭组织和/或血管。
图4说明了在AR控制台中实施的AR系统的示例性实施例。AR控制台310可以包括电路412，例如，视频捕获卡，以从腹腔镜360捕获视频帧。AR控制台310可包括存储器414，例如，硬盘或其他存储介质，以储存手术前(或手术中)的3D模型、CT、MRI、PET或超声图像，以及AR软件。这种存储器可以包括一个或多个存储介质装置。AR控制台310可包括电路416，例如，一个或多个CPU或其他种类的处理器，以执行软件或固件或其他种类的程序，使AR控制台310的电路执行AR 310的功能。AR控制台310可以包括电路418，例如，一个或多个GPU，以执行AI模型的实时推理。AR控制台310可以包括或连接到用户接口420(例如，像按钮、转盘、开关、触摸面、触摸屏、手写笔、触控板、鼠标、滚轮、键盘键等的手动操作键；像麦克风、扬声器等的音频装置；像摄像机、灯光、光传感器等的视觉装置；任何其他常规的用户界面装置)，以接收来自用户的输入和/或向用户提供输出。AR控制台310的一些或全部部件和/或电路可以经由一个或多个连接件422，如总线、电缆、电线、迹线等，进行相互连接。
在一些实施例中，AR控制台310可以包括像操作系统这样的程序，例如，Linux，以运行AR控制台310的操作。在一些实施例中，AR控制台310可以包括电路，例如，FPGA或ASIC，或硬件电路和软件的一些组合，以运行AR控制台310的操作。经由上述的一些或全部部件，AR控制台310可以执行实时视频捕获、图像处理和/或增强现实可视化。在一些实施例中，AR系统可以通过腹腔镜控制台340中的硬件部件、电路和/或软件来实现，而并非通过实施单独的AR控制台310。在一些实施例中，AR系统可以通过监视器330中的硬件部件、电路和/或软件来实施，而并非通过实施单独的AR控制台310。例如，监视器330可以包括用户界面420的元件，例如触摸屏、麦克风、扬声器和摄像头，以接收用户输入并向用户提供系统输出。
所述AR系统具有以下功能中的一些或全部：
手术前(或手术中)重建的3D模型与现场腹腔镜图像的融合。3D重建被广泛用作手术计划工具，其中解剖结构或肿瘤的3D模型是由CT或MRI成像等体积图像建立的，这种体积图像可以存储在存储器414中，该存储器可以位于AR控制台310的内部或外部。3D模型也可以从PET或超声成像中建立。3D模型也可以在手术中重建，即手术中重建的3D模型。图8说明了从CT或MRI成像重建的3D模型的手术前(或手术中)版本810。AR系统将会或者可以将这种重建的3D模型与现场腹腔镜图像相匹配，以便将肿瘤叠加在现场腹腔镜图像上实现可视化。如果腹腔镜的目标视野包括在腹腔镜手术期间变形的解剖结构或肿瘤(如软组织/器官)，则该变形会显示在腹腔镜360的手术中的视频帧中。为了匹配在手术中的视频帧中捕获的变形，AR控制台310可以使用AI模型，将手术前(或手术中)的3D模型810相应地变形为一后续更新的手术中的3D模型820，如图8中所示。然后，AR控制台310可以将变形后更新的3D模型820叠加在来自腹腔镜360的视频帧上，以生成增强视频，输出到监视器330。监视器330可以显示增强视频，其中AR信息与变形的解剖结构或肿瘤更紧密地对齐，增强外科医生在腹腔镜视场中的视野。
现场腹腔镜图像上可见和隐藏的血管、淋巴结和神经的可视化。该系统可以使用由例如AR控制台310执行的基于神经网络的计算机视觉算法的对象识别检测和分割算法(例如存储在存储器414中)，从手术前(或手术中)的图像中识别检测并定位血管、淋巴结和神经。在手术期间，通过由例如AR控制台310执行的图像配准，这些手术前(或手术中)识别检测到的组织将会或者可以与来自腹腔镜360的现场腹腔镜图像融合。然后，外科医生将能够通过来自例如AR控制台310的增强现实视频(显示在监视器330上)，从腹腔镜图像中看到那些原本隐藏的组织。该系统还可以使用由例如AR控制台310执行的相同的基于神经网络的计算机视觉算法的物体识别检测和分割算法，从腹腔镜360的现场图像中识别检测和定位血管、淋巴结和神经。在来自例如AR控制台310的增强视频中，这些可见的组织将会或者也可以在现场腹腔镜图像上突出显示，以便在监视器330上更好地进行可视化。
对手术中使用的生物标志物的检测和定位。这些生物标志物可用于匹配手术前(或手术中)和后续的手术中图像。生物标志物是指器官组织上的任何可见特征，如血管交叉点或器官边缘。手术前(或手术中)和后续的手术中图像可以存储在存储器414中。所述后续的手术中图像可在手术中来自腹腔镜360。AR控制台310可以识别检测生物标志物的存在，并在图像中找到生物标志物的位置，例如，经由计算机视觉算法。生物标志物对于AR控制台310及其计算机视觉算法和/或外科医生来说可能是有用的，特别是在腹腔镜的目标视场处于实时、动态变化的环境(例如正在发生形变的解剖结构或肿瘤)下。
手术前(或手术中)图像与之后续的手术中图像之间的交互式图像配准。图5说明了交互式机制的细节的流程图500，其中外科医生在手术中的标记被用于图像配准。除了这种外科医生提供的监督信息外，组织上的视觉外观，如血管连接处和表面纹理，以及手术前(或手术中)放置的和手术中检测到的生物标志物，将被用于配准过程。
图6说明了AR软件的屏幕布局600，该软件可以在AR控制台310上运行，外科医生可以用AR控制台310来标记匹配点。屏幕布局可以显示在监视器330上，或显示在作为AR控制台310的一部分的另一显示器上，或显示在与AR控制台310和/或监视器330都分离的另一显示器上。在示例性的屏幕布局600中，左侧可以显示存储在存储器414中的CT、MRI、PET、超声波图像和/或3D模型610(例如，重建的3D模型中)、612(例如，CT轴向视图中)、614(例如，CT矢状视图中)、616(例如，CT冠状视图中)，而右侧可以显示来自腹腔镜360的现场腹腔镜图像620。凭借既熟悉左侧图像和/或模型610、612、614、616的内容(例如，手术前或手术中的信息)，又熟悉右侧的腹腔镜360的目标视场中的现场腹腔镜视频馈送620的内容，外科医生用户具有足够的知识，能够在屏幕布局600中显示的左侧(例如，静态和/或现场动态的)内容和右侧(例如，现场动态的)内容之间标记匹配点或特征。
通过识别左侧612和右侧620中的两对匹配点或特征，外科医生用户可以通过在屏幕上设置第一左侧点632和第一右侧点634来标记第一对匹配点或特征(例如，通过用手指或手写笔触摸触摸屏上的这两个点，通过引导鼠标指针并在指针位于这两个点时点击鼠标按钮，通过按方向键引导指针并在指针位于这两个点时按下设置键(例如空格键)，等等)。然后，外科医生用户可以通过类似地在屏幕上设置第二左侧点642和第二右侧点644来标记第二对匹配点。
鉴于图6的示例，可以进一步解释图5。在步骤510中，外科医生用户在手术前(或手术中)图像与手术中图像之间标记匹配点，如上面讨论的图6中左侧612和右侧620之间的两对匹配点或特征所示。
在步骤520中，系统使用外科医生提供的标记执行图像配准，这可能对应于AR控制台310使用左侧点632和642(具有任何其他外科医生提供的标记的输入数据)来标记右侧点634和644，然后，基于该标记，将右侧现场的腹腔镜视频图像620与左侧图像和/或模型610、612、614和/或616对齐。AR系统可以将左侧(例如，静态和/或现场动态的)内容610、612、614和/或616与右侧(例如，现场动态的)内容620融合到共同的坐标系统中。因为系统使用来自专业知识渊博或训练有素的用户(例如外科医生、其他手术团队成员)的输入，所以用户可以协助图像配准中的算法，这些输入可以缩小多种模式的图像之间潜在匹配特征的搜索空间，这可以提高图像配准的准确性和速度。在执行图像配准时，AR系统可以使用匹配点或特征作为锚点，这可以促进实现提高速度和更高的准确性。如上所述，该系统不仅可以基于外科医生提供的监督信息进行图像配准，还可以进一步基于组织上的视觉外观，如血管连接处和表面纹理，以及手术前放置和手术中检测的生物标志物进行图像配准。
在步骤530，系统检查图像配准的精确性。如果图像配准精度不够好，那么系统返回到步骤510，外科医生用户可以再次标记手术前与手术中图像之间的匹配点，如图6中的示例。例如，在先前的步骤510和/或520中，系统或外科医生用户可能出现了错误，或者系统可能缺乏来自外科医生用户的足够的匹配点以达到良好的图像配准精度水平。另一方面，如果图像配准对于系统来说是良好的，那么系统可以继续进行步骤540。
在步骤540，外科医生检查图像配准的精确性。如果图像配准精度不够好，那么系统返回到步骤510，外科医生用户可以再次标记手术前(或手术中)与之后的手术中图像之间的匹配点，如图6所示。例如，外科医生可能希望有更高的精确度，或者外科医生可能希望重新开始整个校准阶段，或者外科医生可能希望修改或取消先前设置的标记或锚点。另一方面，如果图像配准对外科医生来说是良好的，那么系统可以继续进行步骤550。
在步骤550中，系统的初始校准阶段完成，增强现实系统可以开始工作。例如，AR系统可以执行上面提供的部分或全部功能，例如在监视器330上显示增强视频，以提升外科医生在腹腔镜360的目标视场中的观察力。
可以根据图7来理解系统在初始校准后的操作阶段。图7示出了带有交互式机制的细节的流程图700，其中跟踪发生在图5的初始配准之后。在手术期间，外科医生可以将腹腔镜360移动到各种不同的位置和方向。AR系统可以跟踪这些范围的移动，从而AR叠加可跟随摄像机的移动，并适应腹腔镜目标视场中的相应变化。在手术中，外科医生还可以移动组织和器官，同时保持腹腔镜360的位置稳定。AR系统也可以跟踪这些运动，并适应腹腔镜目标视场中的相应变化。
在步骤710，系统进行跟踪。在这个追踪阶段，系统的AR叠加跟随摄像机的移动和/或外科医生(其移动组织和/或器官)。在手术过程中，由例如切割引起的组织的移动或变形，可能会恶化图像配准的精确性。在步骤730中，增强现实系统可以定期或不断地检查图像配准精度，例如，通过计算机视觉算法，并且当图像配准精度达到或超过预先设定的阈值时，则系统返回到或停留在跟踪阶段的步骤710。当这种精确度低于预设阈值时，则系统进入步骤740，在步骤740，系统将会或者可以提示外科医生重新运行交互式机制，详见图5，以重新校准图像配准并且接着进入图5的步骤510。在步骤720中，外科医生也可以在他们觉得精确度低时手动推翻(override)系统的决定，并且要求重新校准图像配准，然后系统前进到图5的步骤510。因此，即使在手术过程中，系统也可以吸收外科医生对关键解剖点的标记，如主动脉位置，并可以利用这种额外的信息来促进现场腹腔镜图像中的点或特征与参考成像(如手术前(或手术中)成像)的匹配。
外科医生可以定义他们在手术中应该远离的危险结构，如主要血管或神经。与AR系统分开，外科医生可以在手术前(或手术中)的3D模型上定义危险结构。3D模型可以被输入到AR系统中。凭借图像配准(通过与手术前(或手术中)成像进行融合来定位隐藏的解剖结构，以及从现场腹腔镜视频中自动识别检测和定位可见的解剖结构)，AR系统将会或者可以在手术中提醒外科医生仪器(如，手术器械)是否过于接近预定的危险结构，这个功能通过声音(例如，来自AR控制台310、监视器330、腹腔镜控制台340中的扬声器，或独立式扬声器)或者屏幕(例如，AR控制台310上的、监视器330的、腹腔镜控制台340上的显示器，或独立式显示器)上的弹框来实现。
该AR系统将会或者可以部署在实体位于手术室的控制台中，并与腹腔镜系统连接。控制台可以对模型进行实时推理。控制台将会或者也可以记录手术过程中产生的图像配准和检测结果，并将这些信息作为系统日志保存到磁盘。在一些实施例中，AR系统的部分或所有部件可以远程设立于手术室外，并通过有线连接(如数据通信电缆)或无线连接(如Wi-Fi网络或连接)连接到腹腔镜系统。在一些实施例中，AR系统的部分或所有部件可以被实施集成到腹腔镜控制台的外壳中。在一些实施例中，腹腔镜系统的部分或所有部件可以实施集成到AR控制台中。在一些实施例中，AR系统的部分或全部部件可以实施集成到监视器的外壳中。在一些实施例中，监视器的部分或所有部件可以实施集成到AR控制台中。在一些实施例中，AR系统可以由腹腔镜控制台或监视器中的一个或多个处理器执行的软件程序或软件模块实施。在一些实施例中，AR控制台可以连接到其他控制台，用于其他类型的视频辅助手术，如视频辅助胸腔镜、内窥镜、经皮穿刺、结肠镜手术等。与腹腔镜和腹腔镜检查有关的部分或全部公开内容可类似地应用于其他视频辅助手术器械和手术，如内窥镜和内窥镜检查、经皮穿刺和手术、结肠镜和结肠镜检查等。
图9示出了带有AR系统的系统900(具有两个成像装置)的示例性实施例。上面的AR系统的教导在这里可以类似地应用于图9中的AR控制台310。AR控制台310可以从第一成像装置960接收和/或捕获图像，并且可以从第二成像装置970接收和/或捕获图像，例如，通过一个或多个视频捕获卡，通过接收并存储在一个或多个存储介质中等。扫描仪(例如，摄像机、图像生成器)962可以连接到第一成像装置962(例如，手术镜、CT机、MRI机、超声机)，作为第一成像装置的一部分包括在第一成像装置的内部，或以其他方式与第一成像装置962集成。扫描仪962可以捕获或生成图像，这些图像可以从第一成像装置960发送到AR控制台310，例如，作为第一现场图像馈送。扫描仪(例如，摄像机、图像生成器)972可以连接到第二成像装置972(例如，手术镜、CT机、MRI机、超声机)，作为第二成像装置的一部分包括在第二成像装置的内部，或者以其他方式与第二成像装置972集成。扫描仪972可捕获或生成图像，这些图像可以从第二成像装置970发送到AR控制台310，例如，作为第二现场图像馈送。AR控制台310可以将第一现场图像馈送(例如，用于支气管镜或结肠镜检查的实时现场内窥镜图像馈送)与第二现场图像馈送(例如，实时现场CT/超声图像馈送)融合。AR控制台310可以存储手术前(或手术中)的3D模型，例如，通过硬盘或其他存储介质，并且该3D模型可以从第二成像装置970的CT、MRI、PET或超声波成像中重建。AR控制台310可以运行AR软件，以将手术前(或手术中)的3D模型与来自第一成像装置960的手术中图像对齐，例如，由AR软件使用计算机视觉算法来执行对齐。AR监视器330可以将增强现实结果可视化，例如，增强视频，其中变形的手术前(或手术中)3D模型被叠加在来自第一成像装置960的图像馈送上。AR监视器330可以显示从AR控制台310接收的增强视频，或者生成和显示增强视频。另外，显示器可以执行AR监视器330的功能。AR系统的用户，例如外科医生或另一个手术团队成员，可以操作第一成像装置控制台940以调整或监视第一成像装置960的设置。AR系统的用户，例如外科医生或另一个手术团队成员，可以操作第二成像装置控制台980以调整或监视第二成像装置970的设置。在一些实施例中，第一成像装置960和第一成像控制台940可以作为实时的2D或3D摄像机图像馈送范围操作，而第二成像装置970和第二成像控制台980可以操作以提供诊断成像，例如由x射线或超声成像驱动。外科医生或其他手术团队成员可以基于AR图像进一步进行手术治疗，例如，通过使用吻合器或能量装置来切割、移除和闭合组织和/或血管。
本公开内容中示出并描述了示例性的实施例。应当理解的是，本实施例能够在各种其他组合和环境中使用，并且能够在本文所表达的概念的范围内进行改变或修改。一些这样的变化可能包括使用存储在非暂时性计算机可读介质上的程序，以使计算机和/或计算机系统能够执行上面讨论的方法的变体中的部分或全部。这样的变体不应视为背离了本发明的精神和范围，对于本领域的技术人员来说，所有这样的修改都是显而易见的，旨在包括在以下权利要求的范围内。

Claims (20)

1.一种设备，包括：
物理控制台，所述物理控制台被配置为：
接收用户提供的信息，所述用户提供的信息表明参考图像中的解剖结构与连接至手术器械的摄像机的目标视场的摄像机捕获的图像中相对应的解剖结构之间的多个匹配点，其中所述摄像机捕获的图像由所述摄像机捕获；
基于所接收的用户提供的信息执行图像配准，所接收的用户提供的信息表明参考图像中的解剖结构与所述摄像机捕获的图像中相对应的解剖结构之间的所述多个匹配点；以及
基于所述图像配准，在所述摄像机捕获的图像上叠加增强现实内容；
存储器，所述存储器用于记录所述图像配准，所述存储器包括在所述物理控制台中，或者所述存储器与所述物理控制台分离，
其中，在显示器上显示叠加了所述增强现实内容的所述摄像机捕获的图像。
2.根据权利要求1所述的设备，其中所述手术器械包括腹腔镜。
3.根据权利要求1所述的设备，其中所述参考图像是计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声波图像。
4.根据权利要求1所述的设备，其中所述物理控制台被配置为：
检查所述图像配准的精确性；以及
重新校准所述图像配准。
5.根据权利要求1所述的设备，其中，所述增强现实内容是基于3D模型的，所述3D模型是基于所述参考图像的。
6.根据权利要求1所述的设备，其中，所述增强现实内容包括从所述摄像机的所述目标视场中隐藏的可视化内容。
7.根据权利要求1所述的设备，其中，物理控制台被配置为：生成风险情况的警报。
8.一种方法，包括：
通过摄像机捕获所述摄像机的目标视场的图像，所述摄像机连接至手术器械；
接收用户提供的信息，所述用户提供的信息表明参考图像中的解剖结构与所述摄像机捕获的图像中相对应的解剖结构之间的多个匹配点；
基于所接收的用户提供的信息执行图像配准，所接收的用户提供的信息表明参考图像中的解剖结构与所述摄像机捕获的图像中相对应的解剖结构之间的所述多个匹配点；
基于所述图像配准，在所述摄像机捕获的图像上叠加增强现实内容；以及
显示叠加了所述增强现实内容的所述摄像机捕获的图像。
9.根据权利要求8所述的方法，其中所述手术器械包括腹腔镜。
10.根据权利要求8所述的方法，其中所述参考图像是计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声波图像。
11.根据权利要求8所述的方法，所述方法包括：
检查所述图像配准的精确性；以及
重新校准所述图像配准。
12.根据权利要求8所述的方法，其中所述增强现实内容是基于3D模型的，所述3D模型是基于所述参考图像的。
13.根据权利要求8所述的方法，其中所述增强现实内容包括从所述摄像机的所述目标视场中隐藏的可视化内容。
14.根据权利要求8所述的方法，所述方法包括：
生成危险情况的警报。
15.一种存储指令的非暂时性机器可读介质，当由一个或多个处理器执行时，所述指令使所述一个或多个处理器执行一种方法，所述方法包括：
接收用户提供的信息，所述用户提供的信息表明参考图像中的解剖结构与连接至手术器械的摄像机的目标视场的摄像机捕获的图像中相对应的解剖结构之间的多个匹配点，其中所述摄像机捕获的图像由所述摄像机捕获；
基于所接收的用户提供的信息执行图像配准，所接收的用户提供的信息表明参考图像中的解剖结构与所述摄像机捕获的图像中相对应的解剖结构之间的所述多个匹配点；以及
基于所述图像配准，在所述摄像机捕获的图像上叠加增强现实内容，
其中，在显示器上显示叠加了所述增强现实内容的所述摄像机捕获的图像。
16.根据权利要求15所述的非暂时性机器可读介质，其中所述参考图像是计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声波图像。
17.根据权利要求15所述的非暂时性机器可读介质，所述方法包括：
检查所述图像配准的精确性；以及
重新校准所述图像配准。
18.根据权利要求15所述的非暂时性机器可读介质，其中所述增强现实内容是基于3D模型的，所述3D模型是基于所述参考图像的。
19.根据权利要求15所述的非暂时性机器可读介质，其中所述增强现实内容包括从所述摄像机的所述目标视场中隐藏的可视化内容。
20.根据权利要求15所述的非暂时性机器可读介质，所述方法包括：
生成危险情况的警报。
CN202280074817.6A 2021-11-09 2022-11-08 用于腹腔镜和视频辅助手术的交互式增强现实系统 Pending CN118215936A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163277511P 2021-11-09 2021-11-09
US63/277,511 2021-11-09
PCT/US2022/049268 WO2023086332A1 (en) 2021-11-09 2022-11-08 An interactive augmented reality system for laparoscopic and video assisted surgeries

Publications (1)

Publication Number Publication Date
CN118215936A true CN118215936A (zh) 2024-06-18

Family

ID=86228778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280074817.6A Pending CN118215936A (zh) 2021-11-09 2022-11-08 用于腹腔镜和视频辅助手术的交互式增强现实系统

Country Status (5)

Country Link
US (1) US12507864B2 (zh)
EP (1) EP4430564A4 (zh)
JP (1) JP2024541293A (zh)
CN (1) CN118215936A (zh)
WO (1) WO2023086332A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657578B2 (en) * 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
EP4407564A1 (en) * 2023-01-25 2024-07-31 Olympus Winter & Ibe GmbH Laparoscopic image manipulation method and system
US12514646B2 (en) 2024-04-03 2026-01-06 Provision Surgical Inc. System and method for augmented reality surgical assistance with integrated biomechanical metrics

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119725A1 (en) * 2006-11-20 2008-05-22 General Electric Company Systems and Methods for Visual Verification of CT Registration and Feedback
US8724874B2 (en) * 2009-05-12 2014-05-13 Siemens Aktiengesellschaft Fusion of 3D volumes with CT reconstruction
US8498459B2 (en) * 2009-10-08 2013-07-30 Siemens Aktiengesellschaft System and method for verifying registration accuracy in digital medical images
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
EP3259705B1 (en) * 2015-02-19 2025-09-24 Metritrack, Inc. System and method for positional registration of medical image data
WO2016182550A1 (en) * 2015-05-11 2016-11-17 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
US10779891B2 (en) * 2015-10-30 2020-09-22 Acclarent, Inc. System and method for navigation of surgical instruments
US20190206134A1 (en) * 2016-03-01 2019-07-04 ARIS MD, Inc. Systems and methods for rendering immersive environments
US20190088019A1 (en) 2016-03-16 2019-03-21 Koninklijke Philips N.V. Calculation device for superimposing a laparoscopic image and an ultrasound image
CN109219384B (zh) 2016-05-31 2022-04-12 皇家飞利浦有限公司 内窥镜图像与超声图像的基于图像的融合
US11515030B2 (en) 2016-06-23 2022-11-29 Siemens Healthcare Gmbh System and method for artificial agent based cognitive operating rooms
ES2992065T3 (es) * 2016-08-16 2024-12-09 Insight Medical Systems Inc Sistemas de aumento sensorial en procedimientos médicos
US11224392B2 (en) * 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
WO2019245854A2 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Extended reality visualization of range of motion
EP3598948B1 (de) * 2018-07-27 2022-03-16 Siemens Healthcare GmbH Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
US11589928B2 (en) * 2018-09-12 2023-02-28 Orthogrid Systems Holdings, Llc Artificial intelligence intra-operative surgical guidance system and method of use
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
WO2020207583A1 (en) * 2019-04-10 2020-10-15 Brainlab Ag Method of sampling relevant surface points of a subject
US11269173B2 (en) * 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12114935B2 (en) * 2020-02-12 2024-10-15 Medtech S.A. Robotic guided 3D structured light-based camera
US11944395B2 (en) * 2020-09-08 2024-04-02 Verb Surgical Inc. 3D visualization enhancement for depth perception and collision avoidance
DE102021117004A1 (de) * 2021-07-01 2023-01-05 B. Braun New Ventures GmbH Chirurgisches Assistenzsystem mit verbesserter Registrierung und Registrierverfahren

Also Published As

Publication number Publication date
EP4430564A1 (en) 2024-09-18
WO2023086332A1 (en) 2023-05-19
JP2024541293A (ja) 2024-11-08
EP4430564A4 (en) 2025-09-24
US20230147826A1 (en) 2023-05-11
US12507864B2 (en) 2025-12-30

Similar Documents

Publication Publication Date Title
US11717376B2 (en) System and method for dynamic validation, correction of registration misalignment for surgical navigation between the real and virtual images
US20250054147A1 (en) Composite medical imaging systems and methods
De Paolis et al. Augmented visualization with depth perception cues to improve the surgeon’s performance in minimally invasive surgery
CN111867438B (zh) 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
US9990744B2 (en) Image registration device, image registration method, and image registration program
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
JP6952740B2 (ja) ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム
CN118215936A (zh) 用于腹腔镜和视频辅助手术的交互式增强现实系统
US20250268666A1 (en) Systems and methods for providing surgical assistance based on operational context
JP2014064721A (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
WO2022206416A1 (zh) 基于穿刺过程的动态信息显示系统及方法
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
US10049480B2 (en) Image alignment device, method, and program
CN107260305A (zh) 计算机辅助微创手术系统
US12285153B2 (en) Anatomical scene visualization systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination