[go: up one dir, main page]

CN113164027A - 组织中的发色团浓度的确定 - Google Patents

组织中的发色团浓度的确定 Download PDF

Info

Publication number
CN113164027A
CN113164027A CN201980079965.5A CN201980079965A CN113164027A CN 113164027 A CN113164027 A CN 113164027A CN 201980079965 A CN201980079965 A CN 201980079965A CN 113164027 A CN113164027 A CN 113164027A
Authority
CN
China
Prior art keywords
surgical scene
surgical
chromophores
images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980079965.5A
Other languages
English (en)
Other versions
CN113164027B (zh
Inventor
J·M·迪卡洛
I·E·麦克道尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202411413816.7A priority Critical patent/CN119279469A/zh
Publication of CN113164027A publication Critical patent/CN113164027A/zh
Application granted granted Critical
Publication of CN113164027B publication Critical patent/CN113164027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本文描述的技术可以体现在一种方法中，该方法包括使用内窥镜相机来获得外科手术场景的多个图像，多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得。根据外科手术场景中存在的一组发色团来选择对应波长范围，并且对应波长范围中的任何两者为部分不重叠的。该方法还包括基于多个图像来确定该组中的一个或多个发色团中的每一者在外科手术场景的各个部分处的浓度，以及由一个或多个处理设备基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的表示。该方法还包括在与外科手术设备相关联的输出设备上呈现外科手术场景的表示。

Description

组织中的发色团浓度的确定
相关申请的交叉引用
本申请要求2018年12月5日提交的名称为“DETERMINING CHROMOPHORECONCENTRATIONS IN TISSUES”的美国临时申请号62/775,463的权益。前述申请的公开内容通过引用以其整体并入本文。
技术领域
本公开涉及内窥镜外科手术系统中使用的成像。
背景技术
正在开发微创外科手术系统以减小经受外科手术干预的患者所经历的创伤。这些系统只需要小的切口并且外科医生使用像相机一样的棒和器械来执行规程。除了减小创伤，这种类型的遥控操作系统增加外科医生的灵巧性并且允许外科医生从远程位置对患者进行操作。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。在此类遥控外科手术系统中，通过显示设备向外科医生提供外科手术部位的图像。基于通过显示设备接收的视觉反馈，外科医生通过操纵主控制输入设备(继而控制遥控机器人器械的运动)对患者执行外科手术规程。
发明内容
在一个方面中，本文档的特征在于一种呈现关于在使用外科手术设备时操作的外科手术场景的状态的反馈的方法。该方法包括使用内窥镜相机来获得外科手术场景的多个图像，多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得。根据外科手术场景中存在的一组发色团来选择对应波长范围，并且对应波长范围中的任何两者为至少部分不重叠的。该方法还包括基于多个图像来确定该组中的一个或多个发色团中的每一者在外科手术场景的各个部分处的浓度，以及由一个或多个处理设备基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的表示。该方法还包括在与外科手术设备相关联的输出设备上呈现外科手术场景的表示。
在另一个方面，本文档的特征在于一种呈现关于在使用外科手术设备时操作的外科手术场景的状态的反馈的成像系统。该系统包括内窥镜相机，该内窥镜相机获得外科手术场景的多个图像，多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得。根据外科手术场景中存在的一组发色团来选择对应波长范围，其中对应波长范围中的任何两者为至少部分不重叠的。该系统还包括一个或多个处理设备，该处理设备被配置为基于多个图像来确定该组中的一个或多个发色团中的每一者在外科手术场景的各个部分处的浓度，基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的表示，以及致使在与外科手术设备相关联的输出设备上呈现外科手术场景的表示。
在另一个方面，该文档的特征在于一个或多个机器可读存储设备，其上编码有计算机可读指令，该计算机可读指令用于致使一个或多个处理设备执行各种操作。操作包括从内窥镜相机获得外科手术场景的多个图像，多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得。根据外科手术场景中存在的一组发色团来选择对应波长范围，其中对应波长范围中的任何两者为至少部分不重叠的。操作还包括基于多个图像来确定该组中的一个或多个发色团中的每一者在外科手术场景的各个部分处的浓度，基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的表示，以及致使在与外科手术设备相关联的输出设备上呈现外科手术场景的表示。
上述方面的实施方式可以包括以下特征中的一者或多者。
确定一个或多个发色团中的每一者的浓度可以包括：识别跨多个图像中的复数个图像的一组像素值，其中该组中的每个像素值基本上表示外科手术场景的特定部分；以及基于发色团模型来确定对应于跨复数个图像的该组像素值的一个或多个发色团中的每一者的浓度。发色团模型表示像素值的组合与发色团浓度之间的关系。发色团模型可以被预先计算并以查找表的形式存储在一个或多个处理设备可访问的存储设备上。在一些情况下，可以跨多个图像中的复数个图像识别一组像素值，其中该组中的每个像素值基本上表示外科手术场景的特定部分。可以根据表示像素值的组合与发色团浓度之间的关系的发色团模型，确定该组像素值不表示一个或多个发色团中的至少一者的有效浓度，并且作为响应，可以生成指示在外科手术场景处可能存在异质的警报。可以基于关于该组发色团中的发色团的吸收光谱的信息来选择对应波长范围。该组发色团可以包括血红蛋白、氧合血红蛋白、脂肪和水。生成外科手术场景的表示可以包括基于关于一个或多个发色团中的每一者的浓度的信息来预测外科手术场景的高光谱图像。高光谱图像可以包括对应于与多个图像相对应的波长范围之外的波长的信息。生成外科手术场景的表示可以包括基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的彩色可见范围图像，彩色可见范围图像表示外科手术场景在可见光的照射下的外观。内窥镜相机对于每像素可以包括少于三个图像传感器。生成外科手术场景的表示可以包括基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的窄带图像，窄带图像表示外科手术场景在对应于多个图像的波长范围之外的光的照射下的外观。可以针对在对应于多个图像的波长范围中的一者或多者下的照射，估计入射在外科手术场景上的照射量。可以基于关于入射在外科手术场景上的照射量的信息来调整内窥镜相机的曝光时间。可以基于关于入射在外科手术场景上的照射量的信息对多个图像中的一者或多者执行色调映射操作。可以基于多个图像的至少一个子集来估计外科手术场景的各个部分的散射量。可以基于(i)关于外科手术场景的各个部分的散射量的信息和(ii)关于一个或多个发色团中的每一者的浓度的信息，来确定在外科手术场景处的两个不同组织类型之间的边界。可以基于(i)关于外科手术场景的各个部分的散射量的信息和(ii)关于一个或多个发色团中的每一者的浓度的信息，来确定在外科手术场景处的组织的病变部分的边界。可以基于(i)关于外科手术场景的各个部分的散射量的信息和(ii)关于一个或多个发色团中的每一者的浓度的信息，来识别存在于外科手术场景处的一个或多个组织类型。内窥镜相机可以被配置为在不与外科手术场景进行物理接触的情况下捕获多个图像。可以响应于在显示设备上呈现外科手术场景的表示而接收用户输入，其中用户输入涉及在外科手术场景处操作外科手术设备。相机可以设置在外科手术设备中。外科手术场景的表示可以包括视觉表示，并且输出设备包括显示设备。
本文描述的一些或全部实施例可以提供以下优点中的一者或多者。通过根据预期存在于外科手术场景处的发色团来选择照射波长范围，可以根据少量图像估计外科手术场景处的发色团的浓度。从而获得的发色团估计可以用于预测/估计/生成关于外科手术场景的各种类型的反馈信息。例如，发色团浓度数据可以用于准确地预测外科手术场景的高光谱可视化。在一些情况下，发色团浓度数据可以用于生成其他表示(例如，视觉图像、窄带图像等)。这些模态(modalities)下的表示可以潜在地使用与其他情况下所需的相比较不复杂的硬件(例如，每像素较少数量的图像传感器、较不复杂的电路)和/或较低的带宽来生成。在一些情况下，在上述模态内编码的信息也可以直接根据发色团浓度数据获得。在一些情况下，通过检测发色团浓度的组合中的异常，可以改善对异质(例如，金属物体或其他非组织材料)或病变细胞/组织的存在的检测。
附图说明
图1是计算机辅助遥控操作外科手术系统的示例患者侧推车的透视图。
图2是计算机辅助遥控操作外科手术系统的示例外科医生控制台的前视图。
图3是计算机辅助遥控操作外科手术系统的示例机器人操纵器臂组件的侧视图。
图4是示出在白光下发色团对外科手术场景的成像的影响的示意图。
图5是示出在根据预期存在于外科手术场景处的发色团选择的一组波长范围的照射下的发色团成像的示意图。
图6是示出一组发色团的吸收特性的曲线图。
图7A至图7F是在一组选定波长范围的照射下获得的图像的示例。
图8是示出在外科手术场景处的示例发色团(氧合血红蛋白)的浓度随时间推移的变化的示例的一组图像。
图9是示出与外科手术场景的实际高光谱图像相关联的反射特性和与根据同一外科手术场景的发色团浓度数据预测的高光谱图像相关联的反射特性之间的比较的示例曲线图。
图10是根据本文所述技术的用于呈现表示的示例过程的流程图。
具体实施方式
本文档描述了允许基于场景处的多个发色团的浓度来评估外科手术场景的技术，该浓度是根据在一组选定波长范围下捕获的一组图像估计的。基于预期存在于外科手术场景处的发色团的吸收特性来选择该组波长范围。然后可以基于预先计算的模型来计算外科手术场景处的多个发色团中的每一者的浓度(可能在一段时间内)，该模型将该组图像的像素值与不同发色团的浓度链接。这样获得的发色团浓度数据随后可以用于各种目的，包括，例如，估计高光谱、可见范围或窄带图像的表示，在外科手术场景处检测异物和/或疾病细胞/组织的可能存在，划定不同组织类型之间的边界，或获得编码在发色团浓度数据内的其他信息。在各种实施方式中，本文所述的技术可以改善机器人外科手术系统，例如，通过允许实现复杂可视化模式(诸如高光谱成像)，同时使用与其他情况下所需的相比显著较不复杂的硬件(例如，每像素较少数量的图像传感器、较不复杂的电路)和/或较低的带宽。在一些实施方式中，由发色团浓度数据提供的可视化和/或信息可以提供对组织类型之间的边界的改善检测、病变细胞/组织的识别和/或在外科手术场景处的异物(例如，外科手术工具等)的识别。
主要根据使用由加利福尼亚州桑尼维尔市(Sunnyvale,California)的直觉外科公司(Intuitive Surgical,Inc.)开发的
Figure BDA0003098104120000051
(da
Figure BDA0003098104120000052
)外科手术系统的实施方式来描述该技术的各个方面。此类外科手术系统的示例是
Figure BDA0003098104120000053
XiTM(da
Figure BDA0003098104120000054
XiTM)外科手术系统(型号IS4000)。应当理解，本文公开的方面可以以各种方式来体现和实现，包括计算机辅助、非计算机辅助以及手动和计算机辅助的实施例和实施方式的混合组合。
Figure BDA0003098104120000055
外科手术系统(例如，型号IS4000)上的实施方式是为了说明性目的而描述的，并且不应被认为是限制本文公开的本发明方面的范围。在适用的情况下，本发明方面可以在相对较小的手持的手动设备和具有附加机械支撑的相对较大系统中以及在计算机辅助遥控操作医疗设备的其他实施例中体现和实现。虽然主要参考对等(peer-in)显示器的示例来描述该技术，但该技术也可以用于其他类型的可穿戴或不可穿戴显示设备，例如在虚拟或增强现实(VR/AR)系统中使用的头戴式显示设备。所捕获的图像也可以显示在大格式显示器上，诸如像3D电视的设备，或者图像投影到某种屏幕上并且由佩戴眼镜的用户观看，该眼镜通过确保正确图像到达正确眼睛来完成立体效果。可替换地，可以使用自动立体类型的显示器，例如基于透镜的LCD类型的显示器，其也可以合并观看者(用户)的头部和/或眼睛跟踪。
参考图1和图2，用于微创计算机辅助遥控外科手术(也称为MIS)的系统可以包括患者侧推车100和外科医生控制台50。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。可机器人操纵的外科手术器械可以通过小的、微创的外科手术孔插入，以治疗患者体内的外科手术部位处的组织，从而避免与开放外科手术所需的相当大的切口相关联的创伤。这些机器人系统可以移动外科手术器械的工作端部，具有足够的灵巧性来执行相当复杂的外科手术任务，通常是通过在微创孔处枢转器械的轴、使轴沿轴向滑动穿过孔、使轴在孔内旋转等。
在所描绘的实施例中，患者侧推车100包括基部110、第一机器人操纵器臂组件120、第二机器人操纵器臂组件130、第三机器人操纵器臂组件140和第四机器人操纵器臂组件150。每个机器人操纵器臂组件120、130、140和150可枢转地联接到基部110。在一些实施例中，可以包括少于四个或多于四个机器人操纵器臂组件作为患者侧推车100的一部分。虽然在所描绘的实施例中，基部110包括脚轮以允许易于移动，但在一些实施例中，患者侧推车100固定地安装到地板、天花板、手术台、结构框架等。
在典型应用中，机器人操纵器臂组件120、130、140或150中的两者保持外科手术器械并且第三者保持立体内窥镜。剩余的机器人操作臂组件可用于使得可以在工作部位处引入第三器械。可替换地，剩余的机器人操纵器臂组件可以用于将第二内窥镜或另一个图像捕获设备(诸如超声换能器)引入工作部位。
机器人操纵器臂组件120、130、140和150中的每一者常规地由联接在一起并通过可致动关节操纵的连杆形成。机器人操纵器臂组件120、130、140和150中的每一者包括设置臂和设备操纵器。设置臂定位其保持的设备，使得枢轴点出现在进入患者的入口孔处。然后，设备操纵器可以操纵其保持的设备，使得其可以围绕枢转点枢转、插入入口孔中和从入口孔缩回，并且围绕其轴的轴线旋转。
在所描绘的实施例中，外科医生控制台50包括立体对等显示器45，使得用户可以从与患者侧推车100结合使用的立体相机所捕获的图像中以立体视觉观看外科手术工作部位。在立体对等显示器45中提供左目镜46和右目镜47，使得用户可以分别用用户的左眼和右眼观看显示器45内的左显示屏和右显示屏。当典型地在合适的观看器或显示器上观看外科手术部位的图像时，外科医生通过操纵主控制输入设备(继而控制机器人器械的运动)对患者执行外科手术规程。
外科医生控制台50还包括左输入设备41和右输入设备42，用户可以分别用他/她的左手和右手抓取该左输入设备和右输入设备以便以优选地六个或更多自由度(“DOF”)操纵由患者侧推车100的机器人操纵器臂组件120、130、140和150保持的设备(例如，外科手术器械)。在外科医生控制台50上提供具有脚趾控件和脚跟控件的脚踏板44，使得用户可以控制与脚踏板相关联的设备的移动和/或致动。
为了控制和其他目的，在外科医生控制台50中提供处理设备43。处理设备43执行医疗机器人系统中的各种功能。由处理设备43执行的一个功能是转换和传递输入设备41、42的机械运动以致动其相关联的机器人操纵器臂组件120、130、140和150中的其对应关节，使得外科医生可以有效地操纵设备(诸如外科手术器械)。处理设备43的另一个功能是实现本文所述的方法、交叉联接控制逻辑和控制器。
处理设备43可以包括一个或多个处理器、数字信号处理器、现场可编程门阵列(FPGA)和/或微控制器，并且可以被实现为硬件、软件和/或固件的组合。此外，如本文所述的其功能可以由一个单元执行或被划分在多个子单元之间，每个子单元可以依次通过硬件、软件和固件的任何组合来实现。此外，尽管被显示作为外科医生控制台50的一部分或在物理上邻近该外科医生控制台50，但处理设备43也可以作为子单元分布在整个遥控外科手术系统中。子单元中的一者或多者可以在物理上远离遥控外科手术系统(例如，位于远程服务器上)。
还参考图3，机器人操纵器臂组件120、130、140和150可以操纵诸如内窥镜立体相机和外科手术器械的设备以执行微创外科手术。例如，在所描绘的布置中，机器人操纵器臂组件120可枢转地联接到器械保持器122。套管180和外科手术器械200继而可释放地联接到器械保持器122。套管180是中空管状构件，其在外科手术期间位于患者接口部位处。套管180限定腔，内窥镜相机(或内窥镜)或外科手术器械200的细长轴220可滑动地设置在腔内。如下文进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地联接到机器人操纵器臂组件120的远端。在一些实施例中，在器械保持器122和机器人操纵器臂组件120的远端之间的可枢转联接是可使用处理设备43从外科医生控制台50致动的机动关节。
器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所描绘的实施例中，套管夹具126固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180联接或脱离。器械保持器托架128可移动地联接到器械保持器框架124。更具体地，器械保持器托架128沿着器械保持器框架124可线性平移。在一些实施例中，器械保持器托架128沿着器械保持器框架124的移动是可由处理设备43致动/控制的机动平移移动。外科手术器械200包括传输组件210、细长轴220和末端执行器230。传输组件210可以与器械保持器托架128可释放地联接。轴220从传输组件210向远侧延伸。末端执行器230设置在轴220的远端处。
轴220限定与套管180的纵向轴线一致的纵向轴线222。当器械保持器托架128沿着器械保持器框架124平移时，外科手术器械200的细长轴220沿着纵向轴线222移动。以这种方式，末端执行器230可以插入患者身体内的外科手术工作空间和/或从该外科手术工作空间缩回。
腹腔镜外科手术可以需要外科医生用内窥镜观看外科手术部位并用腹腔镜器械执行精细的马达操纵，以进行探查、解剖、缝合和其他外科手术任务。这些任务通常需要与组织进行精细的双手交互。在一些情况下，当向外科医生呈现外科手术场景的3D视图时，这种双手马达任务(motor tasks)通常可以更容易地执行。患者身体内的外科手术工作空间(外科手术场景)可以经由立体显示器45作为3D可视化呈现给外科医生。虽然本文描述的技术主要使用对等立体显示器的示例，但其他类型的立体和非立体显示器也在该技术的范围内。对等立体显示器是指允许用户查看显示器而不必佩戴它或者同时与另一个用户共享的显示器。立体显微镜可以是对等立体显示器的示例。如图2所示的立体显示器45是对等立体显示器的另一个示例。
发色团是有机分子中负责有机分子的颜色的一组原子或电子(也称为部分(moiety))。当分子吸收某些波长的电磁能量(例如，可见光)并透射或反射其他波长时，颜色就表现出来。如果入射电磁辐射的能量足以克服发色团的两个不同分子轨道之间的差，则发色团对给定波长范围内的入射电磁辐射产生反应。当该波长范围中的电磁辐射击中发色团时，对应能量可以将电子从基态激发到激发态。对应波长的辐射因此基本上被吸收，由此改变从分子反射的光的波长范围的组成。
图4是示出在白光下发色团对外科手术场景的成像的影响的示意图。在该示例中，外科手术场景405处的组织被宽带白光408辐照。发色团410a、410b、410c等(总体为410)吸收对应于白光中的一些波长范围的能量，由此改变反射光415中的波长范围的组成，从而潜在地使反射光415表现为“有色”。反射光415由成像设备420(例如，相机)感测，并且然后可以根据使用成像设备来捕获的信息生成外科手术场景405的视觉表示。需注意，尽管发色团是在由电磁辐射击中时引起特定分子的结构变化的部分(moiety)，但如本文档中使用，术语发色团是指基础(underlying)分子本身。例如，血红蛋白、氧合血红蛋白、脂肪和水在整个本文档中被用作发色团的示例。
因为外科手术场景405处的每种类型的发色团具有特性颜色特征，所以入射光408的吸收以及因此反射光415的波长组成取决于外科手术场景405处的各种发色团的浓度。例如，处于范围500-600nm内的电磁辐射被氧合血红蛋白(也被速记为HbO2)吸收的量显著多于被脂肪组织吸收的量。因此，由于较高浓度的HbO2引起的反射光415的波长组成与由于较高浓度的脂肪引起的反射光415的波长组成不同。因此，当外科手术场景在不同波长范围的电磁辐射的照射下被成像时，场景405处的发色团不同地影响图像。本文档描述了一种技术，利用该技术可以基于在变化的照射条件下获得的多个图像中的相同区域的不同外观来估计外科手术场景处的不同发色团的浓度。不同照射波长范围的数量(以及因此图像的最小数量)可以取决于预期存在于外科手术场景处的发色团的数量。例如，典型外科手术场景可以基于对应于四种不同发色团(血红蛋白、氧合血红蛋白、脂肪和水)的发色团浓度来评估，并且因此，可以在四个单独波长范围内的电磁辐射的照射下获得图像。
图5是示出在根据预期存在于外科手术场景处的发色团选择的一组波长范围的照射下的发色团成像的示意图。在图5所示的系统500中，外科手术场景405由不同波长范围505a、505b、505c和505d(总体为505)中的电磁辐射照射，并且使用成像设备520来捕获对应反射光515。在一些实施方式中，外科手术场景405被不同波长范围505中的电磁辐射依次照射，并且对应图像被相继捕获。在一些实施方式中，不同波长范围505中的电磁辐射可以基本上同时辐照在外科手术场景上，并且使用对应光学滤光器在成像设备520处捕获对应图像。例如，成像设备520可以对于每像素具有四个图像传感器，每个图像传感器位于光学滤光器之后，该光学滤光器使对应于一个照射波长范围的光通过，但基本上阻挡对应于其他三个照射波长范围的光。图5所示的示例示出了对应于四个发色团(血红蛋白、氧合血红蛋白、脂肪和水)的四个不同波长范围。然而，更多或更少数量的波长范围也在本公开的范围内。
可以基于预期存在于外科手术场景处的发色团的光学特性来选择照射波长范围505。在一些实施方式中，可以基于不同发色团的吸收特性来选择波长范围505，如图6的示例中所示。具体地，图6是示出包括血红蛋白、氧合血红蛋白、脂肪和水的一组发色团的吸收特性的曲线图。在该实施例中，示出了与血红蛋白和氧合血红蛋白相比，水和脂肪对波长范围605a内的电磁能量表现出低吸收率(并因此表现出高反射率)。而且，在波长范围605a中，脂肪表现出比水更高的吸收率(并因此表现出更低的反射率)。在波长范围605b中，脂肪表现出比水更低的吸收率(并因此表现出更高的反射率)，而水和脂肪中的每一者表现出比血红蛋白和氧合血红蛋白更高的反射率。因此，可以预期在照射范围605a和605b下获得的图像主要分别表示由于水和脂肪引起的反射。对应于血红蛋白和氧合血红蛋白的另外两个波长范围可以类似地根据图6所示的吸收特性，或者基于一个或多个其他光学特性来确定。在一些实施方式中，可以选择照射波长范围，使得照射对于对应感兴趣发色团的影响与对其他感兴趣发色团的影响实质上不同。
返回参考图5，成像设备520被配置为在不同波长范围505中的每一者的照射下获得单独图像。在图5的示例中，获得四个单独波长范围505a、505b、505c和505d，并且相应地，获得四个单独图像。在一些实施方式中，所获得的图像中的每一者可以对应于感兴趣的单独发色团。图7A至图7D示出了这些图像的示例，其中这些特定示例示出了外科手术场景处的氧合血红蛋白(也称为饱和，图7A)、血红蛋白(图7B)、脂肪(图7C)和水(图7D)的分布。在一些实施方式中，可以从所捕获的图像导出一个或多个附加图像。例如，图7E示出了表示入射在组织的对应区域上的电磁能量的量的强度图像，并且图7F示出了对应于外科手术场景的不同部分的散射系数。
在一些实施方式中，可以基于在不同照射波长范围下捕获的多个图像和/或根据此类捕获图像导出的一个或多个图像中的像素值来确定外科手术场景处的各个发色团的浓度。在一些实施方式中，这可以基于表示像素值的组合与发色团浓度之间的关系的发色团模型来完成。例如，可以使用基本上相同的波长范围在离线过程中对感兴趣的发色团的已知浓度进行成像以生成一组训练图像。然后可以根据该组训练图像创建查找表，该查找表存储链接到来自多个图像的像素值的组合的发色团的浓度值。例如，假设图7A-图7F的示例图像是训练图像，并且六个图像中的每一者中的位置(x1,y1)处的像素表示组织的相同位置。如果已知该位置处的四种发色团(氧合血红蛋白、血红蛋白、脂肪和水)的浓度分别为C1、C2、C3和C4，则表示来自六个图像中的每一者的像素值的六维n元组(p1,p2,p3,p4,p5,p6)可以被存储在与表示对应发色团浓度的四维n元组(C1,C2,C3,C4)链接的查找表中。基于复数组训练图像，发色团浓度的各种组合可以链接到像素值的对应n元组。返回参考图5，这样的查找表可以存储在一个或多个处理设备525可访问的存储设备530中。在一些实施方式中，可以提供一个或多个处理设备525作为参考图2描述的处理设备43的一部分。
在运行时间期间，一个或多个处理设备525可以被配置为分析由成像设备520捕获的多个图像以确定基础组织中的发色团浓度。例如，一个或多个处理设备可以被配置为从多个图像中的每一者中提取表示组织的相同基础部分的像素值，以获得像素值的有序组合。处理设备525然后可以解析查找表以识别基本上匹配从多个图像提取的像素值的有序组合的像素值的n元组，并且提取发色团浓度的对应n元组以获得估计存在于组织的基础部分中的不同发色团的浓度。可以对多个图像中的其他像素值重复该过程以获得基础组织中的发色团浓度的映射图。
在一些实施方式中，表示来自多个图像的像素值的n元组可以使用表示发色团浓度和对应反射率(其继而指示像素值)之间的关系的分析模型来确定。例如，可以使用的分析模型被表示为：
Figure BDA0003098104120000111
其中R(λ,x)表示由发色团x引起的反射率λ，I0(x)表示入射光强度，ua(λ,x)表示对应吸收光谱值，p(d)表示发色团x处于深度d的概率。吸收光谱值可以被确定为：
ua(λ，x)＝ua-model*w(x) (2)
其中w(x)代表发色团x的浓度。深度概率p(d)被确定为：
Figure BDA0003098104120000112
其中us(λ,x)是散射光谱值，其可以被获得为：
Figure BDA0003098104120000121
其中b(x)表示米氏(Mie)散射系数。在一些实施方式中，该分析模型可以用于生成针对不同发色团的不同浓度值的像素值。在一些实施方式中，所生成的值可以如上所述被存储为查找表。
通过分析在一组有限波长范围的照射下捕获的图像而确定的发色团浓度可以以各种方式使用。在一些实施方式中，对应于各个发色团的浓度数据可以用于各种诊断和可视化目的。例如，氧合血红蛋白的分布(如所示，例如使用图7A的饱和度映射图)可以指示组织中的灌注(perfusion)。此外，因为灌注可以指示组织健康，所以饱和度映射图也可以用于确定组织的死亡或相对不健康的部分。在一些实施方式中，与血红蛋白(例如，如图7B所示)、脂肪(例如，如图7C所示)或水(如图7D所示)相关联的浓度数据可以用于划定不同组织类型之间的边界。在一些实施方式中，与血红蛋白相关联的浓度数据可以用于确定组织中的粘附。在一些实施方式中，所导出的图像中的一个或多者也可以用于诊断和/或可视化目的。例如，散射映射图(例如，如图7F所示)可以用于识别诸如癌症的病变细胞/组织的位置。在另一个示例中，强度映射图(例如，如图7E所示)可以用于通知更好的曝光和/或动态对比度是否将对获得图像有用。
返回参考图5，发色团浓度数据可以由一个或多个处理设备525处理以生成用于一个或多个输出设备535的控制信号。在一些实施方式中，输出设备535可以包括显示设备(例如，立体显示器45)，并且发色团数据可以在显示设备上呈现为图像。在一些实施方式中，在与发色团浓度相关联的图像数据内编码的信息可以被直接提取并呈现在输出设备535上。例如，一个或多个处理设备525可以被配置为处理发色团数据以确定提取的像素值的n元组不对应于发色团浓度的任何有效组合。在这种情况下，一个或多个处理设备可以被配置为确定不符合的n元组是由于在外科手术场景处存在非组织异物而导致的。响应于这样的确定，可能除了在显示设备上显示任何图像之外，一个或多个处理设备525还可以被配置为生成警报(例如，可听或可视警报)。因此，本文所述的技术可以潜在地用于通过改善外科手术系统的异质检测能力来改善外科手术规程的安全性。
在一些实施方式中，发色团浓度数据可以在外科手术规程期间改善组织的可视化，例如，通过允许显示在可见范围内的光的照射下获得的常规图像中不可得到的信息。这使用图8来示出，其示出了图示在外科手术场景处的示例发色团(氧合血红蛋白)的浓度随时间推移的变化的示例的一组图像。顶部行805示出了在一段时间内顺序捕获的人体肠的一部分的一组图像。底部行810示出了在相同时间点获得的对应饱和度图像(根据与氧合血红蛋白相关联的浓度数据生成)。在捕获图像的时间段期间，在时间815处将夹具放置在肠的上部处，并且然后在时间820处移除夹具。行810上的两个时间点815和820之间的图像序列显示了在该组织的一部分中氧合血红蛋白浓度减少(这是由于进入组织的血流的夹紧而预期的)，并且然后在移除夹具之后，氧合血红蛋白浓度再次增加。可见范围图像(如在行805中看到的)在该时间段期间基本上保持不变，这示出了根据发色团数据生成的图像中的信息的值。
在一些实施方式中，通过利用少量波长范围内的电磁辐射照射组织而产生的发色团数据可以用于估计在其他波长范围内照射时将可得到的信息。因此，发色团数据可以用于估计/生成其他宽带图像(诸如高光谱图像或RGB图像)和/或窄带图像(诸如近红外(NIR)图像)。这可以例如经由存储宽带(或窄带)图像的像素值(或反射特性)与发色团浓度的对应组合之间的关系的查找表来完成。图9是示出与外科手术场景的实际高光谱图像相关联的反射特性和与根据同一外科手术场景的发色团浓度数据预测的高光谱图像相关联的反射特性之间的比较的示例曲线图。具体地，曲线905示出了在宽频率范围内针对高光谱图像预测的反射率值，并且曲线910示出了同一组织的实际高光谱图像的对应测量的反射率值。比较两条曲线905和910，可以看出，对于光谱的大部分，可以根据发色团浓度值准确地预测高光谱图像的真实值。
通过允许基于相同的发色团数据预测多个宽带和/或窄带图像，本文所述的技术可以允许实现多用途相机(例如，可以用于生成高光谱、可见范围和NIR图像的相机)而无需结合任何附加硬件。通过降低硬件和/或带宽要求，该技术还有助于在内窥镜的有限基板面(real-eatate)内实现多用途或高光谱相机，由此允许实现高光谱或多用途内窥镜，该高光谱或多用途内窥镜为外科医生显著改善实时可视化，并且分别允许在不与外科手术场景或组织进行物理接触的情况下捕获外科手术场景或组织的图像。
图10是根据本文所述技术的用于呈现表示的示例过程1000的流程图。过程1000可以至少部分地由参考图5描述的一个或多个处理设备525执行。过程1000的操作包括使用内窥镜相机来获得外科手术场景的多个图像(1010)。多个图像中的每个图像可以在对应波长范围中的电磁辐射的照射下获得，其中根据外科手术场景中存在的一组发色团来选择对应波长范围。对应波长范围中的任何两者为至少部分不重叠的。在一些实施方式中，可以基于关于该组发色团中的发色团的吸收光谱的信息来选择对应波长范围。
在一些实施方式中，可以根据使用内窥镜相机捕获的图像来生成一个或多个附加图像，并将其包括在多个图像中。例如，可以针对一个或多个波长范围下的照射估计入射在外科手术场景上的照射量，并且可以相应地生成衍生图像。这样的图像可以以各种方式使用。例如，可以基于关于入射在外科手术场景上的照射量的信息来调整内窥镜相机的曝光时间。在另一个示例中，可以基于关于入射在外科手术场景上的照射量的信息对多个图像中的一个或多个图像执行色调映射操作。在一些实施方式中，可以根据使用相机来捕获的图像中的一者或多者以及相应地生成的衍生图像来估计外科手术场景的各个部分的散射量。散射图像可以用于例如识别患有诸如癌症的疾病的细胞/组织的位置。
过程1000的操作还包括基于多个图像来确定该组中的一个或多个发色团中的每一者在外科手术场景的各个部分处的浓度(1020)。在一些实施方式中，这可以包括，例如，识别跨多个图像中的复数个图像的一组像素值，其中该组中的每个像素值基本上表示外科手术场景的特定部分，以及基于发色团模型来确定对应于跨复数个图像的该组像素值的一个或多个发色团中的每一者的浓度。例如，可以提取对应于多个图像中的类似像素的像素值的n元组(或有序组合)，并且可以根据发色团模型确定发色团的对应组合。在一些实施方式中，发色团模型表示像素值的组合和发色团浓度之间的关系，并且可以存储为预先计算的查找表，如上所述。在一些实施方式中，发色团模型可以被表示为一组分析方程，诸如上面的方程(1)-(4)。
过程1000的操作还包括基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的表示(1030)。这可以包括，例如，基于关于一个或多个发色团中的每一者的浓度的信息来生成外科手术场景的彩色可见范围图像，该彩色可见范围图像表示外科手术场景在可见光照射下的外观。在另一个示例中，生成外科手术场景的表示可以包括基于关于一个或多个发色团中的每一者的浓度的信息生成外科手术场景的窄带图像。窄带图像可以表示外科手术场景在对应于多个图像的波长范围之外的光照射下的外观。在一些实施方式中，生成外科手术场景的表示包括基于关于一个或多个发色团中的每一者的浓度的信息来预测外科手术场景的高光谱图像，该高光谱图像包括对应于与多个图像相对应的波长范围之外的波长的信息。
所生成的发色团信息可以以多种其他方式使用。例如，发色团浓度信息可以用于检测外科手术场景处的异质(或非组织材料)的存在。这可以包括，例如，首先识别跨多个图像中的复数个图像的一组像素值，该组中的每个像素值基本上表示外科手术场景的特定部分。然后，可以根据表示像素值的组合与发色团浓度之间的关系的发色团模型，确定该组像素值不表示一个或多个发色团中的至少一者的有效浓度。响应于这样的确定，可以生成指示外科手术场景处可能存在异质的警报(例如，可听或可视警报)。在一些实施方式中，可以基于例如关于外科手术场景的各个部分的散射量的信息和关于一个或多个发色团中的每一者的浓度的信息来确定外科手术场景处的两个不同组织类型之间的边界。在一些实施方式中，关于散射量的信息和关于一个或多个发色团中的每一者的浓度的信息可以用于识别外科手术场景处的组织的病变部分的边界，和/或外科手术场景处存在的一个或多个组织类型。
本文描述的遥控操作外科手术系统的功能或其部分及其各种修改(以下称为“功能”)可以至少部分地经由计算机程序产品(例如有形地体现在信息载体(诸如一个或多个非暂时性机器可读介质或存储器设备)中的计算机程序)来实现，用于由一个或多个数据处理装置(例如，可编程处理器、DSP、微控制器、计算机、多个计算机和/或可编程逻辑部件)执行或控制其操作。
计算机程序可以以任何形式的编程语言编写，包括编译的或解释的语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、部件、子程序或适合在计算环境中使用的其他单元。计算机程序可以被部署为在一个部位处或者分布在多个位置并通过网络互连的一个或多个处理设备上执行。
与实现全部或部分功能相关联的动作可以由执行一个或多个计算机程序以执行本文所述过程的功能的一个或多个可编程处理器或处理设备来执行。全部或部分功能可以实现为专用逻辑电路，例如FPGA和/或ASIC(专用集成电路)。
例如，适用于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。
虽然本说明书包含许多特定的实施方式细节，但这些不应被解释为对所要求保护的内容的限制，而是可以对特定实施例特有的特征的描述。其他实施例也可以在本文描述的技术的范围内。本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实现。此外，尽管在本文中，特征可以被描述为在某些组合中起作用并且甚至最初这样要求保护，但一些情况下，来自所要求保护的组合的一个或多个特征可以从组合排除，并且所要求保护的组合可以指向子组合或子组合的变型。
本文所述的不同实施方式的元素可以组合以形成以上未具体阐述的其他实施例。在不会对它们的操作产生不利影响的情况下，可以将元素排除在本文所述的结构之外。此外，各种分开的元件可以被组合成一个或多个单独元件以执行本文所述的功能。

Claims (40)

1.一种呈现关于在使用外科手术设备时操作的外科手术场景的状态的反馈的方法，所述方法包括：
使用内窥镜相机来获得外科手术场景的多个图像，所述多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得，其中根据所述外科手术场景中存在的一组发色团来选择所述对应波长范围，并且其中所述对应波长范围中的任何两者为至少部分不重叠的；
基于所述多个图像来确定所述一组中的一个或多个发色团中的每一者在所述外科手术场景的各个部分处的浓度；
由一个或多个处理设备基于关于所述一个或多个发色团中的每一者的所述浓度的信息来生成所述外科手术场景的表示；以及
在与所述外科手术设备相关联的输出设备上呈现所述外科手术场景的所述表示。
2.根据权利要求1所述的方法，其中确定所述一个或多个发色团中的每一者的所述浓度包括：
识别跨所述多个图像中的复数个图像的一组像素值，其中所述一组中的每个像素值基本上表示所述外科手术场景的特定部分；以及
基于发色团模型来确定对应于跨所述复数个图像的所述一组像素值的所述一个或多个发色团中的每一者的所述浓度，其中所述发色团模型表示像素值的组合与发色团浓度之间的关系。
3.根据权利要求2所述的方法，其中所述发色团模型被预先计算并以查找表的形式存储在所述一个或多个处理设备可访问的存储设备上。
4.根据权利要求1所述的方法，还包括：
识别跨所述多个图像中的复数个图像的一组像素值，其中所述一组中的每个像素值基本上表示所述外科手术场景的特定部分；
根据表示像素值的组合与发色团浓度之间的关系的发色团模型，确定所述一组像素值不表示所述一个或多个发色团中的至少一者的有效浓度；以及
响应于确定所述一组像素值不表示所述一个或多个发色团中的至少一者的有效浓度，生成指示在所述外科手术场景处可能存在异质的警报。
5.根据权利要求1所述的方法，其中基于关于所述一组发色团中的所述发色团的吸收光谱的信息来选择所述对应波长范围。
6.根据权利要求1所述的方法，其中所述一组发色团包括血红蛋白、氧合血红蛋白、脂肪和水。
7.根据权利要求1所述的方法，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来预测所述外科手术场景的高光谱图像，所述高光谱图像包括对应于与所述多个图像相对应的所述波长范围之外的波长的信息。
8.根据权利要求1所述的方法，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来生成所述外科手术场景的彩色可见范围图像，所述彩色可见范围图像表示所述外科手术场景在可见光的照射下的外观。
9.根据权利要求8所述的方法，其中所述内窥镜相机对于每像素包括少于三个图像传感器。
10.根据权利要求1所述的方法，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来生成所述外科手术场景的窄带图像，所述窄带图像表示所述外科手术场景在对应于所述多个图像的所述波长范围之外的光的照射下的外观。
11.根据权利要求1所述的方法，还包括针对在对应于所述多个图像的所述波长范围中的一者或多者下的照射，估计入射在所述外科手术场景上的照射量。
12.根据权利要求11所述的方法，还包括基于关于入射在所述外科手术场景上的所述照射量的信息来调整所述内窥镜相机的曝光时间。
13.根据权利要求11所述的方法，还包括基于关于入射在所述外科手术场景上的所述照射量的信息对所述多个图像中的一者或多者执行色调映射操作。
14.根据权利要求1所述的方法，还包括基于所述多个图像的至少一个子集来估计所述外科手术场景的各个部分的散射量。
15.根据权利要求14所述的方法，还包括基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来确定在所述外科手术场景处的两个不同组织类型之间的边界。
16.根据权利要求14所述的方法，还包括基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来确定在所述外科手术场景处的组织的病变部分的边界。
17.根据权利要求14所述的方法，还包括基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来识别存在于所述外科手术场景处的一个或多个组织类型。
18.根据权利要求1所述的方法，其中所述内窥镜相机被配置为在不与所述外科手术场景进行物理接触的情况下捕获所述多个图像。
19.根据权利要求1所述的方法，还包括响应于在所述显示设备上呈现所述外科手术场景的所述表示而接收用户输入，其中所述用户输入涉及在所述外科手术场景处操作所述外科手术设备。
20.根据权利要求1所述的方法，其中所述相机设置在所述外科手术设备中。
21.根据权利要求1所述的方法，其中所述外科手术场景的所述表示包括视觉表示，并且所述输出设备包括显示设备。
22.一种呈现关于在使用外科手术设备时操作的外科手术场景的状态的反馈的成像系统，所述系统包括：
内窥镜相机，所述内窥镜相机获得所述外科手术场景的多个图像，所述多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得，其中根据所述外科手术场景中存在的一组发色团来选择所述对应波长范围，并且其中所述对应波长范围中的任何两者为至少部分不重叠的；以及
一个或多个处理设备，所述一个或多个处理设备被配置为：
基于所述多个图像来确定所述一组中的一个或多个发色团中的每一者在所述外科手术场景的各个部分处的浓度；
基于关于所述一个或多个发色团中的每一者的所述浓度的信息来生成所述外科手术场景的表示；以及
致使在与所述外科手术设备相关联的输出设备上呈现所述外科手术场景的所述表示。
23.根据权利要求22所述的系统，其中基于关于所述一组发色团中的所述发色团的吸收光谱的信息来选择所述对应波长范围。
24.根据权利要求22所述的系统，其中所述一组发色团包括血红蛋白、氧合血红蛋白、脂肪和水。
25.根据权利要求22所述的系统，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来预测所述外科手术场景的高光谱图像，所述高光谱图像包括对应于与所述多个图像相对应的所述波长范围之外的波长的信息。
26.根据权利要求22所述的系统，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来生成所述外科手术场景的彩色可见范围图像，所述彩色可见范围图像表示所述外科手术场景在可见光的照射下的外观。
27.根据权利要求26所述的系统，其中所述内窥镜相机对于每像素包括少于三个图像传感器。
28.根据权利要求22所述的系统，其中生成所述外科手术场景的所述表示包括基于关于所述一个或多个发色团中的每一者的所述浓度的所述信息来生成所述外科手术场景的窄带图像，所述窄带图像表示所述外科手术场景在对应于所述多个图像的所述波长范围之外的光的照射下的外观。
29.根据权利要求22所述的系统，其中所述一个或多个处理设备被配置为针对在对应于所述多个图像的所述波长范围中的一者或多者下的照射，估计入射在所述外科手术场景上的照射量。
30.根据权利要求29所述的系统，其中所述一个或多个处理设备被配置为基于关于入射在所述外科手术场景上的所述照射量的信息来调整所述内窥镜相机的曝光时间。
31.根据权利要求29所述的系统，其中所述一个或多个处理设备被配置为基于关于入射在所述外科手术场景上的所述照射量的信息对所述多个图像中的一者或多者执行色调映射操作。
32.根据权利要求29所述的系统，其中所述一个或多个处理设备被配置为基于所述多个图像的至少一个子集来估计所述外科手术场景的各个部分的散射量。
33.根据权利要求32所述的系统，其中所述一个或多个处理设备被配置为基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来确定在所述外科手术场景处的两个不同组织类型之间的边界。
34.根据权利要求32所述的系统，其中所述一个或多个处理设备被配置为基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来确定在所述外科手术场景处的组织的病变部分的边界。
35.根据权利要求32所述的系统，其中所述一个或多个处理设备被配置为基于(i)关于所述外科手术场景的各个部分的所述散射量的信息和(ii)关于所述一个或多个发色团中的每一者的所述浓度的所述信息，来识别存在于所述外科手术场景处的一个或多个组织类型。
36.根据权利要求22所述的系统，其中所述内窥镜相机被配置为在不与所述外科手术场景进行物理接触的情况下捕获所述多个图像。
37.根据权利要求22所述的系统，其中所述一个或多个处理设备被配置为响应于在所述显示设备上呈现所述外科手术场景的所述表示而接收用户输入，其中所述用户输入涉及在所述外科手术场景处操作所述外科手术设备。
38.根据权利要求22所述的系统，其中所述相机设置在所述外科手术设备中。
39.根据权利要求22所述的系统，其中所述外科手术场景的所述表示包括视觉表示，并且所述输出设备包括显示设备。
40.一个或多个机器可读存储设备，其上编码有计算机可读指令，所述计算机可读指令用于致使一个或多个处理设备执行操作，所述操作包括：
从内窥镜相机获得外科手术场景的多个图像，所述多个图像中的每个图像在对应波长范围中的电磁辐射的照射下获得，其中根据所述外科手术场景中存在的一组发色团来选择所述对应波长范围，并且其中所述对应波长范围中的任何两者为至少部分不重叠的；
基于所述多个图像来确定所述一组中的一个或多个发色团中的每一者在所述外科手术场景的各个部分处的浓度；
基于关于所述一个或多个发色团中的每一者的所述浓度的信息来生成所述外科手术场景的表示；以及
致使在与所述外科手术设备相关联的输出设备上呈现所述外科手术场景的所述表示。
CN201980079965.5A 2018-12-05 2019-12-04 组织中的发色团浓度的确定 Active CN113164027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411413816.7A CN119279469A (zh) 2018-12-05 2019-12-04 组织中的发色团浓度的确定

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862775463P 2018-12-05 2018-12-05
US62/775,463 2018-12-05
PCT/US2019/064542 WO2020117982A1 (en) 2018-12-05 2019-12-04 Determining chromophore concentrations in tissues

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202411413816.7A Division CN119279469A (zh) 2018-12-05 2019-12-04 组织中的发色团浓度的确定

Publications (2)

Publication Number Publication Date
CN113164027A true CN113164027A (zh) 2021-07-23
CN113164027B CN113164027B (zh) 2024-10-29

Family

ID=69024666

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980079965.5A Active CN113164027B (zh) 2018-12-05 2019-12-04 组织中的发色团浓度的确定
CN202411413816.7A Pending CN119279469A (zh) 2018-12-05 2019-12-04 组织中的发色团浓度的确定

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202411413816.7A Pending CN119279469A (zh) 2018-12-05 2019-12-04 组织中的发色团浓度的确定

Country Status (6)

Country Link
US (2) US12002208B2 (zh)
EP (2) EP3890584B1 (zh)
JP (2) JP7500564B2 (zh)
KR (1) KR20210100144A (zh)
CN (2) CN113164027B (zh)
WO (1) WO2020117982A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7500564B2 (ja) 2018-12-05 2024-06-17 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 組織中の発色団濃度の決定

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
WO2011004801A1 (ja) * 2009-07-06 2011-01-13 富士フイルム株式会社 内視鏡用照明装置及び内視鏡装置
CN102860809A (zh) * 2011-07-04 2013-01-09 富士胶片株式会社 内窥镜系统、光源装置、及内窥镜系统的控制方法
WO2015023990A1 (en) * 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2015093104A1 (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置
CN106999249A (zh) * 2014-12-16 2017-08-01 直观外科手术操作公司 利用波段选择性成像的输尿管检测
WO2017216585A1 (en) * 2016-06-17 2017-12-21 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
WO2018043728A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム及び特徴量算出方法
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
WO2018159083A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006086085A2 (en) * 2004-12-28 2006-08-17 Hypermed, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8417305B2 (en) * 2007-05-02 2013-04-09 St. Vincents Hospital (Melbourne) Limited Non-invasive measurement of blood oxygen saturation
US20130210156A1 (en) * 2010-05-14 2013-08-15 Karen L. Wooley Uniform, Functionalized, Cross-Linked Nanostructures for Monitoring pH
JP5303012B2 (ja) 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
US8941830B2 (en) * 2011-03-25 2015-01-27 Hutchinson Technology Incorporated Systems and methods for measuring oxygenation
US20140378843A1 (en) * 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
JP6057921B2 (ja) * 2012-01-31 2017-01-11 オリンパス株式会社 生体観察装置
US20130345541A1 (en) * 2012-06-26 2013-12-26 Covidien Lp Electrosurgical device incorporating a photo-acoustic system for interrogating/imaging tissue
CN104968257B (zh) * 2013-01-30 2018-04-10 皇家飞利浦有限公司 具有高光谱相机引导的探头的成像系统
US20170238807A9 (en) * 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9390312B2 (en) * 2013-08-23 2016-07-12 Elwha Llc Systems, methods, and devices for assessing microbiota of skin
US10960090B2 (en) * 2015-03-18 2021-03-30 Current Lighting Solutions, Llc Light disinfection system and method
KR102673560B1 (ko) * 2015-06-09 2024-06-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술　절차　아틀라스를　갖는　수술시스템의　구성
JP6437943B2 (ja) 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10395652B2 (en) 2016-09-20 2019-08-27 Allstate Insurance Company Personal information assistant computing system
JP7500564B2 (ja) * 2018-12-05 2024-06-17 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 組織中の発色団濃度の決定

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
WO2011004801A1 (ja) * 2009-07-06 2011-01-13 富士フイルム株式会社 内視鏡用照明装置及び内視鏡装置
CN102860809A (zh) * 2011-07-04 2013-01-09 富士胶片株式会社 内窥镜系统、光源装置、及内窥镜系统的控制方法
WO2015023990A1 (en) * 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2015093104A1 (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置
CN106999249A (zh) * 2014-12-16 2017-08-01 直观外科手术操作公司 利用波段选择性成像的输尿管检测
WO2017216585A1 (en) * 2016-06-17 2017-12-21 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
WO2018043728A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム及び特徴量算出方法
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
WO2018159083A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2022510010A (ja) 2022-01-25
KR20210100144A (ko) 2021-08-13
JP7500564B2 (ja) 2024-06-17
US12406370B2 (en) 2025-09-02
CN119279469A (zh) 2025-01-10
EP4413915A2 (en) 2024-08-14
US20220015617A1 (en) 2022-01-20
WO2020117982A1 (en) 2020-06-11
EP3890584A1 (en) 2021-10-13
CN113164027B (zh) 2024-10-29
US20240281975A1 (en) 2024-08-22
EP4413915A3 (en) 2024-11-13
JP2024107129A (ja) 2024-08-08
EP3890584B1 (en) 2024-07-31
US12002208B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
CN113164013B (zh) 图像引导外科手术中的近红外信息与彩色图像的组合
CN112689995B (zh) 多带通拜耳图案滤波器
US20250288194A1 (en) Illumination corrected near-infrared (nir) imaging for image guided surgery
US12406370B2 (en) Determining chromophore concentrations in tissues
US20230225795A1 (en) Enhancing visible differences between different tissues in computer-assisted tele-operated surgery
US12262863B2 (en) Systems and methods for image mapping and fusion during surgical procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant