[go: up one dir, main page]

CN112166474B - 使用机器学习的在外科手术期间的自动化肿瘤识别 - Google Patents

使用机器学习的在外科手术期间的自动化肿瘤识别 Download PDF

Info

Publication number
CN112166474B
CN112166474B CN201980032601.1A CN201980032601A CN112166474B CN 112166474 B CN112166474 B CN 112166474B CN 201980032601 A CN201980032601 A CN 201980032601A CN 112166474 B CN112166474 B CN 112166474B
Authority
CN
China
Prior art keywords
live
image
ultrasound
images
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980032601.1A
Other languages
English (en)
Other versions
CN112166474A (zh
Inventor
F·C·梅拉尔
S·巴拉特
R·Q·埃尔坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112166474A publication Critical patent/CN112166474A/zh
Application granted granted Critical
Publication of CN112166474B publication Critical patent/CN112166474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0808—Clinical applications for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Clinical applications involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0891—Clinical applications for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Neurology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种超声(US)系统(10)包括US扫描器(14)和US探头(12)，所述US探头被操作性地连接到所述US扫描器。至少一个电子处理器(20)被编程为：控制所述US扫描器和US探头采集患者的感兴趣区域(ROI)中的肿瘤和周围血管的一系列术前图像；提供图形用户接口(GUI)(26)，经由所述图形用户接口所采集的术前图像被标记有所述ROI中的所述肿瘤和所述周围血管的轮廓；使用经标记的术前图像来调谐用于所述患者的经训练的神经网络(30)以生成患者调谐的经训练的神经网络；通过控制所述US扫描器和US探头采集所述患者的所述ROI中的所述肿瘤和所述周围血管的实况图像来执行实况成像；将所述实况图像输入到所述患者调谐的经训练的NN以输出所述肿瘤和所述周围血管的实况轮廓；并且控制显示设备(24)显示具有叠加的所述实况轮廓的所述实况图像。

Description

使用机器学习的在外科手术期间的自动化肿瘤识别
技术领域
下文总体上涉及图像引导的介入流程、图像引导的神经外科手术、图像引导的脑外科手术、超声成像领域、超声探头跟踪领域、超声图像显示、以及相关的领域。
背景技术
神经外科手术中的术前磁共振成像(MRI)是用于识别病变并在肿瘤的外科手术切除之前规划外科手术的常见标准。一个或多个肿瘤和周围脉管系统在术前MR图像上被分割，并且在术前规划中被使用。神经导航在神经外科手术期间用来使得外科医生能够导航其通过开颅术到达病变的路线。高准确性跟踪技术(诸如光学跟踪)用来跟踪用于神经导航的外科手术工具。跟踪信息被配准到患者和术前图像，使得外科医生能够在颅骨中导航，并且执行如基于术前成像规划的外科手术。然而，若干因素在外科手术期间使脑变形，并且减弱术前成像用于神经导航的实用性。被称为脑移位的这种现象在神经外科手术实践中是众所周知的，并且脑移位通常在开颅术的情况下开始，并且在硬脑膜(保持脑组织处于适当位置中的厚纤维膜)的随后移除之后变得更突出。能够引起脑移位的其他因素包括肿胀、重力、肿瘤切除和脑脊液引流。一般来说，脑移位在整个流程期间总是变得更糟。
术中或“实况”成像能够揭示脑移位，并且引导外科医生对外科手术计划进行修改或更新它。在可用的模态之中，MRI提供非常卓越的图像质量和分辨率。然而，其对外科手术工作流是扰乱性的(含铁金属不能发现于房间中，其他金属不能被放置在成像区域附近，因此对于每个术中MRI图像采集需要大量的患者准备)、耗时(MR序列花费多达45分钟)并且除了在高端外科手术套房中之外不可用。另一方面，术中超声(US)不像MRI那么具有扰乱性(没有关于金属的限制，并且没有大量的患者准备)，能够在几分钟内利用实时图像可视化被执行，并且是广泛可用的。然而，相比于MRI，US的图像质量和分辨率是差的，US到MRI的配准不是简单的任务，并且不是所有肿瘤在US成像都是可见的。
为了在使用术中超声时适应这些困难，初始(术前)超声图像在开颅术之后但是在移除硬脑膜之前被采集。在硬脑膜仍然处于适当位置中的情况下，脑移位是最小的，并且术前US图像与术前MRI很好地配准。这种图像配准为外科医生提供当与肿瘤的叠加分割一起观察时肿瘤在超声下看起来如何的视觉理解。在移除硬脑膜之后，超声到术前MR图像的刚性配准对于术中导航来说通常不是足够准确的。此时，分割仍然能够被呈现叠加在术中超声图像的顶部上以帮助解读术中(即实况)图像，但是分割与实况图像的对准可能由于次佳配准而不是非常准确的。
在脑移位之后，US图像上的术前MRI肿瘤分割和叠加变得无效，因为US图像显示变形之后的组织而分割仍然是针对未变形的组织的。此时，外科医生在US和MRI图像解读以及特定肿瘤如何位于解剖结构内和它将会如何变形的理解的经验是显著的因素，并且帮助外科医生决定什么是残余肿瘤和什么不是基于变形的脑组织的术中US图像的。
各种非刚性配准技术已经被研究者用来解决在存在脑移位的情况下术中US用于脑外科手术的可用性的问题，然而，鲜有成功者。在第一范例技术中，术前MR图像基于术中超声图像被变形，但是这种方法会引入相当大的不准确性，因为在大多数情况下使用对应于平面的二维(2D)超声图像，其不捕获沿平面外方向的任何变形。在第二范例技术中，变形的脑组织的光学平面扫描被执行以通过有限元建模来计算脑的体积变形。这种方法限于脑的表面附近的病灶的可视化，并不提供关于更深病灶的准确信息。
以下公开了克服这些问题的新的且改善的系统和方法。
发明内容
在一个公开的方面中，一种US系统包括US扫描器和US探头，所述US探头被操作性地连接到所述US扫描器。至少一个电子处理器被编程为：控制所述US扫描器和US探头采集患者的感兴趣区域(ROI)中的肿瘤和周围血管的一系列术前图像；提供图形用户接口(GUI)，经由所述图形用户接口所采集的术前图像被标记有所述ROI中的所述肿瘤和所述周围血管的轮廓；使用经标记的术前图像来调谐用于所述患者的经训练的神经网络以生成患者调谐的经训练的神经网络；通过控制所述US扫描器和US探头采集所述患者的所述ROI中的所述肿瘤和所述周围血管的实况图像来执行实况成像；将所述实况图像输入到所述患者调谐的经训练的NN以输出所述肿瘤和所述周围血管的实况轮廓；并且控制显示设备显示具有叠加的所述实况轮廓的所述实况图像。
在另一个公开的方面中，一种非瞬态存储介质存储能由处理器读取并运行以执行实况脑成像方法的指令，所述处理器与US系统和显示设备操作性通信。所述方法包括：控制所述US系统采集二维(2D)实况脑图像；将神经网络应用到所述2D实况脑图像以生成被成像在所述2D实况脑图像中的肿瘤和周围血管的实况轮廓；以及控制所述显示设备呈现具有叠加的所述实况轮廓的所述2D实况脑图像。
在另一个公开的方面中，一种US系统包括US扫描器和US探头，所述US探头被操作性地连接到所述US扫描器。至少一个电子处理器被编程为：控制所述US扫描器和所述US探头采集ROI的2D实况图像；将神经网络应用到所述2D实况脑图像以生成被成像在所述2D实况图像中的肿瘤和周围血管的实况轮廓；并且控制显示设备呈现具有叠加的所述实况轮廓的所述2D实况图像。
一个优点在于确定脑移位期间的肿瘤位置。
另一优点在于利用机器学习来训练神经网络以学习脑移位期间的术前肿瘤轮廓与术中肿瘤轮廓之间的相关性。
另一优点在于在外科手术流程期间预测由于脑移位的肿瘤的新位置。
另一优点在于提供MR图像和具有由于脑移位而改变的肿瘤轮廓的US图像的叠加。
另一优点在于提供前述优点中的一个或多个，仅采用超声成像而无需在初始术前MR图像的采集之后的MR成像，并且无需在神经外科手术期间更新肿瘤或血管的轮廓。
另一优点在于提供前述优点中的一个或多个，其中如果可获得的话，术中MR图像形式的额外信息能够用来改善术中US图像中的轮廓估计。
另一优点在于提供前述优点中的一个或多个，其中如果可获得的话，术中MR图像的手动轮廓形式的额外信息能够用来改善后续术中US图像中的轮廓估计。
给定的实施例可以提供前述优点中的零个、一个、两个、更多个或全部，并且/或者可以提供在阅读并理解本公开后对于本领域普通技术人员来说将变得显而易见的其他优点。
附图说明
本发明可以采取各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅出于图示优选实施例的目的，并且不得被解释为对本公开的限制。
图1图解性地示出了根据一个方面的用于在神经外科手术中使用的说明性超声(US)图像引导设备。
图2示出了图1的设备的示范性流程图操作；
图3示出了图1的设备的神经网络的范例示意图；以及
图4示出了具有由图1的设备生成的轮廓的图像。
具体实施方式
在图像引导的脑外科手术中，超声(US)通常用来在外科手术流程期间提供术中成像。在典型的工作流中，术前MRI图像被采集，并且肿瘤和关键血管被分割，并且外科手术被规划。在外科手术的当天，患者被准备，并且颅骨的一部分被移除(即，开颅术)以提供到包围脑的最外硬脑膜的访问。此时，术前US图像被采集并且被显示。US成像使用相机或其他定位传感器来跟踪，并且在术前MRI图像中手动提取的肿瘤/血管可能在术前MRI和US图像的刚性空间配准之后被叠加在术前US图像的显示上。备选地，US成像探头能够是产生体积的三维(3D)图像的2D矩阵阵列探头。在这种情况下，基于MRI的分割能够作为轮廓被叠加在3D体积图像中的2D切片上，或作为体积(可能具有不同的颜色编码和透明度)被叠加在3D US体积本身上。2D矩阵阵列探头能够被跟踪以通过空间平均获得更平滑的图像。肿瘤的视觉外观可以在US模态与MRI中是相当不同的，并且外科医生视觉地检查术前US图像以识别(一个或多个)目标肿瘤以便移除。然后，硬脑膜的一部分被移除以提供到脑的访问，并且外科手术肿瘤移除开始。在整个流程期间间歇地采集的实况US图像(即术中)被可视化，其中来自MRI图像的肿瘤/血管轮廓被叠加在实况US图像上作为参考。
然而，在脑移位情况下问题出现，因为脑能够在外科手术期间变形，例如当硬脑膜被移除时，并且当肿瘤组织被移除时，引起肿瘤尺寸在外科手术的过程中收缩。脑移位能够导致来自MRI的叠加的轮廓不再准确地反映如实况US成像中示出的对应的解剖结构的位置。通常，这由外科医生视觉地检测实况US图像中的移位(并且基于其他反馈，例如触觉反馈)并且在精神上考虑该移位来解决。如果术中MRI扫描器在外科手术套房中可获得，那么更新的MRI图像可以偶尔被采集并且被分割以产生更新的MRI轮廓。然而，MRI一般不能提供实时的实况成像。应当注意，脑肿瘤的外科手术移除能够花费几个小时，并且微米级的精度有时被需要。脑移位能够在外科手术的过程中逐渐发生，例如当更多的肿瘤组织被移除时，这能够改变周围脑组织上的压力，导致逐渐更大的脑移位，使得偶尔的术中MRI不足以用于整个流程期间的引导。
在本文中公开的方法中，描述了直接根据术中US图像来生成肿瘤和主要血管的最新轮廓的经训练的神经网络。这允许脑移位的跟踪，因为它可以在外科手术流程的过程中逐渐改变。在一些实施例中，来自MRI的轮廓继续被叠加，并且来自神经网络的这些新生成的最新轮廓还例如使用不同的颜色编码被叠加，以向外科医生提供最大信息。
神经网络的训练必须是非常精确的，并且此外必须适应患者特异性变化。为此目的，所公开的方法采用使用历史患者数据对神经网络的初始训练，并且患者特异性精调包括使用被标记有来自术前MRI的轮廓或被标记有术前US图像中的由神经外科医生调整或新提取的对应轮廓的初始术前US图像对神经网络的更新训练。
在外科手术期间，到神经网络的输入数据是一系列2D超声图像(即，用来在外科手术为外科医生提供视觉引导的术中或“实况”US图像)、或能够被切片并且用于通过神经网络进行处理的一幅或一系列3D超声图像，备选地，网络能够被训练为与作为输入的3D US体积图像一起工作。神经网络的输出是一个或多个肿瘤和/或血管轮廓。
对于初始训练，适当的训练数据能够从过去类似的脑外科手术收集，使用被标记有充当地面真值轮廓的对应的MRI导出的肿瘤和血管轮廓的术前US图像。由于术前US图像在开颅术之后但是在切割到硬脑膜内之前并且在任何肿瘤组织的移除之前被采集，因此脑移位应当在训练数据中是可忽略的。常规的反向传播训练可以用来训练神经网络以输出最佳地匹配在术前MRI图像中手动提取的地面真值轮廓的轮廓。
精调采用被标记有再次充当地面真值的MRI轮廓的当前患者的术前图像作为训练数据。(更精确地，该训练数据由可以被组合以提供3D术前US图像的一组术前2D US图像切片、或使用用于3D成像的2D矩阵阵列探头获得的被标记有MRI轮廓和/或被标记有由神经外科医生在术前US图像中调整或新提取的轮廓的3D US体积图像组成)。在神经网络的初始训练中使用的相同的基于反向传播的训练可以在更新训练中被采用以便提供精调，并且得到的精调的神经网络对当前患者是特定的。
如果MRI扫描器在外科手术套房中可获得，那么预见到在外科手术流程期间的各个时刻执行额外的精调步骤。例如，在几小时并且脑肿瘤的实质部分的移除之后，精调的神经网络可能过时(即缺乏外科手术所需的预测准确性)，并且新的MRI图像可以被采集并且连同对应的当前US图像一起被手动地勾画轮廓。这然后充当用于神经网络的进一步精调(即更新训练)的更新训练数据。
在一些实施例中，神经网络可以是递归神经网络(RNN)，其中针对当前US图像的轮廓输出取决于针对该序列中的先前US图像的先前轮廓输出。这反映了如下预期：(1)肿瘤将在外科手术的过程中由于肿瘤组织移除而在尺寸上减小，并且(2)这种收缩将是逐渐的。然而，为了训练RNN，在外科手术的过程中具有标记的序列训练数据是有必要的，这可以在外科手术套房中存在MRI扫描器以提供偶尔更新的MRI(即地面真值)轮廓标记的情况下被提供。
在又一变体中，预见到采用强化学习(RI)，其中实况序列的US图像偶尔被手动地勾画轮廓，并且该手动US轮廓到由经训练的且精调的神经网络输出的轮廓的保真度被用作用于神经网络的更新训练(即RI)的进一步反馈。在一些范例中，RI能够使用MRI驱动的轮廓而非手动轮廓来执行。由神经网络在预测期间造成的任何误差能够被RI考虑，并且因此神经网络能够对于该特定类型的误差是更保守的。
一般来说，神经网络被配置为接收一系列2D US图像(其可以或可以不共同组成3D图像)作为输入，并且在US图像平面的空间参考中输出一个或多个轮廓。在本文中公开的实施例中可以使用任何神经网络架构。
在说明性实施例中，所公开的方法在采用术前MRI成像和术中US成像的脑外科手术流程中使用。相比于其中器官移位或变形能够通过精神校正或弹性配准技术被充分地适应的许多其他介入流程，用于神经外科手术引导的脑成像需要高精确性。然而，更一般地，所公开的方法可以适用于其他类型的介入流程中，诸如前列腺、乳房或肝脏活检流程，其中器官变形可以发生并且在外科手术流程的过程中被有益地跟踪。
参考图1，示出了适合于实施前述内容的说明性介入成像设备。超声(US)成像设备10可以例如是可从荷兰阿姆斯特丹的皇家飞利浦有限公司获得的EPIQTM超声成像系统、可从荷兰阿姆斯特丹的皇家飞利浦有限公司获得的用于US/MRI融合引导的前列腺活检的UroNavTM系统、用于US与先前3D成像(CT、MR、锥束CT等)的一般融合的PercuNavTM系统(可从阿姆斯特丹的皇家飞利浦有限公司获得)，或可以是另一商用或定制的超声成像系统。超声成像设备10包括被操作性地连接到US扫描器14以执行超声成像的US探头12。说明性超声探头12经由线缆15与超声成像系统10连接，但是无线连接被预见到。US探头12包括在声处理的平面中采集二维(2D)图像帧的传感器阵列16。外科医生或其他操作者能够通过超声探头12的徒手或支持移动来调整图像帧的位置和取向(即“姿态”)。这种徒手运动可能需要US探头12(并且因此声处理的平面)的平移扫掠，和/或可以包括使US探头12围绕轴线旋转。US扫描器14和US探头12被配置为采集患者的一部分的二维或三维(2D/3D)图像帧的“实况”连续，其中每个2D图像帧对应于声处理的平面的当前姿态，或在3D成像的情况下，多个平面能够被考虑。
US扫描器14还包括以下项和/或与以下项操作性地连接：至少一个电子处理器20(例如，微处理器、微控制器等)、至少一个用户输入设备(例如，鼠标、键盘、跟踪球等)22和用于显示超声图像和/或US扫描器设置、图像参数等的显示设备24。显示设备24被配置为显示包括一个或多个字段以从用户输入设备22接收用户输入的图形用户接口(GUI)26。
至少一个电子处理器20与非瞬态存储介质28操作性地连接，所述非瞬态存储介质存储能由至少一个电子处理器20读取并运行以执行所公开的操作的指令，所公开的操作包括例如操作US扫描器14采集术前US图像并执行实况US成像，并且执行成像方法或过程100以获得用于神经外科手术引导的患者的图像。非瞬态存储介质可以例如包括硬盘驱动器或其他磁性存储介质；固态驱动器(SSD)、闪存驱动器、电可擦除只读存储器(EEROM)或其他电子存储器；光盘或其他光学存储设备；其各种组合；等等。在一些实施例中，存储指令的非瞬态存储介质例如以内部硬盘驱动器、SSD、闪存存储器等的形式被设置在US扫描器14中。
在一些实施例中，至少一个电子处理器20被编程为应用经训练的神经网络(NN)30以确定肿瘤轮廓。例如，电子处理器能够是用于肿瘤轮廓的预测期间的实时执行的图形处理单元(GPU)。至少一个电子处理器可以被编程为使用历史神经外科手术患者US图像和充当地面真值的手动提取的轮廓来执行对NN 30的初始训练。备选地，初始训练可以例如由US扫描器14的厂商或由针对US扫描器14的神经外科手术图像引导包或附加件的厂商离线地执行，并且经训练的NN 30从厂商被供应并被存储在非瞬态存储介质28上。在任一情况下，经训练的NN 30的患者特异性调谐优选地通过至少一个电子处理器20来执行，因为这种调谐针对每个患者被执行并且不能被供应为预训练的分量。由于NN 30的训练和患者特异性调谐是计算密集的，因此预见到至少一个电子处理器20包括通过有线或无线连接(例如到医院网络的有线或无线连接)与US扫描器14操作性地连接的远程服务器计算机、云计算资源等。在至少一个电子处理器20包括远程服务器计算机的情况下，厂商可以在不同场所访问精调数据以改善NN 30的训练和精调。NN 30也可以随着例如软件更新而被频繁地更新。在这种配置中，US扫描器14的电子处理器操作扫描器采集患者的US图像并且提供用户经由其选择患者的US图像的GUI，并且该患者特异性训练数据然后被上传到远程服务器，其通过使用所供应的患者特异性训练数据更新训练NN 30来执行患者特异性调谐。在一些说明性范例中，NN 30能够是递归NN(RNN)。在一些实施例中，MR设备32能够被设置在具有US探头12和US扫描器14的医学环境中，以提供以更新MR图像中提取的轮廓的形式的额外更新训练数据。例如，NN 30能够通过在流程期间利用MRI图像重新训练NN若干次而被精调。用户能够在流程期间远程地执行对NN 30的精调。
参考图2，成像方法100的说明性实施例被图解性地示出为流程图。为了开始该过程，US探头12被定位在要被扫描的患者的一部分(例如，脑，或更具体地，脑的包含要被切除的一个或多个肿瘤的区域)上或附近。在102处，至少一个电子处理器20被编程为控制US扫描器14和US探头12采集将要经历神经外科手术的患者的感兴趣区域(ROI)中的肿瘤和周围血管的一系列术前图像(例如，2D、3D或4D图像)。在一些范例中，ROI能够是患者的脑。通常，操作102在开颅术之后但是在切割硬脑膜之前被执行，以便最小化术前US图像中的脑移位的量。在变体实施例中，术前US成像操作102可以在开颅术之前被执行。
在104处，至少一个电子处理器20被编程为提供GUI 26，经由该GUI所采集的术前图像被标记有ROI中的肿瘤和周围血管的轮廓。在一些范例中，外科医生能够使用用户输入设备22在GUI 26上标记肿瘤的轮廓。GUI26能够被显示在显示设备24上。用户可以勾画轮廓，例如，使用鼠标或触摸屏来标记轮廓周围的点，所述点然后通过样条曲线等被连接，或提取其整个轮廓或部分作为一个或多个连续线。在其他范例中，术前MR图像利用MR设备32来采集，并且肿瘤的轮廓由医学专业人员利用用户输入设备22来手动地标记。在流程开始的时候，探头12被配准到术前MR轮廓，并且轮廓被传输到显示设备24上的所采集的US图像。
在106处，至少一个电子处理器20被编程为利用具有不同患者的类似ROI的基于MR的肿瘤轮廓的US成像数据来训练NN 30，以生成经训练的神经网络。例如，成像数据能够从非瞬态计算机可读介质28检索，并且被应用到NN 30以训练NN。将意识到，操作106能够在操作102和/或104之前、与其同时、或在其之后被执行。在例如厂商供应经训练的NN 30的离线配置中，操作106在操作102、104之前被执行。
在108处，至少一个电子处理器20被编程为使用在操作102、104中生成的经标记的2D术前图像来训练用于患者的经训练的NN 30，以便生成患者调谐的经训练的神经网络。在一些实施例中，至少一个电子处理器20被编程为利用经标记的2D实况US图像(来自104)来更新调谐患者调谐的经训练的神经网络30。此外，在神经外科手术的稍后阶段，如果神经外科医生怀疑被叠加在实况成像上的轮廓已经由于逐渐的脑移位而变得不在适当的位置中，那么额外的患者特异性训练数据能够通过术中图像的手动轮廓和/或通过原位MRI 32(如果可获得的话)采集的MR图像来生成，并且操作108利用该额外的患者特异性数据重复以更新NN 30的患者特异性调谐。
在110处，至少一个电子处理器20被编程为通过控制US扫描器14和US探头12采集患者的ROI(例如，脑)中的肿瘤和周围血管的实况(即术中)图像(例如，2D图像)来执行实况成像。这些图像在外科手术流程期间被采集。应当注意，实况成像不一定是连续的图像流。更确切地说，在一些实施方式中，每当神经外科医生希望具有肿瘤的可视化时，神经外科医生可以(重新)定位US探头12，以便采集新的实况图像。
在112处，至少一个电子处理器20被编程为将实况图像输入到患者调谐的经训练的NN，以输出肿瘤和周围血管的实况轮廓。换言之，至少一个电子处理器20被编程为将NN30应用到实况脑图像，以生成被成像在实况脑图像中的肿瘤和周围血管的实况轮廓。肿瘤和周围血管的轮廓因此在外科手术流程期间被自动生成。如果US传感器阵列16能够声处理3D体积，则这可以被直接完成，或可以配合US探头12的徒手或机动化扫掠被完成。优选地，图像被显示在显示设备24上，该图像叠加有由操作112输出的轮廓(操作114)，以便为介入流程的实况US成像提供(一个或多个)肿瘤和周围血管的指示(即“实况”轮廓)。
在一个实施例中，至少一个电子处理器20被编程为使用经标记的术前图像(来自104)来调谐NN 30。在另一实施例中，患者调谐的经训练的神经网络30利用在术中MR图像中提取的轮廓被至少部分地更新。为了这样做，至少一个电子处理器20被编程为控制MR成像设备32在外科手术流程期间采集ROI的MR图像。提供GUI 26，经由该GUI所采集的MR图像被标记有肿瘤和周围血管的轮廓(类似于104)。由至少一个电子处理器20控制US扫描器14和探头12采集US图像的更新系列。GUI 26通过被标记有肿瘤和周围血管的轮廓的所采集的US图像的更新系列来提供或更新。US图像的更新系列用来更新调谐患者调谐的经训练的NN30。
在另一实施例中，实况脑图像的采集被中断，并且至少一个电子处理器20被编程为提供GUI 26，经由该GUI选定的实况脑图像被标记有肿瘤和周围血管的轮廓。NN 30被更新调谐以使用选定且标记的实况脑图像来生成实况轮廓。
在114处，至少一个电子处理器20被编程为控制显示设备24显示具有叠加的实况轮廓的实况US图像。在一些范例中，显示设备24上的显示包括叠加的实况轮廓和叠加的来自空间地配准的术前磁共振图像的参考轮廓。MRI图像能够与US实况图像空间地配准，并且在一些范例中，术前MRI图像能够在外科手术期间被显示在单独的窗口中，因此外科医生能够观察它。
范例
本公开包括使用利用卷积神经网络(CNN)的深度学习来在分割的(即轮廓化的)术前MRI、术前US、分割的术中MRI和术中US上训练以了解不同的肿瘤在MRI与US中看起来像什么、其相似的或不相似的特征是什么的机器学习框架。在训练期间，MRI经由跟踪的采集通过手动执行的分割来提供地面真值，手动执行的分割被叠加在US图像上，其充当训练数据。
一旦网络被训练，它就将作为软件被部署到由外科医生在外科手术期间使用的工作站上，备选地，它能够被加载到超声扫描器上，以在术中US检查期间基于术前MRI和US图像提供额外的信息。
训练用于神经外科手术期间的自动化肿瘤识别的深度神经网络所必要的数据由配准的超声(US)和磁共振(MR)图像对组成。MR图像充当地面真值，因为大多数脑病灶在MR图像中是可见的并且从MR图像进行分割。这里，所有分割被假设为由本领域中的专家执行，因此为地面真值。分割被表示为二值体积矩阵，其中在肿瘤内部，体积具有一的值，而在肿瘤之外，具有零的值。对应的US图像数据总是被采集同时被跟踪，因此US与MR图像之间的高准确性配准能够被执行。跟踪的术前和术中US图像(只有存在匹配的术中分割的MR图像与它配对，术中US才能够被使用)用来产生体积，其将会被称为训练样本。对于每个训练样本，训练利用对应的配准的分割体积来执行。最后，分割信息被搬运到超声图像以识别超声图像中的肿瘤。
图3示出了范例卷积神经网络的示意图。输入是根据跟踪的且配准的超声图像生成的体积。目标值是从MR图像手动获得的相同几何形状的二值分割图。
卷积神经网络的目标是根据超声图像来确定残余肿瘤分割，因此提出了具有作为输入的US图像的网络架构。为了训练该网络，使用通过处理MR图像获得的被叠加在输入超声图像上的目标(在训练期间使用的地面真值输出)分割结果。这种架构在与池化层连接的第一层中使用若干卷积层。通常卷积层跟随有一个或多个完全连接层，并且最后跟随有返回针对二值分割图的像素值的概率值的输出层。
网络使用标准神经网络训练技术来训练，诸如用于足够大的训练数据的反向传播。在肿瘤表观方面能够存在显著的患者间变化，并且在基于初始人群的训练之后的模型的输出可能对于每种情况不是足够准确的。为了解决这个问题，网络在外科手术的当天使用术前MR和在开颅术之后采集的US图像被精调。该患者特异性精调步骤是工作流的必要部分，并且将会帮助模型适应于将会在外科手术期间使用的特定情况。神经外科医生能够在外科手术期间的任何时刻执行超声扫掠而不中断工作流。得到的跟踪的且配准的US体积被发送给神经网络以进行扫掠体积中的残余肿瘤的预测。指示肿瘤区域的预测的分割图能够被显示为二值分割图的边界的轮廓，或以伪彩色方式被叠加在图像的顶部上，指示肿瘤区域的概率。
在图4中示出了这两种显示格式。图4在图像的“左”侧示出了预测肿瘤部位的轮廓，并且“右”侧示出了显示肿瘤的概率的热图，其中色彩阴影随着肿瘤位置的可能性增加而变暗。
备选地，跟踪的术中US扫掠能够被执行，并且所有输出图像用来构建新的更新的配准的体积，其中其余肿瘤位置使用神经网络预测来进行标记。该最近采集的体积和其预测的分割然后用来相对于跟踪的切除或其他介入工具显示其余肿瘤。
在备选实施例中，如果术中MR在外科手术期间存在，则使用强化学习框架进一步精调经训练的网络是可能的。经训练的网络仍然能够用来根据术中超声体积来进行预测，这些然后与来自术中MR的分割进行比较。模型能够针对错误地将非肿瘤组织估计为肿瘤而被惩罚或反之亦然。这帮助模型适应于当前情况，并且进行当前情况的更准确的未来预测。
经训练的神经网络被嵌入在软件中以在外科手术期间进行预测。该软件能够在超声扫描器上运行以当图像正被采集时实时估计残余肿瘤分割。
已经参考优选实施例描述了本公开。他人在阅读和理解以上具体实施方式的情况下可能想到修改和更改。本文旨在将本公开解释为包括所有这种修改和更改，只要它们落入权利要求书及其等价方案的范围之内。

Claims (15)

1.一种超声系统(10)，包括：
超声扫描器(14)和超声探头(12)，所述超声探头被操作性地连接到所述超声扫描器；以及
至少一个电子处理器(20)，其被编程为：
控制所述超声扫描器和超声探头采集患者的感兴趣区域中的肿瘤和周围血管的一系列术前图像；
提供图形用户接口(26)，经由所述图形用户接口所采集的术前图像由医学专业人员标记有所述感兴趣区域中的所述肿瘤和所述周围血管的轮廓；
使用所述患者的所述感兴趣区域中的肿瘤和周围血管的经标记的术前图像来调谐用于所述患者的经训练的神经网络以生成患者特异性调谐的经训练的神经网络，其中，所述经训练的神经网络是使用不同患者的类似感兴趣区域的成像数据而训练的；
通过控制所述超声扫描器和超声探头采集所述患者的所述感兴趣区域中的所述肿瘤和所述周围血管的实况图像来执行实况成像；
将所述实况图像输入到所述患者特异性调谐的经训练的神经网络以输出所述肿瘤和所述周围血管的实况轮廓；并且
控制显示设备(24)显示具有叠加的所述实况轮廓的所述实况图像。
2.根据权利要求1所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
控制所述显示设备(24)显示具有叠加的所述实况轮廓并且具有叠加的来自空间配准的术前磁共振图像的轮廓的所述实况图像。
3.根据权利要求1和2中的任一项所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
在所述调谐之前，利用不同患者的类似感兴趣区域的成像数据来训练NN(30)以生成所述经训练的神经网络。
4.根据权利要求3所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
提供所述图形用户接口(26)，经由所述图形用户接口所述实况图像中的选定的一幅或多幅由医学专业人员标记有所述感兴趣区域中的所述肿瘤和所述周围血管的轮廓；并且
利用经标记的实况图像来更新调谐所述患者特异性调谐的经训练的神经网络。
5.根据权利要求3所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
在外科手术流程期间，控制MR成像设备(32)采集所述感兴趣区域的MR图像；
提供所述图形用户接口(26)，经由所述图形用户接口所采集的MR图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；
控制所述超声扫描器(14)和所述超声探头(12)采集超声图像的更新系列；
提供所述图形用户接口，经由所述图形用户接口所采集的超声图像的更新系列由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；并且
利用所述超声图像的更新系列来更新调谐所述患者特异性调谐的经训练的神经网络。
6.一种非瞬态存储介质，存储能由处理器(20)读取并运行以执行实况脑成像方法(100)的指令，所述处理器与超声系统(10)和显示设备(24)操作性通信，所述方法包括：
控制所述超声系统采集患者的感兴趣区域的一系列2D术前脑图像；
提供图形用户接口(26)，经由所述图形用户接口所述2D术前脑图像由医学专业人员标记有所述感兴趣区域中的肿瘤和周围血管的轮廓；
使用所述患者的所述感兴趣区域的经标记的2D术前脑图像来调谐用于所述患者的经训练的神经网络以生成患者特异性调谐的经训练的神经网络，其中，所述经训练的神经网络是使用不同患者的类似感兴趣区域的成像数据而训练的；
控制所述超声系统采集2D实况脑图像；
将所述患者特异性调谐的经训练的神经网络应用到所述2D实况脑图像以生成被成像在所述2D实况脑图像中的所述肿瘤和所述周围血管的实况轮廓；并且
控制所述显示设备呈现具有叠加的所述实况轮廓的所述2D实况脑图像。
7.根据权利要求6所述的非瞬态存储介质，其中，所述实况脑成像方法(100)还包括：
在采集所述实况脑图像之前，控制所述超声系统(10)采集一系列2D术前脑图像；
提供图形用户接口(26)，经由图形用户接口所述2D术前脑图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；以及
使用经标记的2D术前图像来调谐用来生成所述实况轮廓的神经网络。
8.根据权利要求7所述的非瞬态存储介质，其中，所述实况脑成像方法(100)还包括：
中断所述实况脑图像的所述采集，并且提供所述图形用户接口(26)，经由所述图形用户接口选定的实况脑图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；以及
使用所述选定的且标记的实况脑图像来更新调谐用来生成所述实况轮廓的神经网络。
9.根据权利要求6-8中的任一项所述的非瞬态存储介质，其中，所述实况脑成像方法(100)还包括：
在控制所述超声系统(10)采集所述2D实况脑图像之前，使用被标记有所述肿瘤和周围血管的轮廓的先前患者的经标记的超声脑图像来训练用来生成所述实况轮廓的所述神经网络(30)。
10.根据权利要求6-9中的任一项所述的非瞬态存储介质，其中，所述显示设备(24)的所述控制包括：
控制所述显示设备呈现具有叠加的所述实况轮廓并且还具有叠加的从与所述2D实况脑图像空间地配准的术前磁共振图像获得的参考轮廓的所述2D实况脑图像。
11.一种超声系统(10)，包括：
超声扫描器(14)和超声探头(12)，所述超声探头被操作性地连接到所述超声扫描器；以及
至少一个电子处理器(20)，其被编程为：
控制所述超声扫描器(14)和所述超声探头(12)采集患者的感兴趣区域的一系列2D术前图像；
提供图形用户接口(26)，经由所述图形用户接口所述2D术前图像由医学专业人员标记有所述感兴趣区域中的肿瘤和周围血管的轮廓；
使用所述患者的所述感兴趣区域的经标记的2D术前图像来调谐用于所述患者的经训练的神经网络以生成患者特异性调谐的经训练的神经网络，其中，所述经训练的神经网络是使用不同患者的类似感兴趣区域的成像数据而训练的；
控制所述超声扫描器和所述超声探头采集感兴趣区域的2D实况图像；
将所述患者特异性调谐的经训练的神经网络应用到所述2D实况图像以生成被成像在所述2D实况图像中的所述肿瘤和所述周围血管的实况轮廓；并且
控制显示设备(24)呈现具有叠加的所述实况轮廓的所述2D实况图像。
12.根据权利要求11所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
在采集所述实况图像之前，控制所述超声扫描器(14)和所述超声探头(12)采集一系列2D术前图像；
提供图形用户接口(26)，经由图形用户接口所述2D术前图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；并且
使用经标记的2D术前图像来调谐用来生成所述实况轮廓的神经网络。
13.根据权利要求11和12中的任一项所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
中断所述实况图像的所述采集，并且提供所述图形用户接口(26)，经由所述图形用户接口选定的实况图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；并且
使用所述选定的且标记的实况图像来更新调谐用来生成所述实况轮廓的神经网络。
14.根据权利要求11-13中的任一项所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
在控制所述超声扫描器(14)和所述超声探头(12)采集所述2D实况图像之前，使用被标记有所述肿瘤和周围血管的轮廓的先前患者的经标记的超声图像来训练用来生成所述实况轮廓的神经网络。
15.根据权利要求14所述的超声系统(10)，其中，所述至少一个电子处理器(20)还被编程为：
在外科手术流程期间，控制MR成像设备(32)采集所述感兴趣区域的MR图像；
提供所述图形用户接口(26)，经由所述图形用户接口所采集的MR图像由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；
控制所述超声扫描器(14)和所述超声探头(12)采集2D超声图像的更新系列；
提供所述图形用户接口，经由所述图形用户接口所采集的超声图像的更新系列由医学专业人员标记有所述肿瘤和所述周围血管的轮廓；并且
利用所述2D超声图像的更新系列来更新调谐所述患者特异性调谐的经训练的神经网络。
CN201980032601.1A 2018-05-16 2019-05-01 使用机器学习的在外科手术期间的自动化肿瘤识别 Active CN112166474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862672108P 2018-05-16 2018-05-16
US62/672,108 2018-05-16
PCT/EP2019/061164 WO2019219387A1 (en) 2018-05-16 2019-05-01 Automated tumor identification during surgery using machine-learning

Publications (2)

Publication Number Publication Date
CN112166474A CN112166474A (zh) 2021-01-01
CN112166474B true CN112166474B (zh) 2024-09-13

Family

ID=66554327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032601.1A Active CN112166474B (zh) 2018-05-16 2019-05-01 使用机器学习的在外科手术期间的自动化肿瘤识别

Country Status (5)

Country Link
US (1) US11903771B2 (zh)
EP (1) EP3794607A1 (zh)
JP (2) JP7418352B2 (zh)
CN (1) CN112166474B (zh)
WO (1) WO2019219387A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12142386B2 (en) 2015-12-21 2024-11-12 Evidation Health, Inc. Sensor-based machine learning in a health prediction environment
JP2021049198A (ja) * 2019-09-25 2021-04-01 株式会社日立製作所 手術支援装置及び手術ナビゲーションシステム
US12027277B1 (en) * 2019-12-05 2024-07-02 Evidation Health, Inc. Active learning for wearable health sensor
US12142365B2 (en) 2019-12-10 2024-11-12 Siemens Healthineers Ag Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product
EP3838163A1 (en) * 2019-12-17 2021-06-23 Koninklijke Philips N.V. Method and system for improved ultrasound plane acquisition
JP7408381B2 (ja) * 2019-12-26 2024-01-05 キヤノンメディカルシステムズ株式会社 画像処理装置、プログラム及び方法
WO2021146497A1 (en) * 2020-01-15 2021-07-22 Pingkun Yan Trackerless 2d ultrasound frame to 3d image volume registration
US20220061922A1 (en) * 2020-08-25 2022-03-03 Acclarent, Inc. Apparatus and method for posterior nasal nerve ablation
WO2022069208A1 (en) * 2020-09-29 2022-04-07 Koninklijke Philips N.V. Ultrasound image-based patient-specific region of interest identification, and associated devices, systems, and methods
CN113499091B (zh) * 2021-08-19 2023-08-15 四川大学华西医院 一种患者体表和体内肿瘤运动相关性及肿瘤内部动度的预测方法和系统
KR102616368B1 (ko) * 2021-09-17 2023-12-20 동의대학교 산학협력단 진단 프로브 및 이를 이용한 의료용 초음파 스캐너
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
US12119115B2 (en) 2022-02-03 2024-10-15 Evidation Health, Inc. Systems and methods for self-supervised learning based on naturally-occurring patterns of missing data
US20240164856A1 (en) * 2022-11-21 2024-05-23 Verb Surgical Inc. Detection in a surgical system
CN116309404A (zh) * 2023-03-02 2023-06-23 复旦大学附属华山医院 一种脑胶质瘤术中超声实时检测方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233761A (ja) 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
US7103399B2 (en) 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
JP4630564B2 (ja) * 2004-03-30 2011-02-09 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US7912258B2 (en) * 2005-09-27 2011-03-22 Vanderbilt University Method and apparatus for standardizing ultrasonography training using image to physical space registration of tomographic volumes from tracked ultrasound
WO2013116694A1 (en) * 2012-02-03 2013-08-08 The Trustees Of Dartmouth College Method and apparatus for determining tumor shift during surgery using a stereo-optical three-dimensional surface-mapping system
US8391603B2 (en) 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
CN103607947B (zh) * 2010-08-13 2017-07-18 史密夫和内修有限公司 解剖标志的检测
AU2014231342B2 (en) 2013-03-15 2018-03-29 Synaptive Medical Inc. Surgical imaging systems
KR102186096B1 (ko) * 2013-07-01 2020-12-03 한국전자통신연구원 유방암 진단을 위한 초음파 스캐닝 보조 장치 및 초음파 스캐닝 방법
US20160217560A1 (en) 2013-09-30 2016-07-28 Koninkljke Philips N.V. Method and system for automatic deformable registration
CN103914845B (zh) * 2014-04-09 2016-08-17 武汉大学 基于主动轮廓模型的超声图像分割中获取初始轮廓的方法
WO2016019347A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
AU2016220549B2 (en) 2015-02-17 2021-09-23 Nanyang Technological University Regenerable draw solute for osmotically driven processes
CN104851101A (zh) 2015-05-25 2015-08-19 电子科技大学 一种基于深度学习的脑肿瘤自动分割方法
US20180333141A1 (en) * 2015-11-19 2018-11-22 Utsav PARDASANI Neurosurgical mri-guided ultrasound via multi-modal image registration and multi-sensor fusion
CN106056595B (zh) * 2015-11-30 2019-09-17 浙江德尚韵兴医疗科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN108701354B (zh) * 2016-05-09 2022-05-06 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10878219B2 (en) 2016-07-21 2020-12-29 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
CN107480677B (zh) * 2017-08-07 2020-04-28 北京深睿博联科技有限责任公司 一种识别三维ct图像中感兴趣区域的方法及装置
CN107358607A (zh) * 2017-08-13 2017-11-17 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗视觉监测与视觉伺服智能控制方法
CN107506766B (zh) * 2017-08-25 2020-03-17 东软医疗系统股份有限公司 图像分割方法及装置
EP3540632B1 (de) * 2018-03-16 2023-04-26 Siemens Healthcare GmbH Verfahren zum klassifizieren von gewebeproben

Also Published As

Publication number Publication date
JP2021522931A (ja) 2021-09-02
US20210204914A1 (en) 2021-07-08
CN112166474A (zh) 2021-01-01
JP7634149B2 (ja) 2025-02-21
JP2023165737A (ja) 2023-11-17
JP7418352B2 (ja) 2024-01-19
WO2019219387A1 (en) 2019-11-21
EP3794607A1 (en) 2021-03-24
US11903771B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112166474B (zh) 使用机器学习的在外科手术期间的自动化肿瘤识别
US11950852B2 (en) Systems and methods for determining intraoperative spinal orientation
EP4270313A1 (en) Registering projection images to volumetric images
EP3641685B1 (en) Systems for performing intraoperative surface-based registration and navigation
US8634616B2 (en) Method, apparatus, and computer program product for acquiring medical image data
US9672622B2 (en) Image fusion with automated compensation for brain deformation
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
EP2950735B1 (en) Registration correction based on shift detection in image data
US9757202B2 (en) Method and system of determining probe position in surgical site
CN107106128B (zh) 用于分割解剖目标的超声成像装置和方法
WO2018006168A1 (en) Systems and methods for performing intraoperative image registration
US8098917B2 (en) Automatically updating a geometric model
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
EP3165192B1 (en) Updating a volumetric map
EP3863551B1 (en) Using a current workflow step for control of medical data processing
CN120154420A (zh) 手动导引的模态装置的定位和定向

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant