CN119816865A - 在模拟x射线中优化ct图像形成 - Google Patents
在模拟x射线中优化ct图像形成 Download PDFInfo
- Publication number
- CN119816865A CN119816865A CN202380062951.9A CN202380062951A CN119816865A CN 119816865 A CN119816865 A CN 119816865A CN 202380062951 A CN202380062951 A CN 202380062951A CN 119816865 A CN119816865 A CN 119816865A
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- disease
- image
- value
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G06T12/30—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
如下处理医学计算机断层摄影(CT)数据。取回通过扫描对象获得的投影数据。处理取回到的投影数据以重建三维图像。基于重建的三维图像来生成二维图像。识别二维图像中的疾病或对疾病的识别中的不确定性。投影数据或三维图像被重新处理为更新的三维图像,使得重新处理的至少一个参数基于疾病或对疾病的识别中的不确定性。然后基于更新的三维图像来生成更新的二维图像。
Description
技术领域
本发明一般涉及用于根据计算机断层摄影(CT)数据来模拟常规X射线图像的系统和方法。特别地,本发明涉及使用图像形成链的模型中的可调谐参数基于疾病或状况分类来优化模拟X射线图像。
背景技术
CT成像提供优于常规平面X射线(CXR)成像的优点。因此,CT成像已经替代了各种临床环境中的X射线成像,并且越来越多地用于额外的临床环境,以代替这种X射线成像。
在低剂量和超低剂量CT成像(ULDCT)的情况下尤其如此,其现在以在额外环境中替换CXR为目的,诸如门诊环境中的常规胸部成像。
CT成像优于CXR的一个主要优点是CT提供附加信息,特别是三维空间信息。此外,许多临床场景中,CXR具有相对低灵敏度和高假阴性率。由于与CT成像相关联的附加信息,CT成像也更适合于各种图像处理和基于人工智能(AI)的诊断技术。
另一方面,CXR具有比常规CT成像(并且特定是ULDCT成像)更高的空间分辨率,并且经历更少的噪声。
CT成像尚未更广泛用于常规临床环境中的一个原因是CT成像的读取时间实质上高于CXR。这部分因为放射科医生更熟悉CXR图像,并且因此更舒适地读取此类常规平面X射线图像并使诊断基于此类常规平面X射线图像。
然而,在放射科医生继续依赖CXR图像的程度上,他们在附加信息和分析能力方面都放弃了CT成像的优点。
因此,已知创建数字重建放射摄像(DRR)图像,以便将与CT图像相关联的一些优点结合到合成CXR图像中。可以通过3D CT体积数字跟踪X射线来构建这样的DDR图像。在临床环境中,此类重建可以由放射科医生用于传统上将使用CXR图像的各种环境中。
针对疾病、状况、失调等的分类模型(以下统称为“疾病分类模型”)在CXR图像的背景下是已知的。然而,此类模型不能应用于CT图像本身,并且因此,在生成DDR之前将图像处理应用于CT数据的情况下,不能利用与疾病分类相关的信息来优化重建。
需要一种CT成像系统和方法,特别是ULDCT成像系统和方法,其可以以更容易解读并且更可能被采纳的形式向放射科医生呈现数据。还需要这样一种系统,其中,可以利用疾病分类来优化图像重建。
发明内容
提供了用于将三维CT数据变换成二维图像的系统和方法。例如,这种方法和系统包括取回通过从围绕中心轴的多个角度扫描对象而采集的投影数据。
在一些实施例中,一种用于处理医学CT数据的计算机实施的方法包括取回通过扫描对象采集的投影数据。
所述方法然后包括处理所述投影数据以重建三维图像。一旦被处理,所述方法基于所述三维图像生成二维图像,并且识别所述二维图像中的疾病或对疾病的识别中的不确定性。
然后,所述方法将所述投影数据或所述三维图像重新处理为更新的三维图像,其中,重新处理的至少一个参数基于疾病或对疾病的识别中的不确定性。所述方法然后基于所述更新的三维图像来生成更新的二维图像。
在一些实施例中,由神经网络执行生成所述二维图像。
在一些实施例中,由神经网络执行重新处理所述投影数据或所述三维图像。
在一些实施例中,使用针对至少一个参数的第一值对三维图像进行去噪。在一些这样的实施例中,使用针对至少一个参数的第二值对更新的三维图像进行去噪。第二值基于疾病或对疾病的识别中的不确定性。
在一些实施例中,使用针对至少一个参数的第一值将基于人工智能(AI)的超分辨率应用于三维图像,使得三维图像产生高分辨率图像。在一些这样的实施例中,使用针对至少一个参数的第二值将基于AI的超分辨率应用于更新的三维图像,使得更新的三维图像产生另一高分辨率图像。第二值基于疾病或对疾病的识别中的不确定性。
在一些实施例中,由经训练的卷积神经网络(CNN)对三维图像和/或更新的三维图像进行去噪。在一些实施例中,使用针对至少一个参数的第一值由DRR网络来生成二维图像。在一些这样的实施例中,通过使用针对至少一个参数的第二值使用DRR网络来生成更新的二维图像。第二值基于疾病或对疾病的识别中的不确定性。
在一些实施例中,在三维图像和/或更新的三维图像中识别至少一个物理元素。在生成输出图像之前移除或掩蔽至少一个物理元素。在一些这样的实施例中,至少一个物理元素是多个肋骨或心脏。在一些这样的实施例中,基于二维图像中的疾病或对疾病的识别中的不确定性来移除或掩蔽至少一个物理元素。
在一些实施例中,通过使用经训练的疾病分类模型来识别疾病。
在一些实施例中,一种用于处理医学CT数据的系统包括:存储器,其存储多个指令;以及,处理器,其耦合到所述存储器,并且被配置为运行所述多个指令以:取回通过扫描对象采集的投影数据;处理所述投影数据以重建三维图像;基于所述三维图像来生成二维图像;识别所述二维图像中的疾病或对所述疾病的识别中的不确定性;将所述投影数据或所述三维图像重新处理为更新的三维图像,其中,所述重新处理的至少一个参数基于所述疾病或对所述疾病的所述识别中的所述不确定性;以及,基于所述更新的三维图像来生成更新的二维图像。
在一些实施例中,由神经网络执行生成所述二维图像和重新处理所述投影数据或所述三维图像。
在一些实施例中,使用针对至少一个参数的第一值对三维图像进行去噪。在一些这样的实施例中,使用针对至少一个参数的第二值对更新的三维图像进行去噪。第二值基于疾病或对疾病的识别中的不确定性。
在一些实施例中,由经训练的卷积神经网络(CNN)对三维图像和/或更新的三维图像进行去噪。
在一些实施例中,由DRR网络使用针对至少一个参数的第一值来生成二维图像。在一些这样的实施例中,由DRR网络使用针对至少一个参数的第二值来生成更新的二维图像。第二值基于疾病或对疾病的识别中的不确定性。
在一些实施例中,使用针对至少一个参数的第一值将基于AI的超分辨率应用于三维图像,使得三维图像产生高分辨率图像。在一些这样的实施例中,使用针对至少一个参数的第二值将基于AI的超分辨率应用于更新的三维图像,使得更新的三维图像产生另一高分辨率图像。第二值基于疾病或对疾病的识别中的不确定性。
附图说明
图1是根据本发明的一个实施例的系统的示意图。
图2图示了根据本发明的一个实施例的示范性成像设备。
图3图示了在本发明的一个实施例的方法中使用的图像形成链。
图4图示了用于实施本发明的一个实施例的方法的模型结构的示意性概述。
图5是图示根据本发明的一个实施例的方法的流程图。
图6示意性地示出了应用于在本发明的一个实施例的上下文中可用的三维图像的射线跟踪过程。
图7是示出根据本发明的一个实施例的用于训练图像形成链的方法的流程图。
具体实施方式
根据本发明原理的说明性实施例的描述旨在结合附图来阅读,附图被认为是整个书面描述的一部分。在本文公开的本发明的实施例的描述中,对方向或取向的任何引用仅旨在便于描述,而不旨在以任何方式限制本发明的范围。相对术语诸如“下”、“上”、“水平”、“垂直”、“上方”、“下方”、“上”、“下”、“顶部”和“底部”以及它们的派生词(例如,“水平地”、“向下地”、“向上地”等)应被解释为是指如然后描述的或如所讨论的附图中所示的取向。这些相对术语仅是为了便于描述,并且不要求装置以特定取向构造或操作,除非明确地如此指示。除非另有明确描述,否则诸如“附接”、“固定”、“连接”、“耦合”、“互连”和类似术语是指其中结构直接或通过中间结构间接彼此固定或附接的关系,以及可移动或刚性附接或关系。此外,通过参考示例性实施例来说明本发明的特征和益处。因此,本发明明确地不应限于说明可单独存在或以其它特征组合存在的一些可能的非限制性特征组合的此类示范性实施例;本发明的范围由所附权利要求书界定。
本发明描述了目前预期的实践本发明的一种或多种最佳模式。本说明书不旨在以限制性意义来理解,而是通过参考附图提供仅出于说明性目的而呈现的本发明的示例,以向本领域普通技术人员建议本发明的优点和构造。在附图的各种视图中,相同的附图标记表示相同或相似的部分。
重要的是要注意,所公开的实施例仅是本文的创新教导的许多有利用途的示例。通常,在本申请的说明书中做出的陈述不一定限制各种要求保护的实施例中的任何一个。此外,一些陈述可以应用于一些发明特征,但不适用于其他特征。通常,除非另有说明,否则单个元件可以是复数,反之亦然,而不失一般性。
计算机断层扫描(CT)和常规平面X射线(CXR)都用于医学成像。然而,CT成像,特别是超低剂量CT成像(ULDCT),旨在替换许多临床环境中的CXR,例如常规门诊环境中的胸部成像。
ULDCT成像的一些主要优点是直接显而易见的。包括ULDCT的CT成像提供三维空间信息,这允许复杂的分析技术。此外,ULDCT避免了在许多临床场景中与CXR相关联的相对低的灵敏度和高的假阴性率。
然而,ULDCT的读取时间比CXR慢,并且放射科医生不太熟悉ULDCT并且更令人不适。因此,放射科医生更喜欢面对更熟悉的CXR图像并且基于更熟悉的CXR图像进行诊断。因此,本发明的实施例提供了一种用于根据ULDCT数据生成人工CXR图像或被风格化为具有CXR图像的外观的图像的工作流。可以使用人工智能(AI)技术来实现或增强这样的实施例,包括使用神经网络形式的学习算法,例如卷积神经网络(CNN)。
因此,提供了用于将三维CT数据变换成二维图像的方法。以这种方式,可以根据ULDCT数据生成CXR风格图像并将其呈现给放射科医生。这样的呈现可以在对原始或三维图像格式的底层ULDCT数据的分析技术的实现之后,并且可以作为CXR图像的代理或在对应的基于ULDCT的图像接口的背景下呈现给放射科医生。
因此,可以使用诸如图1所示的系统并且通过诸如图2所示的成像设备来生成ULDCT成像数据作为三维CT成像数据。然后可以使用图1的系统的处理设备来处理取回到的数据。
一旦生成ULDCT成像数据,则可以通过使CT成像数据通过图像形成链来将其处理为三维图像。这样的图像形成链可以包括用于去噪过程、超分辨率过程和将三维图像转换为二维图像的DRR模拟。图像形成链可以包括过多的参数,这些参数可以被调谐并且影响所得到的DRR图像。从实际角度来看,在无限数量的可能图像上迭代以便识别针对给定情况哪幅图像是最佳的是不可行的。另外,在某种情况下并不总是清楚什么使图像最佳。
在评估医学图像的设置中,这尤其相关,因为不同的放射科医生可能对他们发现图像的哪些方面相关有不同的意见。此外,这种专业知识并不总是容易获得的。在使用疾病分类的AI时,“昂贵的”医疗专业知识的问题是众所周知的。
因此,本发明的一个实施例使用将图像形成链链接到预训练的疾病分类模型的AI模型。然后可以评估和优化修改图像形成链中的可调谐参数的效果。因此,预训练的疾病分类模型可以评估将三维CT图像变换为二维图像的第一次尝试,并且相应地对图像进行分类。然后,所述方法可以修改图像形成链中的可调谐参数,并且使用与所识别的疾病相关联的经调谐参数来重新处理投影数据或3-D图像。
图1是根据本发明的一个实施例的系统100的示意图。如图所示,系统100通常包括处理设备110和成像设备120。
处理设备110可以将处理例程应用于从图像设备120接收的图像或测量数据,例如投影数据。处理设备110可以包括存储器113和处理器电路111。存储器113可以存储多个指令。处理器电路111可以耦合到存储器113,并且可以被配置为执行指令。存储在存储器113中的指令可以包括处理例程以及与处理例程相关联的数据,诸如机器学习算法和用于处理图像的各种滤波器。
处理设备110还可以包括输入部115和输出部117。输入部115可以从成像设备120接收信息,诸如3-D图像或投影数据。输出部117可以向用户或用户接口设备输出信息,诸如经滤波的图像或经转换的二维图像。所述输出部可以包括监视器或显示器。
在一些实施例中,处理设备110可以直接涉及成像设备120。在备选实施例中,处理设备110可以不同于成像设备120,使得处理设备110通过网络或输入部115处的其他接口接收用于处理的图像或测量数据。
在一些实施例中,成像设备120可以包括图像数据处理设备,即,用于在扫描对象(例如,患者)时生成投影数据的光谱或常规CT扫描单元。在一些实施例中,成像设备120可以是被配置用于生成螺旋扫描的常规CT扫描单元。
图2图示了根据本发明的一个实施例的示例性成像设备200。应当理解,尽管示出了CT成像设备200,并且以下讨论通常在CT图像的背景下,但是可以在其他成像设备的背景下应用类似的方法,并且可以以各种方式采集可以应用这些方法的图像。
在根据本发明的实施例的成像设备200中,CT扫描单元可以适于执行对象的一个或多个轴向扫描和/或螺旋扫描,以便生成CT投影数据。在根据本发明的实施例的成像设备200中,CT扫描单元可以包括能量分辨光子计数和/或光谱双层图像探测器。也可以使用其他探测器设置来采集光谱内容。CT扫描单元可以包括辐射源,所述辐射源在采集投影数据时发射用于横穿对象的辐射。
在图2所示的示例中,CT扫描单元200(例如,CT扫描器)可以包括固定机架202和旋转机架204,旋转机架204可以由固定机架202可旋转地支撑。当采集投影数据时,旋转机架204可以围绕对象(患者)的检查区域206关于纵向轴旋转。CT扫描单元200可以包括工作台或支撑物207,以在检查区域206中支撑患者,并且被配置为在成像过程期间使患者穿过检查区域。
CT扫描单元200可以包括辐射源208,诸如X射线管,其可以由旋转机架204支撑并且被配置为与旋转机架204一起旋转。辐射源208可以包括阳极和阴极。跨阳极和阴极施加的源电压可以使电子从阴极加速到阳极。电子流可以提供从阴极到阳极的电流,以便产生用于横穿检查区域206的辐射。
CT扫描单元200可以包括探测器210。探测器210可以相对于辐射源208对着与检查区域206相对的角弧。探测器210可以包括一维或二维像素阵列,例如直接转换探测器像素。探测器210可以适于探测横穿检查区域206的辐射并且适于生成指示其能量的信号。
CT扫描单元200可以包括生成器211和213。生成器211可以基于来自探测器210的信号来生成投影数据209。生成器213可以接收投影数据209,并且在一些实施例中,基于投影数据209来生成对象的三维图像311。在一些实施例中,投影数据209可以被提供给处理设备110的输入部115,而在其他实施例中,3-D图像311被提供给处理设备的输入部。
图3图示了用于本发明的一个实施例的方法/装置中的图像形成链。图4图示了用于实施本发明的一个实施例的方法的模型结构的示意性概述。图5是图示根据本发明的一个实施例的方法的流程图。
如图所示,根据一个实施例的方法,CT数据被处理为图像,并且通常包括取回(500)从关于中心轴的多个角度采集的投影数据。
因此,在图2的成像设备200的背景下,对象可以是支撑物207上的患者,并且中心轴可以是穿过检查区域的轴。在从成像设备200采集投影数据的情况下,旋转机架204然后可以关于对象的中心轴旋转,从而从各种角度采集投影数据。
一旦被采集,投影数据被处理以重建(510)3D图像300,其然后被处理(520)。
应当理解,尽管重建(510)和处理(520)被指示为不同的过程,但是重建本身可以是将投影数据实际处理为3D图像。类似地,重建可以是这种处理的一部分。这种重建(510)可以通过使用标准重建技术,例如通过滤波反投影。
如图3和图5所示,处理(520)可以包括去噪310(523),其可以例如通过神经网络或其他算法,诸如基于AI的学习算法。在所示的示例中,去噪310(523)是通过先前在适当图像上训练的卷积神经网络(CNN)。例如,在CT成像具有噪声的情况下,如在ULDCT图像的情况下,可以利用这样的去噪过程310(523)。然后去噪过程(523)可以产生去噪或部分去噪的3-D图像320。
去噪过程310(523)可以是结合允许其很好地推广到不同对比度、解剖结构、重建滤波器和噪声水平的特征的过程。这种去噪过程310可以补偿ULDCT图像中固有的高噪声水平。去噪过程310(523)包括使用具有至少一个可调谐参数的去噪算法对成像数据进行去噪。在初始处理(520)期间,可调谐参数通常被设置为第一值。第一值可以基于通用或非疾病图像,或者它可以基于与CT成像相关联的预期疾病。
在附图所示的示例中,三维图像的处理(520)还可以包括超分辨率过程330(526)的实施。如在去噪过程310的情况下,超分辨率过程330(526)可以通过神经网络或其他算法,例如基于AI的学习算法,例如CNN。在一些实施例中,超分辨率过程330可以包括图像的去模糊。超分辨率过程330产生较高分辨率三维图像340。
超分辨率过程330通常将图像内插到较小的体素尺寸,同时保持感知图像清晰度或改善感知图像清晰度。备选地,超分辨率过程330可以对固定体素尺寸进行操作,并且执行类似解卷积的操作,以便从模糊图像恢复较高分辨率。可以在真实CT图像(包括ULDCT图像)或更通用的图像材料(诸如自然高分辨率照片)上训练基于AI的超分辨率过程330。超分辨率过程330(526)可以包括使用具有至少一个可调谐参数的超分辨率算法来执行基于AI的超分辨率过程。在初始处理(520)期间,可调谐参数通常被设置为第一值。第一值可以基于通用或非疾病图像,或者它可以基于与CT成像相关联的预期疾病。
在附图所示的实施例中,依次应用去噪过程310(523)和超分辨率过程330(526)两者。然而,应当理解,两个过程都可以并入单个神经网络中,诸如CNN。此外,尽管两个过程310、330被示出为应用于3D图像300,但是在一些实施例中,在重建(510)之前可以将所述过程直接应用于投影数据。此外,在一些实施例中,可以将一个或两个过程310、330应用于垂直于投影方向的三维CT成像数据集中的二维平面,以用于生成下面讨论的二维图像。
在一些实施例中,处理还可以包括识别(530)3D图像中的至少一个物理元素。一旦被识别(530),3-D图像的物理元素则可以被移除或掩蔽(535)。通过在生成2-D图像之前移除或掩蔽(535)元素,可以从根据投影数据生成的模拟X射线中移除这样的物理元素。
所识别的物理元素(530)可以是解剖元素,诸如一个或多个肋骨或心脏。例如,通过从模拟X射线中移除这样的解剖元素,观察图像的放射科医生可能更容易看到其他感兴趣解剖元素,并且模拟X射线可以示出患者胸腔的切口,而不妨碍肋骨。
备选地,所识别的物理元件(530)可以是工作台或支撑物207或植入物。通常从躺在工作台或支撑物207上的患者采集CT成像数据,如在上述成像设备200中。相比之下,通常从站立的患者采集常规平面X射线。因此,通过移除支撑物207,模拟X射线对于观察图像的放射科医生来说看起来更自然。类似地,移除植入物可提供患者的解剖结构的更好视图。
在一些实施例中,并非移除所识别的物理元素(530),而是可以对物理元素进行加权。类似地,三维图像300的不同部分可以以不同方式进行加权。识别(530)的物理元素的移除、遮蔽或加权可以基于具有可调谐参数的算法。因此,并且如在去噪(523)和超分辨率(526)处理的背景下所讨论的,可以在初始处理之前为可调谐参数提供第一值。
在处理3-D图像(520)之后,所述方法继续基于三维图像来生成二维图像350(540)。尽管这可以以多种方式执行,但是在一些实施例中,二维图像350的这种生成是通过跟踪来自三维图像的对象外部的模拟辐射源的X射线。例如,这样的X射线跟踪过程可以通过实现Siddons-Jacobs射线跟踪算法。
一旦生成二维图像350,所述方法则继续识别二维图像中表示的疾病(550)。这样的识别可以通过使用预训练的疾病分类网络360。这样的网络可以被配置为分辨与出现在二维图像350中的特定解剖结构相关的特异性疾病集合。例如,可以利用疾病分类网络360处理胸部成像,所述疾病分类网络被训练以识别心脏肥大370、肺气肿380和个体结节380。因此,可以基于潜在疾病来先前训练疾病分类模型。除了识别特异性疾病之外,网络360可以被设计为输出识别的附加参数,诸如结果中的不确定性程度。因此,在生成更新的二维图像540之前掩蔽三维图像的部分的实施例中,参数以结果中的这种不确定性为基础可以是有意义的,因为结节可以被识别但部分隐藏。
在识别二维图像350中表示的疾病时,所述方法通过1)将投影数据重建为3-D图像或2)在图像域中处理原始重建的3-D图像(而不需要在投影域中重建)来重新校准(560)图像形成链。这产生更新的3-D图像。这种重新校准基于所识别的疾病(550)和/或预训练的疾病分类网络360的输出。这种重新校准包括修改图像的处理(520)的某部分,使得重新处理的至少一个参数基于所识别的疾病(550)和/或网络360的输出。例如,在一些实施例中,除了实际所识别的疾病之外,重新校准可以考虑疾病分类网络的报告的不确定性。
如上所述,图像的处理(520)可以包括去噪(523)和/或超分辨率过程(526)。如上所述,去噪(523)可以利用具有可调谐参数的去噪算法。然后,图像形成链的重新校准(560)可以包括提供针对去噪算法(523)的可调谐参数的第二值,其不同于第一值。则第二值可以基于所识别的疾病(550)。类似地,超分辨率过程(526)可以利用具有可调谐参数的超分辨率算法。图像形成链的重新校准(560)则可以包括提供针对超分辨率算法(526)的可调谐参数的第二值,其不同于第一值。如在去噪算法的情况下,第二值可以基于所识别的疾病(550)。
类似地,在物理元素被识别(530)和移除、掩蔽或加权(535)的实施例中,图像形成链的校准(560)可以设置用于控制识别、移除、掩蔽或加权的算法的可调谐参数。这样,尽管可调谐参数最初可以被提供具有第一值,但是校准(560)可以将其设置为不同于第一值的第二值。这样,至少一个物理元素的移除或掩蔽可以基于识别(550)二维图像中表示的疾病。
一旦生成2-D图像(540)(如经由图像形成链校准的并且基于至少一个更新的参数),则所述方法继续向用户呈现更新的2-D图像(570)。
图6图示了应用于三维图像300以便生成二维图像350(540)的射线跟踪过程的实施方式。然后,射线跟踪过程可以通过模拟X射线345的过程来进行,所述过程通过使来自模拟辐射源600的入射X射线光子传播通过重建的三维图像300来进行。可以通过神经网络(诸如CNN)的方式来生成二维图像350,并且在这种情况下,CNN可以结合本文讨论的去噪和超分辨率过程中的一个或多个。这样的神经网络可以是生成对抗网络(GAN)。在这样的实施例中,本文描述的许多或所有步骤可以被并入到单个网络中,使得向网络提供CT体积数据,并且输出模拟CXR投影。
在一些实施例中,可以基于具有可调谐参数的算法(诸如利用CNN的算法)来生成二维图像(540)。这样的CNN可以是被配置为生成数字重建放射摄影(DRR)的网络。如在去噪算法(523)和超分辨率算法(526)的可调谐参数的情况下,可以在二维图像的初始生成(540)期间向这种可调谐参数提供第一值。在这样的实施例中,在识别疾病(550)并校准图像形成链(560)之后并且在图像的重新处理期间,所述方法可以基于针对可调谐参数的第二值来生成更新的二维图像,所述第二值基于对二维图像中表示的疾病的识别。
在一些实施例中,可以调整射线跟踪过程(540)的投影角度或取向,以便改进产生的二维图像350。类似地,可以调整三维图像300中的物理元素的加权,以便改进产生的二维图像350。这样的特性可以由至少一个可调谐参数来控制,所述至少一个可调谐参数可以由校准过程(560)来设置。
图7是图示根据本发明的用于训练图像形成链的方法的流程图。所述方法开始于取回从关于中心轴的多个角度采集的投影数据(700)。因此,这种训练数据的采集类似于上面关于图5(500)所讨论的。
训练数据还包括与其相关联的疾病状态的指示符。疾病状态的这种指示符可以指示特定的疾病,诸如心脏肥大370、肺气肿380和个体结节380的存在。备选地,疾病状态的指示符可以指示训练数据对应于健康解剖结构。
然后,所述方法进行重建(710)并且处理重建的3D图像(720)。图像的处理(720)类似于上面关于图5所讨论的处理,并且沿着类似的图像形成链进行。因此,图像的处理(720)包括去噪(723)和超分辨率过程(726)。这种处理之后是基于训练图像数据生成二维图像(730)。
如上面关于图5所讨论的,并入图像形成链中的过程(包括去噪过程(723)、超分辨率过程(726)和二维图像的生成(730))可以各自结合可调谐参数,所述可调谐参数最初可以被提供具有默认值或第一值。本文描述的用于训练图像形成链的方法可以用于导出针对那些可调谐参数的疾病特异性第二值,以便在识别疾病之后增强图像形成链的输出。
在生成二维图像(730)之后,将先前训练的疾病分类网络应用(740)于二维图像输出,并且用于生成与训练图像数据相关联的疾病分类预测。然后基于先前训练的疾病分类网络的输出和与训练图像数据相关联的疾病状态的指示符来定义损失度量(750)。
损失度量可以对应于分类误差400,分类误差400然后可以被提供给预训练的疾病分类网。然后,可以通过图像形成链反向传播410(图4)这种分类误差,以便识别和细化针对图像形成链的可调谐参数的值。因此,损失度量(750)然后用于调谐(760)训练图像的处理的至少一个参数,以使损失度量最小化。这样,由于基于疾病状态指示符来定义损失度量(750),因此针对特异性疾病状态优化针对由训练方法识别的一个或多个可调谐参数的值。
对于各种特异性疾病状态,训练过程可以在大量训练图像上重复多次。此外,可调谐参数可以是去噪过程310、超分辨率过程330或DRR模拟过程345中的一个中的单个可调谐参数,或者它可以是例如去噪过程310中的第一可调谐参数和超分辨率状态中的第二可调谐参数,每个可调谐参数将由训练方法调谐,以发现理想值。
在一些实施方案中,至少一个参数影响通过使用针对至少一个参数的经调谐的值处理三维图像而生成的输出图像中的解剖结构的抑制。因此,疾病状态的指示符可以指示所识别的疾病的存在,并且损失度量可以优化所识别的疾病的指示符的可见性。例如,损失度量可以优化可调谐参数,以增加结节的可见性。
在一些这样的实施例中,损失度量优化以其他方式被相邻解剖结构遮挡的结节的可见性。这样,经调谐的参数可以产生掩蔽阻塞的解剖结构,诸如例如胸腔。
例如,在胸部成像的背景下,由于薄膜的分辨率、结节的尺寸以及结节被相邻解剖结构遮挡的可能性,众所周知,在胸部X射线中难以识别肺结节。在该实施例中,然后朝向分别通过超分辨率和去噪模块来抑制DRR图像模拟中的相邻解剖结构的遮挡以及增强结节细节和粒度,优化图像形成链。
图像形成链内的各个模型通常可以接受其他各个模型的输出。
预训练的疾病分类网络期望来自其已经被训练的图像的域的图像(或者在这种情况下是DRR)。具体地,这意味着,如果已经在胸部X射线等上训练网络,则从胸部CT扫描提供DRR图像。组合这些特征的附加值是创建针对真实世界应用(诸如疾病分类)优化的模型,所述模型可以同时从3-D图像生成和优化2-D表示。
在一些实施例中,图像形成链可以在两个方向上扩展。在一个实施例中,图像形成链可以包括基于底层三维图像的疾病分类模型。这可以通过将背景信息和空间信息并入给定案例的分类中来补充二维预训练分类模型。类似地,可以扩展图像形成链以包括CT图像的重建,使得可以在重建过程中利用可学习参数。例如,可以针对特异性疾病类别改进个体CT切片的可视化。
本发明的各种实施例可以作为计算机实施的方法在计算机上实现,或者在专用硬件中实现,或者在两者的组合中实现。根据本发明的一个实施例的方法的可执行代码可以被存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地,计算机程序产品可以包括被存储在计算机可读介质上的非暂时性程序代码,用于当程序产品在计算机上执行时执行根据本发明的方法。在一个实施例中,计算机程序可以包括适于当计算机程序在计算机上运行时执行根据本发明的各种实施例的方法的计算机程序代码。计算机程序可以体现在计算机可读介质上。
尽管已经相对于若干所描述的实施例在一定篇幅上并且在一定程度上具体地描述了本发明,但是不旨在将其限制于任何这样的细节或实施例或任何特定实施例,而是将参考所附权利要求来解释,以便鉴于现有技术提供对这样的权利要求的最广泛的可能解释,并且因此有效地涵盖本发明的预期范围。
本文所述的所有示例和条件语言旨在用于教学目的,以帮助读者理解本发明的原理和发明人为促进本领域所贡献的概念,并且应被解释为不限于此类具体列举的示例和条件。此外,本文中叙述本发明的原理、方面和实施例以及其具体示例的所有陈述旨在涵盖其结构和功能等同物。另外,这些等同物旨在包括当前已知的等同物以及将来开发的等同物二者,即,被开发执行相同功能的任何元件,无论结构如何。
Claims (20)
1.一种用于处理医学计算机断层摄影(CT)数据的计算机实施的方法,包括:
取回通过扫描对象采集的投影数据;
处理所述投影数据以重建三维图像;
基于所述三维图像来生成二维图像;
识别所述二维图像中的疾病或对所述疾病的识别中的不确定性;
将所述投影数据或所述三维图像重新处理为更新的三维图像,其中,所述重新处理的至少一个参数基于所述疾病或对所述疾病的所述识别中的所述不确定性;以及
基于所述更新的三维图像来生成更新的二维图像。
2.根据权利要求1所述的方法,其中,由神经网络执行生成所述二维图像。
3.根据权利要求1所述的方法,其中,由神经网络执行重新处理所述投影数据或所述三维图像。
4.根据权利要求1所述的方法,还包括使用针对所述至少一个参数的第一值对所述三维图像进行去噪。
5.根据权利要求4所述的方法,还包括使用针对所述至少一个参数的第二值对所述更新的三维图像进行去噪,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
6.根据权利要求1所述的方法,还包括使用针对所述至少一个参数的第一值将基于人工智能(AI)的超分辨率应用于所述三维图像,使得所述三维图像产生高分辨率图像。
7.根据权利要求6所述的方法,还包括使用针对所述至少一个参数的第二值将所述基于AI的超分辨率应用于所述更新的三维图像,使得所述更新的三维图像产生另一高分辨率图像,其中,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
8.根据权利要求1所述的方法,还包括由经训练的卷积神经网络(CNN)对所述三维图像和/或所述更新的三维图像进行去噪。
9.根据权利要求1所述的方法,其中,生成所述二维图像包括使用数字重建放射摄影(DRR)网络,所述数字重建放射摄影(DRR)网络使用针对所述至少一个参数的第一值。
10.根据权利要求9所述的方法,其中,生成所述更新的二维图像包括使用所述DRR网络,所述DRR网络使用针对所述至少一个参数的第二值,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
11.根据权利要求1所述的方法,还包括识别所述三维图像和/或所述更新的三维图像中的至少一个物理元素,并且在生成输出图像之前移除或掩蔽所述至少一个物理元素。
12.根据权利要求11所述的方法,其中,所述至少一个物理元素是多个肋骨或心脏。
13.根据权利要求11所述的方法,其中,移除或掩蔽所述至少一个物理元素基于所述二维图像中的所述疾病或对所述疾病的所述识别的所述不确定性。
14.根据权利要求1所述的方法,其中,识别所述疾病包括使用经训练的疾病分类模型。
15.一种用于处理医学计算机断层摄影(CT)数据的系统,包括:
存储器,其存储多个指令;以及
处理器,其耦合到所述存储器,并且被配置以运行所述多个指令以:
取回通过扫描对象采集的投影数据;
处理所述投影数据以重建三维图像;
基于所述三维图像来生成二维图像;
识别所述二维图像中的疾病或对所述疾病的识别中的不确定性;
将所述投影数据或所述三维图像重新处理为更新的三维图像,其中,所述重新处理的至少一个参数基于所述疾病或对所述疾病的所述识别中的所述不确定性;以及
基于所述更新的三维图像来生成更新的二维图像。
16.根据权利要求15所述的系统,其中,由神经网络执行生成所述二维图像和重新处理所述投影数据或所述三维图像。
17.根据权利要求15所述的系统,其中,使用针对所述至少一个参数的第一值对所述三维图像进行去噪,并且其中,使用针对所述至少一个参数的第二值对所述更新的三维图像进行去噪,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
18.根据权利要求15所述的系统,其中,由经训练的卷积神经网络(CNN)对所述三维图像和/或所述更新的三维图像进行去噪。
19.根据权利要求15所述的系统,其中,由数字重建放射摄影(DRR)网络使用针对所述至少一个参数的第一值来生成所述二维图像,并且其中,由所述DRR网络使用针对所述至少一个参数的第二值来生成所述更新的二维图像,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
20.根据权利要求15所述的系统,其中,使用针对所述至少一个参数的第一值将基于人工智能(AI)的超分辨率应用于所述三维图像,使得所述三维图像产生高分辨率图像,并且其中,使用针对所述至少一个参数的第二值将所述基于AI的超分辨率应用于所述更新的三维图像,使得所述更新的三维图像产生另一高分辨率图像,其中,所述第二值基于所述疾病或对所述疾病的所述识别中的所述不确定性。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263402981P | 2022-09-01 | 2022-09-01 | |
| US63/402,981 | 2022-09-01 | ||
| US202363450987P | 2023-03-09 | 2023-03-09 | |
| US63/450,987 | 2023-03-09 | ||
| PCT/EP2023/071703 WO2024046711A1 (en) | 2022-09-01 | 2023-08-04 | Optimizing ct image formation in simulated x-rays |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN119816865A true CN119816865A (zh) | 2025-04-11 |
Family
ID=87571443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380062951.9A Pending CN119816865A (zh) | 2022-09-01 | 2023-08-04 | 在模拟x射线中优化ct图像形成 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4581566A1 (zh) |
| JP (1) | JP2025528361A (zh) |
| CN (1) | CN119816865A (zh) |
| WO (1) | WO2024046711A1 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220180447A1 (en) * | 2019-05-16 | 2022-06-09 | Retrace Labs | Artificial Intelligence Platform for Dental Claims Adjudication Prediction Based on Radiographic Clinical Findings |
| JP7313192B2 (ja) * | 2019-05-27 | 2023-07-24 | キヤノンメディカルシステムズ株式会社 | 診断支援装置、及び、x線ct装置 |
| KR102389628B1 (ko) * | 2021-07-22 | 2022-04-26 | 주식회사 클라리파이 | 의료영상의 병변 특징에 따른 영상처리 장치 및 방법 |
-
2023
- 2023-08-04 JP JP2025510284A patent/JP2025528361A/ja active Pending
- 2023-08-04 EP EP23754230.3A patent/EP4581566A1/en active Pending
- 2023-08-04 CN CN202380062951.9A patent/CN119816865A/zh active Pending
- 2023-08-04 WO PCT/EP2023/071703 patent/WO2024046711A1/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025528361A (ja) | 2025-08-28 |
| EP4581566A1 (en) | 2025-07-09 |
| WO2024046711A1 (en) | 2024-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7234064B2 (ja) | 反復的画像再構成フレームワーク | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| JP7150837B2 (ja) | 機械学習を使用した画像生成 | |
| CN110462689B (zh) | 基于深度学习的断层摄影重建 | |
| US12182970B2 (en) | X-ray imaging restoration using deep learning algorithms | |
| US6751284B1 (en) | Method and system for tomosynthesis image enhancement using transverse filtering | |
| US12493799B2 (en) | Learning apparatus, method, and program, image generation apparatus, method, and program, trained model, virtual image, and recording medium | |
| US20230274473A1 (en) | Artificial intelligence based 3d reconstruction | |
| WO2022008363A1 (en) | 3d-cnn processing for ct image noise removal | |
| CN115943420A (zh) | 图像处理装置、图像处理方法、训练装置、训练方法、以及程序 | |
| EP4235581A1 (en) | Medical image processing method, medical image processing apparatus, program, method for producing a trained machine learning model, apparatus for producing a trained machine learning model and computer-readable storage medium | |
| US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
| US7978886B2 (en) | System and method for anatomy based reconstruction | |
| JP7566696B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
| US20230115941A1 (en) | X-ray diagnostic apparatus and medical information processing method | |
| CN114730476B (zh) | 用于有限角度重建的网络确定的系统和方法 | |
| WO2022212953A1 (en) | Systems and methods for multi-kernel synthesis and kernel conversion in medical imaging | |
| CN119816865A (zh) | 在模拟x射线中优化ct图像形成 | |
| WO2024086197A1 (en) | Machine learning systems and related aspects for three material decomposition using a triple-layer flat-panel detector | |
| CN117958851A (zh) | 在用于x射线成像的深度学习去噪中采用残余噪声的系统和方法 | |
| CN118435228A (zh) | 处理由计算机断层摄影扫描器产生的投影数据 | |
| JP2023167122A (ja) | X線ct装置、および、高画質画像生成装置 | |
| US20250359837A1 (en) | Simulating x-ray from low dose ct | |
| Morovati | Photon-Counting Computed Tomography Image Reconstruction and Data Correction Through Deep Learning Technique | |
| CN119497875A (zh) | 锥形束伪影减少 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |