[go: up one dir, main page]

CN117036426B - 一种基于gan用于igrt精确配准的有限角度cbct重建方法 - Google Patents

一种基于gan用于igrt精确配准的有限角度cbct重建方法

Info

Publication number
CN117036426B
CN117036426B CN202310998718.3A CN202310998718A CN117036426B CN 117036426 B CN117036426 B CN 117036426B CN 202310998718 A CN202310998718 A CN 202310998718A CN 117036426 B CN117036426 B CN 117036426B
Authority
CN
China
Prior art keywords
angle
cbct
limited
image
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310998718.3A
Other languages
English (en)
Other versions
CN117036426A (zh
Inventor
吴战
杨洋
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202310998718.3A priority Critical patent/CN117036426B/zh
Publication of CN117036426A publication Critical patent/CN117036426A/zh
Application granted granted Critical
Publication of CN117036426B publication Critical patent/CN117036426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，包括：临床获取的有限角度CBCT的投影域数据先经FDK算法进行重建恢复，同时将预先得到的计划CT数据作为先验信息，一起进入基于GAN的图像域重建网络，完成有限角CBCT的重建操作以实现IGRT中CBCT与计划CT高质量的配准，此外，作为先验信息的计划CT数据提前与CBCT进行了粗配准操作，可以更好地提升先验信息的质量，避免摆位误差。本发明实现了有限角CBCT的高质量重建以提升IGRT中的配准精度，有效利用了计划CT数据。本发明还设计了一种新的网络模块，用于计划CT与CBCT的多模配准，提升了计划CT作为先验信息的正确性与可靠性。

Description

一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法
技术领域
本发明属于计算机图像处理领域，具体涉及一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法。
背景技术
锥形束计算机断层扫描(CBCT)是一种医学影像技术，在光子和质子治疗的图像引导放射治疗(IGRT)中发挥着重要作用。它用于准确的治疗设置、在线肿瘤和器官定位以及临床实践中的患者剂量计划验证。然而，由于CBCT成像特点的限制，它的运动自由度受限且辐射剂量较高。这限制了对较大解剖区域的覆盖，并增加了基因突变的风险。
目前，有限角度技术在CBCT的IGRT应用中被认为是一种有前景的解决方案。对于临床IGRT而言，有限的扫描角度范围可以有效提高CBCT成像的自由度并减少辐射剂量。这提升了IGRT的图像质量，提高了患者的定位精度，从而最大限度地提高了放射治疗的有效性和安全性。然而，由于投影视图的范围小于精确重建所需的理论要求，重建问题变得非常棘手，导致图像常常出现明显的带状伪影。这严重影响了肿瘤和器官的识别，并进一步阻碍了准确的结构划分和治疗剂量的确定。为了满足有限角度CBCT成像在IGRT中的准确性要求，迫切需要一种强大的有限角度重建算法。目前，研究人员广泛研究有限角度重建作为一个严妥的反问题，其算法可分为基于正则化的方法和基于深度学习的方法。
(1)基于正则化的方法：
基于正则化的方法通过在重建过程中引入额外的先验信息或约束条件，以弥补缺失的投影数据并减少伪影的出现。一种常见的正则化方法是使用正则化函数，例如全变差正则化(Total Variation regularization)，它鼓励重建图像具有较少的突变和边缘。全变差正则化基于图像的梯度信息，使得重建的图像在边缘处具有平滑的特性。通过最小化原始数据拟合项和正则化项之间的加权和，可以得到一种平衡重建质量和平滑度的解。此外，还有其他正则化方法，如总变差正则化、低秩正则化、形态学正则化等，它们在有限角度重建中起到平衡数据拟合和先验信息的作用。基于正则化的方法在有限角度重建中具有一定的优势，能够提供较好的重建质量和伪影抑制效果。然而，选择适当的正则化参数和设计合适的正则化函数仍然是挑战，需要根据具体的应用场景和数据特点进行调整和优化。
(2)基于深度学习的方法：
基于深度学习的图像重建可以分为三类：图像域方法、数据域方法和深度重建方法。图像域方法以质量良好的样本为目标，直接在图像域学习和确定噪声的分布和伪影的程度，达到抑制噪声和伪影的目的。数据域方法尝试直接在投影域处理不理想的正弦图数据。但是与图像域方法相比，数据域的方法效果相对有限。深度重建方法则是以传统重建方法为基础发展起来的，这类方法通过深度神经网络来描述重建的物理和数学模型，替换传统方法中的部分甚至是全部过程。
随着深度学习的进一步发展，为了更好的利用GAN强大的生成能力，基于GAN的条件生成模型被应用到有限角CBCT的重建，并且它们已被证明在有限角CBCT重建的伪影抑制中具有良好的性能。
发明内容
为解决上述问题，本发明公开了一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，充分利用了计划CT中高质量的心眼信息及GAN强大的生成能力，实现了有限角CBCT图像的高质量重建，从而提升了IGRT过程中的配准精度。
为达到上述目的，本发明的技术方案如下：
一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，包括以下步骤：
步骤1：准备训练数据，获得有限角CBCT临床数据与其对应的全角CBCT数据及计划CT数据，所述有限角度是80°；
步骤2：对采集的计划CT数据进行预处理操作并进行有限角伪影模拟；
步骤3：搭建计划CT配准的神经网络模块UMR-Module，以步骤2所得的有限角度计划CT与有限角CBCT作为输入，并设计损失函数对UMR-Module进行训练，经网络处理后获得空间变换参数；
步骤4：依据步骤3获得的空间变换参数对计划CT进行处理，获得配准后的计划CT先验图像；
步骤5：搭建计划CT引导的有限角CBCT重建模块GLA-Module，以步骤4所得的配准后的计划CT及有限角CBCT作为输入，并设计损失函数对GLA-Module进行训练，经网络处理后获得最终的有限角CBCT重建图像；
步骤6：测试与评估，将UMR-Module与GLA-Module级联即位我们提出的完整PLG-Net，在真实数据训练集上训练收敛后的网络，在对应的测试集中进行测试和评估。
进一步的，所述步骤1中,训练数据来自放疗设备实地采集的真实数据。。
进一步的，所述步骤2中，对计划CT进行分辨率调整、等中心校正、区域分割等预处理操作，随后，对计划CT图像按照有限角CBCT图像相同的几何结构进行模拟投影，并进行FDK重建，得到有限角CT图像。FDK算法是基于二维图像重建滤波反投影算法(filteredback projection，FBP)推导和修改而来，其核心依然是Randon变换及其反演和中心切片定理。
进一步的，所述步骤3中，UMR-Module是一种用于不同模态三维图像对无监督配准模块，由两个协作单元构成：T-Unit，R-Unit
(1)T-Unit执行模态间的翻译任务，使得多模态配准任务转变为单模态配准任务，T-Unit遵循类似U-Net的架构，编码器提取与形状相关的特征，解码器基于编码的特征学习翻译过程，以生成目标模态的翻译输出。在模态转换过程中，为了保持解剖一致性的同时实现从计划CT到CBCT的外观转换，我们利用PatchNCE损失来加强形状一致性，利用像素损失来确保图像的外观转换。PatchNCE损失基于对比学习，通过捕捉局部区域之间的对比关系来学习图像表示。具体表达式为：
其中q表示查询补丁，p表示正样本，g表示负样本。N代表负样本的数量。
像素损失计算生成的图像和目标图像在每个像素位置的绝对差值，像素损失使用l1范数计算:
Lpixel(x,y)＝||x-y||1
(2)R-Unit执行配准任务，使用一个三维Swin Transformer架构来实现配准网络，受Transformer在计算机视觉任务中取得巨大成功的启发，Swin Transformer被用于医学图像处理；与典型的ViT不同，Swin Transformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征。此外，在整个配准过程中，仅仅依靠翻译过程中的PatchNCE损失和像素损失无法明确指导注册任务，我们还采用了互信息损失来引导配准过程。互信息丢失度量了不同图像之间的信息相关性，有助于学习图像内部的重要特征，具体表达式为：LMI(x,y)＝H(x)+H(y)-H(x，y)
H(x)和H(y)分别表示变量x和y的熵，H(x，y)表示变量x和y的联合熵，计算公式如下:
H(XY)＝-∑pX,Y(x，y)log pX，Y(x，y)
进一步的，所述步骤4中，具体包括如下过程：步骤3得到了有限角计划CT在x，y，z三个方向的平移量，将这三个平移量作用于计划CT，即可得到配准后的计划CT图像。
进一步的，所述步骤5中，所述步骤5中，GLA-Module由传统的GAN模型改进而来，以有限角CBCT图像作为输入，并将配准后的计划CT图像作为先验图像指导有限角CBCT的重建。对于提出的GLA-Module，损失函数表述为三个损失的组合，具体表达式为：
Ltotal＝LGAN+μL1(Y1，S1)+λLSSIM(Y1，S1)
其中：Y1表示GLA-Module的输出，S1表示对应的地面真实图像。μ和λ是分别是后两项的权重系数。
LGAN损失是网络的对抗性损失：
是训练的鉴别器，是训练的生成器，X表示网络的输入。
L1损失函数是两者的平均绝对值误差：
L1(Y1，S1)＝||Y1-S1||1
LSSIM则是输出与标签之间的SSIM损失，一定程度上可以优化结果的结构信息：
LSSIM＝1-SSIM(Y1，S1)
最终采用上述损失函数对网络进行训练。
步骤6中，在真实数据集上进行了消融实验，并将所提出的方法与现有最先进的方法进行比较；实验结果表明，所提出的PLG-Net优于其他最先进的方法，这表明该方法在有限角CBCT图像重建以实现IGRT中的高质量配准中是有效的。
本发明的有益效果是：
(1)本发明实现了一种基于GAN的由计划CT引导的学习框架，通过同时利用计划CT中高质量的先验信息及GAN强大的生成能力来进行有限角CBCT图像重建，极大补充了有限角度CBCT的缺失数据同时提升了模型的生成能力，从而改善了重建结果。
(2)本发明提出了一个无监督的多模态配准模块UMR-Module，通过将计划CT与有限角度的CBCT进行配准，获得更高质量的先验图像，从而提高了有限角度CBCT的重建质量。
(3)本发明使用了联合训练的方式，通过多个损失函数来同时训练模型，提高了模型的稳定性和泛化能力，能够适用于不同的有限角度数据集和临床应用场景。
附图说明
图1为本发明提供的基于GAN用于IGRT精确配准的有限角度CBCT重建方法整体流程图；
图2为UMR模块中的翻译模块；
图3为UMR模块中的配准模块；
图4为在真实数据集上本发明对有限角CBCT的重建效果与其他算法重建效果的比较图；
图5为在真实数据集上本发明对有限角CBCT的重建结果用于IGRT的配准误差与其他算法效果的比较图。其中x,y,z分别代表三维方向，具体的，横截面为XY平面，冠状面为YZ平面，矢状面为XZ。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供了一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，获得有限角CBCT临床数据与其对应的全角CBCT数据及计划CT数据，所述有限角度是80°，将所得计划CT数据进行预处理，随后与有限角CBCT一起输入UMR-Module进行处理，通过进行无监督多模态配准，获得计划CT的空间变换参数，作用于计划CT，完成计划CT的粗配准，从而避免作为先验信息的计划CT的摆位误差，提升先验信息准确性与可靠性。随后，将计划CT与CBCT作为PLG-Module的输入，通过计划CT引导有限角CBCT的重建，获得最终的重建结果，基于GAN用于IGRT精确配准的有限角度CBCT重建。最终，将该基于GAN用于IGRT精确配准的有限角度CBCT重建结果与使用其他算法得到的结果进行对比，并评估该网络模型的性能。
具体地说，本发明总体流程如附图1所示，包括如下步骤：
步骤1，准备训练数据，获得有限角CBCT临床数据与其对应的全角CBCT数据及计划CT数据，所述有限角度是80°；
步骤2，对采集的计划CT数据进行预处理操作并进行有限角伪影模拟。对计划CT进行分辨率调整、等中心校正、区域分割等预处理操作，随后，对计划CT图像按照有限角CBCT图像相同的几何结构进行模拟投影，并进行FDK重建，得到有限角CT图像。FDK算法是基于二维图像重建滤波反投影算法(filteredbackprojection，FBP)推导和修改而来，其核心依然是Randon变换及其反演和中心切片定理。
步骤3，搭建计划CT配准的神经网络模块UMR-Module，以步骤2所得的有限角度计划CT与有限角CBCT作为输入，并设计损失函数对UMR-Module进行训练，经网络处理后获得空间变换参数。UMR-Module是一种用于不同模态三维图像对无监督配准模块，由两个协作单元构成：T-Unit，R-Unit
(1)T-Unit执行模态间的翻译任务，使得多模态配准任务转变为单模态配准任务，T-Unit遵循类似U-Net的架构，编码器提取与形状相关的特征，解码器基于编码的特征学习翻译过程，以生成目标模态的翻译输出。在模态转换过程中，为了保持解剖一致性的同时实现从计划CT到CBCT的外观转换，我们利用PatchNCE损失来加强形状一致性，利用像素损失来确保图像的外观转换。PatchNCE损失基于对比学习，通过捕捉局部区域之间的对比关系来学习图像表示。具体表达式为：
其中q表示查询补丁，p表示正样本，g表示负样本。N代表负样本的数量。
像素损失计算生成的图像和目标图像在每个像素位置的绝对差值，像素损失使用l1范数计算：
Lpixel(x，y)＝|x-y||1
(2)R-Unit执行配准任务，使用一个三维Swin Transformer架构来实现配准网络，受Transformer在计算机视觉任务中取得巨大成功的启发，Swin Transformer被用于医学图像处理；与典型的ViT不同，Swin Transformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征。此外，在整个配准过程中，仅仅依靠翻译过程中的PatchNCE损失和像素损失无法明确指导注册任务，我们还采用了互信息损失来引导配准过程。互信息丢失度量了不同图像之间的信息相关性，有助于学习图像内部的重要特征，具体表达式为：
LMI(x,y)＝H(x)+H(y)-H(x,y)
H(x)和H(y)分别表示变量x和y的熵，H(x，y)表示变量x和y的联合熵，计算公式如下:
H(XY)＝-∑pX，Y(x，y)log pX，Y(x，y)
步骤4，依据步骤3获得的空间变换参数对计划CT进行处理，获得配准后的计划CT先验图像。具体包括如下过程：步骤3得到了有限角计划CT在x，y，z三个方向的平移量，将这三个平移量作用于计划CT，即可得到配准后的计划CT图像。
步骤5，搭建计划CT引导的有限角CBCT重建模块GLA-Module，以步骤4所得的配准后的计划CT及有限角CBCT作为输入，并设计损失函数对GLA-Module进行训练，经网络处理后获得最终的有限角CBCT重建图像。LA-Module由传统的GAN模型改进而来，以有限角CBCT图像作为输入，并将配准后的计划CT图像作为先验图像指导有限角CBCT的重建。对于提出的GLA-Module，损失函数表述为三个损失的组合，具体表达式为：
Ltotal＝LGAN+μL1(Y1，S1)+λLSSIM(Y1，S1)
其中：Y1表示GLA-Module的输出，S1表示对应的地面真实图像。μ和λ是分别是后两项的权重系数。
LGAN损失是网络的对抗性损失：
是训练的鉴别器，是训练的生成器，X表示网络的输入。
L1损失函数是两者的平均绝对值误差：
L1(Y1，S1)＝||Y1-S1||1
LSSIM则是输出与标签之间的SSIM损失，一定程度上可以优化结果的结构信息：
LSSIM＝1-SSIM(Y1，S1)
最终采用上述损失函数对网络进行训练。
步骤6，测试与评估，将UMR-Module与GLA-Module级联即位我们提出的完整PLG-Net，在真实数据训练集上训练收敛后的网络，在对应的测试集中进行测试和评估，行了消融实验，并将所提出的方法与现有最先进的方法进行比较；实验结果表明，所提出的PLG-Net优于其他最先进的方法，这表明该方法在有限角CBCT图像重建以实现IGRT中的高质量配准中是有效的。
为了验证本发明公开的一种基于GAN用于IGRT精确配准的有限角度CBCT重建算法效果，使用来自临床采集的真实数据。以人体的胸部数据为例进行对比实验，附图4展示了在真实数据上分别使用其他几种最先进的方法与使用本发明的重建算法最终得到的有限角CBCT重建结果的效果对比图，附图5展示了在真实数据上分别使用其他几种最先进的方法与使用本发明的重建算法得到的图像在IGRT配准中的精度对比图，几者比较而言，我们提出的PLG-Net在去除有限角伪影和恢复良好的视觉效果以及应用于IGRT的高质量配准方面是有效的，所提出的PLG-Net在用于IGRT精确配准的有限角度CBCT重建任务中始终优于最先进的方法，重建效果及配准精度得到显著提升，对开展临床医学研究具有深刻的意义。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，其特征在于，包括以下步骤：
步骤1：准备训练数据，获得有限角CBCT临床数据与其对应的全角CBCT数据及计划CT数据，所述有限角度是80°；
步骤2：对采集的计划CT数据进行预处理操作并进行有限角伪影模拟；
步骤3：搭建计划CT配准的神经网络模块UMR-Module，以步骤2所得的有限角度计划CT与有限角CBCT作为输入，并设计损失函数对UMR-Module进行训练，经网络处理后获得空间变换参数；
步骤4：依据步骤3获得的空间变换参数对计划CT进行处理，获得配准后的计划CT先验图像；
步骤5：搭建计划CT引导的有限角CBCT重建模块GLA-Module，以步骤4所得的配准后的计划CT及有限角CBCT作为输入，并设计损失函数对GLA-Module进行训练，经网络处理后获得最终的有限角CBCT重建图像；
GLA-Module以有限角CBCT图像作为输入，并将配准后的计划CT图像作为先验图像指导有限角CBCT的重建；对于提出的GLA-Module，损失函数表述为三个损失的组合，具体表达式为：
Ltotal＝LGAN+μL1(Y1，S1)+λLSSIM(Y1，S1)
其中：Y1表示GLA-Module的输出，S1表示对应的地面真实图像；μ和λ是分别是后两项的权重系数；
LGAN损失是网络的对抗性损失：
是训练的鉴别器，是训练的生成器，X表示网络的输入；
L1损失函数是两者的平均绝对值误差：
L1(Y1,S1)＝||Y1-S1||1
LSSIM则是输出与标签之间的SSIM损失，优化结果的结构信息：
LSSIM＝1-SSIM(Y1，S1)最终采用上述损失函数对网络进行训练；
步骤6：测试与评估，将UMR-Module与GLA-Module级联即为完整PLG-Net，在真实数据训练集上训练收敛后的网络，在对应的测试集中进行测试和评估。
2.根据权利要求1所述的一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，其特征在于，所述步骤1中，训练数据来自放疗设备实地采集的真实数据。
3.根据权利要求1所述的一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，其特征在于，所述步骤2中，对计划CT进行分辨率调整、等中心校正、区域分割这些预处理操作，随后，对计划CT图像按照有限角CBCT图像相同的几何结构进行模拟投影，依据FDK算法并进行FDK重建，得到有限角CT图像。
4.根据权利要求1所述的一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，其特征在于，所述步骤3中，UMR-Module是一种三维图像无监督配准模块，由两个协作单元构成：T-Unit，R-Unit
(1)T-Unit执行模态间的翻译任务，使得多模态配准任务转变为单模态配准任务，T-Unit遵循U-Net的架构，编码器提取与形状相关的特征，解码器基于编码的特征学习翻译过程，以生成目标模态的翻译输出；在模态转换过程中，利用PatchNCE损失来加强形状一致性，利用像素损失来确保图像的外观转换；PatchNCE损失基于对比学习，通过捕捉局部区域之间的对比关系来学习图像表示；具体表达式为：
其中q表示查询补丁，p表示正样本，g表示负样本；N代表负样本的数量；
像素损失计算生成的图像和目标图像在每个像素位置的绝对差值，像素损失使用l1范数计算:
Lpixel(x,y)＝||x-y||1
(2)R-Unit执行配准任务，使用一个三维Swin Transformer架构来实现配准网络，引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征；此外，在整个配准过程中，除了靠翻译过程中的PatchNCE损失和像素损失，还采用了互信息损失来引导配准过程；互信息损失度量了不同图像之间的信息相关性，有助于学习图像内部的重要特征，具体表达式为：
LMI(x,y)＝H(x)+H(y)-H(x,y)
H(x)和H(y)分别表示变量x和y的熵，H(x，y)表示变量x和y的联合熵，计算公式如下:
H(XY)＝-ΣpX,Y(x,y)log pX,Y(x,y)。
5.根据权利要求1所述的一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法，其特征在于，所述步骤4中，具体包括如下过程：步骤3得到了有限角计划CT在x，y，z三个方向的平移量，将这三个平移量作用于计划CT，即可得到配准后的计划CT图像。
CN202310998718.3A 2023-08-09 2023-08-09 一种基于gan用于igrt精确配准的有限角度cbct重建方法 Active CN117036426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310998718.3A CN117036426B (zh) 2023-08-09 2023-08-09 一种基于gan用于igrt精确配准的有限角度cbct重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310998718.3A CN117036426B (zh) 2023-08-09 2023-08-09 一种基于gan用于igrt精确配准的有限角度cbct重建方法

Publications (2)

Publication Number Publication Date
CN117036426A CN117036426A (zh) 2023-11-10
CN117036426B true CN117036426B (zh) 2025-09-30

Family

ID=88638538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310998718.3A Active CN117036426B (zh) 2023-08-09 2023-08-09 一种基于gan用于igrt精确配准的有限角度cbct重建方法

Country Status (1)

Country Link
CN (1) CN117036426B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311381A (zh) * 2022-08-24 2022-11-08 东南大学 一种基于先验图像约束的自适应步长锥束ct有限角重建算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593976B2 (en) * 2017-01-09 2023-02-28 Carestream Dental Technology Topco Limited System for the detection and display of metal obscured regions in cone beam CT

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311381A (zh) * 2022-08-24 2022-11-08 东南大学 一种基于先验图像约束的自适应步长锥束ct有限角重建算法

Also Published As

Publication number Publication date
CN117036426A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
Zhang et al. Improving CBCT quality to CT level using deep learning with generative adversarial network
Gao et al. Streaking artifact reduction for CBCT‐based synthetic CT generation in adaptive radiotherapy
CN113205567A (zh) 基于深度学习的mri影像合成ct影像的方法
CN115908610B (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
Dong et al. A deep unsupervised learning framework for the 4D CBCT artifact correction
CN113052935B (zh) 渐进式学习的单视角ct重建方法
CN103034989A (zh) 一种基于优质先验图像的低剂量cbct图像去噪方法
Zhang et al. XTransCT: ultra-fast volumetric CT reconstruction using two orthogonal x-ray projections for image-guided radiation therapy via a transformer network
Hindley et al. A patient-specific deep learning framework for 3D motion estimation and volumetric imaging during lung cancer radiotherapy
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Xie et al. Contextual loss based artifact removal method on CBCT image
Zhang et al. Mapping in cycles: Dual-domain pet-ct synthesis framework with cycle-consistent constraints
Liu et al. Attention based cross-domain synthesis and segmentation from unpaired medical images
Lee et al. Improvement of megavoltage computed tomography image quality for adaptive helical tomotherapy using cycleGAN‐based image synthesis with small datasets
Hu et al. Synthetic CT generation based on CBCT using improved vision transformer CycleGAN
Zhang et al. Breath-hold CBCT-guided CBCT-to-CT synthesis via multimodal unsupervised representation disentanglement learning
Tao et al. Prior image-constrained iterative reconstruction with adaptive step size for limited-angle CBCT
Sun et al. Pseudo-medical image-guided technology based on'CBCT-only'mode in esophageal cancer radiotherapy
CN117036426B (zh) 一种基于gan用于igrt精确配准的有限角度cbct重建方法
Pan et al. Data-driven volumetric computed tomography image generation from surface structures using a patient-specific deep leaning model
CN117635750A (zh) 一种基于旋转等变so(3)群卷积神经网络的pet/ct影像呼吸运动伪影校正方法
Zhang et al. DR-only Carbon-ion radiotherapy treatment planning via deep learning
Cao et al. MBST-Driven 4D-CBCT reconstruction: Leveraging swin transformer and masking for robust performance
Yuan et al. WUTrans: Whole-spectrum unilateral-query-secured transformer for 4D CBCT reconstruction
CN117475075A (zh) 一种基于任意角度x射线影像的ct重建和肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant