CN120496814B - 基于多模态深度学习的卵巢附件肿瘤风险分级系统 - Google Patents

Abstract

本发明涉及肿瘤风险评估技术领域，公开一种基于多模态深度学习的卵巢附件肿瘤风险分级系统，包括：多模态数据采集模块：获取卵巢附件肿瘤患者的超声影像数据、CA125血清浓度数据及金标准数据；超声影像分割模块，采用自适应双向位移进行超声影像病灶区域的自动定位与结构化分割；多模态特征提取模块，根据分割图像的病灶区域掩码提取O‑RADS向量和CEUS向量，以及对CA125血清浓度数据进行数值归一化处理得到标准化特征向量；多模态特征融合模块进行特征融合，得到OCC‑US向量表示；风险分级决策模块，用于对OCC‑US向量表示分类，输出OCC‑US评分及良恶性风险等级。本发明提高了卵巢附件肿瘤的诊断精度和可靠性。

Description

基于多模态深度学习的卵巢附件肿瘤风险分级系统

技术领域

本发明涉及肿瘤风险评估技术领域，尤其涉及一种基于多模态深度学习的卵巢附件肿瘤风险分级系统。

背景技术

卵巢附件肿瘤的早期诊断对于患者的预后和治疗至关重要。然而，当前的诊断方法，尤其是基于O-RADS（Ovarian-Adnexal Reporting and Data System，卵巢-附件报告与数据系统）、CEUS（Contrast-Enhanced Ultrasound，对比增强超声）和CA125（血清肿瘤标志物）的联合使用，仍面临一些挑战。这些挑战包括低特异性导致的假阳性、病灶边界模糊导致的误判、以及各模态之间的不一致性。尤其在图像质量不高、病灶表现不典型、以及生化标志物的波动性较大的情况下，传统的诊断方法往往难以提供足够的区分度。

因此，迫切需要一种新型的智能诊断系统，能够有效地融合多源异构医学数据，并通过自适应学习和高鲁棒性的分割策略，提高卵巢附件肿瘤的诊断精度和可靠性。这不仅要求能精准地识别病灶区域，还要求能够处理和融合不同类型的医学信息，从而实现对肿瘤风险的准确分级和预测。

发明内容

本发明的主要目的是为了解决现有卵巢附件肿瘤诊断方法存在的局限性，提出一种基于多模态深度学习的风险分级系统，通过融合多源异构医学数据，并通过自适应学习和高鲁棒性的分割策略，提高了卵巢附件肿瘤的诊断精度和可靠性，实现对肿瘤风险的准确分级和预测。

为实现上述目的，通过如下技术方案实现：

一种基于多模态深度学习的卵巢附件肿瘤风险分级系统，包括：

多模态数据采集模块，用于获取卵巢附件肿瘤患者的超声影像数据、CA125血清浓度数据及金标准数据；

超声影像分割模块，用于针对预处理后的超声影像数据，采用自适应双向位移进行超声影像病灶区域的自动定位与结构化分割，输出每张图像中卵巢附件肿瘤的病灶区域掩码；

多模态特征提取模块，用于根据所述每张图像中卵巢附件肿瘤的病灶区域掩码提取B超图像的O-RADS特征向量和CEUS图像的动态特征向量，以及对所述CA125血清浓度数据进行数值归一化处理得到标准化特征向量；

多模态特征融合模块，用于采用融合自注意力与交叉注意力机制的双分支融合策略，对所述B超图像的O-RADS特征向量、所述CEUS图像的动态特征向量和所述标准化特征向量进行特征融合，得到OCC-US向量表示；

风险分级决策模块，用于将融合后的OCC-US向量表示输入分类器，输出OCC-US评分及良恶性风险等级，并利用强化学习动态优化评分决策。

进一步的，所述超声影像分割模块，包含：

自监督引导单元（ABD-R），用于对未标注超声图像生成弱增强与强增强样本，通过补丁级置信度评估与语义匹配，将低置信度区域替换为语义相似的高置信度区域，生成增强版训练图像样本；

难样本强化单元（ABD-I），用于对标注超声图像执行逆置信度位移策略，将高置信度区域替换为另一增强视图中的低置信度区域，构造困难版训练图像样本；

分割图生成单元，用于利用所述增强版训练图像样本、所述困难版训练图像样本、原始标注超声图像及其对应的标签同步训练两个结构不同的分割模型，利用两个训练好的分割模型对新输入的超声图像进行推理，输出每张图像中卵巢附件肿瘤的病灶区域掩码。

进一步的，所述自监督引导单元（ABD-R）执行操作包括：

划分未标注超声图像为多个补丁，计算各补丁的平均置信度及类别分布；

筛选置信度最低的补丁作为待替换区域，从语义相似的高置信度补丁中选择替换源；

通过双向位移生成新样本：将弱增强样本的低置信度补丁替换为强增强样本的匹配高置信度补丁，反之亦然。

进一步的，所述难样本强化单元（ABD-I）执行操作包括：

在标注超声图像中定位置信度最高的补丁；

将其替换为同一标注样本对应的另一增强版本中置信度最低的补丁，并同步调整标签掩码；

生成强制模型学习复杂病灶边缘的合成样本，即困难版训练图像样本。

进一步的，所述分割图生成单元训练的两个结构不同的分割模型分别为UNet模型和SwinUNet模型；所述UNet模型和所述SwinUNet模型分别针对新的超声图像分别生成预测图A和预测图B；计算所述预测图A和所述预测图B的平均预测图C；根据平均预测图C进行阈值分割的二值化处理，生成病灶区域和背景区域，然后经过后处理，生成二值分割掩码。

进一步的，所述多模态特征融合模块采用融合自注意力与交叉注意力机制的双分支融合策略，包括：

自注意力（SA）分支，用于通过自注意力机制建模单模态内部特征的空间及时序关联，增强病灶结构感知能力；

交叉注意力（CA）分支，用于通过逆注意力机制聚焦跨模态低相关区域，提取互补特征。

进一步的，所述自注意力（SA）分支执行的操作包括：

将单模态特征张量通过可学习线性变换，分解为查询向量、键向量和值向量；

计算查询向量与键向量的相似度矩阵，经缩放和归一化处理生成注意力权重；

使用注意力权重对值向量进行加权融合，得到增强后的单模态特征；

通过多层感知机进一步提取高阶特征关联，强化单模态内部的结构一致性。

进一步的，所述交叉注意力（CA）分支执行的操作包括：

将第一模态特征作为查询向量，第二模态特征作为键向量和值向量；

计算跨模态相似度矩阵，并采用逆softmax操作生成互补注意力权重；

通过所述互补注意力权重对第二模态特征进行重新加权，聚焦跨模态低相关区域；

输出强化差异信息的跨模态特征，用于解决模态冲突。

进一步的，所述风险分级决策模块将多模态融合特征向量作为输入，系统训练深度分类模型对肿瘤类型进行多级分类，输出良恶性风险等级预测结果：良性、可疑、或者恶性；

当所述良恶性风险等级预测结果为良性，建议随访；当所述良恶性风险等级预测结果为可疑，推荐增强复查；当所述良恶性风险等级预测结果为恶性，建议手术干预。

进一步的，所述利用强化学习动态优化评分决策采用SARSA(λ)算法，包括：

以OCC-US向量为状态，风险等级预测为动作，病理结果一致性为奖励信号；

通过时间差分误差动态更新状态-动作价值函数；

利用资格迹追溯历史决策权重，动态调整所述风险分级决策模块中分类器的参数。

相比于现有技术，本发明取得如下有益效果：

1、本发明提出了一种自适应双向位移（ABD）机制，结合置信度引导策略，实现半监督下的高鲁棒性病灶区域分割。该机制通过基于未标注超声图像的自监督引导（ABD-R）和基于标注超声图像的难样本强化（ABD-I）两个模块的结合，提升了模型对卵巢附件肿瘤的分割精度，特别是在影像质量差或边界模糊的情况下。这种机制能够通过引入不确定区域的标注信息，使得模型在弱标注数据上也能有效学习，提高了分割的稳定性和准确性。

2、本发明提出了基于标注超声图像的难样本强化（ABD-I），采用“逆置信度位移策略”，迫使模型学习原本易忽视的区域。传统的分割方法容易忽视那些边界模糊或特征弱的肿瘤区域，尤其是卵巢附件肿瘤中复杂的混合性肿块。通过逆置信度位移策略，模型能够强制学习这些“困难样本”，从而提高对复杂肿瘤的识别能力。

3、本发明提出了“双分支融合策略”，在多模态数据的基础上分别增强单模态和跨模态特征：SA（Self-Attention）分支增强单模态内部特征的结构感知能力，使得模型能够捕捉同一模态内的局部和全局上下文信息，提升病灶区域的识别精度。CA（Cross-Attention）分支捕捉模态间的互补性，尤其关注不同模态对同一病灶表现的差异性解释，例如CEUS与O-RADS之间的协同关系。这种融合可以有效处理不同模态之间的冲突，并增强模型的诊断能力。

4、本发明提出了逆注意力机制（re-softmax），在跨模态融合中应用逆softmax策略，聚焦于低相关区域，从而增强模型对非典型病灶（如结构不清晰的多房性囊肿）的识别能力。该机制有效抑制了模态间的冗余信息，并强调了那些被传统方法忽视的互补特征。

5、本发明提出了SARSA(λ)算法，通过模拟“诊断-决策-反馈”流程，实现评分系统对误判风险的自适应纠正。这一算法在传统的强化学习框架上进行了优化，能够动态调整评分模型的决策过程，减少误判率，提升诊断系统的长期适应能力。通过模拟临床路径中的反复反馈，模型能够自动纠正早期阶段的错误，提高长期的诊断准确性。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本发明的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1是本发明实施例的一种基于多模态深度学习的卵巢附件肿瘤风险分级系统的模块示意图；

图2是本发明实施例的一种基于多模态深度学习的卵巢附件肿瘤风险分级系统的架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1是本发明实施例的一种基于多模态深度学习的卵巢附件肿瘤风险分级系统的模块示意图；图2是本发明实施例的一种基于多模态深度学习的卵巢附件肿瘤风险分级系统的架构示意图。如图1和图2所示，一种基于多模态深度学习的卵巢附件肿瘤风险分级系统100，包括：

多模态数据采集模块110：用于获取卵巢附件肿瘤患者的超声影像数据、CA125血清浓度数据及金标准数据；

该多模态数据采集模块110用于实现多模态数据采集与标注体系。

（1）多模态数据采集

回顾性收集经病理确诊或长期随访的卵巢附件肿块患者数据（609例样本，按7：1.5：1.5的比例随机划分为训练集、验证集和独立测试集），包含：

超声影像数据：经阴道/腹部超声的B型图像、CEUS造影动态序列（含动脉期、门静脉期影像），使用三星RS80A、GE LOGIQ E10等设备采集，存储于PACS系统。

实验室数据：术前1-14天内检测的CA125血清浓度（阈值≥37.815U/ml作为恶性指标）。

金标准数据：手术病理结果（如浆液性囊腺癌、成熟性畸胎瘤等）和/或随访记录。

（2）多模态数据预处理

影像标准化：对超声图像进行灰度归一化、分辨率统一（如512×512像素），CEUS序列提取峰值强化期（如20s动脉期、42s门静脉期）关键帧。

特征标注：由资深超声医师按ACR O-RADS 2022版标注病灶形态学特征（如囊壁厚度、乳头状突起），CEUS评分（≥4分定义为恶性血管特征），并同步标注CA125数值。

超声影像分割模块120，针对预处理后的超声影像数据，采用自适应双向位移进行超声影像病灶区域的自动定位与结构化分割，输出每张图像中卵巢附件肿瘤的病灶区域掩码；

该超声影像分割模块120用于实现超声影像分割。通过替换图像中模型不可控区域（低置信度补丁），利用另一扰动图像的可靠区域（高置信度且语义相似补丁），生成更具一致性的训练样本。ABD-R利用未标注数据增强泛化性，ABD-I通过逆置信度挖掘标注数据中的难例，形成互补。

在基于多模态深度学习的卵巢附件肿瘤风险分级系统中，超声影像分割作为前置步骤，旨在实现病灶区域的自动定位与结构化分割，为后续O-RADS特征提取和CEUS动态分析提供高质量输入。由于B超图像和CEUS图像均存在灰度模糊、边界不清、病灶异质性强等问题，常规分割方法难以稳定处理。因此，本系统引入一种自适应双向位移（ABD）机制，结合置信度引导策略，实现半监督下的高鲁棒性病灶区域分割。ABD分为两大模块：基于未标注超声图像的自监督引导（ABD-R）和基于标注超声图像的难样本强化（ABD-I）。

进一步的，超声影像分割模块120，包含：

自监督引导单元（ABD-R）121，对未标注超声图像生成弱增强与强增强样本，通过补丁级置信度评估与语义匹配，将低置信度区域替换为语义相似的高置信度区域，生成增强版训练图像样本。进一步的，自监督引导单元（ABD-R）执行操作包括：划分未标注超声图像为多个补丁，计算各补丁的平均置信度及类别分布；筛选置信度最低的补丁作为待替换区域，从语义相似的高置信度补丁中选择替换源；通过双向位移生成新样本：将弱增强样本的低置信度补丁替换为强增强样本的匹配高置信度补丁，反之亦然。更具体的：

（1）基于未标注超声图像的自监督引导（ABD-R）：

考虑临床超声影像数据中存在大量未标注超声图像样本，为提升模型泛化能力，本模块首先对每张未标注超声图像生成一组弱增强与强增强对（如色彩扰动、模糊处理），分别输入两个初始不同的子网络（UNet与Swin-UNet），输出预测概率分布。

：未标注卵巢附件B超图像的弱增强样本（如轻度模糊、亮度扰动处理），用于保留原始病灶结构。：末标注卵巢附件B超图像的强增强样本（如颜色偏移、形态扰动等），用于增强模型对复杂边界或异质性肿块的鲁棒性。：两个初始化不同的语义分割神经网络结构，分别为UNet和SwinUNet，用于对输入图像进行病灶区域的概率预测。：弱增强图像经网络输出的对数概率特征图（未归一化），反映每个像素点属于不同病灶类别的置信程度。：强增强图像经网络输出的对数概率特征图，反映在图像扰动下的分割一致性能力。：将通过softmax激活函数归—化后得到的预测概率图，每个像素点的值表示其属于某一病灶类别的概率。：与，为强增强图像的预测概率图。

随后，将图像划分为多个等大小补丁，并计算每个补丁的平均置信度和类别分布。

：将原始图像均匀划分为多个非重叠补丁后得到的第j个补丁(尺寸为像素），每个补丁用于评估局部区域的预测可信度。G为像素级分类的类别全集：在病灶分割任务中，表示所有需要区分的组织类别，例如在卵巢肿瘤分割中：G= {背景, 囊性肿瘤, 实性肿瘤, 混合性肿瘤}用数学表示：G = {0, 1, 2, 3}，每个数字对应一个类别，如：g=0（背景），表示正常卵巢组织/周边器官；g =1 (囊性肿瘤)，表示纯囊性肿瘤；g=2（实性肿瘤），表示实性恶性肿瘤；g=3（混合性肿瘤），表示囊实混合性肿瘤；等）。：表示在第j个补丁区域内，对类别g的对数预测分数的平均值，衡量局部区域对该类别的偏好；：表示第j个补丁中第m个像素点属于类别g的预测概率，即在中对应像素位置的值。：第j个补丁的平均置信度值，由每个像素点的最大类别概率求平均而得，反映该区域模型预测的可靠程度；值越高表示分类越明确，见于边界清晰的病灶区域。

在此基础上挑选置信度最低的补丁作为“易混淆区域”；从语义最相似的高置信度补丁中选取候选区域。

：在未标注的弱增强图像中，置信度最低的补丁索引，对应模型最不确定的区域，常出现在边界模糊或病灶形态不清的区域。：中置信度排名第i高的补丁索引，i=1表示置信度最高的补丁；此类区域代表卵巢肿瘤结构清晰、模型预测结果稳定的区域。Ind：由中前n个高置信度补丁组成的索引集合，用于在补丁替换中提供语义可靠的候选区域。

利用KL散度进行语义匹配（例如计算两个补丁区域内像素的类别概率分布向量之间的KL散度），并执行双向位移替换操作，即将低置信度补丁替换为语义相似的高置信度补丁，生成新训练样本。

：KL散度函数，用于衡量两个补丁的类别分布差异程度，数值越小表示两个区域在病灶语义上的相似性越高。ind：从中选出，与的低置信度补丁在语义上最相近的高置信度补丁索引；用于“替代”后者，提高模型在异常灌注或非典型边缘区域的表现。ind：从中选出，与的低置信度补丁在语义上最相近的高置信度补丁索引；同样用于辅助生成稳定的训练样本。

生成新样本：（将的低置信度补丁替换为的相似高置信度补丁），反之生成。

：新合成样本中第j个补丁。在补丁索引j等于中置信度最低区域时，该补丁将被中语义相似的高置信度病灶区域所替换，用于“修补”模型预测不确定区域（如囊壁薄弱、边界模糊的肿块）。：新合成样本中第j个补丁。若该位置为中模型预测不可信区域，则用中语义接近的高置信度区域替换，有助于增强模型在图像扰动下对复杂结构（如混合囊实性病灶）的识别稳定性。：表示中置信度最低的补丁索引，对应模型难以识别的区域，如回声不均、血流灌注边界不清的病灶边缘。：在中选择的、与区域语义最相近的高置信度补丁索引，表示模型对该区域识别高度确定，为典型病灶特征区域。

上述操作用于自动将“难以判别的卵巢病灶区域”（如灌注边缘模糊、乳头状突起不明显）用“语义稳定区域”补齐，进而实现模型对复杂或异质性病灶（如边界性肿瘤、混合囊实性病灶）的更强识别能力。此策略可以在无标注监督的情况下，有效提升模型对卵巢囊性、实性、混合性病灶区域的分割鲁棒性。

难样本强化单元（ABD-I）122，对标注超声图像执行逆置信度位移策略，将高置信度区域替换为另一增强视图中的低置信度区域，构造困难版训练图像样本。进一步的，难样本强化单元（ABD-I）执行操作包括：在标注超声图像中定位置信度最高的补丁；将其替换为另一增强视图中置信度最低的补丁，并同步调整标签掩码；生成强制模型学习复杂病灶边缘的合成样本，即困难版训练图像样本。更具体的：

（2）基于标注超声图像的难样本强化（ABD-I）

具体的：在已有标注超声图像中，为提升模型对病灶边缘、微小病变（如乳头状突起、囊壁强化区）等复杂结构的学习能力，本单元采用“逆置信度位移策略”：

识别当前增强图像中预测最稳定的高置信度补丁；使用来自另一增强视图（同一标注样本的另一种增强版本（如弱增强视图对应强增强视图，或反之））中置信度最低的难预测区域替换之。

：在有标签图像中进行的“逆替换样本”。当第j个补丁为中模型识别最确定的区域（即病灶明显、边界清晰区域）时，替换为中最不确定补丁，用于制造训练难例，增强模型对非典型肿瘤结构的学习能力。：与上式方向相反，用的低置信度补丁去替换中的高置信度区域，用以挑战模型在不同增强情况下对微小结构（如乳头突或囊壁钙化）的一致识别能力。：分别表示来自有标签图像的弱增强样本与强增强样本，用于构造对比性学习条件；其来源图像具备明确病理标签（如“浆液性裏腺癌”、“成熟性畸胎瘤”等），可用于监督学习。：表示在中模型识别最为自信的补丁索引，是病灶中心或回声均匀区，对模型训练＂帮助过大＂，需被替换以避免过拟合。：在中最不确定的补丁索引，可能为边界模糊、信号弱或近似正常组织区域，用于强化模型对＂难区＂的学习意愿。

补丁替换策略的本质，是将模型对“易预测区域”的注意力强行迁移至“难预测区域”，从而增强其在卵巢附件肿瘤影像中对“边界模糊”、“灌注不典型”、“组织异质性大”区域的识别鲁棒性。

同步调整标签掩码，保证监督信号一致性。

：来自有标注样本的原始标签图像，每个像素点的值表示其所属类别（如正常附件组织、良性肿块、恶性病灶等），由病理确诊结果配准后生成，作为分割模型的监督信号。：图像中划分得到的第个补丁标签区域，表示与图像补丁对应的分类掩码；每个补丁区域保留了其对应原始病灶类别的分布信息（例如第j个补丁可能覆盖“实性肿瘤边缘”或“血流强化区”）。：针对生成图像所生成的同步伪标签。当j与原始弱增强图像中置信度最高补丁位置一致时（即被著换），将该标签区域换为中置信度最低区域的标签，即使用更难识别的区域标签“覆盖”原本容易区域，引导模型学习复杂结构如乳头状突起、边缘灌注区等。：反向同步生成的伪标签。若第j个补丁正好是中被替换区域（原为高置信度），则将标签换为中模型最不确定的区域标签。模拟灌注动态变化区域或边界模糊区的“错配”，从而增强模型鲁棒性。：在强增强图像中，模型预测置信度最低的补丁索引，常对应图像质量差、对比度低、或病灶特征不明显的区域。：在弱增强图像中，模型预测最不自信的区域索引，常用于替换目标。：著换发生的位置，即在新样本中被更换内容的补丁位置。这些索引确保标签的替换与图像补丁内容的变动位置保持完全一致，防止监督标签与输入图像不匹配。

该操作相当于在训练阶段人为制造“困难样本”，迫使模型学习原本易忽视的区域，提高其在边缘模糊、灌注不均、结构混合等复杂病灶下的识别能力。

分割图生成单元123，用于分割图生成单元，用于利用所述增强版训练图像样本、所述困难版训练图像样本、原始标注超声图像及其对应的标签同步训练两个结构不同的分割模型，以利用不同网络架构学习特征的互补性，利用两个训练好的分割模型对新输入的超声图像进行推理，输出每张图像中卵巢附件肿瘤的病灶区域掩码。

（3）分割模型输出与后处理

完成ABD-R和ABD-I两阶段训练后，系统将输出每张图像中卵巢附件肿瘤的结构化分割图（病灶区域掩码），其分割精度已在预实验中通过Dice系数与IoU指标验证。具体通过比较预测分割图与医生标注的金标准，计算指标：Dice系数：衡量重叠程度（0-1，越高越好）；IoU（交并比）：衡量分割准确性（0-1，越高越好）。

进一步的，分割图生成单元训练的两个分割模型分别为UNet模型和SwinUNet（Swin Transformer-based UNet）模型，输入：ABD-R生成的增强图像 + ABD-I生成的困难图像+原始标注超声图像及其对应的标签；使用标准分割损失函数（Dice Loss）；两个分割模型分别针对新的超声图像分别生成预测图A（概率图）和预测图B（概率图）；计算预测图A和预测图B的平均预测图C = (A + B)/2；根据平均预测图C进行阈值分割的二值化处理（阈值根据平均概率图C设定，如0.5），生成病灶区域和背景区域，包括：病灶区域=平均预测值≥ 0.5的区域，背景区域=平均预测值< 0.5的区域；然后经过后处理，生成二值分割掩码。

其中，后处理包括：去除小噪点（面积<10像素的区域）；填充小孔洞（面积<20像素的空洞）。

通过ABD-R提供更多样的训练图像，帮助模型更好处理模糊边界；ABD-I提供更难的学习样本，提升模型对复杂区域的识别能力。结合两种模型的优势，得到更可靠的分割结果；通过简单后处理来优化分割图的视觉效果，更符合医生预期。最终输出的是清晰的病灶区域二值分割图，可直接用于后续的特征提取步骤。

多模态特征提取模块130，用于根据所述每张图像中卵巢附件肿瘤的病灶区域掩码提取B超图像的O-RADS特征向量和CEUS图像的动态特征向量，以及对所述CA125血清浓度数据进行数值归一化处理得到标准化特征向量；

（1）超声影像特征提取

1）O-RADS特征（结构特征）：采用3D ResNet网络自动识别B型超声中的病灶边界、回声类型、实性成分占比等O-RADS分级关键指标。3D ResNet网络利用其三维卷积能力，不仅提取二维空间特征（如病灶边界形状、囊壁厚度），还可结合多帧图像的深度信息（如探头位移造成的轻微角度变化），实现对病灶空间结构的动态感知。

例如：输入：原始B超图像：512×512像素的灰度图像，分割掩码：ABD模块输出的二值化病灶区域（1：病灶，0：背景）；

处理过程：将分割掩码叠加至原始图像，生成病灶区域聚焦图像（非病灶区域置零）；多帧序列构建：选取探头轻微位移产生的相邻帧（约3-5帧），形成空间序列；3D ResNet处理：输入-空间序列（尺寸：T×512×512×1，T为帧数），通过3D卷积核提取时空联合特征；特征映射：末端全连接层输出结构化向量：[边界清晰度评分, 实性成分占比, 乳头状突起标志, 分隔厚度]。

输出O-RADS特征向量：例如[0.87, 0.35, 1, 2.1mm] （模型预测/提取的量化结果，维度为4维），分别表示：边界模糊度（0-1）、实性成分占比（0-1）、是否存在乳头突起（0/1）、最大分隔厚度（mm）。

2）CEUS特征（血流动力学特征）：采用CNN+BiLSTM网络提取CEUS时序图像的动态灌注模式（强化程度、充盈速度、清除速度）。其中CNN对每帧造影图像提取空间特征，如造影信号分布、灌注亮度与形状变化；BiLSTM利用双向长短期记忆网络，对造影过程中的时间序列进行建模，捕捉灌注的开始时刻、增强高峰、清除过程等动态模式。

例如：输入：CEUS动态序列：动脉期（20s）、门静脉期（42s）关键帧（约10-15帧）；分割掩码：同一病灶在不同时刻的分割结果（时变ROI区域）；

处理过程：时变ROI提取：对每帧CEUS图像应用对应时刻的分割掩码，提取动态灌注病灶区域；CNN空间特征提取：输入-单帧CEUS病灶区域（512×512），网络-ResNet-18卷积层，输出-每帧的256维特征向量；BiLSTM时序建模：输入-帧序列的256维特征向量（长度=T），网络-双向LSTM单元，输出-128维时序特征；动态参数解码：全连接层映射至临床指标：[达峰时间(s), 峰值强度(%), 廓清斜率(ratio)]。

输出CEUS动态特征向量：例如[8.2s, 180%, 0.15] （模型预测/提取的量化结果，维度为3维），分别表示：造影剂达峰时间、较基线增强强度、廓清速率（下降斜率）。

在CEUS特征提取后，利用提取到的特征向量 [达峰时间(s), 峰值强度(%), 廓清斜率(ratio)]，通过一个小型分类器（如全连接层+softmax）映射到一个CEUS恶性风险评分（1-5级），最后这个评分可参与OCC-US评分计算（≥4级赋2分）。

（2）CA125数值特征处理

CA125 是卵巢肿瘤诊断中常用的血清肿瘤标志物，但其绝对值在不同患者间存在较大差异，且受月经周期、炎症等因素干扰。因此，为使其更有效地参与多模态特征融合，系统对CA125 数值进行标准化处理，得到标准化特征向量。

首先将原始 CA125 浓度（范围：0-500 U/mL）通过归一化层映射到 [0,1] 区间，避免因尺度差异对网络学习产生干扰。接着引入全连接层结构，通过非线性激活函数学习CA125 与肿瘤恶性风险之间的潜在复杂关系：对于低浓度但伴有影像异常者，模型仍可能判断为恶性；对于高浓度但影像结构良性的情况，模型可参考其他模态进行调整。

CA125 特征（血清肿瘤标志物）最终被嵌入为一个独立向量，在多模态融合中以数值特征的形式参与交叉注意力计算。其诊断权重将根据融合策略中各模态的互补性动态调整，避免单一指标主导判断。

多模态特征融合模块140，采用融合自注意力与交叉注意力机制的双分支融合策略，对B超图像的O-RADS特征向量、CEUS图像的动态特征向量和标准化特征向量进行特征融合，得到OCC-US向量表示；

在完成B型超声影像分割与O-RADS结构特征提取、CEUS动态图序列的灌注模式学习、以及CA125浓度的数值归一之后，各模态分别输出结构化特征表示。然而，仅依赖某一单一模态（如O-RADS图像或CA125数值）可能导致诊断片面，特别是在病灶表现不典型或边界模糊时。因此，本系统在多模态特征融合模块140中引入一种融合自注意力与交叉注意力机制的多模态特征融合方法，构建统一的风险评分表示，即OCC-US评分向量，用于实现最终的良恶性判别与风险分级。

为有效提取各模态之间的互补性信息，并避免冗余增强，系统采用“双分支融合策略”：自注意力（SA，Self-Attention）分支：用于通过自注意力机制建模单模态内部特征的空间及时序关联，增强单模态内部特征（即病灶结构）的结构感知能力；交叉注意力（CA，Cross-Attention）分支：通过逆注意力机制聚焦跨模态低相关区域，提取互补特征，捕捉模态间的互补性，尤其关注不同模态对同一病灶表现的差异性解释。

（1）构建自注意力（SA）分支：强化单模态内部表征

每个模态的特征张量首先通过自注意力机制建模其局部与全局上下文关系，例如CEUS灌注峰值与增强时序的一致性、O-RADS中的回声与病灶边缘形态之间的相关性等。进一步的，自注意力（SA）分支执行的操作包括：将单模态特征张量通过可学习线性变换，分解为查询向量、键向量和值向量；计算查询向量与键向量的相似度矩阵，经缩放和归一化处理生成注意力权重；使用注意力权重对值向量进行加权融合，得到增强后的单模态特征；通过多层感知机进一步提取高阶特征关联，强化单模态内部的结构一致性。自注意力（SA）分支中， 每个模态（O-RADS特征向量、CEUS特征向量、CA125标准化特征向量）独立经过自注意力分支 进行内部特征增强，即通过自注意力机制建模各模态内部特征的空间及时序关联。

具体计算方式如下：

：输入的特征张量，代表模态的中间表达。c：模态标识符，表示当前处理的是哪种医学数据模态，例如c =“O-RADS”：表示B超影像的结构特征，c =“CEUS”：表示动态造影的血流特征，c =“CA125”：表示血清肿瘤标志物数值特征。：可学习的线性变换矩阵，用于将输入特征分别映射为查询（Query）、键（Key）、值（Value）三个向量表示，从而启动注意力机制的相关性建模。－在卵巢肿瘤识别中，该过程有助于识别例如“低回声+实性成分+微乳头突起”是否构成某一恶性征象的组合。：分别表示模态c中提取出的查询（Query）、键（Key）、值（Value）向量集合。：代表当前特征希望获取哪些语义信息（例如病灶中心区域特征）；：提供图像中所有位置的“信息索引”；：包含这些位置的实际表征内容（例如边缘形态、篧注亮度等）。d：特征维度，表示每个位置的通道数（例如每个像素点用128维向量描述），用于计算注意力分数时归一化缩放（。：表示查询与键之间的相似度打分矩阵，值越大代表两位置在语义上越相关。比如在CEUS中，强化起点与高峰篧注区域相似度高，可互相增强特征表达。：对上述打分矩阵按行进行softmax归一化，得到每个位置对其他位置的“注意力权重”，即模型关注哪些区域来更新当前位置特征。：归一化操作，一般为LayerNorm，用于稳定训练并规范特征分布，防止梯度爆炸或退化。：表示通过SA模块处理后的模态c的增强特征，具备更强的内部结构理解能力。如：能更好捕捉“多房衰肿+不规则分隔”在图像中的空间协同特征，或捕捉“CEUS篧注模式+时间曲线”的内在一致性。MLP：多层感知机模块，常含两个全连接层与ReLU激活函数，作用是引入非线性变换与进一步维度重构，使模型从更高层次语义中学习特征间的复杂关联。

SA模块增强单模态内部的特征关联，通过自注意力机制捕捉局部与全局依赖关系。

（2）构建交叉注意力（CA）分支：提取跨模态互补信息（融合关键）

为增强模态间对同一病灶在“结构表现”、“血流模式”、“血清标志”三方面的联动理解，系统引入逆注意力机制（re-softmax，即逆softmax或 softmax(-X)），即将注意力聚焦于低相关区域以发现互补信息。进一步的，交叉注意力（CA）分支执行的操作包括：将第一模态特征作为查询向量，第二模态特征作为键向量和值向量；计算跨模态相似度矩阵，并采用逆softmax操作（即 softmax(-X)）生成互补注意力权重；通过所述互补注意力权重对第二模态特征进行重新加权，聚焦跨模态低相关区域；输出强化差异信息的跨模态特征，用于解决模态冲突。交叉注意力（CA）分支中，在关键模态对之间执行：以CEUS模态的增强特征作为查询向量，O-RADS模态的特征作为键向量和值向量，生成针对O-RADS模态的跨模态增强特征 ；以O-RADS模态的增强特征作为查询向量，CEUS模态的特征作为键向量和值向量，生成针对CEUS模态的跨模态增强特征 。CA125标准化特征向量不参与交叉注意力计算，仅通过其自注意力分支进行内部表示优化后直接参与最终融合向量的拼接。

具体的：

：另一模态的输入特征。：以另一模态特征生成查询向量，仍由当前模态生成。：跨模态相关性矩阵。每个位置表示中一个区域对中一个区域的语义关注程度。：当前模态c的跨模态增强特征，由来自模态的查询引导当前模态中价值区域的重新加权表达。比如若CEUS强调某血供区域有异常灌注，则可放大O-RADS图像中对应区域特征的沴断权重。互补注意力权重生成函数：逆softmax函数，在传统注意力机制中，模型会集中于“相关性高”的区域，而反向强调“相关性低”的区域，从而提取模态间的差异性与补充信息。通过将注意力从高相关性区域转移到互补区域，表达式为：，其他参数含义与SA模块一致。

CA分支通过re－softmax将注意力聚焦于跨模态的互补信息，抑制冗余关联。例如若O-RADS图像识别为低风险但CEUS显示异常早期灌注，CA分支可放大CEUS特征的诊断权重；若CA125数值正常但影像结构呈多乳头状突起，CA分支可加强图像特征解释力。

（3）融合输出：构建统一的OCC-US（O-RADS, CEUS, CA125-based UltrasoundScoring System）向量表示。

经过SA与CA分支处理后，各模态的融合特征被拼接并送入统一的融合层，形成最终的OCC-US向量表示，整合了三类数据：O-RADS（结构特征）、CEUS（血流动力学特征）、CA125（血清肿瘤标志物）。该向量结构如下：

：O-RADS模态的自注意力增强特征，表示其在单模态内部结构识别下提取的空间特征（如裹壁厚度、回声结构）。：O-RADS模态的跨模态增强特征，由CEUS/CA125引导强调其未能自我关注到的互补信息。：CEUS模态的自注意力增强特征，如灌注起点、增强速率、消退模式等内部时间动态表现。：CEUS模态的跨模态增强特征，借助O-RADS图像结构或CA125异常值强化其未显著区域的表达。：CA125模态的特征向量，表示血清肿瘤标志物值的嵌入表示，辅助对生化信号的理解与图像信息协同解释。：最终拼接后的多模态融合特征向量，综合考虑卵巢附件肿瘤在“图像结构(ORADS）”、“血流动态（CEUS）”、“肿瘤标志（CA125）”三个维度的表现，用于后续良恶性判别与风险评分。

最终输出的OCC-US向量将送入风险分级决策模块150，实现良恶性肿瘤分类与风险评分。

风险分级决策模块150，用于将融合后的OCC-US向量表示输入分类器，输出OCC-US评分及良恶性风险等级，并利用强化学习动态优化评分决策。

在完成多模态特征融合并生成统一的OCC-US向量表示后，系统进入关键的风险评分与分类阶段。本步骤旨在将影像、动态血流及生化信息整合为可量化、可解释的诊断指标，以辅助临床判断卵巢附件肿瘤的良恶性，指导手术干预决策。

（1）风险等级输出与判别策略

将多模态融合特征向量作为输入，系统训练深度分类模型（多层感知机（MLP））对肿瘤类型进行多级分类，输出是良恶性风险等级预测结果（如三类概率：良性、可疑、恶性）：

良性概率高（如功能性囊肿、畸胎瘤），建议定期随访；

中间可疑区域（如边界性肿瘤），建议增强型影像复查；

高度怀疑恶性（如浆液性囊腺癌、肉瘤），建议尽快手术处理。

同时，根据预设评分规则：O-RADS≥4级赋2分，CEUS评分≥4级赋2分，CA125≥37.815 U/mL赋1分，计算该病例的OCC-US评分（0-5分）；基于OCC-US评分来验证模型预测结果的准确性。

该模型训练过程中使用病理确诊结果作为标准，优化损失函数为交叉熵与FocalLoss的联合形式，以适配良恶性样本不均衡问题。

（3）强化学习优化策略

为进一步提升评分系统在长期临床路径中的适应能力，引入强化学习策略对分类器进行动态优化。采用SARSA(λ)算法作为核心框架，通过模拟“诊断-决策-反馈”流程，实现评分系统对误判风险的自适应纠正。

具体的，强化学习优化采用SARSA(λ)算法，在SARSA(λ)算法中，模型在每一个诊断-判断-反馈的循环中，都要对其“当前评分策略”的价值进行调整。具体以状态（s）：当前患者的多模态融合特征向量，动作（a）：分类模型预测的风险等级动作空间 {良性(0), 可疑(1), 恶性(2)} (对应评分0-1, 2, ≥3分)，奖励（R）：若预测等级与最终病理结果一致：+1；若预测等级与最终病理结果不一致：-1（还可以根据临床风险调整奖励值，如恶性判为良性惩罚-2）；通过时间差分误差动态更新状态-动作价值函数；利用资格迹追溯历史决策权重，调整风险分级决策模块中的分类器（MLP）的参数型参数。这个调整由以下三部分共同完成：

1）时间差分误差（TD）误差δ：衡量预测与实际反馈的偏差TD误差是评价当前行为好坏的信号，表示模型对某一状态-动作对的价值预测与实际反馈之间的差距。

s：当前系统所处的状态，即OCC-US多模态评分向量，由结构图像（O-RADS）、CEUS灌注模式、CA125生化指标等多模态特征融合而成，表示对某一卵巢附件肿块病例的诊断“情境”。a：当前分类模型做出的动作，即给出的风险等级预测标签（良性/可疑/恶性）。R：与实际病理结果一致则给予正奖励（+1），否则给予惩罚（-1）；：状态s下采取动作a的预期累积折扣奖励；：下一个状态与动作对应的Q值，用于估计未来路径的期望奖励；在“诊断-调整-再次判断”的过程中，该值模拟下一步可能带来的长期益处。δ：TD误差，衡量当前预测与下一状态预测之间的差异：未来奖励折扣因子，权衡当前与长期收益：γ越接近1越重视长期效果（如误诊带来的后续干预成本）；本系统使用γ=0.5，体现出沴断后果的中远期影响。

如果δ>0，说明模型低估了当前行为的价值（例如本来应该判断为恶性但没有判断出来）；如果δ<0，说明模型高估了当前行为的价值（例如将良性误判为恶性）。

2）资格迹：确定谁该被“重点更新”。

资格迹起到“记忆作用”，记录哪些状态-动作对最近参与了决策，以及参与的“强度”；当前正在执行的对，其被置为1；其他非当前状态-动作对，其以的比例逐步衰减（越久之前参与的，影响越小）；资格迹的存在，使得不仅当前行为被更新，过去的相关决策也会被追溯性调整。

资格迹更新公式为：

：状态－动作对的资格迹值，用于记录其在近期学习中的重要性，即“记忆痕迹”：当前决策如果为，则；否则逐步衰减为；这有助于在未来回报到来时，对过去影响较大的决策赋予更强调整信号。：资格迹的衰减系数，控制历史影响的权重范围：只更新当前状态；所有历史决策均保留记忆；卵巢识别中推荐，兼顾当前评分与过去学习行为。

3）Q值更新：通过TD误差和资格迹叠加进行价值修正。

每个状态-动作对的Q值（即对未来回报的预测）根据以下公式进行更新：

：学习率，控制每次Q值更新的幅度；若设得过大可能造成模型不稳定；设得过小则更新缓幔，学习效率低。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本申请实施例中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请实施例中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请实施例所示的这些实施例，而是要符合与本申请实施例所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，包括：

多模态数据采集模块，用于获取卵巢附件肿瘤患者的超声影像数据、CA125血清浓度数据及金标准数据；

超声影像分割模块，用于针对预处理后的超声影像数据，采用自适应双向位移进行超声影像病灶区域的自动定位与结构化分割，输出每张图像中卵巢附件肿瘤的病灶区域掩码；

多模态特征提取模块，用于根据所述每张图像中卵巢附件肿瘤的病灶区域掩码提取B超图像的O-RADS特征向量和CEUS图像的动态特征向量，以及对所述CA125血清浓度数据进行数值归一化处理得到标准化特征向量；

多模态特征融合模块，用于采用融合自注意力与交叉注意力机制的双分支融合策略，对所述B超图像的O-RADS特征向量、所述CEUS图像的动态特征向量和所述标准化特征向量进行特征融合，得到OCC-US向量表示；

风险分级决策模块，用于将融合后的OCC-US向量表示输入分类器，输出OCC-US评分及良恶性风险等级，并利用强化学习动态优化评分决策；

其中，所述超声影像分割模块，包含：

自监督引导单元，用于对未标注超声图像生成弱增强与强增强样本，通过补丁级置信度评估与语义匹配，将低置信度区域替换为语义相似的高置信度区域，生成增强版训练图像样本；

难样本强化单元，用于对标注超声图像执行逆置信度位移策略，将高置信度区域替换为另一增强视图中的低置信度区域，构造困难版训练图像样本；

分割图生成单元，用于利用所述增强版训练图像样本、所述困难版训练图像样本、原始标注超声图像及其对应的标签同步训练两个结构不同的分割模型，利用两个训练好的分割模型对新输入的超声图像进行推理，输出每张图像中卵巢附件肿瘤的病灶区域掩码。

2.根据权利要求1所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述自监督引导单元执行操作包括：

划分未标注超声图像为多个补丁，计算各补丁的平均置信度及类别分布；

筛选置信度最低的补丁作为待替换区域，从语义相似的高置信度补丁中选择替换源；

通过双向位移生成新样本：将弱增强样本的低置信度补丁替换为强增强样本的匹配高置信度补丁，反之亦然。

3.根据权利要求1所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述难样本强化单元执行操作包括：

在标注超声图像中定位置信度最高的补丁；

将其替换为同一标注样本对应的另一增强版本中置信度最低的补丁，并同步调整标签掩码；

生成强制模型学习复杂病灶边缘的合成样本，即困难版训练图像样本。

4.根据权利要求3所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述分割图生成单元训练的两个结构不同的分割模型分别为UNet模型和SwinUNet模型；所述UNet模型和所述SwinUNet模型分别针对新的超声图像分别生成预测图A和预测图B；计算所述预测图A和所述预测图B的平均预测图C；根据平均预测图C进行阈值分割的二值化处理，生成病灶区域和背景区域，然后经过后处理，生成二值分割掩码。

5.根据权利要求1所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述多模态特征融合模块采用融合自注意力与交叉注意力机制的双分支融合策略，包括：

自注意力分支，用于通过自注意力机制建模单模态内部特征的空间及时序关联，增强病灶结构感知能力；

交叉注意力分支，用于通过逆注意力机制聚焦跨模态低相关区域，提取互补特征。

6.根据权利要求5所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述自注意力分支执行的操作包括：

将单模态特征张量通过可学习线性变换，分解为查询向量、键向量和值向量；

计算查询向量与键向量的相似度矩阵，经缩放和归一化处理生成注意力权重；

使用注意力权重对值向量进行加权融合，得到增强后的单模态特征；

通过多层感知机进一步提取高阶特征关联，强化单模态内部的结构一致性。

7.根据权利要求5所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述交叉注意力分支执行的操作包括：

将第一模态特征作为查询向量，第二模态特征作为键向量和值向量；

计算跨模态相似度矩阵，并采用逆softmax操作生成互补注意力权重；

通过所述互补注意力权重对第二模态特征进行重新加权，聚焦跨模态低相关区域；

输出强化差异信息的跨模态特征，用于解决模态冲突。

8.根据权利要求1所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述风险分级决策模块将多模态融合特征向量作为输入，系统训练深度分类模型对肿瘤类型进行多级分类，输出良恶性风险等级预测结果：良性、可疑、或者恶性；

当所述良恶性风险等级预测结果为良性，建议随访；当所述良恶性风险等级预测结果为可疑，推荐增强复查；当所述良恶性风险等级预测结果为恶性，建议手术干预。

9.根据权利要求1所述的基于多模态深度学习的卵巢附件肿瘤风险分级系统，其特征在于，所述利用强化学习动态优化评分决策采用SARSA算法，包括：

以OCC-US向量为状态，风险等级预测为动作，病理结果一致性为奖励信号；

通过时间差分误差动态更新状态-动作价值函数；

利用资格迹追溯历史决策权重，动态调整所述风险分级决策模块中分类器的参数。