CN121074029A - Fish图像中荧光信号的智能计数方法、系统及装置 - Google Patents

Abstract

本发明涉及医学图像处理技术领域，公开了一种FISH图像中荧光信号的智能计数方法、系统及装置，全自动化流程提取乳腺癌FISH图像中红色和绿色荧光探针的多维度特征，结合差分高斯增强算法预处理、多尺度特征提取与自注意力机制的神经网络模型，实现荧光信号的精准计数。本发明采用差分高斯增强算法抑制背景噪声，突出荧光点区域；扩展传统特征，涵盖几何、强度、形状、质量四个维度，全面描述荧光点特性；采用三分支并行特征提取器，捕获不同层次的特征信息；通过空间‑通道双重注意力机制自动识别重要荧光点位置，智能选择判别性特征维度；通过深度神经网络自动学习最优特征表示，根据训练阶段自动调整权重，提升处理效率。

Description

FISH图像中荧光信号的智能计数方法、系统及装置

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种FISH图像中荧光信号的智能计数方法、系统及装置。

背景技术

荧光原位杂交（FISH）技术凭借对特定基因扩增或缺失的精准检测能力，已成为乳腺癌分子病理分析的核心手段，在FISH检测中，荧光信号计数的准确性直接影响对基因状态的分析判断。

目前，FISH图像的荧光自动化方法主要基于传统图像处理技术，依赖固定阈值和人工设定规则，存在以下问题：

1、阈值参数需要人工调节，难以适应不同样本的成像条件变化；

2、基于简单几何特征的识别方法容易受到背景噪声、信号弥散、形状变异等因素干扰；

3、缺乏自适应学习能力，无法从大量数据中学习优化特征表达；

4、对于边界模糊、强度不均的荧光点识别准确率不高。

公开号为CN106296635A的中国发明专利提出了一种荧光原位杂交(FISH)图像并行处理与分析方法，运用了并行处理，使得对于染色体荧光标记点的检测与对于细胞核边缘检测和分割同时进行，运用了基于自适应形状标记的分水岭算法，提高了肿瘤细胞中细胞核与染色体荧光标记点相对位置检测的准确性。然而该专利采用自适应阈值、形态学处理和分水岭算法等传统图像处理方法进行FISH图像分析，其性能依赖于人工设定的固定参数，难以适应不同染色批次，不同成像设备带来的图像质量差异，在亮度不均、背景噪声高或信号弥散的情况下鲁棒性较差。且在荧光计数方法主要基于面积、形状和强度阈值等简单几何与灰度特征检测荧光点，特征表达能力有限，无法有效应对荧光信号重叠、断裂、弱信号或非典型形态等实际问题，易导致误检或漏检。

发明内容

本发明为解决荧光点识别准确率低、缺乏自适应学习能力的技术问题，提出FISH图像中荧光信号的智能计数方法、系统及装置，全自动化流程提取乳腺癌FISH图像中红色和绿色荧光探针的多维度特征，结合差分高斯增强算法预处理、多尺度特征提取与注意力机制的神经网络模型，实现荧光信号的精准计数。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种FISH图像中荧光信号的智能计数方法，包括以下子步骤：

S1：输入乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区；

S2：对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量；

S3：输入若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次；

S4：对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配；

S5：对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示；

S6：通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应总损失函数优化训练过程，获得荧光探针计数结果；

S7：对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果。

进一步的，一种FISH图像中荧光信号的智能计数方法，S1包括以下子步骤：

S11：对输入的乳腺癌FISH图像进行RGB通道分离，灰度映射到红色通道、绿色通道、蓝色通道，提取各通道的像素值；

S12：对红色通道和绿色通道的图像分别应用不同尺度的高斯滤波，计算差分增强结果，获得突出荧光点区域的图像；

S13：对突出荧光点区域的图像采用自适应阈值算法进行二值化处理，转化为二值图像；

S14：对二值图像进行形态学优化处理，获得若干红色荧光点候选区和绿色荧光点候选区。

具体为，S12包括以下子步骤：

S121：对红色通道和绿色通道的原始图像分别应用小尺度高斯核和大尺度高斯核，获得滤波结果：

其中，是红色通道小尺度滤波结果，保留荧光点细节；是红色通道大尺度滤波结果，平滑红色通道背景；是绿色通道小尺度滤波结果，保留荧光点细节；是绿色通道大尺度滤波结果，平滑绿色通道背景；

其中，是红色通道的原始图像；是绿色通道的原始图像；

其中，是进行以为尺度的高斯滤波过程，是进行以为尺度的高斯滤波过程；是进行以为尺度的高斯滤波过程，是进行以为尺度的高斯滤波过程；

其中，，是小尺度高斯核，用于捕捉荧光点细节信号；

其中，，是大尺度高斯核，用于平滑背景噪声；

S122：对滤波结果采用差分高斯增强算法进行增强，获得突出荧光点区域的红色通道差分增强图像和绿色通道差分增强图像：

其中，是红色通道差分增强图像，是绿色通道差分增强图像，0.3是经验最优系数。

进一步的，一种FISH图像中荧光信号的智能计数方法，S2包括以下子步骤：

计算几何特征：所述几何特征包括面积、平均强度、最大强度、离心率、密实度；

计算形状特征：所述形状特征包括圆度、长宽比、周长；

提取强度特征：所述强度特征包括信噪比、强度标准差、强度范围、强度变异系数；

提取质量特征：所述质量特征包括综合质量评分、紧密度、强度-面积乘积。

进一步的，一种FISH图像中荧光信号的智能计数方法，S3包括以下子步骤：

S31：将若干特征向量分别输入大尺度特征分支、中尺度特征分支、小尺度特征分支，大尺度特征分支将特征向量的特征维度扩展到128维，中尺度特征分支将特征向量的特征维度扩展到96维，小尺度特征分支将特征向量的特征维度扩展到64维；

S32：将3个分支的特征向量进行维度拼接，得到288维的组合特征，通过两层融合层运算将288维的组合特征统一为128维的特征向量。

具体的，S31包括以下子步骤：

大尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理归一化后的特征向量，将特征维度映射至64维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至128维，

应用修正线性单元激活函数和随机失活操作抑制模型，完成大尺度特征的提取和优化；

中尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理归一化后的特征向量，将特征维度映射至48维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至96维，

应用修正线性单元激活函数和随机失活操作抑制模型，完成中尺度特征的提取和优化；

小尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理归一化后的特征向量，将特征维度映射至32维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至64维，

应用修正线性单元激活函数和随机失活操作抑制模型，完成小尺度特征的提取和优化。

具体的，S32包括以下子步骤：

S321：将128维大尺度特征、96维中尺度特征、64维小尺度特征进行维度拼接，得到288维的组合特征，初步整合多尺度特征；

S322：第一融合层运算将288维的组合特征映射至256维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二融合层运算处理拟合后的特征向量，将256维特征降维至128维，获得128维的统一特征。

进一步的，一种FISH图像中荧光信号的智能计数方法，S4包括以下子步骤：

采用通道注意力：通过两层卷积层映射变换特征向量的维度，利用修正线性单元增强对荧光点特征的拟合能力，应用Sigmoid激活函数生成通道权重向量，筛选高判别力的特征维度；

采用空间注意力：计算特征矩阵的均值与最大值，对获得的均值图和最大值图进行拼接，通过一维卷积层进行空间特征融合，应用Sigmoid激活函数生成空间权重向量，聚焦筛选细胞内关键荧光点位置。

具体的，采用通道注意力包括以下子步骤：

空间平均池化：输入的特征矩阵沿空间维度执行自适应空间平均池化，将多个空间特征压缩为全局统一值；

第一卷积层映射：获得的特征向量，的特征向量通过第一卷积层将128维映射至16维；

应用修正线性单元：对的特征向量应用修正线性单元激活函数，引入非线性特征变换，增强对复杂荧光点特征的拟合能力；

应用Sigmoid激活函数：通过第二卷积层将增强拟合的特征向量恢复至128维，应用Sigmoid激活函数将权重值归一化至[0,1]区间，生成128维通道权重向量；

其中，z是候选荧光点数量，通道权重值是特征维度对真实荧光点识别的贡献。

具体的，采用空间注意力包括以下子步骤：

计算均值与最大值：输入的特征矩阵沿通道维度分别计算均值与最大值，获得的均值图和最大值图；

拼接均值图和最大值图：均值图和最大值图通过通道维度拼接，互补提升位置敏感性，获得的特征图；

卷积层捕捉荧光点：的特征图通过一维卷积层进行空间特征融合，捕捉荧光点间的局部位置关联；

应用Sigmoid激活函数：应用Sigmoid激活函数将权重值归一化至[0,1]区间，生成空间权重向量；

其中，均值图反映通道维度的全局平均信息，最大值图反映通道维度的峰值信息，z是候选荧光点数量，空间权重值是候选荧光点为真实红色/绿色荧光信号的概率。

进一步的，一种FISH图像中荧光信号的智能计数方法，S5包括以下子步骤：

多头自注意力计算：将特征向量进行线性变换，将变换后的特征重塑为8个注意力头，计算得到注意力权重，将注意力权重与值进行加权求和得到注意力输出；

残差连接与层归一化：将注意力输出与特征向量相加形成残差连接，进行层归一化处理将特征维度扩展至二倍，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层处理拟合后的特征向量，将特征维度恢复到原始维度，再次进行残差连接和层归一化；

加权池化聚合：对处理后的所有荧光点特征计算平均值，形成细胞级的128维特征表示。

具体的，多头自注意力计算的过程：将荧光点特征分别通过查询矩阵、键矩阵、值矩阵进行线性变换，将变换后的特征重塑为8个注意力头，每个头包含16维特征，计算查询与键的点积注意力分数，除以特征维度的平方根进行缩放，应用软最大化函数得到注意力权重，将权重与值进行加权求和得到注意力输出。

具体的，残差连接与层归一化的过程：将注意力输出与特征向量相加形成残差连接，进行层归一化处理，通过前馈神经网络的第一全连接层将特征维度扩展至二倍，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度恢复到原始维度，应用修正线性单元激活函数和随机失活操作抑制模型，再次进行残差连接和层归一化。

进一步的，一种FISH图像中荧光信号的智能计数方法，S6包括以下子步骤：

S61：通过全连接网络，将细胞级的128维特征表示映射到1维输出，分别预测红色荧光点计数和绿色荧光点计数；

S62：对预测结果应用ReLU激活函数，确保计数结果不小于零，采用均方误差损失函数、平滑L1损失函数、Huber损失函数的动态加权组合，定义自适应总损失函数；

S63：通过自适应总损失函数优化训练过程，根据训练进度动态调整权重，获得准确的红色荧光探针和绿色荧光探针的计数值。

进一步的，一种FISH图像中荧光信号的智能计数方法，所述S62包括以下子步骤：

S621：衡量预测值与真实值的平方差，计算均方误差损失函数：

其中，是均方误差损失函数，N是当前批次中荧光点计数样本的数量，是第i个样本的真实值，是第i个样本的预测值；

S622：结合L1损失的鲁棒性与L2损失的平滑性，计算平滑L1损失函数：

其中，是平滑L1损失函数；

S623：结合均方误差和平均绝对误差，计算Huber损失函数：

其中，是Huber损失函数，是超参数；

S624：动态加权组合均方误差损失函数、平滑L1损失函数、Huber损失函数，计算自适应总损失函数：

其中，是自适应总损失函数，是的权重，是的权重，是的权重。

具体的，S63包括以下子步骤：

S631：各权重根据训练进度动态调整：

其中，progress表示训练进度，值域[0,1]。

一种FISH图像中荧光信号的智能计数系统，包括图像预处理模块、特征提取模块、深度学习编码模块、注意力融合模块、细胞聚合模块、智能回归模块；

图像预处理模块负责接收乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区；

特征提取模块负责对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量；

深度学习编码模块负责接收若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次；

注意力融合模块负责对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配；

细胞聚合模块负责对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示；

智能回归模块负责通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应总损失函数优化训练过程，获得荧光探针计数结果；并对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果。

一种FISH图像中荧光信号的智能计数装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序执行所述FISH图像中荧光信号的智能计数方法。

本发明的有益效果为：采用差分高斯增强算法抑制背景噪声，突出荧光点区域；扩展传统特征，涵盖几何、强度、形状、质量四个维度，全面描述荧光点特性；采用三分支并行特征提取器，捕获不同层次的特征信息；通过空间-通道双重注意力机制自动识别重要荧光点位置，智能选择判别性特征维度；通过深度神经网络自动学习最优特征表示，根据训练阶段自动调整权重；全程自动化处理，消除主观偏差，提升处理效率。

附图说明

图1是乳腺癌FISH图像的实例图。

图2是FISH图像中荧光信号的智能计数方法的流程图。

图3是多尺度特征提取的流程图。

图4是自注意力机制的流程图。

图5是FISH图像中荧光信号的智能计数系统的结构图。

具体实施方式

对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。

具体实施例一FISH图像中荧光信号的智能计数方法。

在相关技术中，现有乳腺癌FISH图像荧光计数依赖存在荧光信号识别困难、计数效率低下、不能全程自动化计数、荧光点特性不全面的缺陷。

本实施例中，如图1所示，输入一张典型的乳腺癌荧光原位杂交图像，大小为1024×768像素，图像包含荧光细胞-蓝色、人表皮生长因子受体2基因HER2荧光探针-红色和17号染色体着丝粒CEP17荧光探针-绿色。

如图2所示，FISH图像中荧光信号的智能计数方法，包括以下子步骤：

S1：输入乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区。

S1具体包括以下子步骤：

S11：对输入的乳腺癌FISH图像进行RGB通道分离，灰度映射到红色通道、绿色通道、蓝色通道，提取各通道的像素值；

更具体为，将输入的红绿蓝图像分离为红、绿、蓝三个通道，将各通道的灰度值范围线性映射至[0，255]的范围，提取R通道、G通道、B通道的像素值。

S12：对红色通道和绿色通道的图像分别应用不同尺度的高斯滤波，计算差分增强结果，获得突出荧光点区域的图像；

S12具体包括以下子步骤：

S121：对红色通道和绿色通道的原始图像分别应用小尺度高斯核和大尺度高斯核，获得滤波结果：

其中，是红色通道小尺度滤波结果，保留荧光点细节；是红色通道大尺度滤波结果，平滑红色通道背景；是绿色通道小尺度滤波结果，保留荧光点细节；是绿色通道大尺度滤波结果，平滑绿色通道背景；

其中，是红色通道的原始图像；是绿色通道的原始图像；

其中，是进行以为尺度的高斯滤波过程，是进行以为尺度的高斯滤波过程；是进行以为尺度的高斯滤波过程，是进行以为尺度的高斯滤波过程；

其中，，是小尺度高斯核，用于捕捉荧光点细节信号；

其中，，是大尺度高斯核，用于平滑背景噪声；

S122：对滤波结果采用差分高斯增强算法进行增强，获得突出荧光点区域的红色通道差分增强图像和绿色通道差分增强图像：

其中，是红色通道差分增强图像，是绿色通道差分增强图像，0.3是经验最优系数。

S13：对突出荧光点区域的图像采用自适应阈值算法进行二值化处理，转化为二值图像；

S13具体包括以下子步骤：

S131：确定背景区域，取差分增强图像中像素值排序后，对前50%的区域用背景区域掩码标识：

其中是差分增强图像中像素值的50%分位数，是差分图像在坐标下的灰度值，是像素坐标，是背景区域掩码。

S132：基于背景区域掩码，计算背景的亮度均值和标准差：

其中，是内的像素总数，是背景的亮度均值，是背景的标准差；

S133：计算自适应阈值和百分位阈值：

其中，是自适应阈值，是百分位阈值，是差分增强图像中像素值的85%分位数；

S134：基于乳腺癌FISH图像中荧光点占总像素约15%的统计特性，选择85%分位数，取两种阈值中的最小值作为二值化的最终阈值：

其中，是二值化的最终阈值；

S135：根据最终阈值，将差分增强图像转化为二值图像：

其中，是二值图像。

S14：对二值图像进行形态学优化处理，获得若干红色荧光点候选区和绿色荧光点候选区。

S14具体包括子以下步骤：

S141：采用开运算和闭运算去除噪声，使用3*3的圆形结构元素，进行开运算去除小噪声点，再利用闭运算填补内部空洞，获得红色和绿色荧光点候选区。

实施例中，检测到红色荧光点候选区124个，绿色荧光点候选区89个。

S2：对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量。

具体的，S2中的特征向量包括：几何特征、形状特征、强度特征、质量特征。

几何特征：面积、平均强度、最大强度、离心率、密实度；

形状特征：圆度、长宽比、周长；

强度特征：信噪比、强度标准差、强度范围、强度变异系数；

质量特征：综合质量评分、紧密度、强度-面积乘积。

需要注意的是，并不固定包含以上所有特征向量，也并不限定于以上特征向量。

其中，面积是连通域包含的像素数量，平均强度是连通域内像素的平均强度值，最大强度是连通域内像素的最大强度值，信噪比是平均强度与背景均值的比值，强度标准差是连通域内像素强度的标准差，强度范围是连通域内像素强度的最大值与最小值之差，离心率是连通域的离心率，密实度是连通域面积与凸包面积的比值，圆度是4π×面积与周长平方的比值，长宽比是长轴长度与短轴长度的比值，综合质量评分是基于信噪比、圆度、密实度和面积的综合评分。强度-面积乘积是平均强度与面积的乘积，强度变异系数是强度标准差与平均强度的比值，紧密度是面积与凸包面积的比值。

更具体的，计算几何特征：通过轮廓分析计算连通域面积，创建掩膜并提取对应强度区域的像素值，计算平均强度和最大强度；计算形状特征：通过轮廓周长计算圆度，公式为4倍圆周率乘以面积除以周长的平方，当轮廓点数不少于5个时，进行椭圆拟合计算长宽比；提取强度特征和质量特征，包括信噪比、强度标准差等。

如实施例所示，获取如表1所示的15维特征向量。

表1单个荧光点的15维特征向量示例表

S3：输入若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次。

如图3所示，S3具体包括以下子步骤：

S31：将若干特征向量分别输入大尺度特征分支、中尺度特征分支、小尺度特征分支，大尺度特征分支将特征向量的特征维度扩展到128维，中尺度特征分支将特征向量的特征维度扩展到96维，小尺度特征分支将特征向量的特征维度扩展到64维；

需要注意的是，每个分支采用层归一化+修正线性单元激活函数+随机失活操作抑制模型的标准化结构，提高训练稳定性。

更具体的，S31包括以下子步骤：

大尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理层归一化后的特征向量，将特征维度映射至64维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至128维，应用修正线性单元激活函数和随机失活操作抑制模型，完成大尺度特征的提取和优化；

中尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理层归一化后的特征向量，将特征维度映射至48维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至96维，应用修正线性单元激活函数和随机失活操作抑制模型，完成中尺度特征的提取和优化；

小尺度特征分支：执行层归一化处理若干特征向量，第一全连接层运算处理层归一化后的特征向量，将特征维度映射至32维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度映射至64维，应用修正线性单元激活函数和随机失活操作抑制模型，完成小尺度特征的提取和优化。

S32：将3个分支的特征进行维度拼接，得到288维的组合特征，通过两层融合层运算将288维的组合特征统一为128维的特征向量。

S32包括以下子步骤：

S321：将128维大尺度特征、96维中尺度特征、64维小尺度特征进行维度拼接，得到288维的组合特征，初步整合多尺度特征；

S322：第一融合层运算将288维的组合特征映射至256维，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二融合层运算处理拟合后的特征向量，将256维特征降维至128维，获得128维的统一特征。

需要注意的是，随机失活操作抑制模型为0.1概率。

实施例中，输入的15维荧光点特征向量具体参考表1，涵盖几何特征（面积45、平均强度187.3、最大强度243、离心率0.65、密实度0.82）、形状特征（圆度0.78、长宽比1.45、周长26.8）、强度特征（信噪比2.34、强度标准差23.7、强度范围98、强度变异系数0.127）及质量特征（综合质量评分0.89、紧密度0.85、强度-面积乘积8428.5），确保特征维度与多尺度特征提取器的输入规格完全匹配，为后续特征变换提供标准化输入基础。

S4：对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配。

具体的，采用通道注意力包括以下子步骤：

空间平均池化：输入的特征矩阵沿空间维度执行自适应空间平均池化，将多个空间特征压缩为全局统一值；

第一卷积层映射：获得的特征向量，的特征向量通过第一卷积层将128维映射至16维；

应用修正线性单元：对的特征向量应用修正线性单元激活函数，引入非线性特征变换，增强对复杂荧光点特征的拟合能力；

应用Sigmoid激活函数：通过第二卷积层将增强拟合的特征向量恢复至128维，应用Sigmoid激活函数将权重值归一化至[0,1]区间，生成128维通道权重向量；

其中，z是候选荧光点数量，通道权重值是特征维度对真实荧光点识别的贡献。

实施例中，候选荧光点数量为15；空间维度即为荧光点数量维度；第一卷积层的卷积核大小1×1，作用为维度压缩至原尺寸的1/8；通过瓶颈结构强化关键特征的非线性表达，降低计算复杂度；第一卷积层无偏置，卷积核大小1×1；通道权重值越高，代表对应特征维度对真实荧光点识别的贡献越大，实现对高判别力特征的自动选择。

具体的，采用空间注意力包括以下子步骤：

计算均值与最大值：输入的特征矩阵沿通道维度分别计算均值与最大值，获得的均值图和最大值图；

拼接均值图和最大值图：均值图和最大值图通过通道维度拼接，互补提升位置敏感性，获得的特征图；

卷积层捕捉荧光点：的特征图通过一维卷积层进行空间特征融合，捕捉荧光点间的局部位置关联；

应用Sigmoid激活函数：应用Sigmoid激活函数将权重值归一化至[0,1]区间，生成15维空间权重向量；

其中，均值图反映通道维度的全局平均信息，最大值图反映通道维度的峰值信息，z是候选荧光点数量，空间权重值是候选荧光点为真实红色/绿色荧光信号的概率。

实施例中，候选荧光点数量为15；一维卷积层的无偏置，卷积核大小7，步长1；15维空间权重向量的权重值越高，候选荧光点为真实HER2/CEP17信号的概率越高，有效抑制背景噪声点与伪荧光点的干扰，突出关键区域贡献。

S5：对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示。

具体的，如图4所示，S5包括以下子步骤：

多头自注意力计算：将荧光点特征分别通过查询矩阵(Q)、键矩阵(K)、值矩阵(V)进行线性变换，将变换后的特征重塑为8个注意力头（分别为Head1、...、Head8），每个注意力头包含16维特征，计算查询与键的点积注意力分数，除以特征维度的平方根进行缩放，应用软最大化函数得到注意力权重，将权重与值进行加权求和得到注意力输出；

残差连接与层归一化：将注意力输出与特征向量相加形成残差连接，进行层归一化处理，通过前馈神经网络的第一全连接层将特征维度扩展至二倍，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层运算处理拟合后的特征向量，将特征维度恢复到原始维度，应用修正线性单元激活函数和随机失活操作抑制模型，再次进行残差连接和层归一化；

加权池化聚合：对处理后的所有荧光点特征计算平均值，形成细胞级的128维特征表示。

实施例中，对于包含红色荧光点12个、绿色荧光点8个的示例细胞：红色荧光点特征为12乘128的矩阵，绿色荧光点特征为8乘128的矩阵，经过8头自注意力处理后，红色荧光点的自注意力权重为8*12*12，学习红色荧光点间的相互关系；绿色荧光点的自注意力权重为8*8*8，学习绿色荧光点间的相互关系，最终聚合为红色和绿色各自的128维细胞级特征。

S6：通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应损失函数优化训练过程，获得荧光探针计数结果。

具体的，S6包括以下子步骤：

S61：通过全连接网络，将细胞级的128维特征表示映射到1维输出，分别预测红色荧光点计数和绿色荧光点计数；

更具体的，S611：全连接网络的第一层从128维映射到96维，应用修正线性单元激活函数，配合0.2概率的随机失活；

S612：第二层映射到64维，应用修正线性单元激活函数，配合0.2概率的随机失活；

S613：第三层映射到32维，应用修正线性单元激活函数，配合0.1概率的随机失活；

S614：第四层映射到16维，应用修正线性单元激活函数，第五层映射到1维输出。

S62：对预测结果应用ReLU激活函数，确保计数结果不小于零，采用均方误差损失函数、平滑L1损失函数、Huber损失函数的动态加权组合，定义自适应总损失函数；

S62包括以下子步骤：

S61：通过全连接网络，将细胞级的128维特征表示映射到1维输出，分别预测红色荧光点计数和绿色荧光点计数；

S62：对预测结果应用ReLU激活函数，确保计数结果不小于零，采用均方误差损失函数、平滑L1损失函数、Huber损失函数的动态加权组合，定义自适应总损失函数；

S63：通过自适应总损失函数优化训练过程，根据训练进度动态调整权重，获得准确的红色荧光探针和绿色荧光探针的计数值。

具体的，S62包括以下子步骤：

S621：衡量预测值与真实值的平方差，计算均方误差损失函数：

其中，是均方误差损失函数，N是当前批次中荧光点计数样本的数量，是第i个样本的真实值，是第i个样本的预测值；

S622：结合L1损失的鲁棒性与L2损失的平滑性，计算平滑L1损失函数：

其中，是平滑L1损失函数；

S623：结合均方误差和平均绝对误差，计算Huber损失函数：

其中，是Huber损失函数，是超参数，用于控制损失函数平滑程度和对离群点的敏感性；

S624：动态加权组合均方误差损失函数、平滑L1损失函数、Huber损失函数，计算自适应总损失函数：

其中，是自适应总损失函数，是的权重，是的权重，是的权重。

具体的，S63包括以下子步骤：

S631：各权重根据训练进度动态调整：

其中，progress表示训练进度，值域[0,1]。

需要注意的是，权重调整策略确保训练初期（progress=0）注重稳定性和鲁棒性，各权重为(0.4,0.4,0.2)；在训练后期（progress=1）注重计数精确性，各权重为(0.6,0.3,0.1)。

实施例中，单细胞计数结果示例如表2所示，可见本方案的预测精度已大大提升。

表2单细胞计数结果示例表

S7：对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果，生成智能诊断报告。

具体的，S7：对荧光原位杂交图像中所有目标细胞重复S4至S6，统计所有细胞的荧光探针计数结果，生成智能诊断报告。

实施例中，完整的多样本统计分析过程如表3所示：

表3完整图像的细胞计数统计结果表

表3中，image_id是图像序号，cell_id是细胞序号，R_Count是红色荧光探针的计数结果，G_Count是绿色荧光探针的计数结果，最后给出R_Count和G_count的均值。

实施例中，获取乳腺癌FISH图像中所有面积>500像素，面积变异系数<0.3，圆度>0.6，离心率<0.8的细胞，计算乳腺癌FISH图像中所有细胞的红色荧光探针的计数结果（R_Count）和绿色荧光探针的计数结果（G_Count）。

具体实施例二一种FISH图像中荧光信号的智能计数系统。

如图5所示，一种FISH图像中荧光信号的智能计数系统，包括图像预处理模块、特征提取模块、深度学习编码模块、注意力融合模块、细胞聚合模块、智能回归模块；

图像预处理模块负责接收乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区；

特征提取模块负责对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量；

深度学习编码模块负责接收若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次；

注意力融合模块负责对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配；

细胞聚合模块负责对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示；

智能回归模块负责通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应总损失函数优化训练过程，获得荧光探针计数结果；并对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果。

本申请的实施例提供一种FISH图像中荧光信号的智能计数装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序执行所述FISH图像中荧光信号的智能计数方法。

本申请的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行所述FISH图像中荧光信号的智能计数方法。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种FISH图像中荧光信号的智能计数方法，其特征在于，包括以下子步骤：

S1：输入乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区；

S2：对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量；

S3：输入若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次；

S4：对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配；

S5：对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示；

S6：通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应总损失函数优化训练过程，获得荧光探针计数结果；

S7：对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果。

2.根据权利要求1所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S1包括以下子步骤：

S11：对输入的乳腺癌FISH图像进行RGB通道分离，灰度映射到红色通道、绿色通道、蓝色通道，提取各通道的像素值；

S12：对红色通道和绿色通道的图像分别应用不同尺度的高斯滤波，计算差分增强结果，获得突出荧光点区域的图像；

S13：对突出荧光点区域的图像采用自适应阈值算法进行二值化处理，转化为二值图像；

S14：对二值图像进行形态学优化处理，获得若干红色荧光点候选区和绿色荧光点候选区。

3.根据权利要求1所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S2包括以下子步骤：

计算几何特征：所述几何特征包括面积、平均强度、最大强度、离心率、密实度；

计算形状特征：所述形状特征包括圆度、长宽比、周长；

提取强度特征：所述强度特征包括信噪比、强度标准差、强度范围、强度变异系数；

提取质量特征：所述质量特征包括综合质量评分、紧密度、强度-面积乘积。

4.根据权利要求1所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S3包括以下子步骤：

S31：将若干特征向量分别输入大尺度特征分支、中尺度特征分支、小尺度特征分支，大尺度特征分支将特征向量的特征维度扩展到128维，中尺度特征分支将特征向量的特征维度扩展到96维，小尺度特征分支将特征向量的特征维度扩展到64维；

S32：将3个分支的特征向量进行维度拼接，得到288维的组合特征，通过两层融合层运算将288维的组合特征统一为128维的特征向量。

5.根据权利要求1所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S4包括以下子步骤：

采用通道注意力：通过两层卷积层映射变换特征向量的维度，利用修正线性单元增强对荧光点特征的拟合能力，应用Sigmoid激活函数生成通道权重向量，筛选高判别力的特征维度；

采用空间注意力：计算特征矩阵的均值与最大值，对获得的均值图和最大值图进行拼接，通过一维卷积层进行空间特征融合，应用Sigmoid激活函数生成空间权重向量，聚焦筛选细胞内关键荧光点位置。

6.根据权利要求1所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S5包括以下子步骤：

多头自注意力计算：将特征向量进行线性变换，将变换后的特征重塑为8个注意力头，计算得到注意力权重，将注意力权重与值进行加权求和得到注意力输出；

残差连接与层归一化：将注意力输出与特征向量相加形成残差连接，进行层归一化处理将特征维度扩展至二倍，修正线性单元激活函数引入非线性特征表达，配合随机失活操作抑制模型过拟合，第二全连接层处理拟合后的特征向量，将特征维度恢复到原始维度，再次进行残差连接和层归一化；

加权池化聚合：对处理后的所有荧光点特征计算平均值，形成细胞级的128维特征表示。

7.根据权利要求6所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S6包括以下子步骤：

S61：通过全连接网络，将细胞级的128维特征表示映射到1维输出，分别预测红色荧光点计数和绿色荧光点计数；

S62：对预测结果应用ReLU激活函数，确保计数结果不小于零，采用均方误差损失函数、平滑L1损失函数、Huber损失函数的动态加权组合，定义自适应总损失函数；

S63：通过自适应总损失函数优化训练过程，根据训练进度动态调整权重，获得准确的红色荧光探针和绿色荧光探针的计数值。

8.根据权利要求7所述的FISH图像中荧光信号的智能计数方法，其特征在于，所述S62包括以下子步骤：

S621：衡量预测值与真实值的平方差，计算均方误差损失函数：

其中，是均方误差损失函数，N是当前批次中荧光点计数样本的数量，是第i个样本的真实值，是第i个样本的预测值；

S622：结合L1损失的鲁棒性与L2损失的平滑性，计算平滑L1损失函数：

其中，是平滑L1损失函数；

S623：结合均方误差和平均绝对误差，计算Huber损失函数：

其中，是Huber损失函数，是超参数；

S624：动态加权组合均方误差损失函数、平滑L1损失函数、Huber损失函数，计算自适应总损失函数：

其中，是自适应总损失函数，是的权重，是的权重，是的权重。

9.一种FISH图像中荧光信号的智能计数系统，其特征在于，包括图像预处理模块、特征提取模块、深度学习编码模块、注意力融合模块、细胞聚合模块、智能回归模块；

图像预处理模块负责接收乳腺癌FISH图像，通过差分高斯增强算法进行荧光信号增强，提取红色和绿色荧光点候选区；

特征提取模块负责对红色和绿色荧光点候选区进行连通域分析，提取若干特征向量；

深度学习编码模块负责接收若干特征向量到多尺度特征提取器，通过并行分支网络提取不同层次的特征向量，将不同层次的特征向量统一为同一层次；

注意力融合模块负责对多尺度特征提取器输出的特征矩阵采用通道注意力和空间注意力的双重注意力机制，自动学习荧光点间的相对重要性和特征维度的权重分配；

细胞聚合模块负责对采用双重注意力机制的特征向量使用自注意力机制，对细胞内所有荧光点特征进行加权聚合，形成细胞级特征表示；

智能回归模块负责通过深度神经网络的双头回归结构对细胞级特征表示进行预测，预测出红色荧光探针和绿色荧光探针的计数值，自适应总损失函数优化训练过程，获得荧光探针计数结果；并对乳腺癌FISH图像中的所有目标细胞重复双重注意力机制融合、细胞级特征聚合、智能计数回归，统计出所有细胞的荧光探针计数结果。

10.一种FISH图像中荧光信号的智能计数装置，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序执行如权利要求1-8任一项中所述FISH图像中荧光信号的智能计数方法。