CN111986216B - 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法 - Google Patents

Abstract

本发明提出一种基于一维卷积神经网络改进的区域生长算法对肝脏CT图像进行交互式分割，通过神经网络统筹考虑像素的灰度值、空间信息、不同梯度值等多种信息作为生长规则，提高了区域生长法的稳定性，增强了算法对边缘复杂结构的分割能力。具体步骤如下：首先是图像预处理，提取CT图像序列集中含有肝脏的切片，使用窗口算法将CT图像转化为灰度图像；然后是图像边缘检测，计算像素在不同边缘检测算子下的梯度值作为该像素的特征，形成像素特征向量；接下来是构建网络模型，提取训练数据集，训练网络模型；最后是分割，将训练好的卷积神经网络模型作为区域生长算法的生长准则，利用鼠标点击肝脏区域产生初始分割结果，利用形态学方法进行填充孔洞得到最终结果。

Description

一种基于神经网络改进的RSG肝脏CT图像交互式分割算法

技术领域

本发明提出一种基于一维卷积神经网络改进的区域生长算法（Region SeedsGrowing，RSG）对肝脏CT图像进行交互式分割，通过神经网络统筹考虑像素的灰度值、空间信息、不同梯度值等多种信息作为生长规则，提高了区域生长法的稳定性，增强了算法对边缘复杂结构的分割能力。

背景技术

CT是无侵害性的器官体外成像手段，由于其成像速度较快、分辨力较高、效果较好，已经成为临床医生进行医疗诊断不可或缺的重要手段，可视化技术与医学图像分析结合，在对肝脏疾病的诊断中占有主导地位。通过对肝脏CT图像进行分割，提取出肝脏组织并获得相应的特征信息，医生可以很直观地了解患者肝脏内部的详细情况，对诊断及下一步治疗计划的制定起到关键作用。

当前的分割方法可以分为三类：手动，半自动和全自动。手动分割方法繁琐，耗时，并且可能受到观察者间和观察者内部变异性的影响。需要将图像的每个像素手动分配到其类别，尽管可以通过该技术获得非常准确的结果，但是所需的时间将限制一些任务转换成临床实践。对于某些任务，单个案例的手动分割可能需要数小时。全自动方法不需要人力，在过去的几十年中，研究人员开发了许多自动分割方法。但是，全自动分割方法很少能获得足够准确、鲁棒的结果，以至于在临床上是不实用的。这通常是由于图像质量差（带有噪音，部分体积效应，伪影和低对比度），患者之间的差异大，病理学带来的不均匀外观以及临床医生之间的方案差异导致给定结构边界的定义不同。

为了解决全自动分割方法的局限性，交互式分割方法在临床实践中是可行的，因为它可以在许多应用中提供更高的准确性和鲁棒性，例如规划脑肿瘤的放射治疗。由于提供用于分割的手动注释既费时又费力，因此有效的交互式分割方法对于实际使用非常重要。良好的交互式分割方法应以尽可能少的用户交互获得准确的结果，从而提高交互效率。尽管存在大量的交互式分割方法，但大多数方法都需要大量的用户交互和花费较长的用户时间，或者其基础模型的学习能力有限。例如，广泛使用的ITK-SNAP以用户提供的种子像素或斑点为起点，并采用主动轮廓模型进行分割。它要求在初始时就进行大量的用户交互，一旦获得初始细分，就很难通过其他用户交互来完善基础模型。SlicSeg在单个开始切片中接受用户提供的涂鸦，以训练在线随机森林进行3D分割，但是缺乏灵活性，无法进行进一步的用户编辑。Random Walks和Graph Cuts从涂鸦中学习，并允许用户提供其他涂鸦以进行细化。他们使用随机游走和高斯混合模型（GMM）作为基础模型。但是，他们需要大量的涂鸦才能获得令人满意的分割效果。本文利用卷积神经网络改进常规区域生长算法的生长规则，通过鼠标点击即可完成交互产生分割图像。

发明内容

本发明的目的是为了解决传统的区域生长法对肝脏CT图像分割精度不高、稳定弱的问题，提出使用基于一维卷积神经网络改进的区域生长算法对肝脏CT图像进行交互式分割，通过神经网络统筹考虑像素的灰度值、空间信息、不同梯度值等多种信息作为生长规则，为了实现上述目的，本发明的步骤如下：

步骤一：图像预处理，提取CT图像序列集中含有肝脏的切片，使用窗口算法(W/L)将CT图像转化为灰度图像；

步骤二：图像边缘检测，计算像素在不同边缘检测算子下的梯度值作为该像素的特征，形成像素特征向量；

步骤三：构建网络模型，提取训练数据集，训练网络模型，该网络以一对像素特征向量为输入，以两像素的关联度系数为输出；

步骤四：分割，将训练好的卷积神经网络模型作为区域生长算法的生长准则，利用鼠标点击肝脏区域产生初始分割结果，利用形态学方法进行填充孔洞得到最终结果。

所述步骤一中的具体情况如下：

（1）提取切片：

数据集包括原始CT图像和分割标签，在标签图像中，专业人员已经将13个腹部器官与数字一一对应，其中肝脏对应的数字为6。切片T满足：Start+5<T<End-5。其中Start表示标签图像序列集中最早出现数字6的序列号，End表示标签图像序列集中最后出现数字6的序列号；

（2）图像转换：

使用Window-Leveling(W/L)窗口算法处理后该像素点的值g(i)为：

其中：，，肝脏组织的CT值通常位于50～250之间，取ww=200，wl=150。

所述步骤二中的具体情况如下：

对图像分别进行Sobel算子、Roberts算子、Canny算子、Gabor算子、Sobel_h算子、 Sobel_v算子、Robert_neg_diag算子滤波，得到的值作为该像素的特征值，形成像素特征向 量：，其中为该像素的灰度值。

所述步骤三中的具体情况如下：

（1）提取数据：

限定取值区域，肝脏边界向外10像素城市街区距离以内：

区域包含两部分：肝脏内部区域和肝脏外10像素距离区域。在区域内任意选取两 像素组合配对，形成神经网络的一个输入样本X，对应的输出标签Y,

(2) 训练网络模型

网络模型最后层级使用sigmoid激活函数，将输出值归一化到（0，1）之间，表示输入两像素属于同一区域的概率：，其中Z表示未激活前的输出值；使用二元交叉熵函数(binary cross entropy)作为网络的损失函数：

只有当和相等时，loss才为0，否则loss就是个正数，且概率相差越大，loss就越大。

所述步骤四中的具体情况如下：

（1）将训练好的卷积神经网络模型作为区域生长算法的生长准则，在判断种子像素时，f₁四邻域里像素f₂是否合并到种子像素所代表的生长区域中时，将f₁、f₂作神经网络的输入，得到输出结果y^’，当y^’>0.9时，合并；反之不合并。重复执行该步骤，直到所有种子像素四领域内的像素无满足条件的；初始的种子像素通过鼠标点击选取；

（2）由于肝脏组织中包含血管和肿瘤等，分割结果中的肝脏区域存在孔洞。形态学填充孔洞的基本原理为： ,其中是孔洞填充的起始点，B是用来填充孔洞的结构元素，是A的补集。对公式不断进行迭代计算，直到，最终的填充结果是和边界的并集，即最终分割结果。

本发明还包括这样一些特征：

相比较传统的区域生长算法的生长规则，只比较相邻像素灰度值这单一维度；本文通过神经网络统筹考虑像素的灰度值、空间信息、不同梯度值等多种信息作为生长规则，提高了算法的稳定性，增强了算法对边缘复杂结构的处理能力。虽然只对肝脏附近区域内像素进行训练，但本发明也能有效对未训练区域进行分割。

相比较其他交互式方法，本发明交互方式操作简单，分割结果边缘更精细。本发明适应于内部结构单一的医疗图像分割，对于语义复杂的自然图像分割效果不太明显。

附图说明

图1为本发明的方法流程图

图2为一维卷积神经网络架构图

具体实施方式

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实现步骤对本发明作进一步的描述。

本发明提出一种基于一维卷积神经网络改进的区域生长算法对肝脏CT图像进行交互式分割，通过神经网络统筹考虑像素的灰度值、空间信息、不同梯度值等多种信息作为生长规则，提高了区域生长法的稳定性，增强了算法对边缘复杂结构的分割能力。

图1为本发明的方法流程图，首先是图像预处理，提取CT图像序列集中含有肝脏的切片，使用窗口算法将CT图像转化为灰度图像；然后是图像边缘检测，计算像素在不同边缘检测算子下的梯度值作为该像素的特征，形成像素特征向量；接下来是构建网络模型，提取训练数据集，训练网络模型；最后是分割，将训练好的卷积神经网络模型作为区域生长算法的生长准则，利用鼠标点击肝脏区域产生初始分割结果，利用形态学方法进行填充孔洞得到最终结果。

具体的实现步骤为：

Step1.1 提取切片：

数据集包括原始CT图像和分割标签，在标签图像中，专业人员已经将13个腹部器官与数字一一对应，其中肝脏对应的数字为6。切片T满足：Start+5<T<End-5。其中Start表示标签图像序列集中最早出现数字6的序列号，End表示标签图像序列集中最后出现数字6的序列号；

Step1.2 图像转换：

使用Window-Leveling(W/L)窗口算法处理后该像素点的值g(i)为：

其中：，，肝脏组织的CT值通常位于50～250之间，取ww=200，wl=150。

Step2对图像分别进行Sobel算子、Roberts算子、Canny算子、Gabor算子、Sobel_h 算子、Sobel_v算子、Robert_neg_diag算子滤波，得到的值作为该像素的特征值，形成像素 特征向量：，其中为该像素的灰度值。

Step3.1 提取数据：

限定取值区域，肝脏边界向外10像素城市街区距离以内：

区域包含两部分：肝脏内部区域和肝脏外10像素距离区域。在区域内任意选取两 像素组合配对，形成神经网络的一个输入样本X，对应的输出标签Y,

Step3.2 训练网络模型:

网络模型最后层级使用sigmoid激活函数，将输出值归一化到（0，1）之间，表示输入两像素属于同一区域的概率：，其中Z表示未激活前的输出值；使用二元交叉熵函数(binary cross entropy)作为网络的损失函数：

只有当和相等时，loss才为0，否则loss就是个正数，且概率相差越大，loss就越大。

Step4.1将训练好的卷积神经网络模型作为区域生长算法的生长准则，在判断种子像素时，f₁四邻域里像素f₂是否合并到种子像素所代表的生长区域中时，将f₁、f₂作神经网络的输入，得到输出结果y^’，当y^’>0.9时，合并；反之不合并。重复执行该步骤，直到所有种子像素四领域内的像素无满足条件的；初始的种子像素通过鼠标点击选取；

Step4.2由于肝脏组织中包含血管和肿瘤等，分割结果中的肝脏区域存在孔洞。形态学填充孔洞的基本原理为： ,其中是孔洞填充的起始点，B是用来填充孔洞的结构元素，是A的补集。对公式不断进行迭代计算，直到，最终的填充结果是和边界的并集，即最终分割结果。

图2为一维卷积神经网络架构图。本发明的神经网络架构如图2所示，类似于卷积神经网络，先进行卷积层，然后通过flatten层将二维输入一维化，过渡到全连接层，最后通过sigmoid激活函数输出常数概率值。但是网络的卷积层有所不同，使用的是一维卷积。卷积核步长为1，即每次卷积，卷积核都对应向量的一整行，相邻行之间互相独立，不进行交叉合并。

Claims (5)

1.一种基于神经网络改进的RSG区域生长算法肝脏CT图像交互式分割算法，其特征在于，包括以下步骤：

Step1：图像预处理，提取CT图像序列集中含有肝脏的切片，使用窗口算法Window-Leveling将CT图像转化为灰度图像；

Step2：图像边缘检测，计算像素在不同边缘检测算子下的梯度值作为该像素的特征，形成像素特征向量；

Step3：构建网络模型，提取训练数据集，训练网络模型，该网络以一对像素特征向量为输入，以两像素的关联度系数为输出；

Step4：分割，将训练好的卷积神经网络模型作为区域生长算法的生长准则，在判断种子像素f₁四邻域里像素f₂是否合并到种子像素所代表的生长区域中时，将f₁、f₂作神经网络的输入，得到输出结果y′，当y′>0.9时，合并；反之不合并；重复执行该步骤，直到所有种子像素四领域内的像素无满足条件的；初始的种子像素通过鼠标点击选取，利用鼠标点击肝脏区域产生初始分割结果，利用形态学方法进行填充孔洞得到最终结果。

2.根据权利要求1所述的一种基于神经网络改进的RSG区域生长算法肝脏CT图像交互式分割算法，其特征在于，所述Step1中的具体过程如下：

Step1.1提取切片：

数据集包括原始CT图像和分割标签，在标签图像中，专业人员已经将13个腹部器官与数字一一对应，其中肝脏对应的数字为6，切片T满足：Start+5<T<End-5；

其中Start表示标签图像序列集中最早出现数字6的序列号,End表示标签图像序列集中最后出现数字6的序列号；

Step1.2图像转换：

使用Window-Leveling窗口算法处理后该像素点的值g(i)为:

其中：min＝wl-0.5*ww,max＝wl+0.5*ww,肝脏组织的CT值通常位于50～250之间，取WW＝200，WL＝150。

3.根据权利要求1所述的一种基于神经网络改进的RSG区域生长算法肝脏CT图像交互式分割算法，其特征在于，所述Step2中的具体过程如下：

Step2.1对图像分别进行Sobel算子、Roberts算子、Canny算子、Gabor算子、Sobel_h算子,Sobel_v算子,Robert_neg_diag算子滤波，得到的值作为该像素的特征值，形成像素特征向量：

f＝[α₁,α₂,α₃...α₈]

其中a1为该像素的灰度值。

4.根据权利要求1所述的一种基于神经网络改进的RSG区域生长算法肝脏CT图像交互式分割算法，其特征在于，所述Step3中的具体过程如下：

Step3.1提取数据：

限定取值区域，肝脏边界向外10像素城市街区距离以内：

disf(p(x₁,y₁),P(x₂,x₂))＝|x₁-x₂|+|y₁-y₂|<10

区域包含两部分：肝脏内部区域和肝脏外10像素距离区域；在区域内任意选取两像素组合配对，形成神经网络的一个输入样本X,

X_i＝[f₁,f₂]

对应的输出标签Y,

Step3.2训练网络模型:

网络模型最后层级使用sigmoid激活函数，将输出值y′_i归一化到(0,1)之间，表示输入两像素属于同一区域的概率：

其中Z表示未激活前的输出值；使用二元交叉熵函数(binary cross entropy)作为网络的损失函数，

只有当y′_i和y_i相等时，loss才为0，否则loss就是个正数，且概率相差越大，loss就越大。

5.根据权利要求1所述的一种基于神经网络改进的RSG区域生长算法肝脏CT图像交互式分割算法，其特征在于，所述Step4中的具体过程如下：

Step4.1由于肝脏组织中包含血管和肿瘤等，分割结果中的肝脏区域存在孔洞；形态学填充孔洞的基本原理为：

其中X₀是孔洞填充的起始点，B是用来填充孔洞的结构元素，A^c是A的补集；对公式不断进行迭代计算，直到X_k＝X_k-1，最终的填充结果是X_k和边界的并集，即最终分割结果。