CN111080639A - 基于人工智能的多场景消化道内镜图像识别方法及系统 - Google Patents

Abstract

本发明涉及图像识别技术领域，公开了一种基于人工智能的多场景消化道内镜图像识别方法及系统。所述方法包括：获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；基于同一种拍摄部位/检查场景的数据样本集，训练对应拍摄部位识别模型/检查场景识别模块；针对每一种拍摄部位和每一种检查场景的组合，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；针对待识别内镜图像，先通过对应的识别模型识别出拍摄部位和检查场景，选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。上述方案有利于提高识别的准确率和系统的泛化能力。

Description

基于人工智能的多场景消化道内镜图像识别方法及系统

技术领域

本发明涉及图像识别技术领域，特别是一种基于人工智能的多场景消化道内镜图像识别方法及系统。

背景技术

消化系统肿瘤占有恶性肿瘤发病率的三分之一以上，在现实的医疗实践中，消化道肿瘤早期症状非常不明显，一旦有症状，大多数患者都到了中晚期。早期发现消化道肿瘤的最直接、有效的手段就是消化内镜检查。但目前基于消化内镜图像的识别技术发展还具有很多缺陷，例如，消化内镜检查的图像所涉及的场景非常复杂，图像拍摄的部位差异巨大，图像中病变的种类较多，各病变的特征表现复杂。在这样的情况下，通过传统人工识别的效率偏低、漏检率和误检率偏高。

人工智能技术在近年来有了突飞猛进的发展，其中人工智能在图像识别领域的技术已经日益成熟，在该领域的应用也已有非常成功的先例，对于图像的细微特征点的提取以及识别，在某些方面有飞跃的发展。

因此通过人工智能来帮助人工进行消化内镜视频、图片相关数据的分析和判定，能有效提高消化道图像中的早期病变发现率、提高识别精度的情况。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供了一种基于人工智能的多场景消化道内镜图像识别方法及系统。

本发明采用的技术方案如下：一种基于人工智能的多场景消化道内镜图像识别方法，包括：

获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；

基于同一种拍摄部位的数据样本集，训练对应拍摄部位识别模型；基于同一种检查场景的数据样本集，训练对应检查场景识别模块；

将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

进一步的，所述检查场景包括普通白光、NBI、放大、碘染。

进一步的，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域的过程包括：确定拍摄部位的消化道部位分类内容和检查场景分类内容；将经过脱敏处理的内镜图像导入到标注工具中，利用图片标注工具对内镜图像进行标注，其中每张内镜图像需要标注所属的消化道部位、所属的检查场景以及图片内容中包含病变的情况。

进一步的，针对所述图片内容中包含病变的情况，将病变的分割区域标出，指定对应的标签并标注在对应的图像上。

进一步的，如果一张图片内容中包含多个病变，每个病变的分割区域分别标出，并分别指定对应的标签。

进一步的，所述拍摄部位识别模型、检查场景识别模块、病变识别模型的训练方法包括：

(a)针对不同的识别模型获取数据样本集，平衡数据样本集中各个标签对应的图片的数量；

(b)将平衡后得到的数据样本集按照特定比例分为训练集、验证集和测试集；(训练集和验证集用于模型训练，测试集用于最终验证训练的结果；)

(c)训练集用于优化模型的网络参数，验证集用于测试每一个训练轮次的训练效果，基于深度卷积神经网络进行训练，通过训练集和验证集得到的准确率和损失值满足设定的优化值时停止训练，得到训练模型，然后用测试集来验证训练模型是否达到预设的准确度，如果是则获得最终的识别模型。

进一步的，将平衡后得到的数据样本集按照6:2:2比例分为训练集、验证集和测试集。

进一步的，所述识别出该内镜图像的拍摄部位和检查场景的过程中，拍摄部位识别模型和检查场景识别模型只返回相应的标签。

进一步的，所述识别出病变部位的过程中，当识别出多个多边形的病变分割区域，给每个病变区域都标明对应的标签，病变识别模型返回对应的标签和多边形分割区域。

本发明还公开了一种基于人工智能的多场景消化道内镜图像识别系统，包括：

数据获取模块，用于获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；

识别模型训练模块，用于基于同一种拍摄部位的数据样本，训练对应拍摄部位识别模型；用于基于同一种检查场景，训练对应检查场景识别模块；

识别模型训练模块，还用于将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

识别模块，用于针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

与现有技术相比，采用上述技术方案的有益效果为：本发明的技术方案将内镜图像的拍摄部位以及检查场景进行分类，并分别训练了识别模型，该方案任何单一的场景下病变的共性和背景条件就会更加一致，就更有利于提高识别的准确率和系统的泛化能力，从而逐步解决全消化道内镜图像的病变区域识别难题。

附图说明

图1是本发明基于人工智能的多场景消化道内镜图像识别方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

如图1所示，一种基于人工智能的多场景消化道内镜图像识别方法，包括：

获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位，例如本实施例的拍摄部位分类内容包括食道、胃、十二指肠、结直肠，针对数据样本标注检查场景，检查场景分类内容包括普通白光、NBI、放大、碘染，针对数据样本标出病变的分割区域；

基于同一种拍摄部位的数据样本，训练对应拍摄部位识别模型，即包括食道的摄部位识别模型、胃的摄部位识别模型、十二指肠的摄部位识别模型、结直肠的摄部位识别模型；基于同一种检查场景的数据样本，训练对应检查场景识别模块，即包括普通白光的检查场景识别模块、NBI的检查场景识别模块、放大的检查场景识别模块、碘染的检查场景识别模块；

将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；如下表1所示；

表1

可见把拍摄部位和检查场景的不同情况进行组合，排除部分组合，没有数据样本的没有展现在该表里面，得到如表所示的多种情况；每一个病变识别模型可以对其所对应的特定消化道部位和检查场景下的消化道病变情况做出识别，例如食道白光场景检测模型可以对食道内在普通白光检测场景下的病变做出准确识别；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

优选地，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域的过程包括：确定拍摄部位的消化道部位分类内容(例如，食道、胃、十二指肠、结直肠)和检查场景分类内容(例如，普通白光、NBI、放大、碘染)；将经过脱敏处理的内镜图像导入到标注工具中，利用图片标注工具对内镜图像进行标注，其中每张内镜图像需要标注所属的消化道部位、所属的检查场景以及图片内容中包含的病变区域所对应的标签。因此数据样本中每个图像包括消化道部位属性、检查场景属性以及病变区域属性。特别的，如果一张图片内容中包含多个病变，每个病变的分割区域分别标出，并分别指定对应的标签。例如下表2为一个数据样本的标注情况：

表2：

在具体实施过程中，由于标注的正确性对整个模型的训练起着至关重要的作用，所以在每一张图片标注完成以后，可以进行人工复查和最终确认，复查没有通过的，图片都会被重新放回未标记图片的集合进行人工标注。

优选地，所述拍摄部位识别模型、检查场景识别模块、病变识别模型的训练方法包括：

(a)根据消化道部位的标记情况，创建消化道部位数据样本集(食道数据样本集、胃数据样本集、十二指肠数据样本集、结直肠数据样本集)；根据检查场景的标记情况创建检查场景数据样本集(普通白光数据样本集、NBI数据样本集、放大数据样本集、碘染数据样本集)；根据消化道部位、检查场景和病变的标注情况分别生成对应于消化的部位和检查场景的病变数据样本集，就本实施例而言具体包含如下病变数据样本集：

·食道白光场景病变数据样本集

·食道NBI场景病变数据样本集

·食道放大场景病变数据样本集

·食道碘染场景病变数据样本集

·胃白光场景病变数据样本集

·胃NBI场景病变数据样本集

·胃放大场景病变数据样本集

·十二指肠白光场景病变数据样本集

·十二指肠NBI场景病变数据样本集

·十二指肠放大场景病变数据样本集

·结直肠白光场景病变数据样本集

·结直肠NBI场景病变数据样本集

·结直肠放大场景病变数据样本集

如果数据样本集中不同标签包含的图片数量或标注区域的数量相差太多，会导致训练出的模型在推理时会明显偏向数据多的标签，这对模型训练是非常不利的。而现实中，数据来自真实的病例，数据不平衡的情况又几乎是必然的。所以在模型训练的过程中我们首先要做的就是平衡各个标签对应的数据的数量；对于对应数据数量偏小的标签，可以采用旋转、亮度变换、移位、反转、剪裁、高斯噪声等数据增强的手段增加相应数据的数据量；对于对应数据数量明显偏大的标签，也可以适当去掉一部分数据；

需要训练的识别模型可以分为两类，拍摄部位识别模型和检查场景识别模型属于分类模型；病变识别模型属于分割模型。这些模型训练的基本流程是一样的，具体如下：

(b)将平衡后得到的数据样本集按照特定比例分为训练集、验证集和测试集；训练集和验证集用于模型训练，测试集用于最终验证训练的结果；

(c)训练集用于优化模型的网络参数，验证集用于测试每一个训练轮次的训练效果，基于深度卷积神经网络进行训练，，从而给AI工程师提供优化训练超参数的依据。当训练到通过训练集和验证集得到的准确率和损失值都比较稳定且达到一个比较优化的值以后，得到一个训练模型。这时就可以用测试集，测试集是训练模型从来没有接触过的数据集，因此可以验证训练模型的最终性能。如果通过测试集的测试得到的准确率达到了预期的要求，说明模型在准确性和泛化性两方面都达到了要求，模型训练就可以初步得到识别模型。如果，在测试集上测试的效果不好，说明模型的泛化能力不行，这时我们要重新开始模型的训练，对数据样本集和模型的超参数做重新整理和优化，并训练新的模型，如此反复直到得到了能通过测试集检验的识别模型为止。

优选地，因消化道拍摄部位识别模型和检查场景识别模型都是分类模型，利用整两个模型，对于一张消化道拍摄图片可以识别其所处的消化道部位(食管、胃、十二指肠、结直肠之一)和检查场景(普通白光、NBI、碘染、放大之一)，这时拍摄部位识别模型和检查场景识别模型只返回相应的标签，而不返回图片上特定的矩形或分割区域。。

优选地，因病变识别模型都是分割模型，针对一张消化道内镜图像的多个多边形的病变分割区域，可以给每个病变区域都标明对应的标签，识别出病变区域时，病变识别模型返回对应的标签和多边形分割区域。

本发明的分类模型是基于深度卷积神经网络(Deep Convolutional NeuralNetwork，DCNN)训练的。使用深度卷积神经网络对于医学图像进行病变的分类和分割成是目前非常有效的方法之一。DCNN通过一系列的卷积、池化操作，逐步提取医学图像特征的有用信息，将简单的图像特征逐步汇聚成高阶特征，进而判断病人患病与否，并且精确的分割出病变区域。同时DCNN还具有自动地从数据中学习深层次、更具鉴别性特征的能力。DCNN是由神经元构成，神经元之间包含待学习的网络权重以及偏差值，神经元通过对输入数据进行卷积运算得到输出结果(前向传播)，输出结果与预设标签进行对比，计算存在的误差(残差)，然后将误差逐层向后传递，以更新神经元之间的权值和偏置(反向传播)，持续往返，直到误差在阈值范围内且识别精度得到满足。卷积神经网络是为识别二维及以上图像设计的一个多层感知器模型，这种模型结构能够对图像的比例缩放、图像倾斜、图像平移及其他形式的变形具有高度不变性,因而特别适用于医学图像的分类任务。网络的结构主要包括稀疏连接和权值共享两个特征，在特征提取方面，每个神经元从上一层的局部连接节点得到输入，从而进行处理提取出局部特征。在特征映射方面，网络结构中的每个层次都是由多个特征映射组成，并且每个特征映射都是二维形式，二维形式下的神经元可以局部共享相同的权值，保证图像位移的不变性，网络的自由参数也相应减少。卷积神经网络中还有一个比较特殊的结构—下采样，通常情况下，每个卷积层之后都是紧跟一层下采样，下采样层能够实现局部平均和计算的功能，降低特征映射的分辨率，同时使模型对平移等形式造成的图像变形的敏感性降低。由于医学图像大多是灰度图像，病变的部位、界限、大小、形状等信息相对模糊，卷积神经网络的结构能够很好的适应医学图像的这些特点。基于这些特点由本发明实现的特定深度卷积神经网络可以非常好的实现对消化道拍摄部位和检查场景的分类识别功能。

我们的分割模型是基于以DCNN为基础的全卷积网络(Fully convolutionalnetwork,FCN)训练的。FCN为实现医学图像语义分割提供了非常好的解决方案。FCN模型对输入图像通过网络模型从左至右地利用卷积层、池化层和相应激活函数进行前馈计算,逐层提取特征表示；使用1×1卷积层代替全连接层,并采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生一个预测；然后,利用分割金标准,以监督方式通过反向传播误差,训练调整网络参数。FCN不需逐图像块计算过程,保留了原始输入图像中的空间信息,能够在上采样的特征图上进行逐像素分类,即能够进行像素到像素的语义分割。仅由最后特征图直接上采样得到的预测图边缘可能不光滑,需要将浅层特征和高层抽象特征相融合,然后再通过上采样得到输出。这种方式兼顾局部和全局信息,能够在医学图像上取得了非常好的分割效果。

对应的系统实施例，一种基于人工智能的多场景消化道内镜图像识别系统，包括：

数据获取模块，用于获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；

识别模型训练模块，用于基于同一种拍摄部位的数据样本，训练对应拍摄部位识别模型；用于基于同一种检查场景，训练对应检查场景识别模块；

识别模型训练模块，还用于将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

识别模块，用于针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

在实际运用中，设置主控程序负责辅助识别系统与外界的信息接收、多个人工智能识别模型的调用控制以及最终判定结果的显示输出。

辅助判定系统即可以对单张图片进行识别，也可以对持续的视频流进行连续地识别。对于单张图片，主控程序会直接开始识别进程；对于视频流，主控程序会一帧一帧地从视频数据缓冲区读取数据，从而把视频流拆分成一张一张的图片并按顺序对它们进行识别。

主控程序的运行模式包括自动模式和手动模式两种。

在自动模式下，主控程序对于接收的图像首先用消化道拍摄部位识别模型进行识别，从而确定当前图像所代表的消化道部位；然后，再用检查场景识别模型对当前图像进行识别，从而得到当前图像内容所处的检查场景；最后，根据之前获得消化道拍摄部位信息和检查场景信息选择对应的病变识别模型，并用这个模型对当前图像进行识别，从而最终确定当前图像内容的病变情况。由于病变识别模型是分割模型，所以最终的识别结果会是一张图片上有0到多个标有病变名称标签的多边形分割区域被识别出来。在自动模式下的辅助诊断过程中，当消化道拍摄部位或检查场景发生改变时，主控程序会自动做出响应，立即切换到用对应的病变模型识别病变的状态。

主控程序提供手动设置消化道拍摄部位和检查场景的功能，在手动模式下，主控程序不再调用相关的模型去识别当前图片内容所处的消化道拍摄部位和所处的检查场景，而是根据用户的相关设定直接选择对应的病变识别模型，其他处理逻辑和自动模式相同。

主控程序获取到病变识别模型的识别结果后，以可视化的形式将其展示在辅助判定系统中。输出的信息包括：

·视频或图像的原始内容

·识别出的病变分割区域(可以单独显示，也可以叠加在原始的图片或视频中)

·识别出的当前场景的消化道部位和检查场景信息。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

Claims (10)

1.一种基于人工智能的多场景消化道内镜图像识别方法，其特征在于，包括：

获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；

基于同一种拍摄部位的数据样本集，训练对应拍摄部位识别模型；基于同一种检查场景的数据样本集，训练对应检查场景识别模块；

将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

2.如权利要求1所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，所述检查场景包括普通白光、NBI、放大、碘染。

3.如权利要求1所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域的过程包括：确定拍摄部位的消化道部位分类内容和检查场景分类内容；将经过脱敏处理的内镜图像导入到标注工具中，利用图片标注工具对内镜图像进行标注，其中每张内镜图像需要标注所属的消化道部位、所属的检查场景以及图片内容中包含病变的情况。

4.如权利要求3所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，针对所述图片内容中包含病变的情况，将病变的分割区域标出，指定对应的标签并标注在对应的图像上。

5.如权利要求4所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，如果一张图片内容中包含多个病变，每个病变的分割区域分别标出，并分别指定对应的标签。

6.如权利要求1所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，所述拍摄部位识别模型、检查场景识别模块、病变识别模型的训练方法包括：

(a)针对不同的识别模型获取数据样本集，平衡数据样本集中各个标签对应的图片的数量；

(b)将平衡后得到的数据样本集按照特定比例分为训练集、验证集和测试集；

(c)训练集用于优化模型的网络参数，验证集用于测试每一个训练轮次的训练效果，基于深度卷积神经网络进行训练，通过训练集和验证集得到的准确率和损失值满足设定的优化值时停止训练，得到训练模型，然后用测试集来验证训练模型是否达到预设的准确度，如果是则获得最终的识别模型。

7.如权利要求6所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，将平衡后得到的数据样本集按照6:2:2比例分为训练集、验证集和测试集。

8.如权利要求1所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，所述识别出该内镜图像的拍摄部位和检查场景的过程中，拍摄部位识别模型和检查场景识别模型只返回相应的标签。

9.如权利要求1所述的基于人工智能的多场景消化道内镜图像识别方法，其特征在于，所述识别出病变部位的过程中，当识别出多个多边形的病变分割区域，给每个病变区域都标明对应的标签，病变识别模型返回对应的标签和多边形分割区域。

10.一种基于人工智能的多场景消化道内镜图像识别系统，其特征在于，包括：

数据获取模块，用于获取消化道内镜图像的数据样本，针对数据样本标注图像的拍摄部位、检查场景，标出病变的分割区域；

识别模型训练模块，用于基于同一种拍摄部位的数据样本，训练对应拍摄部位识别模型；用于基于同一种检查场景，训练对应检查场景识别模块；

识别模型训练模块，还用于将拍摄部位中任一种情况和检查场景的任一种情况进行组合得到多个病变识别的训练数据样本集；针对每一个训练数据样本集，训练得到一个对应拍摄部位在对应检查场景中病变识别模型；

识别模块，用于针对待识别内镜图像，先采用拍摄部位识别模型和检查场景识别模块识别出该内镜图像的拍摄部位和检查场景，根据具体的拍摄部位和检查场景选择对应拍摄部位在对应检查场景中病变识别模型，识别出病变部位。

Images