CN109300530B - 病理图片的识别方法及装置 - Google Patents

Abstract

本发明公开了一种病理图片的识别方法及装置，其中该方法包括：获取待识别病理图片；将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到待识别病理图片的最终识别结果。上述技术方案提高了病理图片识别的效率和准确率。

Description

病理图片的识别方法及装置

技术领域

本发明涉及医疗技术领域，尤其涉及病理图片的识别方法及装置。

背景技术

淋巴结转移是肿瘤最常见的转移方式。进展期胃癌的根治性切除手术包括彻底切除胃癌原发病灶，转移淋巴结及受侵的组织、脏器。胃癌术后的病理诊断是胃癌诊断的金标准，为病人的分期和治疗提供重要依据。而病理诊断中淋巴结是否转移的评估更是诊断中的关键，需要病理医生对每个淋巴结进行逐一认真、仔细观察，整个过程不但耗时耗力，依赖经验，准确率不太理想，而且不同经验的医生对同一病理图片可能存在不同识别结论的风险。

发明内容

本发明实施例提供一种病理图片的识别方法，用以提高病理图片识别的效率和准确率，该方法包括：

获取待识别病理图片；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果。

本发明实施例还提供一种病理图片的识别装置，用以提高病理图片识别的效率和准确率，该装置包括：

获取单元，用于获取待识别病理图片；

识别单元，用于将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

融合单元，用于对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述病理图片的识别方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述病理图片的识别方法的计算机程序。

本发明实施例提供的技术方案，先获取待识别病理图片，再将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；该多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；最后，对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果，由于训练好的深度神经网络模型具有病理图片自动识别功能，将病理图片输入该深度神经网络模型，即可识别出病理图片上可能有恶性病变的区域，实现对病理图片的良恶性分类，整个过程省时、省力，不但提高了病理图片识别的效率，而且不依赖于医生的个人经验，最终识别结果为对多个不同类型的深度神经网络模型得到的初步识别结果融合得到，大大提高了病理图片识别的准确率。

本发明实施例提供的技术方案不仅可以应用于胃淋巴结癌转移病理图片的识别，还可以应用于其它癌症病理图片的识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中病理图片的识别方法的流程示意图；

图2为本发明实施例中病理图片的识别方法的一具体示例图；

图3为本发明实施例中多GPU并行训练原理示意图；

图4为本发明实施例中病理图片的识别装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在介绍本发明实施例之前，首先对本发明涉及的专业术语进行介绍。

1、假阳性率：false positive rate，实际为阴性、模型预测为阳性的样本个数在所有阴性样本中的比例。

2、假阴性率：false negative rate，实际为阳性、模型预测为阴性的样本个数在所有阳性样本中的比例。

3、准确率：Accuracy＝(预测正确的样本数)/(总样本数)。

4、训练集：输入给模型训练的带有标注癌细胞区域(病变区域)的胃淋巴结癌转移数字病理图像。

5、测试集：未输入给模型训练的带有标注癌细胞区域(病变区域)的胃淋巴结癌转移数字病理图像。

6、验证集：不带有标注癌细胞区域(病变区域)的胃淋巴结癌转移数字病理图像

7、迁移学习(Transfer learning)：

把已训练好的模型参数迁移到新的模型，来加快新模型训练。

8、scn文件：一种医疗图片存储格式，读取时需要特殊处理。

9、Top5错误率：imagenet图像通常有1000个可能的类别，对每幅图像可以同时预测5个类别标签，当其中有任何一次预测对了，结果都算对，当5次全都错了的时候，才算预测错误，这时候的分类错误率就叫top5错误率。

10、HE染色：苏木精-伊红染色法(hematoxylin-eosin staining)，苏木精染液为碱性，主要使细胞核内的染色质与胞质内的核酸着紫蓝色；伊红为酸性染料，主要使细胞质和细胞外基质中的成分着红色。

11、阴性样本：不包含癌细胞的样本，也叫可以做负样本：正常或良性病变病理图片。

12、阳性样本：包含癌细胞的样本，也可以叫做正样本：恶性病变病理图片。

本发明实施例的发明目的是：针对胃癌患者手术清扫的淋巴结的病理切片，根据病理组织切片上淋巴结的各项特征做出有无癌细胞的诊断，如果有癌细胞则显示其位置。

随着中国60岁及以上人口占总人口的比例不断增加，按照癌症在人口中的发病率测算，患癌症的人口数量将快速增加。这会导致医疗资源更加紧张。在癌症诊断过程中，病理诊断是最终确诊的金标准。传统淋巴结癌转移的诊断，需要病理科医生，在显微镜下反复观察淋巴结，确定淋巴结的个数及各个淋巴结有无癌转移。受限于医生经验和医生疲劳状态，会发生一定概率的误诊和漏诊。本发明准确率在patch级别达到了99.80％，假阳性率在patch级别低于0.06％，有效地辅助医生诊断，降低了医生的误诊率和漏诊率，最终提升患者的就医体验。

那么接着，对发明人从发现技术问题到提出本发明实施例方案的过程进行介绍。

从上世纪70年代至今，机器学习技术不断快速发展，提高了人类的生产效率。在机器学习发展过程中，硬件性能和有效数据量一直制约了机器学习的发展。在2010年前后，硬件性能大幅度提升和大量高质量数据的积累促使机器学习的一个重要组成部分-深度学习，在算法和应用上有了很大的突破。在图像处理上，深度学习模型在分类、检测、分割等任务上都取得了跨越式的进展。在有效数据量较大的情况下，使用适当的深度学习模型对数据建模，其效果往往由于传统机器学习的效果，而且其对不同数据集具有迁移学习的能力，明显降低了传统机器学习中进行特征工程的成本。所以发明人在本发明中主要采用了神经网络模型来对数据进行建模。

目前医学数字病理图像的诊断，普遍采用了切patch/训练分类模型/预测的大致流程。在这个过程中，切patch主要采用了256*256，512*512，1024*1024三种规格。分类模型主要采用了在学术数据集ImageNet上Top5准确率效果较好的模型，如Inception模型系列，ResNet模型系列，VGG模型系列。预测时用单一训练好的模型对新数据得到结果。由于ImageNet数据集和数字病理图像在特征提取方面有很多相似之处，所以ImageNet数据集上效果好的模型运用到数字病理图像数据集上也能获得较好的结果。对模型进行训练/测试过程中，现有实现方案不断根据现有数据对模型进行调整已达到更好的效果。

然而，发明人发现现有方案存在如下技术问题，并针对发现的技术问题提出了相应的解决方案：

A.在确定所使用的模型时，受代码实现限制和硬件限制，只挑选1个深度模型进行训练和测试。限于同一深度模型的表达能力，模型片面的优化了某一性能指标而使另外一些性能指标偏低。由于发明人考虑到了这个技术问题，提出的技术方案是：首先选择了6个模型进行训练，分析其特点，然后使用3个模型的结果综合处理得到最终结果，在patch级别上，把假阳性控制在0.06％的同时，保证假阴性率在0.3％以下，总体准确率在99.8％以上。

B.在进行模型训练时，使用单GPU的训练速度较慢，没有充分利用多GPU的并行计算优势。由于发明人考虑到了这个技术问题，提出了使用多GPU进行训练，在同样训练数据量的情况下，减少了模型训练时间，使训练阶段模型调试的时间缩短，节省了开发人员的时间。

C.模型预测改进阶段，现有的实现方案中，从已有数据中挖掘更多信息以改进模型。如果遇到模型没处理过的癌细胞类别，则模型无法识别，模型迭代的方向不贴和病理诊断实际。由于发明人考虑到了这个技术问题，提出了技术方案：通过不断结合医学专业知识，补充模型没处理过的数字病理图片，使模型能识别更多的癌细胞形态，有效降低漏检率，迭代模型的方向更符合病理图片的识别需要，也可以说是病理诊断实际需求。

发明人提出的方案涉及基于深度学习分类模型(深度神经网络模型)的癌细胞检测。按照流程该方法可以包括：1.从数字病理scn格式文件中获取阳性patch样本(正样本)和阴性patch样本(负样本)；2.综合分析阴性和阳性patch样本的情况，选择6种合适的深度学习分类模型，充分利用不同模型的优势；3.用训练集数据对上述确定的6种深度神经网络模型在多GPU环境下进行训练，使各个模型具备预测数字病理图像中各个淋巴结上patch良恶性的能力；4.用测试集对各个模型性能进行详细的测试，测试各个模型的性能，包括，假阳性率，假阴性率，准确率；5.根据各个模型的性能表现综合优选3个模型，融合3个模型在验证集上的结果以提高准确率、降低假阳性率、假阴性率的目的。6.分析最终预测结果，充分结合医生的专业知识，补充新的训练数据，针对性的迭代模型，进一步提高识别准确率。下面对该病理图片的识别方案进行详细介绍如下。

图1为本发明实施例中病理图片的识别方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤101：获取待识别病理图片；

步骤102：将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；该多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

步骤103：对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到待识别病理图片的最终识别结果。

本发明实施例提供的技术方案，先获取待识别病理图片，再将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；该多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；最后，对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果，由于训练好的深度神经网络模型具有病理图片自动识别功能，将病理图片输入该深度神经网络模型，即可识别出病理图片上可能有恶性病变的区域，实现对病理图片的良恶性分类，整个过程省时、省力，不但提高了病理图片识别的效率，而且不依赖于医生的个人经验，最终识别结果为对多个不同类型的深度神经网络模型得到的初步识别结果融合得到，大大提高了病理图片识别的准确率。

下面结合附图2，针对本发明实施例中病理图片的识别方法的各个步骤进行详细介绍如下。

第一，介绍预先训练生成多个不同类型的深度神经网络模型的过程。

在一实施例中，按照如下方法预先训练生成所述多个不同类型的深度神经网络模型：

获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

将所述样本数据划分为训练集、测试集和验证集；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练；

利用所述测试集对训练好的第一集合中的多个不同类型的深度神经网络模型进行测试；

根据测试结果，从所述第一集合中的多个不同类型的深度神经网络模型中筛选出多个深度神经网络模型作为第二集合；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，得到所述预先训练生成的多个不同类型的深度神经网络模型。

具体实施时，首先介绍获取训练数据(样本数据)的过程，胃淋巴结癌转移数字病理图片的存储和标注：

根据医学临床上的规范操作，先把胃癌患者的淋巴结组织用HE染色的方式进行染色，做成病理切片。然后利用数字病理扫描仪40倍扫描得到数字病理图片，存储在磁盘介质上，得到scn格式的图片。一张scn图片在磁盘上存储的物理大小范围0.4GB–8GB，像素的数量级为10^9–10^10。由具备良好专业能力的病理科医生使用ImageScope软件对数字病理图片进行标注，把癌症区域勾画出来。勾画的数据保存为特定格式的xml标签文件以便程序读取。

其次，介绍获取样本数据之后，对样本数据的预处理过程，获取阳性/阴性patch(正/负样本)：

在一个实施例中，在获得样本数据后，进一步按如下方式对所述样本数据进行预处理：

对于每一负样本，进行如下预处理：

将正常或良性病变病理图片从RGB颜色格式转化为HSV颜色格式；

将HSV颜色格式的正常或良性病变病理图片的饱和度调整到预设阈值；

在饱和度调整到预设阈值后的正常或良性病变病理图片的前景细胞区域，提取多个预设像素大小的块patch图片；

判断预设像素大小的patch图片中包含的前景所占整张patch图片的第一比例，在所述第一比例小于第一预设比例值时，删除所述预设像素大小的patch图片；

对于每一正样本，进行如下预处理：

在恶性病变病理图片上标记的病变区域中提取多个预设步长的patch图片；

判断预设步长的patch图片中包含的前景所占整张patch图片的第二比例，在所述第二比例小于第二预设比例值时，删除所述预设步长的patch图片；预设步长的patch图片中包含的前景为病变区域。

具体实施时，上述第一预设比例值和第二预设比例值可以根据实际工作需要进行灵活设置，二者可以相同，也可以不相同，例如下文提到的0.85。上述预设像素大小可以是下文提到的224*224像素，当然也可以是112*112，128*128，256*256，512*512像素或相近大小的。上述预设步长可以是下文提到的112*112，当然也可以是128*128或相近大小的。

具体实施时，数字病理图片的像素数量很大，这会导致模型后续搭建和训练过程中，内存不足的问题。为了解决这一问题，本发明采用了patch级别分类的方式来解决硬件内存不足的限制，由此，这一模块把数字病理图片切分成224*224像素的patch。具体做法如下：

对于整张图片为阴性的样本，首先把图片从RGB颜色格式转化为HSV颜色格式，然后在饱和度H这一层确定合适的阈值，用来把图片细胞前景和没有细胞的背景空白处区分开。在前景细胞区域，按照从左到右，从上到下，不重叠的取224*224像素的patch图片，保证每一块前景区域都有相应的patch。然后判断patch中包含的前景所占整张patch的比例，如果该比例小于0.85则说明patch中包含背景较多，删掉这张patch。最后留下来的patch即为本张病理图片处理后的数据，作为下一模块中模型的输入。对每一张阴性病理图像样本重复此操作。

对于阳性病理图片样本，用程序解析xml标签文件，读取标签时，应注意区分不同的封闭区域以及描述区域的坐标点。此时，把勾画区域内部作为前景，其它部分作为背景。由于总体来看阳性区域的面积要小于阴性图片上的区域，为了得到更多的阳性patch以平衡阴/阳性样本数量，在阳性病理图片的阳性区域中，采用了重叠1/2的方式，取224*224像素的patch，即用112*112的步长在阳性区域中从左到右，从上到下，依次提取patch。在阳性区域边缘部分，判断patch中包含前景的比例，如果此比例小于0.85则删除这张patch。对每一张阳性病理图像样本重复此操作，得到下一模块中需要的数据。

接着，再介绍对样本数据进行预处理之后，训练生成所述多个不同类型的深度神经网络模型的过程。

(1)划分训练/测试数据，确定6个要训练的模型：

在一实施例中，所述第一集合中的多个不同类型的深度神经网络模型包括：inception v3模型、resnet18模型、resnet34模型、resnet50模型、VGG16模型和VGG19模型。

具体实施时，对得到的正负样本patch，本发明将其中80％作为训练集，20％用做测试集，测试集用于在模型训练过程中不断修正模型，使模型性能达到理想水平。通过对分类模型的调研，结合本数据的特点，本发明选中了6个模型(第一集合中的多个不同类型的深度神经网络模型)在相同训练集上训练，选用模型分别为：inception v3，resnet18，resnet34，resnet50，VGG16和VGG19。选中的模型在学术数据集和真实分类任务中已被广泛应用，然而发明人根据大量实验，选用了上述6个模型。每个模型有不同的特点：inceptionv3混合了不同的网络子结构以提升模型的通用性；resnet18网络较浅，对数据量小或者数据差异不大的情况效果较好；resnet34平衡了模型描述能力和训练速度；resnet50与相同层数的网络结构相比，训练的速度相对较快；VGG16和VGG19模型中参数较多，占用计算资源较多，表达能力丰富。不同的模型在本发明数据集中的性能表现不同，通过对多种模型的实验验证，进一步优选效果较好的模型，提升总体性能指标。此模块中确定的6个模型，为之后的模型优选和结果融合提供了先决条件，为后续提高识别准确率奠定基础。

具体实施时，选用模型的模型数量可以是其他数目，也可以是其他类型的模型。

(2)模型训练和测试迭代：

在本发明实例中，模型的实现参考相关论文和现有实现方案，并根据patch数据特点选择初始的网络参数：学习率及其走势规划，patch大小，预测分类个数，梯度下降优化算法，初始化权重。对每个模型进行训练和测试，根据测试结果来分析模型目前的性能，调整训练参数以提升该模型各项性能。经过5-10次训练和测试迭代，把每一个模型的能力发挥到极致，得到在本数据集下该模型最佳性能。

在一实施例中，利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练，包括：对第一集合中的多个不同类型的深度神经网络模型进行并行训练，其中，使用2个图形处理器GPU对每一个模型进行训练。

具体实施时，本发明实施例利用了多GPU计算资源来加快训练速度，从总体上缩短了模型训练测试迭代的周期。在多GPU实现中，需要对不同GPU计算得到的梯度进行融合，本发明采用的融合方式为求和，或者求平均值。在本数据集上，求和的效果更佳，所以本发明选择了多GPU计算梯度求和的方式。经过发明人大量的实验，提出了方案：确定了对单一模型训练所用GPU的个数，对于每个模型，用2个GPU能减少80％的训练时间，如使用更多GPU，由于多GPU同步成本较高，其加速效果没有显著提升。在训练过程中，每一个模型使用2个GPU进行加速训练，6个模型同时训练，充分利用了12个GPU的计算资源。

(3)下面介绍并行训练多模型的详细过程。

在一个实施例中，使用2个图形处理器GPU对每一个模型进行训练，可以包括：

将训练集数据平均分为互不重叠的第一训练数据流和第二训练数据流；

在第一训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第一损失函数值，损失函数对每个变量求偏导数，得到变量的第一梯度值；

在第二训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第二损失函数值，损失函数对每个变量求偏导数，得到变量的第二梯度值；

CPU等待第一GPU(GPU1)和第二GPU(GPU2)计算梯度值完成，对两梯度值求和，然后用得到的梯度值更新相应的变量，得到变量的新值，CPU把更新后的变量值传递给第一GPU(GPU1)和第二GPU(GPU2)，覆盖第一GPU(GPU1)和第二GPU(GPU2)中原有的模型(例如图3中所示的VGG16模型)变量值，直至训练完成。

具体实施时，由于每一个模型在训练时的计算相互独立，这里以VGG16模型在2个GPU上训练的过程为例，流程如图3所示：

首先把训练数据平均分为互不重叠的两个数据流，分别为训练数据流1(第一训练数据流)和训练数据流2(第二训练数据流)。在GPU1上取数据流1中固定数量的patch输入到模型中，本例中此数量为64张patch。模型经过计算得到损失函数值第一损失函数值，损失函数对每个变量求偏导数从而得到变量的梯度值1(第一梯度值)。在GPU2上进行类似操作，得到变量梯度值2(第二梯度值)。此后控制权交给了CPU，CPU等待GPU1和GPU2计算梯度值完成，对两梯度值求和，然后用得到的梯度值更新相应的变量，得到变量的新值。CPU每次会将GPU1和GPU2上的模型变量同步：CPU把更新后的变量值传递给GPU1和GPU2，覆盖GPU1和GPU2中原有的VGG16模型变量值，使得GPU1和GPU2中的模型变量值保持一致。然后模型重新从数据流中读取数据，计算损失函数，计算变量梯度值，如此往复。以上机制保证了数据流1和2中的数据会同时用完，这时用训练数据再次扩充数据流，同样的，数据流1和数据流2互不重叠且数据量相同。

由于CPU会等待GPU1和GPU2计算梯度值均已完成后，才会做下一步梯度值求和操作，等待的过程造成了时间的浪费，所以使用2个GPU不能使训练速度提升100％。在本发明中，使用2个GPU令训练速度提升了80％。

(4)下面再介绍训练多模型后的融合选定的3个模型在验证集上进行预测过程。

在一个实例中，所述第二集合中的多个不同类型的深度神经网络模型包括：resnet34模型、VGG16模型和VGG19模型

具体实施时，对比了6个模型的性能，排除了实验效果较差的resnet18模型，resnet50模型和inceptionv3模型，本发明选用了假阴性率较低的resnet34模型，假阳性率较低的VGG16模型和VGG19模型。这3个模型结果融合方法为：对于3个模型都预测patch为阴性的情况，此patch最终预测结果为阴性；对于3个模型都预测patch为阳性的情况，此patch最终预测结果为阳性；对于3个模型对同一patch预测结果不一致的情况，此patch最终预测结果为阴性。

采用上述方法对验证集的数据进行预测，并把patch预测结果对应到数字病理图片上，在病理图片上标出模型预测阳性patch的位置，进行可视化呈现，为下一模块的结果分析做好准备。

第二，介绍在得到预先训练的多个不同类型的深度神经网络模型后，利用该模型进行预测的过程。

在获取待识别病理图片的步骤后，也可以进行例如上述对样本数据的预处理的过程，在对待识别病理图片预处理之后，进一步提高识别的效率和准确率。

第三，介绍对多个不同类型的深度神经网络模型得到的初步识别结果进行融合的过程，该融合的过程，请参见上述训练多模型后，融合选定的3个模型在验证集上进行的预测过程。

具体实施时，根据大量实验结果得到的有益技术效果为：根据实际情况迭代3-5次后，本发明实施例在把patch级别假阳性控制在0.06％的同时，保证假阴性率在0.3％以下，patch级别总体准确率在99.8％以上。

第四，介绍模型优化的步骤，在后续模型的使用过程中，还可以包括对模型优化的过程，进一步提高识别病理图片的准确率在一个实施例中，该模型优化的过程可以包括：

在根据识别结果判断待识别病理图片的假阳性偏高时，补充该类型病理图片的阴性样本至病理图片样本数据库中；

在根据识别结果判断待识别病理图片的假阴性偏高时，补充该类型病理图片的阳性样本至病理图片样本数据库中；

根据补充后的病理图片样本数据库，对所述预先训练生成的多个不同类型的深度神经网络模型进行优化训练，得到更新后的多个不同类型的深度神经网络模型；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，可以包括：

将待识别病理图片输入更新后的多个不同类型的深度神经网络模型，对待识别病理图片进行识别。

具体实施时，数据特性对模型效果有不可忽视的影响。对于上述模型预测错误，可分为假阳性和假阴性。从数据的角度分析，找到错误预测数据的共性，即错误发生在某几类patch上。如果在某一类patch上假阳性偏高，则相应的这一类patch在阴性样本中出现较少，需要补充这一类带有特殊阴性标注的病理图片；如果假阴性偏高，则说明模型对这一类阳性patch没有很好的学习，需要补充这一类的阳性病理图片的勾画。对模型预测错误的patch进行归类，需要结合病理科医生和算法工程师的专业知识，共同分析确定需要补充什么样的数据。另外，由于癌细胞的形态多样，补充更多的多样化的病理图片对模型效果有显著提升。

基于同一发明构思，本发明实施例中还提供了一种病理图片的识别装置，如下面的实施例所述。由于该装置解决问题的原理与病理图片的识别方法相似，因此该装置的实施可以参见病理图片的识别方法的实施，重复之处不再赘述。

图4为本发明实施例中病理图片的识别装置的示意图，如图4所示，该装置可以包括：

获取单元02，用于获取待识别病理图片；

识别单元04，用于将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

融合单元06，用于对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果。

在一个实施例中，上述病理图片的识别装置还可以包括：训练单元，用于按照如下方法预先训练生成所述多个不同类型的深度神经网络模型：

获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

将所述样本数据划分为训练集、测试集和验证集；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练；

利用所述测试集对训练好的第一集合中的多个不同类型的深度神经网络模型进行测试；

根据测试结果，从所述第一集合中的多个不同类型的深度神经网络模型中筛选出多个深度神经网络模型作为第二集合；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，得到所述预先训练生成的多个不同类型的深度神经网络模型。

在一个实施例中，上述病理图片的识别装置还包括预处理单元，所述预处理单元用于：

对于每一负样本，进行如下预处理：

将正常或良性病变病理图片从RGB颜色格式转化为HSV颜色格式；

将HSV颜色格式的正常或良性病变病理图片的饱和度调整到预设阈值；

在饱和度调整到预设阈值后的正常或良性病变病理图片的前景细胞区域，提取多个预设像素大小的块patch图片；

判断预设像素大小的patch图片中包含的前景所占整张patch图片的第一比例，在所述第一比例小于第一预设比例值时，删除所述预设像素大小的patch图片；

对于每一正样本，进行如下预处理：

在恶性病变病理图片上标记的病变区域中提取多个预设步长的patch图片；

判断预设步长的patch图片中包含的前景所占整张patch图片的第二比例，在所述第二比例小于第二预设比例值时，删除所述预设步长的patch图片；预设步长的patch图片中包含的前景为病变区域。

在一个实施例中，所述第一集合中的多个不同类型的深度神经网络模型包括：inceptionv3模型、resnet18模型、resnet34模型、resnet50模型、VGG16模型和VGG19模型；

所述第二集合中的多个不同类型的深度神经网络模型包括：resnet34模型、VGG16模型和VGG19模型。

在一个实施例中，利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练，包括：对第一集合中的多个不同类型的深度神经网络模型进行并行训练，其中，使用2个图形处理器GPU对每一个模型进行训练。

在一个实施例中，使用2个图形处理器GPU对每一个模型进行训练，可以包括：

将训练集数据平均分为互不重叠的第一训练数据流和第二训练数据流；

在第一训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第一损失函数值，损失函数对每个变量求偏导数，得到变量的第一梯度值；

在第二训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第二损失函数值，损失函数对每个变量求偏导数，得到变量的第二梯度值；

CPU等待第一GPU和第二GPU计算梯度值完成，对两梯度值求和，然后用得到的梯度值更新相应的变量，得到变量的新值，CPU把更新后的变量值传递给第一GPU和第二GPU，覆盖第一GPU和第二GPU中原有的模型变量值，直至训练完成。

在一个实施例中，上述病理图片的识别装置还可以包括优化单元，所述优化单元用于：

在根据识别结果判断待识别病理图片的假阳性偏高时，补充该类型病理图片的阴性样本至病理图片样本数据库中；

在根据识别结果判断待识别病理图片的假阴性偏高时，补充该类型病理图片的阳性样本至病理图片样本数据库中；

根据补充后的病理图片样本数据库，对所述预先训练生成的多个不同类型的深度神经网络模型进行优化训练，得到更新后的多个不同类型的深度神经网络模型；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，包括：

将待识别病理图片输入更新后的多个不同类型的深度神经网络模型，对待识别病理图片进行识别。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述病理图片的识别方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述病理图片的识别方法的计算机程序。

综上所述，如今，人工智能技术又一次兴起，伴随着大数据，新算法，云计算的发展，训练深度神经网络模型已经成为了可能，人工智能将会给各个行业带来深远的影响，人工智能+医疗当然也在其中。本发明实施例利用了人工智能在图片分类上的优点，结合传统医疗，使其可以对病理图片做出正确分类。

本发明实施例提供的技术方案不仅可以应用于胃淋巴结癌转移病理图片的识别，还可以应用于其它癌症病理图片的识别。

本发明实施例提供的技术方案达到的有益技术效果为：

①训练阶段选取6个模型，并优选出3个模型，融合其结果。选取6个模型进行训练，充分考虑每个模型的特点，根据假阳性率和假阴性率优选出3个模型。对3个模型的阳性预测结果求交集得到最终结果。多模型的融合有效的发挥了每个模型的优势，从而提升总体性能。

②在训练时，采用了多GPU加速的实现方案。用多GPU在并行时，把梯度数据分配给不同的GPU计算，然后进行多GPU结果的同步，本发明中同步方法采用加和的方式。采用多GPU计算，提升了训练速度，从而整体减少了迭代模型的时间。

③分析模型结果阶段着重结合了医生的专业知识，贴合实际。在实际应用中，不仅仅需要提升模型的准确率，而且需要从医学的角度补充新的数据对模型进行迭代，让模型泛化能力更强，更实用。本发明中充分结合了医生专业知识和算法知识，模型迭代的方向更贴近实际。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种病理图片的识别装置，其特征在于，包括：

获取单元，用于获取待识别病理图片；

识别单元，用于将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

融合单元，用于对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果；

所述的病理图片的识别装置还包括：训练单元，用于按照如下方法预先训练生成所述多个不同类型的深度神经网络模型：

获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

将所述样本数据划分为训练集、测试集和验证集；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练；

利用所述测试集对训练好的第一集合中的多个不同类型的深度神经网络模型进行测试；

根据测试结果，从所述第一集合中的多个不同类型的深度神经网络模型中筛选出多个深度神经网络模型作为第二集合；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，得到所述预先训练生成的多个不同类型的深度神经网络模型；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，包括：对于多个不同类型的深度神经网络模型预测均为阴性的情况，最终预测的结果为阴性；对于多个不同类型的深度神经网络模型预测均为阳性的情况，最终预测的结果为阳性；对于多个不同类型的深度神经网络模型预测结果不一致的情况，最终预测的结果为阴性；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练，包括：对第一集合中的多个不同类型的深度神经网络模型进行并行训练，其中，使用2个图形处理器GPU对每一个模型进行训练；

使用2个图形处理器GPU对每一个模型进行训练，包括：

将训练集数据平均分为互不重叠的第一训练数据流和第二训练数据流；

在第一训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第一损失函数值，损失函数对每个变量求偏导数，得到变量的第一梯度值；

在第二训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第二损失函数值，损失函数对每个变量求偏导数，得到变量的第二梯度值；

CPU等待第一GPU和第二GPU计算梯度值完成，对两梯度值求和，用得到的梯度值更新相应的变量，得到变量的新值，CPU把更新后的变量值传递给第一GPU和第二GPU，覆盖第一GPU和第二GPU中原有的模型变量值，直至训练完成；

所述病理图片的识别方法应用于胃淋巴结癌转移病理图片的识别；

所述病理图片的识别装置还包括预处理单元，所述预处理单元用于：

对于每一负样本，进行如下预处理：

将正常或良性病变病理图片从RGB颜色格式转化为HSV颜色格式；

将HSV颜色格式的正常或良性病变病理图片的饱和度调整到预设阈值；

在饱和度调整到预设阈值后的正常或良性病变病理图片的前景细胞区域，提取多个预设像素大小的块patch图片；

判断预设像素大小的patch图片中包含的前景所占整张patch图片的第一比例，在所述第一比例小于第一预设比例值时，删除所述预设像素大小的patch图片；

对于每一正样本，进行如下预处理：

在恶性病变病理图片上标记的病变区域中提取多个预设步长的patch图片；

判断预设步长的patch图片中包含的前景所占整张patch图片的第二比例，在所述第二比例小于第二预设比例值时，删除所述预设步长的patch图片；预设步长的patch图片中包含的前景为病变区域。

2.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下病理图片的识别方法：

获取待识别病理图片；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果；

按照如下方法预先训练生成所述多个不同类型的深度神经网络模型：

获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

将所述样本数据划分为训练集、测试集和验证集；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练；

利用所述测试集对训练好的第一集合中的多个不同类型的深度神经网络模型进行测试；

根据测试结果，从所述第一集合中的多个不同类型的深度神经网络模型中筛选出多个深度神经网络模型作为第二集合；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，得到所述预先训练生成的多个不同类型的深度神经网络模型；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，包括：对于多个不同类型的深度神经网络模型预测均为阴性的情况，最终预测的结果为阴性；对于多个不同类型的深度神经网络模型预测均为阳性的情况，最终预测的结果为阳性；对于多个不同类型的深度神经网络模型预测结果不一致的情况，最终预测的结果为阴性；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练，包括：对第一集合中的多个不同类型的深度神经网络模型进行并行训练，其中，使用2个图形处理器GPU对每一个模型进行训练；

使用2个图形处理器GPU对每一个模型进行训练，包括：

将训练集数据平均分为互不重叠的第一训练数据流和第二训练数据流；

在第一训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第一损失函数值，损失函数对每个变量求偏导数，得到变量的第一梯度值；

在第二训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第二损失函数值，损失函数对每个变量求偏导数，得到变量的第二梯度值；

CPU等待第一GPU和第二GPU计算梯度值完成，对两梯度值求和，用得到的梯度值更新相应的变量，得到变量的新值，CPU把更新后的变量值传递给第一GPU和第二GPU，覆盖第一GPU和第二GPU中原有的模型变量值，直至训练完成；

所述病理图片的识别方法应用于胃淋巴结癌转移病理图片的识别；

在获得样本数据后，进一步按如下方式对所述样本数据进行预处理：

对于每一负样本，进行如下预处理：

将正常或良性病变病理图片从RGB颜色格式转化为HSV颜色格式；

将HSV颜色格式的正常或良性病变病理图片的饱和度调整到预设阈值；

在饱和度调整到预设阈值后的正常或良性病变病理图片的前景细胞区域，提取多个预设像素大小的块patch图片；

判断预设像素大小的patch图片中包含的前景所占整张patch图片的第一比例，在所述第一比例小于第一预设比例值时，删除所述预设像素大小的patch图片；

对于每一正样本，进行如下预处理：

在恶性病变病理图片上标记的病变区域中提取多个预设步长的patch图片；

判断预设步长的patch图片中包含的前景所占整张patch图片的第二比例，在所述第二比例小于第二预设比例值时，删除所述预设步长的patch图片；预设步长的patch图片中包含的前景为病变区域。

3. 如权利要求2所述的计算机设备，其特征在于，所述第一集合中的多个不同类型的深度神经网络模型包括：inception v3模型、resnet18模型、resnet34模型、resnet50模型、VGG16模型和VGG19模型；

所述第二集合中的多个不同类型的深度神经网络模型包括：resnet34模型、VGG16模型和VGG19模型。

4.如权利要求2所述的计算机设备，其特征在于，所述病理图片的识别方法还包括：

在根据识别结果判断待识别病理图片的假阳性偏高时，补充该类型病理图片的阴性样本至病理图片样本数据库中；

在根据识别结果判断待识别病理图片的假阴性偏高时，补充该类型病理图片的阳性样本至病理图片样本数据库中；

根据补充后的病理图片样本数据库，对所述预先训练生成的多个不同类型的深度神经网络模型进行优化训练，得到更新后的多个不同类型的深度神经网络模型；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，包括：

将待识别病理图片输入更新后的多个不同类型的深度神经网络模型，对待识别病理图片进行识别。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行如下病理图片的识别方法的计算机程序：

获取待识别病理图片；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，每一类型的深度神经网络模型得到一初步识别结果；所述多个不同类型的深度神经网络模型根据多个病理图片样本预先训练生成；

对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到所述待识别病理图片的最终识别结果；

按照如下方法预先训练生成所述多个不同类型的深度神经网络模型：

获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；

将所述样本数据划分为训练集、测试集和验证集；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练；

利用所述测试集对训练好的第一集合中的多个不同类型的深度神经网络模型进行测试；

根据测试结果，从所述第一集合中的多个不同类型的深度神经网络模型中筛选出多个深度神经网络模型作为第二集合；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，得到所述预先训练生成的多个不同类型的深度神经网络模型；

利用所述验证集对第二集合中的多个不同类型的深度神经网络模型进行融合验证，包括：对于多个不同类型的深度神经网络模型预测均为阴性的情况，最终预测的结果为阴性；对于多个不同类型的深度神经网络模型预测均为阳性的情况，最终预测的结果为阳性；对于多个不同类型的深度神经网络模型预测结果不一致的情况，最终预测的结果为阴性；

利用所述训练集对第一集合中的多个不同类型的深度神经网络模型进行训练，包括：对第一集合中的多个不同类型的深度神经网络模型进行并行训练，其中，使用2个图形处理器GPU对每一个模型进行训练；

使用2个图形处理器GPU对每一个模型进行训练，包括：

将训练集数据平均分为互不重叠的第一训练数据流和第二训练数据流；

在第一训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第一损失函数值，损失函数对每个变量求偏导数，得到变量的第一梯度值；

在第二训练数据流中获取预设数据量的病理图片输入到当前模型，模型经过计算得到第二损失函数值，损失函数对每个变量求偏导数，得到变量的第二梯度值；

CPU等待第一GPU和第二GPU计算梯度值完成，对两梯度值求和，用得到的梯度值更新相应的变量，得到变量的新值，CPU把更新后的变量值传递给第一GPU和第二GPU，覆盖第一GPU和第二GPU中原有的模型变量值，直至训练完成；

所述病理图片的识别方法应用于胃淋巴结癌转移病理图片的识别；

在获得样本数据后，进一步按如下方式对所述样本数据进行预处理：

对于每一负样本，进行如下预处理：

将正常或良性病变病理图片从RGB颜色格式转化为HSV颜色格式；

将HSV颜色格式的正常或良性病变病理图片的饱和度调整到预设阈值；

在饱和度调整到预设阈值后的正常或良性病变病理图片的前景细胞区域，提取多个预设像素大小的块patch图片；

判断预设像素大小的patch图片中包含的前景所占整张patch图片的第一比例，在所述第一比例小于第一预设比例值时，删除所述预设像素大小的patch图片；

对于每一正样本，进行如下预处理：

在恶性病变病理图片上标记的病变区域中提取多个预设步长的patch图片；

判断预设步长的patch图片中包含的前景所占整张patch图片的第二比例，在所述第二比例小于第二预设比例值时，删除所述预设步长的patch图片；预设步长的patch图片中包含的前景为病变区域。

6. 如权利要求5所述的计算机可读存储介质，其特征在于，所述第一集合中的多个不同类型的深度神经网络模型包括：inception v3模型、resnet18模型、resnet34模型、resnet50模型、VGG16模型和VGG19模型；

所述第二集合中的多个不同类型的深度神经网络模型包括：resnet34模型、VGG16模型和VGG19模型。

7.如权利要求5所述的计算机可读存储介质，其特征在于，所述病理图片的识别方法还包括：

在根据识别结果判断待识别病理图片的假阳性偏高时，补充该类型病理图片的阴性样本至病理图片样本数据库中；

在根据识别结果判断待识别病理图片的假阴性偏高时，补充该类型病理图片的阳性样本至病理图片样本数据库中；

根据补充后的病理图片样本数据库，对所述预先训练生成的多个不同类型的深度神经网络模型进行优化训练，得到更新后的多个不同类型的深度神经网络模型；

将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对待识别病理图片进行识别，包括：

将待识别病理图片输入更新后的多个不同类型的深度神经网络模型，对待识别病理图片进行识别。

Images