CN107111874B

CN107111874B - 用于共表达分析的系统和方法

Info

Publication number: CN107111874B
Application number: CN201580071652.7A
Authority: CN
Inventors: M.伯恩斯; S.辛格; T.陈; C.谢夫’奥泰尔; A.图布斯
Original assignee: Ventana Medical Systems Inc
Current assignee: Ventana Medical Systems Inc
Priority date: 2014-12-30
Filing date: 2015-12-30
Publication date: 2022-04-08
Anticipated expiration: 2035-12-30
Also published as: WO2016107896A1; US20170309021A1; JP2018503906A; EP3882851A1; EP4187486A1; US10755406B2; CA2966555C; EP3241180A1; JP7092503B2; EP4187486B1; AU2015373423A1; CA2966555A1; EP3241180B1; EP3882851B1; CN107111874A

Abstract

本文中描述了用于组织样本中的多个标志的共表达分析的方法，包括：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；识别标志表达的每个热图中的一个或多个候选感兴趣区域；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选感兴趣区域；从覆盖掩膜确定一个或多个共定位感兴趣区域；将所述一个或多个共定位感兴趣区域映射到所述多个单标志通道图像中的每一个中的相同坐标位置；以及估计所述多个单标志通道图像中的每一个中的已确定的一个或多个共定位感兴趣区域中的至少一个中的细胞的数目。

Description

用于共表达分析的系统和方法

相关申请的交叉引用

本申请要求2014年12月30日提交的美国临时专利申请号62/098,075的提交日的权益，该临时专利申请的公开由此被通过引用结合到本文中。

背景技术

在生物标本的分析中，常常用染色剂或试验的一个或多个组合对标本进行染色，并观察被染色生物标本或对其进行成像以进行进一步分析。观察试验使得能够实现各种过程，包括疾病的诊断、对治疗的反应的评估以及用以对抗疾病的新药的开发。

复染色是一种用于检测单个组织切片内的多个生物标志的技术，并且已由于其显著的效率和其产生的丰富诊断信息而变得更加流行。可以利用免疫组织化学（ IHC ）载玻片染色来识别组织切片的细胞中的蛋白质、蛋白质片段或核酸，并且因此在不同类型的细胞（诸如生物组织中的癌细胞和免疫细胞）的研究中被广泛地使用。在用于免疫细胞的染色的背景下，免疫数据指示肿瘤样本内的免疫细胞的类型、密度以及位置，并且此数据是病理学家在确定患者存活预测时特别感兴趣的。因此，可以在研究中使用 IHC 染色来了解癌症组织中的免疫细胞（诸如 T 细胞或 B 细胞）的差异表达生物标志的分布和局部化以用于免疫反应研究。例如，肿瘤常常包含免疫细胞的浸润物，其可以阻止肿瘤的发展或有利于肿瘤的生长。在此背景下，使用多个染色剂来将不同类型的免疫细胞确定为目标，并且在研究患者的临床后果时使用每个类型的免疫细胞的群体分布。

通常，在免疫分数计算中，医疗专业人员使用涉及到将组织的一块染色的多重试验或者涉及到将邻近连续组织切片染色以检测或量化同一组织块中的标志（例如，多种蛋白质或核酸等）的单一试验。在被染色的载玻片可用的情况下，可以根据肿瘤组织样本来估计免疫数据，例如免疫细胞的类型、密度和位置。

在用于免疫分数计算的传统工作流程中，作为初始步骤，专家读者通过在显微镜下观察载玻片或者在显示器上读取已经扫描 / 数字化的载玻片的图像来手动地选择有代表性的视场（ FOV ）或感兴趣区域（ ROI ）。当扫描了组织载玻片时，所扫描图像被独立的读者观察，并且基于读者的个人偏好而手动地标记 FOV 或 ROI 。在选择 FOV 或 ROI 之后，病理学家 / 读者手动地对所选 FOV 或 ROI 内的免疫细胞进行计数。 FOV 或 ROI 的手动选择和计数对读取者而言是高度主观且有偏见的，因为不同的读者可以选择不同的FOV 或 ROI 来进行计数。因此，免疫分数研究不一定是可再现的。

发明内容

在一个方面，本公开是一种用于组织样本中的多个标志（或与标志相关联的染色剂）的共表达分析的计算机实现方法，包括：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；识别标志表达的每个热图中的一个或多个候选感兴趣区域（ ROI ）；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；从覆盖掩膜确定一个或多个共定位 ROI ；以及将已识别的一个或多个共定位 ROI 转移至所述多个单标志通道图像中的每一个。在某些实施例中，识别一个或多个候选 ROI 包括对标志表达的每个热图应用阈值。在某些实施例中，已识别的一个或多个候选 ROI 具有小于应用阈值的值，并且对应于阴性标志表达的区域。在某些实施例中，已识别的一个或多个候选 ROI 具有大于应用阈值的值，并且对应于阳性标志表达的区域。在某些实施例中，识别一个或多个候选 ROI 包括对标志表达的每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值。在某些实施例中，本方法还包括围绕着所选预定数目的最高排序局部极大值中的每一个描绘具有 N × N 像素的视场的步骤，其中，选择 N × N 像素 FOV 作为已识别的一个或多个候选 ROI 。

在某些实施例中，确定共定位 ROI 包括识别对应于不同标志的一个或多个至少部分地重叠的候选 ROI 。在某些实施例中，所述一个或多个至少部分地重叠的候选 ROI是通过在形态上和 / 或逻辑上处理覆盖掩膜而确定的。在某些实施例中，本方法还包括评估所述一个或多个至少部分地重叠的候选 ROI 中的每一个的交集面积是否满足重叠阈值的步骤。在某些实施例中，评估交集面积是否满足重叠阈值包括计算交集面积与所述至少部分地重叠的候选 ROI 的并集面积之间的比，并将该比与重叠阈值相比较。

在某些实施例中，计算标志表达的热图包括对所述多个单标志通道图像中的每一个应用低通滤波器。在某些实施例中，本方法还包括将组织样本的多通道图像解混成所述多个单标志通道图像中的每一个的步骤。在某些实施例中，所述多个单标志通道图像是从一系列连续组织切片导出的，并且其中，本方法还包括将每个已识别候选 ROI 配准到公共坐标系或公共坐标框架的步骤，其中，所述公共坐标系可以是单标志通道图像中的一个的坐标系，或者其可以是针对通常保持组织样本的载玻片一般地定义的坐标系。在某些实施例中，处理所述多个单标志通道图像中的每一个，使得非组织区域或其它区域被掩蔽。在某些实施例中，使用少于全部的所述多个单标志通道图像来识别共定位 ROI 。在某些实施例中，本方法还包括对所述多个单标志通道图像中的每一个中的至少一个已识别共定位感兴趣区域内的细胞进行计数的步骤。

本公开的另一方面是一种用于组织样本中的多个标志的共表达分析的计算机系统，其包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志（对应于单个染色剂或来自单个染色剂的信号）；识别标志表达的每个热图中的一个或多个候选感兴趣区域；

计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；从覆盖掩膜确定一个或多个共定位 ROI ；以及将已识别的一个或多个共定位 ROI 转移至所述多个单标志通道图像中的每一个。在某些实施例中，通过对标志表达的每个热图应用阈值来识别一个或多个候选 ROI 。在某些实施例中，已识别的一个或多个候选 ROI 具有小于应用阈值的值，并且对应于阴性标志表达的区域。在某些实施例中，已识别的一个或多个候选 ROI 具有大于应用阈值的值，并且对应于阳性标志表达的区域。在某些实施例中，通过对标志表达的每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值来识别一个或多个 ROI 。在某些实施例中，围绕着所选预定数目的最高排序局部极大值中的每一个描绘具有 N × N 像素的视场（ FOV ），并且其中，选择 N × N 像素 FOV 作为已识别的一个或多个候选 ROI 。

在某些实施例中，通过识别对应于不同标志的一个或多个至少部分地重叠的候选 ROI 来确定共定位 ROI 。在某些实施例中，所述一个或多个至少部分地重叠的候选ROI 是通过在形态上和 / 或逻辑上处理覆盖掩膜而确定的。在某些实施例中，本系统执行用以评估所述一个或多个至少部分地重叠的候选 ROI 中的每一个的交集面积是否满足重叠阈值的指令。在某些实施例中，评估交集面积是否满足重叠阈值包括计算交集面积与所述至少部分地重叠的候选 ROI 的并集面积之间的比，并将计算的比与重叠阈值相比较。

在某些实施例中，通过对所述多个单标志通道图像中的每一个应用低通滤波器来计算标志表达的热图。在某些实施例中，通过将从组织样本导出的多通道图像解混而导出所述多个单标志通道图像。在某些实施例中，所述多个单标志通道图像是从一系列连续组织切片导出的，并且其中，每个已识别候选 ROI 被配准到公共坐标系或公共坐标框架。在某些实施例中，处理所述多个单标志通道图像，使得非组织区域或其它区域被掩蔽。在某些实施例中，已识别共定位 ROI 对应于少于全部的标志。在某些实施例中，本计算机系统进一步执行用以对所述多个单标志通道图像中的每一个中的至少一个已识别共定位感兴趣区域内的细胞进行计数的指令。

本公开的另一方面是一种用于组织样本中的多个标志的共表达分析的计算机实现方法，包括：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；识别标志表达的每个热图中的一个或多个候选感兴趣区域；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选ROI ；从覆盖掩膜确定一个或多个共定位 ROI ；将所述一个或多个共定位 ROI 映射到所述多个单标志通道图像中的每一个中的相同坐标位置；以及估计所述多个单标志通道图像中的每一个中的所确定的一个或多个共定位 ROI 中的至少一个中的细胞的数目。在某些实施例中，识别一个或多个候选 ROI 包括对标志表达的每个热图应用阈值。在某些实施例中，已识别的一个或多个候选 ROI 具有小于应用阈值的值，并且对应于阴性标志表达的区域。在某些实施例中，识别一个或多个候选 ROI 包括对每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值。

在某些实施例中，确定一个或多个共定位 ROI 包括在形态上和 / 或逻辑上处理覆盖掩膜中的已识别的一个或多个候选 ROI 。

在某些实施例中，形态和 / 或逻辑处理步骤识别对应于至少部分地相互重叠的两个或更多不同标志的候选 ROI 。在某些实施例中，本方法还包括评估至少部分地重叠的候选 ROI 的交集面积是否满足重叠阈值的步骤。在某些实施例中，评估交集面积是否满足重叠阈值包括计算交集面积与所述至少部分地重叠的候选 ROI 的并集面积之间的比，并将该比与重叠阈值相比较。因此，根据某些实施例，将候选 ROI 中的两个或更多的交集面积映射到每个单标志通道图像，从而识别每个所述图像的共定位 ROI 。在某些实施例中，已识别的一个或多个候选 ROI 中的至少某些是具有固定 N × N 像素尺寸的视场。在某些实施例中，通过从复用组织样本解混单个图像而导出所述多个单标志通道图像中的每一个。在某些实施例中，从一系列连续组织切片导出所述多个单标志通道图像中的每一个，其中，每个连续组织切片被用单个标志染色。在某些实施例中，所述方法还包括将每个已识别候选 ROI 配准到公共坐标系的步骤。在某些实施例中，一个或多个共定位 ROI 包括关于阴性表达标志的约束。在某些实施例中，一个或多个共定位 ROI 共表达三个或更多标志。在某些实施例中，对所述多个单标志通道图像进行预处理，使得非组织区域被掩蔽。

本公开的另一方面是一种用于组织样本中的多个标志的共表达分析的计算机系统，其包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；识别标志表达的每个热图中的一个或多个候选感兴趣区域；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；从覆盖掩膜确定一个或多个共定位ROI ；将所述一个或多个共定位 ROI 映射到所述多个单标志通道图像中的每一个中的公共坐标系中的相同位置；以及估计所述多个单标志通道图像中的每一个中的已确定的一个或多个共定位 ROI 中的至少一个中的细胞的数目。在某些实施例中，通过在形态和 / 或逻辑上处理覆盖掩膜中的已识别的一个或多个候选 ROI 来确定一个或多个共定位 ROI 。在某些实施例中，通过对每个热图应用阈值来识别一个或多个候选 ROI 。在某些实施例中，已识别的一个或多个候选 ROI 具有小于应用阈值的值，并且对应于阴性标志表达的区域。在某些实施例中，通过对每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值来识别一个或多个候选 ROI 。在某些实施例中，已识别的一个或多个候选 ROI被配准到公共坐标系。

本公开的另一方面是一种用于组织样本中的多个标志的共表达分析的计算机系统，其包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器：（ i ）执行热图计算模块中的指令以生成用于多个单标志通道图像中的每一个的标志表达的热图；（ ii ）执行感兴趣区域识别模块中的指令以识别标志表达的每个热图中的候选感兴趣区域；以及（iii ）执行共定位模块中的指令以基于已识别的候选感兴趣区域来确定共定位感兴趣区域。在某些实施例中，提供了用以将已确定的共定位感兴趣区域中的每一个的位置映射到所述多个单标志通道图像中的每一个的指令。在某些实施例中，提供了用以对所述多个单标志通道图像中的每一个中的至少一个共定位感兴趣区域内的细胞进行计数的指令。

本公开的另一方面是一种用于组织样本中的多个标志的共表达分析的计算机实现方法，包括：生成用于多个单标志通道图像中的每一个的组织区域掩蔽图像，所述多个单标志通道图像中的每一个包括单个标志；计算用于每个组织区域掩蔽图像的标志表达的热图；

识别标志表达的每个热图中的一个或多个候选感兴趣区域（ ROI ）；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；从覆盖掩膜确定一个或多个共定位 ROI ；将所述一个或多个共定位 ROI 映射到所述多个单标志通道图像中的每一个；以及可选地对所述多个单标志通道图像中的每一个中的一个或多个共定位 ROI 中的每一个中的细胞进行计数。

在本公开的另一方面，用于组织样本中的多个标志的共表达分析的计算机系统包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器：生成用于多个单标志通道图像中的每一个的组织区域掩蔽图像，所述多个单标志通道图像中的每一个包括单个标志；计算用于每个组织区域掩蔽图像的标志表达的热图；

识别标志表达的每个热图中的一个或多个候选感兴趣区域；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；

从覆盖掩膜确定一个或多个共定位 ROI ；将所述一个或多个共定位 ROI 映射到所述多个单标志通道图像中的每一个；以及可选地对所述多个单标志通道图像中的每一个中的一个或多个共定位 ROI 中的每一个中的细胞数目进行计数。

本发明的另一方面是一种标本分析仪，其包括用于组织样本中的多个标志的共表达分析的计算机系统，该计算机系统包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器：计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；识别标志表达的每个热图中的一个或多个候选感兴趣区域；计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选 ROI ；从覆盖掩膜确定一个或多个共定位 ROI ；将已识别的一个或多个共定位 ROI 转移至所述多个单标志通道图像中的每一个；以及图像获取系统。

申请人已开发了一种用于识别用于多个标志的共表达分析的共定位感兴趣区域的过程，其中，开发的过程优于现有技术主观方法。事实上，申请人已开发了一种有利地提供可再现的客观结果且不受人类主观性的影响的过程。申请人相信公开的方法允许用于共表达分析和 / 或免疫评分计算的更准确且高效的工作流程。

附图说明

参考以下各图来描述非限制性且非穷举实施例。相同的参考标号遍及各种视图指代相同部分或动作，除非另外指明。

图 1A 图示出用于处理组织样本的数字图像以便进行共表达分析的计算机系统。

图 1B 提供了略述在数字图像的处理中使用以便进行共表达分析的模块的流程图。

图 2A 图示出识别共定位感兴趣区域的一个实施例。

图 2B 提供了略述用于识别共定位感兴趣区域且在某些实施例中对那些识别的共定位感兴趣区域中的细胞进行计数的本公开的一个方法中的步骤的流程图。

图 3 阐述了生成组织区域掩膜的步骤。

图 4 提供了略述用于生成标志表达的热图的步骤的流程图。

图 5A 提供了略述用于识别候选感兴趣区域的步骤的流程图。

图 5B 图示出标志表达的热图并示出了候选感兴趣区域。

图 6 图示出标志表达的热图，并将候选感兴趣区域示为 N × N 像素面积，其中， N × N 像素面积包括计算的局部极大值。

图 7 提供了略述用于图像配准的一个方法的步骤的流程图。

图 8 提供了略述用于确定共定位感兴趣区域的步骤的流程图。

图 9A 图示出两个叠加的覆盖掩膜，每个覆盖掩膜示出了一个候选感兴趣区域，每个覆盖掩膜对应于一个标志。

图 9B 图示出用于第一和第二标志的覆盖掩膜，那些覆盖掩膜的叠加将示出来自不同标志的重叠候选感兴趣区域以及可能的共定位感兴趣区域。

图 9C 图示出用于第一和第二标志的覆盖掩膜、用于阴性表达标志的感兴趣区域，那些覆盖掩膜的叠加将示出来自包括阴性表达标志的不同标志的重叠候选感兴趣区域以及可能的共定位感兴趣区域。

图 10 提供了略述确定共定位感兴趣区域并将那些确定的共定位感兴趣区域转移至高分辨率图像的替换方法的流程图。

图 11 图示出用于不同标志的多个共定位视场，其中，圆形表示其中 CD3 和FoxP3 两者具有高表达的“热点”，并且其中，正方形表示其中 CD8 和 FoxP3 两者具有高表达的“热点”， CD3 、 CD8 以及 FoxP3 是用于识别和表征免疫细胞的标志的示例。

具体实施方式

本公开提供了用于多重试验中的共定位感兴趣区域（ ROI ）的自动识别的系统和方法。在本文中提供了一个或多个实施例的详细描述。然而，应理解的是可以用各种形式来体现根据本公开的系统和方法。因此，不应将本文中公开的特定细节解释为限制性的，而是作为用于权利要求且用于教授本领域的技术人员以任何适当方式采用本系统和方法的代表性基础。

本文中所述的用于共表达分析的计算机系统和计算机实现方法适用于细胞图像或生物标本（例如，来自活组织检查程序的组织标本）图像的任何类型的图像，并且对确定任何类型的细胞或细胞群组的类型、密度和位置有用。

术语‘包括’、‘包含’、‘具有’等被可互换地使用并具有相同的意义。同样地，‘包括’、‘包含’、‘具有’等被可互换地使用并具有相同的意义。具体地，每个术语定义为符合“包括”的一般美国专利法律定义，并且因此被解释为意指“至少以下”的开放术语，并且也不解释为排除附加特征、限制、方面等。因此，例如，“具有组件 a 、 b 和 c 的设备”意指该设备至少包括组件 a 、 b 和 c 。同样地，短语：“涉及到步骤 a 、 b 以及 c 的方法”意指该方法至少包括步骤 a 、 b 以及 c 。此外，虽然在本文中可以按照特定顺序略述各步骤和过程，但技术人员将认识到的是步骤和过程的排序可以改变。

如在本发明的情境中使用的术语‘标志’或‘生物标志’指的是核酸以及多肽分子。标志因此包括例如 RNA （ mRNA 、 hnRNA 等）、 DNA （ cDNA 、基因组 DNA 等）、蛋白质、多肽、蛋白多糖、糖蛋白和这些分子的相应片段。标志是某种生物状态或条件的可测量指示物。根据实施例，所使用标志中的一个或多个是生物标志，其指示特定类型的免疫细胞，例如 B 淋巴细胞、 T 淋巴细胞、巨噬细胞或者 B 淋巴细胞、 T 淋巴细胞、巨噬细胞或免疫系统的其它细胞的特定子群。

如本文中所理解的‘多通道图像’包含从其中用特定荧光染料、量子点、色原等（其中的每一个使光衰减、发荧光或者另外在不同光谱带中可检测，因此组成多通道图像的通道中的一个）同时地对不同生物结构（诸如细胞核和组织结构）染色的生物组织样本获得的数字图像。

如本文所理解的‘组织样本’是从人类或动物身体获得的用于解剖病理学的任何生物样本。例如，组织样本可以源自于乳房组织、肺组织、前列腺组织等，并且可以包括源自于肿瘤、怀疑肿瘤或者源自于健康组织的样本。在本文中公开了组织样本和标本的其它示例及其制备。

如本文所理解的‘解混图像’包含针对多通道图像的一个通道获得的灰度值或标量图像。通过将多通道图像解混，获得每个通道一个的解混图像。通常，此类解混图像通道表示一个生物标志的局部存在和强度以及因此的局部生物状态或条件。

如本文所使用的‘掩膜’或‘图像掩膜’是数字图像的衍生物，其中将掩膜中的每个像素表示为二进制值，例如“ 1 ”或“ 0 ”（或者“真”或“假”）。通过用所述掩膜覆盖数字图像，被映射到二进制值中的特定一个的掩膜像素的数字图像的所有像素在对数字图像应用的进一步处理步骤中被隐藏、去除或者另外忽视或滤出。例如，可以通过将具有在阈值以上的强度值的原始图像的所有像素分配为真并且否则分配为假而从原始数字图像生成掩膜，从而创建将滤出被“假”掩蔽像素覆盖的所有像素的掩膜。

根据本发明的实施例的“视场”（ FOV ）是数字图像中的一组邻近像素。可以例如将 FOV 选择性地用于某些图像分析任务，诸如掩蔽、滤波和 / 或对象检测。根据实施例，图像中的每个 FOV 具有 N × N 像素，并且是围绕着标志特定图像或其热图的所选预定数目的最高排序局部极大值中的每一个而描绘的。

根据本发明的实施例的候选“感兴趣区域”或候选“ ROI ”是数字图像或其热图的一组邻近像素，其例如被用作用于识别一个或多个交叉图像面积的输入。 FOV 通常是被观察、获取或显示的相干图像区域。因此其常常但不一定是圆形或矩形的。感兴趣区域通常是由生物状态或条件定义的相干组织区域（对应于数字图像的相应区域），示例是具有强免疫反应的肿瘤区域。根据某些实施例，选择 N × N 像素 FOV 作为已识别的一个或多个候选 ROI 。

对应于所述交集区域的数字图像或热图的图像面积也称为“ ROI ”或“共定位区域”或“共定位 ROI ”。

如本文所使用的“坐标系”是使用一个或多个数或坐标来唯一地确定欧几里德控件中的点或其它几何元素（例如像素）的位置的系统。根据实施例，通过图像配准过程来生成多个图像的公共坐标系。从而，将两个或更多图像或热图的像素对准到公共坐标系的坐标。可以执行对准，使得例如已从组织样本的特定参考元素导出的像素被相互映射并相互覆盖。

如本文所使用的“热图”是数据的图形表示，例如数字图像，其中将单独像素值表示为色彩。“标志表达的热图”是例如其中对标志表达的程度和标志特定染色的相应密度进行色彩编码的热图。

如本文所使用的“免疫分数”是可以用作例如用于肿瘤进展的预测因子的分数值。免疫分数可以指示有机体对肿瘤的免疫反应的各种特征。例如，免疫分数可以取决于肿瘤或肿瘤细胞集群内或其周界处的特定类型的免疫细胞的数目、类型和 / 或位置。

在图 1 中示出了用于共表达分析的基于计算机的设备。技术人员将认识到可以利用其它计算机设备或系统，并且可以将本文所述的计算机系统通信耦合到附加组件，例如分析仪、扫描仪或成像系统、自动化载玻片准备设备等。在本文中进一步描述了可以利用的这些附加组件中的某些和各种计算机。

一般地，在没有限制的情况下，成像装置 12 可以包括一个或多个图像捕捉设备。在没有限制的情况下，图像捕捉设备可以包括相机（例如，模拟相机、数字相机等）、光学件（例如，一个或多个透镜、传感器聚焦透镜群组、显微镜物镜等）、成像传感器（例如，电荷耦合器件（ CCD ）、互补金属氧化物半导体（ CMOS ）图像传感器等）、感光胶片等。在数字实施例中，图像捕捉设备可以包括合作以表现出在空中（ on-the-fly ）聚焦的多个透镜。图像传感器（例如， CCD 传感器）可以捕捉标本的数字图像。在某些实施例中，成像装置 12是亮场成像系统、多光谱成像（ MSI ）系统或荧光显微镜系统。在本文中进一步描述了成像系统。

计算机设备系统 14 可以包括台式计算机、膝上型计算机、平板电脑等、数字电子电路、固件、硬件、存储器、计算机存储介质、计算机程序、处理器（包括编程处理器）等。图1 的所示计算系统 14 是具有屏幕或显示设备 16 的计算机和塔架 18 。塔架 18 可以以二进制形式存储数字图像。还可以将图像划分成像素矩阵。像素可以包括由位深度定义的一个或多个位的数字值。网络 20 或直接连接将成像装置 12 和计算机系统 14 互连。在没有限制的情况下，网络 20 可以包括一个或多个网关、路由器、桥接器、其组合等。网络20 可以包括一个或多个服务器和用户可访问的一个或多个网站，并且可以用来发送和接收计算机系统 14 可以利用的信息。在没有限制的情况下，服务器可以包括用于存储信息（例如，数字图像、算法、染色协议、用于比较评估的截止值等）的一个或多个关联数据库。网络 20 可以包括但不限于使用传输控制协议（ TCP ）、用户数据报协议（ UDP ）、网际协议（ IP ）及其它数据协议的数据网络。在某些实施例中，计算机设备或系统还包括向用户、操作员或下游仪器或过程提供数据 / 输出的显示输出端或其它部件。

参考图 1B ，计算机设备或系统 114 （或计算机实现方法）包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令以便由一个或多个处理器执行以促使一个或多个处理器执行指令以接收输入图像 110 、运行组织运行热图计算模块 111 （以生成标志表达的热图）、运行 ROI 识别模块 112 （以识别一个或多个候选 ROI ）、运行共定位模块 113 （以识别一个或多个共定位 ROI ）以及运行细胞计数模块114 （以返回细胞估计，其表达所述多个单标志通道图像中的至少某些中的至少一个共定位 ROI 中的每一个标志）。在本文中更详细地描述了这些模块中的每一个。在某些实施例中可以在工作流程中结合附加模块，例如解混模块、组织区域掩蔽模块以及图像配准模块。技术人员将认识到的是可以基于检测到的标志而适应或改变针对在每个模块内的使用描述的任何指令、算法以及滤波器。

图 2A 提供了用于共表达分析的方法的概述。在图 2A 中，变量“ N ”表示应用于组织样本的标志的数目。针对多重载玻片 121 ，诸如用本文所述的方法来执行解混 122，以获得用于每个标志的图像 123 （即多个单标志通道图像）。否则，利用多个单标志通道图像 124 （源自于连续组织切片）作为输入。在任一种情况下，针对所述多个单标志通道图像中的每一个生成标志表达的热图，并且可以通过评估标志表达的热图来识别用于每个标志的一个或多个候选 ROI 。然后使用共定位模块 127 来确定共表达各种所选标志的那些共定位 ROI 128 ，其中，可以将共定位 ROI 128 转移回到（例如映射回到）所述多个单标志通道图像（如本文所述），以用于由计算机系统或者由经训练的医疗专业人员进行的进一步下游处理（例如细胞计数）。

图 2B 提供了略述用于确定多个单标志通道图像中的共定位感兴趣区域的步骤的流程图。在某些实施例中，本方法从以下步骤开始：从解混的多重载玻片（“多重载玻片”）或者从源自于连续组织切片的单一着色载玻片（“单一载玻片”）读取多个单标志通道图像中的每一个（步骤 220 ）。在某些实施例中，可以使用组织区域掩蔽模块来掩蔽所述多个单标志通道图像的各部分（诸如对应于非组织区域的各部分）。因此，通过生成图像掩膜并对单标志图像中的一个或多个应用掩膜，可以将不感兴趣或者被怀疑包括低质量数据（例如由于染色伪像或噪声）的区域掩蔽掉并从进一步处理步骤排除。然后可以通过对所述多个单标志通道图像中的每一个（或者未被掩蔽的其各部分）应用低通滤波器而生成（步骤 221 ）与所述多个单标志通道图像中的每一个相对应的标志表达的热图。

低通滤波器例如是对单标志通道图像进行平滑化，从而用对每个像素周围的局部邻域中的像素值求平均或者另外表示该像素值的像素值替换每个像素值的滤波器。可以使用低通滤波器来确定热图中的生物标志存在的一个或多个全局极值。同样地，可以使用带通滤波器来确定热图中的生物标志存在的一个或多个局部极值，局部最小值或极大值分别地识别具有比其附近的区域更高或更低的生物标志存在的区域。

随后可以通过（ i ）对标志表达的热图应用阈值或者（ ii ）对标志表达的热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值来识别（步骤 222 ）候选ROI 。例如，每个热图中的像素的强度（已从相应标志图像导出）可以与组织样本中的相应点处的标志表达的强度相关并指示该强度。阈值的应用可以包括例如将相应标志图像中的每个热图中的每个像素的强度值与像素强度阈值相比较。像素强度阈值可以是标志特定和/ 或试验特定的。可以例如通过分析包括特定、已知类型的免疫细胞的样本的表达水平及相应染色和像素强度来凭经验确定阈值。

在其中所述多个单标志通道图像源自于一系列连续组织切片的实施例中，在产生覆盖掩膜（步骤 223 ）之前或之后将已识别的候选 ROI 配准到公共坐标系（步骤 224 ）。在识别候选 ROI 之后，针对标志表达的每个热图计算覆盖掩膜（步骤 223 ），其中，每个覆盖掩膜对应于标志表达的热图中的一个，并且包括从标志表达的热图识别的一个或多个候选 ROI 。将覆盖掩膜相互叠加并识别一个或多个共定位 ROI （步骤 225 ）。可以例如将共定位 ROI 确定为每个候选 ROI 的交集面积，该交集面积被映射回到每个覆盖掩膜或相应标志特定热图。然后将计算的共定位感兴趣区域的位置转移回到所述多个单标志通道图像中的每一个（步骤 226 ）。在某些实施例中，然后在单标志通道图像中的至少某些中的共定位 ROI 中的至少某些中计算或估计（步骤 227 ）表达每个标志的细胞。

在本文中更详细地描述了图 2A 和 2B 中识别的每个模块和步骤。

输入图像

作为初始步骤，计算机系统接收多个单标志通道图像作为输入（步骤 220 ），其中，所提供的所述多个单标志通道图像中的每一个包括对应于单个标志的信号（例如，来自染色或标签（包括色原、荧光团、量子点等）的信号）。在某些实施例中，对所述多个单标志通道图像进行预处理，使得非组织区域被掩蔽，即仅示出组织区域。将作为输入接收到（步骤220 ）的所述多个单标志通道提供给热图计算模块 111 ，使得可以针对所述多个单标志通道图像中的每一个生成标志表达的热图（步骤 221 ）。

所述多个单标志通道图像可以源自于多个源，包括（ i ）来自多重试验的组织样本的多通道图像，其中，用两个或更多标志对组织样本进行染色（“多重图像”），（ ii ）从连续组织切片获取的一系列图像，其中，用单个标志对该图像系列中的每个图像进行染色（“单一图像”）；或者（ iii ）多重和单一图像的组合。不同于单一图像，多重图像必须被解混成所述多个单标志通道图像。然而，在某些实施例中，还可以将每个单一图像解混，从而将对应于每个图像中的标志的信号从对应于对比染色的信号分离。

解混的方法对于本领域的技术人员而言是众所周知的，并且可以使用现在已知或以后发现的任何方法来将多重图像“解混”成所述多个单标志通道图像。一般而言，解混过程提取染色特定通道以使用针对标准类型的组织和染色组合众所周知的参考光谱来确定单独染色的局部浓度。相应单标志通道图像的像素强度与在组织样本中的相应位置处具体地结合到所述标志的染色剂的量相关。再次地，结合染色剂的量与所述标志的量相关且因此与所述组织切片位置处的所述标志的表达水平相关。术语“解混”和“色彩解卷积”（或“解卷积”）等（例如“进行解卷积”、“被解混”）被可互换地使用。

在某些实施例中，使用线性解混来解混多重图像。在例如‘ Zimmermann 在 AdvBiochem Engin/Biotechnol (2005) 95:245-265 中的“ Spectral Imaging and LinearUnmixing in Light Microscopy ”’中描述了线性解混，其公开被整体地通过引用结合到本文中。在线性解混中，将像素分类为当测量光谱（ S( λ ) ）等于每个单独荧光团或亮场色原参考光谱（ R( λ ) ）的比例或权重（ A ）时被线性地混合：

S( λ ) = A1 • R1( λ ) + A2 • R2( λ ) + A3 • R3( λ )....... Ai • Ri( λ )

可以更一般地将其表示为：

S( λ ) = ΣAi • Ri( λ ) 或S = A • R

在这些等式中，在多重图像的获取期间测量每个像素（ S ）中的信号，并且通常使用相同的仪器设置用仅单个标志来标注的标本中独立地确定用于已知染色剂的参考光谱。其变成通过计算各种染色剂对测量光谱中的每个点的贡献来确定各种染色剂（ Ai ）的贡献的简单线性代数矩阵练习。在某些实施例中，使用通过应用以下差分方程组来使测量和计算光谱之间的方差最小化的逆最小二乘法拟合方法而获得解：

[∂ Σ j {S( λ j) - Σ i Ai • Ri( λ j)}2] / ∂Ai = 0

在此等式中， j 表示检测通道的数目且 i 等于染色剂的数目。线性等式解常常涉及到允许约束解混以迫使权重（ A ）在具有用以将像素分类的数据的阈值化的情况下总计为单位元素。

在其它实施例中，使用在 2014 年 5 月 28 日提交的题为“ Image AdaptivePhysiologically Plausible Color Separation ”的 WO2014/195193 中描述的方法来实现解混，其公开被据此整体地通过引用结合到本文中。一般而言， WO2014/195193 描述了一种通过使用迭代优化参考向量来将输入图像的分量信号分离的解混的方法。在某些实施例中，来自试验的图像数据与特定于试验的特性的预期或理想结果相关以确定质量度量。在针对理想结果的低质量图像或不良相关的情况下，调整一个或多个参考向量，并且使用已调整参考向量来迭代地重复解混，直至相关示出与生理和解剖要求匹配的优质图像为止。可以使用解剖、生理以及试验信息来定义应用于测量图像数据以确定质量度量的规则。此信息包括组织被如何染色、意图 / 不意图对组织内的什么结构染色以及特定于正在处理的试验的结构、染色以及标志之间的关系。迭代过程导致可以生成准确地识别感兴趣结构和生物学相关信息、没有任何有噪声或不想要的光谱且因此适合于分析的图像的染色剂特定向量。将参考向量调整至搜索空间内。搜索空间定义参考向量可以采取以表示染色剂的值范围。可以通过扫描包括已知或一般发生的问题的各种代表性训练试验并确定用于训练试验的参考向量的高质量集合来确定搜索空间。

在其它实施例中，使用在 2015 年 2 月 23 日提交的题为“ Group SparsityModel for Image Unmixing ”的 WO2015/124772 中描述的方法来实现解混，其公开据此被整体地通过引用结合到本文中。一般地， WO2015/124772 描述了使用群组稀疏性框架的解混，其中，在“同一群组”内对来自多个共定位标志的染色贡献的分数进行建模，并且在不同群组中对来自多个非共定位标志的染色贡献的分数进行建模，向建模群组稀疏性框架提供所述多个共定位标志的共定位信息，使用群组 lasso 对建模框架求解以产生每个群组内的最小二乘解，其中，该最小二乘解对应于共定位标志的解混，并且产生群组之中的与非共定位标志的解混相对应的稀疏解。此外， WO2015124772 描述了一种通过输入从生物组织样本获得的图像数据、从电子存储器读取参考数据（该参考数据描述多个染色中的每一个的染色色彩）、从电子存储器读取共定位数据（该共定位数据描述染色群组，每个群组包括可以在生物组织样本中共定位的染色剂，并且每个群组形成用于群组 lasso 准则的群组，各群组中的至少一个具有两个或以上的尺寸）并计算群组 lasso 准则的解以便使用参考数据作为参考矩阵来获得解混图像而进行解混的方法。在某些实施例中，用于将图像解混的方法可包括生成群组稀疏性模型，其中，在单个群组内分配来自共定位标志的染色贡献的分数，并且在单独群组内分配来自非共定位标志的染色贡献的分数，并使用解混算法对群组稀疏性模型求解以产生每个群组内的最小二乘解。

在某些实施例中，掩蔽所述多个单标志通道图像，使得在图像中仅存在组织区域。为了产生这些掩蔽图像，向组织区域掩蔽模块提供多重图像、解混的多重图像或一系列单一图像（其中的任何一个可以是整个载玻片或其一部分的图像）。在某些实施例中，生成组织区域掩模以将非组织区域从组织区域掩蔽。技术人员将认识到除将非组织区域从组织区域掩蔽之外，组织掩蔽模块还可以根据需要掩蔽其它感兴趣区，诸如被识别为属于某个组织类型或属于怀疑肿瘤区域的组织的一部分。

例如，可以从被用苏木精和曙红（ H & E ）染色的载玻片或者从被用 IHC 标志染色的载玻片定义肿瘤区域以识别肿瘤细胞，并且可以经由图像配准将该肿瘤转移到其它标志载玻片（参见下文）。可以通过在组织区域内将肿瘤面积扩大 x 毫米来定义肿瘤区域的周界。因此可以在肿瘤区域内、肿瘤的边界或者在组织样本的其余部分中执行多个标志的共定位分析。

根据某些实施例，在生成标志表达的热图之后执行组织掩蔽。根据某些实施例，在早期阶段（例如在生成热图之前）对相应通道图像执行组织掩蔽（即，应用掩膜）。这可以具有优点，即需要分析较少的组织，并且因此分析结果在较短时间内可用。

在某些实施例中，使用分段技术通过在所述多个单标志通道图像中将组织区域从非组织区域掩蔽来生成组织区域掩蔽图像。同样地从现有技术已知此类分段技术（参考Digital Image Processing, 第三版 , Rafael C. Gonzalez, Richard E. Woods, 第10 章 , 第 689 页，以及 Handbook of Medical Imaging, Processing and Analysis,Isaac N. Bankman Academic Press, 2000, 第 2 章）。

参考图 3 ，在某些实施例中，组织区域掩蔽图像的生成包括以下非限制性操作中的一个或多个：计算低分辨率输入单标志通道图像（ 336 ）的亮度（ 337 ），从单标志通道图像产生亮度图像（ 338 ），对产生的亮度图像应用标准偏差滤波器（ 339 ），根据产生的亮度图像来计算已滤波亮度图像（ 340 ），并且对已滤波亮度图像应用阈值（ 341 ），使得具有在给定阈值以上的亮度的像素被设置成一，并且在阈值以下的像素被设置成零，产生组织区域掩膜（ 342 ）。在题为“ An Image Processing Method and System forAnalyzing A Multi-Channel Image Obtained From a Biological Tissue SampleBeing Stained By Multiple Stains ”的 PCT/EP/2015/062015 （ WO/2015/181371 ）中公开了关于组织区域掩膜的产生的附加信息和示例，其公开据此被整体地通过引用结合到本文中。

标志表达生成模块的热图

在接收到所述多个单标志通道图像作为输入（步骤 220 ）之后，使用热图生成模块 111 来生成用于所述多个单标志通道图像中的每一个的标志表达的热图（步骤 221 ）。根据生成的标志表达的热图，可以针对每个标志识别一个或多个候选感兴趣区域（步骤222 ），诸如通过找到标志表达的热图中的“热点”，即高标志密度或浓度的区域。

一般而言，标志表达的热图描绘组织区域掩蔽图像内的各种结构或标志的密度或浓度。更具体地，标志表达的热图根据像素的相应强度值图示出像素，并且因此对应于每个图像中的标志表达（例如，用特定标志特定染料染色的细胞）的密度或量。已知用以从单通道标志图像生成热图的不同方法。在一个示例中，热图中的像素值表示局部细胞密度，即对于每个像素周围的面积中的生物标志而言阳性的细胞的数目。在另一示例中，热图中的像素值表示对于标志而言阳性的此像素的邻域中的细胞的平均标志密度。

为了生成标志表达的热图，热图模块 111 对每个组织区域掩蔽图像应用低通滤波器（步骤 401 ）。在应用低通滤波器之后，在某些实施例中，热图生成模块 111 向低通滤波图像分配伪色彩（步骤 402 ）。例如，可以向蓝色分配低强度（对应于较低标志密度）区域，而向黄色、橙色以及红色分配较高强度（对应于较高标志密度）区域。色彩到热图的分配是可选的，并且帮助使具有较高标志密度或浓度的那些区域可视化。在题为“ An ImageProcessing Method and System for Analyzing A Multi-Channel Image ObtainedFrom a Biological Tissue Sample Being Stained By Multiple Stains ”的 PCT/EP/2015/062015 （ WO/2015/181371 ）中更全面地讨论了标志表达的热图的生成，其公开据此被整体地通过引用结合到本文中。在题为“ SYSTEMS AND METHODS FOR GENERATINGFIELDS OF VIEW ”的 PCT/EP2015/070100 中和题为“ AN IMAGE PROCESSING METHOD ANDSYSTEM FOR ANALYZING A MULTI-CHANNEL IMAGE OBTAINED FROM A BIOLOGICAL TISSUESAMPLE BEING STAINED BY MULTIPLE STAINS ”的PCT/EP2015/062015（WO 2015/181371 ）中描述了用于生成热图并执行图像配准和 ROI 识别的其它示例，其公开据此被整体地通过引用结合到本文中。

感兴趣区域识别模块

在生成对应于所述多个单标志通道图像中的每一个的标志表达的热图（步骤 221 ）之后，使用标志表达的每个热图来识别对应于存在于组织样本中的不同标志的一个或多个候选感兴趣区域（步骤 222 ）。已识别候选感兴趣区域可以具有任意形状或固定形状，如本文中描述和图示出的。

参考图 5A ，在某些实施例中，对标志表达的热图应用预定义阈值（步骤 520 ），使得可以识别候选感兴趣区域（步骤 521 ）。图 5B 图示出其中识别了具有任意形状的候选感兴趣区域 501 的标志表达的热图的示例。

可以用这种技术来识别分别对应于阳性标志表达和阴性标志表达的面积两者的候选 ROI 。

如本文所使用的“阳性标志表达的面积”是例如数字图像中的面积，其像素强度与相应标志特定染色剂的密度相关，并且其在特定阈值以上。因此，“阳性标志表达的面积”是指示在对应于所述图像面积的组织样本的特定面积中表达特定生物标志（其可以指示特定细胞类型（例如免疫细胞类型）的存在）的数字图像面积。

如本文所使用的“阴性标志表达的面积”是例如数字图像中的面积，其像素强度与相应标志特定染色剂的密度相关，并且其在特定阈值以下。因此，“阴性标志表达的面积”是数字图像面积，其指示在对应于所述图像面积的组织样本的特定面积中未表达或者仅弱表达了的特定生物标志（其可以指示特定细胞类型，例如免疫细胞类型）（例如由于通常表达所述生物标志的特定（免疫）细胞类型不存在）。

例如，通过将对应于特定生物标志和相应图像通道的数字图像与阈值强度相比较，可以确定所述数字图像内的阳性标志表达的面积和阴性标志表达的面积。首先确定阳性标志表达的面积且然后将阴性标志表达的面积识别为阳性标志表达的所述确定面积的逆也是可能的。

用于阳性标志表达的候选 ROI 指示热图上的被识别为具有高值的感兴趣区域，即表示具有对于标志而言为阳性的大量细胞或者其中该标志被用具有高强度的细胞表达的组织面积。

用于阴性标志表达的候选 ROI 指示热图上的被识别为具有低值的感兴趣区域，即表示具有对于标志而言为阳性的少量细胞或者其中该标志未被细胞表达或者被用低强度表达的组织面积。

在某些实施例中，候选感兴趣区域具有大于应用的预定义阈值的值，并且对应于阳性标志表达的面积（步骤 522 ）。在某些实施例中，该阈值为图像中的峰值强度值的至少约 75% 。在其它实施例中，该阈值大于图像中的峰值强度值的 75% 。用阳性标志表达，意指阈值化区域对于标志的超表达而言是阳性的，即生物标志被表达至从而当被用标志特定染色剂进行染色时引发足够高的像素强度值的充分程度。在其它实施例中，候选感兴趣区域具有小于应用的预定义阈值的值，并且对应于阴性标志表达的面积（步骤 523 ）。用阴性标志表达，意指阈值化区域对于标志的超表达而言是阴性的，即生物标志在组织载玻片的相应切片中未被表达或仅被弱表达。在某些实施例中，该阈值不超过图像中的峰值强度值的约 25% 。在其它实施例中，阈值小于图像中的峰值强度值的 25% 。

在其它实施例中，对热图应用局部极大值滤波器以提供局部极大值滤波图像（步骤 524 ）。

局部极大值滤波器是用以识别具有全部具有比特定强度值低的强度值的外部边界像素的相邻像素的区域的函数。一般而言，局部极大值滤波器是一种形态非线性滤波器，其通过使得结果的每个像素保持从位于极大值滤波器的核下面的源图像的最大像素值的值来产生图像。核是任意形状和尺寸的几何掩膜，但是将出于此目的被构造成具有大约感兴趣特征的尺寸。核可以是圆盘形的，具有肿瘤腺或者对于其而言可以确定局部免疫反应的肿瘤细胞的其它特性群组的平均尺寸。

应用局部极大值滤波器可以包括用所述滤波器的核图像来覆盖图像，将核的几何信息用于识别被核覆盖区覆盖的图像区域内的最大像素强度，并且使用所述最大像素强度作为已作为局部极大值滤波器的结果而输出的图像中的所述图像区域中的所有像素的像素强度。例如，核可以是具有正方形形状且具有可以在标志特定图像上“滑动”的 3 × 3像素的尺寸的帧。从而，针对每个位置，识别底层 9 个图像像素的最小和最大强度值。如果所述滑动“帧”或核的所有像素的强度高于（滤波器特定）阈值强度值，则为所述 9 个像素中的每一个分配针对 9 个像素中的任何一个观察到的最大强度值。

来自局部极大值滤波器的输出图像将趋向于具有形状类似于该核的岛，并且具有等于该区域中的最大像素值（即，具有最高强度值的像素）的恒定值。在题为“ An ImageProcessing Method and System for Analyzing A Multi-Channel Image ObtainedFrom A Biological Tissue Sample Being Stained By Multiple Stains ”的 PCT/EP/2015/062015 （ WO/2015/181371 ）中公开了关于应用局部极大值滤波器以识别视场的附加信息和示例，其公开据此被整体地通过引用结合到本文中。

在某些实施例中，将通过局部极大值滤波导出的局部极大值分类并针对每个局部极大值滤波图像选择预定数目（“ K ”个）最高排序局部极大值（步骤 525 ）。在某些实施例中，返回的局部极大值的预定数目在每个标志特定图像通道或相应热图约 5 至约 25个局部极大值的范围内。在其它实施例中，返回的局部极大值的预定数目在约 5 至约 15个局部极大值的范围内。在其它实施例中，返回的局部极大值的预定数目在约 5 个至约10 个的范围内。

在某些实施例中，识别局部极大值周围的面积并用作感兴趣区域（步骤 526 ）。在某些实施例中，围绕着预定数目的最高排序局部极大值中的每一个描绘了具有 N × N像素的像素尺寸的面积，并且将这些 N × N 像素面积（视场（ FOV ））选择为候选感兴趣区域。在某些实施例中， N 可以在从约 5 个像素至约 25 个像素的范围内。在某些实施例中， N × N 像素面积是 15² 。在其它实施例中， N × N 像素面积是 18² 。在其它实施例中， N × N 像素面积是 20² 。在图 6 中图示出来自标志表达的热图的候选 FOV ，每个具有 N × N 面积。在某些实施例中，围绕着已识别局部极大值的中心放置 N × N FOV 。应注意的是在图 5A 的情境中且在 FOV 的情境中，参数“ N ”表示沿着本发明的实施例的FOV 的一个维度的像素的数目，而例如图 2A 的情境中的参数“ N ”表示应用于组织样本的标志的数目。当然，一方面的标志的数目和沿着 FIV 维度的像素的数目并不相互依赖，并且可以相互不同。

在识别候选 ROI （步骤 222 ）之后，生成覆盖掩膜（步骤 223 ），其中，每个覆盖掩膜包括从标志表达的每个热图识别的一个或多个候选 ROI 。例如，图 9B 和 9C 中的第一和第二图像图示出用于关于第一标志的第一候选视场 900 和关于第二标志的第二候选视场 991 的掩膜。如所示，每个掩膜仅示出了关于一个标志的视场（或感兴趣区域）。在某些实施例中，通过向在阈值以上的图像像素分配 1 的值并向阈值以下的像素分配 0 的值来生成覆盖掩膜。在某些实施例中，为每个掩膜分配不同的色彩或阴影，使得当不同掩膜被在彼此之上叠加时，可以将潜在共定位感兴趣区域可视化或者以其他方式进行识别。

在针对标志表达的每个热图创建覆盖掩膜之后，可以将覆盖掩膜在彼此之上叠加。例如，图 9A 图示出两个掩膜的叠加，每个掩膜针对两个单标志中的每一个提供候选感兴趣区域。如技术人员将认识到的，各种掩膜的叠加允许将重叠候选 ROI 可视化并最终计算一个或多个共定位 ROI ，如本文所述。图 9B 和 9C 两者的第三图像还图示出两个掩膜的叠加，每个掩膜提供用于特定标志的候选 FOV 990 、 991 ，其中图示出来自不同标志的候选 FOV 992 之间的重叠。在某些实施例中，在如本文所述地将来自标志表达或覆盖掩膜的每个热图的候选 ROI 对准到公共坐标系之后叠加覆盖掩膜。

在共定位 ROI 的识别中使用生成的覆盖掩膜。在某些实施例中，选择关于所有标志的所有候选 ROI 以用于识别共定位 ROI ，并且因此利用（叠加）所有覆盖掩膜。在其它实施例中，仅选择对应于某些标记的候选 ROI 以便识别一个或多个共定位 ROI ，并且因此仅利用（叠加）对应于所选标志的那些覆盖掩膜。举例来说，如果接收三个单标志通道图像作为输入，对应于三个不同的免疫组织化学（ IHC ）标志，并且针对那些 IHC 标志中的仅两个寻求共表达分析，则共定位模块将仅处理对应于那两个所选 IHC 标志的那些覆盖掩膜。

标志间配准模块

在某些实施例中，并且在识别所选的一个或多个候选 ROI 之后，利用标志间配准模块来将每个已识别候选感兴趣区域配准到公共坐标系（步骤 224 ）。仅要求其中从连续组织切片的图像（即一系列单一图像）导出已识别候选 ROI 或者其中使用多重和单一图像的组合的标志间配准。技术人员将认识到不需要对从多重图像导出的所述多个单标志通道图像进行配准，因为每个解混图像中的细胞和结构在每个图像中的相同位置上。

标志间配准是将不同的数据集（在这里为图像）或图像内的标志变换到一个公共坐标系的过程。更具体地，标志间配准是将两个或更多图像对准的过程，并且一般地涉及到将一个图像指定为参考（也称为参考图像或固定图像），并且对其它图像应用几何变换，使得其与参考对准。几何变换将一个图像中的位置映射到另一图像中的新位置。确定正确几何变换参数的步骤是图像配准过程的关键。用于计算每个图像到参考图像的变化的方法对于本领域的技术人员而言是众所周知的。例如，例如在“ 11th International Symposiumon Biomedical Imaging (ISBI), 2014 IEEE, 2014 年 4 月 29 日 -2014 年 5 月 2日 ) 中描述了图像配准算法，其公开据此被整体地通过引用结合到本文中。下面略述了图像配准的详细方法。

在某些实施例中，标志间配准过程（步骤 224 ）包括选择包括一个或多个候选ROI 的一个热图或热图掩膜来充当参考图像，并且计算包括其它候选 ROI 的每个其它热图或热图掩膜到参考图像的坐标系的变换。可以使用图像配准将所有图像对准到同一坐标系（例如，在连续组织切片或具有特定标志的载玻片的情况下，参考坐标可以是组织块中间的载玻片切片）。因此可以将每个图像从其旧坐标系对准到新参考坐标系。可以通过配准热图图像、用来产生热图图像的单通道标志图像或者用来产生单通道标志图像的所捕捉组织图像来确定用以对准热图的变换参数。所有这些图像在描述其配准时被称为数字输入图像。

标志间配准过程在本领域中是众所周知的，并且可以将任何的已知方法应用于本公开。在某些实施例中，使用在 2014 年 9 月 30 日提交的题为“ Line-Based ImageRegistration and Cross-Image Annotation Devices, Systems and Methods ”的 WO/2015/049233 中描述的方法来执行标志间或图像配准，其公开被整体地通过引用结合到本文中。 WO/2015/049233 描述了一种包括单独地或与细配准过程相组合地使用的粗配准过程的配准过程。在某些实施例中，粗配准过程可以涉及到选择用于对准的数字图像，从每个所选数字图像生成前景图像掩模，并且在结果得到的前景图像之间匹配组织结构。

在其它实施例中，生成前景图像掩膜涉及到从被染色组织切片的整体载玻片图像生成前景图像，并对前景图像应用 OTSU 阈值化以产生二进制图像掩膜。前景图像可以是灰阶图像。在某些实施例中，前景图像和从其创建的二进制图像掩膜被软加权，即具有连续强度值的灰阶图像。在其它进一步的实施例中，生成前景图像掩膜涉及到从被染色组织切片的整体载玻片图像生成二进制（可选地软加权）图像掩膜，从同一整体载玻片图像单独地生成梯度量值图像掩膜，对梯度图像掩膜应用 OTSU 阈值化以产生二进制梯度量值图像掩膜，并使用二进制 OR 操作将二进制（软加权）图像与二进制梯度量值图像掩膜组合以生成前景图像掩膜。可以替换地应用本领域中已知的前景图像掩膜生成的其它方法。

如本文所使用的“梯度量值图像掩膜”是例如隐藏（“掩蔽”）已被分配强度梯度的所有像素的图像掩膜，所述强度梯度的大小超过给定阈值和 / 或其方向不在给定允许方向范围内。因此，应用梯度量值图像掩膜将返回可以选择性地包括落在具有强强度对比度的样本结构（例如薄膜及其它）上的图像。

如本文所使用的“前景图像掩膜”是例如隐藏（“掩蔽”）不属于组织样本的所有像素的图像掩膜。因此，应用前景图像掩膜将返回“前景图像”，其不包括非组织样本面积的（通常有噪声的）强度信息。

根据实施例，如整体地通过引用结合到本文中的 WO2014140070 中所述的那样执行前景图像和 / 或前景图像掩膜的计算。

在某些实施例中，匹配组织结构涉及到根据每个结果得到的前景图像掩膜的边界来计算基于线的特征。计算这些基于线的特征以按组织轮廓的局部节段的位置、曲率、方向以及其它性质来描述该局部节段。其还包括计算第一前景图像掩膜上的第一组线特征与第二前景图像掩膜上的第二组线特征之间的全局变换参数（例如，旋转、缩放、平移），并且基于该变换参数来全局地对准第一和第二图像。全局变换参数可以包括当应用于第一图像时导致此第一图像中的组织与第二图像中的组织的重叠的旋转、平移以及缩放。

根据实施例，基于线的特征是边缘相关特征，例如边缘图。例如在被整体地通过引用而包括的 WO2014140070 中描述了边缘图和全局变换参数的计算。

另在其它实施例中，粗配准过程包括将基于全局变换参数的所选数字图像映射到公共坐标系，其可以包含所选数字图像。在某些实施例中，细配置过程可以涉及到在粗配准过程中已对准的识别数字图像集合中的第一数字图像的第一子区域；识别已对准数字图像中的第二数字图像上的第二子区域，其中，第二子区域大于第一子区域，并且第一子区域基本上位于公共坐标系（也称为“网格”）上的第二子区域内；以及计算用于第二子区域中的第一子区域的优化位置。

在本文中的图 7 中图示出这些方法，其中，方法 600 在起始框 602 处开始。在方框 604 处，获取（例如扫描或从数据库选择）一组图像数据或数字图像以进行操纵。每组图像数据包括对应于例如来自单个患者的一组邻近组织切片的组织切片的图像数据。在方框 606 处，如果仅选择了单个图像对，则过程直接地前进至方框 610 。如果选择了超过一对图像，则在前进至方框 610 之前在方框 608 处将所选图像的集合分组成各对。在某些实施例中，将图像对选择为邻近对。因此，例如，如果所选图像的集合包括 10 个平行的邻近切片（ L1....L10 ），则将 L1 和 L2 分组为一对，将 L3 和 L4 分组为一对等。另一方面，如果关于哪些成对图像彼此最相似的信息不可用，则在某些实施例中，根据前景图像掩膜和这些图像的梯度量值图像掩膜的相似性将图像分组，将相互最接近的图像配对在一起。在本发明的示例性实施例中，利用边缘间 / 图像间距离将图像配对。在某些实施例中，可以使用基于边缘的 Chamfer 距离来计算前景图像掩膜或梯度量值图像掩膜的相似性。如果各对图像先前已经经历了粗配准过程，使得图像已被粗对准且结果已被保存，则过程前进至方框 614 。否则，在方框 612 处，对所选图像对执行粗配准过程，如在段落 0107和随后的段落中所述。

图像中的两个或更多在如例如在 WO2014140070 中描述的粗配准过程中被对准。

转到框 614 ，在公共坐标系中显示已选择且现在已配准（对准）的图像，图像在单个图像中被覆盖，在单个监视器上被显示为单独图像或两者或者跨多个监视器散布。在方框 616 处，客户端用户可以从一对图像中选择图像中的一个作为源图像。如果源图像已被根据期望加注释，则过程前进至方框 622 。否则，客户端用户在方框 620 处根据期望对源图像加注释。在可以与方框 620 基本上同时地发生（或者可以不这样）的方框 622 处，注释被映射到该对中的另一图像（目标图像），并且在目标图像上以图形方式再现。在其中加注释在粗配准之前发生的实施例中，可以与图像对被配准（对准）基本上同时地将注释从源图像映射到目标图像。在方框 624 处，用户可以选择是否参与细配准过程。如果用户选择直接地显示结果而不执行细配准，则过程前进至方框 626 。

否则，在方框 624 处，对所选图像对执行如本文中（例如在段落 0096 、 0104中）所述的细配准过程，例如以优化图像的映射注释和 / 或对准的位置。下面更详细地讨论细配准过程。在方框 626 处，与细配准过程的结果一起显示被注释图像对（或者可以仅与粗配准过程的结果一起显示被注释图像对，如果未使用细配准的话）。本方法然后在最后方框 628 处结束。

共定位模块

在生成包括来自标志表达的每个热图的一个或多个已识别候选 ROI 的覆盖掩膜（步骤 223 ）之后，运行共定位模块 113 以从覆盖掩膜或叠加掩膜识别一个或多个共定位ROI （步骤 225 ）。共定位模块的输出是可以用于进一步下游处理的一个或多个共定位ROI 的标识，如本文所述。在某些实施例中，共定位指的是两个或更多不同标志或标签之间的空间重叠的观察。在某些实施例中，共定位可以用来表明标志或标签之间的关系。可以将共定位信息用于例如自动地识别特定类型的细胞，特别是免疫细胞。可以使用关于肿瘤组织样本内的免疫细胞的类型和位置的信息来自动地（例如由医疗决策支持系统或者由电子图像分析系统）计算肿瘤进展预后或识别肿瘤的特定类型或阶段。

一般地，通过找到与至少部分地相互重叠的不同标志相对应的那些已识别的一个或多个候选 ROI 来识别共定位 ROI 。一旦识别了那些一个或多个至少部分地重叠的候选 ROI ，将重叠的量与重叠阈值相比较以确定那些至少部分地重叠的候选 ROI 是否有资格作为共定位 ROI 。

参考图 8 ，共定位模块通过找到至少部分地相互重叠的那些选定的一个或多个候选 ROI 来计算一个或多个可能共定位 ROI （步骤 801 ）。在某些实施例中，通过在形态上和 / 或逻辑上处理来自覆盖掩膜的候选 ROI 来计算至少部分地相互重叠的那些选定的候选 ROI 。在某些实施例中，形态学处理包括计算一个或多个候选 ROI 的交集和并集。例如，可以将交集面积映射到相应标志特定图像或热图，并且可以使用所述图像或热图的映射区域作为相应 ROI 。交集和并集的计算利用标准形态操作的组合，包括开、闭、腐蚀和膨胀，如本领域的技术人员已知的。当然，可以利用任何方法来计算选定的一个或多个候选ROI 的重叠面积。例如，当使用固定阈值时，阳性和阴性标志 ROI 两者可以跨越所有组织—免疫细胞可以“到处”存在，或者可以根本不存在。例如，可以将 ROI 选择为是热图上的具有 K 个最高或 K 个最低值的 FOV 。

形态学图像处理是与图像中的特征的形状或形态有关的非线性操作或技术的集合。形态技术探测具有称为结构化元素的小形状或模板的图像。将结构化元素定位于图像中的所有可能位置处，并且将其与像素的相应邻域相比较。某些操作测试该元素是否“配合”在该邻域内，而其它的测试其是否“命中”或与邻域相交。当结构化元素被置于二进制图像中时，其像素中的每一个与结构化元素下的邻域的相应像素相关联。如果对于被设置成1 的结构化元素的像素中的每一个而言相应图像像素也是 1 ，则将该结构化元素说成是适合图像。同样地，如果至少对于被设置成 1 的结构化元素的像素中的一个而言相应图像像素也是 1 ，则结构化元素被说成是命中图像或与图像相交。两个集合 A 和 B 的交集（表示为 C ＝ A ∩ B ）根据定义是同时地属于集合 A 和 B 两者的所有元素的集合。同样地，两个集合 A 和 B 的并集（表示为 C ＝ A ∪ B ）根据定义是属于集合 A 或集合 B或者同时属于这两个集合的所有元素的集合。

在某些实施例中，在给定选定（例如用户选定）图像通道和相应图像特定 ROI 的数目的情况下，针对在单标志图像通道的热图上已识别的所有可能 ROI 对计算交集的面积（像素）（或重叠面积）（步骤 802 ）。另外，针对每个可能共定位 ROI 计算并集的面积（像素）（步骤 803 ）。然后计算用于每个可能共定位 ROI 的交集的面积和并集的面积之间的比（步骤 804 ）。然后将此计算出的比与重叠阈值相比较（步骤 805 ）以确定可能共定位ROI 是否组成适合于进一步分析的共表达区域。重叠阈值是例如可配置和 / 或预定义阈值，其将被与不同图像或热图的多个候选 ROI 的交集面积与所述候选 ROI 的并集面积的比相比较。为了从超过两个热图中找到 ROI 的重叠，测试每个单标志图像通道一个 ROI的所有可能组合，其中重叠被定义为组合中的所有 ROI 的交集中的像素的数目的比，该组合由其并集中的像素的数目定义。

技术人员将认识到的是重叠阈值对于不同的试验而言可以不同，并且可以基于被检测的标志来选择适当的重叠阈值。在某些实施例中，重叠阈值在约 0.5 至约 0.8 （或者约 50% 至约 80% 重叠）范围内。在其它实施例中，重叠阈值在0.5 至约 0.7 （或者约50% 至约 80% 重叠）范围内。在其它实施例中，重叠阈值为 0.75 （或者约 75% 重叠）。在其它实施例中，重叠阈值大于约 0.5 （或 50% 重叠）。

如果计算的比大于重叠阈值（步骤 806 ），则选择共定位 ROI 以进行共表达分析（步骤 807 ）。另一方面，如果计算比小于重叠阈值（步骤 808 ），则共定位 ROI 被拒绝而不用于共表达分析（步骤 809 ）。

例如，使 ROI_1 （ 980 ）为来自单标志通道图像 1 的区域中的一个，并且使ROI_2 （ 981 ）为来自单标志通道图像 2 的区域中的一个，如图 9A 中的亮阴影和较暗阴影区域所指示的。然后计算比交集 (ROI_1, ROI_2)/ 并集 (ROI_1, ROI_2) 。如果计算的比大于覆盖阈值（例如约 75% ），则将两个 ROI 视为用于标志 1 和 2 的共同表达区域（Marker1+ ， Marker2+ ）。

在某些实施例中，感兴趣区域是预定义固定尺寸的面积。在某些实施例中，（两个或更多 ROI 的）并集的面积是表示固定视场的固定像素面积。例如，如果视场具有 N × N像素的尺寸，则并集的面积将是具有尺寸 N × N 像素的面积。例如，并且如图 9B 中所示，可以将单独标志图像 1 和 2 对准并检测和覆盖候选视场（ FOV ）。举例来说，使 FOV的尺寸为 N × N 像素并使 FOVS_1 （ 990 ）和 FOVS_2 （ 991 ）表示来自两个单独标志通道图像的两个 FOV 掩膜（例如，亮阴影所指示的掩膜 FOVS_1 和暗阴影所指示的掩模FOVS_2 ）。使用交集（ FOVS_1 ， FOVS_2 ）来计算重叠区域（ 992 ）以找到图 9B 的第三图像中的如两个圆（ 993 ）所指示的可能的共定位 FOV 位置。可以使用连接分量分析（即已被相互叠加的标志特定热图的几何分析）来确定可能的共定位区域的数目，即至少部分地相互重叠的不同图像中的 FOV 的那些部分。针对每个可能的共定位区域，评估比（例如用交集 (FOV_1, FOV_2)/N*N ）以确定与整体（ N × N 像素） FOV 相比较的重叠（共定位）面积的百分比。在本示例中， FOV_1 和 FOV_2 分别指的是来自标志通道图像 1 和 2 的单独 FOV ，诸如图 9B 的第三图像的圆中的单个亮阴影框和暗阴影框。在图 9B 的第四图像中将重叠区域（ 992 ）交集（ FOV_1 ， FOV_2 ）示为黑色框。如果计算的比大于重叠阈值（例如，约 75% ），将两个相应 FOV 视为要选择的最终共定位 FOV （例如，图 9B 的第四图像的黑色圆内的两个 FOV ）。再次地，在本示例中，最终共定位 FOV 表示选定 IHC 标志的共表达的那些面积。

用类似方式可以找到具有关于阴性表达标志的约束（即具有在可以通过将标志特定热图的像素强度与阈值相比较来确定的图像的特定点处不表达或者仅表达少量的Marker3 的附加约束）的共定位区域。可以针对阳性和阴性标志表达两者选择 ROI 。用于阳性标志表达的 ROI 被选择为在热图上具有高值（例如在强度阈值之上—“阳性标志表达的图像面积”），而用于阴性标志表达的 ROI 被定义为在热图上具有低值（例如，低于强度阈值—“阴性标志表达的图像面积”）。可以将用以确定共定位 ROI 的方法应用于阳性标志表达的 ROI 、阴性标志表达的 ROI 或者具有阴性标志表达的 ROI 的阳性标志表达的ROI 。

例如，满足至少在最低水平表达第一和第二标志并在小于最大表达水平表达第三生物标志的准则的共定位区域的识别可以执行如下：分析 Marker1 特定通道图像或热图以便识别一个或多个第一 ROI ，其像素强度值在第一 Marker1 特定阈值以上。所述识别的一个或多个第一 ROI 被称为 RO_1 区域。另外，分析 Marker2 特定通道图像或热图以便识别一个或多个第二 ROI ，其像素强度值在第二 Marker2 特定阈值以上。所述识别的一个或多个第二 ROI 被称为 ROI_2 区域。

另外，分析 Marker3 特定通道图像或热图以便识别一个或多个第三 ROI ，其像素强度值在第三 Marker3 特定阈值以下。所述识别的一个或多个第二 ROI 被称为 M_neg区域。然后，根据实施例，可以用操作交集（ ROI_1 ， ROI_2 ， M_neg ）来计算可能的共定位区域。然后可以计算两个图像面积的尺寸比：交集(ROI_1, ROI_2, M_neg)/ 并集 (ROI_1, ROI_2, M_neg) 。如果计算的比被确定为大于预定义覆盖阈值（例如约 75% ），则共定位 ROI （即对应于交集面积的 ROI ）描述用于标志 1 和标志 2 的共表达区域，其具有关于阴性表达标志 3 的约束（即，具有根本不表达标志 3 或者表达标志 3 不超过最大量的约束）（ Marker1+ ， Marker2+ ， Marker3- ）。

这同样地适用于如上所述的其中感兴趣区域表示具有 N × N 像素面积的固定视场的情况。如上所述，可以用交集 (FOV1, FOV2, M_neg)/N*N 来计算覆盖比，并且可以将覆盖比与覆盖阈值（例如约 75% ）相比较。如果覆盖比大于覆盖阈值，则将两个 FOV 视为用于标志 1 和 2 的共表达区域，其具有关于阴性表达标志 3 的约束，亦即（ Marker1+、 Marker2+ 、 Marker3- ）。这在图 9C 中图示出，其中，在图 9C 的第四图像的黑色圆（995 ）中示出了 Marker1+ 、 Marker2+ 、 Marker3- 的共表达，并且在圆外面的共定位FOV （ 996 ）示出了 Marker1+ 、 Marker2+ 、 Marker3+ 的示例。

在某些实施例中，重叠阈值是预定值，并且对于每个共表达分析而言可以是特定的。例如，对于某些试验而言可以将共表达联系到组成试验的每个标志的比其它标志更高的密度或更高的浓度是可能的。或者，例如，可以要求更严格的覆盖阈值，其中，非特定背景染色由于正在研究的组织的类型或者 IHC 标志 / 染色剂的性质而是普遍的。

共定位 ROI 到单标志通道图像的转移

在识别一个或多个共定位感兴趣区域（步骤 225 ）之后，将共定位 ROI 映射回到所述多个单标志通道图像（步骤 226 ）。这样，确定所述多个单标志通道图像中的每一个内的一个或多个已识别共定位 ROI 的位置并提供为输出。在某些实施例中，将共定位 ROI转移回到所述多个单标志通道图像中的每一个的高分辨率版本。在某些实施例中，利用本文所述的标志间配准模块来将共定位 ROI 的位置映射或转移到单标志通道图像。输出可以是到病理学家或细胞计数模块。

细胞计数模块

在将共定位 ROI 的位置转移到标志表达的图像（步骤 225 ）之后，可以计算或估计表达单独标志的细胞（步骤 227 ）。在某些实施例中，使用细胞计数模块 114 来执行自动化细胞计数（步骤 227 ）。细胞计数之后的输出是表达每个标志的细胞的数目的估计，诸如在标志表达的每个图像中的每个共定位 ROI 中。

自动化细胞计数方法在本领域中是已知的，并且可以利用细胞计数的任何已知方法。在某些实施例中，使用基于捕捉细胞外观特征的对称信息的图像处理的技术来实现细胞计数。在其它实施例中，可以将机器学习技术用于细胞检测，诸如从结构化支持向量机（ SVM ）学习以识别细胞状区域的统计模型匹配。可以使用从近似细胞尺寸的区域中提取并描述该区域中的图像值的特征来训练 SVM 。

在另外其它实施例中，使用已经针对任务被训练的卷积神经网络来执行细胞的计数，诸如在题为“ Systems and Methods for Detection of Structures and/orPatterns in Images ”的 PCT/EP/2015/061226 （ WO/2015/177268 ）中所述，其公开被整体地通过引用结合到本文中。在某些实施例中，向卷积神经网络中输入感兴趣区域或者从感兴趣区域获取的图像块以便确定针对感兴趣区域或源自于该感兴趣区域的图像块内的生物特征的存在的概率。可以通过首先识别感兴趣区域内的感兴趣位置且然后提取包含此感兴趣位置的图像块来从感兴趣区域提取图像块以便输入到卷积神经网络中。

更具体地， PCT/EP/2015/061226 描述了可以使用训练图像和标签进行训练以识别特定细胞结构和特征的卷积神经网络。神经网络输出检测到的结构事实上表示细胞、薄膜、背景等的概率。这些概率可以经历局部极大值发现方法（诸如非极大值抑制）以便识别将被用作对象的“位置”的特定像素。细胞的特定部分（例如，细胞核的近似中心）被说明性地用作被观察的面积内的对象的“位置”，即图像块。在某些实施例中，细胞检测器可以包括被使用用于细胞结构的地面真值来训练的学习部件，所述细胞结构诸如细胞、细胞的各部分或者由经训练的操作员（诸如病理学家）识别的其它细胞或图像特征。可以使用经训练的细胞检测器来识别与多个类型的细胞标志或其它目标结构（诸如细胞核）相对应的图像的通道中的细胞结构，诸如免疫细胞。学习部件可以包括通过分析多个训练图像（其上面标记了地面真值）来生成卷积神经网络（ CNN ）。在训练之后，可以将测试图像或被分析的图像划分成多个块，每个块包含根据 CNN 而分类的一个或多个通道，并且可以生成概率图，其表示图像内的细胞或其它目标结构的存在。此外，可以执行非极大值抑制操作以从概率图获得目标结构的坐标。

可以使用现在已知或以后开发的任何细胞计数方法。 Chen 等人在“ DeepLearning Based Automatic Immune Cell Detection for ImmunohistochemistryImages ”（ G. Wu 等人 (Eds.): MLMI 2014, LNCS 8679, 17 – 24 页 , 2014 ）中描述了其它细胞计数方法，其公开被整体地通过引用结合到本文中。本方法涉及用于 IHC 染色载玻片的数字扫描图像上的自动免疫细胞计数的新型方法。本方法首先使用稀疏色彩解混技术来将 IHC 图像分离成对应于不同细胞结构的多个色彩通道。然后使用对应于适当细胞结构的图像通道将检测问题公式化成深度学习框架。对包含大量 IHC 载玻片的临床数据集来评估算法。在其它实施例中，由 Diem 等人在 Journal of Virological Methods,Vol.222, 2015 年 9 月 15 日 , 117-121 页中的“ Image Analysis for AccuratelyCounting CD4+ and CD8+ T Cells in Human Tissue ”中描述的方法，其公开被整体地通过引用结合到本文中。在另外其它实施例中，由 Halama 等人在 PLOS one, 2009 年 11月 16 日(DOI: 10.1371/journal.pone.0007847) 的“ Estimation of Immune CellDensities in Immune Cell Conglomerates: An Approach for High-ThroughputQuantification ”中公开的方法，其公开被整体地通过引用结合到本文中。

通常，对全分辨率图像执行细胞计数模块以确保可以将全部量的可用图片信息用于执行分析。

示例

受益于本文所述的共表达分析的 IHC 试验的示例包括以下各项：

(FoxP3+, CD3+, CD8-)

上文识别的标志的交集描述 T 调节或效应器免疫细胞，其被假定为辅助性 T 细胞或记忆免疫细胞。

(CD3+, CD8+)

上文识别的标志的交集描述了被激活的细胞毒素 T 细胞。

(CD3+, CD8-, PD-L1+) 或 (CD8+, PD-L1-)

上文识别的标志的交集描述了其中 Pd-L1 已抑制抗肿瘤 CD8+ 细胞的 T 细胞。

图 11 图示出用于（ CD3+,FoxP3+ ）和（ CD8+,FoxP3+ ）的共定位示例。

图 10 描绘了根据本公开的另一实施例的过程流程。从图像获取系统接收输入图像（ 1001 ）。另外，从图像获取系统接收一系列低分辨率标志图像（ 1004 ）。可以通过将高分年率图像解混来导出标志图像，或者可以作为单染色剂载玻片图像接收标志图像。使用低分辨率输入图像来计算组织区域掩膜（ 1003 ），其指示图像的哪些部分包含感兴趣的组织。使低分辨率图像标志图像通过低通滤波器以产生已滤波图像标志图像（ 1005 ）。然后对低通滤波图像应用组织区域掩膜以遮蔽（缩减为 0 ）不感兴趣的区域。这导致用于每个标志的被掩蔽已滤波图像（ 1006 ）。对极大值滤波图像应用局部极大值滤波器以识别局部极大值（ 1007 ）。选择前 K 个局部极大值（ 1008 ），并且针对每个局部极大值定义视场（ 1009 ）。然后通过将所有图像转移到公共坐标系并覆盖且组合任何重叠视场将用于每个图像的 FOV 合并（ 1010 ）。然后将合并视场转移回到原始图像坐标系，从高分辨率输入图像提取各区域以进行分析。

用于实施本公开的实施例的其它组件

可以将本发明的计算机系统联系到可以对组织标本执行一个或多个准备过程的标本处理装置。准备过程在没有限制的情况下可以包括对标本脱蜡、调节标本（例如，将使得能够实现并促进抗原恢复的细胞调节）、对标本染色、执行抗原恢复、执行免疫组织化学染色（包括标记）或其它反应和 / 或执行原位杂交 ( 例如， SISH 、 FISH 等）染色（包括标记）或其它反应以及用于使标本准备好用于显微术、微量分析、质谱法或其它分析方法的其它过程。

标本可以包括组织样本。组织的样本可以是其中或其上面可以存在目标的任何液态、半固态或固态物质（或材料）。特别地，组织样本可以是从生物组织获得的生物样本或组织样本。组织可以是在有机体内执行类似功能的互连细胞的集合。在某些示例中，从动物受试者（诸如人类受试者）获得生物样本。生物标本可以是从任何活体有机体获得、由其排泄或分泌的任何固体或流体样本，其在没有限制的情况下包括单细胞有机体（诸如细菌、酵母、原生动物以及阿米巴及其它）、多细胞有机体（诸如植物或动物，包括来自健康或者看起来健康的人类受试者或者受到要诊断或研究的状况或疾病（诸如癌症）影响的人类患者的样本）。例如，生物样本可以是从例如血液、血浆、血清、尿、胆汁、腹水、唾液、脑脊髓液、房水或玻璃液或者任何身体分泌物、渗出液、分泌液获得的流体（例如，从脓肿或者感染或发炎的任何其它部位获得的流体），或者从关节（例如，正常关节或者受到疾病影响的关节）获得的流体。生物样本还可以是从任何器官或组织获得的样本（包括活组织检查或尸体解剖标本，诸如肿瘤活组织检查），或者可以包括细胞（无论是初生细胞还是培养细胞）或由任何细胞、组织或器官调节的媒介。在某些示例中，生物样本是细胞核提取物。在某些示例中，样本是质量控制样本，诸如可以从细胞团块准备的切片获得。在其它示例中，样本是测试样本。例如，测试样本是从已从受试者获得的生物样本制备的细胞、组织或细胞团块切片。在示例中，受试者是处于特定状况或疾病的风险中或者已招致特定状况或疾病的人。在某些实施例中，标本是乳房组织。

处理装置可以对标本施加固定剂。固定剂可以包括交联剂（诸如醛，例如甲醛、多聚甲醛以及戊二醛以及非醛交联剂）、氧化剂（例如，金属离子和联合体，诸如四氧化锇和铬酸）、蛋白质变性剂（例如，乙酸。甲醇以及乙醇）、未知机理的固定剂（例如，升汞、丙酮以及苦味酸）、组合反应物（例如，卡诺依氏固定剂、 methacarn 、布英防腐液、 B5 固定剂、Rossman 流体以及 Gendre 流体）、微波以及各种各样的固定剂（例如，排除体积固定和蒸气固定）。

如果标本是被嵌入石蜡中的样本，则可以使用（一个或多个）适当的脱蜡流体对样本进行脱蜡。在废物去除器去除了（一个或多个）脱蜡流体之后，可以对标本连续地施加任何数目的物质。该物质可以用于预处理（例如，蛋白质交联、暴露核酸等）、变性、杂交、洗涤（例如严格洗涤）、检测（例如，将视觉或标志分子链接到探针）、放大（例如，放大蛋白质、基因等）、对比染色、盖片等。

标本处理装置可以对标本施加大范围的物质。在没有限制的情况下，该物质包括染色剂、探针、反应物、清水和 / 或调节剂。该物质可以是流体（例如，气体、液体或气体 /液体混合物）等。流体可以是溶剂（例如，极性溶剂、非极性溶剂等）、溶液（例如，水溶液或其它类型的溶液）等。在没有限制的情况下，反应物可以包括染色剂、润湿剂、抗体（例如，单克隆抗体、多克隆抗体等）、抗原恢复流体（例如，基于含水或无水的抗原恢复溶液、抗原恢复缓冲液等）等。探针可以是隔离核酸或隔离合成低聚核苷酸，其被附着到可检测标签或报告分子。标记可以包括放射性同位素、酶底物、辅因子、配位体、化学发光或荧光剂、色原、半抗原以及酶。

标本处理装置可以是自动化设备，诸如由 Ventana Medical Systems 有限公司出售的 BENCHMARK XT 仪器和 SYMPHONY 仪器。 Ventana Medical Systems 有限公司是用于执行自动分析的许多美国专利公开系统和方法的受让人，包括美国专利号 5,650,327、 5,654,200 、 6,296,809 、 6,352,861 、 6,827,901 和 6,943,029 和美国公布专利申请号 20030211630 和 20040052685 ，其中的每一个被整体地通过引用结合到本文中。替换地，可以手动地处理标本。

在处理了标本之后，用户可以将标本承载载玻片运输至成像设备。这里使用的成像装置是亮场成像器载玻片扫描仪。一个亮场成像器是由 Ventana Medical Systems 有限公司出售的 iScan Coreo ™亮场扫描仪。在自动化实施例中，成像装置是如在题为IMAGING SYSTEM AND TECHNIQUES 的国际专利申请号 PCT/US2010/002772 （专利公开号：WO/2011/049608 ）中公开或者在题为 IMAGING SYSTEMS, CASSETTES, AND METHODS OFUSING THE SAME 的 2011 年 9 月 9 日提交的美国专利申请号 61/533,114 中公开的数字式病理装置。国际专利申请号 PCT/US2010/002772 （ WO/2011/049608 ）和美国专利申请号 61/533,114 被整体地通过引用结合到本文中。在其它实施例中，成像设备包括被耦合到显微镜的数字式相机。

成像系统或装置可以是亮场显微镜系统、多光谱成像（ MSI ）系统或荧光显微镜系统。这里使用的成像系统是 MSI 。一般地， MSI 通过在像素层级提供对图像的光谱分布的访问来为病理标本的分析装配计算机化的基于显微镜的成像系统。虽然存在各种多光谱成像系统，但所有这些系统所共有的操作方面是形成多光谱图像的能力。多光谱图像是在特定波长下或在跨电磁波谱的特定光谱带宽下捕捉图像数据的图像。这些波长可以被彩色相机（例如， RGB 相机）、被光学滤光器或通过使用能够选择预定光谱分量的其它仪器而拣选出，所述预定光谱分量包括在处于可见光范围的范围之外的波长（诸如例如红外（ IR ））的电磁辐射。

MSI 可以包括光学成像系统，其一部分包含可调谐以定义预定数目的 N 个离散光学波段的光谱选择系统。该光学系统可以适合于对被用宽带光源以透射方式照射到光学检测器上的组织样本进行成像。在一个实施例中可以包括放大系统（诸如例如显微镜）的光学成像系统具有与光学系统的单个光学输出大体上空间对准的单个光轴。系统随着光谱选择系统被调整或调谐（例如用计算机处理器）而形成组织的图像序列，比如确保在不同的离散光谱带中获取图像。设备可以另外包含其中出现来自所获取图像序列的组织的至少一个视觉上可感知图像的显示器。光谱选择系统可以包括光学分散元件（诸如衍射光栅）、许多光学滤光器（诸如薄膜干涉滤光器）或适合于响应于用户输入或预编程处理器的命令而从从光源通过样本朝着检测器透射的光的光谱中选择特定通带的任何其它系统。

一种替换实施方式、光谱选择系统定义对应于 N 个离散光谱带的多个光学输出。此类系统从光学系统摄取透射光输出，并且使此光输出的至少一部分沿着 N 个空间上不同的光学路径以这样的方式在空间上改向，该方式使得沿着对应于此识别光谱带的光学路径将已识别光谱带中的样本成像到检测器系统上。

在本说明书中描述的主题和操作的实施例可以用数字电子电路或者用计算机软件、固件或硬件（包括在本说明书中公开的结构及其结构等价物）或者它们的一个或多个的组合来实现。可以将在本说明书中描述的主题的实施例实现为在计算机存储介质上编码以便由数据处理设备执行或者控制其操作的一个或多个计算机程序，即计算机程序指令的一个或多个模块。本文所述的任何模块可以包括由（一个或多个）处理器执行的逻辑。如本文所使用的“逻辑”指的是具有可以应用以影响处理器的操作的指令信号和 / 或数据的形式的任何信息。软件是逻辑的示例。

计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或其中的一个或多个的组合，或者可以被包括在其中。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是在人工生成传播信号中编码的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独物理组件或介质（例如，多个 CD 、磁盘或其它存储装置）或者被包括在其中。可以将本说明书中描述的操作实现为由数据处理设备对存储在一个或多个计算机可读存储装置上或从其它源接收到的数据执行的操作。

术语“编程处理器”包含用于处理数据的所有种类的设备、装置以及机器，举例来说包括可编程微处理器、计算机、片上系统或前述各项中的多个或其组合。设备可以包括专用逻辑电路，例如 FPGA （现场可编程门阵列）或 ASIC （专用集成电路）。除硬件之外，设备还可以包括创建用于正在讨论中的计算机程序的执行环境的代码，例如组成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。设备和执行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。

可以用任何形式的编程语言（包括编译或解释语言或者说明或过程语言）来编写计算机程序（也称为程序、软件、软件应用程序、脚本或代码），并且可以将其以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适合于在计算环境中使用的其它单元。计算机程序可以但不需要对应于文件系统中的文件。可以将程序存储在保存其它程序或数据（例如，存储在标记语言文档中的一个或多个脚本）的文件的一部分中、专用于正在讨论中的程序的单个文件中或者在多个协调文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。可以将计算机程序部署成在一个计算机上或者在位于一个地点处或跨多个地点分布并被通信网络互连的多个计算机上执行。

在本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作的一个或多个可编程处理器来执行。该过程和逻辑流程还可以由专用逻辑电路执行，并且还可以将设备实现为专用逻辑电路，所述专用逻辑电路例如 FPGA （现场可编程门阵列）或 ASIC （专用集成电路）。

适合于计算机程序执行的处理器举例来说包括通用和专用微处理器两者以及任何种类的数字计算机的任何一个或多个处理器。一般地，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必不可少元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器装置。一般地，计算机还将包括用于存储数据的一个或多个大容量存储装置（例如磁、磁光盘或光盘）或者被操作耦合到该大容量存储装置以从其接收数据或向其传输数据或两者。然而，计算机不需要具有此类装置。此外，可以将计算机嵌入另一装置中，该另一装置例如移动电话、个人数字助理（ PDA ）、移动音频或视频播放器、游戏控制台、全球定位系统（ GPS ）接收机或便携式存储装置（例如，通用串行总线（ USB ）闪速驱动），以仅举几个例子。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质或存储器设备，举例来说包括半导体存储器设备（例如， EPROM 、 EEPROM 以及闪速存储器设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及 CD-ROM 和 DVD-ROM 盘）。处理器和存储器可以用专用逻辑电路来补充或者结合在其中。

为了提供与用户的交互，在本说明书中描述的主题的实施例可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备（例如， LCD （液晶显示器）、 LED （发光二极管）显示器或 OLED （有机发光二极管）显示器）和用户可以用来通过其向计算机提供输入的键盘和定点设备，例如鼠标或轨迹球。在某些实施方式中，可以使用触摸屏来显示信息和从用户接收输入。也可以使用其它种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、话音或触觉输入。另外，计算机可以通过向用户所使用的设备发送文档和从用户所使用的设备接收文档来与用户相交互；例如，通过响应于从网络浏览器接收到的请求而向用户的客户端设备上的网络浏览器发送网页。

在本说明书中描述的主题的实施例可以在计算系统中实现，该计算系统包括例如作为数据服务器的后端组件或者包括例如应用服务器的中间组件组件或者包括前端组件，例如具有用户可以通过其与在本说明书中描述的主题的实施方式相交互的图形用户接口或网络浏览器的客户端计算机或者一个或多个此类后端、中间组件或前端组件的任何组合。可以用数字数据通信的任何形式或介质（例如，通信网络）来将系统的组件互连。通信网络的示例包括局域网（“ LAN ”）和广域网（“ WAN ”）、互联网（例如，因特网）以及对等网络（例如，自组式对等网络）。例如，图 1 的网络 20 可以包括一个或多个局域网。

计算系统可以包括任何数目的客户端和服务器。客户端和服务器一般地相互远离并通常通过通信网络进行交互。客户端和服务器的关系借助于在各计算机上运行且相互具有客户端 - 服务器关系的计算机程序发生。在某些实施例中，服务器向客户端设备发送数据（例如， HTML 页面）（例如，出于向与客户端设备相交互的用户显示数据和和从与客户端设备相交互的用户接收用户输入的目的）。可以在服务器处从客户端设备接收在客户端设备处生成的数据（例如，用户交互的结果）。

虽然在本文中已参考特定实施例描述了本发明，但应理解的是这些实施例仅仅说明本发明的原理和应用。因此应理解的是在不脱离由所附权利要求定义的本发明的精神和范围的情况下可以对说明性实施例进行许多修改且可以设计其它布置。认为前文编写的说明书足以使得本领域的技术人员能够实践本发明。

Claims

1.一种用于共表达分析的方法，包括：

- 访问多个单标志通道图像（124），所述多个单标志通道图像中的每一个是数字图像，其像素强度值与组织样本中的相应单个标志的量相关；

- 计算用于单标志通道图像中的每一个的标志表达的热图，其中计算所述热图包括对所述多个单标志通道图像中的每一个应用低通滤波器；

- 识别标志表达的每个热图中的一个或多个候选感兴趣区域（126），其中，识别所述一个或多个候选感兴趣区域包括：对标志表达的每个热图应用（524）局部极大值滤波器以便识别所述热图中的最高排序局部像素强度极大值，选择围绕已识别局部强度极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的，并且使用所选子区域作为所述热图的候选感兴趣区域；

- 计算包括从标志表达的每个热图识别的一个或多个候选感兴趣区域的覆盖掩膜，覆盖掩膜是掩蔽掉不属于覆盖掩膜源自于的热图的已识别候选感兴趣区域中的一个的所有像素的图像掩膜；

- 通过以下各项从覆盖掩膜识别一个或多个共定位感兴趣区域

- 识别热图中的两个或更多的候选感兴趣区域的交集面积和/或并集面积，

- 将识别的交集或并集面积映射回到该两个或更多热图；以及

- 使用与所述映射回的交集或并集面积相对应的候选感兴趣区域或其部分作为一个或多个共定位感兴趣区域；以及

- 选择性地分析热图中的两个或更多的共定位感兴趣区域的像素强度以便确定在组织样本中是否共表达了对应于两个或更多热图的标志。

2.如权利要求1所述的方法，其中，识别一个或多个候选感兴趣区域包括对标志表达的每个热图应用（521）强度阈值。

3.如权利要求2所述的方法，其中，在任何热图的一个或多个子区域的像素的强度值在强度阈值以下的情况（523）下，热图的所述子区域被识别为候选感兴趣区域，所述候选感兴趣区域对应于其中标志未被表达或者表达小于给定表达阈值的样本中的区域。

4.如权利要求2或3所述的方法，其中，在任何热图的一个或多个子区域的像素的强度值在强度阈值以上的情况（522）下，热图的所述子区域被识别为候选感兴趣区域，所述候选感兴趣区域对应于其中标志被表达强于给定表达阈值的样本中的区域。

5.如权利要求2或3所述的方法，其中，确定共定位感兴趣区域包括：

- 识别对应于不同标志和标志表达的相应标志特定热图的一个或多个至少部分地重叠的候选感兴趣区域；

- 识别已识别的至少部分地重叠的候选感兴趣区域的交集面积；

- 识别不同标志特定热图的已识别的至少部分地重叠的感兴趣区域的并集面积；

- 计算已识别交集面积与已识别并集面积之间的比；

- 评估计算的比是否超过重叠阈值。

6.如权利要求2或3所述的方法，还包括将组织样本的多通道图像解混成所述多个单标志通道图像中的每一个的步骤。

7.如权利要求2或3所述的方法，其中，所述多个单标志通道图像源自于一系列连续组织切片，并且其中，所述方法还包括将每个已识别候选感兴趣区域配准到公共坐标系的步骤。

8.如权利要求2或3所述的方法，还包括对所述多个单标志通道图像进行预处理，使得非组织区域被掩蔽。

9.如权利要求2或3所述的方法，

- 其中，少于全部的所述多个单标志通道图像被用来识别共定位感兴趣区域；和/或

- 其中，GUI使得用户能够选择将被用于识别共定位感兴趣区域的单标志通道图像。

10.如权利要求2或3所述的方法，还包括对所述多个单标志通道图像中的至少某些中的至少一个已识别共定位感兴趣区内的细胞进行计数；以及可选地将两个或更多不同标志通道图像中的共定位区域的细胞计数用于计算免疫分数。

11.一种用于共表达分析的电子图像分析系统，该系包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储用于由一个或多个处理器执行以促使一个或多个处理器执行根据权利要求1—10中的任一项所述的方法的非临时计算机可读指令。

12.一种用于共表达分析的计算机实现方法，包括：

- 计算（111）用于多个（124）单标志通道图像中的每一个的标志表达的热图，其中计算所述热图包括对所述多个单标志通道图像中的每一个应用低通滤波器，其中，所述多个单标志通道图像中的每一个包括单个标志；

- 识别(112）标志表达的每个热图中的一个或多个候选感兴趣区域，其中，识别所述一个或多个候选感兴趣区域包括：对标志表达的每个热图应用局部极大值滤波器并且选择围绕最高排序局部极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的；

- 计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选感兴趣区域（126）；

- 从覆盖掩膜确定一个或多个共定位感兴趣区域；以及

- 将已识别的一个或多个共定位感兴趣区域转移至所述多个单标志通道图像中的每一个。

13.如权利要求12所述的计算机实现方法，其中，识别一个或多个候选感兴趣区域包括对标志表达的每个热图应用阈值。

14.如权利要求13所述的计算机实现方法，其中，已识别的一个或多个候选感兴趣区域具有小于应用的阈值的值并对应于阴性标志表达的区域。

15.如权利要求13所述的计算机实现方法，其中，已识别的一个或多个候选感兴趣区域具有大于应用的阈值的值并对应于阳性标志表达的区域。

16.如权利要求12—15中的任一项所述的计算机实现方法，其中，识别一个或多个候选感兴趣区域包括对标志表达的每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值。

17.如权利要求12—15中的任一项所述的计算机实现方法，其中，确定共定位感兴趣区域包括识别对应于不同标志的一个或多个至少部分地重叠的候选感兴趣区域。

18.如权利要求17所述的计算机实现方法，其中，通过在形态上和/或逻辑上处理覆盖掩膜来确定一个或多个至少部分地重叠的候选感兴趣区域。

19.如权利要求17所述的计算机实现方法，还包括评估所述一个或多个至少部分地重叠的候选感兴趣区域中的每一个的交集面积是否满足重叠阈值的步骤。

20.如权利要求19所述的计算机实现方法，其中，评估交集面积是否满足重叠阈值包括计算所述至少部分地重叠的候选感兴趣区域的交集面积与并集面积之间的比并将该比与重叠阈值相比较。

21.如权利要求12—15中的任一项所述的计算机实现方法，还包括将组织样本的多通道图像解混成所述多个单标志通道图像中的每一个的步骤。

22.如权利要求12—15中的任一项所述的计算机实现方法，其中，所述多个单标志通道图像源自于一系列连续组织切片，并且其中，所述方法还包括将每个已识别候选感兴趣区域配准到公共坐标系的步骤。

23.如权利要求12—15的任一项所述的计算机实现方法，其中，所述多个单标志通道图像被预处理，使得非组织区域被掩蔽。

24.如权利要求12—15中的任一项所述的计算机实现方法，其中，少于全部的所述多个单标志通道图像被用来识别共定位感兴趣区域。

25.如权利要求12—15中的任一项所述的计算机实现方法，还包括对所述多个单标志通道图像中的至少某些中的至少一个已识别共定位感兴趣区域内的细胞进行计数的步骤。

26.一种用于共表达分析的计算机系统，包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令，其用于由一个或多个处理器执行以促使一个或多个处理器：

- 计算用于多个单标志通道图像中的每一个的标志表达的热图，其中通过对所述多个单标志通道图像中的每一个应用低通滤波器来计算所述热图，其中，所述多个单标志通道图像中的每一个包括单个标志；

- 通过如下步骤来识别标志表达的每个热图中的一个或多个候选感兴趣区域：对标志表达的每个热图应用（524）局部极大值滤波器以便识别所述热图中的最高排序局部像素强度极大值，选择围绕已识别局部强度极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，并且使用所选子区域作为所述热图的候选感兴趣区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的；

- 计算覆盖掩膜，其包括从标志表达的每个热图识别的一个或多个候选感兴趣区域；

- 从覆盖掩膜确定一个或多个共定位感兴趣区域；以及

27.如权利要求26所述的计算机系统，其中，通过对标志表达的每个热图应用阈值来识别一个或多个候选感兴趣区域。

28.如权利要求27所述的计算机系统，其中，已识别的一个或多个候选感兴趣区域具有小于应用的阈值的值并对应于阴性标志表达的区域。

29.如权利要求27所述的计算机系统，其中，已识别的一个或多个候选感兴趣区域具有大于应用的阈值的值并对应于阳性标志表达的区域。

30.如权利要求27所述的计算机系统，其中，通过识别对应于不同标志的一个或多个至少部分地重叠的候选感兴趣区域来确定所述共定位感兴趣区域。

31.如权利要求30所述的计算机系统，其中，通过在形态上和/或逻辑上处理覆盖掩膜来确定一个或多个至少部分地重叠的候选感兴趣区域。

32.如权利要求30所述的计算机系统，其中，所述系统执行用以评估一个或多个至少部分地重叠的候选感兴趣区域中的每一个的交集面积是否满足重叠阈值的指令。

33.如权利要求32所述的计算机系统，其中，评估交集面积是否满足重叠阈值包括计算所述至少部分地重叠的候选感兴趣区域的交集面积与并集面积之间的比并将计算的比与重叠阈值相比较。

34.如权利要求26—33中的任一项所述的计算机系统，其中，所述多个单标志通道图像是通过将组织样本的多通道图像解混而导出的。

35.如权利要求26—33中的任一项所述的计算机系统，其中，所述多个单标志通道图像源自于一系列连续组织切片，并且其中，已识别候选感兴趣区域中的每一个被配准到公共坐标系。

36.如权利要求26—33的任一项所述的计算机系统，其中，所述多个单标志通道图像被预处理，使得非组织区域被掩蔽。

37.如权利要求26—33中的任一项所述的计算机系统，其中，已识别共定位感兴趣区域对应于少于全部的标志。

38.如权利要求26—33中的任一项所述的计算机系统，其中，所述计算机系统进一步执行用以对所述多个单标志通道图像中的至少某些中的至少一个已识别共定位感兴趣区域中的细胞进行计数的指令。

39.一种用于共表达分析的计算机实现方法，包括：

- 计算用于多个单标志通道图像中的每一个的标志表达的热图，其中，所述多个单标志通道图像中的每一个包括单个标志；

- 识别标志表达的每个热图中的一个或多个候选感兴趣区域，其中，识别所述一个或多个候选感兴趣区域包括：对标志表达的每个热图应用局部极大值滤波器以便识别所述热图中的最高排序局部像素强度极大值，选择围绕已识别局部强度极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，并且使用所选子区域作为所述热图的候选感兴趣区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的；

- 从覆盖掩膜确定一个或多个共定位感兴趣区域；以及

- 将所述一个或多个共定位感兴趣区域映射到所述多个单标志通道图像中的每一个中的相同坐标位置；以及

- 估计所述多个单标志通道图像中的至少某些中的已确定的一个或多个共定位感兴趣区域中的至少一个中的细胞的数目。

40.如权利要求39所述的计算机实现方法，其中，识别一个或多个感兴趣区域包括对标志表达的每个热图应用阈值。

41.如权利要求40所述的计算机实现方法，其中，已识别的一个或多个候选感兴趣区域具有小于应用的阈值的值并对应于阴性标志表达的区域。

42.如权利要求40—41中的任一项所述的计算机实现方法，其中，确定一个或多个共定位感兴趣区域包括在形态上和/或逻辑上处理覆盖掩膜中的已识别的一个或多个候选感兴趣区域。

43.如权利要求40—41中的任一项所述的计算机实现方法，其中，所述形态处理步骤识别对应于至少部分地相互重叠的两个或更多不同标志的候选感兴趣区域。

44.如权利要求40—41中的任一项所述的计算机实现方法，还包括评估所述至少部分地重叠的候选感兴趣区域的交集面积是否满足重叠阈值的步骤。

45.如权利要求44所述的计算机实现方法，其中，评估交集面积是否满足重叠阈值包括计算所述至少部分地重叠的候选感兴趣区域的交集面积与并集面积之间的比并将该比与重叠阈值相比较。

46.如权利要求40—41中的任一项所述的计算机实现方法，其中，所述多个单标志通道图像中的每一个是通过从多重组织样本将单个图像解混而导出的。

47.如权利要求40—41中的任一项所述的计算机实现方法，其中，所述多个单标志通道图像中的每一个源自于一系列连续组织切片，其中，每个连续组织切片被用单个标志染色。

48.如权利要求47所述的计算机实现方法，还包括将已识别候选感兴趣区域中的每一个配准到公共坐标系的步骤。

49.如权利要求40—41中的任一项所述的计算机实现方法，其中，所述一个或多个共定位感兴趣区域包括关于阴性表达标志的约束。

50.如权利要求40—41中的任一项所述的计算机实现方法，其中，所述一个或多个共定位感兴趣区域共表达三个或更多标志。

51.如权利要求40—41的任一项所述的计算机实现方法，其中，所述多个单标志通道图像被预处理，使得非组织区域被掩蔽。

52.一种用于共表达分析的计算机系统，包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令，其用于由一个或多个处理器执行以促使一个或多个处理器：

- 从覆盖掩膜确定一个或多个共定位感兴趣区域；

53.如权利要求52所述的计算机系统，其中，通过在形态上和/或逻辑上处理覆盖掩膜中的已识别的一个或多个候选感兴趣区域来确定所述一个或多个共定位感兴趣区域。

54.如权利要求52所述的计算机系统，其中，通过对标志表达的每个热图应用阈值来识别一个或多个候选感兴趣区域。

55.如权利要求54所述的计算机系统，其中，已识别的一个或多个候选感兴趣区域具有小于应用的阈值的值并对应于阴性标志表达的区域。

56.如权利要求52—55中的任一项所述的计算机系统，其中，通过对每个热图应用局部极大值滤波器并选择预定数目的最高排序局部极大值来识别一个或多个候选感兴趣区域。

57.如权利要求52—55中的任一项所述的计算机系统，其中，已识别的一个或多个候选感兴趣区域被配准到公共坐标系。

58.一种用于共表达分析的计算机系统，包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令，其用于由一个或多个处理器执行以促使一个或多个处理器

（i）执行热图计算模块中的指令以生成用于多个单标志通道图像中的每一个的标志表达的热图；

（ii）执行感兴趣区域识别模块中的指令以识别标志表达的每个热图中的候选感兴趣区域，其中，识别候选感兴趣区域包括：对标志表达的每个热图应用（524）局部极大值滤波器以便识别所述热图中的最高排序局部像素强度极大值，选择围绕已识别局部强度极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的，并且使用所选子区域作为所述热图的候选感兴趣区域；以及

（iii）执行共定位模块中的指令以基于已识别的候选感兴趣区域来确定共定位感兴趣区域。

59.如权利要求58所述的计算机系统，其中，提供了用以将所确定的共定位感兴趣区域中的每一个的位置映射到所述多个单标志通道图像中的每一个的指令。

60.如权利要求59所述的计算机系统，其中，提供了用以对所述多个单标志通道图像中的每一个中的至少一个共定位感兴趣区域内的细胞进行计数的指令。

61.一种用于共表达分析的计算机系统，包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非临时计算机可读指令，其用于由一个或多个处理器执行以促使一个或多个处理器：

- 生成用于多个单标志通道图像中的每一个的组织区域掩蔽图像，所述多个单标志通道图像中的每一个包括单个标志；

- 计算用于多个单标志通道图像中的每一个的标志表达的热图；

- 识别标志表达的每个热图中的一个或多个候选感兴趣区域，其中，识别所述一个或多个候选感兴趣区域包括：对标志表达的每个热图应用局部极大值滤波器以便识别所述热图中的最高排序局部像素强度极大值，选择围绕已识别局部强度极大值中的相应的一个的热图的预定数目的固定尺寸N×N像素子区域，所述N×N像素子区域是通过围绕着所选预定数目的最高排序局部强度极大值中的每一个描绘具有N×N像素的组的视场来确定的，并且使用所选子区域作为所述热图的候选感兴趣区域；

- 从覆盖掩膜确定一个或多个共定位感兴趣区域；以及

- 将所述一个或多个共定位感兴趣区域映射到所述多个单标志通道图像中的每一个的中的位置；以及

- 估计所述多个单标志通道图像中的每一个中的已确定的一个或多个共定位感兴趣区域中的至少一个中的细胞的数目。

62.一种标本分析仪，其包括如权利要求26-38或52-57 中的任一项中所述的计算机系统或者包括如权利要求11中所述的电子图像分析系统并包括图像获取系统。