CN119301692A - 具有多序分类模块的系统 - Google Patents

Abstract

公开了一种用于对检测和表征模块的实时激活的临床支持系统和方法，所述检测和表征模块被训练以用于消化道内的异常的识别或诊断。临床支持计算机可以被编程为：至少部分地基于检测到与内窥镜的连接来激活第一黏膜识别模块和第一多个检测和表征模块，使用第一黏膜识别模块监视来自内窥镜的图像流以识别黏膜组织类型，基于将黏膜组织类型识别为第一黏膜组织类型来执行第一多个检测和表征模块中的第一检测模块，以及使用第一检测模块处理来自从窥镜接收的图像流中的图像以识别要输出至显示设备的感兴趣区域，其中，感兴趣区域识别图像内的潜在异常。

Description

具有多序分类模块的系统

优先权要求

本申请要求于2022年4月27日提交的美国临时专利申请序列第63/363,654号以及于2022年12月13日提交的美国临时专利申请序列第63/387,140号的优先权权益，所述美国临时专利申请的内容通过引用并入本文。

背景技术

使用内窥镜仪器检查患者的消化(GI)道是一种相当常规的医疗预防/诊断医疗过程。对于上消化道，医生(或更一般地，医疗保健提供者(HCP))检查患者的食道、胃和十二指肠(小肠的第一部分)的内部。在这样的过程中使用的仪器是包括用于查看组成上消化道的器官的内表面的摄像装置的薄的发光管——这种仪器通常被称为内窥镜。因此，上内窥镜检查术(upper endoscopy)，也称为上消化道内窥镜检查术，是一种用于视觉检查患者的消化系统的过程。上消化道的每个部分具有明显不同的组织，称为黏膜，其可以为训练有素的眼睛提供消化道内位置的指示。在内窥镜检查术过程中执行的视觉检查旨在识别可能需要附加诊断的异常。

类似地，内窥镜仪器可以用于视觉检查患者的下消化道(下消化道)。下消化道内窥镜检查术，也称为结肠镜检查或乙状结肠镜检查，允许HCP查看患者的下消化道的黏膜内层。该过程通常用作无症状的个体的筛查测试，或者用于帮助诊断不明原因的腹痛、直肠出血或肠道习惯的改变。在一定年龄之后建议进行常规结肠镜检查，以便能够在癌症或其他消化道问题进展之前对癌症或其他消化道问题进行早期检测。消化道内的异常的识别需要训练有素的HCP以及在过程期间对摄像装置图像的专注查看。内窥镜制造商已经开发了一些图像处理技术来帮助识别潜在的异常，但这些技术对于HCP来说可能难以在实践中使用。

发明内容

人工智能(AI)能力的进步引起了对探索医疗保健用例的极大兴趣。从实践的角度来看，多个不同的用例可以适用于各个医疗保健环境(healthcare setting)。一种这样的医疗保健环境是内窥镜检查术套件，在内窥镜检查术套件中，HCP可以使用内窥镜来检查多个离散的内部解剖结构。对每个离散的内部解剖结构的检查可以对应于一个或更多个专用AI用例(例如，算法、经训练的AI模型)，并且这些专用AI用例可能不适用于其他内部解剖结构。考虑例如食管胃十二指肠镜检查术(又称上消化道内窥镜检查术)，在此期间，HCP可以通过将内窥镜插入患者的食管来开始过程，以将内窥镜推进到患者的胃中之前并且最后推进到患者的十二指肠中之前检查患者的食管黏膜。由于食管、胃和十二指肠中的每一个内的黏膜的生理结构之间的显著差异，可靠地识别这些区域之一内的异常(例如，癌性病变)和/或提供针对这些区域之一内的异常(例如，癌性病变)的诊断的经训练的AI模型可能无法识别和/或者诊断在单个过程期间可能检查的其他区域内的异常。

就AI工具不断发展的本质对HCP进行训练具有挑战性，并且因此，需要对过程内设置进行手动更改以在可用AI工具之间切换的医疗系统创造了高度容易出错的环境。此外，需要对过程内设置进行手动更改增加整体过程时间，这减少了单个医疗保健环境每天可以支持的病例数量。需要用于提高在可以部署多种AI工具的单个医疗保健环境中提供的医疗保健的质量并增加其数量的技术。

这是一个新兴技术领域，并且现有系统基本上是被训练成在离散的解剖区域内执行特定的AI功能的独立的AI模型。这些AI模型也可能由多个实体开发，这使得AI能力更加分散且难以整合。

为了应对这些挑战，发明人开发了一种在过程期间基于内窥镜选择和当前正在观察的组织的特征在离散的AI模型之间智能且无缝地切换的端到端系统。

附图说明

在不一定按比例绘制的附图中，相似的附图标记可以描述不同视图中的类似组件。具有不同字母后缀的相似的附图标记可以表示类似组件的不同实例。附图通常以示例的方式而非限制的方式来示出本文献中所讨论的各种实施方式。

图1示出了根据本公开内容的至少一个示例的示例软件架构图。

图2A至图2E示出了根据本公开内容的至少一个示例的在软件架构上分层的示例过程内处理流程。

图3A示出了根据本公开内容的至少一个示例的机器学习模型训练图。

图3B示出了根据本公开内容的至少一个示例的机器学习模型推断图。

图4示出了根据本公开内容的至少一个示例的机器学习训练技术。

图5示出了根据本公开内容的至少一个示例的用于在过程期间对检测和/或分类模块的自动选择的临床决策支持技术。

图6示出了根据本公开内容的至少一个示例的示例机器的框图，在该示例机器上可以执行本文中所讨论的技术中的任何一个或更多个。

具体实施方式

在示例中，软件架构包括模块的多序层次结构，其中较高级别模块的输出用作激活/去激活较低级别模块的触发。通过这种方式，较高级别模块监视操作环境的当前状况，并且基于这些当前状况选择性地激活被设计成在当前状况下操作的较低级别模块。例如，高级别模块可以确定连接至内窥镜检查术工作站的仪器类型，并且对被设计成与该仪器类型(例如，结肠镜与食管镜)乃至更精细的仪器模型(例如，食管镜A与食管镜B)一起使用的一套较低级别模块初始化(例如，使其进入操作状态)。此外或者替选地，高级别模块可以确定当前正在由内窥镜进行成像的组织类型，并且激活与该组织类型唯一对应的CADe模块和/或CADx模块。CADe模块/CADx模块是用于异常组织的检测和/或分类的人工智能计算机模块。在这种上下文中，“CAD”是计算机辅助检测的缩写，其中，CADe版本指示被配置成识别异常组织的计算机辅助检测的版本。CADx版本是指被配置成识别检测到的异常组织并对检测到的异常组织进行分类的计算机辅助检测系统。此外，在本申请的上下文中，术语“较高级别模块”是指生成用于确定与其他软件组件对应的操作参数的输出的软件组件，该其他软件组件相对于上述“较高级别模块”被恰当地称为“较低级别模块”。此外，术语“模块”在文本中用于定义被设计成执行特定功能或提供特定服务的功能上离散的软件代码段。“模块”可以在合适的计算系统中执行，以根据定义的输入或一组输入产生定义的输出。在一些示例中，“模块”可以包括完整的应用，例如在临床决策支持系统或移动计算设备内可执行的应用。

本文讨论的软件架构还可以允许针对CADe模块和CADx模块的“应用商店”方法。软件架构允许HCP从与所选择的仪器兼容的各种CADe模块/CADx模块中进行选择，以用于消化道的各部分内的诊断。可以提供接口，以允许HCP将所选择的CADe模块/CADx模块与消化道的不同区段(其在过程期间由黏膜组织识别模块检测，如下面详细讨论的)相关联。

图1示出了根据本公开内容的至少一个示例的示例软件架构图。示例软件架构100包括多个层次级别，从包括仪器识别模块104的第一级别102开始。本示例中的第二级别110可以包括多个黏膜识别模块112A至112N，包括第一黏膜识别模块112A至第N黏膜识别模块112N——本公开内容可以引用黏膜识别模块112作为引用多个黏膜识别模块112A至112N中的一个或更多个模块的简称。此外，多个黏膜识别模块112A至112N可以被称为多个黏膜识别模块112。在该示例中，第二级别110还可以包括用于下消化道内的一个或更多个解剖结构识别模块(anatomy identification module)114。解剖结构识别模块114也可以基于黏膜组织识别来操作。如下面详细说明的，黏膜识别模块112和解剖结构识别模块114两者可以利用经训练的机器学习模型来进行相应的组织类型的识别。此外，在某些示例中，第二级别110可以利用被编程/训练以识别各种不同的黏膜组织类型的单个黏膜识别模块(例如，黏膜识别模块112)。换句话说，在某些示例中，多个黏膜识别模块112A至112N被封装到单个黏膜识别模块中。

在该示例中，软件架构100可以包括第三级别120，该第三级别120包括用于上消化道或下消化道的特定区域的CADe模块。在该示例中，第三级别120被示出为包括食管CADe模块122和胃CADe模块124以及针对下消化道内的异常的识别的CADe模块126。软件架构100可以包括任何数目的级别，其在本公开内容中由第N级别130表示。第N级别130被示出为包括食管CADx模块132和胃CADx模块134以及针对下消化道内的异常(例如，息肉的表征)的表征/分类的CADx模块138。如上所述，各级别软件架构100提供了使得临床决策支持系统(CDSS)能够基于当前状况(例如，如由黏膜识别模块确定的内窥镜摄像装置在患者的消化道内的当前位置)在单个医疗检查内在使用多个不同的AI工具之间无缝切换的结构。

示例性内窥镜检查术软件架构，软件架构100，可以包括第一级别，该第一级别包括一个或更多个仪器识别模块(例如，仪器识别模块104)和一个或更多个特定于解剖结构的AI套件。如下面图示的，示例内窥镜检查术软件架构包括上消化道AI套件(例如，食管胃十二指肠镜检查术(EGD)AI套件)和下消化道AI套件(例如，结肠镜检查术AI套件)。AI套件中的各个套件包括被设计成通过分析由内窥镜捕获的图像流来执行特定的AI功能的多个模块。此外，AI套件内较高级别模块的输出可以用作关于哪些较低级别模块在给定时间点操作的决定性因素。例如，由用户选择(或插入到内窥镜检查术塔(endoscopy tower)中)的仪器类型和/或型号的确定可以使CDSS初始化与仪器类型和/或型号对应的特定AI套件。作为另一示例，第二级别模块的最新输出可以指示哪些第三级别模块当前正在操作等等。

在图示的示例中，软件架构100的第二级别110包括被设计成确定当前正在由内窥镜成像的组织的类型的各种模块。具体地，在上消化道AI套件内存在各自被设计成确定特定类型的黏膜是否当前正在成像的黏膜识别模块(例如，多个黏膜识别模块112)。此外或者替选地，单个黏膜识别模块(例如，单个基于AI的组织分类模型)可以被配置成确定多种不同类型的黏膜中的哪一种当前正在成像。尽管在第二级别110处示出，但在替选实现方式中，这些黏膜识别模块112(或者如果目标解剖结构不是黏膜，则更广泛地说是解剖结构识别模块)可以是第一级别。换句话说，图示的第一级别内的仪器识别是软件架构100的可选部分。

此外，在解剖结构识别模块下方存在各种AI模型，所述各种AI模型被专门开发和训练以分析如由解剖结构识别模块(其也可以是AI模型)确定的当前正在查看的组织的类型。例如，在第二级别110处分析的最新图像指示食管组织/黏膜正在被内窥镜成像的情况下，则在第三级别120处，使用被配置成分析食管组织/黏膜(例如，食管CADe模块122)的AI模型。这样的AI模型可以包括CADe和/或CADx类型的模型，其在一些实现方式中被分成如图所示的一个或更多个级别。

从实践意义上讲，这种类型的分层软件架构使得支持AI的医疗保健系统能够随着操作条件的波动在整个过程中以无缝和动态的性质在多个不同的AI模型之间智能地切换，所述多个不同的AI模型中的每一个被开发和训练以用于在特定操作环境下操作。作为下面将更详细地描述的具体示例，当内窥镜从第一解剖结构传递至第二解剖结构时，支持AI的医疗保健系统可以从被配置成分析第一解剖结构类型的第一AI模型自动转换至被配置成分析第二解剖结构类型的第二AI模型。

通过这种方式，该概念通过创建操作环境来增加显著的价值，该操作环境从终端用户(end user)(例如，HCP)的角度来看经由响应于改变操作条件在各种功能和/或AI工具之间动态地切换而无缝地操作以促进单一目标(例如，识别、诊断和最终治疗患病组织)。与此同时，尽管从终端用户的角度来看，似乎是单个工具，但从开发人员的角度来看该概念保留了模块化，这使得随着底层技术进步，功能能够容易地被添加、修改和持续改进(例如，无需执行完整的软件大修(overhaul))。此外，该概念便于根据订阅级别向终端用户提供不同程度的功能(与HCP B相比，HCP A可以订阅更少或不同的功能)。

为了进一步传达这些概念，下面结合一系列附图描述示例性的过程内系统流程。图2A至图2E示出了根据本公开内容的至少一个示例的在软件架构上分层的示例过程内处理流程。图2A至图2E中的每个图表示该技术中的不同操作，并且由不同的时间戳(T¹、T²等)标识。

图2A–时间＝T¹。在该示例中，技术200可以在操作202处开始，该操作202发生在第一时刻T¹处，并且涉及HCP将食管镜连接至操作示例性内窥镜检查术软件架构(例如，软件架构100)的系统。仪器识别模块104识别出该仪器是食管镜并且通过注册预期的解剖结构、例如通过初始化上消化道AI套件(例如，因为食管镜的最可能的用途是检查上消化道空间)来响应。如下面图示的，由于仪器刚刚被连接，并且检查尚未进行(例如，上消化道空间的图像尚未被捕获)，因此上消化道AI套件中各个模块的输出可以为N/A(例如，空)，因为要检查的解剖结构的图像尚未被捕获。

图2B–时间＝T²。在第二时刻T²处，技术200继续进行操作204，该操作204涉及HCP将食管镜插入患者的食管内，并且黏膜识别模块(例如，多个黏膜识别模块112)操作以连续(或以适当的采样率定期)确定当前正在成像的组织类型。如图示的，黏膜识别模块112生成输出，该输出以高度的置信度(例如，通过适当的阈值水平、例如0.95或更高——不同的置信度水平在本公开内容的范围内——来衡量)指示食管黏膜当前正在成像。在一些示例中，如果确定所识别的组织类型与注册的解剖结构不一致，则系统可以生成警告或其他提示以显示给HCP。注意，该软件可以提供允许HCP针对黏膜识别模块112设置阈值置信度水平的设置。基于在软件架构100的第二级别110处的该确定，技术200在操作206处继续，其中系统执行食管CADe模块122以在过程期间连续分析正在生成的图像。在时间T²处，食管CADe模块122的输出指示正在观察的组织是正常的(例如，非异常)。因此，系统以第一成像模态(例如，可见光成像)继续，并且继续运行食管CADe模块122，同时属于上消化道AI套件的黏膜识别模块112也持续运行(或以适当的采样频率运行)。在该示例中，多个黏膜识别模块112A至112N继续在后台执行，以检测成像的黏膜组织的变化，该变化指示转换到受检的消化道的不同区段。

在替选示例(未示出)中，在时间T²处，HCP可以激活NBI模块，以使某些CADx模块能够操作。在非癌前病变中并且根据结肠内的大小和位置，可以执行息肉切除术，以取出以供病理学家进行后续评估或将其丢弃。

图2C–时间＝T³。在第三时刻T³处，技术200可以在操作208处继续，该操作208包括HCP以对异常组织进行成像的方式操纵食管镜。因此，食管CADe模块122生成输出，该输出指示在正在成像的空间内存在异常。在示例中，可以向显示设备输出用户界面对话框。此外，可以生成可听见的声音(警报)，以确保HCP知道检测到的异常组织。例如，应该理解的是，各种CADe模型被设计成检测例如息肉的异常，但不表征这些息肉(例如，良性、恶性等)。在一些示例中，诸如感兴趣区域边界框的图形被叠加在内窥镜图像上显示，以提醒HCP检测到异常组织。

基于来自食管CADe模块122的输出，系统可以通过采取一个或更多个预定动作进行响应。例如，系统可以通过自动激活功能来提供关于正在成像的异常组织的附加信息来对来自食管CADe模块122的指示检测到异常的输出进行响应。在一些实施方式中，响应于来自食管CADe模块122的输出，系统可以自动去激活第一成像模态(例如，全光谱或白光成像)，并且结合食管CADx模块132(在第N级别130内)激活第二成像模态(例，蓝光或红光的窄带成像(NBI))，该食管CADx模块132利用经由第二成像模态捕获的图像来表征异常食管组织。在其他示例中，食管CADx模块132可以被设计成利用白光操作，因此系统不激活第二成像模态。在紧接前面的示例中，食管CADe模块122可以相对于食管CADx模块132被适当地描述为“较高级别模块”，因为食管CADe模块122的输出使系统触发或激活“较低级别”食管CADx模块132的功能。

在一些实施方式中，系统可以通过生成UI元素(例如，视觉、听觉、触觉)来提示HCP关于是否需要经由第二成像模态捕获的图像的指示来对食管CADe模块122的指示正在对异常进行成像的输出进行响应。如果HCP提供指示需要这种第二模态图像的输入，则系统可以通过从第一成像模态(例如，可见光)切换至第二成像模态(例如，NBI)来进行响应。然后，响应于经由第二模态捕获图像，系统可以自动利用可以分析这些图像的食管CADx模块132来生成指示组织分类和对应置信度得分的输出。在某些示例中，HCP可以手动打开NBI或其他模态。在这些示例中，可以捕获关于新模态的信息，而不需要检测不同类型的图像。

图2D–时间＝T⁴。在该示例中，技术200可以在操作210处继续，该操作210发生在第四时刻T⁴处。在操作210中，打开第二成像模态(自动地或者响应于来自HCP的输入这样做)。响应于第二成像模态被激活，系统开始将捕获的图像提供给食管CADx模块132，该食管CADx模块132对经由CADe(例如，经由在操作206中执行的食管CADe模块122)识别的异常进行分类。例如，如图示的，食管CADx模块132提供输出，该输出指示异常为恶性阶段1并且该分类对应于0.87的置信度。

图2E–时间＝T⁵。在该示例中，技术200可以在第五时刻T⁵处以操作212和214结束。在这些操作(212、214)中，HCP将食管镜一直推进通过食管并进入到胃中。因此，食管镜开始捕获胃黏膜的图像。由于黏膜识别模块(例如，多个黏膜识别模块112A至112N)在整个技术200中继续运行，因此系统基于这些黏膜识别模块(112A至112N)的输出无缝地确定从操作被配置成分析食管黏膜的AI模块转换至被配置成分析胃黏膜的AI模块。因此，如图2E所示，食管CADe模块122的输出变得不适用(或为空，因为它可能完全停止操作)，并且胃CADe模块124开始输出当前正在查看的胃黏膜是正常还是异常的指示。在实践中，技术200在整个内窥镜过程期间继续操作，其中以上讨论示出了这样的过程的一部分。

替选用例：特征点(landmark)识别和自动报告生成

在结肠镜检查术期间，一个重要的考虑因素是已经进行了完整的结肠镜检查术，这意味着HCP已经将结肠镜从肛门一直推进到结肠的端部。盲肠位于结肠的端部，并且标志着从结肠空间到小肠的明显转换。目前的最佳实践是HCP将结肠镜一直推进到结肠的端部，并且然后开始退出结肠镜，同时在退出时检查结肠黏膜。

软件架构100还可以用于检查结肠空间，并且可以基于特征点识别自动填充过程报告的各个方面。例如，解剖结构识别模块、例如解剖结构识别模块114可以被配置成分析图像以明确地识别盲肠。一旦被识别，系统可以利用包括以下的指示自动填充报告：

·到达盲肠的时间

·结肠镜推进的持续时间

o这可以通过记录解剖结构识别模块首次识别出结肠黏膜的时间(指示结肠镜进入肛门的时刻)并且记录识别出盲肠的时间来计算，并且然后计算作为这些时间之间的差值的推进时间。

·退出结肠镜的持续时间(按与上述相反的方式计算——即在从肛门移除结肠镜时识别出盲肠的时间减去图像中不再识别出结肠黏膜的时间)

图3A示出了根据本公开内容的至少一个示例的机器学习模型训练图300A。图300A示出了用于使用机器学习来训练模型302的组件和输入。

机器学习(ML)是以下应用：其通过基于在数据分析中发现的模式进行推断来向计算机系统提供执行任务的能力，而无需显式编程。机器学习探索如下算法(在本文中也被称为工具)的研究和构造：所述算法可以根据现有数据进行学习并且做出关于新数据的预测。尽管关于一些机器学习工具来呈现示例，但是本文所呈现的原理可以应用于其他机器学习工具。

机器学习(ML)算法使用数据(例如，动作原语和/或交互原语、目标矢量、奖励等)来发现影响结果的所识别的特征之间的相关性。特征是被观察的现象的单独的可测量属性。用于模型302的示例特征可以包括诊断数据(例如，来自医生)、报告的患者结果数据、标记的黏膜组织内窥镜图像和对应的内窥镜位置。可以将可以包括和/或被称为临床数据的特征与输入数据(例如，内窥镜组织图像)进行比较。

特征的概念与统计技术、诸如线性回归中使用的说明变量的概念有关。选择有信息量、有区别性和独立的特征对于ML在模式识别、分类和回归中的有效操作是重要的。特征可以具有不同的类型，例如数字特征、字符串和图形。

在训练期间，ML算法基于所识别的特征和可选地针对训练限定的配置参数(例如，环境数据、状态数据、诸如人口统计和/或共病等的患者数据)来分析输入数据。训练的结果是模型302，该模型302能够接受输入以产生复杂的任务。在该示例中，模型302将被训练成从输入的内窥镜图像中识别不同类型的黏膜。

在示例中，可以对输入数据进行标记(例如，以作为特征在训练阶段中使用)。标记可以包括识别黏膜组织和该组织在消化道内所处的位置。可以对经标记的训练图像进行加权和/或可以使用经标记的训练图像来生成模型302的不同版本。

用于模型302的输入训练数据可以包括临床数据，该临床数据可以包括患者数据，诸如体重、身高以及可能影响与目标诊断相关联的风险因素的任何其他患者数据。

神经网络——有时也称为人工神经网络——是一种基于对动物大脑的生物神经网络的考虑的计算系统。这样的系统逐渐地提高了执行任务的性能——这称为学习——而通常不需要特定于任务的编程。例如，在图像识别中，可以教导神经网络通过分析已经标注有对象名称的示例图像并且学习该对象和名称来识别包括该对象的图像，并且神经网络可以使用分析结果来识别未标注图像中的对象和/或对未标注图像中的对象进行分类。例如，在图3A中，模型302可以被训练成识别黏膜组织类型和/或消化道内的位置，和/或组织位置的百分比可能性和/或置信度。

神经网络基于被称为神经元的连接单元的集合，其中，神经元之间的每个连接(称为突触)可以传送具有随连接的强度变化的激活强度的单向信号。接收神经元可以激活并将该信号传播至与其连接的下游神经元，这通常基于来自潜在地许多发送神经元的组合输入信号是否具有足够的强度，其中，强度是参数。

深度神经网络(DNN)是由多个层组成的堆叠神经网络。所述层由松散地仿照人大脑中的神经元的节点构成，所述节点是计算发生的位置，当遭遇足够的刺激时神经元就激发。节点将来自数据的输入与放大或抑制该输入的一组系数和/或权重进行组合，所述系数和/或权重为针对算法尝试学习的任务的输入分配重要性。对这些输入权重乘积进行求和，并且通过所谓的节点激活函数传递该和，以确定信号是否以及在多大程度上进一步通过网络进行以影响最终结果。DNN使用多层非线性处理单元的级联以进行特征提取和转换。每个连续层使用来自前一层的输出作为输入。较高级别特征从较低级别特征导出，以形成分层表示。输入层之后的层可以是产生特征图的卷积层，所述特征图是输入的过滤结果并且被下一卷积层所使用。

DNN可以是特定类型的DNN，例如卷积神经网络(CNN)、递归神经网络(RNN)、长短期记忆(LSTM)等。在一些示例中，可以使用其他人工神经网络。在一些示例中，可以使用分类器代替神经网络。分类器可以不包括隐藏层，但是可以将特定输入分类为对应于特定输出。例如，对于黏膜图像输入数据，可以通过分类器生成消化道内的位置识别。

用于训练模型302的输入数据可以包括从内窥镜捕获的数据以及来自医疗从业者的标记数据。模型302可以用于推断阶段(下面关于图3B进一步详细描述)，以确定特定输入黏膜组织图像在消化道内的位置。

如图3A所示，训练数据可以包括信号训练数据，该信号训练数据包括黏膜组织的内窥镜图像以及诸如内窥镜仪器类型和照明模态的其他过程相关数据。在一些示例中，信号训练数据包括由医疗从业者提供的注释或标记数据(例如，作为图像标记数据)。例如，医疗从业者可以对每个输入的内窥镜黏膜组织图像(例如，每个图像数据N)进行注释。在一些示例中，患者和/或医疗从业者还可以提供用于训练模型302的临床数据。临床数据可以包括诊断数据和患者数据。

基于信号训练数据和/或注释训练数据，模型302可以生成与跨输入层、输出层和一个或更多个隐藏层分布的各个处理节点对应的输出权重。模型302和经训练的权重稍后可以用于基于黏膜组织的内窥镜输入图像推断消化道位置的指示。

图3B示出了根据本公开内容的至少一个示例的机器学习模型推断图300B。在推断图300B中，可以使用模型304(例如，训练之后和/或更新的模型302等)来输出预测，例如消化道内的位置或黏膜组织类型等。可以将置信度水平和/或加权作为预测输出，或者除了上面讨论的其他预测之外还可以输出置信度水平和/或加权。机器学习模型推断图300B可以表示示例性的基于计算机的临床决策支持系统(CDSS)，其被配置成辅助预测内窥镜仪器在患者的消化道内的位置。

如图3所示，模型304可以从内窥镜接收信号作为输入，例如患者的消化道的图像数据。输入数据还可以包括内窥镜仪器类型和照明模态等。模型304可以生成包括消化道内的位置或黏膜组织类型等的输出(例如，推断)。模型304可以具有在患者正在进行内窥镜过程时发生的运行时间。模型304可以向医生提供关于消化道内的位置的实时或接近实时的信息。消化道位置信息也可以由CDSS使用来激活或去激活有助于组织异常的检测和/或表征的某些其他AI/ML模块(例如，CADe模块和/或CADx模块)。

图4示出了根据本公开内容的至少一个示例的机器学习训练技术400。在该示例中，技术400概述了用于基于输入的内窥镜图像来训练机器学习模型以检测不同的黏膜组织类型和/或消化道位置的基本步骤。技术400可以包括以下操作，例如：在402处接收黏膜内窥镜图像数据，在404处对图像数据进行标记，在406处训练机器学习模型，以及在408处输出机器学习模型。

在该示例中，技术400可以在402处以系统(如下面图6中详细描述的计算机系统)从内窥镜接收多个黏膜组织图像开始。黏膜组织图像可以来源于上消化道和/或下消化道。来自上消化道的图像可以包括各自具有视觉上不同的方面的包括食管黏膜、胃黏膜和十二指肠黏膜的黏膜的图像。来自下消化道的图像数据可以包括来自盲肠、升结肠、结肠右曲、横结肠、结肠左曲、降结肠、乙状结肠、直肠和肛管以及下消化道其他不同区域的图像。

技术400可以在404处继续，其中系统接收在操作402中接收到的训练黏膜内窥镜图像中的每一个的标签数据。404处的标记操作还可以包括根据特定黏膜组织类型的表示强度对训练图像进行加权。操作404的输出可以包括包含与接收到的图像数据的每个图像相关联的注释的一组训练数据。在406处，技术400可以继续，其中使用训练数据来训练机器学习模型，该机器学习模型随后可以用于预测输入的内窥镜图像在消化道内的位置。上面的图3A讨论了在技术400的上下文内可以实现的关于训练机器学习模型的附加细节。一旦经训练，技术400可以在操作408处以系统输出机器学习模型以用于预测消化道位置和/或黏膜组织类型结束。在示例中，由技术400输出的经训练的机器学习模型可以在下面参照图5讨论的技术500内使用。

图5示出了根据本公开内容的至少一个示例的用于在过程期间检测和/或分类模块的自动选择的临床决策支持技术500。在该示例中，技术500可以包括以下操作，例如：在502处检测内窥镜，在504处激活黏膜识别模块，在506处激活第一多个检测和表征模块，在508处监视图像流，在510处识别黏膜组织类型，在512处执行第一检测和/或表征模块，在514处替选地执行第二检测和/或表征模块，以及在516处输出检测和/或表征数据。技术500讨论了可以分别为CADe和CADx模块的检测和表征模块。

在该示例中，技术500可以可选地在502处以系统(例如，CDSS)检测内窥镜类型开始。例如，系统可以检测与内窥镜的连接，并且确定内窥镜属于“食管镜”类别的仪器。此外或者替选地，系统可以更精细地确定检测到的内窥镜的特定型号(例如，系统可以将内窥镜识别为美洲奥林巴斯公司销售的EVIS EXERAIII的GIF-XP190N版本)。在该操作中，内窥镜类型的检测可以通过将仪器连接至CDSS来触发。在另一示例中，检测内窥镜类型可以通过在与CDSS连接之后初始化仪器来触发，或者在使用仪器之前在过程中的某个其他逻辑点来触发。

在504处，技术500继续，其中系统激活第一黏膜识别模块。黏膜识别模块的激活可以基于连接至系统的内窥镜仪器的类型和/或型号。例如，基于系统在502处已经确定连接了属于“食管镜”仪器类别的仪器，系统可以开始运行黏膜识别模块，该黏膜识别模块被设计成利用一个或更多个分类类型ML模型来分析内窥镜图像并输出图像描绘鳞状黏膜、胃黏膜还是绒毛黏膜的指示。如以上讨论的，针对不同的过程、例如上消化道过程与下消化道过程、使用不同类型的内窥镜。相应地，黏膜识别模块可以针对上消化道和下消化道(或者基于其他特定的过程特征)进行定制。在某些示例中，黏膜组织识别模块可以被训练为跨越整个消化道。

在506处，技术500继续以激活第一多个检测和表征模块。在该示例中，检测和表征模块的激活也基于检测到的内窥镜仪器的类型。例如，响应于内窥镜的类型(例如，食管镜)和/或型号(例如，GIF-XP190N)的确定，系统可以开始运行图1中描绘的上消化道AI套件。因此，应当理解，可以基于操作502的结果和/或确定来执行操作504和操作506中的每一个的各方面。在另一示例中，操作504和操作506可以基于另一系统输入，该系统输入指示过程正在患者的消化道内的何处执行。确定在504处激活哪个黏膜识别模块以及在506处激活哪个多个检测和表征模块的另一个因素可能涉及所连接的仪器内的可用光模式(例如，正常白光与NBI或其他照明类型)。

在508处，技术500可以继续，其中系统监视由内窥镜生成的图像流。操作508可以在使用内窥镜仪器的整个过程中连续操作。在510处，技术500可以继续，其中系统使用活动黏膜识别模块(例如，第一黏膜识别模块)连续(或以适当的采样率定期)识别从操作508中监视的图像流处理的各个图像内的黏膜组织类型。操作510可以在监视的图像流内的每个图像上运行，或者其可以在从监视的图像流中提取的图像上定期执行。在该示例中，当在510处识别出第一黏膜组织类型时，技术500可以在操作512处继续，其中系统执行第一检测模块和/或第一表征模块。例如，基于操作510得出鳞状黏膜当前正在成像的指示，系统可以执行操作512，在操作512中，可以执行食管CADe模块122和/或食管CADx模块132，因为鳞状黏膜位于食管的大部分。在操作512处执行检测或表征模块可以包括选择由使用中的内窥镜仪器支持的照明模态。在516处，技术500继续，其中系统输出检测和/或表征数据，以辅助HCP执行正在进行的过程。在516处输出检测数据可以包括向HCP输出叠加在内窥镜图像上的感兴趣区域，以识别异常组织。操作516还可以包括显示用于提供分析选项(例如切换照明模态和/或执行表征模块)的用户提示。

在某些示例中，技术500实时或接近实时地循环执行操作508至操作516，以在显示内窥镜图像流的显示设备上连续更新检测和/或表征数据的图形显示。在示例中，在第一检测模块生成识别潜在异常组织的感兴趣区域之后，技术500可以循环回到操作512以执行第一表征模块。在操作516处，第一表征模块然后可以输出组织分类。在某些示例中，表征模块还可以与组织分类一起单独输出置信度得分或指标(indicator)。

回到操作510(如上所述，其与操作512和操作516同时连续或定期执行)处，当黏膜识别模块识别出第二黏膜组织类型时，技术500可以在操作514处继续，其中系统执行第二检测模块和/或第二表征模块。例如，基于操作510得出胃黏膜当前正在成像的指示，系统可以自动切换到执行操作514，其中，可以执行胃CADe模块124和/或胃CADx模块134，因为胃黏膜位于胃。技术500可以在操作516处以系统输出检测和/或表征数据以辅助HCP执行正在进行的过程结束。在该示例中，在操作510处检测到第二黏膜组织类型表明过程已转换到消化道的不同区域中。在示例中，在检测到过程转换到消化道的新区域时，并且可以将该事件的指示输出至与系统耦接的显示设备，以进一步辅助HCP。

以上发明是参照内窥镜应用讨论的，但相同的概念可以应用于内窥镜、超声和显微镜诊断应用。本文所述的系统可以在过程内在AI模块之间转换，并且将附加元数据，该元数据识别哪些AI模块正在针对视频流的不同部分操作。系统支持在添加或更新功能时AI模块的模块化插入。系统可以生成报告，该报告详细说明在整个过程中选择了哪些算法(模块)以及为什么选择。

图6示出了根据一些实施方式的在其上可以执行本文讨论的技术(处理)中的任何一者或更多者的示例机器600的框图。在替选实施方式中，机器600可以作为独立的设备进行操作以及/或者可以连接(例如，联网)至其他机器。在联网部署中，机器600可以在服务器-客户端网络环境中以服务器机器、客户端机器或这两者的身份(capacity)进行操作。在示例中，机器600可以在点对点(P2P)(或其他分布式)网络环境中充当对等机器。机器600可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web设备、网络路由器、交换机或桥接器、或者能够执行指定要由该机器采取的动作的指令(顺序或以其他方式)的任何机器。此外，虽然仅图示了单个机器，但是术语“机器”也应当理解成包括单独地或共同地执行一组(或多组)指令以执行本文中所讨论的方法中的任何一种或更多种方法的机器的任何集合，诸如云计算、软件即服务(SaaS)、其他计算机集群配置。

机器(例如，计算机系统)600可以包括硬件处理器602(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核或其任意组合)、主存储器604和静态存储器606，以上中的一些或所有可以经由互连链路(例如，总线)608彼此通信。机器600还可以包括显示单元610、字母数字输入设备612(例如，键盘)、和用户界面(UI)导航设备614(例如，鼠标)。在示例中，显示单元610、输入设备612和UI导航设备614可以是触摸屏显示器。机器600可以另外包括存储设备(例如，驱动单元)616、信号生成设备618(例如，扬声器)、网络接口设备620以及一个或更多个传感器621，例如全球定位系统(GPS)传感器、指南针、加速度计或其它传感器。机器600可以包括输出控制器628，例如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接以与一个或更多个外围设备(例如，打印机、读卡器等)通信和或/控制一个或更多个外围设备(例如，打印机、读卡器等)。

存储设备616可以包括机器可读介质622，其上存储有实施本文描述的技术或功能中的任何一个或更多个或由本文描述的技术或功能中的任何一个或更多个利用的一组或更多组数据结构或指令624(例如，软件)。在由机器600执行指令624期间，指令624还可以完全地或至少部分地驻留在主存储器604内、静态存储器606内或硬件处理器602内。在示例中，硬件处理器602、主存储器604、静态存储器606或存储设备616中的一个或任意组合可以构成机器可读介质。

虽然机器可读介质622被示出为单个介质，但是术语“机器可读介质”可以包括被配置成存储一个或更多个指令624的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“机器可读介质”可以包括能够存储、编码或承载用于由机器600执行并且使机器600执行本公开内容的技术中的任何一个或更多个技术的指令或者能够存储、编码或承载由这样的指令使用的数据结构或者与这样的指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁介质。

还可以利用多个传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一个经由网络接口设备620使用传输介质通过通信网络626发送或接收指令624。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如，电气和电子工程师协会(IEEE)802.11标准族，被称为IEEE802.16标准族，被称为IEEE802.15.4标准族，对等(P2P)网络，等等。在示例中，网络接口设备620可以包括一个或更多个物理插孔(例如，以太网、同轴或电话插孔)或者一个或更多个天线以连接至通信网络626。在示例中，网络接口设备620可以包括多个天线，以使用单输入多输出(SIMO)技术、多输入多输出(MIMO)技术或多输入单输出(MISO)技术中的至少一种技术来无线地通信。术语“传输介质”应当被视为包括能够存储、编码或承载用于由机器600执行的指令的任何无形介质，并且包括数字通信信号或模拟通信信号或其他无形介质以促进这样的软件的通信。

本文中描述的方法示例可以至少部分地由机器或计算机实现。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能够操作成配置电子设备以执行如在以上示例中描述的方法。这样的方法的实现方式可以包括代码，例如微代码、汇编语言代码、高级语言代码等。这样的代码可以包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的一部分。此外，在示例中，例如在执行期间或在其他时间，代码可以被有形地存储在一个或更多个易失性、非暂态或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移除磁盘、可移除光盘(例如，致密盘和数字视频盘)、磁带盒、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。

示例

以下非限制性示例详细描述了本主题的某些方面以解决挑战并提供本文中所讨论的益处等。

示例1是一种消化(GI)道黏膜识别系统，该消化(GI)道黏膜识别系统用于训练机器学习模型以用于基于计算机的临床决策支持系统以辅助对针对特定解剖区域被训练的计算机辅助检测和表征模块的实时选择。在该示例中，消化道黏膜识别系统可以包括黏膜图像的数据和具有处理电路和存储器设备的计算系统。存储器设备可以包括指令，所述指令在由处理电路执行时使处理电路执行操作，所述操作包括：标记、训练机器学习模型和存储机器学习模型。标记可以包括：基于消化道内的位置对来自数据库的多个黏膜图像进行标记以生成训练数据。训练机器学习模型可以包括：使用训练数据基于来自内窥镜的实时黏膜成像来预测内窥镜在消化道内的位置。

示例2是一种用于训练机器学习模型的方法，该机器学习模型用于基于计算机的临床决策支持系统，该基于计算机的临床决策支持系统提供对被训练以用于特定解剖区域内的异常的专门识别或诊断的计算机辅助检测和表征模块的实时选择。在该示例中，方法可以包括以下操作：接收数据、对接收到的数据进行标记、训练机器学习模型和输出机器学习模型。接收到的数据可以包括：由内窥镜捕获的包括来自消化道的各个部分的黏膜图像的数据。对接收到的数据进行标记可以包括：基于消化道内的位置进行标记以生成训练数据。训练机器学习模型可以使用训练数据来训练模型以基于来自内窥镜的实时黏膜成像来预测内窥镜在消化道内的位置来完成。

在示例3中，示例2的主题可以可选地包括通过接收包括食管黏膜、胃黏膜、十二指肠黏膜的内窥镜图像来接收数据。

在示例4中，示例2和3中的任一个的主题可以可选地包括通过训练上消化道模型和下消化道模型来训练机器学习模型。

在示例5中，示例4的主题可以可选地包括通过使用特定于下消化道的训练数据来训练下消化道模型。

在示例6中，示例5的主题可以可选地包括：特定于下消化道的训练数据包括来自图像组的带标记的内窥镜图像，所述图像组选自以下解剖区域中的一个或更多个：盲肠、升结肠、结肠右曲、横结肠、结肠左曲、降结肠、乙状结肠、直肠和肛管。

示例7是一种内窥镜临床支持系统，该内窥镜临床支持系统用于对计算机辅助检测和表征模块的实时激活，计算机辅助检测和表征模块被训练以用于患者的消化(GI)道内的异常的专门识别或诊断。在该示例中，系统可以包括内窥镜和临床支持计算设备。内窥镜可以包括被配置成生成医学图像数据的照明部件和传感器。临床支持计算设备通信地耦接至内窥镜。临床支持计算设备还包括：处理电路；显示设备，该显示设备被配置成显示医学图像数据和相关用户界面图形；以及存储器，该存储器包括指令，所述指令在由处理电路执行时使处理电路执行操作，所述操作包括以下。至少部分地基于检测到与内窥镜的连接来激活第一黏膜识别模块和第一多个检测和表征模块。使用第一黏膜识别模块监视来自内窥镜的图像流，以识别黏膜组织类型。基于将黏膜组织类型识别为第一黏膜组织类型，执行第一多个检测和表征模块中的第一检测模块。以及使用第一检测模块处理来自从内窥镜接收到的图像流的图像，以识别要输出至显示设备的感兴趣区域，其中，感兴趣区域识别图像内的潜在异常。

在示例8中，示例7的主题可以可选地包括通过接收识别内窥镜的内窥镜类型或型号信息来激活第一黏膜识别模块。

在示例9中，示例8的主题可以可选地包括接收内窥镜类型或型号信息包括：接收识别照明部件能够生成的不同照明类型的照明信息。

在示例10中，示例7至示例9中任一个的主题可以可选地包括：存储器还包括指令，所述指令在由处理电路执行时使处理电路执行操作，例如：使用第一黏膜识别模块连续监视从自内窥镜接收到的图像流中提取的图像；以及基于第一黏膜识别模块将黏膜组织类型识别为第二黏膜组织类型，执行第一多个检测和表征模块中的第二检测模块。

在示例11中，示例10的主题可以可选地包括：通过向显示设备输出内窥镜已经开始对消化道的不同区域进行成像的指示来执行第二检测模块。

在示例12中，示例7至示例11中任一个的主题可以可选地包括使用第一黏膜识别模块监视来自内窥镜的图像流可以包括：实现机器学习模型以基于来自内窥镜的实时黏膜成像来预测内窥镜在消化道内的位置，该机器学习模型至少部分地基于训练数据被训练，该训练数据包括来自消化道内的不同位置的多个带标记的黏膜图像。

在示例13中，示例7至示例12中任一个的主题可以可选地包括使用第一黏膜识别模块监视图像流可以包括：使用第一黏膜识别模块定期地处理从图像流中提取的图像。

在示例14中，示例7至示例13中任一个的主题可以可选地包括执行第一检测模块可以包括：从由内窥镜支持的多个成像模态中选择第一成像模态。

在示例15中，示例14的主题可以可选地包括通过从由内窥镜支持的多个成像模态中选择第二成像模态来识别感兴趣区域。

在示例16中，示例15的主题可以可选地包括存储器还包括指令，所述指令在由处理电路执行时使处理电路执行操作，所述操作包括：至少部分地基于识别感兴趣区域来执行多个检测和表征模块中的第一表征模块。

在示例17中，示例16的主题可以可选地包括通过向显示设备输出与感兴趣区域相关的组织分类和对应的置信度得分的指示来执行第一表征模块。

在示例18中，示例14至示例17中任一个的主题可以可选地包括识别感兴趣区域包括：在显示设备上显示用户提示，该用户提示提供用以激活由内窥镜支持的多个成像模态中的第二成像模态的选项。

示例19是一种系统，该系统用于对计算机辅助检测和表征模块的实时激活，所述计算机辅助检测和表征模块被训练以用于患者的消化(GI)道内的异常的专门识别或诊断。系统可以包括一个或更多个处理单元以及计算机可读介质，计算机可读介质上编码有计算机可执行指令，所述计算机可执行指令使一个或更多个处理单元执行例如以下的操作。在医学检查期间接收由医学成像设备生成的图像数据。在医学检查期间的第一时间处，将图像数据的第一部分提供给一个或更多个解剖结构识别模块，所述一个或更多个解剖结构识别模块被配置成输出图像数据的各个部分描绘第一解剖结构类型还是第二解剖结构类型的各个指示。从一个或更多个解剖结构识别模块接收图像数据的第一部分描绘第一解剖结构类型的第一指示。响应于第一指示，部署第一CAD模型以分析图像数据的第一部分，其中，第一CAD模型被配置成生成与在第一解剖结构类型的图像中描绘的异常相关联的注释。在医学检查期间的第一时间之后的第二时间处，将图像数据的第二部分提供给一个或更多个解剖结构识别模块。从一个或更多个解剖结构识别模块接收图像数据的第二部分描绘第二解剖结构类型的第二指示。以及，响应于第二指示，部署第二CAD模型以分析图像数据的第二部分，其中，第二CAD模型被配置成生成与在第二解剖结构类型的图像中描绘的异常相关联的注释。

在示例20中，示例19的主题可以可选地包括计算机可执行指令还使一个或更多个处理单元：从第一CAD模型接收输出，该输出指示在图像数据的第一部分内检测到异常；以及响应于来自第一CAD模型的输出，部署第三CAD模型以分析图像数据的第一部分中的至少一些，其中，第三CAD模型被配置成生成对由第一CAD模型检测到的异常进行分类的输出。

在示例21中，示例20的主题可以可选地包括通过激活医学成像设备上的替选照明模态来部署第三CAD模型。

在示例22中，示例21的主题可以可选地包括替选照明模态为蓝光或红光的窄带成像模态。

在示例23中，示例20至示例22中任一个的主题可以可选地包括第三CAD模型被配置成输出组织分类和与组织分类相关的置信度得分。

在示例24中，示例19至示例23中任一个的主题可以可选地包括第一解剖结构类型是与食管解剖区域对应的鳞状黏膜，并且第二解剖结构类型是与胃解剖区域对应的胃黏膜。

在示例25中，示例19至示例24中任一个的主题可以可选地包括图像数据包括在医学检查期间由内窥镜生成的多个图像帧的序列。

在示例26中，示例19至示例25中任一个的主题可以可选地包括通过输出第一解剖结构类型的指示来部署第一CAD模块。

在示例27中，示例19至示例26中任一个的主题可以可选地包括部署第二CAD模型包括：输出第二解剖结构类型的指示。

Claims (27)

1.一种消化(GI)道黏膜识别系统，所述消化道黏膜识别系统用于训练机器学习模型以用于基于计算机的临床决策支持系统以辅助对针对特定解剖区域被训练的计算机辅助检测和表征模块的实时选择，所述消化道黏膜识别系统包括：

从消化道的各个部分捕获的黏膜图像的数据库；

处理电路；以及

存储器，所述存储器包括指令，所述指令在由所述处理电路执行时使所述处理电路执行操作，所述操作包括：

基于所述消化道内的位置对来自所述数据库的多个黏膜图像进行标记以生成训练数据；

至少部分地基于所述训练数据来训练机器学习模型，以基于来自内窥镜的实时黏膜成像来预测所述内窥镜在消化道内的位置；以及

存储所述机器学习模型。

2.一种用于训练机器学习模型的方法，所述机器学习模型用于基于计算机的临床决策支持系统，所述基于计算机的临床决策支持系统提供对被训练以用于特定解剖区域内的异常的专门识别或诊断的计算机辅助检测和表征模块的实时选择，所述方法包括：

接收由内窥镜捕获的包括来自消化道的各个部分的黏膜图像的数据；

基于所述消化道内的位置对接收到的数据进行标记以生成训练数据；

至少部分地基于所述训练数据来训练所述机器学习模型，以基于来自内窥镜的实时黏膜成像来预测所述内窥镜在消化道内的位置；以及

输出所述机器学习模型。

3.根据权利要求2所述的方法，其中，接收所述数据包括：接收包括食管黏膜、胃黏膜、十二指肠黏膜的内窥镜图像。

4.根据权利要求2所述的方法，其中，所述训练所述机器学习模型包括：训练上消化道模型和下消化道模型。

5.根据权利要求4所述的方法，其中，所述训练所述下消化道模型包括：使用特定于所述下消化道的训练数据。

6.根据权利要求5所述的方法，其中，所述特定于所述下消化道的训练数据包括来自图像组的带标记的内窥镜图像，所述图像组选自以下解剖区域中的一个或更多个：

盲肠；

升结肠；

结肠右曲；

横结肠；

结肠左曲；

降结肠；

乙状结肠；

直肠；以及

肛管。

7.一种内窥镜临床支持系统，所述内窥镜临床支持系统用于对计算机辅助检测和表征模块的实时激活，所述计算机辅助检测和表征模块被训练以用于患者的消化(GI)道内的异常的专门识别或诊断，所述系统包括：

内窥镜，所述内窥镜包括被配置成生成医学图像数据的照明部件和传感器；

通信地耦接至所述内窥镜的临床支持计算设备，所述临床支持计算设备包括：

处理电路；

显示设备，所述显示设备被配置成显示所述医学图像数据和相关的用户界面图形；以及

存储器，所述存储器包括指令，所述指令在由所述处理电路执行时使所述处理电路执行操作，所述操作包括：

至少部分地基于检测到与所述内窥镜的连接来激活第一黏膜识别模块和第一多个检测和表征模块；

使用所述第一黏膜识别模块监视来自所述内窥镜的图像流，以识别黏膜组织类型；以及

基于将所述黏膜组织类型识别为第一黏膜组织类型，执行所述第一多个检测和表征模块中的第一检测模块；以及

使用所述第一检测模块处理来自从所述内窥镜接收到的所述图像流的图像，以识别要输出至所述显示设备的感兴趣区域，其中，所述感兴趣区域识别所述图像内的潜在异常。

8.根据权利要求7所述的系统，其中，激活所述第一黏膜识别模块是基于接收识别所述内窥镜的内窥镜类型或型号信息而进行的。

9.根据权利要求8所述的系统，其中，接收内窥镜类型或型号信息包括：接收识别所述照明部件能够生成的不同照明类型的照明信息。

10.根据权利要求7所述的系统，其中，所述存储器还包括指令，所述指令在由所述处理电路执行时使所述处理电路执行操作，所述操作包括：

使用所述第一黏膜识别模块连续监视从自所述内窥镜接收到的所述图像流中提取的图像；以及

基于所述第一黏膜识别模块将所述黏膜组织类型识别为第二黏膜组织类型，执行所述第一多个检测和表征模块中的第二检测模块。

11.根据权利要求10所述的系统，其中，执行所述第二检测模块包括：向所述显示设备输出所述内窥镜已经开始对所述消化道的不同区域进行成像的指示。

12.根据权利要求7所述的系统，其中，使用所述第一黏膜识别模块监视来自所述内窥镜的所述图像流包括：实现机器学习模型以基于来自所述内窥镜的实时黏膜成像来预测所述内窥镜在消化道内的位置，所述机器学习模型至少部分地基于训练数据进行训练，所述训练数据包括来自消化道内的不同位置的多个带标记的黏膜图像。

13.根据权利要求7所述的系统，其中，所述使用所述第一黏膜识别模块监视所述图像流包括：使用所述第一黏膜识别模块定期地处理从所述图像流中提取的图像。

14.根据权利要求7所述的系统，其中，执行所述第一检测模块包括：从由所述内窥镜支持的多个成像模态中选择第一成像模态。

15.根据权利要求14所述的系统，其中，识别所述感兴趣区域包括：从由所述内窥镜支持的所述多个成像模态中选择第二成像模态。

16.根据权利要求15所述的系统，其中，所述存储器还包括指令，所述指令在由所述处理电路执行时使所述处理电路执行操作，所述操作包括：至少部分地基于识别所述感兴趣区域来执行所述多个检测和表征模块中的第一表征模块。

17.根据权利要求16所述的系统，其中，执行所述第一表征模块包括：向所述显示设备输出与所述感兴趣区域相关的组织分类和对应置信度得分的指示。

18.根据权利要求14所述的系统，其中，识别所述感兴趣区域包括：在所述显示设备上显示用户提示，所述用户提示提供用以激活由所述内窥镜支持的所述多个成像模态中的第二成像模态的选项。

19.一种系统，包括：

一个或更多个处理单元；以及

计算机可读介质，所述计算机可读介质上编码有计算机可执行指令，所述计算机可执行指令使所述一个或更多个处理单元：

在医学检查期间接收由医学成像设备生成的图像数据；

在所述医学检查期间的第一时间处将所述图像数据的第一部分提供给一个或更多个解剖结构识别模块，所述一个或更多个解剖结构识别模块被配置成输出所述图像数据的各个部分描绘第一解剖结构类型还是第二解剖结构类型的各个指示；

从所述一个或更多个解剖结构识别模块接收所述图像数据的所述第一部分描绘所述第一解剖结构类型的第一指示；

响应于所述第一指示，部署第一CAD模型以分析所述图像数据的所述第一部分，其中，所述第一CAD模型被配置成生成与在所述第一解剖结构类型的图像中描绘的异常相关联的注释；

在所述医学检查期间的所述第一时间之后的第二时间处，将所述图像数据的第二部分提供给所述一个或更多个解剖结构识别模块；

从所述一个或更多个解剖结构识别模块接收所述图像数据的所述第二部分描绘所述第二解剖结构类型的第二指示；以及

响应于所述第二指示，部署第二CAD模型以分析所述图像数据的所述第二部分，其中，所述第二CAD模型被配置成生成与在所述第二解剖结构类型的图像中描绘的异常相关联的注释。

20.根据权利要求19所述的系统，其中，所述计算机可执行指令还使所述一个或更多个处理单元：

从所述第一CAD模型接收输出，所述输出指示在所述图像数据的所述第一部分内检测到异常；以及

响应于来自所述第一CAD模型的所述输出，部署第三CAD模型以分析所述图像数据的所述第一部分中的至少一些，其中，所述第三CAD模型被配置成生成对由所述第一CAD模型检测到的所述异常进行分类的输出。

21.根据权利要求20所述的系统，其中，部署所述第三CAD模型包括激活所述医学成像设备上的替选照明模态。

22.根据权利要求21所述的系统，其中，所述替选照明模态是蓝光或红光的窄带成像模态。

23.根据权利要求20所述的系统，其中，所述第三CAD模型还被配置成输出组织分类和与所述组织分类相关的置信度得分。

24.根据权利要求19所述的系统，其中，所述第一解剖结构类型是与食管解剖区域对应的鳞状黏膜，并且所述第二解剖结构类型是与胃解剖区域对应的胃黏膜。

25.根据权利要求19所述的系统，其中，所述图像数据包括在所述医学检查期间由内窥镜生成的多个图像帧的序列。

26.根据权利要求19所述的系统，其中，部署所述第一CAD模块包括：输出所述第一解剖结构类型的指示。

27.根据权利要求19所述的系统，其中，部署所述第二CAD模型包括：输出所述第二解剖结构类型的指示。