CN116194027B - 内窥镜系统及其工作方法 - Google Patents

Abstract

本发明提供一种内窥镜系统(10)及其工作方法，所述内窥镜系统在通过AI等识别处理进行病变部等的鉴别处理的情况下，在内窥镜检查中提示适当的处置器具的信息。参考鉴别结果(55ep、55eq)和提高处置器具的适当度计算精度的信息(81a、81b、82a、82b、83a、83b、84a、84b、85a、85b)，计算与处置器具相关的手术辅助信息(60a、60b，60c、60d、60e、60f、60g、60h、60i、60j、60p、60q)，将检查图像(121)及手术辅助信息中包含的处置器具(125)显示于显示器(15)。

Description

内窥镜系统及其工作方法

技术领域

本发明涉及一种在内窥镜检查中获取与处置器具相关的信息的内窥镜系统及其工作方法。

背景技术

在医疗领域中，医生等利用由内窥镜获取的检查图像等来进行病变部的处置方法等的判断。然而，在医生等进行图像诊断的人员的经验较少的情况下，或虽然有经验但成为诊断对象的图像为罕见的病例且超出专业领域的情况下，医生有时难以准确地作出该判断。

近年来，由于图像分析技术的进步，发明了通过向医生提示医疗图像的鉴别结果来辅助鉴别及手术的医疗装置。例如，专利文献1中，通过医疗图像的分析，能够获得与在内窥镜检查等中使用的处置器具相关的信息。并且，专利文献2中，能够从医疗图像及保存有手术器具的信息、标准的处置步骤、特征部分的信息、患者信息等的数据库，创建手术计划。

以往技术文献

专利文献

专利文献1：国际公开第2019/008942号

专利文献2：国际公开第2019/116593号

发明内容

发明要解决的技术课题

如专利文献1及专利文献2，在通过图像处理或AI(Artificial Intelli gence，人工智能)等识别处理进行病变部等的诊断的情况下，要求提高针对通过识别处理获得的识别结果的可靠性，近年来，通过AI等用于机械识别观察对象的识别处理，自动诊断观察对象并预测手术内容。通过利用这样的识别处理，能够弥补医生的经验不足，并且能够排除主观判断，获得客观的诊断结果，从而提供更高水平且均质的医疗。

然而，专利文献1的诊断辅助装置检测病变部和内窥镜图像中包含的处置器具来进行报告创建辅助，专利文献2中，AI根据CT(Computed Tomography，计算机断层扫描)或MRI(Magnetic Resonance Imaging，磁共振成像)的图像来预测手术内容，几乎没有在内窥镜检查中从内窥镜图像预测手术内容的系统。因此，需要一种在内窥镜检查中提供手术内容尤其是处置器具的信息的诊断辅助系统。

本发明的目的在于提供一种内窥镜系统及其工作方法，所述内窥镜系统在通过AI等识别处理进行病变部等的鉴别处理的情况下，在内窥镜检查中提示适当的处置器具的信息。

用于解决技术课题的手段

本发明的内窥镜系统具备图像控制用处理器。图像控制用处理器进行如下处理：获取检查图像，对检查图像进行鉴别处理，参考鉴别处理的结果即鉴别结果，计算与处置器具相关的手术辅助信息，将检查图像和手术辅助信息中包含的处置器具显示于显示器。

优选如下，即，图像控制用处理器具有学习模型，该学习模型通过鉴别结果的输入，输出一个或一个以上的手术辅助信息，学习模型为学习完毕的学习模型。优选如下，即，图像控制用处理器具有学习模型，该学习模型通过鉴别结果和手术信息的输入，提高与处置器具相关的适当度来输出手术辅助信息，所述手术信息为包含处置器具的库存信息、按照指导方针的病变和处置器具的对应关联信息即处置模式信息、与咽喉、食道、胃、小肠、大肠等的解剖学部位和血管行进情况相关的周边环境信息、患者的既往史、检查/处置史、使用中的医药品等患者风险判定信息、手术者信息在内的手术信息中的一个或者通过组合一个以上而得，学习模型为学习完毕的学习模型。优选如下，即，图像控制用处理器具有学习模型，该学习模型通过由手术辅助信息计算部计算出的与处置器具相关的手术辅助信息的输入，输出处置预想时间，学习模型为学习完毕的学习模型。

优选如下，即，具有学习模型，在使库存信息的输入不同的情况下，输出不同的手术辅助信息，学习模型为学习完毕的学习模型。优选如下，即，具有学习模型，在使处置模式信息的输入不同的情况下，输出不同的手术辅助信息，学习模型为学习完毕的学习模型。优选如下，即，具有学习模型，在使周边环境信息的输入不同的情况下，输出不同的手术辅助信息，学习模型为学习完毕的学习模型。

优选如下，即，具有学习模型，在使患者风险判定信息的输入不同的情况下，输出不同的手术辅助信息，学习模型为学习完毕的学习模型。优选如下，即，具有学习模型，在使手术者信息的输入不同的情况下，输出不同的手术辅助信息，学习模型为学习完毕的学习模型。

优选如下，即，手术辅助信息包含处置器具的名称、与处置器具相关的适当度、与处置器具相关的适当度的位次。优选如下，即，手术辅助信息的显示能够按照适当度的位次进行切换。

优选如下，即，在按下手术辅助信息提示按钮之后，显示手术辅助信息。优选如下，即，在处置器具的适当度不满足特定条件的情况下，进行警告显示。优选如下，即，在选择多个满足特定条件的处置器具的情况下，能够变更特定条件。

优选如下，即，具备图像控制用处理器，图像控制用处理器进行如下处理：获取检查图像，计算保存在模板图像存储存储器中且与处置器具建立有对应关联的诊断完毕的模板图像的特征量，计算检查图像的特征量，对检查图像的特征量与诊断完毕的模板图像的特征量进行比较来计算综合匹配度，选择综合匹配度满足第1条件的模板图像，参考包含处置器具的库存信息的手术信息，对与所选择的模板图像建立有对应关联的处置器具计算适当度，输出包含适当度满足第2条件的处置器具的手术辅助信息，将检查图像和手术辅助信息中包含的处置器具显示于显示器。优选如下，即，获取检查图像来作为模板图像，将检查图像、与检查图像相关的鉴别结果、处置器具建立对应关联并保存在模板图像存储存储器中。

优选如下，即，具备光源用处理器，光源用处理器进行如下处理：在获取检查图像时，控制发光光谱互不相同的第1照明光及第2照明光的发光，在自动切换发出第1照明光的第1照明期间和发出第2照明光的第2照明期间的情况下，以第1发光模式发出第1照明光，并以第2发光模式发出第2照明光，获取基于第1照明光的第1照明光图像、基于第2照明光的第2照明光图像、将对第2照明光图像的鉴别处理的结果重叠显示于基于第1照明光图像的显示用图像的重叠图像，来作为检查图像。优选如下，即，第1发光模式为第1A模式和第1B模式中的任一个，在所述第1A模式中，第1照明期间的帧数在各个第1照明期间中相同，在所述第1B模式中，第1照明期间的帧数在各个第1照明期间中不同。优选如下，即，第2发光模式优选为第2A模式、第2B模式、第2C模式及第2D模式中的任一个，在所述第2A模式中，第2照明期间的帧数在各个第2照明期间中相同且第2照明光的发光光谱在各个第2照明期间中相同，在所述第2B模式中，第2照明期间的帧数在各个第2照明期间中相同且第2照明光的发光光谱在各个第2照明期间中不同，在所述第2C模式中，第2照明期间的帧数在各个第2照明期间中不同且第2照明光的发光光谱在各个第2照明期间中相同，在所述第2D模式中，第2照明期间的帧数在各个第2照明期间中不同且第2照明光的发光光谱在各个第2照明期间中不同。

在具备图像控制用处理器的内窥镜系统的工作方法中，优选如下，即，图像控制用处理器进行如下处理：获取检查图像，对检查图像进行鉴别处理，参考鉴别处理的结果即鉴别结果，计算与处置器具相关的手术辅助信息，将检查图像和手术辅助信息中包含的处置器具显示于显示器。

发明效果

根据本发明，在内窥镜检查中进行病变部等的诊断的情况下，能够通过根据检查图像提示适当的处置器具来辅助手术。

附图说明

图1是说明内窥镜系统的结构的说明图。

图2是表示内窥镜系统的功能的框图。

图3是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。

图4是表示第1特殊光的发光光谱的曲线图。

图5是表示第2特殊光的发光光谱的曲线图。

图6是表示重叠模式时的第1A模式或第2A模式的说明图。

图7是表示重叠模式时的第1B模式的说明图。

图8是表示重叠模式时的第2B模式的说明图。

图9是表示重叠模式时的第2C模式的说明图。

图10是表示重叠模式时的第2D模式的说明图。

图11是表示摄像传感器的各滤色器的光谱透射率的曲线图。

图12是表示第1摄像期间及第2摄像期间的说明图。

图13是表示重叠图像生成部的结构的说明图。

图14是以时间顺序表示重叠模式中的照明控制、鉴别处理及图像显示的说明图。

图15是表示与第1实施方式的处理器装置的鉴别处理部、手术辅助信息提示模式切换部、第1手术辅助信息计算部、手术信息存储存储器及显示控制部相关的控制关系的说明图。

图16是表示输入至第1实施方式的处理器装置的第1手术辅助信息计算模型的信息的说明图。

图17是表示将鉴别结果P输入至手术辅助信息计算模型时输出手术辅助信息P的说明图。

图18是表示将鉴别结果Q输入至手术辅助信息计算模型时输出手术辅助信息Q的说明图。

图19是表示将鉴别结果P和处置器具的库存信息S输入至手术辅助信息计算模型时输出手术辅助信息A的说明图。

图20是表示将鉴别结果P和处置器具的库存信息T输入至手术辅助信息计算模型时输出手术辅助信息B的说明图。

图21是表示将鉴别结果P和处置模式信息S输入至手术辅助信息计算模型时输出手术辅助信息C的说明图。

图22是表示将鉴别结果P和处置模式信息T输入至手术辅助信息计算模型时输出手术辅助信息D的说明图。

图23是表示将鉴别结果P和周边环境信息S输入至手术辅助信息计算模型时输出手术辅助信息E的说明图。

图24是表示将鉴别结果P和周边环境信息T输入至手术辅助信息计算模型时输出手术辅助信息F的说明图。

图25是表示将鉴别结果P和患者风险判定信息S输入至手术辅助信息计算模型时输出手术辅助信息G的说明图。

图26是表示将鉴别结果P和患者风险判定信息T输入至手术辅助信息计算模型时输出手术辅助信息H的说明图。

图27是表示将鉴别结果P和手术者信息S输入至手术辅助信息计算模型时输出手术辅助信息I的说明图。

图28是表示将鉴别结果P和手术者信息T输入至手术辅助信息计算模型时输出手术辅助信息J的说明图。

图29是表示处置器具的适当度为第一时的手术辅助信息提示画面的说明图。

图30是表示处置器具的适当度为第二时的手术辅助信息提示画面的说明图。

图31是表示进行警告显示时的手术辅助信息提示画面的说明图。

图32是表示显示有处置开始按钮的手术辅助信息提示画面的说明图。

图33是表示将手术辅助信息P输入至处置时间计算模型时输出处置预想时间P的说明图。

图34是表示将手术辅助信息Q输入至处置时间计算模型时输出处置预想时间Q的说明图。

图35是表示计算出处置预想时间的手术辅助信息提示画面的说明图。

图36是表示第1实施方式的手术辅助信息提示模式的切换和手术辅助信息提示模式的一连串的流程的说明图。

图37是表示关于第2实施方式的处理器装置的第2手术辅助信息计算部所接收的信息、所发送的信息的关系的说明图。

图38是表示第2实施方式的处理器装置的图像处理部、手术辅助信息提示模式切换部、第2手术辅助信息计算部、模板图像存储存储器、手术信息存储存储器及显示控制部的关系的说明图。

图39是表示第2实施方式的处理器装置、图像处理部、手术辅助信息提示模式切换部、第2手术辅助信息计算部的内部、模板图像存储存储器、手术信息存储存储器、显示控制部、静止图像获取部及诊断结果输入部的关系的说明图。

图40是表示第2实施方式的处理器装置的第2手术辅助信息计算部内的关系的说明图。

图41是表示第2实施方式的手术辅助信息提示模式的切换和手术辅助信息提示模式的一连串的流程的说明图。

具体实施方式

[第1实施方式]

在图1中，内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15及UI(User InterFace、用户界面)16。内窥镜12与光源装置13光学连接且与处理器装置14电连接。内窥镜12具有插入部12a、操作部12b、弯曲部12c及前端部12d。插入部12a插入到观察对象的体内。操作部12b设置于插入部12a的基端部分。弯曲部12c及前端部12d设置于插入部12a的前端侧。弯曲部12c通过对操作部12b的弯角钮12e进行操作来进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所希望的方向。

并且，在操作部12b设置有弯角钮1.2e、观察模式切换开关12f、手术辅助信息提示开关12g、静止图像获取指示开关12h及变焦操作部12i。观察模式切换开关12f用于观察模式的切换操作。手术辅助信息提示开关12g用于与处置器具相关的手术辅助信息123的提示。静止图像获取指示开关12h用于观察对象的静止图像的获取指示。变焦操作部12i用于变焦透镜42的操作。

另外，内窥镜系统10具有第1照明观察模式、第2照明观察模式及重叠模式这三个模式作为观察模式。若按下观察模式切换开关12f，则经由图像处理切换部54切换模式。而且，内窥镜系统10具有检查图像显示模式及手术辅助信息提示模式这两个模式作为显示模式。若按下手术辅助信息提示开关12g，则经由手术辅助信息提示模式切换部56切换显示模式。另外，手术辅助信息提示模式能够仅在观察模式为重叠模式的情况下使用。即，作为搭载于本发明的内窥镜系统10的模式，存在检查图像显示第1照明观察模式、检查图像显示第2照明观察模式、检查图像显示重叠模式、手术辅助信息提示重叠模式共计四个模式。在本段落以后，简单记载为“检查图像显示模式”时，是指检查图像显示第1照明观察模式、检查图像显示第2照明观察模式、检查图像显示重叠模式中的任意三个模式的全部情况，但通常为检查图像显示重叠模式。并且，简单记载为“手术辅助信息提示模式”时，是指手术辅助信息提示重叠模式。

在检查图像显示第1照明观察模式中，将白色光等通常光(第1照明光)照射于观察对象而进行摄像，由此将色彩自然的第1照明光图像显示于显示器15。在检查图像显示第2照明观察模式中，将波长带与通常光不同的特殊光(第2照明光)照射于观察对象而进行摄像，由此将强调了特定结构的第2照明光图像显示于显示器15。在检查图像显示重叠模式及手术辅助信息提示重叠模式中，切换发光光谱不同的第1照明光和第2照明光来进行发光。并且，对基于第2照明光的图像，除了进行与AI相关的处理以外，还进行获得与观察对象相关的特征量等的处理等鉴别处理。然后，将在基于第1照明光图像的显示用图像上重叠显示鉴别处理的结果的重叠图像显示于显示器15(参考图14)。另外，在本说明书、权利要求书、附图、摘要中，“检查图像”这一术语是指第1照明光图像、第2照明光图像、重叠图像中的至少任一个或者全部。

在检查图像显示模式中，将在观察模式的三个方式中显示的画面显示于显示器15。在手术辅助信息提示模式中，如后述，将检查图像121和与处置器具相关的手术辅助信息123显示于手术辅助信息提示画面120。

在检查图像显示模式及手术辅助信息提示模式中，用户想要获取检查图像的静止图像时，通过由用户对静止图像获取指示开关12h进行操作，与静止图像获取指示相关的信号被发送至内窥镜12、光源装置13及处理器装置14。在检查图像显示模式中按下静止图像获取指示开关12h时，在处理器装置14中，在第1照明期间或第2照明期间、或者在其两者中，观察对象的静止图像保存在存储器(未图示)中。另外，关于手术辅助信息提示模式中的静止图像的保存，将在后面进行详细说明。

处理器装置14与显示器15及UI16电连接。显示器15输出显示观察对象的图像、观察对象的图像所附带的信息等。UI16具有键盘、鼠标、触控板、麦克风等，具有接受功能设定等输入操作的功能。在处理器装置14连接有手术信息存储存储器80，记录有包含处置器具的库存信息、处置模式信息、周边环境信息、患者风险判定信息、手术者信息的手术信息、图像、与该图像相关的信息等。另外，也可以在处理器装置14连接外部存储器(未图示)。

在图2中，光源装置13具备光源部20及控制光源部的光源用处理器21。光源部20例如具有多个半导体光源，分别将它们打开或关闭，并在打开时控制各半导体光源的发光量，由此发出照射观察对象的照明光。光源部20具有V-LED(紫光发光二极管，Violet LightEmitting Diode)20a、B-LED(蓝光发光二极管，Blue Light Emitting Diode)20b、G-LED(绿光发光二极管，Green Light Emitting Diode)20c及R-LED(红光发光二极管，RedLight Emitting Diode)20d这四个颜色的LED。

如图3所示，V-LED产生中心波长405±10nm、波长范围380～420nm的紫色光V。B-LED产生中心波长450±10nm、波长范围420～500nm的蓝色光B。G-LED产生波长范围达到480～600nm的绿色光G。R-LED产生中心波长620～630nm且波长范围达到600～650nm的红色光R。

光源用处理器21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。光源用处理器21通过分别独立地控制各LED20a～20d，能够分别独立地改变紫色光V、蓝色光B、绿色光G或红色光R的光量来进行发光。并且，在第1照明观察模式时，光源用处理器21控制各LED20a～20d发出紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vc∶Bc∶Gc∶Rc的白色光。另外，Vc、Bc、Gc、Rc>0。

另外，如图4所示，作为第2照明光，可以使用使紫色光V的光量大于其他蓝色光B、绿色光G及红色光R的光量的第1特殊光。并且，如图5所示，作为第2照明光，也可以使用使绿色光G的光量大于其他紫色光V、蓝色光B及红色光R的光量的第2特殊光。

并且，在第2照明观察模式时，光源用处理器21控制各LED20a～20d发出作为短波长的窄波段光的、紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vs∶Bs∶Gs∶Rs的特殊光。光量比Vs∶Bs∶Gs∶Rs与在第1照明观察模式时使用的光量比Vc∶Bc∶Gc∶Rc不同，根据观察目的适当地设定。例如，强调表层血管时，优选使Vs大于其他的Bs、Gs、Rs，强调中层血管时，优选使Gs大于其他的Vs、Gs、Rs。

并且，在重叠模式时，在自动切换第1照明光和第2照明光来发光的情况下，光源用处理器21以第1发光模式发出第1照明光，并以第2发光模式发出第2照明光。具体而言，第1发光模式优选为第1A模式和第1B模式中的任-个，如图6所示，在所述第1A模式中，第1照明期间的帧数在各个第1照明期间中相同，如图7所示，在所述第1B模式中，第1照明期间的帧数在各个第1照明期间中不同。另外，图中，time表示时间经过的方向。

第2发光模式优选为第2A模式、第2B模式、第2C模式及第2D模式中的任一个，如图6所示，在所述第2A模式中，第2照明期间的帧数在各个第2照明期间中相同且第2照明光的发光光谱在各个第2照明期间中相同，如图8所示，在所述第2B模式中，第2照明期间的帧数在各个第2照明期间中相同且第2照明光的发光光谱在各个第2照明期间中不同，如图9所示，在所述第2C模式中，第2照明期间的帧数在各个第2照明期间中不同且第2照明光的发光光谱在各个第2照明期间中相同，如图10所示，在所述第2D模式中，第2照明期间的帧数在各个第2照明期间中不同且第2照明光的发光光谱在各个第2照明期间中不同。另外，第1照明光的发光光谱在各个第1照明期间中可以相同也可以不同。

在此，优选第1照明期间设为比第2照明期间长，并优选第1照明期间设为2帧以上。例如，在图6中，将第1发光模式设为第1A模式并将第2发光模式设为第2A模式(第2照明期间的帧数：相同、第2照明光的发光光谱：相同)的情况下，将第1照明期间设为2帧，并将第2照明期间设为1帧。第1照明光用于生成显示于显示器15的显示用图像，因此优选通过对观察对象照射第1照明光而获得明亮的图像。

例如，第1照明光优选为白色光。另一方面，第2照明光用于鉴别处理，因此优选通过对观察对象照射第2照明光而获得适于鉴别处理的图像。例如，根据血管深度不同的多个血管的形状信息来进行鉴别处理时，优选使用紫色光V、蓝色光B、绿色光G、红色光R作为第2照明光。此时，将第2发光模式设为第2A模式(第2照明期间的帧数：相同、第2照明光的发光光谱：相同)或第2C模式(第2照明期间的帧数：不同、第2照明光的发光光谱：相同)时，优选使用紫色光V、蓝色光B、绿色光G、红色光R中的任一种光。另一方面，将第2发光模式设为第2B模式(第2照明期间的帧数：相同、第2照明光的发光光谱：不同)或第2D模式(第2照明期间的帧数：不同、第2照明光的发光光谱：不同)时，优选在第2照明期间，以特定顺序切换紫色光V、蓝色光B、绿色光G、红色光R中的至少2种光来进行发光。后述的图14中，依次发出紫色光V、绿色光G及红色光R这3种光。

在此，作为第2照明光使用第1特殊光和第2特殊光这两者时，可以将第2发光模式设为第2B模式或第2D模式，交替发出第1特殊光和第2特殊光。

另外，关于作为第1照明期间和第2照明期间的切换模式的第1、第2发光模式的详细内容，根据基于摄像用处理器44的摄像传感器43的摄像控制来确定，因此将在后面进行叙述。并且，帧是指至少包含摄像传感器43中从特定定时至信号读出完成为止的期间的单位。

例如，获取与在距离粘膜表面的深度为50μm的范围内的表层血管、在距离粘膜表面的深度为200μm的范围内的中层血管及在距离粘膜表面的深度为600μm的范围内的深层血管相关的血管的形状信息，并根据这些表层、中层、深层血管的形状信息进行鉴别处理时，优选使用强调表层血管的紫色光V、强调中层血管的绿色光G、强调深层血管的红色光R。

另外，在本说明书中，光量比包含至少一个半导体光源的比率为0(零)的情况。因此，包含各半导体光源中的任一个或两个以上未打开的情况。例如，如紫色光V、蓝色光B、绿色光G及红色光R之间的光量比为1∶0∶0∶0的情况，在设为仅打开半导体光源中的一个且其他三个未打开的情况下也具有光量比。

如图2所示，各LED20a～20d所发出的光经由由反射镜和透镜等构成的光路结合部22入射于光导件23。光导件23将来自光路结合部22的光传播至内窥镜12的前端部12d。

在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜31，由光导件23传播的照明光经由照明透镜31照射于观察对象。摄像光学系统30b具有物镜41、摄像传感器43。通过照射照明光而产生的来自观察对象的光经由物镜41及变焦透镜42入射于摄像传感器43。由此，观察对象的像成像于摄像传感器43。变焦透镜42是用于放大观察对象的透镜，通过对变焦操作部12i进行操作，在望远端与广角端之间移动。

摄像传感器43是原色系的彩色传感器，具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)及具有红色滤色器的R像素(红色像素)这3种像素。如图11所示，蓝色滤色器BF主要使蓝色波段的光透射，具体而言，使380～560nm的波长带的光透射。蓝色滤色器BF的透射率在波长460～470nm附近达到峰值。绿色滤色器GF主要使绿色波段的光透射，具体而言，使460～620nm的波长带的光透射。红色滤色器RF主要使红色波段的光透射，具体而言，使580～760nm的波长带的光透射。

并且，摄像传感器43优选为CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)。摄像用处理器44控制摄像传感器43。具体而言，通过由摄像用处理器44进行摄像传感器43的信号读出，从摄像传感器43输出图像信号。在第1照明观察模式中，在白色光被摄像传感器43曝光的状态下，由摄像用处理器44进行信号读出，由此从摄像传感器43的B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。在第2照明观察模式中，在特殊光被摄像传感器43曝光的状态下，由摄像用处理器44进行信号读出，由此从摄像传感器43的B像素输出Bs图像信号，从G像素输出Gs图像信号，从R像素输出Rs图像信号。

在重叠模式中，如图12所示，摄像用处理器44在第1照明期间，在使摄像传感器43曝光第1照明光的状态下进行信号读出，由此从摄像传感器43输出第1图像信号。将输出第1图像信号的期间作为第1摄像期间。第1图像信号中包含从B像素输出的B1图像信号、从G像素输出的G1图像信号及从R像素输出的R1图像信号。并且，摄像用处理器44在第2照明期间，在使摄像传感器43曝光第2照明光的状态下进行信号读出，由此摄像传感器43输出第2图像信号。将输出第2图像信号的期间作为第2摄像期间。第2图像信号中包含从B像素输出的B2图像信号、从G像素输出的G2图像信号及从R像素输出的R2图像信号。

如图2所示，CDS/AGC(Correlated Double Sampling/Automatic Gain Control，相关双采样/自动增益控制)电路45对从摄像传感器43获得的模拟图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过CDS/AGC电路45的图像信号通过A/D(Analog/Digital，模拟/数字)转换器46转换为数字图像信号。A/D转换后的数字图像信号输入至处理器装置14。

关于经由图像处理部55及显示控制部61的检查图像的获取和显示，以下记载的处理器装置14的结构及工作方法在检查图像显示模式和手术辅助信息提示模式中共同。

在处理器装置14中，程序用存储器内的程序通过由图像控制用处理器构成的中央控制部70进行动作，由此实现图像获取部50、DSP(Digital Signal Processor，数字信号处理器)52、降噪部53、图像处理切换部54、图像处理部55、显示控制部61的功能。另外，在重叠模式中，图像控制用处理器根据第1图像信号或第2图像信号进行图像处理，进行对显示器15的控制。

图像获取部50获取从内窥镜12输入的彩色图像。彩色图像中包含从摄像传感器43的B像素、G像素、R像素输出的蓝色信号(B图像信号)、绿色信号(G图像信号)、红色信号(R图像信号)。所获取的彩色图像发送至DSP52。DSP52对所接收的彩色图像进行缺陷校正处理、偏移处理、增益校正处理、矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种信号处理。

对增益校正处理之后的各颜色的图像信号实施提高颜色再现性的矩阵处理。之后，通过伽马转换处理，彩色图像的亮度和彩度得到调整。对矩阵处理之后的彩色图像实施去马赛克处理(还称为各向同性处理、同步化处理)，通过插值生成各像素的缺失的颜色的信号。通过去马赛克处理，所有像素具有RGB各颜色的信号。DSP52对去马赛克处理之后的彩色图像实施YC转换处理，将亮度信号Y、色差信号Cb及色差信号Cr输出至降噪部53。

另外，将第1特殊光用作第2照明光时，可以对第2图像信号进行扩大观察对象中包含的正常部与异常部(病变部等)的色差的色差扩展处理。可以对色差扩展处理完毕的第2图像信号进行鉴别处理。

降噪部53对由DSP52实施了去马赛克处理等的彩色图像实施例如基于移动平均法或中值滤波法等的降噪处理。降噪后的彩色图像被输入至图像处理切换部54。

图像处理切换部54根据所设定的模式，将来自降噪部53的图像信号的发送目的地切换为图像处理部55内的第1照明光图像生成部55a、第2照明光图像生成部55b、重叠图像生成部55c中的任一个。具体而言，在设定为检查图像显示第1照明观察模式时，将来自降噪部53的图像信号输入至第1照明光图像生成部55a。在设定为检查图像显示第2照明观察模式时，将来自降噪部53的图像信号输入至第2照明光图像生成部55b。在设定为重叠模式时，将来自降噪部53的图像信号输入至重叠图像生成部55c。

在下一段落之后，对针对从降噪部53经由图像处理切换部54发送至图像处理部55的图像信号进行的、第1照明光图像用图像处理、第2照明光图像用图像处理、重叠图像显示控制处理进行说明。

在检查图像显示第1照明观察模式的情况下，第1照明光图像生成部55a对所输入的1帧量的Rc图像信号、Gc图像信号、Bc图像信号实施第1照明光图像用图像处理。第1照明光图像用图像处理中包含3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table，查阅表)处理等颜色转换处理、色彩强调处理、空间频率强调等结构强调处理。已实施第1照明光图像用图像处理后的Rc图像信号、Gc图像信号、Bc图像信号作为第1照明光图像，经由手术辅助信息提示模式切换部56输入至显示控制部61。在检查图像显示第1照明观察模式中，第1照明光图像不经由后述第1手术辅助信息计算部60，直接输入至显示控制部61(参考图15)。显示控制部61将第1照明光图像显示于显示器15。

在检查图像显示第2照明观察模式的情况下，第2照明光图像生成部55b对所输入的1帧量的Rs图像信号、Gs图像信号、Bs图像信号实施第2照明光图像用图像处理。第2照明光图像用图像处理中包含3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table，查阅表)处理等颜色转换处理、色彩强调处理、空间频率强调等结构强调处理。已实施第2照明光图像用图像处理的Rs图像信号、Gs图像信号、Bs图像信号作为第2照明光图像，经由手术辅助信息提示模式切换部56输入至显示控制部61。在检查图像显示第2照明观察模式中，第2照明光图像不经由后述第1手术辅助信息计算部60，直接输入至显示控制部61(参考图15)。显示控制部61将第1照明光图像显示于显示器15。

在检查图像显示重叠模式的情况下，在图13所示的重叠图像生成部55c中生成重叠图像。重叠图像生成部55c具备显示用图像生成部55d、鉴别处理部55e及重叠处理部55f。显示用图像生成部55d对所输入的1帧量的R1图像信号、G1图像信号、B1图像信号实施与上述相同的第1照明光图像用图像处理。已实施第1照明光图像用图像处理后的R1图像信号、G1图像信号、B1图像信号用作显示用图像。并且，鉴别处理部55e对所输入的特定帧量的R2图像信号、G2图像信号、B2图像信号进行鉴别处理。重叠处理部55f通过进行将鉴别处理的结果即鉴别结果重叠显示于显示用图像等重叠图像处理来生成重叠图像。

显示用图像或重叠图像经由手术辅助信息提示模式切换部56被输入至显示控制部61。显示控制部61进行将显示用图像或重叠图像显示于显示器15的重叠图像显示控制处理。另外，在后述手术辅助信息提示重叠模式中，也同样地进行下述重叠图像显示控制处理。

以下，对重叠图像显示控制处理进行说明。如图14所示，在将第1发光模式设为第1A模式并将第2发光模式设为第2B模式(第2照明期间的帧数：相同，第2照明光的发光光谱：不同)的情况下，作为第1照明光对观察对象照射2帧量的白色光W，且在白色光W的发光期间，对观察对象分别照射1帧量的作为第2照明光的紫色光V、绿色光G、红色光R时，对通过白色光的照明而获得的第1图像信号实施第1照明光图像用图像处理，由此获得显示用图像。

另一方面，对通过紫色光V的照明而获得的第2图像信号(R2图像信号、G2图像信号、B2图像信号)进行鉴别处理来获得鉴别结果V。同样地，对通过绿色光G的照明而获得的第2图像信号(R2图像信号、G2图像信号、B2图像信号)进行鉴别处理来获得鉴别结果G。并且，对通过红色光R的照明而获得的第2图像信号(R2图像信号、G2图像信号、B2图像信号)进行鉴别处理来获得鉴别结果R。在与红色光R相关的鉴别处理完成之后，这些鉴别结果V、G、R作为汇总的鉴别结果T而显示于显示用图像。另外，鉴别结果V、G、R可以分别单独显示于显示用图像，并且也可以将组合鉴别结果V、G、R中的至少两个来获得的鉴别结果作为重叠图像。

上述显示用图像或重叠图像经由手术辅助信息提示模式切换部56输入至显示控制部61。显示控制部61根据特定的显示条件，将显示用图像或重叠图像显示于显示器15。作为特定的显示条件，例如为鉴别结果为进展度高的病变部的检测的情况。此时，在不满足特定的显示条件时，显示控制部61将显示用图像显示于显示器15，在满足特定的显示条件时，显示控制部61将重叠图像显示于显示器15。

另外，在第1实施方式中，基于第1照明光的第1图像信号用于显示用图像，基于第2照明光的第2图像信号仅用于鉴别处理，并不用于向显示器15的显示，但第2图像信号也可以用于向显示器15的显示。此时，向显示器15切换显示基于第1图像信号的显示用图像和基于第2图像信号的显示用图像。关于基于第2图像信号的图像向显示器15的显示或不显示，优选能够通过UI16适当设定。

以下，对基于鉴别结果的、与处置器具相关的手术辅助信息的计算进行具体说明。如图15所示，鉴别处理部55e进行与第2照明光图像相关的特征量的计算、与第2照明光图像相关的关注区域的设定、和诊断结果的确定建立对应关联等来输出鉴别结果，并发送至显示控制部61。在此，具体输出的鉴别结果为诊断结果和强调显示了关注区域的第1照明光图像、第2照明光图像或重叠图像(在本发明中，“诊断结果”为“鉴别结果”之一，是包含在“鉴别结果”中的概念。)。诊断结果通过第2照明光图像向鉴别模型55eM的输入，根据与第2照明光图像相关的特征量来输出。关于关注区域的强调显示，将在后面进行叙述。

由鉴别处理部55e输出的鉴别结果作为将从降噪部53经由图像处理切换部54发送至鉴别处理部55e的图像信号输入至搭载于鉴别处理部55e的作为机器学习中的学习模型的鉴别模型55eM的结果而输出。学习包含有监督学习、无监督学习、增强学习、深度增强学习、使用神经网络的学习、深度学习等。

优选根据观察对象位于表层、中层、深层中的至少任一个来分类特征量。特征量优选为观察对象的形状、颜色或从这些形状和颜色等获得的值。作为特征量的项目，例如为血管密度、血管形状、血管的分支数、血管的粗细、血管的长度、血管的曲折度、血管的深达度、腺管形状、腺管开口部形状、腺管的长度、腺管的曲折度、颜色信息。特征量优选为这些中的至少一个或组合这些中的两个以上而得的值。另外，特征量的项目并不限于此，可以根据使用情况适当追加。

并且，诊断结果优选包含是病变部还是正常部、活动期或缓解期、国际疾病分类、UICC TNM(Union for International Cancer ControlTumor Lymph Nodes Metastasis，国际癌症控制肿瘤淋巴结转移联盟)分类、TNM(Tumor Lymph Nodes Metastasis，肿瘤淋巴结转移)分类、Dukes分类、其他分类、诊断基准、指导方针、基于教科书及图谱的诊断名、种类、类型(type)、进展度、阶段中的任一个以上。

另外，关于与图像一同显示的鉴别结果向显示器15的显示或不显示，优选能够通过UI16适当设定。

本段落之后，公开手术辅助信息提示模式。在按下手术辅助信息提示开关12g时，经由手术辅助信息提示模式切换部56从检查图像显示重叠模式切换为手术辅助信息提示重叠模式来进行向手术辅助信息提示模式的切换。

对图15所示的手术辅助信息提示模式的切换和手术辅助信息提示模式的概要进行说明。虽然默认的显示模式为检查图像显示模式，但若由用户按下手术辅助信息提示开关12g，则对手术辅助信息提示模式切换部56进行操作而切换为手术辅助信息提示模式，计算出的鉴别结果发送至第1手术辅助信息计算部60。

接着，由第1手术辅助信息计算部60根据鉴别结果输出与处置器具相关的手术辅助信息123。可以将在此计算的手术辅助信息123限定为满足特定条件的手术辅助信息。具体而言，选择与计算出适当度高于规定值的处置器具相关的手术辅助信息123。最后，将检查画面和计算出的手术辅助信息123中包含的处置器具作为手术辅助信息提示画面120显示于一个画面上，设为用户能够视觉辨认的状态(参考图29)。通过上述结构，在内窥镜检查中，用户能够以任意定时切换为手术辅助信息提示模式，并将对应于检查图像的鉴别结果的适当的处置器具作为手术辅助信息123而显示。

在第1实施方式中，由第1手术辅助信息计算部60输出的手术辅助信息123(参考图29)作为图15及图16所示的、将在重叠图像生成部55c内的鉴别处理部55e中获得的鉴别结果和第2照明光图像输入至搭载于第1手术辅助信息计算部60的作为机器学习中的学习模型的手术辅助信息计算模型60M的结果而输出。关于在第2实施方式中由第1手术辅助信息计算部60计算的信息，将在后面进行叙述。

在本实施方式中，在鉴别处理部55e中由鉴别模型55eM输出的鉴别结果发送至第1手术辅助信息计算部60。若输入鉴别结果，则第1手术辅助信息计算部60的手术辅助信息计算模型60M输出与处置器具相关的手术辅助信息123。优选手术辅助信息计算模型60M为通过鉴别结果的输入来输出一个或者一个以上的与处置器具相关的手术辅助信息123的学习模型。并且，优选手术辅助信息计算模型60M为以在鉴别结果的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的模型。例如，优选手术辅助信息计算模型60M如图17及图18所示，在由鉴别处理部55e输出的鉴别结果为鉴别结果P55ep时，输出手术辅助信息P60p，在由鉴别处理部55e输出的鉴别结果为鉴别结果Q55eq时，输出手术辅助信息Q60q。

作为具体例，如图17所示，输入至手术辅助信息计算模型60M的鉴别结果P55ep为“长径为30mm、未到达粘膜下层、有蒂、息肉”时，所输出的手术辅助信息P60p为“处置方法：息肉切除术、适当度最高的处置器具：息肉切除勒除器”。另一方面，如图18所示，输入至手术辅助信息计算模型60M的鉴别结果Q55eq为“长径为50mm、未到达粘膜下层、无蒂、I期癌”时，所输出的手术辅助信息Q60q为“处置方法：ESD、适当度最高的处置器具：一次性高频电刀”。通过上述结构，能够根据鉴别结果向用户提示一个或者一个以上的适当的处置器具，能够降低手术风险，尤其能够降低用户经验不足的情况或罕见病例的情况下的风险，并缩短处置时间。

由手术辅助信息计算模型60M输出的手术辅助信息123中包含的处置方法是由第1手术辅助信息计算部60输出的病变部的处置方法。若举出具体例，则为内镜息肉切除术(息肉切除术、勒除器息肉切除术)、内镜粘膜切除术(EMR；Endoscopic mucosal resection)、内镜粘膜下剥离术(ESD；Endosc opic submucosal dissection)、超声内镜引导下细针抽吸术、内镜粘膜灼烧术等，但并不限于此。

作为输入至第1手术辅助信息计算部60的手术辅助信息计算模型60M的信息，优选除了由鉴别模型55eM输出的鉴别结果以外，还输入存储于手术信息存储存储器80的手术信息。此时，搭载于第1手术辅助信息计算部60的手术辅助信息计算模型60M通过鉴别结果和存储于手术信息存储存储器80的手术信息的输入，提高与处置器具相关的适当度来输出手术辅助信息123。手术辅助信息计算模型60M优选根据存储于后述手术信息存储存储器80的手术信息预先进行学习。通过上述结构，能够组合鉴别结果和其他信息，向用户提示适当度更高的处置器具，能够进一步降低手术风险，进一步缩短处置时间。

手术信息存储存储器80中存储有包含处置器具的库存信息81、按照指导方针的病变与处置器具的对应关联信息即处置模式信息82、与咽喉、食道、胃、小肠、大肠等的解剖学部位、血管的行进情况相关的周边环境信息83、患者的既往史、检查/处置史、使用中的医药品等患者风险判定信息84、手术者信息85等手术信息，还存储有在第2实施方式中使用的模板图像、与模板图像建立有对应关联的鉴别结果及处置器具的信息等。关于输入至手术辅助信息计算模型60M的手术信息，优选输入一个或者组合一个以上而得的手术信息，提高与处置器具相关的适当度来输出手术辅助信息。

第1手术辅助信息计算部60优选具有以在鉴别结果的输入共同且处置器具的库存信息81的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的手术辅助信息计算模型60M。

例如，如图19及图20所示，在由鉴别处理部55e输出且输入至第1手术辅助信息计算部60的鉴别结果为共同的鉴别结果P55ep，且从手术信息存储存储器80输入的处置器具的库存信息为互不相同的处置器具的库存信息S81a(图19)或者处置器具的库存信息T81b(图20)的情况下，在输入有处置器具的库存信息S81a时，手术辅助信息计算模型60M输出手术辅助信息A60a(图19)，在输入有处置器具的库存信息T81b时，手术辅助信息计算模型60M输出手术辅助信息B60b(图20)。

作为具体例，如图19所示，在根据鉴别结果P55ep的输入而导出的、适当度最高的处置器具为一次性高频剪钳的情况下，作为所输入的处置器具的库存信息S81a，一次性高频剪钳的库存为10时，作为手术辅助信息A60a，提示适当度最高的处置器具为一次性高频剪钳。另一方面，如图20所示，作为所输入的处置器具的库存信息T81b，一次性高频剪钳的库存为0时，作为手术辅助信息B60b，提示其他处置器具(例如，一次性高频止血钳)为适当度最高的处置器具。另外，用于使手术辅助信息123不同的库存数的阈值能够自动或者由用户手动设定。

并且，处置器具的库存信息81可以使用外部的管理系统(未图示)。而且，还可以在后述手术辅助信息提示画面120上显示处置器具的库存数。并且，本应输出的手术辅助信息123由于库存小于阈值而变更为与其他处置器具相关的手术辅助信息123时，可以在后述手术辅助信息提示画面120上警告显示本应输出的处置器具的库存小于阈值。通过上述结构，能够防止由于提示适当度最高但没有库存的处置器具而导致手术意外停滞。并且，能够促使用户消费本公司制造的处置器具。

第1手术辅助信息计算部60优选具有以在鉴别结果的输入共同且处置模式信息82的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的手术辅助信息计算模型60M。

例如，如图21及图22所示，在由鉴别处理部55e输出且输入至第1手术辅助信息计算部60的鉴别结果为共同的鉴别结果P55ep，且从手术信息存储存储器80输入的处置模式信息为互不相同的处置模式信息S82a(图21)或者处置模式信息T82b(图22)的情况下，在输入有处置模式信息S82a时，手术辅助信息计算模型60M输出手术辅助信息C60c(图21)，在输入有处置模式信息T82b时，手术辅助信息计算模型60M输出手术辅助信息D60d(图22)。

作为具体例，如图21所示，在根据鉴别结果P55ep的输入而导出的、适当度最高的处置器具为息肉切除勒除器的情况下，作为所输入的处置模式信息S82a，在2019年版的胃癌治疗指导方针中推荐使用的处置器具为息肉切除勒除器时，作为手术辅助信息C60c，提示适当度最高的处置器具为息肉切除勒除器。另一方面，如图22所示，作为所输入的处置模式信息T82b，在2020年版的胃癌治疗指导方针中推荐使用的处置器具为一次性高频剪钳时，将新的指导方针识别为进一步提高适当度的信息，作为手术辅助信息D60d，提示适当度最高的处置器具为一次性高频剪钳。另外，关于处置模式信息82，能够自动或者由用户手动更新手术信息存储存储器80。

并且，可以在后述手术辅助信息提示画面120上显示所参考的处置模式信息。通过上述结构，能够在处置时提示参考了最新的指导方针的处置器具。

第1手术辅助信息计算部60优选具有以在鉴别结果的输入共同且周边环境信息83的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的手术辅助信息计算模型60M。

例如，如图23及图24所示，在由鉴别处理部55e输出且输入至第1手术辅助信息计算部60的鉴别结果为共同的鉴别结果P55ep，且从手术信息存储存储器80输入的周边环境信息为互不相同的周边环境信息S83a(图23)或者周边环境信息T83b(图24)的情况下，在输入有周边环境信息S83a时，手术辅助信息计算模型60M输出手术辅助信息E60e(图23)，在输入有周边环境信息T83b时，手术辅助信息计算模型60M输出手术辅助信息F60f(图24)。

作为具体例，如图23所示，在根据鉴别结果P55ep的输入而导出的、适当度最高的处置器具为单极止血钳的情况下，作为所输入的周边环境信息S83a，当前的检查部位为胃底时，作为手术辅助信息E60e，提示适当度最高的处置器具为单极止血钳。另一方面，如图24所示，作为所输入的周边环境信息T83b，当前的检查部位为直肠中血管多的部位时，作为手术辅助信息F60f，提示适当度最高的处置器具为双极止血钳。

另外，关于周边环境信息83，能够自动或者由用户手动更新手术信息存储存储器80。并且，可以设置检查部位输入部(未图示)来预先由用户输入检查部位。通过上述结构，能够根据成为手术对象的解剖学部位、血管的行进情况提示最佳处置器具，并能够提高处置的安全性。

第1手术辅助信息计算部60优选具有以在鉴别结果的输入共同且患者风险判定信息84的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的手术辅助信息计算模型60M。

例如，如图25及图26所示，在由鉴别处理部55e输出且输入至第1手术辅助信息计算部60的鉴别结果为共同的鉴别结果P55ep，且从手术信息存储存储器80输入的患者风险判定信息为互不相同的患者风险判定信息S84a(图25)或者患者风险判定信息T84b(图26)的情况下，在输入有患者风险判定信息S84a时，手术辅助信息计算模型60M输出手术辅助信息G60g(图25)，在输入有患者风险判定信息T84b时，手术辅助信息计算模型60M输出手术辅助信息H60h(图26)。

作为具体例，如图25所示，在根据鉴别结果P55ep的输入而导出的、适当度最高的处置器具为一次性高频剪钳的情况下，作为所输入的患者风险判定信息S84a，当前没有正在使用的药品时，作为手术辅助信息G60g，提示适当度最高的处置器具为一次性高频剪钳。另一方面，如图26所示，作为所输入的患者风险判定信息T84b，由于两天前开出华法林钾等抗凝剂的处方而出血风险高时，作为手术辅助信息H60h，提示不存在适当的处置器具。另外，患者风险判定信息84能够自动或者由用户手动设定。

并且，患者风险判定信息84可以使用外部的电子病历或管理系统(未图示)的信息。而且，还可以在后述手术辅助信息提示画面120上显示患者信息。通过上述结构，能够根据患者信息提示适当的处置器具。并且，能够防止患者风险引起的意外医疗事故。

第1手术辅助信息计算部60优选具有以在鉴别结果的输入共同且手术者信息85的输入不同时进行不同的手术辅助信息123的输出的方式进行了学习的手术辅助信息计算模型60M。

例如，如图27及图28所示，在由鉴别处理部55e输出且输入至第1手术辅助信息计算部60的鉴别结果为共同的鉴别结果P55ep，且从手术信息存储存储器80输入的手术者信息为互不相同的手术者信息S85a(图27)或者手术者信息T85b(图28)的情况下，在输入有手术者信息S85a时，手术辅助信息计算模型60M输出手术辅助信息I60i(图27)，在输入有手术者信息T85b时，手术辅助信息计算模型60M输出手术辅助信息J60j(图28)。

作为具体例，如图27所示，在根据鉴别结果P55ep的输入而导出的、适当度最高的处置器具为A公司制造的止血钳的情况下，作为所输入的手术者信息S85a，A公司制造的止血钳的使用历史为50次，且B公司制造的止血钳的使用历史为5次时，作为手术辅助信息G60g，提示适当度最高的处置器具为A公司制造的止血钳。另一方面，如图28所示，作为所输入的手术者信息T85b，A公司制造的止血钳的使用历史为5次，且B公司制造的止血钳的使用历史为50次时，作为手术辅助信息H60h，提示适当度最高的处置器具为B公司制造的止血钳。

另外，手术者信息85能够自动或者由用户手动设定。并且，手术者信息85可以使用利用ID等的外部管理系统(未图示)的信息，也可以设置手术者信息输入部(未图示)，由用户预先输入手术者信息。通过上述结构，能够根据手术者的专长和经验提示适当的处置器具。

从手术信息存储存储器80输入至第1手术辅助信息计算部60的手术信息为处置器具的库存信息、处置模式信息、周边环境信息、患者的既往史、患者风险判定信息、手术者信息中的一个或者通过组合一个以上而得的手术信息，优选为多个手术信息的组合。这是为了提高与由第1手术辅助信息计算部60输出的手术辅助信息123的处置器具相关的适当度。另外，手术信息并不限于上述。

由第1手术辅助信息计算部60输出的手术辅助信息123优选包含处置器具的候选的名称和处置器具的适当度。处置器具的名称是指如“一次性高频剪钳”的一般名称和商品名或商标名(参考图29)。虽然仅图示了一般名称，但设想默认显示商标名和一般名称。并且，处置器具的适当度是表示处置器具的适当程度的分数。该分数由手术辅助信息计算模型60M对多种处置器具进行加分及减分，最后的分数反映在手术辅助信息123中。并且，手术辅助信息123进一步优选包含处置器具的名称、检查图像的诊断结果、处置方法、处置器具的适当度、处置器具的适当度的位次及处置器具的图像125。由第1手术辅助信息计算部60输出的手术辅助信息123发送至显示控制部61。

处置器具的适当度的位次是根据由第1手术辅助信息计算部60输出的处置器具的适当度来赋予的位次。例如，输出有与各处置器具相关的适当度分别为95、90、80、40的四个处置器具时，适当度为95的处置器具排序为第一，90的处置器具排序为第二，80的处置器具排序为第三，40的处置器具排序为第四。

第1手术辅助信息计算部60可以将作为手术辅助信息123而输出的处置器具限定为满足特定条件的处置器具。特定条件是针对处置器具的适当度的阈值。例如，假设在想要输出适当度95(第一)的处置器具、适当度90(第二)的处置器具、适当度80(第三)的处置器具、适当度40(第四)的处置器具的情况下，将特定条件设定为“适当度为80以上”。在该条件下，适当度为40的处置器具不满足特定条件，因此不会被发送至显示控制部61，另一方面，适当度为95、90、80的处置器具满足特定条件，因此作为多个手术辅助信息123被发送至显示控制部61。

特定条件能够变更，可以由手术辅助信息计算模型60M自动设定，也可以由用户手动设定。通过上述结构，能够根据处置器具的适当度的值取舍选择要提示的处置器具。例如，由第1手术辅助信息计算部60选择多个处置器具，且所选择的处置器具比设想多时，通过提高处置器具的适当度的阈值，能够仅提示适当度更高的处置器具。

在手术辅助信息提示模式中，显示控制部61将检查图像121和包含满足特定条件的处置器具的手术辅助信息123设为一个画面，作为手术辅助信息提示画面120显示于显示器15。并且，如图29所示，优选作为手术辅助信息123，将处置器具的名称、检查图像的诊断结果、处置方法、处置器具的适当度、处置器具的适当度的位次及处置器具的图像125和检查图像121设为一个画面，作为手术辅助信息提示画面120来显示。通过上述结构，用户能够提示针对显示于检查图像121的病变的适当的处置器具。而且，使用户与同时观察显示器15的第三者之间的信息传递变得容易。

在手术辅助信息提示画面120上，如图29所示，对检查图像121中的关注区域标注如包围关注区域的圆形框和符号I1来进行强调显示。在第1实施方式中，如上所述，该强调显示由鉴别处理部55e的鉴别模型55eM进行。

作为该强调显示的显示形态，并不限于图29的实施例，可以适当变更框的形状、颜色、大小、粗细，或利用伪彩色或图案进行显示。并且，在检查图像121中存在多个关注区域时，可以根据各关注区域使用不同的形状、颜色、大小、粗细的框等，或利用不同的颜色或图案进行显示。可以在各强调显示标记数字或字符等记号。而且，在使用户意识到病变需要格外注意时，可以进行利用黄色或红色等警告颜色的显示。并且，优选也能够设定为不进行强调显示。

另外，在检查图像121中存在多个关注区域时，优选选择各关注区域，与各个关注区域相关的手术辅助信息123显示于手术辅助信息提示画面120。此时，优选使针对与当前显示中的手术辅助信息123对应的关注区域的强调显示和针对其他关注区域的强调显示不同，以便能够判明显示有针对哪一关注区域的手术辅助信息123。例如，可以变更强调显示的形状、颜色、大小、粗细，或使其闪烁。

并且，想要切换显示手术辅助信息123的关注区域时，优选能够在显示器15上经由UI16进行操作。例如，可以将鼠标指针对准显示手术辅助信息123的关注区域进行的点击(click)、在触摸面板上进行的点击(tap)作为切换的触发。如后述，也可以使用手术辅助信息提示开关12g，切换方法并不限于上述。

在手术辅助信息提示画面120中，默认显示与处置器具的适当度的位次最高的处置器具相关的手术辅助信息123。在图29中，在手术辅助信息提示画面120上，作为用于将显示中的手术辅助信息123切换为与适当度的位次为下位的处置器具相关的手术辅助信息123的操作用图标，显示有下位方向的位次切换用图标126a，并且，作为用于将显示中的手术辅助信息123切换为与适当度的位次为上位的处置器具相关的手术辅助信息123的操作用图标，显示有上位方向的位次切换用图标126b(参考图30)。下位方向的位次切换用图标126a设置于手术辅助信息123的右侧，上位方向的位次切换用图标126b设置于手术辅助信息123的左侧。下位方向的位次切换用图标126a用三角形图标表示，朝向右方向。上位方向的位次切换用图标126b用三角形图标表示，朝向左方向。通过对下位方向的位次切换用图标126a进行操作，切换为与适当度的位次为下位的处置器具相关的手术辅助信息123。另一方面，通过对上位方向的位次切换用图标126b进行操作，与处置器具相关的手术辅助信息123切换为与上位的处置器具相关的手术辅助信息。另外，下位方向的位次切换用图标126a及上位方向的位次切换用图标126b的形状和显示形态并不限于此。

关于对下位方向的位次切换用图标126a及上位方向的位次切换用图标126b的操作，优选由用户使用UI16的鼠标或触摸面板等进行操作。并且，也可以组合UI16和手术辅助信息提示开关12g来进行操作。例如，若在由用户经由UI16的鼠标或触摸面板选择下位方向的顺序切换用图标126a或上位方向的顺序切换用图标126b中的任一个，并激活已选择的图标之后按下手术辅助信息提示开关12g，则与所激活的图标相对应的显示被切换。

以下，对使用下位方向的位次切换用图标126a及上位方向的位次切换用图标126b的与处置器具相关的手术辅助信息123的切换进行说明。例如，如图29所示，若在显示有与适当度的位次为第一的处置器具相关的手术辅助信息123的情况下，在激活下位方向的位次切换用图标126a之后按下手术辅助信息提示开关12g，则切换为与适当度的位次为第二的处置器具相关的手术辅助信息123，由此处置器具名、处置方法、与处置器具相关的适当度、适当度的位次、处置器具的图像125的显示被切换，显示图30所示的画面。即，还能够使手术辅助信息提示开关12g作为切换与鉴别结果相关的适当的处置器具的显示的触发开关而发挥作用。

另外，也可以在内窥镜12或UI16新设置顺序切换用按钮。

另外，想要切换为前后的位次的手术辅助信息123的显示时，可以在显示器15上经由UI16进行操作。例如，可以将鼠标指针对准显示手术辅助信息123的关注区域进行的点击(click)、在触摸面板上进行的点击(tap)、滑动的动作作为切换的触发，但并不限于此。通过上述结构，用户能够根据适当度的位次比较适当度高的处置器具。

在不存在与处置器具的适当度满足特定条件的处置器具相关的手术辅助信息123的情况下，或者在处置器具的适当度低于所设定的阈值的情况下，第1手术辅助信息计算部60向显示控制部61发送进行警告显示的指示，在手术辅助信息提示画面120上进行警告显示130。例如，如图31所示，可以显示为“无法提示处置器具”。警告显示并不限于该方法。例如，在处置器具的适当度低于所设定的阈值的情况下，可以变更处置器具的适当度的字符颜色、或使其闪烁、或以粗框包围来显示。也可以利用灯(未图示)或声音进行警告。通过上述结构，在不存在适当的处置器具的情况下，或者在处置器具的适当度低的情况下，能够防止用户进行安全性低的处置。

在手术辅助信息提示画面120上，用户从一个或一个以上的与处置器具相关的手术辅助信息123中选择一个与处置器具相关的手术辅助信息123，并按下处置开始按钮152，则将由第1手术辅助信息计算部60计算出的与处置器具相关的手术辅助信息123输入至处置时间计算部62，并输出处置预想时间。

具体而言，若在如图32所示的手术辅助信息提示画面120上，用户选择由“处置开始”表示的处置开始按钮152，则与当前显示中的处置器具相关的手术辅助信息123输入至处置时间计算部62的处置时间计算模型62M，处置时间计算模型62M输出与所选择的处置器具相关的处置预想时间。此时，显示处置预想时间140。例如，优选如下，即，如图33所示，在由第1手术辅助信息计算部60输出的手术辅助信息123为手术辅助信息P60p时，处置时间计算模型62M输出处置预想时间P62p，如图34所示，在由第1手术辅助信息计算部60输出的手术辅助信息123为手术辅助信息Q60q时，处置时间计算模型62M输出处置预想时间Q62q。

通过上述结构，能够向用户提示使用用户所选择的处置器具时的处置预想时间，并能够通知预计的手术时间。另外，关于处置预想时间，可以在最初向用户提示适当的处置器具时，在手术辅助信息提示画面120上显示处置预想时间140。此时，由第1手术辅助信息计算部60输出的一个或一个以上的手术辅助信息123直接输入至处置时间计算部62的处置时间计算模型62M。另外，也可以与处置预想时间140一同显示病变部的标记或向粘膜下层的注水等使用处置器具所需的规程、或注射器、注射针等器具、用于染色的试剂或局部注射剂的量等。

在图35所示的手术辅助信息提示画面120上，显示有用于用户同意或否定作为手术辅助信息123而显示的处置器具的、以“是”表示的同意按钮150及以“否”表示的否定按钮151、处置开始按钮152、检查图像保存按钮153及屏幕截图按钮154。用户能够使用同意按钮150，将使用手术辅助信息提示画面120中提示的处置器具的内容输入至处理器装置14。并且，能够使用否定按钮151，将不使用手术辅助信息提示画面120中提示的处置器具的内容输入至处理器装置14。可以通过按下同意按钮150或者否定按钮151，结束手术辅助信息提示模式，并切换为检查图像显示模式。由用户输入的结果发送至手术辅助信息计算模型60M(未图示)。通过上述结构，能够使用手术辅助信息计算模型60M的输入输出的结果，使手术辅助信息计算模型60M进行学习。

若在显示处置预想时间140之后，用户在实际开始处置时按下处置开始按钮152，则可以将处置开始时间记录于存储器(未图示)。通过上述结构，能够在检查记录系统和电子病历等保存介质中记录处置开始时间。而且，如后述，作为静止图像获取了检查图像121时，通过将由处置时间计算模型62M输出的处置器具和实际的处置所花费的时间建立对应关联，并再次输入至处置时间计算模型62M，能够使处置时间计算模型62M进行学习。

在图35所示的手术辅助信息提示画面120上，若用户按下检查图像保存按钮153，则静止图像获取部63作为静止图像获取检查图像121，并发送至诊断结果输入部64。诊断结果输入部64将检查图像121和由鉴别处理部55e计算出的鉴别结果建立对应关联，并保存在存储器(未图示)或手术信息存储存储器80中。另外，可以代替检查图像保存按钮153，将静止图像获取指示开关12h作为获取检查图像的触发。通过上述结构，能够在检查记录系统和电子病历等中记录检查图像。

在手术辅助信息提示画面120上显示有屏幕截图按钮154。若用户按下屏幕截图按钮154，则能够作为静止图像获取显示于显示器15的手术辅助信息提示画面120，并保存在存储器(未图示)或手术信息存储存储器80中。通过上述结构，能够在检查记录系统或电子病历等保存介质中记录手术辅助信息提示画面120，能够在检查中容易进行病例记录的收集。

沿着图36所示的流程图，对第1实施方式的手术辅助信息提示模式的切换和手术辅助信息提示模式的一连串的流程进行说明。通常为检查图像显示模式，获取检查图像(步骤S101)，检查图像被输入至鉴别处理部55e，鉴别处理部55e输出与检查图像相关的鉴别结果(步骤S102)。此时，若按下手术辅助信息提示开关12g，则对手术辅助信息提示模式切换部56进行操作来切换为手术辅助信息提示模式(步骤S103)。在未按下手术辅助信息提示开关12g的情况下，为检查图像显示模式，检查图像被发送至显示控制部61(步骤S104)。通过按下手术辅助信息提示开关12g的操作，鉴别结果和手术信息存储存储器80的手术信息被输入至第1手术辅助信息计算部60(步骤S105)，由第1手术辅助信息计算部60输出满足特定条件的手术辅助信息123，并发送至显示控制部61(步骤S106)。接着，用户选择与任意的处置器具相关的手术辅助信息123(步骤S107)。通过该操作，用户所选择的手术辅助信息123被输入至处置时间计算部62(步骤S108)，并输出处置预想时间(步骤S109)。经由上述控制，最后，检查图像121、手术辅助信息123及处置预想时间140被发送至显示控制部61，并显示于显示部。

[第2实施方式]

在本段落之后，对第2实施方式的手术辅助信息提示模式进行说明。在第2实施方式中，如图38所示，代替第1实施方式的第1手术辅助信息计算部60，设置有不使用学习模型的模板匹配型的第2手术辅助信息计算部200。在第2手术辅助信息计算部200连接有模板图像存储存储器202。模板图像存储存储器202用于与第2照明光图像的模板匹配，保存与处置器具建立有对应关联的诊断完毕的模板图像。除此以外，第2实施方式与图15等所示的第1实施方式相同(手术信息存储存储器80等与第1实施方式相同)。

保存在模板图像存储存储器202中的模板图像为白色光图像或特殊光图像。作为诊断完毕的模板图像的诊断完毕的白色光图像或者诊断完毕的特殊光图像优选在对图像的色相、色调等进行颜色匹配之后进行比较，以便能够与第2照明光图像或重叠图像进行比较。

作为与诊断完毕的模板图像建立有对应关联的处置器具，优选为医生等对模板图像的观察对象使用的处置器具。例如，在模板图像的观察对象为有蒂的息肉的情况下，与模板图像建立有对应关联的处置器具优选为用于切除息肉的勒除器等。并且，在模板图像的观察对象中包含出血的情况下，优选为用于止血的止血钳等。

与诊断完毕的模板图像建立有对应关联的诊断结果与在第1实施方式的鉴别处理部55e中输出的诊断结果共同，因此省略记载。

以下，对第2实施方式的手术辅助信息提示模式的详细内容进行说明。若对手术辅助信息提示开关12g进行操作来切换为手术辅助信息提示模式，则如图39所示，第2照明光图像从图像处理部55发送至第2手术辅助信息计算部200内的第2照明光图像的特征量计算部203。诊断完毕的模板图像从模板图像存储存储器202发送至第2手术辅助信息计算部200内的模板图像的特征量计算部204。计算出的第2照明光图像的特征量和诊断完毕的模板图像的特征量发送至综合匹配度计算部205。接着，在第2照明光图像的特征量与模板图像的特征量之间计算综合匹配度。

对关于第2手术辅助信息计算部200中的特征量的计算和综合匹配度的计算的具体例进行说明。分别对第2照明光图像及诊断完毕的模板图像计算与特征量的项目相关的值，即，由第2照明光图像的特征量计算部203计算出与第2照明光图像相关的表层血管的形状、分支的特征量为A1，表层血管的均匀度的特征量为A2……，由模板图像的特征量计算部204计算出与诊断完毕的模板图像相关的表层血管的形状、分支的特征量为a1，表层血管的均匀度的个别特征量为a2……。与各特征量的项目相关的特征量发送至综合匹配度计算部205。

在综合匹配度计算部205中，首先，关于与表层血管的形状、分支相关的相似度，对A1与a1的值进行比较(图39中，标记为“A1 vs a1”)，计算出匹配度为α1。将在此叙述的与如“表层血管的形状、分支”的特征量的一个项相关的匹配度(在此，为α1)称为个别匹配度。接着，计算个别匹配度的总和作为综合匹配度。计算出该第2照明光图像或者重叠图像与该模板图像之间的综合匹配度为αβγ这一值。

模板图像选择部207选择综合匹配度满足第1条件的模板图像。第1条件优选为综合匹配度为第l条件用阈值以上。适当度计算部209参考手术信息存储存储器80，对与所选择的模板图像建立有对应关联的处置器具计算适当度。例如，如图40所示，在由模板图像选择部207选择了三个模板图像K、L、M的情况下，参考手术信息存储存储器80的手术信息中包含的处置器具X、Y、Z的库存信息等，计算与各模板图像K、L、M建立有对应关联的处置器具X、Y、Z的适当度。另外，手术信息为处置器具的库存信息等，与第1实施方式相同，因此省略说明。

对作为手术信息仅参考库存信息来计算处置器具的适当度的情况的例子进行说明。例如，如图40所示，在手术信息存储存储器80的库存信息中，处置器具X的库存为“0”，处置器具Y的库存为“10”，处置器具Z的库存为“5”的情况下，计算出处置器具Y的适当度YP最高，处置器具X的适当度XP最低。处置器具Z的适当度ZP设为适当度YP与适当度XP之间的值。

手术辅助信息输出部211输出包含适当度满足第2条件的处置器具的手术辅助信息。第2条件优选为适当度为第2条件用阈值以上。在图40的情况下，将适当度为适当度ZP以上的处置器具Y、Z作为适当的处置器具，输出包含处置器具Y、Z的手术辅助信息。关于所输出的手术辅助信息，与第1实施方式相同，和检查画面一同显示于手术辅助信息提示画面120上。手术辅助信息提示画面120的显示形态与第1实施方式相同，因此省略说明。

在第2实施方式的图35所示的手术辅助信息提示画面120上，若用户按下检查图像保存按钮153，则静止图像获取部63作为静止图像获取检查图像121，并发送至诊断结果输入部64。如图39所示，诊断结果输入部64能够将检查图像121、由鉴别处理部55e计算出的与检查图像相关的鉴别结果、处置器具建立对应关联，并保存在模板图像存储存储器202中。另外，可以代替检查图像保存按钮153，将静止图像获取指示开关12h作为获取检查图像的触发。通过上述结构，能够在手术信息存储存储器80中增加模板图像。

关于手术辅助信息提示画面120上的关注区域的显示、按照适当度的位次的显示画面的切换、不存在与满足特定条件的处置器具相关的手术辅助信息123的情况或处置器具的适当度低于所设定的阈值的情况下的警告显示、同意按钮150、否定按钮151、进行处置时的处置开始按钮152、检查图像保存按钮153、屏幕截图按钮154的操作和使用位次切换图标进行的显示的切换，与第1实施方式共同，因此省略记载。

沿着图41所示的流程图，对第2实施方式的手术辅助信息提示模式的一连串的流程进行说明。通常为检查图像显示模式。此时，若按下手术辅助信息提示开关12g，则对手术辅助信息提示模式切换部56进行操作来切换为手术辅助信息提示模式(步骤S201)。在未按下手术辅助信息提示开关12g的情况下，为检查图像显示模式，重叠图像发送至显示控制部61(步骤S202)。在手术辅助信息提示模式的情况下，模板图像从模板图像存储存储器202发送至第2手术辅助信息计算部200的模板图像的特征量计算部204(步骤S203)，由模板图像的特征量计算部204计算与模板图像相关的特征量(步骤S204)。并且，第2照明光图像从重叠图像生成部55c发送至第2手术辅助信息计算部200的第2照明光图像的特征量计算部203(步骤S205)，由第2照明光图像的特征量计算部203计算与第2照明光图像相关的特征量(步骤S206)。

接着，与模板图像相关的特征量和与第2照明光图像相关的特征量发送至综合匹配度计算部205，计算个别匹配度和综合匹配度(步骤S207)。接着，选择综合匹配度满足第1条件的模板图像(步骤S208)。接着，参考包含处置器具的库存信息的手术信息，对与所选择的模板图像建立有对应关联的处置器具计算适当度(步骤S209)。接着，输出包含适当度满足第2条件的处置器具的手术辅助信息(步骤S210)。重叠图像和手术辅助信息中包含的处置器具显示于显示器15(步骤211)。

另外，在上述实施方式中，对作为医用图像获取内窥镜图像的内窥镜系统适用了本发明的医疗用图像处理装置，但当然也能够适用于胶囊型内窥镜等各种内窥镜系统，对于其他的作为医用图像获取X射线图像、CT图像、MRI图像、超声波图像、病理图像、PET(Positron Emission Tomography，正电子成像术)图像等的各种医用图像装置，也能够适用本发明的医疗用图像处理装置。

在上述实施方式中，光源用处理器21、摄像用处理器44、图像获取部50、DSP52、降噪部53、图像处理切换部54、鉴别处理部55e、中央控制部70等执行各种处理的处理部(processing unit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中，包含执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(CentralProcessing Unit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA或CPU和FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，有如客户机及服务器等计算机为代表，由一个以上的CPU和软件的组合构成一个处理器，该处理器作为多个处理部发挥作用的方式。第二，有如系统级芯片(System On Chip：SoC)等为代表，使用通过一个IC(Integrated Circuit，集成电路)芯片实现包含多个处理部的系统整体的功能的处理器的方式。如此，各种处理部作为硬件结构利用一个以上的上述各种处理器来构成。

而且，关于这些各种处理器的硬件结构，更具体而言，是组合半导体元件等电路元件而成的形态的电路(circuitry)。并且，存储部的硬件结构为HDD(hard disc drive，硬盘驱动器)或SSD(solid state drive，固态驱动器)等存储装置。

符号说明

10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12f-观察模式切换开关，12g-手术辅助信息提示开关，12h-静止图像获取指示开关，12i-变焦操作部，13-光源装置，14-处理器装置，15-显示器，16-UI，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，21-光源用处理器，22-光路结合部，23-光导件，30a-照明光学系统，30b-摄像光学系统，31-照明透镜，41-物镜，42-变焦透镜，43-摄像传感器，44-摄像用处理器，45-CDS/AGC电路，46-A/D转换器，50-图像获取部，52-DSP，53-降噪部，54-图像处理切换部，55-图像处理部，55a-第1照明光图像生成部，55b-第2照明光图像生成部，55c-重叠图像生成部，55d-显示用图像生成部，55e-鉴别处理部，55eM-鉴别模型，55ep-鉴别结果P，55eq-鉴别结果Q，55f-重叠处理部，56-手术辅助信息提示模式切换部，60-第1手术辅助信息计算部，60M-手术辅助信息计算模型，60a-手术辅助信息A，60b-手术辅助信息B，60c-手术辅助信息C，60d-手术辅助信息D，60e-手术辅助信息E，60f-手术辅助信息F，60g-手术辅助信息G，60h-手术辅助信息H，60i-手术辅助信息I，60j-手术辅助信息J，60p-手术辅助信息P，60q-手术辅助信息Q，61-显示控制部，62-处置时间计算部，62M-处置时间计算模型，62p-处置预想时间P，62q-处置预想时间Q，63-静止图像获取部，64-诊断结果输入部，70-中央控制部，80-手术信息存储存储器，81-处置器具的库存信息，81a-处置器具的库存信息S，81b-处置器具的库存信息T，82-处置模式信息，82a-处置模式信息S，82b-处置模式信息T，83-周边环境信息，83a-周边环境信息S，83b-周边环境信息T，84-患者风险判定信息，84a-患者风险判定信息S，84b-患者风险判定信息T，85-手术者信息，85a-手术者信息S，85b-手术者信息T，120-手术辅助信息提示画面，121-检查图像，123-手术辅助信息，125-处置器具的图像，126a-下位方向的位次切换用图标，126b-上位方向的位次切换用图标，130-警告显示，140-处置预想时间，150-同意按钮，151-否定按钮，152-处置开始按钮，153-检查图像保存按钮，154-屏幕截图按钮，200-第2手术辅助信息计算部，202-模板图像存储存储器，203-第2照明光图像的特征量计算部，204-模板图像的特征量计算部，205-综合匹配度计算部，207-模板图像选择部，209-适当度计算部，211-手术辅助信息输出部。

Claims (14)

1.一种内窥镜系统，其具备图像控制用处理器，

所述图像控制用处理器进行如下处理：

获取检查图像；

对所述检查图像进行鉴别处理；

参考所述鉴别处理的结果即鉴别结果，计算与处置器具相关的手术辅助信息；及

将所述检查图像及所述手术辅助信息中包含的所述处置器具显示于显示器，

所述图像控制用处理器具有学习模型，

所述学习模型为学习完毕的学习模型，

所述学习模型通过所述鉴别结果和手术信息的输入，提高与所述处置器具相关的适当度来输出一个或一个以上的所述手术辅助信息，输入的所述手术信息为包含如下信息在内的手术信息中的一个或者通过组合一个以上而得：

所述处置器具的库存信息；

按照指导方针的病变和所述处置器具的对应关联信息即处置模式信息；

与咽喉、食道、胃、小肠、大肠的解剖学部位和血管的行进情况相关的周边环境信息；

患者的既往史、检查/处置史、使用中的医药品这样的患者风险判定信息；及

手术者信息，

所述处置器具的适当度是表示所述处置器具的适当程度的分数。

2.根据权利要求1所述的内窥镜系统，其中，

所述学习模型在使所述处置器具的库存信息的输入不同的情况下，输出不同的所述手术辅助信息。

3.根据权利要求1所述的内窥镜系统，其中，

所述学习模型在使所述处置模式信息的输入不同的情况下，输出不同的所述手术辅助信息。

4.根据权利要求1所述的内窥镜系统，其中，

所述学习模型在使所述周边环境信息的输入不同的情况下，输出不同的所述手术辅助信息。

5.根据权利要求1所述的内窥镜系统，其中，

所述学习模型在使所述患者风险判定信息的输入不同的情况下，输出不同的所述手术辅助信息。

6.根据权利要求1所述的内窥镜系统，其中，

所述学习模型在使所述手术者信息的输入不同的情况下，输出不同的所述手术辅助信息。

7.根据权利要求1所述的内窥镜系统，其中，

所述学习模型通过与所述处置器具相关的所述手术辅助信息的输入，输出处置预想时间。

8.根据权利要求1至7中任一项所述的内窥镜系统，其中，

在按下手术辅助信息提示按钮之后，显示所述手术辅助信息。

9.根据权利要求1至7中任一项所述的内窥镜系统，其中，

所述手术辅助信息包含所述处置器具的名称、与所述处置器具相关的适当度、与所述处置器具相关的适当度的位次。

10.根据权利要求9所述的内窥镜系统，其中，

所述手术辅助信息的显示能够按照所述适当度的位次进行切换。

11.根据权利要求9所述的内窥镜系统，其中，

在与所述处置器具相关的所述适当度不满足特定条件的情况下，进行警告显示。

12.根据权利要求11所述的内窥镜系统，其中，

在选择多个满足所述特定条件的所述处置器具的情况下，能够变更所述特定条件。

13.根据权利要求1所述的内窥镜系统，其中，

所述内窥镜系统具备光源用处理器，

所述光源用处理器进行如下处理：

控制发光光谱互不相同的第1照明光及第2照明光的发光；

在自动切换发出所述第1照明光的第1照明期间和发出所述第2照明光的第2照明期间的情况下，以第1发光模式发出所述第1照明光，并以第2发光模式发出所述第2照明光；及

获取基于所述第1照明光的第1照明光图像、基于所述第2照明光的第2照明光图像、将针对所述第2照明光图像的所述鉴别处理的结果重叠显示于基于所述第1照明光图像的显示用图像的重叠图像，来作为所述检查图像。

14.一种内窥镜系统的工作方法，所述内窥镜系统具备图像控制用处理器，其中，

所述图像控制用处理器进行如下处理：

获取检查图像；

对所述检查图像进行鉴别处理；

参考所述鉴别处理的结果即鉴别结果，计算与处置器具相关的手术辅助信息；及

将所述检查图像及所述手术辅助信息中包含的所述处置器具显示于显示器，

所述图像控制用处理器具有学习模型，

所述学习模型为学习完毕的学习模型，

所述学习模型通过所述鉴别结果和手术信息的输入，提高与所述处置器具相关的适当度来输出一个或一个以上的所述手术辅助信息，输入的所述手术信息为包含如下信息在内的手术信息中的一个或者通过组合一个以上而得：

所述处置器具的库存信息；

按照指导方针的病变和所述处置器具的对应关联信息即处置模式信息；

与咽喉、食道、胃、小肠、大肠的解剖学部位和血管的行进情况相关的周边环境信息；

患者的既往史、检查/处置史、使用中的医药品这样的患者风险判定信息；及

手术者信息，

所述处置器具的适当度是表示所述处置器具的适当程度的分数。