CN116997284A - 控制装置、内窥镜装置以及控制方法 - Google Patents

Abstract

控制装置(200)进行具有多个像素的摄像元件(114)的控制。控制装置包括进行摄像元件的控制的摄像控制部(211)。摄像控制部在从多个像素中的第一像素数的像素读取信号的第一读取期间，进行读取第一摄像信号的控制，该第一摄像信号是来自第一像素数的像素的信号。摄像控制部在从多个像素中的比第一像素数少的第二像素数的像素读取信号的第二读取期间，进行读取第二摄像信号的控制，该第二摄像信号是来自第二像素数的像素的信号。此时，第二读取期间比第一读取期间短。

Description

控制装置、内窥镜装置以及控制方法

技术领域

本发明涉及一种控制装置、内窥镜装置以及控制方法等。

背景技术

已知一种搭载诊断辅助功能的内窥镜装置。作为诊断辅助的一例，具有通过AI(Artificial Intelligence：人工智能)从图像中提取病变部并呈现该病变部的功能。例如，在专利文献1中，提出了如下一种内窥镜装置：为了提供高精度的辅助信息而能够单独地观察用于显示的图像和用于提取辅助信息的图像。

现有技术文献

专利文献

专利文献1：国际公开第2020/174572号

发明内容

发明要解决的问题

然而，在上述的内窥镜装置中，拍摄用于显示的图像的曝光期间比通常的观察短。因此，存在显示图像变暗的问题。

用于解决问题的方案

本公开的一个方式涉及一种控制装置，进行具有多个像素的摄像元件的控制，所述控制装置包括摄像控制部，所述摄像控制部进行如下的所述摄像元件的所述控制：在从所述多个像素中的第一像素数的像素读取信号的第一读取期间读取第一摄像信号，在从所述多个像素中的第二像素数的像素读取信号的第二读取期间读取第二摄像信号，其中，该第一摄像信号是来自所述第一像素数的像素的信号，该第二摄像信号是来自所述第二像素数的像素的信号，所述第二像素数比所述第一像素数少，所述第二读取期间比所述第一读取期间短。

本公开的另一方式涉及一种内窥镜装置，包括：上述记载的控制装置；以及包括所述摄像元件的摄像装置。

本公开的又一方式涉及一种控制方法，用于进行具有多个像素的摄像元件的控制，其中，进行在从所述多个像素中的第一像素数的像素读取信号的第一读取期间读取第一摄像信号的所述控制，该第一摄像信号是来自所述第一像素数的像素的信号，进行在从所述多个像素中的第二像素数的像素读取信号的第二读取期间读取第二摄像信号的所述控制，该第二摄像信号是来自所述第二像素数的像素的信号，所述第二像素数比所述第一像素数少，所述第二读取期间比所述第一读取期间短。

附图说明

图1是内窥镜装置的第一结构例。

图2是示出第一实施方式中的发光序列和摄像序列的图。

图3是对第二实施方式的疏化读取进行说明的图。

图4是示出第二实施方式中的发光序列和摄像序列的图。

图5是对第三实施方式的局部区域读取进行说明的图。

图6是示出第三实施方式中的发光序列和摄像序列的图。

图7是内窥镜装置的第二结构例。

图8是第二结构例中的光源部的详细结构例。

图9是示出存在诊断模式中的发光序列和摄像序列的图。

图10是对显示图像的生成处理进行说明的图。

图11是示出NBI模式中的发光序列和摄像序列的图。

图12是示出虚拟染色模式中的发光序列和摄像序列的图。

图13是示出在从存在诊断模式切换为定性诊断模式时处理部进行的处理的过程的流程图。

图14是对判断是否从存在诊断模式转变为定性诊断模式的手段进行说明的图。

图15是定性诊断模式中的自动分类的一例。

图16是示出UC炎症诊断模式中的发光序列和摄像序列的图。

图17是UC炎症诊断模式中的辅助信息的显示例。

图18是示出范围诊断模式中的发光序列和摄像序列的图。

图19是范围诊断模式中的显示图像的例子。

图20是示出出血点识别模式中的发光序列和摄像序列的图。

图21是出血点识别模式中的显示图像的例子。

图22是内窥镜系统的结构例。

具体实施方式

下面，对本实施方式进行说明。此外，下面说明的本实施方式并非不合理地限定权利要求书所记载的内容。另外，本实施方式中说明的结构未必全部是本公开的必需构成要件。例如，下面说明将控制装置应用于内窥镜装置的情况，但是本公开的控制装置能够应用于使用卷帘快门方式的摄像元件获取图像的各种装置。

1.内窥镜装置的第一结构例

首先，对本实施方式的内窥镜装置1的结构进行说明。之后，对延长用于拍摄显示图像的曝光期间的手段进行说明。

图1是内窥镜装置1的第一结构例。如图1所示，内窥镜装置1包括内窥镜100、控制装置200以及显示部300。此外，也将内窥镜100称为镜体，也将显示部300称为显示器或显示装置。此外，在图1中，主要图示本实施方式的说明所需要的部分，适当地省略除此以外的详细内容。

内窥镜100包括插入部110和连接器133。插入部110具有可挠性，能够插入生物体的体腔内。生物体的体腔是本实施方式中的被摄体。连接器133设置于内窥镜100的一端，能够与控制装置200侧的连接器250之间进行安装和拆卸。通过将连接器133与连接器250连接，来将内窥镜100与控制装置200进行电连接和光学连接。

在插入部110的前端配置有朝向被摄体射出照明光的照明光学系统112、以及通过接收从被摄体的表面反射或散射回的照明光来拍摄图像的摄像装置。另外，插入部110包括用于将从光源部240射出的照明光引导至照明光学系统112的光导件131。

照明光学系统112将由光导件131引导来的照明光扩散成为期望的辐射角。此外，在图1中，在插入部110的前端设置有1个照明透镜，但是在插入部110的前端也可以设置多个照明透镜。光导件131例如是光纤束。摄像装置包括使被摄体成像的物镜光学系统113以及拍摄物镜光学系统113成像出的被摄体像的摄像元件114。摄像元件114是CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器，通过后述的摄像元件驱动部230驱动摄像元件114，来将摄像信号输出到控制装置200。

摄像元件114接收来自被由光源部240生成的光照明的被摄体的光并生成电信号。摄像元件114具有受光部，受光部具有多个水平扫描线，各水平扫描线包括多个像素。摄像元件114是卷帘快门方式的摄像元件。即，摄像元件114按水平扫描线顺次读取电信号，并且从电信号的读取完成的水平扫描线开始顺次曝光，由此生成1帧的摄像信号。

如图2所示，设为摄像元件114具有第一～第n水平扫描线。第一水平扫描线是第一行的水平扫描线，第n水平扫描线是最终行的水平扫描线。n为2以上的自然数。第一～第n水平扫描线为顺次读取线，被读取像素信号。因此，在第一行的线与第n行的线之间，读取定时产生时间差。

在摄像元件114的第一水平扫描线的像素数据的读取开始后直至第n水平扫描线的像素数据的读取结束为止的期间为CMOS卷帘快门的影像读取期间Tr。周期性地产生的影像读取期间Tr以外的针对所有的线同时进行曝光的期间为CMOS卷帘快门的全线同时曝光期间Te。在图像的1场或1帧的期间T(CMOS卷帘快门的1个周期)中包括影像读取期间Tr和全线同时曝光期间Te。此外，图2的详细内容在后面记述。

此外，能够在插入部110搭载省略了图示的各种功能或机构。例如，能够在插入部110搭载用于操作内窥镜100的镜体操作部、或用于使前端部弯曲的弯曲机构、或能够插入钳子等的钳子孔、或在处置时使用的电手术刀等处置器具、或用于能够喷出和抽吸液体和气体的送气送水管等。另外，插入部110中包括的构成要素的一部分也可以省略。

控制装置200对内窥镜装置1的各部进行控制、或者对由内窥镜100拍摄到的图像进行图像处理。控制装置200包括光源部240、控制部210、摄像元件驱动部230、存储部220以及连接器250。光源部240也被称为光源装置，控制部210也被称为控制电路，摄像元件驱动部230也被称为摄像元件驱动电路，存储部220也被称为存储装置。

控制部210进行内窥镜装置1整体的控制和各部的控制。控制部210包括摄像控制部211、光源控制部212、图像生成部213以及辅助信息生成部214。能够设想通过各种硬件实现控制部210。例如，控制装置200包括处理器以及存储程序的存储器。在程序中描述了控制部210的一部分或全部的功能。通过处理器执行存储于存储器的程序，来将控制部210的一部分或全部的功能作为处理执行。处理器也可以是CPU、MPU或DSP等，或者也可以是ASIC或FPGA等。存储器也可以是RAM或非易失性存储器等半导体存储器，或者也可以是硬盘驱动器等磁性存储装置。在程序中描述有摄像控制部211、光源控制部212、图像生成部213以及辅助信息生成部214的功能。或者，在程序中也可以描述摄像控制部211、光源控制部212、图像生成部213或辅助信息生成部214的功能、或者它们中的任意2个或3个部件的功能。另外，本实施方式的程序也可以被存储于信息存储介质。信息存储介质是能够由计算机读取的介质。作为信息存储介质，能够设想DVD或CD等光盘、硬盘、非易失性存储器或ROM等半导体存储器等各种存储介质。

摄像控制部211通过控制摄像元件驱动部230，来控制摄像元件114的曝光和信号读取。具体地说，摄像控制部211控制卷帘快门方式中的各水平扫描线的曝光开始和曝光结束、以及来自各水平扫描线的摄像信号的读取。

光源控制部212控制从光源部240射出的照明光的光谱特性。即，光源控制部212通过对光源驱动部241输出控制信号，来使各光源发光或熄灭、或者控制各光源的发光量。另外，光源控制部212通过控制光源部240的滤光器部242，来控制照明光的光谱特性。另外，光源控制部212按照规定的发光序列来控制各光源的发光定时。光源控制部212通过上述控制来使光源部240分时地发出显示用照明光和辅助用照明光。

图像生成部213基于来自摄像元件114的摄像信号生成显示图像。具体地说，图像生成部213根据在显示用照明光被照射于被摄体时拍摄到的摄像信号来生成显示图像。并且，图像生成部213根据在辅助用照明光被照射于被摄体时拍摄到的摄像信号来生成辅助用图像。图像生成部213例如进行对摄像信号进行插值处理来生成RGB图像的处理、或白平衡处理、或灰度变换处理等图像处理。另外，图像生成部213将基于后述的辅助信息生成部214所生成的辅助信息的显示内容叠加在显示图像上，并将该显示图像输出到显示部300。

显示部300例如是液晶显示器等显示装置。显示部300显示图像生成部213所输出的显示图像。由此，利用显示用照明光拍摄到的图像和叠加于该图像上的辅助信息被呈现给内窥镜装置1的用户。

辅助信息生成部214根据辅助用图像生成辅助信息。辅助信息是用于对使用内窥镜装置1的医生进行的诊断或处置进行辅助的信息。辅助信息生成部214进行基于AI(Artificial Intelligence：人工智能)的推断处理。即，辅助信息生成部214通过推断处理来从被输入的图像信号提取辅助信息。作为AI，能够采用各种图像识别手段或机器学习手段。机器学习是基于学习结果来进行各种推断的处理。作为代表性的AI，有神经网络，但是不限定于此，作为本实施方式中的AI，能够采用已知的各种机器学习的手段。

存储部220例如是半导体存储器、或硬盘驱动器等存储装置。存储部220存储有学习完毕模型的信息。辅助信息生成部214基于学习完毕模型来进行上述基于AI的推断处理。作为执行推断处理的辅助信息生成部214的硬件，能够设想各种硬件。例如，辅助信息生成部214是CPU等通用处理器。在该情况下，存储部220存储描述有推断算法的程序和在该推断算法中使用的参数来作为学习完毕模型的信息。或者，辅助信息生成部214也可以是将推断算法硬件化而得到的专用处理器。在该情况下，存储部220存储推断算法中使用的参数来作为学习完毕模型的信息。

推断算法为神经网络。神经网络具备输入数据的输入层、对通过输入层输入的数据进行运算处理的中间层、以及基于从中间层输出的运算结果来输出数据的输出层。输入层中包含的节点与中间层中包含的节点进行连接，中间层中包含的节点与输出层中包含的节点进行连接。该节点间连接的权重系数相当于上述的参数。

摄像元件驱动部230是基于来自摄像控制部211的摄像元件控制信号生成摄像元件驱动信号来驱动摄像元件114的电路。在摄像元件驱动信号中包含提供针对摄像元件114的曝光定时和读取定时的同步信号。另外，摄像元件驱动部230是基于来自摄像控制部211的电子快门控制信号生成电子快门驱动信号来进行摄像元件114的电子快门处理的电路。

光源部240生成照明光，并使该照明光向光导件131入射。光源部240能够产生具有各种光谱特性的照明光，分时地射出用于拍摄显示图像的显示用照明光和用于生成辅助信息的辅助用照明光。具体地说，光源部240包括射出红色光的光源LR、射出琥珀色光的光源LA、射出绿色光的光源LG、射出蓝色光的光源LB、射出紫色光的光源LV、透镜LN1～LN6、分色镜DC1～DC4、光源驱动部241以及滤光器部242。此外，光源部240的结构不限定于图1。例如，也可以代替分色镜DC1～DC4而设置由光纤形成的光合波部。

光源LR、LA、LG、LB、LV分别是半导体激光元件(LASER Diode：激光二极管)。在该情况下，照明光是激光。或者，光源LR、LA、LG、LB、LV也可以分别是LED(Light EmittingDiode：发光二极管)。例如，能够采用射出波长范围为几十nm左右的窄带光的LED。但是，照明光不限定于窄带光，例如只要与显示图像的可视性、或者辅助信息的提取手段相符合地采用适当范围的照明光即可。此外，

下面，以光源LR、LA、LG、LB、LV分别是半导体激光元件的情况为例进行说明。光源LR射出波长λe＝635nm的红色激光。光源LA射出波长λd＝600nm的橙色激光。光源LG射出波长λc＝532nm的绿色激光。光源LB射出波长λb＝445nm的蓝色激光。光源LV射出波长λa＝405nm的蓝紫激光。这些光例如是半值宽度为几十nm的窄带光。各光源射出的光量被独立地控制。例如只要与显示图像的可视性、或者辅助信息的提取手段相符合地采用适当的光量即可。此外，各光源射出的光不限定于此。即，红色光在波长区域615nm～680nm具有峰值波长即可，琥珀色光在波长区域586nm～615nm具有峰值波长即可，绿色光在波长区域495nm～585nm具有峰值波长即可，蓝色光在波长区域440nm～495nm具有峰值波长即可，蓝紫光在波长区域400nm～440nm具有峰值波长即可。

光源驱动部241与光源LR、LA、LG、LB、LV电连接。光源驱动部241被光源控制部212控制，基于该控制来驱动光源LR、LA、LG、LB、LV。光源LR、LA、LG、LB、LV通过从光源驱动部241供给的电力来使激光振荡。

透镜LN1使光源LR所射出的光向分色镜DC1入射。同样，透镜LN2、LN3、LN4、LN5使光源LA、LG、LB、LV所射出的光向分色镜DC1、DC2、DC3、DC4入射。

分色镜DC1使光源LR所射出的光通过，对光源LA所射出的光进行反射。同样，分色镜DC2、DC3、DC4使来自分色镜DC1、DC2、DC3的光通过，并对光源LG、LB、LV所射出的光进行反射。

滤光器部242构成为能够进行滤光器与通过部分之间的切换。滤光器也可以设置多个。通过部分用于使来自分色镜DC4的光不改变光谱特性地直接通过。滤光器具有光谱透射率特性，使来自分色镜DC4的光中的与光谱透射率特性对应的波长区域通过。光源LR、LA、LG、LB、LV构成为能够使它们中的任意1个或多个光源发光。通过选择这5个光源中的要发光的光源以及选择滤光器部242的滤光器，来实现具有期望的光谱特性的照明光。

透镜LN6使通过了滤光器部242的光朝向与连接器250连接的内窥镜100的光导件131的入射端射出。

2.发光序列和摄像序列

对本实施方式所涉及的内窥镜装置1的动作进行说明。内窥镜装置1具有存在诊断模式、定性诊断模式等诊断辅助模式。诊断辅助模式是在显示部300显示将从利用辅助用照明光拍摄到的辅助用图像提取出的辅助信息附加在利用显示用照明光拍摄到的通常图像上而得到的显示图像的模式。关于诊断辅助模式中的辅助用照明光和辅助信息的详细内容在后面记述，此处对诊断辅助模式中的发光序列和摄像序列进行说明。此外，下面说明的第一～第三实施方式各自的序列能够与后述的各种诊断辅助模式分别进行组合。

图2是示出第一实施方式中的发光序列和摄像序列的图。摄像元件114在期间TH进行用于生成通常图像的摄像，在期间TAI进行用于生成诊断辅助用图像的摄像。

在摄像元件114的驱动序列中，使拍摄被摄体的曝光期间Te和读取摄像信号的读取期间Tr重复。期间TH和期间TAI各自包含曝光期间Te和读取期间Tr。

在以帧频60Hz进行显示图像的显示的情况下，例如，期间TH的曝光期间Te为160Hz，期间TH的读取期间Tr为240Hz，期间TAI的曝光期间Te为240Hz，期间TAI的读取期间Tr为480Hz。在此，用频率来表示期间的长度。例如，当用时间表示曝光期间Te的长度时，为1/160Hz＝6.25ms。

在期间TH中的曝光期间Te，光源控制部212使光源部240射出白色光作为显示用照明光。白色光只要是利用该光拍摄到的图像被视觉识别为大致白色光图像的光即可。例如，在曝光期间Te使光源LR、LA、LG、LB、LV全部发光即可，但是不限定于此。

摄像元件114接收照射于被摄体的显示用照明光的返回光。在期间TH中的读取期间Tr，摄像元件114按每条水平扫描线从全部的像素顺次读取电信号。摄像元件114将读取到的摄像信号输出到控制装置200。另外，在摄像元件114中，摄像信号的读取完成的水平扫描线上的各像素的蓄积电荷依次被废弃。图像生成部213根据在期间TH拍摄到的摄像信号生成通常图像。通常图像是白色光图像。此外，此处对显示图像为白色光图像的例子进行了说明，但是在期间TH被拍摄为显示图像的图像不限定于白色光图像。

在期间TAI的曝光期间Te，光源控制部212使光源部240射出辅助用照明光。辅助用照明光是光谱与显示用照明光的光谱不同的光。即，发光的光源以及各光源的光量中的至少一方在期间TAI的曝光期间Te与期间TH的曝光期间Te中不同。此外，关于辅助用照明光的详细内容在后面记述。

摄像元件114接收照射于被摄体的辅助用照明光的返回光。在期间TH的读取期间Tr，摄像元件114选择第一～第n水平扫描线的全部、即n条水平扫描线，并从所选择的该水平扫描线的像素读取电信号。另一方面，在期间TAI的读取期间Tr，摄像元件114选择第一～第n水平扫描线中的、比n条少的条数的水平扫描线，并从所选择的该水平扫描线的像素读取电信号。在图2的例子中，在期间TAI的读取期间Tr，摄像元件114选择n/2条水平扫描线。由此，期间TAI的读取期间Tr的长度成为期间TH的读取期间Tr的长度的1/2。

摄像元件114将读取到的摄像信号输出到控制装置200。在摄像元件114中，摄像信号的读取完成的水平扫描线的各像素以及未进行摄像信号的读取而被跳过的水平扫描线的各像素中蓄积的电荷依次被废弃。

在上述的专利文献1中，期间TH的曝光期间Te、期间TH的读取期间Tr、期间TAI的曝光期间Te以及期间TAI的读取期间Tr都为240Hz。在本实施方式中，期间TH的读取期间Tr为480Hz，是专利文献1中的期间TH的读取期间Tr的一半长度。能够使期间TH的曝光期间Te延长该期间TH的读取期间Tr缩短的量。关于期间TH的曝光期间Te，相对于专利文献1的240Hz而言，在本实施方式中为160Hz，在时间上变为1.5倍的长度。由此，能够比以往延长作为显示图像的通常图像的曝光期间。

图3是对第二实施方式的疏化读取进行说明的图。图4是示出第二实施方式中的发光序列和摄像序列的图。

如图3所示，在期间TAI的读取期间Tr，摄像元件114从第一～第n水平扫描线中每隔1行选择水平扫描线，从所选择的该水平扫描线的像素读取电信号。每隔1行的水平扫描线是奇数行或偶数的水平扫描线。在图3和图4中示出奇数行的水平扫描线被选择的例子。

在图4中，曝光期间Te中示出的横线表示在读取期间Tr被读取信号的水平扫描线。在期间TH的读取期间Tr，摄像元件114逐条线地顺次选择第一～第n水平扫描线，并从第一～第n水平扫描线的全部线读取信号。在期间TAI的读取期间Tr，摄像元件114顺次选择第一～第n水平扫描线中的奇数号的水平扫描线，从n/2条水平扫描线读取信号。

此外，上面说明了通过每隔一条线的读取来疏化读取对象线的例子，但是疏化的手段不限定于此，例如也可以通过合并来疏化读取对象线。合并是指通过将相邻的多个像素的蓄积电荷一并读取来将该多个像素作为虚拟的1个像素进行处理的手段。例如，在2×2合并的情况下，读取线数变为1/2。

图5是对第三实施方式的局部区域读取进行说明的图。图6是示出第三实施方式中的发光序列和摄像序列的图。

如图5所示，在期间TAI的读取期间Tr，摄像元件114选择第一～第n水平扫描线中的连续的n/2条水平扫描线，并从所选择的该水平扫描线的像素读取电信号。在此，将n设为偶数。连续的n/2条水平扫描线在将i设为0以上且n/2以下的整数时为第i+1～第i+n/2水平扫描线。

将第一～第n水平扫描线的像素被配置的区域设为第一区域，将第i+1～第i+n/2水平扫描线被配置的区域设为第二区域。此时，摄像控制部211能够任意地设定第一区域中的第二区域的位置。

例如，摄像控制部211基于被输入的设定信息来设定第二区域的位置。设定信息是用于指定第二区域的位置的信息，由用户输入到控制装置200。在该情况下，第二区域的位置例如为画面中央、或比画面中央略靠下。

或者，摄像控制部211基于根据第一摄像信号或第二摄像信号生成的图像来设定第二区域的位置。摄像控制部211例如在图像内相对明亮的部分设定第二区域。表示明亮度的指标例如为亮度值。此外，设定第二区域的区域不限定于明亮的区域。例如，也可以在诊断辅助模式中检测病变等关注区域的情况下，摄像控制部211以包含所检测到的关注区域的方式设定第二区域。

上面所说明的控制装置200进行具有多个像素的摄像元件114的控制。控制装置200包括进行摄像元件114的控制的摄像控制部211。摄像控制部211进行在从多个像素中的第一像素数的像素读取信号的第一读取期间读取第一摄像信号的控制，该第一摄像信号是来自第一像素数的像素的信号。摄像控制部211进行在从多个像素中的比第一像素数少的第二像素数的像素读取信号的第二读取期间读取第二摄像信号的控制，该第二摄像信号是来自第二像素数的像素的信号。此时，第二读取期间比第一读取期间短。此外，在图2、图4以及图6中，第一读取期间与期间TH的读取期间Tr对应，第二读取期间与期间TAI的读取期间Tr对应。

更具体地说，摄像元件114是卷帘快门方式的摄像元件。摄像控制部211在第一读取期间，从摄像元件114具有的多个水平扫描线中的第一线数的水平扫描线的像素读取第一摄像信号。摄像控制部211在第二读取期间，从多个水平扫描线中的比第一线数少的第二线数的水平扫描线的像素读取第二摄像信号。此外，在图2～图6中，第一线数与n条对应，第二线数与n/2条对应。

根据本实施方式，与为了生成通常图像而被读取摄像信号的像素的像素数相比，为了生成辅助用图像而被读取摄像信号的像素的像素数减少。由此，能够将拍摄诊断辅助用图像的期间TAI中的读取电信号的读取期间Tr设定得短。如果考虑帧频固定，则能够将拍摄通常图像的期间TH中的曝光期间Te设定为延长期间TAI的读取期间Tr缩短的量，因此能够生成明亮的显示图像。通过这样，能够提供这样的控制装置，其能够通过与获取的图像相应地使读取的像素数优化来获取在提取辅助信息时使用的图像并且获取明亮的显示图像。

另外，在本实施方式中，第二像素数的像素也可以是第一像素数的像素中的一部分像素被间隔剔除后的像素。

更具体地说，第一线数的水平扫描线是作为多个水平扫描线的第一～第n水平扫描线。第二线数的水平扫描线是第一～第n水平扫描线中的奇数号或偶数号的水平扫描线。

根据本实施方式，通过将第一像素数的像素中的一部分像素被间隔剔除后的像素设为第二像素数的像素，由此第二像素数相较于第一像素数而言变少，第二读取期间相较于第一读取期间而言变短。另外，通过使用疏化，由此使通过第二像素数的像素获取的图像的视野与通过第一像素数的像素获取的图像的视野为相同程度，因此基于拍摄整个视野所得到的诊断辅助用图像来生成辅助信息。例如，在病变的筛选等中使用后述的存在诊断模式，在该情况下，期望从整个视野获得病变检测的辅助信息。

另外，在本实施方式中，也可以是，在摄像元件114中，在将第一像素数的像素被配置的区域设为第一区域、将第二像素数的像素被配置的区域设为第二区域时，第二区域是第一区域的一部分区域。

更具体地说，第一线数的水平扫描线是作为多个水平扫描线的第一～第n水平扫描线。第二线数的水平扫描线是第一～第n水平扫描线中的第i+1～第i+n/2水平扫描线。

根据本实施方式，通过将第一区域的一部分设为第二区域，由此第二像素数相较于第一像素数而言变少，第二读取期间相较于第一读取期间而言变短。另外，通过使第二区域为第一区域的一部分，从而关于该第二区域的部分，无论是通常图像还是诊断辅助用图像都能够得到相同的分辨率。由此，基于第二区域的分辨率未降低的诊断辅助用图像来生成辅助信息。例如，在病变的详查等中使用后述的定性诊断模式，在该情况下，期望从高分辨率的病变部的图像获得定性诊断的辅助信息。

另外，在本实施方式中，摄像控制部211能够将第二区域的位置设定为可变。例如，摄像控制部211将第二区域设定于图像中央。或者，摄像控制部211将根据第一摄像信号或第二摄像信号获取的图像中的相对明亮的区域设定为第二区域。

根据本实施方式，能够将希望提取辅助信息的任意的区域设定为第二区域。操作内窥镜100的医生使病变位于图像中央附近来观察该病变。在该情况下，期望将第二区域设定于图像中央。另外，期望将第二区域可变地设定于医生所指定的位置。或者，在通过AI图像识别来检测病变的情况下，通过设定包含检测出的该病变的第二区域，能够利用AI来更详细地对该病变进行分析。

另外，本实施方式的控制装置200包括光源部240。光源部240在第一读取期间之前的第一曝光期间射出第一照明光来作为向被摄体照射的照明光。光源部240在第二读取期间之前的第二曝光期间射出第二照明光来作为向被摄体照射的照明光。摄像控制部211进行在第一曝光期间至少将第一像素数的像素设定为曝光状态的控制。摄像控制部211进行在第二曝光期间至少将第二像素数的像素设定为曝光状态的控制。此外，在图2、图4以及图6中，第一曝光期间与期间TH的曝光期间Te对应，第二曝光期间与期间TAI的曝光期间Te对应。

更具体地说，第二照明光是光谱与第一照明光的光谱不同的光。另外，第一曝光期间的长度比第二曝光期间的长度长。

根据本实施方式，能够在第一读取期间读取拍摄被第一照明光照明的被摄体得到的第一摄像信号，在比第一读取期间短的第二读取期间读取拍摄被第二照明光照明的被摄体得到的第二摄像信号。由此，能够在与照明光相应的长度的读取期间读取摄像信号，并且能够使第一曝光期间延长第二读取期间缩短的量。

另外，本实施方式的控制装置200包括图像生成部213和辅助信息生成部214。图像生成部213基于第一摄像信号来生成在显示部300显示的显示图像。辅助信息生成部214基于第二摄像信号来生成对诊断或处置进行辅助的辅助信息。此时，第一照明光是用于获取显示图像的光。第二照明光是用于获取辅助信息的光。在图2、图4以及图6中，第一照明光与显示用照明光对应，第二照明光与辅助用照明光对应。

根据本实施方式，在第一读取期间读取拍摄被显示用照明光照明的被摄体得到的第一摄像信号，在比第一读取期间短的第二读取期间读取拍摄被辅助用照明光照明的被摄体得到的第二摄像信号。由此，能够使被摄体被显示用照明光照明的第一曝光期间延长第二读取期间缩短的量，能够获取明亮的显示图像。通过延长曝光期间，来提高显示图像的亮度、或者降低显示图像的噪声。

另外，本实施方式的控制装置200包括辅助信息生成部214。辅助信息生成部214在第一判断模式中，基于第二摄像信号来生成对诊断或处置进行辅助的第一辅助信息。辅助信息生成部214基于第一辅助信息来进行从第一判断模式向第二判断模式的切换。辅助信息生成部214在第二判断模式中，基于第二摄像信号来生成与第一辅助信息相比所辅助的诊断或处置的内容不同的第二辅助信息。在第一判断模式中，第二像素数的像素是第一像素数的像素中的一部分像素被间隔剔除后的像素。在第二判断模式中，在摄像元件114中，在将第一像素数的像素被配置的区域设为第一区域、将第二像素数的像素被配置的区域设为第二区域时，第二区域是第一区域的一部分区域。此外，关于第一判断模式和第二判断模式在后面记述，但是作为一例，第一判断模式是诊断被摄体中包含的病变候选的存在的存在诊断模式，第一辅助信息是表示病变候选的存在的信息。第二判断模式是诊断病变候选的状态的定性诊断模式，第二辅助信息是表示病变候选的状态的信息。

根据本实施方式，能够根据判断模式来切换疏化读取和局部区域读取。例如，在病变的筛选等中，使用存在诊断模式作为第一判断模式，但是在该情况下，期望从整个视野获得病变检测的辅助信息。另外，在病变的详查等中，使用定性诊断模式作为第二判断模式，但是在该情况下，期望从高分辨率的病变部的图像获得定性诊断的辅助信息。

3.内窥镜装置的第二结构例

图7是内窥镜装置1的第二结构例。图8是第二结构例中的光源部240的详细结构例。如图7和图8所示，在第二结构例中，内窥镜装置1包括操作部600。另外，内窥镜100包括测距传感器115。另外，光源控制部212包括模式判定部215。另外，光源部240包括光传感器SS1～SS5。此外，对第一结构例中所说明的构成要素标注相同的附图标记，并适当省略关于该构成要素的说明。

操作部600是用于医生等用户操作内窥镜装置1的装置。例如，操作部600是按钮、转盘、脚踏开关或触摸面板等。

测距传感器115测定从插入部110的前端到被摄体的距离。测距传感器115例如为TOF(Time Of Flight：飞行时间)方式的测距传感器、或者超声波测距传感器等。此外，也可以代替测距传感器而通过将物镜光学系统113设为立体光学系统来测定距离。在使用TOF方式的测距传感器的情况下，有时使用红外光等长波长的光。此外，在不使用测距功能的实施方式中，也可以省略测距传感器115。

光传感器SS1、SS2、SS3、SS4、SS5分别配置于能够检测来自光源LR、LA、LG、LB、LV的漏光的位置。漏光是指被射出到不是向透镜LN1～LN5入射的光路的部分的光。光源控制部212基于光传感器SS1的输出信号，来进行反馈控制以使光源LR的发光量成为期望值。同样，光源控制部212基于光传感器SS2、SS3、SS4、SS5的输出信号，来进行反馈控制以使光源LA、LG、LB、LV的发光量成为期望值。

内窥镜装置1具有存在诊断模式、定性诊断模式以及处置辅助模式。在存在诊断模式、定性诊断模式以及处置辅助模式中，辅助用照明光的光谱特性不同。即，光源控制部212控制光源部240以产生与所设定的模式对应的光谱特性的辅助用照明光。光源控制部212包括模式判定部215，模式判定部215基于辅助信息生成部214所生成的辅助信息来进行判断模式的切换。此外，也可以基于从操作部600输入的信息来切换判断模式。

判断模式是与辅助信息生成部214生成辅助信息时的判断基准对应的模式。即，第一判断模式的辅助信息生成部214根据第一判断基准生成辅助信息，与第一判断模式不同的第二判断模式的辅助信息生成部214根据与第一判断基准不同的第二判断基准生成辅助信息。各判断模式的判断基准只要与该判断模式的观察目的对应即可。即，要求呈现的辅助信息根据观察目的而不同，但是只要采用用于从图像信息中提取与该观察目的相应的辅助信息的判断基准即可。例如，控制部210也可以基于图像信息来推测判断模式，并设定所推测出的该判断模式。通过设定判断模式，来设定生成辅助信息时的判断基准。下面，以第一判断模式为存在诊断模式且第二判断模式为定性诊断模式的情况为例进行说明。其中，存在诊断模式、定性诊断是在内窥镜观察时与医生的观察模式相应地设定的判断模式的例子，但也可以是其它预先决定的判断模式。另外，下面使用与各判断模式对应的学习完毕模型，但不限定于此，只要是根据判断模式而判断基准不同的处理即可。

通过与各判断模式对应的学习完毕模型来生成辅助信息。即，存储部220存储有与存在诊断模式对应的学习完毕模型的信息、与定性诊断模式对应的学习完毕模型的信息、以及与处置辅助模式对应的学习完毕模型的信息。而且，辅助信息生成部214通过基于与所设定的判断模式对应的学习完毕模型的推断处理，来根据图像信号生成辅助信息。各判断模式的学习完毕模型例如下述那样进行了学习。下面，以存在诊断模式为例进行说明，但是定性诊断模式、处置辅助模式也以同样的手段进行学习。

训练数据是利用存在诊断模式的辅助用照明光拍摄到的图像和医生等专家对该图像附加的标注信息。标注信息是作为辅助信息而希望显示的信息，在存在诊断模式中是例如示出病变部的位置或轮廓的信息等。准备图像与标注信息的多个组，它们为训练数据。训练数据中的图像被输入到推断算法，推断算法根据图像来推断辅助信息。然后，针对推断算法的参数进行反馈以使辅助信息与标注信息接近。使用图像与标注信息的多个组重复进行上述反馈来进行学习。

能够设想各种执行学习处理的环境。例如，也可以是，内窥镜装置1的控制部210执行学习处理，由此生成的学习完毕模型的信息被写入到存储部220。或者，也可以是，PC(Personal Computer：个人计算机)等信息处理装置执行学习处理，由此生成的学习完毕模型的信息被写入到内窥镜装置1的存储部220。

此外，在本说明书中，“病变”是指由辅助信息生成部214检测为存在病变的可能性的部位，由医生来判断实际是否为病变。即，辅助信息生成部214检测出的“病变”是病变候选。在本说明书中，也将病变候选简单记载为病变或病变部。

4.第四实施方式

下面，对根据观察目的而使照明光优化的手段进行说明。在第四实施方式中，基于辅助信息来自动地从存在诊断模式切换为定性诊断模式。如上所述，分时地射出显示用照明光和辅助用照明光，但是在存在诊断模式和定性诊断模式中分别将辅助用照明光设定为最优的光谱特性。

首先，对各模式中的发光序列和摄像序列进行说明。另外，对辅助信息的内容和辅助信息的显示手段等进行说明。

图9是示出存在诊断模式中的发光序列和摄像序列的图。在期间TH的曝光期间Te，光源控制部212使光源部240射出白色光W作为显示用照明光。在期间TAI的曝光期间Te，光源控制部212使光源部240射出琥珀色光A和紫色光V作为辅助用照明光。在帧频例如为60Hz的情况下，将期间TH与期间TAI合起来为60Hz。如图2等中所述的那样，期间TAI的读取期间Tr比期间TH的读取期间Tr短。另外，期间TH的曝光期间Te比期间TAI的曝光期间Te长。

紫色光是适合于获取粘膜的表层血管或腺管构造的特征的光。琥珀色光是适合于获取粘膜的深部血管或发红、炎症等的特征的光。即，辅助信息生成部214将能够基于粘膜的表层血管或腺管构造的特征检测的病变、或者能够基于粘膜的深部血管或发红、炎症等的特征检测的病变作为辅助信息进行检测。在存在诊断模式中，通过使用紫色光和琥珀色光，能够检测癌症及炎症性疾病等很多病变的存在。

图10是对显示图像的生成处理进行说明的图。图像生成部213根据在图9的期间TH拍摄得到的图像信号来生成通常图像。通常图像为白色光图像。

另外，图像生成部213根据在图9的期间TAI拍摄得到的图像信号来生成辅助用图像。辅助用图像是拍摄被琥珀色光和紫色光照明的被摄体得到的图像。辅助信息生成部214根据辅助用图像生成辅助信息。在图10中，在辅助用图像中的左下侧示出的影线部分为病变，检测其轮廓作为辅助信息。在图10中，用虚线示出了病变的轮廓。此外，也可以是，图像生成部213不生成辅助用图像，而直接将在期间TAI拍摄得到的图像信号输入到辅助信息生成部214。

图像生成部213将通常图像作为显示图像，并且将示出病变的轮廓的显示叠印在显示图像上。添加有该辅助信息的显示图像被显示于显示部300。使用内窥镜装置1的医生等通过查看该显示图像，能够识别病变候选的位置或轮廓等。医生等凭借经验或学习来掌握在通常图像中如何观察到病变。因此，通过将通常图像作为显示图像并在通常图像中添加辅助信息，由此易于医生对病变进行观察和诊断。

接着，对定性诊断模式中的发光序列等进行说明。作为定性诊断模式，能够设置多个诊断模式。在第四实施方式中，设置有NBI(Narrow Band Imaging：窄带成像)模式和虚拟染色模式。

图11是示出NBI模式中的发光序列和摄像序列的图。此外，省略关于与图9相同的内容的说明。

在NBI模式中，在期间TAI的曝光期间Te，光源控制部212使光源部240射出紫色光V和绿色光G。在NBI中使用紫色光V与绿色光G的组合。其中，紫色光V与绿色光G的光量比是对于基于AI的推断处理而言适当的光量比即可，不需要是通常的NBI中的光量比。

NBI模式等定性诊断模式中的辅助信息是与在存在诊断模式中检测出的病变有关的定性的辅助信息。定性的辅助信息例如能够设想病变的发展程度、或症状的程度、病变的范围、或病变与正常部位的边界等、病变的诊断中使用的各种信息。例如，也可以是，使学习完毕模型学习按照学会等制定的分类基准的分类，将由该学习完毕模型得到的分类结果作为辅助信息。

在NBI模式中，辅助信息生成部214通过基于与NBI模式对应的学习完毕模型的处理来生成定性的辅助信息。NBI模式中的定性的辅助信息是按照各种NBI分类基准进行分类得到的分类结果。作为NBI分类基准，例如有作为胃的病变分类基准的VSclassification、或作为大肠的病变分类基准的JNET、NICE分类、EC分类等。

图12是示出虚拟染色模式中的发光序列和摄像序列的图。此外，省略关于与图9等相同的内容的说明。

在虚拟染色模式中，在期间TAI的曝光期间Te，控制部210使用测距传感器115来对被摄体进行测距。具体地说，控制部210通过测距来获取被摄体表面的凹凸信息。凹凸信息例如是深度图等。辅助信息生成部214基于测距结果来生成辅助信息。辅助信息是表示虚拟染色的信息，例如是表示各像素的染色的浓淡的信息。在喷洒药剂进行的染色中，被摄体表面的凹部被进行较浓的染色。辅助信息生成部214生成如再现由于喷洒药剂造成的染色那样的虚拟染色的辅助信息。

图像生成部213通过基于辅助信息对利用显示用照明光拍摄到的通常图像进行染色处理，来生成显示图像。即，图像生成部213按照辅助信息所示的各像素的浓淡，来对各像素附加颜色。例如在靛蓝胭脂红的虚拟染色中，利用模拟了靛蓝胭脂红的蓝色进行虚拟染色。

辅助信息生成部214根据基于辅助信息被进行染色处理后的显示图像来生成定性的辅助信息。与虚拟染色模式对应的学习完毕模型将被进行了染色处理的图像和医生等专家对该图像附加的标注信息作为训练数据进行了学习。辅助信息生成部214使用该学习完毕模型来根据虚拟染色图像生成辅助信息。在标注时，能够使用利用了喷洒色素进行的染色的各种分类基准。辅助信息生成部214生成的辅助信息是按照学习所使用的分类基准得到的分类结果。

接着，对基于辅助信息来自动地从存在诊断模式切换为定性诊断模式的手段进行说明。图13是示出在从存在诊断模式切换为定性诊断模式时控制部210进行的处理的过程的流程图。

在步骤S1中，模式判定部215设定存在诊断模式。光源控制部212使光源部240分时地射出白色光、以及琥珀色光A及紫色光V。辅助信息生成部214通过基于与存在诊断模式对应的学习完毕模型的处理来生成辅助信息。

接着，在步骤S2中，模式判定部215判断辅助信息所示的病变在关注区域内是否为规定面积以上。在病变为规定面积以上的情况下，在步骤S3中，模式判定部215设定定性诊断模式中的NBI模式。在病变不为规定面积以上的情况下，返回到步骤S1。

图14是对判断是否从存在诊断模式转变为定性诊断模式的手段进行说明的图。IMG是在存在诊断模式中拍摄到的图像，该图像内的影线示意性地示出管腔状的被摄体。IMG内的右上侧为管腔的内部，越向左下侧去则壁面与摄像部的距离越近。设为辅助信息生成部214在IMG的下部、即管腔的壁面检测到病变BYH。实线椭圆是辅助信息生成部214所生成的辅助信息，此处为病变BYH的轮廓。

ATA为关注区域。例如，也可以是，操作内窥镜装置1的医生使用操作部600来设定关注区域。关注区域ATA能够在图像IMG内设定为任意的位置和面积。在图14中，在图像IMG的下部区域设定了关注区域ATA。模式判定部215求出关注区域ATA内的病变BYH的面积，并判断该面积是否为规定值以上。例如，模式判定部215对关注区域ATA与病变BYH重叠的部分的像素数进行计数。模式判定部215判断该像素数是否为规定值以上。或者，模式判定部215求出计数出的像素数与关注区域ATA的像素数之比，并判断该比是否为规定值以上。模式判定部215在判断为病变BYH的面积为规定值以上时，从存在诊断模式转变为定性诊断模式的NBI模式。例如，也可以是，操作内窥镜装置1的医生使用操作部600来设定用于进行面积判定的规定值。

在步骤S3的NBI模式中，光源控制部212使光源部240分时地射出白色光W、以及紫色光V及绿色光G。辅助信息生成部214通过基于与NBI模式对应的学习完毕模型的处理来生成辅助信息。辅助信息生成部214生成与在存在诊断模式中检测出的病变有关的定性的辅助信息。

接着，在步骤S4中，模式判定部215基于辅助信息生成部214所生成的定性的辅助信息，来判断是否需要进一步详查。在判断为不需要详查的情况下，返回到步骤S2。在判断为需要详查的情况下，在步骤S5中，模式判定部215设定定性诊断模式中的虚拟染色模式。

在虚拟染色模式中，分时地进行利用白色光W的照明和测距。辅助信息生成部214通过基于与虚拟染色模式对应的学习完毕模型的处理来生成辅助信息。图像生成部213基于辅助信息来对显示图像进行染色处理。辅助信息生成部214根据基于辅助信息被进行染色处理后的显示图像来生成定性的辅助信息。即，生成按照利用了染色的分类基准对病变分类的分类结果作为辅助信息。

接着，在步骤S6中，判断在步骤S5中检测出的病变在关注区域内是否为规定面积以上。判断手段与步骤S2相同。在病变为规定面积以上的情况下，返回到步骤S5。在病变不为规定面积以上的情况下，返回到步骤S1。

图15示出定性诊断模式中的自动分类的一例。在图15中示出使用了JNET分类基准的自动分类的流程。该流程在图13的步骤S3～S5中执行。

在学习阶段，医生基于JNET来对图像标记分类结果。即，医生等使用指示设备等包围图像中包含的病变部分等来标记病变的位置或轮廓以及该病变的分类。然后，将该标记信息和图像作为训练数据来生成学习完毕模型。在使用内窥镜装置进行诊断时，通过上述学习完毕模型进行推断处理来实现下面的自动分类。即，通过推断处理生成病变的位置或轮廓以及该病变的分类作为辅助信息。

如图15所示，在NBI模式中，辅助信息生成部214将在存在诊断模式中检测到的病变分类为Type1、Type2A、Type2B、Type3。这些Type是根据粘膜的血管图案和粘膜的表面构造来赋予特征的分类。辅助信息生成部214输出病变为Type1的概率、病变为Type2A的概率、病变为Type2B的概率以及病变为Type3的概率。此外，也可以设为，不仅最终的分类结果，还将本阶段的分类结果用文字等显示于显示图像。

辅助信息生成部214基于NBI模式中的分类结果来判断是否难以判别病变。

即，在为Type1、Type2A的概率为相同程度的情况下，辅助信息生成部214判断为难以判别。在该情况下，模式判定部215设定虚拟地再现靛蓝胭脂红染色的虚拟染色模式。在该虚拟染色模式中，辅助信息生成部214基于虚拟染色图像来将病变分类为增生性息肉或低异型度粘膜内肿瘤。这些分类是根据靛蓝胭脂红染色图像中的腺管开口形态来赋予特征的分类。另一方面，在为Type1的概率为阈值以上的情况下，辅助信息生成部214将病变分类为增生性息肉，模式判定部215不转变为虚拟染色模式。另外，在为Type2A的概率为阈值以上的情况下，辅助信息生成部214将病变分类为增生性息肉，模式判定部215不转变为虚拟染色模式。

在为Type2A、Type2B的概率为相同程度的情况下，辅助信息生成部214判断为难以判别。在该情况下，模式判定部215设定虚拟地再现结晶紫染色的虚拟染色模式。在该虚拟染色模式中，辅助信息生成部214基于虚拟染色图像来将病变分类为低异型度粘膜内肿瘤或高异型度粘膜内肿瘤或粘膜下层浅浸润癌。这些分类是根据结晶紫染色图像中的腺管开口形态来赋予特征的分类。

下面，虽然省略详细内容，但是在判断为Type2B的情况下，设定虚拟地再现结晶紫染色的虚拟染色模式，将病变分类为高异型度粘膜内肿瘤或粘膜下层浅浸润癌。在难以判别Type2B、Type3的情况下，设定虚拟地再现结晶紫染色的虚拟染色模式，将病变分类为高异型度粘膜内肿瘤或粘膜下层浅浸润癌或粘膜下层深浸润癌。在判断为Type2B的情况下，病变被分类为粘膜下层深浸润癌，不进行向虚拟染色模式的转变设定。

图像生成部213将上述分类结果和检测出的病变的位置或轮廓作为辅助信息添加于显示图像中，并将该显示图像显示于显示部300。

此外，在第四实施方式中，根据模式来使辅助用照明光的光谱特性变化，但是不限定于此，也可以根据模式来使辅助用照明光的光量或光分布特性、照射定时变化。例如也可以在诊断辅助模式中设定光量，使得以适当的明亮度来检测在存在诊断模式中所检测到的病变部。或者，也可以在诊断辅助模式中设定光分布特性，使得适当地对在存在诊断模式中所检测到的病变部进行照明。例如，在内窥镜100的前端设置多个照明透镜，通过控制从各照明透镜射出的光量，能够使光分布变化。使照射定时变化的例子例如稍后在第五实施方式的图16中记述。在图16中，在期间TAI1、TAI2的2个定时射出辅助用照明光。

上面所说明的实施方式的内窥镜装置1包括光源部240、摄像元件114以及控制部210。光源部240能够变更包含射出的照明光的光谱特性和光量、光分布特性、照射定时中的至少一者的照明特性。摄像元件114拍摄被照明光照明的被摄体并输出图像信号。控制部210基于对诊断或处置进行辅助的辅助信息来设定照明特性。在照明特性为第一照明特性时，控制部210基于根据图像信号生成的第一辅助信息来将照明特性变更为第二照明特性。

由此，能够使照明光优化以成为对于AI的推断处理而言最优的照明特性，因此能够高精度地估计辅助信息，能够向医生等呈现该高精度的辅助信息。具体地说，设想使用输出对于观察目的而言需要的辅助信息的AI。此时，能够使光源部240射出对于该AI的推断处理而言最优的照明光。由此，能够高精度地估计与观察目的相应的辅助信息。

此外，在第四实施方式中，第一照明特性为存在诊断模式中的琥珀色光A和紫色光V，第二照明特性为NBI模式中的紫色光V和绿色光G，第一辅助信息为在存在诊断模式中检测到的病变的位置或轮廓，第二辅助信息为NBI模式中的病变的分类结果。

另外，在本实施方式中，控制部210基于图像信号来生成辅助信息。即，控制部210在照明特性为第一照明特性时，基于图像信号来生成第一辅助信息，在照明特性为第二照明特性时，基于图像信号来生成诊断或处置的内容与第一辅助信息的该内容不同的第二辅助信息。

其中，如图22所示，也可以将生成辅助信息的辅助信息生成部设置在内窥镜装置1的外部。图22的内窥镜装置系统包括内窥镜装置1和信息处理系统400。在图22中，内窥镜装置1的控制部210不包括辅助信息生成部214，内窥镜装置1还包括接口170。信息处理系统400包括接口470、存储部460以及处理部410，处理部410包括辅助信息生成部421。

辅助信息生成部421以及存储部460与图1或图7的辅助信息生成部214以及存储部220对应。即，经由接口170和接口470来从摄像元件114向辅助信息生成部421输入图像信号。辅助信息生成部421通过进行基于存储部460中所存储的学习完毕模型的推断处理，来根据图像信号生成辅助信息。辅助信息经由接口470和接口170而被输入到模式判定部215。模式判定部215基于辅助信息来切换判断模式，该判断模式的信息经由接口170和接口470而被输入到辅助信息生成部421。

作为接口170、470，能够设想各种通信接口。例如，接口170、470也可以是用于进行基于LAN或WAN等的网络连接的接口。或者，接口170、470也可以是USB等用于进行有线通信的接口、或者用于进行近距离无线通信等无线通信的接口。信息处理系统400例如也可以是PC或服务器等信息处理装置。或者，信息处理系统400也可以是利用网络而连接的多个信息处理装置进行信息处理的云系统。在该情况下，通过云系统所包括的多个信息处理装置进行的信息处理来实现处理部410的功能。

另外，在本实施方式中，在辅助信息的生成处理中的判断模式为第一判断模式时，控制部210设定第一照明特性并生成第一辅助信息。控制部210基于第一辅助信息来将判断模式切换为第二判断模式。在第二判断模式中，控制部210设定第二照明特性并生成第二辅助信息。

由此，基于第一辅助信息来自动地从第一判断模式转变为第二判断模式，与之相伴地能够射出与各判断模式对应的照明特性的照明光。像这样，能够射出对于各判断模式而言最优的照明特性的照明光，能够在各判断模式中生成高精度或最优的辅助信息，并将该辅助信息呈现给医生等。

另外，在本实施方式中，控制部210进行第一辅助信息是否满足规定条件的判断。控制部210在判断为第一辅助信息满足规定条件时，从第一判断模式切换为第二判断模式。

由此，在第一判断模式中第一辅助信息满足规定条件时，能够自动地从第一判断模式转变为第二判断模式。

另外，在本实施方式中，第一判断模式是诊断被摄体所包含的病变候选的存在的存在诊断模式。第一辅助信息是表示病变候选的存在的信息。第二判断模式是诊断病变候选的状态的定性诊断模式。第二辅助信息是表示病变候选的状态的信息。

由此，在存在诊断模式中，能够基于第一辅助信息来自动地从存在诊断模式转变为定性诊断模式。通过从存在诊断模式自动地转变为定性诊断模式，不仅是病变的存在，还能够将该病变的定性的信息自动呈现给医生等。由此，在医生诊断病变时能够自动地将有用的定性的辅助信息显示于监视器。

另外，在本实施方式中，控制部210进行第一辅助信息是否满足第一辅助信息所包含的病变候选的面积为规定值以上、或摄像部的观察倍率为规定值以上的规定条件的判断。控制部210在判断为第一辅助信息满足规定条件时，从第一判断模式切换为第二判断模式。

在医生着眼于病变并使内窥镜100接近病变的情况下，能够设想为病变候选的面积为规定值以上。或者，在医生想要观察病变时进行放大观察。因此，在病变候选的面积为规定值以上的情况下、或在摄像部的观察倍率为规定值以上的情况下，通过转变为诊断辅助模式，能够将与医生所着眼的病变有关的定性的辅助信息提供给医生。

另外，在本实施方式中，病变候选为肿瘤候选。

根据本实施方式，在存在诊断模式中检测到肿瘤候选，在该肿瘤候选满足上述规定条件时能够转变为定性诊断模式。由此，例如能够将肿瘤的种类等肿瘤候选的定性的辅助信息呈现给医生。此外，病变不限定于肿瘤，只要是生物体中非正常的区域即可。例如，病变也可以是炎症或出血区域等。

在第一判断模式中，第一照明特性的照明光包含多种颜色的光中的至少一种光即第一组光。在第二判断模式中，第二照明特性的照明光包含多种颜色的光中的至少一种光且与第一组不同的第二组光。

像这样，能够使第一判断模式中的照明光的光谱特性与第二判断模式中的照明光的光谱特性不同。由此，能够使用在各判断模式中最优的光谱特性的照明光来生成辅助信息。此外，还包含组是一种颜色的光的情况。另外，第一组光与第二组光只要一部分不同即可，也可以有重复部分。例如，在图9和图11的例子中，第一组为A、V，第二组为V、G。在本例中，V重复，但是颜色的组合不同。

另外，在本实施方式中，多种颜色的光包含紫色光、琥珀色光以及绿色光。

像这样，能够利用紫色光或绿色光得到粘膜表层血管的信息，并从该信息中提取辅助信息。其中，紫色光与绿色光相比能够获取更浅的血管的信息。另外，能够利用琥珀色光得到粘膜深层血管的信息、或血块等中的血红蛋白浓度的信息，并从这些信息中提取辅助信息。

另外，在本实施方式中，判断模式是诊断被摄体中包含的病变候选的存在的存在诊断模式、或诊断病变候选的状态的定性诊断模式。或者，判断模式也可以是对处置进行辅助的处置辅助模式。关于处置辅助模式，在后述的实施方式中进行说明。

定性诊断模式中的照明光包含不包含于存在诊断模式中的照明光中的、用于观察炎症或中层血管、深层血管的光。该照明光包含比存在诊断模式中的照明光的波长长的光。具体地说，存在诊断模式中的照明光包含紫色光和琥珀色光。定性诊断模式中的照明光包含紫色光和绿色光。或者，如后述的实施方式中说明的那样，定性诊断模式中的照明光也可以包含绿色光、琥珀色光以及红色光、或测距用照明光。

像这样，通过使用紫色光或绿色光，能够对比度良好地拍摄粘膜表层的血管。另外，通过使用琥珀色光，能够对比度良好地拍摄粘膜深部的血管、或出血区域的血液的浓淡等。通过在存在诊断模式中使用紫色光和琥珀色光，能够提取各种类型的病变候选。另外，通过在定性诊断模式中将紫色光和绿色光组合，能够得到按照NBI诊断的辅助信息。另外，通过在定性诊断模式中将绿色光、琥珀色光以及红色光组合，能够从表层血管和深层血管的信息中得到例如与溃疡性大肠炎等炎症性疾病有关的辅助信息。另外，通过在定性诊断模式中使用测距用照明光，能够从粘膜的形状或构造的信息中得到例如与粘膜的状态或癌症等病变有关的辅助信息。

另外，如在后述的实施方式中说明的那样，处置辅助模式中的照明光也可以包含在辅助信息的生成处理中用于病变范围的提取或出血点的提取的光。具体地说，处置辅助模式中的照明光也可以包含作为窄带光的紫色光和琥珀色光、以及测距用照明光。或者，处置辅助模式中的照明光也可以包含红色光和作为窄带光的琥珀色光。

通过在处置辅助模式中将紫色光、琥珀色光以及测距用照明光组合，能够从表层血管和深层血管的信息以及粘膜的形状或构造的信息中提取病变范围作为辅助信息。由此，能够将病变范围呈现给医生等，能够对例如病变切除等处置进行辅助。另外，通过在处置辅助模式中将红色光和琥珀色光组合，能够从血红蛋白的浓淡信息得到血块等中的出血点的信息。

另外，在本实施方式中，内窥镜装置1包括用于显示显示图像的显示部300。光源部240分时地照射用于生成显示图像的显示用照明光以及照明特性与显示用照明光的照明特性不同的辅助用照明光。控制部210基于射出显示用照明光时的图像信号来生成显示图像。控制部210基于射出辅助用照明光时的图像信号来生成辅助信息。然后，控制部210进行将基于辅助信息的显示内容添加于显示图像中的图像处理。

辅助用照明光为了基于AI的推断处理而被优化，因此未必适合于观察。在本实施方式中，显示图像是利用与辅助用照明光不同的显示用照明光而拍摄到的，因此能够将适合于观察的显示图像呈现给医生。另外，根据本实施方式，基于辅助信息生成部214所生成的辅助信息，来将与该辅助信息对应的显示内容显示于显示部300。由于根据观察目的来优化照明特性，因此能够将根据利用该照明光拍摄到的图像生成的高精度的辅助信息呈现给医生，来辅助进行诊断或处置。

另外，在本实施方式中，基于辅助信息的显示内容是辅助信息所示的关注部位的位置和轮廓中的至少一方。

由此，能够将由辅助信息生成部214检测出的关注部位的位置和轮廓中的至少一方显示于显示部300。例如，在存在诊断模式中，通过将位置和轮廓中的至少一方显示于显示部300，能够将病变候选的存在呈现给医生。

另外，在本实施方式中，控制部210在辅助用照明光的照明特性为第一照明特性时，生成第一辅助信息，基于第一辅助信息来进行将第一显示内容添加于显示图像中的图像处理。控制部210基于第一辅助信息，来将辅助用照明光的照明特性变更为第二照明特性，并生成第二辅助信息。控制部210基于第二辅助信息，来进行将与第一显示内容不同的第二显示内容添加于显示图像中的图像处理。

由此，能够使利用照明特性被优化的照明光得到的高精度的辅助信息显示于利用显示用照明光拍摄到的显示图像中。另外，能够根据各照明特性得到不同内容的辅助信息，并将该辅助信息显示于显示图像中。由此，能够将与观察目的相应的各种辅助信息叠加于适合于观察的显示图像中，并呈现给医生。

另外，在本实施方式中，显示用照明光为白色光。辅助用照明光包含紫色光、琥珀色光以及绿色光中的至少一者。

像这样，能够使白色光图像作为显示图像显示于显示部300，并在该白色光图像中添加辅助信息而呈现给医生。另外，通过辅助用照明光包含紫色光、琥珀色光以及绿色光中的至少一者，能够实现与观察目的相应的照明特性。即，通过使用紫色光或绿色光，能够对比度良好地拍摄粘膜表层的血管。另外，通过使用琥珀色光，能够对比度良好地拍摄粘膜深部的血管、或出血区域的血液的浓淡等。或者，考虑根据观察目的而将这些光进行组合。例如，在想要得到按照NBI诊断的辅助信息的情况下，只要将紫色光和绿色光组合即可。

另外，在本实施方式中，内窥镜装置1包括存储学习完毕模型的信息的存储部220。学习完毕模型是以针对图像信号输出辅助信息的方式进行了学习的模型。控制部210通过基于学习完毕模型的处理来根据图像信号生成辅助信息。

由此，能够通过AI的推断处理来根据图像信号生成辅助信息。通过使学习完毕模型利用医生等专家制作出的训练数据进行学习，能够生成反映了专家的见解的学习完毕模型。通过使用这样的学习完毕模型，能够向内窥镜装置1的用户提供基于专家的见解的辅助信息。

如上所述，学习完毕模型能够包含神经网络。作为神经网络，能够采用公知的各种AI(Artificial Intelligence：人工智能)技术。为了利用神经网络，需要进行用于执行学习、推断算法的软件开发，但是当前也能够得到多种市场化、无偿公开的软件包，也能够利用这些软件包。另外，作为神经网络中的机器学习的算法，能够采用公知的各种学习算法，例如能够采用利用了误差逆传播法的监督学习算法。

另外，在本实施方式中，存储部220存储第一学习完毕模型和第二学习完毕模型的信息。第一学习完毕模型是以针对照明特性为第一照明特性时的图像信号输出第一辅助信息的方式进行了学习的模型。第二学习完毕模型是以针对照明特性为第二照明特性时的图像信号输出第二辅助信息的方式进行了学习的模型。控制部210在照明特性为第一照明特性时，通过基于第一学习完毕模型的处理来生成第一辅助信息。控制部210在照明特性为第二照明特性时，通过基于第二学习完毕模型的处理来生成第二辅助信息。

根据本实施方式，通过事先准备与各照明特性对应的学习完毕模型，能够使用与观察目的相应的学习完毕模型来生成辅助信息。即，不仅照明特性，AI也根据观察目的而被优化。由此，能够将与观察目的相应的高精度的辅助信息呈现给医生。

5.第五实施方式

在第五实施方式中，定性诊断模式为UC炎症诊断模式。UC是溃疡性大肠炎。从存在诊断模式向定性诊断模式的转变手段与第四实施方式相同，因此下面对UC炎症诊断模式进行说明。

图16是示出UC炎症诊断模式中的发光序列和摄像序列的图。此外，省略关于与图9等相同的内容的说明。

光源控制部212在期间TH的曝光期间Te使光源部240射出白色光。在UC炎症诊断模式中，辅助用照明光为红色光R、绿色光G以及琥珀色光A。光源控制部212在期间TAI1的曝光期间Te，使光源部240射出红色光R和绿色光G，在期间TAI2的曝光期间Te，使光源部240射出琥珀色光A。在帧频例如为60Hz的情况下，将期间TH、期间TAI1以及期间TAI2合起来为60Hz。期间TAI1的读取期间Tr和期间TAI2的读取期间Tr分别比期间TH的读取期间Tr短。另外，期间TH的曝光期间Te比期间TAI1的曝光期间Te和期间TAI2的曝光期间Te的各个曝光期间长。此外，红色光R和琥珀色光A均属于红色区域，例如在原色拜耳型成像器中通过红色滤光器。因此，红色光R和琥珀色光A被分时地射出。红色光R和琥珀色光A的射出顺序也可以反过来。

红色光R、绿色光G以及琥珀色光A的组合是适合于拍摄粘膜深层的血管的照明光。UC炎症诊断模式中的定性的辅助信息是基于深层血管可视性的诊断结果或分类结果。此外，可视性不意味着人实际看到，例如是指图像中的深层血管的对比度等。例如，辅助信息生成部214将使深层血管的对比度数值化得到的炎症程度作为辅助信息而生成。

图17是UC炎症诊断模式中的辅助信息的显示例。图像生成部213将辅助信息生成部214所生成的炎症程度的信息SJH叠印在利用白色光拍摄到的通常图像IMG2中。例如，在炎症程度的数值为50的情况下，图像生成部213将“炎症程度50”的文字显示在通常图像IMG2的下部。炎症程度的数值根据辅助信息生成部214所判定出的数值而变化。医生等能够参考所显示的通常图像和炎症程度的数值来诊断UC的炎症程度。

6.第六实施方式

在第六实施方式中，能够设定处置辅助模式。第六实施方式中的处置辅助模式是估计病变的切除范围的范围诊断模式。例如，基于从操作部600的输入来选择范围诊断模式。或者，也可以通过与第四实施方式中的从存在诊断模式向定性诊断模式的自动转变同样的手段来从存在诊断模式转变为范围诊断模式。或者，也可以从定性诊断模式向范围诊断模式转变。例如，在图13的步骤S6中判断为病变面积为规定值以上时向范围诊断模式转变。

图18是示出范围诊断模式中的发光序列和摄像序列的图。此外，省略关于与图9等相同的内容的说明。

在期间TAI的曝光期间Te，光源控制部212使光源部240射出琥珀色光A和紫色光V。另外，在期间TAI的曝光期间Te，控制部210使用测距传感器115对被摄体进行测距。即，控制部210生成表示被摄体表面的凹凸信息的深度图等。

作为辅助用照明光的琥珀色光A和紫色光V与存在诊断模式中的辅助用照明光相同。辅助信息生成部214使用与存在诊断模式同样的学习完毕模型来检测病变的位置或轮廓。

图19是范围诊断模式中的显示图像的例子。图像生成部213将辅助信息生成部214检测出的病变BYH的位置或轮廓显示于显示图像IMG3中。

另外，辅助信息生成部214基于通过测距得到的被摄体表面的凹凸信息和上述检测出的病变BYH的位置或轮廓来估计病变的切除范围SJH。在该估计中使用学习了切除范围的学习完毕模型。即，学习完毕模型将拍摄病变得到的图像以及医生等专家对该图像标注了切除范围的标注信息作为训练数据进行了学习。图像生成部213将辅助信息生成部214估计出的切除范围SJH显示于显示图像IMG3中。如上所述，病变BYH的位置或轮廓以及切除范围SJH作为辅助信息而被显示于显示图像IMG3中。

使用内窥镜装置1的医生等能够参考显示出病变BYH和切除范围SJH的显示图像IMG3来决定切除范围SJH。作为使用内窥镜进行病变切除的手段，能够设想例如内窥镜的粘膜下层剥离术(Endoscopic Submucosal Dissection：内镜粘膜下层剥离术)。在该手段中，在切除范围的外周进行标记，在该标记时能够参考显示于显示图像IMG3中的切除范围SJH。

7.第七实施方式

在第七实施方式中，处置辅助模式是自动识别出血点的出血点识别模式。出血点识别模式是在止血处置时使用的模式。例如，基于从操作部600的输入来选择出血点识别模式。或者，也可以从存在诊断模式向出血点识别模式自动转变。例如，使存在诊断模式中使用的学习完毕模型事先学习存在血块等出血区域的图像。在上述的ESD中剥离了粘膜下层时，在剥离后的凹部产生血块。也可以将这样的图像作为训练数据来事先执行学习。由此，也可以在ESD中在图像内产生了血块时，从存在诊断模式自动转变为出血点识别模式。

图20是示出出血点识别模式中的发光序列和摄像序列的图。此外，省略关于与图16等相同的内容的说明。

在期间TAI1的曝光期间Te，光源控制部212使光源部240射出红色光R，在期间TAI2的曝光期间Te，光源控制部212使光源部240射出琥珀色光A。红色光R和琥珀色光A的射出顺序也可以反过来。

图21是出血点识别模式中的显示图像的例子。在作为白色光图像的通常图像中，血块显现为红色或暗红色等。影线部分表示血块。出血点存在于血块之下。在通过来自送气送水管的送水而使血与水混合的状态下，在出血点附近的血红蛋白浓度变浓，但是在白色光中不容易显现血红蛋白浓淡的对比度，因此在通常图像中不容易视觉识别出血点。

在利用红色光R和琥珀色光A拍摄到的辅助用图像中，血块呈现橙色等。红色光R的波长区域几乎不被血红蛋白吸收，但是600nm附近的琥珀色光A在一定程度上被血红蛋白吸收。因此，在辅助用图像中，易于显出血红蛋白浓淡的对比度。在从出血点的血流中，血红蛋白浓度变浓，这一部分相较于周围而言橙色变深。在图21中，用SKT示出了橙色变深的区域。能够根据该区域SKT估计出血点。

出血点识别模式中的学习完毕模型将利用红色光R和琥珀色光A拍摄到的出血区域的图像和医生等专家针对该图像标注了出血点的标注信息作为训练数据进行了学习。辅助信息生成部214通过使用上述学习完毕模型，来根据拍摄血块和上述的区域SKT得到的辅助用图像检测出血点的位置。该出血点的位置为出血点识别模式中的辅助信息。图像生成部213将检测出的出血点的位置例如通过箭头JYS等显示于显示图像中。使用内窥镜装置1的医生等能够参考显示于显示图像中的箭头JYS等来确定出血点。

上面对本实施方式及其变形例进行了说明，但是本公开不限定于各实施方式及其变形例的原状，在实施阶段，能够在不脱离宗旨的范围内对构成要素进行变形并具体化。另外，能够适当地将上述的各实施方式及其变形例所公开的多个构成要素进行组合。例如，也可以从各实施方式及变形例所记载的全部构成要素中删除一些构成要素。并且，也可以将不同的实施方式及变形例中所说明的构成要素适当地进行组合。像这样，在不脱离本公开的主旨的范围内能够进行各种变形、应用。另外，在说明书或附图中，至少一次与更广义或同义的不同的用语一同记载的用语在说明书或附图的任何位置都能够置换为该不同的用语。

附图标记说明

1：内窥镜装置；100：内窥镜；110：插入部；112：照明光学系统；113：物镜光学系统；114：摄像元件；115：测距传感器；131：光导件；133：连接器；170：接口；200：控制装置；210：控制部；211：摄像控制部；212：光源控制部；213：图像生成部；214：辅助信息生成部；215：模式判定部；220：存储部；230：摄像元件驱动部；240：光源部；241：光源驱动部；242：滤光器部；250：连接器；300：显示部；400：信息处理系统；410：处理部；421：辅助信息生成部；460：存储部；470：接口；600：操作部；LA、LB、LG、LR、LV：光源；TAI、TAI1、TAI2、TH：期间；Te：曝光期间；Tr：读取期间。

Claims (16)

1.一种控制装置，进行具有多个像素的摄像元件的控制，所述控制装置的特征在于，

包括摄像控制部，所述摄像控制部进行如下的所述摄像元件的所述控制：在从所述多个像素中的第一像素数的像素读取信号的第一读取期间读取第一摄像信号，在从所述多个像素中的第二像素数的像素读取信号的第二读取期间读取第二摄像信号，其中，该第一摄像信号是来自所述第一像素数的像素的信号，该第二摄像信号是来自所述第二像素数的像素的信号，所述第二像素数比所述第一像素数少，

所述第二读取期间比所述第一读取期间短。

2.根据权利要求1所述的控制装置，其特征在于，

所述第二像素数的像素是所述第一像素数的像素中的一部分像素被间隔剔除后的像素。

3.根据权利要求1所述的控制装置，其特征在于，

当在所述摄像元件中将所述第一像素数的像素被配置的区域设为第一区域、将所述第二像素数的像素被配置的区域设为第二区域时，所述第二区域是所述第一区域中的一部分区域。

4.根据权利要求3所述的控制装置，其特征在于，

所述摄像控制部能够将所述第二区域的位置设定为可变。

5.根据权利要求4所述的控制装置，其特征在于，

所述摄像控制部将所述第二区域设定于图像中央。

6.根据权利要求4所述的控制装置，其特征在于，

所述摄像控制部将根据所述第一摄像信号或所述第二摄像信号获取的图像中相对明亮的区域设定为所述第二区域。

7.根据权利要求1所述的控制装置，其特征在于，

包括光源部，作为向被摄体照射的照明光，所述光源部在所述第一读取期间之前的第一曝光期间射出第一照明光，在所述第二读取期间之前的第二曝光期间射出第二照明光，

所述摄像控制部进行如下的所述摄像元件的所述控制：

在所述第一曝光期间，至少将所述第一像素数的像素设定为曝光状态，在所述第二曝光期间，至少将所述第二像素数的像素设定为所述曝光状态。

8.根据权利要求7所述的控制装置，其特征在于，

所述第二照明光是光谱与所述第一照明光的光谱不同的光。

9.根据权利要求8所述的控制装置，其特征在于，包括：

图像生成部，其基于所述第一摄像信号，生成在显示部显示的显示图像；以及

辅助信息生成部，其基于所述第二摄像信号，生成对诊断或处置进行辅助的辅助信息，

所述第一照明光是用于获取所述显示图像的光，

所述第二照明光是用于获取所述辅助信息的光。

10.根据权利要求7所述的控制装置，其特征在于，

所述第一曝光期间的长度比所述第二曝光期间的长度长。

11.根据权利要求1所述的控制装置，其特征在于，

包括辅助信息生成部，所述辅助信息生成部在第一判断模式中，基于所述第二摄像信号生成对诊断或处置进行辅助的第一辅助信息，基于所述第一辅助信息进行从所述第一判断模式向第二判断模式的切换，在所述第二判断模式中，基于所述第二摄像信号生成与所述第一辅助信息相比所辅助的诊断或处置的内容不同的第二辅助信息，

在所述第一判断模式中，所述第二像素数的像素是所述第一像素数的像素中的一部分像素被间隔剔除后的像素，

在所述第二判断模式中，当在所述摄像元件中将所述第一像素数的像素被配置的区域设为第一区域、将所述第二像素数的像素被配置的区域设为第二区域时，所述第二区域是所述第一区域中的一部分区域。

12.根据权利要求1所述的控制装置，其特征在于，

所述摄像元件是卷帘快门方式的摄像元件，

在所述第一读取期间，所述摄像控制部从所述摄像元件具有的多个水平扫描线中的第一线数的水平扫描线的像素读取所述第一摄像信号，

在所述第二读取期间，所述摄像控制部从所述多个水平扫描线中的比所述第一线数少的第二线数的水平扫描线的像素读取所述第二摄像信号。

13.根据权利要求12所述的控制装置，其特征在于，

所述第一线数的水平扫描线是作为所述多个水平扫描线的第一～第n水平扫描线，其中，n为2以上的整数，

所述第二线数的水平扫描线是所述第一～第n水平扫描线中的奇数号或偶数号的水平扫描线。

14.根据权利要求12所述的控制装置，其特征在于，

所述第一线数的水平扫描线是作为所述多个水平扫描线的第一～第n水平扫描线，其中，n为2以上的整数，

所述第二线数的水平扫描线是所述第一～第n水平扫描线中的第i+1～第i+n/2水平扫描线，其中，i为0以上且n/2以下的整数。

15.一种内窥镜装置，其特征在于，包括：

根据权利要求1所述的控制装置；以及

包括所述摄像元件的摄像装置。

16.一种控制方法，用于进行具有多个像素的摄像元件的控制，所述控制方法的特征在于，

进行在从所述多个像素中的第一像素数的像素读取信号的第一读取期间读取第一摄像信号的所述控制，该第一摄像信号是来自所述第一像素数的像素的信号，

进行在从所述多个像素中的第二像素数的像素读取信号的第二读取期间读取第二摄像信号的所述控制，该第二摄像信号是来自所述第二像素数的像素的信号，所述第二像素数比所述第一像素数少，所述第二读取期间比所述第一读取期间短。