CN113014871B - 内窥镜图像显示方法、装置及内窥镜手术辅助系统 - Google Patents

Abstract

本申请公开一种内窥镜图像显示方法、装置及内窥镜手术辅助系统，可满足用户对图像清晰度和全面性的要求。所述方法包括：在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与基础内窥镜图像对应的多组填充内窥镜图像，每组填充内窥镜图像对应初始观察位置处的一个采集方向；将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，生成一个基础全局图像；获取实时内窥镜图像，并在基础全局图像中检测出与实时内窥镜图像的相似区域，将实时内窥镜图像复制到基础全局图像中的相似区域，生成实时全局图像；将实时全局图像在虚拟现实头戴设备上进行投影显示。

Description

内窥镜图像显示方法、装置及内窥镜手术辅助系统

技术领域

本申请涉及图像处理技术领域，具体涉及一种内窥镜图像显示方法、装置及内窥镜手术辅助系统。

背景技术

内窥镜包含胸腔镜，腹腔镜，鼻腔镜，口腔镜，胃镜等，目前内窥镜手术的镜头分辨率通常最高支持到1080P*1920P，虽然也有少数高于此分辨率的内窥镜镜头，但是并不普及，且造价昂贵。4K乃至8K分辨率的内窥镜设备更为罕见。

据统计，大多数内窥镜的FOV(Field angle Of View，视场角)为90°至140°，这些FOV的内窥镜并无法支持全景拍摄。受限于FOV，内窥镜每次能在显示器上显示的范围十分有限，而向远处移动摄像头以查看全局图像必然会造成光源远离视野太暗，而且1080P*1920P的图像在拉大距离后无法满足观察所需的清晰度。

在实际应用场景下，医生经常遇到以下情况：想看的更清楚，必须把内窥镜镜头移近，观察区域变小；而想看的更多，必须把内窥镜镜头移远，清晰度变差，图像变暗。而医生经常需要查看清晰的全局图像以辅助判断手术方案，遇到观察范围过大时就必须反复移动镜头查看不同的局部，凭借记忆了解全局，因此如何能够直接查看到清晰的全局图像很有必要。而清晰的全局图像无疑需要更高的分辨率和更大的显示屏幕尺寸，目前内窥镜图像大多是在电脑显示屏上显示，显示屏的大小和分辨率有限，如果扩大屏幕尺寸就必须要求医生站到远离屏幕一定距离的位置才能全部查看。

因此可以看出，现有方案所采集的内窥镜图像无法同时满足用户对图像清晰度和全面性的要求。

发明内容

有鉴于此，本申请的主要目的在于提供了一种内窥镜图像显示方法、装置及内窥镜手术辅助系统，用于解决现有方案所采集的内窥镜图像无法同时满足用户对图像清晰度和全面性的要求的技术问题。

依据本申请的第一方面，提供了一种内窥镜图像显示方法，包括：

在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以所述初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与所述基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应所述初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

将所述多组填充内窥镜图像按照采集方向分别依次填充到所述基础内窥镜图像上，生成一个基础全局图像；

获取实时内窥镜图像，并在所述基础全局图像中检测出与所述实时内窥镜图像的相似区域，将所述实时内窥镜图像复制到所述基础全局图像中的所述相似区域，生成实时全局图像；

将所述实时全局图像在虚拟现实头戴设备上进行投影显示。

依据本申请的第二方面，提供了一种内窥镜图像显示装置，包括：

内窥镜图像获取电路，用于在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以所述初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与所述基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应所述初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

基础全局图像生成电路，用于将所述多组填充内窥镜图像按照采集方向分别依次填充到所述基础内窥镜图像上，生成一个基础全局图像；

实时全局图像生成电路，用于获取实时内窥镜图像，并在所述基础全局图像中检测出与所述实时内窥镜图像的相似区域，将所述实时内窥镜图像复制到所述基础全局图像中的所述相似区域，生成实时全局图像；

投影显示电路，用于将所述实时全局图像在虚拟现实头戴设备上进行投影显示。

依据本申请的第三方面，提供了一种内窥镜手术辅助系统，包括：内窥镜、处理器、存储有计算机可执行指令的非易失性存储器、虚拟现实头戴设备，用于实现前述的内窥镜图像显示方法，其中，

所述内窥镜，用于获取内窥镜图像发送给所述处理器；

所述处理器，用于根据所述非易失性存储器内的计算机可执行指令对所述内窥镜获取的内窥镜图像进行处理，生成实时全局图像发送给所述虚拟现实头戴设备；

所述虚拟现实头戴设备，用于对所述实时全局图像进行投影显示。

依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的内窥镜图像显示方法。

本申请的有益效果是：本申请的实施例的内窥镜图像显示方法、装置及内窥镜手术辅助系统，以内窥镜的初始观察位置为中心，通过获取多个采集方向上的内窥镜图像，在不改变清晰度的情况下根据运动轨迹对这些内窥镜图像进行重建，将原本分离的单张内窥镜图像重建成一张图像尺寸更大的基础全局图像；进而再通过将实时内窥镜图像实时复制至该基础全局图像中生成实时全局图像，使得生成的实时全局图像中，一部分区域填充的是实时采集的实时内窥镜图像，其他区域填充的是基础全局图像，实时全局图像是对实时内窥镜图像完整的原图展示，且相比于实时内窥镜图像，整图的分辨率提高，图像尺寸更大；对该实时全局图像通过在虚拟现实头戴设备上进行投影显示，可以利用虚拟现实头戴设备近距离查看高分辨率的图像，并借助虚拟现实头戴设备的显示特性获取身临其境的视觉体现，以此同时满足用户对图像清晰度和全面性的要求。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请一个实施例的内窥镜图像显示方法的流程示意图；

图2为本申请一个实施例的图像填充方式示意图；

图3为本申请一个实施例的内窥镜图像显示装置的框图；

图4为本申请一个实施例的内窥镜手术辅助系统的框图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。

图1示出了根据本申请一个实施例的内窥镜图像显示方法的流程示意图，参见图1，本申请实施例的内窥镜图像显示方法包括如下步骤S110至步骤S140：

步骤S110，在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以初始观察位置为中心控制内窥镜在多个采集方向上移动，获取与基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应初始观察位置处的一个采集方向且包括多帧填充内窥镜图像。

在内窥镜手术中首先选定一个主要观察位置并作为初始观察位置进行内窥镜图像采集，一旦选定了初始观察位置，初始观察距离也得以确定。在该初始观察位置处先静态采集一段视频，从视频中提取出多帧图像作为基础图像组。由于基础图像组中各图像之间差异性很小，因此可以从中选取中任一帧作为基础内窥镜图片进行存储，用于后续的图像处理。

然后以初始观察位置为中心控制内窥镜在多个采集方向上移动，例如可以控制内窥镜分别向上、下、左、右及四个45度方向上进行移动。在移动过程中采集视频，并对每个采集方向上的视频分别存储，得到对应不同采集方向上的多个视频。例如，控制内窥镜从初始观察位置出发，先向右移动采集一段视频后返回至初始观察位置，然后控制内窥镜再向左移动采集一段视频后返回至初始观察位置，接着控制内窥镜再向上移动采集一段视频内窥镜后返回至初始观察位置，以此类推，直至控制内窥镜遍历完所有实际需要的采集方向。在每个采集方向上的移动距离没有要求，用户可以根据实际需要控制内窥镜向一个采集方向移动到一个合适距离后返回至初始观察位置，控制内窥镜再向另外一个采集方向上移动到另一个合适距离后返回至初始观察位置。

对每个采集方向上采集的视频，分别提取出时间上连续的多帧图像作为一组填充内窥镜图像。例如，上述的若控制内窥镜分别向上、下、左、右及四个45度方向上进行移动，则可以得到八组填充内窥镜图像，每组填充内窥镜图像对应初始观察位置处的一个采集方向且包括多帧填充内窥镜图像。从而以内窥镜的初始观察位置为中心，获取到对应多个采集方向上的多组填充内窥镜图像，实现对整个手术区域图像的初始采集。

步骤S120，将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，生成一个基础全局图像。

本步骤S120是在不改变单张内窥镜图像清晰度的情况下根据运动轨迹对这些内窥镜图像进行重建，将原本分离的单张内窥镜图像重建成图像尺寸更大的一张基础全局图像。

例如多组填充内窥镜图像包括对应第一采集方向的第一组填充内窥镜图像、对应第二采集方向的第二组内窥镜、…对应第N采集方向的第N组填充内窥镜图像，N为自然数且N>3；本步骤S120将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，生成基础全局图像包括：

以基础内窥镜图像为基准，按帧时间先后次序将第一组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至基础内窥镜图像上，生成基础内窥镜图像在第一采集方向上的填充图像；然后，按帧时间先后次序将第二组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至基础内窥镜图像在第一采集方向上的填充图像上，生成基础内窥镜图像在第一采集方向和第二采集方向上的填充图像；以此类推，直至按帧时间先后次序将第N组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至之前生成的基础内窥镜图像在多个采集方向上的填充图像上，得到基础内窥镜图像在所有采集方向上的填充图像，进而将基础内窥镜图像在所有采集方向上的填充图像作为基础全局图像。

也即是说，逐个采集方向对基础内窥镜图像进行填充。先将第一采集方向上采集的多帧填充内窥镜图像的不相似部分依次在基础内窥镜图像第一采集方向上进行填充，增大基础内窥镜图像在第一采集方向上的分辨率，然后在得到的基础内窥镜图像在第一采集方向上的填充图像基础上，再将第二采集方向上采集的多帧填充内窥镜图像的不相似部分依次在基础内窥镜图像第二采集方向上进行填充，增大基础内窥镜图像在第二采集方向上的分辨率，经过这两个采集方向填充后得到基础内窥镜图像在第一采集方向和第二采集方向上的填充图像。由于每个采集方向是不同的，因此在逐个采集方向对基础内窥镜图像进行填充时，各个采集方向上的填充图像并不相互干扰，这样依次将所有采集方向上采集的多帧填充内窥镜图像的不相似部分对基础内窥镜图像进行填充后，即可重建出基础全局图像。该基础全局图像相比于原始的内窥镜图像，在长宽分辨率上均扩大数倍。

其中，在将某一采集方向上采集的多帧填充内窥镜图像的不相似部分依次向基础内窥镜图像进行填充过程中，是逐帧计算两帧图像之间的相似度，刚开始是计算第一帧填充内窥镜图像与基础内窥镜图像的相似度，根据相似度将第一帧填充内窥镜图像的不相似部分填充至基础内窥镜图像上，之后计算的都是后一帧填充内窥镜图像与前一帧填充内窥镜图像填充后的图像之间的相似度。

具体地，计算第一帧填充内窥镜图像与基础内窥镜图像的相似度的方法可以是：先分别提取出第一帧填充内窥镜图像的特征点和基础内窥镜图像的特征点，然后利用直方图计算第一帧填充内窥镜图像的特征点与内窥镜基础图像的特征点的相似度。根据相似度将第一帧填充内窥镜图像的不相似部分填充至基础内窥镜图像上的方法可以是：先根据相似度确定出第一帧填充内窥镜图像中与基础内窥镜图像的相似部分和不相似部分，然后将第一帧填充内窥镜图像的不相似部分复制到基础内窥镜图像上，生成第一帧填充内窥镜图像填充后的图像。

下面用一个具体示例对上述填充操作进行说明。参见图2，图2为本申请一个实施例的图像填充方式示意图。图一和图二均为1920*1080P分辨率的内窥镜图像，例如图一为基础内窥镜图像，图二为内窥镜从初始观察位置向右移动采集的第一帧填充内窥镜图像，图一的左部分区域和图二的右部分区域分别是两幅图的不相似部分，不相似部分的分辨率为200*1080P，其余部分区域为两幅图的相似部分。在图二对图一进行填充时，根据检测出的图二与图一的不相似部分，将图二的不相似部分复制到图一上，生成填充后的图像的分辨率为2120*1080P。

如此，将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，对基础内窥镜图像进行多次填充操作后，完成对基础内窥镜图像的重建，生成高分辨率的基础全局图像。

步骤S130，获取实时内窥镜图像，并在基础全局图像中检测出与实时内窥镜图像的相似区域，将实时内窥镜图像复制到基础全局图像中的相似区域，生成实时全局图像。

本步骤S130是以上述步骤S120生成的基础全局图像为计算基础，将实时采集的实时内窥镜图像在该基础全局图像上进行叠加，叠加的具体操作是：先在基础全局图像中检测出与实时内窥镜图像的相似区域，然后将实时内窥镜图像复制到基础全局图像中的该相似区域，生成该时刻的高分辨率的实时全局图像。所生成的实时全局图像中，一部分区域填充的是实时采集的实时内窥镜图像，其他区域填充的是基础全局图像，因此实时全局图像是对实时内窥镜图像完整的原图展示，且相比于实时内窥镜图像，整图的分辨率提高，图像尺寸更大。

步骤S140，将实时全局图像在虚拟现实头戴设备上进行投影显示。

实时全局图像在通过虚拟现实头戴设备进行投影显示过程中，利用Direct3D技术制作虚拟现实渲染及显示程序，将图像处理成能在虚拟现实头戴设备中显示的图像。具体地，可以先将实时全局图像渲染成虚拟现实头戴设备中的左右眼图像，然后根据虚拟现实头戴设备的光学数据对左右眼图像进行桶形畸变处理，接着将桶形畸变处理后的左右眼图像投影到虚拟现实头戴设备上进行显示。

上述步骤S130生成的实时全局图像，由于图像分辨率过高，电脑屏幕无法完整展示全貌，如果用电视或者大显示屏进行显示，人眼必须要距离屏幕一定距离才能看完整，但是远距离观看又会影响到图像的清晰度，而虚拟显示头戴设备可以满足高分辨率的近眼显示。本申请将实时全局图像在虚拟现实头戴设备上进行投影显示，既可以利用虚拟现实头戴设备近距离查看高分辨率的图像，又可借助虚拟现实头戴设备的显示特性获取身临其境的视觉体现，以此同时满足用户对图像清晰度和全面性的要求。

优选地，在本申请的一个实施例中，本申请的内窥镜图像显示方法还包括：

对每组填充内窥镜图像中的多帧填充内窥镜图像，每间隔预设数量帧指定为一个索引帧，以索引帧对应的填充内窥镜图像为基准，按帧时间先后的逆次序将索引帧之前的预设数量帧的填充内窥镜图像的不相似部分依次填充至索引帧上，生成一个基础索引图像；将每组填充内窥镜图像中生成的多个基础索引图像按索引帧的时间先后依次累加编号，不同组填充内窥镜图像生成的基础索引图像独立累加编号，从而得到与基础全局图像对应的带不同编号的多个基础索引图像。

例如，对第一组填充内窥镜图像中的1000帧填充内窥镜图像，每间隔200帧指定为一个索引帧，这样共指定出5个索引帧。以每个索引帧对应的填充内窥镜图像为基准，先将索引帧之前的第一帧填充内窥镜图像的不相似部分填充至索引帧上，生成第一索引填充图像，再将索引帧的之前的第二帧填充内窥镜图像的不相似部分填充至该第一索引填充图像上，生成第二索引填充图像，以此类推，直至按帧时间先后的逆次序将索引帧之前的200帧的填充内窥镜图像的不相似部分全部完成填充，生成一个基础索引图像。这样对应第一组填充内窥镜图像指定的5个索引帧共可以生成5个基础索引图像。假如第一组填充内窥镜图像对应的采集方向是向右，则可以将这5个基础索引图像按索引帧的时间先后依次累加编号为基础索引右1、基础索引右2、…基础索引右5。假设第二组填充内窥镜图像对应的采集方向是向上，则可以将第二组填充内窥镜图像生成的多个基础索引图像独立累加编号为基础索引上1、基础索引上2等等。每组填充内窥镜图像生成的基础索引图像与采集方向一致，编号越大，表示越位于对应采集方向的后端。

生成基础索引图像与生成基础全局图像相比，二者在对多帧填充内窥镜图像的不相似部分的填充方式是一样的，但填充内容和填充方向不同。基础全局图像的填充内容是所有采集方向上提取的填充内窥镜图像，填充方向是以最开始的基础内窥镜图像为基准，后面的多帧填充内窥镜图像都逐一向前填充，这样保留最多的是基础内窥镜图所在位置的信息。而基础索引图像的填充内容是单一采集方向上提取的预设数量帧的填充内窥镜图像，采集方向是以每个指定的索引帧对应的填充内窥镜图像为基准，将索引帧之前的多帧填充内窥镜图像逐一向后填充，这样保留最多的是每个指定的索引帧所在位置的信息。

对采集的内窥镜图像，本申请通过生成多个基础索引图像，能够在图像重建过程中保存不同位置的真实信息。而且，在生成实时全局图像过程中，可以利用基础索引图像对基础全局图像进行更新。具体地，

在上述步骤S130获取实时内窥镜图像之后，且在基础全局图像中检测出与实时内窥镜图像的相似区域之前，本申请的内窥镜图像显示方法还包括：

将获取的实时内窥镜图像与基础全局图像对应的带不同编号的多个基础索引图像逐一进行相似度检测，确定出与实时内窥镜图像最为相似的基础索引图像；将确定出的与实时内窥镜图像最为相似的基础索引图像复制到基础全局图像中，以对基础全局图像进行更新。

若某个基础索引图像对基础全局图像进行了更新，进而在执行上述步骤S130中的“在基础全局图像中检测出与实时内窥镜图像的相似区域”时，具体可以是：根据与实时内窥镜图像最为相似的基础索引图像在基础全局图像中的复制位置，在更新后的基础全局图像中检测出与实时内窥镜图像的相似区域。

优选地，在本申请的一个实施例中，本申请的内窥镜图像显示方法还包括：

控制内窥镜移动到不同于初始观察位置的多个层级观察位置处，在每个层级观察位置处，获取一个层级基础内窥镜图像，并以每个层级观察位置为中心控制内窥镜在不同采集方向上移动，获取与层级基础内窥镜图像对应的多组层级填充内窥镜图像，其中每组层级填充内窥镜图像对应一个层级观察位置处的一个采集方向且包括多帧层级填充内窥镜图像；将多组层级填充内窥镜图像按照采集方向分别依次填充到层级基础内窥镜图像上，生成一个层级辅助全局图像，从而对应多个层级观察位置生成多个层级辅助全局图像。

例如，可以分别控制内窥镜移动到比初始观察位置远、近，角度偏左、右、上、下的多个层级观察位置处，分别进行类似上述的基础内窥镜图像及多帧填充内窥镜图像的图像采集，并进行类似上述的基础全局图像的图像重建，对应每个层级观察位置处生成一个层级辅助全局图像，进而可以获得与初始观察位置不同距离、不同角度的多个层级辅助全局图像，在逻辑上形成以基础全局图像为根，各层级辅助全局图像为节点的树形结构。

在生成实时全局图像过程中，可以将这些层级辅助全局图像与基础全局图像进行比对，对基础全局图像缺失的部分进行填充和扩展，以实现对基础全局图像的更新。具体地，

在上述步骤S130获取实时内窥镜图像之后，且在基础全局图像中检测出与实时内窥镜图像的相似区域之前，本申请的内窥镜图像显示方法还包括：

将实时内窥镜图像分别与基础全局图像和多个层级辅助全局图像进行相似度检测，如果实时内窥镜图像与某个层级辅助全局图像的相似度高于实时内窥镜图像与基础全局图像的相似度，则将层级辅助全局图像替换为基础全局图像，以对基础全局图像进行更新。

进一步优选地，在本申请的一个实施例中，本申请的内窥镜图像显示方法还包括：

根据每组层级填充内窥镜图像的多帧层级填充内窥镜图像生成一个层级辅助索引图像，根据每个层级观察位置的多组层级填充内窥镜图像生成一组层级辅助索引图像，从而对应多个层级观察位置得到多组层级辅助索引图像，其中每组层级辅助索引图像与一个层级辅助全局图像对应且包括带不同编号的多个层级辅助索引图像。

层级辅助索引图像的生成方式类似上述的基础索引图像的生成方法，包括：对每组层级填充内窥镜图像的多帧层级填充内窥镜图像，每间隔预设数量帧指定为一个索引帧，以索引帧对应的层级填充内窥镜图像为基准，按帧时间先后的逆次序将索引帧之前的预设数量帧的层级填充内窥镜图像的不相似部分依次填充至索引帧上，生成一个层级辅助索引图像。

将每组层级填充内窥镜图像中生成的多个层级辅助索引图像按索引帧的时间先后依次累加编号，不同组层级填充内窥镜图像生成的层级辅助索引图像独立累加编号，进而得到一组层级辅助索引图像，该组层级辅助索引图像与一个层级辅助全局图像对应且包括带不同编号的多个层级辅助索引图像。对应每个层级观察位置可采集多组层级填充内窥镜图像并生成一组层级辅助索引图像，从而对应多个层级观察位置可生成多组层级辅助索引图像。

同样地，在生成实时全局图像过程中，可以利用这些层级辅助索引图像对基础全局图像进行更新。具体地，

在上述步骤S130获取实时内窥镜图像之后，且在基础全局图像中检测出与实时内窥镜图像的相似区域之前，若将某个层级辅助全局图像替换为基础全局图像以对基础全局图像进行更新，则在基础全局图像更新之后，所述方法还包括：

将获取的实时内窥镜图像与该层级辅助全局图像对应的带不同编号的多个层级辅助索引图像逐一进行相似度检测，确定出与实时内窥镜图像最为相似的层级辅助索引图像；将确定出的与实时内窥镜图像最为相似的层级辅助索引图像复制到更新后的基础全局图像中，以对更新后的基础全局图像进行再次更新，从而不断更新基础全局图像。

若某个层级辅助索引图像对基础全局图像进行了再次更新，进而在执行上述步骤S130中的“在基础全局图像中检测出与实时内窥镜图像的相似区域”时，具体可以是：根据与实时内窥镜图像最为相似的层级辅助索引图像在基础全局图像中的复制位置，在再次更新后的基础全局图像中检测出与实时内窥镜图像的相似区域。

本申请通过图像重建不仅生成具有高分辨率和大图像尺寸的一张基础全局图像，还生成了多个层级辅助全局图像，与基础全局图像对应的多个基础索引图像，以及与每个层级辅助全局图像对应的多个层级辅助索引图像。在将实时内窥镜图像实时复制到基础全局图像生成实时全局图像的过程中，可以利用这些层级辅助全局图像、基础索引图像以及层级辅助索引图像对基础全局图像进行更新，保证更新后的基础全局图像与当前的实时内窥镜图像最为相似。生成的实时全局图像中，一部分区域填充的是实时采集的内窥镜图像，可以对实时内窥镜图像进行完整的原图展示，其他区域填充的是更新后的基础全局图像，整图的分辨率提高，图像尺寸更大。

对本申请采集的内窥镜原图或通过图像重建生成的基础全局图像、实时全局图像、层级辅助全局图像、基础索引图像以及层级辅助索引图像，用户可以利用虚拟现实头戴设备进行多种功能或效果的查看，例如：缩放、拖动、重定位、原图突出、多图对比等，还可以对图像进行亮度、色度、对比度、饱和度的调整等。由于实时全局图像是图像重建得到的全景图像，有时需要突出内窥镜原图，让医生清楚哪些是可以作为直接依据的原图，哪些是可以作为辅助参考的重建出的全景图像，为此还相应提供了全图圈定、重建部分亮度调低、重建部分隐去等功能。

与前述的内窥镜图像显示方法同属于一个技术构思，本申请实施例还提供了一种内窥镜图像显示装置。图3示出了本申请一个实施例的内窥镜图像显示装置的框图，参见图3，内窥镜图像显示装置300包括：

内窥镜图像获取电路310，用于在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以初始观察位置为中心控制内窥镜在多个采集方向上移动，获取与基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

基础全局图像生成电路320，用于将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，生成一个基础全局图像；

实时全局图像生成电路330，用于获取实时内窥镜图像，并在基础全局图像中检测出与实时内窥镜图像的相似区域，将实时内窥镜图像复制到基础全局图像中的相似区域，生成实时全局图像；

投影显示电路340，用于将实时全局图像在虚拟现实头戴设备上进行投影显示。

在本申请的一个实施例中，本申请的内窥镜图像显示装置还可以包括：

基础索引图像生成电路，用于对每组填充内窥镜图像中的多帧填充内窥镜图像，每间隔预设数量帧指定为一个索引帧，以索引帧对应的填充内窥镜图像为基准，按帧时间先后的逆次序将索引帧之前的预设数量帧的填充内窥镜图像的不相似部分依次填充至索引帧上，生成一个基础索引图像；将每组填充内窥镜图像中生成的多个基础索引图像按索引帧的时间先后依次累加编号，不同组填充内窥镜图像生成的基础索引图像独立累加编号，从而得到与基础全局图像对应的带不同编号的多个基础索引图像。

相应的，上述的实时全局图像生成电路330，具体用于在获取实时内窥镜图像之后，且在基础全局图像中检测出与实时内窥镜图像的相似区域之前，将获取的实时内窥镜图像与基础全局图像对应的带不同编号的多个基础索引图像逐一进行相似度检测，确定出与实时内窥镜图像最为相似的基础索引图像，并将确定出的与实时内窥镜图像最为相似的基础索引图像复制到基础全局图像中，以对基础全局图像进行更新。

在本申请的一个实施例中，本申请的内窥镜图像显示装置还可以包括：

层级辅助全局图像生成电路，用于控制内窥镜移动到不同于初始观察位置的多个层级观察位置处，在每个层级观察位置处，获取一个层级基础内窥镜图像，并以每个层级观察位置为中心控制内窥镜在不同采集方向上移动，获取与层级基础内窥镜图像对应的多组层级填充内窥镜图像，其中每组层级填充内窥镜图像对应一个层级观察位置处的一个采集方向且包括多帧层级填充内窥镜图像；将多组层级填充内窥镜图像按照采集方向分别依次填充到层级基础内窥镜图像上，生成一个层级辅助全局图像，从而对应多个层级观察位置生成多个层级辅助全局图像。

相应的，上述的实时全局图像生成电路330，具体用于在获取实时内窥镜图像之后，且在基础全局图像中检测出与实时内窥镜图像的相似区域之前，将实时内窥镜图像分别与基础全局图像和多个层级辅助全局图像进行相似度检测，如果实时内窥镜图像与某个层级辅助全局图像的相似度高于实时内窥镜图像与基础全局图像的相似度，则将该层级辅助全局图像替换为基础全局图像，以对所述基础全局图像进行更新。

在本申请的一个实施例中，本申请的内窥镜图像显示装置还可以包括：

层级辅助索引图像生成电路，用于根据每组层级填充内窥镜图像生成一个层级辅助索引图像，根据每个层级观察位置的多组层级填充内窥镜图像生成一组层级辅助索引图像，从而对应多个层级观察位置得到多组层级辅助索引图像，其中每组层级辅助索引图像与一个层级辅助全局图像对应且包括带不同编号的多个层级辅助索引图像。

在将层级辅助全局图像替换为基础全局图像，以对基础全局图像进行更新之后，相应的，上述的实时全局图像生成电路330，还具体用于将获取的实时内窥镜图像与该层级辅助全局图像对应的带不同编号的多个层级辅助索引图像逐一进行相似度检测，确定出与实时内窥镜图像最为相似的层级辅助索引图像，并将确定出的与实时内窥镜图像最为相似的层级辅助索引图像复制到更新后的基础全局图像中，以对更新后的基础全局图像进行再次更新。

与前述的内窥镜图像显示方法同属于一个技术构思，本申请实施例还提供了一种内窥镜手术辅助系统。图4示出了本申请一个实施例的内窥镜手术辅助系统的框图，参见图4，内窥镜手术辅助系统400包括：内窥镜410、处理器420、存储有计算机可执行指令的非易失性存储器430、虚拟现实头戴设备440，用于实现前述的内窥镜图像显示方法，其中，

内窥镜410，用于获取内窥镜图像发送给处理器420；

处理器420，用于根据非易失性存储器430内的计算机可执行指令对内窥镜410获取的内窥镜图像进行处理，生成实时全局图像发送给虚拟现实头戴设备440；

虚拟现实头戴设备440，用于对实时全局图像进行投影显示。

可选地，内窥镜手术辅助系统400还可以包括输入/输出接口模块、通信模块等硬件。

处理器420可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器420还可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，前述的内窥镜图像显示方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的内窥镜图像显示方法，并具体用于执行：

在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

将多组填充内窥镜图像按照采集方向分别依次填充到基础内窥镜图像上，生成一个基础全局图像；

获取实时内窥镜图像，并在基础全局图像中检测出与实时内窥镜图像的相似区域，将实时内窥镜图像复制到基础全局图像中的相似区域，生成实时全局图像；

将实时全局图像在虚拟现实头戴设备上进行投影显示。

本领域内的技术人员应明白，本申请是根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种内窥镜图像显示方法，其特征在于，包括：

在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以所述初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与所述基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应所述初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

将所述多组填充内窥镜图像按照采集方向分别依次填充到所述基础内窥镜图像上，生成一个基础全局图像；

以及，控制所述内窥镜移动到不同于所述初始观察位置的多个层级观察位置处，在每个层级观察位置处，获取一个层级基础内窥镜图像，并以每个层级观察位置为中心控制所述内窥镜在不同采集方向上移动，获取与所述层级基础内窥镜图像对应的多组层级填充内窥镜图像，其中每组层级填充内窥镜图像对应一个层级观察位置处的一个采集方向且包括多帧层级填充内窥镜图像；

将所述多组层级填充内窥镜图像按照采集方向分别依次填充到所述层级基础内窥镜图像上，生成一个层级辅助全局图像，从而对应多个层级观察位置生成与所述初始观察位置不同距离、不同角度的多个层级辅助全局图像，在逻辑上形成以所述基础全局图像为根，各层级辅助全局图像为节点的树形结构；

获取实时内窥镜图像，将所述实时内窥镜图像分别与所述基础全局图像和多个所述层级辅助全局图像进行相似度检测，如果所述实时内窥镜图像与某个所述层级辅助全局图像的相似度高于所述实时内窥镜图像与所述基础全局图像的相似度，则使用所述层级辅助全局图像替换所述基础全局图像，以对所述基础全局图像进行更新；

在所述基础全局图像或者更新后的基础全局图像中检测出与所述实时内窥镜图像的相似区域，将所述实时内窥镜图像复制到所述基础全局图像或者更新后的基础全局图像中的所述相似区域，生成实时全局图像；其中，所述实时全局图像中一部分区域填充的是实时采集的实时内窥镜图像，其他区域填充的是基础全局图像或者更新后的基础全局图像；

利用Direct3D技术制作虚拟现实渲染及显示程序，将所述实时全局图像处理成能在虚拟现实头戴设备中显示的图像，在虚拟现实头戴设备上进行投影显示。

2.根据权利要求1所述的方法，其特征在于，所述多组填充内窥镜图像包括对应第一采集方向的第一组填充内窥镜图像、对应第二采集方向的第二组填充内窥镜图像、…对应第N采集方向的第N组填充内窥镜图像，N为自然数且N>3；所述将所述多组填充内窥镜图像按照采集方向分别依次填充到所述基础内窥镜图像上，生成基础全局图像包括：

以所述基础内窥镜图像为基准，按帧时间先后次序将第一组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至所述基础内窥镜图像上，生成所述基础内窥镜图像在第一采集方向上的填充图像；

然后，按帧时间先后次序将第二组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至所述基础内窥镜图像在第一采集方向上的填充图像上，生成所述基础内窥镜图像在第一采集方向和第二采集方向上的填充图像；

以此类推，直至按帧时间先后次序将第N组填充内窥镜图像中的多帧填充内窥镜图像的不相似部分依次填充至之前生成的所述基础内窥镜图像在多个采集方向上的填充图像上，得到所述基础内窥镜图像在所有采集方向上的填充图像；

将所述基础内窥镜图像在所有采集方向上的填充图像作为所述基础全局图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对每组填充内窥镜图像中的多帧填充内窥镜图像，每间隔预设数量帧指定为一个索引帧，以所述索引帧对应的填充内窥镜图像为基准，按帧时间先后的逆次序将所述索引帧之前的所述预设数量帧的填充内窥镜图像的不相似部分依次填充至所述索引帧上，生成一个基础索引图像；

将每组填充内窥镜图像中生成的多个基础索引图像按索引帧的时间先后依次累加编号，不同组填充内窥镜图像生成的基础索引图像独立累加编号，从而得到与所述基础全局图像对应的带不同编号的多个基础索引图像；

在获取实时内窥镜图像之后，且在所述基础全局图像中检测出与所述实时内窥镜图像的相似区域之前，所述方法还包括：

将获取的实时内窥镜图像与所述基础全局图像对应的带不同编号的多个基础索引图像逐一进行相似度检测，确定出与所述实时内窥镜图像最为相似的基础索引图像，并将确定出的与所述实时内窥镜图像最为相似的基础索引图像复制到所述基础全局图像中，以对所述基础全局图像进行更新。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据每组层级填充内窥镜图像的多帧层级填充内窥镜图像生成一个层级辅助索引图像，根据每个层级观察位置的多组层级填充内窥镜图像生成一组层级辅助索引图像，从而对应多个层级观察位置得到多组层级辅助索引图像，其中每组层级辅助索引图像与一个层级辅助全局图像对应且包括带不同编号的多个层级辅助索引图像；

在将所述层级辅助全局图像替换为所述基础全局图像，以对所述基础全局图像进行更新之后，所述方法还包括：

将获取的实时内窥镜图像与所述层级辅助全局图像对应的带不同编号的多个层级辅助索引图像逐一进行相似度检测，确定出与所述实时内窥镜图像最为相似的层级辅助索引图像，并将确定出的与所述实时内窥镜图像最为相似的层级辅助索引图像复制到更新后的所述基础全局图像中，以对更新后的所述基础全局图像进行再次更新。

5.一种内窥镜图像显示装置，其特征在于，包括：

内窥镜图像获取电路，用于在内窥镜的初始观察位置处，获取一个基础内窥镜图像，然后以所述初始观察位置为中心控制所述内窥镜在多个采集方向上移动，获取与所述基础内窥镜图像对应的多组填充内窥镜图像，其中每组填充内窥镜图像对应所述初始观察位置处的一个采集方向且包括多帧填充内窥镜图像；

基础全局图像生成电路，用于将所述多组填充内窥镜图像按照采集方向分别依次填充到所述基础内窥镜图像上，生成一个基础全局图像；

层级辅助全局图像生成电路，用于控制所述内窥镜移动到不同于所述初始观察位置的多个层级观察位置处，在每个层级观察位置处，获取一个层级基础内窥镜图像，并以每个层级观察位置为中心控制所述内窥镜在不同采集方向上移动，获取与所述层级基础内窥镜图像对应的多组层级填充内窥镜图像，其中每组层级填充内窥镜图像对应一个层级观察位置处的一个采集方向且包括多帧层级填充内窥镜图像；将所述多组层级填充内窥镜图像按照采集方向分别依次填充到所述层级基础内窥镜图像上，生成一个层级辅助全局图像，从而对应多个层级观察位置生成与所述初始观察位置不同距离、不同角度的多个层级辅助全局图像，在逻辑上形成以所述基础全局图像为根，各层级辅助全局图像为节点的树形结构；

实时全局图像生成电路，用于获取实时内窥镜图像，将所述实时内窥镜图像分别与所述基础全局图像和多个所述层级辅助全局图像进行相似度检测，如果所述实时内窥镜图像与某个所述层级辅助全局图像的相似度高于所述实时内窥镜图像与所述基础全局图像的相似度，则将所述层级辅助全局图像替换为所述基础全局图像，以对所述基础全局图像进行更新；并在所述基础全局图像或者更新后的基础全局图像中检测出与所述实时内窥镜图像的相似区域，将所述实时内窥镜图像复制到所述基础全局图像或者更新后的基础全局图像中的所述相似区域，生成实时全局图像；其中，所述实时全局图像中一部分区域填充的是实时采集的实时内窥镜图像，其他区域填充的是基础全局图像或者更新后的基础全局图像；

投影显示电路，用于利用Direct3D技术制作虚拟现实渲染及显示程序，将所述实时全局图像处理成能在虚拟现实头戴设备中显示的图像，在虚拟现实头戴设备上进行投影显示。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

基础索引图像生成电路，用于对每组填充内窥镜图像中的多帧填充内窥镜图像，每间隔预设数量帧指定为一个索引帧，以所述索引帧对应的填充内窥镜图像为基准，按帧时间先后的逆次序将所述索引帧之前的所述预设数量帧的填充内窥镜图像的不相似部分依次填充至所述索引帧上，生成一个基础索引图像；将每组填充内窥镜图像中生成的多个基础索引图像按索引帧的时间先后依次累加编号，不同组填充内窥镜图像生成的基础索引图像独立累加编号，从而得到与所述基础全局图像对应的带不同编号的多个基础索引图像；

所述实时全局图像生成电路，具体用于在获取实时内窥镜图像之后，且在所述基础全局图像中检测出与所述实时内窥镜图像的相似区域之前，将获取的实时内窥镜图像与所述基础全局图像对应的带不同编号的多个基础索引图像逐一进行相似度检测，确定出与所述实时内窥镜图像最为相似的基础索引图像，并将确定出的与所述实时内窥镜图像最为相似的基础索引图像复制到所述基础全局图像中，以对所述基础全局图像进行更新。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

层级辅助索引图像生成电路，用于根据每组层级填充内窥镜图像生成一个层级辅助索引图像，根据每个层级观察位置的多组层级填充内窥镜图像生成一组层级辅助索引图像，从而对应多个层级观察位置得到多组层级辅助索引图像，其中每组层级辅助索引图像与一个层级辅助全局图像对应且包括带不同编号的多个层级辅助索引图像；

所述实时全局图像生成电路，还具体用于在将所述层级辅助全局图像替换为所述基础全局图像，以对所述基础全局图像进行更新之后，将获取的实时内窥镜图像与所述层级辅助全局图像对应的带不同编号的多个层级辅助索引图像逐一进行相似度检测，确定出与所述实时内窥镜图像最为相似的层级辅助索引图像，并将确定出的与所述实时内窥镜图像最为相似的层级辅助索引图像复制到更新后的所述基础全局图像中，以对更新后的所述基础全局图像进行再次更新。

8.一种内窥镜手术辅助系统，包括：内窥镜、处理器、存储有计算机可执行指令的非易失性存储器、虚拟现实头戴设备，用于实现前述权利要求1至4任一项所述方法，其中，

所述内窥镜，用于获取内窥镜图像发送给所述处理器；

所述处理器，用于根据所述非易失性存储器内的计算机可执行指令对所述内窥镜获取的内窥镜图像进行处理，生成实时全局图像发送给所述虚拟现实头戴设备；

所述虚拟现实头戴设备，用于对所述实时全局图像进行投影显示。