CN117898834A - 用于引导内镜手术的方法及计算机可读存储介质、控制装置和计算机程序产品、电子设备、导航系统及机器人系统 - Google Patents

Abstract

本发明涉及用于引导内镜手术的方法、相应的计算机可读存储介质、控制装置、计算机程序产品、以及用于内镜手术的导航的电子设备、导航系统以及机器人系统。该方法包括：内镜图像获取步骤；增强信息获取步骤：获取以下三种类型的增强信息中的至少两种：a)将内镜的多个图像拼接得到的拼接图像；b)患者生理结构的三维影像；c)在患者生理结构的三维影像或二维影像上的标记；内镜增强图像融合步骤：将所获取的内镜的当前图像与至少两种增强信息相融合；以及显示包括内镜增强图像的至少一部分的视图的步骤。本发明通过将内镜的当前图像与上述三种增强信息中的至少两种融合，使得内镜图像得到多维度的增强，实现对操作者的全方位多维度的引导。

Description

用于引导内镜手术的方法及计算机可读存储介质、控制装置 和计算机程序产品、电子设备、导航系统及机器人系统

技术领域

本发明涉及医疗设备技术领域，尤其涉及手术导航系统，更具体地涉及用于引导内镜手术的方法、电子设备、导航系统及机器人系统。

背景技术

在传统的内镜手术中，单纯地使用内镜视野进行手术观察、工具操作与控制。而医生的视野受限于内镜视野的小范围，无法看到内镜视野之外的区域，从而导致内镜无法正确抵达患处或操作不充分而导致无法实现既定手术目标。

尤其是脊柱内镜手术，因其微创的特点，是治疗没有发生锥体结构性不稳定的神经压迫症状的有效手段，在近年得到了广泛的临床认可和推广。但因为椎间孔的生理结构和脊柱内镜的特殊构型，使得医生在熟悉并最终掌握脊柱内镜手术技术的过程中不得不面对以下挑战：

第一，镜下视野受限。脊柱内镜在工作通道套筒中使用，导致医生在使用的过程中，视野一直受到工作通道套筒遮挡。当医生按照通常的思维，拉起脊柱内镜，使其远离观察目标点，希望观察到更大的生理结构范围时，首先看到的是工作通道套筒的管壁。而如果医生将工作通道套筒也向远离目标点的方向拉起，则工作通道套筒外侧的软组织会向内收拢，侵入通道中，医生看到的将是工作通道套筒外侧的软组织，挡住医生想要观察的目标点的结构，因此依旧无法实现其观察到更大范围的生理结构的目的。“见木不见林”是脊柱内镜手术医生对于脊柱内镜手术镜下操作视野受限这一困难的形象比喻。

第二，容易迷失方向。为了克服镜下视野受限这一挑战，脊柱内镜的末端被设计为具有成角度的斜面的末端，成像装置的镜片被安装在成角度斜面上并相对于内镜的轴线偏心地布置，以便通过绕轴线旋转内镜以观察到更大范围。

然而，也正是因为这种构型，导致了如果初学者对镜下软组织结构不熟悉，反而会经常性地由于转动内镜而迷失方向。

第三，手眼协调困难。脊柱内镜的构型为内镜的光学硬镜模组(也称内镜的成像装置)和手术工具的通道集成在同一个内镜伸入筒内。当医生轴向转动脊柱内镜观察目标位置时，手术工具也随脊柱内镜转动。因为光学硬镜模组与手术工具的实际位置因为脊柱内镜的特殊构型而不可能发生任何相对变化，其直观结果是医生观察到手术工具在屏幕上的位置并没有发生任何变化，但此时的实际情况是因为脊柱内镜的轴向旋转，此时手术工具相对于镜下生理结构的位置已经改变。但医生无法“看穿”人体而直观地看到工具相对于周边生理结构的位置变化，而只能通过显示脊柱内镜图像的屏幕进行观察。因此，医生非常容易出现“手眼协调”困难，每次内镜旋转后，都需要重新适应工具在屏幕中的运动方向，思维一直处于运转状态，极易产生疲劳。

第四，“学习曲线”陡峭。因为以上三个镜下操作中面临的困难，导致了脊柱内镜医生需要超群的生理解剖知识、优秀的空间想象能力和更多的手术案例积累才能渡过所谓的“学习曲线”。通常，医生需要30至50例手术甚至更多，方能熟练掌握脊柱内镜技术，这使得培养一位合格的脊柱内镜手术医生往往需要较长的时间和不菲的成本，这也限制了脊柱内镜技术的推广和普及。

而且，传统的导航技术，多用于在脊柱内固定手术中引导椎弓根螺钉的置入过程中对工具和植入物相对于患者生理结构的实时追踪和定位，辅助医生实现“精准、安全、微创”的临床目标。近年来，开始出现将导航技术，特别是电磁导航技术，应用在脊柱内镜手术中。其具体的实现方式为：通过导航系统中的电磁追踪器追踪内镜示踪器的实时空间位置，并使用导航系统所包括的处理器计算内镜的实时位置和视场，将其投影到已经通过导航配准流程与患者实际生理结构匹配的空间三维影像模型或二维透视影像模型上，并在导航系统的显示器上显示这种相对位置关系。该种解决方案存在如下问题，即在电磁导航界面上，医生的模拟观察视角是与获取该三维影像或二维透视影像时X射线源的位置是一致的，位于患者体外某处。而在显示脊柱内镜的内镜图像的显示器上，实际的观察视角位于内镜硬镜模组的镜片后方，在患者体内。因此，由于导航视图与脊柱内镜影像视图的观察视角位置不同，每次医生通过移动或者转动脊柱内镜从而改变脊柱内镜的光学硬镜模组的镜片的位置或者调整镜片朝向之后，医生必须要结合自己对解剖结构的了解，经过思考过程将不同的观察视角转化并统一，才能“脑补”出此刻内镜的镜下生理结构在患者体内的准确位置和方向。其结果就是医生的思维一直处于运转状态，更容易产生疲劳。

因此这种将内镜当作普通手术工具一样追踪并将其空间位置和朝向可视化的导航解决方案，只是将导航技术简单直接的应用在内镜手术中，并没有有效的解决镜下视野受限、手眼协调困难这些临床需求。甚至对于“镜下容易迷失方向”这一与“定位”相关的需求，目前的电磁导航技术也并没有在实质上解决长久以来困扰脊柱内镜手术医生的问题。

如何发挥导航系统的优势，解决目前内镜手术例如脊柱内镜手术中遇到的“镜下视野受限”、“容易迷失方向”、“手眼协调困难”并克服“学习曲线”陡峭的挑战，使得初学者也能在导航系统的辅助下，精准、高效的完成手术操作，是本领域亟待解决的问题。

发明内容

本发明的目的旨在解决现有技术中存在的上述问题和缺陷的至少一个以及其它技术问题。

本发明一方面提供了一种用于引导内镜手术的方法，该方法包括如下步骤：

内镜图像获取步骤：获取内镜的图像；

增强信息获取步骤：获取以下三种类型的增强信息中的至少两种：

a)将内镜的多个图像拼接得到的拼接图像；

b)患者生理结构的三维影像；

c)在患者生理结构的三维影像或二维影像上的标记；

内镜增强图像融合步骤：将所获取的内镜的当前图像与增强信息获取步骤中获取的至少两种增强信息相融合以获得内镜增强图像；以及

显示步骤：显示包括内镜增强图像的至少一部分的视图。

在该示例的方案中，通过将内镜的当前图像与上述三种增强信息中的至少两种融合，使得内镜图像得到内镜末端周围更大视野内的软组织、肉眼看不到的骨性结构、规划方位信息的多维度(至少两种)的增强。由于内镜增强图像融合了内镜末端周围的更大范围的拼接图像而为操作者提供了更大的视野；由于融合了骨性结构的三维影像而使操作者看到本来看不到的骨性结构从而掌握全局方位；由于融合了与标记相关的引导指示而便于操作者快速定位靶点结构位置并确定方向以及手术工具方位。现有技术中即使有对内镜图像的增强，也仅通过有限的一种方式来增强，而没有从至少两个方面同时多维度地实现对内镜图像的增强。在本发明中，操作者能够直观地观察到内镜视野下的当前图像及其周围的软组织、骨性结构、靶点位置和方向信息，实现对操作者的全方位多维度的引导。该方案完美解决了内镜手术中遇到的“镜下视野受限”、“容易迷失方向”、“手眼协调困难”的问题以及“学习曲线陡峭”的问题。

根据一种示例，内镜增强图像融合步骤借助于导航系统来进行，其中，方法在内镜增强图像融合步骤之前还包括：

成像方位获取步骤：获取内镜的成像装置在导航系统下的方位；以及增强信息方位获取步骤：获取所需融合的拼接图像、三维影像或标记在导航系统下的方位；

其中，在内镜增强图像融合步骤中根据成像装置的方位以及所需融合的拼接图像、三维影像或标记的方位来进行融合。

该示例中借助于导航系统，将待融合的成像装置的图像以及各增强信息统一到导航坐标系下，这种融合方式获得的图像的融合精度更高，具有更高的导航精度和导航效果。

根据一种示例，所述方法还包括：全局增强图像融合步骤，其中在全局增强图像融合步骤中将拼接图像、三维影像和与标记相关的引导指示中的至少两种相融合以获取全局增强图像，其中全局增强图像上指示出成像装置的当前视野位置和/或内镜增强图像的视图的位置；以及显示全局增强图像的步骤，其中在全局增强图像上由不同颜色和/或线型的线来表示出成像装置的当前视野位置的边缘和内镜增强图像的视图的边缘。

在该示例中，内镜增强视图作为全局增强图像的一个局部，与全局增强视图同时显示，并在全局增强图像中显示出两者的关联信息，即在全局增强图像上醒目地由不同颜色和/或线型的线来表示出成像装置的当前视野位置的边缘和内镜增强图像的视图的边缘，使得操作者在观看较大的内镜实时图像的同时，能够获知内镜实时图像在全局中的位置以及相对于周围的软组织、骨性结构、靶点位置和方向信息，实现对操作者的全方位的引导。

根据一种示例，所获取和融合的增强信息的类型基于操作者的输入而选取。该示例使得手术医生能够根据其需要和偏好灵活选择对内镜图像的增强信息。

根据一种示例，在内镜增强图像的视图中所显示的内镜增强图像的范围能够根据操作者的输入而确定。在该示例中，在该内镜增强图像的视图中所显示的内镜增强图像的范围(对应于内镜的当前图像在内镜增强视图中的大小)能够根据操作者的输入而确定。换言之，操作者可以根据需要通过与系统交互而改变内镜的当前图像在内镜增强视图中的大小比例，例如将内镜的当前图像放大或缩小。当医生需要更细致地观察镜下视野中的某细节时，可以将内镜实时图像放大(相应地整个内镜增强图像在该视图窗口中能显示的范围变小)，而周围的增强信息中显示的内容与内镜实时图像的比例关系保持不变，超出“内镜增强视图”边缘部分的增强信息不再在“内镜增强视图”上显示。

根据一种示例，在融合的增强信息包括拼接图像的情况下，增强信息获取步骤包括拼接步骤，在拼接步骤中，将多个内镜的图像根据与至少一个内镜图像对应的成像装置的方位进行拼接而获取拼接图像。在本方案中，由于根据与至少一个图像对应的成像装置的方位来拼接各图像，相对于现有的各种拼接方式(例如基于算法)而言，所需要处理的计算更少，很大程度地提高拼接速度，这对于手术过程中的对内镜图像的实时观察来讲尤其重要。

根据一种示例，在融合的增强信息包括拼接图像的情况下，增强信息获取步骤还包括：在所述拼接步骤之前的畸变校准步骤，其中，在所述畸变校准步骤中将待拼接的内镜的图像进行畸变校准；以及在拼接步骤之后的处理步骤，在处理步骤中根据在拼接步骤中获得的图像生成平面图像，其中在内镜增强图像融合步骤中将平面图像作为拼接图像与内镜的当前图像进行融合。在该示例中，通过在拼接之前的畸变校准去除内镜的畸变效应，使拼接图像更接近于真实图像。并在拼接之后的处理步骤中消除或减少因观察视角的不同而产生的拼接图像的视觉上的变形。两种畸变处理方式相结合以使得拼接图像更接近于真实的周围场景，便于操作者观察。

根据一种示例，在融合的增强信息包括标记的情况下，增强信息方位获取步骤包括标记方位获取步骤，在该步骤中借助于三维影像或二维影像在导航系统下的配准来获取标记在导航系统下的方位；其中在内镜增强图像融合步骤中，根据标记在导航系统下的方位，将与标记相关的引导指示与内镜的当前图像进行融合。

根据一种示例，所述方法使得操作者能够选择方向标记和指示生理结构的标记中的一者或多者。这使得操作者能够根据其偏好或实际场景进行选择。根据一种示例，方向标记包括朝向患者的背侧、腹侧、头侧和尾侧的方向标记中的一者或多者。根据一种示例，患者生理结构为脊柱，指示生理结构的标记包括标记出的靶点(例如突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者)的影像模型。该影像模型能够从患者生理结构的影像中摘除或分离出来，这种情况下该影像模型即为指示该生理结构的标记。

根据一种示例，指示生理结构的标记包括生理结构标记点；优选地，患者生理结构为脊柱，并且生理结构标记点为指示突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的标记点，或为在内镜手术过程中不发生位移的生理结构标记点，例如关节突腹侧、前节椎体的椎弓根、后节椎体的椎弓根、椎间盘中的一者或多者；优选地，生理结构标记点为多个。

根据一种示例，在融合的增强信息包括患者生理结构的三维影像的情况下，增强信息方位获取步骤包括将患者生理结构的三维影像配准到导航系统下以获取三维影像的方位的步骤。优选地，患者生理结构的三维影像包括术前三维影像或术中三维影像。

根据一种示例，所述内镜为脊柱内镜。

本发明的导航方法对于脊柱内镜(例如椎间孔镜)尤其有益。如背景技术中所介绍的，脊柱内镜在工作通道套筒中使用，使得医生的镜下视野进一步受限，内镜的成像装置和手术工具的通道集成在同一个内镜伸入筒中，使得医生容易出现手眼协调困难。如何在脊柱内镜手术中，让医生不受脊柱内镜特殊使用方式(内镜在工作通道套筒中使用)和内镜光学硬镜模组的可视角度有限的影响、减少“手眼协调困难”以及由于内镜转动造成的迷失方向的问题，一直尚未有便捷、可靠的解决方案。而本发明的方法通过为内镜图像提供多维度的增强信息，解决了上述问题，能够很大程度上避免医生误操作和增加脊柱手术的可靠性。

根据一种示例，其中成像方位获取步骤借助于从导航系统的追踪装置获取相对于内镜具有固定的位置关系的示踪器的位置来进行。该方法借助于导航系统方便地实现了对内镜的成像装置的方位追踪。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时执行上述各示例中的方法中的步骤。

根据本发明的再一方面，还提供一种控制装置，该控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行上述各示例中的方法。

根据本发明的再一方面，还提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上述各示例中的方法的步骤。

根据本发明的再一方面，还提供了一种用于内镜手术的导航的电子设备，其特征在于，电子设备包括显示装置和处理器，处理器具有数据接口，其中数据接口能够连接到内镜，使得处理器能够获取内镜的图像；并且，其中处理器被配置成能够获取患者生理结构的三维影像和在患者生理结构的三维影像或二维影像上的标记中的一者或多者；其中处理器被配置成在处理器运行时在至少一段时间内在显示装置上显示内镜增强图像的至少一部分的视图，其中该内镜增强图像为将内镜的当前图像与以下三种类型的增强信息中的至少两种相融合的图像：

a)将内镜的多个图像拼接得到的拼接图像；

b)患者生理结构的三维影像；

c)与标记相关的引导指示。

根据本发明的再一方面，还提供一种用于内镜手术的导航系统，该导航系统包括适于追踪相对于内镜具有固定的位置关系的示踪器的追踪装置、显示装置和处理器，其中处理器适于连接到追踪装置和内镜，其中在处理器运行时执行上述各示例中的方法，并通过显示装置实现方法中的显示。

由于该导航系统融合了内镜周围的更大范围的拼接图像而为操作者提供了更大的视野；融合了骨性结构的三维影像而使操作者看到本来看不到的骨性结构、掌握全局方位；融合了方向标记或指示生理结构的标记或其引导指示而便于操作者快速定位到目标位置并掌握手术工具方位，因而具有更好的导航效果和导航精度。

根据本发明的再一方面，还提供一种机器人系统，该机器人系统包括机械臂以及上述导航系统。换言之，本发明的构思也可在机器人系统中的导航系统下来实施。

附图说明

下面参照附图经由示例性实施例对本发明进行详细描述。

图1示例性地示出本发明的用于引导内镜手术的方法的流程图。

图2示出根据本发明的一种示例性的实施例的用于脊柱内镜手术的导航系统的原理示意图。

图3示例性地示出了将拼接图像、患者生理结构的三维影像与内镜的当前图像融合所获得的内镜增强图像。

图4示例性地示出了将图3的内镜增强图像在显示装置的窗口上显示的视图。

图5示例性地示出了根据另一种示例性的实施例的内镜增强图像在显示装置的窗口上显示的视图，其中该内镜增强图像融合了拼接图像、患者生理结构的三维影像、生理结构标记点与内镜的当前图像。

图6示例性地示出了导航系统的具有内镜增强图像视图和全局增强图像的显示界面。

图7示例性地示出了融合了拼接图像、患者生理结构的三维影像以及方向标记的全局增强图像，其中指示出了成像装置的当前视野位置和内镜增强图像的视图的位置。

图8示例性地示出了融合了拼接图像、患者生理结构的三维影像以及生理结构标记点的全局增强图像，其中指示出了成像装置的当前视野位置和内镜增强图像的视图的位置。

图9示例性地示出了包括拼接步骤以获取拼接图像的增强信息获取步骤的流程图。

图10示例性地示出了移动内镜以获得更大范围的多个内镜图像的原理示意图。

图11示例性地转动内镜以获取拼接图像的原理示意图。

图12示出了操作者在术前三维影像或术中三维影像上进行方向标记的示例。

图13示出了操作者在将二维透视影像进行类三维拟合后的影像上进行方向标记的示例。

图14示出了操作者在术前三维影像或术中三维影像上完成生理结构标记的示例。

图15示出了操作者在术中正位影像上完成生理结构标记的示例。

图16示出了操作者在术中侧位影像上完成生理结构标记的示例。

应说明的是，附图仅是示意性的。它们仅示出为了阐明本发明而需要的那些部件或步骤，而其它部件或步骤可能被省略或仅仅简单提及。除了附图中所示出的部件或步骤外，本发明还可以包括其它部件或步骤。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。下述参照附图对本发明实施方式的说明旨在对本发明的总体构思进行解释，而不应当理解为对本发明的限制。

以下作为一个具体的实施例，描述本发明的在导航系统下利用内镜(例如脊柱内镜、神经内镜等)的图像引导内镜手术的方法的具体步骤以及所涉及的电子设备、导航系统以及机器人系统(或称定位与导航系统)等。在下面的详细描述中，以极为具体和详细的方式阐述了许多具体的细节、步骤以提供对实施例的全面理解。然而应当理解，一个或多个其他实施例在没有这些具体细节、步骤的情况下也可以被实施。

需要说明的是，虽然本文中采用了内镜的“成像装置”和“图像”的表述方式，但本领域技术人员可以理解，“成像装置”为广义的概念，包括摄像、视频采集和图像采集等功能，“图像”为广义的概念，包括视频、动态连续的图像以及静态的图像。在本文中，内镜的“成像装置”可以为用于该内镜的视频成像的内镜模组，在本发明的图像获取步骤中获取的是来自于该内镜的影像的成帧的图像。

在本发明的具体的实施例中，所使用的导航系统如图2所示包括追踪装置1、控制装置2和显示装置3。该追踪装置1可以为光学追踪装置(例如NDI导航仪)，相应地可在内镜5上设置示踪器4。作为一种具体的示例，控制装置2可以为通用计算机、专用计算机、嵌入式处理机，也可以为例如单片机、芯片等其他任何适当的可编程数据处理设备。该控制装置2可以包括处理器以及用于存储程序的存储器，然而也可以只包括处理器，在这种情况下处理器可以附接存储有程序的存储器。换言之，控制装置至少包括处理器。控制装置2(或处理器)和显示装置3可以集成为一体，也可以分开设置。该控制装置或处理器具有数据接口，该数据接口可包括能连接到内镜的数据接口，使得所述控制装置/处理器能够实时获取内镜的图像。该控制装置或处理器还包括能连接到导航系统的追踪装置1的数据接口，从而能从追踪装置1实时获取被追踪目标例如内镜上的示踪器4的位置和方向。作为一种示例，内镜5和/或示踪器4也可视为本发明的导航系统的一部分。

通常，内镜的末端进入到患者的组织结构、骨性结构内部以对其进行观察和/或操作，内镜的近端(接近操作者的一端、亦即与内镜的伸入筒的末端相反的一端)位于患者体外以供操作者操控。在导航系统中，通过在内镜的位于患者体外的近端处设置适于被追踪装置1追踪到的示踪器4，导航系统能够实时获知内镜5上的示踪器4在导航坐标系中的位置和方向。作为本发明的一种示例，内镜的成像装置即光学硬镜模组的远端镜片设置在该内镜的伸入筒的末端。通过标定该内镜的伸入筒的末端相对于内镜5上的示踪器4的相对位置关系，就能获得该成像装置相对于示踪器4的相对位置关系，从而能够通过导航系统中的追踪装置1获知示踪器4的方位进而获知该成像装置在导航坐标系下的位置和方向。该标定通常在进行内镜手术及其导航之前进行，也称为内镜的外参的标定。

具体地，在进行内镜手术及其导航之前，可以先标定该内镜的成像装置即硬镜模组相对于示踪器4的相对位置关系。优选地，在本实施例中，该标定通过标定工具(图中未示出)而不需要借助内镜获取图像来进行，这种方式减少了图像处理的工作量。本发明的导航系统可选地包括该标定工具。标定工具上可形成有多个标定孔，这些标定孔具有不同倾斜角度的底面和/或不同孔径，以分别标定具有不同的末端斜面倾角和/或筒径的内镜。具体地，标定工具还包括固定在其支架上的另外的示踪器，导航系统能够获知该标定工具上的示踪器在导航坐标系下的位置。并且，根据标定工具的设计尺寸可已知每个标定孔相对于标定工具上的示踪器的位置关系，进而这些标定孔在导航系统中的位置是已知的。将待标定的某一内镜的伸入筒的末端插入到与之相匹配的标定孔中，伸入筒的末端的倾斜面与标定孔的倾斜底面贴合，实现该内镜的定位。由于导航系统同时还能够获知内镜上的示踪器4在导航坐标系下的位置，因此能够获知内镜伸入筒的末端相对于内镜上的示踪器4的相对位置关系，完成该标定过程。

在术中通过追踪装置1实时获取内镜上的示踪器4的方位(位置和方向)，即可间接地实时获取内镜末端的位置和方向，即获取成像装置的方位。根据本发明的方法中的成像方位获取步骤即通过这种方式进行。

在本发明的该具体的实施例中，在进行内镜手术及其导航之前，还可以标定内镜的成像参数也称内参。示例性地，内参的标定可以使用标定板，例如使用该内镜在不同的方位角度对标定板进行拍摄，保存图像以及记录标定板规格。进而标定内镜的内参，包括畸变矩阵和/或旋转和位移向量。在后文中将介绍的畸变校准过程中将使用该处所标定的内参。

下文将结合附图1，详细描述本发明的用于引导内镜手术的方法的具体实施例的步骤。在手术开始之前，可如上文所示，先标定该内镜的内参和外参。并在手术开始以及导航开始之前，进行导航系统的配准，即确定导航坐标系。本发明的方法可以用在使用二维影像进行导航的情景中，也可以用在使用三维影像进行导航的情景中。关于导航系统的配准方法是已知方法，在此不做赘述。

在内镜手术过程中，控制装置自动地获取内镜的实时影像。并且，根据操作者的输入来确定对内镜的实时图像进行增强的增强信息的种类。操作者的输入可由操作者根据自身的需要而选取，例如可通过例如键盘、鼠标、手柄、脚踏开关等各种输入构件来输入该指令。在本发明中，提供给操作者如下的方案，即能够在内镜图像上融合如下三种类型的增强信息中的至少两种，即由内镜末端周围的多个图像拼接得到的拼接图像、或患者生理结构的三维影像以及例如由操作者在手术规划过程中在患者生理结构的三维影像或者二维影像上做出的方向标记或指示生理结构的标记。

在上述三种类型的增强信息中，对于该拼接图像(在附图3、4中以附图标记6来指示)，其也可称为“完整三维地图”或“全景图像”，然而应当说明的是，该处的“完整”或是“全景”仅表示相对于内镜的有限的镜下视野而言更大范围的图像，不代表必须是360度的全景图像。这例如由医生根据其手术过程中的观察需求，灵活的通过将内镜在需要观察的更大范围内平移(例如图10所示)和/或旋转(例如图11所示)来获取。在图10和图11中还示例性地示出了内镜5在三个位置的锥形视场51。该锥形视场51表示内镜的成像装置能看到的视野范围。

该内镜末端周围的拼接图像使得医生能够观察到更大的视野(也可以为全局视野)，能够更好地显示内镜末端周围的软组织例如神经、硬膜、血管、椎间盘等，因此能够引导医生快速判断内镜朝向和关键生理结构相对于此刻内镜当前图像的空间位置关系，消除内镜的视野受限的缺陷。在下文中还将对拼接图像的获取以及融合做进一步的描述。

患者生理结构的三维影像显示来自于CT或者CBCT影像的三维骨性结构，因此在将其融合到内镜图像上时，医生在内镜增强图像上能够观察到在内镜视野下被软组织所覆盖而无法观察到的三维骨性结构(图4中的附图标记7指向的虚线部分代表该三维骨性结构的三维影像)，从而能够获知内镜末端及手术工具末端在全局中例如在整个脊柱结构中的方位信息。

对于上述在患者生理结构的三维影像或二维影像上的标记，其可以由操作者在手术规划中标记出，例如包括在手术规划中标记出的方向、生理结构标志点、标记出的靶点(例如突出的或游离的椎间盘、骨赘或骨化的黄韧带)的影像模型等方向和/或目标信息。在将与该标记相关的引导指示(其可包括该标记本身，例如方向标记、生理结构标记点、生理结构靶点的影像模型，以及指向该标记的指示符例如箭头，这些统称为与该标记相关的引导指示)融合到内镜图像上时，在显示出的内镜图像上具有方位引导指示，例如方向标记、生理结构标记、靶点影像模型等。因此医生可以快速地确定此刻内镜下生理结构的方位，从而引导镜下工具的操作。在下文中还将对该标记的做出以及其方位的获取以及融合做进一步的描述。

综上，在本发明的该方案中，通过将内镜当前图像(来自于该内镜的实时影像的成帧的图像)与上述三种增强信息中的至少两种融合，使得内镜图像得到骨性结构、软组织和/或规划标记方位指示信息的多角度的增强。由于融合内镜周围的更大范围的拼接图像而为操作者提供了更大的视野；由于融合骨性结构的三维影像而使操作者看到本来看不到的骨性结构、掌握全局方位；由于融合了方向标记或指示生理结构的标记或其引导指示而便于操作者快速定位到目标位置并确定方向。完美解决了内镜手术中遇到的“镜下视野受限”、“容易迷失方向”、“手眼协调困难”的问题以及“学习曲线陡峭”的问题。

具体地，如图1所示，本发明的该具体实施例的方法包括内镜图像获取步骤，该处的内镜图像可以为控制装置实时获取的内镜影像中的某帧图像。同时，控制装置获取并记录与所述内镜的至少一个图像对应(例如与每个图像对应的)的内镜的成像装置的位置和方向，即图1中的成像方位获取步骤。在该成像方位获取步骤中，处理器从导航系统的追踪装置1获取设置在内镜5远端上的、位于患者体外的示踪器4的位置，结合上文所标定出的外参，间接地获取成像装置的位置和方向。该处的内镜图像获取步骤包括用于内镜增强图像融合中所融合的内镜当前图像的获取。

如图1所示，本发明的方法还包括增强信息获取步骤，其中根据操作者的输入来确定获取哪种类型的增强信息。供操作者输入的输入构件例如可以包括在显示装置上所显示的选择框、对话框等。操作者例如可以选择拼接图像与患者生理结构的三维影像两种增强信息，也可以选择拼接图像以及标记两种增强信息，也可以选择患者生理结构的三维影像与标记两种增强信息，或拼接图像、患者生理结构的三维影像以及标记三种增强信息。本发明可以根据上述选择来获取相应的增强信息，并相应地获取这些增强信息的方位信息，以用于在融合步骤根据成像装置的方位以及所需融合的拼接图像、三维影像或标记的方位来进行内镜增强图像的融合。

具体地，当需要融合的增强信息包括拼接图像的情况下，所述增强信息获取步骤包括将多个内镜的图像拼接的步骤。图9示出了包括拼接步骤的增强信息获取步骤。在图9示出的图像获取步骤中，控制装置自动地获取内镜末端周围的多个图像。同时，控制装置自动地获取并记录与所述内镜的至少一个图像对应(例如与每个图像对应的)的内镜的成像装置的位置和方向，即图9中的成像方位获取步骤。在内镜的多个位置和方位重复进行上述步骤，从而在例如将内镜在需要观察的更大范围内平移(如图10所示)和/或旋转(如图11所示)之后，获得了成像装置在多个方位下的图像；与此同时或之后，可结合上文所标定的成像装置的内参，对内镜的多个图像进行畸变校准，以去除成像装置的畸变效应，即图9中的畸变校准步骤。之后，依据与至少一个图像对应的内镜的位置和方向(即方位)，对各图像进行拼接，从而获得拼接图像。

在该方案中，由于采用根据与至少一个图像对应的成像装置的方位来拼接各图像以得到拼接图像的方式，相对于现有的各种拼接方式(例如基于算法)而言，所需要处理的计算更少，很大程度地提高了拼接速度，这对于手术过程中的实时观察来讲尤其重要。并且该方案的拼接精度更高，对处理器的运算能力要求更低。应当说明的是，在成像方位获取步骤中获取成像装置的与所拼接的图像中的至少一个图像对应的在导航系统下的位置和/或方向。示例性地，可以对应于每个所获取的图像都相应获取成像装置在导航系统下的方位，但也可以仅获取成像装置的对应于部分图像的甚至仅一个图像的位置和/或方向。例如，有些情形下，仅需要在时间上间隔开地获取某些图像所对应的成像装置的位置和/或方向，或是仅需要获取开始获取待拼接图像时的成像装置的位置/和/或方向。

如图9所示，该增强信息获取步骤还可包括在拼接步骤之后的处理步骤，在该处理步骤中根据在拼接步骤中获得的图像生成平面图像以减小视觉上的变形，之后将该平面图像作为拼接图像在所述内镜增强图像融合步骤中将其与内镜的当前图像进行融合(例如将其置于内镜当前图像的周围)。该方法消除或减少了因观察视角的不同而产生的拼接图像的畸变。

由于在上述拼接步骤中，依据与至少一个图像对应的成像装置的方位来拼接各图像以得到拼接图像，因此，拼接所得的图像在导航系统下的方位信息是可获知的。因此在增强信息方位获取步骤中能够获取该拼接图像在导航系统下的方位，以用于在之后的内镜增强图像融合步骤中根据该方位将拼接图像与内镜当前图像以及其它增强信息进行融合。

当需要融合的增强信息包括上文所述的标记的情况下，增强信息方位获取步骤包括标记方位获取步骤，在该步骤中借助于三维影像或二维影像在导航系统下的配准来获取标记在导航系统下的方位；其中在内镜增强图像融合步骤中，根据标记在导航系统下的方位，将与标记相关的引导指示与内镜的当前图像以及其它增强信息进行融合。

具体地，在本文中，操作者在其上做标记的影像可以为术前三维影像，例如术前CT影像，也可以为术中获得的影像，例如术中CBCT影像或是术中二维透视影像。当导航系统使用术前CT影像来导航时，操作者在术前三维影像上做出标记。当导航系统使用术中CBCT影像或是术中二维透视影像来导航时，操作者在术中获取影像后在其上做出标记。

在本发明中，操作者能够选择做出各种标记，例如方向标记或指示生理结构的标记，从而为操作者提供了多种选择和可能。在患者生理结构为脊柱的示例中，指示生理结构的标记例如可以包括操作者在手术规划中摘离出的靶点组织或靶点骨性结构(例如突出的或游离的椎间盘、骨化的黄韧带或退化生成的骨赘)的影像，也可以为生理结构标记点。对于操作者来说，如果靶点组织或骨性结构能够在手术规划中使用的三维影像中区分出来(例如在CT影像中能区分出骨赘，或在MRI影像中区分出突出的或游离的椎间盘)，则在手术规划中直接形成其影像模型。该影像模型作为所述标记用作增强信息融合到内镜增强影像中。而如果手术规划使用的三维影像中无法显示靶点组织或靶点骨性结构，例如使用的是CT影像，在其中不能显示椎间盘，则医生可以参考MRI影像在手术规划中标记出指示该靶点组织或靶点骨性结构的点(例如指示突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的标记点)，即生理结构标记点。

生理结构标记点也可以包括在内镜手术过程中不发生位移的生理结构标记点。如图14所示，操作者也可以在三维影像上标记出(例如使用术前规划软件)某些椎间孔内或周边的在脊柱内镜手术过程中全程不发生任何位移的生理结构标记点，包括但不限于关节突腹侧、前节椎体的椎弓根、后节椎体的椎弓根、椎间盘等生理结构点。如图15、16所示，在使用术中二维透视影像时，医生分别在术中正位影像(图15)和侧位影像(图16)上，使用术中规划软件选择生理结构标记点，包括但不限于关节突腹侧、前节椎体的椎弓根、后节椎体的椎弓根、椎间盘等生理结构点。

如图12、13所示，操作者可在术前或术中三维影像(图12)上做出方向标记，例如朝向患者的背侧、腹侧、头侧和尾侧的箭头标记。操作者也可以在术中二维影像上标记出方向。优选地，为了便于操作者标记，也可以先对术中二维影像(例如对术中正位和侧位影像)进行类三维拟合，操作者在拟合后的影像(如图13所示)上标记方向。这种方式相对于直接在术中二维影像例如正位影像和侧位影像上标记的方式而言，可以解决在二维影像上标记时容易出现将头尾标反的问题。

本领域技术人员可以理解，虽然在本文中描述了一些具体的方向标记的示例以及指示生理结构的标记的示例，然而方向标记或指示生理结构的标记的选择能够根据操作者的偏好和需要而自由地选择，而不限于这些示例。而且，虽然在附图12-16所示出的实施例中，方向标记或者生理结构标记点均示出为四个，然而其数量可以根据需要而设置一个、两个、三个或多于三个。

对于在术前三维影像上做出标记的增强方式而言，处理器首先获得术前三维影像，同时获取在前文中所述的操作者已经在术前三维影像上做出的标记(例如方向标记或指示生理结构的标记)。之后将术前三维影像配准到导航系统下，再根据在该配准步骤中确定的配准关系来确定各标记在导航系统下的坐标，从而完成标记方位获取步骤。

对于在术中三维影像或术中二维影像上做出标记的增强方式而言，通常，在获取到术中三维影像或术中二维影像的同时就完成了该影像到导航系统下的配准。因此，在这种情况下，操作者在完成了配准之后的术中三维影像或术中二维影像上进行标记。由于配准后的影像在导航系统下的坐标是已知的，相应地即可获取在影像中做出的标记在导航系统下的坐标即位置，从而完成标记方位获取步骤。

如上文所述，在采用术中二维影像的情况下，可对至少两个体位的二维影像进行类三维拟合以获取类似三维的影像以方便操作者标记，在之后处理器所获取的标记是操作者在该拟合后的影像上所做出的标记。本领域技术人员可以理解，用于类三维拟合的图像可以为术中正位影像和术中侧位影像，也可以为其它体位的影像，这可根据操作者的需要或患者待手术部分的实际情况来进行选择。

操作者可以通过各种方式来输入或选择上文中所描述的各种形式的标记。这可以通过显示装置的界面来输入，例如通过显示装置的触摸界面并使用术前规划软件或术中规划软件来选择各头侧、尾侧、腹侧、背侧的方向标记、或各生理结构标记的选取，如图12、13所示。也可以通过电子设备的键盘和/或鼠标来进行输入，如图14示例性地示出的那样。

需要说明的是，虽然在本文的描述中，以操作者在针对患者生理结构的影像上做出标记的方式来形成所述标记。然而也可以理解，在其他一些实施例中，该标记也可以不由操作者做出，例如在形成影像时自动形成标记，这例如可通过在患者某个身体部位或手术床等位置预置标记物从而在获取影像时就可以产生该标记。

在融合的增强信息包括患者生理结构的三维影像的情况下，增强信息获取步骤获取三维影像。并且由于用于导航的三维影像通过配准在导航系统下具有确定的方位信息，因此能够方便地获取该三维影像在导航系统下的方位。

在如上文所述获取了各所需融合的增强信息(拼接图像、三维影像或标记)以及各增强信息在导航系统下的方位之后，结合所获取的内镜成像装置的方位信息，即可进行内镜增强图像的融合。由于各需要融合的增强信息与成像装置在导航系统下具有确定的方位关系，进而各需要融合的增强信息与成像装置获取的图像在导航系统下具有确定的方位关系，即可根据这些方位关系进行各增强信息以及内镜的当前图像的融合。

应当理解的是，虽然在图1的流程图、权利要求书以及本文的描述中依次列出和描述了上述各步骤，但不代表这些步骤中的各个步骤之间具有特定的先后关系。例如增强信息获取步骤以及增强信息方位获取步骤可以在内镜图像获取步骤和/或成像方位获取步骤之前或之后或同时进行。全局增强图像融合步骤(下文中将描述)也可以在内镜增强图像融合步骤之前或之后或同时进行。

图3示出了所得到的内镜增强图像的一个示例，其中融合了拼接图像6、患者生理结构的三维影像7与内镜的当前图像10。在图4示例性地示出了将图3中的内镜增强图像在显示装置的窗口上显示的视图(也称内镜增强视图)，其中内镜的当前图像(即实时图像)位于该窗口的中心区域。在该视图上显示的内镜图像较大，同时示出周围的增强信息。示例性地，在该内镜增强图像的视图中所显示的内镜增强图像的范围(对应于内镜的当前图像在内镜增强视图中所占比例)能够根据操作者的输入而确定。换言之，操作者可以通过与系统交互改变内镜的当前图像在内镜增强视图中的比例，例如将内镜的当前图像放大或缩小。当医生需要更细致地观察镜下视野中的某细节时，可以将内镜实时图像放大(相应地内镜增强图像显示在该视图窗口中的部分变小)，而周围的增强信息中显示的内容与内镜实时图像的比例关系保持不变，超出“内镜增强视图”边缘部分的增强信息不再在“内镜增强视图”上显示。操作人员的输入可采用例如在显示装置上的缩放图标输入构件的方式进行。然而本领域技术人员可以理解，用来确定内镜实时图像在该视图中的大小的操作者的输入的方式不限于缩放图标的方式，也可以通过其他方式来进行，例如可提供给操作者若干种不同大小的选择，或通过操作者输入数值来确定。显示界面上显示的输入构件例如可为选项卡，或供操作者输入数值的对话框等。

图5示例性地示出了根据另一种示例性的实施例的内镜增强图像在显示装置的窗口上显示的视图，其中该内镜增强图像融合了内镜的当前图像10和三种增强信息，即融合了拼接图像6、患者生理结构的三维影像7和图中示出的生理结构标记点。在该示例中，示出了关节突腹侧、前节椎体的椎弓根和椎间盘，后节椎体的椎弓根由于位于视图边缘之外而未能显示。也可以将与生理结构标记点相关的引导指示融合到内镜增强图像上并显示，例如在生理结构标记点位于内镜增强图像的视图范围之外的情况下，该引导指示可为指向该生理结构标记点的箭头(例如指向图5中的未能显示的后节椎体的椎弓根的箭头)。

由于希望在内镜增强视图上的当前内镜图像即实时图像尽量大以方便操作者观察，因此能显示出来的增强信息非常局部和有限。为了提供给操作者更好的全局引导，本发明还可包括全局增强图像。具体地，将拼接图像、三维影像和与标记相关的引导指示中的至少两种相融合以获取全局增强图像并显示，其中在全局增强图像中指示出成像装置的当前视野位置和内镜增强图像的视图的位置。如图6所示，在显示装置的左侧示出了内镜增强图像，右下侧示出了全局增强图像。具体地，图7示例性地示出了融合了拼接图像6、患者生理结构的三维影像7以及指向背侧、腹侧、尾侧和头侧的方向标记的全局增强图像。图8示例性地示出了融合了拼接图像6、患者生理结构的三维影像7以及椎间盘等生理结构标记点的全局增强图像。全局增强图像的融合方式与上文描述的增强信息的融合方式相同，均是根据所获取的各增强信息在导航系统下的方位信息，将所获取的各增强信息进行融合。其具体过程不再赘述。

在图7、8示出的全局增强图像上，由虚线8表示出成像装置的当前视野位置的边缘(即内镜当前图像在该全局增强图像中的位置)，由虚线9框出对应于内镜增强图像的视图的边缘。具体地，本发明的方法还包括在全局增强图像中指示当前成像装置视野位置的步骤，在该步骤中，借助于成像装置的当前的位置和方向来确定在全局增强图像中对应于当前成像装置视野位置的区域，生成指示该区域的边缘的标记8并在所述显示步骤中显示。本领域技术人员可以理解，也可以不采用虚线而采用其它形式来表示出当前视野的边缘以及内镜增强图像的视图的边缘，两者也可由不同颜色和/或线型的线来表示。

在上述方案中，内镜增强视图作为全局增强图像的一个局部，与全局增强视图同时显示，并在全局增强图像中显示出两者的关联信息，即显示出实时内镜图像的边缘和内镜增强视图的边缘在全局增强图像中的位置，使得操作者在观看较大的内镜实时图像的同时，能够获知内镜视野在整个全局中的位置以及周围的软组织、骨性结构、靶点位置和方向信息，实现对操作者的全方位的引导。

还应当说明的是，本文中所描述的“显示内镜增强图像的步骤”或“显示全局增强图像的步骤”并不代表一直显示所述图像。示例性地，也可以根据操作者的需要而仅在某一时间段显示该内镜增强图像或全局增强图像，例如在操作者期望观察该增强图像时，其可以例如通过脚踏开关来触发相应增强图像的显示。

本发明还提供一种用于内镜手术的导航的电子设备，该电子设备包括如上所述的显示装置3和处理器，在如图2所示的具体的示例中，该处理器被包括在控制装置2即图示的主机中。本领域技术人员可以理解，处理器和显示装置可以为一体式的或分体式的。控制装置2或处理器具有数据接口。控制装置或处理器通过该数据接口电连接到导航系统的追踪装置1和内镜5，以获取内镜的成像装置的位置和方向并获取处于相应位置和方向下的内镜的图像。处理器的数据接口还使得处理器能够获取患者生理结构的三维影像和在患者生理结构的三维影像或二维影像上的标记中的一者或多者。在该处理器运行时，执行计算机程序(该计算机程序可以存储在控制装置所包括的存储器上，也可以存储在其他存储器上)，以执行本发明的方法并至少在一段时间内在显示装置3上显示内镜增强图像的至少一部分的视图，其中该内镜增强图像为将内镜的当前图像与以下三种类型的增强信息中的至少两种相融合的图像：

a)将内镜的多个图像拼接得到的拼接图像；

b)患者生理结构的三维影像；

c)与标记相关的引导指示。

作为一种示例，在该显示装置3的显示界面上还显示全局增强图像，全局增强图像为将拼接图像6、三维影像7和引导指示中的至少两种相融合所获得的图像，其中全局增强图像上指示出成像装置的当前视野位置8和/或内镜增强图像的视图的位置9。

作为一种示例，在该显示装置3的显示界面上，还可显示如下图像或视图中的一者或多者：在拟合的二维透视切面上的视图、矢状面的切面视图、冠状面的切面视图、轴状面的切面视图、内镜的实时影像等。由此操作者能够方便地获得更全面的导航信息。本领域技术人员可以理解，也可根据需要而显示其他切面、方位的视图或任何合适的视图。

本发明还提供了一种其上存储有计算机程序的计算机可读存储介质，该计算器程序在被处理器运行时能执行本发明的上述方法的各步骤。并且，本发明还提供一种控制装置，该控制装置可包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行本发明的上述方法的各步骤。本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明的上述方法的各步骤。

本领域技术人员可以理解，本文中所描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现所述方法。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明所述的流程或功能。该处计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。

本领域技术人员可以理解，本发明的控制装置的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个与处理器分开的存储装置。

控制装置的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本发明总体构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

Claims (29)

1.一种用于引导内镜手术的方法，其特征在于，所述方法包括如下步骤：

内镜图像获取步骤：获取内镜的图像；

增强信息获取步骤：获取以下三种类型的增强信息中的至少两种：

a)将内镜的多个图像拼接得到的拼接图像；

b)患者生理结构的三维影像；

c)在患者生理结构的三维影像或二维影像上的标记；

内镜增强图像融合步骤：将所获取的内镜的当前图像与所述增强信息获取步骤中获取的至少两种增强信息相融合以获得内镜增强图像；以及

显示步骤：显示包括所述内镜增强图像的至少一部分的视图。

2.根据权利要求1所述的方法，其特征在于，所述内镜增强图像融合步骤借助于导航系统来进行，其中，所述方法在内镜增强图像融合步骤之前还包括：

成像方位获取步骤：获取所述内镜的成像装置在所述导航系统下的方位；以及

增强信息方位获取步骤：获取所需融合的拼接图像、所述三维影像或所述标记在所述导航系统下的方位；

其中，在内镜增强图像融合步骤中根据所述成像装置的方位以及所需融合的拼接图像、三维影像或标记的方位来进行所述融合。

3.根据权利要求1或2所述的方法，其特征在于，还包括如下步骤：

全局增强图像融合步骤：将所述拼接图像、所述三维影像和与所述标记相关的引导指示中的至少两种相融合以获取全局增强图像，其中所述全局增强图像上指示出成像装置的当前视野位置和/或所述内镜增强图像的所述视图的位置；以及

显示所述全局增强图像的步骤；

其中，在所述全局增强图像上由不同颜色和/或线型的线来表示出成像装置的当前视野位置的边缘和所述内镜增强图像的视图的边缘。

4.根据权利要求1或2所述的方法，其特征在于，所获取和融合的增强信息的类型基于操作者的输入而选取。

5.根据权利要求1或2所述的方法，其特征在于，在所述内镜增强图像的视图中所显示的内镜增强图像的范围能够根据操作者的输入而确定。

6.根据权利要求2所述的方法，其特征在于，在融合的增强信息包括拼接图像的情况下，所述增强信息获取步骤包括：

拼接步骤，在所述拼接步骤中，将多个所述内镜的图像根据与至少一个内镜图像对应的所述成像装置的方位进行拼接而获取所述拼接图像。

7.根据权利要求6所述的方法，其特征在于，在融合的增强信息包括拼接图像的情况下，所述增强信息获取步骤还包括：

在所述拼接步骤之前的畸变校准步骤，其中，在所述畸变校准步骤中将待拼接的内镜的图像进行畸变校准；以及

在所述拼接步骤之后的处理步骤，在所述处理步骤中根据在所述拼接步骤中获得的图像生成平面图像，其中在所述内镜增强图像融合步骤中将所述平面图像作为所述拼接图像与内镜的当前图像进行融合。

8.根据权利要求2所述的方法，其特征在于，在融合的增强信息包括所述标记的情况下，所述增强信息方位获取步骤包括标记方位获取步骤，在该步骤中借助于所述三维影像或所述二维影像在导航系统下的配准来获取所述标记在导航系统下的方位；

其中在所述内镜增强图像融合步骤中，根据所述标记在导航系统下的方位，将与所述标记相关的引导指示与内镜的当前图像进行融合。

9.根据权利要求8所述的方法，其特征在于，所述方法使得操作者能够选择方向标记和指示生理结构的标记中的一者或多者。

10.根据权利要求9所述的方法，其特征在于，所述患者生理结构为脊柱，所述指示生理结构的标记包括突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的影像模型。

11.根据权利要求9所述的方法，其特征在于，所述指示生理结构的标记包括生理结构标记点；优选地，所述患者生理结构为脊柱，并且所述生理结构标记点为指示突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的标记点，或为在内镜手术过程中不发生位移的生理结构标记点，例如关节突腹侧、前节椎体的椎弓根、后节椎体的椎弓根、椎间盘中的一者或多者；优选地，所述生理结构标记点为多个。

12.根据权利要求9所述的方法，其特征在于，所述方向标记包括朝向患者的背侧、腹侧、头侧和尾侧的方向标记中的一者或多者。

13.根据权利要求2所述的方法，其特征在于，在融合的增强信息包括患者生理结构的三维影像的情况下，所述增强信息方位获取步骤包括将患者生理结构的三维影像配准到导航系统下以获取所述三维影像的所述方位的步骤。

14.根据权利要求13所述的方法，其特征在于，所述患者生理结构的三维影像包括术前三维影像或术中三维影像。

15.根据权利要求1-14中任一项所述的方法，其特征在于，所述内镜为脊柱内镜。

16.根据权利要求2所述的方法，其特征在于，其中所述成像方位获取步骤借助于从导航系统的追踪装置(1)获取相对于所述内镜具有固定的位置关系的示踪器(4)的位置来进行。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器运行时执行权利要求1-16中任一项所述的方法的步骤。

18.一种控制装置，其中所述控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其特征在于，在所述处理器运行所述程序时执行权利要求1-16中任一项所述的方法的步骤。

19.一种计算机程序产品，其包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-16中任一项所述的方法的步骤。

20.一种用于内镜手术的导航的电子设备，其特征在于，所述电子设备包括显示装置(3)和处理器，所述处理器具有数据接口，

其中所述数据接口能够连接到内镜(5)，使得所述处理器能够获取所述内镜的图像；并且，

其中所述处理器被配置成能够获取患者生理结构的三维影像和在患者生理结构的三维影像或二维影像上的标记中的一者或多者；

其中所述处理器被配置成在所述处理器运行时在至少一段时间内在所述显示装置(3)上显示内镜增强图像的至少一部分的视图，其中该内镜增强图像为将内镜的当前图像与以下三种类型的增强信息中的至少两种相融合的图像：

a)将内镜的多个图像拼接得到的拼接图像；

b)患者生理结构的三维影像；

c)与所述标记相关的引导指示。

21.根据权利要求20所述的电子设备，其特征在于，所述数据接口能够连接到导航系统的追踪装置(1)。

22.根据权利要求20所述的电子设备，其特征在于，在所述显示装置(3)上还显示全局增强图像，所述全局增强图像为将所述拼接图像、所述三维影像和所述引导指示中的至少两种相融合所获得的图像，在所述全局增强图像上由不同颜色和/或线型的线来表示出成像装置的当前视野位置的边缘和所述内镜增强图像的视图的边缘。

23.根据权利要求20-22中任一项所述的电子设备，其特征在于，在所述显示装置的显示界面上，还显示如下各项中的一者或多者：在拟合的二维透视切面上的视图、矢状面的切面视图、冠状面的切面视图、轴状面的切面视图、内镜的实时影像。

24.根据权利要求20-22中任一项所述的电子设备，其特征在于，所述电子设备还包括供操作者输入指令以选择所融合的增强信息的类型的输入构件。

25.根据权利要求20-22中任一项所述的电子设备，其特征在于，所述电子设备还包括供操作者输入指令以确定所述内镜增强图像的视图中所显示的内镜增强图像的范围的输入构件。

26.根据权利要求20-22中任一项所述的电子设备，其特征在于，所述标记包括方向标记、指示生理结构的标记中的一者或多者；

优选地，所述患者生理结构为脊柱，所述指示生理结构的标记包括突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的影像模型，或者，所述指示生理结构的标记包括生理结构标记点，所述生理结构标记点为指示突出的或游离的椎间盘、骨赘和骨化的黄韧带中的一者或多者的标记点，或为在内镜手术过程中不发生位移的生理结构标记点，例如关节突腹侧、前节椎体的椎弓根、后节椎体的椎弓根、椎间盘中的一者或多者；

优选地，所述方向标记包括朝向患者的背侧、腹侧、头侧和尾侧的方向标记中的一者或多者。

27.一种用于内镜手术的导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)适于追踪相对于所述内镜(5)具有固定的位置关系的示踪器(4)；以及

显示装置(3)和处理器，所述处理器适于连接到所述追踪装置(1)和所述内镜(5)，其中在所述处理器运行时执行权利要求1-16中任一项所述的方法，并通过所述显示装置(3)实现所述方法中的显示。

28.一种用于内镜手术的导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)适于追踪相对于所述内镜(5)具有固定的位置关系的示踪器(4)；以及

根据权利要求20-26中任一项所述的电子设备，其中所述电子设备中的处理器适于连接到所述追踪装置(1)和所述内镜(5)。

29.一种机器人系统，其特征在于，包括机械臂以及根据权利要求27-28中任一项所述的导航系统。