CN102999902B - 基于ct配准结果的光学导航定位导航方法 - Google Patents

Abstract

一种信息处理技术领域的基于CT配准结果的光学导航定位系统及其导航方法，该系统包括：术前CT图像导入模块、图像分割模块、体表初始配准模块、术前CT图像与术中二维超声图像模块和术中导航模块；本发明采用虚拟现实和术中超声相结合的方式，补偿由于呼吸等因素造成的术中定位误差，从而实现对冠脉搭桥术的目标点的精确定位导航。通过对术前心脏CT图像数据中的心脏和冠脉血管树进行手动分割重建，然后在光学导航仪和基于CT与超声的术中配准误差校正的帮助下搭建一个将内窥镜和虚拟内窥镜相融合的增强虚拟现实环境，从而可实现对冠脉搭桥术的目标点的精确定位导航。

Description

基于CT配准结果的光学导航定位导航方法

技术领域

本发明涉及的是一种信息处理技术领域的系统及方法，具体是一种用于辅助冠状动脉搭桥手术的基于术中超声与术前CT配准结果的导航定位系统及其导航方法。

背景技术

近年来我国心血管病的发病率逐年上升，其中冠心病是最常见的心血管疾病。针对冠心病的治疗方法中，冠状动脉搭桥术是目前除了药物治疗和介入治疗之外的最主要、成熟治疗方式。然而传统冠状动脉搭桥手术需要胸骨正中切口，必要时还需要借助体外循环等操作才能完成手术。其包括切口大、恢复慢、并发症多等缺点。作为新型治疗方式的导航辅助微创冠脉搭桥手术，仅需要通过在胸壁上开几个手指粗细的切口、利用特殊的手术器械即可完成手术，达到了切口美观、创伤小、恢复快、并发症少等要求。

进行导航辅助微创冠脉搭桥的主要手术难点之一是如何快速而精确定位目标点，不当或者错误的定位可直接影响到手术的成败和远期疗效。目前，微创冠脉搭桥手术的定位主要依赖术前影像，未能利用反映手术区域真实情况的实时信息，无法解决术中由于呼吸、体表标记点位移和体位变化等因素导致的误差问题，从而使得定位效果不理想。

经过对现有技术的检索发现，“3D-image guidance for minimally invasive robotic coronary artery bypass，Heart Surg Forum 2000-9732(3)”（三维图像指导机器人辅助微创冠状动脉搭桥术，心脏外科论坛，2000年）中TM.Peter最先尝试应用三维影像图像进行心脏外科手术术前规划的研究，他通过对患者术前采集的CT图像进行分割，得到心脏和骨架的表面模型，初步建立了一个微创搭桥手术的手术导航系统。该系统同时提供了一个虚拟内窥镜，利用术前手术配准的技术，使得真实内窥镜与模型试验中模型的相对位置关系和虚拟内窥镜与系统中建模出的心脏骨架模型的相对位置关系一致。但该系统只是一个原型系统，存在许多不足，如真实内窥镜2D图像没有与虚拟的3D场景有效融合等问题。

“Flexible calibration of actuated stereoscopic endoscope for overlay in robot assisted surgery，MICCAI 2002（1）：LNCS 2488，T.Dohi and R.Kikinis(eds)，25-34.”（机器人辅助手术中立体内窥镜的灵活标定，2002年医学影像计算与计算机辅助介入大会）中Mourguess和Coste-Maniere尝试着将一个动物的心脏在内窥镜下的影像与该心脏的冠脉树三维模型的虚拟内窥镜各自以一定透明度重叠进行融合，对手术中定位目标点起到了一定的效果。但是术中冠脉树的模型是静止的，而且冠脉树的三维模型与内窥镜影像的融合是依靠识别内窥镜中观察到 的标示点来使二者较为准确的融合，这种方法的鲁棒性以及准确性并不十分令人满意。

中国专利文献号CN1650813，记载了“外科手术导航系统基于光学定位的机器人手术定位方法”，该方法首先在机器人基座上设计三个标志位，通过光学跟踪仪定位指针来选取这三个标志，让机器人探针和光学跟踪仪定位指针对接时同时采集空间同一坐标系，最后通过光学跟踪仪与机器人系统的坐标互换。该技术主要使用与脑外科手术中，由于脑外科手术解剖学形变小，精确度问题上更容易把握；但该技术无法应用于解剖学形变较大的心血管系统领域。

中国专利文献号CN101703409A，记载了“一种超声引导机器人辅助治疗的系统和方法”，该系统包括手术机器人、二维超声仪、磁定位仪和工作站，通过将他们相结合，实现了对病患区域的有效检测及自动化治疗，从而降低医生的劳动强度，并提高手术实施的精确度。但是此方法中使用的是磁定位仪，磁定位仪在使用时受到场地、器械、其他仪器等各种干扰，容易产生误差。同时三维重建的超声信息会产生图像变形问题，用其图像信息指导手术可能会造成偏差，而且产生信息量有限，无法用于一些较为精细复杂的手术，如心脏手术的精确操作。

可见，虽然机器人辅助治疗系统已经开始应用于临床治疗中，但是其在手术目标定位上的发展尚不完善，很多临床难题仍有待解决。

发明内容

本发明针对现有技术存在的上述不足，提出了一种基于CT配准结果的光学导航定位系统及其导航方法，采用虚拟现实和术中超声相结合的方式，补偿由于呼吸等因素造成的术中定位误差，从而实现对冠脉搭桥术的目标点的精确定位导航。通过对术前CT图像数据中的心脏和冠脉血管树进行手动分割重建，然后在光学导航仪和基于术前CT图像与二维超声图像的术中配准误差校正的帮助下搭建一个将内窥镜和虚拟内窥镜相融合的增强虚拟现实环境，从而可实现对冠脉搭桥术的目标点的精确定位导航。

本发明是通过以下技术方案实现的：

本发明涉及一种基于CT配准结果的光学导航定位系统，包括：术前CT图像导入模块、图像分割模块、体表初始配准模块、术前CT图像与术中二维超声图像配准模块和术中导航模块，其中：术前CT图像导入模块接收术前影像学检查获得的DICOM格式图像文件，生成术前影像包并分别输出至图像分割模块和体表初始配准模块，术前CT图像与术中二维超声图像配准模块分别与图像分割模块和体表初始配准模块相连并接收带有手术目标点的三维动态冠脉树以及体表初始配准结果，术前CT图像与术中二维超声图像配准模块输出术前CT转换矩阵至术中导航模块，通过术中导航模块输出精确手术导航信息。

所述的术前影像包包括：目标区域内一个或若干个心动周期的若干幅DIOM格式的术前CT图像以及根据DICOM数据重建得到的三维立体影像，其中：一个心动周期术前CT图像数 据由若干个相位的术前图像组成。

所述的带有手术目标点的三维动态冠脉树包括：由图像分割模块生成的动态心脏模型和血管树模型。

所述的术前影像导入模块包括：DICOM图像读入单元和术前影像三维绘制单元，其中：DICOM图像读入单元将术前影像学检查获得的心脏一个心动周期的一系列DICOM格式图像文件导入解析出DICOM数据并传输至术前影像三维绘制单元，术前影像三维绘制单元根据DICOM数据重建成三维立体影像并合并为术前影像包并分别输出至图像分割模块和体表初始配准模块。

所述的图像分割模块包括：心脏分割单元和血管树分割单元，其中：心脏分割单元对术前影像包中一个心动周期内的心脏CT图像基于临床经验逐帧手动勾勒出心脏轮廓，并根据获得的心脏CT图像分割结果重建得到动态心脏模型；血管树分割单元对术前影像包中一个心动周期内的血管树CT图像基于临床经验逐帧手动勾勒出血管树轮廓并根据临床需求手动标出手术目标点，从而根据获得的血管树CT图像分割结果重建获得血管树模型并与动态心脏模型一并作为带有手术目标点的三维动态冠脉树输出至术前CT图像与术中二维超声图像配准模块。

所述的体表初始配准模块包括：配准标记点选择单元和转换矩阵计算单元，其中：配准标记点选择单元选择设置于手术对象体表上的配准标记点，并获得其术前CT图像数据在图像坐标系坐标以及真实手术对象的空间坐标，转换矩阵计算单元根据图像坐标系坐标以及空间坐标，利用刚体配准算法实现这两个坐标之间的配准，即实现图像空间与手术对象空间的配准，并利用这两组坐标计算出初始转换矩阵作为体表初始配准结果，输出至术前CT图像与术中二维超声配准模块。

所述的术前CT图像与术中二维超声图像配准模块包括：术中二维超声图像读入单元、二维超声图像与术前CT图像配准单元和ECG(electrocardiogram，心电图)读入单元，其中：二维超声图像与术前CT图像配准单元接收术中二维超声图像读入单元采集的二维超声输入图像和心电图读入单元采集的当前心脏跳动相位，通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位进行匹配，计算出两者之间的转换矩阵并输出至术中导航模块，其中每一个转换矩阵对应心动周期中的一个相位的心脏和带有手术目标点的三维冠脉树。

所述的术中导航模块包括：转换矩阵选择单元和导航显示单元，其中：转换矩阵选择单元根据当前心脏跳动相位选择与之相对应的一个转换矩阵，并将所得的该转换矩阵输出至导航显示单元，通过导航显示单元计算出当前虚拟器械与实际目标点之间的距离以及相对位置关系并进行视频显示，从而引导手术精确完成。

本发明涉及上述系统的导航方法，包括以下步骤：

第一步、图像分割模块中的心脏分割单元通过术前CT图像导入模块获得目标区域一个心动周期的一系列CT图像数据（DICOM格式）后，对该心动周期内的心脏CT图像基于临床经验逐帧手动勾勒出心脏轮廓，获得分割结果，并根据分割结果重建得到动态心脏模型。

第二步、图像分割模块中的血管树分割单元对术前影像包中一个心动周期内的血管树CT图像基于临床经验逐帧手动勾勒出血管树轮廓并根据临床需求手动标出手术目标点，获得分割结果，从而根据分割结果重建获得血管树模型，构建出一个包含动态血管树模型的三维虚拟场景，该三维虚拟场景构成了一个虚拟内窥镜图像。

第三步、体表初始配准模块利用体表配准来获得术前CT图像坐标系与手术对象实时二维超声图像坐标系的转换矩阵，即两个不同空间坐标系下的坐标点，通过特征互相映射并实现一一对应关系，达到最终术前CT图像与手术对象实时二维超声图像的对应；具体通过在术前CT图像中选取若干个配准标记点，在真实的空间找到与图像中配准标记点对应的点并利用光学导航仪得到这些点在真实空间的坐标，利用这两组不同坐标系，但是一一对应的点集的位置坐标，求得两个空间之间的转换矩阵T。

第四步、通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位相匹配，即以上述转换矩阵T作为初始转化矩阵，设Ti（i=1，2，…N）为在转换矩阵T的基础上针对术前影像包中的每一个相位的CT图像进行校正后的转换矩阵，即针对其中一个相位的CT图像i，Ti×T能进一步的校正该相位CT图像与手术对象实时二维超声图像之间的配准误差，其中N为一个心动周期术前CT图像数据中术前CT图像的相位个数，从而得到一组对T进行校正的转换矩阵；具体步骤包括：

4.1)通过超声探头对心脏采集一系列手术对象的手术对象实时图像，其中每一幅采集到的手术对象实时图像都对应某一个相应的术前CT图像、每一个相位的术前CT图像都对应了一系列的二维超声图像，对于相位i的术前CT图像数据来说，提取出心脏内壁的表面轮廓；

4.2)对相位i所对应的每一幅二维超声图像提取出心脏内壁的轮廓，从这一系列的二维超声图像中提取的内壁组成了一组点集，从该点集中提取出特征点点集，从术前CT图像中提取的心脏内壁表面轮廓是另一组点集；

4.3)通过迭代最近点算法（ICP算法）将二维超声图像上的点集配准到术前CT图像上的点集，得到这两个点集之间的转换矩阵Ti，用于后续的精配准处理的起始矩阵。

第五步、通过体外光学定位将真实内窥镜图像与虚拟内窥镜图像进行融合。

所述的体外光学定位是指采用NDI光学定位仪进行红外线反射定位，从而实现对研究对象的三维定位。

所述的融合是指：通过将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境，使得虚拟内窥镜看到的包含心脏跳动模型的虚拟场景与真实内窥镜看到的真实场景一致；同时从步骤4.3得到的一组转换矩阵中根据当前心脏跳动相位选择对应的转换矩阵Ti，从而建立图像空间与真实空间之间的映射转换关系，最终将该映射转换关系用于实时显示出器械与目标点之间的距离和相对位置关系，从而引导手术准确实施。

技术效果

本发明的优点包括：1.率先在机器人辅助冠脉搭桥手术导航中引入术中超声，通过术中二维超声图像与术前CT图像的配准来校正呼吸等因素造成的误差；2.解决了临床上一直以来依靠个人经验来定位搭桥目标点的不确定性问题。

附图说明

图1为本发明模块结构示意图。

图2为实施例多幅三维心脏示意图（含冠脉树及心电图对应位置）。

图3为光学导航仪及配准模块示意图。

图4为实施例流程介绍示意图。

图5为实施例融合示意图；

图中：a为现实内窥镜图像；b为虚拟内窥镜图像；c为两者重合图像。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括：包括：术前CT图像导入模块、图像分割模块、体表初始配准模块、术前CT图像与术中二维超声图像配准模块和术中导航模块，其中：术前CT图像导入模块接收术前影像学检查获得的DICOM格式图像文件，生成术前影像包并分别输出至图像分割模块和体表初始配准模块，术前CT图像与术中二维超声图像配准模块分别与图像分割模块和体表初始配准模块相连并接收带有手术目标点的三维动态冠脉树以及体表初始配准结果，术前CT图像与术中二维超声图像配准模块输出术前CT转换矩阵至术中导航模块，通过术中导航模块输出精确手术导航信息。

所述的术前影像包包括：目标区域内一个或若干个心动周期的若干幅DIOM格式的术前CT图像以及根据DICOM数据重建得到的三维立体影像。

所述的带有手术目标点的三维动态冠脉树包括：由图像分割模块生成的动态心脏模型和血管树模型。

所述的术前CT图像导入模块包括：DICOM图像读入单元和术前影像三维绘制单元，其中：DICOM图像读入单元将术前影像学检查获得的心脏一个心动周期的一系列DICOM格式图像文件导入解析出DICOM数据并传输至术前影像三维绘制单元，术前影像三维绘制单元根据DICOM数据重建成三维立体影像并合并为术前影像包并分别输出至图像分割模块和体表初始配准模块。

所述的图像分割模块包括：心脏分割单元和血管树分割单元，其中：心脏分割单元对术前影像包中一个心动周期内的心脏CT图像基于临床经验逐帧手动勾勒出心脏轮廓，并根据获得的心脏CT图像分割结果重建得到动态心脏模型；血管树分割单元对术前影像包中一个心动周期内的血管树CT图像基于临床经验逐帧手动勾勒出血管树轮廓并根据临床需求手动标出手术目标点，从而根据获得的血管树CT图像分割结果重建获得血管树模型并与动态心脏模型一并作为如图2所示的带有手术目标点的三维动态冠脉树输出至术前CT图像与术中二维超声图像配准模块。

所述的体表初始配准模块包括：配准标记点选择单元和转换矩阵计算单元，其中：配准标记点选择单元选择设置于手术对象体表上的配准标记点，并获得其在CT图像数据在图像坐标系坐标以及空间坐标，转换矩阵计算单元根据图像坐标系坐标以及空间坐标，利用刚体配准算法实现这两个坐标之间的配准，即实现图像空间与手术对象空间的配准，并利用这两组坐标计算出初始转换矩阵作为体表初始配准结果，输出至术前CT图像与术中二维超声图像配准模块。

所述的配准标记点是指：在术前获取CT图像数据时，在手术对象的体表上贴上6-8个金属标记点，金属标记点均匀分布在手术对象的胸廓体表上，金属标记点会在术前CT图像数据中高亮显示。

所述的空间坐标具体通过在配准标记点选择单元中设置NDI spectra光学导航仪得以实现。

所述的术前CT图像与术中二维超声图像配准模块包括：术中二维超声图像读入单元、二维超声图像与术前CT图像配准单元和ECG(electrocardiogram，心电图)读入单元，其中：二维超声图像与术前CT图像配准单元接收术中超声图像读入单元采集的二维超声输入图像和心电图读入单元采集的当前心脏跳动相位，通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位进行匹配，计算出两者之间的术前CT转换矩阵并输出至术中导航模块，其中每一组术前CT转换矩阵对应一种当前心脏跳动相位与带有手术目标点的三维动态冠脉树中对应相位。

所述的术中导航模块包括：转换矩阵选择单元和导航显示单元，其中：转换矩阵选择单 元根据当前心脏跳动相位选择术前CT转换矩阵中对应的一组转换矩阵，并将所得的一组转换矩阵输出至导航显示单元，通过导航显示单元计算出当前虚拟器械与实际目标点之间的距离以及相对位置关系并进行视频显示，从而引导手术精确完成。

导航方法，包括以下步骤：

第一步、图像分割模块中的心脏分割单元通过术前CT图像导入模块获得目标区域一个心动周期的一系列CT图像数据（DICOM格式）后，对该心动周期内的心脏CT图像基于临床经验逐帧手动勾勒出心脏轮廓，获得分割结果，并根据分割结果重建得到动态心脏模型。

第二步、图像分割模块中的血管树分割单元对术前影像包中一个心动周期内的血管树CT图像基于临床经验逐帧手动勾勒出血管树轮廓并根据临床需求手动标出手术目标点，获得分割结果，并根据分割结果重建获得血管树模型，构建出一个包含动态血管树模型的三维虚拟场景，该三维虚拟场景构成了一个虚拟内窥镜图像。

第三步、体表初始配准模块利用体表配准来获得术前CT图像数据在图像坐标系坐标与真实手术对象的空间坐标的转换矩阵，即两个不同空间坐标系下的坐标点，通过特征互相映射并实现一一对应关系，达到最终术前CT图像与手术对象实时二维超声图像的对应；具体通过在术前CT图像中选取若干个配准标记点，在真实的空间找到与图像中配准标记点对应的点并利用光学导航仪得到这些点在真实空间的坐标，利用这两组不同坐标系，但是一一对应的点集的位置坐标，求得两个空间之间的转换矩阵。

所述的体表配准采用刚体配准算法，即在二维空间中，点(x₁,y₁)经过刚体变换到点(x₂,y₂)的变换公式为：

其中，θ是旋转角度，(t_x,t_y)^T为平移量。

所述的转换矩阵T：[X₂]＝T[X₁]，其中：X₁和X₂分别对应手术对象二维超声图像空间和术前CT图像数据空间的某点坐标。

第四步、由于一个心动周期术前CT图像数据由若干个相位的术前图像组成，因此通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位相匹配，具体步骤包括：

4.1)通过超声探头对心脏采集一系列手术对象的手术对象实时图像，其中每一幅采集到的手术对象实时图像都对应某一个相应的术前CT图像、每一个相位的术前CT图像都对应了一系列的二维超声图像，对于相位i的术前CT图像数据来说，提取出心脏内壁的表面轮廓，即针对一个相位的术前CT图像i，Ti×T能进一步的校正该相位CT图像与手术对象实时二维 超声图像之间的配准误差，其中N为一个心动周期术前CT图像数据中术前CT图像的相位个数，具体流程为：

通过一个标定好的超声探头来获取术中的二维超声图像，通过T将二维超声图像坐标系转换到术前CT图像数据坐标系，从而与术前CT图像进行融合。设Ti（i=1，2，…N）为在转换矩阵T的基础上针对术前影像包中的每一个相位的术前CT图像进行校正后的转换矩阵，即针对一个相位的、与一组转换矩阵中的Ti相对应的术前CT图像i，Ti×T能进一步的校正该相位CT图像与手术对象实时二维超声图像之间的配准误差。具体流程为：通过标定好的超声探头对心脏采集一系列的二维超声图像，由于心电图信号，每一幅采集的二维超声图像都对应某一个相应的术前CT图像。完成后，每一个相位的术前CT图像都对应了一系列的二维超声图像。对于相位i的术前CT图像数据来说，提取出心脏内壁的表面轮廓。然后该相位所对应的每一幅二维超声图像提取出心脏内壁的轮廓。从这一系列的二维超声图像中提取的内壁组成了一组点集，从术前CT图像中提取的心脏内壁表面轮廓是另一组点集。通过迭代最近点（ICP）算法将二维超声图像上的点集配准到术前CT图像上的点集上得到了一个新的转换矩阵Ti，而Ti×T在T的基础上，精度有了进一步的提高；

所述的标定好的超声探头是指：为了能将实时的二维超声图像融合进导航系统，需要求得从二维超声图像坐标系到导航仪坐标系的转换矩阵。设TM_{td ← ui}是从二维超声图像坐标系到固定在超声探头上的追踪设备（光学放光球或者电磁传感器）的坐标系的转换矩阵，TM_{ui ← td}是从超声探头上的追踪设备坐标系到世界坐标系（导航仪坐标系）的转换矩阵，二维超声图像中的一个点的坐标可以通过下面的公式转换到世界坐标系下的坐标。

$\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]={\mathrm{TM}}_{\mathrm{ui}\←\mathrm{td}}\×{\mathrm{TM}}_{\mathrm{td}\←\mathrm{ui}}\left[\begin{array}{c}{s}_x\×u_k\\ s_y\×u_v\\ 0\\ 1\end{array}\right]---\left(3\right)$

其中，(u_k,u_v)是这个点在二维超声图像坐标系中的坐标，(s_x,s_y)是x轴和y轴的比例系数，(x_w,y_w,z_w)是其在世界坐标系中的坐标。超声探头标定就是要求得从二维超声图像坐标系到固定在超声探头上的追踪设备的坐标系的转换矩阵TM_{td ← ui}；

完成上述步骤后通过迭代最近点算法（ICP算法）将二维超声图像上的点集配准到术前CT图像上的点集，得到这两个点集之间的转换矩阵Ti，用于后续的精配准处理的起始矩阵，具体步骤包括：假设两个待配准的点集P和Q， p_i和q_i分别是两个点集中 的点，i=1…n，配准问题的关键就是求解最优解使得 最小时的R和T；

在完成了ICP初配准后，每一个相位的术前CT图像i都各自得到了一个转换矩阵Ti×T。之后在导航阶段，将会实时的连续进行精配准，每一次精配准的初始转换矩阵就是Ti×T。对于某一个相位的术前CT图像，目标在于寻找一个使相似性测度最大的最优的转换矩阵，记为T′i，使其能最终满足对由于呼吸等因素造成的误差，从而满足对目标血管的定位要求，在此过程中采用的相似性测度为归一化的互信息。

归一化互信息定义为：

$\mathrm{NMI}(M,R)=\frac{H\left(M\right)+H\left(R\right)}{H(M,R)}---\left(5\right)$

其中，M为二维超声图像所在区域在术前CT上采样所得的图像灰度点集，R为实时的二维超声图像灰度点集，H(M)为M的香农熵， i_M代表M图像像素点的灰度值， 代表M图像中像素点灰度值为i_M的概率；H（R）为R的香农熵， i_R代表R图像像素点的灰度值， 代表R图像中像素点灰度值为i_R的概率；H（M,R）为M和R的联合熵， $H(M,R)=-\underset{i_M}{\mathrm{\Σ}}\underset{i_R}{\mathrm{\Σ}}{p}_{(i_M,i_R)}\log \left[p_{(i_M,i_R)}\right],$ 代表M图像中像素点灰度值为i_M、R图像中像素点灰度值为i_R的概率。对于待配准的M图像和R图像，设I_M(X_M)、I_R(X_R)分别为M、R的灰度函数，X_M、X_R分别代表M、R图像空间中的坐标，则X_R=T′i×X_M，即I_R(X_R)=I_R（T′i×X_M）。

整个配准过程也就是寻找T′i，使得NMI（M，R）最大。由于Ti×T是通过与术中二维超声图像的配准得到，已经具有了较小的误差，是一个较好的初始寻优位置，因此能快速的收敛到最优解，从而得到一个最终精确的转换矩阵。

第五步、通过体外光学定位将真实内窥镜与虚拟内窥镜图像进行融合。

如图5所示，所述的融合是指：通过将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境，使得虚拟内窥镜看到的包含心脏跳动模型的虚拟场景与真实内窥镜看到的真实场景一致；同时从步骤4.3得到的一组转换矩阵中根据当前心脏跳动相位选择对应的转换矩阵Ti，从而建立图像空间与真实空间之间的映射转换关系，最终将该映射转换关系用于实时显示出器械与目标点之间的距离和相对位置关系，从而引导手术准确实施。

如图3所示，所述的体外光学定位是指采用NDI光学定位仪进行红外线反射定位，从而实现对研究对象的三维定位。该NDI光学导航仪包括：光源8及接收器9，配准工具10。其 中光源及接收器最远有效距离为3000mm，最大面积可达1470×1856mm²。配准工具由反光球11部分及前端长配准针头12部分组成。患者在进行CT扫描前均匀贴附6-8个金属标记点，这样金属标记点在术前CT图像数据中高亮显示。患者在进行手术时以同样体位趟在手术台上，接生命检测设备，在进行全麻后，开始利用在图像中获取金属标记点在图像坐标系中的坐标，同时利用NDI光学导航仪获取的金属标记点在真实研究对象空间的坐标，利用刚体配准算法实现这个坐标系的配准，从而实现图像空间与手术对象空间的配准。

通过光学定位仪实时传入的内窥镜与机械臂的位置信息，软件能在计算机屏幕中实时显示机械臂与模型的相对位置。为了实现真实内窥镜与虚拟内窥镜的融合，需要求得从世界坐标系到内窥镜坐标系的转换矩阵以及从内窥镜坐标系到内窥镜投影坐标系的矩阵，即需要进行内窥镜的标定。在完成内窥镜标定后，通过输入的内窥镜位置朝向等信息，实现中虚拟内窥镜与真实内窥镜的状态完全一致。从而使得虚拟内窥镜看到的包含心脏跳动模型的虚拟场景与真实内窥镜看到的真实场景一致，通过将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境，有效引导手术准确实施。

上述的内窥镜标定：内窥镜图像的获取是一个3D场景在一个2D投影平面投影所得的结果。

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M_{\mathrm{int}}\×M_{\mathrm{ext}}\×\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(6\right)$

其中，X＝[x y z 1]^T是3D场景中一个点的齐次坐标系，x、y、z分别表示点在x轴、y轴、z轴上的坐标，[u v 1]^T代表了该点在2D投影平面中的坐标，u、v分别表示点在x轴、y轴上的坐标，λ是2D投影平面其次坐标系的缩放因子。上式中包含了一个从世界坐标系转换到内窥镜坐标系的转换矩阵M_ext以及一个从内窥镜坐标系转换内窥镜投影坐标系的转换矩阵M_int。M_ext是一个4×4转换矩阵，可以表示为：

$M_{\mathrm{ext}}=\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_x\\ r_4& r_5& r_6& t_y\\ r_7& r_8& r_9& t_z\\ 0& 0& 0& 1\end{array}\right]---\left(7\right)$

其中，r₁......r₉为旋转因子，t_x,t_y,t_z为平移向量。

M_int可以表示为：

$M_{\mathrm{int}}=\left[\begin{array}{cccc}\mathrm{sf}& 0& u_0& 0\\ 0& f& v_0& 0\\ 0& 0& 1& 0\end{array}\right]---\left(8\right)$

其中，f为镜头焦点到镜面中心的距离，s为镜头视野的宽高比，(u₀,v₀)为镜面中心在2D投影坐标系下的坐标。内窥镜的标定即是要确定M_int和M_ext这两个矩阵。

使用本定位技术可以较为快速、精确地实现对目标冠状动脉的定位，平均精确度达3mm左右，大大减少了机器人辅助冠状动脉搭桥中寻找病变冠脉的时间，使手术更加安全、高效。

为了避免术前CT图像与手术对象实时二维超声配准过程中由于呼吸、心跳等因素造成的误差，将术中超声引入机器人冠状动脉搭桥手术导航，这是本发明的突出之处。

其所能获得的有益效果：1.实现了基于术中超声与术前CT配准结果的光学导航定位方法；2.解决了临床上一直以来依靠个人经验来定位搭桥目标点问题，使得手术操作更加安全、高效。

Claims (1)

1.一种基于CT配准结果的光学导航定位导航方法，其特征在于，包括以下步骤：

第一步、图像分割模块中的心脏分割单元通过术前CT图像导入模块获得目标区域一个心动周期的一系列DICOM格式的术前CT图像数据后，对该心动周期内的心脏术前CT图像基于临床经验逐帧手动勾勒出心脏轮廓，获得分割结果，并根据分割结果重建得到动态心脏模型；

第二步、图像分割模块中的血管树分割单元对术前影像包中一个心动周期内的血管树术前CT图像基于临床经验逐帧手动勾勒出血管树轮廓并根据临床需求手动标出手术目标点，获得分割结果，并根据分割结果重建获得血管树模型，构建出一个包含动态血管树模型的三维虚拟场景，该三维虚拟场景构成了一个虚拟内窥镜图像；

第三步、体表初始配准模块利用体表配准来获得术前CT图像数据在图像坐标系坐标与真实手术对象的空间坐标的转换矩阵，即两个不同空间坐标系下的坐标点，通过特征互相映射并实现一一对应关系，达到最终术前CT图像与手术对象实时二维超声图像的对应，即具体通过在术前CT图像中选取若干个配准标记点，在真实的空间找到与图像中配准标记点对应的点并利用光学导航仪得到这些点在真实空间的坐标，利用这两组不同坐标系，但是一一对应的点集的位置坐标，求得两个空间之间的转换矩阵；

第四步、通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位相匹配，即以转换矩阵T作为初始转化矩阵，设Ti为在转换矩阵T的基础上针对每一个相位的术前CT图像进行校正后得到的转换矩阵，即针对一个相位的术前CT图像i，Ti×T能进一步的校正该相位CT图像与手术对象实时二维超声图像之间的配准误差，具体步骤包括：

4.1)通过超声探头对心脏采集一系列手术对象的手术对象实时图像，其中每一幅采集到的手术对象实时图像都对应某一个相应的术前CT图像、每一个相位的术前CT图像都对应了一系列的二维超声图像，对于相位i的术前CT图像数据来说，提取出心脏内壁的表面轮廓，即通过一个标定好的超声探头来获取术中的二维超声图像，通过T将二维超声图像坐标系转换到术前CT图像数据坐标系，从而与术前CT图像进行融合；设Ti，i＝1，2，…N，其中N为一个心动周期的术前CT图像数据中术前图像的相位个数，为在转换矩阵T的基础上针对术前影像包中的每一个相位的术前CT图像进行校正后的转换矩阵，即针对一个相位的、与一组转换矩阵中的Ti相对应的术前CT图像i，Ti×T能够进一步的校正该相位CT图像与手术对象实时二维超声图像之间的配准误差；

所述的标定好的超声探头是指：为了能将实时的二维超声图像融合进导航系统，需要求得从二维超声图像坐标系到导航仪坐标系的转换矩阵；设TM_td←ui是从二维超声图像坐标系到固定在超声探头上的追踪设备的坐标系的转换矩阵，TM_ui←td是从超声探头上的追踪设备坐标系到世界坐标系的转换矩阵，二维超声图像中的一个点的坐标可以通过下面的公式转换到世界坐标系下的坐标；

$\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]={\mathrm{TM}}_{ui\←td}\×{\mathrm{TM}}_{td\←ui}\left[\begin{array}{c}{s}_x\×u_k\\ s_y\×u_v\\ 0\\ 1\end{array}\right]$

其中，(u_k,u_v)是这个点在二维超声图像坐标系中的坐标，(s_x,s_y)是x轴和y轴的比例系数，(x_w,y_w,z_w)是其在世界坐标系中的坐标；超声探头标定就是要求得从二维超声图像坐标系到固定在超声探头上的追踪设备的坐标系的转换矩阵TM_td←ui；

4.2)对相位i所对应的每一幅二维超声图像提取出心脏内壁的轮廓，从这一系列的二维超声图像中提取的内壁组成了一组点集，从该点集中提取出特征点点集，从术前CT图像中提取的心脏内壁表面轮廓是另一组点集；

4.3)通过迭代最近点算法将二维超声图像上的点集配准到术前CT图像上的点集，得到这两个点集之间的转换矩阵Ti，用于后续的精配准处理的起始矩阵，该迭代最近点算法将二维超声图像上的点集配准到术前CT图像上的点集，得到这两个点集之间的转换矩阵Ti，用于后续的精配准处理的起始矩阵，具体步骤包括：假设两个待配准的点集P和Q，p_i和q_i分别是两个点集中的点，i＝1…n，配准问题的关键就是求解最优解使得最小时的R和T；

在完成了ICP初配准后，每一个相位的术前CT图像i都各自得到了一个转换矩阵Ti×T；之后在导航阶段，将会实时的连续进行精配准，每一次精配准的初始转换矩阵就是Ti×T；对于某一个相位的术前CT图像，目标在于寻找一个使相似性测度最大的最优的转换矩阵，记为T′i，使其能最终满足对由于呼吸等因素造成的误差，从而满足对目标血管的定位要求，在此过程中采用的相似性测度为归一化的互信息；

归一化互信息为：其中：M为二维超声图像所在区域在术前CT上采样所得的图像灰度点集，R为实时的二维超声图像灰度点集，H(M)为M的香农熵，i_M代表M图像像素点的灰度值，代表M图像中像素点灰度值为i_M的概率；H(R)为R的香农熵，i_R代表R图像像素点的灰度值，代表R图像中像素点灰度值为i_R的概率；H(M,R)为M和R的联合熵， 代表M图像中像素点灰度值为i_M、R图像中像素点灰度值为i_R的概率；对于待配准的M图像和R图像，设I_M(X_M)、I_R(X_R)分别为M、R的灰度函数，X_M、X_R分别代表M、R图像空间中的坐标，则X_R＝T′i×X_M，即I_R(X_R)＝I_R(T′i×X_M)；整个配准过程也就是寻找T′i，使得NMI(M，R)最大；由于Ti×T是通过与术中二维超声图像的配准得到，已经具有了较小的误差，是一个较好的初始寻优位置，因此能快速的收敛到最优解，从而得到一个最终精确的转换矩阵；

第五步、通过体外光学定位将真实内窥镜与虚拟内窥镜图像进行融合，即通过将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境，使得虚拟内窥镜看到的包含心脏跳动模型的虚拟场景与真实内窥镜看到的真实场景一致；同时从步骤4.3得到的一组转换矩阵中根据当前心脏跳动相位选择对应的转换矩阵Ti，从而建立图像空间与真实空间之间的映射转换关系，最终将该映射转换关系用于实时显示出器械与目标点之间的距离和相对位置关系，从而引导手术准确实施；

所述的体外光学定位是指采用NDI光学定位仪进行红外线反射定位，从而实现对研究对象的三维定位；

所述的融合是指：通过将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境，使得虚拟内窥镜看到的包含心脏跳动模型的虚拟场景与真实内窥镜看到的真实场景一致；同时从步骤4.3得到的一组转换矩阵中根据当前心脏跳动相位选择对应的转换矩阵Ti，从而建立图像空间与真实空间之间的映射转换关系，最终将该映射转换关系用于实时显示出器械与目标点之间的距离和相对位置关系，从而引导手术准确实施；

所述方法通过以下系统实现，该系统包括：术前CT图像导入模块、图像分割模块、体表初始配准模块、术前CT图像与术中二维超声图像配准模块和术中导航模块，其中：术前CT图像导入模块接收术前影像学检查获得的DICOM格式图像文件，生成术前影像包并分别输出至图像分割模块和体表初始配准模块，术前CT图像与术中二维超声图像配准模块分别与图像分割模块和体表初始配准模块相连并接收带有手术目标点的三维动态冠脉树以及体表初始配准结果，术前CT图像与术中二维超声配准模块输出术前CT转换矩阵至术中导航模块，通过术中导航模块输出精确手术导航信息；

所述的术前影像包包括：目标区域内一个或若干个心动周期的若干幅DIOM格式的术前CT图像以及根据DICOM数据重建得到的三维立体影像，其中：一个心动周期的术前CT图像数据由若干个相位的术前图像组成；

所述的带有手术目标点的三维动态冠脉树包括：由图像分割模块生成的动态心脏模型和血管树模型；

所述的术前CT图像导入模块包括：DICOM图像读入单元和术前影像三维绘制单元，其中：DICOM图像读入单元将术前影像学检查获得的心脏一个心动周期的一系列DICOM格式图像文件导入解析出DICOM数据并传输至术前影像三维绘制单元，术前影像三维绘制单元根据DICOM数据重建成三维立体影像并合并为术前影像包并分别输出至图像分割模块和体表初始配准模块；

所述的图像分割模块包括：心脏分割单元和血管树分割单元，其中：心脏分割单元对术前影像包中一个心动周期内的心脏术前CT图像基于临床经验逐帧进行手动分割，并根据获得的心脏术前CT图像分割结果重建得到动态心脏模型；血管树分割单元对术前影像包中一个心动周期内的血管树术前CT图像基于临床经验逐帧进行手动分割，并根据获得的血管树术前CT图像分割结果重建获得血管树模型并与动态心脏模型一并作为带有手术目标点的三维动态冠脉树输出至术前CT图像与术中二维超声图像配准模块；

所述的体表初始配准模块包括：配准标记点选择单元和转换矩阵计算单元，其中：配准标记点选择单元选择设置于手术对象体表上的配准标记点，并获得其在术前CT图像数据在图像坐标系坐标以及空间坐标，转换矩阵计算单元根据图像坐标系坐标以及空间坐标，利用刚体配准算法实现这两个坐标之间的配准，即实现图像空间与手术对象空间的配准，并利用这两组坐标计算出初始转换矩阵作为体表初始配准结果，输出至术前CT图像与术中二维超声图像配准模块；

所述的术前CT图像与术中二维超声图像配准模块包括：术中二维超声图像读入单元、二维超声图像与术前CT图像配准单元和心电图读入单元，其中：二维超声图像与术前CT图像配准单元接收术中超声图像读入单元采集的二维超声输入图像和心电图读入单元采集的当前心脏跳动相位，通过输入心电图信号将带有手术目标点的三维动态冠脉树中对应的若干个相位与当前心脏跳动相位进行匹配，计算出两者之间的术前CT图像转换矩阵并输出至术中导航模块，其中每一组术前CT转换矩阵对应一种当前心脏跳动相位与带有手术目标点的三维动态冠脉树中对应相位；

所述的术中导航模块包括：转换矩阵选择单元和导航显示单元，其中：转换矩阵选择单元根据当前心脏跳动相位选择术前CT转换矩阵中对应的一组转换矩阵，并将所得的一组转换矩阵输出至导航显示单元，通过导航显示单元计算出当前虚拟器械与实际目标点之间的距离以及相对位置关系并进行视频显示，从而引导手术精确完成；

所述的体表配准采用刚体配准算法，即在二维空间中，点(x₁,y₁)经过刚体变换到点(x₂,y₂)的变换公式为：其中：θ是旋转角度，(t_x,t_y)^T为平移量；

所述的转换矩阵T：[X₂]＝T[X₁]，其中：X₁和X₂分别对应手术对象二维超声图像空间和术前CT图像数据空间的某点坐标。