CN114569257A - 实时定位补偿方法及可实时定位补偿的影像定位系统 - Google Patents

Abstract

本发明提供一种实时定位补偿方法及可实时定位补偿的影像定位系统，所述影像定位系统包括：一立体标记装置、一摄影装置、一三维扫描装置、一分光镜以及一处理单元。立体标记装置具有一多面立方体。分光镜可使摄影装置与三维扫描装置分别经由同一视野取像和三维扫描立体标记装置。处理单元用以运算摄影装置与三维扫描装置分别产生的影像数据和三维扫描数据，以取得一定位补偿量，并进行定位补偿。

Description

实时定位补偿方法及可实时定位补偿的影像定位系统

技术领域

本发明是有关于一种影像定位技术，特别是有关于一种影像定位系统的实时定位补偿方法及可实时定位补偿的影像定位系统。

背景技术

台湾专利公告号I708591公开了一种骨科手术的三维实时定位方法，该方法通过将立体标记装置固定在手术部位上，架设两台摄影装置，并设定为一主摄影装置及一副摄影装置，其分别位于该手术部位的两侧。当欲进行手术定位时，由主摄影装置对立体标记装置取像，一计算模块判断立体标记装置的多面立方体是否被遮蔽，当多面立方体没有被遮蔽时，判断主标记是否被遮蔽，当主标记没有被遮蔽时，则主标记提供空间坐标信息，当主标记有被遮蔽时，则利用三个副标记推算出主标记的空间坐标信息。当多面立方体有被遮蔽时，则切换以副摄影装置进行拍摄多面立方体，并判断主标记是否被遮蔽，当主标记没有被遮蔽时，则主标记提供空间坐标信息，当主标记有被遮蔽时，则利用三个副标记推算出主标记的空间坐标信息。

前述方法的立体标记装置导入主副标记概念，当主标记被遮挡时，可通过周围副标记实时推算出主标记的空间坐标信息，以确保手术定位不受医护人员或对象遮蔽影响，进而增加医疗人员或手术房内物品的位置自由度，亦可降低医疗人员于手术房内移动的限制。而手术过程中难免有人为疏失，例如碰撞，而使摄影装置的定位原点发生改变，造成之后定位失准，影响手术质量。为确保发生定位误差之后剩余的手术能顺利进行，提供一种影像定位系统的实时定位补偿方法和可实时定位补偿的影像定位系统，已成为影像定位技术急需解决的问题之一。

发明内容

本发明的一目的是提供一种影像定位系统的实时定位补偿方法及可实时定位补偿的影像定位系统，其能通过运算立体标记装置的影像数据与三维扫描数据求得定位补偿量，再对影像定位系统进行定位补偿，提升现有影像定位系统的定位精度。

本发明的另一目的是提供一种影像定位系统的实时定位补偿方法及可实时定位补偿的影像定位系统，其能在线实时运算立体标记装置的影像数据与三维扫描数据，快速进行影像定位系统的定位补偿，降低定位失准对施作程序的影响。

依据上述的目的，本发明提供一种影像定位系统的实时定位补偿方法，提供一可实时定位补偿的影像定位系统，用以定位一具有一多面立方体的立体标记装置，其特征在于，该影像定位系统的实时定位补偿方法包括：以该可实时定位补偿的影像定位系统自同一视野(FoV)分别产生该立体标记装置的一影像数据和一三维扫描数据；利用坐标转换矩阵运算该影像数据及该三维扫描数据，以取得一定位补偿量；以及以该定位补偿量补偿该可实时定位补偿的影像定位系统。

可选地，该可实时定位补偿的影像定位系统是通过分光镜使该影像数据和该三维扫描数据取自同一视野。

可选地，该可实时定位补偿的影像定位系统更包含摄影装置和三维扫描装置，该摄影装置的光路与该三维扫描装置的光路垂直相交，该分光镜是设置于两条光路的相交处。

可选地，于该可实时定位补偿的影像定位系统产生该影像数据及该三维扫描数据步骤之前，校正该摄影装置及该三维扫描装置。

可选地，于利用坐标转换矩阵运算该影像数据及该三维扫描数据的步骤中，利用以下算式取得该定位补偿量：T_{c, m} = T_{c, cb} x T_{cb, m}；T_{cb, m} = T_{c, cb} ^-1 x T_{c, m}；T_{c, m}' = T_{c, m}x T_{cb, m}'；其中：

T_{c, m} 表示该立体标记装置于该摄影装置的转换矩阵；T_{c, cb} 表示该摄影装置的坐标系与该三维扫描装置的坐标系的转换矩阵；T_{cb, m} 表示该立体标记装置于该三维扫描装置的坐标系的转换矩阵；T_{c, cb} ^-1表示该摄影装置的坐标系与该三维扫描装置的坐标系的转换矩阵的逆矩阵；T_{c, m}'表示该立体标记装置于该摄影装置的补偿转换矩阵；T_{c, m} 表示该立体标记装置于该摄影装置的转换矩阵；以及T_{cb, m}' 表示该立体标记装置于该三维扫描装置的对位转换矩阵。

可选地，于以该定位补偿量补偿该可实时定位补偿的影像定位系统步骤之后，再次执行全部步骤。

依据上述的目的，本发明另提供一种可实时定位补偿的影像定位系统，包括：一立体标记装置，其具有一多面立方体；一摄影装置、一三维扫描装置以及一分光镜，该分光镜可使该摄影装置与该三维扫描装置分别自同一视野取像和三维扫描该立体标记装置；以及一处理单元，用以运算该摄影装置与该三维扫描装置分别产生的一影像数据和一三维扫描数据，以取得一定位补偿量，并进行定位补偿。

可选地，该摄影装置的光路与该三维扫描装置的光路垂直相交，该分光镜设置于两条光路的相交处，使该摄影装置与该三维扫描装置具有该同一视野。

可选地，该摄影装置是设置于该分光镜的光束穿透端，该三维扫描装置是设置于该分光镜的光束反射端。

可选地，该多面立方体包括至少四面，该至少四面分别作为个主标记及复数个副标记，该主标记用以提供空间坐标信息，当该主标记被遮蔽时，该处理单元利用该复数个副标记推算出该主标记的该空间坐标信息。

本发明以摄影装置和三维扫描装置分别通过分光镜取得立体标记装置的影像数据与扫描数据，并对立体标记装置的影像数据与扫描数据进行运算以求出定位补偿量，再对影像定位系统进行定位补偿，实有提升现有影像定位系统的定位精度的功效。此外，本发明的定位补偿方法可实时在线执行，可使影像定位系统定位失准对施作程序（例如外科手术）的影响降至最低。

附图说明

图1 为本发明的影像定位系统的实时定位补偿方法一实施例的步骤流程图。

图2 为本发明一实施例的立体标记装置的立体示意图。

图3 为本发明一实施例的可实时定位补偿的影像定位系统示意图。

图4 为本发明的影像定位系统的实时定位补偿方法另一实施方式的步骤流程图。

图中：

1:影像定位系统；11:立体标记装置；110:多面立方体；111:主标记；1111:主图形编码；112:副标记；1121,1122,1123:副图形编码；119:钉状体；12:摄影装置；13:处理单元；2:三维扫描装置；3:分光镜；4:施作部位；S10:硬件提供步骤；S20:硬件组设步骤；S30:校正步骤；S40:立体标记装置取像与扫描步骤；S50:补偿量运算步骤；S60:定位补偿步骤。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

图1为本发明的影像定位系统的实时定位补偿方法一实施例的步骤流程图，图2为本发明一实施例的立体标记装置的立体示意图，图3为本发明一实施例的可实时定位补偿的影像定位系统示意图。请参阅图1，本发明影像定位系统的实时(real time)定位补偿方法的一实施例包括以下步骤：硬件提供步骤S10；硬件组设步骤S20；校正步骤S30；立体标记装置取像与扫描步骤S40；补偿量运算步骤S50；以及定位补偿步骤S60。

请一并参阅图1、图2以及图3，硬件提供步骤S10提供一影像定位系统1、一三维扫描装置2以及一分光镜3。影像定位系统1包括至少一立体标记装置11、一摄影装置12以及一处理单元13。

至少一立体标记装置11用来标记一欲定位的施作部位4，每一立体标记装置11包括：一多面立方体110及一钉状体119。多面立方体110包括至少四面，该至少四面分别作为一个主标记111及复数个副标记112。例如，如图2所示的多面立方体110包括十二面，亦即多面立方体110为十二面立方体，复数个副标记112为十个。主标记111包括一主图形编码1111，其中三个副标记112分别包括第一副图形编码1121、第二副图形编码1122及第三副图形编码1123，主图形编码1111用以提供一空间坐标信息，其作为计算六自由度姿态数据之用。例如，物体在空间具有六个自由度，即沿X、Y、Z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。主图形编码1111及第一至第三副图形编码1121、1122、1123为不同的快速响应矩阵图形编码(Quick Response Code, QR Code)。钉状体119用以固定在欲定位的施作部位4上。当施作部位4为脊椎时，则钉状体119为一脊突钉。于本实施例中，所采用的立体标记装置11的数目为3。

摄影装置12具有一影像撷取单元(图中未示)，用以拍摄立体标记装置11的光学影像并将其转换为数字信号。处理单元13为具有运算功能的处理器，用以处理立体标记装置11的影像数据和三维扫描数据，并进行定位补偿。

三维扫描装置2至少具有一影像撷取单元(图中未示)和一投射光源如红外线，未绘示，该投射光源投射一光束于立体标记装置11，该影像撷取单元撷取自立体标记装置11反射的光束，用以取得立体标记装置11几何表面的图像数据。

请一并参阅图1和图3，硬件组设步骤S20包括：将立体标记装置11固定在施作部位4；和架设摄影装置12、三维扫描装置2以及分光镜3。于本实施例，施作部位4为脊椎，3个立体标记装置11通过钉状体119（即脊突钉）固定在脊椎上。在摄影装置12、三维扫描装置2以及分光镜3的架设上，将摄影装置12的光路与三维扫描装置2的光路垂直相交，分光镜3则设置于该二光路的相交处，使摄影装置12与三维扫描装置2可具有同一视野（视域，FoV）。以图3所示的摄影装置12和三维扫描装置2的架设方式而言，摄影装置12是组装于分光镜3的光束穿透端，三维扫描装置2则是组装于分光镜3的光束反射端。而本发明的摄影装置12和三维扫描装置2的架设方式并不以此为限，亦可将摄影装置12和三维扫描装置2的架设位置对调，即三维扫描装置2组装于分光镜3的光束穿透端，而摄影装置12组装于分光镜3的光束反射端。

请参阅图1，校正步骤S30对摄影装置12和三维扫描装置2进行校正，以提升撷取立体标记装置11光学影像和几何表面图像数据的精度。已公开的摄影装置12和三维扫描装置2的校正方法众多，熟悉此技艺的人士可依实际需求选择适合的校正方法。

请一并参阅图1和图3，立体标记装置取像与扫描步骤S40以摄影装置12和三维扫描装置2分别取得立体标记装置11的影像数据与三维扫描数据，此步骤包括：调整摄影装置12、三维扫描装置2及分光镜3，使立体标记装置11能进入该视野；以摄影装置12取像立体标记装置11以取得其数字的影像数据，并传递该影像数据至处理单元13；以及以三维扫描装置2的投射光源投射一光束于立体标记装置11，三维扫描装置2的影像撷取单元撷取自立体标记装置11反射的光束，用以取得立体标记装置11的三维扫描数据（即其几何表面的图像数据），并传递该三维扫描数据至处理单元13。

请参阅图1，补偿量运算步骤S50由处理单元13运算立体标记装置11的影像数据与三维扫描数据以取得影像定位系统1的定位补偿量。处理单元13取得来自摄影装置12的影像数据后，可依据立体标记装置11的主标记111的主图形编码1111所提供的一空间坐标信息计算出立体标记装置11的姿态数据。而当主标记111被遮蔽时，处理单元13则可利用三个副标记112的第一副图形编码1121、第二副图形编码1122及第三副图形编码1123推算出主标记111的空间坐标信息，算出立体标记装置11的姿态数据。接下来，处理单元13通过立体标记装置11的姿态数据和三维扫描数据计算影像定位系统1的定位补偿量。

立体标记装置11的影像数据是经由摄影装置12撷取而来，而三维扫描数据是通过三维扫描装置2取得，因此，在对立体标记装置11的姿态数据和三维扫描数据进行运算的过程中，便会涉及了不同坐标系的转换，相关转换的算式如下所列：

T_{c, m} = T_{c, cb} x T_{cb, m}

T_{cb, m} = T_{c, cb} ^-1 x T_{c, m}

其中：

T_{c, m} 表示立体标记装置11于摄影装置12（即影像定位系统1）的转换矩阵。 T_{c, cb} 表示摄影装置12（即影像定位系统1）的坐标系与三维扫描装置2的坐标系的转换矩阵。

T_{cb, m} 表示立体标记装置11于三维扫描装置2的坐标系的转换矩阵。

T_{c, cb} ^-1 表示摄影装置12即影像定位系统1的坐标系与三维扫描装置2的坐标系的转换矩阵的逆矩阵。

立体标记装置11于摄影装置12即影像定位系统1的补偿转换矩阵：

T_{c, m}' = T_{c, m} x T_{cb, m}'

其中：

T_{c, m}'表示立体标记装置11于摄影装置12即影像定位系统1的补偿转换矩阵。

T_{c, m} 表示立体标记装置11于摄影装置12（即影像定位系统1）的转换矩阵。

T_{cb, m}'表示立体标记装置11于三维扫描装置2的对位转换矩阵。

也就是当计算取得T_{cb, m}后，会进行三维扫描装置2的对位，即将立体标记装置11与三维扫描装置2做对位，此时会计算出一个转换矩阵T_{cb, m}'。再由上面的算式即可求得立体标记装置11于摄影装置12（即影像定位系统1）的补偿转换矩阵T_{c, m}'。

请参阅图1，定位补偿步骤S60依照补偿量运算步骤S50所运算求得的定位补偿量对影像定位系统1进行定位补偿。

以上所述的影像定位系统的实时(real time)定位补偿方法适合于一施作程序（例如外科手术）进行的初执行，以确保施作程序过程中器械定位的精度，提升施作程序的作业质量。而在施作程序的中途，影像定位系统中的摄影装置可能因为人为疏失（例如碰撞）而被移动，这时只要重新执行立体标记装置取像与扫描步骤S40、补偿量运算步骤S50以及定位补偿步骤S60（请参阅图4），即可再快速地回到施作程序，可使人为疏失对施作程序的影响降至最低。若是立体标记装置因人为碰撞而移位，甚或脱落，这时可执行硬件组设步骤S20，将移位或脱落的立体体标记装置重新固定在施作部位，再执行校正步骤S30、立体标记装置取像与扫描步骤S40、补偿量运算步骤S50以及定位补偿步骤S60，即可实时完成影像定位系统的定位补偿。

另外，请参阅图3，本发明提供一种可实时(real time)定位补偿的影像定位系统，包括：立体标记装置11，供固定于欲定位的一施作部位4，立体标记装置11具有一多面立方体110；一摄影装置12，用以取像立体标记装置11，以取得其影像数据；一三维扫描装置2，用以扫描立体标记装置11，以取得其三维扫描数据；一分光镜3，摄影装置12的光路与三维扫描装置2的光路垂直相交，分光镜3设置于该二光路的相交处，使摄影装置12与三维扫描装置2具有同一视野(FoV)；以及一处理单元13，用以运算立体标记装置11的影像数据和三维扫描数据，并进行定位补偿。

本发明以摄影装置和三维扫描装置分别通过分光镜取得立体标记装置的影像数据与三维扫描数据，并对立体标记装置的影像数据与三维扫描数据进行运算以求出定位补偿量，再对影像定位系统进行定位补偿，实有提升现有影像定位系统的定位精度的功效。此外，本发明的定位补偿方法可实时在线执行，使影像定位系统定位失准对施作程序（例如外科手术）的影响可降至最低。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种影像定位系统的实时定位补偿方法，提供一可实时定位补偿的影像定位系统，用以定位一具有多面立方体的立体标记装置，其特征在于，该影像定位系统的实时定位补偿方法包括：

以该可实时定位补偿的影像定位系统自同一视野分别产生该立体标记装置的影像数据和三维扫描数据；

利用坐标转换矩阵运算该影像数据及该三维扫描数据，以取得定位补偿量；以及

以该定位补偿量补偿该可实时定位补偿的影像定位系统。

2.如权利要求1所述的影像定位系统的实时定位补偿方法，其特征在于，该可实时定位补偿的影像定位系统是通过分光镜使该影像数据和该三维扫描数据取自同一视野。

3.如权利要求2所述的影像定位系统的实时定位补偿方法，其特征在于，该可实时定位补偿的影像定位系统更包含摄影装置和三维扫描装置，该摄影装置的光路与该三维扫描装置的光路垂直相交，该分光镜是设置于两条光路的相交处。

4.如权利要求3所述的影像定位系统的实时定位补偿方法，其特征在于，于该可实时定位补偿的影像定位系统产生该影像数据及该三维扫描数据步骤之前，校正该摄影装置及该三维扫描装置。

5.如权利要求4所述的影像定位系统的实时定位补偿方法，其特征在于，于利用坐标转换矩阵运算该影像数据及该三维扫描数据的步骤中，利用以下算式取得该定位补偿量：

T_{c, m} = T_{c, cb} x T_{cb, m}；

T_{cb, m} = T_{c, cb} ^-1 x T_{c, m}；

T_{c, m}' = T_{c, m} x T_{cb, m}'；

其中：

T_{c, m} 表示该立体标记装置于该摄影装置的转换矩阵；

T_{c, cb} 表示该摄影装置的坐标系与该三维扫描装置的坐标系的转换矩阵；

T_{cb, m} 表示该立体标记装置于该三维扫描装置的坐标系的转换矩阵；

T_{c, cb} ^-1表示该摄影装置的坐标系与该三维扫描装置的坐标系的转换矩阵的逆矩阵；

T_{c, m}'表示该立体标记装置于该摄影装置的补偿转换矩阵；

T_{c, m} 表示该立体标记装置于该摄影装置的转换矩阵；以及

T_{cb, m}' 表示该立体标记装置于该三维扫描装置的对位转换矩阵。

6.如权利要求1所述的影像定位系统的实时定位补偿方法，其特征在于，于以该定位补偿量补偿该可实时定位补偿的影像定位系统步骤之后，再次执行权利要求1所述的全部步骤。

7.一种可实时定位补偿的影像定位系统，其特征在于，包括：

立体标记装置，其具有多面立方体；

摄影装置、三维扫描装置以及分光镜，该分光镜能够使该摄影装置与该三维扫描装置分别自同视野取像和三维扫描该立体标记装置；以及

处理单元，用以运算该摄影装置与该三维扫描装置分别产生的影像数据和三维扫描数据，以取得定位补偿量，并进行定位补偿。

8.如权利要求7所述的可实时定位补偿的影像定位系统，其特征在于，该摄影装置的光路与该三维扫描装置的光路垂直相交，该分光镜设置于两条光路的相交处，使该摄影装置与该三维扫描装置具有该同一视野。

9.如权利要求8所述的可实时定位补偿的影像定位系统，其特征在于，该摄影装置是设置于该分光镜的光束穿透端，该三维扫描装置是设置于该分光镜的光束反射端。

10.如权利要求7所述的可实时定位补偿的影像定位系统，其特征在于，该多面立方体包括至少四面，该至少四面分别作为个主标记及复数个副标记，该主标记用以提供空间坐标信息，当该主标记被遮蔽时，该处理单元利用该复数个副标记推算出该主标记的该空间坐标信息。

Images