CN118845164A - 基于超声引导的便携穿刺设备 - Google Patents

Abstract

本公开提供了一种基于超声引导的便携穿刺系统，包括超声穿刺模块和数据处理模块，所述超声穿刺模块包括设备主体、探头基体、超声探头和穿刺机构，所述数据处理模块包括超声成像单元、检测单元和图像增强单元，所述检测单元用于使用预训练的深度学习模型实时检测超声影像中的穿刺针；所述图像增强单元用于对检测出的穿刺针的图像进行增强后叠加显示在所述超声影像的图层之上。根据本公开提供的穿刺系统，通过深度学习模型实时检测穿刺针的位置，及时纠正穿刺偏差，可有效辅助医生完成穿刺，而不必过于依赖医生的操作经验，从而能够降低穿刺的难度，有助于手术降级。

Description

基于超声引导的便携穿刺设备

技术领域

本说明书涉及医疗器械技术领域，尤其涉及一种基于超声引导的便携穿刺系统。

背景技术

在临床穿刺、消融等介入治疗中，需将引导针或导管置入人体内，这个过程通常会在超声引导下进行。但是目前常见的超声设备动辄体积较大，带来操作不便，并且超声探头与穿刺机构并未形成有机组合，穿刺针很容易在超声探头的扫查切面外穿刺，医生无法看到完整的穿刺针，很难掌握穿刺针的位置和角度，使得这种穿刺过程高度依赖医生经验。

在超声引导的穿刺手术过程中，准确判断超声影像中穿刺针的位置非常重要，但是由于使用的穿刺针较细，在超声影像中显示的穿刺针目标较短，容易受伪影干扰，医生很难准确判断穿刺针的行进路径以及到达位置，一旦判断有误，可能会引起严重的医疗事故。

随着深度学习的快速发展，将深度学习目标检测算法应用于穿刺针的检测已成为可能，如何结合软件算法实时精确地检测出穿刺针，并为穿刺提供更加有效的辅助，是亟需解决的问题。

发明内容

为解决相关技术中的问题，本公开说明书提供了一种集超声穿刺一体的便携式医疗系统，通过具备便携性的超声穿刺设备和数据处理模块的结合，为临床治疗提供诸多便利性。

本公开提供了一种基于超声引导的便携穿刺系统，包括超声穿刺模块和数据处理模块，其中，

所述超声穿刺模块包括设备主体、探头基体、超声探头和穿刺机构，所述探头基体设置在所述设备主体一端；所述超声探头至少有两个，设置在所述探头基体面向穿刺表面的位置，用以获得至少两个互不平行的扫查切面的超声影像；所述穿刺机构从所述设备主体一侧延伸出来，用于固定穿刺针，以使所述穿刺针在所述至少两个互不平行的扫查切面内进行穿刺；

所述数据处理模块包括超声成像单元、检测单元和图像增强单元，所述超声成像单元用于对所述超声探头所接收的超声回波信号进行处理以生成超声影像；所述检测单元用于使用预训练的深度学习模型实时检测所述超声影像中的穿刺针；所述图像增强单元用于对检测出的穿刺针的图像进行增强后叠加显示在所述超声影像的图层之上。

根据本公开提供的穿刺设备，可以在超声引导下进行穿刺，通过深度学习模型实时检测穿刺针的位置，通过增强的图像显示，方便观察穿刺针的实际位置，及时纠正穿刺偏差，可有效辅助医生完成穿刺，而不必过于依赖医生的操作经验，从而能够降低穿刺的难度，有助于手术降级。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。

图1为本公开提供的基于超声引导的穿刺系统的结构示意图；

图2为本公开实施例中使用的深度学习模型的网络结构图。

图3为本公开实施例中数据处理模块的一种结构框图；

图4为本公开实施例中经过重建的穿刺针的空间图像的示例；

图5为本公开实施例中两个扫查切面的超声影像示例。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开说明书中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开说明书中的实施例及实施例中的特征可以相互组合。本说明书中的方向“前端”为朝向患者的方向，即穿刺的方向，“后端”为朝向操作者的方向，即远离穿刺的方向；“穿刺针”统指在介入治疗中所使用的各类介入器件，包括活检、注射、引流穿刺针等。

外科穿刺需在超声影像的辅助下进行，然而现有超声影像设备对穿刺的辅助作用有限，超声探头与穿刺机构并未形成有机组合，穿刺过程完全依赖医生经验，一旦穿刺路径落在超声探头的扫查切面外，医生就无法从超声影像上观察到完整的穿刺针，很难掌握穿刺针的位置和角度，穿刺可能失败甚至引发严重事故。因此，准确判断超声影像中穿刺针的位置非常重要。为降低对穿刺手法和经验的要求，降低对医生经验的依赖性，本公开提供了一种基于超声引导的便携穿刺系统，通过穿刺针与超声探头的有机结合，方便使用者单手操作，并可通过增强的图像实时观察穿刺针的实际位置，降低穿刺难度。

图1为本公开实施例提供的基于超声引导的便携穿刺系统的结构示意图。

如图1所示，该穿刺系统包括超声穿刺模块100和数据处理模块200，超声穿刺模块100包括设备主体110、探头基体120、超声探头130、穿刺机构140。数据处理模块包括超声成像单元210、检测单元220和图像增强单元230。

在超声穿刺模块100部分中，设备主体110为操作者握持的部分，内置超声波发射/接收电路，探头基体120设置在设备主体110的一端，超声探头130至少有两个，设置在探头基体120面向穿刺表面的位置，用以获得至少两个互不平行的扫查切面的超声影像，穿刺机构140从设备主体110的一侧延伸出来，用于固定穿刺针，以使穿刺针在至少两个互不平行扫查切面内进行穿刺。

探头基体120连接着超声探头130和设备主体110，从而能够确保超声探头110从设备主体110获得激发信号并能将回波信号传回接收电路进行处理，保证超声探头的正常工作。超声探头可以是线性换能器、凸阵换能器或相控阵换能器。

设置多个超声探头目的是为了让操作者更好的观察穿刺针的实际位置，在穿刺过程中，诸多因素会引起穿刺针偏移预期的扫查切面，在多个超声探头的辅助下，有助于观察穿刺针的实际位置，从而对穿刺方向作出正确判断。使用时，多个探头可以扫查同一个部位的不同切面，生成对应的不同切面的超声影像。多个探头的排列位置有多种，但需满足至少有两个探头的扫查切面有夹角，且夹角在0到180°之间，即至少有两个探头的扫查切面互不平行。图1中给出的是两个超声探头成“L”形结构的示例，两个超声探头也可构成“T”形结构。借助两个互不平行的切面上的图像，通过三维图像算法，可以构建一个三维空间，从而定位出在该空间内的穿刺针，克服单一扫查面无法全面观察穿刺针的不足。

穿刺机构140从设备主体110的一侧延伸出来固定穿刺针，以使穿刺针穿刺时落在至少一个超声探头的扫查切面内。在图1示例的两个超声探头的情况下，穿刺机构140与设备主体110的位置相对固定，从而与超声探头130的位置相对固定，这个位置使得固定在其中的穿刺针的穿刺方向的延长线恰好落在两个扫查切面的交线上，构成最佳的穿刺角度，从而免去了使用者手动试探调整的过程。

设备主体110具有便于握持的外形，内置有超声波发射/接收电路。在超声成像过程中，发射电路将经过延迟聚焦的具有一定幅度和极性的发射脉冲发送到超声探头130，以激励超声探头130向扫查的目标组织发射超声波束。经一定延时后，超声探头接收超声波束的回波，通过接收电路对回波信号进行聚焦延时、加权和通道求和等处理，送入数据处理模块的超声成像单元210进行处理生成所需的超声影像或成像数据。

在数据处理模块200部分中，超声成像单元210用于对超声探头所接收的超声回波信号进行处理以生成超声影像；检测单元220用于使用预训练的深度学习模型实时检测超声影像中的穿刺针；图像增强单元230用于对检测出的穿刺针的图像进行增强后叠加显示在超声影像的图层之上。

超声成像单元210处理超声回波信号后得到的超声影像具有实时性，相应地，检测单元220也要实时检测图像中的穿刺针，检测结果输出包含穿刺针的图像区域，这部分图像经过图像增强单元230的处理，将其中的穿刺针的图像提取出来并高亮显示，然后叠加显示在超声影像的图层之上。通过叠加的增强图像，可以让观察者更直观和清楚地查看穿刺针的当前状态，结合穿刺引导线可以判断穿刺路径是否发生了偏差。

本公开实施例中，数据处理模块200部分中，检测单元220使用的检测穿刺针的深度学习模型可以多种实现算法。较佳地，本公开实施例中的深度学习模型基于YOLOv5算法实现。下面具体说明本公开实施例中的深度学习模型及其训练过程。

YOLO系列算法中应用最多的是YOLOv5，根据模型大小，它可分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四种，其网络结构相同，网络深度和特征图的宽度依次增加，检测精度逐渐提升，但是推理速度依次变慢。由于穿刺针检测对实时性要求较高，因此本公开实施例中采用YOLOv5s作为目标检测模型。图2给出了YOLOv5s的模型结构示意图。

如图2所示，该模型结构中，Backbone是网络的主干部分，其包括卷积模块(CBS)、C3模块和SPPF三种模块。一个CBS模块由Conv2d+Batch Normalization+sigmoid linearunit共同组成，依次对输入进行二维卷积、正则化操作和激活操作；C3模块由CBS模块与残差结构模块构成，残差结构模块的输入经过两次卷积模块，与原值进行加运算，在不增加输出深度的情况下完成残差特征转移；SPPF模块首先对输入数据串行采用3个多尺度的最大池化模块，然后进行多尺度融合，最终将输出恢复到同输入大小一致。

模型中的Neck部分采用FPN+PAN的结构，具有自上而下、自下而上的特征融合特点，把Backbone输出的特征信息进行上采样与高层特征信息进行融合，再进行下采样聚合浅层的特征信息，用于丰富图像特征信息。

模型中的Head部分同时输出三个尺度的预测图，分别适用于检测小、中、大目标。以GIoU_loss作为图像边界框回归的损失函数，然后通过非极大抑制(NMS)对产生的目标框进行筛选，最终输出置信度最高的预测类别，并返回边框坐标。

在模型训练过程中，模型的优化算法选择直接关系到最终模型的性能，以及是否能够使模型快速寻找最优解。本公开实施例中，训练YOLOv5s模型时，采用随机梯度下降算法(SGD)进行迭代以更新网络参数。

深度学习模型的训练包括两个训练阶段，分别为使用穿刺动物组织器官的数据集进行训练的第一阶段和使用穿刺人体组织器官的数据集进行训连的第二阶段，具体训练过程如下。

第一阶段中的数据集，通过对动物组织器官的穿刺来模拟人体穿刺，从不同角度用穿刺针分别在牛肉、猪肝、猪肉、猪心、猪肾中进行穿刺，最后从每一个组织器官的穿刺超声影像中选取500张超声影像，一共2500张图像。此外，为了保证样本的多样性，以及满足深度学习大量训练样本的需求，增加模型泛化能力，采用随机缩放翻转、亮度增强、对比度增强的方式进行数据增强，一共得到5000张超声影像。再按照4∶1的比例将数据集分为训练集和测试集，然后对图像中的穿刺针进行标注，类别标签为needle、needlebody，分别表示针头和针体两类目标。

训练时使用YOLOv5 COCO数据集上的预训练模型权重进行初始化，并采用模型优化算法进行网络参数更新。Batchsize设置为16，最大迭代次数设置为150，初始学习率为0.01，并使用余弦退火(Cosine Annealing)实时调整学习率，动量因子设为0.937，置信度阈值设为0.45，非极大抑制阈值设为0.25。

第一阶段使用的数据集是用动物组织器官模拟穿刺手术得到的，考虑其可能会有一些特征与真实的人体穿刺超声影像不符，所以引入第二阶段训练，通过真实的对人体组织的穿刺图像进行优化，从而提高检测精度和速度。

第二阶段中的数据集，来自实际中对人体组织器官穿刺的真实的超声影像。此类数据特殊，数据量较小，总共有800张，包括了对人体多个器官组织的穿刺时的超声影像。第二阶段训练时，复制了第一阶段的所有模型设计及其参数，然后使用该阶段的数据集训练神经网络模型。第二阶段的最大迭代次数设置为50。

经过两阶段的训练得到的深度学习模型，可以实现对超声影像中的穿刺针实时检测，该穿刺针目标检测模型具有检测速度快、精确度高的优点，有利于辅助临床医生在手术过程中判断针体和针头的位置。

图3给出了本公开实施例中数据处理模块的一种结构框图。该数据处理模块通过软件、硬件的结合实现，可以对超声影像中的穿刺针进行实时检测并通过增强图像显示。

如图3所示，数据处理模块200包括超声成像单元210、检测单元220和图像增强单元230，还可包括重建单元240和偏差调整单元250。

重建单元240用于基于深度学习模型的检测结果，重建穿刺针的三维坐标，偏差调整单元250用于基于重建的穿刺针的三维坐标，计算穿刺针与穿刺引导线的偏差，并在偏差大于阈值的情况下，输出偏差调整信息。此时，图像增强单元230还用于将重建的穿刺针的三维坐标映射在由至少两个互不平行的扫查切面构成的空间中，输出显示的图像如图4所示。

穿刺引导线根据互不相交的两个超声探头的位置确定，即两个超声探头的扫查切面的相交线，与此对应的，穿刺机构的位置要使得其中的穿刺针沿着该引导线向下穿刺。在穿刺前，操作者首先要定位穿刺目标，可以利用穿刺引导线定位穿刺目标，通过适当的调整可使得两个切面图像中的穿刺引导线均穿过穿刺目标，对应的穿刺针的也将穿过该穿刺目标，此时的握持设备主体的角度和位置可确定为最佳的穿刺路径。

当检测单元220利用深度学习模型，从多个扫查切面的超声影像中检测出穿刺针后，重建单元240利用已知的多个扫查切面之间的空间关系以及穿刺针的规格参数(长度、粗细、材质等)，在该检测结果的基础上，通过算法得到穿刺针实际位置的三维坐标。进一步地，还可结合成像单元处理得到的成像数据中对应像素点的灰度值，重建穿刺针的三维坐标。本公开实施例中所利用的不仅仅是超声影像的图像，还有生成超声影像的成像数据，其中含有每个像素点的灰度值，这将在一定程度上改善准确性。

由于穿刺引导线是规划的最佳穿刺路径，但实际穿刺过程中，针体可能会偏离引导线，这种偏离可能会使穿刺针无法完整显示在扫查切面的影像中，而由于穿刺针和探头相对固定，穿刺过程中也不能移动探头来获得穿刺针的完整图像，很难观察穿刺偏离的情况，从而无法做出准确的调整。而利用本公开实施例的重建单元，可以还原出穿刺针的空间位置，从而可以方便地计算出实际穿刺路径与引导线之间的偏差，克服了单一扫查切面无法得到穿刺针空间位置的不足。同时，只对穿刺针的图像进行三维重建，也降低了运算量，提高了实时性。

图4给出了本公开实施例中经过重建的穿刺针的空间图像的示例。

如图4所示，重建单元240得到了穿刺针的三维坐标，图像增强单元230将重建的穿刺针的三维坐标映射在两个互不平行的扫查切面构成的空间中，图中的方位标识能够显示当前显示的空间位置，两个平面的交线为穿刺引导线所在的位置。通过空间图像的显示，观察者可以直观地查看穿刺针的实际位置，方便手动调整，避免穿刺失败。如图4所示，此时的穿刺针已经偏离了穿刺引导线，需要操作者进行调整。

图5为本公开实施例中两个扫查切面的超声影像的示例。

如图5所示，白色虚线为穿刺引导线，白色实线为叠加的增强的穿刺针的图像。

在此基础上，本公开实施例的穿刺系统还包括显示模块，用于显示至少两个扫查切面的超声影像和重建的穿刺针的图像，还可显示穿刺引导线和偏差调整信息，偏差调整信息可以是指示穿刺针调整方向的标识，例如通过箭头标识指示穿刺针的调整方向。

显示模块可以是单独的显示器，通过无线或有线方式与设备主体连接，也可以是与设备主体为一体的显示器。在图1所示的显示模块的实现方式中，在设备主体110上端设置了显示器150，该显示器可以通过分屏显示多个扫查切面的超声影像，每个超声影像中叠加增强的穿刺针图像，如图5示例，在出现偏差时显示偏差调整信息，以及重建的三维图像，如图4示例。该显示器也可以由操作者在显示平面的超声影像和重建的三维图像之间切换。此种显示模块的实现方式不仅方便于操作者直观观察，也增强了超声穿刺模块的便携性。

本公开实施例中，考虑到数据处理模块要执行的运算量巨大，因此，数据处理模块可通过多个处理器以分布方式来实现，在超声穿刺模块的设备主体内置第一处理器，完成初步的数据处理，例如实现超声成像单元的功能，深度学习模型的边缘计算，然后由具有更大算力的外接的第二处理器来完成其他功能。该实施方式下，穿刺设备主体与第二处理器连接，从而能够兼顾效率和实时性，高效完成以上运算。

根据本公开实施例提供的基于超声引导的便携穿刺系统，穿刺机构与超声探头部分有机结合，方便使用者单手操作，通过深度学习算法检测穿刺针，通过数据处理模块实时查看增强的图像，有助于观察穿刺针的实际位置是否发生偏移。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于超声引导的便携穿刺系统，其特征在于，包括超声穿刺模块和数据处理模块，其中，

所述超声穿刺模块包括设备主体、探头基体、超声探头和穿刺机构，所述探头基体设置在所述设备主体一端；所述超声探头至少有两个，设置在所述探头基体面向穿刺表面的位置，用以获得至少两个互不平行的扫查切面的超声影像；所述穿刺机构从所述设备主体一侧延伸出来，用于固定穿刺针，以使所述穿刺针在所述至少两个互不平行的扫查切面内进行穿刺；

所述数据处理模块包括超声成像单元、检测单元和图像增强单元，所述超声成像单元用于对所述超声探头所接收的超声回波信号进行处理以生成超声影像；所述检测单元用于使用预训练的深度学习模型实时检测所述超声影像中的穿刺针；所述图像增强单元用于对检测出的穿刺针的图像进行增强后叠加显示在所述超声影像的图层之上。

2.根据权利要求1所述的便携穿刺系统，其特征在于，所述数据处理模块还包括：

重建单元，用于基于所述深度学习模型的检测结果，重建所述穿刺针的三维坐标；

偏差调整单元，用于基于重建的所述穿刺针的三维坐标，计算所述穿刺针与穿刺引导线的偏差，并在偏差大于阈值的情况下，输出偏差调整信息。

3.根据权利要求2所述的便携穿刺系统，其特征在于，所述图像增强单元还用于将重建的所述穿刺针的三维坐标映射在两个互不平行的扫查切面构成的空间中。

4.根据权利要求1所述的便携穿刺系统，其特征在于，所述检测单元使用的所述深度学习模型基于YOLOv5算法实现。

5.根据权利要求4所述的便携穿刺系统，其特征在于，所述深度学习模型训练时使用随机梯度下降算法更新网络参数。

6.根据权利要求2所述的便携穿刺系统，其特征在于，所述重建单元，还用于基于所述深度学习模型的检测结果和所述成像单元处理得到的成像数据中对应像素点的灰度值，重建所述穿刺针的三维坐标。

7.根据权利要求1所述的便携穿刺系统，其特征在于，所述系统还包括显示模块，用于显示所述至少两个扫查切面的超声影像和/或重建的所述穿刺针的三维图像。

8.根据权利要求7所述的便携穿刺系统，其特征在于，所述显示模块还用于显示所述穿刺引导线和所述偏差调整信息。

9.根据权利要求7所述的便携穿刺系统，其特征在于，所述显示模块为设置在所述设备主体上的显示屏。

10.根据权利要求1所述的便携穿刺设备，其特征在于，所述数据处理模块包括设置于设备主体内的第一处理器和外接的第二处理器。