CN120259408B - 一种血管增生量化分级方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种血管增生量化分级方法、装置、电子设备及存储介质，应用于图像处理技术领域，通过获取病变区域的立体图像为后续步骤提供双视角的图像数据；并利用视差图构建三维点云模型，通过将二维图像中识别的第一血管区域定位到三维空间中得到对应的第二血管区域，通过计算血管几何参数，提取了血管在三维空间中的几何特征，为更精确的血管量化分析提供了必要参数。利用三维几何参数计算得到的三维密度值，实现了对血管增生程度的客观、量化分级，克服了传统方法主观性和缺乏物理距离指导的缺陷，提高了血管增生评估的准确性和可靠性。

Description

一种血管增生量化分级方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种血管增生量化分级方法、装置、电子设备及存储介质。

背景技术

随着科学技术日新月异，日渐成熟的发展，微创手术已经成为了医院手术中的重要方式。在妇科病患检查中，腔镜探查是一种重要手段。医生可以通过腹腔探查，详细观察病患的腔内细节。

现有技术中的妇科手术探查，大家只关注解剖改变或肿块特点，对血管并未特别关注，既无相关指标，也无相应标准。但大家又都认识到：血管改变有临床意义。

妇科手术腔镜下所见的血管，主要在盆腔脏器表面，如腹膜、膀胱、子宫、输卵管等。但对血管分布、密度、形态、颜色、充盈等均视而不见，主要就是没有好的客观的评判方法和手段，更没有标准。而血管增生与炎症有明确关系。这就导致有些非特异性炎症无法诊断，即使做了手术但无客观指标而被忽略和遗漏，从而对疾病的认识和治疗都受影响。

随着图像识别技术的发展，对镜下血管的各种特征进行计算比较，结合临床资料，设计并推理出诊断模型，使其可能作为一种新的诊断方法和手段。特别是血管密度这类重要特征，作为一种认识疾病的工具，可以帮助临床医生更清晰诊断、更针对性治疗。

然而，传统使用2D内窥镜拍摄图像，并计算血管在像素层面上的密度，是缺乏真实物理距离指导的，容易因为手持内窥镜远近拍摄而得出错误的血管密集度判断，从而疾病判断造成不良影响。且传统技术缺乏基于三维空间信息的术中血管量化分级系统，尤其是能融合血管物理尺寸、动态血流参数与临床分级标准的解决方案。

因此，现有技术中缺少一种能够克服缺乏真实物理距离指导，并基于3D腹腔镜下双目测距，以更准确地获取血管密度及其他特征，判断病变结果的方案。

发明内容

鉴于上述现有技术的不足之处，本申请提供的一种血管增生量化分级方法、装置、电子设备及存储介质，应用于图像处理技术领域，该方法可以克服缺乏真实物理距离指导的问题，引入基于3D腹腔镜下双目测距方案，具有能够更准确地获取血管密度及其他血管几何参数，判断病变结果的有益效果。

第一方面，一种血管增生量化分级方法，所述方法包括：

S1：获取病变区域的立体图像，所述立体图像至少包括左目图像信息与右目图像信息；

S2：对所述左目图像信息与所述右目图像信息进行立体校正，得到两个图像之间的视差图，并根据所述视差图构建三维点云模型；

S3：根据校正后的所述左目图像信息分割第一血管区域，并将所述第一血管区域转换到所述三维点云模型中对应的第二血管区域；

S4：计算所述第二血管区域的血管几何参数，所述血管几何参数至少包括：血管中心线、血管中心点；

S5：根据所述血管中心点计算所述血管宽度，根据所述血管中心线以及所述血管宽度计算血管的三维密度值，并根据所述三维密度值对所述血管进行分级。

本申请提供了一种血管增生量化分级方法，通过获取病变区域的立体图像为后续步骤提供双视角的图像数据；通过视差图构建三维点云模型，实现了从二维图像到三维空间的转换，为后续血管分析提供了三维空间信息。这一步骤的技术贡献在于，通过立体视觉技术获取了病变区域的三维结构信息，克服了传统二维图像缺乏深度信息的局限性。通过将二维图像中识别的第一血管区域定位到三维空间中得到对应的第二血管区域，实现了第一血管区域从二维图像空间到三维点云空间的准确转换，为后续血管几何参数计算奠定基础。通过计算血管几何参数，提取了血管在三维空间中的几何特征，为更精确的血管量化分析提供了必要参数。利用三维几何参数计算得到的三维密度值，实现了对血管增生程度的客观、量化分级，克服了传统方法主观性和缺乏物理距离指导的缺陷，提高了血管增生评估的准确性和可靠性。

进一步的，步骤S2包括：

S21：根据所述左目图像信息与所述右目图像信息获取标定参数；

S22：根据所述标定参数对所述左目图像信息与所述右目图像信息进行极线校正，以消除镜头畸变；

S23：计算消除镜头畸变后的所述左目图像信息与所述右目图像信息之间的视差图；

S24：根据所述视差图构建所述三维点云模型。

本申请提供了一种血管增生量化分级方法，获取标定参数，标定参数包含相机内参、外参以及畸变参数，在利用获取的标定参数，对左目图像信息与右目图像信息进行极线校正，从而有效消除或减少镜头畸变，提升图像质量。通过计算左目图像信息与右目图像信息之间的视差图，由于输入图像已完成畸变校正，因此得到的视差图更加精确；最后利用高精度的视差图构建三维点云模型，从而保证了三维点云模型的准确性和可靠性。

进一步的，步骤S24包括：

S241：根据所述视差图获取每个像素点在所述左目图像信息与所述右目图像信息中的视差值；

S242：获取摄像机的焦距、基线距以及噪声补偿项；

S243：根据所述焦距、所述基线距、所述噪声补偿项，以及所述视差值计算得到每个像素点的深度值；

S244：将所述深度值转换为深度图，并根据所述深度图构建所述三维点云模型。

本申请提供了一种血管增生量化分级方法，通过视差图获取每个像素点的视差值；视差值反映了像素点在左右目图像中的位置差异，从而可以用来计算深度值；通过获取摄像机的焦距、基线距以及噪声补偿项；焦距和基线距是立体视觉系统的重要参数，决定了深度计算的比例关系；噪声补偿项则考虑了实际应用中可能存在的误差，提高了深度计算的准确性。通过计算得到每个像素点的深度值，并将深度值转换为深度图，从而可以根据深度图构建三维点云模型。该方法提供了一套完整的、可操作性强的三维点云模型构建步骤，使得根据视差图构建精确的三维点云模型成为可能，为后续血管区域的三维分析奠定了基础。

进一步的，步骤S3包括：

S31：对校正后的所述左目图像信息进行CLAHE对比度增强；

S32：对增强后的所述左目图像信息进行语义分割，提取血管的二值掩膜；

S33：对血管的所述二值掩膜进行形态学开运算，得到第一血管区域的像素坐标集；

S34：将所述第一血管区域的像素坐标集对应到所述三维点云模型中，得到所述第二血管区域。

本申请提供了一种血管增生量化分级方法，首先对校正后的左目图像信息进行CLAHE对比度增强，能够有效提升图像的局部对比度，使血管在图像中更加清晰，克服了原始图像可能存在的对比度不足的问题，接着，使用语义分割技术对增强后的左目图像信息进行处理，精确识别图像中的血管区域，生成血管的二值掩膜。然后，对血管的二值掩膜进行形态学开运算，以消除图像中细小的噪声点和毛刺，平滑血管轮廓，进一步优化血管分割结果，得到更精确的第一血管区域的像素坐标集。最后，将经过上述处理得到的第一血管区域的像素坐标集映射到三维点云模型中，得到与第一血管区域对应的第二血管区域，实现了将二维图像分割结果准确转换到三维空间的目的。通过上述一系列步骤，该技术方案能够更准确、更可靠地分割和提取血管区域，为后续血管几何参数计算和血管分级奠定基础，有效提升了血管增生量化分级的准确性和可靠性。

进一步的，步骤S34包括：

S341：基于归一化互相关算法对所述第一血管区域的像素坐标集进行定位计算，得到第一血管区域像素坐标集的二维血管像素坐标；

S342：对所述二维血管像素坐标进行三维矩阵变换，得到三维血管点云子集，所述三维血管点云子集对应在三维点云模型中的位置为第二血管区域。

进一步的，步骤S4包括：

S41：对所述二值掩膜进行DBSCAN聚类计算，生成多个独立血管点云簇，所述独立血管点云簇为所述第二血管区域中每根血管的血管中心线；

S42：计算每个所述独立血管点云簇的三维质心，得到所述第二血管区域中每根血管的血管中心点。

进一步的，步骤S5包括：

S51：在所述三维点云模型中任意选定一个立方体区域，所述立方体区域包含一个或多个血管；

S52：对所述血管中心点进行圆柱拟合得到所述血管宽度，根据所述血管中心线以及所述血管宽度计算所述立方体区域内所述血管的三维密度值；

S53：根据所述三维密度值对所述血管进行分级。

第二方面，一种血管增生量化分级装置，应用于上述任一项所述方法的步骤中，所述装置包括：

图像获取模块：用于获取病变区域的立体图像，所述立体图像至少包括左目图像信息与右目图像信息；

点云构建模块：用于对所述左目图像信息与所述右目图像信息进行立体校正，得到两个图像之间的视差图，并根据所述视差图构建三维点云模型；

血管分割模块：用于根据校正后的所述左目图像信息分割第一血管区域，并将所述第一血管区域转换到所述三维点云模型中对应的第二血管区域；

参数计算模块：用于计算所述第二血管区域的血管几何参数，所述血管几何参数至少包括：血管中心线、血管中心点；

血管分级模块：用于根据所述血管中心点计算所述血管宽度，根据所述血管中心线以及所述血管宽度计算血管的三维密度值，并根据所述三维密度值对所述血管进行分级。

第三方面，本申请提供一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行上述任一方法中的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行上述任一方法中的步骤。

有益效果：本申请提出的一种血管增生量化分级方法、装置、电子设备及存储介质，通过获取病变区域的立体图像为后续步骤提供双视角的图像数据；通过视差图构建三维点云模型，实现了从二维图像到三维空间的转换，为后续血管分析提供了三维空间信息。这一步骤的技术贡献在于，通过立体视觉技术获取了病变区域的三维结构信息，克服了传统二维图像缺乏深度信息的局限性。通过将二维图像中识别的第一血管区域定位到三维空间中得到对应的第二血管区域，实现了第一血管区域从二维图像空间到三维点云空间的准确转换，为后续血管几何参数计算奠定基础。通过计算血管几何参数，提取了血管在三维空间中的几何特征，为更精确的血管量化分析提供了必要参数。利用三维几何参数计算得到的三维密度值，实现了对血管增生程度的客观、量化分级，克服了传统方法主观性和缺乏物理距离指导的缺陷，提高了血管增生评估的准确性和可靠性。

附图说明

图1为本申请提出的一种血管增生量化分级方法的流程图。

图2为本申请提出的一种血管增生量化分级装置的结构图。

图3为本申请提出的一种电子设备的结构图。

标号说明：201、图像获取模块；202、点云构建模块；203、血管分割模块；204、参数计算模块；205、血管分级模块；301、处理器；302、存储器；303、通信总线；3、电子设备。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和标出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一、第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下文公开提供了许多不同的实施方式或例子用来实现本发明的目的，解决了传统技术中缺乏真实物理距离指导，以及缺乏基于三维空间信息的术中血管量化分级系统，尤其是能融合血管物理尺寸、动态血流参数与临床分级标准的解决方案的问题。因此，本申请提出了一种血管增生量化分级方法、装置、电子设备及存储介质，具体如下：

请参照图1，第一方面，一种血管增生量化分级方法，方法包括：

S1：获取病变区域的立体图像，立体图像至少包括左目图像信息与右目图像信息；

S2：对左目图像信息与右目图像信息进行立体校正，得到两个图像之间的视差图，并根据视差图构建三维点云模型；

S3：根据校正后的左目图像信息分割第一血管区域，并将血管区域转换到三维点云模型中对应的第二血管区域；

S4：计算第二血管区域的血管几何参数，血管几何参数至少包括：血管中心线、血管中心点；

S5：根据血管中心点计算血管宽度，根据血管中心线以及血管宽度计算血管的三维密度值，并根据三维密度值对血管进行分级。

其中，步骤S1中，立体图像的获取可以通过双目视觉系统完成，该系统配备两个摄像头，分别采集病变区域的左目图像信息与右目图像信息，两个摄像头被设置为模拟人眼视角，从不同角度捕捉同一病变区域的图像，由此获得包含视差信息的立体图像对。该双目视觉系统可以为3D腹腔镜，其分辨率为1920×1080@30fps。

步骤S2中，立体校正为一种图像预处理技术，用于消除或减少由于摄像机镜头畸变和安装误差引起的图像几何变形，极线校正是一种可能的立体校正方法，通过该方法可以使左右目图像的扫描行对准，简化后续视差计算。视差图的生成可以通过块匹配算法或光流法等立体匹配算法实现，这些算法旨在寻找左右目图像中对应像素点之间的位置偏差，即视差值。

三维点云模型的构建是基于视差图和摄像机标定参数进行的，每个像素点的三维坐标可以通过视差值和标定参数计算得到，所有像素点的三维坐标集合构成三维点云模型，该模型是对病变区域三维结构的离散化表示。

步骤S3中，第一血管区域的分割可以采用多种图像分割算法，例如阈值分割、区域生长、边缘检测或语义分割等，语义分割是一种优选的图像分割方法，能够实现像素级别的血管区域识别。血管区域从二维图像到三维点云模型的转换，可以通过坐标映射关系实现，即根据摄像机成像模型和标定参数，将二维图像像素坐标转换为三维点云坐标，由此得到三维空间中的第二血管区域。

步骤S4中，血管几何参数的计算可以借助点云处理和分析技术，血管中心线的提取可以通过骨架提取算法或拓扑分析方法实现，血管中心点可以是血管中心线上点的平均坐标或质心坐标。

步骤S5中，血管宽度可以由血管中心点进行圆柱拟合得到；血管三维密度值的计算可以定义为单位体积内血管的长度或体积，立方体区域可以是在三维点云模型中人为设定的规则区域，也可以是根据病变区域的解剖结构或病理特征自适应确定的不规则区域。血管分级标准的制定可以参考现有的血管增生分级标准或临床指南，也可以通过统计分析和实验验证确定新的分级标准，分级结果可以用于评估血管增生的程度和病变的严重程度。

具体来说，该血管增生量化分级方法的工作原理是：首先，通过双目视觉系统获取病变区域的立体图像，为后续的三维重建和分析提供数据基础。然后，对立体图像进行校正和视差计算，消除图像畸变，获得视差图，并基于视差图构建病变区域的三维点云模型，实现从二维图像到三维空间的转换。接着，在校正后的左目图像中分割出血管区域，并将分割结果映射到三维点云模型中，得到三维空间中的血管点云数据。在此基础上，计算血管的几何参数，包括中心线、中心点和宽度，这些参数是对血管形态和尺寸的量化描述。最后，根据血管的几何参数计算血管的三维密度值，并根据密度值对血管增生程度进行分级，实现血管增生的量化评估。通过上述步骤，该方法能够在三维空间中准确量化血管增生程度，克服了传统二维方法缺乏深度信息的局限性，提高了血管增生评估的客观性和准确性，为临床诊断和治疗提供更可靠的依据。

在一些具体实施方式中，通过3D腹腔镜双摄像头同步捕获病变区域立体图像，两个摄像头的光轴平行且基线距为10mm，图像分辨率为1920x1080@30fps。

采用Bouguet标定方法标定摄像头，获得内参矩阵、畸变参数和外参矩阵，其中畸变参数包括径向畸变系数和切向畸变，外参矩阵包括旋转矩阵和平移矩阵;使用极线校正算法对左右目图像进行校正，校正后的图像水平视差范围在0-200像素之间。

采用Semi-Global Block Matching（SGBM）算法计算视差图，视差搜索范围为1-256像素，惩罚参数P1=8，P2=32。

基于视差图和标定参数，使用三角化方法计算每个像素点的三维坐标，构建病变区域的三维点云模型，点云密度为每立方毫米1000个点。

在切割第一血管区域的步骤中，首先对左目图像进行CLAHE对比度增强，然后使用预训练的深度学习模型（例如U-Net）进行血管语义分割，得到血管二值掩膜，对二值掩膜进行3x3椭圆核的形态学开运算，去除小的噪点和伪影，得到第一血管区域的像素坐标集。使用归一化互相关算法在右目图像中搜索第一血管区域的对应像素坐标，实现血管区域从二维图像到三维点云模型的转换，得到第二血管区域。

而后对第二血管区域的点云数据进行DBSCAN聚类，聚类半径epsilon=0.5mm，最小点数minPts=5，生成多个独立血管点云簇，每个点云簇代表一根血管的中心线。计算每个点云簇的三维质心作为血管中心点。对每个点云簇进行圆柱拟合，得到血管半径，血管宽度为半径的两倍。

最后，可以在三维点云模型中手动选择一个10x10x10mm的立方体区域，计算该区域内所有血管的总体积，血管三维密度值定义为血管总体积与立方体区域体积的比值。根据三维密度值，将血管增生程度分为四个等级：I级——密度值ρ∈[0，0.2）、II级——密度值ρ∈[0.2，0.4）、III级——密度值ρ∈[0.4，0.6）、IV级——密度值ρ≥0.6。该分级标准可以根据临床病理结果进行调整和优化。由此，可以实现对妇科病患盆腔病变区域血管增生程度的量化分级评估。

进一步的，步骤S2包括：

S21：根据左目图像信息与右目图像信息获取标定参数；

S22：根据标定参数对左目图像信息与右目图像信息进行极线校正，以消除镜头畸变；

S23：计算消除镜头畸变后的左目图像信息与右目图像信息之间的视差图；

S24：根据视差图构建三维点云模型。

其中，步骤S21中，标定参数的获取可以经由标准相机标定流程完成，例如，使用棋盘格标定法，拍摄多张不同角度的标定板图像，通过角点检测和参数优化，计算得到摄像机内参矩阵、畸变系数以及左右摄像机的外参矩阵。其中畸变参数包括径向畸变系数和切向畸变，外参矩阵包括旋转矩阵和平移矩阵。

步骤S22中，极线校正通过标定参数，将左目图像信息与右目图像信息投影到同一平面，使得两图像的像素行对齐，由此，后续视差搜索被约束在水平方向，搜索效率和准确性得以提高，镜头畸变的影响也得以消除。

步骤S23中，视差图的计算可以采用使用Semi-Global Block Matching（SGBM）算法，针对校正后的左目图像信息与右目图像信息，在水平方向上搜索匹配像素点，计算像素点的视差值，视差值与像素点的距离成反比。

步骤S24中，三维点云模型的构建通过视差图和摄像机参数，利用三角测量原理，计算每个像素点在三维空间中的坐标，这些三维坐标集合构成了三维点云模型。

进一步的，步骤S24包括：

S241：根据视差图获取每个像素点在左目图像信息与右目图像信息中的视差值；

S242：获取摄像机的焦距、基线距以及噪声补偿项；

S243：根据焦距、基线距、噪声补偿项，以及视差值计算得到每个像素点的深度值；

S244：将深度值转换为深度图，并根据深度图构建三维点云模型。

其中，步骤S241中，视差图中的每个像素值代表了左目图像和右目图像对应像素点之间的水平位移量，这个位移量即为视差值。获取视差值的方式可以是直接读取视差图的像素值。

步骤S242中，焦距和基线距是立体视觉系统的固有参数，可以通过摄像机标定预先获得。噪声补偿项是为了提高深度计算的准确性而引入的，它可能是通过实验或经验估计得到的一个固定值，用于校正系统误差。

步骤S243中，深度值是基于三角测量原理计算得到的。具体公式为：

深度值 = (焦距 * 基线距) / 视差值 + 噪声补偿项。

步骤S244中，深度图是一种图像，其中每个像素的灰度值表示该像素对应的深度值。深度图可以通过将步骤S243中计算得到的每个像素点的深度值排列成矩阵形式而获得。三维点云模型是空间中点的集合，每个点由三维坐标表示。构建三维点云模型的具体方法可以是，对于深度图中的每个像素，根据像素的坐标和深度值，结合摄像机内参数，计算出该像素点在三维空间中的坐标，所有像素点三维坐标的集合即构成了三维点云模型。或者还可以基于深度图与RGB色彩映射，通过泊松重建算法构建三维点云模型。

进一步的，步骤S3包括：

S31：对校正后的左目图像信息进行CLAHE对比度增强；

S32：对增强后的左目图像信息进行语义分割，提取血管的二值掩膜；

S33：对血管的二值掩膜进行形态学开运算，得到第一血管区域的像素坐标集；

S34：将第一血管区域的像素坐标集对应到三维点云模型中，得到第二血管区域。

其中，CLAHE对比度增强通过分析图像的局部区域直方图，并重新分配像素强度，实现了图像局部对比度的提升。

语义分割使用深度学习模型，例如U-Net，对增强后的图像进行像素级分类，生成精确的血管二值掩膜。具体的U-Net编码器深度为5。

形态学开运算可以消除图像中细小的噪声点和毛刺，平滑血管轮廓，进一步优化血管分割结果，更精确地得到第一血管区域的像素坐标集。

形态学开运算包含腐蚀和膨胀运算，通过先腐蚀后膨胀的操作，噪声点被消除，血管边缘被平滑。

像素坐标集的映射通过相机标定参数和视差图实现，第一血管区域的像素坐标被转换到三维点云坐标，由此得到第二血管区域。

在一些具体实施方式中，CLAHE对比度增强算法被用于增强校正后的左目图像信息，例如，CLAHE算法的参数，如瓦片大小和对比度限幅，可以根据实际图像质量和血管特征进行调整，以达到最优的增强效果。作为一种优选的实施方式，瓦片大小被设置为8x8像素，对比度限幅被设置为2。语义分割模型采用U-Net网络结构，并使用包含血管图像的医学图像数据集进行训练，训练后的模型可以准确识别和分割血管区域。作为一种优选的实施方式，U-Net网络的编码器部分采用ResNet34作为骨干网络，解码器部分采用反卷积和上采样操作逐步恢复图像分辨率，损失函数采用交叉熵损失函数。形态学开运算采用3x3的椭圆形结构元素，迭代次数设置为1次，用于消除血管二值掩膜中的噪点，并平滑血管轮廓。作为一种优选的实施方式，腐蚀操作和膨胀操作均采用3x33x3的椭圆形结构元素，先进行腐蚀操作去除噪点，再进行膨胀操作恢复血管区域的原始大小。

坐标映射过程通过以下步骤实现：首先，获取摄像机标定参数，包括内参矩阵、外参矩阵和畸变参数。然后，根据左目图像的像素坐标和视差图，计算每个像素点的二维坐标。最后，将第一血管区域的像素坐标集中的每个像素坐标转换为三维空间坐标，得到第二血管区域的三维点云子集。

具体地，像素坐标集为：，其中，为像素坐标集，为每个像素的二维坐标，为血管二值掩膜。

进一步的，步骤S34包括：

S341：基于归一化互相关算法对第一血管区域的像素坐标集进行定位计算，得到第一血管区域像素坐标集的二维血管像素坐标；

S342：对二维血管像素坐标进行三维矩阵变换，得到三维血管点云子集，三维血管点云子集对应在三维点云模型中的位置为第二血管区域。

其中，步骤S341，归一化互相关算法被采用以对第一血管区域的像素坐标集进行定位计算。具体来说，归一化互相关算法可以在左目图像信息中以第一血管区域的像素坐标集为模板，在右目图像信息中搜索与该模板最匹配的区域，通过计算模板与搜索区域之间的归一化互相关系数，确定最佳匹配位置，该最佳匹配位置即为第一血管区域像素坐标集的二维血管像素坐标。由此，第一血管区域在左右目图像中的对应关系被精确确定。

步骤S342，三维矩阵变换可以将二维血管像素坐标转换到三维空间。具体而言，摄像机标定参数，例如摄像机内参矩阵、外参矩阵以及畸变参数，被用于构建三维矩阵变换关系。通过该三维矩阵变换关系，二维血管像素坐标可以被投影到三维点云模型中，得到对应的三维坐标，这些三维坐标集合构成三维血管点云子集，该三维血管点云子集即为第二血管区域。通过归一化互相关算法的精确定位以及三维矩阵变换的准确转换，二维图像中的血管区域可以被准确地映射到三维点云模型中。

具体来说，针对现有技术中血管密度计算缺乏真实物理距离指导的问题，本申请的技术方案通过步骤S34，利用归一化互相关算法精确定位二维血管区域在三维点云模型中的位置，并进行三维矩阵变换，由此得到精确的三维血管点云子集，即第二血管区域。通过这种方式，从二维图像分割出的血管区域可以被准确地转换到三维空间中，克服了直接简单对应可能导致的定位精度不足问题。由此获得的第二血管区域能够更准确地反映血管在三维空间中的真实分布，为后续血管几何参数的计算以及血管分级提供更可靠的数据基础。与直接将二维像素坐标简单对应到三维点云模型的方法相比，本申请的技术方案能够提升从二维图像血管区域到三维点云模型血管区域转换的精度和可靠性，从而为后续的血管增生量化分级提供更准确的基础数据。

具体得，三维血管点云子集的计算方式为：

其中，为三维血管点云子集，为每个像素的三维空间坐标，为每个像素的二维坐标，为坐标变换矩阵。

进一步的，步骤S4包括：

S41：对二值掩膜进行DBSCAN聚类计算，生成多个独立血管点云簇，独立血管点云簇为第二血管区域中每根血管的血管中心线；

S42：计算每个独立血管点云簇的三维质心，得到第二血管区域中每根血管的血管中心点。

其中，步骤S41中，DBSCAN聚类算法作为一种基于密度的聚类方法，能够有效地识别出二值掩膜中血管区域。具体来说，DBSCAN算法通过设定邻域半径和最小邻域点数两个参数，将二值掩膜中的像素点划分为不同的簇。在血管增生量化分级应用场景下，二值掩膜中的每个簇可以被认为是一根独立的血管。由此，通过DBSCAN聚类计算生成的多个独立血管点云簇，能够被定义为第二血管区域中每根血管的血管中心线。

具体地，对二值掩膜进行DBSCAN聚类，eps=0.1mm，生成N个独立血管点云簇：，...，其中对于每个独立血管点云簇，k=1，2，3...N。

步骤S42中，对于步骤S41中生成的每个独立血管点云簇，其三维质心通过计算簇内所有像素点三维坐标的平均值得到。该三维质心能够代表对应血管点云簇在三维空间中的中心位置，由此，每个独立血管点云簇的三维质心能够被定义为第二血管区域中每根血管的血管中心点。

每个独立血管点云簇的三维质心具体计算公式为：

，其中是簇内每个像素点，的三维坐标为（，，，是血管中心点。

在一些具体实施方式中，在步骤S41中，DBSCAN聚类算法的具体参数可以被设置为：邻域半径epsilon为3个像素单位，最小邻域点数min_samples为5。

进一步的，步骤S5包括：

S51：在三维点云模型中任意选定一个立方体区域，立方体区域包含一个或多个血管；

S52：对血管中心点进行圆柱拟合得到血管宽度，根据血管中心线以及血管宽度计算立方体区域内血管的三维密度值；

S53：根据三维密度值对血管进行分级。

其中，针对限定立方体区域，作为血管密度值计算的空间范围，可以采用手动选取或自动选取的方式。手动选取时，操作人员可以在三维点云模型中，通过交互界面划定一个立方体区域，该立方体区域需要能够包含待分析的一个或多个血管。自动选取时，可以预先设定立方体区域的尺寸大小，然后在三维点云模型中，以一定的步长滑动该立方体区域，或者以血管中心点为中心自动生成立方体区域。

对每个独立血管点云簇进行圆柱拟合,血管在三维空间中通常呈现为近似圆柱形的结构。圆柱拟合是一种利用点云数据估计圆柱参数的方法。具体来说，通过对每个独立血管点云簇进行圆柱拟合，可以得到最符合该点云簇的圆柱参数，例如轴线方向、半径等。其中，圆柱拟合得到的半径参数能够被用于表征血管的宽度（即血管的直径），由此，对每个独立血管点云簇进行圆柱拟合得到的圆柱半径能够被定义为第二血管区域中每根血管的血管宽度。在一些具体实施方式中，圆柱拟合算法可以采用RANSAC算法，迭代次数设置为100次，内点阈值设置为1个像素单位。例如，对于一个独立血管点云簇，通过DBSCAN聚类和圆柱拟合计算，可以得到该血管的血管中心线为一系列三维点坐标，血管中心点为一个三维坐标值，血管宽度为0.5毫米。通过上述具体参数的设置和算法选择，可以实现对血管宽度的精确计算。

具体地，在步骤S53中，可以基于蒙特卡洛积分法计算三维密度值：

，其中，为立方体区域内血管的数量，为单根血管的直径，为单根血管的中心线长度，为立方体区域的体积，为血管的序列号，k=1，2，3...N。

针对根据三维密度值对血管进行分级，可以预先设定密度值与血管等级之间的映射关系，例如可以设定密度值ρ∈[0，0.2）为I级，密度值ρ∈[0.2，0.4）为II级，密度值ρ∈[0.4，0.6）级为III，密度值ρ≥0.6为IV级，然后根据计算得到的三维密度值，查找对应的血管等级。

综上所述，本申请通过3D腹腔镜双目立体视觉系统，从根本上克服了传统2D方案的局限性：基于物理测距（双目基线距+三角测量）直接获取血管真实物理尺寸（毫米级精度），替代传统2D腹腔镜下，依赖像素距离的估算方法，消除因镜头距离变化导致的放大率误差；并通过三维点云重建与蒙特卡洛积分法计算空间血管密度，解决2D投影法因血管重叠、视角倾斜导致的密度低估问题，具有提高血管增生评估的准确性和可靠性的优点。

请参照图2，一种血管增生量化分级装置，应用于上述任一项方法的步骤中，装置包括：

图像获取模块201：用于获取病变区域的立体图像，立体图像至少包括左目图像信息与右目图像信息；

点云构建模块202：用于对左目图像信息与右目图像信息进行立体校正，得到两个图像之间的视差图，并根据视差图构建三维点云模型；

血管分割模块203：用于根据校正后的左目图像信息分割第一血管区域，并将第一血管区域转换到三维点云模型中对应的第二血管区域；

参数计算模块204：用于计算第二血管区域的血管几何参数，血管几何参数至少包括：血管中心线、血管中心点；

血管分级模块205：用于根据血管中心点计算血管宽度，根据血管中心线以及血管宽度计算血管的三维密度值，并根据三维密度值对血管进行分级。

其中，图像获取模块201，具体可以是双目摄像头系统，双目摄像头系统平行放置，以模拟人眼视觉，从不同角度同步采集病变区域的左目图像信息与右目图像信息，为后续立体视觉处理提供数据支撑。

点云构建模块202，其中立体校正具体采用Bouguet算法，Bouguet算法通过标定参数校正原始图像的畸变，并对两幅图像进行对齐，使得两幅图像的像素点处于同一行，简化后续视差计算。视差图的获得，具体是通过半全局匹配算法，计算像素点的视差值。三维点云模型的构建，具体是根据视差图中每个像素点的视差值以及预先标定的摄像机参数，利用三角测量原理计算像素点的三维空间坐标，从而构建出病变区域的三维点云模型。

血管分割模块203，对校正后的左目图像信息进行CLAHE对比度增强，CLAHE对比度增强能够提升图像的局部对比度，使得血管结构更加清晰。语义分割，具体采用U-Net网络，U-Net网络是一种深度学习网络，能够有效分割图像中的血管区域，得到血管的二值掩膜。形态学开运算，用于去除血管二值掩膜中的噪点和小连通区域，得到更加精确的第一血管区域的像素坐标集。血管区域向三维点云模型转换，具体采用归一化互相关算法对第一血管区域的像素坐标集进行精确定位，得到二维血管像素坐标，然后通过三维矩阵变换，将二维血管像素坐标转换到三维点云空间，得到三维血管点云子集，三维血管点云子集即为第二血管区域。

参数计算模块204，DBSCAN聚类计算，用于对第二血管区域的三维血管点云子集进行聚类，将属于同一血管的点云聚为一簇，形成多个独立血管点云簇，每个独立血管点云簇代表一根血管的血管中心线。血管中心点，通过计算每个独立血管点云簇的三维质心得到。

血管分级模块205，立方体区域的选定，可以手动指定或自动选取包含血管的区域。采用最小二乘法对每个独立血管点云簇进行圆柱拟合，得到最接近血管形状的圆柱参数，圆柱直径即为血管宽度。通过计算立方体区域内所有血管的体积之和与立方体区域体积的比值得到，血管的体积通过血管中心线长度与血管宽度的平方成正比计算。血管分级，预先设定三维密度值与血管增生等级之间的映射关系，根据计算得到的三维密度值，查找映射关系表，得到血管增生等级。

具体来说，本申请提出的血管增生量化分级装置，在工作时，首先由图像获取模块201获取病变区域的立体图像，立体图像包含左目图像信息与右目图像信息，为后续处理提供原始数据。然后，点云构建模块202接收立体图像，对左目图像信息与右目图像信息进行立体校正，消除图像畸变并对图像进行对齐，之后计算校正后图像的视差图，视差图反映了图像像素点的深度信息，并根据视差图构建病变区域的三维点云模型，实现从二维图像到三维空间的转换。接着，血管分割模块203接收校正后的左目图像信息，在左目图像信息中分割出第一血管区域，第一血管区域是血管在二维图像上的像素集合，并将第一血管区域转换到三维点云模型中对应的第二血管区域，第二血管区域是血管在三维空间中的点云集合，实现血管区域的三维定位。参数计算模块204对第二血管区域的血管进行几何参数计算，获取血管中心线、血管中心点等血管的关键参数，为后续密度计算和分级提供依据。最后，血管分级模块205根据血管中心点计算血管宽度，再根据血管中心线以及血管宽度计算血管的三维密度值，三维密度值综合反映了血管的数量和粗细程度，并根据三维密度值对血管进行分级，实现血管增生的量化评估。

通过上述模块的协同工作，本申请提出的装置能够自动、高效、准确地实现血管增生量化分级。相较于传统方法，本申请提出的装置基于三维点云模型进行血管分析，克服了传统二维图像分析方法缺乏深度信息的缺陷，能够更准确地获取血管密度等特征参数，从而更客观、更准确地评估血管增生程度。

请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机可读取指令，当电子设备运行时，处理器301执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取病变区域的立体图像，立体图像至少包括左目图像信息与右目图像信息；对左目图像信息与右目图像信息进行立体校正，得到两个图像之间的视差图，并根据视差图构建三维点云模型；根据校正后的左目图像信息分割第一血管区域，并将第一血管区域转换到三维点云模型中对应的第二血管区域；计算第二血管区域的血管几何参数，血管几何参数至少包括：血管中心线、血管中心点；根据血管中心点计算血管宽度，根据血管中心线以及血管宽度计算血管的三维密度值，并根据三维密度值对血管进行分级。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取病变区域的立体图像，立体图像至少包括左目图像信息与右目图像信息；对左目图像信息与右目图像信息进行立体校正，得到两个图像之间的视差图，并根据视差图构建三维点云模型；根据校正后的左目图像信息分割第一血管区域，并将第一血管区域转换到三维点云模型中对应的第二血管区域；计算第二血管区域的血管几何参数，血管几何参数至少包括：血管中心线、血管中心点；根据血管中心点计算血管宽度，根据血管中心线以及血管宽度计算血管的三维密度值，并根据三维密度值对血管进行分级。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种血管增生量化分级方法，其特征在于，所述方法包括：

S1：获取病变区域的立体图像，所述立体图像至少包括左目图像信息与右目图像信息；

S2：对所述左目图像信息与所述右目图像信息进行立体校正，得到两个图像之间的视差图，并根据所述视差图构建三维点云模型；

S3：根据校正后的所述左目图像信息分割第一血管区域，并将所述第一血管区域转换到所述三维点云模型中对应的第二血管区域；

S4：计算所述第二血管区域的血管几何参数，所述血管几何参数至少包括：血管中心线、血管中心点；

S5：根据所述血管中心点计算所述血管宽度，根据所述血管中心线以及所述血管宽度计算血管的三维密度值，并根据所述三维密度值对所述血管进行分级；

步骤S3包括：

S31：对校正后的所述左目图像信息进行CLAHE对比度增强；

S32：对增强后的所述左目图像信息进行语义分割，提取血管的二值掩膜；

S33：对血管的所述二值掩膜进行形态学开运算，得到第一血管区域的像素坐标集；

S34：将所述第一血管区域的像素坐标集对应到所述三维点云模型中，得到所述第二血管区域；

步骤S34包括：

S341：基于归一化互相关算法对所述第一血管区域的像素坐标集进行定位计算，得到第一血管区域像素坐标集的二维血管像素坐标；

S342：对所述二维血管像素坐标进行三维矩阵变换，得到三维血管点云子集，所述三维血管点云子集对应在三维点云模型中的位置为第二血管区域；

步骤S4包括：

S41：对所述二值掩膜进行DBSCAN聚类计算，生成多个独立血管点云簇，所述独立血管点云簇为所述第二血管区域中每根血管的血管中心线；

S42：计算每个所述独立血管点云簇的三维质心，得到所述第二血管区域中每根血管的血管中心点。

2.根据权利要求1所述的一种血管增生量化分级方法，其特征在于，步骤S2包括：

S21：根据所述左目图像信息与所述右目图像信息获取标定参数；

S22：根据所述标定参数对所述左目图像信息与所述右目图像信息进行极线校正，以消除镜头畸变；

S23：计算消除镜头畸变后的所述左目图像信息与所述右目图像信息之间的视差图；

S24：根据所述视差图构建所述三维点云模型。

3.根据权利要求2所述的一种血管增生量化分级方法，其特征在于，步骤S24包括：

S241：根据所述视差图获取每个像素点在所述左目图像信息与所述右目图像信息中的视差值；

S242：获取摄像机的焦距、基线距以及噪声补偿项；

S243：根据所述焦距、所述基线距、所述噪声补偿项，以及所述视差值计算得到每个像素点的深度值；

S244：将所述深度值转换为深度图，并根据所述深度图构建所述三维点云模型。

4.根据权利要求1所述的一种血管增生量化分级方法，其特征在于，步骤S5包括：

S51：在所述三维点云模型中任意选定一个立方体区域，所述立方体区域包含一个或多个血管；

S52：对所述血管中心点进行圆柱拟合得到所述血管宽度，根据所述血管中心线以及所述血管宽度计算所述立方体区域内所述血管的三维密度值；

S53：根据所述三维密度值对所述血管进行分级。

5.一种血管增生量化分级装置，其特征在于，应用于上述权利要求1-4任一项所述方法的步骤中，所述装置包括：

图像获取模块：用于获取病变区域的立体图像，所述立体图像至少包括左目图像信息与右目图像信息；

点云构建模块：用于对所述左目图像信息与所述右目图像信息进行立体校正，得到两个图像之间的视差图，并根据所述视差图构建三维点云模型；

血管分割模块：用于根据校正后的所述左目图像信息分割第一血管区域，并将所述第一血管区域转换到所述三维点云模型中对应的第二血管区域；

参数计算模块：用于计算所述第二血管区域的血管几何参数，所述血管几何参数至少包括：血管中心线、血管中心点；

血管分级模块：用于根据所述血管中心点计算所述血管宽度，根据所述血管中心线以及所述血管宽度计算血管的三维密度值，并根据所述三维密度值对所述血管进行分级。

6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一所述方法中的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一所述方法中的步骤。