[go: up one dir, main page]

CN118154536A - 基于3d成像点云数据的乳腺双侧差异性检测方法 - Google Patents

基于3d成像点云数据的乳腺双侧差异性检测方法 Download PDF

Info

Publication number
CN118154536A
CN118154536A CN202410265256.9A CN202410265256A CN118154536A CN 118154536 A CN118154536 A CN 118154536A CN 202410265256 A CN202410265256 A CN 202410265256A CN 118154536 A CN118154536 A CN 118154536A
Authority
CN
China
Prior art keywords
breast
point cloud
point
cloud data
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410265256.9A
Other languages
English (en)
Inventor
刘惠
方玲玲
李小兵
李建一
向浩浈
姚娟
李梧桐
王思文
熊宇奇
申莹玮
赵铭达
李竞岳
邱天爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Liaoning Cancer Hospital and Institute
Liaoning Normal University
Original Assignee
Dalian University of Technology
Liaoning Cancer Hospital and Institute
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Liaoning Cancer Hospital and Institute, Liaoning Normal University filed Critical Dalian University of Technology
Priority to CN202410265256.9A priority Critical patent/CN118154536A/zh
Publication of CN118154536A publication Critical patent/CN118154536A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于3D成像点云数据的乳腺双侧差异性检测方法,属于乳腺双侧差异性检测技术领域。该方法建立了乳房差异性评估环境以及对患者进行了标志点设置,通过迭代更新平面模型,并且在最终收敛时得到一个拟合良好的参考平面,实现了点云数据到参考平面的水平拟合,并结合标志点与该过程的旋转矩阵定义了新的坐标系,设计了基于无核漂移聚类算法的乳腺区域分割方法,通过镜面翻转乳腺区域的点云数据,在精配准中对翻转前后的数据采用ICP迭代最近点算法,不断地迭代以降低误差,实现患侧乳房与镜像后另侧乳房的高度重合,解决了两侧乳房中心面寻找困难的问题。

Description

基于3D成像点云数据的乳腺双侧差异性检测方法
技术领域
本发明属于乳腺双侧差异性检测技术领域,涉及一种基于3D成像点云数据的乳腺双侧差异性检测方法。
背景技术
目前,乳腺癌已然成为全球女性肿瘤中最常见的恶性肿瘤。随着人们健康意识的提高和医疗水平的飞速发展,乳腺癌患者对于美学的要求也在逐步提高,乳腺癌手术后的乳房重建可以修复乳房的缺损,乳房重建对于乳腺癌患者重建自信,提高生存质量,有着积极作用。同时,通过乳房重建,提高患者对乳房外形满意度,满足患者的最佳审美需求,也是患者身体和精神康复的一个重要方面。
乳腺癌切除术是乳腺癌治疗中的一种常见方法,通过切除患者的病灶区域来治疗疾病。然而,这种手术也会导致患者两侧乳房产生差异。为了帮助患者恢复乳房的形状和外观,乳房重建手术逐渐受到医生和患者的关注。
除了,进行了乳腺癌切除手术的患者,还有一些对于自身乳房不满意的求美者,希望通过乳房整形手术,使乳房达到自己理想的效果。在进行胸部手术时,也需要医生了解掌握患者两侧胸部差异,以确保手术达到理想效果。
无论是乳房重建手术,还是乳房整形手术,均需要医生深入了解和掌握患者患侧术前与术后乳房差异性,或者患者健侧和患侧乳房的差异性。所说的差异性主要体现在两个方面:一是乳房体积差异性;二是乳房位置差异性。即对于乳腺癌患者,由于患侧乳房通过切除手术,手术后患侧乳房体积相较于术前会有所减小,因此患侧乳房在术前和术后会产生体积差;对于乳房整形患者,在整形手术过程中,两侧乳房也会产生体积差。同时乳房的形状可能会因为手术而发生改变,例如,如果进行了部分切除或全切除,那么患侧乳房的形状就会与健侧乳房或术前患侧乳房不同,因此就会产生患侧乳房所缺失的部分相较于健侧乳房在位置上体现差异。
目前,乳房两侧差异性检测主要分为主观方法和客观方法。客观方法主要包括三类,2D成像方法、3D成像方法、基于机械的尺度或体积测量方法。
主观方法是由医生在手术时通过直接观察乳房,比较乳房的形态差异以及体积差异来实现的,但该方法难于准确评价双侧乳房差异性。
客观方法基于外形表面2D或3D成像的测量与评价方法可以用于测量乳房体积。2D成像方法通常使用X射线或CT扫描等技术获取乳房的横截面图像。然后,通过计算这些图像中乳房组织的面积和厚度,可以得到乳房的体积。这种方法的优点是简单易行,但缺点是无法提供关于乳房内部结构的详细信息。3D成像方法通常使用磁共振成像(MRI)或超声波等技术获取乳房的三维图像。然后,通过计算机软件对这些图像进行处理和分析,可以得到乳房的体积和形状。这种方法的优点是可以提供关于乳房内部结构的详细信息,但缺点是需要更昂贵的设备和更长的扫描时间。基于机械的尺度或体积测量方法,对于乳房这种非刚性且曲面形体不易测量和表述准确,且属于接触式测量,不便于在手术环境的术中使用。
乳房作为一个不规则的几何体,其形态及体积大小容易受到多种因素影响,如何选择合适的测量方法指导临床实践是值得临床医师关注的问题。
综上所述,现存的双侧乳房差异性测量与评价方法,或者效果不佳,或者不适合临床特别是乳房重塑手术的术中对乳房进行全尺寸测量与分析评价。鉴于此,本发明提出一种乳房手术外形重塑术中实时反馈患者健侧与患侧差异性的系统,基于3D成像技术,对术中患者仰卧位的双侧乳房进行精确非接触3D测量和差异性评估,进而实现术中对患侧乳房修整的精准导航,以便辅助医生能够获取填充物的体积以及填充物填充的位置。
发明内容
针对现有技术中存在的问题,本发明提供一种乳房手术中患侧切除及外形重塑的两侧差异性比较算法,能够解决临床术中患侧术前与术后乳房差异性问题,主要包括两方面:一是乳房体积差计算;二是乳房位置差异性问题。进而实现术中对患者乳房手术修整的精准导航。
为实现上述目的,本发明提供如下技术方案:
基于3D成像点云数据的乳腺双侧差异性检测方法,步骤如下:
第一步,构建乳房差异性评估环境,并在采集图像前为被检测者设置标志点。
1.1)准备扫描环境:调整扫描环境光线,确保目标物体没有反光或阴影。清理扫描视野,确保只有目标物体被扫描。
1.2)设置标志点:在胸骨柄上缘中点、剑突处各设置一个标志点。两个标志点为乳腺双侧差异性检测方法提供了实际人体的对称轴(即所述中轴线)和对称平面(即所述中轴面)。具体为:在胸腔的正中有一条垂直的骨头,即胸骨。而胸骨中线则为通过胸骨的正中线,两端点分别为胸骨的顶部——胸骨柄上缘中点,以及胸骨的尾部——剑突。在胸骨中线的两端点各放置一个标志点,
1.3)设置扫描设备:设置扫描设备参数,确保获取最佳质量的扫描数据;将扫描设备对准需要扫描的乳腺区域,启动扫描过程,确保扫描设备能够完整地捕捉到整个区域,并确保移动扫描设备以覆盖所需的所有角度和细节。设置扫描设备参数具体过程为:按照扫描设备的说明书或指南设置扫描设备。调整参数如分辨率、扫描角度、扫描距离等,以获取最佳质量的扫描数据。所述的扫描设备为相机或扫描仪,相机优选3D相机。
第二步,对被检测者平躺于手术台时的3D点云图像及其表面图像、患侧乳房图像的下垂信息、患侧乳房与健侧乳房体积差、坐标值等手术导航所关注的数据进行以下处理。
2.1)数据预处理:首先对采集到的模特点云数据进行去噪处理,使用各种滤波技术(如高斯滤波、中值滤波等)去除点云数据中的噪声点。同时,基于点云数据的密度和点云法线,移除离群点以减少噪声的影响。
2.2)数据标准化:对点云数据进行尺度标准化和坐标标准化。一方面是尺度标准化,点云数据的尺度可能不同,标准化以确保在相同的尺度下进行分析。另一方面是坐标标准化,确保点云数据的坐标在同一坐标系下。
第三步,将点云数据中的点分为内点和离群点,通过迭代更新平面模型,使更新后的平面模型更好地适应内点,并且在最终收敛时,得到一个拟合良好的参考平面。然后,通过计算参考平面的法线向量和所需对齐的平面的法线向量之间的旋转轴和旋转角度,得到旋转矩阵。最后,将旋转矩阵应用于点云数据,通过矩阵乘法将点云中的点进行旋转变换,从而实现将点云数据到参考平面的水平拟合。
3.1)初始化平面模型:从点云中随机选择三个点作为初始的平面模型,以此给定算法一个起点作为迭代更新的初始状态。设这三个点分别为p1(x1,y1,z1),p2(x2,y2,z2)和p3(x3,y3,z3)。
3.2)迭代更新平面模型:
首先,对于每个点pi(xi,yi,zi),计算其到当前平面模型的距离。点pi到平面模型的距离使用以下公式计算:
其中,Pi是点pi的坐标,A是平面上的一个点,n是平面的法向量。法向量n可以通过计算两个平行向量的叉积得到:
n=(P2-P1)×(P3-P1) (2)
然后,根据已经设定的距离阈值,将点分为内点或离群点:如果点到平面模型的距离di小于等于距离阈值,则将其分类为内点;否则,将其分类为离群点。
最后,使用内点重新估计新的平面模型的参数。重新估计新的平面模型的方法可以使用最小二乘法或其他拟合算法。设内点的索引集合为Inliers,在重新估计新的平面模型的步骤中,使用Inliers中的点通过最小二乘拟合算法求解以下方程组来获得新的平面模型的参数:
n·P=c (3)
其中,P是内点的坐标矩阵,c是一个与平面位置有关的常数向量。
3.3)收敛判断:检查迭代次数是否达到最大迭代次数,或者平面模型的变化是否小于某个阈值。如果满足其中任一条件,则停止迭代,获得该点云数据的参考平面。
3.4)计算旋转矩阵:在将点云数据与参考平面进行对齐时,首先计算旋转矩阵,以便将点云数据旋转到参考平面的位置。旋转矩阵通过旋转轴和旋转角度来表示,其中旋转轴的计算使用参考平面的法线向量Nref和所需对齐平面的法线向量Ndesired的叉乘来实现:
Raxis=Nref×Ndesired (4)
将旋转轴进行归一化,以确保旋转矩阵的有效性:
而旋转角度则通过参考平面的法线向量Nref和所需对齐平面的法线向量Ndesired的点乘计算:
θ=cos-1(Nref·Ndesired) (6)
使用轴角表示法将旋转轴和旋转角度转换为旋转矩阵:
R=axang2rotm([Raxis,θ]) (7)
3.5)将旋转矩阵应用于点云数据实现平面对齐。对于每个点的坐标向量P使用矩阵乘法Paligned=R·P进行旋转变换,实现对点云数据的水平拟合。
第四步,建立点云数据的三维坐标系
4.1)确定三维坐标系的一个轴向:通过计算采集图像时设置的两个标志点(胸骨柄上缘中点和剑突)之间的差向量确定一个方向向量,并进行归一化处理,归一化处理后的方向向量即为与平面拟合得到的参考平面平行的三维坐标系中的Y轴。
4.2)计算标志点中心:计算中轴线的中心坐标,将中心坐标作为三维坐标系的原点。
4.3)建立坐标系:选择两个与Y轴垂直的向量作为新坐标系的其他两个轴向,其中X轴垂直于Y轴的向量并平行于平面拟合得到的参考平面,Z轴则同时垂直于X轴和Y轴的向量,这些垂直向量通过叉乘运算得到。
4.4)确定坐标系方程:将点云数据中的每个点转换到新的坐标系中,点云数据中某个点的新坐标(x′,y′,z′)按如下公式计算:
其中,(x,y,z)是某个点在原始坐标系中的坐标,(x0,y0,z0)是新坐标系的原点坐标。
第五步,通过无核漂移聚类算法实现乳腺区域的分割。
5.1)应用无核漂移聚类算法,确定带宽参数:带宽(bandwidth)是无核漂移算法中一个重要的参数,决定了窗口大小,即影响每个点周围的邻域范围。对于无核漂移算法,带宽参数的选择至关重要,通常通过交叉验证或基于数据特征来选择最佳的带宽参数。
5.2)选择点云数据中的初始种子点,将初始种子点作为聚类的起始中心。对于每个初始种子点,计算指向数据密度梯度最大方向的漂移向量,并使用高斯核函数计算漂移向量中涉及到的密度估计:
其中h是带宽参数,x是点之间的距离。对于给定的点xi,漂移向量m(xi)用于指导点的移动方向,以寻找密度最大的位置。漂移向量的计算公式:
其中,xj是xi的邻近点之一,N(xi)是以xi为中心、带宽内的所有点的邻域;
5.3)基于漂移向量,更新每个初始种子点的位置,使其向数据密度最大的方向移动。使用带宽参数对点云数据进行聚类。重复以上步骤,直到种子点趋向于聚类中心,最终形成聚类区域。基于漂移向量,更新种子点xi的位置
5.4)分割乳腺区域点云,根据聚类结果,识别属于乳腺区域的点云数据。对于点云数据的分割,将被识别为乳腺区域的点云数据提取出来,以进行后续的对称性评估。
第六步,通过镜面翻转实现两侧乳房体积差计算及位置差的可视化。
6.1)镜面翻转并对翻转前后点云数据进行配准对齐,实现两侧乳房位置差的可视化:对于双侧乳房3D曲面差异性分析,将分割后乳腺区域的点云数据所在的空间坐标系中的YOZ平面进行镜面翻转,以仰卧位下乳房3D曲面为基准,分析双侧乳房差异性,并度量融合乳房3D和下垂信息的双侧差异。具体过程如下:
3D直角坐标系下,将被检测者仰卧位条件下拍摄的双侧乳房3D图像记为将分割后乳腺区域的点云数据以三维坐标系中的YOZ平面为对称面进行镜面翻转,翻转后的乳房的3D曲面用表示。由(x,y,z)抽取乳房曲面的数据集记为A,翻转更新后的数据集表述为
上述各式中的(x,y,z)表示新3D坐标系的3个坐标变量。
原乳房曲面数据集经过YOZ平面镜像翻转获得翻转后乳房曲面数据集翻转前后的乳房图像坐标具有以下对应关系:x轴坐标取相反,y轴和z轴坐标不变。
实体3D图像记为表示翻转后的乳房的3D曲面。将翻转后的3D曲面作为标准曲面,实体3D图像作为比较对象,进行粗配准和精配准。初始的粗略匹配通过选取医生提前设置的若干对特殊标志点作为匹配标签,经过手动选取为之后的精准匹配提供好的初始位置。在精配准中采用ICP迭代最近点算法,在不断地迭代中降低误差,从而实现理想的精度值。
在翻转后的点云中任意选择一点,记为Pi,从原始点云查找一个距离其欧氏距离最短的点,记为qi。Pi和qi为对应点,得出变换矩阵,经过多次地迭代,最终获得最理想的变换矩阵,使两点云实现重合,并设置迭代的停止条件,公式如下:
其中,R代表旋转变换矩阵,T代表平移变换矩阵。k表示点云中的总点数;Rpi表示点云中所选取点的旋转变换矩阵;配准后的更新为ω′(x,y,z)和ω(x,y,z)。
定义网格化后实体乳房与镜像后的标准乳房曲面的体积误差函数:
V(3D)(xi,yj,zi,j)=∫∫S[ω(xi,yj,zi,j)-ω′(-xi,yj,zi,j)]dxdy (14)
i和j分别表示新的坐标系中x和y方向的序号,zi,j表示与xi,yj对应的曲面高度与形状,S表示经图像分割得到实体乳房或标准乳房中具有体积差的子区域的集合。
筛选出该集合中大于医生规定的最小误差的子区域,绘制等高线图,不同子区域的颜色根据误差大小由浅至深,体现其差异的不同程度。最后,在显示器上显示3D曲面上对称性小于医生规定的最小误差的区域,以不同色彩显示ω′x,y,z)和点云ω(x,y,z)的位置与形状差异。
6.2)两侧乳房体积差的计算:底面选择配准后的点云ω(x,y,z),顶面选择配准后的点云ω′(x,y,z),设置合适的步长,将底面划分成若干离散的小网格,更新公式(14)为:
计算每个网格对应单元的体积并相加求和,因为ω(x,y,z)和ω′(x,y,z)中共包含两个左侧乳房和两个右侧乳房,总差异体积需除以2得到V0。双侧乳房体积差的计算配合位置差的可视化,辅助医生在手术中任何阶段根据V0取相应体积的组织用于填充。重复操作,修整乳房外观直到满意为止。
本发明的有益效果:本发明针对现行乳房整形手术及乳腺癌预后外形重塑手术中存在的乳腺双侧差异性检测问题,同时考虑了乳房体积和位置等多个方面的差异,构建了一种基于3D成像点云数据的乳腺双侧差异性检测方法,建立了乳房差异性评估环境以及对患者进行了标志点设置,通过迭代更新平面模型,并且在最终收敛时得到一个拟合良好的参考平面,实现了点云数据到参考平面的水平拟合,并结合标志点与该过程的旋转矩阵定义了新的坐标系,设计了基于无核漂移聚类算法的乳腺区域分割方法,通过镜面翻转乳腺区域的点云数据,在精配准中对翻转前后的数据采用ICP迭代最近点算法,不断地迭代以降低误差,实现患侧乳房与镜像后另侧乳房的高度重合,解决了两侧乳房中心面寻找困难的问题,本发明在较大程度上改变了现行乳房整形手术或乳腺癌预后重塑手术主要依靠医生人眼观察和判断等手段来制定整形计划的方式。通过3D相机实时获取的乳房图像及数据,实现了两侧乳房体积差计算及位置差的可视化,相对客观地为医生的个人判断提供重要的基础参考,本发明测量设备简单精确、评估方法简便易行,满足临床术中使用。
附图说明
图1为本发明的3D点云成像设备布局结构示意图;
图2为本发明的整体逻辑框图;
图3为设置标志点胸骨柄上缘中点和剑突的位置示意图;
图4为本发明描述的双侧乳房三维坐标系;
图5为本发明3D点云数据采集部分流程图;
图6为本发明实现水平拟合的流程图;
图7为本发明建立三维坐标系的流程图;
图8为分割乳腺区域的流程图;
图9为两侧乳房体积差计算及位置差可视化的流程图;
图中:1-主控计算机、2-3D相机、3-手术台、4-吊臂。
具体实施方式
以下结合具体实施例对本发明做进一步说明。
为了实现基于3D成像点云数据的乳腺双侧差异性检测,需要构建一个特定的操作环境。这个环境的核心组件包括一台主控计算机1,以及与主控计算机1进行信号传输的3D相机2和模拟手术台3。此外,还需要一个万向吊臂4来支撑和调整这些设备的位置和角度。具体来说,3D相机2需要被上下叠放并通过螺栓固定在一块固定底板上。固定底板的上方则通过螺栓与万向吊臂4的底部相连接,而万向吊臂4的顶部则被固定在手术台3上方的天花板上。这种设计使得我们可以通过调整万向吊臂来灵活地改变3D相机和投影仪的位置和朝向,以适应不同的手术需求。除此之外,还需在患者体表提前布置的2个标志点,作为确定3D图像的中轴线的参考点。
一种基于3D成像点云数据的两侧乳房体积差计算及位置差可视化的检测方法,包括以下步骤:
A.第一步3D点云成像设备的布局
A1.按照图1所示整体结构布局图,连接好主控计算机1与3D相机2。
A2.按照图3所示,在被检测者胸骨柄上缘中点和剑突布置标志点。
A3.拉动吊臂4,使吊臂4上连接的3D相机2,对准被检测者胸部,并保持3D相机2镜头前端与患者胸部表面距离为950mm。
B.第二步对采集到的点云数据进行去噪及标准化的预处理操作
B1.利用3D相机对患者胸部进行点云采集。
B2.使用高斯滤波、中值滤波并移除离群点以减少噪声去除点云数据中的噪声点。
B3.确保点云数据的坐标在同一坐标系下。如果两个或两个以上点云数据集之间不存在缩放关系时(即尺度相同时),可以用经典ICP(Iterative Closest Point)方法求解得到旋转矩阵和平移向量来进行点集对齐。
C.第三步获取点云数据中的参考平面(水平面),实现点云数据的水平拟合
C1.从点云中随机选择三个点初始化平面模型,这三个点分别为p1(x1,y1,z1),p2(x2,y2,z2)和p3(x3,y3,z3)。
C2.对于每个点pi(xi,yi,zi),用公式(1)计算其到当前平面模型的距离。
C3.根据距离阈值,将点分为内点或离群点,使用内点重新估计平面模型的参数,在平面模型的变化是否小于设定的阈值时停止迭代,得到点云数据的参考平面。
C4.利用公式(4)(5)(6)(7)计算旋转矩阵,根据所得旋转矩阵将点云数据旋转到参考平面的位置,实现点云数据到水平面的水平拟合。
D.第四步根据平面拟合后的点云数据中的两个标志点建立新的三维坐标系
D1.通过两个标志点——胸骨柄上缘中点的坐标为(x1,y1,z1)、剑突的坐标为(x2,y2,z2)之间的差向量V=(x2-x1,y2-y1,z2-z1)确定一个方向向量,并进行归一化处理,即最后,将归一化后的差向量V′与C3所求得参考平面的法向量进行叉积得到新的三维坐标系中的Y轴。
D2.计算Y轴的中心坐标,得到三维坐标系的原点。
D3.通过叉乘运算,得到与Y轴垂直并平行于参考平面的X轴,Z轴则同时垂直于X轴和Y轴,三维坐标系建立完成。
D4.将原始点云坐标(x,y,z)通过公式(8)转换到新的坐标系中得到点云数据的新坐标(x′,y′,z′)。
E.第五步,使用无核漂移聚类算法实现双侧乳房区域的分割
E1.确定最佳带宽参数。采用交叉验证的方法将点云数据集分为训练集和验证集。接着,设定一个带宽参数的搜索范围,并在该范围内选择了一系列候选参数值。对每个候选参数使用训练集进行聚类,并使用验证集来评估聚类效果。该过程中使用轮廓系数和Davies-Bouldin指数对聚类质量进行量化,选择使验证集聚类效果最佳的带宽参数。
E2.从点云数据中选择初始种子点xi作为聚类的起始中心,使用公式(9)计算漂移向量中涉及到的密度估计。
E3.基于公式(10),对每个种子点的位置进行更新。使用E1中所求的最佳带宽参数对点云数据进行聚类。重复以上步骤,直到种子点趋向于聚类中心,最终形成聚类区域。基于漂移向量,使用公式(11)更新种子点的位置为
E4.根据聚类结果,分割乳腺区域点云。每个点云数据都被分配到了一个特定的聚类中。这些聚类代表不同的组织或结构,乳腺区域聚类位于数据点的中心位置,且具有较高的密度,而其他聚类则代表其他组织或噪声。
F.第六步,两侧乳房体积差计算及位置差可视化
F1.将分割后乳腺区域的点云数据以三维坐标系中的YOZ平面为对称面利用已有翻转进行镜面翻转,翻转后的乳房的3D曲面记为
F2.在翻转后的点云中任意选择一点Pi,从点云查找一个距离其欧氏距离最短的点qi。Pi和qi为对应点,得出变换矩阵,以公式(13)作为迭代的停止条件,配准完成。
F3.以不同色彩显示配准后点云ω′(x,y,z)和点云ω(x,y,z),增加其视觉位置与形状差异。
F4.选择配准后的点云ω(x,y,z)为底面,点云ω′(x,y,z)为顶面,底面划分成若干离散的小网格,计算每个网格对应单元的体积并相加求和,算出总差异体积V0
以上所述实施例仅表达本发明的实施方式,但并不能因此而理解为对本发明专利的范围的限制,应当指出,对于本领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些均属于本发明的保护范围。

Claims (2)

1.基于3D成像点云数据的乳腺双侧差异性检测方法,其特征在于,步骤如下:
第一步,构建乳房差异性评估环境,并在采集图像前为被检测者设置标志点;
1.1)准备扫描环境:调整扫描环境光线,确保目标物体没有反光或阴影;清理扫描视野,确保只有目标物体被扫描;
1.2)设置标志点:在胸骨柄上缘中点、剑突处各设置一个标志点;两个标志点为乳腺双侧差异性检测方法提供了实际人体的对称轴和对称平面;
1.3)设置扫描设备:设置扫描设备参数,确保获取最佳质量的扫描数据;将扫描设备对准需要扫描的乳腺区域,启动扫描过程,确保扫描设备能够完整地捕捉到整个区域,并确保移动扫描设备以覆盖所需的所有角度和细节;
第二步,对被检测者平躺于手术台时的3D点云图像及其表面图像、患侧乳房图像的下垂信息、患侧乳房与健侧乳房体积差、坐标值这些手术导航所关注的数据进行以下处理;
2.1)数据预处理:首先对采集到的模特点云数据进行去噪处理,使用各种滤波技术去除点云数据中的噪声点;同时,基于点云数据的密度和点云法线,移除离群点以减少噪声的影响;
2.2)数据标准化:对点云数据进行尺度标准化和坐标标准化;一方面是尺度标准化,点云数据的尺度可能不同,标准化以确保在相同的尺度下进行分析;另一方面是坐标标准化,确保点云数据的坐标在同一坐标系下;
第三步,将点云数据中的点分为内点和离群点,通过迭代更新平面模型,使其更好地适应内点,并且在最终收敛时,得到一个拟合良好的参考平面;然后,通过计算参考平面的法线向量和所需对齐的平面的法线向量之间的旋转轴和旋转角度,得到旋转矩阵;最后,将旋转矩阵应用于点云数据,通过矩阵乘法将点云中的点进行旋转变换,从而实现将点云数据到参考平面的水平拟合;
3.1)初始化平面模型:从点云中随机选择三个点作为初始的平面模型,以此给定算法一个起点作为迭代更新的初始状态;设这三个点分别为p1(x1,y1,z1),p2(x2,y2,z2)和p3(x3,y3,z3);
3.2)迭代更新平面模型:
首先,对于每个点pi(xi,yi,zi),计算其到当前平面模型的距离;点pi到平面模型的距离使用以下公式计算:
其中,Pi是点pi的坐标,A是平面上的一个点,n是平面的法向量;法向量n可以通过计算两个平行向量的叉积得到:
n=(P2-P1)×(P3-P1) (2)
然后,根据已经设定的距离阈值,将点分为内点或离群点:如果点到平面模型的距离di小于等于距离阈值,则将其分类为内点;否则,将其分类为离群点;
最后,使用内点重新估计新的平面模型的参数,重新估计新的平面模型的方法可以使用最小二乘法或其他拟合算法;
3.3)收敛判断:检查迭代次数是否达到最大迭代次数,或者平面模型的变化是否小于某个阈值;如果满足其中任一条件,则停止迭代,获得该点云数据的参考平面;
3.4)计算旋转矩阵:在将点云数据与参考平面进行对齐时,首先计算旋转矩阵,旋转矩阵可以通过旋转轴和旋转角度来表示,其中旋转轴的计算可以使用参考平面的法线向量Nref和所需对齐平面的法线向量Ndesired的叉乘来实现:
Raxis=Nref×Ndesired (4)
将旋转轴进行归一化,以确保旋转矩阵的有效性:
而旋转角度则通过参考平面的法线向量Nref和所需对齐平面的法线向量Ndesired的点乘计算:
θ=cos-1(Nref·Ndesired) (6)
使用轴角表示法将其转换为旋转矩阵:
R=axang2rotm([Raxis,θ]) (7)
3.5)将旋转矩阵应用于点云数据实现平面对齐;对于每个点的坐标向量P使用矩阵乘法Paligned=R·P进行旋转变换,实现对点云数据的水平拟合;
第四步,建立点云数据的三维坐标系
4.1)确定三维坐标系的一个轴向:通过计算采集图像时设置的两个标志点之间的差向量确定一个方向向量,并进行归一化处理,以此得到与平面拟合得到的参考平面平行的三维坐标系中的Y轴;
4.2)计算标志点中心:计算中轴线的中心坐标,以此作为三维坐标系的原点;
4.3)建立坐标系:选择两个与Y轴垂直的向量作为新坐标系的其他两个轴向,其中X轴垂直于Y轴的向量并平行于平面拟合得到的参考平面,Z轴则同时垂直于X轴和Y轴的向量,这些垂直向量可以通过叉乘运算得到;
4.4)坐标系方程:将点云数据中的每个点转换到新的坐标系中,点云数据中某个点的新坐标(x′,y′,z′)按如下公式计算:
其中,9x,y,z0是该点在原始坐标系中的坐标,(x0,y0,z0)是新坐标系的原点坐标;
第五步,通过无核漂移聚类算法实现乳腺区域的分割;
5.1)应用无核漂移聚类算法,首先确定带宽参数:通过交叉验证或基于数据特征来选择最佳的带宽参数;
5.2)选择点云数据中的初始种子点,这些点将作为聚类的起始中心;对于每个种子点,计算指向数据密度梯度最大方向的漂移向量,并使用高斯核函数计算漂移向量中涉及到的密度估计:
其中h是带宽参数,x是点之间的距离;对于给定的点xi,漂移向量m(xi)用于指导点的移动方向,以寻找密度最大的位置;漂移向量的计算公式:
其中,xj是xi的邻近点之一,N(xi)是以xi为中心、带宽内的所有点的邻域;
5.3)基于漂移向量,更新每个种子点的位置,使其向数据密度最大的方向移动;使用带宽参数对点云数据进行聚类;重复以上步骤,直到种子点趋向于聚类中心,最终形成聚类区域;基于漂移向量,更新种子点xi的位置
5.4)分割乳腺区域点云,根据聚类结果,识别属于乳腺区域的点云数据;对于点云数据的分割,将被识别为乳腺区域的点云数据提取出来,以进行后续的对称性评估;
第六步,通过镜面翻转实现两侧乳房体积差计算及位置差的可视化;
6.1)镜面翻转并对翻转前后点云数据进行配准对齐,实现两侧乳房位置差的可视化:对于所述双侧乳房3D曲面差异性分析,将分割后乳腺区域的点云数据所在的空间坐标系中的YOZ平面进行镜面翻转,以仰卧位下乳房3D曲面为基准,分析双侧乳房差异性,并度量融合乳房3D和下垂信息的双侧差异;3D直角坐标系下,将被检测者仰卧位条件下拍摄的双侧乳房3D图像记为翻转后的乳房的3D曲面用表示;由多元融合信息(x,y,z,d)抽取乳房曲面的数据集记为A,可以表述为
上述各式中的(x,y,z)表示新3D坐标系的3个坐标变量;
原乳房曲面数据集经过yoz平面镜像翻转可得翻转后乳房曲面数据集翻转前后的乳房图像坐标具有以下对应关系:x轴坐标取相反,y轴和z轴坐标不变;
实体3D图像记为表示翻转后的乳房的3D曲面;将翻转后的3D曲面作为标准曲面,实体3D图像作为比较对象,进行粗配准和精配准;初始的粗略匹配可通过选取医生提前设置的若干对特殊标志点作为匹配标签,经过手动选取可为之后的精准匹配提供较好的初始位置;在精配准中采用ICP迭代最近点算法,在不断地迭代中降低误差,从而实现理想的精度值;
在翻转后的点云中任意选择一点,记为Pi,从原始点云查找一个距离其欧氏距离最短的点,记为qi;Pi和qi为对应点,得出变换矩阵,经过多次地迭代,最终获得最理想的变换矩阵,使两点云实现重合,并设置迭代的停止条件,公式如下:
其中,R代表旋转变换矩阵,T代表平移变换矩阵;k表示点云中的总点数;表示点云中所选取点的旋转变换矩阵;配准后的更新为ω′(x,y,z)和ω(x,y,z);
定义网格化后实体乳房与镜像后的标准乳房曲面的体积误差函数:
V(3D)(xi,yj,zi,j)=∫∫S[ω(xi,yj,zi,j)-ω′(-xi,yj,zi,j)]dxdy (14)
i和j分别表示新的坐标系中x和y方向的序号,zi,j表示与xi,yj对应的曲面高度与形状,S表示经图像分割得到实体乳房或标准乳房中具有体积差的子区域的集合;筛选出该集合中大于医生规定的最小误差的子区域,绘制等高线图,不同子区域的颜色根据误差大小由浅至深,体现其差异的不同程度;最后,在显示器上显示3D曲面上对称性小于医生规定的最小误差的区域,以不同色彩显示ω′(x,y,z)和点云ω(x,y,z)的位置与形状差异;
6.2)两侧乳房体积差的计算:底面选择点云ω′(x,y,z),顶面选择点云ω′(x,y,z),设置合适的步长,将底面划分成若干离散的小网格,更新公式(14)为:
计算每个网格对应单元的体积并相加求和,因为ω(x,y,z)和ω′(x,y,z)中共包含两个左侧乳房和两个右侧乳房,总差异体积需除以2得到V0;双侧乳房体积差的计算配合位置差的可视化。
2.根据权利要求1所述的基于3D成像点云数据的乳腺双侧差异性检测方法,其特征在于,所述的步骤3.2)中,设内点的索引集合为Inliers,在重新估计平面模型的步骤中,使用Inliers中的点通过最小二乘拟合算法求解以下方程组来获得新的平面模型参数:
n·P=c (3)
其中,P是内点的坐标矩阵,c是一个与平面位置有关的常数向量。
CN202410265256.9A 2024-03-08 2024-03-08 基于3d成像点云数据的乳腺双侧差异性检测方法 Pending CN118154536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410265256.9A CN118154536A (zh) 2024-03-08 2024-03-08 基于3d成像点云数据的乳腺双侧差异性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410265256.9A CN118154536A (zh) 2024-03-08 2024-03-08 基于3d成像点云数据的乳腺双侧差异性检测方法

Publications (1)

Publication Number Publication Date
CN118154536A true CN118154536A (zh) 2024-06-07

Family

ID=91288162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410265256.9A Pending CN118154536A (zh) 2024-03-08 2024-03-08 基于3d成像点云数据的乳腺双侧差异性检测方法

Country Status (1)

Country Link
CN (1) CN118154536A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118717047A (zh) * 2024-06-14 2024-10-01 上海交通大学医学院附属第九人民医院 人体组织中心镜像对称性评估系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118717047A (zh) * 2024-06-14 2024-10-01 上海交通大学医学院附属第九人民医院 人体组织中心镜像对称性评估系统及方法

Similar Documents

Publication Publication Date Title
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN107481228B (zh) 基于计算机视觉的人体背部脊柱侧弯角度测量方法
Douglas Image processing for craniofacial landmark identification and measurement: a review of photogrammetry and cephalometry
US8965108B2 (en) Method and system of automatic determination of geometric elements from a 3D medical image of a bone
CN107622492B (zh) 肺裂分割方法及系统
JP5337845B2 (ja) デジタル画像上での測定の実施法
CN106102585B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
CN110738701B (zh) 一种肿瘤三维定位系统
US20130170726A1 (en) Registration of scanned objects obtained from different orientations
WO2017027638A1 (en) 3d reconstruction and registration of endoscopic data
JP2011504115A (ja) 1つの画像データからの解剖学的構造を含む対象物のモデルの領域を、診断的又は治療的介入に用いられる画像にマッピングするための方法、そのシステム及びコンピューター読み取り可能な媒体
CN116580068B (zh) 一种基于点云配准的多模态医学配准方法
Michoński et al. Automatic recognition of surface landmarks of anatomical structures of back and posture
CN119048694A (zh) 一种基于多模态的影像三维后处理方法及系统
CN103325143A (zh) 基于模型匹配的标记点自动注册方法
CN113643176B (zh) 一种肋骨显示方法和装置
JP2015530155A (ja) 解析モルフォミクス:高速医用画像自動解析法
CN117078840A (zh) 基于ct图像的髋关节三维建模的自动定量计算方法
US20220207771A1 (en) Heart Position Estimation
US9763636B2 (en) Method and system for spine position detection
CN118154536A (zh) 基于3d成像点云数据的乳腺双侧差异性检测方法
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
Mirzaalian et al. Spatial normalization of human back images for dermatological studies
CN114557772B (zh) 乳房手术外形重塑术中虚实融合导航系统与方法
Carrière et al. Assessing the utility of 3D modeling with photogrammetry in assigned sex estimation from the greater sciatic notch

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination