[go: up one dir, main page]

CN111292230B - 深度学习中螺旋变换数据扩增方法、系统、介质及设备 - Google Patents

深度学习中螺旋变换数据扩增方法、系统、介质及设备 Download PDF

Info

Publication number
CN111292230B
CN111292230B CN202010098682.XA CN202010098682A CN111292230B CN 111292230 B CN111292230 B CN 111292230B CN 202010098682 A CN202010098682 A CN 202010098682A CN 111292230 B CN111292230 B CN 111292230B
Authority
CN
China
Prior art keywords
transformation
spiral
dimensional image
data
spiral transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098682.XA
Other languages
English (en)
Other versions
CN111292230A (zh
Inventor
钱晓华
陈夏晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN202010098682.XA priority Critical patent/CN111292230B/zh
Publication of CN111292230A publication Critical patent/CN111292230A/zh
Application granted granted Critical
Publication of CN111292230B publication Critical patent/CN111292230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种深度学习中螺旋变换数据扩增方法、系统、介质及设备，所述深度学习中螺旋变换数据扩增方法包括：获取三维图像数据；将所述三维图像数据进行螺旋变换，以转换为原始二维图像；改变三维图像螺旋变换的方式，以转换为扩增二维图像；将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集，将不同的原始图像按照指定要求分为训练集和测试集，以将属于所述训练集的二维图像集用于训练模型的构建，将属于所述测试集的二维图像集用于所述训练模型的评估。本发明一定程度上保留了纹理等特征在三维空间上的相关性，对于一个样本而言，螺旋变换得到的二维图像比一个切面得到的二维图像包含更加全面、完整的三维信息。

Description

深度学习中螺旋变换数据扩增方法、系统、介质及设备
技术领域
本发明属于图像数据处理技术领域，涉及一种图像数据变换方法，特别是涉及一种深度学习中螺旋变换数据扩增方法、系统、介质及设备。
背景技术
现有技术中，卷积神经网络成为图像识别领域的核心算法之一，并在学习数据充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器，也可以在精细分类识别中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络自行提取，然而在处理三维数据时，直接使用三维卷积神经网络处理三维数据将占用大量的计算资源，处理二维数据的可行性更高。而大部分二维的卷积神经网络使用横断面的切片作为网络的输入，只包含一个切面的二维信息。但是，三维目标区域每一层在空间上有很强的相关性，简单的二维切面忽略了层与层之间的相互联系。同时，横截面的视角单一，无法全面表示其他视角的图像特征，对三维空间上的纹理特征表现不足。
再者，最常用的数据扩增方法是对图像进行几何变换，例如对二维图像进行水平翻转、小范围倍数(例如0.8-1.15倍)内缩放、旋转等。这些方法在一定程度上增加了数据数量，但是变换结果都是来自于原始数据。比如，水平翻转只改变了二维图像的视图角度，几乎没有改变数据集的信息量，扩增前后的数据非常相似，因此限制了模型预测的效果。
因此，如何提供一种深度学习中螺旋变换数据扩增方法、系统、介质及设备，以解决现有技术无法让单张二维图像保留更多三维图像信息、实现有效降维等缺陷，成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种深度学习中螺旋变换数据扩增方法、系统、介质及设备，用于解决现有技术无法让单张二维图像保留更多三维图像信息、实现有效降维的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种深度学习中螺旋变换数据扩增方法，所述深度学习中螺旋变换数据扩增方法包括：获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；将所述三维图像数据进行螺旋变换，以转换为原始二维图像；改变三维图像数据螺旋变换的方式，以转换为扩增二维图像；将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
于本发明的一实施例中，所述三维图像数据包括磁共振影像，所述磁共振影像呈现有感兴趣目标区域的位置。
于本发明的一实施例中，所述将所述三维图像数据进行螺旋变换，以转换为原始二维图像的步骤包括：选取所述感兴趣目标区域中的变换参考点作为螺旋变换中点；根据所述螺旋变换中点到所述感兴趣目标区域边缘的最大距离确定螺旋变换最大半径；结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线，所述螺旋变换半径为所述螺旋变换中点到所述感兴趣目标区域边缘中任一点的距离，处于所述螺旋变换最大半径确定的范围内。
于本发明的一实施例中，所述变换角度包括方位角和高程角，所述结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线的步骤包括：构建所述方位角和高程角的转换关系；结合所述转换关系和螺旋变换半径生成螺旋线。
于本发明的一实施例中，所述构建所述方位角和高程角的转换关系的步骤包括：通过所述方位角和高程角在取值范围内均匀变化构建所述转换关系；或通过令采样点的面密度和体密度相等构建所述转换关系；或通过指定的预设采样点分布规则构建所述转换关系。
于本发明的一实施例中，在所述结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线的步骤之后，将所述三维图像数据进行螺旋变换，以转换为原始二维图像的步骤还包括：在所述三维图像数据中对应确定所述螺旋线上所有点的位置坐标；根据所述位置坐标计算所述螺旋线上所有点的灰度值，将所述灰度值填充到二维矩阵中，以得到螺旋变换展开的二维图像。
于本发明的一实施例中，改变三维图像数据螺旋变换的方式，以转换为扩增二维图像的步骤包括：改变螺旋变换中坐标系位于三维数据中的原点位置进行螺旋变换；改变螺旋变换中坐标轴正方向相对于三维数据的角度和方向进行螺旋变换；将所述三维图像数据进行水平翻转，再进行螺旋变换；将所述三维图像数据进行垂直翻转，再进行螺旋变换；将所述三维图像数据进行放大、缩小或拉伸，再进行螺旋变换；改变所述三维图像数据的颜色饱和度、对比度、亮度，再进行螺旋变换。
本发明另一方面提供一种深度学习中螺旋变换数据扩增系统，所述深度学习中螺旋变换数据扩增系统包括：数据获取模块，用于获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；第一变换模块，用于将所述三维图像数据进行螺旋变换，以转换为原始二维图像；第二变换模块，用于改变三维图像数据螺旋变换的方式，以转换为扩增二维图像；数据整合模块，用于将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
本发明又一方面提供一种介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的深度学习中螺旋变换数据扩增方法。
本发明最后一方面提供一种设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的深度学习中螺旋变换数据扩增方法。
如上所述，本发明所述的深度学习中螺旋变换数据扩增方法、系统、介质及设备，具有以下有益效果：
在生成二维图像时，螺旋变换得到的数据集分布更广，即包含了更全面的三维信息。本发明螺旋变换的数据扩增方式一方面能够让单张2D图像保留3D信息，另一方面在每次进行数据扩增时，只需改变螺旋变换的坐标轴角度，即可得到不同的二维图像信息，这也使每次扩增的数据都不同，扩增后的样本包含更多的信息量，通过螺旋变换提供了一种非常有效的数据扩增方法。
附图说明
图1显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据集示例图。
图2显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据变换示意图。
图3显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的原理流程图。
图4显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋变换流程图。
图5显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋线生成流程图。
图6显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的坐标系构建示意图。
图7显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋变换的数据扩增模拟图。
图8A显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的结果和另一种数据扩增效果对比图。
图8B显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据分布示意图。
图9显示为本发明的深度学习中螺旋变换数据扩增系统于一实施例中的结构原理图。
元件标号说明
9 深度学习中螺旋变换数据扩增系统
91 数据获取模块
92 第一变换模块
93 第二变换模块
94 数据整合模块
S31～S34 步骤
S321～S325 步骤
S323A～S323B 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述深度学习中螺旋变换数据扩增方法、系统、介质及设备的技术原理如下：获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；将所述三维图像数据进行螺旋变换，以转换为原始二维图像；改变三维图像数据螺旋变换的方式，以转换为扩增二维图像；将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
实施例一
本实施例提供一种深度学习中螺旋变换数据扩增方法，所述深度学习中螺旋变换数据扩增方法包括：
获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；
将所述三维图像数据进行螺旋变换，以转换为原始二维图像；
改变三维图像螺旋变换的方式，以转换为扩增二维图像；
将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
以下将结合图示对本实施例所提供的深度学习中螺旋变换数据扩增方法进行详细描述。
请参阅图1，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据集示例图。胰腺癌体积小，自动分割非常困难，而胰腺肿瘤与周围组织紧密相连，同时显示出与组织类似的强度，本身难以识别。请参阅图2，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据变换示意图。图2中本实施例以胰腺癌患者的磁共振影像作为三维图像数据，基于深度学习的方法对胰腺癌的磁共振影像进行螺旋变换与数据扩增，以提供包含更多三维信息的二维图像数据集，用于对胰腺癌进行预测，螺旋变换之后的图像为X＝[X1,X2,…,Xn]。
请参阅图3，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的原理流程图。所述深度学习中螺旋变换数据扩增方法具体包括以下几个步骤：
S31，获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据。
在本实施例中，所述三维图像数据包括磁共振影像、CT以及其他三维成像，所述三维图像数据呈现有感兴趣目标区域(ROI，Region of Interest)。
具体地，胰腺癌数据采集于胰腺癌患者的磁共振影像，收集到的数据需要包含多个成像参数的影像信息，本实施方式中采用了ADC(Apparent Diffusion Coefficient，表观弥散系数成像)、DWI(Diffusion Weighted Imaging，弥散加权成像)、T2(transverserelaxation time，横向弛豫时间加权成像)三个模态共64位病人的MRI数据，三种模态的数据即为三种不同的成像参数对应的图像数据。同时，图像数据中已确定肿瘤的位置。在该实施例中，数据集来自2016年1月至2016年12月在瑞金医院接受手术治疗的胰腺癌患者，每个病例均含肿瘤的病理检查结果，即TP53(一种抑癌基因)和KRAS基因(一种原癌基因)的突变情况。
S32，将所述三维图像数据进行螺旋变换，以转换为原始二维图像。
请参阅图4，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋变换流程图。如图4所示，在本实施例中，S32包括：
S321，选取所述感兴趣目标区域中的变换参考点作为螺旋变换中点。所述变换参考点为感兴趣目标区域范围内的点，用来作为螺旋变换中点。
具体的，所述感兴趣目标区域为磁共振影像中的肿瘤，选取原始三维MRI(Magnetic Resonance Imaging，磁共振成像)中位于肿瘤内的点，例如肿瘤的中心点作为螺旋变换的中点O。
S322，根据所述螺旋变换中点到所述感兴趣目标区域边缘的最大距离确定螺旋变换最大半径。
具体地，肿瘤边缘到O点的最大距离决定了螺旋变换的最大半径R。
S323，结合螺旋变换半径、变换角度和螺旋变换中点生成螺旋线。在本实施例中，所述螺旋变换半径为所述螺旋变换中点到所述感兴趣目标区域边缘中任一点的距离，处于所述螺旋变换最大半径确定的范围内。
具体地，将肿瘤边缘任意一点到O点的距离定义为r，则-R≤r≤R。
请参阅图5，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋线生成流程图。如图5所示，在本实施例中，所述变换角度包括方位角和高程角，S323包括：
S323A，构建方位角和高程角的转换关系。
在本实施例中，通过所述方位角和高程角在取值范围内均匀变化构建所述转换关系；或通过令采样点的面密度和体密度相等构建所述转换关系；或通过指定的预设采样点分布规则构建所述转换关系。
具体地，螺旋变换的关键是构建两个角Θ和Ψ的关系。根据不同的需求，我们可以构建不同的关系式。例如，为了让采样点在球体的两极和赤道处均匀分布，固定采样点间的弧度为常量。设赤道上的圆有2N个采样点，将采样弧度定义为赤道上两点之间的距离d，由公式(1)计算得到。
Figure BDA0002386164850000061
其中，d表示采样弧度，定义为赤道上两点之间的距离，r表示肿瘤边缘到螺旋变换中点O点的距离，2N表示采样点个数。
进一步地，根据预设采样点分布规则，在设置采样点时，将Θ角对应的水平面采样点个数表示为
Figure BDA0002386164850000062
设置Θ在取值范围内被平均划分为N个角度，那么在指定半径的情况下，如果N足够大，总的采样点个数可以通过公式(2)积分计算得到：
Figure BDA0002386164850000063
因此，指定半径的球体表面采样总点数
Figure BDA0002386164850000064
更进一步地，已知A点的坐标，相邻两点之间的弧度可以表示为Ψ*·sinΘ，其中Ψ*是相邻两个坐标点和X轴正方向夹角Ψ的差值。则通过
Figure BDA0002386164850000071
建立Θ和Ψ的转换关系。例如，在针对性的采样中，Θ和Ψ满足
Figure BDA0002386164850000072
螺旋变换的最大半径为60，N取20，最终得到120×254的二维图像。
S323B，结合所述转换关系和螺旋变换半径生成螺旋线。
具体地，请参阅图6，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的坐标系构建示意图。在三维空间中，螺旋线A由方位角Ψ和高程角1-Θ，到原点的距离r三者共同决定。根据坐标系的转换关系，A点坐标用公式(3)表示。
Figure BDA0002386164850000073
S324，在三维图像数据中对应确定螺旋线上所有点的位置坐标。
S325，根据位置坐标计算螺旋线上所有点的灰度值，将灰度值填充到二维矩阵中，以得到螺旋变换展开的二维图像。
具体地，请参阅图7，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的螺旋变换的数据扩增模拟图。随后将其在三维空间中的坐标对应到原始矩阵的位置，并使用三线性插值的方法确定该点的灰度值。最后，将灰度值填充到二维矩阵中，即可得到螺旋变换展开的二维影像。
需要说明的是，三线性插值的方法仅为本实施例确定灰度值的其中一种实施方式，除三线性插值以外其他用于计算灰度值的方法也在本发明保护的范围内。
S33，改变三维图像螺旋变换的方式，以转换为扩增二维图像
在本实施例中，改变螺旋变换中坐标系位于三维数据中的原点位置进行螺旋变换；和/或改变螺旋变换中坐标轴正方向相对于三维数据的角度和方向进行螺旋变换，例如沿坐标轴(x轴、y轴或z轴)旋转不同的角度；和/或将所述三维图像数据进行水平翻转，再进行螺旋变换；和/或将所述三维图像数据进行垂直翻转，再进行螺旋变换；和/或将所述三维图像数据进行放大、缩小或拉伸，再进行螺旋变换；和/或改变所述三维图像数据的颜色饱和度、对比度、亮度，再进行螺旋变换。
具体地，将螺旋变换的方法应用于数据扩增和对三维数据进行有效的降维。数据扩增的目的是增加样本中数据的多样性，对抗网路的过拟合。深度学习中数据扩增有三种方式：对训练集进行数据扩增，测试集不进行数据扩增；训练集和测试集分别进行数据扩增；将扩增后的数据和原始数据混合，随机分为训练集和测试集。
螺旋变换得到的结果取决于构建的空间直角坐标系和螺旋变换的参数设置。在参数相同的情况下，对于同一个三维数据，构建不同的坐标系可能得到不同的螺旋变换结果。为了便于比较两个坐标系下变换结果的差异，设置相同的坐标原点和z轴的正方向，仅改变x轴的正方向。设x轴的正方向改变了ΔΨ，则对应的A点坐标A′可以表示为：
Figure BDA0002386164850000081
如果A'(x',y',z')＝A(x,y,z),联立公式(3)和公式(4)，可得:
Figure BDA0002386164850000082
简化后得公示(6)：
Figure BDA0002386164850000083
解方程组可得，cosΔΨ＝1，则当且仅当ΔΨ＝2πk时，A'(x',y',z')＝A(x,y,z)。说明只要改变空间坐标系XOY平面中x轴的正方向角度，即可得到不同的螺旋变换结果。
同理，除了改变坐标轴正方向的角度，同一个三维数据使用其他的变换方式也可以得到不同的螺旋变换结果。比如改变坐标系的原点位置、对原始数据进行几何变换、改变螺旋变换的参数(包括旋转圈数、采样间隔等)、水平垂直翻转、小范围倍数(0.8-1.15倍)内缩放等等。变换后的二维图像是原始三维图像的一部分，螺旋变换的结果相当于是原始数据的一个子集，因此对于同一个三维原始数据而言，基于不同坐标系得到的扩增数据具有一定的互补关系。
由于胰腺癌的TP53基因预测是一项非常具有挑战性的任务，肿瘤区域所占比例小，识别难度大，多模态数据获取困难导致的样本量不足，更是增加了任务的难度。本实施例一定程度上改善了小样本问题。考虑到常规的切面影像损失了大量了空间信息，而直接使用三维卷积会给本身参数量就较大的三模态网络增加大量的计算量，因此我们提出了一种新颖的螺旋变换的方法，图像经过螺旋变换之后再输入卷积神经网络进行运算。与3D模型相比，减少了计算资源和模型参数。
在试验过程中，本实施例分别将原始图像按照螺旋变换和现有技术中几何扩增的方式扩增到27倍，并用归一化互信息评估数据扩增的效果。其中几何扩增是将肿瘤面积最大的2D切面进行水平、垂直翻转等几何变换数据扩增。请参阅图8A，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的效果和另一种数据扩增效果对比图。图8A中显示了一个病例用两种方法处理的结果，(a)为螺旋变换数据扩增，(b)为肿瘤面积最大的2D切面几何变换数据扩增，其中，左上角为原始图像，另外三张为扩增后的图像。
为了比较两种方法扩增前后图像的相似度，分别计算图8A(a)和图8A(b)扩增得到的26张图像和原始图像的归一化互信息，对两组数据求和得螺旋变换的互信息之和为32.8838，切面图像为38.3224。归一化互信息是度量两张图像相似度的一种方式，是一张图像包含另一张图像的度量,它的值越大代表两张图像的相似性越高，可以通过计算图像的信息熵、联合信息熵实现。此外，对两组数据进行t检验，得到p＝6.4920*10-7，远小于置信度0.01，说明两组数据的归一化互信息具有显著差异，即螺旋变换扩增的图像相似度更小。
结合图8A将本发明的螺旋变换、现有技术中的几何变换扩增后的数据信息进行列表管理，并以表格形式编辑，参见表1数据扩增对比表。
表1：数据扩增对比表
螺旋变换 几何变换
归一化互信息 32.8838 38.3224
离散程度 0.2709 0.0927
欧几里得距离 14.5826 7.7633
为了便于直观地观察数据扩增的效果，我们仅对原始数据及其扩增两倍(水平翻转、垂直翻转)后的数据进行降维可视化，请参阅图8B，显示为本发明的深度学习中螺旋变换数据扩增方法于一实施例中的数据分布示意图。如图8B所示，(a)中第一幅图显示几何变换中数据分布的离散程度，(a)中第二幅图显示第一幅图中数据较集中的部分的放大图，(b)中显示螺旋变换与数据扩增中数据分布的离散程度并对数据进行了归一化后计算二维离散点的离散程度S，由表1可知，现有技术中几何变换方式的离散程度为0.0927，本发明在其中一实施例的螺旋变换离散程度为0.2709，离散程度明显变高，更优于现有技术。此外，计算了扩增后的每一个点分别到原始点的欧式距离d，并求和，得到几何变换的距离为7.7633，而螺旋变换为14.5826。综上所述，螺旋变换方式的归一化互信息更低，离散程度较高，且欧几里得距离更大，因此数据间的相似性更小，分布范围更广，数据扩增的效果更好。
上述结果说明了，同样是二维图像，螺旋变换得到的数据集分布更广，即包含了更全面的三维信息。这也证明了本方法的数据扩增方式一方面能够让单张2D图像保留3D信息，体现了肿瘤区域的空间分布特征以及空间纹理关系；另一方面在每次进行数据扩增时，只需改变螺旋变换的坐标轴角度，即可得到不同的肿瘤信息，这也使每次扩增的数据都不同，扩增后的样本包含更多的信息量，使用螺旋变换是一种非常有效的数据扩增方法。
此外，将螺旋变换与数据扩增应用于深度学习时，模型驱动的损失函数加入了先验知识的约束，也有助于缓解过拟合；而使用图像网络预训练的参数初始化主干网络，结合了迁移学习的思想，可以使网络参数拥有更优的初始化分布，在小样本情况下可以快速提取最低级的特征(例如角、边等)，加快收敛速度，并减轻过拟合。
S34，将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
在本实施例中，数据整合是把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。本实施例中数据整合具体指共享或者合并来自扩增二维图像与原始二维图像的数据后构成二维图像集。
需要说明的是，在本实施例中，对训练集和测试集分别进行数据扩增，各自得到相应的二维图像集，即在实例中指出的按病人进行划分，即训练集和测试集两部分的数据分别来自不同的原始图像，没有交叉混合。将不同的原始图像按照指定要求分为训练集和测试集，以将属于所述训练集的二维图像集用于训练模型的构建，将属于所述测试集的二维图像集用于所述训练模型的评估。
具体地，在数据扩增过程中，本实施方式中选择固定螺旋变换的参数和空间直角坐标系的原点及正方向，对原始数据进行几何变换。将三维数据实施沿z轴旋转不同的角度、水平翻转、垂直翻转等几何变换，再进行螺旋变换转化到二维空间，把数据扩增到了原始的27倍。随后，按照指定要求进行划分，其中指定要求是指按照阳性样本和阴性样本的比例，将数据集按病人平均分成五份，其中四份为训练集，一份为测试集。
基于上述特点，我们可以使用螺旋变换的方法进行数据扩增，增加深度学习方法中训练样本的信息量。除了应用于胰腺癌数据集，螺旋变换的数据扩增方法也适用于其他目标区域近似为球体的数据集，为解决深度学习数据量不足的问题提供了一种数据扩增新思路。
将不同的模型中的胰腺癌TP53基因预测效果进行列表管理，并以表格形式编辑，参见表2多模态模型效果对比表，以Accuracy(准确率)，AUC(受试者操作特性曲线下的面积)，Recall(召回率)，Precision(精确率)，F1Score(F1值)作为评价指标，这些指标都广泛应用于分类领域。每个指标的定义如下：
Figure BDA0002386164850000101
Figure BDA0002386164850000102
Figure BDA0002386164850000103
Figure BDA0002386164850000104
其中，TP是真阳性率，TN是真阴性率，FP是假阳性率，FN是假阴性率。
表2中第3行和第5行的二维旋转变换是使用了螺旋变换的混合驱动的多模态融合模型。其中，二维切面是在三维空间中，从27个不同的切面角度得到的二维图像，三维图像是直接将三维数据输入3D卷积神经网络框架中。由于3D卷积的网络框架无法加入双线性池化结构，所以在无双线池化的框架中进行了实验。分别对比网络框架相同的模型，我们的模型在Accuracy，AUC，Precision，F1Score中均优于3D模型，而对比二维切面，本发明基于螺旋变换的多模态预测模型在五个指标上的性能均更好。这充分说明了螺旋变换后的图像在胰腺癌基因预测任务中比其他形式的输入图像拥有更好的效果，也在一定程度上表明了螺旋变换后的图像不仅比2D切面图像拥有更全面的信息，同时也表达了三维图像的空间关系。螺旋变换的方法除了在多模态胰腺癌数据集中明显提升了预测性能，在其他数据集(尤其是目标物体为球体的数据集)的处理中也有一定的借鉴意义。
表2：多模态模型效果对比表
Figure BDA0002386164850000111
本实施例提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述深度学习中螺旋变换数据扩增方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
本实施例所述深度学习中螺旋变换数据扩增方法充分利用三维信息，将三维的目标区域螺旋展开到二维平面，变换过程中保留了原始相邻像素之间的相关性，然后将变换之后的图像用于基因突变的预测。
实施例二
本实施例提供一种深度学习中螺旋变换数据扩增系统，所述深度学习中螺旋变换数据扩增系统包括：
数据获取模块，用于获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；
第一变换模块，用于将所述三维图像数据进行螺旋变换，以转换为原始二维图像；
第二变换模块，用于改变三维图像螺旋变换的方式，以转换为扩增二维图像；
数据整合模块，用于将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
以下将结合图示对本实施例所提供的深度学习中螺旋变换数据扩增系统进行详细描述。需要说明的是，应理解以下系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：某一模块可以为单独设立的处理元件，也可以集成在下述系统的某一个芯片中实现。此外，某一模块也可以以程序代码的形式存储于下述系统的存储器中，由下述系统的某一个处理元件调用并执行以下某一模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以下各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
以下这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个数字信号处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以下某个模块通过处理元件调用程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
请参阅图9，显示为本发明的深度学习中螺旋变换数据扩增系统于一实施例中的结构原理图。如图9所示，所述深度学习中螺旋变换数据扩增系统9包括：数据获取模块91、第一变换模块92、第二变换模块93和数据整合模块94。
所述数据获取模块91用于获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据。
在本实施例中，所述三维图像数据包括磁共振影像、CT以及其他三维成像，所述三维图像数据呈现有感兴趣目标区域(ROI，Region of Interest)。
所述第一变换模块92用于将所述三维图像数据进行螺旋变换，以转换为原始二维图像。
在本实施例中，所述第一变换模块92具体用于选取所述感兴趣目标区域中的变换参考点作为螺旋变换中点；根据所述螺旋变换中点到所述感兴趣目标区域边缘的最大距离确定螺旋变换最大半径；结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线，所述螺旋变换半径为所述螺旋变换中点到所述感兴趣目标区域边缘中任一点的距离，处于所述螺旋变换最大半径确定的范围内。所述变换角度包括方位角和高程角，构建所述方位角和高程角的转换关系；结合所述转换关系和螺旋变换半径生成螺旋线。在所述三维图像数据中对应确定所述螺旋线上所有点的位置坐标；根据所述位置坐标计算所述螺旋线上所有点的灰度值，将所述灰度值填充到二维矩阵中，以得到螺旋变换展开的二维图像。
具体地，所述第一变换模块92用于通过所述方位角和高程角在取值范围内均匀变化构建所述转换关系；或通过令采样点的面密度和体密度相等构建所述转换关系；或通过指定的预设采样点分布规则构建所述转换关系。
所述第二变换模块93用于改变三维图像螺旋变换的方式，以转换为扩增二维图像
在本实施例中，所述第二变换模块93具体用于改变螺旋变换中坐标系位于三维数据中的原点位置进行螺旋变换；和/或改变螺旋变换中坐标轴正方向相对于三维数据的角度和方向进行螺旋变换，例如沿坐标轴(x轴、y轴或z轴)旋转不同的角度；和/或将所述三维图像数据进行水平翻转；和/或将所述三维图像数据进行垂直翻转；和/或将所述三维图像数据进行放大、缩小或拉伸；和/或改变所述三维图像数据的颜色饱和度、对比度、亮度。
所述数据整合模块94用于将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
本实施例所述深度学习中螺旋变换数据扩增系统一定程度上保留了原始相邻像素之间纹理等特征在三维空间上的相关性，对于一个样本而言，螺旋变换得到的二维图像比一个切面得到的二维图像包含更加全面、完整的三维信息。
实施例三
本实施例提供一种设备，所述设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使所述设备执行所述深度学习中螺旋变换数据扩增方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(扫描应用程序licationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的深度学习中螺旋变换数据扩增方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种深度学习中螺旋变换数据扩增系统，所述深度学习中螺旋变换数据扩增系统可以实现本发明所述的深度学习中螺旋变换数据扩增方法，但本发明所述的深度学习中螺旋变换数据扩增方法的实现装置包括但不限于本实施例列举的深度学习中螺旋变换数据扩增系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。需要说明的是，所述深度学习中螺旋变换数据扩增方法和所述深度学习中螺旋变换数据扩增系统也适用于视频、朋友圈消息等其他多媒体形式的内容，并包含在本发明的保护范围内。
综上所述，本发明所述深度学习中螺旋变换数据扩增方法、系统、介质及设备在生成二维图像时，螺旋变换得到的数据集分布更广，即包含了更全面的三维信息。本发明螺旋变换的数据扩增方式一方面能够让单张2D图像保留3D信息，另一方面在每次进行数据扩增时，只需改变螺旋变换的坐标轴角度，即可得到不同的二维图像信息，这也使每次扩增的数据都不同，扩增后的样本包含更多的信息量，通过螺旋变换提供了一种非常有效的数据扩增方法。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种深度学习中螺旋变换数据扩增方法，其特征在于，所述深度学习中螺旋变换数据扩增方法包括：
获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；
将所述三维图像数据进行螺旋变换，以转换为原始二维图像；选取感兴趣目标区域中的变换参考点作为螺旋变换中点；根据所述螺旋变换中点到所述感兴趣目标区域边缘的最大距离确定螺旋变换最大半径；结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线，所述螺旋变换半径为所述螺旋变换中点到所述感兴趣目标区域边缘中任一点的距离，处于所述螺旋变换最大半径确定的范围内；其中，所述变换角度包括方位角和高程角，所述结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线的步骤包括：构建所述方位角和高程角的转换关系；结合所述转换关系和螺旋变换半径生成螺旋线；
改变三维图像数据螺旋变换的方式，以转换为扩增二维图像；改变螺旋变换中坐标系位于三维数据中的原点位置进行螺旋变换；改变螺旋变换中坐标轴正方向相对于三维数据的角度和方向进行螺旋变换；将所述三维图像数据进行水平翻转，再进行螺旋变换；将所述三维图像数据进行垂直翻转，再进行螺旋变换；将所述三维图像数据进行放大、缩小或拉伸，再进行螺旋变换；改变所述三维图像数据的颜色饱和度、对比度、亮度，再进行螺旋变换；
将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
2.根据权利要求1所述的深度学习中螺旋变换数据扩增方法，其特征在于，
所述三维图像数据包括磁共振影像，所述磁共振影像呈现有感兴趣目标区域。
3.根据权利要求1所述的深度学习中螺旋变换数据扩增方法，其特征在于，所述构建所述方位角和高程角的转换关系的步骤包括：
通过所述方位角和高程角在取值范围内均匀变化构建所述转换关系；或
通过令采样点的面密度和体密度相等构建所述转换关系；或
通过指定的预设采样点分布规则构建所述转换关系。
4.根据权利要求1所述的深度学习中螺旋变换数据扩增方法，其特征在于，在所述结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线的步骤之后，将所述三维图像数据进行螺旋变换，以转换为原始二维图像的步骤还包括：
在所述三维图像数据中对应确定所述螺旋线上所有点的位置坐标；
根据所述位置坐标计算所述螺旋线上所有点的灰度值，将所述灰度值填充到二维矩阵中，以得到螺旋变换展开的二维图像。
5.一种深度学习中螺旋变换数据扩增系统，其特征在于，所述深度学习中螺旋变换数据扩增系统包括：
数据获取模块，用于获取三维图像数据，所述三维图像数据包括至少一种成像参数对应的图像数据；
第一变换模块，用于将所述三维图像数据进行螺旋变换，以转换为原始二维图像；选取感兴趣目标区域中的变换参考点作为螺旋变换中点；根据所述螺旋变换中点到所述感兴趣目标区域边缘的最大距离确定螺旋变换最大半径；结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线，所述螺旋变换半径为所述螺旋变换中点到所述感兴趣目标区域边缘中任一点的距离，处于所述螺旋变换最大半径确定的范围内；其中，所述变换角度包括方位角和高程角，所述结合螺旋变换半径、变换角度和所述螺旋变换中点生成螺旋线的步骤包括：构建所述方位角和高程角的转换关系；结合所述转换关系和螺旋变换半径生成螺旋线；
第二变换模块，用于改变三维图像数据螺旋变换的方式，以转换为扩增二维图像；改变螺旋变换中坐标系位于三维数据中的原点位置进行螺旋变换；改变螺旋变换中坐标轴正方向相对于三维数据的角度和方向进行螺旋变换；将所述三维图像数据进行水平翻转，再进行螺旋变换；将所述三维图像数据进行垂直翻转，再进行螺旋变换；将所述三维图像数据进行放大、缩小或拉伸，再进行螺旋变换；改变所述三维图像数据的颜色饱和度、对比度、亮度，再进行螺旋变换；
数据整合模块，用于将所述原始二维图像和所述扩增二维图像进行数据整合后组成二维图像集。
6.一种介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述的深度学习中螺旋变换数据扩增方法。
7.一种计算机设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述计算机设备执行如权利要求1至4中任一项所述的深度学习中螺旋变换数据扩增方法。
CN202010098682.XA 2020-02-18 2020-02-18 深度学习中螺旋变换数据扩增方法、系统、介质及设备 Active CN111292230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098682.XA CN111292230B (zh) 2020-02-18 2020-02-18 深度学习中螺旋变换数据扩增方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098682.XA CN111292230B (zh) 2020-02-18 2020-02-18 深度学习中螺旋变换数据扩增方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN111292230A CN111292230A (zh) 2020-06-16
CN111292230B true CN111292230B (zh) 2023-04-28

Family

ID=71029285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098682.XA Active CN111292230B (zh) 2020-02-18 2020-02-18 深度学习中螺旋变换数据扩增方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN111292230B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699952B (zh) * 2021-01-06 2021-08-24 哈尔滨市科佳通用机电股份有限公司 基于深度学习的列车故障图像扩增方法及系统
TWI838785B (zh) * 2022-07-06 2024-04-11 中國醫藥大學 三維醫療影像的建構方法
CN116512254B (zh) * 2023-04-11 2024-01-23 中国人民解放军军事科学院国防科技创新研究院 基于方向的机械臂智能控制方法及系统、设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055996A (zh) * 2011-02-23 2011-05-11 南京航空航天大学 基于空间逐层扫描的真三维立体显示系统及其显示方法
CN106960465A (zh) * 2016-12-30 2017-07-18 北京航空航天大学 一种基于方向场和螺旋线匹配的单幅图像头发重建方法
WO2018196371A1 (zh) * 2017-04-26 2018-11-01 华南理工大学 一种三维手指静脉识别方法及系统
WO2019057190A1 (zh) * 2017-09-25 2019-03-28 腾讯科技（深圳）有限公司 知识图谱的展示方法、装置、终端设备及可读存储介质
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055996A (zh) * 2011-02-23 2011-05-11 南京航空航天大学 基于空间逐层扫描的真三维立体显示系统及其显示方法
CN106960465A (zh) * 2016-12-30 2017-07-18 北京航空航天大学 一种基于方向场和螺旋线匹配的单幅图像头发重建方法
WO2018196371A1 (zh) * 2017-04-26 2018-11-01 华南理工大学 一种三维手指静脉识别方法及系统
WO2019057190A1 (zh) * 2017-09-25 2019-03-28 腾讯科技（深圳）有限公司 知识图谱的展示方法、装置、终端设备及可读存储介质
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tao Yan等.Depth Estimation From a Light Field Image Pair With a Generative Model .IEEE ACCESS.2019,12768-12778. *

Also Published As

Publication number Publication date
CN111292230A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111275130B (zh) 基于多模态的深度学习预测方法、系统、介质及设备
Liu et al. Learning to infer implicit surfaces without 3d supervision
CN113569979B (zh) 一种基于注意力机制的三维物体点云分类方法
US12254538B2 (en) Devices and process for synthesizing images from a source nature to a target nature
Liu et al. Pulmonary nodule classification in lung cancer screening with three-dimensional convolutional neural networks
Rundo et al. Image biomarkers and explainable AI: handcrafted features versus deep learned features
Shaukat et al. Computer-aided detection of lung nodules: a review
CN111292230B (zh) 深度学习中螺旋变换数据扩增方法、系统、介质及设备
Arafati et al. Generalizable fully automated multi-label segmentation of four-chamber view echocardiograms based on deep convolutional adversarial networks
Li et al. Deep learning of mammary gland distribution for architectural distortion detection in digital breast tomosynthesis
Lee et al. Reducing the model variance of a rectal cancer segmentation network
Tan et al. Pulmonary nodule detection using hybrid two‐stage 3D CNNs
Zhou et al. Fast learning of signed distance functions from noisy point clouds via noise to noise mapping
Saha et al. AI-driven quantification of ground glass opacities in lungs of COVID-19 patients using 3D computed tomography imaging
Gao et al. Augmenting LIDC dataset using 3D generative adversarial networks to improve lung nodule detection
Dinesh et al. Point cloud sampling via graph balancing and Gershgorin disc alignment
Haiying et al. False-positive reduction of pulmonary nodule detection based on deformable convolutional neural networks
Zhou et al. Interactive medical image segmentation using snake and multiscale curve editing
Peng et al. Boundary delineation in transrectal ultrasound images for region of interest of prostate
Dong et al. An improved supervoxel 3D region growing method based on PET/CT multimodal data for segmentation and reconstruction of GGNs
Dinesh et al. Point cloud video super-resolution via partial point coupling and graph smoothness
Tata et al. 3D GANs and Latent Space: A comprehensive survey
Liu et al. Famf-net: Feature alignment mutual attention fusion with region awareness for breast cancer diagnosis via imbalanced data
Gong Axis-aligned gaussian splatting for radiance fields
CN113643421B (zh) 图像的三维重建方法和三维重建装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant