CN117611869A - 基于多中心多模态的脑影像数据的多动症分类系统 - Google Patents
基于多中心多模态的脑影像数据的多动症分类系统 Download PDFInfo
- Publication number
- CN117611869A CN117611869A CN202311369418.5A CN202311369418A CN117611869A CN 117611869 A CN117611869 A CN 117611869A CN 202311369418 A CN202311369418 A CN 202311369418A CN 117611869 A CN117611869 A CN 117611869A
- Authority
- CN
- China
- Prior art keywords
- image data
- classification
- brain
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于多中心多模态的脑影像数据的多动症分类系统,所述系统包括预处理模块,用于分别对目标对象的多中心多模态的脑影像数据进行对应的预处理,得到预处理后的结构像数据和功能像数据;特征提取模块,用于计算预处理后的结构像数据中特定脑区的平均灰质体积,得到第一分类特征;及基于预处理后的功能像数据中各脑区的时间序列数据进行特征提取,得到第二分类特征;分类模块,用于将第一分类特征与第二分类特征分别输入训练完备的分类模型中,输出分类结果,其中,所述分类模型用于实现所述目标对象是否属于多动症的分类,实现了多中心多模态脑影像数据的多动症分类识别,提高多中心多模态脑影像数据的分类速度和准确率。
Description
技术领域
本申请涉及医学图像分析技术领域,特别是涉及一种基于多中心多模态的脑影像数据的多动症分类系统。
背景技术
注意缺陷多动障碍(ADHD),又称多动症,是一种常见的儿童神经发育障碍。在多动症的诊断和分类方面,已经存在一些相关的分类系统,例如使用支持向量机、随机森林等算法对多模态磁共振成像(MRI)进行分类和诊断。还有一些基于机器学习和神经网络等技术的分类系统,结合MRI脑影像学数据,研究人员可在个体水平实现对多动症患者的脑影像学数据的分类。然而,这些系统普遍存在一定的局限性,如精度不高、无法处理大规模多中心数据集等问题。
目前多中心数据存在以下缺陷导致无法处理大规模多中心数据集:首先,招募难度大。其次,数据不一致性。来自不同机构中心的数据可能存在着不同的收集标准、操作规范、技术水平和样本来源,导致数据不一致性,影响分析结果和结论的可靠性和精确性。再者,数据质量问题。机构之间在收集、存储、处理和转移数据时会存在误差和风险,如数据缺失、数据损坏、数据干扰和数据泄漏等,严重影响数据的质量和可用性。最后,统计分析问题。多中心数据具有异质性,数据的概括和比较需要采用更加复杂和精细的统计模型和方法,而该类模型和方法往往需要更加强大的计算机运算能力和技术支持。因此多中心数据在研究中虽然能够增加样本量和一般化程度,但是因为需要面对更多的难点和挑战,需要在设计、实施和分析等方面进行更加严格和周密的考虑。
此外,多动症疾病的特征不明显,对于MRI图像,肉眼几乎分辨不出。所以在特征的提取上有很大难度。并且每个样本大脑的大小不一,特异性区域组织形态不一,周围组织的形态,皮层褶皱对图像的分割有一定的干扰因素。因个体成像差异给切片图像的特异性区域精准分割增加了很大的难度。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实现数据处理一体化,提高脑影像数据的处理速度和准确度,最大化的提取多模态特征的基于多中心多模态的脑影像数据的多动症分类系统。
第一方面,本申请提供了一种基于多中心多模态的脑影像数据的多动症分类系统。所述系统包括:
预处理模块,用于分别对目标对象的多中心多模态的脑影像数据进行对应的预处理,得到预处理后的结构像数据和功能像数据;
特征提取模块,用于计算所述预处理后的结构像数据中特定脑区的平均灰质体积,得到第一分类特征;及基于所述预处理后的功能像数据中各脑区的时间序列数据进行特征提取,得到第二分类特征;
分类模块,用于将所述第一分类特征与所述第二分类特征分别输入训练完备的分类模型中,输出分类结果,其中,所述分类模型用于实现所述目标对象是否属于多动症的分类。
在其中一个实施例中,所述特征提取模块包括:
第一特征提取模块,用于基于所述预处理后的结构像数据中各脑区与健康脑区的灰质体积的差值,确定所述预处理后的结构像数据中的特定脑区,计算各所述特定脑区的平均灰质体积,得到第一分类特征;
第二特征提取模块,用于获取所述预处理后的功能像数据中各脑区的时间序列数据进行脑区相关性计算,得到各脑区的功能连接矩阵,基于所述功能连接矩阵,确定所述第二分类特征。
在其中一个实施例中,所述第一特征提取模块基于标准脑区图谱,确定所述预处理后的结构像数据中各所述脑区与所述健康脑区的灰质体积的差值,将所述差值大于设定阈值的脑区作为所述特定脑区,并将所述特定脑区的平均灰质体积作为所述第一分类特征。
在其中一个实施例中,所述第二特征获取模块基于获取到的所述预处理后的功能像数据中各脑区的时间序列数据,计算各脑区间的连接强度,基于所述连接强度,生成所述功能连接矩阵。
在其中一个实施例中,所述第二特征获取模块将所述功能连接矩阵中各脑区的连接强度利用Fisher变换转换为对应的Z值;对所述功能连接矩阵中各脑区的Z值进行排序,选取所述Z值大于预设阈值的矩阵区域,构成特征提取矩阵,并将所述特征提取矩阵的上三角区域作为所述第二分类特征。
在其中一个实施例中,所述分类模型包括第一特征通道和第二特征通道,所述分类模块将所述第一分类特征输入所述第一特征通道,所述第一特征通道连接一维卷积神经网络,输出第一特征向量;
将所述第二分类特征输入所述第二特征通道,所述第二特征通道连接残差网络,输出第二特征向量;
将所述第一特征向量与所述第二特征向量进行融合得到融合特征向量,基于所述融合特征向量,输出所述分类结果。
在其中一个实施例中,所述一维卷积神经网络包括依次连接的第一卷积层、第一批归一化层、第二卷积层、第二批归一化层、第三卷积层、第一全连接层、第二全连接层和输出层。
在其中一个实施例中,所述预处理模块包括:
第一预处理模块,用于对所述结构像数据进行去除运动伪影、校正畸变、组织分割、归一化处理中的至少一种,得到所述预处理后的结构像数据;
第二预处理模块,用于对所述功能像数据进行时间层校正、头动校正、配准、标准化、平滑滤波、归一化处理中的至少一种,得到所述预处理后的功能像数据。
在其中一个实施例中,所述预处理模块还用于:
在对所述多中心多模态脑影像数据进行预处理时,回归所述多中心多模态的脑影像数据的年龄数据和性别数据。
在其中一个实施例中,所述系统还包括:
模型训练模块,用于基于获取到的脑影像数据集,利用反向传播算法对原始神经网络模型进行迭代训练,直至所述脑影像数据的分类精度大于设定阈值,得到所述分类模型;所述脑影像数据集包括多动症结构像数据和多动症功能像数据、正常结构像数据和正常功能像数据。
上述基于多中心多模态的脑影像数据的多动症分类系统,通过预处理模块,用于分别对目标对象的多中心多模态的脑影像数据进行对应的预处理,得到预处理后的结构像数据和功能像数据;特征提取模块,用于计算所述预处理后的结构像数据中特定脑区的平均灰质体积,得到第一分类特征;及基于所述预处理后的功能像数据中各脑区的时间序列数据进行特征提取,得到第二分类特征;分类模块,用于将所述第一分类特征与所述第二分类特征分别输入训练完备的分类模型中,输出分类结果,其中,所述分类模型用于实现所述目标对象是否属于多动症的分类,最大化的提取多模态特征,实现了多中心多模态脑影像数据的多动症分类识别,提高多中心多模态脑影像数据的分类速度和准确率。
附图说明
图1为一个实施例中基于多中心多模态的脑影像数据的多动症分类系统的结构框图;
图2为其中一个实施例中特征提取模块20的结构框图;
图3为其中一个实施例中预处理模块10的结构框图;
图4为一个示例实施例中基于多中心多模态的脑影像数据的多动症分类系统的结构框图;
图5为一个示例实施例中基于多中心多模态的脑影像数据的多动症分类系统的流程框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
在一个实施例中,如图1所示,提供了一种基于多中心多模态的脑影像数据的多动症分类系统,包括预处理模块10、特征提取模块20和分类模块30,其中,预处理模块10,用于分别对目标对象的多中心多模态的脑影像数据进行对应的预处理,得到预处理后的结构像数据和功能像数据。特征提取模块20,用于计算所述预处理后的结构像数据中特定脑区的平均灰质体积,得到第一分类特征,及基于所述预处理后的功能像数据中各脑区的时间序列数据进行特征提取,得到第二分类特征。分类模块30,用于将所述第一分类特征与所述第二分类特征分别输入训练完备的分类模型中,输出分类结果,其中,所述分类模型用于实现所述目标对象是否属于多动症的分类。
上述基于多中心多模态的脑影像数据的多动症分类系统中,通过预处理模块分别对多中心多模态脑影像数据中的结构像数据和功能像数据进行预处理,再利用特征提取模块,分别对预处理后的结构像数据和功能像数据进行特征提取,最后利用分类模块基于提取到的第一分类特征和第二分类特征,输出目标对象的多中心多模态的脑影像数据的多动症分类结果,实现了多中心多模态脑影像数据的多动症分类识别,提高多中心多模态脑影像数据的分类速度和准确率。
在其中一个实施例中,所述预处理模块10在对所述多中心多模态脑影像数据进行预处理时,回归所述多中心多模态的脑影像数据的年龄数据和性别数据。
具体地,收集多个独立成像站点的静息状态脑影像数据集、每个独立成像站点为标记一个中心,考虑到多个中心不同采集设备差异和样本不均衡,在预处理模块10执行预处理的过程中,将每个中心的多模态脑影像数据进行单独处理,并回归掉年龄和性别,得到每个中心的各目标对象所对应的预处理后的结构像数据和功能像数据,减少了误差和噪声。
在其中一个实施例中,如图2所示,特征提取模块20包括第一特征提取模块201和第二特征提取模块202。
第一特征提取模块201,用于基于所述预处理后的结构像数据中各脑区与健康脑区的灰质体积的差值,确定所述预处理后的结构像数据中的特定脑区,计算各所述特定脑区的平均灰质体积,得到第一分类特征。
具体地,所述第一特征提取模块201基于标准脑区图谱,确定所述预处理后的结构像数据中各所述脑区与健康脑区的灰质体积的差值,将所述差值大于设定阈值的脑区作为所述特定脑区,并将所述特定脑区的平均灰质体积作为所述第一分类特征。
示例性地,第一特征提取模块201基于标准脑图谱AAL116,确定预处理后的结构像数据中各脑区与标准脑图谱AAL116上各健康脑区的灰质体积的差值,所述差值表示灰质体积的差异大小,提取差值最大的42个脑区作为特定脑区,并将这42个特定脑区各自的平均灰质体积作为第一分类特征。其中42个特定脑区分别为3-16、71、72、91-116脑区。
第二特征提取模块202,用于获取所述预处理后的功能像数据中各脑区的时间序列数据进行脑区相关性计算,得到各脑区的功能连接矩阵,基于所述功能连接矩阵,确定所述第二分类特征。
具体地,所述第二特征获取模块202基于获取到的所述预处理后的功能像数据中各脑区的时间序列数据,计算各脑区间的连接强度,基于所述连接强度,生成所述功能连接矩阵。
示例性地,所述第二特征获取模块202基于获取到的所述预处理后的功能像数据中各脑区的时间序列数据,计算各脑区间的连接强度,基于所述连接强度,生成所述功能连接矩阵,将所述功能连接矩阵中各脑区的连接强度利用Fisher变换转换为对应的Z值;对所述功能连接矩阵中各脑区的Z值进行排序,选取所述Z值大于预设阈值的矩阵区域,构成特征提取矩阵,并将所述特征提取矩阵的上三角区域作为所述第二分类特征。
在本实施例中,通过在特征提取模块中设置第一特征提取模块和第二特征提取模块,实现对多模态的脑影像数据的快速特征提取,提高了系统数据处理的速度,并且提取到的多模态的特征进一步提高了系统分类的准确率。
在其中一个实施例中,所述分类模型包括第一特征通道和第二特征通道。所述分类模块30将所述第一分类特征输入分类模型的第一特征通道,所述第一特征通道连接一维卷积神经网络,输出第一特征向量;将所述第二分类特征输入分类模型的第二特征通道,所述第二特征通道连接残差网络,输出第二特征向量;将所述第一特征向量与所述第二特征向量进行融合得到融合特征向量,基于所述融合特征向量,输出所述分类结果。
其中,所述一维卷积神经网络包括依次连接的第一卷积层、第一批归一化层、第二卷积层、第二批归一化层、第三卷积层、第一全连接层、第二全连接层和输出层。
如下表1所示,第一卷积层的输入尺寸为1×42的序列数据,具有三个卷积核,卷积核长度为3,步长为1。第一批归一化层对第一卷积层的输出进行归一化处理。第二卷积层的输入尺寸为16×42的特征图,具有三个卷积核,卷积核长度为3,步长为1。第二批归一化层对第二卷积层的输出进行归一化处理。第三卷积层的输入尺寸为32×42的特征图,具有三个卷积核,卷积核长度为3,步长为2。第一全连接层的输入尺寸为64×21,。第二全连接层的输入尺寸为1344×1。输出层的输出维度大小为[64,1]:
表1
可选地,一维卷积神经网络的模型参数可以根据输入的第一分类特征的长度进行相应的调整。
具体地,分类模型中的第一特征通道连接一维卷积神经网络,接收所述第一分类特征输出得到第一特征向量,第二特征通道连接残差网络,接收所述第二分类特征输出得到第二特征向量。在分类模型将第一特征向量与第二特征向量利用torch.cat()函数并行融合得到融合特征向量后,所述融合特征向量经过分类模型的多个全连接层和归一化层,最终输出该目标对象的多中心多模态脑影像数据的分类结果。
在本实施例中,通过在分类模型中设置两个特征提取通道,将两种模态提取到的特征向量进行并行融合成一个特征向量,最后经过全连接层和归一化层,从而得到分类结果的概率值输出,实现对多中心多模态的脑影像数据的分类预测,扩大分类模型的适用范围,同时提高系统的分类准确率。
在其中一个实施例中,如图3所示,所述预处理模块10包括第一预处理模块101和第二预处理模块102。
第一预处理模块101,用于对所述结构像数据进行去除运动伪影、校正畸变、组织分割、归一化处理中的至少一种,得到所述预处理后的结构像数据。
第二预处理模块102,用于对所述功能像数据进行时间层校正、头动校正、配准、标准化、平滑滤波、归一化处理中的至少一种,得到所述预处理后的功能像数据。
在本实施例中,将预处理模块10根据脑影像数据的两种不同模态,设置有第一预处理模块和第二预处理模块,分别对结构像数据和功能像数据进行预处理,得到预处理后的结构像数据和功能像数据,提高了系统处理多中心多模态脑影像数据的速度,从而提升系统的分类效率。
在其中一个实施例中,所述基于多中心多模态的脑影像数据的多动症分类系统还包括模型训练模块104,用于基于获取到的脑影像数据集,利用反向传播算法对原始神经网络模型进行迭代训练,直至所述脑影像数据的分类精度大于设定阈值,得到所述分类模型;所述脑影像数据集包括多动症结构像数据和多动症功能像数据、正常结构像数据和正常功能像数据。
具体地,基于获取到的多中心多模态的脑影像数据集,利用预处理模块20进行预处理后,得到预处理后的结构像数据和功能像数据。利用特征提取模块30分别提取到所述预处理后的结构像数据的第一分类特征和所述预处理后的功能像数据的第二分类特征。原始神经网络基于第一分类特征和第二分类特征,得到融合特征向量,输出预测分类结果。模型训练模块104基于预测分类结果利用反向传播算法对原始神经网络模型进行迭代训练,直至所述脑影像数据的分类精度大于设定阈值,得到所述分类模型。
在一个示例实施例中,如图4所示,提供一种基于多中心多模态的脑影像数据的多动症分类系统,包括预处理模块10、特征提取模块20、分类模块30和模型训练模块40。其中,预处理模块10包括第一预处理模块101和第二预处理模块102,特征提取模块20包括第一特征提取模块201和第二特征提取模块202。
收集来自8个注意缺陷多动障碍(ADHD)独立成像中心的776个静息状态的脑影像数据,包括结构像数据和功能像数据。预处理模块10中的第一预处理模块101对每个中心的结构像数据进行统一预处理,第二预处理模块102对每个中心的功能像数据进行统一预处理,回归掉年龄数据和性别数据,得到每个中心中各目标对象预处理后的结构像数据和功能像数据。
特征提取模块20中的第一特征提取模块201接收预处理后的结构像数据,对每个中心预处理后的结构像数据基于标准脑图谱AAL116,确定预处理后的结构像数据中各脑区与标准脑图谱AAL116上各健康脑区的灰质体积的差值,所述差值表示灰质体积的差异大小,提取差值最大的42个脑区作为特定脑区,并将这42个特定脑区各自的平均灰质体积作为第一分类特征。其中42个特定脑区分别为3-16、71、72、91-116脑区。第二特征获取模块202基于预处理后的功能像数据中各脑区的时间序列数据,进行脑区相关性计算,得到116×116的功能连接矩阵,将功能连接矩阵中各脑区的连接强度利用Fisher变换转换为对应的Z值后,对功能连接矩阵中各脑区的Z值进行排序,提取功能连接矩阵中Z值排在前10%的点对应的矩阵区域,构成特征提取矩阵,并将特征提取矩阵的上三角区域作为所述第二分类特征。
将第一分类特征输入分类模块30的第一特征通道,利用一维卷积神经网络1D-CNN,输出维度大小为[64,1]的第一特征向量。将第二分类特征输入分类模块30的第二特征通道,利用Resnet-18残差网络,自动输出维度大小为[256,1]的第二特征向量,将同一个目标对象的第一特征向量和第二特征向量利用torch.cat()函数并行融合得到融合特征向量,融合特征向量经过分类模型的多个全连接层和归一化层,最终输出该目标对象的多中心多模态脑影像数据的分类概率值,若分类概率值大于设定阈值,则该目标对象的多中心多模态脑影像数据为多动症数据。
模型训练模块40在分类模块30进行分类的过程中,根据每一次目标对象的分类概率值,利用反向传播算法对分类模型进行迭代训练和优化。
如图5所示,为本示例实施例中,利用上述各模块进行多中心多模态脑影像数据分类的流程框图。
示例性地,基于相同的多中心多模态脑影像数据,本申请的基于多中心多模态的脑影像数据的多动症分类系统分类结果的准确率与其他系统或方法分类结果准确率如下表2所示:
表2
上述基于多中心多模态的脑影像数据的多动症分类中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于多中心多模态的脑影像数据的多动症分类系统。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述系统包括:
预处理模块,用于分别对目标对象的多中心多模态的脑影像数据进行对应的预处理,得到预处理后的结构像数据和功能像数据;
特征提取模块,用于计算所述预处理后的结构像数据中特定脑区的平均灰质体积,得到第一分类特征;及基于所述预处理后的功能像数据中各脑区的时间序列数据进行特征提取,得到第二分类特征;
分类模块,用于将所述第一分类特征与所述第二分类特征分别输入训练完备的分类模型中,输出分类结果,其中,所述分类模型用于实现所述目标对象是否属于多动症的分类。
2.根据权利要求1所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述特征提取模块包括:
第一特征提取模块,用于基于所述预处理后的结构像数据中各脑区与健康脑区的灰质体积的差值,确定所述预处理后的结构像数据中的特定脑区,计算各所述特定脑区的平均灰质体积,得到第一分类特征;
第二特征提取模块,用于获取所述预处理后的功能像数据中各脑区的时间序列数据进行脑区相关性计算,得到各脑区的功能连接矩阵,基于所述功能连接矩阵,确定所述第二分类特征。
3.根据权利要求2所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述第一特征提取模块基于标准脑区图谱,确定所述预处理后的结构像数据中各所述脑区与所述健康脑区的灰质体积的差值,将所述差值大于设定阈值的脑区作为所述特定脑区,并将所述特定脑区的平均灰质体积作为所述第一分类特征。
4.根据权利要求2所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述第二特征获取模块基于获取到的所述预处理后的功能像数据中各脑区的时间序列数据,计算各脑区间的连接强度,基于所述连接强度,生成所述功能连接矩阵。
5.根据权利要求4所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述第二特征获取模块将所述功能连接矩阵中各脑区的连接强度利用Fisher变换转换为对应的Z值;对所述功能连接矩阵中各脑区的Z值进行排序,选取所述Z值大于预设阈值的矩阵区域,构成特征提取矩阵,并将所述特征提取矩阵的上三角区域作为所述第二分类特征。
6.根据权利要求1所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述分类模型包括第一特征通道和第二特征通道,所述分类模块将所述第一分类特征输入所述第一特征通道,所述第一特征通道连接一维卷积神经网络,输出第一特征向量;
将所述第二分类特征输入所述第二特征通道,所述第二特征通道连接残差网络,输出第二特征向量;
将所述第一特征向量与所述第二特征向量进行融合得到融合特征向量,基于所述融合特征向量,输出所述分类结果。
7.根据权利要求6所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述一维卷积神经网络包括依次连接的第一卷积层、第一批归一化层、第二卷积层、第二批归一化层、第三卷积层、第一全连接层、第二全连接层和输出层。
8.根据权利要求1所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述预处理模块包括:
第一预处理模块,用于对所述结构像数据进行去除运动伪影、校正畸变、组织分割、归一化处理中的至少一种,得到所述预处理后的结构像数据;
第二预处理模块,用于对所述功能像数据进行时间层校正、头动校正、配准、标准化、平滑滤波、归一化处理中的至少一种,得到所述预处理后的功能像数据。
9.根据权利要求1所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述预处理模块还用于:
在对所述多中心多模态脑影像数据进行预处理时,回归所述多中心多模态的脑影像数据的年龄数据和性别数据。
10.根据权利要求1所述的基于多中心多模态的脑影像数据的多动症分类系统,其特征在于,所述系统还包括:
模型训练模块,用于基于获取到的脑影像数据集,利用反向传播算法对原始神经网络模型进行迭代训练,直至所述脑影像数据的分类精度大于设定阈值,得到所述分类模型;所述脑影像数据集包括多动症结构像数据和多动症功能像数据、正常结构像数据和正常功能像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311369418.5A CN117611869A (zh) | 2023-10-19 | 2023-10-19 | 基于多中心多模态的脑影像数据的多动症分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311369418.5A CN117611869A (zh) | 2023-10-19 | 2023-10-19 | 基于多中心多模态的脑影像数据的多动症分类系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117611869A true CN117611869A (zh) | 2024-02-27 |
Family
ID=89956847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311369418.5A Pending CN117611869A (zh) | 2023-10-19 | 2023-10-19 | 基于多中心多模态的脑影像数据的多动症分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611869A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120032814A (zh) * | 2025-02-10 | 2025-05-23 | 首都医科大学附属北京天坛医院 | 一种影像处理方法和影像处理装置 |
-
2023
- 2023-10-19 CN CN202311369418.5A patent/CN117611869A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120032814A (zh) * | 2025-02-10 | 2025-05-23 | 首都医科大学附属北京天坛医院 | 一种影像处理方法和影像处理装置 |
| CN120032814B (zh) * | 2025-02-10 | 2025-08-22 | 首都医科大学附属北京天坛医院 | 一种影像处理方法和影像处理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
| US12260623B2 (en) | Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus | |
| US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN112164082A (zh) | 基于3d卷积神经网络分割多模态mr脑部图像方法 | |
| CN111341408B (zh) | 影像报告模板的生成方法、计算机设备和存储介质 | |
| CN113705595B (zh) | 异常细胞转移程度的预测方法、装置和存储介质 | |
| WO2021212715A1 (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN111798424B (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
| CN109919903A (zh) | 一种脊椎检测定位标记方法、系统及电子设备 | |
| CN118396990A (zh) | 基于深度学习的医院放射科影像自动解析方法、系统、设备以及电子介质 | |
| CN118096675A (zh) | 一种肝纤维化分期预测模型的处理方法、装置及处理设备 | |
| CN104281856A (zh) | 用于脑部医学图像分类的图像预处理方法和系统 | |
| CN118116576B (zh) | 基于深度学习的智能化病例分析方法及系统 | |
| CN113674228B (zh) | 颅脑供血区的识别方法、装置、存储介质和电子设备 | |
| WO2023226217A1 (zh) | 微卫星不稳定预测系统及其构建方法、终端设备及介质 | |
| CN117611869A (zh) | 基于多中心多模态的脑影像数据的多动症分类系统 | |
| Singh et al. | Patho-AI: a perceptive breast cancer identification and classification using deep learning methods integrated with explainable AI | |
| Ashour et al. | Non-overlapping Patch-Based Pre-trained CNN for Breast Cancer Classification | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| CN119851853A (zh) | 肝胆ct诊断报告生成方法及设备 | |
| CN114359194A (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 | |
| CN118608831A (zh) | 一种基于坐标分类的颈椎医学图像关键点检测方法和系统 | |
| Liu et al. | Detection of fetal facial anatomy in standard ultrasonographic sections based on real‐time target detection network | |
| Zhang et al. | A self-supervised fusion network for carotid plaque ultrasound image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |