CN113040812A - 医学图像分析方法、装置、计算机设备和存储介质 - Google Patents
医学图像分析方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113040812A CN113040812A CN202110148160.0A CN202110148160A CN113040812A CN 113040812 A CN113040812 A CN 113040812A CN 202110148160 A CN202110148160 A CN 202110148160A CN 113040812 A CN113040812 A CN 113040812A
- Authority
- CN
- China
- Prior art keywords
- interest
- region
- image
- blood vessel
- parameter information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/481—Diagnostic techniques involving the use of contrast agents, e.g. microbubbles introduced into the bloodstream
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Clinical applications
- A61B8/0891—Clinical applications for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hematology (AREA)
- Vascular Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种医学图像分析方法、装置、计算机设备和存储介质。所述方法包括:获取待分析的血管造影图像;根据血管造影图像,得到血管造影图像中的第一感兴趣区域;对第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息;根据第一参数信息,得到分析结果;分析结果用于表示第一感兴趣区域是否满足预设的第一条件。采用本方法能够准确地得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,提高了得到的待分析的血管造影图像的分析结果的准确度。
Description
技术领域
本申请涉及医学图像技术领域,特别是涉及一种医学图像分析方法、装置、计算机设备和存储介质。
背景技术
生物可吸收支架因其具有能够避免金属支架长期存在造成的冠状动脉金属化等优势,生物可吸收支架在冠心病的介入治疗中获得了广泛应用。但是,将生物可吸收支架植入人体之前,首先需要结合病人的病灶部位以及生物可吸收支架的使用指南,判断能否可将生物可吸收支架植入。
传统技术中,主要是通过医生手动标记病人的血管造影图像中的血管,使用冠脉造影定量分析方法获取病人的血管参数,根据获取的血管参数判断病人是否适合植入生物可吸收支架。
然而,传统的判断方法,存在判断效率较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高判断病人是否适合植入生物可吸收支架效率的医学图像分析方法、装置、计算机设备和存储介质。
一种医学图像分析方法,所述方法包括:
获取待分析的血管造影图像;
根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
在其中一个实施例中,所述根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域,包括:
将所述血管造影图像输入预设的定位网络中,通过所述定位网络,得到所述血管造影图像中的第一感兴趣区域。
在其中一个实施例中,所述第一参数信息包括:所述第一感兴趣区域的位置信息、所述第一感兴趣区域中预设范围内的血管分布信息和所述预设范围内的血管形态信息、以及所述第一感兴趣区域的斑块量化分析信息。
在其中一个实施例中,所述方法还包括:
获取所述血管造影图像对应的腔内影像;
在所述腔内影像中,确定出所述第一感兴趣区域对应的第二感兴趣区域;
对所述第二感兴趣区域进行分析,得到所述第二感兴趣区域对应的第二参数信息;
根据所述第一参数信息和所述第二参数信息,得到所述分析结果。
在其中一个实施例中,所述在所述腔内影像中,确定出所述第一感兴趣区域对应的第二感兴趣区域,包括:
计算所述血管造影图像对应的第一血管直径分布图,以及所述腔内影像对应的第二血管直径分布图;
计算所述血管造影图像对应的第一血管拓扑结构关键点,以及所述腔内影像对应的第二血管拓扑结构关键点;
根据所述第一血管直径分布图、所述第二血管直径分布图、所述第一血管拓扑结构关键点和所述第二血管拓扑结构关键点,确定出所述第一感兴趣区域对应的第二感兴趣区域。
在其中一个实施例中,所述第二参数信息包括:所述第二感兴趣区域的位置信息、所述第二感兴趣区域中预设范围内的血管分布信息和所述预设范围内的血管形态信息、以及所述第二感兴趣区域的斑块量化分析信息。
在其中一个实施例中,所述腔内影像包括血管内超声图像和光学相干断层成像。
一种医学图像分析装置,所述装置包括:
第一获取模块,用于获取待分析的血管造影图像;
第二获取模块,用于根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
第一分析模块,用于对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
第三获取模块,用于根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待分析的血管造影图像;
根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待分析的血管造影图像;
根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
上述医学图像分析方法、装置、计算机设备和存储介质,通过对待分析的血管造影图像中的第一感兴趣区域进行分析,能够得到第一感兴趣区域对应的第一参数信息,进而可以根据第一感兴趣区域对应的第一参数信息,对待分析的血管造影图像进行分析,得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,由于本方法是对待分析的血管造影图像中的第一感兴趣区域进行的分析,因此根据第一感兴趣区域对应的第一参数信息,能够对待分析的血管造影图像进行准确地分析,从而能够准确地得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,提高了得到的待分析的血管造影图像的分析结果的准确度。
附图说明
图1为一个实施例中医学图像分析方法的应用环境图;
图2为一个实施例中医学图像分析方法的流程示意图;
图3为一个实施例中U-Net网络的示意图;
图4为一个实施例中计算第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息的方法示意图;
图5为一个实施例中对第一感兴趣区域的斑块进行分析的方法示意图;
图6为另一个实施例中医学图像分析方法的流程示意图;
图7为一个实施例中医学图像分析方法的流程示意图;
图7a为另一个实施例中医学图像分析方法的流程示意图;
图8为一个实施例中的报告格式示意图;
图9为一个实施例中医学图像分析装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的医学图像分析方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中,如图2所示,提供了一种医学图像分析方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取待分析的血管造影图像。
其中,待分析的血管造影图像可以为冠脉血管造影图像,也可以为其他部位的血管造影图像。具体地,计算机设备获取待分析的血管造影图像。可选的,计算机设备可以从PACS(Picture Archiving and Communication Systems,影像归档和通信系统)服务器中获取待分析的血管造影图像,也可以从对应的医学影像设备中实时地获取待分析的血管造影图像。可选的,计算机设备获取到待分析的血管造影图像后,可以对待分析的血管造影图像进行预处理,去除待分析的血管造影图像中的干扰,其中,预处理包括重采样处理、调整尺寸和灰度归一化处理等。
S202,根据血管造影图像,得到血管造影图像中的第一感兴趣区域。
具体地,计算机设备根据上述获取的血管造影图像,得到该血管造影图像中的第一感兴趣区域。可选的,计算机设备可以通过特征检测的方法得到待分析的血管造影图像中的第一感兴趣区域,也可以将待分析的血管造影图像输入预设的神经网络中,得到待分析的血管造影图像中的第一感兴趣区域。
S203,对第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息。
具体地,计算机设备对上述血管造影图像中的第一感兴趣区域进行分析,得到该第一感兴趣区域对应的第一参数信息。可选的,计算机设备可以对第一感兴趣区域的位置进行分析,也可以对第一感兴趣区域中预设范围内的血管分布信息进行分析以及该预设范围内的血管形态信息进行分析,也可以对第一感兴趣区域的斑块量进行分析。
S204,根据第一参数信息,得到分析结果;分析结果用于表示第一感兴趣区域是否满足预设的第一条件。
具体地,计算机设备根据上述得到的第一参数信息,得到用于表示上述第一感兴趣区域是否满足预设的第一条件的分析结果。可选的,预设的第一条件可以为上述第一感兴趣区域是否可以植入生物可吸收支架(BRS),也可以为上述第一感兴趣是否可以植入其他医学器件。
上述医学图像分析方法中,通过对待分析的血管造影图像中的第一感兴趣区域进行分析,能够得到第一感兴趣区域对应的第一参数信息,进而可以根据第一感兴趣区域对应的第一参数信息,对待分析的血管造影图像进行分析,得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,由于本方法是对待分析的血管造影图像(冠脉血管造影图像)中的第一感兴趣区域进行的分析,因此根据第一感兴趣区域对应的第一参数信息,能够对待分析的血管造影图像进行准确地分析,从而能够准确地得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,提高了得到的待分析的血管造影图像的分析结果的准确度。
在上述根据血管造影图像,得到血管造影图像中的第一感兴趣区域的场景中,在一个实施例中,上述S202,包括:将血管造影图像(冠脉血管造影图像)输入预设的定位网络中,通过定位网络,得到血管造影图像中的第一感兴趣区域。
具体地,计算机设备将上述待分析的血管造影图像输入预设的定位网络中,通过该定位网络,得到待分析的血管造影图像中的第一感兴趣区域。可选的,预设的定位网络可以为如图3所示的U-Net网络。可以理解的是,该预设的定位网络为预先训练好的定位网络,可选的,计算机设备可以通过大量的样本血管造影图像(冠脉血管造影图像),以及该样本血管造影图像(冠脉血管造影图像)对应的感兴趣区域的金标准图像对预设的初始定位网络进行训练,得到上述定位网络。
本实施例中,计算机设备通过将待分析的血管造影图像输入预设的定位网络中,由于该预设的定位网络为预先训练好的网络,因此,通过该定位网络能够准确地得到待分析的血管造影图像中的第一感兴趣区域;另外,通过该预设的定位网络,能够快速地得到待分析的血管造影图像中的第一感兴趣区域,从而提高了得到待分析的血管造影图像中的第一感兴趣区域的效率。
在上述对待分析的血管造影图像的第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息,根据第一参数信息,得到用于表示第一感兴趣区域是否满足预设的第一条件的分析结果的场景中,上述第一参数信息包括:第一感兴趣区域的位置信息、第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息、以及第一感兴趣区域的斑块量化分析信息。
具体地,第一感兴趣区域对应的第一参数信息包括:第一感兴趣区域的位置信息、第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息、以及第一感兴趣区域的斑块量化分析信息。相应地,计算机设备需要对第一感兴趣区域的位置进行分析、对第一感兴趣区域中预设范围内的血管分布和该预设范围内的血管形态进行分析、以及对第一感兴趣区域的斑块进行分析,下面将对以上分析过程以及根据第一参数信息得到分析结果的具体过程进行详细描述。
具体地,对第一感兴趣区域的位置进行分析,得到第一感兴趣区域的位置信息,可以包括:将待分析的血管造影图像和第一感兴趣区域的热图作为输入,传给训练好的分类网络,得到第一感兴趣区域的位置信息,可选的,训练好的分类网络可以选用经典的分类网络ResNet18网络。可选的,若计算机设备得到的第一感兴趣区域的位置信息为第一感兴趣区域位于左主干或者冠脉开口,则确定该第一感兴趣区域不满足预设的第一条件,或者,若计算机设备得到的第一感兴趣区域的位置信息为第一感兴趣区域内的桥血管病变/药物洗脱支架(DES)内再狭窄/慢性完全闭塞病变,则确定该第一感兴趣区域不满足预设的第一条件。
具体地,对第一感兴趣区域中预设范围内的血管分布和该预设范围内的血管形态进行分析,关键在于确定第一感兴趣区域中预设范围内的几何形态和几何参数,包括第一感兴趣区域中预设范围内血管两端的参考直径,血管是否分叉,分叉血管直径,病变是否连累分支以及连累分支的程度,病变血管曲度,及病变区长度等。可选的,计算机设备可以通过如图4所示的定量计算方法,得到第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息,其中,血管提取的过程可以包括:根据给定的第一感兴趣区域中预设范围和血管造影图,构造以血管造影图的图像梯度为权重的图,使用图割进行血管分割,提取该血管造影图中的血管。其中,量化分析的实现过程可以包括:根据血管分割结果,计算血管中心线树,随后计算血管直径沿血管中心线树的分布图;根据血管直径分布图,计算出血管两端参考直径、血管病变长度,主支狭窄度、血管重建线、分支狭窄度、分支直径;根据血管中心线树,计算主支血管曲度。若计算机设备得到的第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息满足:血管参考直径在2.75mm~3.75mm以外;分叉病变血管的直径<2.0mm;分叉病变血管的直径>2.0mm且狭窄度>50%;病变长度≥20mm;近端、远端参考直径差>0.25mm;血管高度迂曲(血管曲率大于人为设定的阈值)中的任意一条,则计算机设备确定上述第一感兴趣区域不满足上述预设的第一条件。
具体地,对第一感兴趣区域的斑块进行分析关键在于确定第一感兴趣区域周围的钙化分布情况、斑块成分,可选的,计算机设备可以通过如图5所示的分析过程对第一感兴趣区域的斑块进行分析,可选的,图5中的分割网络可以为U-Net网络,对该分割网络进行训练时的金标准图像可以为样本图像中各种斑块所在的标记。可选的,图5中的量化分析的具体细节如下:对于钙化区域,计算其在管腔周围的分布范围,以及钙化厚度;对于脂质和纤维帽区域,计算其大小来判断斑块类型。若计算机设备得到第一感兴趣区域的斑块量化分析信息满足:严重钙化(覆盖范围>270°厚度>500μm)、脂质斑块或钙化斑块中的任意一条,则计算机设备确定上述第一感兴趣区域不满足上述预设的第一条件。
本实施例中,由于第一感兴趣区域对应的第一参数信息包括第一感兴趣区域的位置信息、第一感兴趣区域中预设范围内的血管分布信息和该预设范围内的血管形态信息、以及第一感兴趣区域的斑块量化分析信息,从而能够使计算机设备根据第一感兴趣区域对应的第一参数信息对第一感兴趣区域进行准确地分析,进而提高了计算机设备得到的用于表示第一感兴趣区域是否满足预设的第一条件的分析结果的准确度。
在一些场景中,可能会用到除了血管造影图外的其他类型的腔内影像技术,来辅助判断当前病变的性质,例如,血管内超声图像(IVUS)和光学相干断层成像(OCT)等,在一个实施例中,如图6所示,上述方法还包括:
S601,获取血管造影图像对应的腔内影像。
具体地,计算机设备获取上述待分析的血管造影图像对应的腔内影像。可选的,待分析的血管造影图像对应的腔内影像可以包括血管内超声图像和光学相干断层成像。可选的,计算机设备可以从PACS(Picture Archiving and Communication Systems,影像归档和通信系统)服务器中获取上述待分析的血管造影图像对应的腔内影像,也可以从对应的医学影像设备中实时地获取待分析的血管造影图像对应的腔内影像。
S602,在腔内影像中,确定出第一感兴趣区域对应的第二感兴趣区域。
可以理解的是,当采用待分析的血管造影图像对应的腔内影像时,需要将血管造影图中的感兴趣区域与腔内影像中的感兴趣区域映射起来,以获得病变位置的腔内截面图。具体地,计算机设备在上述待分析的血管造影图像对应的腔内影像中,确定出上述第一感兴趣区域对应的第二感兴趣区域。可选的,计算机设备可以采用图像配准的方法,在血管造影图像对应的腔内影像中,确定出上述第一感兴趣区域对应的第二感兴趣区域。
S603,对第二感兴趣区域进行分析,得到第二感兴趣区域对应的第二参数信息。
具体地,计算机设备对上述血管造影图像对应的腔内影像中的第二感兴趣区域进行分析,得到该第二感兴趣区域对应的第二参数信息。可选的,计算机设备可以对第二感兴趣区域的位置进行分析,也可以对第二感兴趣区域中预设范围内的血管分布信息进行分析以及该预设范围内的血管形态信息进行分析,也可以对第二感兴趣区域的斑块量进行分析。可选的,第二感兴趣区域对应的第二参数信息可以包括:第二感兴趣区域的位置信息、第二感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息、以及第二感兴趣区域的斑块量化分析信息。需要说明的是,计算机设备得到第二感兴趣区域对应的第二参数信息的具体过程可参见上述实施例中对得到第一感兴趣区域对应的第一参数信息的具体描述,本实施例在此不再赘述。
S604,根据第一参数信息和第二参数信息,得到分析结果。
具体地,计算机设备根据上述第一感兴趣区域对应的第一参数信息和上述第二感兴趣区域对应的第二参数信息,得到用于表示第一感兴趣区域是否满足预设的第一条件的分析结果。可选的,若计算机设备得到的第一感兴趣区域对应的第一参数信息和第二感兴趣区域对应的第二参数信息均满足上述实施例所描述的条件,则计算机设备确定得到的分析结果表示上述第一感兴趣区域满足上述预设的第一条件;若计算机设备得到的第一感兴趣对应的第一参数信息和第二感兴趣区域对应的第二参数信息中的任一个信息不满足上述实施例所描述的条件,则计算机设备确定得到的分析结果表示上述第一感兴趣区域不满足上述预设的第一条件。
本实施例中,计算机设备通过获取待分析的血管造影图像对应的腔内影像,在该腔内影像中,确定出与待分析的血管造影图像中的第一感兴趣区域对应的第二感兴趣区域,从而可以对该第二感兴趣区域进行分析,得到第二感兴趣区域对应的第二参数信息,进而可以根据第一感兴趣区域对应的第一参数信息和第二感兴趣区域对应的第二参数信息,得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,由于第二参数信息是腔内影像中的第二感兴趣区域对应的参数信息,因此,根据待分析的血管造影图像中的第一感兴趣区域对应的第一参数信息和该血管造影图像对应的腔内影像中的第二感兴趣区域对应的第二参数信息,能够准确地得到用于表示待分析的血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果,提高了得到的分析结果的准确度。
在上述在血管造影图像对应的腔内影像中,确定出血管造影图像中的第一感兴趣区域对应的第二感兴趣区域的场景中,计算机设备可以根据血管造影图中的血管直径分布图、血管拓扑结构关键点以及腔内影像中的血管直径分布图、血管拓扑结构关键点,确定出第二感兴趣区域,在一个实施例中,如图7及图7a所示,上述S602,包括:
S701,计算血管造影图像对应的第一血管直径分布图,以及腔内影像对应的第二血管直径分布图。
具体地,计算机设备计算上述血管造影图像对应的第一血管直径分布图,以及上述腔内影像对应的第二血管直径分布图。示例性地,第一血管直径分布图的获取可以通过如下举例的一个简单方法得到:计算机设备先计算出目标血管的中心线,然后做中心线的垂线,得到垂线与血管边缘的交点位置,从而得到当前中心点的直径值,沿着中心线,按照血管由近端到远端的物理长度,绘制对应中心点的直径值,即可得到直径分布图。示例性地,第二血管直径图的获取可以通过如下举例的一个简单方法得到:计算机设备先获取每个血管截面内的所有直径,然后将最小直径作为当前截面位置的直径值,沿着中心线,按照血管由近端到远端的物理长度,绘制对应中心点的直径值,即可得到直径分布图。
S702,计算血管造影图像对应的第一血管拓扑结构关键点,以及腔内影像对应的第二血管拓扑结构关键点。
具体地,计算机设备计算上述血管造影图像对应的第一血管拓扑结构关键点,以及腔内影像对应的第二血管拓扑结构关键点。可选的,血管拓扑结构关键点的提取,可用的方法有很多,这里举例一个简单的可行方案:第一血管拓扑关键点的提取,因为是二维图像,所以可以使用交点检测获取。第二血管拓扑结构关键点的提取,因为是沿中心线的血管截面,所以可以通过一个简单的分类网络即可判断当前截面是否为分叉等结构,从而获取到拓扑信息。
S703,根据第一血管直径分布图、第二血管直径分布图、第一血管拓扑结构关键点和第二血管拓扑结构关键点,确定出第一感兴趣区域对应的第二感兴趣区域。
具体地,计算机设备根据上述得到的第一血管直径分布图、第二血管直径分布图、第一血管拓扑结构关键点和第二血管拓扑结构关键点,确定出上述第一感兴趣区域对应的第二感兴趣区域。可选的,计算机设备可以将上述第一血管直径分布图和上述第二血管直径分布图进行配准,在第一血管直径分布图和第二血管直径分布图重合的情况下,调整第一血管拓扑结构关键点和第二血管拓扑结构关键点直至重合,将第一血管拓扑结构关键点和第二血管拓扑结构关键点重合时,将第一感兴趣区域映射到腔内影像中,得到第一感兴趣区域对应的第二感兴趣区域。
本实施例中,计算机设备通过计算血管造影图像对应的第一血管直径分布图以及腔内影像对应的第二血管直径分布图,血管造影图像对应的第一血管拓扑结构关键点以及腔内影像对应的第二血管拓扑结构关键点,从而能够根据该第一血管直径分布图、第二血管直径分布图、第一血管拓扑结构关键点和第二血管拓扑结构关键点,准确地确定出第一感兴趣区域对应的第二感兴趣区域,提高了确定的第一感兴趣区域对应的第二感兴趣区域的准确度。
在一些场景中,计算机设备得到用于表示血管造影图像中的第一感兴趣区域是否满足预设的第一条件的分析结果后,为了直观地展示该分析结果,方便用户进行查看,可以采用如图8所示的报告格式,对得到的分析结果进行展示。需要说明的是,图8的报告格式仅仅是一个示例,本实施例对报告的格式并不做限制。
应该理解的是,虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可降解支架在冠脉中的应用目前来说依然是一个相对比较新的应用,现阶段临床医生对于是否可以对患者使用可降解支架,还主要依赖经验。同时也需要进行大量的手动测量操作,对冠脉病变进行测量。这对医生的临床经验、资质和测量手法都是较高的要求。而且经验判断通常复现性、一致性都比较差。目前,并没有一套完整成熟的工具来辅助、支撑医生对可降解支架的可置入性进行判断。为了解决这些问题,本申请实施例中的方案实现了血管造影图像(冠脉血管造影图像)的分析,便于后续对冠脉可降解支架的可置入性进行快速、可复现的评估。所设计的工作流动降低了对医生经验的要求,只要执行有限的操作,即可得到相对全面的评价结果,节省了医生的资源,同时也为患者提供相对稳定的服务。自动/半自动的方法让测量结果可复现,同时也为医生提供了准确的量化指标,用于进一步的评估工作。
在一个实施例中,如图9所示,提供了一种医学图像分析装置,包括:第一获取模块、第二获取模块、第一分析模块和第三获取模块,其中:
第一获取模块,用于获取待分析的血管造影图像。
第二获取模块,用于根据血管造影图像,得到血管造影图像中的第一感兴趣区域。
第一分析模块,用于对第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息。
第三获取模块,用于根据第一参数信息,得到分析结果;分析结果用于表示第一感兴趣区域是否满足预设的第一条件。
可选的,第一参数信息包括:第一感兴趣区域的位置信息、第一感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息、以及第一感兴趣区域的斑块量化分析信息。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第二获取模块,包括:获取单元,其中:
获取单元,用于将血管造影图像输入预设的定位网络中,通过定位网络,得到血管造影图像中的第一感兴趣区域。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:第四获取模块、确定模块、第二分析模块和第五获取模块,其中:
第四获取模块,用于获取血管造影图像对应的腔内影像。
确定模块,用于在腔内影像中,确定出第一感兴趣区域对应的第二感兴趣区域。
第二分析模块,用于对第二感兴趣区域进行分析,得到第二感兴趣区域对应的第二参数信息。
第五获取模块,用于根据第一参数信息和第二参数信息,得到分析结果。
可选的,第二参数信息包括:第二感兴趣区域的位置信息、第二感兴趣区域中预设范围内的血管分布信息和预设范围内的血管形态信息、以及第二感兴趣区域的斑块量化分析信息。
可选的,腔内影像包括血管内超声图像和光学相干断层成像。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述确定模块包括:第一计算单元、第二计算单元和确定单元,其中:
第一计算单元,用于计算血管造影图像对应的第一血管直径分布图,以及腔内影像对应的第二血管直径分布图。
第二计算单元,用于计算血管造影图像对应的第一血管拓扑结构关键点,以及腔内影像对应的第二血管拓扑结构关键点。
确定单元,用于根据第一血管直径分布图、第二血管直径分布图、第一血管拓扑结构关键点和第二血管拓扑结构关键点,确定出第一感兴趣区域对应的第二感兴趣区域。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于医学图像分析装置的具体限定可以参见上文中对于医学图像分析方法的限定,在此不再赘述。上述医学图像分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待分析的血管造影图像;
根据血管造影图像,得到血管造影图像中的第一感兴趣区域;
对第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息;
根据第一参数信息,得到分析结果;分析结果用于表示第一感兴趣区域是否满足预设的第一条件。
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待分析的血管造影图像;
根据血管造影图像,得到血管造影图像中的第一感兴趣区域;
对第一感兴趣区域进行分析,得到第一感兴趣区域对应的第一参数信息;
根据第一参数信息,得到分析结果;分析结果用于表示第一感兴趣区域是否满足预设的第一条件。
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种医学图像分析方法,其特征在于,所述方法包括:
获取待分析的血管造影图像;
根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域,包括:
将所述血管造影图像输入预设的定位网络中,通过所述定位网络,得到所述血管造影图像中的第一感兴趣区域。
3.根据权利要求1或2所述的方法,其特征在于,所述第一参数信息包括:所述第一感兴趣区域的位置信息、所述第一感兴趣区域中预设范围内的血管分布信息和所述预设范围内的血管形态信息、以及所述第一感兴趣区域的斑块量化分析信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述血管造影图像对应的腔内影像;
在所述腔内影像中,确定出所述第一感兴趣区域对应的第二感兴趣区域;
对所述第二感兴趣区域进行分析,得到所述第二感兴趣区域对应的第二参数信息;
根据所述第一参数信息和所述第二参数信息,得到所述分析结果。
5.根据权利要求4所述的方法,其特征在于,所述在所述腔内影像中,确定出所述第一感兴趣区域对应的第二感兴趣区域,包括:
计算所述血管造影图像对应的第一血管直径分布图,以及所述腔内影像对应的第二血管直径分布图;
计算所述血管造影图像对应的第一血管拓扑结构关键点,以及所述腔内影像对应的第二血管拓扑结构关键点;
根据所述第一血管直径分布图、所述第二血管直径分布图、所述第一血管拓扑结构关键点和所述第二血管拓扑结构关键点,确定出所述第一感兴趣区域对应的第二感兴趣区域。
6.根据权利要求5所述的方法,其特征在于,所述第二参数信息包括:所述第二感兴趣区域的位置信息、所述第二感兴趣区域中预设范围内的血管分布信息和所述预设范围内的血管形态信息、以及所述第二感兴趣区域的斑块量化分析信息。
7.根据权利要求4所述的方法,其特征在于,所述腔内影像包括血管内超声图像和光学相干断层成像。
8.一种医学图像分析装置,其特征在于,所述装置包括:
第一获取模块,用于获取待分析的血管造影图像;
第二获取模块,用于根据所述血管造影图像,得到所述血管造影图像中的第一感兴趣区域;
第一分析模块,用于对所述第一感兴趣区域进行分析,得到所述第一感兴趣区域对应的第一参数信息;
第三获取模块,用于根据所述第一参数信息,得到分析结果;所述分析结果用于表示所述第一感兴趣区域是否满足预设的第一条件。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110148160.0A CN113040812B (zh) | 2021-02-03 | 2021-02-03 | 医学图像分析方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110148160.0A CN113040812B (zh) | 2021-02-03 | 2021-02-03 | 医学图像分析方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113040812A true CN113040812A (zh) | 2021-06-29 |
| CN113040812B CN113040812B (zh) | 2023-08-22 |
Family
ID=76508596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110148160.0A Active CN113040812B (zh) | 2021-02-03 | 2021-02-03 | 医学图像分析方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113040812B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723406A (zh) * | 2021-09-03 | 2021-11-30 | 乐普(北京)医疗器械股份有限公司 | 一种对冠脉造影图像进行支架定位的处理方法和装置 |
| CN113989231A (zh) * | 2021-10-28 | 2022-01-28 | 上海联影医疗科技股份有限公司 | 动力学参数的确定方法、装置、计算机设备和存储介质 |
| CN114638878A (zh) * | 2022-03-18 | 2022-06-17 | 北京安德医智科技有限公司 | 基于深度学习的二维超声心动图管径检测方法及装置 |
| CN114881935A (zh) * | 2022-04-14 | 2022-08-09 | 北京医院 | 支架内再狭窄检测方法、装置、设备及介质 |
| CN116563201A (zh) * | 2022-01-29 | 2023-08-08 | 通用电气精准医疗有限责任公司 | 血管斑块提取装置和方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004023102A2 (en) * | 2002-09-09 | 2004-03-18 | The Board Of Regents Of The University Of Texas System | Methods of detection of progression of stenosis |
| US20110071404A1 (en) * | 2009-09-23 | 2011-03-24 | Lightlab Imaging, Inc. | Lumen Morphology and Vascular Resistance Measurements Data Collection Systems, Apparatus and Methods |
| CN103462696A (zh) * | 2013-09-17 | 2013-12-25 | 浙江大学 | 一种集成血管内光相干断层扫描(oct)影像和数字减影(dsa)影像的一体化在线实时处理仪 |
| CN109716446A (zh) * | 2016-09-28 | 2019-05-03 | 光学实验室成像公司 | 利用血管表象的支架规划系统及方法 |
| CN110613441A (zh) * | 2019-10-09 | 2019-12-27 | 南京沃福曼医疗科技有限公司 | 一种基于血流动力学原理的压力或者血流量获取方法 |
| TWI698225B (zh) * | 2019-06-11 | 2020-07-11 | 宏碁股份有限公司 | 血管狀態評估方法與血管狀態評估裝置 |
| CN111445449A (zh) * | 2020-03-19 | 2020-07-24 | 上海联影智能医疗科技有限公司 | 感兴趣区域的分类方法、装置、计算机设备和存储介质 |
| CN111523538A (zh) * | 2020-04-14 | 2020-08-11 | 博动医学影像科技(上海)有限公司 | 一种血管图像的处理方法、系统、计算设备及存储介质 |
| CN112107362A (zh) * | 2020-08-24 | 2020-12-22 | 江苏大学 | 一种冠心病的计算机辅助手术设计系统 |
-
2021
- 2021-02-03 CN CN202110148160.0A patent/CN113040812B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004023102A2 (en) * | 2002-09-09 | 2004-03-18 | The Board Of Regents Of The University Of Texas System | Methods of detection of progression of stenosis |
| US20110071404A1 (en) * | 2009-09-23 | 2011-03-24 | Lightlab Imaging, Inc. | Lumen Morphology and Vascular Resistance Measurements Data Collection Systems, Apparatus and Methods |
| CN103462696A (zh) * | 2013-09-17 | 2013-12-25 | 浙江大学 | 一种集成血管内光相干断层扫描(oct)影像和数字减影(dsa)影像的一体化在线实时处理仪 |
| CN109716446A (zh) * | 2016-09-28 | 2019-05-03 | 光学实验室成像公司 | 利用血管表象的支架规划系统及方法 |
| TWI698225B (zh) * | 2019-06-11 | 2020-07-11 | 宏碁股份有限公司 | 血管狀態評估方法與血管狀態評估裝置 |
| CN110613441A (zh) * | 2019-10-09 | 2019-12-27 | 南京沃福曼医疗科技有限公司 | 一种基于血流动力学原理的压力或者血流量获取方法 |
| CN111445449A (zh) * | 2020-03-19 | 2020-07-24 | 上海联影智能医疗科技有限公司 | 感兴趣区域的分类方法、装置、计算机设备和存储介质 |
| CN111523538A (zh) * | 2020-04-14 | 2020-08-11 | 博动医学影像科技(上海)有限公司 | 一种血管图像的处理方法、系统、计算设备及存储介质 |
| CN112107362A (zh) * | 2020-08-24 | 2020-12-22 | 江苏大学 | 一种冠心病的计算机辅助手术设计系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723406A (zh) * | 2021-09-03 | 2021-11-30 | 乐普(北京)医疗器械股份有限公司 | 一种对冠脉造影图像进行支架定位的处理方法和装置 |
| CN113723406B (zh) * | 2021-09-03 | 2023-07-18 | 乐普(北京)医疗器械股份有限公司 | 一种对冠脉造影图像进行支架定位的处理方法和装置 |
| CN113989231A (zh) * | 2021-10-28 | 2022-01-28 | 上海联影医疗科技股份有限公司 | 动力学参数的确定方法、装置、计算机设备和存储介质 |
| CN113989231B (zh) * | 2021-10-28 | 2025-09-26 | 上海联影医疗科技股份有限公司 | 动力学参数的确定方法、装置、计算机设备和存储介质 |
| CN116563201A (zh) * | 2022-01-29 | 2023-08-08 | 通用电气精准医疗有限责任公司 | 血管斑块提取装置和方法 |
| CN114638878A (zh) * | 2022-03-18 | 2022-06-17 | 北京安德医智科技有限公司 | 基于深度学习的二维超声心动图管径检测方法及装置 |
| CN114881935A (zh) * | 2022-04-14 | 2022-08-09 | 北京医院 | 支架内再狭窄检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113040812B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113040812B (zh) | 医学图像分析方法、装置、计算机设备和存储介质 | |
| US10803994B2 (en) | Vascular flow assessment | |
| CN112967220B (zh) | 评估与血管周围组织有关的ct数据集的计算机实现的方法 | |
| US12211208B2 (en) | Automated analysis of image data to determine fractional flow reserve | |
| CN113440112B (zh) | 用于估计在冠状动脉中的健康管腔直径和狭窄定量的系统和方法 | |
| JP6283399B2 (ja) | ステントの配置を計画するためのユーザインターフェースベースの医療システムの作動方法、及びステントの配置を計画する装置 | |
| JP7118464B2 (ja) | 血管圧差を取得する方法及び装置 | |
| US20220319004A1 (en) | Automatic vessel analysis from 2d images | |
| US10052032B2 (en) | Stenosis therapy planning | |
| CN106163388B (zh) | 用于处理生命体的心脏数据的处理装置和方法 | |
| JP6667999B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN110353639B (zh) | 一种基于血管增强造影的供血区定量方法及系统 | |
| CN114119602A (zh) | 对医学图像进行对象分析的方法、装置和存储介质 | |
| JP2025106078A (ja) | 多発性病変またはびまん性病変を有する導管の治療戦略を決定するための方法およびシステム | |
| CN116342463A (zh) | 支架植入效果的评估方法、装置、电子设备及介质 | |
| CN110827255A (zh) | 一种基于冠状动脉ct图像的斑块稳定性预测方法及系统 | |
| KR20180008134A (ko) | 분획 혈류 예비력 예측 방법 | |
| CN117476238B (zh) | 用于评估心肌缺血的计算流体力学仿真分析方法及系统 | |
| CN114266759B (zh) | 图像分析方法、装置及计算机设备 | |
| CN107506791B (zh) | 一种对动脉粥样硬化斑块进行分类的系统 | |
| CN115880310B (zh) | 一种视网膜oct断层分割方法、装置及设备 | |
| JP7623682B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| JP7560103B2 (ja) | 内腔の微小変形の検査装置の作動方法および検査装置 | |
| CN121416057A (zh) | 基于冠脉cta影像的pci药物球囊术后效果预测方法、系统、电子设备及计算机可读存储介质 | |
| CN120284294A (zh) | 模拟心肌血流量的方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |