[go: up one dir, main page]

CN110008847B - 一种基于卷积神经网络的泳姿识别方法 - Google Patents

一种基于卷积神经网络的泳姿识别方法 Download PDF

Info

Publication number
CN110008847B
CN110008847B CN201910187104.0A CN201910187104A CN110008847B CN 110008847 B CN110008847 B CN 110008847B CN 201910187104 A CN201910187104 A CN 201910187104A CN 110008847 B CN110008847 B CN 110008847B
Authority
CN
China
Prior art keywords
layer
signal
neural network
convolutional neural
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910187104.0A
Other languages
English (en)
Other versions
CN110008847A (zh
Inventor
薛洋
庄镇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910187104.0A priority Critical patent/CN110008847B/zh
Publication of CN110008847A publication Critical patent/CN110008847A/zh
Application granted granted Critical
Publication of CN110008847B publication Critical patent/CN110008847B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的泳姿识别方法,包括：将九轴传感器安装在手腕处，记录人体游泳时手腕部的加速度和角速度信号；取出一个单位长度的待测信号进行识别分割；对分割得到的信号进行预处理，设计卷积神经网络模型结构；对卷积神经网络模型参数进行训练，将预处理后的信号输入到训练后的卷积神经网络模型中进行分类，确定信号分类结果；根据信号分类结果，确定待测信号中所要取出的单位长度的信号片段的区间，重复上述步骤。本发明通过对卷积神经网络结构进行修改，降低了其对计算资源的需求，使其能在智能可穿戴设备上对泳姿进行高效、准确的识别。

Description

一种基于卷积神经网络的泳姿识别方法
技术领域
本发明涉及人体动作识别领域，尤其涉及一种基于卷积神经网络的泳姿识别方法。
背景技术
随着腕戴式智能设备的流行，基于九轴传感器的人体动作识别在人类生活中发挥着越来越重要的作用。作为模式识别领域中一个极具挑战的研究方向，其在健康监测、老年人安全监测和智能家庭等方面均有着重要的应用。但由于设备的限制，大多数的基于腕戴式的智能设备主要采用模式匹配等算法实现功能。但近年来在模式识别领域，卷积神经网络凭借其强大的学习能力，已经成功地在计算机视觉以及自然语言处理等方向得到了应用。而在传感器信号的识别方面，卷积神经网络同样具有巨大的优势。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于卷积神经网络的泳姿识别方法。本发明通过对卷积神经网络进行一定的修改和删减，能够在腕戴式智能设备上进行准确率高的泳姿识别。
本发明的目的能够通过以下技术方案实现：
一种基于卷积神经网络的泳姿识别方法，具体步骤包括：
(1)获取九轴传感器采集的人体游泳时手腕部的加速度和角速度作为待测信号，设计卷积神经网络模型结构；
(2)取出一个单位长度的待测信号进行识别分割；
(3)对分割得到的信号进行预处理；
(4)将预处理后的信号输入到卷积神经网络模型中进行分类，确定信号分类结果；所述卷积神经网络模型为参数经过训练后的模型；
(5)根据信号分类结果，确定待测信号中所要取出的单位长度的信号片段的区间，重复步骤(2)～(5)。
具体地，所述步骤(2)中，识别并分割出待测信号片段中第一个具有完整运动周期的信号；若不能分割出待测信号片段中一个具有完整运动周期的信号，则分割出一个固定窗长的信号。
具体地，所述步骤(3)中，对分割得到的信号进行预处理为：对每一维信号进行双线性插值处理，使所有信号的长度一致。
具体地，所述步骤(1)中的卷积神经网络结构设计为：
第一层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数；
第二层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第三层为非卷积层，将第一层卷积层和第二层卷积层的输出的特征图相加；
第四层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第五层为非卷积层，将第三层卷积层和第四层卷积层的输出的特征图相加；
第六层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第七层为非卷积层，将第五层卷积层和第六层卷积层的输出的特征图相加；
第八层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第九层为非卷积层，将第七层卷积层和第八层卷积层的输出的特征图相加；
第十层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第十一层为非卷积层，将第九层卷积层和第十层卷积层的输出的特征图相加；
第十二层为全连接层，输出的通道数为5，输出经过Sigmoid函数，输出分别对应四种泳姿：蛙泳、仰泳、自由泳和蝶泳及非目标泳姿五类的概率。
具体地，所述步骤(4)中，卷积神经网络的参数经过训练得到，训练过程包括：
(4-1)搭建基于手腕处九轴传感器的待测信号的泳姿识别样本集；
(4-2)对卷积神经网络模型进行初始化；
(4-3)采用搭建的训练集对初始化后的卷积神经网络模型进行训练，训练采用反向梯度下降算法优化损失函数值的方式进行。
更进一步地，所述步骤(4-1)中样本集的搭建步骤包括：
(4-1-1)测试人员在手腕处佩戴九轴传感器，依次进行蛙泳、仰泳、自由泳和蝶泳，同时录制同步视频；
(4-1-2)根据同步视频对测试人员佩戴的九轴传感器采集的信号进行分割，分割出具有完整运动周期的信号片段，标上对应泳姿标签；
(4-1-3)采用留一法将带有标记标签的信号片段分为训练集和测试集，来自同一测试人员的所用信号片段应归到同一集合中。
更进一步地，所述步骤(4-3)中损失函数值的计算公式为：
Figure BDA0001993211320000041
其中，yi表示第i类别为真的概率，其赋值根据样本集中样本的标签，如若标签为第k类类别，则yk＝1，其他为0。而y′i为神经网络推测第i类为真的概率。
所述分类结果为卷积神经网络模型得到了五类概率值中的最大值所表示的结果。
本发明相较于现有技术，具有以下的有益效果：
1、本发明在设计卷积神经网络时考虑到智能设备计算能力及资源的限制，删除了计算开销大的全连接层，并且将卷积核设计为长条形，保证了在时域上有足够大感受野的同时，卷积层数能够不受信号维度的限制，充分考虑了多维时序信号的特点。
2、本发明以一个完整周期的游泳信号作为卷积神经网络的基本处理单元，通过双线性插值的方式使其满足卷积神经网络输入大小固定的特点，实现对泳姿的精确分类。
附图说明
图1是一种基于卷积神经网络的泳姿识别方法的流程图。
图2是本发明实施例中卷积神经网络的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为一种基于卷积神经网络的泳姿识别方法的流程图，具体步骤包括：
(1)获取九轴传感器采集的人体游泳时手腕部的加速度和角速度作为待测信号，设计卷积神经网络模型结构；
(2)取出一个单位长度的待测信号进行识别分割；
(3)对分割得到的信号进行预处理；
(4)将预处理后的信号输入到卷积神经网络模型中进行分类，确定信号分类结果；所述卷积神经网络模型为参数经过训练后的模型；
(5)根据信号分类结果，确定待测信号中所要取出的单位长度的信号片段的区间，重复步骤(2)～(5)。
具体地，所述步骤(3)中，对分割得到的信号进行预处理为：对每一维信号进行双线性插值处理，使所有信号的长度一致。
在本实施例中，所述步骤(1)中的卷积神经网络结构如图2所示，具体为：
第一层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数；
第二层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第三层为非卷积层，将第一层卷积层和第二层卷积层的输出的特征图相加；
第四层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第五层为非卷积层，将第三层卷积层和第四层卷积层的输出的特征图相加；
第六层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第七层为非卷积层，将第五层卷积层和第六层卷积层的输出的特征图相加；
第八层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第九层为非卷积层，将第七层卷积层和第八层卷积层的输出的特征图相加；
第十层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过LeakRELU函数，并且有Batch Normalization层；
第十一层为非卷积层，将第九层卷积层和第十层卷积层的输出的特征图相加；
第十二层为全连接层，输出的通道数为5，输出经过Sigmoid函数，输出分别对应四种泳姿：蛙泳、仰泳、自由泳和蝶泳及非目标泳姿五类的概率。
具体地，所述步骤(4)中，卷积神经网络的参数经过训练得到，训练过程包括：
(4-1)搭建基于手腕处九轴传感器的待测信号的泳姿识别样本集；
(4-2)对卷积神经网络模型进行初始化；
(4-3)采用搭建的训练集对初始化后的卷积神经网络模型进行训练，训练采用反向梯度下降算法优化损失函数值的方式进行。
更进一步地，所述步骤(4-1)中样本集的搭建步骤包括：
(4-1-1)测试人员在手腕处佩戴九轴传感器，依次进行蛙泳、仰泳、自由泳和蝶泳，同时录制同步视频；
(4-1-2)根据同步视频对测试人员佩戴的九轴传感器采集的信号进行分割，分割出具有完整运动周期的信号片段，标上对应泳姿标签；
(4-1-3)采用留一法将带有标记标签的信号片段分为训练集和测试集，来自同一测试人员的所用信号片段应归到同一集合中。
更进一步地，所述步骤(4-3)中损失函数值的计算公式为：
Figure BDA0001993211320000071
其中，yi表示第i类别为真的概率，其赋值根据样本集中样本的标签，如若标签为第k类类别，则yk＝1，其他为0。而y′i为神经网络推测第i类为真的概率。
具体地，所述步骤(4-2)中，卷积神经网络的初始化步骤包括：
(4-2-1)令卷积层的权重初始化均值为0，标准差为0.001的高斯分布噪声，所有偏置初始化常量0；
(4-2-2)Batch Normalization层初始化伸缩系数为1，偏置为0；
(4-2-3)训练的batch size大小设置为64，学习率为0.01，每50000次衰减至原来的0.96。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的泳姿识别方法，其特征在于，具体步骤包括：
(1)获取九轴传感器采集的人体游泳时手腕部的加速度和角速度作为待测信号，设计卷积神经网络模型结构；
(2)取出一个单位长度的待测信号进行识别分割；
(3)对分割得到的信号进行预处理；
(4)将预处理后的信号输入到卷积神经网络模型中进行分类，确定信号分类结果；所述卷积神经网络模型为参数经过训练后的模型；
(5)根据信号分类结果，确定待测信号中所要取出的单位长度的信号片段的区间，重复步骤(2)～(5)；
所述步骤(1)中的卷积神经网络结构设计为：
第一层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过Leak RELU函数；
第二层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过Leak RELU函数，并且有Batch Normalization层；
第三层为非卷积层，将第一层卷积层和第二层卷积层的输出的特征图相加；
第四层为卷积层，卷积核大小为13*2，输出的特征图通道数为36，输出经过Leak RELU函数，并且有Batch Normalization层；
第五层为非卷积层，将第三层卷积层和第四层卷积层的输出的特征图相加；
第六层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过Leak RELU函数，并且有Batch Normalization层；
第七层为非卷积层，将第五层卷积层和第六层卷积层的输出的特征图相加；
第八层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过Leak RELU函数，并且有Batch Normalization层；
第九层为非卷积层，将第七层卷积层和第八层卷积层的输出的特征图相加；
第十层为卷积层，卷积核大小为13*1，输出的特征图通道数为36，输出经过Leak RELU函数，并且有Batch Normalization层；
第十一层为非卷积层，将第九层卷积层和第十层卷积层的输出的特征图相加；
第十二层为全连接层，输出的通道数为5，输出经过Sigmoid函数，输出分别对应四种泳姿：蛙泳、仰泳、自由泳和蝶泳及非目标泳姿五类的概率；
所述步骤(2)中，识别并分割出待测信号片段中第一个具有完整运动周期的信号；若不能分割出待测信号片段中一个具有完整运动周期的信号，则分割出一个固定窗长的信号。
2.根据权利要求1所述的一种基于卷积神经网络的泳姿识别方法，其特征在于，所述步骤(3)中，对分割得到的信号进行预处理为：对每一维信号进行双线性插值处理，使所有信号的长度一致。
3.根据权利要求1所述的一种基于卷积神经网络的泳姿识别方法，其特征在于，所述步骤(4)中，卷积神经网络的参数经过训练得到，训练过程包括：
(4-1)搭建基于手腕处九轴传感器的待测信号的泳姿识别样本集；
(4-2)对卷积神经网络模型进行初始化；
(4-3)采用搭建的训练集对初始化后的卷积神经网络模型进行训练，训练采用反向梯度下降算法优化损失函数值的方式进行。
4.根据权利要求3所述的一种基于卷积神经网络的泳姿识别方法，其特征在于，所述步骤(4-1)中样本集的搭建步骤包括：
(4-1-1)测试人员在手腕处佩戴九轴传感器，依次进行蛙泳、仰泳、自由泳和蝶泳，同时录制同步视频；
(4-1-2)根据同步视频对测试人员佩戴的九轴传感器采集的信号进行分割，分割出具有完整运动周期的信号片段，标上对应泳姿标签；
(4-1-3)采用留一法将带有标记标签的信号片段分为训练集和测试集，来自同一测试人员的所用信号片段应归到同一集合中。
5.根据权利要求3所述的一种基于卷积神经网络的泳姿识别方法，其特征在于，所述步骤(4-3)中损失函数值的计算公式为：
Figure FDA0003029682860000031
其中，yi表示第i类别为真的概率，其赋值根据样本集中样本的标签，如若标签为第k类类别，则yk＝1，其他为0；而y′i为神经网络推测第i类为真的概率。
CN201910187104.0A 2019-03-13 2019-03-13 一种基于卷积神经网络的泳姿识别方法 Expired - Fee Related CN110008847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910187104.0A CN110008847B (zh) 2019-03-13 2019-03-13 一种基于卷积神经网络的泳姿识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910187104.0A CN110008847B (zh) 2019-03-13 2019-03-13 一种基于卷积神经网络的泳姿识别方法

Publications (2)

Publication Number Publication Date
CN110008847A CN110008847A (zh) 2019-07-12
CN110008847B true CN110008847B (zh) 2021-07-20

Family

ID=67166881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910187104.0A Expired - Fee Related CN110008847B (zh) 2019-03-13 2019-03-13 一种基于卷积神经网络的泳姿识别方法

Country Status (1)

Country Link
CN (1) CN110008847B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948401B2 (en) 2019-08-17 2024-04-02 Nightingale.ai Corp. AI-based physical function assessment system
CN110705496B (zh) * 2019-10-11 2023-04-18 成都乐动信息技术有限公司 一种基于九轴传感器的游泳姿势识别方法
CN114863237B (zh) * 2022-03-25 2023-07-14 中国人民解放军国防科技大学 一种用于游泳姿态识别的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107270934A (zh) * 2017-06-08 2017-10-20 海能电子(深圳)有限公司 一种基于穿戴式智能设备的游泳信息监测识别方法
CN108133160A (zh) * 2017-12-21 2018-06-08 儒安科技有限公司 基于rfid的游泳安全监控系统
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495620B2 (en) * 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
CN106237604A (zh) * 2016-08-31 2016-12-21 歌尔股份有限公司 可穿戴设备及利用其监测运动状态的方法
CN107376247B (zh) * 2017-08-16 2019-07-12 高驰运动科技(深圳)有限公司 一种基于智能手表的游泳运动分析方法和该智能手表
CN108229355B (zh) * 2017-12-22 2021-03-23 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质
CN108460322A (zh) * 2017-12-28 2018-08-28 惠州市德赛工业研究院有限公司 一种泳姿识别方法及应用
CN108345846A (zh) * 2018-01-29 2018-07-31 华东师范大学 一种基于卷积神经网络的人体行为识别方法及识别系统
CN108921210B (zh) * 2018-06-26 2021-03-26 南京信息工程大学 一种基于卷积神经网络的云分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
CN107270934A (zh) * 2017-06-08 2017-10-20 海能电子(深圳)有限公司 一种基于穿戴式智能设备的游泳信息监测识别方法
CN108133160A (zh) * 2017-12-21 2018-06-08 儒安科技有限公司 基于rfid的游泳安全监控系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kohei Hakozaki 等.Swimmer"s Stroke Estimation Using CNN and MultiLSTM.《Journal of signal processing》.2018,第22卷(第4期),全文. *
TS-ICNN: Time Sequence-Based Interval Convolutional Neural Networks for Human Action Detection and Recognition;Zhendong ZHUANG 等;《IEICE Transactions on Information and Systems》;20181031;第E101卷(第10期);全文 *
一种基于加速度传感器的虚拟手写数字特征提取及识别方法;薛洋 等;《模式识别与人工智能》;20110831;第24卷(第4期);全文 *

Also Published As

Publication number Publication date
CN110008847A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN106127108B (zh) 一种基于卷积神经网络的人手图像区域检测方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN101561868B (zh) 基于高斯特征的人体运动情感识别方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN103400154B (zh) 一种基于有监督等距映射的人体动作识别方法
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN109753891A (zh) 基于人体关键点检测的足球运动员姿势校准方法及系统
CN110008847B (zh) 一种基于卷积神经网络的泳姿识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN110348494A (zh) 一种基于双通道残差神经网络的人体动作识别方法
CN112766229A (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN103186775A (zh) 基于混合描述子的人体运动识别方法
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
CN116758621B (zh) 基于自注意力机制的遮挡人脸面部表情深度卷积识别方法
CN109801311A (zh) 一种基于深度残差网络特征的视觉目标跟踪方法
CN112784812B (zh) 一种深蹲动作识别方法
CN108009512A (zh) 一种基于卷积神经网络特征学习的人物再识别方法
CN111382699A (zh) 基于粒子群优化lstm算法的动态手势识别方法
CN114638995A (zh) 基于数据增强和伪标签的域自适应行为识别系统及方法
CN118408741A (zh) 一种基于Shapelets与图注意力网络的轴承故障检测方法
CN115905819B (zh) 基于生成对抗网络的rPPG信号生成方法及装置
CN109948686B (zh) 一种基于九轴传感信号统计特征的泳姿识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720