CN116831560B - 一种基于骨骼关键点识别的人体身高检测方法 - Google Patents
一种基于骨骼关键点识别的人体身高检测方法Info
- Publication number
- CN116831560B CN116831560B CN202310538428.0A CN202310538428A CN116831560B CN 116831560 B CN116831560 B CN 116831560B CN 202310538428 A CN202310538428 A CN 202310538428A CN 116831560 B CN116831560 B CN 116831560B
- Authority
- CN
- China
- Prior art keywords
- image
- height
- target
- nose
- ankle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于骨骼关键点识别的人体身高检测方法,首先通过深度相机实时获取含有待测目标的图像,采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标,基于骨骼关键点的像素坐标计算图像中鼻子到脚踝的相对高度,再将任一骨骼关键点的像素坐标带入深度相机中,计算该骨骼关键点与深度相机之间的距离,然后再计算深度相机可见的纵向距离,最后计算得出待测目标的真实身高。其准确地利用深度摄像头配合骨骼检测进行人体身高测量,并且当人处于非站立姿势时也可以进行身高检测。本发明只需要一个深度图像,然后输出可靠的结果,节省了大量的人力和时间。
Description
技术领域:
本发明属于人体身高检测技术领域,具体涉及一种基于骨骼关键点识别的人体身高检测方法。
背景技术:
在日常生活当中,身高备受关注。但通过肉眼对身高进行判断总是不规范的,通过深度摄像头进行身高的判断不仅仅能提高准确性,还可以用计算机自动获取人的身高信息进行下一步的处理,近年来,随着深度学习和图像处理技术的发展,身高检测技术也在不断地发展和完善。目前的身高检测技术非常缺乏,通过神经网络进行身高检测的技术少之又少,存在的身高检测需要利用参照物进行对比,准确性和实用性有所欠缺。身高检测技术领域的发展趋势是不断地向着更加精确、多样化和个性化的方向发展。目前的身高检测放大多需要标定一个参照物,利用人与参照物的尺度比例进行换算得出人的身高,这样不仅参照物难以确定,而且算法的实现需要在固定的场景下,很不方便。
近日,加州大学圣迭戈分校和Adobe的研究人员提出了一种基于单目视觉的测量方法,它可通过测量照片内目标的高度、相机的高度和视角朝向参数来恢复出场景及目标的绝对尺度,这项技术可以在非受限的环境中利用单目视觉精确实现。图1为其检测结果图,可以发现其检测原理是对比白色的板凳进行比例换算,所以当白色板凳的大小改变时,人体的高度便随之变化,当环境内无板凳的出现时,那么人体的高度便无从检测,而且当人体处于不同姿势时,检测的高度也会随之变化,并且实时性较差。专利CN115797432 A估计图像绝对深度的方法和装置中根据骨骼关键点计算得到目标的马氏躯干指数,然后根据马氏躯干指数,通过查表的方式从马氏躯干指数与身高的对应表中得到目标的绝对身高。
在三维重建、医疗、服装尺寸等领域,人体身高数据不可或缺。在大多数情况下,我们会要求被测试者站直,然后用仪表或其他工具测量高度,这将消耗大量的时间和人力。特别是在实际应用中,如果我们没有测量工具,或者被测量的人是儿童,或者受伤不能站直,那么测量高度就会非常困难。
发明内容:
本发明的目的在于寻求设计一种基于骨骼关键点识别的人体身高检测方法,解决了目前的身高测量技术需要参照物,且无法进行人体非站立姿势的身高测量的技术问题。其根据深度相机获取的待测目标图像获得待测目标身高结果,填补目前深度学习进行身高识别的技术空白。
为了实现上述目的,本发明涉及的一种基于骨骼关键点识别的人体身高检测方法,具体包括以下步骤:
(1)通过深度相机实时获取含有待测目标的图像,图像大小为M像素×N像素,当待测目标站立时,进行步骤(2),当待测目标非站立时,进行步骤(3);
(2)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),
通过鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),计算图像中鼻子到脚踝的相对高度Y:
或
(3)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)、脖子(X1,Y1)、右臀部(X2,Y2)和右膝盖(X3,Y3)、右脚踝(X4,Y4),或鼻子(X0,Y0)、脖子(X1,Y1)、左臀部(X5,Y5)、左膝盖(X6,Y6)和左脚踝(X7,Y7),
计算图像中脖子到臀部的相对距离A,
或
计算图像中臀部到膝盖之间的相对距离B,
或
计算图像中膝盖到脚踝的相对距离C,
或
则:图像中鼻子到脚踝的相对高度Y:
Y=Y0-Y1+A+B+C;
(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中,计算该骨骼关键点与深度相机之间的距离Z,再根据以下公式计算深度相机可见的纵向距离H,
其中,Z是待测目标与摄像头之间的距离,θ是深度相机拍摄图像的纵向角度;
(5)最后根据以下公式计算得出待测目标的真实身高S:
其中,L为鼻子到脚踝真实高度,μ为待测目标的真实身高S和鼻子到脚踝高度L之间的比例常数。
具体地,深度相机为RealSense,人体骨骼检测器为openpose。
具体地,根据深度相机Realsense中的函数aligned_depth_frame.get_distance(x,y),计算待测目标与摄像头之间的实际距离Z。
与现有技术相比,本发明准确的利用深度摄像头配合骨骼检测进行人体身高测量,并且当人处于非站立姿势时也可以进行身高检测。本发明只需要一个深度图像,然后输出可靠的结果,节省了大量的人力和时间。
附图说明:
图1为现有技术中基于单目视觉的人体身高测量方法。
图2为本发明基于骨骼关键点识别的人体身高检测方法流程图。
图3为实施例1中涉及的RealSense相机照片。
图4为实施例1中涉及的Openpose的网络结构图。
图5为站立姿势时人体骨骼关键点坐标示意图。
图6为非站立姿势时人体骨骼关键点坐标示意图。
图7为站立姿势时RealSense RGB图像尺寸图。
图8为图7拍摄时目标与摄像机之间的尺寸图。
具体实施方式:
下面通过实施例对本发明作进一步描述。
实施例1:
本实施例涉及的一种基于骨骼关键点识别的人体身高检测方法,以Openpose作为人体骨骼检测器,并配合RealSense深度摄头获取深度相机与人之间的距离,结合距离信息判断人体身高,具体流程如图2所示。
本实施例通过深度相机获取的待测目标图像,图像中每个像素点的二维位置信息均可以通过像素坐标表示,深度相机还可以通过像素坐标获取每一个像素点与深度相机之间的距离,所述待测目标为人。本实施例采用的深度相机为RealSense,厂家为英特尔。目前深度相机的实现原理主要分为三种:分别是结构光,Tof,双目成像。RealSense使用的是结构光的方案。图3为RealSense相机,正面的四个摄像头,从左向右以次是左红外相机,红外点阵投射仪,右红外相机和RGB相机。。
本实施例通过人体骨骼检测器检测待测目标图像中人体的关节点作为骨骼关键点,通过骨骼关键点描述人体骨骼信息。OpenPose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库,可以实现人的面部表情、躯干和四肢甚至手指的跟踪,不仅适用于单人也适用于多人,同时具有较好的鲁棒性。可以称是世界上第一个基于深度学习的实时多人二维姿态估计,是人机交互上的一个里程碑,为机器理解人提供了一个高质量的信息维度。
本实施例涉及的一种基于骨骼关键点识别的人体身高检测方法,具体包括以下步骤:
(1)通过深度相机(RealSense)实时获取含有待测目标的图像,图像大小为M像素×N像素,当待测目标站立时,进行步骤(2),当待测目标非站立时,进行步骤(3);
本实施例中图像为RealSense RGB图像,RealSense RGB图像大小为M像素×N像素,规定图像右上角的像素坐标为(0,0),图像左下角的像素坐标值为(M,N);
(2)采用人体骨骼检测器(如openpose)获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),
通过鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),计算图像中鼻子到脚踝的相对高度Y:
或
(3)采用人体骨骼检测器(如openpose)获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)、脖子(X1,Y1)、右臀部(X2,Y2)和右膝盖(X3,Y3)、右脚踝(X4,Y4),或鼻子(X0,Y0)、脖子(X1,Y1)、左臀部(X5,Y5)、左膝盖(X6,Y6)和左脚踝(X7,Y7),
计算图像中脖子到臀部的相对距离A,
或
计算图像中臀部到膝盖之间的相对距离B,
或
计算图像中膝盖到脚踝的相对距离C,
或
则:图像中鼻子到脚踝的相对高度Y:
Y=Y0-Y1+A+B+C;
(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中,计算该骨骼关键点与深度相机之间的距离Z,再根据以下公式计算深度相机可见的纵向距离H,纵向距离H与待测目标图像中的N相对应:
其中,Z是待测目标与摄像头之间的距离,θ是深度相机拍摄图像的纵向角度;
由于拍摄时待测目标基本与深度相机平行,即任一骨骼关键点与深度相机之间的距离相同。
本实施例中,根据深度相机Realsense中的函数aligned_depth_frame.get_distance(x,y),计算待测目标与摄像头之间的实际距离Z,再根据以下公式计算RealSense摄像头可见的纵向距离H:
其中,Z是待测目标与摄像头之间的距离,θ是RealSense摄像头拍摄RealsenseRGB图像的纵向角度;
(5)最后根据以下公式计算得出待测目标的真实身高S:
其中,L为鼻子到脚踝真实高度,L与Y相对应,μ为待测目标的真实身高S和鼻子到脚踝高度L之间的比例常数,基于大量实验数据验证μ=1.07。
Claims (3)
1.一种基于骨骼关键点识别的人体身高检测方法,其特征在于,具体包括以下步骤:
(1)通过深度相机实时获取含有待测目标的图像,图像大小为M像素×N像素,当待测目标站立时,进行步骤(2),当待测目标非站立时,进行步骤(3);
(2)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),
通过鼻子(X0,Y0)和右脚踝(X4,Y4),或鼻子(X0,Y0)和左脚踝(X7,Y7),计算图像中鼻子到脚踝的相对高度Y:
或
(3)采用人体骨骼检测器获取图像中待测目标的骨骼关键点的像素坐标,包括鼻子(X0,Y0)、脖子(X1,Y1)、右臀部(X2,Y2)和右膝盖(X3,Y3)、右脚踝(X4,Y4),或鼻子(X0,Y0)、脖子(X1,Y1)、左臀部(X5,Y5)、左膝盖(X6,Y6)和左脚踝(X7,Y7),
计算图像中脖子到臀部的相对距离A,
或
计算图像中臀部到膝盖之间的相对距离B,
或
计算图像中膝盖到脚踝的相对距离C,
或
则:图像中鼻子到脚踝的相对高度Y:
Y=Y0-Y1+A+B+C;
(4)将步骤(2)或(3)中任一骨骼关键点的像素坐标带入深度相机中,计算该骨骼关键点与深度相机之间的距离Z,再根据以下公式计算深度相机可见的纵向距离H,
其中,Z是待测目标与摄像头之间的距离,θ是深度相机拍摄图像的纵向角度;
(5)最后根据以下公式计算得出待测目标的真实身高S:
其中,L为鼻子到脚踝真实高度,μ为待测目标的真实身高S和鼻子到脚踝高度L之间的比例常数,μ=1.07。
2.根据权利要求1所述的基于骨骼关键点识别的人体身高检测方法,其特征在于,深度相机为RealSense,人体骨骼检测器为openpose。
3.根据权利要求1所述的基于骨骼关键点识别的人体身高检测方法,其特征在于,根据深度相机Realsense中的函数aligned_depth_frame.get_distance(x,y),计算待测目标与摄像头之间的实际距离Z。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538428.0A CN116831560B (zh) | 2023-05-12 | 2023-05-12 | 一种基于骨骼关键点识别的人体身高检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538428.0A CN116831560B (zh) | 2023-05-12 | 2023-05-12 | 一种基于骨骼关键点识别的人体身高检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116831560A CN116831560A (zh) | 2023-10-03 |
| CN116831560B true CN116831560B (zh) | 2025-12-05 |
Family
ID=88164187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310538428.0A Active CN116831560B (zh) | 2023-05-12 | 2023-05-12 | 一种基于骨骼关键点识别的人体身高检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116831560B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119732674B (zh) * | 2025-03-06 | 2025-07-11 | 杭州汇萃智能科技有限公司 | 基于工业相机的身高测量方法、系统和可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150081773A (ko) * | 2014-01-07 | 2015-07-15 | 디노플러스 (주) | 인체 관절 정보를 이용한 신장 측정장치 및 그 방법 |
| JP2016096988A (ja) * | 2014-11-20 | 2016-05-30 | 学校法人金沢医科大学 | 身長計測方法、身長測定装置、及び、身長測定プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105054936B (zh) * | 2015-07-16 | 2017-07-14 | 河海大学常州校区 | 基于Kinect景深图像的快速身高和体重测量方法 |
| CN106022213B (zh) * | 2016-05-04 | 2019-06-07 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| KR101878095B1 (ko) * | 2017-02-07 | 2018-07-12 | 동의대학교 산학협력단 | 전방의 깊이 영상을 이용한 사람의 키 추정 방법 및 장치 |
| CN110477921B (zh) * | 2019-08-15 | 2022-02-15 | 合肥工业大学 | 基于骨架折线Ridge回归的身高测量方法 |
| CN114022532A (zh) * | 2020-07-15 | 2022-02-08 | 华为技术有限公司 | 身高测量方法、身高测量装置和终端 |
| KR102538116B1 (ko) * | 2021-01-22 | 2023-05-26 | 동의대학교 산학협력단 | 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법 |
| CN115187652B (zh) * | 2022-07-18 | 2024-07-09 | 武汉特斯雷信息技术有限公司 | 一种基于人体图像的身高测量方法及装置 |
| CN115633956A (zh) * | 2022-11-08 | 2023-01-24 | 华南理工大学 | 一种婴儿身高自动测量方法、系统、装置和存储介质 |
-
2023
- 2023-05-12 CN CN202310538428.0A patent/CN116831560B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150081773A (ko) * | 2014-01-07 | 2015-07-15 | 디노플러스 (주) | 인체 관절 정보를 이용한 신장 측정장치 및 그 방법 |
| JP2016096988A (ja) * | 2014-11-20 | 2016-05-30 | 学校法人金沢医科大学 | 身長計測方法、身長測定装置、及び、身長測定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116831560A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Viswakumar et al. | Human gait analysis using OpenPose | |
| US11017547B2 (en) | Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning | |
| CN103210421B (zh) | 物体检测装置及物体检测方法 | |
| CN110969114A (zh) | 一种人体动作功能检测系统、检测方法及检测仪 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| KR101118654B1 (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
| CN106022213A (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| Liu et al. | Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures | |
| CN110074788B (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
| TWI652039B (zh) | Simple detection method and system for sarcopenia | |
| CN109344694A (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| CN108885087A (zh) | 测量装置、测量方法和计算机可读记录介质 | |
| Wang et al. | Facial feature extraction in an infrared image by proxy with a visible face image | |
| JP3144400B2 (ja) | ジェスチャ認識装置及び方法 | |
| Jatesiktat et al. | Anatomical-marker-driven 3D markerless human motion capture | |
| Li et al. | Posture recognition technology based on kinect | |
| CN115105062A (zh) | 髋膝关节协调性评估方法、装置、系统和存储介质 | |
| CN116966086A (zh) | 一种基于实时图像优化的人体背部腧穴标定方法及系统 | |
| Lim et al. | Camera-based hand tracking using a mirror-based multi-view setup | |
| CN116831560B (zh) | 一种基于骨骼关键点识别的人体身高检测方法 | |
| CN110477921A (zh) | 基于骨架折线Ridge回归的身高测量方法 | |
| JP7136344B2 (ja) | カメラの較正方法、カメラ及びプログラム | |
| Guo et al. | Artificial intelligence-enhanced 3D gait analysis with a single consumer-grade camera | |
| JP5373128B2 (ja) | 人物特定装置、人物特定方法及び人物特定プログラム | |
| CN114821672A (zh) | 一种人体卧姿实时检测及识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |