CN106406540A - 一种姿态传感装置及一种虚拟现实系统 - Google Patents
一种姿态传感装置及一种虚拟现实系统 Download PDFInfo
- Publication number
- CN106406540A CN106406540A CN201610899643.3A CN201610899643A CN106406540A CN 106406540 A CN106406540 A CN 106406540A CN 201610899643 A CN201610899643 A CN 201610899643A CN 106406540 A CN106406540 A CN 106406540A
- Authority
- CN
- China
- Prior art keywords
- pose data
- sensing device
- implementing helmet
- main frame
- virtual implementing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种姿态传感装置及一种虚拟现实系统,该姿态传感装置包括集成在一块电路板上的传感器模组、传感器中枢、微控制器以及连接器;姿态传感装置通过连接器连接到待测设备的主板;传感器模组实时采集待测设备的原始姿态数据,传感器中枢将原始姿态数据变换为三维姿态数据,微控制器通过连接器将原始姿态数据以及三维姿态数据发送给待测设备,从而减轻了待测设备主板上的处理器的负担,节省了处理资源,并且模块化的姿态传感装置也便于根据需要随时进行调整和更换。
Description
技术领域
本发明涉及虚拟现实技术领域,具体涉及一种姿态传感装置及一种虚拟现实系统。
背景技术
随着虚拟现实技术的快速发展,出现了各种虚拟现实产品。在使用虚拟现实头盔等设备的过程中,通常需要获知其方位状态,以满足头部运动跟踪等应用需求。
为了实现上述功能,现有的解决方案是:将各种传感器(Sensor)集成在虚拟现实头盔的主板上,并将所有的传感器分别连接到虚拟现实头盔的微控制器(MCU)。利用各种传感器采集原始数据,再通过微控制器查询各个传感器并进行算法处理。
现有的解决方案将所有的传感器和相关的微控制器均集成在虚拟现实头盔的主板上,传感器的种类较多,每一种传感器都需要微控制器有针对性地进行编程处理,控制复杂;微处理器需要处理来自各种传感器的大量数据,占用了微处理器较多的处理资源,使原本资源紧张的微处理器进一步降低了处理效率;同时受限于控制器的性能,传感器本身的特性也不能得到充分的发挥。若是采用更高性能的微控制器则会大大增加产品的成本,并且发热量也和功耗会相应增加,不利于用户体验。
另一方面,传感器和相关的微控制器均集成在虚拟现实头盔的主板上,当传感器采集数据的准确度或者采用的姿态算法不能满足用户的需求时,难以进行调整或更换;对于原本没有内置传感器的一些头戴显示设备,也不便于进行功能拓展,限制了传感器的使用。
发明内容
本发明提供了一种姿态传感装置及一种虚拟现实系统,以解决目前将所有的传感器和相关的微控制器集成在虚拟现实头盔的主板上,会增加虚拟现实头盔主板上的处理器的负担,并且不利于根据用户需求调整虚拟现实头盔中的传感器及相关算法,限制了传感器使用的问题。
根据本发明的一个方面,本发明提供了一种姿态传感装置,包括集成在一块电路板上、依次连接的传感器模组、传感器中枢、微控制器以及连接器;所述姿态传感装置通过所述连接器连接到待测设备的主板;
所述传感器模组,用于实时采集所述待测设备的原始姿态数据,并将原始姿态数据发送给所述传感器中枢;
所述传感器中枢,用于将接收到的原始姿态数据变换为三维姿态数据,并将所述三维姿态数据和所述原始姿态数据一起发送给所述微控制器;
所述微控制器,用于通过所述连接器将所述原始姿态数据以及所述三维姿态数据发送给所述待测设备。
根据本发明的另一个方面,本发明提供了一种虚拟现实系统,包括主机、虚拟现实头盔、以及上述的姿态传感装置;
所述姿态传感装置安装固定在所述虚拟现实头盔上,随所述虚拟现实头盔运动,并通过其上的连接器连接到所述主机;所述主机连接所述虚拟现实头盔;
所述姿态传感装置利用其上的传感器模组测量所述虚拟现实头盔的原始姿态数据,利用其上的传感器中枢将所述原始姿态数据变换为三维姿态数据,并利用其上的微控制器通过所述连接器将所述三维姿态数据和所述原始姿态数据一起发送给所述主机;
所述主机根据接收的所述三维姿态数据和所述原始姿态数据对相关图像做变形处理,并将变形处理后的图像发送给所述虚拟现实头盔,由所述虚拟现实头盔的显示设备进行显示。
本发明的有益效果是:本发明实施例提供的姿态传感装置将传感器模组、传感器中枢、微控制器以及连接器依次连接并集成到一块电路板上,通过连接器与待测设备的主板相连,传感器模组实时采集原始姿态数据,传感器中枢将原始姿态数据变换为三维姿态数据,微控制器通过连接器将原始姿态数据以及三维姿态数据发送给待测设备,减轻了待测设备的主板的处理器的负担,节省了处理资源,模块化的姿态传感装置也便于根据需要随时进行调整和更换。
本发明实施例提供的虚拟现实系统中,将本发明实施例提供的姿态传感装置安装固定在虚拟现实头盔中,利用该姿态传感装置获取姿态数据并发送给主机,由主机根据接收的姿态数据对相关图像做变形处理,并将变形处理后的图像发送给所述虚拟现实头盔的显示设备进行显示,减轻了虚拟现实头盔的处理器的负担,节省了处理资源,并且也降低了功耗;同时,免除了在虚拟现实头盔的处理器上做姿态算法的过程,使获取姿态数据的过程不必依赖虚拟现实头盔,降低了虚拟现实产品开发的难度,加快了产品上市的步伐。
附图说明
图1是本发明一个实施例提供的一种姿态传感装置的功能框图;
图2是本发明一个实施例提供的一种姿态传感装置的主要电路原理图;
图3是本发明一个实施例提供的一种虚拟现实系统的结构框图。
具体实施方式
本发明的设计构思是:目前的虚拟现实头盔都是将各种传感器集成在主板上,利用主板上的处理器控制各个传感器,从传感器中获取数据并变换为三维姿态数据,主板上的处理器需要处理大量的数据,占用了大量的处理资源,也不便于对传感器种类和数量的调整。针对这种情况,本发明将各种传感器集成到一块独立的电路板上,可通过连接器与虚拟现实头盔的主板相连,并且在该电路板上集成传感器中枢,负责传感器的控制和姿态数据的变换,减轻了虚拟现实头盔主板上的处理器的负担,节省了处理资源,模块化的姿态传感装置也便于根据需要随时进行调整和更换。
实施例一
图1是本发明一个实施例提供的一种姿态传感装置的功能框图,参见图1,本实施例提供的姿态传感装置包括依次连接的传感器模组110、传感器中枢(Sensor Hub)120、微控制器130以及连接器140。
传感器模组110、传感器中枢120、微控制器130以及连接器140集成在一块电路板上,通过连接器140可以连接到待测设备的主板,扩展待测设备的功能。
传感器模组110实时采集待测设备的原始姿态数据后,传感器中枢120利用内置的快速九轴姿态算法将原始的姿态数据变换为三维姿态数据,微控制器130通过连接器140将原始姿态数据以及三维姿态数据发送给待测设备。对于待测设备,当本实施例的姿态传感装置连接到其主板上之后,在功能上等同于直接集成在主板上,因此姿态传感装置不需要额外与待测设备或其上位机建立连接,也不需要复杂的控制程序;姿态传感装置中集成有传感器中枢120,可完成对原始姿态数据的处理,直接生成三维姿态数据,节省了待测设备主板上的处理器的处理资源,并且传感器中枢的功耗较低、发热量也小,可以提供更好的用户体验。
优选地,本实施例中的传感器模组110包括三轴陀螺仪111、三轴加速度计112、三轴磁力仪113。三轴陀螺仪111用于测量转动角速度,三轴加速度计112用于测量加速度,三轴磁力仪113用于测量当前空间磁场方向的3个正交方向的分量,测得的数据作为原始姿态数据。
进一步优选地,本实施例中的传感器模组110还包括用于采集环境温度的温度仪114,传感器中枢120根据温度仪114采集的温度值校正传感器模组110采集的原始传感数据,例如对其中的三轴陀螺仪113采集的角速度进行校正,从而实现对三维姿态数据的温度补偿,避免环境温度对姿态数据产生干扰。
图2是本发明一个实施例提供的一种姿态传感装置的主要电路原理图,参见图2,三轴磁力仪U3、三轴陀螺仪U4和三轴加速度计U5分别通过IIC总线的方式连接到传感器中枢U2的输入端口,传感器中枢U2通过IIC总线从三轴磁力仪U3、三轴陀螺仪U4和三轴加速度计U5获取磁场方向、角速度、加速度的原始姿态数据后,利用内置的快速九轴姿态算法将原始姿态数据变换为以四元数、欧拉角表示三维姿态数据。
传感器中枢U2的输出端口同样通过IIC总线的方式连接到微控制器U1,微控制器U1通过IIC总线从传感器中枢U2获取原始姿态数据和三维姿态数据之后,通过连接器J2向待测设备主板上的处理器发送中断请求,主板上的处理器接收到中断请求之后暂停当前正在执行的程序,接收微控制器U1通过连接器J2发送的原始姿态数据和三维姿态数据,数据接收完成之后主板上的处理器继续执行原来被暂停的程序。主板上的处理器并不需要查询姿态传感装置的状态,在姿态数据还未准备好时,主板上的处理器可以执行其他程序而不是循环等待,节省了处理器的时间和处理资源。
连接器J2可选用Micro USB连接器,Micro USB使用便利,尺寸小,便于姿态传感装置与待测设备相连接。
实施例二
图3是本发明一个实施例提供的一种虚拟现实系统的结构框图,参见图3,本实施例提供的虚拟现实系统包括:包括主机310、虚拟现实头盔320、以及实施例一中的姿态传感装置330。姿态传感装置330安装固定在虚拟现实头盔320上,随虚拟现实头盔320运动,并通过其上的连接器连接到虚拟现实头盔320的主板。
姿态传感装置330利用其上的传感器模组采集虚拟现实头盔320的原始姿态数据,利用其上的传感器中枢将原始姿态数据变换为三维姿态数据,并利用其上的微控制器通过连接器将三维姿态数据和原始姿态数据一起发送给主机310。主机310根据接收的三维姿态数据和原始姿态数据对相关图像做变形处理,并将变形处理后的图像发送给虚拟现实头盔320,由虚拟现实头盔320的屏幕进行显示。
本实施例中的虚拟现实系统可以为一体式的虚拟现实系统,即将主机310集成在虚拟现实头盔320中,例如现有的虚拟现实一体机或“手机+虚拟现实眼镜盒”的设备。目前大部分智能手机都具备Micro USB接口,因此姿态传感装置330的连接器可选用Micro USB连接器,尺寸小,便于连接。
可以在虚拟现实头盔320中预留安装姿态传感装置330的空间,在需要获取虚拟现实头盔320的姿态信息时,将姿态传感装置330安装到相应的位置,对于原本不具有监测姿态的功能的简易头戴显示设备,也可以容易地进行功能扩展。
本实施例中的虚拟现实系统也可以为分体式的虚拟现实系统,主机310通过有线的方式或无线的方式连接虚拟现实头盔320。
有线连接方式:虚拟现实头盔320与主机310之间连接有一条视频信号线和一条控制信号线,虚拟现实头盔320通过控制信号线向主机310发送图像变形处理指令,主机310通过视频信号线将变形处理后的图像发送给虚拟现实头盔320。
无线连接方式:虚拟现实头盔320通过无线方式向主机310发送图像变形处理指令以及三维姿态数据,主机310通过无线方式接收处理指令以及三维姿态数据,将变形处理后的图像发送给虚拟现实头盔320。
姿态传感装置330中集成的传感器中枢代替虚拟现实头盔320中的处理器完成了对各种传感器的控制和三维姿态数据变换的任务,减轻了虚拟现实头盔320的处理器的负担,节省了处理资源,并且也降低了功耗,同时也免除了在虚拟现实头盔320的处理器上做姿态算法的过程,使获取姿态数据的过程不必依赖虚拟现实头盔320,降低了开发的难度,加快了产品上市的步伐。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种姿态传感装置,其特征在于,包括集成在一块电路板上、依次连接的传感器模组、传感器中枢、微控制器以及连接器;所述姿态传感装置通过所述连接器连接到待测设备的主板;
所述传感器模组,用于实时采集所述待测设备的原始姿态数据,并将原始姿态数据发送给所述传感器中枢;
所述传感器中枢,用于将接收到的原始姿态数据变换为三维姿态数据,并将所述三维姿态数据和所述原始姿态数据一起发送给所述微控制器;
所述微控制器,用于通过所述连接器将所述原始姿态数据以及所述三维姿态数据发送给所述待测设备。
2.如权利要求1所述的姿态传感装置,其特征在于,所述传感器模组包括三轴陀螺仪、三轴加速度计、三轴磁力仪;
所述三轴陀螺仪,用于测量转动角速度;
所述三轴加速度计,用于测量加速度;
所述三轴磁力仪,用于测量当前空间磁场方向的3个正交方向的分量。
3.如权利要求2所述的姿态传感装置,其特征在于,
所述三轴陀螺仪、三轴加速度计和三轴磁力仪分别通过IIC总线的方式连接到所述传感器中枢的输入端口;
所述传感器中枢通过IIC总线从所述三轴陀螺仪、三轴加速度计和三轴磁力仪获取角速度、加速度、磁场方向的原始姿态数据后,利用内置的快速九轴姿态算法将所述原始姿态数据变换为三维姿态数据。
4.如权利要求3所述的姿态传感装置,其特征在于,所述传感器模组还包括用于采集环境温度的温度仪;所述传感器中枢还用于根据所述温度仪采集的温度值对所述三维姿态数据进行温度漂移补偿。
5.如权利要求4所述的姿态传感装置,其特征在于,所述传感器中枢的输出端口通过IIC总线的方式连接到所述微控制器;
所述微控制器通过IIC总线从所述传感器中枢获取所述原始姿态数据和所述三维姿态数据之后,通过所述连接器以中断的方式发送给所述待测设备。
6.如权利要求5所述的姿态传感器,其特征在于,所述连接器为MicroUSB连接器。
7.一种虚拟现实系统,包括主机、虚拟现实头盔、以及如权利要求1-6任一项所述的姿态传感装置;
所述姿态传感装置安装固定在所述虚拟现实头盔上,随所述虚拟现实头盔运动,并通过其上的连接器连接到所述主机;所述主机连接所述虚拟现实头盔;
所述姿态传感装置利用其上的传感器模组测量所述虚拟现实头盔的原始姿态数据,利用其上的传感器中枢将所述原始姿态数据变换为三维姿态数据,并利用其上的微控制器通过所述连接器将所述三维姿态数据和所述原始姿态数据一起发送给所述主机;
所述主机根据接收的所述三维姿态数据和所述原始姿态数据对相关图像做变形处理,并将变形处理后的图像发送给所述虚拟现实头盔,由所述虚拟现实头盔的显示设备进行显示。
8.如权利要求7所述的虚拟现实系统,其特征在于,所述主机集成在所述虚拟现实头盔中。
9.如权利要求7所述的虚拟现实系统,其特征在于,所述虚拟现实头盔与所述主机之间连接有一条视频信号线和一条控制信号线;
所述虚拟现实头盔通过所述控制信号线向所述主机发送图像变形处理指令;
所述主机通过所述视频信号线将变形处理后的图像发送给所述虚拟现实头盔。
10.如权利要求7所述的虚拟现实系统,其特征在于,所述虚拟现实头盔无线连接所述主机;
所述虚拟现实头盔以无线方式向所述主机发送图像变形处理指令以及所述三维姿态数据,并以无线方式接收所述主机发送的变形处理后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610899643.3A CN106406540B (zh) | 2016-10-14 | 2016-10-14 | 一种姿态传感装置及一种虚拟现实系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610899643.3A CN106406540B (zh) | 2016-10-14 | 2016-10-14 | 一种姿态传感装置及一种虚拟现实系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106406540A true CN106406540A (zh) | 2017-02-15 |
| CN106406540B CN106406540B (zh) | 2024-06-18 |
Family
ID=58011797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610899643.3A Active CN106406540B (zh) | 2016-10-14 | 2016-10-14 | 一种姿态传感装置及一种虚拟现实系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106406540B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888372A (zh) * | 2017-02-17 | 2017-06-23 | 北京轻威科技有限责任公司 | 一种无线虚拟现实头盔 |
| WO2022061495A1 (zh) * | 2020-09-22 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 参数标定方法、装置及可移动平台 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013029512A (ja) * | 2011-07-28 | 2013-02-07 | Memsic Inc | 携帯型電子デバイスのための、磁場センサおよび加速度計を使用して姿勢および角速度を検知するシステムおよび方法 |
| CN203519011U (zh) * | 2013-10-15 | 2014-04-02 | 顾捷 | 一种姿态传感器 |
| CN204631773U (zh) * | 2015-04-17 | 2015-09-09 | 杭州豚鼠科技有限公司 | 体感交互系统 |
| CN104898829A (zh) * | 2015-04-17 | 2015-09-09 | 杭州豚鼠科技有限公司 | 体感交互系统 |
| WO2016090565A1 (en) * | 2014-12-10 | 2016-06-16 | Intel Corporation | Fitness sensor with low power attributes in sensor hub |
| CN205486161U (zh) * | 2016-01-08 | 2016-08-17 | 北京永利范思科技有限公司 | 一种虚拟现实头盔的头部运动捕捉装置 |
| CN206282241U (zh) * | 2016-10-14 | 2017-06-27 | 北京小鸟看看科技有限公司 | 一种姿态传感装置及一种虚拟现实系统 |
-
2016
- 2016-10-14 CN CN201610899643.3A patent/CN106406540B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013029512A (ja) * | 2011-07-28 | 2013-02-07 | Memsic Inc | 携帯型電子デバイスのための、磁場センサおよび加速度計を使用して姿勢および角速度を検知するシステムおよび方法 |
| CN203519011U (zh) * | 2013-10-15 | 2014-04-02 | 顾捷 | 一种姿态传感器 |
| WO2016090565A1 (en) * | 2014-12-10 | 2016-06-16 | Intel Corporation | Fitness sensor with low power attributes in sensor hub |
| CN204631773U (zh) * | 2015-04-17 | 2015-09-09 | 杭州豚鼠科技有限公司 | 体感交互系统 |
| CN104898829A (zh) * | 2015-04-17 | 2015-09-09 | 杭州豚鼠科技有限公司 | 体感交互系统 |
| CN205486161U (zh) * | 2016-01-08 | 2016-08-17 | 北京永利范思科技有限公司 | 一种虚拟现实头盔的头部运动捕捉装置 |
| CN206282241U (zh) * | 2016-10-14 | 2017-06-27 | 北京小鸟看看科技有限公司 | 一种姿态传感装置及一种虚拟现实系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888372A (zh) * | 2017-02-17 | 2017-06-23 | 北京轻威科技有限责任公司 | 一种无线虚拟现实头盔 |
| WO2022061495A1 (zh) * | 2020-09-22 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 参数标定方法、装置及可移动平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106406540B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3570144B1 (en) | Electronic device for providing vr/ar content | |
| CN106445130B (zh) | 一种用于手势识别的动作捕捉手套及其校准方法 | |
| US9989924B2 (en) | Smart watch and motion gaming system | |
| CN103977539B (zh) | 颈椎康复保健辅助训练系统 | |
| US20140028547A1 (en) | Simple user interface device and chipset implementation combination for consumer interaction with any screen based interface | |
| CN104898828A (zh) | 应用体感交互系统的体感交互方法 | |
| CN202218347U (zh) | 一种动作姿态捕捉装置及系统 | |
| CN106507092A (zh) | 摄像装置及其图像处理方法、虚拟现实设备 | |
| CN111897429A (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
| CN205066776U (zh) | 一种基于数据融合的九轴姿态传感器 | |
| CN106326881B (zh) | 用于实现人机交互的手势识别方法和手势识别设备 | |
| CN104898827A (zh) | 应用体感交互系统的体感交互方法 | |
| CN204009751U (zh) | 手势识别装置 | |
| US11226675B2 (en) | Apparatus and method for adaptively configuring user interface | |
| CN106774889B (zh) | 可穿戴装置的手势识别方法及装置 | |
| CN104515532A (zh) | 基于蓝牙的人体运动仿真装置 | |
| CN207439417U (zh) | 姿态传感装置 | |
| US9251105B2 (en) | Transmitting an interrupt packet | |
| CN207637057U (zh) | 一种基于ar可穿戴带微型计算机 | |
| CN106406540A (zh) | 一种姿态传感装置及一种虚拟现实系统 | |
| CN206282241U (zh) | 一种姿态传感装置及一种虚拟现实系统 | |
| CN110757471A (zh) | 一种基于计算机视觉的舞蹈机器人的系统及其操作方法 | |
| US20210064221A1 (en) | Content processing method and electronic device for supporting same | |
| CN203139479U (zh) | 一种基于动作识别技术的跳绳运动辅助系统 | |
| CN203000939U (zh) | 一种基于动作识别技术的人体步态分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |