CN115903217A - 基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 - Google Patents
基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 Download PDFInfo
- Publication number
- CN115903217A CN115903217A CN202211497774.0A CN202211497774A CN115903217A CN 115903217 A CN115903217 A CN 115903217A CN 202211497774 A CN202211497774 A CN 202211497774A CN 115903217 A CN115903217 A CN 115903217A
- Authority
- CN
- China
- Prior art keywords
- laser
- frequency
- scanning
- virtual image
- phased array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Mechanical Optical Scanning Systems (AREA)
Abstract
本发明涉及一种基于虚像相位阵列的增强现实显示器扩瞳和显示的装置和方法,该装置包括扫频激光器、调制器、准直器、反射镜、MEMS和虚像相位阵列,所述扫频激光器的输出端与所述调制器的输入端口连接,所述调制器的输出端口连接准直器,视频信号通过所述调制器对激光进行调制,调制器输出端通过光波导连接所述准直器,准直器输出后经过所述反射镜反射输出到虚像相位阵列后进行输出,所述反射镜由所述MEMS控制,沿着X方向进行扫描,所述的扫频激光器的输出光谱是实时变化的,经过所述的虚像相位阵列后会沿着Y方向进行扫描。
Description
技术领域
本发明涉及增强现实近眼显示技术领域,具体涉及一种基于虚像相位阵列的增强现实显示器扩瞳和显示的装置和方法。
背景技术
随着5G的发展,针对“下一代移动智能计算平台”,国内外掀起了一股“虚拟现实和增强现实”研究浪潮。虚拟现实通过显示设备,与现实的世界隔开,使用户沉浸在计算机生成的虚拟环境中,与虚拟世界的事物进行交互。一般只能在室内封闭环境中使用;增强现实是指计算机将生成的虚拟图像叠加到真实的场景中,用户可同时与虚拟场景和真实场景中的事物进行交互。因此,增强现实比虚拟现实交互性更强,应用范围更为广泛。头戴式显示AR(Head Mount Display,HMD)设备属于近眼显示设备,将微型显示器所成的虚像,经过光学元件耦入到人眼,外界光线通过光学器件透射到人眼,因而,用户能感受到更为真实自然的虚拟与真实场景叠加的效果,达到增强现实的目的。现有的HDM主要可分为以传统光学透镜为主的AR显示设备和以光波导光学元件为主的AR显示设备。
光波导在近眼显示设备中最大的优势就是能够进行出瞳扩展。在以传统光学透镜为显示设备的AR显示系统中,出瞳距离和视场角成反比关系。成像良好的光学系统需要较大的视场角,然而,随着视场角的增大,出瞳距离也随之减小,这将会导致观察者的眼动范围减小,眼睛只能在一个很小的锥形区域内移动才能观察到虚像。因此,以传统透镜为AR显示设备的几种方案中,无法平衡视场角和眼动范围的关系,发展受限。出瞳扩展也分为一维扩瞳和二维扩瞳,二维扩瞳是在一维扩瞳的基础上实现的。衍射光栅也可以作为波导耦合元件用在波导成像系统中,实现光波的耦合传输和扩瞳。微软的Hololens2使用了激光扫描的方法来进行扩瞳,但光学效果一般。
虚像相位阵列(VIPA:Virtually imaged phased array)是一种具有大的角色散和高分辨率的特性的光学器件,可以用来实现波分复用、色散补偿和滤波器等功能,但是由于它对入射光束要求较高、多级的衍射和损耗较大等问题应用并不是非常广泛。直到2004年,普渡大学的Shijun Xiao等人将VIPA和衍射光栅结合起来,VIPA和衍射光栅结合起来,将宽带光谱映射到二维平面上,基于VIPA的研究才逐渐多了起来。本发明是一种新型的基于虚像相位阵列的用于增强现实显示器扩瞳和显示的方法和装置,主要利用了虚像相位阵列的扩瞳特性。
发明内容
本发明旨在提供一种全新的基于虚像相位阵列的增强现实显示器扩瞳显示的装置和方法,有望改变目前增强现实光波导的扩瞳和显示技术。
为了实现上述目的,本发明提供一种基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,包括扫频激光器、调制器、光波导、准直器、反射镜、MEMS和虚像相位阵列,所述扫频激光器的输出端与所述调制器的输入端口连接,所述调制器的输出端口通过光波导连接所述准直器,视频信号通过所述调制器对激光进行调制,调制后的激光光束经过所述准直器输出后经过所述反射镜反射输出到虚像相位阵列后进行输出,所述反射镜由所述MEMS控制,沿着X方向进行扫描,所述的扫频激光器的输出光谱是实时变化的,经过虚像相位阵列后会沿着Y方向进行扫描。
所述的虚像相位阵列是一块双面镀膜的玻璃平板,所述玻璃平板的入射面除入射窗口区域镀增透膜外,其余部分均镀反射率超过99%的高反膜,出射面镀反射率为95%到98%的高反膜。
所述的扫频激光器包括红绿蓝或者红黄蓝三色激光器,扫频激光器输出的激光经过调制后合束,然后进入光波导。
优选地,所述的反射镜由一个MEMS或PZT调控,沿着x方向扫描,每个点上停留一段时间tx,在此期间,扫频激光器输出的激光经过调制后进入所述的虚像相位阵列,由于频率的变化能够进行扫频,根据不同频率,逐点沿着y方向扫描。
所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置包括横向扫描和纵向扫描两种激光扫描方式。
所述的横向扫描是指MEMS沿着x方向扫描的速度远大于扫频激光器的扫频速度,当扫频激光器稳定在某一频率时,输出光束在MEMS作用下先沿着x方向扫描,扫描一行完毕后扫频激光器调到下一频率,对应着激光开始扫描下一行;MEMS运动和扫频激光器扫频结合完成对整个图像的扫描。
所述的纵向扫描是指MEMS沿着x方向扫描的速度远小于扫频激光器的扫频速度,当MEMS稳定在某一位置时,扫频激光器调到下一频率在虚像相位阵列的作用下先沿着y方向扫描,完成一列的扫描后,MEMS移动到下一个位置,让输出光束在x方向平移,开始扫描下一列;扫频激光器扫频和MEMS运动结合完成对整个图像的扫描。
优选地,在所述的准直器与虚像相位阵列之间,还设置有汇聚透镜或柱面镜来对光束进行聚焦,使光顺利进入到虚像相位阵列的窗口。
优选地,省略掉反射镜,而直接用电机驱动准直器,进行X方向的扫描;或者省略掉反射镜和准直器,而直接用电机驱动光纤,进行X方向的扫描。
本发明提供一种基于虚像相位阵列的增强现实显示器扩瞳和显示的方法,包括以下步骤:
第一、所述的扫频激光器输出的光波长为λ1λ2……λnλn+1λn+2……λN,但是扫频激光器覆盖的波长范围只占全部带宽的一部分,外界的自然光只有一部分被遮挡了,其它波长的光能够正常通过所述的虚像相位阵列,让人能够看到外界的光;而扫频激光器输出的激光的光波长只在λ1……λN之内,因而能够通过所述的虚像相位阵列进行扩瞳,进而进入人眼,产生虚拟图像;
第二、所述的视频信号通过调制器对激光进行调制,将视频信号加载到激光上,假设视频的帧率为f,像素为M,则调制器的调制频率为Mf;在横向扫描方式中,调制器和MEMS之间保持同步关系,MEMS的扫描频率为扫频激光器扫频频率的整数倍;在纵向扫描方式中,调制器和扫频激光器之间保持同步关系,扫频激光器的频率为MEMS扫频频率的整数倍;
第三、通过光路调节,使准直器输出后的激光光束经过反射镜反射后,正好输出到虚像相位阵列的窗口;X方向的扩瞳通过MEMS控制反射镜沿着X方向不停改变反射镜方向,来实现光束沿着X方向扫描的目的;Y方向的扩瞳通过扫频激光器周期性地改变激光波长,对应着不同波长的激光,虚像相位阵列的输出光束的角度会发生变化,来实现光束沿着Y方向扫描的目的。
有益效果
与现有技术相比,本发明的有益效果是:
本发明所述的基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法作为一种新型的扩瞳和显示方式,图像信息都包含在一个光信号上,因此,可以通过1根光纤传输到系统,由于光纤具有损耗低、重量轻和抗干扰等优点,可以使控制信号与镜片完全分离开,极大地便利了AR眼镜的设计和制作,对降低眼镜的体积、重量和功耗都将起到重要作用。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的具体实施方式一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置的结构示意图。
具体实施方式
在下文中更详细地描述了本发明以有助于对本发明的理解。
如图1所示,本发明所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置包括扫频激光器1、调制器2、光波导4、准直器5、反射镜6、MEMS7和虚像相位阵列8,所述扫频激光器1的输出端与所述调制器2的输入端口连接,所述调制器2的输出端口通过光波导4连接所述准直器5,视频信号3通过所述调制器2对激光进行调制,调制也可以采取内调制的方式进行(即用视频信号3直接来对扫频激光器1进行调制,而不再使用专门的调制器2)。调制后的激光光束经过所述准直器5输出后经过所述反射镜6反射输出到虚像相位阵列8后进行输出,所述反射镜6由所述MEMS7控制,沿着X方向进行扫描,由于扫频激光器1的输出光谱是实时变化的,经过虚像相位阵列8后会沿着Y方向进行扫描。
光波导4可以是光纤,也可以是集成光波导或平面光波导。
所述的虚像相位阵列8(VIPA)是一块双面镀膜的玻璃平板,玻璃平板的入射面除入射窗口区域镀增透膜外,其余部分均镀反射率超过99%的高反膜,一般出射面镀反射率为95%到98%的高反膜。扫频激光器1包括红绿蓝或红黄蓝三色激光器,扫频激光器1输出的激光经过调制后合束,然后进入光波导4、准直器5、反射镜6、MEMS7和虚像相位阵列8,反射镜由一个MEMS或PZT调控,沿着x方向扫描,每个点上停留一段时间tx,在此期间,扫频激光器输出的激光经过调制后进入VIPA,由于频率的变化可以进行扫频,根据不同频率,逐点沿着y方向扫描。
所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置包括横向扫描和纵向扫描两种激光扫描方式。
所述的横向扫描是指MEMS沿着x方向扫描的速度远大于扫频激光器的扫频速度,当扫频激光器稳定在某一频率时,输出光束在MEMS作用下先沿着x方向扫描,扫描一行完毕后扫频激光器调到下一频率,对应着激光开始扫描下一行;MEMS运动和扫频激光器扫频结合完成对整个图像的扫描。
所述的纵向扫描是指MEMS沿着x方向扫描的速度远小于扫频激光器的扫频速度,当MEMS稳定在某一位置时,扫频激光器调到下一频率在虚像相位阵列(VIPA)的作用下先沿着y方向扫描,完成一列的扫描后,MEMS移动到下一个位置,让输出光束在x方向平移,开始扫描下一列;扫频激光器扫频和MEMS运动结合完成对整个图像的扫描。
优选地,在准直器5与虚像相位阵列8之间,除了经过反射镜6之外,可以根据需要增加汇聚透镜或柱面镜来对光束进行聚焦,使光顺利进入到虚像相位阵列8的窗口。
优选地,可以省略掉反射镜6,而直接用电机驱动准直器5,进行X方向的扫描。也可以省略掉反射镜6和准直器5,而直接用电机驱动光纤,进行X方向的扫描。
本发明所述的基于虚像相位阵列的增强现实显示器扩瞳显示的装置和方法包括以下步骤:
第一、所述的扫频激光器1输出的光波长为λ1λ2……λnλn+1λn+2……λN,但是扫频激光器1覆盖的波长范围只占全部带宽的很小一部分,外界的自然光只有一小部分被遮挡了,其它波长的光可以正常通过所述的虚像相位阵列8,让人可以看到外界的光;而扫频激光器1输出的激光的光波长只在λ1……λN之内,因而能够通过所述的虚像相位阵列8进行扩瞳,进而进入人眼,产生虚拟图像;
第二、所述的视频信号3通过调制器2对激光进行调制,将视频信号加载到激光上,假设视频的帧率为f,像素为M,则调制器2的调制频率为Mf;在横向扫描方式中,调制器2和MEMS7之间保持同步关系,MEMS的扫描频率为扫频激光器1扫频频率的整数倍;在纵向扫描方式中,调制器2和扫频激光器1之间保持同步关系,扫频激光器的频率为MEMS7的扫频频率的整数倍;
第三、通过光路调节,使准直器5输出后的光束经过反射镜6反射后,正好输出到虚像相位阵列8的窗口;X方向的扩瞳通过MEMS控制反射镜沿着X方向不停改变反射镜方向,来实现光束沿着X方向扫描的目的;Y方向的扩瞳通过扫频激光器周期性地改变激光波长,对应着不同波长的激光,虚像相位阵列的输出光束的角度会发生变化,来实现光束沿着Y方向扫描的目的。
本发明作为一种新型的扩瞳和显示方式,图像信息都包含在一个光信号上,因此,可以通过1根光纤传输到系统,由于光纤具有损耗低、重量轻和抗干扰等优点,可以使控制信号与镜片完全分离开,极大地便利了AR眼镜的设计和制作,对降低眼镜的体积、重量和功耗都将起到重要作用。
以上描述了本发明优选实施方式,然其并非用以限定本发明。本领域技术人员对在此公开的实施方案可进行并不偏离本发明范畴和精神的改进和变化。
Claims (10)
1.一种基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置包括扫频激光器、调制器、光波导、准直器、反射镜、MEMS和虚像相位阵列,所述扫频激光器的输出端与所述调制器的输入端口连接,所述调制器的输出端口通过光波导连接所述准直器,视频信号通过所述调制器对激光进行调制,调制后的激光光束经过所述准直器输出后经过所述反射镜反射输出到虚像相位阵列后进行输出,所述反射镜由所述MEMS控制,沿着X方向进行扫描,所述的扫频激光器的输出光谱是实时变化的,经过虚像相位阵列后会沿着Y方向进行扫描。
2.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的虚像相位阵列是一块双面镀膜的玻璃平板,所述玻璃平板的入射面除入射窗口区域镀增透膜外,其余部分均镀反射率超过99%的高反膜,出射面镀反射率为95%到98%的高反膜。
3.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的扫频激光器包括红绿蓝或者红黄蓝三色激光器,扫频激光器输出的激光经过调制后合束,然后进入光波导。
4.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的反射镜由一个MEMS或PZT调控,沿着x方向扫描,每个点上停留一段时间tx,在此期间,扫频激光器发出的激光经过调制后进入所述的虚像相位阵列,由于频率的变化能够进行扫频,根据不同频率,逐点沿着y方向扫描。
5.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置包括横向扫描和纵向扫描两种激光扫描方式。
6.根据权利要求5所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的横向扫描是指MEMS沿着x方向扫描的速度大于扫频激光器的扫频速度,当扫频激光器稳定在某一频率时,输出光束在MEMS作用下先沿着x方向扫描,扫描一行完毕后扫频激光器调到下一频率,对应着激光开始扫描下一行;MEMS运动和扫频激光器扫频结合完成对整个图像的扫描。
7.根据权利要求5或6所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,所述的纵向扫描是指MEMS沿着x方向扫描的速度小于扫频激光器的扫频速度,当MEMS稳定在某一位置时,扫频激光器调到下一频率在虚像相位阵列的作用下先沿着y方向扫描,完成一列的扫描后,MEMS移动到下一个位置,让输出光束在x方向平移,开始扫描下一列;扫频激光器扫频和MEMS运动结合完成对整个图像的扫描。
8.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,在所述的准直器与虚像相位阵列之间,还设置有汇聚透镜或柱面镜来对光束进行聚焦,使光顺利进入到虚像相位阵列的窗口。
9.根据权利要求1所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置,其特征在于,省略掉反射镜,而直接用电机驱动准直器,进行X方向的扫描;或者省略掉反射镜和准直器,而直接用电机驱动光纤,进行X方向的扫描。
10.根据权利要求1至9任一项所述的基于虚像相位阵列的增强现实显示器扩瞳和显示的装置的显示方法,其特征在于,包括以下步骤:
第一、所述的扫频激光器输出的光波长为λ1λ2……λnλn+1λn+2……λN,但是扫频激光器覆盖的波长范围只占全部带宽的一部分,外界的自然光只有一部分被遮挡了,其它波长的光能够正常通过所述的虚像相位阵列,让人能够看到外界的光;而扫频激光器输出的激光的光波长只在λ1……λN之内,因而能够通过所述的虚像相位阵列进行扩瞳,进而进入人眼,产生虚拟图像;
第二、所述的视频信号通过调制器对激光进行调制,将视频信号加载到激光上,假设视频的帧率为f,像素为M,则调制器的调制频率为Mf;在横向扫描方式中,调制器和MEMS之间保持同步关系,MEMS的扫描频率为扫频激光器的扫频频率的整数倍;在纵向扫描方式中,调制器和扫频激光器之间保持同步关系,扫频激光器的频率为MEMS的扫频频率的整数倍;
第三、通过光路调节,使准直器输出后的激光光束经过反射镜反射后,正好输出到虚像相位阵列的窗口;X方向的扩瞳通过MEMS控制反射镜沿着X方向不停改变反射镜方向,来实现光束沿着X方向扫描的目的;Y方向的扩瞳通过扫频激光器周期性地改变激光波长,对应着不同波长的激光,虚像相位阵列的输出光束的角度会发生变化,来实现光束沿着Y方向扫描的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497774.0A CN115903217A (zh) | 2022-11-25 | 2022-11-25 | 基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497774.0A CN115903217A (zh) | 2022-11-25 | 2022-11-25 | 基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115903217A true CN115903217A (zh) | 2023-04-04 |
Family
ID=86472493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211497774.0A Pending CN115903217A (zh) | 2022-11-25 | 2022-11-25 | 基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115903217A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050194514A1 (en) * | 2003-05-12 | 2005-09-08 | Fujitsu Limited | Optical apparatus provided with demultiplexing function |
| US20110164294A1 (en) * | 2008-09-26 | 2011-07-07 | Konica Minolta Opto, Inc. | Image display device, head-mounted display and head-up display |
| CN109100304A (zh) * | 2018-08-10 | 2018-12-28 | 武汉大学 | 一种基于时域拉伸的单像素高速超分辨成像装置及方法 |
| CN110456512A (zh) * | 2019-09-24 | 2019-11-15 | 深圳珑璟光电技术有限公司 | 一种基于衍射光学元件扩瞳的近眼显示系统 |
| WO2020104362A1 (de) * | 2018-11-20 | 2020-05-28 | Carl Zeiss Ag | Vorrichtung zur zweidimensional scannenden strahlablenkung eines lichtstrahls |
-
2022
- 2022-11-25 CN CN202211497774.0A patent/CN115903217A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050194514A1 (en) * | 2003-05-12 | 2005-09-08 | Fujitsu Limited | Optical apparatus provided with demultiplexing function |
| US20110164294A1 (en) * | 2008-09-26 | 2011-07-07 | Konica Minolta Opto, Inc. | Image display device, head-mounted display and head-up display |
| CN109100304A (zh) * | 2018-08-10 | 2018-12-28 | 武汉大学 | 一种基于时域拉伸的单像素高速超分辨成像装置及方法 |
| WO2020104362A1 (de) * | 2018-11-20 | 2020-05-28 | Carl Zeiss Ag | Vorrichtung zur zweidimensional scannenden strahlablenkung eines lichtstrahls |
| CN110456512A (zh) * | 2019-09-24 | 2019-11-15 | 深圳珑璟光电技术有限公司 | 一种基于衍射光学元件扩瞳的近眼显示系统 |
Non-Patent Citations (1)
| Title |
|---|
| 沈笑笑等: "虚像相位阵列的二维成像原理及其应用", 《光电技术应用》, vol. 27, no. 4, 31 August 2012 (2012-08-31), pages 59 - 63 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977229B2 (en) | Multi-focal plane display system and device | |
| CA2187199C (en) | Colour image generation systems and applications | |
| US8582206B2 (en) | Laser-scanning virtual image display | |
| CN115185082B (zh) | 一种图像组合器及近眼显示系统 | |
| JP2020115213A (ja) | 二重混合光照射フィールドデバイス | |
| CN105892058A (zh) | 一种近眼显示系统及增强现实设备 | |
| KR20210006915A (ko) | 증강현실 디스플레이 장치 | |
| CN220569012U (zh) | 光学系统和光学模块 | |
| WO2012100645A1 (zh) | 基于米氏散射及微扰驱动的散斑消除装置 | |
| US8238029B2 (en) | Dichroic filter laser beam combining | |
| US8391668B2 (en) | Substrate guided relay having an absorbing edge to reduce alignment constraints | |
| CN116679476A (zh) | 光学器件、头戴显示设备和头戴显示设备的调节方法 | |
| CN115903217A (zh) | 基于虚像相位阵列的增强现实显示器扩瞳显示装置和方法 | |
| WO2012100640A1 (zh) | 基于米氏散射及布朗运动的散斑消除装置 | |
| CN207502834U (zh) | 增强现实显示光学系统 | |
| CN210954481U (zh) | 一种微型投影扫描系统 | |
| CN113109945A (zh) | 波导显示装置 | |
| CN219871956U (zh) | 光场近眼显示组件和光场近眼显示设备 | |
| CN207611200U (zh) | 虚拟现实显示光学系统 | |
| CN205787372U (zh) | 一种近眼显示系统及增强现实设备 | |
| CN114721151B (zh) | 一种近眼显示装置 | |
| CN105629475A (zh) | 一种增强现实显示设备 | |
| CN103792781A (zh) | 用于立体投影的光学系统及进行立体投影的方法 | |
| CN102053382B (zh) | 基于米氏散射及光学器件的散斑消除装置 | |
| CN202075496U (zh) | 基于米氏散射及布朗运动的散斑消除装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |