CN116739032A - 模拟蝇视觉双通道神经加工机制的仿生建模方法 - Google Patents
模拟蝇视觉双通道神经加工机制的仿生建模方法 Download PDFInfo
- Publication number
- CN116739032A CN116739032A CN202310354608.3A CN202310354608A CN116739032A CN 116739032 A CN116739032 A CN 116739032A CN 202310354608 A CN202310354608 A CN 202310354608A CN 116739032 A CN116739032 A CN 116739032A
- Authority
- CN
- China
- Prior art keywords
- information processing
- channel
- fly
- sensitivity
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模拟蝇视觉双通道神经加工机制的仿生建模方法,通过模拟蝇视觉颜色信息处理通道和运动信息处理通道的神经加工机制,实现颜色敏感性和运动敏感性信息提取,进而提出仿中央复合体神经活动模型,实现了颜色敏感信息和运动敏感信息双通道信息融合,构建模拟蝇视觉双通道神经加工机制的仿生模型,输出仿蝇视觉敏感性的检测结果。本发明能够稳定、可靠地用于复杂条件下的检测任务,具有较高的检出率和检测效率。
Description
技术领域
本发明涉及计算机视觉领域、图像检测领域,具体涉及一种模拟蝇视觉双通道神经加工机制的仿生建模方法。
背景技术
场景检测是计算机视觉领域中的一项重要技术,其主要目的是检测视频中的运动目标成分,主要应用领域包括视频监控、目标跟踪、视频编辑、自动驾驶等。目前大多的检测方法都是基于背景减除和基于深度学习的方法。基于背景减除的方法大多需要建立一个可靠的背景模型或者对背景的运动特征进行建模,这类方法所学习的背景知识具有较为明显的局限性,在复杂条件下其准确性和鲁棒性严重受限;而基于深度学习的方法,需要一定的数据和训练成本,实时性较差,且很难适应新场景中的应用。相比较,蝇视觉能够快速地检测和提取其生存所必须的关键视觉线索,比较上述技术,蝇视觉机制在不依赖于模型学习的前提下便能够快速检出目标信息,具有较为出色的机理优势。
鉴于此,本发明所公开的技术通过模拟蝇视觉颜色信息处理通道和运动信息处理通道的神经加工机制,进而基于仿中央复合体神经活动模型模拟实现颜色敏感性信息和运动敏感性信息双通道信息融合,形成模拟蝇视觉双通道神经加工机制的仿生模型。本发明所公开技术能够稳定、可靠地用于复杂条件下的检测任务,具有较高的检出率和检测效率。
发明内容
发明目的:针对现有技术中存在的问题,本发明公开了一种模拟蝇视觉双通道神经加工机制的仿生建模方法,通过模拟蝇视觉颜色信息处理通道和运动信息处理通道的神经加工机制,提出仿蝇视觉颜色信息处理通道和运动信息处理通道组成的双通道视觉处理模型,实现颜色敏感性信息和运动敏感性信息提取,进而提出仿中央复合体神经活动模型,实现颜色敏感性信息和运动敏感性信息双通道信息融合,组合双通道视觉处理模型和仿中央复合体神经活动模型形成模拟蝇视觉双通道神经加工机制的仿生模型,实现快速检测复杂场景下的运动目标。
技术方案:一种模拟蝇视觉双通道神经加工机制的仿生建模方法,包括如下过程:
首先,模拟蝇视觉颜色信息处理通道:模拟构建仿蝇视觉颜色信息处理通道的两层结构,包括仿视网膜层颜色信息处理模块和仿髓质层颜色信息处理模块,以提取颜色敏感性信息。
其次,模拟蝇视觉运动信息处理通道:模拟构建仿蝇视觉运动信息处理通道的四层结构,包括仿视网膜层运动信息处理模块、仿薄板层运动信息处理模块、仿髓质层运动信息处理模块和仿小叶层运动信息处理模块,以提取运动敏感性信息。
最后,模拟蝇视觉中央复合体神经活动:提出基于贝叶斯模型的仿中央复合体神经活动模型,实现颜色敏感性信息和运动敏感性信息双通道信息融合,形成模拟蝇视觉双通道神经加工机制的仿生模型,输出仿蝇视觉敏感性检测结果。
本发明的有益技术效果是:相比较已有检测方法对背景建模或者对大数据量深度学习的依赖,本发明所公开方法模拟蝇视觉双通道神经加工机制,通过提取并融合颜色敏感信息和运动敏感信息,实现模拟蝇视觉双通道神经加工机制的仿生建模。本发明所公开方法在不依赖于模型学习的前提下便能够快速检出目标信息,在检测机理上具有创新,在检出率、适应性和检测效率上具有性能优势。
附图说明
图1为本发明实施例中总体模型的示意框图;
图2为本发明实施例中的检测模型图,(a)仿蝇视觉颜色信息处理通道,(b)仿蝇视觉运动信息处理通道,(c)仿中央复合体神经活动模型;
图3是本发明实施例中处理过程的结果,(a)输入,(b)颜色敏感性信息,(c)运动敏感性信息,(d)双通道信息融合处理结果;
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例总体模型如图1所示,一种模拟蝇视觉双通道神经加工机制的仿生建模方法。本发明提出蝇视觉系统两条独立信息处理通道的仿生建模方法,包括:仿蝇视觉颜色信息处理通道;仿蝇视觉运动信息处理通道;在此基础上,提出仿中央复合体神经活动模型,实现颜色敏感性信息和运动敏感性信息双通道信息融合,组合双通道视觉处理模型和仿中央复合体神经活动模型形成模拟蝇视觉双通道神经加工机制的仿生模型。仿蝇视觉颜色信息处理通道能够很好的检测出边缘信息(如图3(b))。仿蝇视觉运动信息处理通道可以检测出运动区域(如图3(c))。仿中央复合体神经活动模型,通过贝叶斯方法融合颜色敏感性信息和运动敏感性信息,输出仿蝇视觉敏感性检测结果(如图3(d))。
步骤1:仿蝇视觉颜色信息处理通道提取颜色敏感性信息(如图2(a)所示):
首先,仿视网膜层颜色信息处理模块,模拟视网膜层的视觉敏感性,获取红色(R),绿色(G),蓝色(B)、黄色(Y)信息;
随后,采用高斯滤波器模拟视网膜层感受野敏感性,获得颜色通道的感受野信息:
其中,R(x,y)、G(x,y)、B(x,y),Y(x,y)分别为坐标(x,y)位置处的红色,绿色,蓝色、黄色信息,分别为坐标(x,y)位置处视网膜层的红色,绿色,蓝色、黄色通道的感受野信息,为卷积计算,g(x,y)为高斯滤波器:
其中,δ为高斯滤波器的标准差;
随后,模拟视网膜层内红-绿对抗和蓝-黄对抗机制的视觉敏感性:
其中,Q1(x,y)为坐标(x,y)位置处的红-绿对抗视觉敏感性信息,Q2(x,y)为坐标(x,y)位置处的蓝-黄对抗视觉敏感性信息,ω1和ω2为颜色对抗通道传输的权重,满足:
其中,|ω1|,|ω2|为ω1和ω2的绝对值;
随后,仿髓质层颜色信息处理模块,模拟髓质层的方向敏感性:
其中,B(x,y,θi)为θi方向上(x,y)位置处髓质层的响应,a的典型值为a=16,M、N约束髓质层感受野区域,
其中,其中,kδ为高斯滤波标准差,γ为高斯场空间的长宽比,为τ、κ经过旋转矩阵变换后的结果:
最终,在(x,y)位置处仿蝇视觉颜色信息处理通道提取的颜色敏感性信息为:
至此,完成了颜色敏感性信息提取,如图3(b)所示,有效表征出场景边缘信息。
步骤2:仿蝇视觉运动信息处理通道提取运动敏感性信息(如图2(b)所示):
首先,仿视网膜层运动信息处理模块,模拟视网膜层的运动敏感性:
P(x,y,t)=|fH(t)-f(t)|, (10)
其中,Pt(x,y,t)为t时刻的变化信息,f(t)为t时刻的图像,fH(t)为f(t-1)经过单应性矩阵H变化后得到的图像:
其中,f(t-1)为t-1时刻的图像,单应性矩阵H的求解参考论文《邓壮林,张绍兵,成苗等.多模态硬币图像单应性矩阵预测[J].图学学报,2022,43(03):361-369》;
随后,仿薄板层运动信息处理模块,模拟薄板层的侧抑制神经元响应机理:
其中,IL(x,y,t)、IR(x,y,t),IU(x,y,t)、ID(x,y,t)分别为左、右、上、下四个方向上的抑制信号,r、s约束了侧抑制的区域范围,η为时间延迟,ωL、ωR、ωU、ωD分别为左、右、上、下四个方向上抑制矩阵,ωL矩阵的左半部分元素为1其余为0,ωR矩阵的右半部分元素为1其余为0,ωU矩阵的上半部分元素为1其余为0,ωD矩阵的下半部分元素为1其余为0;
随后,仿髓质层运动信息处理模块,模拟髓质层的侧抑制耦合机理:
其中,SL(x,y,t)、SR(x,y,t),SU(x,y,t)、SD(x,y,t)分别为左、右、上、下四个方向上侧抑制耦合结果,[]*为半波整流计算,解析表达为:
其中,ε为形式化参数,α为调制参数;
随后,仿小叶层运动信息处理模块,模拟小叶层的融合机理:
其中,EL(x,y,t)、ER(x,y,t)、EU(x,y,t)、ED(x,y,t)为t时刻小叶层在左、右、上、下四个方向上输出的结果,m、n约束了小叶层信息融合的区域范围;
仿蝇视觉运动信息处理通道提取的运动敏感性信息为:
至此,完成了运动敏感性信息提取,如图3(c)所示,有效表征出场景运动信息。
步骤3:通过基于贝叶斯模型的仿中央复合体神经活动模型融合仿蝇视觉艳色信息处理通道和仿蝇视觉运动信息处理通道(如图2(c)所示):
其中,p(s)和p(b)分别为检出区域和背景区域的先验概率,(x,y)点处p(s)、p(b)值初始化为:
int(p(s))=B(x,y)、int(p(b))=1-p(s), (18)
其中,int()为初始化计算;
p(χ|s)、p(χ|b)初始化为:
int(p(χ|s))=v、p(χ|b)=1-v, (19)
其中,v的计算过程为:对仿蝇视觉运动信息处理通道提取的运动敏感性信息E(x,y,t)所形成的图像采用OTSU法进行二值化处理,其中检出区域强度为1,背景区域强度为0,v为检出区域占总图像区域的百分比,OTSU方法参考论文《刘健庄,栗文青.灰度图象的二维Otsu自动阈值分割法[J].自动化学报,1993(01):101-105.DOI:10.16383/j.aas.1993.01.015》;
最后,通过贝叶斯模型的迭代优化,输出仿蝇视觉敏感性检测结果,迭代优化过程参考论文《文雅宏,巨琛.基于背景评估的贝叶斯模型显著性检测[J].计算机与现代化,2021,No.314(10):63-68+74》。
至此,完成了颜色敏感性信息和运动敏感性信息双通道信息融合,输出仿蝇视觉敏感性检测结果,如图3(d)所示。
Claims (3)
1.一种模拟蝇视觉双通道神经加工机制的仿生建模方法,其特征在于,通过模拟蝇视觉颜色信息处理通道和运动信息处理通道的神经加工机制,提出仿蝇视觉颜色信息处理通道和运动信息处理通道组成的双通道视觉处理模型,实现颜色敏感性信息和运动敏感性信息提取,进而提出仿中央复合体神经活动模型,实现颜色敏感性信息和运动敏感性信息双通道信息融合,组合双通道视觉处理模型和仿中央复合体神经活动模型形成模拟蝇视觉双通道神经加工机制的仿生模型。
2.如权利要求1所述,一种模拟蝇视觉双通道神经加工机制的仿生建模方法,其特征在于,通过模拟蝇视觉颜色信息处理通道和运动信息处理通道的神经加工机制,提出仿蝇视觉颜色信息处理通道和运动信息处理通道组成的双通道视觉处理模型,实现颜色敏感性信息和运动敏感性信息提取;其中,仿蝇视觉颜色信息处理通道为两层结构,包括仿视网膜层颜色信息处理模块和仿髓质层颜色信息处理模块;其中,仿蝇视觉运动信息处理通道为四层结构,包括仿视网膜层运动信息处理模块、仿薄板层运动信息处理模块、仿髓质层运动信息处理模块和仿小叶层运动信息处理模块;
仿蝇视觉颜色信息处理通道提取颜色敏感性信息:
首先,仿视网膜层颜色信息处理模块,模拟视网膜层的视觉敏感性,获取红色(R),绿色(G),蓝色(B)、黄色(Y)信息;
随后,采用高斯滤波器模拟视网膜层感受野敏感性,获得颜色通道的感受野信息:
其中,R(x,y)、G(x,y)、B(x,y),Y(x,y)分别为坐标(x,y)位置处的红色,绿色,蓝色、黄色信息,分别为坐标(x,y)位置处视网膜层的红色,绿色,蓝色、黄色通道的感受野信息,为卷积计算,g(x,y)为高斯滤波器:
其中,δ为高斯滤波器的标准差;
随后,模拟视网膜层内红-绿对抗和蓝-黄对抗机制的视觉敏感性:
其中,Q1(x,y)为坐标(x,y)位置处的红-绿对抗视觉敏感性信息,Q2(x,y)为坐标(x,y)位置处的蓝-黄对抗视觉敏感性信息,ω1和ω2为颜色对抗通道传输的权重,满足:
其中,|ω1|,|ω2|为ω1和ω2的绝对值;
随后,仿髓质层颜色信息处理模块,模拟髓质层的方向敏感性:
其中,B(x,y,θi)为θi方向上(x,y)位置处髓质层的响应,a的典型值为a=16,M、N约束髓质层感受野区域,
其中,
其中,kδ为高斯滤波标准差,γ为高斯场空间的长宽比,为τ、κ经过旋转矩阵变换后的结果:
最终,在(x,y)位置处仿蝇视觉颜色信息处理通道提取的颜色敏感性信息为:
仿蝇视觉运动信息处理通道提取运动敏感性信息:
首先,仿视网膜层运动信息处理模块,模拟视网膜层的运动敏感性:
P(x,y,t)=|fH(t)-f(t)|, (10)
其中,Pt(x,y,t)为t时刻的变化信息,f(t)为t时刻的图像,fH(t)为f(t-1)经过单应性矩阵H变化后得到的图像:
其中,f(t-1)为t-1时刻的图像;
随后,仿薄板层运动信息处理模块,模拟薄板层的侧抑制神经元响应机理:
,
其中,IL(x,y,t)、IR(x,y,t),IU(x,y,t)、ID(x,y,t)分别为左、右、上、下四个方向上的抑制信号,r、s约束了侧抑制的区域范围,η为时间延迟,ωL、ωR、ωU、ωD分别为左、右、上、下四个方向上抑制矩阵,ωL矩阵的左半部分元素为1其余为0,ωR矩阵的右半部分元素为1其余为0,ωU矩阵的上半部分元素为1其余为0,ωD矩阵的下半部分元素为1其余为0;
随后,仿髓质层运动信息处理模块,模拟髓质层的侧抑制耦合机理:
其中,SL(x,y,t)、SR(x,y,t),SU(x,y,t)、SD(x,y,t)分别为左、右、上、下四个方向上侧抑制耦合结果,[]*为半波整流计算,解析表达为:
其中,ε为形式化参数,α为调制参数;
随后,仿小叶层运动信息处理模块,模拟小叶层的融合机理:
其中,EL(x,y,t)、ER(x,y,t)、EU(x,y,t)、ED(x,y,t)为t时刻小叶层在左、右、上、下四个方向上输出的结果,m、n约束了小叶层信息融合的区域范围;
仿蝇视觉运动信息处理通道提取的运动敏感性信息为:
3.如权利要求1所述,一种模拟蝇视觉双通道神经加工机制的仿生建模方法,其特征在于,提出基于贝叶斯模型的仿中央复合体神经活动模型:
其中,p(s)和p(b)分别为检出区域和背景区域的先验概率,(x,y)点处p(s)、p(b)值初始化为:
int(p(s))=B(x,y)、int(p(b))=1-p(s), (18)
其中,int()为初始化计算;
p(χ|s)、p(χ|b)初始化为:
int(p(χ|s))=v、p(χ|b)=1-v, (19)
其中,v的计算过程为:对仿蝇视觉运动信息处理通道提取的运动敏感性信息E(x,y,t)所形成的图像采用OTSU法进行二值化处理,其中检出区域强度为1,背景区域强度为0,v为检出区域占总图像区域的百分比;
最后,通过贝叶斯模型的迭代优化,输出仿蝇视觉敏感性检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310354608.3A CN116739032A (zh) | 2023-04-04 | 2023-04-04 | 模拟蝇视觉双通道神经加工机制的仿生建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310354608.3A CN116739032A (zh) | 2023-04-04 | 2023-04-04 | 模拟蝇视觉双通道神经加工机制的仿生建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116739032A true CN116739032A (zh) | 2023-09-12 |
Family
ID=87917617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310354608.3A Pending CN116739032A (zh) | 2023-04-04 | 2023-04-04 | 模拟蝇视觉双通道神经加工机制的仿生建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116739032A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295221A (zh) * | 2013-01-31 | 2013-09-11 | 河海大学 | 模拟复眼视觉机制和偏振成像的水面目标运动检测方法 |
| CN112053379A (zh) * | 2020-08-21 | 2020-12-08 | 河海大学 | 一种生物视觉神经敏感性仿生建模方法 |
| US20220284303A1 (en) * | 2019-08-05 | 2022-09-08 | Universite De Montreal | System simulating a decisional process in a mammal brain about motions of a visually observed body |
-
2023
- 2023-04-04 CN CN202310354608.3A patent/CN116739032A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295221A (zh) * | 2013-01-31 | 2013-09-11 | 河海大学 | 模拟复眼视觉机制和偏振成像的水面目标运动检测方法 |
| US20220284303A1 (en) * | 2019-08-05 | 2022-09-08 | Universite De Montreal | System simulating a decisional process in a mammal brain about motions of a visually observed body |
| CN112053379A (zh) * | 2020-08-21 | 2020-12-08 | 河海大学 | 一种生物视觉神经敏感性仿生建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴莉;刘袁静;: "一种基于颜色拮抗感受野的轮廓检测模型", 计算机科学, no. 07, 15 July 2016 (2016-07-15) * |
| 毛晓波;陈铁军;: "仿生型机器视觉研究", 计算机应用研究, no. 10, 15 October 2008 (2008-10-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800736A (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN105069779B (zh) | 一种建筑陶瓷表面花纹图案质量检测方法 | |
| CN108509920B (zh) | 基于CNN的多patch多通道联合特征选择学习的人脸识别方法 | |
| CN112068549B (zh) | 一种基于深度强化学习的无人系统集群控制方法 | |
| CN112053379B (zh) | 一种生物视觉神经敏感性仿生建模方法 | |
| CN102915446A (zh) | 基于svm机器学习的植物病虫害检测方法 | |
| CN108345869A (zh) | 基于深度图像和虚拟数据的驾驶人姿态识别方法 | |
| Quan et al. | CrackViT: a unified CNN-transformer model for pixel-level crack extraction | |
| CN105488534A (zh) | 交通场景深度解析方法、装置及系统 | |
| CN106228547A (zh) | 一种基于视觉颜色理论和同质抑制的轮廓与边界检测算法 | |
| CN106228125A (zh) | 基于集成学习级联分类器的车道线检测方法 | |
| CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
| CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 | |
| CN105608446A (zh) | 一种视频流异常事件的检测方法及装置 | |
| CN109241830A (zh) | 基于光照生成对抗网络的课堂听课异常检测方法 | |
| CN113470073A (zh) | 一种基于深度学习的动物中心追踪方法 | |
| CN106650798B (zh) | 一种结合深度学习与稀疏表示的室内场景识别方法 | |
| CN109270524A (zh) | 基于无人驾驶的多数据融合障碍物检测装置及其检测方法 | |
| CN104898675A (zh) | 一种机器人智能导航控制方法 | |
| CN113516734B (zh) | 一种基于自上而下深度学习架构的昆虫关键点自动标注方法及应用 | |
| CN112419345B (zh) | 基于回声状态网络的巡逻车高精度循迹方法 | |
| Rodríguez-Teiles et al. | Vision-based reactive autonomous navigation with obstacle avoidance: Towards a non-invasive and cautious exploration of marine habitat | |
| CN107766810B (zh) | 一种云、影检测方法 | |
| CN103985115A (zh) | 一种仿视觉感光层功能的图像多强度边缘检测方法 | |
| CN116739032A (zh) | 模拟蝇视觉双通道神经加工机制的仿生建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |