CN108319009B - 基于结构光调制的快速超分辨成像方法 - Google Patents
基于结构光调制的快速超分辨成像方法 Download PDFInfo
- Publication number
- CN108319009B CN108319009B CN201810318644.3A CN201810318644A CN108319009B CN 108319009 B CN108319009 B CN 108319009B CN 201810318644 A CN201810318644 A CN 201810318644A CN 108319009 B CN108319009 B CN 108319009B
- Authority
- CN
- China
- Prior art keywords
- image
- structured light
- spectrum
- super
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 28
- 238000005286 illumination Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000000034 method Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 239000002086 nanomaterial Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于结构光调制的快速超分辨成像方法，使用数字微镜阵列生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源，直接照射待测结构、经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2。用傅里叶变换处理图像1、图像2，对其频谱作差，即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，再通过逆FFT，最终得到待测结构的超分辨成像结果。本方法简化了系统，同时大大减少所需图像数量，极大提高了重建效率，特别适用于需要多方向重建频谱的结构光超分辨检测。
Description
技术领域
本发明涉及光学检测工技术领域，特别是涉及一种基于结构光调制的快速超分辨成像方法，可用于微纳结构的检测。
背景技术
随着微纳制造技术的发展，器件结构越来越复杂，对其进行形貌检测的技术要求也越来越严苛。光学检测方法以其高效性、低损伤性，成为最优选的检测技术。
传统光学显微镜的分辨率受到衍射极限的限制，即基于经典光学理论的所有成像系统的分辨率，都难以突破半波长量级，无法满足低于200nm尺度的微纳检测。
为突破分辨率限制，一系列超分辨光学检测技术被提出，根据探测模式可分为两大类：点扫描成像技术、宽场成像技术。考虑到成像效率，微纳结构检测常用宽场成像方法。其中，远场光学超分辨成像方法因工作距离不受限、非接触性检测等优点，被大力推广于微纳结构测量。
基于单分子在定位技术的随机光学重构技术和光激活定位显微技术是以荧光效应为原理，可测量的材料有限，且图像采集过程复杂，处理结构的时间代价大，难以实时测量。基于特殊强度分布照明光场的受激发射损耗技术可以实时观测，最高分辨率甚至可以达到6nm，但系统光路复杂，价格颇高。
发明内容
为了克服上述现有技术的不足，本发明提供了基于结构光调制的快速超分辨成像方法，降低系统复杂度，大大减少所需图像数量，极大提高了重建效率，特别适用于需要多方向重建频谱的微纳结构结构光超分辨检测。
本发明所采用的技术方案是：
一种基于结构光调制的快速超分辨成像方法，使用数字微镜阵列(DMD：DigitalMicromirror Devices)生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源，直接照射待测结构、经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2。对图像1、图像2的频谱作差，即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，最终得到待测结构的超分辨成像结果。
更进一步的，本方法采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构。使用DMD做空间光调制器，产生余弦条纹调制光，用CCD相机采集。
更进一步的，为确保超分辨成像结果的质量，对图像0进行调制的结构光，必须和图像1的完全相同。在图1频谱中寻找峰值，将条纹频谱部分提取出来，再经过逆傅里叶变换，就可得同一结构光来调制图0。
更进一步的，高频信号关于零频左右对称，作差后，通过滤波算法获得。频谱移动向量的方向和距离，由调制结构光的方向和频率决定。
更进一步的，完整的超分辨图像重建需要采集多个结构光相位方向的超分辨图像、进行加权融合。本方法不要求精确的相位，取不同的相位即可。
与现有技术相比，本发明的有益效果是：
(1)本发明无需精确的相移装置，在一个相位方向上，采集一幅结构光调制的像焦面图和一幅无结构光的像焦面图，简化了系统，极大减小了检测微纳结构的数据量。
(2)本发明提出了简单快速的频谱提取方法，无结构光采集到的像焦面图，调制后经过傅里叶变换，只需在频域中，与结构光调制的像焦面图做减法，即可分离出因为衍射极限、原本无法接收的高频信息，大大降低了图像重构算法的复杂度，实现了快速超分辨。
附图说明
图1为本发明一种基于结构光调制的快速超分辨成像方法的流程图。
图2为本发明全流程频谱分布示意图，其中，图2(a)为图片0的频谱图，图2(b)为频谱图1，图2(c)为频谱图2，图2(d)为高频频谱，图2(f)为重建得到的完整频谱谱图。
具体实施方式
下面结合附图对本发明进一步说明。
本发明一种基于结构光调制的微纳结构快速超分辨成像方法的流程图如图1，具体实施方法如下：
无结构光调制时，系统获得的像方焦平面图像0表示为：
其中，S(r)是待测表面发散光的光场分布，H(r)为成像系统的点扩散函数，
为卷积运算，表示待测表面的发散光受限于成像系统的衍射极限。
添加结构光
调制(其中，I0是结构光的平均光强，m为调制度，p为空间频率，
为调制的初相位)后，经过系统后CCD采集到的图像1表示为：
两幅图采集之后，对图像0添加相同的结构光I(r)进行调制，得到图像2，表示为：
由欧拉公式展开式(2)、(3)，并进行傅里叶变换，得到：
其中，D1(k)、D2(k)、S(k)、H(k)分别是D1(r)、D2(r)、S(r)、H(r)的傅里叶变换，I0是结构光的平均光强，m为调制度，p为空间频率，
为调制的初相位。
式(4)、(5)相减，即图像1与图像2的频谱图做差，提取出高频信息，如下：
低通滤波后，将高频部分移动到对应位置，结构光的频率及调制方向决定了高频部分平移的距离和方向。
令S+(k+p)＝S(k+p)×H(k)，S_(k-p)＝S(k-p)×H(k)，完成平移后的高频信息：频率为正部分的频谱△D(k)+、频率为负部分的频谱△D(k)_，分别表示为：
平均光强I0和调制度m已知，使用峰值相位法获得
把D0(k)和高频△D(k)+、△D(k)-代入下式，获得完整的频谱图：
最后进行逆FFT，得到超分辨成像图。
Claims (1)
1.一种基于结构光调制的快速超分辨成像方法，其特征在于：使用数字微镜阵列(DMD：Digital Micromirror Devices)生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1；无结构光调制的照明光源，直接照射待测结构，经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2；对图像1、图像2的频谱作差，即获得超分辨需要的高频频谱信号；将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，最终得到待测结构的超分辨成像结果；
采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构，使用数字微镜阵列做空间光调制器，产生余弦条纹调制光，用CCD相机采集；
为确保超分辨成像结果的质量，对图像0进行调制的结构光，必须和图像1的结构光完全相同，在图像1频谱中寻找峰值，将条纹频谱部分提取出来，再经过逆傅里叶变换，就可得同一结构光来调制图像0；
高频信号关于零频左右对称，作差后，通过滤波算法获得，频谱移动向量的方向和距离，由调制结构光的方向和频率决定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810318644.3A CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810318644.3A CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108319009A CN108319009A (zh) | 2018-07-24 |
| CN108319009B true CN108319009B (zh) | 2020-07-17 |
Family
ID=62897279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810318644.3A Active CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108319009B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020041936A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳大学 | 一种图像重构方法、装置、电子设备和存储介质 |
| CN110058393B (zh) * | 2019-05-08 | 2020-08-28 | 西安电子科技大学 | 一种基于结构光照明的相位显微成像装置和方法 |
| CN111145089B (zh) * | 2019-11-18 | 2023-06-16 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| CN111308682B (zh) * | 2019-11-18 | 2022-05-17 | 天津大学 | 基于结构光照明的超分辨重构方法 |
| CN111580260B (zh) * | 2020-05-12 | 2023-08-01 | 西安交通大学 | 一种高速光学三维光切片显微系统及方法 |
| CN111458317B (zh) * | 2020-05-12 | 2021-04-30 | 北京大学 | 一种直接结构光照明超分辨显微重建方法 |
| CN111948296A (zh) * | 2020-07-20 | 2020-11-17 | 南昌大学 | 一种基于轴向调制的用于提升光声显微成像系统轴向分辨率的方法 |
| CN114626981A (zh) * | 2020-12-09 | 2022-06-14 | 深圳华大智造科技股份有限公司 | 超分辨率图像重建方法、计算机装置及可读存储介质 |
| CN112508791B (zh) * | 2020-12-18 | 2022-11-04 | 中国工程物理研究院激光聚变研究中心 | 一种初始相位提取方法、装置、电子设备及存储介质 |
| CN113030024A (zh) * | 2021-03-24 | 2021-06-25 | 浙江大学 | 一种基于低动态范围频谱图的相干衍射成像装置及方法 |
| CN113916154A (zh) * | 2021-10-13 | 2022-01-11 | 中国科学院光电技术研究所 | 一种基于调制度半宽恒定的自校准结构光测量方法 |
| CN115774327B (zh) * | 2022-11-22 | 2024-09-27 | 中国科学院光电技术研究所 | 一种集成照明调制和瞳孔调制的定量差分相衬显微镜 |
| WO2024144454A1 (en) * | 2022-12-27 | 2024-07-04 | National University Of Singapore | System and method for image reconstruction using structured illumination microscopy |
| CN119757342B (zh) * | 2024-12-27 | 2026-01-02 | 甬江实验室 | 细胞组织形貌显微成像方法及其成像装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5136422B2 (ja) * | 2006-12-12 | 2013-02-06 | 株式会社ニコン | 顕微鏡装置及び画像処理方法 |
| CN101299268B (zh) * | 2008-07-01 | 2010-08-11 | 上海大学 | 适于低景深图像的语义对象分割方法 |
| CN101469972B (zh) * | 2008-09-08 | 2010-08-25 | 哈尔滨工业大学 | 长焦深超分辨二次共焦测量装置 |
| CN107167929B (zh) * | 2017-06-12 | 2019-06-25 | 华南师范大学 | 基于dmd的双模式光学超分辨显微成像装置及方法 |
| CN107388958A (zh) * | 2017-07-11 | 2017-11-24 | 中国科学院光电技术研究所 | 基于结构光的微纳结构二维超分辨检测方法 |
-
2018
- 2018-04-11 CN CN201810318644.3A patent/CN108319009B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108319009A (zh) | 2018-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108319009B (zh) | 基于结构光调制的快速超分辨成像方法 | |
| US20170134680A1 (en) | Optical imaging method using single pixel detector | |
| CN106772310B (zh) | 一种基于计算鬼成像的目标鉴定装置及其方法 | |
| CN105467806B (zh) | 单像素全息相机 | |
| CN105589188A (zh) | 一种结构光照明显微镜的成像方法及装置 | |
| CN106770147A (zh) | 一种结构光照明超分辨显微成像系统及其成像方法 | |
| CN105758799B (zh) | 一种超分辨阵列虚拟结构光照明成像装置及其成像方法 | |
| CN101726366A (zh) | 一种基于多针孔板的波前测量方法和装置 | |
| CN111308682A (zh) | 基于结构光照明的超分辨重构方法 | |
| CN113114882B (zh) | 一种高采样效率的傅里叶单像素成像方法 | |
| CN105841925B (zh) | 一种基于探测器像素响应傅里叶谱获取的图像重建方法 | |
| US11226293B1 (en) | Structured illumination optical inspection platform for transparent materials | |
| CN101660945A (zh) | 快速图像重构方法 | |
| CN108895986B (zh) | 基于条纹成像投影的显微三维形貌测量装置 | |
| CN111123496B (zh) | 基于希尔伯特变换的结构照明快速三维彩色显微成像方法 | |
| WO2022083735A1 (zh) | 一种计算光刻投影物镜中朗奇剪切干涉图像的方法 | |
| CN210242710U (zh) | 一种基于色散光谱编码的微结构形貌测量装置 | |
| CN109443250A (zh) | 一种基于s变换的结构光三维面形垂直测量方法 | |
| CN117291982A (zh) | 一种在复杂背景下基于单像素成像的运动目标定位方法 | |
| CN110388882B (zh) | 具等向性转换函数之量化微分相位衬度显微系统 | |
| Tang et al. | A robust fast variable-aperture Fourier ptychography | |
| CN107388958A (zh) | 基于结构光的微纳结构二维超分辨检测方法 | |
| CN108254917A (zh) | 一种基于分数阶光子轨道角动量的边缘增强成像装置及方法 | |
| CN107588741B (zh) | 一种基于莫尔条纹的相机深度变化的测量方法及系统 | |
| CN118210213A (zh) | 基于振幅调制的无偏共轴全息成像系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |