[go: up one dir, main page]

CN107966801A - 一种基于环形照明的高速傅立叶叠层成像装置及重构方法 - Google Patents

一种基于环形照明的高速傅立叶叠层成像装置及重构方法 Download PDF

Info

Publication number
CN107966801A
CN107966801A CN201711484822.1A CN201711484822A CN107966801A CN 107966801 A CN107966801 A CN 107966801A CN 201711484822 A CN201711484822 A CN 201711484822A CN 107966801 A CN107966801 A CN 107966801A
Authority
CN
China
Prior art keywords
led
ring
mrow
msub
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711484822.1A
Other languages
English (en)
Inventor
陈钱
孙佳嵩
左超
冯世杰
张玉珍
顾国华
李加基
张佳琳
范瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201711484822.1A priority Critical patent/CN107966801A/zh
Publication of CN107966801A publication Critical patent/CN107966801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G02B21/084—Condensers for incident illumination only having annular illumination around the objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于环形照明的高速傅立叶叠层成像装置及重构方法，装置采用了环形LED板作为照明光源，同时圆环上的每颗LED的照明数值孔径都与物镜的数值孔径相等，并依次通过LED单元亮度标定、LED位置标定与校正、原始图像采集、原始图像预处理及高分辨率图像初始化实现迭代重构。本发明在圆环上各个LED的照明角度都与物镜的数值孔径内切，使得相位传递函数完全覆盖了相位频谱的所有低频部分，从而只需要拍摄少量的明场低分辨率图片，就能够非常稳定并且准确地重建出物体大视场高分辨率的相位分布，非常适合用于活细胞的无标记高速定量相位显微成像。

Description

一种基于环形照明的高速傅立叶叠层成像装置及重构方法
技术领域
本发明属于光学显微成像技术，特别是一种基于环形照明的高速傅立叶叠层成像装置及重构方法。
背景技术
相位恢复是光学测量与成像的一个重要技术，无论在生物医学还是工业检测领域，相位成像技术都在发挥着重要的作用。纵观光学测量技术近半个世纪的进展，最经典的相位测量方法为干涉测量方法。然而，干涉测量法的缺点也十分明显：(1)干涉测量一般需要高度相干性的光源(如激光)，从而需要较为复杂的干涉装置；(2)额外的参考光路的引入导致对于测量环境的要求变得十分苛刻；(3)高相干性的光源引入的相干散斑噪声限制了成像系统的空间分辨率与测量精度。
不同于干涉测量方法，另一类非常重要的相位测量技术并不需要借助干涉，它们统称为相位恢复。由于直接测量光波场的相位分布非常困难，而测量光波场的振幅(强度)十分容易。因此，可以将利用强度分布来恢复(估算)相位这一过程视为一个数学上的“逆问题”，即相位恢复问题。相位恢复的方法还可细分为迭代法与直接法。一方面，直接法以光强传输方程法和差分相衬法为代表，二者都只需要拍摄最少2-4幅图就能根据各自的相位传递函数直接求解出物体的相位分布。但由于二者的相位传递函数值在低频区域都比较低，且在零频处都趋近于零，所以恢复的相位分布往往都存在一些低频误差，所以需要附加的正则化优化方法来去除这些低频重构误差，难以保证重构精度。
另一方面，迭代法以基于合成孔径成像原理的扫描成像方法为代表，最早由Hoppe为了研究晶体结构所提出(Hoppe W.Trace structure analysis,ptychography,phasetomography[J].Ultramicroscopy,1982,10(3):187-198.)，并通过研究晶体和非晶体的扫描透射电子衍射显微成像，验证了此方法的有效性。Rodenburg和Faulkner等结合相位恢复算法将此方法多次改进(Rodenburg J M.Ptychography and related diffractiveimaging methods[J].Advances in Imaging and Electron Physics,2008,150:87-184.)。目前这种成像方法已在可见光域、X射线、电子显微镜等不同波段得到了实验证实，并发展出若干种技术以提高分辨率以及相位恢复精度，该技术显示出在大幅面成像、高分辨成像、定量相位恢复等方面的巨大潜力。2013年，郑国安将合成孔径成像术由空域引入了频域，提出了傅立叶叠层成像技术，也叫频域叠层孔径成像技术(Zheng G,Horstmeyer R,Yang C.Wide-field,high-resolution Fourier ptychographic microscopy[J].Naturephotonics,2013,7(9):739-745.)。该方法虽然能够实现大视场高分辨率显微成像，空间带宽积相比于传统光学显微技术得到了极大的提升。但是，该方法的相位恢复精度一直未得到验证，往往存在大量低频相位重构误差。此外，由于其需要采集大量低分辨率图像来重构一幅高分辨率图像，成像速度慢，难以适应当前各种高速定量相位显微成像的需求(例如活细胞无标记动态定量相位成像)。所以如何在只拍摄少量低分辨率图像的前提下实现高精度的大视场高速定量相位显微成像成为了傅立叶叠层成像技术必须克服的一个技术难题。
发明内容
本发明的目的在于提供一种基于环形照明的高速傅立叶叠层成像装置及重构方法，在只拍摄少量低分辨率图像的前提下实现高精度的大视场高速定量相位显微成像，极大提升傅立叶叠层成像技术的成像速度和相位重构精度。
实现本发明目的的技术解决方案为：
一种基于环形照明的高速傅立叶叠层成像装置，包括环形LED板、载物台、聚光镜、待测样品、显微物镜、成像筒镜、相机，其中环形LED板上第i个点亮的LED单元发出的光经过聚光镜汇聚变成平行光照射在待测样品上，该待测样品被放置在载物台上，透过待测样品的衍射光一部分被显微物镜收集，并经过成像筒镜汇聚照射相机的成像平面，形成的光强图由相机记录下来。
一种基于环形照明的高速傅立叶叠层成像重构方法，步骤如下：
步骤一，LED单元亮度标定：环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射空白待测样品后使用高倍物镜采集相对应的图像并计算每个LED单元在红绿蓝三个波段对应的归一化亮度校正系数；
步骤二，LED位置标定与校正：分辨率板作为待测样品，环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后分别采集聚焦下和离焦h距离下相对应的图像，然后通过亚像素配准算法计算每个LED单元在红绿蓝三个波段对应的照明角度，再通过非线性回归确定环形LED板位置；若存在圆环上LED单元所产生的倾斜平面波与物镜的数值孔径不内切，则通过调节微调平移台改变环形LED板的位置，重复步骤二，直到所有圆环上LED单元所产生的倾斜平面波都物镜的数值孔径内切；
步骤三，原始图像采集：环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后采集相对应的原始低分辨率明场图像；
步骤四，原始图像预处理，包括阈值去噪和亮度校正，首先根据相机的暗电流噪声平均值作为阈值，对拍摄的原始低分辨率图像进行阈值去噪，然后再将每一幅图除以步骤一中获得的归一化亮度校正系数；
步骤五，高分辨率图像初始化：将所有拍摄到的低分辨率明场图像相加平均，然后再通过上采样来初始化高分辨率图像的振幅与相位；
步骤六，迭代重构：采用基于像素合并的傅立叶叠层成像技术将所采集的每一幅图像在频域中逐一进行合成孔径运算，并逐步减小更新系数，以代价函数值为判据当其小于一个给定的阈值时，停止迭代，此时的高分辨率图像的振幅与相位就是最终得到的大视场高分辨率显微图像。
本发明与现有技术相比，其显著优点：(1)本装置既采用了环形LED板中圆环上各个LED的照明角度都与物镜的数值孔径内切，使得相位传递函数完全覆盖了相位频谱的所有低频部分，确保了相位重构精度，消除了低频重构误差。(2)由于圆环上LED的照明角度都与物镜的数值孔径内切，所以能够达到物镜数值孔径2倍的重构分辨率，而且拍摄的全部是明场图像，重构稳定性高，降低了对相机高动态范围的要求。(3)只需要在0.5秒以内拍摄最多13幅的明场低分辨率图片，就能够非常稳定并且准确地重建出物体大视场高分辨率的相位分布，极大的提高了傅立叶叠层成像技术的成像速度，达到了2帧每秒，非常适合用于活细胞的无标记高速定量相位显微成像。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是基于环形照明的高速傅立叶叠层成像装置的光路示意图：(a)包含聚光镜的成像装置，(b)不包括聚光镜的成像装置。
图2是环形LED板中每个LED单元的归一化亮度：图2(a)、图2(b)、图2(c)分别是在红色、绿色、蓝色三个波段所对应的归一化亮度。
图3为本发明迭代重构方法的流程示意图。
图4是仿真的不同最大照明倾斜角下使用不同数量原始低分辨率图像进行超分辨率相位恢复的重构结果：图4(a)是仿真的待测物体的理想相位分布；图4(b1)、图4(b2)、图4(b3)分别是当明场LED单元的最大照明倾斜角与物镜的数值孔径内切时，由81幅、13幅、5幅明场低分辨率图像恢复的相位结果；图4(c1)、图4(c2)、图4(c3)分别是当明场LED单元的最大照明倾斜角与物镜的数值孔径不能内切时，由81幅、13幅、5幅明场低分辨率图像恢复的相位结果。
图5是利用本发明对微透镜阵列样品进行超分辨率相位恢复的重构结果：图5(a)是10倍物镜(数值孔径0.4)下点亮环形LED板中心的LED单元照射微透镜阵列样品所拍摄到的低分辨率图像；选取图5(a)方框中的图像区域，该区域在9个不同照明角度下的明场图像如图5(b)所示；图5(c)和图5(d)分别是该区域经过迭代重构后恢复的高分辨率光强分布和相位分布。
图6是利用本发明对Hela细胞进行动态定量相位成像的重构结果：图6(a)是对Hela细胞进行无标记动态定量相位的全视场高分辨率相位分布；选取图6(a)虚线框中的图像区域进行放大如图6(b)所示；图6(c1)-图6(c7)分别是所选区域在不同时刻下(0s、250s、500s、750s、1000s、1250s、1500s、)Hela细胞实时分裂的动态定量相位成像结果。
具体实施方式
本发明基于环形照明的高速傅立叶叠层成像装置及重构方法所依赖的实际硬件平台是基于环形照明的显微镜。
如图1所示，本发明基于环形照明的高速傅立叶叠层成像装置包括环形LED板1、载物台2、聚光镜3、待测样品4、显微物镜5、成像筒镜6、相机7，其中区别于已有傅立叶叠层成像系统的关键在于本系统只保留了照明倾斜角与物镜数值孔径相内切的LED单元和中心LED单元，极大减少了所需的明场图像数量，这样做不仅仅是为了减少原始图像采集数量，同时也是为了确保相位恢复的重构精度。环形LED板1安置在聚光镜3的前焦面位置，环形LED板的中心LED单元必须位于光轴上；显微物镜5的后焦面与成像筒镜6的前焦面重合，相机7的成像平面放置在成像筒镜6的后焦面位置，成像时载物台2上的待测样品4调节到显微物镜5的前焦面位置，构成无穷远校正成像系统。环形LED板1上第i个点亮的LED单元8发出的光经过聚光镜3汇聚变成平行光照射在待测样品4上，该待测样品4被放置在载物台2上，透过待测样品4的衍射光一部分被显微物镜5收集，并经过成像筒镜6汇聚照射相机7的成像平面，形成的光强图由相机7记录下来。
还有一种基于环形照明的高速傅立叶叠层成像装置，包括环形LED板1、载物台2、待测样品4、显微物镜5、成像筒镜6、相机7，其中环形LED板1上第i个点亮的LED单元8发出的光直接照射在待测样品4上对于局部视场而言可近似为平行光照射，该待测样品4被放置在载物台2上，透过待测样品4的衍射光一部分被显微物镜5收集，并经过成像筒镜6汇聚照射相机7的成像平面，形成的光强图由相机7记录下来。
如图1所示，环形LED板1被安置在聚光镜3的前焦面位置，其中f为聚光镜3的焦距，一般在10-50mm之间。环形LED板1中包括若干个(最多13个)LED单元8，环形LED板的中心LED单元必须位于光轴上，其余的LED单元均匀排布在以中心LED单元为圆心半径为d的圆环上。其中每个LED单元均为红绿蓝三色LED单元，其典型波长为红光633nm、绿光525nm和蓝光465nm。每个LED单元到中心的间距d典型值为10-20mm。环形LED板1可以选择加工定制或其他商用的环形LED板，也可以选择使用商用方形LED阵列只点亮其中与物镜数值孔径内切的LED单元和位于光轴上的中心LED单元来实现环形照明。
本发明为了满足圆环上所有LED单元的照明倾斜角都要与物镜的数值孔径内切，所述的显微物镜5数值孔径为NAobj，环形LED板1到样品的距离为f，环形LED板1中LED环的半径为d，LED单元8发出的光经过聚光镜3汇聚变成平行光关于光轴的夹角为θi，且必须满足同时，为了满足重构算法所需的最小空域采样率，所述的环形LED板1照明波长为λ，显微物镜5放大率为Mag，像元尺寸为Δxcam，且必须满足
本发明的相机7可以选择用彩色或单色相机，如果是单色相机，只需要在成像时让环形LED板1中每个LED单元8分别发出红或绿或蓝单色光，用单色相机7依次记录下所有单色图像即可；如果是彩色相机，在成像时可以让环形LED板1中每个LED单元8同时发出红绿蓝三色光，用彩色相机7记录下所有彩色图像。
本发明基于环形照明的高速傅立叶叠层成像重构方法的步骤如下：
步骤一，LED单元亮度标定。环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射空白待测样品后使用高倍物镜采集相对应的图像并计算每个LED单元在红绿蓝三个波段对应的归一化亮度校正系数。实施流程为：环形LED板1作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射空白待测样品后使用高倍物镜(典型值为40倍0.95数值孔径的显微物镜)采集相对应的图像。由于整个环形LED板中共包含N个LED单元(N≤13)，每个LED单元分别发出红绿蓝三种颜色的单色光，共计拍摄3N幅低分辨率图像，则第i个LED单元在颜色c下对空白待测样品拍摄到的图像记作其中i＝1,2,...,N，c＝r,g,b，r为实空间的二维坐标r＝(x,y)。然后计算每幅图像的平均光强成为每个LED单元在红绿蓝三个波段的平均亮度，其中Npixel为一幅图像中的像素总个数。环形LED板中心的LED单元所对应的平均亮度为则每个LED单元在红绿蓝三个波段对应的归一化亮度校正系数为
步骤二，环形LED板位置标定。分辨率板作为待测样品，环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后分别采集聚焦下和离焦h距离下相对应的图像，然后通过亚像素配准算法计算每个LED单元在红绿蓝三个波段对应的照明角度，再通过非线性回归确定环形LED板位置。
具体实施流程为：以分辨率板作为待测样品，环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后分别采集聚焦下和离焦h距离(h典型值为10到30微米)下相对应的聚焦图像和离焦图像根据角谱衍射理论将中心LED单元对应的聚焦图像沿光轴数值传播h距离，得到数值离焦图像然后通过亚像素配准算法计算每个离焦图像相对于数值离焦图像的偏移量(PYx,PYy)，则第i个LED单元所对应的照明光的空间频率矢量为
其中，(ux,uy)为沿xy方向的空间频率，λ为照明光的波长。
最后再通过非线性回归确定环形LED板位置，公式为：
xi＝d[cos(θ)mi+sin(θ)ni]+Δx
yi＝d[-sin(θ)mi+cos(θ)ni]+Δy
其中，Q(...)为非线性回归法的目标函数，(θ,Δx,Δy,f)为更新后的环形LED板的四个位置参数，分别是旋转误差、x方向的平移误差、y方向的平移误差、焦距误差，(θ0,Δx0,Δy0,f0)为初始化的环形LED板位置参数，表示进行非线性回归运算，d为环形LED板相邻两个LED单元之间间距，(xi,yi)表示第i个LED单元的空间位置坐标，λ为照明光的波长，(mi,ni)为第i个的LED单元对应的行号和列号。
步骤二中还要求：若更新后的环形LED板的四个位置参数分别为θ＝0,Δx＝0,Δy＝0,则无需进行位置校正，否则需要通过调节微调平移台改变环形LED板的位置，重复步骤二，直到圆环上所有LED单元所产生的倾斜平面波都物镜的数值孔径内切，即实现若不调节微调平移台校正环形LED板的位置，则会导致相位恢复精度的严重下降。
步骤三，原始图像采集。环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后采集相对应的低分辨率原始图像。
步骤四，原始图像预处理。原始图像预处理包括阈值去噪和亮度校正。首先根据相机的暗电流噪声平均值作为阈值，对拍摄的原始低分辨率图像进行阈值去噪，然后再将每一幅图除以步骤一中获得的归一化亮度校正系数。实施流程为：顺次点亮其中每一个LED单元分别用红绿蓝单色光照明待测样品4拍摄到的原始低分辨率图像记作Ii,c，熄灭所有LED单元拍摄到一幅暗电流噪声图像Idark。然后根据相机的暗电流噪声平均值作为阈值，对拍摄的原始低分辨率图像进行阈值去噪，公式为
其中表示阈值去噪后图像，mean(...)表示求图像平均灰度值。此后，再将每一幅图除以步骤一中获得的归一化亮度校正系数，完成图像亮度校正，公式为：
其中，为亮度校正后的图像，为阈值去噪后图像，为步骤一中获得的归一化亮度校正系数。
步骤五，高分辨率图像初始化。将所有亮度校正后的低分辨率明场图像相加平均，然后再通过上采样来初始化高分辨率图像的振幅与相位。高分辨率图像初始化的公式为：
其中，为初始化的高分辨率复振幅图像，UP[...]表示进行上采样最邻近插值，Nb为明场图像数量。
步骤六，迭代重构。采用基于像素合并迭代算法的傅立叶叠层成像技术将所采集的每一幅图像在频域中逐一进行合成孔径运算，并逐步减小更新系数。以代价函数值为判据当其小于一个给定的阈值时，停止迭代。此时的高分辨率图像的振幅与相位就是最终得到的大视场高分辨率显微图像。基于像素合并迭代算法的公式为：
其中，F{...}表示进行傅立叶变换，F-1{...}表示进行逆傅立叶变换，UP[...]表示进行上采样最邻近插值，DOWN[...]表示进行降采样像素合并。为待测样品的高分辨率频谱，k表示第k轮迭代，Pi k为显微物镜的频谱孔径函数，为更新后的待测样品的局域频谱，γ为常数用来确保分母不为零，典型值为0.001。|...|表示求二维复数矩阵的模，|...|max表示求二维复数矩阵的模中的最大值。αk为第k轮迭代待测样品频谱的更新系数，βk为第k轮迭代显微物镜孔径函数的更新系数，COSTk为代价函数，当第k轮迭代结束时代价函数COSTk小于某一固定阈值ε(ε的典型值为0.001)，则认为迭代已收敛，停止迭代。此时的高分辨率图像的振幅与相位就是最终得到的大视场高分辨率显微图像。
上述重构过程只适用于重构单色图像，若需重构真彩色图像，则每个LED单元分别采用红光、绿光、蓝光来照明物体。然后对于每种照明波长分别进行图像重构，重构的三组图像分别作为最终的真彩色图像的红、绿、蓝分量合成即可。
为了测试基于环形照明的高速傅立叶叠层成像重构方法，首先进行了仿真测试。待测物体的理想相位分布如图4(a)所示，然后分别仿真了2种傅立叶叠层成像系统的相位恢复结果。首先当明场LED单元的最大照明倾斜角与物镜的数值孔径内切时，由81幅、13幅、5幅明场低分辨率图像恢复的相位结果如图4(b1)、图4(b2)、图4(b3)所示。重构结果看不到明显的重构误差，说明只要明场LED单元的最大照明倾斜角与物镜的数值孔径内切，则最多需要13幅图，最少需要5幅图，就能够非常精确的恢复出物体的相位分布。相反，在另一种情况下，即明场LED单元的最大照明倾斜角与物镜的数值孔径不能内切时，由81幅、13幅、5幅明场低分辨率图像恢复的相位结果如图4(c1)、图4(c2)、图4(c3)所示。图中可以看到明显的低频重构误差，说明当明场LED单元的最大照明倾斜角与物镜的数值孔径不能内切时，无论多少幅图都无法准确恢复出物体的相位分布。该仿真结果充分说明了本发明的创新性和有效性，首先，本装置使用照明角度与物镜数值孔径内切的环形LED板，不仅仅是为了减少原始图像拍摄数量，同时也是为了提高相位恢复精度。因为从图4中可以看出，当明场LED单元的最大照明倾斜角与物镜的数值孔径内切时，物体的相位分布能够得到非常精确的恢复，而且最多需要13幅图，极大提高了成像速度。反观传统FPM系统里明场LED单元的最大照明倾斜角与物镜的数值孔径假如不能内切时，则无论多少幅图都无法准确恢复出物体的相位分布。
为了进一步测试本发明的动态测量速度，还选取了微透镜阵列样品和Hela活细胞样品进行了实验测试。实验中，使用的环形LED板包含13个LED单元，并利用其产生13个不同角度的照明光，圆环半径为20mm，发出的红光中心波长为632.8nm，光谱带宽约为20nm。系统所采用的显微物镜的数值孔径为0.4，放大倍率为10x。点亮环形LED板中心的LED单元所拍摄到的低分辨率图像如图5(a)所示。选取图5(a)方框中的图像区域，该区域在9个不同照明角度下的明场图像如图5(b)所示。图5(c)和图5(d)分别展示了该区域经过迭代重构后恢复的高分辨率光强分布和相位分布，通过对比样品的标准参数和测得的相位而换算出的微透镜曲率半径可知本方法能够实现稳定的高精度定量相位成像。
图6展示了利用本方法对Hela细胞进行无标记动态定量相位的成像结果。全视场恢复的高分辨率相位分布如图6(a)所示，选取图6(a)虚线框中的图像区域进行放大如图6(b)所示，细胞内的每个颗粒细胞质都清晰可见。图6(c1)-图6(c7)依次展示了所选区域在不同时刻下(0s、250s、500s、750s、1000s、1250s、1500s、)Hela细胞实时分裂的动态定量相位成像结果，从图中可以看出本发明方法只需要拍摄13幅的明场低分辨率图片，就能够非常稳定并且准确地重建出物体大视场高分辨率的相位分布，非常适合用于活细胞的无标记高速定量相位显微成像。

Claims (10)

1.一种基于环形照明的高速傅立叶叠层成像装置，其特征在于包括环形LED板(1)、载物台(2)、聚光镜(3)、待测样品(4)、显微物镜(5)、成像筒镜(6)、相机(7)，其中环形LED板(1)上第i个点亮的LED单元(8)发出的光经过聚光镜(3)汇聚变成平行光照射在待测样品(4)上，该待测样品(4)被放置在载物台(2)上，透过待测样品(4)的衍射光一部分被显微物镜(5)收集，并经过成像筒镜(6)汇聚照射相机(7)的成像平面，形成的光强图由相机(7)记录下来。
2.根据权利要求1所述的基于环形照明的高速傅立叶叠层成像装置，其特征在于所述的环形LED板(1)安置在聚光镜(3)的前焦面位置，环形LED板(1)的LED单元(8)位于光轴上，其余的LED单元均匀排布在以中心LED单元为圆心半径为d的圆环上；显微物镜(5)的后焦面与成像筒镜(6)的前焦面重合，相机(7)的成像平面放置在成像筒镜(6)的后焦面位置，成像时载物台(2)上的待测样品(4)调节到显微物镜(5)的前焦面位置，构成无穷远校正成像系统。
3.根据权利要求1所述的基于环形照明的高速傅立叶叠层成像装置，其特征在于对于倒置显微成像系统，环形LED板(1)和聚光镜(3)需要安装在待测样品(4)上方。
4.根据权利要求1所述的基于环形照明的高速傅立叶叠层成像装置，其特征在于所述的显微物镜(5)数值孔径为NAobj，环形LED板(1)到样品的距离为f，环形LED板(1)中LED环的半径为d，LED单元(8)发出的光经过聚光镜(3)汇聚变成平行光关于光轴的夹角为θi，且满足
5.根据权利要求1所述的基于环形照明的高速傅立叶叠层成像装置，其特征在于所述的环形LED板(1)照明波长为λ，显微物镜(5)放大率为Mag，像元尺寸为Δxcam，且满足
6.一种基于环形照明的高速傅立叶叠层成像装置，其特征在于包括环形LED板(1)、载物台(2)、待测样品(4)、显微物镜(5)、成像筒镜(6)、相机(7)，其中环形LED板(1)上第i个点亮的LED单元(8)发出的光直接照射在待测样品(4)上，该待测样品(4)被放置在载物台(2)上，透过待测样品(4)的衍射光一部分被显微物镜(5)收集，并经过成像筒镜(6)汇聚照射相机(7)的成像平面，形成的光强图由相机(7)记录下来。
7.根据权利要求1或6所述的基于环形照明的高速傅立叶叠层成像装置，其特征在于相机(7)用彩色或单色相机，如果是单色相机，在成像时让环形LED板(1)中每个LED单元(8)分别发出红或绿或蓝单色光，用单色相机(7)依次记录下所有单色图像即可；如果是彩色相机，在成像时使环形LED板(1)中每个LED单元(8)同时发出红绿蓝三色光，用彩色相机(7)记录下所有彩色图像。
8.一种基于环形照明的高速傅立叶叠层成像重构方法，其特征在于步骤如下：
步骤一，LED单元亮度标定：环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射空白待测样品后使用高倍物镜采集相对应的图像并计算每个LED单元在红绿蓝三个波段对应的归一化亮度校正系数；
步骤二，LED位置标定与校正：分辨率板作为待测样品，环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后分别采集聚焦下和离焦h距离下相对应的图像，然后通过亚像素配准算法计算每个LED单元在红绿蓝三个波段对应的照明角度，再通过非线性回归确定环形LED板位置；若存在圆环上LED单元所产生的倾斜平面波与物镜的数值孔径不内切，则通过调节微调平移台改变环形LED板的位置，重复步骤二，直到所有圆环上LED单元所产生的倾斜平面波都物镜的数值孔径内切；
步骤三，原始图像采集：环形LED板作为显微镜的照明光源，顺次点亮其中每一个LED单元，照射待测样品后采集相对应的原始低分辨率明场图像；
步骤四，原始图像预处理，包括阈值去噪和亮度校正，首先根据相机的暗电流噪声平均值作为阈值，对拍摄的原始低分辨率图像进行阈值去噪，然后再将每一幅图除以步骤一中获得的归一化亮度校正系数；
步骤五，高分辨率图像初始化：将所有拍摄到的低分辨率明场图像相加平均，然后再通过上采样来初始化高分辨率图像的振幅与相位；
步骤六，迭代重构：采用基于像素合并的傅立叶叠层成像技术将所采集的每一幅图像在频域中逐一进行合成孔径运算，并逐步减小更新系数，以代价函数值为判据当其小于一个给定的阈值时，停止迭代，此时的高分辨率图像的振幅与相位就是最终得到的大视场高分辨率显微图像。
9.根据权利要求8所述的基于环形照明的高速傅立叶叠层成像重构方法，其特征在于步骤二中：环形LED板位置标定过程为：以分辨率板作为待测样品，环形LED板作为显微镜的照明光源共包含N个LED单元，N≤13，顺次点亮其中每一个LED单元，照射待测样品后分别采集聚焦下和离焦h距离下相对应的聚焦图像和离焦图像根据角谱衍射理论将中心LED单元对应的聚焦图像沿光轴数值传播h距离，得到数值离焦图像然后通过亚像素配准算法计算每个离焦图像相对于数值离焦图像的偏移量(PYx,PYy)，则第i个LED单元所对应的照明光的空间频率矢量为
<mrow> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mi>y</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>&amp;lambda;</mi> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>PY</mi> <mi>x</mi> </msub> </mrow> <msqrt> <mrow> <msubsup> <mi>PY</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>PY</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mi>h</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>,</mo> <mfrac> <mrow> <msub> <mi>PY</mi> <mi>y</mi> </msub> </mrow> <msqrt> <mrow> <msubsup> <mi>PY</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>PY</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mi>h</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> </mrow>
其中，(ux,uy)为沿xy方向的空间频率，λ为照明光的波长；
最后再通过非线性回归确定环形LED板位置，公式为：
<mrow> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>,</mo> <msup> <mi>&amp;theta;</mi> <mn>0</mn> </msup> <mo>,</mo> <msup> <mi>&amp;Delta;x</mi> <mn>0</mn> </msup> <mo>,</mo> <msup> <mi>&amp;Delta;y</mi> <mn>0</mn> </msup> <mo>,</mo> <msup> <mi>f</mi> <mn>0</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mo>|</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>u</mi> <mi>i</mi> <mn>0</mn> </msubsup> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>
xi＝d[cos(θ)mi+sin(θ)ni]+Δx
yi＝d[-sin(θ)mi+cos(θ)ni]+Δy
<mrow> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>&amp;lambda;</mi> </mfrac> <mfrac> <msub> <mi>x</mi> <mi>i</mi> </msub> <mi>f</mi> </mfrac> </mrow>
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>&amp;lambda;</mi> </mfrac> <mfrac> <msub> <mi>y</mi> <mi>i</mi> </msub> <mi>f</mi> </mfrac> </mrow>
其中，Q(...)为非线性回归法的目标函数，(θ,Δx,Δy,f)为更新后的环形LED板的四个位置参数，分别是旋转误差、x方向的平移误差、y方向的平移误差、焦距误差，(θ0,Δx0,Δy0,f0)为初始化的环形LED板位置参数，表示进行非线性回归运算，d为环形LED板相邻两个LED单元之间间距，(xi,yi)表示第i个LED单元的空间位置坐标，λ为照明光的波长，(mi,ni)为第i个的LED单元对应的行号和列号。
10.根据权利要求9所述的基于环形照明的高速傅立叶叠层成像重构方法，其特征在于若更新后的环形LED板的四个位置参数分别为θ＝0,Δx＝0,Δy＝0,则无需进行位置校正，否则需要通过调节微调平移台改变环形LED板的位置，重复步骤二，直到所有圆环上LED单元所产生的倾斜平面波都物镜的数值孔径内切，即实现
CN201711484822.1A 2017-12-29 2017-12-29 一种基于环形照明的高速傅立叶叠层成像装置及重构方法 Pending CN107966801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711484822.1A CN107966801A (zh) 2017-12-29 2017-12-29 一种基于环形照明的高速傅立叶叠层成像装置及重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711484822.1A CN107966801A (zh) 2017-12-29 2017-12-29 一种基于环形照明的高速傅立叶叠层成像装置及重构方法

Publications (1)

Publication Number Publication Date
CN107966801A true CN107966801A (zh) 2018-04-27

Family

ID=61993748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711484822.1A Pending CN107966801A (zh) 2017-12-29 2017-12-29 一种基于环形照明的高速傅立叶叠层成像装置及重构方法

Country Status (1)

Country Link
CN (1) CN107966801A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018171381A1 (zh) * 2017-03-24 2018-09-27 南京理工大学 显微成像装置及迭代重构方法
CN109782432A (zh) * 2019-01-17 2019-05-21 哈尔滨工业大学 基于空间光调制器的汇聚透镜single-shot叠层相位恢复技术
CN110082350A (zh) * 2019-04-19 2019-08-02 中国科学院上海光学精密机械研究所 基于大功率led亮度自适应照明的显微成像装置及测量方法
CN110085533A (zh) * 2019-04-30 2019-08-02 歌尔股份有限公司 一种led光斑对称性的检测方法及检测装置
CN111062889A (zh) * 2019-12-17 2020-04-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111158131A (zh) * 2019-12-31 2020-05-15 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
CN111289361A (zh) * 2020-02-17 2020-06-16 合肥工业大学 基于高分辨数字图像相关的材料力学特性测量装置及方法
CN111445554A (zh) * 2020-05-09 2020-07-24 南京大学 一种多会聚角混合扫描电子显微成像方法
CN111610623A (zh) * 2020-04-29 2020-09-01 南京理工大学 基于傅里叶叠层的显微成像方法
CN111694016A (zh) * 2020-06-02 2020-09-22 南京理工大学 一种非干涉合成孔径超分辨成像重构方法
CN112233040A (zh) * 2020-10-29 2021-01-15 南京理工大学智能计算成像研究院有限公司 一种自动离焦校正的傅里叶叠层显微成像方法
CN112255776A (zh) * 2020-11-10 2021-01-22 四川欧瑞特光电科技有限公司 一种点光源扫描照明方法及检测装置
CN112540455A (zh) * 2020-12-23 2021-03-23 中国科学院长春应用化学研究所 反射式环形照明傅里叶叠层高分辨显微成像系统
WO2021143637A1 (zh) * 2020-01-18 2021-07-22 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
CN113759535A (zh) * 2021-07-26 2021-12-07 南京理工大学智能计算成像研究院有限公司 一种基于多角度照明反卷积的高分辨率显微成像方法
CN114022365A (zh) * 2021-11-25 2022-02-08 中国科学院光电技术研究所 一种梯度下降散斑照明超分辨目标重建方法
US20230073901A1 (en) * 2020-02-01 2023-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)
CN115774327A (zh) * 2022-11-22 2023-03-10 中国科学院光电技术研究所 一种集成照明调制和瞳孔调制的定量差分相衬显微镜
CN116148159A (zh) * 2022-12-12 2023-05-23 南京理工大学 一种基于环形照明的自适应像差补偿定量相位成像方法
CN118655714A (zh) * 2024-08-19 2024-09-17 浙江大学 一种基于圆环照明的快速移频超分辨显微成像方法
EP4492118A1 (en) * 2023-07-12 2025-01-15 Carl Zeiss Microscopy GmbH Hybrid differential defocus phase contrast
CN119573576A (zh) * 2024-11-30 2025-03-07 天津大学 一种基于傅里叶叠层成像的光纤端面尺寸检测装置及方法
CN119937156A (zh) * 2025-02-27 2025-05-06 南京理工大学 一种基于傅里叶叠层成像的大景深重构方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210336A (zh) * 2010-10-20 2013-07-17 株式会社尼康 显微镜系统
US20160320605A1 (en) * 2013-08-22 2016-11-03 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
CN206074895U (zh) * 2016-08-30 2017-04-05 北京大学 显微放大系统
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107065159A (zh) * 2017-03-24 2017-08-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN107407799A (zh) * 2015-03-13 2017-11-28 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210336A (zh) * 2010-10-20 2013-07-17 株式会社尼康 显微镜系统
US20160320605A1 (en) * 2013-08-22 2016-11-03 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
CN107407799A (zh) * 2015-03-13 2017-11-28 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
CN206074895U (zh) * 2016-08-30 2017-04-05 北京大学 显微放大系统
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107065159A (zh) * 2017-03-24 2017-08-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156821B2 (en) 2017-03-24 2021-10-26 Nanjing University Of Science And Technology High-illumination numerical aperture-based large field-of-view high-resolution microimaging device and a method for iterative reconstruction
WO2018171381A1 (zh) * 2017-03-24 2018-09-27 南京理工大学 显微成像装置及迭代重构方法
CN109782432A (zh) * 2019-01-17 2019-05-21 哈尔滨工业大学 基于空间光调制器的汇聚透镜single-shot叠层相位恢复技术
CN110082350A (zh) * 2019-04-19 2019-08-02 中国科学院上海光学精密机械研究所 基于大功率led亮度自适应照明的显微成像装置及测量方法
CN110085533A (zh) * 2019-04-30 2019-08-02 歌尔股份有限公司 一种led光斑对称性的检测方法及检测装置
CN111062889A (zh) * 2019-12-17 2020-04-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111062889B (zh) * 2019-12-17 2023-10-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111158131A (zh) * 2019-12-31 2020-05-15 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
CN111158131B (zh) * 2019-12-31 2021-09-28 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
WO2021143637A1 (zh) * 2020-01-18 2021-07-22 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
US20230073901A1 (en) * 2020-02-01 2023-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)
CN111289361A (zh) * 2020-02-17 2020-06-16 合肥工业大学 基于高分辨数字图像相关的材料力学特性测量装置及方法
CN111610623B (zh) * 2020-04-29 2022-05-27 南京理工大学 基于傅里叶叠层的显微成像方法
CN111610623A (zh) * 2020-04-29 2020-09-01 南京理工大学 基于傅里叶叠层的显微成像方法
CN111445554B (zh) * 2020-05-09 2022-09-23 南京大学 一种多会聚角混合扫描电子显微成像方法
CN111445554A (zh) * 2020-05-09 2020-07-24 南京大学 一种多会聚角混合扫描电子显微成像方法
CN111694016A (zh) * 2020-06-02 2020-09-22 南京理工大学 一种非干涉合成孔径超分辨成像重构方法
CN111694016B (zh) * 2020-06-02 2023-10-20 南京理工大学 一种非干涉合成孔径超分辨成像重构方法
CN112233040B (zh) * 2020-10-29 2024-02-20 南京理工大学智能计算成像研究院有限公司 一种自动离焦校正的傅里叶叠层显微成像方法
CN112233040A (zh) * 2020-10-29 2021-01-15 南京理工大学智能计算成像研究院有限公司 一种自动离焦校正的傅里叶叠层显微成像方法
CN112255776B (zh) * 2020-11-10 2022-08-02 四川欧瑞特光电科技有限公司 一种点光源扫描照明方法及检测装置
CN112255776A (zh) * 2020-11-10 2021-01-22 四川欧瑞特光电科技有限公司 一种点光源扫描照明方法及检测装置
CN112540455A (zh) * 2020-12-23 2021-03-23 中国科学院长春应用化学研究所 反射式环形照明傅里叶叠层高分辨显微成像系统
CN113759535A (zh) * 2021-07-26 2021-12-07 南京理工大学智能计算成像研究院有限公司 一种基于多角度照明反卷积的高分辨率显微成像方法
CN113759535B (zh) * 2021-07-26 2024-05-31 南京理工大学智能计算成像研究院有限公司 一种基于多角度照明反卷积的高分辨率显微成像方法
CN114022365B (zh) * 2021-11-25 2023-05-26 中国科学院光电技术研究所 一种梯度下降散斑照明超分辨目标重建方法
CN114022365A (zh) * 2021-11-25 2022-02-08 中国科学院光电技术研究所 一种梯度下降散斑照明超分辨目标重建方法
CN115774327A (zh) * 2022-11-22 2023-03-10 中国科学院光电技术研究所 一种集成照明调制和瞳孔调制的定量差分相衬显微镜
CN116148159A (zh) * 2022-12-12 2023-05-23 南京理工大学 一种基于环形照明的自适应像差补偿定量相位成像方法
EP4492118A1 (en) * 2023-07-12 2025-01-15 Carl Zeiss Microscopy GmbH Hybrid differential defocus phase contrast
EP4492117A1 (en) * 2023-07-12 2025-01-15 Carl Zeiss Microscopy GmbH Hybrid differential defocus phase contrast
CN118655714A (zh) * 2024-08-19 2024-09-17 浙江大学 一种基于圆环照明的快速移频超分辨显微成像方法
CN119573576A (zh) * 2024-11-30 2025-03-07 天津大学 一种基于傅里叶叠层成像的光纤端面尺寸检测装置及方法
CN119937156A (zh) * 2025-02-27 2025-05-06 南京理工大学 一种基于傅里叶叠层成像的大景深重构方法

Similar Documents

Publication Publication Date Title
CN107966801A (zh) 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
CN107065159B (zh) 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN110389119B (zh) 基于机器学习的快速自适应光学扫描显微成像系统与方法
US20210372916A1 (en) 3d diffraction tomography microscopy imaging method based on led array coded illumination
CN108051930B (zh) 大视场超分辨率动态相位无透镜显微成像装置与重构方法
US11487096B2 (en) Quantitative phase imaging method based on differential phase contrast with optimal lighting pattern design
CN106204434A (zh) 一种面向大视场高分辨率显微成像的图像迭代重构方法
CN108508588A (zh) 一种多约束信息的无透镜全息显微相位恢复方法及其装置
US11893719B2 (en) Single-shot differential phase contrast quantitative phase imaging method based on color multiplexed illumination
CN108196357A (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
CN110060214A (zh) 一种用于傅里叶叠层显微成像技术的图像增强方法
CN106204466A (zh) 一种针对傅立叶叠层显微成像技术的自适应去噪方法
CN105911692A (zh) 一种傅立叶叠层显微成像系统的最优系统参数选择方法
CN111123496B (zh) 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN110058392A (zh) 一种基于光强传输方程的散斑定量相位成像系统及其方法
Konda et al. Multi-aperture Fourier ptychographic microscopy, theory and validation
Tang et al. A robust fast variable-aperture Fourier ptychography
US20250035903A1 (en) System for quantitative differential phase contrast microscopy with isotropic transfer function
He et al. Fourier ptychography via wavefront modulation with a diffuser
TW201944036A (zh) 具等向性轉換函數之量化差分相位對比顯微系統
US12038569B2 (en) High sensitivity phase microscopy imaging
Li et al. Super-resolution lensless on-chip microscopy based on array illumination and scattering multiplexing with polystyrene microspheres layer
CN115452743B (zh) 基于部分相干发光二极管照明的无透镜单帧相位恢复方法
CN115131201B (zh) 基于叠层重建的远场漫反射合成孔径超分辨成像方法
TWI637166B (zh) 微分相位對比顯微系統與方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180427