CN120303530A - 可携式量化差分相位对比显微模块以及其深度学习重建方法 - Google Patents
可携式量化差分相位对比显微模块以及其深度学习重建方法 Download PDFInfo
- Publication number
- CN120303530A CN120303530A CN202280102247.7A CN202280102247A CN120303530A CN 120303530 A CN120303530 A CN 120303530A CN 202280102247 A CN202280102247 A CN 202280102247A CN 120303530 A CN120303530 A CN 120303530A
- Authority
- CN
- China
- Prior art keywords
- module
- light intensity
- phase
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/04—Measuring microscopes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种可携式量化差分相位对比显微模块以及其深度学习重建方法,将一侦测光场通过一光强度调制模块产生的调制图案之后,再经由一聚光透镜产生一离轴光场投射至一待测物上至少一侦测位置,进而产生一测物光场,通过物镜导引至影像撷取装置,产生相应的光学影像。该相应的光学影像经由深度学习相应侦测位置的相位信息,进而根据相位信息重建物体表面形貌。
Description
本发明涉及一种显微技术,特别是指一种利用深度学习而免除现有繁琐演算以得到待测物的相位信息的一种可携式量化差分相位对比显微模块以及其深度学习重建方法。
微分相位对比显微技术(differential phase contrast,DPC)是一种利用非干涉影像进行物体特征解析的技术,用以让非标记(label-free)待测物在非对称照明(asymmetric illumination source)的条件下产生相位对比。由于具有非标记的优点,微分相位对比显微技术已经被广泛应用在商业检测领域,用以在没有荧光漂白(photobleaching)或光毒性(phototoxicity)下观测生物试片。
惯用技术中在非可见光的领域中,有一种利用X射源与光栅产生相位对比的微分显微技术,例如中国公开申请号第CN103348415则公开了一种本发明涉及X射线差分相衬成像。为了增强通过相衬成像采集的信息,用于X射线差分相衬成像的分析光栅被提供有吸收结构。后者包括第一多个第一区域和第二多个第二区域,所述第一区域具有第一X射线衰减,所述第二区域具有第二X射线衰减。所述第二X射线衰减小于所述第一X射线衰减,并且以交替的方式周期性地布置所述第一区域和第二区域。第三多个第三区域被提供有第三X射线衰减,其在从所述第二X射线衰减到所述第一X射线衰减的范围之内,其中,每第二个所述第一区域或每第二个所述第二区域被一个所述第三区域取代。
此外,利用可见光源进行检测的典型DPC架构中,会利用半圆的图案,来调制光源,其中半圆的图案,如图1A所示,可以利用光强度遮罩或者是可程序的LED阵列来进行调制。另一种方式是利用设置在物镜的傅立叶平面(Fourier plane)的空间光调制模块(spatial light modulator,SLM)或者是液晶面板来产生侦测光。关于半圆图案的光强度遮罩的光谱调制利用希尔伯特转换(Hilbert transform),这种转换技术已经被证实具有能力在同调激光照明以及在物镜的傅立叶平面上设置空间光调制模块的条件下取得具有等向相差反应(isotropic phase contrast response)的相位。然而,由于在局部同调照明(partially coherent illumination)下,DPC转换函数(DPC transfer function)在仅用两个轴向(垂直和水平轴)的半圆光强度遮罩进行测量时为非等向,因此就必须要进行到高达十二轴向变化的光强度遮罩,如图1B所示的不同轴相变化的遮罩00~11,来进行测量,以增加在相位还原演算时的稳定度和准确度。此外,由于利用半圆形光强度遮罩需要进行高达十二轴向的光强度变化,因此在测量效率上也大为降低,不利于生产线上的检测。
此外,现有技术中,主要着重于光瞳工程算法部分的设计去提升系统影像撷取效率,在影像的傅立叶平面放置数字控制光瞳(pupil)并通过自行设计的彩色光瞳为样本提供照明。推算系统的相位转移方程式(Phase Transfer Function),通过各色彩通道的光强度信息回推样本相位,实现相位回复。但如需对活体细胞进行扩时观察,因通过不同软件操控不同元件则较不便利于大量影像数据的收集。而样本的三维影像信息需通过算法重建,数据的处理也旷日废时。
此外,现有技术中,为了进行相位分析,需要花高昂的成本购买一台专属的量化差分相位对比显微系统。然而在没有使用的时候,只能够搁置一旁,造成设备成本的浪费。综合上述,本发明为解决设备成本的问题,以及在可见光源的DPC中所具有的问题,因此需要一种量化差分相位对比显微系统与方法,来解决现有技术的缺陷。
发明内容
本发明的目的在于提供一种可携式量化差分相位对比显微模块以及其深度学习重建方法,具有可携式的便利性,可以与光学系统,例如:显微镜系统组合,利用运算处理模块的可重复编程性及平行运算能力,将各个不同模块改由以单一运算处理模块为主体的可携式模块来整合控制,使得各个不同功能的模块于统一环境界面和同一编程语言使得操作更为简易,亦更便于更换光学元件时对系统进行调整。此外,由于可携式量化差分相位对比显微模块是外加于显微镜上,因此如果不进行相位分析时,可以将其拆卸下来,让显微镜可以使用其原本的功能。通过可携式与可拆卸的设计,可以让使用者不用额外购买专属的量化差分相位对比显微系统,就可以将一般的显微镜转换成量化差分相位对比显微系统,而且在没有要使用差分相位分析时,将其拆卸下来,恢复原本显微镜可以使用的功能,如此可以大幅降低购买设备所需的成本。
本发明的另一目的在于提供一种可携式量化差分相位对比显微模块以及其深度学习重建方法,利用传统微分相位演算所得到的相位影像进行深度学习以建立一 相位学习模型,再利用该相位学习模型将影像撷取装置所得到的待测物影像作为该相位学习模型的输入,通过深度学习的过程以重建出对应该待测物侦测位置上的相位信息,达到快速检测,提升分析效率的功效。
在一实施例中,本发明提供一种可携式量化差分相位对比显微模块以及其深度学习重建方法,包括光强度调制模块、聚光透镜、影像撷取模块以及运算处理模块。该光强度调制模块,用以根据一控制信号产生具有光振幅变化的至少一调制图案来调制一入射光场,使该入射光场形成一侦测光场。该聚光透镜,设置于该光强度调制模块的一侧,使得该光强度调制模块位于该聚光透镜的傅立叶平面上,该聚光透镜用以接收该侦测光场,并产生一离轴光场投射至一待测物上,进而产生一测物光场。该影像撷取模块,用以接收该测物光场,而产生相应该光振幅变化的一光学影像。该运算处理模块,与该影像撷取模块以及该光强度调制模块电性连接,该运算处理模块通过单一程序语言所形成的控制指令控制该影像撷取模块以及该光强度调制模块。
在一实施例中,该运算处理模块对影像撷取模块所撷取的光学影像进行一相位回复深度学习演算,于进行该相位回复深度学习演算时,该运算处理模块对影像撷取模块所产生的至少一张该光学影像进行背景信息去除处理,然后将每一处理后的该光学影像输入至一学习模型,使得该学习模型对该光学影像进行处理,进而可以还原得到对应于该待测物的表面形貌的至少一相位影像。
在一实施例中,该光振幅变化为光振幅梯度的变化,该光强度调制模块选择沿一第一轴向光强度逐渐减少的第一梯度瞳孔遮罩、沿该第一轴向光强度逐渐增加的第二梯度瞳孔遮罩、沿一第二轴向光强度逐渐减少的第三梯度瞳孔遮罩以及沿该第二轴向光强度逐渐增加的第四梯度瞳孔遮罩其中之一,该运算处理模块还接收关于该第一梯度瞳孔遮罩、该第二梯度瞳孔遮罩、该第三梯度瞳孔遮罩以及该第四梯度瞳孔遮罩的第一光学影像、第二光学影像、第三光学影像以及第四光学影像,以进行该相位回复深度学习,以得到关于该待测物上每一个侦测位置的相位影像。
在一实施例中,该光振幅变化为光振幅梯度的变化,该光强度调制模块产生该径向具有光振幅梯度变化的方式是以该入射光场的光轴为中心以一特定长度为半径沿该光强度调制模块的径度方向产生具有该光振幅梯度变化的该调制图案。
在一实施例中,该光强度调制模块产生的该调制图案为对称的黑白半圆图案。
在一实施例中,本发明提供一种量化差分相位对比显微深度学习重建方法,包括有以下步骤:首先,建立一相位学习模型。然后,将可携式量化差分相位对比显 微模块与一光学系统组合以形成一量化差分相位对比显微系统。接着,将一待测物放置于该量化差分相位对比显微系统。然后,以该影像撷取模块撷取在该光强度调制模块所产生的至少一轴瞳孔遮罩下该待测物的一光学影像。最后,该运算处理模块将该光学影像作为该相位学习模型的输入影像,该相位学习模型根据输入的该光学影像产生一相位影像。
在一实施例中,建立该学习模型还包括有以下步骤,首先,提供一初始学习模型。然后,使用复数个关于一轴向的该瞳孔遮罩,并以影像撷取模块撷取该待测物的第一光学影像作为初始学习模型的输入影像。接着,利用该初始学习模型根据输入的该光学影像进行学习得到一第一相位影像。然后,使用复数轴向的该瞳孔遮罩,以该影像撷取模块撷取该待测物关于该复数轴相的该瞳孔遮罩的第二光学影像。接着,以一相位算法对该第二光学影像进行演算所得到的第二相位影像作为基准真相。然后,将该第二相位影像与该基准真相进行训练得到损失值。最后,根据该损失值调整该初始学习模型的一权重值以得到该相位学习模型。
图1A与图1B为半圆瞳孔遮罩与随着不同轴相变化示意图。
图2A为本发明的可携式量化差分相位对比显微模块示意图。
图2B为可携式量化差分相位对比显微模块应用于显微镜上以形成的量化差分相位对比显微系统的一实施例示意图。
图2C为本发明的微分相位对比显微系统光学架构示意图。
图3A~图3D为本发明的沿第一轴向与第二轴向光强度梯度分布变化的遮罩示意图。
图3E~图3H为本发明根据沿第一轴向与第二轴向光强度梯度分布变化的瞳孔遮罩所截取的光学影像示意图。
图4A为本发明量化差分相位对比显微方法的一实施例流程示意图。
图4B与图4C分别为建立学习模型的不同实施例流程示意图。
图5A~图5F为光强度调制模块所产生的不同的调制图案示意图。
图6A至图6D为光强度调制模块产生的不同的第一色光与第二色光沿着不同轴相的光强梯度以形成彩色的双轴渐层瞳孔遮罩示意图。
附图标记说明:2-可携式量化差分相位对比显微模块;2a-微分相位对比显微系统;20-光源;200-入射光场;21-光强度调制模块;210-侦测光场;22-聚光透镜; 220-离轴光场;221-测物光场;23-物镜;24-影像撷取模块;25-管状透镜;26-运算处理单元;3-相位回复深度学习演算方法;30~36-步骤;430~434-步骤;530~534-步骤;S-待测物;90-承载台;91-第一梯度瞳孔遮罩;92-第二梯度瞳孔遮罩;93-第三梯度瞳孔遮罩;94-第四梯度瞳孔遮罩;S-待侧物;4-显微镜;40-乘载台;41-待测物;42-支撑结构;43-目镜;44-光源;45-物镜系统;46-支撑座。
在下文将参考随附图式,可更充分地描述各种例示性实施例,在随附图式中展示一些例示性实施例。然而,本发明概念可能以许多不同形式来体现,且不应解释为限于本文中所阐述的例示性实施例。确切而言,提供此等例示性实施例使得本发明将为详尽且完整,且将向熟习此项技术者充分传达本发明概念的范畴。类似数字始终指示类似元件。以下将以多种实施例配合图式来说明所述可携式量化差分相位对比显微模块以及其深度学习重建方法,然而,下述实施例并非用以限制本发明。
请参阅图2A至图2C所示,其中,图2A为本发明的一可携式量化差分相位对比显微模块示意图;图2B为可携式量化差分相位对比显微模块应用于显微镜上以形成的量化差分相位对比显微系统的一实施例示意图;图2C为本发明的量化差分相位对比显微系统光学架构的另一实施例示意图。在图2A的实施例中,该可携式量化差分相位对比显微模块2包括有一光强度调制模块21、一聚光透镜22、影像撷取模块24以及一运算处理模块26,每一元件的运作如后再述。可携式量化差分相位对比显微模块2可以用来与一光学系统组合形成如图2B或图2C的架构。在一实施例中,光学系统可以为显微镜,如图2B所示,或者是任何用来观测待测物显微结构的装置,例如图2C所示皆可。
在图2B中,显微镜4具有乘载台40,其上具有待测物41。显微镜4的一侧具有支撑结构42,其上具有光源44,用以产生光束。本实施例中,可携式量化差分相位对比显微模块2中的光强度调制模块21与聚光透镜22设置在支撑座46上,支撑座46可拆卸地设置在支撑结构42上,使得光强度调制模块21与聚光透镜22位于光源44与待测物41之间。影像撷取模块24,本实施例为相机,则安装在目镜43上。影像撷取模块24与光强度调制模块21则与运算处理模块26电性连接。光源44发出的光束通过光强度调制模块21与聚光透镜22,然后投射至待测物41。光束通过待测物41被设置于待测物41下方的物镜系统45所接收并成像,然后被目镜42上的影像撷取装置24取像。图2B中的显微镜4与其物镜系统45仅为示意 表示,显微镜4的各组成与物镜系统45的透镜结构为本领域技术之人所熟知,在此不做赘述。
在本实施例中,具有光强度调制模块21与聚光透镜22的支撑座46以及影像撷取模块24可以拆卸下来,因此可以保有显微镜4本来的功能。如果有需要进行相位分析时,再将具有光强度调制模块21与聚光透镜22的支撑座46以及影像撷取模块24组装到支撑结构42上。这样对于使用者而言,不用花高昂的费用去买一台专用的量化差分相位对比显微系统,节省了设备的成本。除了可携式的优点之外,本实施例中的该运算处理模块26,通过单一程序语言所形成的控制指令控制该影像撷取模块24以及该光强度调制模块21。现有技术中,运算处理模块26是由各种不同的硬件与控制语言组合在一起的模块,虽然可以控制影像撷取模块24、控制光强度调制模块21以及将光学影像进行重建演算,不过因为将不同的控制平台组合在一起,例如,控制光强度调制模块21通过Arduino的嵌入式硬件平台,重建演算则是通过像是Matlab在计算机电脑上执行,以及影像撷取模块24则是通过Vimba的控制界面对影像撷取模块24进行控制,因此再从控制遮罩、撷取影像到重建相位影像,会因为平台与运算处理程序的切换需要花费很多时间。
本实施例中,运算处理模块26为可编程的逻辑芯片(FPGA),由于光学显微术会进行大量的影像处理以及硬设备会影响其效能,因此通过可程序化逻辑门阵列(FPGA)的可重复编程性及平行运算能力,有利于系统结合不同硬件进行开发以及因应技术发展随时做编写程序上的调整,其数据处理能力也可负担数据量庞大的影像信息转换。通过直接整合所有硬件控制于同一控制界面,并用同一编程语言进行控制影像撷取模块24、控制光强度调制模块21以及将光学影像进行重建演算,使得软件与硬件端皆能提升效能,并整合所需的元件功能于统一环境界面和同一编程语言使得操作更为简易,亦更便于更换光学元件时对系统进行调整。在一实施例中,该程序语言可以使用Python程序语言,但不以此为限制。
以下说明将该可携式量化差分相位对比显微模块2与光学系统组合形成如图2C所示的量化差分相位对比显微系统2a的运作方式。量化差分相位对比显微系统2a包括有一光源20、可以调整倍率的物镜23以及承载待侧物S的承载台90。本实施例中,由于将光强度调制模块21、聚光透镜22、影像撷取模块24以及运算处理模块26整合成可携式的模块化架构,使用者可以将可携式量化差分相位对比显微模块2携带至任意的光学系统上,与该光学系统组合,就可以达到量化差分相位对比显微分析的效果。该光源20用以产生一入射光场200,在本实施例中,该光源为 宽频可见光源,但不以此为限制,例如:单色可见光源也可以实施。该光强度调制模块21,设置于该光源20的一侧,其为根据控制信号产生具有可以调制入射光场200光强度梯度分布的模块。在一实施例中,该光强度调制模块21为可以控制光穿透强度的液晶模块(TFT shield)或者是光反射式液晶模块(liquid crystal on silicon,LCoS)。这些模块的特性在于可以控制液晶的转向,进而改变穿透或反射光的强度,产生不同轴向变化的瞳孔遮罩(pupil)。例如,在一实施例中,根据控制信号产生具有光振幅变化的至少一调制图案,例如图1A所示半圆形瞳孔遮罩。
在本发明中的另一实施例中,该光强度调制模块21可以根据控制信号,产生沿着不同轴向光振幅梯度变化分布的瞳孔遮罩,以将该入射光场200调制成具有一强度梯度分布的侦测光场210,例如:如图3A~图3D所示。其中,图3A沿一第一轴向光强度逐渐减少的第一梯度瞳孔遮罩、图3B为沿该第一轴向光强度逐渐增加的第二梯度瞳孔遮罩、图3C为沿一第二轴向光强度逐渐减少的第三梯度瞳孔遮罩以及图3D为沿该第二轴向光强度逐渐增加的第四梯度瞳孔遮罩。本实施例中的第一轴向为X轴、第二轴向为Y轴,但不以此为限制。通过具有光强度梯度分布的遮罩可以解决现有利用半圆形亮暗遮罩在每一轴测量时,在中间轴向(middle-axis)所产生的强度跳跃(amplitude cross)的问题。要说明的是,该光强度调制模块21也可以根据控制信号产生如图1A与图1B所示的各种不同变化的半圆形瞳孔遮罩。
该聚光透镜(condenser)22,设置于该光强度调制模块21的一侧,以接收被该光调制模块21调制的侦测光场210。该光强度调制模块21位于该聚光透镜22的傅立叶平面上,该聚光透镜22用以接收该侦测光场210,并产生一离轴(off-axis)光场220投射至承载台90上的待测物S,进而产生一测物光场221。待测物可以为透明细胞或者是透明活体细胞等。该物镜23,设置于该聚光透镜22的一侧,使该待侧物S位于该物镜23的焦距上,该物镜23接收穿透该待测物S的该测物光场221。需要说明的是,本发明的架构可以产生局部同调照明(partially coherent illumination)的光学影像,在一实施例中,产生局部同调照明的条件是该聚光透镜22具有一第一数值孔径(numerical aperture,NA)值,该物镜具有一第二数值孔径值,该第一与该第二数值孔径的比值为1或近似于1。利用部分同调照明可以产生优于现有技术中同调照明的效果,例如:分辨率强化以及减少同调光斑噪声(coherent speckle noise)。
该影像撷取模块24,与该物镜23耦接,用以接收该测物光场221,而产生相应该强度梯度分布的一光学影像。该影像撷取模块24的撷取影像的影像平面和该待测物S之间相距两倍该物镜23的焦距及两倍透镜25的焦距。本实施例中该影像 撷取模块24是通过一管状透镜(tube lens)25与该物镜23耦接在一起。本实施例中的物镜23与管状透镜25为一显微镜系统所具有的结构,该显微系统可以为商业用显微系统,例如:莱卡(Leica),DMI3000的设备,但不以此为限制。
该运算处理模块26与该光强度调制模块21电性连接,用以产生控制信号来控制该光强度调制模块21产生沿着不同轴向光强度梯度的遮罩,例如:如图3A~图3D所示的沿一第一轴向光强度逐渐减少的第一梯度瞳孔遮罩、沿该第一轴向光强度逐渐增加的第二梯度瞳孔遮罩、沿一第二轴向光强度逐渐减少的第三梯度瞳孔遮罩以及沿该第二轴向光强度逐渐增加的第四梯度瞳孔遮罩其中之一。此外,该运算处理模块26,还与该影像撷取模块24电性连接,用以接收该影像撷取模块24所撷取的关于该第一梯度瞳孔遮罩91、该第二梯度瞳孔遮罩92、该第三梯度瞳孔遮罩93以及该第四梯度瞳孔遮罩94的第一光学影像、第二光学影像、第三光学影像以及第四光学影像,以进行演算以得到该待测物上每一个侦测位置的相位,进而重建该待测物的表面形貌或内部结构特征。
在一实施例中,如图4A所示,该图为本发明量化差分相位对比显微方法的一实施例流程示意图。本实施例中,与现有技术不同的是,本实施例的截取光学影像之后的重建相位影像演算并非利用现有的相位影像重建的算法,因为现有的重建算法计算费时,而且需要有好的计算机设备,在时间成本与金钱成本上都会增加使用者的负担。因此,在本实施例中,使用的深度学习的方式,通过预先建立的学习模型,不用使用繁琐的演算法则,就可以根据影像撷取模块24所撷取到的影像非对称的光学相位影像(anisotropic quantitative phase images)转换成对称相位影像(isotropic quantitative phase image)以该学习模型直接输出相应该光学影像的相位影像,因此可以改善现有利用算法的没有效率与成本的问题。
运算处理模块26进行该相位回复深度学习演算方法3时,首先进行步骤30,建立相位学习模型。本实施例的学习模型为U-Net学习模型。建立学习模型是根据要采用的瞳孔遮罩而定,例如:如果要采用的瞳孔遮罩是现有的12轴半圆形遮罩,如图1A~图1B所示,则学习模型必须用半圆形遮罩来建立;如果是要采用渐层变化的瞳孔遮罩,如图3A~图3D所示,则学习模型则用渐层变化的瞳孔遮罩来建立。
首先说明如图1A与图1B所示的半圆形瞳孔遮罩建立的学习模型。如图4B所示,该图为建立学习模型的一实施例流程示意图。首先进行步骤430使用对称的开一轴向的半圆瞳孔遮罩,(例如图1B中对称(00与06或者01与07)),并利用影像撷取模块截取待测物,例如:薄透明细胞或其他活体细胞的光学影像,再经过相位 算法得到相位影像作为初始学习模型的输入影像。接着进行步骤431,该初始学习模型根据输入影像进行学习得到一第一相位影像。
接着进行步骤432分别利用图1B所示的12轴瞳孔遮罩,以影像撷取模块24撷取该薄透明细胞关于该12轴瞳孔遮罩的光学影像,并经过相位算法,例如:量化差分对比演算(qDPC),对该12张光学影像进行演算之后所得到第二相位影像作为基准真相(Ground truth),演算的方式为现有技术,在此不作赘述。之后进行步骤433,将该第一相位影像与该第二相位影像进行训练得到损失值(loss evaluation)。之后,进行步骤434根据该损失值调整该初始学习模型的一权重值以得到相位学习模型。利用传统单轴半圆建立U-net的学习模型,是撷取一轴(两张)重建之后作为输入与12轴(24张)重建后作为基准真相去训练U-net学习模型,所得到相位影像后为提升精确度的做法。其优点为减少撷取光学影像的时间。例如:现有技术需要12轴(24张),而通过学习模型的建立只需要2张光学影像即可。
在建立相位学习模型的另一实施例中,如图3A至图3D所示的渐层变化的瞳孔遮罩建立的学习模型。如图4C所示,该图为建立学习模型的一实施例方法流程示意图。该方法首先进行步骤530对一薄透明细胞或活体细胞截取关于双轴向渐层瞳孔遮罩,例如图3A~图3D中的上方两张或下方两张的瞳孔遮罩的光学影像,作为初始学习模型的输入影像。接着进行步骤531,初始学习模型经过计算去除背景噪声与相位算法演算,得到一第一相位影像。
然后进行步骤532,对该薄透明细胞取得四张双轴向渐层变化的瞳孔遮罩的光学影像,如图3E~图3H所示,经过相位算法得到第二相位影像作为基准真相。之后进行步骤533,将该第一相位影像与该第二相位影像进行训练得到损失值。之后,进行步骤534根据该损失值调整该初始学习模型的一权重值以得到相位学习模型。要说明的是,前述以两种方式说明建立相位学习模型的步骤,但不以图1A~图1B或图3A~图3D的瞳孔遮罩为限制。例如,在一实施例中,也可以控制光强度调制模块21产生圆周方向变化的瞳孔遮罩,如图5A~图5F所示,其为具有圆周方向变化的瞳孔遮罩示意图,该光强度调制模块21产生该径向具有光振幅梯度变化的方式以该入射光场的光轴为中心以一特定长度为半径沿该光强度调制模块21的圆周径度方向产生具有该光振幅梯度变化的调制图案。在另一实施例中,如图6A~图6D所示的彩色双轴渐层瞳孔遮罩,其与图3A~图3D相类似,只是加上不同颜色的光场,使瞳孔遮罩具有渐层的颜色变化。利用双轴渐层瞳孔遮罩建立U-net相位学习模型,是撷取一轴(两张)经过去除背景的计算(不重建)作为输入与2轴(4张)重建后 作为基准真相去训练U-net相位学习模型,该模型可以取代传统用数学软件演算,直接进行重建的做法。其优点是减少撷取,免去每次的参数调节和重建的时间。
再回到图4A所示,本实施例中,步骤30的相位学习模型为前述图4C所建立的相位学习模型。之后,进行步骤31将可携式量化差分相位对比显微模块与一光学系统组合以形成一量化差分相位对比显微系统。在一实施例中,可携式量化差分相位对比显微模块可以如图2A所示的可携式量化差分相位对比显微模块2。光学系统可以为显微镜,或其他可以用来进行显微观测的光学设备。光学系统与可携式量化差分相位对比显微模块2组合之后,在一实施例中,可以为图2B所示的量化差分相位对比显微系统2a。接着进行步骤32,将一待测物,例如:薄透明细胞或透明活体细胞,放置于如图2所示的量化差分相位对比显微系统2。之后进行步骤33,以该影像撷取模块24对该薄透明细胞截取任一双轴渐层瞳孔遮罩的其中一轴光学影像,如图3A~图3D中其中之一。之后,进行步骤34,该运算处理模块26对影像撷取模块24所产生的至少一张该光学影像进行背景与噪声去除处理。然后,进行步骤35,将处理好的光学影像作为相位学习模型的输入影像,相位学习模型根据该输入的光学影像产生一相位影像。最后进行步骤36,利用该相位影像重建该薄透明细胞待测物的表面形貌。
以上所述,仅记载本发明为呈现解决问题所采用的技术手段的较佳实施方式或实施例而已,并非用来限定本发明实施的范围。即凡与本发明申请范围文义相符,或依本发明范围所做的均等变化与修饰,皆为本发明范围所涵盖。
Claims (14)
- 一种可携式量化差分相位对比显微模块,其特征在于,包括:一光强度调制模块,用以根据一控制信号产生具有光振幅变化的至少一调制图案来调制一入射光场,使该入射光场形成一侦测光场;一聚光透镜,设置于该光强度调制模块的一侧,使得该光强度调制模块位于该聚光透镜的傅立叶平面上,该聚光透镜用以接收该侦测光场,并产生一离轴光场投射至一待测物上,进而产生一测物光场;一影像撷取模块,用以接收该测物光场,而产生相应该光振幅变化的一光学影像;以及一运算处理模块,与该影像撷取模块以及该光强度调制模块电性连接,该运算处理模块通过单一程序语言所形成的控制指令控制该影像撷取模块以及该光强度调制模块。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该运算处理模块对影像撷取模块所撷取的光学影像进行一相位回复深度学习演算。
- 如权利要求2所述的可携式量化差分相位对比显微模块,其特征在于,于进行该相位回复深度学习演算时,该运算处理模块对影像撷取模块所产生的至少一张该光学影像进行背景信息去除处理,然后将每一处理后的该光学影像输入至一相位学习模型,使得该相位学习模型对该光学影像进行处理,进而可以还原得到对应于该待测物的表面形貌的至少一相位影像。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该光强度调制模块为一控制光穿透强度的液晶模块或者是光反射式液晶模块,其内具有液晶单元,用以根据控制信号改变透光量。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该聚光透镜具有一第一数值孔径值,该物镜具有一第二数值孔径值,该第一数值孔径值与该第二数值孔径值比值为介于部分同调照明的范围。
- 如权利要求6所述的可携式量化差分相位对比显微模块,其特征在于,该第一数值孔径值与该第二数值孔径值比值为1。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该光振幅变化为光振幅梯度的变化,该瞳孔遮罩为沿一第一轴向光强度逐渐减少的第一 梯度瞳孔遮罩、沿该第一轴向光强度逐渐增加的第二梯度瞳孔遮罩、沿一第二轴向光强度逐渐减少的第三梯度瞳孔遮罩以及沿该第二轴向光强度逐渐增加的第四梯度瞳孔遮罩其中之一。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该光振幅变化为光振幅梯度的变化,该光强度调制模块产生沿圆周径度方向具有光振幅梯度变化的瞳孔遮罩。
- 如权利要求1所述的可携式量化差分相位对比显微模块,其特征在于,该光强度调制模块产生的该调制图案为对称的黑白半圆图案的瞳孔遮罩。
- 一种量化差分相位对比显微深度学习重建方法,其特征在于,包括有:建立一相位学习模型;将一可携式量化差分相位对比显微模块与一光学系统组合以形成一量化差分相位对比显微系统;将一待测物放置于该量化差分相位对比显微系统;以该影像撷取模块撷取在该光强度调制模块所产生的至少一轴瞳孔遮罩下该待测物的一光学影像;以及该运算处理模块将该光学影像作为该相位学习模型的输入影像,该相位学习模型根据输入的该光学影像产生一相位影像。
- 如权利要求10所述的量化差分相位对比显微深度学习重建方法,其特征在于,建立该学习模型还包括有:提供一初始学习模型;使用复数个关于一轴向的该瞳孔遮罩,并以影像撷取模块撷取该待测物的第一光学影像作为初始学习模型的输入影像;利用该初始学习模型根据输入的该光学影像进行学习得到一第一相位影像;使用复数轴向的该瞳孔遮罩,以该影像撷取模块撷取该待测物关于该复数轴向的该瞳孔遮罩的第二光学影像;以一相位算法对该第二光学影像进行演算所得到的第二相位影像作为基准真相;将该第二相位影像与该基准真相进行训练得到损失值;以及根据该损失值调整该初始学习模型的一权重值以得到该相位学习模型。
- 如权利要求10所述的量化差分相位对比显微深度学习重建方法,其特征在于,该光振幅变化为光振幅梯度的变化,该瞳孔遮罩为沿一第一轴向光强度逐渐减 少的第一梯度瞳孔遮罩、沿该第一轴向光强度逐渐增加的第二梯度瞳孔遮罩、沿一第二轴向光强度逐渐减少的第三梯度瞳孔遮罩以及沿该第二轴向光强度逐渐增加的第四梯度瞳孔遮罩其中之一。
- 如权利要求10所述的量化差分相位对比显微深度学习重建方法,其特征在于,该光振幅变化为光振幅梯度的变化,该光强度调制模块产生沿圆周径度方向具有光振幅梯度变化的瞳孔遮罩。
- 如权利要求10所述的量化差分相位对比显微深度学习重建方法,其特征在于,该光强度调制模块产生的该调制图案为对称的黑白半圆图案的瞳孔遮罩。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2022/135960 WO2024113316A1 (zh) | 2022-12-01 | 2022-12-01 | 可携式量化差分相位对比显微模块以及其深度学习重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120303530A true CN120303530A (zh) | 2025-07-11 |
Family
ID=91322685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280102247.7A Pending CN120303530A (zh) | 2022-12-01 | 2022-12-01 | 可携式量化差分相位对比显微模块以及其深度学习重建方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN120303530A (zh) |
| TW (1) | TW202424458A (zh) |
| WO (1) | WO2024113316A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106842540B (zh) * | 2017-03-24 | 2018-12-25 | 南京理工大学 | 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法 |
| TWI637166B (zh) * | 2017-11-14 | 2018-10-01 | 國立臺灣大學 | 微分相位對比顯微系統與方法 |
| EP3722861A1 (en) * | 2017-12-06 | 2020-10-14 | Kuniaki Nagayama | Observation method using microscope and transmission-type microscopic device |
| TWI662262B (zh) * | 2018-04-20 | 2019-06-11 | 國立臺灣大學 | 具等向性轉換函數之量化差分相位對比顯微系統 |
| CN115220211B (zh) * | 2022-07-29 | 2024-03-08 | 江南大学 | 基于深度学习和光场成像的显微成像系统及方法 |
-
2022
- 2022-12-01 WO PCT/CN2022/135960 patent/WO2024113316A1/zh not_active Ceased
- 2022-12-01 CN CN202280102247.7A patent/CN120303530A/zh active Pending
-
2023
- 2023-03-27 TW TW112111600A patent/TW202424458A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024113316A1 (zh) | 2024-06-06 |
| TW202424458A (zh) | 2024-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11781966B2 (en) | 3D diffraction tomography microscopy imaging method based on LED array coded illumination | |
| US11650406B2 (en) | Microscopic imaging method of phase contrast and differential interference contrast based on the transport of intensity equation | |
| CN102540446B (zh) | 一种基于数字微镜器件的高速结构照明光学显微系统及方法 | |
| CN107490562B (zh) | 利用波面整形器的超高速三维折射率影像拍摄和荧光结构光照明显微镜系统及其使用方法 | |
| Kuś et al. | Active limited-angle tomographic phase microscope | |
| US10976532B2 (en) | Structured illumination microscopy system using digital micromirror device and time-complex structured illumination, and operation method therefor | |
| EP3065001B1 (en) | Holographic microscope and data processing method for high-resolution hologram image | |
| Bostan et al. | Variational phase imaging using the transport-of-intensity equation | |
| Li et al. | Fast quantitative phase imaging based on Kramers-Kronig relations in space domain | |
| CN110378473A (zh) | 基于深度学习和随机图案的相位层析方法及装置 | |
| CN116337811B (zh) | 基于对向照明的光学衍射层析显微成像方法 | |
| CN105486638B (zh) | 一种超分辨阵列扫描结构光照明成像装置及其成像方法 | |
| CN109900356B (zh) | 关联成像方法及装置 | |
| CN110388882B (zh) | 具等向性转换函数之量化微分相位衬度显微系统 | |
| CN120303530A (zh) | 可携式量化差分相位对比显微模块以及其深度学习重建方法 | |
| US20250035903A1 (en) | System for quantitative differential phase contrast microscopy with isotropic transfer function | |
| TWI637166B (zh) | 微分相位對比顯微系統與方法 | |
| WO2021155378A1 (en) | Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi) | |
| CN119757342B (zh) | 细胞组织形貌显微成像方法及其成像装置 | |
| Ma et al. | Fourier Ptychography Imaging | |
| Fan et al. | Video-rate isotropic quantitative differential phase contrast microscopy based on color-multiplexed annular illumination | |
| Kujawińska et al. | Tailor-made 3D-printed phantoms for metrology of quantitative phase imaging systems in biomedical applications | |
| Bazow | Scattering Inversion Techniques for Three-Dimensional Refractive Index Estimation Based on Non-Interferometric Optical Diffraction Tomography | |
| Li et al. | Three-dimensional optical diffraction tomographic microscopy with optimal frequency combination with partially coherent illuminations | |
| Balasubramani | Kujawi nska, M.; Allier, C.; Anand, V.; Cheng, C |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |