CN109154569A - 用于对未切片组织样本成像的方法和装置 - Google Patents
用于对未切片组织样本成像的方法和装置 Download PDFInfo
- Publication number
- CN109154569A CN109154569A CN201780018633.7A CN201780018633A CN109154569A CN 109154569 A CN109154569 A CN 109154569A CN 201780018633 A CN201780018633 A CN 201780018633A CN 109154569 A CN109154569 A CN 109154569A
- Authority
- CN
- China
- Prior art keywords
- sample
- imaging system
- sample holder
- transparent window
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0088—Inverse microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/086—Condensers for transillumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种装置,该装置包括:主成像系统,其配置为使用照明源通过一个或多个光谱分离的通道采集组织样本的图像,并配置为执行光学深度切片;辅助成像系统,其配置为采集组织样本的辅助图像;样本保持器,其内具有透明窗口,该样本保持器包括一个或多个位置传感器,其中该样本保持器配置为可在样本平面中平移;用户输入设备,其配置为接受用户输入,其中该样本保持器配置为实时响应用户输入而平移;处理单元,其配置为对由主成像系统采集的图像序列、辅助图像和至少一个样本保持器位置执行指令序列以生成组织样本的复合表现,其包括样本中细胞核的表现;和显示设备,其配置为实时显示组织样本的复合表现。
Description
相关申请
本申请要求2016年2月12日提交的美国临时申请号62/294,473的权益。上述申请的全部教导以引用方式并入本文。
政府支持
本发明在国立卫生研究院R01-CA178636的政府支持下完成。政府拥有本发明的某些权利。
背景技术
外科病理学是涉及对在手术期间从患者移除的组织的评估以处理医学状况的医学领域。许多外科程序需要对在手术期间移除的组织进行显微评估以确定可能需要额外治疗或手术的病理的存在。大多数显微评估的组织用甲醛或其他固定剂防腐,包埋到石蜡或类似介质中,并然后切成光学薄切片,其被染色或以其他方式标记。评估最通常在透射照明显微镜上进行,其中通过吸收透射经过样本的光生成图像。这种评估方法是冗长的,因为为了切割和染色组织而需要大量的化学处理,并可能延迟外科手术而达到花费昂贵或在某些情况下甚至不可实行的程度。
因为冗长的处理在许多类型的手术期间排除了进行组织学评估的可能性,故经历癌症或其他病理(包括乳腺癌)切除的患者可能需要多次手术以实现病理组织的完全去除。例如,在乳腺癌保乳手术中,大多数患者可能因为在手术结束后发现在切除组织的表面上存在癌的微观区域而需要二次手术来实现疾病的完全治疗。术中成像技术如Mohs显微手术(MMS)可通过冷冻组织、将其切成薄切片并然后染色和在常规透射照明病理学显微镜上评估切片以确定切除的充分性来降低二次手术的比率。这些技术耗时且灵敏度不够而不适用于多种癌症的治疗,包括乳腺癌的治疗。或者,标准的石蜡包埋组织病理学(PEH)既具有成本效益又具有高度灵敏性,但过于耗时(固定和石蜡包埋需要几乎1天的处理时间)而不能用于许多手术场景中。因此,需要用于评估组织的病理存在的替代设备和方法。
程序如MMS和PEH会招致长的处理时间,这主要是因为需要将组织物理地切成薄的(通常约5微米)的切片,这些切片可被染色、装载在载玻片上并在透射照明病理学显微镜上成像。切片过程是必要的,因为透射照明显微术依赖于使光透射经过样本,在其中光被染料吸收,从而通过相对于其他颜色衰减某些颜色来产生图像。得到的彩色图像代表在较大的组织样本内切割的单个图像平面,并用于由受过训练的病理学家通过检查组织或个体细胞的病理学迹象(例如,增大或不规则形状的细胞或细胞核)来进行诊断。通常该图像由H&E染色产生,该染色由苏木精(一种主要将细胞核染成紫色的染料)和曙红(一种使许多其他组织组分如细胞质、基质和胶原蛋白呈现粉色的复染染料)组成。为了使这个过程起作用,必须将组织切得足够薄以使光可透射通过样本,从而通过从较大样本物理切割平面(切片)来有效地形成单个图像平面。就乳腺癌而言,主要基于细胞核的外观、取向和密度进行诊断。
为缩短样品制备时间,过去提出了光学深度切片,其中使用先进的显微技术在较大的完整3D样本内选择性地对单个2D平面成像。这些技术通过使用光学方法选择性地对单个平面成像来避免与PEH和MMS相关联的冗长的物理切片过程,因此可在成像时间的最小化很重要的场景中使用。在设备和方法中,已提出大样本的光学切片反射共焦成像与用于指导的低放大倍率成像相结合,主要用于如皮肤癌的应用。然而,单独的反射共焦不能提供细胞核成像所需的分子对比度,因此不能用来在许多外科病理学应用中进行诊断,包括保乳手术,其中诊断标准严格依赖于检查细胞核的位置、组织和外观。已基于如全视野光学相干断层扫描术的技术提出了其他方法,但这些方法也缺乏解析细胞核的能力。
大多数可产生光学切片图像的显微技术不通过透射光的光学吸收产生图像,故本质上不产生类似于常规透射照明显微术的图像。因此,对于绝大多数在常规透射照明显微术方面受过训练的病理学家和外科医生来说,通过这些方法产生的图像的解读将是困难或含糊的。代替透射照明,大多数光学切片技术以落射照明(epi-illumination)模式操作,其中照明和成像都从样本的相同表面发生。此外,大多数基于由样本反射的光的总功率(反射共焦显微术或光学相干断层扫描术)或从样本返回的光的波长相对于照明波长的光谱偏移(例如,荧光、二次谐波产生或拉曼散射)产生图像。在任一情况下,当存在感兴趣的物质时,将产生较亮的图像,否则较暗。然而,已经证实,有可能使用计算方法从组织产生虚拟透射照明图像,其可精确地再现常规透射照明显微术中存在的诊断特征。通过产生示出细胞核和其他细胞组分的图像,如在使用H&E载玻片的透射照明显微镜中显现的那样,这些被称为虚拟透射照明显微术(VTM)的方法使得在现有病理学技术方面受过训练的病理学家能够更快地进行诊断。然而,VTM方法整合到用于外科病理成像的设备和方法中受到的关注较少,因此通常不可用于外科程序中。
又一个问题涉及到许多外科切除物的较大规模以及在手术期间评估它们的有限时间。由于显微评估需要有限视野的高放大倍率成像,故在大的手术样品上定位病理区域可能是耗时的。例如,用于共焦成像的典型20倍率图像可能覆盖不到一平方毫米,而典型的乳腺切除物可能具有大于10,000平方毫米的表面积。然而,手术时间是珍贵的,并且存在着患者可合理地保持在手术中的最大时间量,这使得整个非常大的切除物整体的全面成像不切实际。不幸的是,许多先前提出的手术成像设备和方法依赖于能够以高分辨率对整个表面全面地成像、将一块块的许多单个图像拼接在一起、然后使用拼接图像来进行诊断,这对于大样本来说是一个不切实际地缓慢的过程。
目前使用的用于外科病理学的方法通常采用各种标记,如缝合线或彩色墨水,其在切除期间或之后但在组织学检查之前放置在样本上以指导组织学评估。这些标记常被用来使组织相对于其所提取的手术腔定向和指示组织的组织学相关方位的位置。例如,在用保乳手术治疗的乳腺癌中,从患者取出切除的组织,用至多6种不同的颜色着墨,每种颜色指示样本的不同方位(aspect)(侧面)。着墨后,将样本剖切成若干薄片,边缘上的着墨方位指示组织学相关的手术切缘。尽管剖切过程导致组织样本的原始形状的丧失,但通过参考切片边缘上存在的彩色墨水,受过训练的病理学家可定位组织的原始表面并评估任何病变与切缘或切除边缘的接近程度。如果病变存在于切除边缘上或太靠近切除边缘,则可认为手术切缘不充分而需要额外的手术切除,并基于墨水的颜色指导切除的位置。着墨程序也被用在其他外科手术中,包括许多皮肤恶性肿瘤如基底细胞癌的治疗。因此,必要的是用于评估手术病理学的成像系统包括用于评估缝合线、外科墨水或其他外源标记的位置的方法和设备。然而,在荧光成像、反射共焦成像或光学相干断层扫描中,对缝合线、外科墨水或其他外源标记成像是困难或不可能的,需要其他方法例如可用来实时向用户指导诊断相关的区域而同时避免对不相关的区域成像的白光成像或窄带成像。
发明内容
本发明一般性地涉及外科病理学成像的领域。具体而言,本发明涉及使用倒置显微镜对切除的外科组织进行实时病理学评估的设备和方法。
需要一种能够快速评估大的组织区域的系统,该组织可能具有包埋在较大的正常或诊断无关组织区域中的病理学的孤立或病灶区域。这样的系统可实时评估数千平方毫米面积中局部病理的存在,然后响应用户输入而实时提供病灶病理的高分辨率VTM图像。本文描述的系统和方法包括以下特征的组合:允许对大样本区域进行在许多手术切缘上存在大的组织学正常区域的组织学分析、识别手术标记以指导评估、以及在没有物理切片的情况下快速和高效地实现细胞核的可视化的特征。本文公开的系统和方法可包括用于细胞核的荧光对比剂、细胞解析光学切片荧光成像、实现实时指导和VTM呈现的低延迟处理、在低放大倍率下宏观组织特征的同时成像以识别墨水、外科标记和非常明显的病理学区域。
在第一个示例性实施方案中,本发明是一种用于组织样本的实时光学成像的装置。该装置包括:主成像系统,其配置为使用照明源通过一个或多个光谱分离的通道采集组织样本的图像,所述一个或多个光谱分离的通道中的至少一个配置为检测与照明源的波长范围不同的波长范围,主成像系统是具有帧采集速率的倒置显微镜并配置为执行光学深度切片,主图像系统配置为采集图像序列;辅助成像系统,其中辅助成像系统配置为采集组织样本的辅助图像,其中辅助图像的面积大于由主成像系统采集的图像序列的每一图像的面积;样本保持器,其内具有透明窗口,样本保持器设置在与主成像系统的焦平面相交的样本平面中,样本保持器配置为将组织样本保持在透明窗口上,样本保持器包括一个或多个位置传感器,其中样本保持器配置为可在样本平面中平移,所述一个或多个位置传感器配置为测量样本保持器位置,并且其中样本保持器配置为可平移到辅助成像系统的焦平面;用户输入设备,其配置为接受用户输入,其中样本保持器配置为实时响应用户输入而平移;处理单元,其与主成像系统、辅助成像系统和位置传感器电连通,其中所述处理单元配置为对由主成像系统采集的图像序列、辅助图像和至少一个样本保持器位置执行指令序列以生成组织样本的复合表现(representation),其包括样本中细胞核的表现;以及显示设备,其与处理单元电连通,所述显示设备配置为实时显示组织样本的复合表现。
在第二个示例性实施方案中,本发明是一种套件,其包含本文所述装置的任何实施方案和吸收由主成像系统发射的光的主要荧光核对比剂,并且其中所述主要荧光核对比剂的荧光发射波长对应于光谱分离的通道中的至少一个。
在第三个示例性实施方案中,本发明是一种组织样本的实时光学成像方法,其包括以下步骤:向组织样本施加一种或多种荧光对比剂,其中所述一种或多种荧光对比剂中的至少一种为核对比剂;提供第一个示例性实施方案中所述的装置的任何示例性实施方案,使组织样本就位于样本保持器中;将样本保持器定位在辅助成像系统的焦平面处;使辅助成像系统采集辅助图像;将样本保持器定位在主成像系统的焦平面处;使主成像系统采集图像序列;使处理单元检测组织样本内的细胞核并生成组织样本的复合表现;使显示设备实时显示组织样本的复合表现;以及使用用户输入设备使样本保持器在样本平面中平移。
在第四个示例性实施方案中,本发明是一种组织学样本盒装置,其包含:包括底壁和样本保持结构的开口容器;配置为封闭开口容器的样本盖;配置为连接开口容器与样本盖的样本盖连接器;透明窗口;配置为将底壁或样本盖与透明窗口连接的透明窗口连接器;开口容器、透明窗口或样本盖中的一者或多者中的多个穿孔。
附图说明
通过以下对如附图中所示本发明的示例性实施方案更具体的描述,前述内容将变得显而易见,在附图中,相同的附图标记在不同的视图中指代相同的部分。附图不一定按比例绘制,而是将重点放在说明本发明的实施方案上。
图1为说明所公开的光学成像系统的示意图。该光学成像系统由主成像系统、样本保持器、辅助成像系统、用户输入设备、处理单元和显示设备组成。
图2为说明所公开的光学成像系统的一个实施方案的示意图,其中主成像系统为多光子显微镜。
图3为说明所公开的光学成像系统的一个实施方案的示意图,其中主成像系统为共焦显微镜。
图4为说明所公开的光学成像系统的一个实施方案的示意图,其中主成像系统为结构化照明显微镜。
图5为在所公开的光学成像系统的一个优选实施方案中所述两个或更多个光谱分离的通道中的两个的表现。第一个通道代表来自对细胞核或细胞核组分或二者具有特异性的对比剂的荧光图像。第二个通道代表来自补充对比源的荧光图像。
图6为样本保持器的一个实施方案的图示,其包括可移除的透明窗口和流体保持结构。
图7为所公开的光学成像系统的优选实施方案中样本保持器和用户输入设备的图示,其中(a)用户输入设备为一对旋钮,每一个旋钮通过扭矩的机械传输来控制轴,和(b)用户输入设备为控制至少两个轴的电子致动的操纵杆。
图8为示意性地示出样本保持器的图示,其中用户输入设备为样本保持器的一个区域,其在机械上适合用户直接平移台架。
图9为辅助成像系统的一个实施方案的示意图,其中该辅助成像系统为光传感器、透镜和照明器的一维数字阵列。给出了正面和横切面视图二者。
图10为显示组织样本的复合表现的显示设备的一个实施方案的图示,该复合表现含有来自图像序列的图像的表现、辅助图像的表现和辅助图像的子区域。
图11为使用Windows计算机作为处理单元实施并在显示设备上显示的复合表现的实例。
图12为处理单元的图示,其中该处理单元通过图形处理单元从图像序列产生图像的表现,其中图形处理单元具有并行处理硬件并执行内核。
图13显示光学切片的人乳腺组织,示出了对细胞核或细胞核组分或二者具有特异性的光谱分离的通道和具有补充对比源的光谱分离的通道,其使用优选的VTM处理法处理以产生组成VTM图像的红色、绿色和蓝色通道。
图14为具有外源标记的组织样本的图示。
图15为含有窄带照明器和宽带照明器的辅助成像系统的一个实施方案的图示。
图16为用于实现组织样本的实时光学成像的方法的一个实施方案的流程图。
图17为使用本发明实施工作流程以评估组织样本的病理存在的一般性术中或术后方法的流程图。
图18为实施工作流程以使用本发明来在治疗乳腺癌的乳房肿瘤切除术期间评估手术切缘的方法的一个实施方案的流程图。
图19给出了本发明的一个示例性实施方案的前视图和顶视图的照片,其中主成像系统为多光子显微镜。
图20显示光学切片的人乳房组织,示出了对细胞核或细胞核组分或二者具有特异性的光谱分离的通道,和具有补充对比源的光谱分离的通道,其中主成像系统为共焦显微镜。
图21为含有照明源的辅助成像系统的一个实施方案的图示,该照明源以透射几何构型照射组织样本。
图22为使用可移除透明窗口的实施方案进行组织评估和组织学处理的方法的流程图。
图23为具有分隔器和样本标签的样本保持器的一个实施方案的图示。
图24为适于用所公开的光学成像系统成像的组织学样本盒的一个实施方案的图示。
图25为在安装到样本保持器中时适于用所公开的光学成像系统成像的组织学样本盒的一个实施方案的图示。
图26(a)和图26(b)为适于用所公开的光学成像系统成像的组织学样本盒的一个实施方案的图示。
图27(a)和图27(b)为适于用本发明成像的组织学样本盒的一个实施方案的图示,其中透明窗口在底壁的外表面上。
图28(a)和图28(b)为适于用所公开的光学成像系统成像而同时允许通过使用辅助成像系统对倾斜壁上的标签成像的组织学样本盒的一个实施方案的图示。
图29(a)和图29(b)为适于用所公开的光学成像系统成像的组织学样本盒的一个实施方案的图示,其中透明窗口连接到样本盖。
图30(a)和图30(b)为适于用所公开的光学成像系统成像的组织学样本盒的一个实施方案的图示,其中分隔器使得能够加载两个小组织样本而不丧失个体样本身份。
图31(a)和图31(b)为图26的实施方案的替代实施方案的图示,其中样本保持结构由具有倾斜壁的样本保持结构的端部上的柔性铰链连接到样本盖。
图32(a)和图32(b)为适于用所公开的光学成像系统成像而同时允许溶剂的快速、均匀渗透的组织学样本盒的一个实施方案的图示。
具体实施方式
下面是对本发明的示例性实施方案的描述。
本文公开的本发明的方面和实施方案涉及用于对厚组织样本中存在的病理进行成像而同时实时地产生组织样本的表现的方法、系统和设备,其中实时理解为指操作的延迟微不足道。本发明包括若干部件,包括以倒置几何构型在比感兴趣的图像平面厚得多的组织样本内以高分辨率进行光学切片显微术的主成像系统。该成像系统可采用多光子显微术、共焦荧光显微术、光片显微术、采用紫外线表面激发的显微术或基于结构化照明但可以与常规组织学显微镜相当的放大倍率和适于实时用户评估的成像速率检测荧光或反射光的技术。辅助成像系统与主成像系统结合来在更宽的区域上提供较低放大倍率的成像,其可用来指导感兴趣的区域的选择或评估病理、外科墨水或样本边缘之间的物理距离。为了使用户能够用主成像系统对在辅助图像上识别的感兴趣的区域成像,使用可平移的样本保持器,其包括用于连续和实时监视成像位置的位置传感器。使用用户输入设备,用户可实时地平移样本保持器。
为了指导用户选择要用主成像系统成像的位置,主成像平面和辅助图像平面的物理位置相对于样本保持器上的位置传感器是已知的。因此,已知的关系确认一个图像中与另一图像中的相同样本位置相对应的区域。在优选的实施方案中,对于每一成像放大倍率,可使用样本保持器、位置传感器和主成像系统与辅助成像系统之间的已知关系的组合来平移样本到不同的位置中,使得两个仪器能够占据物理上不同的显微镜区域。图像和位置信息被实时显示给用户,这意味着显示器在具有足够低延迟的速率下更新而使用户能够有效地评估组织样本,同时为仪器提供输入以响应于显示来平移样本。为了实现这种实时评估,处理单元被并入本发明中。处理单元从主成像系统和辅助成像系统二者接收图像数据以及从位置传感器接收位置数据。在优选的实施方案中,主成像系统是在正常操作期间以每秒至少一个的速率连续返回图像帧的显微镜,而辅助成像系统在采集开始时或当用户指令时捕获组织样本的单个图像。为了完成这些任务,处理单元包含若干部件,包括用于管理数据采集和用户命令的中央处理单元。为了帮助评估,处理单元可整合多种显示模式,包括VTM或常规的表现颜色编码。处理单元的一个实施方案包含具有并行处理能力的图形处理单元(GPU)以通过并行执行许多操作来使与生成图像的表现和位置数据相关联的延迟最小化。处理单元还利用低放大倍率图像与当前样本保持器位置之间的关系来覆盖或指示由主成像系统生成的图像序列在低放大倍率图像上的位置。此外,在一个实施方案中,处理单元可通过平移样本保持器、调节进入到样本中的图像深度、调节照明功率或显微镜的其他方面来集成一个或多个模拟常规病理学显微镜上的调节旋钮的数字控制器。
图1中示出了一种用于组织样本的实时光学成像的装置和方法。该装置包括:主成像系统103,其配置为使用照明源113并且其为倒置显微镜(其通过一个或多个光谱分离的通道对已用对细胞核或细胞核组分具有特异性的荧光对比剂102标记的组织样本101产生图像序列),解析由荧光对比剂标记的核并进行光学深度切片;辅助成像系统108,其配置为在比主成像系统大的区域上采集辅助图像;在主成像系统的焦平面中平移的样本保持器104,其具有透明窗口105和一个或多个位置传感器106;用户输入设备109,其被包括而使用户能够实时指导样本保持器的平移;与主成像系统、辅助成像系统和位置传感器电连通的处理单元110,其对由主成像系统产生的图像序列、由辅助成像系统产生的辅助图像和来自所述一个或多个位置传感器的位置执行指令序列以生成组织样本的复合表现,该复合表现包括组织样本中细胞核的表现111;以及显示设备112,其被包括而将组织样本的复合表现实时显示给用户。主成像系统包含照明源,并具有小于40微米的轴向分辨率(成像的深度切片的宽度)(这是单个细胞和细胞核可在组织内解析的最大值),并以大于每秒1个图像的速率生成图像序列。由主成像系统产生的每一个图像包含一个或多个光谱分离的通道中的至少一个,并且所述光谱分离的通道中的至少一个检测由对细胞核或细胞核组分具有特异性的荧光对比剂发射的荧光。
就本发明的目的而言,主成像系统可包括若干光学深度切片方式,只要它们可类似于物理切片以足以使得能够检查单个细胞的分辨率从较大样本内的特定深度范围分离光学信号即可。通常,这将需要小于40微米的轴向分辨率(深度切片的宽度)。此外,在所有实施方案中,组织样本中存在至少一种对细胞核或细胞核组分具有特异性的、可由主成像系统检测的荧光源。其他实施方案可进一步检测两种或更多种荧光团,或者检测一种荧光团和一种或多种非荧光对比源如反射率。
图2为采用多光子显微镜的本发明一个实施方案的示意图。在此实施方案中,主成像系统203通过使用束流扫描器224扫描来自照明源211(在此情况下脉冲激光器)通过扫描透镜单元218、分束器219和物镜215照射在经用对细胞核或细胞核组分202具有特异性的荧光对比剂处理的样本上的光来进行组织样本201的光学深度切片。该激光具有皮秒级或更短的脉冲持续时间。如果激发波长比感兴趣的荧光团吸收的波长更长,则不会通过单光子过程发生激发。然而,如果波长大约是被吸收的波长的两倍,则在照明的焦点内可发生双光子吸收,导致焦点的光学深度切片成大约几微米厚的切片。在焦点外,光强度对于双光子吸收不足够高并因此不发生激发。在一个实施方案中,样本含有另外的内源或外源对比源如第二荧光剂、发射二次谐波光的组分或内源自发荧光,其可通过二向色分束器220和一个或多个荧光滤光器221以及一个或多个检测器223(每一个检测器具有一个或多个检测元件)与标记的细胞核分离。多光子显微镜的实施及其操作原理的详细描述由“Nonlinearmagic:multiphoton microscopy in the biosciences”,W.R.Zipfel,R.M.Williams andW.W.Webb(Nature Biotechnology 21:1369-1377(2003))给出。
图3为采用共焦显微镜的本发明一个实施方案的示意图。在此实施方案中,主成像系统303通过使用束流扫描器324扫描来自照明源311通过分束器319、扫描透镜单元318和物镜315照射在经用对细胞核或细胞核组分302具有特异性的荧光对比剂处理的样本上的光来进行组织样本301的光学深度切片。照明源优选为一个或多个激光器,但不需要是脉冲的。在此实施方案中,激发照明源波长直接对应于一种或多种感兴趣的荧光团的吸收波长。激发光的吸收和荧光的发射在样本中的多个深度处发生,但扫描透镜单元318通过孔隙325传递来自样本的仅单个平面的光并最终到具有一个或多个检测元件的检测器323上。如果光来源于焦平面上或附近,则其才能通过孔隙而没有实质衰减,从而通过抑制焦点外光(out of focus light)而得到光学深度切片。对于共焦显微术,已知孔隙的许多实施方式,包括针孔、光纤和Nipkow盘。在一个实施方案中,样本含有额外的内源或外源对比源,如第二荧光剂、内源自发荧光或直接反射的光,其可通过二向色分束器320和一个或多个荧光滤光器321与标记的细胞核分离。共焦显微镜的实施及其操作原理的详细描述由R.H.Webb,“Confocal Optical Microscopy”,(Reports on Progress in Physics 59 427-471(1996))给出。
图4为本发明的一个实施方案的示意图,其中主成像系统403为结构化照明显微镜。在此实施方案中,主成像系统使用基于结构化照明的技术来实施光学深度切片,其中由照明源411和空间光调制器424生成的照明图案通过物镜415被投射到组织样本401上,该照明源411优选为一个或多个激光器、LED或其他同等明亮的光源。这些图案因散焦而模糊,只有单个平面完美对焦。通过顺次对投射到样本上的两个或更多个不同的图案成像,可以使用算法将焦点的边界清晰的特征与漫射背景相分离。与共焦显微术一样,该实施方案对经用对细胞核或细胞核组分402具有特异性的荧光对比剂染色的组织样本成像。在另一个实施方案中,使用可由二向色分束器420光谱分离的第二对比源——内源荧光团、外源荧光剂或直接反射的光。来自一个或多个光谱通道的对比经一个或多个荧光滤光器421通过透镜422成像到包含检测元件的线性阵列或2D阵列的检测器423上。其他实施方案还可将多种不同切片技术的方面结合到一个成像系统中,例如,一种或多种荧光剂的多光子激发和散射光的反射共焦检测。适用于本发明中的许多其他光学深度切片的方式已有描述,包括光片显微术,其使用两个不同的物镜(一个提供照明,和第二个聚光),并布置为使得仅位于两个物镜的焦平面的重叠部分中的物体可被检测到。其他方式还包括基于紫外线(UV)吸收的技术,包括具有紫外线表面激发的显微术,其使用通常约300nm或更短的短波长UV光来照射样本的表面并由于生物组织的强UV吸收而不照射表面下的深度。
为了再现MMS或PEH中存在的已用H&E染色的诊断特征,优选主成像系统具有两个或更多个光谱分离的通道,每个通道提供关于组织样本的不同方位的信息。与苏木精类似,这些通道中的第一个必须对细胞核或细胞核组分或二者具有特异性。使用核对比剂——一种对细胞核或细胞核组分或二者具有亲和力的外源荧光对比剂来实现特异性。在优选的实施方案中,核对比剂为通过组织快速渗透的快速扩散剂,例如但不限于吖啶橙、吖啶黄、Syto-蓝、Syto-橙、Syto-红、DAPI、Hoechst 33342、DRAQ5、溴化乙锭、亚甲蓝、碘化丙锭或碘化己锭,以便染色不会占据手术时间的很大部分。必要的是选择能够吸收照明源的波长的对比剂,此外,如果使用多于一种对比剂,则优选这些对比剂的发射波长是不同的,以便它们可以光谱分离。为了使对比度最大化,荧光染料的优选实施方案在与细胞核或细胞核组分或二者结合后具有大的荧光增强。在一个实施方案中,主成像系统的第二通道提供来自对细胞核或细胞核组分或二者具有亲和力的荧光对比剂的补充对比源的信息。类似于组织病理学中的曙红染色,补充对比源使得其他细胞特征和包括但不限于细胞质、基质、胶原蛋白和肌肉的组织组分能够可视化。在一个实施方案中,补充对比源包括来自曙红、罗丹明、德克萨斯红、磺酰罗丹明、甲苯胺蓝、赤藓红或用来标记基质和其他组织组分的另一荧光剂的荧光。由于在组织病理学中由曙红标记的许多组织组分是反射性的或自发荧光的或表现出二次谐波产生(SHG),故在一个实施方案中,未使用外源标记来产生补充对比;相反,补充对比源包括内源荧光团、SHG或直接反射的照明光中的至少一种。在优选的实施方案中,选择荧光剂、内源荧光团、SHG或反射光以使得可使用共同的照明源同时产生两个光谱分离的通道,并且然后基于不同的发射或反射光谱进行分离。
图5为该实施方案的表示。501示出了对细胞核或细胞核组分或二者503具有特异性的通道。502示出了补充对比源,其通过与对细胞核或DNA具有特异性的试剂对比而使得包括细胞质、基质和胶原蛋白504的组织组分能够可视化。在一些应用中也可能仅需要单个对比通道,在此情况下检测细胞核及基质、胶原蛋白、细胞质、肌肉或其他组织组分中的至少一些组分。在此情况下,对细胞核或细胞核组分或二者具有不完全特异性的试剂,例如但不限于亚甲蓝或吖啶橙,可以以其中来自标记的细胞核或细胞核组分或二者的强发射与其他组织组分的较弱发射形成对比的方式使用。也可能仅采用单个检测器,其中采集在不同的照明光谱下每个显微视野的两个或更多个连续图像以使得可区分具有不同吸收光谱但具有相似发射波长的试剂。
装置的一个实施方案使用光谱选择性滤光器来基于波长分割从样本返回的光。一个实施方案使用如220、320和420所示的45度波长选择性分束器来将光引导到具有附加波长选择性滤光器221、321和421的两个单独的检测器中,使得一个检测器接收来自对细胞核或细胞核组分或二者具有特异性的染料或试剂的光,并且另一个对补充对比源具有特异性。如果补充对比源也为荧光团,则两个通道都拒绝来自照明波长的光。如果第二对比源为反射光,则至少一个通道接受来自照明波长的光。另一个实施方案使用两个光谱选择性滤光器,它们部分地、但不完全地分离两个光谱通道。在这种情况下,混合光谱分解(spectralunmixing),其中一个通道中已知量的信号在另一个通道中检测并然后在计算表现时数字地移除。另一个实施方案使用具有光谱敏感性的单个检测器如光谱仪、彩色相机或其他波长选择性光学设备。
在各种实施方案中,本文描述的装置的样本保持器还包括样本分隔器。在示例性实施方案中,样本保持器还包括盖子。在各种实施方案中,辅助成像系统还包括照明源。照明源可配置为附接到盖子。盖子还可包括配置为将组织样本保持贴靠透明窗口的样本引导件(specimen guide)。透明窗口可由玻璃、熔融石英、二氧化硅或UV透射材料如氟化钙制成或者包含玻璃、熔融石英、二氧化硅或UV透射材料如氟化钙。
为了在成像期间支承样本,本发明使用具有透明窗口的样本保持器和以倒置几何构型取向的成像光学器件,其中倒置是指将样本定位在物镜或成像透镜上方并可平移到其焦平面的显微镜或其他成像设备。倒置几何构型的使用使得具有不同厚度的不规则形状样本能够适配到相同样本保持器上,这在非倒置几何构型中是挑战性的,因为需要将样本颠倒悬挂而贴靠透明窗口。与使用下面是用于机械支承的厚载玻片、上面是用于成像的薄盖玻片的直立配置的常规透射照明显微镜相比,所述透明窗口既包括机械支承又包括成像盖玻片功能。通常,盖玻片设计为具有与用于成像的显微镜物镜的球面像差校正相匹配的特定厚度。在较低的数值孔径(通常低于0.5)下,球面像差的影响可忽略不计,在此情况下,与设计的盖玻片厚度相比,透明窗口可较厚。对于较高的球面像差,或者对于设计用来支承非常大或重的样本的样本保持器,可使用围绕厚(通常1-2mm)盖玻片设计的特殊物镜。在一个实施方案中,透明窗口由高弹性模量玻璃如硼硅酸盐玻璃组成,并且被选择为足够厚以便透明窗口在预期的样本载荷下是刚性的而不会在设计的物镜中引入实质性像差。在另一个实施方案中,选择在近红外或UV光谱中具有高透射率的玻璃或塑料。对于普通的市售物镜,透明窗口厚度将优选约为500微米,但如果需要更高数值孔径的物镜,则可使用更薄的窗口,或者可使用具有可调节的球面像差校正的物镜。一个实施方案允许对组织样本或透明窗口进行表面跟踪,使得当在成像平原上摇拍(panning)时,调节物镜的高度以考虑表面偏斜,以便焦点相对于组织表面总是处于同一平面中。此外,为了便于用荧光对比剂对组织样本快速染色,可在组织样本放置于透明窗口上之后进行染色。
透明窗口可足够大以同时支承多个样本或是支承比典型的组织学样本大的样本。在一个实施方案中,样本保持器设计为足够大以对大的手术切除物的整个表面成像而无需将它们切成较小的块(类似于常规组织病理学中的全样本安装过程)。如果诊断将得益于能够使整个完整样本可视化,则该实施方案是有利的。在图23中示出的另一个实施方案中,样本保持器还包括样本分隔器2301,该结构将组织样本2303彼此分离到由流体保持结构2304围绕的透明窗口2305上的样本分隔池中。样本分隔器可以是由塑料或金属制成的物理网格屏障,其足够厚以防止样本移动到样本分隔器中的其他池中。一个实施方案包括识别或排序在网格内的组织样本的标签2302以便于识别或跟踪样本。这些标签可布置为使得样本标签能够由用户读取或使用辅助成像系统以数字方式读取。样本分隔器的另一个实施方案为蚀刻到透明窗口中的玻璃上网格图案、施加于透明窗口的墨水或者由塑料或金属制成的薄屏障。
图6示出了样本保持器604的一个实施方案,其包括可移除透明窗口606。在此实施方案中,透明窗口与位置传感器605分离,同时定位组织样本601以便于更快速的工作流程或避免在显微镜上方处理组织样本。在样本就位后,可将透明窗口插回到样本保持器中。在另一个实施方案中,透明窗口具有围绕透明窗口的流体保持结构607以防止在装载期间流体从样本泄漏。可移除透明窗口的此实施方案还优选用于在当组织样本在透明窗口上时染色组织样本。在一个实施方案中,流体保持结构位于样本保持器中的透明窗口下方以防止来自样本的流体泄漏到样本保持器外。在另一个实施方案中,该保持结构还包括紧密配合的盖子以降低流体泄漏的风险或在成像期间排除室内光线。为了确保没有流体漏出或光漏入,紧密配合的盖子还可包括由盖子与透明窗口之间的橡胶垫圈或类似屏障形成的防水密封。在使用高功率激光器的系统中,盖子还可包括互锁部件,从而在当透明窗口和盖子不在适当位置时禁止激光照明以保护使用者免受杂散激光辐射。在一个实施方案中,盖子可包括样本引导件,其通过促进组织与透明窗口的接触来促进组织样本的成像。组织引导件可使用海绵、弹簧、充气膜或其他能够将受控的力施加到组织样本上的材料将组织压靠在玻璃上。另外,可能有利的是组织引导件由透明或半透明材料制成以在用辅助成像系统成像时允许通过组织引导件照射组织样本。在另一个实施方案中,多个透明窗口顺次与单个样本保持器配对,使得用户能够将样本装载到两个或更多个窗口中并然后在评估期间快速地交换它们。
在另一个实施方案中,样本分隔器以机械方式连接到透明窗口。在此实施方案中,如果使用池覆盖物将每个样本保留在每个样本分隔池内,则可能更有利。在这种配置中,每个样本都保留在封闭空间内,从而排除了样本识别方面的损失。每个样本分隔池可还含有标签以便于识别。在一个实施方案中,可密封单个分隔池使得分隔器和池覆盖物内部的流体不能外漏到显微镜中。在另一个实施方案中,分隔器或池覆盖物可包括多个穿孔,这些穿孔使得流体、试剂、固定剂、溶剂或荧光对比剂能够移进或移出每个分隔池。
在一个示例性实施方案中,本发明是一种组织学样本盒装置,其包含:包括底壁和样本保持结构的开口容器;配置为封闭开口容器的样本盖;配置为连接开口容器与样本盖的样本盖连接器;透明窗口;配置为将底壁或样本盖与透明窗口连接的透明窗口连接器;开口容器、透明窗口或样本盖中的一者或多者中的多个穿孔。在本实施方案的一个方面,样本盖连接器为槽口、突片、铰链或磁体中的一者或多者。在另一个方面,样本保持结构包含具有外表面的倾斜壁。在另一个方面,透明窗口包含玻璃、熔融石英、二氧化硅或UV透射材料如氟化钙。在另一个方面,透明窗口包含透明塑料。在另一个方面,透明窗口连接器耐二甲苯、醛和醇。在另一个方面,透明窗口连接器包含耐溶剂的粘合剂如双组分环氧树脂或UV固化树脂,或已知耐溶剂的市售粘合剂中的任何一种。在另一个方面,透明窗口连接器包括如塑料的材料,其可在透明窗口的部分周围熔化。在另一个方面,透明窗口连接器耐组织学处理溶剂如福尔马林、乙醇和二甲苯。在一个示例性实施方案中,本文所述的组织学样本盒装置具有沿最长轴(维度)的大约4.5cm或更小的长度和沿次最长轴(维度)的大约3.5cm或更小的宽度。下面结合图24-32描述组织学样本盒装置的各种示例性实施方案。
在另一个实施方案中,可将多个样本各自插入单个组织学样本盒中,每个样本盒含有适于用所公开的成像系统成像的透明窗口,使得用户能够独立地和同时地将多个较小的样本装载到样本保持器中以便评估。每个盒可还含有标签以便于识别或排序,所述标签可取向为使得能够由用户或由辅助成像系统可视化。在通过比直接放置多个小样本于单个大透明窗口上更容易地评估多个小样本(通过使用户能够保持样本的顺序、取向或识别)时,该实施方案可能是有利的。将盒成形为使得它们与各种现有的组织处理设备如盒打印机(cassette printer)或真空浸渗(infiltration)处理器机械相容可能是有利的。该实施方案的一个优点在于可使用现有的组织学盒打印机来标记透明窗口。该实施方案的又一个优点在于,如果需要随后的组织学处理操作如固定、脱水或石蜡浸渗,则其可在组织在盒内和/或与透明窗口接触的情况下进行而不需要用户手动转移样本到常规(没有透明窗口)的组织学盒或其他处理容器中。
为了与现有的组织处理设备机械相容,优选每个盒具有开口容器,其中所述开口容器包括底壁和样本保持结构。也可配置样本盖以关闭开口容器,从而保持组织样本与透明窗口接触。样本盖还可具有样本盖连接器,其中所述连接器配置为连接盒体与样本盖。对于小样本,可插入附加材料如海绵或组织引导件以保持组织贴靠透明窗口。为了能够在现有的组织处理设备中使用,优选盒的尺寸接近常规的组织学处理盒。通常,沿最长轴(维度)的长度为大约4cm,沿次最长轴(维度)的宽度为大约3cm。第三且最短的轴(维度)通常为大约0.5-1.5cm。更大的几何形状也是可能的,但可能需要专门的设备并因此增加处理成本。为了能够与盒标签打印机相容,优选的是,透明窗口、样本保持结构和盖的一个面包括适于标记或打印的大约45度倾斜表面。在符合这些限制的一个实施方案中,样本保持结构的两个基本平行的侧面长约4cm,样本保持结构的2个基本平行的侧面长约3cm,至少一个侧面成大约45度,透明窗口嵌入在底壁内,并且盖用铰链或其他固定件附接。在另一个实施方案中,透明窗口嵌入在盖中,这对于与现有石蜡切割切片机相容是有利的,其中需要将石蜡化的样本安装在盒的背面上。在一个替代的实施方案中,透明窗口包含整个底壁使得盒完全安置在透明窗口的材料上。在所有实施方案中,可保护透明窗口的边缘使之免受使用者的损坏或是在样本切割期间免于与切片机接触。
图24以侧视图2410和顶视图2411示出了适于用所公开的成像系统成像的组织学样本盒的一个实施方案的示意图。2406示出了使用对组织学处理溶剂具有化学耐受性的粘合剂2401粘结到底壁2408的透明窗口。倾斜壁2409具有打印于其上的样本标签2402。组织样本2405位于透明窗口的中心。盒外部由样本保持结构2403形成,样本盖2404附接到样本保持结构2403。样本盖还具有多个穿孔2407。图24的实施方案允许在常规的组织学处理器中实现样本的标记和组织学处理。
图25示出了安装到样本保持器2509中、适于用所公开的成像系统成像的组织学样本盒的一个实施方案的示意图。该样本保持器包括位置传感器2505。在此实施方案中,可移除透明窗口2506已并入盒中并使用对组织学处理溶剂具有化学耐受性的粘合剂2501附接到样本保持结构2503。组织样本2502由样本盖2508正下方的组织引导件2507保持在适当位置。保持结构还包括倾斜壁2504。
图26(a)和图26(b)为适于用所公开的光学成像系统成像而同时允许在常规的组织学处理器中实现样本的标记和组织学处理的组织学样本盒2600的一个实施方案的图示。在此实施方案中,透明窗口2601使用耐溶剂粘合剂(透明窗口连接器)2605连接到开口容器2611内表面上的底壁2602。此实施方案中的透明窗口为薄玻璃片。样本保持结构2603连接到底壁,且样本盖2607经由柔性铰链和卡入到位的槽口(样本盖连接器)2606连接到样本保持结构。所述盖还含有多个穿孔2608,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁2604,其提供用于标签打印的表面。实施方案2600使得能够在常规的组织学处理器中标记样本和组织学处理。
图27(a)和图27(b)为适于用本发明成像的组织学样本盒2700的一个实施方案的图示,其中透明窗口在底壁的外表面上。这使得透明窗口能够安置在样本保持器上,这将确保透明窗口处于由样本保持器确定的特定平面中,从而可有利于将多个盒保持在共同的成像平面中。在此实施方案中,透明窗口2701使用耐溶剂粘合剂2705连接到开口容器外表面上的底壁2702。此实施方案中的透明窗口为薄玻璃片。样本保持结构2703连接到底壁,并且样本盖2707经由柔性铰链和卡入到位的槽口2706连接到样本保持结构。所述盖还含有多个穿孔2708,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁2704,其提供用于标签打印的表面。
图28(a)和图28(b)为适于用所公开的光学成像系统成像而同时允许通过使用辅助成像系统对倾斜壁上的标签成像的组织学样本盒2800的一个实施方案的图示。底壁2802和透明窗口2801使用耐溶剂粘合剂2805与底壁的透明安装的外表面连接,使得盒安置在透明窗口上。这使得透明窗口能够安置在样本保持器上,这将确保透明窗口处于由样本保持器确定的特定平面中,从而可有利于将多个盒保持在共同的成像平面中。此实施方案中的透明窗口为薄玻璃片。样本保持结构2803连接到底壁,并且样本盖2807经由柔性铰链和卡入到位的槽口2806连接到样本保持结构。所述盖还含有多个穿孔2808,其使得流体能够进入到盒中。倾斜壁2804存在于样本保持结构上并向下取向,使得辅助成像系统能够从下方记录打印在倾斜壁上的样本标签。
图29(a)和图29(b)为适于用所公开的光学成像系统成像的组织学样本盒2900的一个实施方案的图示,其中透明窗口连接到样本盖。该实施方案可能是有利的,因为它使得能够在组织学处理之后从开口容器移除透明窗口,如在切片机上切割期间可能需要的。在此实施方案中,透明窗口2901使用耐溶剂粘合剂2905连接到内表面上的样本盖2907。此实施方案中的透明窗口为薄玻璃片。样本盖2907经由柔性铰链和卡入到位的槽口2906连接到样本保持结构2903。该样本保持结构连接到底壁2902,底壁2902含有多个穿孔2908,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁2904,其提供用于标签打印的表面并向下取向,使得辅助成像系统能够从下方记录打印在倾斜壁上的样本标签。
图30(a)和图30(b)为适于用所公开的光学成像系统成像的组织学样本盒3000的一个实施方案的图示,其中分隔器允许加载两个小组织样本而不丧失个体样本身份。在此实施方案中,透明窗口3001使用耐溶剂粘合剂3005连接到开口容器外表面上的底壁3002。这使得透明窗口能够安置在样本保持器上,这将确保透明窗口处于由样本保持器确定的特定平面中,从而可有利于将多个盒保持在共同的成像平面中。此实施方案中的透明窗口为薄玻璃片。开口容器内存在分隔器3009,其将开口分成2个可各自容纳样本的区段。样本保持结构3003连接到底壁,并且样本盖3007经由柔性铰链和卡入到位的槽口3006连接到样本保持结构。所述盖还含有多个穿孔3008,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁3004,其提供用于标签打印的表面。
图31(a)和图31(b)为图26的实施方案的替代实施方案3100的图示,其中样本保持结构3103由具有倾斜壁的样本保持结构的端部上的柔性铰链连接到样本盖3107并且样本盖使用槽口3106卡入到位。该实施方案有利于装载样本或标记组织学样本盒。在此实施方案中,透明窗口3101使用耐溶剂粘合剂3105连接到开口容器外表面上的底壁3102。所述盖还含有多个穿孔3108,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁3104,其提供用于标签打印的表面。
图32(a)和图32(b)为适于用所公开的光学成像系统成像而同时允许溶剂的快速、均匀渗透的组织学样本盒3200的一个实施方案的图示。在此实施方案中,透明窗口3201使用耐溶剂粘合剂3205连接到开口容器外表面上的底壁3202。此实施方案中的透明窗口为薄玻璃片。样本保持结构3203连接到底壁,并且样本盖3207经由柔性铰链和卡入到位的槽口3206连接到样本保持结构。所述盖、透明窗口、样本保持结构和底壁还含有多个穿孔3208,其使得流体能够进入到盒中。样本保持结构上存在倾斜壁3204,其提供用于标签打印的表面。
为了实现与组织处理设备如真空浸渗处理器的相容性,可移除透明窗口、样本保持结构和盖的部件必须对典型的组织学处理溶剂(包括二甲苯、醛和醇)具有化学耐受性。这可通过使用化学耐受性胶水将透明窗口粘结到样本保持结构、通过将透明窗口热熔合到保持结构、或通过其他方式来实现。在所有情况下,透明窗口、样本保持结构、样本盖、底壁和任何组织引导件或其他插入以保持样本贴靠透明窗口的材料必须由对组织学处理溶剂具有化学耐受性的材料制成,如硼硅酸盐玻璃、熔融石英、金属或聚甲醛塑料。此外,为了允许在组织处理期间固定剂、试剂、二甲苯、石蜡或其他试剂的流动,可能优选透明窗口、样本保持结构或盖中的一些或全部包括多个穿孔。这些可通过向每个部件中切割孔、向透明窗口中激光钻孔、或通过注塑包含孔的壳体、或以上所有来实施。
为了使主成像系统能够在大样本上选择感兴趣的区域,本发明包括沿至少两个维度平移样本保持器。如果主成像系统和辅助成像系统的焦平面不重合,则还可使用平移来在它们之间移动样本保持器。优选的实施方案使用线性电动机、步进电动机或直接由用户操纵的机械换向来实现平移。在另一个实施方案中,样本保持器可在所有三个维度上平移,使用样本保持器的垂直(相对于主成像系统)平移来选择样本中感兴趣的深度,类似于具有焦点调节的透射照明显微镜。在另一个实施方案中,样本保持器中未包括垂直平移,且深度调节通过主成像系统光学器件的平移来提供。在一个实施方案中,由用户通过一个或多个旋钮、拨盘或通过推动设计为足够机械坚固以直接接收来自用户的机械输入的样本保持器的部分实现机械换向来直接平移样本保持器和主成像系统的高度二者,主成像系统可再现常规组织学显微镜的操作。为了跟踪样本保持器的平移,本发明包括了沿至少2个非垂直轴的位置感测。在一个实施方案中,位置感测由光学、磁性或霍尔效应传感器提供,虽然可使用其他方式,只要它们具有的绝对位置精度优于由主成像系统成像的区域的尺寸即可。如果系统包括了沿垂直轴的平移,则包括沿垂直轴的位置感测可能也是有利的。
图7(a)为示意性地示出具有用户输入设备709的样本保持器704的图示,该用户输入设备709具有一对旋钮:一个711控制轴1,另一个712控制轴2。在此实施方案中,扭矩经由扭矩传输设备710从旋钮的旋转传输到齿轮箱707。由位置传感器706记录样本保持器位置的变化。将组织样本701放置到透明窗口705上。
图7(b)为示意性地示出其中用户输入设备729为电子操纵杆的样本保持器704的图示。向输入设备中键入命令并电子地或光学地传递到致动至少两个轴的电子致动器707。由位置传感器706检测样本保持器的位移。
图8为示意性地示出样本保持器804的图示,其中用户输入设备809为样本保持器的一个区域,其在机械上适合用户直接平移台架。通过位置传感器806检测样本保持器的位移。
为了解析诊断特征,重要的是主成像系统具有足以检测细胞特征如细胞核的侧向(在成像平面中,横贯照明方向)分辨率。在优选的实施方案中,该最小侧向分辨率为至多5微米,理想地小于1微米,取决于感兴趣的病理的诊断标准。为了适应成像样本或具有不同诊断标准的病理,主成像系统可包括两个或更多个具有不同分辨率或放大倍率的可互换物镜。在另一个实施方案中,主成像系统使用共焦或多光子显微术,并通过改变由照明源扫描的面积而具有可调节的放大倍率。
取得主成像系统的指定分辨率和放大倍率将限制仪器的视场,使得对超过数毫米的视场成像常常是困难或昂贵的,并且在许多实施方案中,产生直径超过1毫米的图像可能是不切实际的。此外,主成像系统在对一些非常明显的特征包括外科墨水、缝合线或其他外源标记成像时可能有困难。主成像系统的有限视场使得大样本的评估变得困难,并且如果操作者不能定位感兴趣的区域,则可能导致特异性的降低。为了补偿每个图像的有限面积,本发明包括了放大倍率比主成像系统低的辅助成像系统。辅助成像系统(其不需要细胞分辨率或光学深度切片,并可能没有与主成像系统重合的焦平面)对整个样本成像并可用来指导用主成像系统成像的区域的选择,这些区域包含病理,已通过外科墨水、缝合线或其他外源标记进行标记用于评估,或者是另外感兴趣的区域。
在一个实施方案中,辅助成像系统是放大倍率介于0.1和5之间的照相机系统,其包含光传感器如电荷耦合器件(CCD)的二维阵列或互补金属氧化物半导体阵列(CMOS),和与主成像系统物理上不同的照相机透镜。虽然来自照明源的照明可以以透射或落射几何构型提供,但对于较厚的样本,优选落射照明以确保足够的照明。此外,有利的是使照明相对于透明窗口倾斜,使得来自透明窗口的任何反射都在辅助成像系统的角谱宽度(angularacceptance)之外。在一些情况下,透射几何构型的照明优于落射几何构型的照明;例如,透射照明可通过使光能够穿过样本因而与整个样本中的外源或内源特征相互作用来改善外科墨水、缝合线或其他外源标记的可视化。辅助成像系统的放大倍率可被固定在能够对整个透明窗口成像的值或者可以根据样本尺寸使用变焦透镜进行调节。应清楚的是,因为台架可在辅助图像的采集期间平移,所以不需要并且可能优选的是由辅助成像系统和主成像系统成像的位置不重合,因此需要平移以在成像系统之间移动透明窗口和组织样本。该实施方案可能是有利的,因为主成像系统可能在成像期间遮掩部分组织样本。
在另一个实施方案中,辅助成像系统905包含成像系统904,其在透镜907后面具有光传感器906的一维数字阵列如线扫描照相机,总放大倍率在0.1和5之间,如图9所示。在此实施方案中,样本保持器901和透明窗口902可垂直于线性图像焦点910平移以构建二维图像。在该方法的一个优选实施方案中,照明908也是一维直线,其布置为与辅助成像系统在空间上重叠于透明窗口上。与二维阵列相比,此方法具有若干优点。第一,一维成像系统可借助倾斜镜子903相对于透明窗口以非垂直角度取向而没有图像失真,因为第二轴是通过物理平移产生的。如果高放大倍率成像光学器件通过允许大得多的视场而遮掩透明窗口的部分,则这种配置可能是有利的。第二,通过使用非垂直轴,可进一步减少来自透明窗口的任何反射,或者使用更宽范围的照明几何构型。最后,如果透明窗口是矩形的,则沿平移方向定向表面的长轴可能比可以对相当的区域成像的二维像素计数阵列便宜得多。
在优选的实施方案中,辅助成像系统产生一种或多种颜色的图像以便于识别组织特征如脂肪或基质,以及定位彩色组织标记如用来指示取向、手术切缘(切除边缘)的位置或疑似病理的外科墨水。在一个实施方案中,这包括白光照明和使用红、绿和蓝滤光像素记录光的一维或二维颜色传感器。在另一个实施方案中,可通过将具有一个或多个像素滤色器的传感器与多个波长或窄带的顺序照明相组合来增强光谱选择性以捕获具有4个或更多个颜色通道的图像。在这种配置中,可由白色发光二极管(LED),然后是单色LED、激光器或另一高强度彩色光源提供照明。
在另一个实施方案中,辅助成像系统通过以透射几何构型照明组织样本来产生图像以便于组织特征如外科墨水、缝合线或其他外源标记的识别,如图21所示。在此实施方案中,辅助成像系统2104在样本保持器2101的盖子2103上包括照明器2105,其从上方照射组织样本2102。
在使用多种外科墨水颜色的情况下,可能需要通过选择与已知存在于墨水中但不存在于组织样本中的光谱特征相对应的照明波长来区分墨水与类似着色的组织的(例如,区分红色墨水与血液或黄色墨水与脂肪)。在此情况下,辅助成像系统中将需要两个或更多个光谱上不同的通道。因为大多数组织的表观颜色是由于多层之间的复杂相互作用导致,所以大多数组织类型具有宽的连续变化的光谱,使得吸收和反射在可见光谱内数十纳米的尺度上非常小地变化。相比之下,许多外科墨水由具有边界清晰的分子吸收带的材料组成,这导致吸收或反射的突然变化而波长发生小的变化。在一个实施方案中,采用两个或更多个光谱上不同的通道,其中组织样本上的外科墨水、缝合线或外源标记的可识别颜色或光谱在每个光谱通道中对墨水产生与对组织不同的强度。在另一个实施方案中,选择窄带照明波长以对应于被墨水强烈吸收且还与不被墨水强烈吸收的波长邻近的波长。在此实施方案中,白光照明将显示来自墨水的反射光的适度衰减,而窄带照明将显示剧烈的衰减。通过比较光谱上不同的通道之间的相对衰减,处理单元可精确地确定在医疗程序期间在组织样本上创建的外科墨水、缝合线或外源标记的位置。该过程还可包括从具有易于检测的光谱特征的各种市售外科墨水中进行选择。本发明的处理单元处理来自主成像系统、辅助成像系统和样本保持器上的位置传感器的信息以生成组织样本1002的复合表现以在显示设备1001上向用户显示,如图10所示。组织样本的复合表现包括来自图像序列1003的图像(其可使用VTM处理)的表现与辅助图像1004的表现和来自一个或多个位置传感器1007的位置(其已由处理单元处理)的指示的结合。至少,两个表现都必须被缩放以适合于显示设备的分辨率,并且经处理以使得用户可使用主成像系统快速评估显微病理,同时使用辅助图像和位置传感器数据来在大样本上定位感兴趣的区域。在一个实施方案中,该处理涉及一系列指令,其从辅助成像系统呈现彩色图像以基于颜色来增强外科墨水或组织特征的识别。在另一个实施方案中,由处理单元提供用于缩放或平移辅助表现的特征。
在一个优选的实施方案中,复合表现包括:细胞分辨率;由主成像系统产生的连续更新的图像序列,其具有VTM处理以改善细胞核1005的可视化;更新不频繁到每个样本一次并用来辅助组织样本导航的静态辅助图像;辅助图像上的子区域1006,其对应于由处理单元计算的主成像系统的当前成像位置。该子区域可以若干方式在辅助图像上指示,包括但不限于以图形方式通过在辅助图像上放置与来自主成像系统的每个新帧同时更新的标记,或者通过计算辅助图像的平移(其与样本保持器的任何平移成比例)。当主成像系统对外界光(如室内光)敏感并因此需要紧密配合的盖子来阻挡室内光时,协助确定组织样本相对于主成像系统的空间取向可能尤其有益。在此实施方案中,紧密配合的盖子由对主成像系统或辅助成像系统检测的波长不透明的材料构成,并且完全遮掩整个透明窗口和组织样本以阻挡杂散室内光。在此实施方案中,当主成像系统处于活动状态时,用户将无法视觉及于样本,故将完全依赖辅助成像系统来进行取向、检查宏观组织特征和观察外源标记如外科墨水或缝合线。图11中的显示设备上示出了使用Windows计算机作为处理单元实现的复合表现的一个实例。复合表现1101包括与具有台架当前位置的图形表现1104和数字表现1105的辅助图像1103结合的来自图像序列1102的图像的表现。用户可使用附加的控制器1106启动成像、调整成像参数或保存数据。
在优选的实施方案中,处理单元为具有中央处理单元(CPU)和图形处理单元(GPU)的个人计算机,虽然除个人计算机和GPU外或者代替个人计算机和GPU,还可采用其他设备如微控制器、数字信号处理器(DSP)或片上系统(SOC)。图12示意性地示出了一个实施方案,其中用于并行处理的硬件1205由在处理单元1202中的GPU1203上运行的内核1204(一种并行程序类型)使用并以图形化编程语言或API(如但不限于CUDA、OpenCL、OpenGL、WebGL、Direct3D、Metal、Vulkan或Mantle)实施。应理解,术语内核在某些API中可能具有其他名称,包括着色器、像素着色器或片段着色器。使用图形化编程语言或API是有利的,因为它们将显露GPU对图像序列1201快速执行图像计算的能力以通过将图像处理任务分成为许多可同时在GPU内的数百或数千个并行处理单元上运行的并行处理操作而实时地产生图像序列的经处理的表现1206。相比之下,在常规CPU或DSP上的处理常常仅限于几个甚至单个同时操作,从而导致延迟的增加。然而,在另一个实施方案中,可使用常规的非并行处理,特别是如果主成像系统的更新速率或分辨率足够低以至于不需要GPU上的并行处理。
对于熟悉传统组织病理学的用户,复合表现可还包括使用模拟常规H&E组织病理学或其他组织学技术如三色染色法或免疫组织化学法的外观的VTM对来自主成像系统的图像序列的附加处理。在许多应用中,可使用如通过GPU实施的并行处理来使与在常规处理器上呈现图像序列的VTM表现相关联的延迟最小化。1102示出了在组织样本1101的复合表现内图像序列中单个图像的GPU呈现的VTM表现。
已提出各种算法来生成VTM表现,该表现再现H&E或其他组织学技术如三色染色法或免疫组织化学法的视觉外观。最简单的是线性算法,其直接将每个光谱分离的图像着色为不同的颜色并然后叠加各种颜色来形成VTM表现。然而,这些方法可能无法产生令人满意的图像。再现H&E染色的VTM处理的优选实施方案使用非线性算法,其根据下述公式在组织学载玻片中再现光随浓度的指数吸收:
R=(1/(1-exp(-k))^2)*(exp(-B_苏木精,红*I_核*k)-exp(-k))*(exp(-B_曙红,红*I_辅助*k)-exp(-k));
G=(1/(1-exp(-k))^2)*(exp(-B_苏木精,绿*I_核*k)-exp(-k))*(exp(-B_曙红,绿*I_辅助*k)-exp(-k));
B=(1/(1-exp(-k))^2)*(exp(-B_苏木精,蓝*I_核*k)-exp(-k))*(exp(-B_曙红,蓝*I_辅助*k)-exp(-k)),
其中,R、G和B分别是当显示在显示设备上时VTM图像的红色、绿色和蓝色强度,B_苏木精,红、B_苏木精,绿和B_苏木精,蓝分别是苏木精对红色、绿色和蓝色光的吸收,B_曙红,红、B_曙红,绿和B_曙红,蓝分别是曙红对红色、绿色和蓝色光的吸收,而I_核是对细胞核或细胞核组分或二者具有特异性的荧光对比剂的强度,I_辅助是补充对比源的强度,以及k是任意缩放常数,其确保利用显示器的整个动态范围。然后,对图像序列的每个图像的每个像素逐个像素地应用上述公式。k的值取决于像素格式和强度值的缩放,但对于在0(黑色)和1(最大强度)之间缩放的像素值优选为约2.5。红色、绿色和蓝色通道的B_苏木精的优选值分别为大约0.86、1.0、0.30,而红色、绿色和蓝色通道的B_曙红的优选值分别为大约0.05、1.0和0.544。该实施方案在图13中示出,该图使用人乳房组织的光学切片图像,其中使用GPU实时处理对细胞核或细胞核组分或二者具有特异性的光谱分离的通道1301和具有补充对比源的光谱分离的通道1302来产生实时的VTM图像序列,由此使用上述公式产生由红色通道1303、绿色通道1304和蓝色通道1305组成的单个帧。虽然假定颜色空间为RGB颜色空间如sRGB而给出上述公式,但应理解它们可简单地变换为使用其他原色代替红色、绿色或蓝色的其他颜色空间。
在任何实施方案中,VTM处理可在图像序列中再现透射照明显微图像的外观,其中产生的图像在感兴趣的物质存在时较亮,否则较暗。
在本发明的另一个实施方案中,处理单元可还包括处理步骤,其通过指示辅助图像的子区域1406使得辅助图像1405的表现能够指导用户选择组织样本1404的相关区域来用主成像系统进行评估,如图14所示。这些相关区域可通过手术期间放置的缝合线1401、指示手术切缘的着墨区1402或其他外源标记1403来指示。在另一个实施方案中,可在白光照明下获得红色、绿色和蓝色通道,然后依次是一个或多个波长下的窄带照明和附加通道采集。在此实施方案中,辅助成像系统包含4个或更多个光谱上不同的通道,其可进行处理以产生复合表现,其中指示了外科墨水、缝合线或外源标记的位置。例如,一个实施方案可通过使用一个或多个波长下的窄带照明来使用辅助成像系统识别血液、墨水或二者的光谱特征以帮助用户区分红色墨水和血液,这在图15中示意性地示出。在此实施方案中,辅助成像系统1507包括宽带照明器1502和窄带照明器1503二者,其交替地照射透明窗口1501,使得辅助图像能够包括附加的光谱上不同的通道。然后,处理单元可利用宽带照明和窄带照明之间的吸收差异来定位墨水区域并将其并入组织样本的复合表现中,该复合表现包括组织样本上外科墨水、缝合线或外源标记的位置。例如,着墨边缘的位置可在辅助表现中以独特的颜色指示,或者可用仅指示墨水和仅指示组织来计算辅助图像的多个表现。
为了能够回顾性地检查组织样本,本发明还可包括数据记录和存储功能,其中处理单元的一些或所有输入在它们被接收时记录。该特征对于记录在完成实时评估之后进行组织样本的完整评估可能是有利的。在一个实施方案中,存储辅助图像,然后每次接收图像序列中的一个新图像,将当前样本保持器位置与图像一起记录。在程序结束后,可通过加载所存储的输入并如在实况程序中那样将它们依次提供给处理单元来精确地重建在程序过程中产生的复合表现的输出。如果存储空间有限,则可通过仅记录在样本保持器移动时的图像或通过应用公知的图像压缩技术来进一步减小数据量而更有效地存储数据。
因为主成像系统的光谱分离通道的配置取决于所用任何荧光对比剂的发射波长,所以将本装置包括在包含具有适当选择的激发和发射波长的荧光对比剂的套件中可能是有利的。该套件可包括核对比剂,其具有与主成像系统的照明源波长重叠的激发波长和与至少一个光谱分离通道重叠的发射波长。此外,在套件中包括另外的辅助荧光对比剂可能是有利的,该试剂被选择为也具有与主成像系统的照明源波长重叠的激发波长以及与光谱分离通道(其与核对比剂不同)重叠的发射波长。在一个实施方案中,辅助荧光对比剂为曙红-Y。在另一个实施方案中,辅助对比剂由进行免疫组织化学法的试剂提供,如荧光标记的抗体。在另一个实施方案中,套件可含有3种或更多种荧光对比剂,例如以实施三色染色。
套件可还包含可由本发明描述的装置读取的标识。该标识可描述套件的内容物,并允许若干可能的应用。例如,在一个实施方案中,标识唯一地确定套件的内容物,从而使得套件能够含有不同的荧光对比剂,并允许处理单元根据荧光对比剂的选择来执行不同的指令序列或允许光谱分辨通道的波长的重新配置。如果不同的医疗程序需要使用不同的荧光对比剂来使不同的细胞特征可视化,则这可能是有利的,例如,一个标识可指示用于进行再现H&E染色特征的虚拟透射显微术的套件,而另一个套件可含有用于进行呈现三色染色或免疫组织化学的虚拟透射显微术的荧光对比剂。在另一个实施方案中,标识唯一地确定套件的组成和制造日期二者,使得系统能够拒绝使用过老的套件、来自已知有缺陷的批次的套件或者在其它方面与系统的相容性未知的套件来成像。在一个实施方案中,标识可实施为集成到套件中并由标识读取器电读取的存储器。在此场景下,标识读取器可以是与标识接触并由装置的处理单元控制的电路。在另一个实施方案中,标识可实施为与射频、微波、近场或其他电磁收发器耦联的存储器,其允许与标识读取器进行无线通信。在另一个实施方案中,标识还可包含防篡改的附加特征,如嵌入式安全元件、密码处理器或用来验证套件完整性的其他处理。
套件内各种形式的荧光对比剂是可能的。荧光对比剂可以纯化、脱水的形式分布。或者,每一荧光对比剂可溶解分布在其自身的介质中,这可提供如稳定试剂或使得能够快速扩散到组织中的功能。另一个实施方案使用两种或更多种荧光对比剂,其各自可溶于共同的介质中并且化学稳定。该介质可直接适于染色组织样本,或者可在使用前即刻与另一介质混合,例如,将试剂的浓溶液混合到缓冲盐水溶液中。另一个实施方案包括在使用前即刻混合的多种溶解的溶液,如果一种或多种荧光对比剂在化学上不稳定或具有有限的货架寿命,则这可能是有利的。
为了便于在时间有限的医疗场景中快速染色,套件可还包括用于混合荧光对比剂或用于在用荧光对比剂染色时浸没组织的容器。该容器可促进样本快速染色以及转移妻样本保持器。在另一个实施方案中,染色可直接在样本保持器中或在可移除的透明窗口上进行。
图16示出了用于实现组织样本的实时光学成像的方法1600的流程图。在步骤1601中,向组织样本施加一种或多种荧光对比剂。在步骤1603中,使组织样本就位于样本保持器上。然后,在步骤1605中,用辅助成像系统采集辅助图像。接下来,在步骤1607中,系统开始采集图像序列。在步骤1609中,处理图像序列、定位传感器位置和辅助图像以生成组织样本的复合表现。在步骤1611中,组织样本的复合表现被实时显示给用户。最后,在步骤1613中,用户使用复合表现来决定样本保持器的平移。然后重复方法1600的步骤1607到1613,其中复合表现提供定位和诊断信息二者。最后,充分评估样本是否存在病理并进行诊断。
图17示出了实施使用本发明的工作流程以评估组织样本是否存在病理的一般性的术中或术后方法1700。为了准备组织评估,在步骤1701和1703中,从患者中取出组织并以允许组织样本的最佳评估的方式横切成一个或多个组织样本。在步骤1705中,用至少一种标记细胞核或细胞核组分或二者的外源染料对组织样本快速染色,并在步骤1707中定位于透明窗口上以使得可在倒置显微镜上评估感兴趣的表面。透明窗口定位为使得辅助成像系统可捕获组织样本的图像(步骤1709)并且记录辅助图像(步骤1711)。在步骤1713中,使用辅助图像,用户选择感兴趣的组织样本并在主成像系统上方平移。在步骤1715中,主成像系统开始捕获图像序列并在显示设备上连续更新组织样本的复合表现(步骤1717)。使用组织样本的复合表现,用户可评估组织样本中存在的任何病理。在评估后,用户然后可在透明窗口上选择另一个组织样本(步骤1719)并重复评估过程(步骤1713到1719)。
图18示出了实施使用本发明的工作流程来在治疗乳腺癌的乳房肿瘤切除术期间评估手术切缘的方法1800的流程图。在步骤1801中,从患者切除大块乳腺组织。为了在患者体外定向该大块乳房组织,在步骤1803中,用不同颜色的外科墨水对该大块乳房组织着墨,从而指示手术腔的侧面。在步骤1805中,将大块组织横切成一个或多个组织样本。在步骤1807中,用至少一种对比剂对组织样本快速染色以允许细胞核或细胞核组分或二者的可视化。如同在先前描述的一般性方法中,在步骤1809中,以允许通过主成像系统和辅助成像系统评估的方式将组织样本定位(步骤1811)于透明窗口上。由于许多乳房切除物的大尺寸,故可将多个块同时定位于样本保持器中。样本保持器定位为使得辅助成像系统可捕获图像并记录辅助图像(步骤1813)。在步骤1815中,使用辅助图像的表现,用户选择组织样本和感兴趣的区域并将其定位于主成像系统上方。在步骤1817中,主成像系统开始捕获图像序列,并且结合了VTM处理(步骤1819)的组织样本的复合表现由处理单元在显示设备上连续更新(步骤1821)。在步骤1823中,使用辅助图像来使不同颜色的外科墨水可视化并基于该信息选择感兴趣的区域。在步骤1825和1827中,使用组织样本的复合表现,用户可评估组织样本中存在的病理并使用辅助图像的表现上指示的主成像系统的位置来测量病理与墨水指示的手术切缘的距离。如果存在的病理太靠近真实的手术切缘,则患者可能需要额外的手术。如有必要,用户可使用辅助图像来选择另一个感兴趣的组织并重复评估程序。
图22示出了实施工作流程以使用本发明来评估手术切缘和将组织样本递交到具有样本保持结构和样本盖的可移除透明窗口中以进行常规组织学处理的方法2200的流程图。在步骤2201中,从患者切除大块组织。在步骤2203中,将组织样本切割成较小的切片,并在步骤2205中用至少一种标记细胞核或细胞核组分或二者的外源染料快速染色。在步骤2207中,将每个样本定位在安装于组织学样本盒中的透明窗口上,并将多个组织学样本同时定位于样本保持器上。在步骤2209中,由病理学家使用主成像系统和辅助成像系统评估组织。评估之后,在步骤2211和2213中,将安装于组织学样本盒中的透明窗口以固定剂浸渗。固定之后,在步骤2215中,使用组织处理器处理透明窗口中的样本。处理组织之后,在步骤2217中,使用常规组织学制备法如石蜡包埋和组织切片来进行病理学评估。
下面介绍本发明所实践的实施例。每个实施例的详细说明并不意味着本发明限于该实施例。图19给出了本发明的一个示例性实施方案的前视图和顶视图的照片,其中主成像系统为多光子显微镜。该示例性实施方案包括具有可移除透明窗口1910的样本保持器1901和围绕透明窗口的流体保持结构1911,由主成像使用的物镜1902,照相机1903和由辅助成像系统使用的线照明器1904,示出组织样本1906的复合表现的显示设备1905,提供样本保持器的平移的用户输入设备1907,以及提供主成像系统1908的垂直平移的第二旋钮。主成像系统和辅助成像系统二者都被封闭在保护壳体1909中并位于隔震架1912上。
图13示出了来自由图19中拍摄的本发明实施方案记录的图像序列的图像,其以单独的核对比和补充对比通道以及同一图像的VTM表现示出。为了采集该图像,从手术切除物获得直径大约5cm的乳腺组织。从该乳腺组织横切直径为0.5cm的组织样本并在DAPI浓度为10μg/ml、曙红浓度为250ng/ml、二甲基亚砜(DMSO)浓度为100μl/ml溶解在蒸馏水中的溶液中染色2分钟。染色之后,在Hank’s平衡盐溶液(HBSS)中漂洗该组织以除去任何多余的染色溶液,将其定位在可移除透明窗口上,该透明窗口放置到样本保持器上。用辅助成像系统对该透明窗口成像。使用辅助图像的表现,使用操纵杆作为用户输入设备将组织样本定位在主成像系统上方。主成像系统使用电流计扫描仪(垂直轴)和16KHz的线速率的共振扫描仪(水平轴)扫描脉冲钛-蓝宝石激光器,入射功率为20mW,波长为780nm,脉冲宽度为160fs,和脉冲重复频率为80MHz,沿两个维度通过1.0NA物镜投射到组织样本上。将两个HammamatsuH7422-40P PMT配置为使用45度二向色分束器(其透射低于525nm的波长并反射更长的波长以产生两个光谱分离的通道)接收光谱分离的通道。第一个通道用通带为435至485nm的带通发射滤波器进一步滤波,第一个通道用来收集自DAPI 1301荧光发射的光。第二个通道用通带为538-642nm的带通发射滤波器进一步滤波,第二个通道用来收集自曙红-Y 1302荧光发射的光。使用该实施方案,受过训练的病理学家以适于在外科手术期间成像的速率进行新切除人乳腺组织的病理学评估。
图20示出了来自图像序列的图像,其以单独的核对比和补充对比通道示出,其中主成像系统的实施方案为共焦显微镜。如在多光子实例中那样进行本实施方案中组织的初始制备。手术期间从患者切除的大块组织被横切成组织样本。将组织样本在Hoechst 33342浓度为20μg/ml、曙红浓度为250ng/ml、二甲基亚砜(DMSO)浓度为100μl/ml溶解在蒸馏水中的溶液中染色2分钟。使用辅助成像系统采集组织样本的图像。使用辅助图像的表现,将组织样本定位在主成像系统上方。主成像系统使用一组电流镜,以用两个激光器在两个维度中扫描组织样本,一个中心波长为405nm的二极管激光器以激发Hoechst 33342,一个中心波长为488nm的氩-离子激光器以激发曙红-Y。两个光谱分离的检测器收集来自染色的组织样本的荧光发射。共焦显微镜具有一组二向色分束器以组合照明光路和检测光路。在本实例中,多通带分束器单元对405nm光和488nm光具有高反射系数。使用二向色分束器对检测器进行光谱分离,其透射低于490nm的波长以产生两个光谱分离的通道。第一个通道用通带为420至480nm的带通发射滤波器进一步滤波,第一个通道用来收集自DAPI 2001荧光发射的光。第二个通道用通带为530至700nm的带通发射滤波器进一步滤波,第二个通道用来收集自曙红-Y 2002荧光发射的光。
本文引用的所有专利、公开的申请和参考文献的教导以引用其全文的方式并入本文。
虽然已结合其示例性实施方案具体示意和描述了本发明,但本领域技术人员应理解,可在不偏离附随的权利要求书所涵盖的本发明范围的情况下在形式和细节上作各种改变。
Claims (57)
1.一种用于组织样本的实时光学成像的装置,所述装置包含:
主成像系统,其配置为使用照明源通过一个或多个光谱分离的通道采集组织样本的图像,所述一个或多个光谱分离的通道中的至少一个配置为检测与所述照明源的波长范围不同的波长范围,所述主成像系统是具有帧采集速率的倒置显微镜并配置为执行光学深度切片,所述主图像系统配置为采集图像序列;
辅助成像系统,其中所述辅助成像系统配置为采集所述组织样本的辅助图像,其中所述辅助图像的面积大于由所述主成像系统采集的所述图像序列的每一图像的面积;
样本保持器,其内具有透明窗口,所述样本保持器设置在所述主成像系统的焦平面处的样本平面中,所述样本保持器配置为将所述组织样本保持在所述透明窗口上,所述样本保持器包括一个或多个位置传感器,其中所述样本保持器配置为可在所述样本平面中平移,所述一个或多个位置传感器配置为测量样本保持器位置,并且其中所述样本保持器配置为可平移到所述辅助成像系统的焦平面;
用户输入设备,其配置为接受用户输入,其中所述样本保持器配置为实时响应所述用户输入而平移;
处理单元,其与所述主成像系统、所述辅助成像系统和所述位置传感器电连通,其中所述处理单元配置为对由所述主成像系统采集的图像序列、所述辅助图像和至少一个样本保持器位置执行指令序列以生成所述组织样本的复合表现,所述复合表现包括所述样本中细胞核的表现;和
显示设备,其与所述处理单元电连通,所述显示设备配置为实时显示所述组织样本的所述复合表现。
2.根据权利要求1所述的装置,其中所述细胞核的表现包括虚拟透射照明显微术。
3.根据权利要求2所述的装置,其中所述主成像系统为多光子、共焦、光片、紫外线表面激发或结构化照明显微镜。
4.根据权利要求2所述的装置,其中所述主成像系统包含两个或更多个可互换物镜。
5.根据权利要求2所述的装置,其中由所述主成像系统采集的所述图像序列的每一图像通过两个或更多个光谱分离的通道采集;
并且其中所述两个或更多个光谱分离的通道中的至少一个配置为检测由核对比剂发射的光,并且其中所述两个或更多个光谱分离的通道中的至少一个配置为检测自补充对比源发射的光。
6.根据权利要求2所述的装置,其中所述样本保持器还包含一个或多个用于平移所述样本保持器的致动器。
7.根据权利要求2所述的装置,其中所述用户输入设备为操纵杆、旋钮、拨盘、键盘或其他数字输入设备。
8.根据权利要求2所述的装置,其中所述用户输入设备包括从用户向所述样本保持器的力的机械传递以移动所述样本保持器。
9.根据权利要求2所述的装置,其中所述辅助成像系统包含光传感器的一维数字阵列。
10.根据权利要求2所述的装置,其中所述辅助成像系统包含两个或更多个光谱上不同的通道。
11.根据权利要求10所述的装置,其中所述处理单元配置为比较所述辅助成像系统的所述两个或更多个光谱上不同的通道以识别所述组织样品中外科墨水、缝合线或外源标记的位置。
12.根据权利要求11所述的装置,其中所述组织样本的所述复合表现包括所述组织样本上所述外科墨水、缝合线或外源标记的一个或多个位置。
13.根据权利要求2所述的装置,其中所述辅助成像系统包括窄带照明器。
14.根据权利要求2所述的装置,其中所述样本保持器还包括可移除透明窗口。
15.根据权利要求14所述的装置,其中所述可移除透明窗口包括围绕所述透明窗口的流体保持结构。
16.根据权利要求2所述的装置,其中所述样本保持器还包括样本分隔器。
17.根据权利要求2所述的装置,其中所述样本保持器还包括盖子。
18.根据权利要求2所述的装置,其中所述辅助成像系统还包括照明源。
19.根据权利要求18所述的装置,其中所述照明源配置为附接到所述盖子。
20.根据权利要求17所述的装置,其中所述盖子还包括配置为将所述组织样本保持贴靠所述透明窗口的样本引导件。
21.根据权利要求2所述的装置,其中所述透明窗口包含玻璃、熔融石英、二氧化硅或氟化钙。
22.根据权利要求2所述的装置,其中所述处理单元还包括具有用于并行处理的硬件的图形处理单元,并且进一步地,其中所述图形处理单元包括用于对由所述主成像系统采集的所述图像序列进行一系列并行处理操作的计算机可执行指令。
23.根据权利要求2所述的装置,其中所述处理单元配置为在所述样本保持器的平移后不到250毫秒内更新所述组织样本的所述复合表现。
24.根据权利要求22所述的装置,其中所述图形处理单元包括用于针对虚拟透射照明显微术处理的一系列并行处理操作的计算机可执行指令。
25.根据权利要求5所述的装置,其中所述处理单元包括用于使用非线性过程对所述图像序列的虚拟透射照明显微术处理的计算机可执行指令:
R=(1/(1-exp(-k))^2)*(exp(-B_苏木精,红*I_核*k)-exp(-k))*(exp(-B_曙红,红*I_辅助*k)-exp(-k))
G=(1/(1-exp(-k))^2)*(exp(-B_苏木精,绿*I_核*k)-exp(-k))*(exp(-B_曙红,绿*I_辅助*k)-exp(-k))
B=(1/(1-exp(-k))^2)*(exp(-B_苏木精,蓝*I_核*k)-exp(-k))*(exp(-B_曙红,蓝*I_辅助*k)-exp(-k))
其中,R、G和B分别是所述虚拟透射照明图像的红色、绿色和蓝色强度,B_苏木精,红、B_苏木精,绿和B_苏木精,蓝分别是苏木精对红色、绿色和蓝色光的吸收,B_曙红,红、B_曙红,绿和B_曙红,蓝分别是曙红对红色、绿色和蓝色光的吸收,而I_核是对细胞核或细胞核组分具有特异性的对比剂的强度,I_辅助是所述补充对比源的强度,以及k是任意缩放常数。
26.根据权利要求2所述的装置,其中对于由所述主成像系统采集的所述图像序列的每一图像,所述组织样本的所述复合表现包括:
来自所述图像序列的图像的表现;和
所述辅助图像的表现,所述辅助图像的子区域指示所述样本保持器上采集来自所述图像序列的该图像的位置,其中所述辅助图像的所述子区域使用来自所述一个或多个位置传感器的一个或多个样本保持器位置来计算。
27.一种套件,所述套件包含:
根据权利要求1至26中任一项所述的装置;和
吸收由所述主成像系统发射的光的主要荧光核对比剂,并且其中所述主要荧光核对比剂的荧光发射波长对应于所述光谱分离的通道中的至少一个。
28.根据权利要求27所述的装置,所述装置还包含:
荧光发射波长不同于所述主要荧光核对比剂的荧光发射波长的辅助荧光对比剂,其中所述辅助荧光对比剂对选自细胞质、基质、胶原蛋白或肌肉的结构具有特异性。
29.根据权利要求28所述的装置,其中所述辅助荧光对比剂为曙红-Y。
30.根据权利要求28所述的装置,所述装置还包括所述主要荧光核对比剂或所述辅助荧光对比剂中的至少一种在其中可溶的流体介质。
31.根据权利要求27所述的装置,其中所述装置还包含标识读取器并且其中所述套件还包含标识。
32.一种组织样本的实时光学成像方法,所述方法包括以下步骤:
向组织样本施加一种或多种荧光对比剂,其中所述一种或多种荧光对比剂中的至少一种为核对比剂;
提供一种装置,所述装置包含:
主成像系统,其配置为使用照明源通过一个或多个光谱分离的通道采集组织样本的图像,所述一个或多个光谱分离的通道中的至少一个配置为检测与所述照明源的波长不同的波长范围,所述主成像系统是具有帧采集速率的倒置显微镜并配置为执行光学深度切片,所述主图像系统配置为采集图像序列;
辅助成像系统,其中所述辅助成像系统配置为采集所述组织样本的辅助图像,其中所述辅助图像的面积大于由所述主成像系统采集的所述图像序列的每一图像的面积;
样本保持器,其内具有透明窗口,所述样本保持器设置在所述主成像系统的焦平面处的样本平面中,所述样本保持器配置为将所述组织样本保持在所述透明窗口上,所述样本保持器包括一个或多个位置传感器,其中所述样本保持器配置为可在所述样本平面中平移,所述一个或多个位置传感器配置为测量样本保持器位置,并且其中所述样本保持器配置为可平移到所述辅助成像系统的焦平面;
用户输入设备,其配置为接受用户输入,其中所述样本保持器配置为实时响应所述用户输入而平移;
处理单元,其与所述主成像系统、所述辅助成像系统和所述位置传感器电连通,其中所述处理单元配置为对由所述主成像系统采集的图像序列、所述辅助图像和至少一个样本保持器位置执行指令序列以形成细胞核的表现和生成所述组织样本的复合表现;和
显示设备,其与所述处理单元电连通,所述显示设备配置为实时显示所述组织样本的所述复合表现,
使所述组织样本就位于所述样本保持器中;
将所述样本保持器定位在所述辅助成像系统的焦平面处;
使所述辅助成像系统采集所述辅助图像;
将所述样本保持器定位在所述主成像系统的焦平面处;
使所述主成像系统采集所述图像序列;
使处理单元检测所述组织样本内的细胞核并生成所述组织样本的复合表现;
使所述显示设备实时显示所述组织样本的所述复合表现;和
使用所述用户输入设备使所述样本保持器在所述样本平面中平移。
33.根据权利要求32所述的方法,其中采集所述图像序列包括使用多光子、共焦、光片、紫外线表面激发或结构化照明显微术。
34.根据权利要求32所述的方法,其中所述主成像系统配置为通过改变扫描面积来调节放大倍率,所述方法还包括调节所述主成像系统的放大倍率。
35.根据权利要求32所述的方法,其中:
由所述主成像系统采集的所述图像序列的每一图像通过两个或更多个光谱分离的通道采集;
并且其中所述两个或更多个光谱分离的通道中的至少一个检测由所述核对比剂发射的光,并且其中所述两个或更多个光谱分离的通道中的至少一个检测自补充对比源发射的光。
36.根据权利要求32所述的方法,其中所述核对比剂为快速扩散剂。
37.根据权利要求32所述的方法,其中所述核对比剂为通过与细胞核缔合而具有增强的荧光发射的试剂。
38.根据权利要求32所述的方法,其中所述样本保持器包括可移除窗口,所述方法还包括以下步骤:
从所述样本保持器移除所述透明窗口;
使一个或多个组织样本就位到所述透明窗口上;和
将所述透明窗口插回到所述样本保持器中。
39.根据权利要求32所述的方法,其中所述样本保持器包括配置为将两个或更多个组织样本分开的样本分隔器。
40.根据权利要求32所述的方法,其中所述样本保持器包括盖子,所述方法还包括用所述盖子覆盖所述组织样本。
41.根据权利要求40所述的方法,其中所述盖子包括样本引导件,所述方法还包括使用所述样本引导件将所述组织样本压靠在所述透明窗口上。
42.根据权利要求32所述的方法,所述方法还包括用所述辅助图像识别医疗程序期间在所述组织样本上创建的外科墨水、缝合线或外源标记。
43.根据权利要求42所述的方法,所述方法还包括使用所述辅助图像的表现来测量由所述主成像系统采集的所述图像序列的任何一个中的选定位置与所述组织样本上的所述外科墨水、缝合线或外源标记之间的距离。
44.根据权利要求42所述的方法,所述方法还包括用窄带照明照射所述组织样本并从已知的吸收光谱识别外科墨水、缝合线或外源标记。
45.根据权利要求42所述的方法,所述方法还包括用所述照明源透射照射所述组织样本并且识别外科墨水、缝合线或外源标记。
46.根据权利要求32所述的方法,所述方法还包括使所述处理单元记录以下中的至少之一:由所述主成像系统采集的所述图像序列、所述样本保持器位置、所述辅助图像或所述复合表现。
47.根据权利要求32所述的方法,所述方法还包括:
使所述图形处理单元执行计算机可执行指令以对所述图像序列进行一系列并行处理操作。
48.根据权利要求47所述的方法,其中所述图形处理单元包括针对虚拟透射照明显微术处理的一系列并行处理操作的计算机可执行指令。
49.根据权利要求32所述的方法,所述方法还包括使处理单元生成所述组织样本的所述复合表现,对于由所述主成像系统采集的所述图像序列的每一图像,所述复合表现包括:
来自所述图像序列的图像的表现;和
所述辅助图像的表现,所述辅助图像的子区域指示所述样本保持器上采集来自所述图像序列的该图像的位置,其中所述辅助图像的所述子区域使用一个或多个样本保持器位置来计算。
50.一种组织学样本盒装置,所述装置包含:
开口容器,其包括底壁和样本保持结构;
样本盖,其配置为封闭所述开口容器;
样本盖连接器,其配置为连接所述开口容器与所述样本盖;
透明窗口;
透明窗口连接器,其配置为将所述底壁或所述样本盖与所述透明窗口连接;
所述开口容器、所述透明窗口或所述样本盖的一者或多者中的多个穿孔。
51.根据权利要求50所述的装置,其中所述样本盖连接器为槽口、突片、铰链或磁体中的一者或多者。
52.根据权利要求50所述的装置,其中所述样本保持结构包含具有外表面的倾斜壁。
53.根据权利要求50所述的装置,其中所述透明窗口包含玻璃、熔融石英、二氧化硅或氟化钙。
54.根据权利要求50所述的装置,其中所述透明窗口包含透明塑料。
55.根据权利要求50所述的装置,其中所述透明窗口连接器耐二甲苯、醛和醇。
56.根据权利要求50所述的装置,其中所述透明窗口连接器包含耐溶剂的粘合剂。
57.根据权利要求50所述的装置,其中所述透明窗口连接器耐组织学处理溶剂。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662294473P | 2016-02-12 | 2016-02-12 | |
| US62/294,473 | 2016-02-12 | ||
| PCT/US2017/017478 WO2017139649A2 (en) | 2016-02-12 | 2017-02-10 | Method and apparatus for imaging unsectioned tissue speciments |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109154569A true CN109154569A (zh) | 2019-01-04 |
Family
ID=58228554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780018633.7A Pending CN109154569A (zh) | 2016-02-12 | 2017-02-10 | 用于对未切片组织样本成像的方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10416434B2 (zh) |
| EP (1) | EP3414553B1 (zh) |
| JP (1) | JP6961603B2 (zh) |
| CN (1) | CN109154569A (zh) |
| WO (1) | WO2017139649A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112285090A (zh) * | 2020-09-29 | 2021-01-29 | 军事科学院系统工程研究院卫勤保障技术研究所 | 一种便携式共焦单细胞拉曼散射检测系统 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3588061B1 (en) | 2014-12-23 | 2023-04-19 | Apple Inc. | Optical inspection system and method including accounting for variations of optical path length within a sample |
| KR102615932B1 (ko) | 2015-09-01 | 2023-12-21 | 애플 인크. | 물질의 비접촉 감지를 위한 레퍼런스 스위치 아키텍처 |
| EP3414553B1 (en) | 2016-02-12 | 2022-09-28 | Massachusetts Institute of Technology | Method and apparatus for imaging unsectioned tissue specimens |
| EP4589271A3 (en) | 2016-04-21 | 2025-07-30 | Apple Inc. | Optical system for reference switching |
| CN116893160A (zh) * | 2017-09-29 | 2023-10-17 | 苹果公司 | 路径解析的光学采样架构 |
| US11860100B2 (en) | 2018-01-26 | 2024-01-02 | University Of Rochester | Methods for ultraviolet excitation microscopy of biological surfaces |
| CN114545550B (zh) | 2018-02-13 | 2024-05-28 | 苹果公司 | 具有集成边缘外耦合器的集成光子装置 |
| JP2019159031A (ja) * | 2018-03-12 | 2019-09-19 | オリンパス株式会社 | 細胞観察装置、細胞観察方法 |
| US10733784B2 (en) * | 2018-04-27 | 2020-08-04 | Becton, Dickinson And Company | Methods and apparatuses for image control and display of particle analyzer images |
| US10740949B2 (en) * | 2018-09-18 | 2020-08-11 | Microsoft Technology Licensing, Llc | Multi-spectral rendering for synthetics |
| US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
| US10677730B1 (en) * | 2019-02-01 | 2020-06-09 | Apllikate Technologies Llc | Fast multiphoton microscope |
| JP7482894B2 (ja) * | 2019-04-12 | 2024-05-14 | インベニオ イメージング、インコーポレイテッド | 組織における術中造影剤の検出のための撮像システム |
| US11500154B1 (en) | 2019-10-18 | 2022-11-15 | Apple Inc. | Asymmetric optical power splitting system and method |
| US11545055B2 (en) * | 2019-11-26 | 2023-01-03 | Samuel Castillo | Apparatus and methodology for customizing vehicle signage |
| DE102019133457A1 (de) * | 2019-12-06 | 2021-06-10 | Thomas Märsch | Mehrfachkassette zum Einlegen von Gewebeproben und Verfahren zum Handhaben von Gewebeproben |
| FR3107063B1 (fr) * | 2020-02-11 | 2022-01-14 | Pera Pellenc Sa | Procédé et équipement pour la préparation d'un produit alimentaire, notamment à base de baies |
| US12399104B2 (en) * | 2020-06-03 | 2025-08-26 | Kinetic River Corp. | Configurable particle analyzer apparatuses and methods |
| KR20250123947A (ko) | 2020-09-09 | 2025-08-18 | 애플 인크. | 노이즈 완화를 위한 광학 시스템 |
| US11703791B2 (en) * | 2020-12-01 | 2023-07-18 | Eastman Kodak Company | Method for correcting media position errors in a printing system |
| FI130934B1 (fi) * | 2021-01-29 | 2024-06-07 | Marginum Oy | Laite fluoresenssin havaitsemiseksi |
| US20220284603A1 (en) * | 2021-03-04 | 2022-09-08 | Cytoveris Inc. | System and Method for Producing an Image-based Registration of Surgically Excised Tissue Specimens |
| KR20220150547A (ko) * | 2021-05-04 | 2022-11-11 | 주식회사 피직스랩코리아 | 공초점 센싱 시스템 |
| US12281971B2 (en) * | 2022-01-14 | 2025-04-22 | KUB Technologies Inc. | System and method for a specimen container for use in cabinet x-ray systems |
| EP4551982A1 (en) * | 2022-07-04 | 2025-05-14 | Leica Instruments (Singapore) Pte. Ltd. | Controller for a surgical microscope and method |
| EP4558273A4 (en) * | 2022-07-18 | 2025-09-10 | Siemens Healthcare Diagnostics Inc | ANALYZER WITH A TRANSPARENT SCREEN TO PROTECT AN IMAGING SYSTEM |
| WO2024025891A1 (en) * | 2022-07-25 | 2024-02-01 | The Johns Hopkins University | System for simultaneous contractile force and calcium/voltage transient measurement of engineered tissue |
| WO2025210482A1 (en) * | 2024-04-05 | 2025-10-09 | Thermo Fisher Scientific Oy | Systems and methods of viewing a biological sample |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008253A1 (en) * | 2003-07-10 | 2005-01-13 | Joseph Rozgonyi | Method and apparatus for eliminating irrelevant luminescent signals |
| US20080068588A1 (en) * | 2005-05-23 | 2008-03-20 | Hess Harald F | Optical microscopy with phototransformable optical labels |
| US20110109735A1 (en) * | 2009-11-09 | 2011-05-12 | Olympus Corporation | Virtual microscope system |
| US20110212486A1 (en) * | 2010-02-26 | 2011-09-01 | Olympus Corporation | Microscope System, Specimen Observation Method, and Computer Program Product |
| US20130156287A1 (en) * | 2010-08-30 | 2013-06-20 | Sanyo Electric Co., Ltd | Observation device, observation program, and observation system |
| US20130307953A1 (en) * | 2011-01-21 | 2013-11-21 | Carl Zeiss Meditec Ag | System for visualizing tissue in a surgical region |
| US20140327757A1 (en) * | 2013-05-01 | 2014-11-06 | Bio-Rad Laboratories, Inc. | Adjustable digital microscope display |
| WO2014186544A1 (en) * | 2013-05-15 | 2014-11-20 | The Administrators Of The Tulane Educational Fund | Microscopy of a tissue sample using structured illumination |
| US20150003713A1 (en) * | 2013-06-27 | 2015-01-01 | China Medical University | Method for analyzing tissue cells using hyperspectral imaging |
| CN105122113A (zh) * | 2013-04-19 | 2015-12-02 | 美国樱花检验仪器株式会社 | 用于生成由多个子图像构成的目标体的合成图像的方法 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0390845A (ja) * | 1989-09-01 | 1991-04-16 | Hitachi Ltd | 表面分析方法およびその装置 |
| JP3121849B2 (ja) * | 1991-02-27 | 2001-01-09 | シスメックス株式会社 | フローイメージサイトメータ |
| JPH0734012B2 (ja) * | 1991-02-27 | 1995-04-12 | 東亜医用電子株式会社 | フローイメージサイトメータ |
| JP2975991B2 (ja) * | 1996-09-24 | 1999-11-10 | 株式会社分子バイオホトニクス研究所 | 偏光性測定方法及び装置 |
| JP3917731B2 (ja) * | 1996-11-21 | 2007-05-23 | オリンパス株式会社 | レーザ走査顕微鏡 |
| JP3735190B2 (ja) * | 1997-10-28 | 2006-01-18 | オリンパス株式会社 | 走査型サイトメータ |
| EP1161702B1 (en) * | 1999-02-17 | 2014-07-23 | Lucid, Inc. | Tissue specimen holder |
| US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
| DE10156695B4 (de) * | 2001-11-17 | 2004-07-15 | Leica Microsystems Heidelberg Gmbh | Scanmikroskop, Verfahren zur Scanmikroskopie und Bandpassfilter |
| DE10206979A1 (de) * | 2002-02-20 | 2003-08-21 | Leica Microsystems | Verfahren zum Benutzertraining für ein Scanmikroskop, Scanmikroskop und Software zum Benutzertraining für ein Scanmikroskop |
| JP5461753B2 (ja) * | 2004-07-30 | 2014-04-02 | オリンパス株式会社 | 内視鏡装置 |
| US20070070349A1 (en) * | 2005-09-23 | 2007-03-29 | Helicos Biosciences Corporation | Optical train and method for TIRF single molecule detection and analysis |
| US20060134004A1 (en) * | 2004-12-21 | 2006-06-22 | The University Of Utah | Methods and apparatus for detection of carotenoids in macular tissue |
| EP1691189A3 (en) * | 2005-02-14 | 2010-12-01 | Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) | Photothermal conversion measurement apparatus, photothermal conversion measurement method, and sample cell |
| WO2007034796A1 (ja) * | 2005-09-26 | 2007-03-29 | National University Corporation Hamamatsu University School Of Medicine | 複数の観察手法を用いた顕微鏡細胞観察・検査システム |
| EP1967885A4 (en) * | 2005-12-27 | 2011-01-05 | Olympus Corp | DEVICE FOR MEASURING LUMINESCENCE DOSOS AND METHOD FOR MEASURING LUMINESCENCE DOSOS |
| US7498551B2 (en) * | 2006-10-06 | 2009-03-03 | Los Alamos National Security, Llc | Apparatus and method for tracking a molecule or particle in three dimensions |
| WO2009115108A1 (en) * | 2008-03-19 | 2009-09-24 | Ruprecht-Karls-Universität Heidelberg | A method and an apparatus for localization of single dye molecules in the fluorescent microscopy |
| JP2013505491A (ja) * | 2009-09-17 | 2013-02-14 | エフ.ホフマン−ラ ロシュ アーゲー | 医療消耗品のための高密度バーコード |
| JP2011115556A (ja) * | 2009-10-29 | 2011-06-16 | Konan Medical Inc | 移植用角膜観察システム |
| WO2011152523A1 (ja) * | 2010-06-03 | 2011-12-08 | 株式会社ニコン | 顕微鏡装置 |
| JP5555061B2 (ja) * | 2010-06-09 | 2014-07-23 | オリンパス株式会社 | 観察装置および観察方法 |
| US9946058B2 (en) * | 2010-06-11 | 2018-04-17 | Nikon Corporation | Microscope apparatus and observation method |
| US10451402B2 (en) * | 2011-01-25 | 2019-10-22 | Massachusetts Institute Of Technology | Single shot full-field reflection phase microscopy |
| US9134241B2 (en) * | 2011-04-11 | 2015-09-15 | Li-Cor, Inc. | Differential scan imaging systems and methods |
| DE102012201003B4 (de) * | 2012-01-24 | 2024-07-25 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie |
| DE102012102983A1 (de) * | 2012-04-05 | 2013-10-10 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zum Bestimmen eines kritischen Winkels eines Anregungslichtstrahls |
| US8785885B1 (en) * | 2013-01-30 | 2014-07-22 | Omnivision Technologies, Inc. | Fluorescence imaging module |
| JP2015099104A (ja) * | 2013-11-19 | 2015-05-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US10507059B2 (en) * | 2014-07-03 | 2019-12-17 | Zhenhua LAI | Melanin ablation guided by stepwise multi-photon activated fluorescence |
| WO2016157346A1 (ja) * | 2015-03-27 | 2016-10-06 | 株式会社ニコン | 顕微鏡装置、観察方法、及び制御プログラム |
| EP3414553B1 (en) | 2016-02-12 | 2022-09-28 | Massachusetts Institute of Technology | Method and apparatus for imaging unsectioned tissue specimens |
-
2017
- 2017-02-10 EP EP17708916.6A patent/EP3414553B1/en active Active
- 2017-02-10 WO PCT/US2017/017478 patent/WO2017139649A2/en not_active Ceased
- 2017-02-10 JP JP2018542183A patent/JP6961603B2/ja active Active
- 2017-02-10 CN CN201780018633.7A patent/CN109154569A/zh active Pending
-
2018
- 2018-01-26 US US15/881,224 patent/US10416434B2/en active Active
-
2019
- 2019-08-05 US US16/531,714 patent/US10642019B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008253A1 (en) * | 2003-07-10 | 2005-01-13 | Joseph Rozgonyi | Method and apparatus for eliminating irrelevant luminescent signals |
| US20080068588A1 (en) * | 2005-05-23 | 2008-03-20 | Hess Harald F | Optical microscopy with phototransformable optical labels |
| US20110109735A1 (en) * | 2009-11-09 | 2011-05-12 | Olympus Corporation | Virtual microscope system |
| US20110212486A1 (en) * | 2010-02-26 | 2011-09-01 | Olympus Corporation | Microscope System, Specimen Observation Method, and Computer Program Product |
| US20130156287A1 (en) * | 2010-08-30 | 2013-06-20 | Sanyo Electric Co., Ltd | Observation device, observation program, and observation system |
| US20130307953A1 (en) * | 2011-01-21 | 2013-11-21 | Carl Zeiss Meditec Ag | System for visualizing tissue in a surgical region |
| CN105122113A (zh) * | 2013-04-19 | 2015-12-02 | 美国樱花检验仪器株式会社 | 用于生成由多个子图像构成的目标体的合成图像的方法 |
| US20140327757A1 (en) * | 2013-05-01 | 2014-11-06 | Bio-Rad Laboratories, Inc. | Adjustable digital microscope display |
| WO2014186544A1 (en) * | 2013-05-15 | 2014-11-20 | The Administrators Of The Tulane Educational Fund | Microscopy of a tissue sample using structured illumination |
| US20150003713A1 (en) * | 2013-06-27 | 2015-01-01 | China Medical University | Method for analyzing tissue cells using hyperspectral imaging |
Non-Patent Citations (2)
| Title |
|---|
| STEPHAN WIENERT ET AL.: "Detection and Segmentation of Cell Nuclei in Virtual Microscopy Images: A Minimum-Model Approach", 《SCIENTIFIC REPORTS》 * |
| WARREN R ZIPFEL ET AL.: "Nonlinear magic: multiphoton microscopy in the biosciences", 《NATURE BIOTECHNOLOGY》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112285090A (zh) * | 2020-09-29 | 2021-01-29 | 军事科学院系统工程研究院卫勤保障技术研究所 | 一种便携式共焦单细胞拉曼散射检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190377170A1 (en) | 2019-12-12 |
| JP2019511736A (ja) | 2019-04-25 |
| JP6961603B2 (ja) | 2021-11-05 |
| US10416434B2 (en) | 2019-09-17 |
| WO2017139649A3 (en) | 2017-09-21 |
| WO2017139649A2 (en) | 2017-08-17 |
| US10642019B2 (en) | 2020-05-05 |
| US20180259762A1 (en) | 2018-09-13 |
| EP3414553A2 (en) | 2018-12-19 |
| EP3414553B1 (en) | 2022-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109154569A (zh) | 用于对未切片组织样本成像的方法和装置 | |
| CN107003242B (zh) | 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法 | |
| US9964489B2 (en) | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents | |
| Giacomelli et al. | Multiscale nonlinear microscopy and widefield white light imaging enables rapid histological imaging of surgical specimen margins | |
| Yoshitake et al. | Direct comparison between confocal and multiphoton microscopy for rapid histopathological evaluation of unfixed human breast tissue | |
| US12298210B2 (en) | Preparation of tissue sections using fluorescence-based detection | |
| WO2010056945A2 (en) | Methods and systems for tissue processing and imaging | |
| CN109069007A (zh) | 皮肤疾病的非侵入式检测 | |
| WO2018175565A1 (en) | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents | |
| JP2024505077A (ja) | 蛍光ベースの検出を使用した包埋組織試料の分析 | |
| JP7231345B2 (ja) | 蛍光に基づく検知を使用する組織切片の調製 | |
| Lin et al. | Rapid pseudo-H&E imaging using a fluorescence-inbuilt optical coherence microscopic imaging system | |
| US12541866B2 (en) | Medical image processing apparatus, method, and computer readable medium that analyze a fluorescence image from phosphor in biological tissue | |
| Yoshitake | Nonlinear Microscopy System and Protocol for Rapid Evaluation of Freshly Excised Human Tissue | |
| Cahill | Rapid evaluation of pathology using nonlinear microscopy with applications in breast cancer, prostate cancer, and renal disease | |
| Wu et al. | High-throughput, nondestructive, and low-cost histological imaging with deep-learning-assisted UV microscopy | |
| HK1239808A1 (zh) | 使用荧光剂进行染色之後在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法 | |
| Paul | Development and Evaluation of Whole Slide Hyperspectral Confocal Fluorescence and Brightfield Macroscopy | |
| Demos | Micro-Anatomy Imager |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190104 |
|
| WD01 | Invention patent application deemed withdrawn after publication |