CN117561539A - 用于基于半导体应用的无监督或自我监督的深度学习 - Google Patents

Abstract

提供用于确定样品的信息的方法及系统。一种系统包含计算机子系统及由所述计算机子系统执行的一或多个组件，所述一或多个组件包含在无经标记数据的情况下(例如，以无监督或自我监督方式)进行训练且经配置以从包含至少一样品图像或从所述样品图像产生的数据的一或多个输入产生样品的参考的深度学习(DL)模型。所述计算机子系统经配置用于从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。

Description

用于基于半导体应用的无监督或自我监督的深度学习

技术领域

本发明大体上涉及用于确定样品的信息的方法及系统。某些实施例涉及一种深度学习模型，其在无经标记数据的情况下(例如，以无监督或自我监督方式)进行训练，且经配置以从包含至少一个样品图像或从样品图像产生的数据的一或多个输入产生样品的参考。

背景技术

以下描述及实例不因其包含于此段落中而被承认为现有技术。

制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制造过程处理衬底(例如半导体晶片)以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从倍缩光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制造过程。半导体制造过程的额外实例包含但不限于化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可以布置制造于单个半导体晶片上且接着被分成个别半导体装置。

在半导体制造过程期间的各个步骤使用检验过程来检测样品上的缺陷以驱动制造过程中的更高良率及因此更高利润。检验始终为制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于可接受半导体装置的成功制造变得更为重要，这是因为较小缺陷可引起装置故障。

缺陷检视通常涉及重新检测本身由检验过程检测的缺陷及使用高放大率光学系统或扫描电子显微镜(SEM)以较高分辨率产生关于缺陷的额外信息。因此，在样品上的已通过检验检测到缺陷的离散位置处执行缺陷检视。通过缺陷检视产生的缺陷的较高分辨率数据更适于确定缺陷的属性，例如轮廓、粗糙度、更准确大小信息等。相较于检验，通常可基于通过缺陷检视确定的信息更准确地将缺陷分类成缺陷类型。

同样在半导体制造过程期间的各个步骤使用计量过程来监测且控制过程。计量过程不同于检验过程，这是因为不同于其中在样品上检测缺陷的检验过程，计量过程用于测量无法使用当前使用的检验工具确定的样品的一或多个特性。例如，计量过程用于测量样品的一或多个特性(例如在过程期间形成于样品上的特征的尺寸(例如，线宽、厚度等))，使得可从所述一或多个特性确定过程的性能。另外，如果样品的一或多个特性是不可接受的(例如，在特性的预定范围之外)，那么样品的一或多个特性的测量可用于更改过程的一或多个参数，使得通过过程制造的额外样品具有可接受特性。

计量过程也不同于缺陷检视过程，这是因为不同于其中在缺陷检视中重访通过检验检测到的缺陷的缺陷检视过程，可在尚未检测到缺陷的位置处执行计量过程。换句话说，不同于缺陷检视，对样品执行计量过程的位置可与对样品执行的检验过程的结果无关。特定来说，可独立于检验结果选择执行计量过程的位置。另外，由于可独立于检验结果选择执行计量的样品上的位置，故不同于其中直到样品的检验结果产生且可供使用才能确定待执行缺陷检视的样品上的位置的缺陷检视，可在已对样品执行检验过程之前确定执行计量过程的位置。

许多不同种类的算法目前与上文描述的过程一起使用且取决于过程自身、样品及针对其确定的信息而变化。可以各种方式(例如基于深度学习的方式及不基于深度学习的方式)将不同种类的此类算法分成不同类别。在检验实例中，一些非深度学习缺陷检测算法是无监督式且对边际或联合概率使用频率测量。由商业上可购自加利福尼亚州，米尔皮塔斯市(Milpitas)的KLA公司的一些检验工具使用的非深度学习缺陷检测算法的一个实例是多裸片自动定限(MDAT)算法。不同于此类算法，机器学习或深度学习授权的监督式检测可经由卷积神经网络(CNN)或对象检测网络执行。

虽然上文描述的许多算法已被证明在所述领域中在不同程度上是有用的，但这些方法仍可存在一些缺点以待改进。例如，许多非深度学习缺陷检测算法难以应用到多模式或多角度数据输入。具有利用多模式或多角度数据输入的能力变得越来越重要，这是因为工具被推动到超过仅使用单模式数据可实现的其最佳性能。在另一实例中，上文描述的机器学习或深度学习缺陷检测方法可需要基本上大训练数据集，此实际上并不始终可获得或可招致在获得结果的时间及实体费用(如同晶片或其它样品)方面的基本上高拥有成本。

因此，开发用于确定样品的信息且不具有上文描述的缺点中的一或多者的系统及方法将为有利的。

发明内容

各项实施例的以下描述绝不应理解为限制所附权利要求书的目标。

一个实施例涉及一种经配置以确定样品的信息的系统。所述系统包含计算机子系统及由所述计算机子系统执行的一或多个组件，所述一或多个组件包含在无经标记数据的情况下进行训练且经配置以从包含至少一个样品图像或从所述样品图像产生的数据的一或多个输入产生样品的参考的深度学习(DL)模型。所述计算机子系统经配置用于从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。可如本文中描述般进一步配置所述系统。

另一实施例涉及一种用于确定样品的信息的计算机实施方法。方法包含通过将一或多个输入输入到在不使用经标记数据的情况下进行训练的DL模型而产生样品的参考。所述一或多个输入包含至少一个样品图像或从所述样品图像产生的数据。所述方法亦包含从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。所述输入及确定步骤由计算机子系统执行。可如本文中进一步描述般执行方法的步骤中的每一者。方法可包含本文中描述的任何其它方法的任何其它步骤。方法可由本文中描述的任何系统执行。

另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在计算机系统上执行以执行用于确定样品的信息的计算机实施方法。所述计算机实施方法包含上文描述的方法的步骤。可如本文中描述般进一步配置计算机可读媒体。可如本文中进一步描述般执行计算机实施方法的步骤。另外，可针对其执行程序指令的计算机实施方法可包含本文中描述的任何其它方法的任何其它步骤。

附图说明

在受益于优选实施例的以下详细描述的情况下且在参考附图时，所属领域的技术人员将明白本发明的进一步优点，其中：

图1及1a是说明如本文中描述般配置的系统的实施例的侧视图的示意图；

图2到3是说明可经执行以用于确定样品的信息的步骤的实施例的流程图；及

图4是说明存储用于引起计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。

虽然本发明易于以各种修改及替代形式呈现，但本发明的特定实施例在图式中通过实例展示且在本文中详细描述。图式可不按比例绘制。然而，应理解，图式及其详细描述不希望将本发明限于所公开的特定形式，恰相反，本发明欲涵盖落于如由所附权利要求书定义的本发明的精神及范围内的全部修改、等效物及替代物。

具体实施方式

现参考图式，应注意，图未按比例绘制。特定来说，在很大程度上放大图的一些元件的尺度以强调元件的特性。还应注意，所述图未按相同比例绘制。已使用相同元件符号指示可经类似配置的展示于多于一个图中的元件。除非本文中另有说明，否则所描述且展示的任何元件可包含任何适合市售元件。

一般来说，本文中描述的实施例经配置用于经由学习参考(例如样品的参考图像或结构噪声)而确定用于检验应用(例如，检测样品上的缺陷及/或其它基于半导体的应用，例如计量及缺陷检视)的样品的信息。

在一些实施例中，样品是晶片。晶片可包含半导体技术中已知的任何晶片。虽然本文中关于晶片或若干晶片描述一些实施例，但实施例不限于可使用其样品。例如，本文中描述的实施例可用于例如倍缩光罩、平板、个人计算机(PC)板及其它半导体样品的样品。

在图1中展示经配置用于确定样品的信息的系统的一个实施例。在一些实施例中，系统10包含成像子系统，例如成像子系统100。成像子系统包含及/或耦合到计算机子系统，例如，计算机子系统36及/或一或多个计算机系统102。

一般来说，本文中描述的成像子系统包含至少一个能量源、检测器及扫描子系统。能量源经配置以产生通过成像子系统引导到样品的能量。检测器经配置以检测来自样品的能量且响应于经检测能量而产生输出。扫描子系统经配置以改变样品上能量经引导到其且从其检测能量的位置。在一个实施例中，如图1中展示，成像子系统经配置为基于光的成像子系统。以此方式，本文中描述的样品图像可由基于光的成像子系统产生。

在本文中描述的基于光的成像子系统中，经引导到样品的能量包含光，且从样品检测的能量包含光。例如，在图1中展示的系统的实施例中，成像子系统包含经配置以将光引导到样品14的照明子系统。照明子系统包含至少一个光源。例如，如图1中展示，照明子系统包含光源16。照明子系统经配置以按可包含一或多个倾斜角及/或一或多个法向角的一或多个入射角将光引导到样品。例如，如图1中展示，按倾斜入射角引导来自光源16的光穿过光学元件18且接着穿过透镜20到样品14。倾斜入射角可包含任何适合倾斜入射角，其可取决于(例如)样品的特性及待对样品执行的过程而变化。

照明子系统可经配置以在不同时间按不同入射角将光引导到样品。例如，成像子系统可经配置以更改照明子系统的一或多个元件的一或多个特性使得可按不同于图1中展示的入射角的入射角将光引导到样品。在一个此实例中，成像子系统可配置以移动光源16、光学元件18及透镜20使得按不同倾斜入射角或法向(或近法向)入射角将光引导到样品。

在一些例子中，成像子系统可经配置以在相同时间按多于一个入射角将光引导到样品。例如，照明子系统可包含多于一个照明通道，照明通道中的一者可包含如图1中展示的光源16、光学元件18及透镜20，且照明通道中的另一者(未展示)可包含可经不同或相同配置的类似元件或可包含至少一光源及可能一或多个其它组件(例如本文中进一步描述的组件)。如果在与其它光相同的时间将此光引导到样品，那么按不同入射角引导到样品的光的一或多个特性(例如，波长、偏光等)可为不同的，使得可在检测器处将源从按不同入射角照明样品的光彼此区分。

在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源16)且可通过照明子系统的一或多个光学元件(未展示)(例如，基于波长、偏光等)将来自所述光源的光分离到不同光学路径中。接着，可将不同光学路径中的每一者中的光引导到样品。多个照明通道可经配置以在相同时间或不同时间(例如，当使用不同照明通道以依序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样品。例如，光学元件18可经配置为光谱滤波器且可以各种不同方式(例如，通过将一个光谱滤波器调换成另一光谱滤波器)改变光谱滤波器的性质使得可在不同时间将不同波长的光引导到样品。照明子系统可具有所属领域中已知的用于依序或同时按不同或相同入射角将具有不同或相同特性的光引导到样品的任何其它适合配置。

光源16可包含宽带等离子体(BBP)光源。以此方式，由光源产生且引导到样品的光可包含宽带光。然而，光源可包含任何其它适合光源，例如所属领域中已知的经配置以产生任何适合波长的光的任何适合激光。激光可经配置以产生单色或近单色光。以此方式，激光可为窄频激光。光源还可包含产生多个离散波长或波带的光的多色光源。

来自光学元件18的光可通过透镜20聚焦到样品14上。虽然在图1中将透镜20展示为单折射光学元件，但实际上，透镜20可包含将来自光学元件的光组合地聚焦到样品的数个折射及/或反射光学元件。图1中展示且本文中描述的照明子系统可包含任何其它适合光学元件(未展示)。此类光学元件的实例包含(但不限于)偏光组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、束分离器、孔隙及类似者，其可包含所属领域中已知的任何此类适合光学元件。另外，系统可经配置以基于用于成像的照明的类型更改照明子系统的一或多个元件。

成像子系统还可包含经配置以改变样品上的光经引导到其且从其检测光的位置且可能引起光经扫描遍及样品的扫描子系统。例如，成像子系统可包含在成像期间样品14安置于其上的载物台22。扫描子系统可包含可经配置以移动样品使得光可经引导到样品上的不同位置且从样品上的不同位置检测的任何适合机械及/或机器人组合件(其包含载物台22)。另外或替代地，成像子系统可经配置使得成像子系统的一或多个光学元件执行光遍及样品的某一扫描使得光可经引导到样品上的不同位置且从样品上的不同位置检测。在其中使光扫描遍及样品的例子中，可以任何适合方式(例如以蛇形路径或以螺旋路径)使光扫描遍及样品。

成像子系统进一步包含一或多个检测通道。检测通道中的至少一者包含检测器，所述检测器经配置以检测由于通过成像子系统照明样品而来自样品的光且响应于经检测光而产生输出。例如，图1中展示的成像子系统包含两个检测通道，一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中展示，两个检测通道经配置以按不同收集角收集且检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测按不同角度从样品散射的光。然而，一或多个检测通道可经配置以从样品检测另一类型的光(例如，反射光)。

如图1中进一步展示，两个检测通道经展示定位于纸平面中且照明子系统也经展示定位于纸平面中。因此，在此实施例中，两个检测通道定位(例如，居中)于入射平面中。然而，一或多个检测通道可定位于入射平面外。例如，由集光器30、元件32及检测器34形成的检测通道可经配置以收集且检测从入射平面散射的光。因此，此检测通道可通常称为“侧”通道，且此侧通道可在基本上垂直于入射平面的平面中居中。

虽然图1展示包含两个检测通道的成像子系统的实施例，但成像子系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或更多个检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可如上文描述般形成一个侧通道，且成像子系统可包含形成为定位于入射平面的相对侧上的另一侧通道的额外检测通道(未展示)。因此，成像子系统可包含检测通道，所述检测通道包含集光器24、元件26及检测器28且在入射平面中居中且经配置以按法向于或接近法向于样品表面的散射角收集且检测光。因此，此检测通道可通常称为“顶部”通道，且成像子系统还可包含如上文描述般配置的两个或更多个侧通道。因而，成像子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的集光器，每一集光器经配置以按与其它集光器中的每一者不同的散射角收集光。

如上文进一步描述，包含于成像子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中展示的成像子系统可经配置用于样品的暗场(DF)成像。然而，成像子系统还可或替代地包含经配置用于样品的明场(BF)成像的检测通道。换句话说，成像子系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文中描述的成像子系统可经配置以用于仅DF成像、仅BF成像或DF成像及BF成像两者。虽然在图1中将集光器中的每一者展示为单折射光学元件，但集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。

一或多个检测通道可包含所属领域中已知的任何适合检测器，例如光电倍增管(PMT)、电荷耦合装置(CCD)及延时积分(TDI)摄影机。所述检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的某些特性(例如强度)但不可经配置以检测依据成像平面内的位置而变化的此类特性。因而，由包含于成像子系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据，而非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可经配置为经配置以产生成像信号或图像数据的成像检测器。因此，成像子系统可经配置以依数个方式产生图像。

应注意，在本文中提供图1以大体上说明可包含于本文中描述的系统实施例中的成像子系统的配置。显然，可更改本文中描述的成像子系统配置以如在设计商业成像系统时通常执行般优化成像子系统的性能。另外，可使用例如商业上可购自加利福尼亚州，米尔皮塔斯市的KLA公司的29xx/39xx系列的工具的现有系统(例如，通过将本文中描述的功能性添加到现有检验系统)实施本文中描述的系统。对于一些此类系统，本文中描述的方法可提供为系统的选用功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的系统以提供全新系统。

计算机子系统36可以任何适合方式(例如，经由一或多个传输媒体，所述一或多个传输媒体可包含“有线”及/或“无线”传输媒体)耦合到成像子系统的检测器使得计算机子系统可接收由检测器产生的输出。计算机子系统36可经配置以使用检测器的输出执行数个功能。例如，如果系统经配置为检验系统，那么计算机子系统可经配置以使用检测器的输出检测样品上的事件(例如，缺陷及潜在缺陷)。可如本文中进一步描述般执行检测样品上的事件。

可如本文中描述般进一步配置计算机子系统36。例如，计算机子系统36可经配置以执行本文中描述的步骤。因而，本文中描述的步骤可通过计算机子系统“在工具上”执行，所述计算机子系统耦合到成像子系统或是成像子系统的部分。另外或替代地，计算机系统102可执行本文中描述的一或多个步骤。因此，本文中描述的一或多个步骤可通过未直接耦合到成像子系统的计算机系统“在工具外”执行。

计算机子系统36(以及本文中描述的其它计算机子系统)在本文中也可称为计算机系统。本文中描述的计算机子系统或系统中的每一者可采取各种形式，包含个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛定义以涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含所属领域中已知的任何适合处理器(例如并行处理器)。另外，所述计算机子系统或所述系统可包含具有高速处理及软件的计算机平台(作为独立工具或网络链接工具)。

如果系统包含多于一个计算机子系统，那么不同计算机子系统可彼此耦合使得可在计算机子系统之间发送图像、数据、信息、指令等。例如，计算机子系统36可通过可包含所属领域中已知的任何适合有线及/或无线传输媒体的任何适合传输媒体耦合到计算机系统102(如由图1中的虚线展示)。两个或更多个此类计算机子系统还可通过共享计算机可读存储媒体(未展示)有效地耦合。

虽然上文将成像子系统描述为光学或基于光的成像子系统，但在另一实施例中，成像子系统经配置为电子束成像子系统。以此方式，本文中描述的样品图像可由电子束成像子系统产生。在电子束成像子系统中，经引导到样品的能量包含电子，且从样品检测的能量包含电子。在图1a中展示的一个此实施例中，成像子系统包含电子柱122，且系统包含耦合到成像子系统的计算机子系统124。计算机子系统124可如上文描述般配置。另外，此成像子系统可以上文描述且在图1中展示的相同方式耦合到另一或多个计算机系统。

同样如图1a中展示，电子柱包含经配置以产生由一或多个元件130聚焦到样品128的电子的电子束源126。电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、束限制孔隙、门阀、束电流选择孔隙、物镜及扫描子系统，其全部可包含所属领域中已知的任何此类适合元件。

从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，所述扫描子系统可系包含于元件130中的相同扫描子系统。

电子柱可包含所属领域中已知的任何其它适合元件。另外，可如2014年4月4日颁予江(Jiang)等人的第8,664,594号美国专利、2014年4月8日颁予孔吉马(Kojima)等人的第8,692,204号美国专利、2014年4月15日颁予顾本思(Gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利中描述般进一步配置电子柱，所述美国专利以宛如全文陈述引用的方式并入本文中。

虽然在图1a中将电子柱展示为经配置使得电子按倾斜入射角引导到样品且按另一倾斜角从样品散射，但电子束可按任何适合角度引导到样品且从样品散射。另外，电子束成像子系统可经配置以使用多个模式(例如，使用不同照明角、收集角等)来产生样品的输出，如本文中进一步描述。电子束成像子系统的多个模式在成像子系统的任何输出产生参数方面可不同的。

计算机子系统124可耦合到检测器134，如上文描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像(或样品的其它输出)。所述电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以使用通过检测器134产生的输出检测样品上的事件，此可如本文中进一步描述般执行。计算机子系统124可经配置以执行本文中描述的任何额外步骤。可如本文中描述般进一步配置包含图1a中展示的成像子系统的系统。

应注意，在本文中提供图1a以大体上说明可包含于本文中描述的实施例中的电子束成像子系统的配置。如同上文描述的光学成像子系统，可更改本文中描述的电子束成像子系统配置以如在设计商业系统时通常执行般优化成像子系统的性能。另外，可使用例如商业上可购自KLA的工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)实施本文中描述的系统。对于一些此类系统，本文中描述的方法可被提供为系统的选用功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的系统以提供全新系统。

虽然上文将成像子系统描述为光或电子束成像子系统，但成像子系统可为离子束成像子系统。可如图1a中展示般配置此成像子系统，除可使用所属领域中已知的任何适合离子束源替换电子束源之外。另外，成像子系统可包含任何其它适合离子束成像系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱仪(SIMS)系统中的离子束成像系统。

如上文进一步提及，成像子系统可经配置以具有多个模式。一般来说，“模式”由用于产生样品的输出的成像子系统的参数的值定义。因此，(除样品上产生输出的位置之外)不同的模式可在成像子系统的至少一个成像参数的值方面不同。例如，针对基于光的成像子系统，不同模式可使用光的不同波长。(例如，通过针对不同模式使用不同光源、不同光谱滤波器等)模式可在经引导到样品的光的波长方面不同，如本文中进一步描述。在另一实施例中，不同模式可使用不同照明通道。例如，如上文提及，成像子系统可包含多于一个照明通道。因而，不同照明通道可用于不同模式。

多个模式也可在照明及/或集光/检测方面不同。例如，如上文进一步描述，成像子系统可包含多个检测器。因此，一个检测器可用于一个模式且另一检测器可用于另一模式。另外，模式可以本文中描述的多于一个方式彼此不同(例如，不同模式可具有一或多个不同照明参数及一或多个不同检测参数)。另外，多个模式可在角度方面不同，从而意味着具有不同入射角及收集角中的一或两者，此可如本文中进一步描述般实现。例如，取决于使用多个模式同时扫描样品的能力，成像子系统可经配置以在相同扫描或不同扫描中使用不同模式扫描样品。

在一些例子中，本文中描述的系统可经配置为检验系统。然而，本文中描述的系统可经配置为另一类型的半导体相关的质量控制型系统，例如缺陷检视系统及计量系统。例如，可在一或多个参数方面修改本文中描述且在图1及1a中展示的成像子系统的实施例以取决于其将用于的应用而提供不同成像能力。在一个实施例中，成像子系统经配置为电子束缺陷检视子系统。例如，图1a中展示的成像子系统可经配置以在其将用于缺陷检视或计量而非用于检验的情况下具有较高分辨率。换句话说，图1及1a中展示的成像子系统的实施例描述成像子系统的一些一般及各种配置，其可以对于所属领域的技术人员而言将显而易见的数个方式定制以产生具有或多或少适合于不同应用的不同成像能力的成像子系统。

如上文提及，成像子系统可经配置用于将能量(例如，光、电子)引导到样品的实体版本及/或将能量扫描遍及样品的实体版本，借此针对样品的实体版本产生实际图像。在此方式，成像子系统可经配置为“实际”成像系统而非“虚拟”系统。然而，图1中展示的存储媒体(未展示)及计算机子系统102可经配置为“虚拟”系统。特定来说，存储媒体及计算机子系统并非成像子系统100的部分且不具有用于处置样品的实体版本的任何能力但可经配置为使用所存储检测器输出，执行检验功能的虚拟检验器、执行计量式功能的虚拟计量系统、执行缺陷检视式功能的虚拟缺陷检视工具等。在共同让与的以下专利中描述经配置为“虚拟”系统的系统及方法：在2012年2月28日颁予巴斯卡尔(Bhaskar)等人的第8,126,255号美国专利；在2015年12月29日颁予杜飞(Duffy)等人的第9,222,895号美国专利；及在2017年11月14日颁予杜飞(Duffy)等人的第9,816,939号美国专利，所述美国专利以宛如全文阐述引用的方式并入本文中。可如这些专利中描述般进一步配置本文中描述的实施例。例如，可如这些专利中描述般进一步配置本文中描述的计算机子系统。

系统包含计算机子系统(其可包含上文描述的计算机子系统或系统中的任何者的任何配置)，及由计算机子系统执行的一或多个组件。例如，如图1中展示，系统可包含计算机子系统36及由计算机子系统执行的一或多个组件104。一或多个组件可通过计算机子系统如本文中进一步描述般或以所属领域中已知的任何其它适合方式执行。执行一或多个组件的至少部分可包含将一或多个输入(例如图像、数据等)输入到一或多个组件中。组件子系统可经配置以依任何适合方式将任何图像、数据等输入到一或多个组件中。

一或多个组件包含深度学习(DL)模型，所述DL模型在无经标记数据的情况下进行训练且经配置以从包含至少一个样品图像或从样品图像产生的数据的一或多个输入产生样品的参考。如本文中使用的短语“在无经标记数据的情况下进行训练”被定义为至少最初或甚至完全在无以任何方式标记的数据的情况下进行训练。例如，训练的第一步骤可为仅基于未标记图像的一种类型的预训练，从而意味着仅基于数据本身中含有的信息执行训练。

训练的此第一步骤也可被称为前文本或辅助任务，其不同于DL模型最终将用于的任务(即，其“下游任务”)。在一个此实例中，前文本或辅助任务可为获取未标记图像，从图像选择并剪切两个或更多个图块，且接着“学习”原始图像中的所述图块的相对位置。以此方式，在此训练步骤期间学习的标记是来自数据本身(即，图像中经剪切图块所处的位置)而非在数据外部的来源(例如人类产生的标记)。

在此阶段期间学习的特征可接着用于针对DL模型经配置以用于的任务(例如对象检测或语义分段)训练DL模型。训练的此第二步骤(一种转移学习或微调步骤)也可在无经标记数据的情况下执行(即，无监督式学习)或基于比在DL模型的全部训练是监督式的情况下将需要的基本上更小(小10倍到100倍)的经标记数据集执行(即，自我监督式学习)。使用基本上更小数据集实现训练对于本文中描述的实施例尤其重要，这是因为不同于基于消费者的应用(如同学习区分人与汽车)，由于普遍缺乏良好示范性图像(例如，如在所关注缺陷(DOI)少且相距甚远时，尤其在检验过程的设定阶段期间)，基本上大训练数据集通常可难以产生。

在一个实施例中，以无监督式方式训练DL模型。例如，当在无经标记数据的情况下执行全部训练步骤时，上文描述且在本文中进一步描述的训练是无监督式的。在另一实施例中，以自我监督方式训练DL模型。自我监督式训练是使用未标记数据训练DL模型的机器学习(ML)的分支。例如，当至少在无经标记数据的情况下执行初始训练步骤时，上文描述且在本文中进一步描述的训练是自我监督式的。本文中进一步描述且分别在图2及3中展示的算法X(及算法Z)可被选择为生成对抗网络(GAN)、像素卷积神经网络(PixelCNN)、生成模型等。可以自我监督方式训练PixelCNN，且可以自我监督或无监督方式训练自动编码器或生成模型。

GAN通常可被定义为包含彼此竞争的两个网络的深度神经网络架构。可在以下案中找到GAN及条件GAN(cGAN)的一般架构及配置的额外描述：由布劳尔(Brauer)在2021年9月2日发表的第2021/0272273号美国专利申请公开案；由布劳尔(Brauer)等人在2021年5月5日申请的第17/308,878号美国专利申请案；“生成对抗网络(Generative AdversarialNets)”，古德凡乐(Goodfellow)等人，arXiv:1406.2661，2014年6月10日，9页；“具有深度生成模型的半监督学习(Semi-supervised Learning with Deep Generative Models)”，金麦克斯(Kingma)等人，NIPS2014，2014年10月31日，1到9页；“条件生成对抗网络(Conditional Generative Adversarial Nets)”，米尔扎(Mirza)等人，arXiv:1411.1784，2014年11月6日，7页；“反向自动编码器(Adversarial Autoencoders)”，马克扎尼(Makhzani)等人，arXiv:1511.05644v2，2016年5月25日，16页；及“具有条件对抗网络的图像到图像转换(Image-to-Image Translation with Conditional AdversarialNetworks)”，伊索拉(Isola)等人，arXiv:1611.07004v2，2017年11月22日，17页，所述美国专利申请案以宛如全文陈述引用的方式并入本文中。可如这些参考案中描述般进一步配置本文中描述的实施例。

PixelCNN是完全卷积层网络的架构，其在整个层保持其输入的空间分辨率且在每一位置处输出条件分布。在“像素递归神经网络(Pixel Recurrent Neural Networks)”，范德沃德(van den Oord)等人，arXiv:1601.06759，2016年8月19日，11页中包含可用于本文中描述的实施例中的PixelCNN的实例，所述案以宛如全文陈述引用的方式并入本文中。可如本参考案中描述般进一步配置本文中描述的实施例。

“生成”模型可大体上定义为本质上为概率性的模型。换句话说，“生成”模型并非执行正向模拟或基于规则的方法的模型且因而，在产生实际图像中涉及的过程的物理模型是不必要的。代替性地，如本文中进一步描述，可基于适合训练数据集学习生成模型(其中可学习其参数)。生成模型可经配置以具有可包含执行数个算法或变换的多个层的DL架构。包含于生成模型中的层的数目可为使用案例相依。为了实际目的，层的适合范围是从2个层到数十个层。可如本文中进一步描述且在2019年8月27日颁予张(Zhang)等人的第10,395,356号美国专利中描述般配置本文中描述的学习输入与输出之间的联合概率分布(均值及变异数)的深度生成模型，所述美国专利以宛如全文陈述引用的方式并入本文中。可如本专利中描述般进一步配置本文中描述的实施例。

在一个构造中，以独立方式训练DL模型以便学习数据的低频率结构。给定输入数据X、潜在空间向量H(X)及输出重建数据X_R，可使用自我监督式损失函数L(X,X_R)(例如均方误差(MSE)损失、暹罗(Siamese)损失、对比损失等)中的任一者或组合以自我监督式或无监督式方式训练产生器。例如，在训练期间，可将到本文中进一步描述的DL模型的任何一或多个可能输入输入到DL模型以学习DL模型以预测参考。参考或其导数可在输入及预期输出两者中，此在自我监督式或无监督式算法中是常见的。在一个此实例中，当经预测参考是参考图像时，训练输入可为以下至的任一者：样品测试图像、样品测试图像及对应参考图像及具有样品测试图像或参考图像的样品的设计信息。输入可接着用于以自我监督式或无监督式方式预测自身。类似于主分量分析(PCA)，可将额外约束添加到潜在空间向量以确保经学习特征全部彼此正交。此可通过将潜在空间向量乘以其转置作为输入以及到MSE损失的密度矩阵(I)而实现。L_Orth＝(H(X)^T*H(X),I)。如果在N数目个纪元之后，损失函数及其它验证度量不改进(提前停止)，那么可停止训练。

上文描述的任何训练可由包含于本文中描述的实施例中的一或多个计算机子系统执行。以此方式，本文中描述的实施例可经配置用于执行DL模型的一或多个设定或训练功能。然而，上文描述的任何训练可通过另一方法或系统(未展示)执行，且其它方法或系统可使经训练DL模型可存取本文中描述的实施例。以此方式，本文中描述的实施例可经配置用于训练本文中进一步描述的DL模型且用于执行运行时间功能，如同使用经训练DL模型以确定可与设定样品相同或不同的一或多个运行时间样品的信息。

在一个实施例中，当一或多个输入包含样品图像时，参考包含经学习参考图像。以此方式，DL模型可经由自我监督式或无监督式学习直接学习参考。特定来说，本文中描述的实施例可经配置用于直接学习非缺陷图案以用于晶片或倍缩光罩图像上的缺陷检测(或本文中描述的另一应用)。在图2中展示一个此实施例。例如，经由自我监督式或无监督式方法(在本文中也被称为“算法X”)步骤202将样品图像(在本文中也被称为“数据1A”)200输入到参考学习。那么在此实施例中，DL模型也被称为“算法X”。

样品图像200可为晶片或倍缩光罩图像或本文中描述的另一样品的图像。图像可通过本文中描述的一个成像子系统产生且通过计算机子系统以任何适合方式获取。计算机子系统可以任何适合方式将样品图像输入到参考学习步骤202中。在大多数检验使用案例中，此图像将含有相对稀疏缺陷信号。换句话说，如果在样品上产生样品图像的区域中存在缺陷，那么样品图像将含有对应于所述缺陷的缺陷信号。因而，样品图像中的缺陷信号将取决于存在于样品上的缺陷而变化。样品图像中的其它信号也可取决于形成于样品上的任何图案化特征、样品上的任何扰乱点或噪声源等而变化。

通过算法X，可从数据1A学习并计算经样品学习的参考(在本文中也被称为“数据1B”)204。数据1A与数据1B之间的差异是从统计角度，经适当学习的数据1B不含有主要缺陷信号。可接着将数据1A及数据1B输入到产生经确定信息208(在本文中也被称为“数据1C”)的监督式或无监督式信息确定步骤206(在本文中也被称为“算法Y”)。可如本文中描述般进一步配置步骤206、算法Y及数据1C。

在另一实施例中，当一或多个输入包含从样品图像产生的数据且从样品图像产生的数据包含结构噪声时，参考包含经学习结构噪声。以此方式，本文中描述的实施例可经配置用于经由自我监督式学习而学习结构噪声。特定来说，本文中描述的实施例可经配置用于学习非缺陷结构噪声以用于例如晶片或倍缩光罩图像上的缺陷检测的应用。在图3中展示的一个此实施例中，可将样品图像300(在本文中也被称为“数据2A”)及样品参考302(在本文中也被称为“数据2B”)输入到计算结构噪声步骤304，计算结构噪声步骤304可从数据2A及数据2B计算结构噪声306(在本文中也被称为“数据2C”)。

样品图像300可为晶片或倍缩光罩图像或本文中描述的另一样品的图像。可如本文中进一步描述般产生并获取图像。计算机子系统可以任何适合方式将样品图像输入到计算结构噪声步骤304步骤中。在大多数检验使用案例中，此图像将含有相对稀疏缺陷信号，且此图像中的信号可如上文描述般变化。

样品参考302可为任何适合参考图像，其可如图2中展示般或通过所属领域中已知的任何其它适合(DL或非DL)方法产生。例如，样品参考302可仅为样品上对应于产生样品图像300的区域的区域的图像。可通过修改或组合对应于样品图像(及可能包含样品图像)的一或多个图像(例如，通过滤波、平均化等)而产生样品参考302。在另一实例中，样品参考302可通过图2中展示的DL参考学习步骤或通过所属领域中已知的另一适合DL或ML方法产生。例如，DL或ML方法可经配置以从样品的设计信息产生参考图像。当如图2中展示般产生样品参考302时，图3中展示的实施例基本上在所述步骤之前添加结构噪声计算。计算机子系统可以任何适合方式将样品参考图像输入到计算结构噪声步骤304步骤中。

通常以最小化用作样品参考或用于产生样品参考的图像中的任何缺陷信号的方式执行产生或获取样品参考。例如，可通过获取两个或更多个相邻裸片/单元的图像的平均值或中值(或其它等效物)而获得样品参考，此可有利地抑制图像中的高频有缺陷分量的强度(但可不消除其)。在另一实例中，如同经计算参考的当前使用的噪声抑制技术可用于产生样品参考。

无法通过此步骤消除的高频有缺陷噪声分量表示可通过下文进一步描述的算法Z学习的局部结构噪声。对于本文中描述的实施例，学习高频有缺陷噪声分量可为重要的。一般来说，来自光学器件的任何经测量强度是来自信号及噪声两者的加成性强度。例如，考虑相同位置处的相对小局部信号及广泛/扩散噪声。当噪声相对小时，观察到具有相对少背景噪声的峰值信号。然而，当噪声相对高时，观察到具有相对高背景噪声的相对小信号。此也适用于高频噪声。因此，通过建构/学习缺陷位置处/周围的噪声分量，我们可通过从经组合强度减去其而实现更高灵敏度。

相对于随机噪声，在本文中将结构噪声定义为相对于标称光学成像的变体光学响应或强度(对于其它类型的成像也如此)。鉴于参考图像是标称光学成像的近似表示，结构噪声的一个近似表示是差异图像。以此方式，可将此实施例视为：代替直接学习参考图像，从通过计算结构噪声的“差异”图像学习无缺陷图像。通过在此实施例中在算法Z之前包含“结构噪声计算”步骤，我们将先验信息给予DL模型，相较于通过图2中展示的实施例产生的参考，此可有助于更佳抑制其产生的参考中的高频分量。

可以各种方式执行计算结构噪声步骤304。如上文提及，数据2A可为测试裸片/倍缩光罩的晶片/倍缩光罩图像，且数据2B可为相邻裸片/单元的参考图像或经由物理模型化或基于ML/DL的模型化的经模拟参考，包含图2中展示的参考。可接着在步骤304中将结构噪声确定为两个输入之间的减法。在另一选项中，可在步骤304中通过获取两个输入之间的比率而计算结构噪声。例如，计算结构噪声步骤304可包含：从样品参考减去样品图像(2B-2A)或反之亦然(2A-2B)；将样品图像除以样品参考(2A/2B)或反之亦然(2B/2A)等。此步骤的输出是结构噪声306。图3中展示的沿着结构噪声306的各种轴的数字与本文中描述的实施例的理解无关且仅在图3中展示以传达此图中展示的经计算结构噪声的视觉表示的性质。

可通过计算机子系统以任何适合方式经由自我监督式或无监督式方法步骤308(在本文中也被称为“算法Z”)将经计算结构噪声输入到结构噪声的学习。在此实施例中，因此，DL模型也被称为“算法Z”。本文中描述的其它数据也可与经计算结构噪声一起输入到算法Z。例如，输入可包含可能组合数据2B(样品参考)如上文描述般计算的任何结构噪声(例如，2A-2B、2B-2A、2A/2B、2B/2A等)。算法Z将产生经学习结构噪声310(在本文中也被称为“数据2D”)。以此方式，可经由算法Z学习经计算结构噪声(数据2C)中的无缺陷相关结构噪声(数据2D)，且将经学习无缺陷结构噪声呈现为数据2D。如同经计算结构噪声，沿着经学习结构噪声310的各种轴的数字与本文中描述的实施例的理解无关，且仅在图3中展示以传达此图中展示的结构噪声的视觉表示的性质。

经计算结构噪声(数据2C)及经学习结构噪声(数据2D)以重要且可能不明显的方式不同。例如，晶片或倍缩光罩的测试图像(数据2A)含有包含于样品上产生测试图像的区域中的任何缺陷的有缺陷信号。数据2B(标称或参考图像)理想地不含有有缺陷信号。因此，数据2C(经计算结构噪声)本身含有来自过程变动及缺陷两者的信息。相比之下，由算法Z学习的数据2D重新存储与过程变动相关但与缺陷不相关的大多数信息/噪声。通过如此做，数据2C及数据2D可联合用于从不必要的过程变动信号提取更干净的缺陷信号。换句话说，本文中描述的实施例改进缺陷信号，此不同于主要专注于如何“清洁”噪声的许多检验过程。重要地，通过经由DL模型从2C进一步分离无缺陷结构噪声，可实现更佳检测灵敏度。可以类似方式增强本文中描述的其它过程的结果。

为了从数学角度重新陈述上文，通过预定非预测方法(例如不同裸片的减法/平均化/中值图像)获得输出2C。通过将2C视为输入的算法Z预测输出2D。另外，如上文提及，数据2D含有可学习无缺陷结构噪声及极少有缺陷信号，而数据2C含有两者。

可接着将数据2C及数据2D输入到产生经确定信息314(在本文中也被称为“数据2E”)的监督式或无监督式信息确定步骤312(在本文中也被称为“算法Y”)。在此实施例中可以数个不同方式将数据2C及数据2D输入到算法Y(例如)作为2C及2D、作为2C-2D、作为2C/2D等。在此实施例中，到算法Y的输入也可包含与设计信息及/或样品参考(数据2B)组合的上述输入中的任一者。还可如本文中描述般进一步配置步骤312、算法Y及数据2E。

在一个实施例中，到DL模型的一或多个输入(例如，分别在图2或3中展示的算法X或算法Z)也包含样品的设计信息及至少样品图像或从样品图像产生的数据。例如，在图3中展示的实施例中，除设计信息之外，输入还可包含从样品图像产生的数据，即，可能组合数据2B(样品参考)的如上文描述般计算的任何结构噪声(例如，2A-2B、2B-2A、2A/2B、2B/2A等)。设计或计算机辅助设计(CAD)信息对于参考学习或结构噪声学习可为至关重要的。以与通过/从成像子系统收集的图像的相同像素大小或以更小像素大小(例如，2X、4X、8X缩放设计)呈现的设计图像可用作到算法X及算法Z的输入。在两个例子中，设计还可输入到算法Y。在其它此类例子中，设计也可仅输入到算法Y(且非算法X或算法Z，视情况而定)。

如本文中互换使用的术语“设计”、“设计数据”及“设计信息”通常指的是IC或其它半导体装置的实体设计(布局)及通过复杂模拟或简单几何及布尔(Boolean)计算从实体设计导出的数据。设计可包含2009年8月4日颁予扎法尔(Zafar)等人的共同拥有的第7,570,796号美国专利及2010年3月9日颁予库卡尼(Kulkarni)等人的共同拥有的第7,676,077号美国专利中描述的任何其它设计数据或设计数据代理，所述两个美国专利以宛如全文陈述引用的方式并入本文中。另外，设计数据可为标准单元库数据、整合布局数据、一或多个层的设计数据、设计数据的导出物及完全或部分芯片设计数据。此外，本文中描述的“设计”、“设计数据”及“设计信息”指的是由半导体装置设计者在设计过程中产生且因此可在将设计打印于任何实体样品(例如倍缩光罩及晶片)上之前良好地用于本文中描述的实施例中的信息及数据。

在一个此实施例中，一或多个输入、设计信息及从样品图像产生的数据不包含样品的关注区域信息。例如，本文中描述的实施例可将设计信息直接并入信息确定过程中(例如，作为到算法X、算法Y及算法Z中的一或多者的输入中的一者)而无需从设计产生关注区域。针对本文中描述的许多过程，此可提供更高灵敏度(这是因为其它输入及/或经确定信息可与设计信息直接对准及相关)及获得结果的更佳时间(例如，通过消除关注区域产生过程)。

如在所属领域中通常提及的“关注区域”是样品上针对检验目的所关注的区域。有时，关注区域用于区分样品上经检验的区域与样品上在检验过程中未检验的区域。另外，关注区域有时用于区分样品上使用一或多个不同参数检验的区域。例如，如果样品的第一区域比样品上的第二区域更关键，那么可使用高于第二区域的灵敏度检验第一区域使得在第一区域中使用更高灵敏度检测缺陷。可以类似方式随关注区域更改检验过程的其它参数。

在另一实施例中，一或多个输入还包含样品的关注区域信息及至少样品图像或从样品图像产生的数据。例如，可以任何适合方式将设计信息转换为关注区域，例如由商业上可购自KLA的一些工具使用的NanoPoint或PixelPoint关注区域。关注区域信息可用作到算法X(或算法Z)及算法Y中的一或两者的输入。以此方式，当关注区域信息可用于本文中描述的实施例时，可将此信息与到算法的其它输入组合输入到本文中描述的任何算法。

在本文中描述的任何实施例中到DL模型的数据输入可为单模式数据或多模式数据。例如，图2中展示的数据1A可为单模式或多模式成像数据。在另一实例中，图3中展示的数据2A及数据2B可为单模式或多模式成像数据。单或多模式可包含本文中进一步描述的任何模式(包含多角度模式)，且可如本文中进一步描述般产生并获取单或多模式数据。如下文描述，当到DL模型的数据输入包含多重模式数据(即，多模式数据)时，可取决于DL模型的配置以各种方式输入不同模式的数据。

在一些实施例中，使用成像子系统的第一模式产生样品图像，DL模型经配置以从包含至少使用成像子系统的第二模式产生的额外样品图像或从额外样品图像产生的数据的一或多个额外输入产生样品的额外参考，且计算机子系统经配置用于从额外参考及至少额外样品图像或从额外样品图像产生的数据确定样品的额外信息。例如，在其中学习样品参考的实施例中，在多模式设置中，每一模式将具有不同1A及1B。在另一实例中，在其中样品参考是经学习结构噪声的实施例中，在多模式设置中，每一模式将具有不同2C及2D。因此，本质上，图2及3中展示的步骤中的每一者可在每模式基础上多次执行。以此方式，DL模型可从模式1输入产生输出1，从模式2输入产生输出2且针对N个所关注模式依此类推。

在一个此实施例中，在不同时间将样品图像及额外样品图像或从样品图像产生的数据及从额外样品图像产生的数据单独输入到DL模型。例如，在此情况中，可在多模式设置中针对每一用途单独执行学习。以此方式，可在多模式设置中针对每一光学模式独立地运行DL模型。在另一此实施例中，将样品图像及额外样品图像或从样品图像产生的数据及从额外样品图像产生的数据联合输入到DL模型。以此方式，在多模式设置中，可通过单个DL模型针对全部模式联合执行学习。接着在运行时间期间，可使用多模式数据联合运行DL模型。在此情况中，可将不同2C图像堆叠在一起作为输入。

计算机子系统可如本文中进一步描述般获取或产生输入多模式图像200(或从多模式样品图像300及多模式参考图像302产生的多模式结构噪声306)，所述输入多模式图像200由计算机子系统输入到多模式DL模型。输入多模式图像(或输入多模式结构噪声)可通过成像子系统及/或计算机子系统产生，如本文中进一步描述。

计算机子系统经配置用于从参考及至少样品图像或从样品图像产生的数据确定样品的信息。以此方式，计算机子系统经配置用于从经学习参考图像及样品图像或经学习结构噪声及经计算结构噪声确定信息。经确定信息及使用参考及至少样品图像或从样品图像产生的数据的方式可取决于对样品执行的过程而变化。在图2及3中展示的实施例中，确定信息步骤可通过计算机子系统使用算法Y执行。此算法可为由计算机子系统执行的一或多个组件的部分或可与所述组件分离。

在一个实施例中，计算机子系统未经配置用于从任何其它样品的参考确定信息。例如，本文中描述的实施例可经配置用于在视需要基础上针对确定其信息的任何一或多个样品产生参考。以此方式，针对经检验、测量、缺陷检视等的任何样品，不同参考可由本文中描述的一个DL模型产生且仅用于所述样品。换句话说，参考1可针对样品1产生且仅用于确定样品1的信息，参考2可针对样品2产生且仅用于确定样品2的信息等等。使用本文中描述的一个DL模型产生不同样品的不同参考可以上文关于多个模式描述的相同方式执行。当样品(甚至包含在相同过程中制造的样品且具有形成于其上的相同层)可具有不同且甚至有时明显不同的噪声特性时，针对不同样品产生并使用不同经预测参考可为有用且有利的。以此方式，可与针对多个样品使用相同参考的实施例相比，本文中描述的实施例对于样品及过程变动更稳定。

在另一实施例中，计算机子系统经配置用于从参考及仅样品图像或从样品图像产生的数据确定样品的信息。例如，本文中描述的实施例可经配置用于在视需要基础上针对确定其信息的任何一或多个样品图像产生参考。以此方式，针对经检验、测量、缺陷检视等的任何样品图像，不同参考可由本文中描述的一个DL模型产生且仅用于所述样品图像。换句话说，参考1可针对样品图像1产生且仅用于确定样品图像1的信息，参考2可针对样品图像2产生且仅用于确定样品图像2的信息等。使用本文中描述的一个DL模型产生不同样品图像的不同参考可以上文关于多个模式描述的相同方式执行。当样品图像(甚至包含从相同样品上的不同区域(其中每一区域具有相同设计信息)获取的样品图像)及/或从在相同过程中制造且具有形成于其上的相同层的不同样品获取的样品图像可具有不同且甚至有时明显不同的噪声特性时，针对不同样品图像产生并使用不同经预测参考可为有用且有利的。以此方式，与针对多个样品图像使用相同参考的实施例相比，本文中描述的实施例可对于样品及过程内变动更稳定。

在一些实施例中，计算机子系统经配置用于通过将参考及至少样品图像或从样品图像产生的数据输入到监督式DL模型而确定样品的信息。例如，如图2中展示，在检验的情况中，可将数据1A及数据1B输入到算法Y以执行监督式缺陷检测。以类似方式，如图3中展示，在检验的情况中，可将数据2C及数据2D输入到算法Y以执行监督式缺陷检测。监督式缺陷检测可：在单模式检验的情况中，如在由张(Zhang)等人在2020年10月15日发表的第2020/0327654号美国专利申请公开案中描述般执行；在多模式检验的情况中，如在由张(Zhang)等人在2021年10月25日发表的第2021/0366103号美国专利申请公开案中描述般执行；或以所属领域中已知的任何其它适合方式执行。此两个美国专利申请公开案以宛如全文陈述引用的方式并入本文中。可如这些公开案中描述般进一步配置本文中描述的实施例。

在另一实施例中，计算机子系统经配置用于通过将参考及至少样品图像或从样品图像产生的数据输入到无监督式DL模型而确定样品的信息。例如，如果无监督式DL模型可用于确定本文中进一步描述的任何信息，那么计算机子系统可将参考及样品图像或经计算结构噪声输入无监督式DL模型中以用于确定信息。无监督式DL模型可包含所属领域中已知的任何适合此模型。

在进一步实施例中，计算机子系统经配置用于通过将参考及至少样品图像或从样品图像产生的数据输入到无监督式算法而确定样品的信息。在此实施例中，无监督式算法可为非DL算法。例如，如图2中展示，在检验的情况中，可将数据1A及数据1B输入到算法Y以执行无监督式缺陷检测。在另一实例中，如图3中展示，在检验的情况中，可将数据2C及数据2D输入到算法Y以执行无监督式缺陷检测。在此两个实例中，算法Y可包含任何适合无监督式缺陷检测算法，例如由商业上可购自KLA的一些检验工具使用的MCAT算法。

在一些实施例中，针对样品确定的信息包含样品上的经预测缺陷位置。例如，本文中描述的实施例可使用基于DL的CNN、另一DL模型或用于预测BBP或其它图像上的缺陷的位置的非DL方法。这些模型、方法或算法中的每一者可为监督式或无监督式的。在最一般意义上，预测样品上的缺陷位置涉及从测试图像或数据减去无缺陷(或与参考所能够的一样无缺陷)图像或数据且接着确定其间的任何差是否更可能为缺陷。在最简单的情况中，此确定可涉及将阈值应用到将指示缺陷的差与不指示缺陷的差分离的差。显然，上文描述的算法可比此简单实例远更复杂且繁杂，在本文中提供此简单实例仅用于传达预测样品上的缺陷位置的性质。一般来说，如本文中描述般产生的参考及本文中描述的任何其它输入可以与任何其它参考图像/数据及测试图像/数据相同的方式用于缺陷检测。以此方式，参考图像/数据及测试图像/数据并非专用于任何特定缺陷检测算法或方法。

可在其中通过成像子系统扫描样品上的相对大区域且接着针对潜在缺陷检验通过此扫描产生的图像的检验过程中确定经预测缺陷位置。除经预测缺陷位置之外，算法Y(在本文中描述的实施例中的每一者中)也可经配置用于确定经预测缺陷位置的其它信息，例如缺陷分类及可能缺陷属性。一般来说，确定信息可包含产生样品的一或多个检验式结果。因此，基本上，确定信息步骤可具有多个输出通道，每一输出通道用于不同类型的信息。可接着将来自多个通道的输出组合成样品的单个检验结果档案(例如，通过一些KLA检验工具产生的KLARF档案)。以此方式，针对样品上的任一位置，可在检验结果档案中存在多个类型的信息。

以类似方式，过程可为缺陷检视过程。不同于检验过程，缺陷检视过程通常重访样品上已检测缺陷的离散位置。经配置用于缺陷检视的成像子系统可如本文中描述般产生样品图像，所述样品图像可输入到如本文中描述的DL模型。DL模型可经训练且经配置用于产生可接着与样品图像一起使用以确定缺陷是否实际上存在于通过检验识别的缺陷位置处的样品参考且用于确定缺陷的一或多个属性(如同缺陷形状、尺寸、粗糙度、背景图案信息等)及/或用于确定缺陷分类(例如，桥接型缺陷、缺失特征缺陷等)。针对缺陷检视应用，算法Y可为任何适合缺陷检视工具上使用的任何适合缺陷检视方法或算法。虽然相较于检验，算法Y及各种输入及输出针对缺陷检视使用案例可不同的，但相同DL模型可用于缺陷检视及检验两者(在应用需要训练之后)。可如上文描述般以其它方式训练并配置DL模型。

如上文描述，在一些实施例中，成像子系统可经配置用于样品的计量。在一个此实施例中，确定信息包含确定输入图像中的样品结构的一或多个特性。例如，本文中描述的DL模型可经配置用于产生可与样品图像一起使用以确定样品的计量信息的样品参考。计量信息可包含可取决于样品上的结构而变化的任何所关注计量信息。此计量信息的实例包含(但不限于)关键尺寸(CD)，例如样品结构的线宽及其它尺寸。样品图像可包含通过可具有例如本文中描述的配置或所属领域中已知的任何其它适合配置的配置的任何计量工具产生的任何图像。以此方式，本文中描述的实施例可有利地使用通过计量工具产生的样品图像与如本文中描述般产生的样品参考以用于预测样品的计量信息及包含于输入图像中的任何一或多个样品结构。针对计量应用，算法Y可为任何适合计量工具上使用的任何适合计量方法或算法。虽然相较于检验，算法Y及各种输入及输出针对计量使用案例可不同的，但相同DL模型可用于计量及检验两者(在应用需要训练之后)。可如上文描述般以其它方式训练并配置DL模型。

计算机子系统还可经配置用于产生包含经确定信息的结果，所述经确定信息可包含本文中描述的任何结果或信息。可通过计算机子系统以任何适合方式产生确定信息的结果。本文中描述的全部实施例可经配置用于将实施例的一或多个步骤的结果存储于计算机可读存储媒体中。结果可包含本文中描述的任何结果且可以所属领域中已知的任何方式存储。包含经确定信息的结果可具有任何适合形式或格式，例如标准文件类型。存储媒体可包含本文中描述的任何存储媒体或所属领域中已知的任何其它适合存储媒体。

在已存储信息之后，信息可在存储媒体中存取且由本文中描述的任何方法或系统实施例使用，经格式化以显示给用户，由另一软件模块、方法或系统等使用以执行样品或相同类型的另一样品的一或多个功能。例如，由计算机子系统产生的结果可包含在样品上检测的任何缺陷的信息(例如经检测缺陷的定界框的位置等)、检测分数、关于缺陷分类的信息(例如类别标记或ID、从任何图像确定的任何缺陷属性等)、经预测样品结构测量、尺寸、形状等或所属领域中已知的任何此适合信息。所述信息可由计算机子系统或用于执行样品及/或经检测缺陷的额外功能(例如对缺陷取样以供缺陷检视或其它分析、确定缺陷的根本原因等)的另一系统或方法使用。

此类功能还包含(但不限于)更改过程，例如以反馈或前馈方式对或将对样品执行的制造过程或步骤等。例如，计算机子系统可经配置以基于经确定信息确定对样品执行的过程及/或将对样品执行的过程的一或多个改变。过程的改变可包含过程的一或多个参数的任何适合改变。在一个此实例中，计算机子系统优选确定所述改变使得可减少或防止对其执行经修订过程的其它样品上的缺陷，可在对样品执行的另一过程中校正或消除样品上的缺陷，可在对样品执行的另一过程中补偿缺陷等。计算机子系统可以所属领域中已知的任何适合方式确定此类改变。

可接着将所述改变发送到半导体制造系统(未展示)或可供计算机子系统及半导体制造系统两者存取的存储媒体(未展示)。半导体制造系统可或可不为本文中描述的系统实施例的部分。例如，本文中描述的成像子系统及/或计算机子系统可(例如)经由一或多个共同组件(例如外壳、电源供应器、样品处置装置或机构等)耦合到半导体制造系统。半导体制造系统可包含所属领域中已知的任何半导体制造系统，例如光刻工具、蚀刻工具、化学-机械抛光(CMP)工具、沉积工具及类似者。

除已经描述的优点之外，本文中描述的实施例还具有数个优点。例如，相较于当前使用的方法(例如使用对边际或联合概率的频率测量的无监督式缺陷检测算法)，实施例所具有的优点包含具有直接并入多模式及多角度数据(其实现更高灵敏度)的能力。在另一实例中，实施例可直接并入设计数据而无需产生关注区域，此实现更高灵敏度及获得结果的更佳时间。在进一步实施例中，本文中描述的实施例可学习并移除经学习无缺陷结构噪声，此实现更高灵敏度。

相较于当前使用的监督式ML或DL模型，实施例所具有的优点包含将经标记数据点的数目减少10倍到100倍，此提供更低拥有成本及获得结果的更佳时间。特定来说，由于与其它基于ML及DL的检测器相比，本文中描述的实施例具有对经标记数据的明显更低要求，故实施例将更容易、更便宜且更快速设置。

相较于一般样品检验、计量、缺陷检视等过程，实施例所具有的额外优点包含比全部现有解决方案更高的信噪比及灵敏度。另外，本文中描述的实施例尤其适用于大批量制造(HVM)使用案例，以及许多前沿过程控制过程受限制的研究及开发。例如，本文中描述的实施例可仅为可适用于HVM使用案例的ML/DL检测方法。此外，与其它过程控制方法及系统相比，本文中描述的实施例可相对于过程变动具有潜在地更稳定的灵敏度。

本文中描述的实施例还广泛适用于需要样品参考的任何过程控制方法。例如，实施例可用于下一代BBP工具以解决当前及未来过程节点的多模式缺陷检测复杂性。同样地，实施例可用于光散射检验工具中以提供这些工具的更佳性能。本文中描述的实施例可用于将本文中描述的这些及其它工具的灵敏度上限推动到高于当前可实现的灵敏度上限。

可将上文描述的实施例中的每一者一起组合成一个单个实施例。换句话说，除非本文中另外提及，否则无实施例与任何其它实施例互斥。

另一实施例涉及一种用于确定样品的信息的计算机实施方法。方法包含通过将一或多个输入输入到在无经标记数据的情况下进行训练的DL模型中而产生样品的参考。一或多个输入包含至少一个样品图像或从样品图像产生的数据。方法还包含从参考及至少样品图像或从样品图像产生的数据确定样品的信息。输入及确定步骤由计算机子系统执行，所述计算机子系统可根据本文中描述的任何实施例配置。

可如本文中进一步描述般执行方法的步骤中的每一者。方法还可包含可由本文中描述的成像子系统及/或计算机子系统执行的任何其它步骤。另外，方法可由本文中描述的系统实施例中的任何者执行。

额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在计算机系统上执行以执行用于确定样品的信息的计算机实施方法。在图4中展示一个此实施例。特定来说，如图4中展示，非暂时性计算机可读媒体400包含可在计算机系统404上执行的程序指令402。计算机实施方法可包含本文中描述的任何方法的任何步骤。

实施例如本文中描述的方法的方法的程序指令402可存储于计算机可读媒体400上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它适合非暂时性计算机可读媒体。

可以各种方式(包含基于过程的技术、基于组件的技术及/或面向对象技术等)中的任何者实施程序指令。例如，可视需要使用ActiveX控制件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(串流SIMD延伸)、Python、Tensorflow或其它技术或方法论实施程序指令。

可根据本文中描述的实施例中的任何者配置计算机系统404。

鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。例如，提供用于确定样品的信息的方法及系统。因此，此描述应仅解释为阐释性且出于教示所属领域的技术人员实施本发明的一般方式的目的。应理解，本文中展示且描述的本发明的形式将被视为当前优选实施例。如所属领域的技术人员在获益于本发明的此描述之后将明白，元件及材料可取代本文中说明及描述的元件及材料，部分及过程可颠倒，且可独立利用本发明的特定属性。在不脱离如在所附权利要求书中描述的本发明的精神及范围的情况下可对本文中描述的元件做出改变。

Claims (20)

1.一种经配置用于确定样品的信息的系统，其包括：

计算机子系统；及

一或多个组件，其由所述计算机子系统执行；

其中所述一或多个组件包括在无经标记数据的情况下进行训练且经配置以从包括至少一样品图像或从所述样品图像产生的数据的一或多个输入产生样品的参考的深度学习模型；且

其中所述计算机子系统经配置用于从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。

2.根据权利要求1所述的系统，其中所述深度学习模型以无监督方式进一步训练。

3.根据权利要求1所述的系统，其中所述深度学习模型以自我监督方式进一步训练。

4.根据权利要求1所述的系统，其中当所述一或多个输入包括所述样品图像时，所述参考包括经学习参考图像。

5.根据权利要求1所述的系统，其中当所述一或多个输入包括从所述样品图像产生的所述数据且从所述样品图像产生的所述数据包括结构噪声时，所述参考包括经学习结构噪声。

6.根据权利要求1所述的系统，其中所述一或多个输入进一步包括所述样品的设计信息及至少所述样品图像或从所述样品图像产生的所述数据。

7.根据权利要求1所述的系统，其中所述一或多个输入进一步包括所述样品的设计信息及至少所述样品图像或从所述样品图像产生的所述数据，且其中所述一或多个输入、所述设计信息及从所述样品图像产生的所述数据不包括所述样品的关注区域信息。

8.根据权利要求1所述的系统，其中所述一或多个输入进一步包括所述样品的关注区域信息及至少所述样品图像或从所述样品图像产生的所述数据。

9.根据权利要求1所述的系统，其中所述样品图像是使用成像子系统的第一模式产生，其中所述深度学习模型进一步经配置以从至少包括使用所述成像子系统的第二模式产生的额外样品图像或从所述额外样品图像产生的数据的一或多个额外输入产生所述样品的额外参考，且其中所述计算机子系统进一步经配置用于从所述额外参考及至少所述额外样品图像或从所述额外样品图像产生的所述数据确定所述样品的额外信息。

10.根据权利要求9所述的系统，其中在不同时间将所述样品图像及所述额外样品图像或从所述样品图像产生的所述数据及从所述额外样品图像产生的所述数据单独输入到所述深度学习模型。

11.根据权利要求9所述的系统，其中将所述样品图像及所述额外样品图像或从所述样品图像产生的所述数据及从所述额外样品图像产生的所述数据联合输入到所述深度学习模型。

12.根据权利要求1所述的系统，其中所述计算机子系统未经配置用于从任何其它样品的参考确定信息。

13.根据权利要求1所述的系统，其中所述计算机子系统进一步经配置用于从所述参考及仅所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。

14.根据权利要求1所述的系统，其中所述计算机子系统进一步经配置用于通过将所述参考及至少所述样品图像或从所述样品图像产生的所述数据输入到监督式深度学习模型中而确定所述样品的所述信息。

15.根据权利要求1所述的系统，其中所述计算机子系统进一步经配置用于通过将所述参考及至少所述样品图像或从所述样品图像产生的所述数据输入到无监督式深度学习模型中而确定所述样品的所述信息。

16.根据权利要求1所述的系统，其中所述计算机子系统进一步经配置用于通过将所述参考及至少所述样品图像或从所述样品图像产生的所述数据输入到无监督式算法中而确定所述样品的所述信息。

17.根据权利要求1所述的系统，其中针对所述样品确定的所述信息包括所述样品上的经预测缺陷位置。

18.根据权利要求1所述的系统，其中所述样品图像由基于光的成像子系统产生。

19.一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在计算机系统上执行以执行用于确定样品的信息的计算机实施方法，其中所述计算机实施方法包括：

通过将一或多个输入输入到在不使用经标记数据的情况下进行训练的深度学习模型中而产生样品的参考，其中所述一或多个输入包括至少一样品图像或从所述样品图像产生的数据；及

从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息。

20.一种用于确定样品的信息的计算机实施方法，其包括：

通过将一或多个输入输入到在不使用经标记数据的情况下进行训练的深度学习模型中而产生样品的参考，其中所述一或多个输入包括至少一样品图像或从所述样品图像产生的数据；及

从所述参考及至少所述样品图像或从所述样品图像产生的所述数据确定所述样品的信息，其中所述输入及所述确定由计算机子系统执行。