TWI898045B - 用於為電子設計配準影像之方法及系統 - Google Patents

Abstract

用於訓練一卷積類神經網路以為電子設計配準影像之方法包括：輸入以一第一模態對準之一第一對影像及以一第二模態對準之一第二對影像。利用一卷積類神經網路使用來自該第一對影像中之一個影像及來自該第二對影像中之一個影像產生一仿射變換。來自該第一對影像中之該一個影像處於該第一模態，而來自該第二對影像中之該一個影像處於該第二模態。用於為電子設計配準影像之方法包括：輸入一對影像，其中該對影像包括一電腦輔助設計(CAD)影像及一掃描電子顯微鏡(SEM)影像。使用一經訓練卷積類神經網路將該CAD影像配準至該SEM影像。該經訓練卷積類神經網路進一步包括一仿射變換。

Description

用於為電子設計配準影像之方法及系統

相關申請案

本申請案主張於2021年9月13日申請之題為「用於為電子設計配準影像之方法及系統(Methods and Systems for Registering Images for Electronic Designs)」之美國非臨時申請案第17/447,480號之優先權，該美國非臨時申請案主張於2020年9月17日申請之題為「用於為電子設計配準形狀資料之方法及系統(Methods and Systems for Registering Shape Data for Electronic Designs)」之美國臨時申請案第63/079,685號之優先權，該等申請案特此全文以引用的方式併入本文中。

本發明係關於微影術，且更特定言之係關於使用帶電粒子束微影術設計及製造一表面，該表面可為一倍縮光罩、一晶圓或任何其他表面。

三種常見類型的帶電粒子束微影術係不成形(高斯)束微影術、成形帶電粒子束微影術及多束微影術。在所有類型的帶電粒子束微影術中，帶電粒子束向一抗蝕劑塗佈表面發射能量以曝光抗蝕劑。

在微影術中，微影遮罩或倍縮光罩包括與要整合至一基板上之電路組件相對應之幾何圖案。可利用電腦輔助設計(CAD)軟體或程式生成用於製造倍縮光罩之圖案。在設計圖案時，CAD程式可遵循一組預定設計規則以形成倍縮光罩。此等規則由加工、設計及最終用途限制設定。最終用途限制之一實例係限定一電晶體之幾何形狀，使得它無法在所需電源電壓下充分操作。特定言之，設計規則可限定電路裝置或互連線路之間的空間容差。例如，設計規則用於保證電路裝置或線路不會以一不期望方式彼此相互作用。例如，使用設計規則使得線路不會彼此靠得太近以免可能導致短路。設計規則限制反映可以可靠地製作之最小尺寸等等。在提及此等小尺寸時，通常會引入一臨界尺寸之概念。例如，此等被限定為一特徵之重要寬度或區域或兩個特徵之間的重要空間或重要空間區域，此等尺寸需要精確控制。

藉由光學微影術進行積體電路製造之一個目標係藉由使用一遮罩或光罩在一基板上重現原始電路設計，其中該光罩藉由使用帶電粒子束微影術曝光一表面或一倍縮光罩而形成。積體電路製造商總係試圖儘可能高效地使用半導體晶圓面積。工程師不斷縮小電路尺寸以允許積體電路包含更多電路元件並使用更少功率。隨著積體電路臨界尺寸之大小減小且其電路密度增加，電路圖案或實體設計之臨界尺寸接近在習知光學微影術中使用的光學曝光工具之解析度極限。隨著電路圖案之臨界尺寸變得更小並接近曝光工具之解析度值，將實體設計準確地轉錄至在抗蝕劑層上開發之實際電路圖案變得困難。為進一步使用光學微影術來轉印具有小於在光學微影術製程中使用之光波長之特徵的圖案，已經開發了被稱為光學鄰近校正(OPC)之一製程。OPC改變實體設計以補償由諸如光學繞射及特徵與鄰近特徵之光學相互作用等效應引起之失真。利用一倍縮光罩執行之解析度增強技術包括OPC及反向微影技術(ILT)。

OPC可向遮罩圖案添加次解析度微影特徵，以減少原始實體設計圖案(即，設計)與基板上之最終轉印電路圖案之間的差異。次解析度微影特徵與實體設計中之原始圖案相互作用及彼此相互作用，並補償鄰近效應以改良最終轉印電路圖案。經添加以改良圖案轉印之一個功能被稱為「襯線」。襯線係小特徵，其提高一特定特徵之印刷製造變動之精度或彈性。作為一實例，位於一圖案之一隅角上之一襯線可以銳化最終轉印影像中之隅角。旨在印刷於基板上之圖案被稱為主要特徵。襯線係一主要特徵之一部分。習知地根據主要特徵(即，反映OPC裝飾前之設計之特徵)及OPC特徵來論述要寫在一倍縮光罩上之OPC裝飾圖案，其中OPC特徵可能包括襯線、點動(jog)、次解析度輔助特徵(SRAF)及負面特徵。OPC特徵受各種設計規則約束，該等設計規則諸如基於可使用光學微影術轉印至晶圓之最小特徵大小之一規則。其他設計規則可能來自遮罩製造製程，或者若使用字元投影帶電粒子束寫入系統在倍縮光罩上形成圖案，則來自模板製造製程。

在使用一光罩製造積體電路時，製造包含原始電路設計之光罩係該製程之一關鍵步驟。最終光罩必須在一預定容差內無缺陷，因為光罩上之任何缺陷皆可能在使用該光罩製造之所有晶圓上重現。歸因於材料和製程的限制，大部分或所有新製作的光罩皆會具有瑕疵。在被稱為遮罩檢驗之製程中，分析新製作的光罩以尋找瑕疵。然後進一步分析此等瑕疵或潛在缺陷中之每一者以判定該瑕疵是否為將導致利用此光罩製造之晶圓上出現缺陷之真正缺陷。被識別為真正缺陷之瑕疵可在被稱為遮罩修復之後續製程中進行修復，以形成適合於製造晶圓之一無缺陷光罩。

在一些實施例中，用於訓練一卷積類神經網路以為電子設計配準影像之方法包括：輸入以一第一模態對準之一第一對影像及以一第二模態對準之一第二對影像。利用一卷積類神經網路使用來自該第一對影像中之一個影像及來自該第二對影像中之一個影像產生一仿射變換。來自該第一對影像中之該一個影像處於該第一模態，而來自該第二對影像中之該一個影像處於該第二模態。

在一些實施例中，用於為電子設計配準影像之方法包括：輸入一對影像，其中該對影像包括一電腦輔助設計(CAD)影像及一掃描電子顯微鏡(SEM)影像。使用一經訓練卷積類神經網路將該CAD影像配準至該SEM影像，其中該經訓練卷積類神經網路進一步包括一仿射變換。

用於遮罩及晶圓之檢驗過程通常涉及拍攝SEM影像。然而，由遮罩廠商拍攝之SEM影像通常與用於製作遮罩之對應CAD/設計資料不對準。當SEM機器歸因於平移、旋轉及縮放中之偏移而未在同一CAD資料位置處拍攝SEM影像時，會發生不對準。通常SEM圖片上之座標亦不準確。出於此等原因，對於需要CAD資料及其等所得SEM影像之應用(諸如深度學習項目)，CAD與SEM影像對準係必不可少的。儘管傳統的基於演算法之影像對準方法係可用的，但它們係受限的，特別係對於兩個不同的影像域(諸如CAD及SEM)亦係如此。對於同域影像對準，即，CAD與CAD或SEM與SEM，現存的方法僅適用於小範圍的平移、旋轉及縮放。對於跨域影像對準，即，CAD與SEM，現存的基於迭代及特徵提取的方法未能適用於大多數平移、旋轉及縮放值。許多基於深度學習的有監督及無監督醫學成像方法對同域影像表現出有希望的影像對準結果。

深度學習(DL)已經解決了廣泛行業(零售、資訊技術(IT)、醫療、製藥、生物技術及自主駕駛等等)中的問題。同樣，用於推薦、分割、分類、異常偵測及數位模型化之深度學習方案與光罩、印刷電路板(PCB)及平板顯示器(FPD)之製造高度相關。光罩廠商面臨遮罩檢驗以及對阻礙生產之熱點、故障及缺陷進行偵測及分類之挑戰。深度學習有可能在此等挑戰成為生產線上之實際問題之前解決它們。在在電子製造中對真實世界對應物之性質、條件及屬性進行模型化之數位孿生體在模擬系統行為方面比真實資料具有顯著優勢。數位孿生體允許製造商在他們停止或減慢生產線速度很早之前就可在軟體級別觀察、重現及發現系統中之故障。

深度學習可解決之問題類型包括用於自文本文檔中提取有意義的資訊之自然語言理解，以及資訊擷取及語言轉譯。在語音領域中，DL在自動語音辨識、文本-語音及真實語音生成方面取得了巨大進步。關於電腦視覺，DL為眾多問題(諸如偵測對象、在磁共振成像(MRI)掃描中分割對象、影像去雜訊、自影像中提取文本、執行基於影像之搜尋、改良影像品質甚至形成新影像)提供了有效的解決方案。藉由學習正常資料之準確分佈，DL在發現呈異常值形式的異常方面取得了進步，使得DL可標記任何異常資料。DL甚至能夠幫助構建數位孿生體來模擬實體環境。

光罩製造中之許多問題(諸如習知光學鄰近校正(OPC)、反向微影技術(ILT)、微影術熱點偵測、故障偵測及分類、自動遮罩缺陷分類及診斷以及SEM去雜訊及輪廓提取)皆可受益於深度學習。

電腦輔助工程(CAE)技術亦可應用於經實體製造的遮罩或晶圓之掃描電子顯微鏡(SEM)影像。此一應用可幫助自動對潛在缺陷(諸如遮罩缺陷)進行分類。在典型的半導體製造中，遮罩上之潛在缺陷係藉由遮罩檢驗而識別，在該遮罩檢驗期間產生整個遮罩之一影像，亦即一全場遮罩影像。該影像係模糊的且解析度相對較低，但它係整個遮罩。此遮罩檢驗過程經設計以識別需要進一步檢驗之可疑點。藉由獲取更準確的SEM影像並分析此等影像來進行進一步檢驗。此進一步檢驗係使用一缺陷檢驗SEM機器而完成的。缺陷檢驗SEM機器可獲取非常詳細的影像，但視場有限，諸如1 μm × 1 μm至10 μm × 10 μm。因此，首先在藉由遮罩檢驗生成之全場遮罩影像中識別潛在缺陷區域，然後在SEM影像中檢查潛在缺陷區域之細節。在前沿節點中，所識別的可疑區域的數目及一典型生產遮罩上之實際缺陷的數目遠大於早期節點。在21世紀初，修復了一遮罩上之數十個缺陷，錯誤比此更多的遮罩被丟棄並重新製造。這已經演變為在前沿遮罩中常見的數百個問題，其中所有問題皆必須修復。重新製造遮罩已變得不那麼常見，因為經重新製造的遮罩亦可能有數百個缺陷。缺陷修復係遮罩製造所獨有的；晶圓未被修復。遮罩值得修復，因為遮罩上之一錯誤將在使用該遮罩生產之每個晶圓上重現。因此，在一些實施例中，SEM影像的使用可用於訓練本方法之類神經網路以幫助識別遮罩缺陷。模擬一遮罩影像以產生一SEM影像(例如，經模擬SEM影像)以及經仿真SEM影像(來自遮罩檢驗)亦可以用於訓練類神經網路。

圖1係自模擬來自一實體設計100之一遮罩影像102開始產生一SEM影像之一圖式，如於2020年9月16日申請且題為「用於為電子設計產生形狀資料之方法及系統(Methods and Systems for Generating Shape Data for Electronic Designs)」之美國專利申請案第17/022,363號中所描述，該美國專利申請案為本專利申請案之受讓人所有且出於所有目的以引用方式併入。輸入實體設計100亦可被稱為用於一組電子設計之形狀資料，其中該組形狀資料表示用於裝置製作製程之一組形狀。可以使用微影術模擬來形成該組形狀資料。該裝置製作製程可為例如一半導體製作製程或一平板顯示器製作製程，其中該製程可以包括利用CAD進行之遮罩設計、模擬或經製造形狀。一旦CAD影像102輸入至一類神經網路104，就可以產生一SEM影像106。用於產生SEM影像之習知方法僅利用模擬方法，且缺乏真實邊緣粗糙度及SEM雜訊，其等係用於缺陷分析之實際SEM影像中之屬性。

在本發明中，可以使用一對影像(諸如一CAD影像及其對應的真實SEM影像)來訓練一類神經網路以更準確地產生SEM影像。為了使類神經網路自該對影像中得到學習，影像需要彼此正確對準。否則，類神經網路將學習以自偏移或合併之幾何圖形產生SEM影像。一種用於對準兩個影像之方法係在訓練之前將它們配準至一個座標系中。

圖2圖解說明了對一已知的非剛性模態間配準網路200之訓練(來自Cao、Xiaohuan等人，「藉由模態內相似性監督之基於深度學習的模態間影像配準(inter-modality image registration supervised by intra-modality similarity)」， International Workshop on Machine Learning in Medical Imaging，Springer，Cham，2018)，該非剛性模態間配準網路用於將自兩個不同成像協定產生之醫學影像對準(此處被展示為磁共振「MR」與電腦斷層掃描「CT」)以融合來自兩種模態之資訊。在此網路中使用之一非剛性變換允許影像部分之變形對準。網路200藉由使用來自一對預對準影像202之輸入之模態內相似性指導直接自輸入影像預測變換場來訓練。一預對準影像資料庫用於基於來自預對準(在固定空間中，即，影像係固定的而不允許改變)影像資料庫之配對資料自一模態間相似性度量(將影像相似性最大化)訓練模態間配準。在測試階段中，經訓練模態間配準子網路206可以直接應用以配準新的多模態影像，無需任何配對資料。配準子網路206係基於一U-net架構，其具有一編碼路徑(2倍降取樣)及解碼路徑(2倍上取樣)，採用跳躍連接、批次正規化及具有3 × 3 × 3大小之核之ReLU。存在一空間變換層211來扭曲(變換)影像204(在允許影像改變之移動空間中)以評估損失213。損失213係基於關於雙模態之一(非)相似性損失。影像相似性係通過移動空間中之一扭曲(變換)影像212及其來自預對準影像資料庫之對應物來量測的，以在量測該對預對準影像202之對準時採用任何有效的模態內相似性度量。

與圖2之習知方法相比，當前配準方法提供了為配準電子設計中之CAD及SEM影像定製的新技術。該等方法為CAD及SEM影像提供了準確配準，該等影像係2維的且需要在不修改輸入影像中之形狀之情況下的變換改變。

圖3圖解說明了訓練一配準網路300以使用與SEM影像預對準之多對CAD影像將CAD與SEM對配準成一單一模態。在圖3中，預對準影像對302 (CAD ₁、SEM ₁)處於一種模態(例如，座標系)，而預對準影像對304(CAD ₂、SEM ₂)處於另一種模態。該訓練使用一習知類神經網路，但與習知方法(例如，圖2中之網路200之醫學影像)相比，使用CAD及SEM影像之新資料作為輸入。來自預對準影像對302之處於一第一模態之一個影像與來自預對準影像對304之處於一第二模態之一個影像組合，且該組合對被輸入至習知類神經網路。例如，在圖3中，來自預對準影像對302之影像SEM ₁與來自預對準影像對304之影像CAD ₂組合並輸入至一U-Net 308中。在另一個實施例(未展示)中，來自預對準影像對302之影像CAD ₁與來自預對準影像對304之影像SEM ₂組合。表示與第一及第二模態不同之一模態但用作這兩種模態之一共同模態之一變換場310自U-Net 308輸出且表示U-Net 308關於影像模態學習到了什麼。變換場310然後用作一空間變換塊311中之一映射，且預對準影像對304與變換場310之共同模態配準以產生CAD、SEM影像對312(CAD' ₂、SEM' ₂)。

一正規化交互相關(NCC) 314用於計算CAD-SEM影像對312之非相似性，該等影像現在處於由變換場310形成之共同模態中。在應對可能潛在地具有一些雜訊及強度不一致之模態內影像時，NCC係一種穩健措施。NCC可以被實施為一簡單卷積操作，其靈活地嵌入卷積類神經網路(CNN)中以便在訓練期間進行有效的前向及反向傳播。本方法利用如下見解：NCC為配準CAD與SEM影像對之特定過程而非習知網路200之(非)相似性損失213提供益處。配準網路300亦使用實體製造的遮罩或晶片之CAD與SEM影像對之資料，從而拍攝一第一模態之一個影像且將其與一第二模態之另一個影像配對以建立用於對準影像之一變換。

圖4展示了訓練一配準網路400以配準不同模態(即，模態間)之影像之一實施例之一圖式。圖4藉由使用一仿射變換代替圖3之變換場310來提供配準影像之一高準確度。一對影像402及一對影像404係在圖4之方法中輸入以用於訓練一卷積類神經網路以為電子設計配準影像之一第一對影像及一第二對影像。使用圖6中描述之產生訓練資料之一過程，第一對影像402 (CAD ₁、SEM ₁)由一第一模態對準，且第二對影像404 (CAD ₂、SEM ₂)由一第二模態對準。來自第一對影像402中之一個影像(例如，SEM ₁)與來自第二對影像404中之一個影像(例如，CAD ₂)經組合以形成處於不同模態且彼此不對準之一對影像(例如，CAD ₂、SEM ₁)。該對影像(CAD ₂、SEM ₁)輸入至一編碼器406中。

在實施例中，第一對影像402及第二對影像404先前已經使用(如將在圖6中描述的)仿射變換對準。仿射變換亦用在圖4之配準網路中。仿射變換係一種保留點、直線及平面的線性映射方法。例如，多組平行線在一仿射變換後保持平行。在一個實施例中，圖3之U-Net 308之解碼器部分及變換場310由如圖4展示之包括408、409及410的一子網路代替。該子網路包括一全連接(圖中的「FC」)層408、一全連接初始化(圖中的「FC初始化」)層409及表示一仿射變換中之影像404之間的一關係之變換值410，該等變換值包括各自用於縮放、平移及旋轉之兩個值。在圖3中，在非剛性配準之配準網路中使用的U-Net 308之習知解碼器對移動影像對304進行實際修改。由於CAD影像係由需要保留之設計規則限定的，因此配準網路400藉由使用保留此等特徵之仿射變換來提供高準確度。配準網路400有利地保留在編碼器406中學習之特徵。因此，在一些實施例中，習知子系統之解碼器及變換場替代地被替換為包括FC層408、FC初始化層409及變換值410之子網路，從而產生僅包括縮放、平移及旋轉之一仿射變換。僅使用縮放、平移及旋轉消除了可以由非剛性配準引起之影像失真。

在另一個實施例中，僅使用CAD影像(CAD ₁及CAD ₂')而非使用CAD及SEM影像兩者來計算NCC損失414。僅使用CAD影像提供了計算時間方面的益處，因為SEM影像具有雜訊、線邊緣粗糙度以及對比度及亮度，從而增加了其等複雜性，並使類神經網路需要更長時間來收斂。在關於本發明執行之實驗運行中，藉由僅關於CAD配準而量測NCC損失，減少了用於使類神經網路將CAD影像配準至SEM影像之訓練時間。

該等方法涉及通過不同模態利用一卷積類神經網路自一對影像產生一仿射變換，及利用該仿射變換將CAD影像配準至第二對影像中之SEM影像。在圖4之本實例中，這兩對影像402及404之大小皆為512 × 512。編碼器406具有為4 × 4之一核大小以及權重，且通道自32到512不等。具有256個通道之大小為2 × 2之一影像自編碼器406輸出，然後與具有512個通道之一2 × 2影像進行卷積，從而輸出具有512個通道之一1 × 1影像。1 × 1影像輸出連接至具有512個單元及正常初始化(Xavier)之FC層408。FC層之後係FC初始化層409，其輸出表示一仿射變換之六個變換值410。對於三個變換中之每一者，六個變換值410係一2 × 3矩陣中之兩個值，例如： 縮放= [[s_x, 0, 0], [0, s_y, 0]] 平移= [[1, 0, t_x], [0, 1, t_y]] 旋轉= [[cos(角度), sin(角度), 0], [-sin(角度), cos(角度), 0]] 仿射變換在FC初始化層409中初始化。FC初始化層409具有初始化為0之權重及初始化為[1,0,0,0,1,0]之一偏差，從而允許網路收斂。在空間變換411中將仿射變換應用於不對準對從而將CAD ₂影像重新對準至SEM ₂影像之後，使用經初始化的仿射變換值410配準一對準對412 (CAD ₂'、SEM ₂)。對預對準CAD ₁影像(在影像對402中)及經重新對準的CAD ₂'影像(在對準對412中)量測一正規化交互相關(NCC)損失414。NCC損失用於對照第一對影像(CAD ₁, SEM ₁)驗證第二對影像(CAD ₂’, SEM ₂)之配準。所學習的仿射變換允許在SEM座標系中配準CAD影像，從而相對於SEM影像有利地保留CAD幾何形狀。需要注意的係，SEM影像(SEM ₂)不會相對於CAD ₂'進行變換，因為SEM ₂增加了複雜性。即，CAD ₂'被配準至SEM ₂之座標系上。

為了例如在圖1展示之類神經網路中對準準確地產生SEM影像所需的更大影像，圖5圖解說明了使用一分塊基礎網路500訓練一配準方法。基於分塊之網路500使用圖塊對502 (CAD ₁、SEM ₁)及504 (CAD ₂、SEM ₂)，其等係一影像之部分而非整個影像，且將所學習的變換應用於原始對503 (O_CAD ₂、O_SEM ₂)。即，分別自第一對影像501及第二對影像503中取出一對圖塊(502、504)；其中將自該對圖塊之一組合中學習之仿射變換應用於第二對影像。本實例中之影像對O_CAD _{1 、}O_SEM ₁(原始對準的影像對501)及O_CAD _{2 、}O_SEM ₂(原始對準的對503)為1024 × 1024。允許類神經網路使用一圖塊而非整個影像(即，大小比完整影像更小之一影像)允許裁剪以專注於一SEM之具有更多幾何形狀之部分，因為SEM影像可能具有沒有幾何形狀所處之區域。此裁剪亦可以有益地節省計算時間，這在計算密集型過程(諸如遮罩檢驗)中很重要。

該對圖塊之一大小小於該第一對影像及該第二對影像。在圖5之方法之一例示性實施例中，大小為512 × 512之圖塊對502 (CAD ₁、SEM ₁)取自O_CAD ₁、O_SEM ₁(原始對準的影像對501)之中心 _。類似地，大小為512 × 512之圖塊對504(CAD ₂、SEM ₂)取自O_CAD ₂、O_SEM ₂之中心。圖塊經組合以形成一不對準對並被輸入至編碼器506，在該編碼器中，將影像進行卷積(如針對圖4中之編碼器406所描述的)。自一全連接層FC 508學習一仿射變換並在一初始化層509 (FC_Init)中將該仿射變換初始化。在空間變換511中將經初始化的仿射變換510應用於O_CAD ₂、O_SEM ₂503以產生對準(即，配準)對512 (O_CAD' ₂、O_SEM ₂)，且在514中量測NCC損失，如針對圖4中之類神經網路400中之NCC損失414所描述。NCC損失514用於調整卷積類神經網路之一組參數，以提高配準之準確性。例如，NCC損失量測兩個影像之相似程度。一對充分配準的影像將導致一NCC損失接近於1。若NCC損失接近於0，則配準失敗，且調整編碼器權重中之核權重。

在實施例中，用於為電子設計配準影像之方法包括輸入一對影像(即，模擬影像、SEM對)。一卷積類神經網路用在該對影像之一組合上，其中卷積類神經網路包括一模態間配準網路，且其中該模態間配準網路進一步包括一仿射變換。用模態間配準網路判定一對配準影像412或512。該對配準影像包括一電腦輔助設計(CAD)影像及一掃描電子顯微鏡(SEM)影像。在一些實施例中，使用微影術模擬形成CAD影像。

在實施例中，用於為電子設計配準一對影像之方法包括輸入兩對影像(例如，第一對影像402及第二對影像404，或第一圖塊對502及第二圖塊對504)。輸入一組參數，該組參數包括用於一類神經網路之一組卷積層。使用類神經網路之該組卷積層將一CAD影像與該對影像中之一SEM影像配準，其中該類神經網路進一步包括一仿射變換。計算包括一NCC損失之一損失，且調整包括該組卷積層之該組參數。

在一些實施例中，多對影像進一步包括與一SEM影像(例如，多對影像402、404或圖塊對502、504)預對準之一CAD影像，其中該對準使用仿射變換。在一些實施例中，類神經網路進一步包括一編碼器，且用於編碼器之該組參數包括4 × 4之一核大小，每一卷積層之通道自32、64、128、256到512不等。在一些實施例中，該對影像之一圖塊具有512 × 512之一大小且取自該對影像中之一1024 × 1024影像並用於判定CAD影像至SEM影像之配準。在一些實施例中，類神經網路進一步包括一全連接層，其輸出一仿射變換及該仿射變換之一初始化。

圖6係用於產生影像以用作訓練一配準網路之測試/訓練資料之一實施例之一圖式。諸如在僅使用仿射變換之一軟體對準工具的幫助下，多對影像610手動對準612。在手動對準612中，一使用者標識縮放、平移(圖中之偏移)及旋轉變換值614以用於對準每對影像610，從而產生縮放、平移及旋轉值之一範圍。該範圍僅限於保留用於形成CAD影像之設計規則。仿射變換值614之所識別範圍用於使用數位孿生體616以不同模態合成許多(例如，數百萬個)對準對618。合成對618用作輸入以訓練學習一仿射變換之一配準模型620 (例如，圖4中之配準網路400)。例如，在一些實施例中，多對影像已自已使用仿射變換手動對準之一對原始影像合成。配準模型620使用已使用數位孿生體616及一仿射變換(每個變換值614，其係不同於在模型620中學習之仿射變換的一先前仿射變換)合成之一第一對影像及一第二對影像(多對影像610)。

圖7圖解說明了使用一經訓練卷積類神經網路或模型用於CAD、SEM配準之一實例。影像配準模型用於將CAD影像配準至SEM影像，諸如將未對準對703中之CAD影像O_CAD ₂配準至SEM影像O_SEM ₂。作為未對準對703之圖塊之未對準或不對準影像圖塊704輸入至包括一編碼器706及一全連接層708之一經訓練影像配準模型，以判定在一全連接初始化層709中初始化之一仿射變換。初始化仿射變換710應用於一空間變換711中，輸出對準影像712，其中CAD影像與SEM影像對準。

圖8A及圖8B係CAD影像與SEM影像覆疊以更佳地圖解說明未對準對及配準對之兩個實例。在圖8A中，CAD影像與SEM影像對802未對準。在配準後，CAD影像與SEM影像對812對準。在圖8B中，不同的CAD影像與SEM影像對804未對準。在影像814中，CAD影像已諸如藉由使用圖7之經訓練類神經網路配準至SEM影像的座標系。配準影像在包括缺陷識別之各種應用中更有用。

圖9圖解說明了可用於執行本發明中描述的計算之一計算硬體裝置900之一實例。例示性計算包括處理一類神經網路之卷積及反卷積層、計算並比較損失以及使用一經訓練類神經網路壓縮遮罩資料。計算硬體裝置900包括一中央處理單元(CPU) 902，其附接有主記憶體904。CPU可包括例如八個處理核心，藉此增強經多執行緒處理之電腦軟體之任何部分的效能。主記憶體904的大小可為例如64 G位元組。CPU 902連接至一周邊組件互連高速(PCIe)匯流排920。一圖形處理單元(GPU) 914亦連接至PCIe匯流排。在計算硬體裝置900中，GPU 914可或可不連接至諸如一視訊監視器之一圖形輸出裝置。若沒有連接至一圖形輸出裝置，則GPU 914可純粹用作一高速並行計算引擎。與使用CPU 902進行所有計算相比，計算軟體可藉由使用GPU進行一部分計算而獲得顯著更高的效能。CPU 902經由PCIe匯流排920與GPU 914通信。在其他實施例(未圖解說明)中，GPU 914可與CPU 902整合，而非連接至PCIe匯流排920。磁碟控制器908亦可附接至PCIe匯流排，例如兩個磁碟910連接至磁碟控制器908。最後，一區域網路(LAN)控制器912亦可附接至PCIe匯流排，並提供與其他電腦之十億位元乙太網路(GbE)連接性。在一些實施例中，電腦軟體和/或設計資料儲存在磁碟910上。在其他實施例中，可經由GbE乙太網路自其他電腦或檔案服務硬體存取電腦程式或設計資料或者電腦程式和設計資料兩者。

圖10係用於執行本實施例之計算之一系統之另一個實施例。系統1000亦可被稱為一計算設計平台(CDP)，且包括一主節點1010、一選用查看節點1020、一選用網路檔案系統1030及一啟用GPU之計算節點1040。查看節點1020可能不存在或替代地僅具有一個節點，或者可具有其他數目的節點。啟用GPU之計算節點1040可包括形成一群集之一或多個啟用GPU之節點。每一啟用GPU之計算節點1040可為例如一GPU、一CPU、一成對GPU和CPU、用於一CPU之多個GPU、或者GPU與CPU之其他組合。GPU和/或CPU可在一單個晶片上，該晶片諸如：一GPU晶片，該GPU晶片具有由該晶片上之GPU加速之一CPU；或者具有加速CPU之一GPU之一CPU晶片。一GPU可由其他共處理器替代。

主節點1010及查看節點1020可經由交換機及諸如網路1050、1052和1054之高速網路連接至網路檔案系統1030及啟用GPU之計算節點1040。在一例示性實施例中，網路1050可為一56 Gbps網路，1052可為1 Gbps網路，且1054可為一管理網路。在各種實施例中，可存在更少或更多數目的此等網路，且可存在諸如高速及低速之網路類型之各種組合。主節點1010控制CDP 1000。外部系統可自一外部網路1060連接至主節點1010。在一些實施例中，一作業自一外部系統啟動。在啟動作業之前，用於作業之資料加載至網路檔案系統1030上，且一程式用於分派及監視啟用GPU之計算節點1040上之任務。作業進度可經由一圖形介面(諸如查看節點1020)或者藉由一使用者在主節點1010上查看。該任務使用在CPU上運行適當的可執行檔案之一腳本在CPU上執行。可執行檔案連接至GPU，運行各種計算任務，然後與GPU斷開連接。主節點1010亦可用於禁用有任何故障的啟用GPU之計算節點1040，然後操作，就好像該節點不存在一樣。

儘管已經關於特定實施例詳細描述了說明書，但應當理解，熟習此項技術者在獲得對前述內容之理解後可容易地想到對此等實施例之更改、變動及等效物。在不脫離本標的之範疇(其在所附申請專利範圍中更特定地闡述)之情況下，熟習此項技術者可實踐本方法之此等及其他修改及變動。此外，熟習此項技術者應當理解，前述描述僅係例示性的且不旨在限制。在不脫離本發明之範疇之情況下，可在本說明書中之步驟中添加、刪除或修改步驟。一般而言，所呈現之任何流程圖僅旨在指示達成一功能之一可能基本操作序列，且可能存在許多變動。因此，本標的旨在涵蓋在所附申請專利範圍及其等效物之範疇內之此等修改及變動。

100:實體設計/輸入實體設計 102:遮罩影像/CAD影像 104:類神經網路 106:SEM影像 200:非剛性模態間配準網路/網路 202:預對準影像 204:影像 206:經訓練模態間配準子網路/配準子網路 211:空間變換層 212:扭曲(變換)影像 213:損失/(非)相似性損失 300:配準網路 302:預對準影像對 304:預對準影像對/移動影像對 308:U-Net 310:變換場 311:空間變換塊 312:SEM影像對 314:NCC損失 400:配準網路/類神經網路 402:一對影像/第一對影像/影像對 404:一對影像/第二對影像/影像 406:編碼器 408:全連接層 409:全連接初始化層 410:變換值/經初始化的仿射變換值 411:空間變換 412:一對配準影像/對準對 414:正規化交互相關損失 500:分塊基礎網路/基於分塊之網路 501:第一對影像/原始對準的影像對 502:第一圖塊對/圖塊對 503:原始對/第二對影像/原始對準的對 504:第二圖塊對/圖塊對 506:編碼器 508:全連接層FC 509:初始化層 510:經初始化的仿射變換 511:空間變換 512:對準(即，配準)對/一對配準影像 514:NCC損失 610:影像 612:手動對準 614:縮放、平移(圖中之偏移)及旋轉變換值/仿射變換值/變換值 616:數位孿生體 618:對準對/合成對 620:配準模型/模型 703:未對準對 704:未對準或不對準影像圖塊 706:編碼器 708:全連接層 709:全連接初始化層 710:初始化仿射變換 711:空間變換 712:對準影像 802:CAD影像與SEM影像對 804:CAD影像與SEM影像對 812:CAD影像與SEM影像對 814:影像 900:計算硬體裝置 902:中央處理單元 904:主記憶體 908:磁碟控制器 910:磁碟 912:區域網路控制器 914:圖形處理單元 920:周邊組件互連高速匯流排 1000:系統/CDP 1010:主節點 1020:查看節點 1030:網路檔案系統 1040:啟用GPU之計算節點 1050:網路 1052:網路 1054:網路 1060:外部網路

圖1係如美國專利申請案第17/022,363中揭示之用於產生掃描電子顯微鏡(SEM)影像之一類神經網路架構之一圖式。

圖2係如所屬領域中已知的用於訓練一類神經網路架構以配準影像之一圖式。

圖3係根據一些實施例之用於訓練一類神經網路架構以將一CAD影像配準至一SEM影像之一圖式。

圖4係根據一些實施例之用於訓練一類神經網路架構以配準影像之一圖式。

圖5係根據一些實施例之用於使用一分塊基礎網路訓練一類神經網路架構以配準影像之一圖式。

圖6係根據一些實施例之用於產生測試資料以訓練一配準模型之一圖式。

圖7係根據一些實施例之一經訓練影像配準模型之一圖式。

圖8A及圖8B係未對準影像及配準影像之兩個實例。

圖9及圖10係根據一些實施例之GPU系統之示意圖。

400:配準網路/類神經網路

402:一對影像/第一對影像/影像對

404:一對影像/第二對影像/影像

406:編碼器

408:全連接層

409:全連接初始化層

410:變換值/經初始化的仿射變換值

411:空間變換

412:一對配準影像/對準對

414:正規化交互相關損失

Claims (15)

1. 一種用於訓練一卷積類神經網路以為半導體製造中之遮罩或晶圓配準影像之方法，該方法包括： 輸入以一第一模態對準之一第一對影像及以一第二模態對準之一第二對影像，其中該第一對影像及該第二對影像中之影像為與一掃描電子顯微鏡(SEM)影像預對準之一電腦輔助設計(CAD)影像；及 利用一卷積類神經網路使用來自該第一對影像中之一個影像及來自該第二對影像中之一個影像產生一仿射變換，其中來自該第一對影像中之該一個影像處於該第一模態，而來自該第二對影像中之該一個影像處於該第二模態。
2. 如請求項1之方法，其進一步包括： 利用該仿射變換配準該第二對影像；及 使用正規化交互相關(NCC)損失驗證該第二對影像與該第一對影像之配準。
3. 如請求項2之方法，其中該卷積類神經網路包括一編碼器，該編碼器具有包括權重之一核，且其中該等權重係基於該NCC損失而調整的。
4. 如請求項2之方法，其中該第一對影像及該第二對影像各自包括一CAD影像及一SEM影像。
5. 如請求項4之方法，其中： 來自該第二對影像中之該一個影像係一CAD影像； 該仿射變換僅應用於該第二對影像中之該CAD影像上；且 該NCC損失係在仿射變換之後僅利用該第一對影像之該CAD影像及該第二對影像之該CAD影像而計算的。
6. 如請求項4之方法，其中該第一對影像及該第二對影像之該CAD影像已使用微影術模擬而形成。
7. 如請求項6之方法，其中該第一對影像及該第二對影像已使用一數位孿生體使用仿射變換而合成。
8. 如請求項1之方法，其中該卷積類神經網路進一步包括該仿射變換之一全連接層及一初始化。
9. 如請求項1之方法，其中該仿射變換僅由縮放、平移及旋轉組成。
10. 如請求項1之方法，其中自該第一對影像及該第二對影像中取出一對圖塊；其中該仿射變換應用於該第二對影像。
11. 如請求項10之方法，其中該對圖塊之一大小小於該第一對影像及該第二對影像。
12. 一種用於為半導體製造中之遮罩或晶圓配準影像之方法，該方法包括： 輸入一對影像，其中該對影像包括一電腦輔助設計(CAD)影像及一掃描電子顯微鏡(SEM)影像；及 使用一經訓練卷積類神經網路將該CAD影像配準至該SEM影像，該經訓練卷積類神經網路已以於一第一模態中預對準之一第一對CAD及SEM影像及於一第二模態中預對準之一第二對CAD及SEM影像予以訓練，其中該經訓練卷積類神經網路包括使用來自所述第一對影像之一個影像及來自所述第二對影像之一個影像的一仿射變換。
13. 如請求項12之方法，其中該經訓練卷積類神經網路進一步包括該仿射變換之一全連接層及一初始化。
14. 如請求項12之方法，其中該經訓練卷積類神經網路進一步包括一編碼器及一4 × 4核大小，該編碼器中之每一卷積層之通道自32、64、128、256到512不等。
15. 如請求項12之方法，其中該CAD影像係使用微影術模擬而形成的。