[go: up one dir, main page]

TWI875023B - 基於深度學習的居中疊對標記的系統及其方法 - Google Patents

基於深度學習的居中疊對標記的系統及其方法 Download PDF

Info

Publication number
TWI875023B
TWI875023B TW112121154A TW112121154A TWI875023B TW I875023 B TWI875023 B TW I875023B TW 112121154 A TW112121154 A TW 112121154A TW 112121154 A TW112121154 A TW 112121154A TW I875023 B TWI875023 B TW I875023B
Authority
TW
Taiwan
Prior art keywords
model
overlapping
value
deep learning
overlay
Prior art date
Application number
TW112121154A
Other languages
English (en)
Other versions
TW202419972A (zh
Inventor
牟秀硏
金佳玟
咸孝植
Original Assignee
南韓商奧路絲科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商奧路絲科技有限公司 filed Critical 南韓商奧路絲科技有限公司
Publication of TW202419972A publication Critical patent/TW202419972A/zh
Application granted granted Critical
Publication of TWI875023B publication Critical patent/TWI875023B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • H10P72/57

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
  • Machine Translation (AREA)

Abstract

本發明公開了一種基於深度學習的居中疊對標記的系統及其方法。基於深度學習的居中疊對標記方法包括如下步驟:從至少一個設備收集輸入資料集的步驟,輸入資料集包括疊對標記的測量影像資料和標籤資料,標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊;以及將輸入資料集輸入到用於深度學習的模型中,從而使模型學習的步驟。使模型學習的步驟包括:藉由將在模型中預測的結果資料與標籤資料進行比較來計算出損失函數的步驟;以及以使基於損失函數計算出的損失值小於基準值的方式校正模型的權重值來使模型的演算法最佳化的步驟。

Description

基於深度學習的居中疊對標記的系統及其方法
本發明涉及半導體製程,更具體地,涉及一種基於深度學習的居中疊對標記(centering position of overlay key)的系統及其方法。
在半導體製程中,在晶圓表面形成感光膜(Photo Resist),並在使用步進機(stepper)的曝光製程中,轉移至倍縮式遮罩(reticle)上的晶圓表面上的感光膜,並對已完成曝光製程的感光膜進行顯影。之後,對於顯影後的感光膜,使用蝕刻遮罩(mask)並藉由蝕刻晶圓表面的光刻(Photolithography)製程,在晶圓表面形成電路圖形,並藉由重複光刻製程,在晶圓上形成具有電路圖形的多層膜,從而製造半導體裝置。
在半導體製程中,為了在半導體基板上形成精細圖形而進行的曝光製程具體如下:在半導體基板上塗覆光刻膠(Photo-Resist),並對塗覆有光刻膠的半導體基板施加熱量的同時,使形成於遮罩的圖形與半導體基板表面上的圖形一致後,使部分光線透過,從而對相應區域的光刻膠進行曝光,並在曝光製程後,噴射顯影液,從而基於化學作用來去除曝光時光線透過的部分或光線不透過的部分,並且在半導體基板上形成圖形後,測定對準狀態,並測量垂直對準精度。
另一方面,為了在晶圓上製作半導體晶片的上部薄膜層和下部薄膜層的垂直對準精度稱為疊對精度(overlay),對於光學疊對測量設備而言,使用疊對標記(overlay key)來檢查形成於半導體基板上的圖形和在當前製程中形成的圖形的對準狀態,以檢測出微小缺陷和半導體製程中的缺陷。
在測定和檢查半導體基板的精細圖形的對準狀態的疊對製程中,為了確認在半導體基板上由多層組成的多個薄膜層中形成的下部薄膜層圖形和上部薄膜層圖形是否精確對準而使用疊對標記(overlay mark),由此確認上部薄膜層和下部薄膜層的對準狀態。
光學疊對測定測量設備在半導體製程中以超高精度測定如下內容:使用疊對標記來測定電路圖形是否很好地對準,即以多層堆疊的半導體基板上的由多層組成的多個薄膜層中形成的下部薄膜層圖形和上部薄膜層圖形是否精確對準。
為了測量疊對標記的對準精度,必須先執行圖形識別(Pattern Recognition,PR)操作(Action)。
當將工件台(Stage)移動至輸入到配方(Recipe)中的疊對標記(Overlay Key)位置(Position)時,由於硬體(機器人、工件台等)的可重複性(Repeatability)的影響,在找到精確位置方面存在限制。
PR操作是一種彌補這一問題的技術,其將註冊到配方中的模型影像與視場(Field of View,FOV)上的即時(Live)影像相匹配(Matching)的位置檢測為中心(Center),並額外進行與偏移量(offset)相等的工件台的移動(Stage Move)。
然而,對於藉由影像之間的一對一匹配來額外進行工件台移動的方法而言,在配方中註冊的影像可以代表晶圓整體的所有目標(target)的影像時是可行的。
在由於製程上的影響而疊對標記影像之間的偏差(Variation)嚴重的情況下,則可能會發生PR失敗(Fail)。
因此,需要一種可彌補PR失敗而能夠找到疊對標記的中心座標並精確地居中疊對標記的中心座標的技術。
[現有技術文獻]
專利文獻:授權專利KR10-1604789(2016年3月14日)
本發明要解決的技術問題在於,提供一種基於深度學習的居中疊對標記的系統和方法,其能克服由於製程上的原因而發生的疊對標記影像之間的偏差(Variation)並執行圖形識別(Pattern Recognition,PR)。
本發明的目的並不局限於以上提及的目的,本發明中未提及的其他目的和優點可以藉由以下的說明得以被理解,並且藉由本發明的實施例將更清楚地被理解。另外,顯而易見的是,本發明的目的和優點可以藉由申請專利範圍中記載的手段和其組合來實現。
根據一實施例的基於深度學習的居中疊對標記的系統包括:伺服器,所述伺服器從至少一個疊對測量設備收集包括所述疊對標記的位置資訊和 邊界框(bounding box)尺寸資訊的輸入資料集,並將所述輸入資料集輸入到用於深度學習的模型中,從而使所述模型學習。
所述伺服器藉由如下方式使所述模型進行學習:將在所述模型中預測的結果資料與標籤資料進行比較來計算出損失函數,並以使基於所述損失函數計算出的損失值小於基準值的方式校正模型的權重值來使所述模型的演算法最佳化。
根據一實施例的基於深度學習的居中疊對標記的方法包括如下步驟:從至少一個設備收集輸入資料集的步驟,其中,所述輸入資料集包括疊對標記(Overlay Key)的測量影像資料和標籤資料,所述標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊;以及將所述輸入資料集輸入到用於深度學習的模型中,從而使模型學習的步驟。
使所述模型學習的步驟包括:藉由將在所述模型中預測的結果資料與所述標籤資料進行比較來計算出損失函數的步驟;以及以使基於所述損失函數計算出的損失值小於基準值的方式校正所述模型的所述權重值來使所述模型的演算法最佳化的步驟。
根據一實施例的基於深度學習的居中疊對標記的系統包括至少一個疊對測量設備,所述疊對測量設備生成包括所述疊對標記的測量影像資料和標籤資料的輸入資料集,並將所述輸入資料集發送至伺服器。所述標籤資料包括所述疊對標記的位置資訊和邊界框尺寸資訊。
根據本發明的實施例,藉由基於深度學習能夠精確地居中疊對標記,由此可以精確地測量和檢查半導體基板的精細圖形的對準狀態。
並且,根據本發明可以防止在每個疊對標記的變化(Variation)嚴重的情況下可能會發生的圖形識別(Pattern Recognition,PR)失敗。
並且,根據本發明可以彌補在對圖形識別(Pattern Recognition,PR)參數敏感回應的層(layer)的情況下可能會發生的PR誤讀(MisReading)。
除了上述效果之外,以下將說明用於實施本發明的具體事項,並記述本發明的具體效果。
圖1是用於說明圖形識別(Pattern Recognition,PR)操作的圖。
圖2是根據一實施例的基於深度學習的居中疊對標記的系統及其方法的流程圖。
圖3是例示圖2的用於深度學習的旋轉神經網路(revolutionary neural network)的框圖。
圖4示出使用圖2的模型來檢測出疊對標記的中心的結果影像。
圖5是示出能夠藉由週期性學習來獲得穩定性模型的曲線圖。
圖6是例示圖2的輸入資料集中的影像檔的圖。
將參照附圖詳細描述上述目的、手段和效果,由此,本發明所屬領域的技術人員將能夠容易地實施本發明的技術思想。在對本發明進行說明時,如果判斷對與本發明相關的已知技術的具體說明會不必要地使本發明的主 旨模糊,將省略對其的詳細說明。以下,將參照附圖詳細說明根據本發明的較佳實施例。在附圖中,相同的附圖標記用於表示相同或相似的構成要素。
以下,公開一種基於深度學習的居中疊對標記的系統和方法,以克服由於製程上的原因而發生的疊對標記影像之間的偏差(Variation)並執行圖形識別(Pattern Recognition,PR)。
在說明書中,疊對精度(overlay)可以被定義為用於在晶圓上製造半導體晶片的上部薄膜層和下部薄膜層的垂直對準精度。
在說明書中,疊對標記(overlay key)可以被定義為用於在光學疊對測量設備中藉由檢查形成於半導體基板上的圖形與在當前製程中形成的圖形的對準狀態來檢測微小缺陷和檢測半導體製程中的缺陷。
在說明書中,PRU可以被定義為在視場(Field of View,FOV)內居中疊對標記。
圖1是用於說明圖形識別(Pattern Recognition,PR)操作的圖。
當將工件台移動至目標(疊對標記(Overlay Key))位置時,由於硬體(機器人、工件台等)的可重複性(Repeatability)的影響,在找到精確位置方面存在限制。
PR操作是一種彌補這一問題的技術,其將註冊到配方中的模型影像與FOV上的即時影像相匹配的位置檢測為中心,額外進行與偏移量相等的工件台移動(Stage Move)。
然而,對於藉由影像之間的一對一匹配來額外進行工件台移動的方法而言,在配方中註冊的影像可以代表晶圓整體的所有目標(target)的影像時是可行的。
在由於製程上的影響而疊對標記影像之間的偏差(Variation)嚴重的情況下,則可能會發生PR失敗(Fail)。
為此,本實施例利用目標檢測技術,其用於尋找影像中物體的位置及其種類。預先提取欲尋目標的特徵並進行訓練,從而生成深度學習模型。在給定的影像中,檢測相應的特徵並利用深度學習模型來檢測疊對標記的中心位置。
為了在晶圓上製作半導體晶片的上部薄膜層和下部薄膜層的垂直對準精度稱為疊對精度(overlay)。就光學疊對測量設備而言,使用疊對標記(overlay key)來檢查在半導體基板上形成的圖形和在當前製程中形成的圖形的對準狀態,以檢測出微小缺陷和半導體製程中的缺陷。
圖2是根據一實施例的基於深度學習的居中疊對標記的系統及其方法的流程圖。圖3是例示圖2的用於深度學習的旋轉神經網路的框圖。
參照圖2和圖3,根據一實施例的基於深度學習的居中疊對標記的系統包括光學疊對測量設備、訓練PC和設備PC。
光學疊對測量設備儲存輸入資料集並將輸入資料集(input data set)傳輸至訓練PC。其中,輸入資料集包括疊對標記(Overlay Key)的測量影像資料和標籤資料,所述標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊。
作為一示例,光學疊對測量設備使用當製造半導體設備時形成的多個薄膜層上的疊對標記(overlay mark),並精確使用檢測區域的光學疊對目標(optical overlay target)的0°影像和180°旋轉的影像的對稱(symmetry)特性來精確地找到疊對位置(target position)的疊對標記影像的中心點。
訓練PC從至少一種光學疊對測量設備收集輸入資料集,並且將所述輸入資料集輸入到用於深度學習的模型中,從而使模型進行學習。其中,訓練PC可以是藉由網路連接到至少一種光學疊對測量設備的伺服器。
訓練PC藉由如下方式使模型進行學習:將在模型中預測的結果資料與標籤資料進行比較來計算出損失函數,並以使基於損失函數計算出的損失值小於基準值的方式校正模型的權重值來使模型的演算法最佳化。
訓練PC藉由向模型中輸入預定次數的所述輸入資料集來重複校正模型的權重值的過程。
訓練PC在學習的模型中選定最佳模型(best model)。其中,訓練PC選定損失值小於基準值的模型,並且在選定的所述模型中利用精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)中的至少一種來計算分數(score),並選定對應分數值高的模型作為最佳模型。
設備PC從訓練PC接收最佳模型並居中疊對標記。作為一示例,設備PC接收疊對標記的即時影像,並且藉由最佳模型從疊對標記的即時影像中檢測出中心座標值,並利用中心座標值來使疊對標記居中。
設備PC在改變配方的情況下,將居中的疊對標記影像註冊於配方中,並且在正常運行的情況下,將在配方中註冊的模型影像與FOV上的即時影像相匹配的位置檢測為中心,並以與偏移量相等程度移動工件台。
另一方面,訓練PC可以藉由加工疊對標記(Overlay Key)的測量影像資料來生成至少一個訓練用測量影像資料。作為一示例,可以藉由基於預定角度旋轉測量影像資料來生成訓練用測量影像資料。並且,可以將基於目標的位置、角度、影像亮度和波長的影像生成為訓練用測量影像資料。作為另一示例,可以將變更測量影像資料的位置、角度、影像亮度和波長中的至少一種的影像生成為訓練用測量影像資料。
根據一實施例的基於深度學習的居中疊對標記的方法包括如下步驟:在至少一個設備中生成並儲存測量影像資料的步驟;從至少一個設備收集輸入資料集的步驟;將所述輸入資料集輸入到用於深度學習的模型中,從而使模型學習的步驟;在已完成學習的模型中選擇最佳模型的步驟;以及利用最佳模型來使疊對標記居中的步驟。
至少一個設備儲存輸入資料集。作為一示例,對於光學疊對測量設備而言,測量疊對標記的影像資料和標籤資料。輸入資料集包括疊對標記(Overlay Key)的測量影像資料和標籤資料,所述標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊。
作為一示例,影像資料可以是疊對標記測量影像檔,標籤資料可以是包括疊對標記的位置資訊和邊界框尺寸資訊的文字檔。
儲存的輸入資料集藉由FTP遷移(Migration)收集到伺服器PC(訓練PC)中。
使模型學習的步驟包括:藉由將在模型中預測的結果資料與標籤資料進行比較來計算出損失函數的步驟;以及以使基於損失函數(Loss Function)中計算出的損失值小於基準值的方式校正模型的權重值來使所述模型的演算法最佳化的步驟。在使模型學習的步驟中,藉由向模型中輸入預定次數的所述輸入資料集來重複校正模型的權重值的過程。
作為一示例,將輸入資料集放入YOLO模型(網路架構(Network Architecture))中,藉由比較YOLO模型中預測的結果值和標籤值來計算出損失函數(Loss Function)。
並且,使演算法最佳化。作為一示例,以使基於損失函數計算出的損失值變小的方式校正YOLO模型的權重值。上述過程重複預定的訓練週期(epoch)。作為一示例,訓練週期值可以被默認(default)為100。
並且,選擇最佳模型的步驟包括:選定損失值小於基準值的模型的步驟;以及在選定的所述模型中利用精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)中的至少一種來計算分數,並選定對應分數值高的模型作為最佳模型的步驟。
對用於計算分數和選定最佳模型的專案的具體說明如下。
在說明精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)之前,根據模型的結果和實際 正確值,可將真陽類(True Positive,TP)、偽陽類(False Positive,FP)、偽陰類(False Negative,FN)、真陰類(True Negative,TN)以如下方式定義:真陽類(True Positive)定義為:模型的結果=正(True),實際正確值=正(True)(IOU>=閾值(Threshold))。
偽陽類(False Positive)定義為:模型的結果=負(False),實際正確值=負(False)(IOU<閾值(Threshold))。
偽陰類(False Negative)定義為:模型的結果=負(False),實際正確值=正(True)。
真陰類(True Negative)定義為:模型的結果=負(False),實際正確值=負(False)。
<精確率(precision)>
精確率(precision)=真陽類(True Positive)/(真陽類(True Positive)+偽陽類(False Positive))=真陽類(True Positive)/所有檢測到的目標(all detections)
精確率是一種與召回率(Recall)一起使用的概念,其是一種可以表示預測結果的精確程度的指標,並且,其意味著在所有檢測到的目標中正確值為正(Ture)的目標的比例。
<召回率>
召回率=真陽類(True Positive)/(真陽類(True Positive)+偽陰類(False Negative))=真陽類(True Positive)/(所有真實值(all ground truths))。
<F1>:表示精確率(Precision)和召回率(Recall)的調和平均值,F1=2×(精確率(Precision)×召回率(Recall))/(精確率(Precision)+召回率(Recall))。
<平均精度均值(Mean Average Precision)>
精確率-召回率(Precision-Recall)曲線:是指基於基準值的變化的模型的性能評價指標,所述基準值是針對對於模型預測結果的置信度(confidence)值的基準值。其中,置信度值表示模型對於檢測結果置信的程度。
並且,利用最佳模型居中疊對標記的步驟為:接收疊對標記的即時影像,並且藉由最佳模型從疊對標記的即時影像中檢測出中心座標值,並利用中心座標值來使疊對標記居中。
作為一示例,將遷移(Migration)的最佳模型用於居中疊對標記。作為輸入,需要居中的疊對標記的即時(Live)影像被輸入,並且作為輸出,藉由模型檢測出疊對標記的中心座標X值和Y值。利用疊對標記中心座標的X值和Y值來使疊對標記居中。
並且,對於生成測量影像資料而言,藉由加工拍攝的測量影像資料來生成至少一個訓練用測量影像資料。作為一示例,可以藉由基於預定角度旋轉測量影像資料來生成訓練用測量影像資料。並且,可以將基於目標的位置、角度、影像亮度和波長的影像生成為訓練用測量影像資料。
作為一示例,深度神經網路可以用於深度學習,深度神經網路可以藉由堆疊許多隱藏層(hidden layer)來增加參數(parameter)的方式來提高模型的精確性。為了正確訓練多達數百萬個的參數,需要大量的學習資料。尤其,學習資料要足夠多樣化,以充分反映現實,並且其品質要優異。
在無法確保足夠的學習資料來訓練參數的情況下,發生阻礙模型性能的過擬合(overfitting)問題的可能性高。過擬合是一種模型僅對訓練資料過度適應而無法很好地回應測試資料或新資料的現象。
為了解決這種過擬合問題,最為重要的是用多種學習資料訓練網路。因此,作為確保充分訓練深度神經網路的必要的資料的技術之一,可使用資料增強(Data augmentation)技術。資料增強技術是指藉由人為改變少量學習資料來確保大量新訓練資料的方法論。
例如,可以藉由上下左右翻轉(flipping)或裁剪(cropping)影像的方式來確保新的影像資料。並且,可以藉由改變影像的亮度來增強學習用資料。
圖4示出使用圖2的模型來檢測出疊對標記的中心的結果影像。
作為使用深度學習模型來檢測目標中心的結果影像,紅點是已完成訓練的最佳模型找到的目標中心值。模型需要學習過程,並且根據學習時所使用的影像品質(Quality)而會在性能上有所差異。
圖5是示出能夠藉由週期性學習來獲得穩定性模型的曲線圖。
如圖5所示,模型1(model1)、模型2(model2)、模型3(model3)、模型4(model4)為週期性學習的模型,其中,模型1(model1)為最早的模型,模型4(model4)為最後完成的模型。平均值X(meanX)、平均值Y(meanY)示出在模型(model)中找到的預測中心值與實際中心值之差的平均值。
當週期性地進行訓練時,由於利用大量的資料來學習模型,故可以逐漸獲得穩定的模型。
圖6是例示圖2的輸入資料集中的影像檔的圖。
作為一示例,輸入資料集的組成可以是影像檔(檔案格式:bmp)、標籤文件(檔案格式:txt)。影像可以是用疊對標記測量影像進行居中的影像。
標籤可以具有疊對標記的位置資訊的總共五種索引(index)。
作為一示例,第一索引(index1)可以是要學習的疊對標記的類型,例如,可以是5X全域標記(5X GlobalKey)或點標記(SiteKey)。
第二索引(index2)可以是將要學習的疊對標記(overlay key)的中心座標的x座標值除以疊對標記的測量影像的尺寸得到的值。
第三索引(index3)可以是將要學習的疊對標記的中心座標的y座標值除以疊對標記的測量影像的尺寸得到的值。
第四索引(index4)可以是將要學習的疊對標記的邊界框(Bounding Box)的寬度(Width)值除以疊對標記的測量影像的尺寸得到的值。
第五索引(index5)可以是將要學習的疊對標記的邊界框(Bounding Box)的高度(Height)值除以疊對標記的測量影像的尺寸得到的值。
第二索引(index2)和第三索引(index3)可以使用藉由「目標探測器(TargetFinder)」邏輯驗證的值。
對於輸出而言,使用Yolo模型(目標檢測模型之一)來檢測即時影像中疊對標記的位置和尺寸資訊,其中,所述Yolo模型使用輸入資料集完成學習。
如此,根據一實施例的基於深度學習的居中疊對標記的系統包括:至少一個疊對測量設備,其儲存輸入資料集並將輸入資料集傳輸至伺服器, 其中,輸入資料集測量包括疊對標記(Overlay Key)的測量影像資料和標籤資料(包括疊對標記的位置資訊和邊界框尺寸資訊);以及伺服器,其從至少一個疊對測量設備收集輸入資料集,並將所述輸入資料集輸入到用於深度學習的模型中,從而使模型學習。
伺服器藉由如下方式使模型進行學習:將在模型中預測的結果資料與標籤資料進行比較來計算出損失函數,並以使基於損失函數計算出的損失值小於基準值的方式校正模型的權重值來使模型的演算法最佳化。
伺服器藉由向模型中輸入預定次數的所述輸入資料集來重複校正模型的權重值的過程。
伺服器還包括:從已完成學習的模型中選定最佳模型的過程。
伺服器選定損失值小於所述基準值的模型,並且在選定的所述模型中利用精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)中的至少一種來計算分數,並選定對應分數值高的模型作為最佳模型。
根據一實施例的基於深度學習的居中疊對標記的系統還包括:疊對測量設備,其用於從伺服器接收最佳模型來使疊對標記居中。
疊對測量設備接收疊對標記的即時影像,並且藉由最佳模型從疊對標記的即時影像中檢測出中心座標值,並利用中心座標值來使疊對標記居中。
疊對測量設備將居中的疊對標記影像註冊於配方中。
並且,根據一實施例的基於深度學習的居中疊對標記的方法包括如下步驟:從至少一個設備收集輸入資料集的步驟;以及將所述輸入資料集輸入到用於深度學習的模型中,從而使模型學習的步驟。
輸入資料集包括疊對標記的測量影像資料和標籤資料,所述標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊。
使模型學習的步驟包括:藉由將在模型中預測的結果資料與標籤資料進行比較來計算出損失函數的步驟;以及以使基於損失函數計算出的損失值小於基準值的方式校正模型的權重值來使模型的演算法最佳化的步驟。
在使模型學習的步驟中,藉由向模型中輸入預定次數的所述輸入資料集來重複校正模型的權重值的過程。
根據一實施例的基於深度學習的居中疊對標記的方法還包括如下步驟:從已完成學習的模型中選擇最佳模型。
選擇最佳模型的步驟包括:選定損失值小於基準值的模型的步驟;以及在選定的所述模型中利用精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)中的至少一種來計算分數,並選定對應分數值高的模型作為最佳模型的步驟。
作為一示例,藉由使模型學習來選擇最佳模型的方法如下。
首先,藉由將在模型中預測的結果資料與標籤資料(實際正確值)進行比較來計算出損失函數,並以使基於損失函數計算出的損失值變小的方式校正模型的權重值來使模型的演算法最佳化。
其中,標籤資料可以包括要學習的疊對標記的類型、將要學習的疊對標記的x位置的像素值除以影像整體尺寸得到的值、將要學習的疊對標記的y位置的像素值除以影像整體尺寸得到的值、將要學習的疊對標記的邊界框的寬度值除以影像整體尺寸得到的值、以及將要學習的疊對標記的邊界框的高度值除以影像整體尺寸得到的值中的至少一種。
其次,在使模型學習的步驟中,藉由向模型中輸入預定次數的所述輸入資料集來重複校正模型的權重值的過程。例如,以使損失值變小的方式校正對於精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)的每一種的權重值。
精確率作為表示預測結果精確程度的指標,是指在所有檢測到的目標中,正確值為正(Ture)的目標所占的比率。例如,精確率可以藉由如下數式計算:真陽類(True Positive)/(真陽類(True Positive)+偽陽類(False Positive))=真陽類(True Positive)/所有檢測到的目標(all detections)。其中,當將預測的結果資料與標籤資料進行比較的模型的結果為正(True)且實際正確值為正(True)時,表示為真陽類(True Positive)。而當將預測的結果資料和標籤資料進行比較的模型的結果為負(False)且實際正確值為負(False)時,表示為偽陽類(False Positive)。
召回率是指真陽類(True Positive)與真陽類和偽陰類之和(True Positive+False Negative)的比率。召回率可以藉由如下數式計算:即真陽類(True Positive)/(真陽類(True Positive)+偽陰類(False Negative))=真陽類(True Positive)/(所有真實值(all ground truths))。其中,當將預測的結果資料與 標籤資料進行比較的模型的結果為負(False)而實際正確值為正(True)時,表示為偽陰類(False Negative)。
F1是指精確率和召回率的調和平均。例如,可以藉由如下數式計算:F1=2×(精確率×召回率)/(精確率+召回率)。
平均精度均值(Mean Average Precision,mAP)表示基於臨界值的變化的模型的性能評價指標,所述臨界值是只針對對於模型預測結果的置信度(confidence)值的臨界值。其中,置信度值是指模型對檢測結果置信的程度。
接著,利用如上所述的數式來計算對於精確率(precision)、召回率(recall)、平均精度均值(Mean Average Precision,mAP)、F1的指標(metric)的分數,並選定對應分數值高的模型作為最佳模型。
根據一實施例的基於深度學習的居中疊對標記的方法還包括如下步驟:利用最佳模型來使疊對標記居中。
利用最佳模型來使疊對標記居中的步驟包括:接收疊對標記的即時影像的步驟;藉由最佳模型從疊對標記的即時影像中檢測出中心座標值的步驟;以及利用中心座標值來使疊對標記居中的步驟。
作為一實施例,在光學疊對測量設備中居中疊對標記的方法如下:當藉由鏡頭識別疊對標記時,在疊對標記存在的區域中獲取預定尺寸的影像,並將其確定為第一影像,並且改變第一影像來生成第二影像。
對於疊對測量設備而言,藉由比較第一影像和第二影像的特性值來計算出比較值,並為了判斷第一影像和第二影像之間的相似性而確認比較值是否在預定標準範圍內,如果比較值在預定標準範圍內,則判斷為第一影像和 第二影像相同,確定第一影像的中心點,並將第一影像的中心點確定為疊對標記的中心點。
對於疊對測量設備而言,在改變配方的情況下,將居中的疊對標記影像註冊於配方中;在正常運行的情況下,將在配方中註冊的模型影像與FOV上的即時影像相匹配的位置檢測為中心,並額外進行與偏移量相等的工件台的移動。
根據一實施例的基於深度學習的居中疊對標記的方法還包括如下步驟:在至少一個設備中生成測量影像資料。
在生成測量影像資料的步驟中,藉由改變測量影像資料的位置、角度、影像亮度和波長中的至少一種來生成至少一個訓練用測量影像資料。
根據一個實施例的基於深度學習的居中疊對標記的系統包括:至少一個疊對測量設備,所述疊對測量設備生成包括疊對標記(Overlay Key)的測量影像資料和標籤資料的輸入資料集,並將所述輸入資料集發送至伺服器。標籤資料包括疊對標記的位置資訊和邊界框尺寸資訊。
標籤資料設置為包括疊對標記的類型、疊對標記的x位置的像素值除以影像整體尺寸得到的值、疊對標記的y位置的像素值除以影像整體尺寸得到的值、疊對標記的邊界框的寬度值除以影像整體尺寸得到的值、以及疊對標記的邊界框的高度值除以影像整體尺寸得到的值中的至少一種。
就根據一實施例的基於深度學習的居中疊對標記的方法而言,基於深度學習能夠精確居中疊對標記,由此可以精確地測量和檢查半導體基板的精細圖形的對準狀態。
並且,根據本發明可以防止在每疊對標記的變化嚴重的情況下可能會發生的圖形識別(Pattern Recognition,PR)失敗。
並且,在對PR參數敏感反應的層的情況下,可以彌補可能會發生的PR誤讀(miss reading)。
如上所述,參照例示的附圖對本發明進行了說明,但本發明不限於本說明書中公開的實施例和附圖,本領域技術人員可以在本發明的技術思想的範圍內進行各種修改是顯而易見的。並且,雖然在說明本發明的實施例時沒有藉由明確記載來說明根據本發明的技術方案的作用效果,但應當承認基於相應的技術方案而可預測的效果。

Claims (16)

  1. 一種基於深度學習的居中疊對標記的系統,其包括伺服器,所述伺服器從至少一個疊對測量設備收集包括所述疊對標記的測量影像資料和標籤資料的輸入資料集,並將所述輸入資料集輸入到用於深度學習的模型中,從而使所述模型學習,其中,所述輸入資料集包括所述疊對標記的位置資訊和邊界框尺寸資訊,所述伺服器藉由如下方式使所述模型進行學習:將在所述模型中預測的結果資料與所述標籤資料進行比較來計算出損失函數,並以使基於所述損失函數計算出的損失值小於基準值的方式校正所述模型的權重值來使所述模型的演算法最佳化,所述標籤資料設置為包括所述疊對標記的類型、所述疊對標記的中心座標的x座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的中心座標的y座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的邊界框的寬度值除以所述疊對標記的測量影像的尺寸得到的值、以及所述疊對標記的邊界框的高度值除以所述疊對標記的測量影像的尺寸得到的值中的至少一種。
  2. 如請求項1所述之基於深度學習的居中疊對標記的系統,其中,所述伺服器藉由向所述模型中輸入預定次數的所述輸入資料集來重複校正所述模型的所述權重值的過程。
  3. 如請求項1所述之基於深度學習的居中疊對標記的系統,其中,所述伺服器還包括從已完成學習的所述模型中選定最佳模型的過程。
  4. 如請求項3所述之基於深度學習的居中疊對標記的系統,其中,所述伺服器藉由以下方式選定所述最佳模型:所述伺服器選定所述損失值小於所述基準值的模型,並且在選定的所述模型中利用精確率、召回率、平均精度均值、F1的指標中的至少一種來計算分數,並選定對應分數值高的模型作為所述最佳模型。
  5. 如請求項3所述之基於深度學習的居中疊對標記的系統,其中,所述疊對測量設備藉由從所述伺服器接收所述最佳模型來使所述疊對標記居中。
  6. 如請求項5所述之基於深度學習的居中疊對標記的系統,其中,所述疊對測量設備接收所述疊對標記的即時影像,並且藉由所述最佳模型從所述疊對標記的即時影像中檢測出中心座標值,並利用所述中心座標值來使所述疊對標記居中。
  7. 如請求項5所述之基於深度學習的居中疊對標記的系統,其中,所述疊對測量設備將居中的所述疊對標記影像註冊於配方中。
  8. 一種基於深度學習的居中疊對標記的方法,其包括以下步驟:伺服器從至少一個設備收集輸入資料集的步驟,所述輸入資料集包括所述疊對標記的測量影像資料和標籤資料,所述標籤資料包括所述疊對標記的位置資訊和邊界框尺寸資訊;以及所述伺服器將所述輸入資料集輸入到用於深度學習的模型中,從而使所述模型學習的步驟,使所述模型學習的步驟包括: 藉由將在所述模型中預測的結果資料與所述標籤資料進行比較來計算出損失函數的步驟;以及以使基於所述損失函數計算出的損失值小於基準值的方式校正所述模型的權重值來使所述模型的演算法最佳化,所述標籤資料設置為包括所述疊對標記的類型、所述疊對標記的中心座標的x座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的中心座標的y座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的邊界框的寬度值除以所述疊對標記的測量影像的尺寸得到的值、以及所述疊對標記的邊界框的高度值除以所述疊對標記的測量影像的尺寸得到的值中的至少一種。
  9. 如請求項8所述之基於深度學習的居中疊對標記的方法,其中,在使所述模型學習的步驟中,藉由向所述模型中輸入預定次數的所述輸入資料集來重複校正所述模型的所述權重值的過程。
  10. 如請求項8所述之基於深度學習的居中疊對標記的方法,其中,還包括以下步驟:所述伺服器從已完成學習的所述模型中選擇最佳模型。
  11. 如請求項10所述之基於深度學習的居中疊對標記的方法,其中,選擇所述最佳模型的步驟包括:選定所述損失值小於所述基準值的模型的步驟;以及在選定的所述模型中利用精確率、召回率、平均精度均值、F1的指標中的至少一種來計算分數,並選定對應分數值高的模型作為所述最佳模型的步驟。
  12. 如請求項10所述之基於深度學習的居中疊對標記的方法,其中,還包括如下步驟:所述伺服器利用所述最佳模型來使所述疊對標記居中。
  13. 如請求項12所述之基於深度學習的居中疊對標記的方法,其中,利用所述最佳模型來使所述疊對標記居中的步驟包括:接收所述疊對標記的即時影像的步驟;藉由所述最佳模型從所述疊對標記的所述即時影像中檢測出中心座標值的步驟;以及利用所述中心座標值來使所述疊對標記居中的步驟。
  14. 如請求項8所述之基於深度學習的居中疊對標記的方法,其中,還包括如下步驟:所述伺服器在至少一個設備中生成所述測量影像資料。
  15. 如請求項14所述之基於深度學習的居中疊對標記的方法,其中,在生成所述測量影像資料的步驟中,藉由改變所述測量影像資料的位置、角度、影像亮度和波長中的至少一種來生成至少一個訓練用測量影像資料。
  16. 一種基於深度學習的居中疊對標記的系統,其包括:至少一個疊對測量設備,所述疊對測量設備生成包括所述疊對標記的測量影像資料和標籤資料的輸入資料集,並將所述輸入資料集發送至伺服器, 所述標籤資料包括所述疊對標記的位置資訊和邊界框尺寸資訊,所述標籤資料設置為包括所述疊對標記的類型、所述疊對標記的中心座標的x座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的中心座標的y座標值除以所述疊對標記的測量影像的尺寸得到的值、所述疊對標記的邊界框的寬度值除以所述疊對標記的測量影像的尺寸得到的值、以及所述疊對標記的邊界框的高度值除以所述疊對標記的測量影像的尺寸得到的值中的至少一種。
TW112121154A 2022-11-14 2023-06-07 基於深度學習的居中疊對標記的系統及其方法 TWI875023B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0151232 2022-11-14
KR1020220151232A KR102560241B1 (ko) 2022-11-14 2022-11-14 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
TW202419972A TW202419972A (zh) 2024-05-16
TWI875023B true TWI875023B (zh) 2025-03-01

Family

ID=87427000

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112121154A TWI875023B (zh) 2022-11-14 2023-06-07 基於深度學習的居中疊對標記的系統及其方法

Country Status (5)

Country Link
US (1) US12002249B1 (zh)
JP (1) JP7503687B2 (zh)
KR (1) KR102560241B1 (zh)
CN (1) CN118035735A (zh)
TW (1) TWI875023B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435870B (zh) * 2023-12-21 2024-03-29 国网天津市电力公司营销服务中心 一种负荷数据实时填充方法、系统、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057627A1 (en) * 2001-10-22 2004-03-25 Mototsugu Abe Signal processing method and processor
TW202004366A (zh) * 2018-06-08 2020-01-16 荷蘭商Asml荷蘭公司 判定基板上之一或多個結構之特性的度量衡設備及方法
TW202028882A (zh) * 2018-12-07 2020-08-01 荷蘭商Asml荷蘭公司 用於判定一半導體製造程序事件之根本原因及用於監測一半導體製造程序之方法
TW202032256A (zh) * 2018-12-28 2020-09-01 荷蘭商Asml荷蘭公司 基於自印刷基板之測量回饋判定圖案排序
KR20210033907A (ko) * 2019-09-19 2021-03-29 캐논 가부시끼가이샤 마크 위치 결정 방법, 리소그래피 방법, 물품제조방법, 프로그램 및 리소그래피 장치
TW202113500A (zh) * 2019-08-13 2021-04-01 荷蘭商Asml荷蘭公司 用於改善圖案化製程之訓練機器學習模型的方法
TW202143351A (zh) * 2019-12-20 2021-11-16 荷蘭商Asml荷蘭公司 用於判定量測配方之方法及相關裝置
KR20220036803A (ko) * 2020-09-16 2022-03-23 주식회사 크래비스 인쇄회로기판 인식마크 검출 장치 및 방법
KR20220038707A (ko) * 2019-07-23 2022-03-29 케이엘에이 코포레이션 오버레이 계측 시스템을 위한 자동 레시피 최적화

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463184B1 (en) 1999-06-17 2002-10-08 International Business Machines Corporation Method and apparatus for overlay measurement
KR20060085293A (ko) 2005-01-21 2006-07-26 삼성전자주식회사 오버레이 계측방법
KR100904732B1 (ko) 2007-10-26 2009-06-26 주식회사 하이닉스반도체 오정렬 가늠 마크를 이용한 정렬도 측정 방법
KR20120048904A (ko) 2010-11-08 2012-05-16 에스케이하이닉스 주식회사 오버레이 측정 방법
KR101604789B1 (ko) 2014-03-24 2016-03-21 주식회사 오로스테크놀로지 오버레이 마크 이미지의 중심점을 찾는 방법
CN105511235B (zh) * 2016-02-15 2017-08-08 京东方科技集团股份有限公司 套刻键标、形成套刻键标的方法和测量套刻精度的方法
JP7366626B2 (ja) 2019-07-31 2023-10-23 キヤノン株式会社 判断装置
JP7716925B2 (ja) 2020-08-28 2025-08-01 キヤノン株式会社 計測装置、計測方法、リソグラフィー装置、物品製造方法およびモデル
JP2022149848A (ja) 2021-03-25 2022-10-07 キヤノン株式会社 計測装置、リソグラフィ装置、および物品製造方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057627A1 (en) * 2001-10-22 2004-03-25 Mototsugu Abe Signal processing method and processor
TW202004366A (zh) * 2018-06-08 2020-01-16 荷蘭商Asml荷蘭公司 判定基板上之一或多個結構之特性的度量衡設備及方法
TW202028882A (zh) * 2018-12-07 2020-08-01 荷蘭商Asml荷蘭公司 用於判定一半導體製造程序事件之根本原因及用於監測一半導體製造程序之方法
TW202032256A (zh) * 2018-12-28 2020-09-01 荷蘭商Asml荷蘭公司 基於自印刷基板之測量回饋判定圖案排序
KR20220038707A (ko) * 2019-07-23 2022-03-29 케이엘에이 코포레이션 오버레이 계측 시스템을 위한 자동 레시피 최적화
TW202113500A (zh) * 2019-08-13 2021-04-01 荷蘭商Asml荷蘭公司 用於改善圖案化製程之訓練機器學習模型的方法
TW202221428A (zh) * 2019-08-13 2022-06-01 荷蘭商Asml荷蘭公司 用於改善圖案化製程之訓練機器學習模型的方法
KR20210033907A (ko) * 2019-09-19 2021-03-29 캐논 가부시끼가이샤 마크 위치 결정 방법, 리소그래피 방법, 물품제조방법, 프로그램 및 리소그래피 장치
TW202143351A (zh) * 2019-12-20 2021-11-16 荷蘭商Asml荷蘭公司 用於判定量測配方之方法及相關裝置
KR20220036803A (ko) * 2020-09-16 2022-03-23 주식회사 크래비스 인쇄회로기판 인식마크 검출 장치 및 방법

Also Published As

Publication number Publication date
US12002249B1 (en) 2024-06-04
CN118035735A (zh) 2024-05-14
JP7503687B2 (ja) 2024-06-20
JP2024071336A (ja) 2024-05-24
KR102560241B1 (ko) 2023-07-28
TW202419972A (zh) 2024-05-16
US20240161441A1 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
TWI774027B (zh) 最佳化來自一感測器系統之量測資料之方法及用於監視半導體製造程序之條件之方法
TWI817134B (zh) 判定圖案化製程之校正之方法、元件製造方法、用於微影裝置之控制系統及微影裝置
CN113168116B (zh) 用于确定影响半导体制造过程中的产率的根本原因的方法
US10712672B2 (en) Method of predicting patterning defects caused by overlay error
CN111830792B (zh) 基板处理装置、物品制造方法、基板处理方法、基板处理系统、管理装置和存储介质
KR102779736B1 (ko) 리소그래피 매칭 성능의 결정 기술
KR101962830B1 (ko) 사전 정렬 측정 장치 및 방법
TWI875023B (zh) 基於深度學習的居中疊對標記的系統及其方法
JP2023041623A (ja) 半導体試料製造のためのマスク検査
US11847777B1 (en) Correlation-based overlay key centering system and method thereof
US6898306B1 (en) Machine-independent alignment system and method
US8369604B2 (en) Position detector, position detection method, exposure apparatus, and device manufacturing method
TW202107410A (zh) 判斷裝置,基板處理裝置及物品的製造方法
TW201442065A (zh) 遮罩弱點偵測
CN116754580B (zh) 半导体样品制造的掩模检查
TWI733296B (zh) 性質結合內插及預測之設備及方法
KR102922494B1 (ko) 반도체 시편 제조를 위한 마스크 검사
JPH0737770A (ja) 位置合わせ装置
JPH06273131A (ja) フォトマスクパターンの評価方法及びその装置
JPH08115869A (ja) 位置合わせ方法
JPH08279453A (ja) 位置合わせ方法
JP2004022848A (ja) 半導体デバイスの製造システムおよび製造方法