[go: up one dir, main page]

CN112200164B - 基于电镜图像的集成电路金属圆孔自动识别方法及系统 - Google Patents

基于电镜图像的集成电路金属圆孔自动识别方法及系统 Download PDF

Info

Publication number
CN112200164B
CN112200164B CN202011396899.5A CN202011396899A CN112200164B CN 112200164 B CN112200164 B CN 112200164B CN 202011396899 A CN202011396899 A CN 202011396899A CN 112200164 B CN112200164 B CN 112200164B
Authority
CN
China
Prior art keywords
image
integrated circuit
electron microscope
round hole
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011396899.5A
Other languages
English (en)
Other versions
CN112200164A (zh
Inventor
沈丽君
洪贝
韩华
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011396899.5A priority Critical patent/CN112200164B/zh
Publication of CN112200164A publication Critical patent/CN112200164A/zh
Application granted granted Critical
Publication of CN112200164B publication Critical patent/CN112200164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像识别技术领域，具体涉及了一种基于电镜图像的集成电路金属圆孔自动识别方法及系统，旨在解决传统图像处理方法在进行集成电路金属圆孔识别时对图像质量要求较高，无法保证普适和高准确率，而间接的逻辑判断的方法需要人为定义判断规则，准确率和效率较低的问题。本发明包括：对待分析集成电路的电镜图像进行特征增强；进行增强后的图像的二值化，并进行形态学处理；将获得的金属圆孔候选点转化为候选区域，并提取梯度特征；通过分类模型进行特征分类预测，获得待分析集成电路的电镜图像的圆孔点。本发明可用于电镜图像中集成电路金属圆孔结构的自动识别与定位，效率高、准确性好，并且具有很高的实时性，应用范围广泛。

Description

基于电镜图像的集成电路金属圆孔自动识别方法及系统
技术领域
本发明属于图像识别技术领域，具体涉及了一种基于电镜图像的集成电路金属圆孔自动识别方法及系统。
背景技术
集成电路物理设计分析是反向解剖、分析和理解集成电路的过程，它对吸收已有的先进集成电路设计经验等具有重要意义。一般地，这一工程可以分为图像采集和处理，电路原理图的识别和提取，版图识别和提取以及电路综合理解等四个步骤。其中，电路原理图识别提取的目标是把集成电路显微图像上呈现的集成电路元件及元件间的连接关系识别出来，并将其还原成设计时的底层电路原理图。
电路原理图识别提取的前提是准确地获取集成电路上的金属圆孔，借助于电子显微镜的高速发展，使得我们能够更清晰的观察集成电路上的微观结构。因此，如何高效、准确地自动识别集成电路金属圆孔是其中的关键。
现有的集成电路识别金属圆孔的方法主要包括两种：第一种应用传统图像处理的方式，先对电镜图像通过图像增强技术增强圆孔点，然后用阈值分割或者直接对电镜图像进行阈值分割，得到圆孔点，但这种方法是建立在图像质量比较好的情况下，而针对大规模数据，由于在电镜拍摄中引入的灰尘等因素的污染会降低识别的准确率，则无法保证普适和高准确率的效果；第二种方法是采用逻辑判断的方式，这种方法是根据电路板构造原理来推理集成电路圆孔位置，因为大部分圆孔在线状结构端点处，然后根据集成电路层级结构进一步筛除，这种方法需要建立结构的数据库，然后进行逻辑判断，是一种间接的方法，效率低且准确性不是很高。因此，本领域还急需一种自动化高精度的识别方法进行集成电路金属圆孔识别，从而实现准确高效的集成电路结构分析。
发明内容
为了解决现有技术中的上述问题，即传统图像处理方法在进行集成电路金属圆孔识别时对图像质量要求较高，无法保证普适和高准确率，而间接的逻辑判断的方法需要人为定义判断规则，准确率和效率较低的问题，本发明提供了一种基于电镜图像的集成电路金属圆孔自动识别方法，该方法包括：
步骤S10，获取待分析集成电路的电镜图像作为待处理图像；
步骤S20，对所述待处理图像进行增强处理，加强图像中的点结构，获得增强待处理图像；
步骤S30，根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
步骤S40，将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征
步骤S50，基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建，并通过带人工标记的训练样本进行有监督学习算法随机森林的特征分类学习的用于进行特征分类预测的决策树模型。
在一些优选的实施例中，步骤S20包括：
步骤S21，采用高斯函数进行所述待处理图像的卷积操作，获得预处理卷积矩阵
Figure 581767DEST_PATH_IMAGE001
；
步骤S22，对所述预处理卷积矩阵
Figure 348735DEST_PATH_IMAGE001
进行二阶导梯度图像计算，并基于 Hessian矩阵特征值获取增强待处理图像
Figure 93837DEST_PATH_IMAGE002
。
在一些优选的实施例中，所述预处理卷积矩阵
Figure 406001DEST_PATH_IMAGE001
，其公式表示为：
Figure 970974DEST_PATH_IMAGE003
其中，
Figure 276054DEST_PATH_IMAGE004
为高斯核参数，
Figure 610083DEST_PATH_IMAGE005
为待处理图像中金属圆孔的半径；
Figure 582894DEST_PATH_IMAGE006
为高斯 核函数最高点；
Figure 635164DEST_PATH_IMAGE007
代表进行图像中
Figure 478355DEST_PATH_IMAGE007
点处的计算；
Figure 932470DEST_PATH_IMAGE008
为待分析集成电路的电镜图像。
在一些优选的实施例中，步骤S22包括：
步骤S221，基于所述预处理卷积矩阵
Figure 586436DEST_PATH_IMAGE001
获取Hessian矩阵
Figure 126002DEST_PATH_IMAGE009
：
Figure 772884DEST_PATH_IMAGE010
步骤S222，提取所述Hessian矩阵
Figure 81506DEST_PATH_IMAGE009
的特征值
Figure 404909DEST_PATH_IMAGE011
：
Figure 900612DEST_PATH_IMAGE012
步骤S223，计算所述Hessian矩阵
Figure 351185DEST_PATH_IMAGE009
的特征值
Figure 514313DEST_PATH_IMAGE011
的加性逆矩阵，获得增 强待处理图像
Figure 510082DEST_PATH_IMAGE002
：
Figure 24240DEST_PATH_IMAGE013
其中，
Figure 12924DEST_PATH_IMAGE004
为高斯核参数，
Figure 30559DEST_PATH_IMAGE005
为待处理图像中金属圆孔的半径；
Figure 964273DEST_PATH_IMAGE006
为高斯 核函数最高点；
Figure 700148DEST_PATH_IMAGE007
代表进行图像中
Figure 164628DEST_PATH_IMAGE007
点处的计算。
在一些优选的实施例中，步骤S30包括：
步骤S31，将所述增强待处理图像中大于预设的第三阈值的像素赋值为1，其余像素赋值为0，获得初始二值图；
步骤S32，将所述初始二值图中小于目标区域像素大小的区域的所有像素赋值为0，获得最终二值图；
步骤S33，通过圆盘结构对所述最终二值图进行开运算处理，获得金属圆孔候选点集合。
在一些优选的实施例中，步骤S40中将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，其方法为：
步骤S411，对于所述金属圆孔候选点集合中的每一个金属圆孔候选点，通过预设的第四阈值将候选点坐标拓展成矩形框；
步骤S412，基于每一个金属圆孔候选点对应的矩形框进行所述待处理图像的截取，获得每一个金属圆孔候选点对应的候选区域。
在一些优选的实施例中，步骤S40中分别计算每一个候选区域的梯度特征，其方法为：
步骤S421，对所述候选区域通过Gamma校正法进行颜色空间的标准化，获得标准化候选区域；
步骤S422，定义水平梯度模板
Figure 161402DEST_PATH_IMAGE014
和竖直梯度模板
Figure 889187DEST_PATH_IMAGE015
，并通过 imfilter算子函数计算所述标准化候选区域中每一点
Figure 987724DEST_PATH_IMAGE016
分别在
Figure 193578DEST_PATH_IMAGE017
方向上的变化量
Figure 310438DEST_PATH_IMAGE018
和
Figure 209124DEST_PATH_IMAGE019
，获得点
Figure 27913DEST_PATH_IMAGE016
的梯度变化量
Figure 834195DEST_PATH_IMAGE020
以及梯度角度
Figure 821874DEST_PATH_IMAGE021
；
步骤S423，基于点
Figure 625882DEST_PATH_IMAGE016
的梯度变化量
Figure 948279DEST_PATH_IMAGE020
以及梯度角度
Figure 292672DEST_PATH_IMAGE021
，获取梯度矩阵
Figure 259491DEST_PATH_IMAGE022
和方向矩阵
Figure 611232DEST_PATH_IMAGE023
；
步骤S424，根据分块参数把所述候选区域划分为设定pixel大小的cell，并结合所 述梯度矩阵
Figure 296291DEST_PATH_IMAGE022
和方向矩阵
Figure 772272DEST_PATH_IMAGE023
，以每个cell的方向梯度直方图作为对应cell的特征；
步骤S425，将设定数量的cell作为一个block，将每个block中所有cell的特征叠加作为对应block的特征，并将所有block的特征叠加作为所述候选区域的梯度特征。
在一些优选的实施例中，所述梯度变化量
Figure 593597DEST_PATH_IMAGE020
，其公式表示为：
Figure 880353DEST_PATH_IMAGE024
其中，
Figure 787129DEST_PATH_IMAGE025
和
Figure 801222DEST_PATH_IMAGE026
代表点
Figure 742633DEST_PATH_IMAGE016
分别在
Figure 167667DEST_PATH_IMAGE017
方向上的变化量。
在一些优选的实施例中，所述梯度角度
Figure 561739DEST_PATH_IMAGE021
，其公式表示为：
Figure 379522DEST_PATH_IMAGE027
其中，
Figure 175440DEST_PATH_IMAGE025
和
Figure 803999DEST_PATH_IMAGE026
代表点
Figure 685367DEST_PATH_IMAGE016
分别在
Figure 41262DEST_PATH_IMAGE017
方向上的变化量。
本发明的另一方面，提出了一种基于电镜图像的集成电路金属圆孔自动识别系统，该系统包括以下模块：
图像获取模块，配置为获取待分析集成电路的电镜图像作为待处理图像；
图像增强模块，配置为对所述待处理图像进行增强处理，加强图像中的点结构，获得增强待处理图像；
阈值处理模块，配置为根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
特征提取模块，配置为将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征；
分类预测模块，配置为基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建，并通过带人工标记的训练样本进行有监督学习算法随机森林的特征分类学习的用于进行特征分类预测的决策树模型。
本发明的有益效果：
（1）本发明基于电镜图像的集成电路金属圆孔自动识别方法，结合待分析集成电路的电镜图像中金属圆孔的半径设定高斯函数的高斯核参数，采用高斯函数去模拟圆孔图像截面强度形态，并推理出这种对应关系，选取恰当的高斯分布为基础增强孔状结构，能够较为清晰的呈现孔结构，选出合适数量的圆孔候选点，进一步提升了后续圆孔识别的精度和准确度。
（2）本发明基于电镜图像的集成电路金属圆孔自动识别方法，通过Gamma校正法进行图像颜色空间的标准化，减少了电镜拍摄中衬度不一致的干扰，提高了图像特征提取的准确度与精度，从而进一步提升了后续圆孔识别的精度和准确度。
（3）本发明基于电镜图像的集成电路金属圆孔自动识别方法，由于电路板中线结构端点处在局部与圆孔结构较相似，仅依据图像增强的方法进行识别的精度无法保证，本发明基于的圆孔增强点构建了一套区域特征提取及自动分类方法，最大限度提高检测精度，从而进一步提升了圆孔识别的精度和准确度。
（4）本发明基于电镜图像的集成电路金属圆孔自动识别方法，通过对不同型号的电路板（m1，m2，m3）的实验结果表明，综合精度可达到97%以上，极大缩减人为修正时间，加速了解析集成电路的底层电路原理图的时间。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于电镜图像的集成电路金属圆孔自动识别方法的流程示意图；
图2是本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路在电子显微镜下的示例图；
图3是本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路增强图；
图4是本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路金属圆孔检测效果图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于电镜图像的集成电路金属圆孔自动识别方法，该方法包括：
步骤S10，获取待分析集成电路的电镜图像作为待处理图像；
步骤S20，对所述待处理图像进行增强处理，加强图像中的点结构，获得增强待处理图像；
步骤S30，根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
步骤S40，将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征
步骤S50，基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建，并通过带人工标记的训练样本进行有监督学习算法随机森林的特征分类学习的用于进行特征分类预测的决策树模型。
为了更清晰地对本发明基于电镜图像的集成电路金属圆孔自动识别方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于电镜图像的集成电路金属圆孔自动识别方法，包括步骤S10-步骤S50，各步骤详细描述如下：
步骤S10，获取待分析集成电路的电镜图像作为待处理图像。
如图2所示，为本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路在电子显微镜下的示例图，白色的孔状结构是集成电路中的圆孔，灰色部分是集成电路板中预设的连接线路，黑色部分是集成电路板的基板。
步骤S20，对所述待处理图像进行增强处理，加强图像中的点结构，获得增强待处理图像。
步骤S21，采用高斯函数进行所述待处理图像的卷积操作，获得预处理卷积矩阵
Figure 691686DEST_PATH_IMAGE001
，如式（1）所示：
Figure 412517DEST_PATH_IMAGE028
其中，
Figure 158013DEST_PATH_IMAGE004
为高斯核参数，
Figure 192965DEST_PATH_IMAGE005
为待处理图像中金属圆孔的半径；
Figure 822529DEST_PATH_IMAGE006
为高斯 核函数最高点；
Figure 917524DEST_PATH_IMAGE007
代表进行图像中
Figure 648851DEST_PATH_IMAGE007
点处的计算；
Figure 221915DEST_PATH_IMAGE008
为待分析集成电路的电镜图像。
步骤S22，对所述预处理卷积矩阵
Figure 971565DEST_PATH_IMAGE001
进行二阶导梯度图像计算，并基于 Hessian矩阵特征值获取增强待处理图像
Figure 237461DEST_PATH_IMAGE002
。
步骤S221，基于所述预处理卷积矩阵
Figure 689040DEST_PATH_IMAGE001
获取Hessian矩阵
Figure 65795DEST_PATH_IMAGE009
，如式（2） 所示：
Figure 669952DEST_PATH_IMAGE029
其中，
Figure 106749DEST_PATH_IMAGE030
、
Figure 812668DEST_PATH_IMAGE031
、
Figure 461955DEST_PATH_IMAGE032
和
Figure 186198DEST_PATH_IMAGE033
的计算方法分别如式（3）- 式（5）所示：
Figure 793897DEST_PATH_IMAGE034
Figure 234716DEST_PATH_IMAGE035
Figure 953273DEST_PATH_IMAGE036
步骤S222，提取所述Hessian矩阵
Figure 532022DEST_PATH_IMAGE009
的特征值
Figure 310622DEST_PATH_IMAGE011
，如式（6）所示：
Figure 725554DEST_PATH_IMAGE012
Figure 44540DEST_PATH_IMAGE037
步骤S223，计算所述Hessian矩阵
Figure 681058DEST_PATH_IMAGE009
的特征值
Figure 630559DEST_PATH_IMAGE011
的加性逆矩阵，获得增 强待处理图像
Figure 188580DEST_PATH_IMAGE002
，如式（7）所示：
Figure 888420DEST_PATH_IMAGE038
如图3所示，为本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路增强图，可以看出，本发明可以很好地增强集成电路的金属圆孔部分，而其他可能的干扰圆点则被进一步弱化了。
步骤S30，根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合。
步骤S31，将所述增强待处理图像中大于预设的第三阈值的像素赋值为1，其余像素赋值为0，获得初始二值图；
步骤S32，将所述初始二值图中小于目标区域像素大小的区域的所有像素赋值为0，获得最终二值图；
步骤S33，通过圆盘结构对所述最终二值图进行开运算处理，获得金属圆孔候选点集合。
选用的圆盘结构的圆盘半径视需求选定，一般选用3到6像素之间的参数。然后采用Matlab中的regionprops函数记录每一个连通域的坐标信息，即目标连通域的中心坐标，这些中心坐标即为圆孔候选点坐标。
步骤S40，将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征。
步骤S411，对于所述金属圆孔候选点集合中的每一个金属圆孔候选点，通过预设 的第四阈值将候选点坐标拓展成矩形框，预设的第四阈值为
Figure 51548DEST_PATH_IMAGE039
，则矩形框区域如式（8）所 示：
Figure 296585DEST_PATH_IMAGE040
步骤S412，基于每一个金属圆孔候选点对应的矩形框进行所述待处理图像的截取，获得每一个金属圆孔候选点对应的候选区域。
在待分析集成电路的电镜图像I上截取矩形框区域覆盖的图像作为圆孔候选点的候选区域，作为下一步精确分类的基础。具体而言，对一个截取到的候选区域，我们基于一下步骤提取该区域的方向梯度直方图（hog）特征，该特征通过计算梯度或边缘的方向密度分布，作为表征局部目标的表象和形状。
步骤S421，对所述候选区域通过Gamma校正法进行颜色空间的标准化，获得标准化候选区域；
步骤S422，定义水平梯度模板
Figure 810743DEST_PATH_IMAGE014
和竖直梯度模板
Figure 550160DEST_PATH_IMAGE015
，并通过 imfilter算子函数计算所述标准化候选区域中每一点
Figure 302215DEST_PATH_IMAGE016
分别在
Figure 983732DEST_PATH_IMAGE017
方向上的变化量
Figure 719607DEST_PATH_IMAGE018
和
Figure 498600DEST_PATH_IMAGE019
，获得点
Figure 636321DEST_PATH_IMAGE016
的梯度变化量
Figure 488739DEST_PATH_IMAGE020
以及梯度角度
Figure 446331DEST_PATH_IMAGE021
；
梯度变化量
Figure 793130DEST_PATH_IMAGE020
如式（9）所示：
Figure 785356DEST_PATH_IMAGE041
其中，
Figure 543097DEST_PATH_IMAGE025
和
Figure 253564DEST_PATH_IMAGE026
代表点
Figure 637010DEST_PATH_IMAGE016
分别在
Figure 483743DEST_PATH_IMAGE017
方向上的变化量。
梯度角度
Figure 350068DEST_PATH_IMAGE021
如式（10）所示：
Figure 406885DEST_PATH_IMAGE042
步骤S423，基于点
Figure 220121DEST_PATH_IMAGE016
的梯度变化量
Figure 62306DEST_PATH_IMAGE020
以及梯度角度
Figure 37215DEST_PATH_IMAGE021
，获取梯度矩阵
Figure 846908DEST_PATH_IMAGE022
和方向矩阵
Figure 198255DEST_PATH_IMAGE023
；
步骤S424，根据分块参数把所述候选区域划分为设定pixel大小的cell，并结合所 述梯度矩阵
Figure 396412DEST_PATH_IMAGE022
和方向矩阵
Figure 542222DEST_PATH_IMAGE023
，以每个cell的方向梯度直方图作为对应cell的特征；
步骤S425，将设定数量的cell作为一个block，将每个block中所有cell的特征叠加作为对应block的特征，并将所有block的特征叠加作为所述候选区域的梯度特征。
步骤S50，基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点。
运用训练好的分类模型，对经过上述步骤所有提取的候选区域进行特征分类预测，最后的预测结果大于预设的第二阈值的候选区域作为最终精确保留的圆孔点。本发明一个优选的实施例中，预设的第二阈值为0.5。
其中，所述分类模型为基于分类决策树构建，并通过带人工标记的训练样本进行有监督学习算法随机森林的特征分类学习的用于进行特征分类预测的决策树模型。
分类模型训练过程中，针对一批电镜数据，人工标记出若干训练样本，其中训练样本是一系列点集，点集对应有两个类别，分别表示为是圆孔区域点1与不是圆孔区域点0。对人工标注的点集通过上述过程计算出区域梯度特征，通过有监督学习算法随机森林进行特征分类学习，得到分类决策树（Matlab的TreeBagger函数）作为进行集成电路金属圆孔自动识别的分类模型。
如图4所示，为本发明基于电镜图像的集成电路金属圆孔自动识别方法一种实施例的集成电路金属圆孔检测效果图，图中白色的孔状结构是集成电路中的圆孔，其中的黑色小点代表本发明方法识别结果，可以看出，本发明实现了准确的金属圆孔识别和定位。
本发明第二实施例的基于电镜图像的集成电路金属圆孔自动识别系统，该系统包括以下模块：
图像获取模块，配置为获取待分析集成电路的电镜图像作为待处理图像；
图像增强模块，配置为对所述待处理图像进行增强处理，加强图像中的点结构，获得增强待处理图像；
阈值处理模块，配置为根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
特征提取模块，配置为将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征；
分类预测模块，配置为基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建，并通过带人工标记的训练样本进行有监督学习算法随机森林的特征分类学习的用于进行特征分类预测的决策树模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于电镜图像的集成电路金属圆孔自动识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于电镜图像的集成电路金属圆孔自动识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于电镜图像的集成电路金属圆孔自动识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，该方法包括：
步骤S10，获取待分析集成电路的电镜图像作为待处理图像；
步骤S20，采用高斯函数进行所述待处理图像的卷积操作，获得预处理卷积矩阵
Figure DEST_PATH_IMAGE001
：
Figure DEST_PATH_IMAGE003
基于所述预处理卷积矩阵
Figure 231287DEST_PATH_IMAGE001
获取Hessian矩阵
Figure 438277DEST_PATH_IMAGE004
：
Figure 20568DEST_PATH_IMAGE006
提取所述Hessian矩阵
Figure 414640DEST_PATH_IMAGE004
的特征值
Figure DEST_PATH_IMAGE007
：
Figure DEST_PATH_IMAGE009
计算所述Hessian矩阵
Figure 574968DEST_PATH_IMAGE004
的特征值
Figure 370886DEST_PATH_IMAGE007
的加性逆矩阵，获得增强待处理图像
Figure 124078DEST_PATH_IMAGE010
：
Figure 271026DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
为高斯核参数，
Figure 751555DEST_PATH_IMAGE014
为待处理图像中金属圆孔的半径；
Figure DEST_PATH_IMAGE015
为高斯核函数最高点；
Figure 870820DEST_PATH_IMAGE016
代表进行图像中
Figure 794914DEST_PATH_IMAGE016
点处的计算；
Figure DEST_PATH_IMAGE017
为待分析集成电路的电镜图像；
步骤S30，根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
步骤S40，将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征；
步骤S50，基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建的用于进行特征分类预测的决策树模型，所述分类模型基于带人工标记的训练样本，采用随机森林算法进行有监督特征分类学习。
2.根据权利要求1所述的基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，步骤S30包括：
步骤S31，将所述增强待处理图像中大于预设的第三阈值的像素赋值为1，其余像素赋值为0，获得初始二值图；
步骤S32，将所述初始二值图中小于目标区域像素大小的区域的所有像素赋值为0，获得最终二值图；
步骤S33，通过圆盘结构对所述最终二值图进行开运算处理，获得金属圆孔候选点集合。
3.根据权利要求1所述的基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，步骤S40中将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，其方法为：
步骤S411，对于所述金属圆孔候选点集合中的每一个金属圆孔候选点，通过预设的第四阈值将候选点坐标拓展成矩形框；
步骤S412，基于每一个金属圆孔候选点对应的矩形框进行所述待处理图像的截取，获得每一个金属圆孔候选点对应的候选区域。
4.根据权利要求1所述的基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，步骤S40中分别计算每一个候选区域的梯度特征，其方法为：
步骤S421，对所述候选区域通过Gamma校正法进行颜色空间的标准化，获得标准化候选区域；
步骤S422，定义水平梯度模板
Figure 881688DEST_PATH_IMAGE018
和竖直梯度模板
Figure DEST_PATH_IMAGE019
，并通过imfilter算子函数计算所述标准化候选区域中每一点
Figure 651061DEST_PATH_IMAGE020
分别在
Figure DEST_PATH_IMAGE021
方向上的变化量
Figure 405259DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
，获得点
Figure 969095DEST_PATH_IMAGE020
的梯度变化量
Figure 825056DEST_PATH_IMAGE024
以及梯度角度
Figure DEST_PATH_IMAGE025
；
步骤S423，基于点
Figure 650317DEST_PATH_IMAGE020
的梯度变化量
Figure 9754DEST_PATH_IMAGE024
以及梯度角度
Figure 541230DEST_PATH_IMAGE025
，获取梯度矩阵
Figure 618907DEST_PATH_IMAGE026
和方向矩阵
Figure DEST_PATH_IMAGE027
；
步骤S424，根据分块参数把所述候选区域划分为设定pixel大小的cell，并结合所述梯度矩阵
Figure 244929DEST_PATH_IMAGE026
和方向矩阵
Figure 990031DEST_PATH_IMAGE027
，以每个cell的方向梯度直方图作为对应cell的特征；
步骤S425，将设定数量的cell作为一个block，将每个block中所有cell的特征叠加作为对应block的特征，并将所有block的特征叠加作为所述候选区域的梯度特征。
5.根据权利要求4所述的基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，所述梯度变化量
Figure 426829DEST_PATH_IMAGE024
，其公式表示为：
Figure 991803DEST_PATH_IMAGE028
。
6.根据权利要求4所述的基于电镜图像的集成电路金属圆孔自动识别方法，其特征在于，所述梯度角度
Figure 437827DEST_PATH_IMAGE025
，其公式表示为：
Figure DEST_PATH_IMAGE029
。
7.一种基于电镜图像的集成电路金属圆孔自动识别系统，其特征在于，该系统包括以下模块：
图像获取模块，配置为获取待分析集成电路的电镜图像作为待处理图像；
图像增强模块，配置为采用高斯函数进行所述待处理图像的卷积操作，获得预处理卷积矩阵
Figure 755545DEST_PATH_IMAGE001
：
Figure 363244DEST_PATH_IMAGE030
基于所述预处理卷积矩阵
Figure 415514DEST_PATH_IMAGE001
获取Hessian矩阵
Figure 134071DEST_PATH_IMAGE004
：
Figure DEST_PATH_IMAGE031
提取所述Hessian矩阵
Figure 571874DEST_PATH_IMAGE004
的特征值
Figure 616054DEST_PATH_IMAGE007
：
Figure 155619DEST_PATH_IMAGE032
计算所述Hessian矩阵
Figure 943447DEST_PATH_IMAGE004
的特征值
Figure 504266DEST_PATH_IMAGE007
的加性逆矩阵，获得增强待处理图像
Figure 453767DEST_PATH_IMAGE010
：
Figure DEST_PATH_IMAGE033
其中，
Figure 949471DEST_PATH_IMAGE013
为高斯核参数，
Figure 540989DEST_PATH_IMAGE014
为待处理图像中金属圆孔的半径；
Figure 953385DEST_PATH_IMAGE015
为高斯核函数最高点；
Figure 339367DEST_PATH_IMAGE016
代表进行图像中
Figure 853525DEST_PATH_IMAGE016
点处的计算；
Figure 717575DEST_PATH_IMAGE017
为待分析集成电路的电镜图像；
阈值处理模块，配置为根据预设的第一阈值进行所述增强待处理图像的阈值处理，并对阈值处理获得的二值图进行形态学处理，获得金属圆孔候选点集合；
特征提取模块，配置为将所述金属圆孔候选点集合中的每一个金属圆孔候选点转化为候选区域，并分别计算每一个候选区域的梯度特征；
分类预测模块，配置为基于候选区域的梯度特征，通过分类模型进行候选区域的特征分类预测，并将预测结果大于预设的第二阈值的候选区域作为所述待处理图像的圆孔点；
其中，所述分类模型为基于分类决策树构建的用于进行特征分类预测的决策树模型，所述分类模型基于带人工标记的训练样本，采用随机森林算法进行有监督特征分类学习。
CN202011396899.5A 2020-12-03 2020-12-03 基于电镜图像的集成电路金属圆孔自动识别方法及系统 Active CN112200164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011396899.5A CN112200164B (zh) 2020-12-03 2020-12-03 基于电镜图像的集成电路金属圆孔自动识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011396899.5A CN112200164B (zh) 2020-12-03 2020-12-03 基于电镜图像的集成电路金属圆孔自动识别方法及系统

Publications (2)

Publication Number Publication Date
CN112200164A CN112200164A (zh) 2021-01-08
CN112200164B true CN112200164B (zh) 2021-02-23

Family

ID=74033744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011396899.5A Active CN112200164B (zh) 2020-12-03 2020-12-03 基于电镜图像的集成电路金属圆孔自动识别方法及系统

Country Status (1)

Country Link
CN (1) CN112200164B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223034B (zh) * 2021-04-16 2026-02-06 中国科学院上海药物研究所 一种冷冻电镜自动选孔方法及装置
CN116433566A (zh) * 2021-12-30 2023-07-14 上海新微技术研发中心有限公司 芯片金属圆孔检测方法及装置、存储介质和终端
CN114742850B (zh) * 2022-03-14 2025-05-09 深圳模德宝科技有限公司 基于ugnx模型分析的电极形体自动识别的实现方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615609A (zh) * 2018-11-15 2019-04-12 北京航天自动控制研究所 一种基于深度学习的焊点瑕疵检测方法
CN111006608A (zh) * 2019-12-17 2020-04-14 湖南科创信息技术股份有限公司 透明板材通孔视觉检测系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659359B1 (en) * 2015-05-05 2017-05-23 Flextronics Ap, Llc Method of and device for quality control process optimization
CN106327496B (zh) * 2016-08-26 2019-04-23 西安电子科技大学 基于aoi的pcb裸板盲孔缺陷的检测系统及方法
CN107169528B (zh) * 2017-06-06 2020-01-07 成都芯云微电子有限公司 一种基于机器学习的集成电路图像的通孔识别装置
CN107392900B (zh) * 2017-07-24 2020-07-28 太原理工大学 一种肺结节图像的多尺度增强方法
CN108154502B (zh) * 2017-12-22 2022-01-11 王华锋 一种基于卷积神经网络的通孔焊点识别方法
CN109859181A (zh) * 2019-01-29 2019-06-07 桂林电子科技大学 一种pcb焊点缺陷检测方法
CN110610199B (zh) * 2019-08-22 2022-09-13 南京理工大学 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615609A (zh) * 2018-11-15 2019-04-12 北京航天自动控制研究所 一种基于深度学习的焊点瑕疵检测方法
CN111006608A (zh) * 2019-12-17 2020-04-14 湖南科创信息技术股份有限公司 透明板材通孔视觉检测系统及方法

Also Published As

Publication number Publication date
CN112200164A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN109658381B (zh) 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN112200164B (zh) 基于电镜图像的集成电路金属圆孔自动识别方法及系统
Acosta et al. An innovative image-processing model for rust detection using Perlin Noise to simulate oxide textures
CN115294099B (zh) 一种钢板轧制过程发纹缺陷的检测方法及系统
CN115880520B (zh) 一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统
CN111783773B (zh) 一种面向角度倾斜电线杆标识牌的矫正方法
CN114445499B (zh) 棋盘格角点自动提取方法、系统、设备及介质
CN113393430B (zh) 用于风机叶片缺陷检测的热成像图像增强训练方法和装置
CN116563582A (zh) 基于国产CPU和opencv的图像模板匹配方法及装置
CN110889374A (zh) 印章图像处理方法、装置、计算机及存储介质
CN108038438A (zh) 一种基于奇异值分解的多源人脸图像联合特征提取方法
CN119027517B (zh) 一种屋顶分布式光伏识别方法、系统、装置及存储介质
CN117173225A (zh) 一种用于复杂pcb的高精度配准方法
CN115273115A (zh) 一种文档元素标注方法、装置、电子设备和存储介质
CN116071405A (zh) 一种锂电池表面丝网印刷图像配准的方法及装置
CN107016389B (zh) 一种车牌定位的方法以及装置
CN119579632A (zh) 复杂背景下的圆孔定位方法、装置、电子设备及存储介质
CN111783737B (zh) 一种数学公式的识别方法和识别装置
CN117173115A (zh) 一种基于统计量迭代的晶圆黄金图生成方法
CN110031471B (zh) 大口径光学元件表面缺陷增长分析方法、系统、装置
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
CN112633327B (zh) 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
JP2005352543A (ja) テンプレートマッチング装置
CN115471738B (zh) 一种基于高分辨率影像的光伏可开发屋顶提取方法
CN111259974A (zh) 一种小样本柔性ic基板的表面缺陷定位和分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant