[go: up one dir, main page]

CN117409077B - 基于多尺度残差UNet分割的芯片姿态检测方法 - Google Patents

基于多尺度残差UNet分割的芯片姿态检测方法 Download PDF

Info

Publication number
CN117409077B
CN117409077B CN202311347754.XA CN202311347754A CN117409077B CN 117409077 B CN117409077 B CN 117409077B CN 202311347754 A CN202311347754 A CN 202311347754A CN 117409077 B CN117409077 B CN 117409077B
Authority
CN
China
Prior art keywords
chip
pose
image
average
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311347754.XA
Other languages
English (en)
Other versions
CN117409077A (zh
Inventor
王萍
吴静静
安聪颖
李天贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Jiuxiao Technology Co ltd
Original Assignee
Wuxi Jiuxiao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Jiuxiao Technology Co ltd filed Critical Wuxi Jiuxiao Technology Co ltd
Priority to CN202311347754.XA priority Critical patent/CN117409077B/zh
Publication of CN117409077A publication Critical patent/CN117409077A/zh
Application granted granted Critical
Publication of CN117409077B publication Critical patent/CN117409077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多尺度残差UNet分割的芯片姿态检测方法，属于数字图像处理技术领域。本发明提出了一种多级位姿检测算法；对于位姿变化较大的芯片，提出了一种基于SVM分类器的显著性位姿检测方法，对于位姿变化较小的芯片，提出一种基于显著特征点的精定位方法，计算其与料盘关键点的相对距离以实现微小位姿检测。此外，还提出了一种轻量化多尺度残差UNet语义分割网络MR‑UNet，实现了变位姿下不同尺度芯片与料盘的精准分割，将复杂表观的彩喷芯片图像统一，仅保留轮廓。试验结果表明，本发明的检测准确率达到99.804％，具备良好的鲁棒性和实时性，能够满足工业现场大批量生产的要求。

Description

基于多尺度残差UNet分割的芯片姿态检测方法
技术领域
本发明涉及基于多尺度残差UNet分割的芯片姿态检测方法，属于数字图像处理技术领域。
背景技术
在芯片制造环节中，需要将芯片翻转至金属盘中，在表面打印彩色标识图案。为了防止芯片被翻转装置压碎，给制造商增加高额的生产成本，必须确保芯片在料盘中处于正确的位姿。当前普遍采用人工目检的方法，效率低、准确性易受主观因素影响。因此，研究一种基于机器视觉的芯片位姿自动检测方法代替人工目检是一种必然趋势。
对于位姿检测方法的研究，总体可分为三大类：基于对应关系、基于模板匹配和基于网络回归的方法。基于对应关系的位姿检测方法是通过提取图像中的某一类关键点，当物体存在重叠、遮挡等情况时，基于关键点的检测方法往往效果不理想。基于模板匹配的位姿检测方法是利用物体的CAD模型，在距离和视角变化情况下，通过渲染来获取模板图像，然后提取模板库特征，检测时匹配到与目标最接近的模板作为物体位姿，对遮挡、杂波等干扰鲁棒性高，但是，当物体表面特征复杂变化时，检测精度将会下降。基于网络回归的位姿检测方法是通过神经网络自动提取目标特征，然后利用训练好的网络模型进行位姿检测。但是，若仅利用神经网络，模型的性能容易受到目标相似位姿歧义性的影响，导致检测结果不准。
因此，亟需提供一种克服以上缺点，准确率高，能对表面特征复杂变化的多型号芯片实现自动快速换型的位姿检测算法。
发明内容
为了提升芯片姿态检测的准确率，本发明提供了基于多尺度残差UNet分割的芯片姿态检测方法，所述技术方案如下：
步骤1：采集待测芯片的图像，并根据固定坐标对待测芯片的显著特征点和料盘关键点进行粗定位；
步骤2：粗定位后，利用多尺度残差UNet模型MR-UNet对芯片与料盘进行图像分割；
步骤3：分割后利用多级位姿检测方法，利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测。
可选的，所述步骤2中的MR-UNet模型将原UNet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块MRC；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入BN层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；
然后将所述BN层后的特征图经过ReLU函数激活；
最后将下采样通道数减半；
所述多尺度残差卷积模块MRC首先使用四种具有不同大小感受野的卷积核以并行的方式对输入图像进行特征提取，并对图像进行padding像素填充操作；
然后对提取的特征分别经过批归一化操作和ReLU激活函数后进行特征融合，然后对融合后的特征图再次进行1×1的卷积操作，将通道数降维至与输入图像相同；
最后将输入特征图与降维后的特征图对应通道进行逐像素相加，将相加后的特征图进行ReLU激活后输出。
可选的，所述多级位姿检测方法包括：
步骤31：统计分割后的图像中前景像素个数，若所述前景像素个数小于预设阈值，则判断为“少料”；若所述前景像素个数大于所述预设阈值，则采用步骤32继续检测；
步骤32：采用SVM分类器对待检测芯片图像进行分类，根据分类模型预测所属类别，若输出结果为0，则初步判断为正常位姿，并采用步骤33继续检测；若输出结果为1，则直接输出判断结果为“严重翘起位姿”；
步骤33：对所述步骤32中初步判断为正常位姿的图像，通过计算芯片显著特征点和料盘关键点之间的相对距离，若相对距离在预设的容忍范围内，则初步判断为正常位姿，并采用步骤34继续检测；若所述相对距离超出所述容忍范围，则直接输出检测结果为“偏移位姿”；
步骤34：对所述步骤33初步判断为正常位姿的图像，通过获取图像最小外接矩形，计算其旋转角度，通过角度值最终判断芯片为“旋转位姿”或“正常位姿”。
可选的，所述步骤31中的预设阈值的计算过程包括：首先选择100幅以上分割后少料位姿芯片图像，统计每幅图像中像素值等于255的个数，然后相加除以图像个数得到平均前景像素个数，将此作为区分少料位姿与其它位姿的阈值参数。
可选的，所述步骤32中的SVM分类器训练过程包括：
首先将正常位姿与严重翘起位姿芯片图片分别放入到两个文件夹中，读取两个文件夹中的待训练图片，提取HOG特征描述子，将正常位姿芯片的特征向量标记为0类标签，严重翘起位姿芯片的特征向量标记为1类标签；最后结合标签和SVM分类器输出分类模型。
可选的，所述步骤33中的基于相对距离的方法包括：
首先，利用模板匹配算法精定位到芯片显著特征点p(x,y)和料盘关键点q(x,y)；
然后，用所述芯片显著特征点p(x,y)相对于芯片区域左上角点O1(x1,y1)的绝对坐标加上O1(x1,y1)相对于图像原点O(x,y)的绝对坐标，得到p(x,y)相对于O(x,y)的绝对坐标；用所述料盘关键点q(x,y)相对于料盘区域左上角点O2(x2,y2)的绝对坐标加上O2(x2,y2)相对于图像原点O(x,y)的绝对坐标，得到q(x,y)相对于O(x,y)的绝对坐标；
最后，用所述芯片显著特征点p(x,y)的x和y绝对坐标值减去q(x,y)的x和y绝对坐标值得到二者之间的x相对距离xrelative和y相对距离yrelative；
利用上述步骤得到所有图像相同行列位置的x和y相对距离，将它们相加除以图像数量得到平均x和平均y相对距离xaverage和yaverage；
由于芯片在卡槽内会出现小幅度晃动，所以在xaverage和yaverage的基础上前后增加n个像素的容忍度，那么x和y方向的容忍范围分别为：[xaverage-n，xaverage+n]、[yaverage-n，yaverage+n]，重复上述步骤得到图像中其余行列位置的容忍范围；
在检测过程中，若x和y相对距离均在容忍范围内，则初步判断检测结果为正常位姿，若有一个超出容忍范围，则直接输出检测结果为“偏移位姿”。
可选的，所述步骤34具体包括：
计算图像最小外接矩形，同时获取最小外接矩形的旋转角度α,α∈(-90°,0°]；
通过下式计算判断角度β，β∈[0°,45°]：
当β>3.5°时，判断为“旋转位姿”，当β<3.5°时，判断为“正常位姿”。
可选的，所述容忍度n选择5个像素。
本发明的第二个目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一项所述的芯片姿态检测方法。
本发明有益效果是：
本发明提出了一种MR-UNet网络，将料盘与芯片进行了有效分割，得到了边缘轮廓清晰的二值图像；其次提出了一种多级位姿检测方法，首先通过计算分割后图像的前景像素个数检测出少料位姿芯片，然后利用HOG+SVM分类器检测出严重翘起位姿芯片，接着基于相对距离检测出偏移位姿芯片，最后基于最小外接矩形检测出正常与轻微旋转位姿芯片，大大增加了检测准确率。通过深度学习网络分割性能对比试验，证明了本发明所提出的MR-UNet模型的有效性；通过多级位姿检测算法准确率验证试验，证明了本发明的芯片姿态检测方法的可行性和鲁棒性，基本能够满足芯片批量自动生产的要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是芯片示意图。
图2是生产过程中复杂多样的芯片图像，其中(a)表面存在不同字符的芯片；(b)为不同型号的料盘；(c)展示了不同位姿的芯片。
图3是粗定位结果图，其中，(a)展示了芯片显著特征点粗定位结果图；(b)展示了料盘关键点粗定位结果图。
图4是本发明基于多尺度残差UNet分割的芯片姿态检测方法的流程图。
图5是本发明多尺度残差UNet网络模型结构图。
图6是本发明多尺度残差卷积模块图。
图7是本发明的严重翘起位姿芯片检测流程图。
图8是本发明偏移芯片位姿检测示意图。
图9是本发明与其他现有方法分割效果可视化展示图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于多尺度残差UNet分割的芯片多级位姿检测方法，首先，在UNet语义分割模型中引入多尺度残差卷积模块，并将通道数减半，在保证模型轻量化的同时，将位姿多变、表观丰富的芯片与复杂的料盘背景进行有效分割。其次，提供了一种多级位姿检测方法，将分割后的图像利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测，具有较高的实时性和鲁棒性。
本实施例的芯片位姿检测方法的流程参见图4，包括以下步骤：
步骤1：采集待测芯片的图像，并根据固定坐标对待测芯片的显著特征点和料盘关键点进行粗定位；
步骤2：粗定位后，利用多尺度残差UNet模型MR-UNet对芯片与料盘进行图像分割；
步骤3：分割后利用多级位姿检测方法，利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测。
实施例二：
本实施例提供一种基于多尺度残差UNet分割的芯片多级位姿检测方法，首先，在UNet语义分割模型中引入多尺度残差卷积模块，并将通道数减半，在保证模型轻量化的同时，将位姿多变、表观丰富的芯片与复杂的料盘背景进行有效分割。其次，提供了一种多级位姿检测方法，将分割后的图像利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测，具有较高的实时性和鲁棒性。
本实施例的芯片位姿检测方法的流程参见图4，包括以下步骤：
步骤1：根据固定坐标对待测芯片显著特征点和料盘关键点进行粗定位；
步骤2：基于多尺度残差UNet分割的MR-UNet将粗定位后的芯片与料盘分割；
步骤3：分割后利用多级位姿检测方法，利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测。
步骤2中提出了一种融合多尺度残差卷积模块(Multiscale ResidualConvolution Module，MRC模块)的轻量化UNet模型MR-UNet。
MR-UNet模块的模型结构图如图5所示，将原UNet模型编码器阶段的两层3×3卷积层的第二层卷积替换为本实施例提出的多尺度残差卷积模块MRC，从而丰富并提纯图像的多尺度特征信息。
每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作，使得每次卷积之后图像的尺寸不变，解决图像部分信息丢失的问题。在每次卷积操作后引入BN层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；然后将BN后的特征图经过ReLU函数激活。最后将下采样通道数减半，由原来的[64,128,256,512,1024]缩减为[32,64,128,256,512]，在保证了模型的轻量化的同时使得分割效果更佳。
本实施例的多尺度残差卷积模块MRC的结构如图6所示。MRC模块首先使用1×1、3×3、5×5、7×7四种具有不同大小感受野的卷积核以并行的方式对输入图像进行特征提取，并对图像进行padding像素填充操作，四种卷积核padding的大小分别为0、1、2、3。
关于四种卷积核感受野和padding的设置，还可以选择其他大小的卷积核，但需符合一些规则：1.特征图的尺寸：选择的卷积核大小应与特征图的尺寸相匹配，以确保有效的特征提取。较大的卷积核可以捕获更大范围的特征，但也可能会导致计算量增加；2.计算资源：较大的卷积核会增加计算成本，因此需要根据可用的计算资源和性能要求进行权衡。
提取的特征分别经过批归一化操作和ReLU激活函数后进行特征融合，然后对融合后的特征图再次进行1×1的卷积操作，将通道数降维至与输入图像相同。最后将输入特征图与降维后的特征图对应通道进行逐像素相加，将相加后的特征图进行ReLU激活后输出。
步骤3中的目的在于提供一种芯片的多级位姿检测方法，如图4所示，为不同位姿的芯片分级提供不同的缺陷检测方法，具体包括：
(1)对于少料位姿的芯片，在分割后其背景像素个数占整幅图像的比例很大，而其它几种位姿下芯片前景像素个数占图像的比例较大。因此，本实施例利用此特点检测少料位姿芯片。首先选择100幅分割后少料位姿芯片图像，统计每幅图像中像素值等于255的个数，然后相加除以100得到平均前景像素个数，将此作为区分少料位姿与其它位姿的阈值参数。若小于此参数，则判断位姿为“少料”，若大于此参数，则继续后续方法流程进行判断。
(2)严重翘起位姿的芯片在卡槽中的位置和旋转角度变化多样，特征显著，本实施例利用机器学习中的分类算法对其进行检测。在大量的分类算法中，HOG特征(Histogramof Oriented Gradient,HOG)与SVM分类器(Support Vector Machine,SVM)组合的方式由于训练难度小、适合小样本而被广泛应用，因此，本实施例将以上组合方法用于严重翘起位姿芯片的检测。
在训练阶段，首先将正常位姿与严重翘起位姿芯片图片分别放入到两个文件夹中，读取两个文件夹中的待训练图片，提取HOG特征描述子，将正常位姿芯片的特征向量标记为0类标签，严重翘起位姿芯片的特征向量标记为1类标签。最后结合标签和SVM分类器输出分类模型。在预测阶段，首先读取训练好的SVM分类模型和待预测图片，然后提取HOG特征，根据分类模型预测所属类别。若输出结果为0，则初步判断为正常位姿，若输出结果为1，则直接输出结果为严重翘起位姿。
(3)对于偏移芯片，由于特征不明显，SVM分类模型易产生误分类，因此本实施例提出了一种基于相对距离的方法对其进行检测。
首先，利用模板匹配算法精定位到芯片显著特征点p(x,y)和料盘关键点q(x,y)；
然后，用所述芯片显著特征点p(x,y)相对于O1(x1,y1)的绝对坐标加上O1(x1,y1)相对于图像原点O(x,y)的绝对坐标，得到p(x,y)相对于O(x,y)的绝对坐标；用所述料盘关键点q(x,y)相对于O2(x2,y2)的绝对坐标加上O2(x2,y2)相对于图像原点O(x,y)的绝对坐标，得到q(x,y)相对于O(x,y)的绝对坐标；
最后，用所述芯片显著特征点p(x,y)的x和y绝对坐标值减去q(x,y)的x和y绝对坐标值得到二者之间的x相对距离xrelative和y相对距离yrelative；
利用上述步骤得到所有图像相同行列位置的x和y相对距离，将它们相加除以图像数量得到平均x和平均y相对距离xaverage和yaverage；
由于芯片在卡槽内会出现小幅度晃动，所以在xaverage和yaverage的基础上前后增加n个像素的容忍度，那么x和y方向的容忍范围分别为：[xaverage-n，xaverage+n]、[yaverage-n，yaverage+n]，重复上述步骤得到图像中其余行列位置的容忍范围；
在检测过程中，若x和y相对距离均在容忍范围内，则初步判断检测结果为正常位姿，若有一个超出容忍范围，则直接输出检测结果为“偏移位姿”。
(4)由于轻微旋转位姿芯片的旋转角度较小，所以匹配得到的芯片显著特征点与料盘关键点之间的x和y相对距离有可能会在容忍范围内，导致轻微旋转漏检。因此，本实施例通过获取图像最小外接矩形，计算其旋转角度，通过角度值判断芯片是否属于轻微旋转位姿。根据RectMin的相关参数可以求解原始图像最小外接矩形，同时获取到了最小外接矩形的旋转角度α,α∈(-90°,0°]。阈值计算如下式(1)，β∈[0°,45°]。通过计算50张正常位姿以及50张轻微旋转位姿芯片样本图片的最小外接矩形旋转角度，发现正常位姿芯片样本的β值在[0°,2°]之间，轻微旋转位姿样本的β值在[5°,15°]之间。本实施例选取阈值3.5°，当β>3.5°时，判断为轻微旋转位姿，当β<3.5°时，判断为正常位姿。
本实施例的SVM分类器的训练过程如下：
步骤1：划分语义分割模型的训练集和测试集。该的输入是粗定位后芯片图像，尺寸为384×288。数据集包含不同料盘背景、表面具有不同字符、不同位姿等要素，一共3800张图片，分成3040张训练集和760张测试集，每一张图片对应一张标注后的标签二值图(GT)。同时在训练的过程中使用交叉验证的方法，每次训练时随机抽取15％的训练图像作为验证集以进行更细致地训练性能监督。
步骤2：划分SVM的训练集和测试集。对于SVM数据集，分别选取MR-UNet模型分割后的200张正常位姿和400张严重翘起位姿的芯片图像输入分类器进行训练，得到分类模型。
步骤3：定义评价指标。本实施例采用Dice系数、交并比(intersection overunion,IOU)、F1分数(F1-Score)以及灵敏度(Sensitivity,SE)作为模型分割性能评价指标，计算公式如下式(2)～(5)。采用参数量(Params)及计算量(FLOPs)作为模型复杂度评价指标。
其中，TP表示网络输出的芯片前景区域是真实的前景区域；TN表示网络输出的料盘背景区域是真实的背景区域；FP表示网络输出的芯片前景区域不是真实的前景区域，即错误地将背景区域分割为前景区域；FN表示网络输出的料盘背景区域不是真实的背景区域，即错误地将前景区域分割为背景区域。这些评价指标的值越大，说明模型的分割效果越好，能够综合反应网络模型的好坏。
为了进一步说明本实施例提出的MR-UNet模型的图像分割性能，进行了对比实验，将其与UNet、UNet++、MSRD-ANet、CDWB-ASPP-UNet(CA-UNet)和RA-UNet等几种文献所提出的方法进行比较，所有试验均是在相同硬件环境和相同数据集上进行，试验结果如表1、图9所示，加粗表示最好结果。
从表1中可以看出，本发明所提出的模型在Dice、IOU、F1-Score、SE四项分割性能评价指标上都是最优的，分别为0.9851、0.9708、0.9875、0.9884。相比较UNet、UNet++、MSRD-ANet、RA-UNet、CA-UNet，MR-UNet在Dice系数指标上分别提高了0.66％、4.15％、3.09％、7.03％、0.37％；在IOU指标上分别提高了1.16％、7.23％、5.63％、8.7％、0.47％；在F1-Score指标上分别提高了1.27％、2.39％、6.71％、4.88％、0.43％；在SE指标上分别提高了1.53％、2.27％、6.68％、4.74％、0.69％。在复杂度方面，由于将通道数减半，本发明的MR-UNet模型计算量相比于其它几种模型最少，为50.42G，但是由于MRC模块的并行卷积过程，参数量相比于UNet++和RA-UNet，分别增加了7.22M和1.76M。总体来说，本发明提出的MR-UNet综合精度最高、整体表现较优。
表1不同分割方法性能比较
为了验证本发明所提出的多级位姿检测算法的准确率与鲁棒性，对MR-UNet分割后的3100张芯片的位姿进行识别验证，图像包括不同料盘背景、不同字符等多种要素。其中正常位姿1000张，严重翘起位姿1000张、偏移位姿500张、轻微旋转位姿300张、少料位姿300张识别结果如表2所示。
表2位姿检测结果统计表
由上表经计算可得，本发明提出的多级位姿检测算法对于正常位姿和少料位姿的芯片检测准确率大于99％；对于严重翘起、偏移和轻微旋转位姿的芯片，准确率分别达到98.3％、97.6％、95.7％，且不存在翘起位姿被误检为正常位姿的情况，有效防止了芯片在生产过程中被压碎。
通过深度学习网络分割性能对比试验，证明了本发明所提出的MR-UNet模型的有效性；通过多级位姿检测算法准确率验证试验，证明了本发明所提出芯片位姿检测方法的可行性和鲁棒性，基本能够满足芯片批量自动生产的要求。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种芯片姿态检测方法，其特征在于，所述方法包括：
步骤1：采集待测芯片的图像，并根据固定坐标对待测芯片的显著特征点和料盘关键点进行粗定位；
步骤2：粗定位后，利用多尺度残差UNet模型MR-UNet对芯片与料盘进行图像分割；
步骤3：分割后利用多级位姿检测方法，利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测；
所述步骤2中的MR-UNet模型将原UNet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块MRC；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入BN层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；
然后将所述BN层后的特征图经过ReLU函数激活；
最后将下采样通道数减半；
所述多尺度残差卷积模块MRC首先使用四种具有不同大小感受野的卷积核以并行的方式对输入图像进行特征提取，并对图像进行padding像素填充操作；
然后对提取的特征分别经过批归一化操作和ReLU激活函数后进行特征融合，然后对融合后的特征图再次进行1×1的卷积操作，将通道数降维至与输入图像相同；
最后将输入特征图与降维后的特征图对应通道进行逐像素相加，将相加后的特征图进行ReLU激活后输出；
所述多级位姿检测方法包括：
步骤31：统计分割后的图像中前景像素个数，若所述前景像素个数小于预设阈值，则判断为“少料”；若所述前景像素个数大于所述预设阈值，则采用步骤32继续检测；
步骤32：采用SVM分类器对待检测芯片图像进行分类，根据分类模型预测所属类别，若输出结果为0，则初步判断为正常位姿，并采用步骤33继续检测；若输出结果为1，则直接输出判断结果为“严重翘起位姿”；
步骤33：对所述步骤32中初步判断为正常位姿的图像，通过计算芯片显著特征点和料盘关键点之间的相对距离，若相对距离在预设的容忍范围内，则初步判断为正常位姿，并采用步骤34继续检测；若所述相对距离超出所述容忍范围，则直接输出检测结果为“偏移位姿”；
步骤34：对所述步骤33初步判断为正常位姿的图像，通过获取图像最小外接矩形，计算其旋转角度，通过角度值最终判断芯片为“旋转位姿”或“正常位姿”；
所述步骤33中的基于相对距离的方法包括：
首先，利用模板匹配算法精定位到芯片显著特征点p(x,y)和料盘关键点q(x,y)；
然后，用所述芯片显著特征点p(x,y)相对于芯片区域左上角点O1(x1,y1)的绝对坐标加上O1(x1,y1)相对于图像原点O(x,y)的绝对坐标，得到p(x,y)相对于O(x,y)的绝对坐标；用所述料盘关键点q(x,y)相对于料盘区域左上角点O2(x2,y2)的绝对坐标加上O2(x2,y2)相对于图像原点O(x,y)的绝对坐标，得到q(x,y)相对于O(x,y)的绝对坐标；
最后，用所述芯片显著特征点p(x,y)的x和y绝对坐标值减去q(x,y)的x和y绝对坐标值得到二者之间的x相对距离xrelative和y相对距离yrelative；
利用上述步骤得到所有图像相同行列位置的x和y相对距离，将它们相加除以图像数量得到平均x和平均y相对距离xaverage和yaverage；
由于芯片在卡槽内会出现小幅度晃动，所以在xaverage和yaverage的基础上前后增加n个像素的容忍度，那么x和y方向的容忍范围分别为：[xaverage-n，xaverage+n]、[yaverage-n，yaverage+n]，重复上述步骤得到图像中其余行列位置的容忍范围；
在检测过程中，若x和y相对距离均在容忍范围内，则初步判断检测结果为正常位姿，若有一个超出容忍范围，则直接输出检测结果为“偏移位姿”。
2.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述步骤31中的预设阈值的计算过程包括：首先选择100幅以上分割后少料位姿芯片图像，统计每幅图像中像素值等于255的个数，然后相加除以图像个数得到平均前景像素个数，将此作为区分少料位姿与其它位姿的阈值参数。
3.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述步骤32中的SVM分类器训练过程包括：
首先将正常位姿与严重翘起位姿芯片图片分别放入到两个文件夹中，读取两个文件夹中的待训练图片，提取HOG特征描述子，将正常位姿芯片的特征向量标记为0类标签，严重翘起位姿芯片的特征向量标记为1类标签；最后结合标签和SVM分类器输出分类模型。
4.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述步骤34具体包括：
计算图像最小外接矩形，同时获取最小外接矩形的旋转角度α,α∈(-90°,0°]；
通过下式计算判断角度β，β∈[0°,45°]：
当β>3.5°时，判断为“旋转位姿”，当β<3.5°时，判断为“正常位姿”。
5.根据权利要求1所述的芯片姿态检测方法，其特征在于，所述容忍度n选择5个像素。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据权利要求1至5中任一项所述的芯片姿态检测方法。
CN202311347754.XA 2023-10-18 2023-10-18 基于多尺度残差UNet分割的芯片姿态检测方法 Active CN117409077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311347754.XA CN117409077B (zh) 2023-10-18 2023-10-18 基于多尺度残差UNet分割的芯片姿态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311347754.XA CN117409077B (zh) 2023-10-18 2023-10-18 基于多尺度残差UNet分割的芯片姿态检测方法

Publications (2)

Publication Number Publication Date
CN117409077A CN117409077A (zh) 2024-01-16
CN117409077B true CN117409077B (zh) 2024-04-05

Family

ID=89486465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311347754.XA Active CN117409077B (zh) 2023-10-18 2023-10-18 基于多尺度残差UNet分割的芯片姿态检测方法

Country Status (1)

Country Link
CN (1) CN117409077B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020025696A1 (en) * 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging using multispectral information
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
WO2022101361A2 (en) * 2019-11-12 2022-05-19 Astrazeneca Ab Automated assessment of wound tissue
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法
EP4068220A1 (en) * 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Image processing device, image processing method, moving device, and storage medium
CN115170804A (zh) * 2022-07-26 2022-10-11 无锡九霄科技有限公司 基于深度学习的表面缺陷检测方法、装置、系统和介质
CN115187666A (zh) * 2022-07-14 2022-10-14 武汉大学 深度学习和图像处理结合的侧扫声呐海底高程探测方法
WO2022221147A1 (en) * 2021-04-15 2022-10-20 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
CN115588043A (zh) * 2022-09-23 2023-01-10 湖南省国土资源规划院 一种基于视觉的挖掘机作业位姿的监测方法
CN115661943A (zh) * 2022-12-22 2023-01-31 电子科技大学 一种基于轻量级姿态评估网络的跌倒检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020025696A1 (en) * 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging using multispectral information
WO2022101361A2 (en) * 2019-11-12 2022-05-19 Astrazeneca Ab Automated assessment of wound tissue
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
EP4068220A1 (en) * 2021-03-30 2022-10-05 Canon Kabushiki Kaisha Image processing device, image processing method, moving device, and storage medium
WO2022221147A1 (en) * 2021-04-15 2022-10-20 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法
CN115187666A (zh) * 2022-07-14 2022-10-14 武汉大学 深度学习和图像处理结合的侧扫声呐海底高程探测方法
CN115170804A (zh) * 2022-07-26 2022-10-11 无锡九霄科技有限公司 基于深度学习的表面缺陷检测方法、装置、系统和介质
CN115588043A (zh) * 2022-09-23 2023-01-10 湖南省国土资源规划院 一种基于视觉的挖掘机作业位姿的监测方法
CN115661943A (zh) * 2022-12-22 2023-01-31 电子科技大学 一种基于轻量级姿态评估网络的跌倒检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的哺乳期猪只目标检测与姿态识别";俞燃;《中国优秀硕士学位论文全文数据库农业科技辑》;20220315;第D050-248页 *

Also Published As

Publication number Publication date
CN117409077A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Lee et al. Simultaneous traffic sign detection and boundary estimation using convolutional neural network
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN106803247B (zh) 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法
CN110232311A (zh) 手部图像的分割方法、装置及计算机设备
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN115661872A (zh) 一种自然场景下鲁棒的手掌感兴趣区域定位方法
CN106407958B (zh) 基于双层级联的面部特征检测方法
US20200005069A1 (en) System and method for finding and classifying patterns in an image with a vision system
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
Wang et al. Detection of small aerial object using random projection feature with region clustering
Hua et al. Pedestrian-and vehicle-detection algorithm based on improved aggregated channel features
CN110866931A (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN118864605B (zh) 一种基于图像细分的靶标识别与定位系统及其终端设备
Xu et al. Tolerance information extraction for mechanical engineering drawings–a digital image processing and deep learning-based model
Yang et al. An improved algorithm for the detection of fastening targets based on machine vision
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
Chen et al. Automatic Fish Segmentation and Recognition in Taiwan FishMarket using Deep Learning Techniques.
CN116912541A (zh) 模型训练及图像检测方法、装置、电子设备及存储介质
CN104463085A (zh) 一种基于局部二值模式与kfda的人脸识别方法
CN117409077B (zh) 基于多尺度残差UNet分割的芯片姿态检测方法
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
Srikrishna et al. Realization of human eye pupil detection system using canny edge detector and circular Hough transform technique
Fritz et al. Object recognition using local information content
CN119784754A (zh) 基于计算机视觉的电子器件检测系统
Singh Gaussian elliptical fitting based skin color modeling for human detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant