CN120226126A - 切断装置和切断品的制造方法 - Google Patents
切断装置和切断品的制造方法 Download PDFInfo
- Publication number
- CN120226126A CN120226126A CN202380080708.XA CN202380080708A CN120226126A CN 120226126 A CN120226126 A CN 120226126A CN 202380080708 A CN202380080708 A CN 202380080708A CN 120226126 A CN120226126 A CN 120226126A
- Authority
- CN
- China
- Prior art keywords
- pixels
- inspection
- determined
- predetermined number
- cut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H10P72/0428—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B24—GRINDING; POLISHING
- B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
- B24B27/00—Other grinding machines or devices
- B24B27/06—Grinders for cutting-off
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B24—GRINDING; POLISHING
- B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
- B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
- B24B49/12—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H10P54/00—
-
- H10P72/0611—
-
- H10P72/0616—
-
- H10P95/00—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Dicing (AREA)
- Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
- Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)
Abstract
切断装置具备拍摄部、第一处理部和第二处理部。拍摄部通过拍摄多个切断品的一部分或全部来生成拍摄图像。第一处理部设定拍摄图像中的多个检查区域。第二处理部基于拍摄图像中多个检查区域各自包含的图像,检查拍摄图像中包含的各切断品的外观。第一处理部基于在拍摄图像中连续位于第一方向上的规定数量的像素各自的像素值,执行判定规定数量的像素中是否包含多个切断品的任意一边的一部分的判定处理。第一处理部通过反复移动规定数量的像素的位置并执行判定处理,设定多个检查区域的至少一部分。
Description
技术领域
本发明涉及切断装置和切断品的制造方法。
背景技术
日本发明专利公开公报特开2010-125488号公报(专利文献1)公开了一种切断工件的切断装置。在该切断装置中,通过切断工件来制造多个单片化工件,并进行各单片化工件的外观检查(参照专利文献1)。
专利文献1:日本发明专利公开公报特开2010-125488号公报
例如,基于切断品的拍摄图像来检查通过切断基板而制造的切断品(例如单片化工件)的外观。在该情况下,在切断品的拍摄图像中设定检查区域,基于检查区域内的图像来检查切断品的外观。即,为了基于切断品的拍摄图像进行切断品的外观检查,需要在切断品的拍摄图像中设定检查区域。但是,在上述专利文献1中,没有公开检查区域的具体的设定方法。
发明内容
本发明是为了解决如此问题而完成的,其目的在于提供切断装置和切断品的制造方法,该切断装置和切断品的制造方法能够比较高效地进行切断品的拍摄图像中的检查区域的自动设定。
根据本发明的某一方面的切断装置通过切断基板来制造多个切断品。该切断装置具备拍摄部、第一处理部和第二处理部。拍摄部通过拍摄多个切断品的一部分或全部来生成拍摄图像。第一处理部设定拍摄图像中的多个检查区域。第二处理部基于拍摄图像中多个检查区域各自包含的图像,检查拍摄图像中包含的各切断品的外观。多个检查区域各自的形状为矩形。各切断品的形状为矩形。第一处理部基于在拍摄图像中连续位于第一方向上的规定数量的像素各自的像素值,执行判定规定数量的像素中是否包含多个切断品的任意一边的一部分的判定处理。规定数量小于拍摄图像整体的像素数。第一处理部通过反复移动规定数量的像素的位置并执行判定处理,设定多个检查区域的至少一部分。
另外,根据本发明的另一方面的切断品的制造方法是使用上述切断装置的切断品的制造方法。切断装置具备:切断工作台和切断部。在切断工作台配置基板。切断部切断配置在切断工作台的基板。制造方法包括:将基板配置在切断工作台的步骤和切断配置在切断工作台的基板的步骤。
发明效果
根据本发明,能够提供切断装置和切断品的制造方法,该切断装置和切断品的制造方法能够比较高效地进行切断品的拍摄图像中的检查区域的自动设定。
附图说明
图1是示意性地表示切断装置的俯视图。
图2是示意性地表示电子部件由第二光学检查照相机拍摄的情形的图。
图3是示意性地表示计算机的硬件结构的图。
图4是示意性地表示由第二光学检查照相机生成的拍摄图像的一例的图。
图5是表示电子部件的外观检查的工序的流程图。
图6是表示检查区域的设定处理的工序的流程图。
图7是表示第一个检查区域的设定处理的工序的流程图。
图8是用于说明在拍摄图像中确定第一个电子部件的左边的一部分的工序的图。
图9是用于说明作为左边判定处理的对象的规定数量的像素的位置如何变更的图。
图10是用于说明左边判定处理中的近似曲线的生成的图。
图11是示意性地表示对近似曲线进行微分的结果的曲线的图。
图12是用于说明确定左边的其他部分的工序的图。
图13是用于说明基于与通过左边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置来确定左边的工序的图。
图14是表示第一个电子部件中的左边的确定处理的工序的流程图。
图15是表示左边的上端和下端各自的确定处理的工序的流程图。
图16是用于说明确定第一电子部件的右边的工序的图。
图17是表示第一个电子部件中的右边的确定处理的工序的流程图。
图18是用于说明分别确定第一个电子部件的上边和下边的工序的图。
图19是表示第一个电子部件中的上边的确定处理的工序的流程图。
图20是表示第一个电子部件中的下边的确定处理的工序的流程图。
图21是用于说明在相对于第一个检查区域沿行方向或列方向移动后的位置设定其他检查区域的工序的图。
图22是表示在相对于第一个检查区域沿行方向移动后的位置的其他检查区域的设定处理的工序的流程图。
图23是表示在相对于第一个检查区域沿列方向移动后的位置的其他检查区域的设定处理的工序的流程图。
附图标记说明
1切断装置,3基板供给部,4定位部,4a轨道部,5切断工作台,5a保持部件,5b旋转机构,5c移动机构,5d第一位置确认照相机,5e第一清洁器,6心轴部,6a刀片,6b第二位置确认照相机,6c旋转轴,7输送部,7a第二清洁器,ll检查工作台,lla检查工作台主体,llb保持部件,12第一光学检查照相机,13第二光学检查照相机,14配置部,15提取部,15a良品用托盘,15b不良品用托盘,20监视器,50计算机,70控制部,72CPU,74RAM,76ROM,80存储部,81控制程序,90输入输出I/F,95受理部,Al切断模块,B1检查收纳模块,BAl球部,EB1、IBl下边,EL1、ILl左边,ER1、IRl右边,ET1、IT1上边,IM1拍摄图像,Ll近似曲线,L2曲线,M1料盒,Pl封装基板,POl微分最大位置,PXl像素,Sl电子部件,T1检查区域,TlB1、TlB2、TlB3、TlCl、TlC2、TlC3临时检查区域。
具体实施方式
下面,将参照附图详细描述根据本发明的一个方面的实施方式(在下文中也称为″本实施方式″)。另外,对图中相同或相当的部分标注相同的附图标记并且不重复其说明。另外,为了便于理解,各附图适当省略或夸张地示意性地描绘了对象。
[1.构成]
<1-1.切断装置的结构>
图l是示意性地表示根据本实施方式的切断装置1的俯视图。切断装置1构成为:通过切断封装基板(切断对象物的一例),将该封装基板单片化为多个电子部件(切断品的一例)。在封装基板中,固定有半导体芯片的基板或引线框被树脂密封。另外,切断对象物不需要一定是封装基板,例如也可以是未被树脂密封的基板(包括晶片)。
作为封装基板的一例,可以列举BGA(Ball Grid Array,球栅网格阵列)封装基板、LGA(Land Grid Array,平面网格阵列)封装基板、CSP(Chip SizePackage,芯片尺寸封装)封装基板、LED(Light Emitting Diode,发光二极管)封装基板和QFN(Quad Flat No-leaded,方形扁平无引脚封装)封装基板。
另外,切断装置1构成为对单片化后的多个电子部件的每一个进行检查。在切断装置1中,拍摄各电子部件,基于拍摄图像进行各电子部件的检查。通过该检查生成检查数据,各电子部件被分类为″良品″或″不良品″。
在该例子中,使用封装基板P1作为切断对象物,通过切断装置1将封装基板P1单片化为多个电子部件S1。以下,将封装基板P1的两面中被树脂密封的面称为模制面,将与模制面相反的面称为球/引脚面。另外,在切断对象物为未被树脂密封的基板的情况下,切断时朝上的面(切断面)相当于本实施方式中的球/引脚面,切断面的相反面相当于本实施方式中的模制面。
如图1所示,切断装置1作为构成要素包括切断模块A1和检查收纳模块B1。切断模块A1构成为通过切断封装基板P1来制造多个电子部件S1。检查收纳模块B1构成为对所制造的多个电子部件S1的每一个进行检查,然后将电子部件S1收纳在托盘中。在切断装置1中,各构成要素可相对于其他构成要素拆卸和更换。
切断模块A1主要包括基板供给部3、定位部4、切断工作台5、心轴部6和输送部7。
基板供给部3通过从收容多个封装基板P1的料盒M1将封装基板P1逐个推出,从而将封装基板P1逐个供给至定位部4。此时,封装基板P1以球/引脚面朝上的状态配置。
定位部4通过将从基板供给部3推出的封装基板P1配置在轨道部4a上,来进行封装基板P1的定位。然后,定位部4将定位后的封装基板P1向切断工作台5输送。
切断工作台5保持要切断的封装基板P。在此,示例了具有两个切断工作台5的双切断工作台结构的切断装置1。切断工作台5包括保持部件5a、旋转机构5b和移动机构5c。保持部件5a通过从下方吸附由定位部4输送的封装基板P1,来保持封装基板P1。旋转机构5b能够使保持部件5a在水平面围绕图中θ1方向旋转。移动机构5c能够使保持部件5a沿图中的Y轴移动。
心轴部6通过切断封装基板P1而将封装基板Pl单片化为多个电子部件S1。在此,示例了具有两个心轴部6的双心轴结构的切断装置1。心轴部6能够沿图中的X轴和Z轴移动。另外,切断装置l也可以是具有一个心轴部6的单心轴结构。
心轴部6包括旋转轴6c。在心轴部6的旋转轴6c上固定有叶片6a。刀片6a通过高速旋转而切断封装基板P1,从而将封装基板Pl单片化为多个电子部件S1。刀片6a在被未图示的第一凸缘和第二凸缘夹持的状态下安装于旋转轴6c。第一凸缘和第二凸缘通过螺母等未图示的紧固部件固定于旋转轴6c。
在切断模块A1设置有切削水用喷嘴、冷却水用喷嘴和端材飞溅水用喷嘴等(未图示)。切削水用喷嘴向高速旋转的刀片6a喷射切削水。冷却水用喷嘴朝向封装基板P1的切断部位附近喷射冷却水。端材飞溅水用喷嘴喷射使切屑等飞溅的端材飞溅水。
在切断工作台5吸附封装基板P1之后,通过第一位置确认照相机5d拍摄封装基板P1,从而确认封装基板P1的位置。使用第一位置确认照相机5d进行的确认例如是对封装基板P1上设置的对准标记AL1的位置进行的确认。对准标记的位置信息例如用于确定封装基板P1的切断线。
之后,切断工作台5沿着图中的Y轴朝向心轴部6移动。在切断工作台5移动到刀片6a的下方之后,通过使切断工作台5与心轴部6相对移动,来切断封装基板P1。然后,根据需要利用切断模块A1所具备的第二位置确认照相机6b拍摄封装基板P1,从而确认封装基板P1的位置等。使用第二位置确认照相机6b进行的确认例如是对封装基板P1的切断位置和切断宽度进行的确认。
切断工作台5在封装基板P1的切断完成之后,在吸附了单片化后的多个电子部件S1的状态下,沿着图中的Y轴向远离心轴部6的方向移动。在该移动过程中,利用第一清洁器5e进行电子部件S1的上表面(球/引脚面)的清洗和干燥。该清洗例如可以通过向电子部件S1的上表面直接喷射清洗水来进行,也可以通过经由刷子等向电子部件S1的上表面供给清洗水来进行。另外,在切断装置1中,设置有沿着图的X轴方向排列的两个第一清洁器5e,但第一清洁器5e的数量并不限于此。
输送部7从上方吸附保持在切断工作台5的电子部件S1,将电子部件S1向检查收纳模块B1的检查工作台11输送。在该输送过程中,由第二清洁器7a进行电子部件S1的下表面(模制面)的清洗和干燥。该清洗例如可以通过向电子部件S1的下表面直接喷射清洗水来进行,也可以通过经由刷子等向电子部件S1的下表面供给清洗水来进行。
检查收纳模块B1主要包括检查工作台11、第一光学检查照相机12、第二光学检查照相机13、配置部14和提取部15。另外,第一光学检查照相机12也可以设置在切断模块A1。
检查工作台11为了电子部件S1的光学检查而保持电子部件S1。检查工作台11可沿图中的X轴移动。另外,检查工作台11可以上下翻转。在检查工作台11上设置有通过吸附电子部件S1来保持电子部件S1的保持部件。
第一光学检查照相机12和第二光学检查照相机13分别拍摄电子部件S1的模制面和球/引脚面。基于由第一光学检查照相机12和第二光学检查照相机13生成的图像数据,进行电子部件S1的与外观相关的各种检查(外观检查)。作为外观检查的一例,可以举出电子部件S1的大小的检查、球部BA1的大小的检查、以及相邻的球部BA1之间的长度的检查。第一光学检查照相机12和第二光学检查照相机13分别配置成在检查工作台11的附近对上方进行拍摄。
第一光学检查照相机12拍摄由输送部7向检查工作台11输送的电子部件S1的模制面。然后,输送部7将电子部件S1载置在检查工作台11的保持部件上。保持部件吸附电子部件S1后,检查工作台11上下反转。检查工作台11向第二光学检查照相机13的上方移动,电子部件S1的球/引脚面由第二光学检查照相机13拍摄。
图2是示意性地表示电子部件S1由第二光学检查照相机13拍摄的情形的图。检查工作台11包括检查工作台主体11a和保持部件11b。保持部件11b设置在检查工作台主体11a的下方。在保持部件11b中,保持电子部件S1的面例如由黑色橡胶构成。另外,橡胶的颜色不需要是黑色,例如也可以是白色等。由保持部件11b吸附保持的多个电子部件S1由第二光学检查照相机13拍摄。基于表示由第二光学检查照相机13生成的拍摄图像的图像数据或拍摄图像(以下,也简称为″拍摄图像″),进行与各电子部件S1的球/引线面的外观相关的检查。与各电子部件S1的球/引线面的外观相关的检查的工序将在后面详细说明。
再次参照图1,在配置部14配置检查完毕的电子部件S1。配置部14能够沿着图的Y轴移动。检查工作台11将检查完毕的电子部件S1配置在配置部14上。
提取部15将配置在配置部14的电子部件S1移送至托盘。基于使用第一光学检查照相机12和第二光学检查照相机13的检查结果,电子部件S1被分类为″良品″或″不良品″。提取部15基于分类的结果,将各电子器件S1移送至良品用托盘15a或不良品用托盘15b。即,良品被收纳于良品用托盘15a,不良品被收纳于不良品用托盘15b。当良品用托盘15a和不良品用托盘15b各自被电子部件S1充满时,被更换为新的托盘。
切断装置1还包括计算机50和监视器20。监视器20构成为显示图像。监视器20例如由液晶监视器或者有机EL(Electro Luminescence,电致发光)监视器等显示设备构成。
计算机50例如对切断模块A1和检查收纳模块B1的各部件的操作进行控制。例如,由计算机50控制如基板供给部3、定位部4、切断工作台5、心轴部6、输送部7、检查工作台11、第一光学检查照相机12、第二光学检查照相机13、配置部14、提取部15和监视器20的操作。
另外,计算机50例如基于由第一光学检查照相机12及第二光学检查照相机13生成的图像数据,进行电子部件S1的各种检查。接着,对计算机50进行详细说明。
<1-2.计算机的结构>
图3是示意性地表示计算机50的硬件结构的图。如图3所示,计算机50包括控制部70、输入输出I/F(interface,接口)90和存储部80,各构成经由总线电连接。
控制部70包括CPU(Central Processing Unit,中央处理单元)72、RAM(RandomAccess Memory,随机存取存储器)74和ROM(Read Only Memory,只读存储器)76等。控制部70构成为响应信息处理,控制计算机50内的各构成要素和切断装置1内的各构成要素。
输入输出I/F90构成为经由信号线与切断装置1所包含的各构成要素进行通信。输入输出I/F90用于从计算机50向切断装置1内的各构成要素发送数据、接收从切断装置1内的各构成要素向计算机50发送的数据。受理部95构成为受理来自用户的指示。受理部95由例如触摸面板、键盘、鼠标和麦克风的一部分或全部构成。
存储部80例如由硬盘驱动器、固态驱动器等辅助存储装置构成。存储部80例如构成为存储控制程序81。通过控制部70执行控制程序81,实现切断装置1中的各种操作。在控制部70执行控制程序81的情况下,控制程序81被展开到RAM 74中。从而,控制部70通过由CPU72解释并执行在RAM 74中展开的控制程序81来控制各构成要素。
[2.自动设定检查区域的必要性]
如上所述,在切断装置1中,基于由第一光学检查照相机12和第二光学检查照相机13生成的拍摄图像,进行电子部件S1的外观检查。
图4是示意性地表示由第二光学检查照相机13生成的拍摄图像IM1的一例的图。参照图4,在拍摄图像IM1中显现有多个电子部件S1,例如显现有电子部件S1A、S1B、S1C、S1D。在拍摄图像IM1中,多个电子部件S1排列成格子状。由于拍摄图像IM1是拍摄了各电子部件S1的球/引线面的图像,因此在拍摄图像IM1中显现有各电子部件S1的多个球部BA1。另外,在相互邻接的两个电子部件S1之间,显现有检查工作台11的保持部件11b。
拍摄图像IM1是灰度(256灰度)的图像。在该例子中,各电子部件S1的颜色比保持部件11b的颜色亮。例如,各电子部件S1用灰色表示,保持部件11b用黑色表示。另外,拍摄图像中″显现有″拍摄对象也被称为拍摄图像中″包含有″拍摄对象。
拍摄图像IM1的形状为矩形,各电子部件S1的形状为矩形。另外,在本说明书中,″矩形″是指长方形(四个角全部相等的四边形),也可以指正方形。拍摄图像IM1的左边IL1、右边IR1、上边IT1及下边IB1分别与各电子部件S1的左边EL1、右边ER1、上边ET1及下边EB1平行。这里,平行不仅包括严格意义,还包括实质意义。即,即使在两边所成的角度不是0的情况下,当两边所成的角度是误差范围内的值时,两边也是平行的。
在基于拍摄图像IM1进行电子部件S1的外观检查的情况下,首先设定拍摄图像IM1中的多个检查区域T1。各检查区域T1对应于拍摄图像IM1中包含的任意一个电子部件S1。例如,检查区域T1A、T1B、T1C、T1D分别对应于电子部件S1A、S1B、S1C、S1D。在切断装置1中,基于拍摄图像IM1中多个检查区域T1各自包含的图像,检查拍摄图像IM1中包含的各电子部件S1的外观。
作为各检查区域T1的设定方法,例如考虑作业人员手动设定的方法。但是,在作业人员手动设定各检查区域T1的情况下,例如,会产生检查区域T1的设定需要较长时间的问题、检查区域T1的设定精度因每个作业人员而产生偏差的问题、以及检查区域T1的设定错误的发生频度比较高的问题。
在本实施方式的切断装置1中,自动地设定各检查区域T1。因此,根据切断装置1,能够抑制作业人员手动设定各检查区域T1情况下可能产生的各问题的发生。另外,详细情况将在后面叙述,在切断装置1中,在与各检查区域T1的自动设定相关的算法上进行了各种努力。因此,根据切断装置1,能够比较高效地进行各检查区域T1的自动设定。
[3.电子部件(切断品)的外观检查工序]
图5是表示电子部件S1的外观检查的工序的流程图。在本实施方式的切断装置1中,由第二光学检查照相机13一次拍摄配置在检查工作台11上的全部电子部件S1中仅一部分电子部件S1,以拍摄图像为单位检查各电子部件S1的外观。通过反复进行第二光学检查照相机13和检查工作台11之间的位置关系的调整以及第二光学检查照相机13的拍摄,来检查配置在检查工作台11上的全部电子部件S1的外观。
图5的流程图所示的处理例如在为了配置在检查工作台11中的全部电子部件S1的外观检查而进行的多次拍摄中进行最初的拍摄的情况下,由计算机50的控制部70执行。
参照图5,控制部70控制第二光学检查照相机13以拍摄配置在检查工作台11上的多个电子部件S1(步骤S100)。控制部70执行由第二光学检查照相机13生成的拍摄图像IM1中的各检查区域T1的设定处理(步骤S110)。稍后将详细描述步骤S110中的处理。
控制部70基于各检查区域T1中包含的图像,执行拍摄图像IM1中包含的各电子部件S1的各种外观检查处理(步骤S120)。在通过为了配置在检查工作台11上的全部电子部件S1的外观检查而进行的多次拍摄中第二次以后的拍摄进行外观检查的情况下,例如使用为了通过第一次拍摄进行外观检查而设定的各检查区域T1,省略步骤S110的处理。
图6是表示检查区域的设定处理(图5的步骤S110)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图6,控制部70执行与拍摄图像IM1中包含的多个电子部件S1中的第一个电子部件S1对应的检查区域T1(例如,图4中的检查区域T1A)的设定处理(步骤S200)。稍后将详细描述步骤S200中的处理。
控制部70以在步骤S200中设定的检查区域T1为基准,执行与存在于沿行方向移动后的位置的电子部件S1对应的检查区域T1(例如图4中的检查区域T1B)的设定处理(步骤S210)。稍后将详细描述步骤S210中的处理。
控制部70以在步骤S200中设定的检查区域T1为基准,执行与存在于沿列方向移动后的位置的电子部件S1对应的检查区域T1(例如图4中的检查区域T1C)的设定处理(步骤S220)。稍后将详细描述步骤S220中的处理。
控制部70基于通过步骤S200、S210、S220中的处理而设定的各检查区域T1,决定行方向上的检查区域T1的数量和列方向上的检查区域T1的数量,并基于其结果设定其他检查区域T1(例如图4中的检查区域T1D)(步骤S230)。若是图4所示的例子,则通过步骤S200、S210、S220中的处理,将行方向上的检查区域T1的数量决定为″2″,将列方向上的检查区域T1的数量决定为″2″。然后,以各检查区域排列成2行2列的格子状T1的方式,设定其他的检查区域T1。
图7是示出第一个检查区域T1的设定处理(图6的步骤S200)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图7,控制部70执行用于确定拍摄图像IM1中包含的多个电子部件S1中的第一个电子部件(以下,也简称为″第一个电子部件″)S1的左边EL1的处理(步骤S300)。稍后将详细描述步骤S300中的处理。控制部70基于所确定的左边EL1,执行用于确定第一个电子部件S1的右边ER1的处理(步骤S310)。稍后将详细描述步骤S310中的处理。
控制部70基于所确定的左边EL1及右边ER1,执行用于确定第一个电子部件S1的上边ET1的处理(步骤S320)。稍后将详细描述步骤S320中的处理。控制部70基于所确定的左边EL1和右边ER1,执行用于确定第一个电子部件S1的下边EB1的处理(步骤S330)。稍后将详细描述步骤S330中的处理。控制部70基于所确定的左边EL1、右边ER1、上边ET1以及下边EB1,设定与第一个电子部件S1对应的检查区域T1(步骤S340)。
图8是用于说明在拍摄图像IM1中确定第一个电子部件S1的左边EL1的一部分的工序的图。参照图8,在切断装置1中执行左边判定处理。左边判定处理为如下的处理:基于连续位于行方向上的规定数量的像素(以下,也简称为″规定数量的像素″)各自的像素值,判定该规定数量的像素中是否包含左边EL1的一部分。在左边判定处理中,基于规定数量的像素各自的像素值,确定保持部件11b与电子部件S1的边界。例如,自图中的左侧朝向右侧,确定像素值小的像素(与保持部件11b对应的像素(暗像素))和像素值大的像素(与电子部件S1对应的像素(亮像素))以该顺序相邻排列的部分。
在通过左边判定处理判定为规定数量的像素中不包含左边EL1的一部分的情况下,判定的规定数量的像素的位置例如变更为右斜下方,对变更后的规定数量的像素执行左边判定处理。通过反复执行所判定的规定数量的像素的位置的变更和左边判定处理,确定左边EL1的一部分的位置。
图9是用于说明作为左边判定处理的对象的规定数量的像素的位置如何变更的图。在该图所示的拍摄图像IM1中,为了便于说明,省略了各电子部件S1的图像等。
参照图9,拍摄图像IM1由多个像素PX1构成。在切断装置1中,首先,自左上端的像素PX1朝向行方向的右侧选择5个像素(规定数量的像素的一例),对所选择的5个像素执行左边判定处理。在判定为所选择的5个像素中不包含左边EL1的一部分的情况下,5个像素的位置沿行方向右侧及列方向下侧各变更1个像素。然后,对变更后的5个像素执行左边判定处理。重复执行5个像素的位置的变更和左边判定处理,直到确定左边EL1的一部分为止。
图10是用于说明左边判定处理中的近似曲线L1的生成的图。参照图10,横轴表示规定数量的像素的各自的位置,纵轴表示像素值。在左边判定处理中,生成表示规定数量的像素的像素值在拍摄图像IM1中自左侧朝向右侧如何变化的近似曲线L1。关于近似曲线L1的生成,例如应用公知的各种技术。
图11是示意性地表示对近似曲线L1进行微分的结果的曲线L2的图。参照图11,横轴表示规定数量的像素各自的位置,纵轴表示微分值。在左边判定处理中,进行所生成的近似曲线L1的微分。在左边判定处理中,在微分值的最大值超过阈值(第一规定值)的情况下,判定为在规定数量的像素中存在左边EL1的一部分。当判定为在规定数量的像素中存在左边EL1的一部分时,基于所确定的左边EL1的一部分确定左边EL1的其他部分。
图12是用于说明确定左边EL1的其他部分的工序的图。参照图12,像素PX1A是与通过左边判定处理得到的微分值的最大值(最大值>第一规定值)对应的像素PX1的一例。在确定左边EL1的其他部分的处理中,首先执行确定左边EL1的上端的处理,之后执行确定左边EL1的下端的处理。
具体而言,选择包括像素PX1A、像素PX1A的左侧2个像素、像素PX1A的右侧2个像素在内的5个像素作为判定对象的像素。反复执行将判定对象的5个像素的位置向列方向上侧移动1个像素的处理和左边判定处理,直到判定为所选择的5个像素中不包含左边EL1的一部分为止。在所选择的5个像素分别表示保持部件11b(参照图4)的情况下,停止将判定对象的5个像素的位置向列方向上侧移动1个像素的处理,确定左边EL1的上端。另外,判定对象的像素不一定是包括像素PX1A、像素PX1A的左侧2个像素、像素PX1A的右侧2个像素在内的5个像素。例如,作为判定对象的像素还可以是包括像素PX1A、像素PX1A的左侧1个像素和像素PX1A的右侧1个像素在内的3个像素,也可以是包括像素PX1A、像素PX1A的左侧2个像素和像素PX1A的右侧1个像素在内的4个像素,也可以是包括像素PX1A、像素PX1A的左侧1个像素和像素PX1A的右侧2个像素在内的4个像素。
若确定了左边EL1的上端,则重复执行将判定对象的5个像素的位置向列方向下侧移动1个像素的处理和左边判定处理,直到判定为在包括像素PX1A、像素PX1A的左侧2个像素、像素PX1A的右侧2个像素在内的5个像素中不包含左边EL1的一部分为止。通过所选择的5个像素分别与保持部件11b(参照图4)对应,停止将判定对象的5个像素的位置向列方向下侧移动1个像素的处理,确定左边EL1的下端。
图13是用于说明基于与通过左边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置来确定左边EL1的工序的图。在该示例中,多个像素PX1沿列方向排列,所述多个像素PX1包括分别与微分值的最大值(最大值>第一规定值)对应的像素位置(微分最大位置PO1)。在该情况下,例如,通过对各微分最大位置PO1应用规定的算法来确定左边EL1。作为规定的算法的示例包括RANSAC(Random SampleConsensus,随机抽样一致)。由此,确定第一个电子部件S1的左边。
图14是表示第一个电子部件S1中的左边EL1的确定处理(图7的步骤S300)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图14,控制部70决定成为左边判定处理的对象的规定数量的像素的位置(步骤S400)。控制部70例如自拍摄图像IM1的左上端的像素PX1朝向右侧,将5个像素决定为左边判定处理的对象。
控制部70基于所决定的5个像素的像素值生成近似曲线(步骤S410)。控制部70进行所生成的近似曲线的微分(步骤S420)。控制部70判定微分值的最大值是否大于第一规定值(步骤S430)。若判定为微分值的最大值为第一规定值以下(步骤S430中为″否″),则控制部70将成为左边判定处理的对象的5个像素的位置向右斜下方移动(步骤S440),再次执行步骤S410、S420、S430(左边判定处理)。
另一方面,若判定为微分值的最大值大于第一规定值(在步骤S430中为″是″),则控制部70执行分别确定左边EL1的上端和下端的处理(步骤S450)。稍后将详细描述用于分别确定左边EL1的上端和下端的处理。
若分别确定了左边EL1的上端和下端,则控制部70判定上端和下端之间的长度与第一规定长度的差是否小于第二规定值(步骤S460)。第一规定长度例如是与电子部件S1的上端和下端之间的长度的规格值对应的长度。第二规定值例如也可以是与电子部件S1的上端和下端之间的长度的规格值的0.5%-5%对应的长度。
若判定为上端和下端之间的长度与第一规定长度的差为第二规定值以上(步骤S460中为″否″),则控制部70以最后在步骤S430中被判定为微分值的最大值大于第一规定值的5个像素为基准执行步骤S440的处理。例如,在作为左边判定处理的对象的规定数量的像素中包含球部BA1(参照图4)的情况下,可能会发生这样的情况。
另一方面,若判定为上端和下端之间的长度与第一规定长度的差小于第二规定值(在步骤S460中为″是″),则控制部70基于与通过左边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置来确定左边EL1(步骤S470)。
图15是表示左边EL1的上端和下端各自的确定处理(图14的步骤S450)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图15,控制部70以包括与在图14的步骤S420中计算出的微分值的最大值(最大值>第一规定值)对应的像素PX1在内的规定数量的像素(5个像素)的位置为基准,将成为左边判定处理的对象的规定数量的像素的位置向列方向上侧移动1个像素(步骤S500)。
控制部70基于位置变更后的5个像素的像素值生成近似曲线(步骤S510)。控制部70进行所生成的近似曲线的微分(步骤S520)。控制部70确定微分值的最大值是否大于第一规定值(步骤S530)。若判定为微分值的最大值大于第一规定值(在步骤S530中为″是″),则控制部70再次执行步骤S500的处理。另一方面,若判定为微分值的最大值为第一规定值以下(在步骤S530中为″否″),则控制部70确定左边EL1的上端(步骤S540)。
控制部70以包括与在图14的步骤S420中计算出的微分值的最大值(最大值>第一规定值)对应的像素PX1在内的规定数量的像素(5个像素)的位置为基准,将成为左边判定处理的对象的规定数量的像素的位置向列方向下侧移动1个像素(步骤S550)。
控制部70基于位置变更后的5个像素的像素值生成近似曲线(步骤S560)。控制部70进行所生成的近似曲线的微分(步骤S570)。控制部70判定微分值的最大值是否大于第一规定值(步骤S580)。若判定为微分值的最大值大于第一规定值(在步骤S580中为″是″),控制部70再次执行步骤S550的处理。另一方面,若判定为微分值的最大值为第一规定值以下(在步骤S580中为″否″),则控制部70确定左边EL1的下端(步骤S590)。由此,确定左边EL1的上端和下端。
这样,在本实施方式的切断装置1中,通过反复移动规定数量的像素的位置并执行左边判定处理,以设定多个检查区域T1的至少一部分。因此,根据切断装置1,例如与基于拍摄图像IM1整体所包含的各像素PX1的像素值来设定检查区域T1的情况相比,能够高效地自动设定检查区域T1。
另外,根据切断装置1,规定数量的像素的位置沿斜向逐渐移动,多个电子部件S1的任意一边(例如,左边EL1)的一部分与规定数量的像素在较早阶段交叉,因此能够比较高效地确定多个电子部件S1的任意一边的一部分。
另外,根据切断装置1,由于基于所确定的左边EL1的一部分来确定左边EL1的其他部分,所以能够比较高效地确定左边EL1整体。
图16是用于说明确定第一个电子部件S1的右边ER1的工序的图。参照图16,在确定了左边EL1之后,基于左边EL1确定第一电子部件S1的右边ER1。
以自左边EL1中包含的各像素的位置向行方向右侧移动了多个像素的位置的各像素为基准,朝向行方向右侧选择规定数量的像素(5个像素),生成5个像素的集合。对5个像素的集合中包含的各5个像素,执行右边判定处理。为了确定右边ER1而最初选择的各5个像素中位于最左侧的各像素的位置成为自左边EL1的位置向行方向右侧移动了多个像素的位置。自左边EL1的位置移动的多个像素的数量例如基于电子部件S1的左右方向的长度的规格值而预先确定。
右边判定处理是基于规定数量的像素各自的像素值,判定该规定数量的像素中是否包含右边ER1的一部分的处理。在右边判定处理中,基于规定数量的像素各自的像素值,确定保持部件11b与电子部件S1的边界。例如,自图中的右侧朝向左侧,确定像素值小的像素(与保持部件11b对应的像素(暗像素))和像素值大的像素(与电子部件S1对应的像素(亮像素))以该顺序相邻排列的部分。
在上述的左边判定处理中,对成为左边判定处理的对象的5个像素,基于各像素值自图中左侧朝向右侧如何变化,判定规定数量的像素中是否包含左边EL1的一部分。另一方面,在右边判定处理中,对成为右边判定处理的对象的5个像素,基于各像素值自图中右侧朝向左侧如何变化,判定规定数量的像素中是否包含右边ER1的一部分。这是因为在包括左边EL1的5个像素中,像素值自左侧朝向右侧变大(变亮),而相对于此,在包括右边ER1的5个像素中,像素值自右侧朝向左侧变大。在其他方面,左边判定处理的内容与右边判定处理的内容相同。
在通过右边判定处理判定为在规定数量的像素(所选择的5个像素)的集合中存在不包含右边ER1的一部分的规定数量的像素的情况下,规定数量的像素的集合的位置向行方向右侧移动1个像素。之后,对变更后的规定数量的像素的集合执行右边判定处理。通过反复执行规定数量的像素集合的位置的变更和右边判定处理,确定右边ER1的位置。
图17是表示第一个电子部件S1中的右边ER1的确定处理(图7的步骤S310)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图17,控制部70决定成为右边判定处理的对象的规定数量的像素的集合的位置(步骤S600)。控制部70例如以自左边EL1中包含的各像素PX1的位置向行方向右侧移动了多个像素的位置的各像素PX1为基准,朝向行方向右侧将规定数量的像素(5个像素)决定为右边判定处理的对象的集合的位置。
控制部70基于所决定的各5个像素的像素值生成多个近似曲线(步骤S610)。控制部70对所生成的多个近似曲线的每一个进行微分(步骤S620)。控制部70判定微分值的各最大值是否大于第一规定值(步骤S630)。若判定为微分值的最大值的一部分为第一规定值以下(在步骤S630中为″否″),则控制部70将成为右边判定处理的对象的5个像素的集合的位置向右侧移动1个像素(步骤S640)。
控制部70基于变更后的成为右边判定处理的对象的5个像素的集合的位置,判定是否发生了错误(步骤S650)。例如,在变更后的成为右边判定处理的对象的5个像素的集合的左端的各像素的位置与左边EL1的位置之间的长度比电子部件S1的左右方向的长度的规格值长、且其差值为预定的长度以上的情况下,判定为发生了错误。
若判定为发生了错误(在步骤S650中为″是″),则控制部70以最后在图14的步骤S430中被判定为微分值的最大值大于第一规定值的5个像素为基准,再次执行步骤S440的处理。另一方面,若判定为未发生错误(在步骤S650中为″否″),则控制部70再次执行步骤S610、S620、S630(右边判定处理)。
另一方面,若判定为微分值的各最大值大于第一规定值(步骤S630中为″是″),则控制部70基于与通过右边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置,确定右边ER1(步骤S650)。
图18是用于说明分别确定第一个电子部件S1的上边ET1和下边EB1的工序的图。参照图18,在确定了左边EL1和右边ER1之后,基于左边EL1和右边ER1分别确定第一电子部件S1的上边ET1和下边EB1。
具体而言,选择与连接左边EL1和右边ER1各自的上端的像素的直线正交、且沿列方向排列的规定数量的像素(5个像素)的集合中位于左端的规定数量的像素,对所选择的5个像素执行上边判定处理。上边判定处理是如下处理:基于规定数量的像素各自的像素值,判定该规定数量的像素中是否包含上边ET1的一部分。在上边判定处理中,基于规定数量的像素各自的像素值,确定保持部件11b与电子部件S1的边界。例如,自图中的上侧朝向下侧,确定像素值小的像素(与保持部件11b对应的像素(暗像素))和像素值大的像素(与电子部件S1对应的像素(亮像素))以该顺序相邻排列的部分。
在上述的左边判定处理中,对成为左边判定处理的对象的5个像素,基于各像素值自图中左侧朝向右侧如何变化,判定在规定数量的像素中是否包含左边EL1的一部分。另一方面,在上边判定处理中,对成为上边判定处理的对象的5个像素,基于各像素值自图中上侧朝向下侧如何变化,判定在规定数量的像素中是否包含上边ET1的一部分。这是因为在包括左边EL1的5个像素中,像素值自左侧朝向右侧变大(变亮),而相对于此,在包括上边ET1的5个像素中,像素值自上侧朝向下侧变大。在其他方面,左边判定处理的内容与上边判定处理的内容相同。
反复执行所判定的规定数量的像素的位置向行方向右侧的变更和上边判定处理,直到通过上边判定处理判定为规定数量的像素中不包含上边ET1的一部分为止。通过上边判定处理判定为规定数量的像素中不包含上边ET1的一部分,由此分别确定上边ET1的左端和右端,并确定上边ET1。
另外,选择与连接左边EL1和右边ER1各自的下端的像素的直线正交、且沿列方向排列的规定数量的像素(5个像素)的集合中位于左端的规定数量的像素,对所选择的5个像素执行下边判定处理。下边判定处理是如下处理:基于规定数量的像素各自的像素值,判定该规定数量的像素中是否包含下边EB1的一部分。在下边判定处理中,基于规定数量的像素各自的像素值,确定保持部件11b与电子部件S1的边界。例如,自图中下侧朝向上侧,确定像素值小的像素(与保持部件11b对应的像素(暗像素))和像素值大的像素(与电子部件S1对应的像素(亮像素))以该顺序排列的部分。
在上述的左边判定处理中,对成为左边判定处理的对象的5个像素,基于各像素值自图中左侧朝向右侧如何变化,判定在规定数量的像素中是否包含左边EL1的一部分。另一方面,在下边判定处理中,对成为下边判定处理的对象的5个像素,基于各像素值自图中下侧朝向上侧如何变化,判定在规定数量的像素中是否包含下边EB1的一部分。这是因为在包括左边EL1的5个像素中,像素值自左侧朝向右侧变大(变亮),而相对于此,在包括下边EB1的5个像素中,像素值自下侧朝向上侧变大。在其他方面,左边判定处理的内容与下边判定处理的内容相同。
反复执行所判定的规定数量的像素的位置向行方向右侧的变更和下边判定处理,直到通过下边判定处理判定为规定数量的像素中不包含下边EB1的一部分为止。通过下边判定处理判定为规定数量的像素中不包含下边EB1的一部分,由此分别确定下边EB1的左端及右端,并确定下边EB1。
图19是表示第一个电子部件S1中的上边ET1的确定处理(图7的步骤S320)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图19,控制部70决定成为上边判定处理的对象的规定数量的像素的位置(步骤S700)。控制部70例如将与连接左边EL1和右边ERl各自的上端的像素的直线正交、且沿列方向排列的规定数量的像素(5个像素)的集合中位于左端的规定数量的像素决定为上边判定处理的对象。
控制部70基于所决定的5个像素的像素值生成近似曲线(步骤S710)。控制部70对所生成的近似曲线进行微分(步骤S720)。控制部70判定微分值的最大值是否大于第一规定值(步骤S730)。若判定为微分值的最大值大于第一规定值(在步骤S730中为″是″),则控制部70将成为上边判定处理的对象的5个像素的位置向行方向右侧移动1个像素(步骤S740),再次执行步骤S710、S720、S730(上边判定处理)。
另一方面,若判定为微分值的最大值为第一规定值以下(步骤S730中为″否″),则控制部70判定左边EL1的上端的位置与被判定为微分值的最大值为第一规定值以下的规定数量的像素的位置之间的长度(左右长度)与第二规定长度的差是否小于第三规定值(步骤S750)。第二规定长度例如是与电子部件S1的左右方向的长度的规格值对应的长度。第三规定值例如也可以是与电子部件S1的左右方向的长度的规格值的0.5%-5%对应的长度。
若判定为左右长度与第二规定长度的差为第三规定值以上(步骤S750中为″否″),则控制部70以最后在图14的步骤S430中被判定为微分值的最大值大于第一规定值的5个像素为基准,再次执行步骤S440的处理。
另一方面,若判定为左右长度与第二规定长度的差小于第三规定值(在步骤S750中为″是″),则控制部70基于与通过上边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置,确定上边ET1(步骤S760)。
图20是表示第一个电子部件S1中的下边EB1的确定处理(图7的步骤S330)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图20,控制部70决定成为下边判定处理的对象的规定数量的像素的位置(步骤S800)。控制部70例如将与连接左边ELl及右边ERl各自的下端的像素的直线正交、且沿列方向排列的规定数量的像素(5个像素)的集合中位于左端的规定数量的像素决定为下边判定处理的对象。
控制部70基于所决定的5个像素的像素值生成近似曲线(步骤S8l0)。控制部70对所生成的近似曲线进行微分(步骤S820)。控制部70判定微分值的最大值是否大于第一规定值(步骤S830)。若判定为微分值的最大值大于第一规定值(在步骤S830中为″是″),则控制部70将成为下边判定处理的对象的5个像素的位置向行方向右侧移动1个像素(步骤S840),再次执行步骤S8l0、S820、S830(下边判定处理)。
另一方面,若判定为微分值的最大值为第一规定值以下(步骤S830中为″否″),则控制部70判定左边EL1的下端的位置与被判定为微分值的最大值为第一规定值以下的规定数量的像素的位置之间的长度(左右长度)与第二规定长度的差是否小于第三规定值(步骤S850)。
若判定为左右长度与第二规定长度的差为第三规定值以上(步骤S850中为″否″),则控制部70以最后在图14的步骤S430中被判定为微分值的最大值大于第一规定值的5个像素为基准,再次执行步骤S440的处理。
另一方面,若判定为左右长度与第二规定长度的差小于第三规定值(在步骤S850中为″是″),则控制部70基于与通过下边判定处理得到的微分值的各最大值(最大值>第一规定值)对应的各像素位置,确定下边EB1(步骤S860)。然后,基于所确定的左边EL1、右边ER1、上边ET1和下边EB1设定检查区域T1。
这样,根据本实施方式的切断装置1,由于基于确定的左边EL1来确定包含左边EL1的电子部件S1的其他三个边,所以能够比较高效地设定检查区域T1。
另外,根据切断装置1,在探索与左边EL1相对的右边ER1时已确定了左边EL1,且已掌握了右边ER1的两端(上端和下端)的大致位置,因此能够比较高效地确定右边ER1。另外,根据切断装置1,在探索左边EL1和右边ER1以外的两边(上边ET1和下边EB1)时,已确定了左边EL1和右边ER1,且已掌握了左边EL1和右边ER1以外的两边各自的两端的大致位置,因此能够比较高效地确定除左边EL1和右边ER1以外的两边。
图21是用于说明在相对于第一个检查区域T1沿行方向或列方向移动后的位置设定其他检查区域T1的工序的图。参照图21,例如,基于检查区域T1A分别设定相对于检查区域T1A沿行方向移动后的位置的检查区域T1B、以及相对于检查区域T1A沿列方向移动后的位置的检查区域T1C。
为了设定相对于检查区域T1A沿行方向移动后的位置的检查区域T1,例如选择与检查区域T1A相同形状的临时检查区域T1B1。临时检查区域T1B1的形状与检查区域T1A的形状相同。即,临时检查区域T1B1的左边、右边、上边及下边各自的长度分别与检查区域T1A的左边、右边、上边及下边各自的长度相同。
临时检查区域T1B1的位置是相对于检查区域T1A的位置沿行方向移动了多个像素的位置。自检查区域T1A的位置移动多个像素的数量例如基于电子部件S1的左右方向的长度的规格值而预先确定。
若选择了临时检查区域T1(例如,临时检查区域T1B1),则执行判定临时检查区域T1(例如,临时检查区域T1B1)的左边、右边、上边以及下边是否分别与电子部件S1(例如,电子部件S1B)的左边、右边、上边以及下边对应的判定处理(以下,也称为″各边判定处理″)。在各边判定处理中,沿着临时检查区域T1的左边反复执行左边判定处理,沿着临时检查区域T1的右边反复执行右边判定处理。另外,沿着临时检查区域T1的上边反复执行上边判定处理,沿着临时检查区域T1的下边反复执行下边判定处理。由此,判定临时检查区域T1的各边是否与电子部件S1的边对应。
若判定为临时检查区域T1的任一边与电子部件S1的边不对应,则在沿行方向移动1个像素的位置选择新的临时检查区域T1(例如,临时检查区域T1B2)。之后,对新选择的临时检查区域T1执行各边判定处理。反复执行将临时检查区域T1的位置沿行方向移动的处理和各边判定处理,直到判定为临时检查区域T1的各边与电子部件S1的边对应为止。由此,设定相对于第一个检查区域T1沿行方向移动后的位置的其他检查区域T1。通过重复同样的工序,设定与存在于相对于第一个设定的检查区域T1沿行方向移动后的位置的各电子部件S1对应的检查区域T1。
为了设定相对于检查区域T1A沿列方向移动后的位置的检查区域T1,例如选择与检查区域T1A相同形状的临时检查区域T1C1。临时检查区域T1C1的形状与检查区域T1A的形状相同。即,临时检查区域T1C1的左边、右边、上边及下边各自的长度分别与检查区域T1A的左边、右边、上边及下边各自的长度相同。
临时检查区域T1C1的位置是相对于检查区域T1A的位置沿列方向移动了多个像素的位置。自检查区域T1A的位置移动的多个像素的数量例如基于电子部件S1的上下方向的长度的规格值而预先确定。
若选择了临时检查区域T1(例如,临时检查区域T1C1),则执行各边判定处理。若判定为临时检查区域T1的任一边与电子部件S1的边不对应,则在沿列方向上移动1个像素后的位置选择新的临时检查区域T1(例如,临时检查区域T1C2)。之后,对新选择的临时检查区域T1执行各边判定处理。反复执行将临时检查区域T1的位置沿列方向移动的处理和各边判定处理,直到判定为临时检查区域T1的各边与电子部件S1的边对应为止。由此,设定相对于第一个检查区域T1沿列方向移动后的位置的其他检查区域Tl。通过重复同样的工序,设定与存在于相对于第一个设定的检查区域T1沿列方向移动后的位置的各电子部件S1对应的检查区域T1。
图22是表示相对于第一个检查区域T1沿行方向移动后的位置的其他检查区域T1的设定处理(图6的步骤S210)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图22,控制部70基于设定完毕的检查区域T1,在自设定完毕的检查区域T1沿行方向移动了多个像素的位置选择临时检查区域T1(步骤S900)。控制部70对所选择的临时检查区域T1执行各边判定处理(步骤S910)。控制部70判定临时检查区域T1的各边是否与电子部件S1的边对应(步骤S920)。
若判定为临时检查区域T1的任一边与电子部件S1的边不对应(步骤S920中为″否″),则控制部70通过将临时检查区域T1的位置沿行方向移动1个像素来变更临时检查区域T1的位置(步骤S930)。然后,控制部70再次执行步骤S910、S920的处理。
另一方面,若判定为临时检查区域T1的各边与电子部件S1的边对应(在步骤S920中为″是″),则控制部70将当前所选择的临时检查区域T1设定为检查区域T1(步骤S940)。然后,控制部70判定是否设定了与在行方向上存在的全部电子部件S1对应的检查区域T1(步骤S950)。若判定为与在行方向上存在的全部电子部件S1对应的检查区域T1的设定未完成(在步骤S950中为″否″),则控制部70再次执行步骤S900的处理。另一方面,若判定为已设定了与在行方向上存在的全部电子部件S1对应的检查区域T1(在步骤S950中为″是″),则该流程图所示的处理结束。
图23是表示相对于第一个检查区域T1沿列方向移动后的位置的其他检查区域T1的设定处理(图6的步骤S220)的工序的流程图。该流程图所示的处理由计算机50的控制部70执行。
参照图23,控制部70基于设定完毕的检查区域T1,在自设定完毕的检查区域T1沿列方向移动了多个像素的位置选择临时检查区域T1(步骤S1000)。控制部70对所选择的临时检查区域T1执行各边判定处理(步骤S1010)。控制部70判定临时检查区域T1的各边是否与电子部件S1的边对应(步骤S1020)。
若判定为临时检查区域T1的任一边与电子部件S1的边不对应(步骤S1020中为″否″),则控制部70通过将临时检查区域T1的位置沿列方向移动1个像素来变更临时检查区域T1的位置(步骤S1030)。然后,控制部70再次执行步骤S1010、S1020的处理。
另一方面,若判定为临时检查区域T1的各边与电子部件S1的边对应(在步骤S1020中为″是″),则控制部70将当前所选择的临时检查区域T1设定为检查区域T1(步骤S1040)。然后,控制部70判定是否设定了与存在于列方向上的全部电子部件S1对应的检查区域T1(步骤S1050)。若判定为与存在于列方向上的全部电子部件S1对应的检查区域T1的设定未完成时(在步骤S1050中为″否″),则控制部70再次执行步骤S1000的处理。另一方面,若判定为已设定了与在列方向上存在的全部电子部件S1对应的检查区域T1(在步骤S1050中为″是″),则该流程图所示的处理结束。
这样,根据本实施方式的切断装置1,由于基于最初确定的检查区域T1确定其他的检查区域T1,因此能够比较高效地确定多个检查区域T1。
[4.特征]
如上所述,在本实施方式的切断装置1中,通过反复移动规定数量的像素PXl的位置并执行判定处理(例如,左边判定处理),以设定多个检查区域T1的至少一部分。因此,根据切断装置1,例如与基于拍摄图像IM1整体所包含的各像素PX1的像素值来设定检查区域Tl的情况相比,能够高效地自动设定检查区域T1。
另外,切断装置1是本发明中的″切断装置″的一例。电子部件S1是本发明中的″切断品″的一例。第一光学检查照相机12和第二光学检查照相机13是本发明的″拍摄部″的一例。控制部70是本发明中的″第一处理部″的一例,并是″第二处理部″的一例。拍摄图像IMl是本发明中的″拍摄图像″的一例。
[5.其他实施方式]
上述实施方式的构思不限于以上说明的实施方式。例如,可以组合任一实施方式的至少一部分的结构和其它任一实施方式的至少一部分的结构。以下,对能够适用上述实施方式的构思的其他实施方式的一例进行说明。
<5-1>
在上述实施方式中,切断装置1由计算机50控制。但是,切断装置1不需要由一台计算机50控制,也可以由多台计算机控制。
<5-2>
另外,在上述实施方式中,检查工作台11的保持部件11b的颜色为黑色。但是,如上所述,保持部件11b的颜色也可以是白色。在保持部件11b的颜色为白色的情况下,在电子部件S1的左边像素值自左朝向右变小,在右边像素值自右朝向左变小。另外,在电子部件S1的上边像素值自上朝向下变小,在下边像素值自下朝向上变小。因此,在左边判定处理中,当表示像素值的自左朝向右的变化的近似曲线的微分值的最小值小于阈值时,也可以判定为在规定数量的像素中包含有左边的一部分。另外,在左边判定处理中,在表示像素值的自右向左的变化的近似曲线的微分值的最大值大于阈值的情况下,也可以判定为规定数量的像素中包含有左边的一部分。可以说,在右边判定处理、上边判定处理及下边判定处理中也分别相同。
<5-3>
另外,在上述实施方式中,为了设定最初的检查区域T1,首先确定了左边EL1。然而,最初确定的边不限于左边EL1。可以最初确定右边ER1,也可以最初确定上边ET1,也可以最初确定下边EB1。
<5-4>
另外,在用于分别确定左边EL1、右边ER1、上边ET1以及下边EB1的处理中,移动规定数量的像素时的像素单位也可以不是1个像素。也可以以多个像素为单位移动规定数量的像素的位置。另外,规定数量的像素不需要是5个像素。规定数量的像素只要是2个像素以上的像素即可。另外,在用于设定第二个以后的检查区域T1的处理中,将临时检查区域T1移动时的像素单位也可以不是一个像素。也可以以多个像素为单位移动临时检查区域T1的位置。
<5-5>
另外,在上述实施方式中,根据基于规定数量的像素各自的像素值而生成的近似曲线的微分值来确定拍摄图像IM1中的电子部件S1的各边。但是,在确定拍摄图像IM1中的电子部件S1的各边时,也可以不必使用该微分值。
<5-6>
另外,在上述实施方式中,由第二光学检查照相机13一次拍摄配置在检查工作台11上的多个电子部件S1中的仅一部分。但是,第二光学检查照相机13的拍摄区域并不限于此,也可以由第二光学检查照相机13一次拍摄配置在检查工作台11上的多个电子部件S1的全部。
<5-7>
另外,在上述实施方式中,在不经过各边判定处理的情况下设定第二个以后设定的检查区域T1中的一部分的检查区域T1(例如图4的检查区域T1D)。但是,第二个以后设定的检查区域T1的设定方法并不限定于此,例如,也可以经由各边判定处理来设定在拍摄图像IM1中第二个以后设定的全部检查区域T1。
<5-8>
另外,在上述实施方式中,在设定了第一个检查区域T1之后,设定沿行方向移动后的位置的检查区域T1,然后,设定沿列方向移动后的位置的检查区域T1。但是,各检查区域T1的设定顺序不限于此。例如,也可以在设定了第一个检查区域T1之后,设定沿列方向移动后的位置的检查区域T1,然后,设定沿行方向移动后的位置的检查区域T1。
<5-9>
另外,在上述实施方式中,为了设定第一个检查区域T1,依次确定了左边EL1、右边ER1、上边ET1以及下边EB1。但是,确定各边的顺序并不限于此。
<5-10>
另外,在上述实施方式中,主要说明了由第二光学检查照相机13拍摄的拍摄图像IM1中的检查区域T1的设定,但也可以在由第一光学检查照相机12拍摄的拍摄图像中的检查区域的设定中也进行同样的处理。
<5-ll>
另外,在上述实施方式中,在确定左边ELl的一部分、确定左边ELl的其他部分的情况下,首先确定左边EL1的上端,之后确定左边ELl的下端。然而,上端和下端的确定顺序不限于此。例如,在确定左边ELl的一部分、确定左边EL1的其他部分的情况下,也可以首先确定左边EL1的下端,之后确定左边ELl的上端。
以上,对本发明的实施方式进行了示例性说明。即,出于示例性说明目的而公开了详细描述和附图。因此,在详细的说明以及附图中所记载的构成要素中,可能包含了对于解决课题而言并非必要的构成要素。因此,不应该因在详细描述和附图中描述了这些非必要的构成要素,而直接将这些非必要的构成要素认定为是必要的。
另外,上述实施方式在所有方面都只过是本发明的示例。上述实施方式在本发明的范围内可以进行各种改良、变更。例如,可以组合任一实施方式的至少一部分结构和其他任一实施方式的至少一部分结构。即,在实施本发明时,能够对应实施方式适当采用具体的结构。
[6.附记]
<技术1>
(构成)
一种通过切断基板来制造多个切断品的切断装置,具备:
拍摄部,通过拍摄所述多个切断品的一部分或全部来生成拍摄图像;
第一处理部,设定所述拍摄图像中的多个检查区域;和
第二处理部,基于所述拍摄图像中所述多个检查区域各自包含的图像,检查所述拍摄图像中包含的各切断品的外观,
所述多个检查区域各自的形状为矩形,
所述各切断品的形状为矩形,
所述第一处理部基于在所述拍摄图像中连续位于第一方向上的规定数量的像素各自的像素值,执行判定所述规定数量的像素中是否包含所述多个切断品的任意一边的一部分的判定处理,
所述规定数量小于所述拍摄图像整体的像素数,
所述第一处理部通过反复移动所述规定数量的像素的位置并执行所述判定处理,设定所述多个检查区域的至少一部分。
(效果等)
在该切断装置中,通过反复移动规定数量的像素的位置并执行上述判定处理,来设定多个检查区域的至少一部分。因此,根据该切断装置,例如,与基于拍摄图像整体所包含的各像素的像素值来设定检查区域的情况相比,能够高效地自动设定检查区域。
<技术2>
(构成)
根据技术1所述的切断装置,其中,
所述拍摄图像的左边、右边、上边及下边分别与所述各切断品的左边、右边、上边及下边平行。
<技术3>
(构成)
根据技术1或技术2所述的切断装置,其中,
所述第一处理部通过反复将所述规定数量的像素的位置向第二方向移动并执行所述判定处理,设定所述多个检查区域的至少一部分,
所述第二方向是相对于所述第一方向倾斜的方向。
(效果等)
根据该切断装置,由于规定数量的像素的位置沿斜向逐渐移动,多个切断品的任意一边的一部分与规定数量的像素在较早的阶段交叉,因此能够比较高效地确定多个切断品的任意一边的一部分。
<技术4>
(构成)
根据技术1至技术3中任一项所述的切断装置,其中,
所述第一方向是行方向或列方向。
<技术5>
(构成)
根据技术3或技术4所述的切断装置,其中,
所述第一处理部通过将所述规定数量的像素各自的位置沿行方向移动一个像素或多个像素并且沿列方向移动一个像素或多个像素,将所述规定数量的像素的位置向所述第二方向移动。
(效果等)
根据该切断装置,规定数量的像素的位置沿行方向以1个像素或多个像素为单位逐渐移动、并沿列方向以1个像素或多个像素为单位逐渐移动,多个切断品的任意一边的一部分与规定数量的像素在较早的阶段交叉,因此能够比较高效地确定多个切断品的任意一边的一部分。
<技术6>
(构成)
根据技术1至技术5中任一项所述的切断装置,其中,
所述第一处理部在通过所述判定处理判定为在所述规定数量的像素中包含作为所述多个切断品的任意一边的第一边的一部分的情况下,通过基于被判定为包含所述第一边的一部分的所述规定数量的像素的至少一部分来确定所述第一边的其他部分,确定所述第一边。
(效果等)
根据该切断装置,由于基于所确定的第一边的一部分来确定第一边的其他部分,因此能够比较高效地确定第一边整体。
<技术7>
(构成)
根据技术6所述的切断装置,其中,
所述第一处理部基于所确定的所述第一边来确定包含所述第一边的切断品的其他三边,并基于所确定的四边来设定所述多个检查区域中的任一个。
(效果等)
根据该切断装置,由于基于所确定的第一边来确定包含第一边的切断品的其他三边,因此能够比较高效地设定检查区域。
<技术8>
(构成)
根据技术7所述的切断装置,其中,
所述第一处理部基于所确定的所述第一边来确定所述其他三边中与所述第一边相对的第二边,之后,确定所述第一边和所述第二边以外的两边。
(效果等)
根据该切断装置,在探索与第一边相对的第二边时已确定了第一边,且已掌握了第二边两端的大致位置,因此能够比较高效地确定第二边。另外,根据该切断装置,在探索第一边和第二边以外的两边时,已确定了第一边和第二边且已掌握了第一边和第二边以外的两边各自的两端的大致位置,因此能够比较高效地确定第一边和第二边以外的两边。
<技术9>
(构成)
根据技术1至技术8中任一项所述的切断装置,其中,
所述第一处理部基于所述多个检查区域中最初设定的检查区域,设定所述多个检查区域中的其他检查区域。
(效果等)
根据该切断装置,由于基于最初确定的检查区域来确定其他检查区域,因此能够比较高效地确定多个检查区域。
<技术10>
(构成)
一种切断品的制造方法,使用了技术1至技术9中任一项所述的切断装置,
所述切断装置具备:
切断工作台,配置所述基板;和
切断部,切断配置在所述切断工作台的所述基板,
所述制造方法包括:
将所述基板配置在所述切断工作台的步骤;
通过切断配置在所述切断工作台的所述基板来制造所述多个切断品的步骤;
通过拍摄所述多个切断品的一部分或全部来生成所述拍摄图像的步骤;
设定所述拍摄图像中的所述多个检查区域的步骤;和
基于所述拍摄图像中所述多个检查区域各自包含的图像,检查所述拍摄图像中包含的所述各切断品的外观的步骤。
(效果等)
在该切断品的制造方法中,通过反复移动规定数量的像素的位置并执行上述判定处理,来设定多个检查区域的至少一部分。因此,根据该切断品的制造方法,例如,与基于拍摄图像整体所包含的各像素的像素值来设定检查区域的情况相比,能够高效地自动设定检查区域。
Claims (10)
1.一种通过切断基板来制造多个切断品的切断装置,具备:
拍摄部,通过拍摄所述多个切断品的一部分或全部来生成拍摄图像;
第一处理部,设定所述拍摄图像中的多个检查区域;和
第二处理部,基于所述拍摄图像中所述多个检查区域各自包含的图像,检查所述拍摄图像中包含的各切断品的外观,
所述多个检查区域各自的形状为矩形,
所述各切断品的形状为矩形,
所述第一处理部基于在所述拍摄图像中连续位于第一方向上的规定数量的像素各自的像素值,执行判定所述规定数量的像素中是否包含所述多个切断品的任意一边的一部分的判定处理,
所述规定数量小于所述拍摄图像整体的像素数,
所述第一处理部通过反复移动所述规定数量的像素的位置并执行所述判定处理,设定所述多个检查区域的至少一部分。
2.根据权利要求1所述的切断装置,其中,
所述拍摄图像的左边、右边、上边及下边分别与所述各切断品的左边、右边、上边及下边平行。
3.根据权利要求1或2所述的切断装置,其中,
所述第一处理部通过反复将所述规定数量的像素的位置向第二方向移动并执行所述判定处理,设定所述多个检查区域的至少一部分,
所述第二方向是相对于所述第一方向倾斜的方向。
4.根据权利要求1至权利要求3中任一项所述的切断装置,其中,
所述第一方向是行方向或列方向。
5.根据权利要求3或4所述的切断装置,其中,
所述第一处理部通过将所述规定数量的像素各自的位置沿行方向移动一个像素或多个像素并且沿列方向移动一个像素或多个像素,将所述规定数量的像素的位置向所述第二方向移动。
6.根据权利要求1至权利要求5中任一项所述的切断装置,其中,
所述第一处理部在通过所述判定处理判定为在所述规定数量的像素中包含作为所述多个切断品的任意一边的第一边的一部分的情况下,通过基于被判定为包含所述第一边的一部分的所述规定数量的像素的至少一部分来确定所述第一边的其他部分,确定所述第一边。
7.根据权利要求6所述的切断装置,其中,
所述第一处理部基于所确定的所述第一边来确定包含所述第一边的切断品的其他三边,并基于所确定的四边来设定所述多个检查区域中的任一个。
8.根据权利要求7所述的切断装置,其中,
所述第一处理部基于所确定的所述第一边来确定所述其他三边中与所述第一边相对的第二边,之后,确定所述第一边和所述第二边以外的两边。
9.根据权利要求1至权利要求8中任一项所述的切断装置,其中,
所述第一处理部基于所述多个检查区域中最初设定的检查区域,设定所述多个检查区域中的其他检查区域。
10.一种切断品的制造方法,使用了权利要求1至权利要求9中任一项所述的切断装置,
所述切断装置具备:
切断工作台,配置所述基板;和
切断部,切断配置在所述切断工作台的所述基板,
所述制造方法包括:
将所述基板配置在所述切断工作台的步骤;
通过切断配置在所述切断工作台的所述基板来制造所述多个切断品的步骤;
通过拍摄所述多个切断品的一部分或全部来生成所述拍摄图像的步骤;
设定所述拍摄图像中的所述多个检查区域的步骤;和
基于所述拍摄图像中所述多个检查区域各自包含的图像,检查所述拍摄图像中包含的所述各切断品的外观的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-204242 | 2022-12-21 | ||
| JP2022204242A JP2024089097A (ja) | 2022-12-21 | 2022-12-21 | 切断装置、及び、切断品の製造方法 |
| PCT/JP2023/026966 WO2024134950A1 (ja) | 2022-12-21 | 2023-07-24 | 切断装置、及び、切断品の製造方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120226126A true CN120226126A (zh) | 2025-06-27 |
Family
ID=91588013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380080708.XA Pending CN120226126A (zh) | 2022-12-21 | 2023-07-24 | 切断装置和切断品的制造方法 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP2024089097A (zh) |
| KR (1) | KR20250125954A (zh) |
| CN (1) | CN120226126A (zh) |
| TW (1) | TWI863631B (zh) |
| WO (1) | WO2024134950A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120977951A (zh) * | 2025-10-17 | 2025-11-18 | 江苏京创先进电子科技有限公司 | 多片产品切割方法、系统、切割控制装置及多片产品贴膜方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08181178A (ja) * | 1994-12-27 | 1996-07-12 | Lintec Corp | ウェハ外観検査装置およびウェハ外観検査方法 |
| JP5399690B2 (ja) | 2008-11-28 | 2014-01-29 | アピックヤマダ株式会社 | 切断装置 |
| JP7614802B2 (ja) * | 2020-11-24 | 2025-01-16 | Towa株式会社 | 切断装置及び切断品の製造方法 |
| JP7154336B2 (ja) * | 2021-03-26 | 2022-10-17 | Towa株式会社 | 切断装置、及び、切断品の製造方法 |
| JP7121846B1 (ja) * | 2021-10-12 | 2022-08-18 | Towa株式会社 | 切断装置、及び切断品の製造方法 |
-
2022
- 2022-12-21 JP JP2022204242A patent/JP2024089097A/ja active Pending
-
2023
- 2023-07-24 KR KR1020257016155A patent/KR20250125954A/ko active Pending
- 2023-07-24 WO PCT/JP2023/026966 patent/WO2024134950A1/ja not_active Ceased
- 2023-07-24 CN CN202380080708.XA patent/CN120226126A/zh active Pending
- 2023-10-18 TW TW112139729A patent/TWI863631B/zh active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120977951A (zh) * | 2025-10-17 | 2025-11-18 | 江苏京创先进电子科技有限公司 | 多片产品切割方法、系统、切割控制装置及多片产品贴膜方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20250125954A (ko) | 2025-08-22 |
| JP2024089097A (ja) | 2024-07-03 |
| TW202427574A (zh) | 2024-07-01 |
| TWI863631B (zh) | 2024-11-21 |
| WO2024134950A1 (ja) | 2024-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101803792B1 (ko) | 필름 프레임으로부터의 정확한 다이 분리를 자동으로 검증하기 위한 시스템 및 방법 | |
| JPH04233245A (ja) | 半導体チップと導体リード・フレームの検査及び位置合せのためのシステム及び方法 | |
| JP6903268B2 (ja) | 電子部品搬送装置および電子部品検査装置 | |
| JP2020013841A (ja) | 半導体製造装置および半導体装置の製造方法 | |
| CN114746232B (zh) | 统计数据生成方法、切割装置以及系统 | |
| TWI770723B (zh) | 雙面晶圓成像裝置及其方法 | |
| KR20140070464A (ko) | 기판의 결함 검사 방법, 기판의 결함 검사 장치 및 컴퓨터 기억 매체 | |
| CN120226126A (zh) | 切断装置和切断品的制造方法 | |
| KR101275133B1 (ko) | 플립칩 본딩장치 | |
| TWI720891B (zh) | 晶片封裝的檢測系統以及晶片封裝的檢測方法 | |
| CN112964722A (zh) | 一种超大视野分布计算视觉检测方法及检测系统 | |
| JP4733001B2 (ja) | 部品実装装置、部品実装方法及びプログラム | |
| TWI835241B (zh) | 維護方法、及電子零件的製造方法 | |
| CN117677468A (zh) | 切断装置以及切断品的制造方法 | |
| JP2005175307A (ja) | 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置 | |
| CN210294105U (zh) | 缺陷检测装置 | |
| TWI880262B (zh) | 切斷裝置、及切斷品的製造方法 | |
| TWI897626B (zh) | 檢查系統、半導體製造裝置及檢查方法 | |
| KR102917760B1 (ko) | 3d 측정기를 이용한 양불 검사 시스템 | |
| KR20030085874A (ko) | 반도체패키지의 분류방법 | |
| US10311597B2 (en) | Apparatus and method of determining a bonding position of a die | |
| WO2006132490A1 (en) | In-tray inspection apparatus and method of semiconductor package | |
| TW202524611A (zh) | 檢查裝置、切斷裝置及半導體零件的製造方法 | |
| WO2023037670A1 (ja) | 校正方法、及び電子部品の製造方法 | |
| JPH07193398A (ja) | 自動組立・実装装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |