JP2018018304A - Electronic component conveyance apparatus and electronic component inspection apparatus - Google Patents
Electronic component conveyance apparatus and electronic component inspection apparatus Download PDFInfo
- Publication number
- JP2018018304A JP2018018304A JP2016148118A JP2016148118A JP2018018304A JP 2018018304 A JP2018018304 A JP 2018018304A JP 2016148118 A JP2016148118 A JP 2016148118A JP 2016148118 A JP2016148118 A JP 2016148118A JP 2018018304 A JP2018018304 A JP 2018018304A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- electronic component
- image
- model image
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/912—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rectilinear movements only
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/28—Testing of electronic circuits, e.g. by signal tracer
- G01R31/2851—Testing of integrated circuits [IC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Testing Of Individual Semiconductor Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】搬送位置を補正して高精度搬送を実現する電子部品搬送装置及び電子部品検査装置を提供する。
【解決手段】電子部品搬送装置は、電子部品を載置可能な電子部品載置部と、電子部品載置部の画像を撮像可能な撮像部51と、画像に基づいて電子部品載置部のモデル画像を作成可能なモデル画像作成部314とを有し、モデル画像作成部314は、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを調整可能である。
【選択図】図3An electronic component conveyance device and an electronic component inspection device that realize high-precision conveyance by correcting a conveyance position.
An electronic component transport apparatus includes an electronic component placement unit that can place an electronic component, an imaging unit that can capture an image of the electronic component placement unit, and an electronic component placement unit based on the image. A model image creating unit 314 capable of creating a model image, and the model image creating unit 314 can adjust at least one of brightness of the model image and a cut-out position of the model image with respect to the image.
[Selection] Figure 3
Description
本発明は、電子部品搬送装置及び電子部品検査装置に関するものである。 The present invention relates to an electronic component conveying device and an electronic component inspection device.
ICハンドラーでは、カメラで撮影した画像から搬送元及び搬送先の位置を画像処理によって認識し、搬送位置を補正して高精度搬送を実現している。この画像処理では、予め登録しておいた搬送位置のモデル画像を使用している。モデル画像は、搬送位置毎(トレイ、チェンジキット)に登録する。このため、検査設定(レシピ)の作成時には、多数のモデル画像を一通り登録する作業が必要となる。 The IC handler recognizes the positions of the transfer source and transfer destination from the image captured by the camera by image processing, and corrects the transfer position to realize high-precision transfer. In this image processing, a model image of the transport position registered in advance is used. The model image is registered for each conveyance position (tray, change kit). For this reason, when creating an inspection setting (recipe), it is necessary to register a large number of model images.
この画像作業の中で「明るさ調整」と「モデル画像の切り出し」とは、作業者の主観により行われるため、作業者によって登録モデル画像に違いが出てしまう。同じ作業者でも、登録するたびに異なる場合もある。また、作業者は多数ある搬送位置のモデル画像登録を行う必要があるため、多くの作業を強いられて負担となる。 In this image work, “brightness adjustment” and “cutout of model image” are performed according to the subjectivity of the worker, so that the registered model image differs depending on the worker. Even the same worker may be different each time he registers. In addition, since it is necessary for the worker to register model images at a large number of transport positions, a lot of work is required and a burden is imposed.
例えば、部品の有無を検出するためのモデル画像を登録することが開示されている(例えば、特許文献1参照)。 For example, registering a model image for detecting the presence or absence of a component is disclosed (for example, refer to Patent Document 1).
しかしながら、特許文献1には画像の明るさや位置を最適化する場合の調整方法の開示がない。 However, Patent Document 1 does not disclose an adjustment method for optimizing the brightness and position of an image.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.
[適用例1]本適用例に係る電子部品搬送装置は、電子部品を載置可能な電子部品載置部と、前記電子部品載置部の画像を撮像可能な撮像部と、前記画像に基づいて前記電子部品載置部のモデル画像を作成可能なモデル画像作成部とを有し、前記モデル画像作成部は、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを調整可能なことを特徴とする。 Application Example 1 An electronic component transport apparatus according to this application example is based on an electronic component placement unit that can place an electronic component, an imaging unit that can capture an image of the electronic component placement unit, and the image. A model image creation unit capable of creating a model image of the electronic component placement unit, and the model image creation unit includes at least one of brightness of the model image and a cut-out position of the model image with respect to the image Can be adjusted.
本適用例によれば、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを調整することができる。これにより、最適なモデル画像を得ることができる。その結果、搬送位置を補正して高精度搬送を実現する電子部品搬送装置を提供できる。 According to this application example, at least one of the brightness of the model image and the cutout position of the model image with respect to the image can be adjusted. Thereby, an optimal model image can be obtained. As a result, it is possible to provide an electronic component transport apparatus that corrects the transport position and realizes highly accurate transport.
[適用例2]上記適用例に記載の電子部品搬送装置において、前記モデル画像作成部は、前記画像内の画素の明るさ及び画素の個数に基づいて自動で前記モデル画像の明るさを調整することが好ましい。 Application Example 2 In the electronic component conveying apparatus according to the application example described above, the model image creation unit automatically adjusts the brightness of the model image based on the brightness and the number of pixels in the image. It is preferable.
本適用例によれば、明るさを自動制御することができる。 According to this application example, the brightness can be automatically controlled.
[適用例3]上記適用例に記載の電子部品搬送装置において、明るさ調整パラメーターを入力する入力部を有し、前記モデル画像作成部は、入力された前記明るさ調整パラメーターを用いて前記モデル画像の明るさを調整することが好ましい。 Application Example 3 In the electronic component conveying apparatus according to the application example described above, the electronic component transport device includes an input unit that inputs a brightness adjustment parameter, and the model image creation unit uses the input brightness adjustment parameter to input the model. It is preferable to adjust the brightness of the image.
本適用例によれば、調整する明るさの数値の容易な制御が可能となる。 According to this application example, it is possible to easily control the numerical value of the brightness to be adjusted.
[適用例4]上記適用例に記載の電子部品搬送装置において、前記モデル画像の切り出し位置の調整は、前記撮像部の撮像した前記画像の画像データを微分処理して調整することが好ましい。 Application Example 4 In the electronic component transport apparatus according to the application example described above, the adjustment of the cutout position of the model image is preferably performed by differentiating the image data of the image captured by the imaging unit.
本適用例によれば、画像を微分処理して作成することにより容易に強調処理することができる。 According to this application example, it is possible to easily perform enhancement processing by creating an image by differentiating the image.
[適用例5]上記適用例に記載の電子部品搬送装置において、表示部を有し、前記モデル画像作成部は、前記撮像部の撮像信号に基づいて前記画像内の画素の明るさ及び画素の個数を前記表示部に表示することが好ましい。 Application Example 5 In the electronic component conveying apparatus according to the application example described above, the electronic component transport device includes a display unit, and the model image creating unit is configured to determine the brightness of the pixels in the image and the pixel based on the imaging signal of the imaging unit. It is preferable to display the number on the display unit.
本適用例によれば、明るさに基づく画像全体の輝度値と、所定の閾値(輝度値)とを比較するなどして、当該画像の明るさを容易に調整することができ、また明るさの数値の確認が容易になることから明るさ調整に対して非常に便利なものとなる。 According to this application example, it is possible to easily adjust the brightness of the image by comparing the brightness value of the entire image based on the brightness with a predetermined threshold value (brightness value). Since it is easy to confirm the numerical value, it is very convenient for brightness adjustment.
[適用例6]上記適用例に記載の電子部品搬送装置において、前記モデル画像作成部は、前記画像内の画素の明るさ及び画素の個数を数値化することが好ましい。 Application Example 6 In the electronic component transport apparatus according to the application example described above, it is preferable that the model image creation unit digitizes the brightness and the number of pixels in the image.
本適用例によれば、明るさを容易に自動制御することができる。 According to this application example, the brightness can be automatically controlled easily.
[適用例7]上記適用例に記載の電子部品搬送装置において、前記数値化は、前記画像内の画素の明るさを第1軸、前記画素の個数を前記第1軸と直交する第2軸にするヒストグラムを作成することが好ましい。 Application Example 7 In the electronic component transport apparatus according to the application example described above, in the digitization, the brightness of pixels in the image is a first axis, and the number of pixels is a second axis orthogonal to the first axis. It is preferable to create a histogram.
本適用例によれば、公知のヒストグラムを用いることによって数値化がモデル画像作成部によって生成されるので、モデル画像作成部を簡素に構成することができ、また適切な数値化の生成が可能となる。 According to this application example, since the digitization is generated by the model image creation unit by using a known histogram, the model image creation unit can be simply configured, and appropriate digitization can be generated. Become.
[適用例8]上記適用例に記載の電子部品搬送装置において、前記モデル画像作成部は、前記ヒストグラムを前記表示部に表示することが好ましい。 Application Example 8 In the electronic component transport apparatus according to the application example, it is preferable that the model image creation unit displays the histogram on the display unit.
本適用例によれば、ヒストグラムの表示により明るさの傾向を容易に把握することができる。 According to this application example, the tendency of brightness can be easily grasped by displaying the histogram.
[適用例9]本適用例に係る電子部品搬送装置は、電子部品を載置可能な電子部品載置部と、前記電子部品載置部の画像を撮像可能な撮像部と、前記画像に基づいて前記電子部品載置部のモデル画像の設定情報を表示可能で、前記モデル画像の自動登録の指示を受付可能な指示受付部を有するモデル画像表示設定部とを有し、前記モデル画像表示設定部は、前記電子部品載置部を選択可能な電子部品載置部選択部を有し、前記指示受付部で指示した場合、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを自動で調整可能なことを特徴とする。 Application Example 9 An electronic component transport apparatus according to this application example is based on an electronic component placement unit that can place an electronic component, an imaging unit that can capture an image of the electronic component placement unit, and the image. A model image display setting unit having an instruction receiving unit capable of displaying setting information of the model image of the electronic component placement unit and receiving an instruction for automatic registration of the model image, and the model image display setting The electronic component placement unit selection unit that can select the electronic component placement unit, and when instructed by the instruction receiving unit, the brightness of the model image and the cutout position of the model image with respect to the image It is characterized in that at least one can be automatically adjusted.
本適用例によれば、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを調整することができる。これにより、最適なモデル画像を得ることができる。その結果、搬送位置を補正して高精度搬送を実現する電子部品搬送装置を提供できる。 According to this application example, at least one of the brightness of the model image and the cutout position of the model image with respect to the image can be adjusted. Thereby, an optimal model image can be obtained. As a result, it is possible to provide an electronic component transport apparatus that corrects the transport position and realizes highly accurate transport.
[適用例10]本適用例に係る電子部品検査装置は、電子部品を載置可能な電子部品載置部と、前記電子部品載置部の画像を撮像可能な撮像部と、前記画像に基づいて前記電子部品載置部のモデル画像を作成可能なモデル画像作成部と、前記電子部品を検査する検査部とを有し、前記モデル画像作成部は、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを調整可能なことを特徴とする。 Application Example 10 An electronic component inspection apparatus according to this application example is based on an electronic component placement unit that can place an electronic component, an imaging unit that can capture an image of the electronic component placement unit, and the image. A model image creation unit capable of creating a model image of the electronic component placement unit, and an inspection unit for inspecting the electronic component, wherein the model image creation unit It is characterized in that at least one of the cutout positions of the model image can be adjusted.
本適用例によれば、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを調整することができる。これにより、最適なモデル画像を得ることができる。その結果、搬送位置を補正して高精度搬送を実現する電子部品検査装置を提供できる。 According to this application example, at least one of the brightness of the model image and the cutout position of the model image with respect to the image can be adjusted. Thereby, an optimal model image can be obtained. As a result, it is possible to provide an electronic component inspection apparatus that realizes highly accurate conveyance by correcting the conveyance position.
(第1実施形態)
以下、本発明の電子部品搬送装置及び電子部品検査装置を添付図面に示す実施形態に基づいて詳細に説明する。
(First embodiment)
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an electronic component conveying device and an electronic component inspection device of the present invention will be described in detail based on embodiments shown in the accompanying drawings.
図1は、本実施形態に係る検査装置を示す概略斜視図である。図2は、図1に示す検査装置の概略平面図である。図3は、図1に示す検査装置が有する制御装置、設定表示部、及び載置部画像取得部を示すブロック図である。図4は、図2に示す載置部画像取得部の概略側面図である。 FIG. 1 is a schematic perspective view showing an inspection apparatus according to this embodiment. FIG. 2 is a schematic plan view of the inspection apparatus shown in FIG. FIG. 3 is a block diagram illustrating a control device, a setting display unit, and a placement unit image acquisition unit included in the inspection apparatus illustrated in FIG. 1. FIG. 4 is a schematic side view of the placement unit image acquisition unit shown in FIG.
なお、図1、図2、図4(後述)、及び図13(後述)では、説明の便宜上、互いに直交する3つの軸であるX軸、Y軸、及びZ軸を矢印で図示しており、その矢印の先端側を「+(プラス)」、基端側を「−(マイナス)」としている。また、以下では、X軸に平行な方向(第1方向)を「X軸方向」、Y軸に平行な方向(第2方向)を「Y軸方向」、Z軸に平行な方向を「Z軸方向」という。また、以下では、説明の便宜上、図1中の上側(+Z軸方向側)を「上」、下側(−Z軸方向側)を「下」という。 In FIG. 1, FIG. 2, FIG. 4 (described later), and FIG. 13 (described later), the X axis, the Y axis, and the Z axis, which are three axes orthogonal to each other, are indicated by arrows for convenience of description. The tip side of the arrow is “+ (plus)”, and the base side is “− (minus)”. In the following, the direction parallel to the X axis (first direction) is the “X axis direction”, the direction parallel to the Y axis (second direction) is the “Y axis direction”, and the direction parallel to the Z axis is “Z Axial direction ". In the following, for convenience of explanation, the upper side (+ Z-axis direction side) in FIG. 1 is referred to as “upper” and the lower side (−Z-axis direction side) is referred to as “lower”.
また、X軸とY軸とを含むXY平面が水平となっており、Z軸が鉛直となっている。また、電子部品の搬送方向の上流側を単に「上流側」とも言い、下流側を単に「下流側」とも言う。また、本願明細書で言う「水平」とは、完全な水平に限定されず、電子部品の搬送が阻害されない限り、水平に対して若干(例えば5°未満程度)傾いた状態も含む。 Further, the XY plane including the X axis and the Y axis is horizontal, and the Z axis is vertical. Further, the upstream side in the conveying direction of the electronic component is also simply referred to as “upstream side”, and the downstream side is also simply referred to as “downstream side”. In addition, the term “horizontal” in the specification of the present application is not limited to complete horizontal, and includes a state slightly inclined (for example, less than about 5 °) with respect to the horizontal as long as transportation of electronic components is not hindered.
図1及び図2に示す検査装置(電子部品検査装置)1は、例えば、BGA(Ball grid array)パッケージやLGA(Land grid array)パッケージ等のICデバイス、LCD(Liquid Crystal Display)、CIS(CMOS Image Sensor)等の電子部品の電気的特性を検査・試験(以下単に「検査」と言う)するための装置である。なお、以下では、説明の便宜上、検査を行う前記電子部品としてICデバイスを用いる場合について代表して説明し、これを「ICデバイス90」とする。 An inspection apparatus (electronic component inspection apparatus) 1 shown in FIGS. 1 and 2 includes, for example, an IC device such as a BGA (Ball grid array) package or an LGA (Land grid array) package, an LCD (Liquid Crystal Display), a CIS (CMOS This is a device for inspecting and testing (hereinafter simply referred to as “inspection”) electrical characteristics of electronic components such as an image sensor. Hereinafter, for convenience of explanation, the case where an IC device is used as the electronic component to be inspected will be described as a representative, and this will be referred to as “IC device 90”.
図1及び図2に示すように、検査装置(電子部品検査装置)1は、ICデバイス(電子部品)90を搬送する搬送装置(電子部品搬送装置)10と、検査部16と、表示部41及び操作部42を有する設定表示部40と、制御装置30とを備える。搬送装置10はICデバイス90を載置可能な電子部品載置部2を備える。電子部品載置部2は、例えば、トレイ200、電子部品供給部14、電子部品回収部18、温度調整部12、回収用トレイ19、及び回転ステージ(図示せず)などである(以下、これらの各載置部を区別しないときには「電子部品載置部2」ともいう)また、搬送装置10は、電子部品載置部2の画像を撮像可能な撮像装置(撮像部)51及び照明装置52を備える載置部画像取得部50を有する(図3参照)。 As shown in FIGS. 1 and 2, an inspection apparatus (electronic component inspection apparatus) 1 includes a conveyance apparatus (electronic component conveyance apparatus) 10 that conveys an IC device (electronic component) 90, an inspection unit 16, and a display unit 41. And a setting display unit 40 having an operation unit 42 and a control device 30. The transport apparatus 10 includes an electronic component placement unit 2 on which an IC device 90 can be placed. The electronic component placement unit 2 is, for example, a tray 200, an electronic component supply unit 14, an electronic component collection unit 18, a temperature adjustment unit 12, a collection tray 19, a rotation stage (not shown), and the like (hereinafter referred to as these). In addition, when the respective mounting parts are not distinguished, they are also referred to as “electronic component mounting part 2”. It has the mounting part image acquisition part 50 provided with (refer FIG. 3).
なお、本実施形態では、検査装置1から、検査部16及び後述する制御装置30が有する検査制御部312を除く構成によって搬送装置10が構成されている(図3参照)。 In the present embodiment, the conveyance device 10 is configured by a configuration excluding the inspection unit 16 and the inspection control unit 312 included in the control device 30 described later from the inspection device 1 (see FIG. 3).
図1及び図2に示すように、検査装置1は、トレイ供給領域A1と、デバイス供給領域A2と、検査部16が設けられている検査領域A3と、デバイス回収領域A4と、トレイ除去領域A5とに分けられている。 As shown in FIGS. 1 and 2, the inspection apparatus 1 includes a tray supply area A1, a device supply area A2, an inspection area A3 in which an inspection unit 16 is provided, a device collection area A4, and a tray removal area A5. It is divided into and.
これらの各領域は互いに図示しない壁部やシャッター等により仕切られている。そして、デバイス供給領域A2は、壁部やシャッター等で画成された第1室R1となっている。また、検査領域A3は壁部やシャッター等で画成された第2室R2となっている。また、デバイス回収領域A4は、壁部やシャッター等で画成された第3室R3となっている。また、第1室R1(デバイス供給領域A2)、第2室R2(検査領域A3)、及び第3室R3(デバイス回収領域A4)は、それぞれ、気密性や断熱性を確保することができるように構成されている。これにより、第1室R1、第2室R2、及び第3室R3は、それぞれ、湿度や温度を可能な限り維持することができる。なお、第1室R1及び第2室R2内は、それぞれ、所定の湿度及び所定の温度に制御され、例えば、常温環境下、低温環境下、及び高温環境下で検査を行うことができるよう構成されている。 Each of these regions is partitioned by a wall portion, a shutter, or the like (not shown). The device supply area A2 is a first chamber R1 defined by walls, shutters, and the like. The inspection area A3 is a second chamber R2 defined by walls, shutters, and the like. The device collection area A4 is a third chamber R3 defined by walls and shutters. In addition, the first chamber R1 (device supply area A2), the second chamber R2 (inspection area A3), and the third chamber R3 (device collection area A4) can each ensure airtightness and heat insulation. It is configured. Thereby, each of the first chamber R1, the second chamber R2, and the third chamber R3 can maintain humidity and temperature as much as possible. The interiors of the first chamber R1 and the second chamber R2 are controlled to a predetermined humidity and a predetermined temperature, respectively, and can be inspected, for example, in a normal temperature environment, a low temperature environment, and a high temperature environment. Has been.
検査装置1において、ICデバイス90は、トレイ供給領域A1からトレイ除去領域A5まで各領域を順に経由し、途中の検査領域A3で検査(電気的な検査)が行われる。本実施形態の前記「検査(電気的な検査)」では、例えば、ICデバイス90の導通が行われるか否かを確認したり、特定の信号が入力された場合に、期待される出力が得られるかを確認したりする。これにより、ICデバイス90の断線や短絡の有無の判断を行うことができる。その他、検査部16では、ICデバイス90が備える回路(図示せず)等の動作を確認するための検査を行ってもよい。
以下、検査装置1について領域A1〜A5ごとに説明する。
In the inspection apparatus 1, the IC device 90 passes through each region in order from the tray supply region A1 to the tray removal region A5, and inspection (electrical inspection) is performed in the intermediate inspection region A3. In the “inspection (electrical inspection)” of the present embodiment, for example, whether or not the IC device 90 is conducted is confirmed or an expected output is obtained when a specific signal is input. Or check if Thereby, it is possible to determine whether the IC device 90 is disconnected or short-circuited. In addition, in the test | inspection part 16, you may perform the test | inspection for confirming operation | movement of the circuit (not shown) etc. with which IC device 90 is provided.
Hereinafter, the inspection apparatus 1 will be described for each of the areas A1 to A5.
(トレイ供給領域)
図2に示すように、トレイ供給領域A1は、未検査状態の複数のICデバイス90が配列されたトレイ200(電子部品載置部2)が供給される領域である。トレイ供給領域A1では多数のトレイ200を積み重ねることができる。
(Tray supply area)
As shown in FIG. 2, the tray supply area A1 is an area to which a tray 200 (electronic component placement unit 2) in which a plurality of untested IC devices 90 are arranged is supplied. A large number of trays 200 can be stacked in the tray supply area A1.
(デバイス供給領域)
図2に示すように、デバイス供給領域A2は、トレイ供給領域A1からのトレイ200上の複数のICデバイス90がそれぞれ検査領域A3まで供給される領域である。なお、トレイ供給領域A1とデバイス供給領域A2とを跨ぐように、トレイ200を搬送するトレイ搬送機構11A,11Bが設けられている。
(Device supply area)
As shown in FIG. 2, the device supply area A2 is an area where a plurality of IC devices 90 on the tray 200 from the tray supply area A1 are supplied to the inspection area A3. Note that tray transport mechanisms 11A and 11B that transport the tray 200 are provided so as to straddle the tray supply area A1 and the device supply area A2.
デバイス供給領域A2には、温度調整部12(電子部品載置部2)と、供給ロボット(デバイス搬送ヘッド)13と、供給空トレイ搬送機構15とが設けられている。 In the device supply area A2, a temperature adjustment unit 12 (electronic component placement unit 2), a supply robot (device transfer head) 13, and a supply empty tray transfer mechanism 15 are provided.
温度調整部12は、ICデバイス90を配置し、配置されたICデバイス90を加熱又は冷却して、当該ICデバイス90を検査に適した温度に調整(制御)する装置である。図2に示す構成では、温度調整部12はY軸方向に2つ配置、固定されている。そして、トレイ搬送機構11Aによってトレイ供給領域A1から搬入されたトレイ200上のICデバイス90は、いずれかの温度調整部12に搬送され、載置される。 The temperature adjustment unit 12 is an apparatus that arranges the IC device 90, heats or cools the arranged IC device 90, and adjusts (controls) the IC device 90 to a temperature suitable for inspection. In the configuration shown in FIG. 2, two temperature adjusting units 12 are arranged and fixed in the Y-axis direction. Then, the IC device 90 on the tray 200 carried in from the tray supply area A1 by the tray transport mechanism 11A is transported to and placed on one of the temperature adjustment units 12.
供給ロボット13は、ICデバイス90の搬送を行う搬送部であり、デバイス供給領域A2内でX軸方向、Y軸方向、及びZ軸方向に移動可能に支持されている。この供給ロボット13は、トレイ供給領域A1から搬入されたトレイ200と温度調整部12との間のICデバイス90の搬送と、温度調整部12と後述する電子部品供給部14(電子部品載置部2)との間のICデバイス90の搬送とを担っている。なお、供給ロボット13は、ICデバイス90を把持する複数の把持部(図示せず)を有している。各把持部は、吸着ノズルを備えており、ICデバイス90を吸着することで把持することができる。また、供給ロボット13は、温度調整部12と同様に、ICデバイス90を加熱又は冷却して、当該ICデバイス90を検査に適した温度に調整することができる。 The supply robot 13 is a transfer unit that transfers the IC device 90, and is supported so as to be movable in the X-axis direction, the Y-axis direction, and the Z-axis direction in the device supply region A2. The supply robot 13 conveys the IC device 90 between the tray 200 loaded from the tray supply area A1 and the temperature adjustment unit 12, and the temperature adjustment unit 12 and an electronic component supply unit 14 (electronic component placement unit described later). 2) and the IC device 90. The supply robot 13 has a plurality of gripping units (not shown) that grip the IC device 90. Each gripping unit includes a suction nozzle, and can grip the IC device 90 by suction. Similarly to the temperature adjustment unit 12, the supply robot 13 can heat or cool the IC device 90 to adjust the IC device 90 to a temperature suitable for inspection.
供給空トレイ搬送機構15は、全てのICデバイス90が除去された状態の空のトレイ200をX軸方向に搬送する搬送部(搬送機構)である。そして、この搬送後、空のトレイ200は、トレイ搬送機構11Bによってデバイス供給領域A2からトレイ供給領域A1に戻される。 The supply empty tray transport mechanism 15 is a transport unit (transport mechanism) that transports the empty tray 200 from which all IC devices 90 have been removed in the X-axis direction. After this transport, the empty tray 200 is returned from the device supply area A2 to the tray supply area A1 by the tray transport mechanism 11B.
(検査領域)
図2に示すように、検査領域A3は、ICデバイス90が検査される領域である。この検査領域A3には、電子部品供給部14と、検査部16と、測定ロボット(デバイス搬送ヘッド)17と、電子部品回収部18(電子部品載置部2)とが設けられている。なお、本実施形態では、電子部品供給部14及び電子部品回収部18は、それぞれ、独立して移動可能に構成されているが、これらは、連結又は一体化し、同方向に移動可能に構成されていてもよい。
(Inspection area)
As shown in FIG. 2, the inspection area A3 is an area where the IC device 90 is inspected. In the inspection area A3, an electronic component supply unit 14, an inspection unit 16, a measurement robot (device transport head) 17, and an electronic component collection unit 18 (electronic component placement unit 2) are provided. In this embodiment, the electronic component supply unit 14 and the electronic component collection unit 18 are configured to be independently movable. However, they are configured to be connected or integrated and movable in the same direction. It may be.
電子部品供給部14は、温度調整(温度制御)されたICデバイス90を載置し検査部16近傍まで搬送する搬送部である。この電子部品供給部14は、デバイス供給領域A2と検査領域A3との間をX軸方向に沿って往復移動可能になっている。また、図2に示す構成では、電子部品供給部14は、Y軸方向に2つ配置されている。温度調整部12上のICデバイス90は、いずれかの電子部品供給部14に搬送され、載置される。なお、この搬送は供給ロボット13によって行われる。また、電子部品供給部14では、温度調整部12と同様に、ICデバイス90を加熱又は冷却して、当該ICデバイス90を検査に適した温度に調整することができる。 The electronic component supply unit 14 is a transport unit that places the IC device 90 whose temperature is adjusted (temperature control) and transports the IC device 90 to the vicinity of the inspection unit 16. The electronic component supply unit 14 can reciprocate between the device supply area A2 and the inspection area A3 along the X-axis direction. In the configuration shown in FIG. 2, two electronic component supply units 14 are arranged in the Y-axis direction. The IC device 90 on the temperature adjustment unit 12 is transported to and placed on one of the electronic component supply units 14. This conveyance is performed by the supply robot 13. In the electronic component supply unit 14, similarly to the temperature adjustment unit 12, the IC device 90 can be heated or cooled to adjust the IC device 90 to a temperature suitable for inspection.
検査部16は、ICデバイス90の電気的特性を検査・試験するユニットであり、ICデバイス90を検査する場合にそのICデバイス90を保持する保持部である。検査部16には、ICデバイス90を保持した状態で当該ICデバイス90の端子と電気的に接続される複数のプローブピンが設けられている。そして、ICデバイス90の端子とプローブピンとが電気的に接続され(接触し)、プローブピンを介してICデバイス90の検査(電気的な検査)が行われる。また、検査部16では、温度調整部12と同様に、ICデバイス90を加熱又は冷却して、当該ICデバイス90を検査に適した温度に調整することができる。 The inspection unit 16 is a unit that inspects and tests the electrical characteristics of the IC device 90, and is a holding unit that holds the IC device 90 when the IC device 90 is inspected. The inspection unit 16 is provided with a plurality of probe pins that are electrically connected to the terminals of the IC device 90 while holding the IC device 90. Then, the terminal of the IC device 90 and the probe pin are electrically connected (contacted), and the inspection (electrical inspection) of the IC device 90 is performed via the probe pin. In the inspection unit 16, similarly to the temperature adjustment unit 12, the IC device 90 can be heated or cooled to adjust the IC device 90 to a temperature suitable for the inspection.
測定ロボット17は、ICデバイス90の搬送を行う搬送部であり、検査領域A3内で移動可能に支持されている。この測定ロボット17は、デバイス供給領域A2から搬入された電子部品供給部14上のICデバイス90を検査部16上に搬送し、載置することができる。また、ICデバイス90を検査する場合に、測定ロボット17は、ICデバイス90を検査部16に向けて押圧し、これにより、ICデバイス90を検査部16に当接させる。これによって、前述したように、ICデバイス90の端子と検査部16のプローブピンとが電気的に接続される。なお、測定ロボット17は、ICデバイス90を把持する複数の把持部(図示せず)を有している。各把持部は、吸着ノズルを備えており、ICデバイス90を吸着することで把持することができる。また、測定ロボット17は、温度調整部12と同様に、ICデバイス90を加熱又は冷却して、ICデバイス90を検査に適した温度に調整することができる。なお、本実施形態では、図示のように測定ロボット17の数は1つであるが、2つ以上設けられていてもよい。 The measurement robot 17 is a transport unit that transports the IC device 90, and is supported so as to be movable in the inspection region A3. The measuring robot 17 can transport and place the IC device 90 on the electronic component supply unit 14 carried in from the device supply area A2 onto the inspection unit 16. When inspecting the IC device 90, the measurement robot 17 presses the IC device 90 toward the inspection unit 16, thereby bringing the IC device 90 into contact with the inspection unit 16. Thereby, as described above, the terminals of the IC device 90 and the probe pins of the inspection unit 16 are electrically connected. The measurement robot 17 has a plurality of gripping units (not shown) that grip the IC device 90. Each gripping unit includes a suction nozzle, and can grip the IC device 90 by suction. Further, similarly to the temperature adjustment unit 12, the measurement robot 17 can heat or cool the IC device 90 to adjust the IC device 90 to a temperature suitable for inspection. In the present embodiment, the number of measuring robots 17 is one as shown in the figure, but two or more measuring robots 17 may be provided.
電子部品回収部18は、検査部16での検査が終了したICデバイス90を載置しデバイス回収領域A4まで搬送する搬送部である。この電子部品回収部18は、検査領域A3とデバイス回収領域A4との間をX軸方向に沿って往復移動可能になっている。また、図2に示す構成では、電子部品回収部18は、電子部品供給部14と同様に、Y軸方向に2つ配置されている。検査部16上のICデバイス90は、いずれかの電子部品回収部18に搬送され、載置される。なお、この搬送は測定ロボット17によって行われる。 The electronic component collection unit 18 is a conveyance unit that places the IC device 90 that has been inspected by the inspection unit 16 and conveys the IC device 90 to the device collection region A4. The electronic component collection unit 18 can reciprocate between the inspection area A3 and the device collection area A4 along the X-axis direction. In the configuration shown in FIG. 2, two electronic component collection units 18 are arranged in the Y-axis direction, like the electronic component supply unit 14. The IC device 90 on the inspection unit 16 is transported to and placed on one of the electronic component collection units 18. This conveyance is performed by the measurement robot 17.
図4に示すように、載置部181は、上方に開口する凹状をなし、その横断面積が底面に向かって漸減する形状をなしている。このような形状の載置部181は底面と、4つの傾斜した側面とで構成されている。このような載置部181の側面は、ICデバイス90を載置する際に、ICデバイス90を載置部181に案内する案内面として機能する。これにより、ICデバイス90を載置部181に容易に載置することができる。 As shown in FIG. 4, the mounting portion 181 has a concave shape that opens upward, and has a shape in which the cross-sectional area gradually decreases toward the bottom surface. The mounting portion 181 having such a shape includes a bottom surface and four inclined side surfaces. Such a side surface of the mounting portion 181 functions as a guide surface for guiding the IC device 90 to the mounting portion 181 when the IC device 90 is mounted. Thereby, the IC device 90 can be easily placed on the placement portion 181.
また、載置部181を構成する面(側面及び底面)には、当該面における反射を小さくする反射防止処理が施されている。これにより、後述する載置部画像取得部50が有する撮像装置51により電子部品載置部2を撮像するときに、撮像装置51が有する撮像素子(図示せず)に不要な光が入射することを抑制することができる。そのため、後述する撮像装置51によって、より鮮明な画像を得ることができる。 Further, the surfaces (side surface and bottom surface) constituting the mounting portion 181 are subjected to antireflection processing for reducing reflection on the surfaces. Thereby, when imaging the electronic component mounting part 2 with the imaging device 51 which the mounting part image acquisition part 50 mentioned later has, unnecessary light injects into the image pick-up element (not shown) which the imaging device 51 has. Can be suppressed. Therefore, a clearer image can be obtained by the imaging device 51 described later.
反射防止処理としては、特に限定されず、例えば、反射防止膜の形成、粗面化処理(光の散乱を大きくする処理)、黒色処理(光の吸収を大きくする処理)等が挙げられる。 The antireflection treatment is not particularly limited, and examples thereof include formation of an antireflection film, roughening treatment (treatment for increasing light scattering), black treatment (treatment for increasing light absorption), and the like.
(デバイス回収領域)
図2に示すように、デバイス回収領域A4は、検査が終了したICデバイス90が回収される領域である。このデバイス回収領域A4には、回収用トレイ19と、回収ロボット20と、回収空トレイ搬送機構21とが設けられている。また、デバイス回収領域A4には3つの空のトレイ200も用意されている。
(Device collection area)
As shown in FIG. 2, the device collection area A4 is an area where the IC device 90 that has been inspected is collected. In the device recovery area A4, a recovery tray 19, a recovery robot 20, and a recovery empty tray transport mechanism 21 are provided. In addition, three empty trays 200 are also prepared in the device collection area A4.
回収用トレイ19は、ICデバイス90が載置される電子部品載置部2である。回収用トレイ19は、デバイス回収領域A4内に固定され、図2に示す構成では、X軸方向に並んで3つ配置されている。また、空のトレイ200も、ICデバイス90が載置される電子部品載置部2であり、X軸方向に並んで3つ配置されている。そして、デバイス回収領域A4に移動してきた電子部品回収部18上のICデバイス90は、これらの回収用トレイ19及び空のトレイ200のうちのいずれかに搬送され、載置される。これにより、ICデバイス90は、検査結果ごとに回収されて、分別(分類)されることとなる。この検査結果に基づいたICデバイス90の分別は回収ロボット20によって行われる。回収ロボット20は後述する制御装置30の指令により、ICデバイス90を分別する。 The collection tray 19 is the electronic component placement unit 2 on which the IC device 90 is placed. The collection trays 19 are fixed in the device collection area A4, and in the configuration shown in FIG. 2, three collection trays 19 are arranged side by side in the X-axis direction. The empty tray 200 is also the electronic component placement unit 2 on which the IC device 90 is placed, and three empty trays 200 are arranged side by side in the X-axis direction. Then, the IC device 90 on the electronic component recovery unit 18 that has moved to the device recovery area A4 is transported and placed in one of the recovery tray 19 and the empty tray 200. Thereby, the IC device 90 is collected for each inspection result and sorted (classified). The sorting of the IC device 90 based on the inspection result is performed by the collection robot 20. The collection robot 20 sorts the IC devices 90 according to commands from the control device 30 described later.
回収ロボット20は、ICデバイス90の搬送を行う搬送部であり、デバイス回収領域A4内でX軸方向、Y軸方向、及びZ軸方向に移動可能に支持されている。この回収ロボット20は、ICデバイス90を電子部品回収部18から回収用トレイ19や空のトレイ200に搬送することができる。なお、回収ロボット20は、ICデバイス90を把持する複数の把持部(図示せず)を有している。各把持部は、吸着ノズルを備えており、ICデバイス90を吸着することで把持することができる。 The collection robot 20 is a conveyance unit that conveys the IC device 90, and is supported so as to be movable in the X-axis direction, the Y-axis direction, and the Z-axis direction in the device collection area A4. The collection robot 20 can transport the IC device 90 from the electronic component collection unit 18 to the collection tray 19 or the empty tray 200. The collection robot 20 has a plurality of gripping units (not shown) that grip the IC device 90. Each gripping unit includes a suction nozzle, and can grip the IC device 90 by suction.
回収空トレイ搬送機構21は、トレイ除去領域A5から搬入された空のトレイ200をX軸方向に搬送させる搬送部(搬送機構)である。そして、この搬送後、空のトレイ200は、ICデバイス90が回収される位置に配されることとなる、すなわち、前記3つの空のトレイ200のうちのいずれかとなり得る。 The collection empty tray transport mechanism 21 is a transport unit (transport mechanism) that transports the empty tray 200 carried in from the tray removal area A5 in the X-axis direction. Then, after this conveyance, the empty tray 200 is arranged at a position where the IC device 90 is collected, that is, it can be one of the three empty trays 200.
(トレイ除去領域)
トレイ除去領域A5は、検査済み状態の複数のICデバイス90が配列されたトレイ200が回収され、除去される領域である。トレイ除去領域A5では多数のトレイ200を積み重ねることができる。なお、デバイス回収領域A4とトレイ除去領域A5とを跨ぐように、トレイ200を1枚ずつ搬送するトレイ搬送機構22A,22Bが設けられている。トレイ搬送機構22Aは、検査済みのICデバイス90が載置されたトレイ200をデバイス回収領域A4からトレイ除去領域A5に搬送する。トレイ搬送機構22Bは、ICデバイス90を回収するための空のトレイ200をトレイ除去領域A5からデバイス回収領域A4に搬送する。
(Tray removal area)
The tray removal area A5 is an area where the tray 200 in which a plurality of inspected IC devices 90 are arranged is collected and removed. A large number of trays 200 can be stacked in the tray removal area A5. Note that tray transport mechanisms 22A and 22B that transport the tray 200 one by one are provided so as to straddle the device collection area A4 and the tray removal area A5. The tray transport mechanism 22A transports the tray 200 on which the inspected IC device 90 is placed from the device collection area A4 to the tray removal area A5. The tray transport mechanism 22B transports an empty tray 200 for collecting the IC device 90 from the tray removal area A5 to the device collection area A4.
以上説明したような各領域A1〜A5のうちの第1室R1、第2室R2、及び第3室R3には、それぞれ、図示はしないが、室内の温度を検出する温度センサー(温度計)と、室内の湿度(相対湿度)を検出する湿度センサー(湿度計)と、室内の酸素濃度を検出する酸素濃度センサー(酸素濃度計)とが設けられている。なお、本実施形態では、第1室R1、第2室R2、及び第3室R3のそれぞれの室に温度センサー、湿度センサー、及び酸素濃度センサーが設けられているが、温度センサー、湿度センサー、及び酸素濃度センサーを設ける箇所は各々任意である。 The first chamber R1, the second chamber R2, and the third chamber R3 in each of the regions A1 to A5 as described above are not shown, but are temperature sensors (thermometers) that detect the indoor temperature. And a humidity sensor (hygrometer) for detecting indoor humidity (relative humidity) and an oxygen concentration sensor (oxygen meter) for detecting indoor oxygen concentration. In this embodiment, a temperature sensor, a humidity sensor, and an oxygen concentration sensor are provided in each of the first chamber R1, the second chamber R2, and the third chamber R3. However, the temperature sensor, the humidity sensor, The location where the oxygen concentration sensor is provided is arbitrary.
また、図示はしないが、検査装置1は、ドライエアー供給機構を有している。ドライエアー供給機構は、第1室R1、第2室R2、及び第3室R3に湿度の低い空気、窒素等の気体(以下、ドライエアーとも言う)を供給できるよう構成されている。そのため、必要に応じて、ドライエアーを供給することにより、ICデバイス90の結露、結氷(着氷)を防止することができる。 Although not shown, the inspection apparatus 1 has a dry air supply mechanism. The dry air supply mechanism is configured to be able to supply air such as air with low humidity and nitrogen (hereinafter also referred to as dry air) to the first chamber R1, the second chamber R2, and the third chamber R3. Therefore, condensation and icing (icing) of the IC device 90 can be prevented by supplying dry air as necessary.
なお、前述した実施形態では、検査装置1は、常温環境下、低温環境下、及び高温環境下で検査を行うことができるよう構成されているが、これに限らず、前記3つの環境下のうち少なくとも1つの環境下で検査を行う構成であってもよい。例えば壁部、シャッター、湿度計、酸素濃度計、及びドライエアーなどの低温環境下のための構成を含まなくてもよい。 In the above-described embodiment, the inspection apparatus 1 is configured to be able to perform the inspection under a normal temperature environment, a low temperature environment, and a high temperature environment. The structure which test | inspects in at least 1 environment among them may be sufficient. For example, a configuration for a low temperature environment such as a wall portion, a shutter, a hygrometer, an oxygen concentration meter, and dry air may not be included.
(制御装置)
図3に示すように、制御装置30は、検査装置1の各部を制御する機能を有し、制御部31と、記憶部32とを備える。
(Control device)
As illustrated in FIG. 3, the control device 30 has a function of controlling each unit of the inspection device 1 and includes a control unit 31 and a storage unit 32.
制御部31は、例えばCPU(Central Processing Unit)を含んで構成され、駆動制御部311、検査制御部312、撮像制御部313、及びモデル画像作成部314を有する。記憶部32は、例えば、ROM(read only memory)及びRAM(Random Access Memory)を含んで構成されている。 The control unit 31 includes a CPU (Central Processing Unit), for example, and includes a drive control unit 311, an inspection control unit 312, an imaging control unit 313, and a model image creation unit 314. The storage unit 32 includes, for example, a ROM (read only memory) and a RAM (Random Access Memory).
駆動制御部311は、各部(トレイ搬送機構11A,11B、温度調整部12、供給ロボット13、供給空トレイ搬送機構15、電子部品供給部14、検査部16、測定ロボット17、電子部品回収部18、回収ロボット20、回収空トレイ搬送機構21、及びトレイ搬送機構22A,22B)の駆動等を制御する。 The drive control unit 311 includes components (tray transport mechanisms 11A and 11B, a temperature adjustment unit 12, a supply robot 13, a supply empty tray transport mechanism 15, an electronic component supply unit 14, an inspection unit 16, a measurement robot 17, and an electronic component recovery unit 18. , The drive of the recovery robot 20, the recovery empty tray transport mechanism 21, and the tray transport mechanisms 22A and 22B) are controlled.
検査制御部312は、例えば、記憶部32内に記憶されたプログラム(ソフトウェア)に基づいて、検査部16に配置されたICデバイス90の検査等を行うことも可能である。 The inspection control unit 312 can inspect the IC device 90 arranged in the inspection unit 16 based on, for example, a program (software) stored in the storage unit 32.
撮像制御部313は載置部画像取得部50の駆動等を制御する。また、撮像制御部313は、撮像装置51からの信号を処理し、載置部画像取得部50が取得した電子部品載置部2の画像をデータ化する(画像データを生成する)。 The imaging control unit 313 controls driving of the placement unit image acquisition unit 50 and the like. In addition, the imaging control unit 313 processes a signal from the imaging device 51 and converts the image of the electronic component mounting unit 2 acquired by the mounting unit image acquisition unit 50 into data (generates image data).
モデル画像作成部314は画像データに基づいて電子部品載置部2のモデル画像を作成する。モデル画像作成部314はモデル画像の明るさを調整する。モデル画像作成部314は、画像データに対するモデル画像の切り出し位置を調整する。モデル画像作成部314は、モデル画像の明るさと、画像データに対するモデル画像の切り出し位置の少なくとも1つを調整する。 The model image creation unit 314 creates a model image of the electronic component placement unit 2 based on the image data. The model image creation unit 314 adjusts the brightness of the model image. The model image creation unit 314 adjusts the cutout position of the model image with respect to the image data. The model image creation unit 314 adjusts at least one of the brightness of the model image and the cutout position of the model image with respect to the image data.
モデル画像作成部314は、撮像装置51の撮像信号に基づいて画像内の画素の明るさ及び画素の個数を表示部41に表示する。これによれば、明るさに基づく画像全体の輝度値と、所定の閾値(輝度値)とを比較するなどして、当該画像の明るさを容易に調整することができ、また明るさの数値の確認が容易になることから明るさ調整に対して非常に便利なものとなる。 The model image creation unit 314 displays the brightness of the pixels and the number of pixels in the image on the display unit 41 based on the imaging signal of the imaging device 51. According to this, it is possible to easily adjust the brightness of the image by comparing the brightness value of the entire image based on the brightness with a predetermined threshold value (brightness value) or the like. Since it is easy to confirm the brightness, it is very convenient for brightness adjustment.
モデル画像作成部314は、画像内の画素の明るさ及び画素の個数に基づいて自動でモデル画像の明るさを調整する。これによれば、明るさを自動制御することができる。 The model image creation unit 314 automatically adjusts the brightness of the model image based on the brightness of the pixels in the image and the number of pixels. According to this, the brightness can be automatically controlled.
モデル画像作成部314は、画像内の画素の明るさ及び画素の個数を数値化する。これによれば、明るさを容易に自動制御することができる。 The model image creation unit 314 quantifies the brightness of the pixels and the number of pixels in the image. According to this, the brightness can be easily automatically controlled.
数値化は、画像内の画素の明るさを第1軸としての横軸、画素の個数を第1軸と直交する第2軸としての縦軸にするヒストグラムを作成する。これによれば、公知のヒストグラムを用いることによって数値化がモデル画像作成部314によって生成されるので、モデル画像作成部314を簡素に構成することができ、また適切な数値化の生成が可能となる。 The digitization creates a histogram in which the brightness of the pixels in the image is the horizontal axis as the first axis, and the number of pixels is the vertical axis as the second axis orthogonal to the first axis. According to this, since the digitization is generated by the model image creation unit 314 by using a known histogram, the model image creation unit 314 can be simply configured, and appropriate digitization can be generated. Become.
モデル画像作成部314は、ヒストグラムを表示部41に表示する。これによれば、ヒストグラムの表示により明るさの傾向を容易に把握することができる。 The model image creation unit 314 displays the histogram on the display unit 41. According to this, the tendency of brightness can be easily grasped by displaying the histogram.
モデル画像作成部314は、操作部(入力部)42から入力された明るさ調整パラメーターを用いてモデル画像の明るさを調整する。これによれば、調整する明るさの数値の容易な制御が可能となる。 The model image creation unit 314 adjusts the brightness of the model image using the brightness adjustment parameter input from the operation unit (input unit) 42. According to this, it is possible to easily control the brightness value to be adjusted.
モデル画像の切り出し位置の調整は、撮像装置51の撮像した画像の画像データを微分処理して調整する。これによれば、画像を微分処理して作成することにより容易に強調処理することができる。 The adjustment of the cut-out position of the model image is adjusted by differentiating the image data of the image captured by the imaging device 51. According to this, it is possible to easily perform the enhancement process by creating the image by differentiating the image.
また、制御部31は、各部の駆動、検査結果及び画像データ等を表示部41に表示する機能や、操作部42からの入力に従って処理を行う機能等を有している。
記憶部32は制御部31が各種処理を行うためのプログラムやデータ等を記憶する。
The control unit 31 has a function of displaying the driving of each unit, inspection results, image data, and the like on the display unit 41, a function of performing processing in accordance with an input from the operation unit 42, and the like.
The storage unit 32 stores programs, data, and the like for the control unit 31 to perform various processes.
(設定表示部)
図1及び図3に示すように、設定表示部40は表示部41及び操作部42を有する。
(Setting display section)
As shown in FIGS. 1 and 3, the setting display unit 40 includes a display unit 41 and an operation unit 42.
表示部41は各部の駆動や検査結果等を表示するモニター411を有する。モニター411は、例えば、液晶表示パネルや有機EL等の表示パネル等で構成することができる。作業者は、このモニター411を介して、検査装置1の各種処理や条件等を設定したり、確認したりすることができる。 The display unit 41 includes a monitor 411 that displays driving of each unit, inspection results, and the like. The monitor 411 can be composed of a display panel such as a liquid crystal display panel or an organic EL, for example. The operator can set or check various processes, conditions, and the like of the inspection apparatus 1 via the monitor 411.
操作部42は、マウス421等の入力デバイスであり、作業者による操作に応じた操作信号を制御部31に出力する。したがって、作業者は、マウス421を用いて、制御部31に対して各種処理等の指示を行うことができる。
なお、本実施形態では、操作部42としてマウス421を用いているが、操作部42はこれに限定されず、例えばキーボード、トラックボール、タッチパネル等の入力デバイス等であってもよい。
The operation unit 42 is an input device such as a mouse 421, and outputs an operation signal corresponding to the operation by the worker to the control unit 31. Therefore, the operator can use the mouse 421 to instruct the control unit 31 for various processes.
In the present embodiment, the mouse 421 is used as the operation unit 42. However, the operation unit 42 is not limited to this, and may be an input device such as a keyboard, a trackball, or a touch panel.
(載置部画像取得部)
載置部画像取得部50は、電子部品載置部2の画像を取得する機能を有する。図2に示すように、載置部画像取得部50は、トレイ供給領域A2とデバイス回収領域A4とで、供給ロボット13と回収ロボット20とに設けられている。すなわち、載置部画像取得部50は、電子部品載置部2の画像を取得可能な位置に設けられている。
(Placement image acquisition unit)
The placement unit image acquisition unit 50 has a function of acquiring an image of the electronic component placement unit 2. As shown in FIG. 2, the placement unit image acquisition unit 50 is provided in the supply robot 13 and the recovery robot 20 in the tray supply region A2 and the device recovery region A4. That is, the placement unit image acquisition unit 50 is provided at a position where an image of the electronic component placement unit 2 can be acquired.
載置部画像取得部50は、第1載置部画像取得部50aと、第2載置部画像取得部50bとを有する。第1載置部画像取得部50a及び第2載置部画像取得部50bは、電子部品載置部2の上方に設けられている。 The placement unit image acquisition unit 50 includes a first placement unit image acquisition unit 50a and a second placement unit image acquisition unit 50b. The first placement unit image acquisition unit 50 a and the second placement unit image acquisition unit 50 b are provided above the electronic component placement unit 2.
なお、本実施形態では、第1載置部画像取得部50a及び第2載置部画像取得部50bのそれぞれを1つの載置部画像取得部50として捉えたとき、その載置部画像取得部50の数は、2つであるが、載置部画像取得部50の数は、これに限定されず任意である。 In the present embodiment, when each of the first placement unit image acquisition unit 50a and the second placement unit image acquisition unit 50b is regarded as one placement unit image acquisition unit 50, the placement unit image acquisition unit 50 The number of 50 is two, but the number of placement unit image acquisition units 50 is not limited to this and is arbitrary.
載置部画像取得部50は、電子部品載置部2の上方に配置されるように供給ロボット13及び回収ロボット20に支持されている。これにより、載置部画像取得部50は、電子部品載置部2の鉛直上方から電子部品載置部2の上面911の状態の画像を取得可能になっている。 The placement unit image acquisition unit 50 is supported by the supply robot 13 and the collection robot 20 so as to be disposed above the electronic component placement unit 2. Accordingly, the placement unit image acquisition unit 50 can acquire an image of the state of the upper surface 911 of the electronic component placement unit 2 from above the electronic component placement unit 2.
第1載置部画像取得部50a及び第2載置部画像取得部50bは、それぞれ、撮像装置51及び照明装置52を有する。なお、照明装置52は、連続的な照明だけでなく、間欠的に強い光(フラッシュ)でも、露光時間が制御できればどちらでもよい。 The first placement unit image acquisition unit 50a and the second placement unit image acquisition unit 50b include an imaging device 51 and an illumination device 52, respectively. The illumination device 52 may be not only continuous illumination but also intermittently strong light (flash) as long as the exposure time can be controlled.
撮像装置51は、電子部品載置部2からの光を受光して電気信号に変換する撮像素子を有している。この撮像装置51としては、特に限定されないが、例えば、撮像素子としてCCD(Charge Coupled Device)イメージセンサーを用いたカメラ(CCDカメラ)、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーを用いたカメラ、撮像素子としてMOSイメージセンサーを用いたカメラ等の電子カメラ(デジタルカメラ)等が挙げられる。また、画像データを、例えば、微分干渉法、フーリエ変換法等を用いて解析することにより、微細な形状や見え難い形状を強調し、形状の検出感度を向上させることが可能である。また、微細な傷や見え難い傷を強調し、傷の検出感度を向上させることが可能である。 The imaging device 51 has an imaging element that receives light from the electronic component placement unit 2 and converts it into an electrical signal. The imaging device 51 is not particularly limited. For example, a camera (CCD camera) using a CCD (Charge Coupled Device) image sensor as an imaging device, and a camera using a CMOS (Complementary Metal Oxide Semiconductor) image sensor as an imaging device. An electronic camera (digital camera) such as a camera using a MOS image sensor as an image pickup device can be used. Further, by analyzing the image data using, for example, differential interference method, Fourier transform method, or the like, it is possible to emphasize a fine shape or a shape that is difficult to see, and improve the shape detection sensitivity. In addition, it is possible to emphasize fine scratches and scratches that are difficult to see and improve the detection sensitivity of the scratches.
この撮像装置51は、撮像領域が電子部品載置部2の上面911の大きさとほぼ同等又はそれより大きくなるように構成されている。 The imaging device 51 is configured such that the imaging area is substantially equal to or larger than the size of the upper surface 911 of the electronic component placement unit 2.
また、撮像装置51は、図示はしないが、光学レンズやオートフォーカス機構等の光学系を備えていることが好ましい。これにより、例えば、撮像装置51に対する電子部品載置部2の高さ(Z軸方向の高さ)が異なる場合でも、鮮明な画像を得ることができる。 Although not shown, the imaging device 51 preferably includes an optical system such as an optical lens or an autofocus mechanism. Thereby, for example, even when the height (the height in the Z-axis direction) of the electronic component placement unit 2 with respect to the imaging device 51 is different, a clear image can be obtained.
照明装置52は、撮像装置51による電子部品載置部2の撮像時に駆動され、電子部品載置部2に光を照射する光源装置である。この照明装置52により、光量不足で画像が暗くなることを抑制し、より鮮明な画像を得ることができる。 The illumination device 52 is a light source device that is driven when the electronic device placement unit 2 is imaged by the imaging device 51 and irradiates the electronic product placement unit 2 with light. By this illumination device 52, it is possible to suppress the image from becoming dark due to insufficient light quantity and to obtain a clearer image.
照明装置52は、本実施形態では、円環状をなし、撮像装置51の周囲に配置されている。これにより、電子部品載置部2に均一に光を照射することができる。なお、照明装置52の形状や配置は前述の構成に限定されない。 In this embodiment, the illumination device 52 has an annular shape and is disposed around the imaging device 51. Thereby, light can be uniformly irradiated to the electronic component mounting part 2. The shape and arrangement of the lighting device 52 are not limited to the above-described configuration.
このような構成の載置部画像取得部50は、照明装置52により電子部品載置部2に光を照射し、撮像装置51により電子部品載置部2を撮像する。撮像装置51からの信号は前述した撮像制御部313に取り込まれる。撮像制御部313は、撮像装置51からの信号を処理し、電子部品載置部2の画像を2次元の画像データとして生成する。 The placement unit image acquisition unit 50 having such a configuration irradiates the electronic component placement unit 2 with light by the illumination device 52 and images the electronic component placement unit 2 with the imaging device 51. A signal from the imaging device 51 is taken into the imaging control unit 313 described above. The imaging control unit 313 processes a signal from the imaging device 51 and generates an image of the electronic component placement unit 2 as two-dimensional image data.
また、載置部画像取得部50が取得した電子部品載置部2の画像を用いて3次元の画像データを生成してもよい。その場合には、例えば、図示はしないが、1つの配置列に対して2つ以上(例えば、3つ)の載置部画像取得部50を設ければよい。 Further, three-dimensional image data may be generated using the image of the electronic component placement unit 2 acquired by the placement unit image acquisition unit 50. In this case, for example, although not shown, two or more (for example, three) placement unit image acquisition units 50 may be provided for one arrangement row.
(実施例)
以下、上記した構成の検査装置1の一連の動作を説明しつつ、電子部品載置部2の画像の取得について説明する。
図5は、本実施形態に係るモデル画像の自動登録の処理を示すフローチャートである。
モデル画像作成部314におけるモデル画像の自動登録時の流れの例を以下に説明する。
(Example)
Hereinafter, acquisition of an image of the electronic component placement unit 2 will be described while describing a series of operations of the inspection apparatus 1 having the above-described configuration.
FIG. 5 is a flowchart showing a process for automatically registering a model image according to the present embodiment.
An example of the flow at the time of automatic registration of model images in the model image creation unit 314 will be described below.
本実施形態に係るモデル画像作成部314は、モデル画像の作成を自動で行う。モデル画像作成部314は、「明るさ調整」と「モデル画像の切り出し」との作業を自動で行う。 The model image creation unit 314 according to the present embodiment automatically creates a model image. The model image creation unit 314 automatically performs operations of “brightness adjustment” and “cutout of model image”.
先ず、ステップS10において、撮像制御部313は電子部品載置部2の上方に載置部画像取得部50を移動する。 First, in step S <b> 10, the imaging control unit 313 moves the placement unit image acquisition unit 50 above the electronic component placement unit 2.
次に、ステップS20において、モデル画像作成部314は電子部品載置部2の画像の明るさを調整する。 Next, in step S <b> 20, the model image creation unit 314 adjusts the brightness of the image of the electronic component placement unit 2.
次に、ステップS30において、モデル画像作成部314は電子部品載置部2の画像のモデル画像エリアを決定する。 Next, in step S <b> 30, the model image creation unit 314 determines a model image area of the image of the electronic component placement unit 2.
次に、ステップS40において、モデル画像作成部314は電子部品載置部2のモデル画像を切り出して登録する。そしてモデル画像の自動登録を終了する。 Next, in step S40, the model image creation unit 314 cuts out and registers the model image of the electronic component placement unit 2. Then, the automatic registration of the model image ends.
図6は、本実施形態に係る明るさ調整の処理を示すフローチャートである。
上記のステップS20の「明るさ調整」の処理の例を以下に説明する。
FIG. 6 is a flowchart showing brightness adjustment processing according to the present embodiment.
An example of the “brightness adjustment” process in step S20 will be described below.
モデル画像作成部314は、画像内の画素の明るさ及び画素の個数を数値化する。これによれば、明るさを容易に自動制御することができる。モデル画像作成部314は、「明るさ調整」の自動化では、撮像した画像内の明るさ分布から適切な設定値を決定する。この時、調整する設定は、露光時間、シャッタースピード、照明強度、絞り、照明点灯時間などがある。なお、照明点灯時間はフラッシュを使用するときの調整用であってもよい。 The model image creation unit 314 quantifies the brightness of the pixels and the number of pixels in the image. According to this, the brightness can be easily automatically controlled. In the automation of “brightness adjustment”, the model image creation unit 314 determines an appropriate setting value from the brightness distribution in the captured image. At this time, settings to be adjusted include exposure time, shutter speed, illumination intensity, aperture, illumination lighting time, and the like. The illumination lighting time may be for adjustment when the flash is used.
先ず、ステップS210において、載置部画像取得部50は電子部品載置部2を撮像する。 First, in step S <b> 210, the placement unit image acquisition unit 50 images the electronic component placement unit 2.
次に、ステップS220において、モデル画像作成部314は電子部品載置部2の画像の明るさ分布を作成する。 Next, in step S220, the model image creation unit 314 creates the brightness distribution of the image of the electronic component placement unit 2.
モデル画像作成部314は、撮像装置51の撮像信号に基づいて画像内の画素の明るさ及び画素の個数を表示部41に表示する。これによれば、明るさに基づく画像全体の輝度値と、所定の閾値(輝度値)とを比較するなどして、当該画像の明るさを容易に調整することができ、また明るさの数値の確認が容易になることから明るさ調整に対して非常に便利なものとなる。 The model image creation unit 314 displays the brightness of the pixels and the number of pixels in the image on the display unit 41 based on the imaging signal of the imaging device 51. According to this, it is possible to easily adjust the brightness of the image by comparing the brightness value of the entire image based on the brightness with a predetermined threshold value (brightness value) or the like. Since it is easy to confirm the brightness, it is very convenient for brightness adjustment.
数値化は、画像内の画素の明るさを横軸(第1軸)、画素の個数を縦軸(第2軸)にするヒストグラムを作成する。これによれば、公知のヒストグラムを用いることによって数値化がモデル画像作成部314によって生成されるので、モデル画像作成部314を簡素に構成することができ、また適切な数値化の生成が可能となる。 In the digitization, a histogram is created with the brightness of the pixels in the image as the horizontal axis (first axis) and the number of pixels as the vertical axis (second axis). According to this, since the digitization is generated by the model image creation unit 314 by using a known histogram, the model image creation unit 314 can be simply configured, and appropriate digitization can be generated. Become.
次に、ステップS230において、モデル画像作成部314は適切な明るさか判断する。ヒストグラムの分布を評価し、明るさを判断する。 Next, in step S230, the model image creation unit 314 determines whether the brightness is appropriate. Evaluate the histogram distribution and determine the brightness.
図7は、本実施形態に係る明るさ調整のアルゴリズムを説明する図である。
図7の下図に示すように、ヒストグラム70の分布の右端が基準値より右側にある場合は、画像が明るいと判断する。明るい場合は、ステップS240に進む。
図7の上図に示すように、ヒストグラム74の分布の右端が基準値より左側にある場合は、画像が暗いと判断する。暗い場合は、ステップS250に進む。
FIG. 7 is a diagram for explaining an algorithm for brightness adjustment according to the present embodiment.
As shown in the lower diagram of FIG. 7, when the right end of the distribution of the histogram 70 is on the right side of the reference value, it is determined that the image is bright. If it is bright, the process proceeds to step S240.
As shown in the upper diagram of FIG. 7, when the right end of the distribution of the histogram 74 is on the left side of the reference value, it is determined that the image is dark. If it is dark, the process proceeds to step S250.
次に、ステップS240において、モデル画像作成部314は画像内の画素を暗くする(露光時間短く)。予め決めておいた基準値内に分布が収まるようにする。具体的には、ヒストグラム70の分布を狭めてヒストグラム72の分布のように基準値内に収まるようにする。 Next, in step S240, the model image creation unit 314 darkens the pixels in the image (exposure time is short). The distribution is set to fall within a predetermined reference value. Specifically, the distribution of the histogram 70 is narrowed so that it falls within the reference value like the distribution of the histogram 72.
次に、ステップS250において、モデル画像作成部314は画像内の画素を明るくする(露光時間長く)。予め決めておいた基準値内に分布が収まるようにする。具体的には、ヒストグラム74の分布を拡げてヒストグラム72の分布のように基準値内一杯に収まるようにする。
そして戻る。
Next, in step S250, the model image creation unit 314 brightens the pixels in the image (lengthens the exposure time). The distribution is set to fall within a predetermined reference value. Specifically, the distribution of the histogram 74 is expanded so that it fits within the reference value like the distribution of the histogram 72.
Then go back.
図8は、本実施形態に係るモデル画像エリア決定の処理を示すフローチャートである。
上記のステップS30の「モデル画像エリア決定」の処理の例を以下に説明する。
FIG. 8 is a flowchart showing a model image area determination process according to this embodiment.
An example of the “model image area determination” process in step S30 will be described below.
モデル画像の切り出し位置の調整は、撮像装置51の撮像した画像の画像データを微分処理して調整する。これによれば、画像を微分処理して作成することにより容易に強調処理することができる。「モデル画像の切り出し」の自動化では、ICデバイス90及び電子部品載置部2の寸法に基づいて、撮像画像中のモデル画像エリアを決定し、画像を切り出す。モデル画像エリアの決定には、画像内の特徴(対称性)も利用する。モデル画像の切り出し位置の調整は画像中のエッジを確認して判断する。
例えば、次のような方法でエッジを確認する。
The adjustment of the cut-out position of the model image is adjusted by differentiating the image data of the image captured by the imaging device 51. According to this, it is possible to easily perform the enhancement process by creating the image by differentiating the image. In the automation of “cutting out a model image”, a model image area in a captured image is determined based on the dimensions of the IC device 90 and the electronic component placement unit 2, and the image is cut out. The feature (symmetry) in the image is also used for determining the model image area. The adjustment of the cutout position of the model image is determined by confirming the edge in the image.
For example, the edge is confirmed by the following method.
先ず、ステップS310において、モデル画像作成部314は電子部品載置部2の画像の仮モデル画像エリアを決める。画像中心で、電子部品載置部2の寸法より大きくする。画像の微分画像を作成し、エッジを抽出する。電子部品載置部2の大きさに基づいて切り出し枠を決める(電子部品載置部サイズ+α)。 First, in step S310, the model image creation unit 314 determines a temporary model image area of the image of the electronic component placement unit 2. At the center of the image, the size is larger than the size of the electronic component placement unit 2. Create a differential image of the image and extract the edges. A cutting frame is determined based on the size of the electronic component placement unit 2 (electronic component placement unit size + α).
次に、ステップS320において、モデル画像作成部314は仮モデル画像エリアを上下左右に変えながらモデル画像エリアの対称性評価を行う。
例えば、モデル画像作成部314はモデル画像の回転対称性を計算する。モデル画像作成部314はモデル画像を切り出しする。モデル画像作成部314はモデル画像のエッジ部分の面積を抽出する。モデル画像作成部314は切り出し枠を広げて、モデル画像の切り出しとエッジ部分の面積の抽出とを繰り返す(予め指定した最大まで)。
Next, in step S320, the model image creation unit 314 evaluates the symmetry of the model image area while changing the temporary model image area vertically and horizontally.
For example, the model image creation unit 314 calculates the rotational symmetry of the model image. The model image creation unit 314 cuts out the model image. The model image creation unit 314 extracts the area of the edge portion of the model image. The model image creation unit 314 widens the cutout frame and repeats the cutout of the model image and the extraction of the area of the edge portion (up to a maximum specified in advance).
次に、ステップS330において、モデル画像作成部314は最も対称性の高い位置をモデル画像エリアとする。モデル画像作成部314は対称性が高い位置をモデル画像の中心とみなす。モデル画像作成部314は切り出し枠とエッジ面積の分布から最適なエッジ位置を決め、モデル画像の切り出し位置を決める。最適なエッジ位置は、例えば、エッジ面積が飽和する大きさ、あるいはある閾値以上のエッジ面積などを用いて決める。そして戻る。 Next, in step S330, the model image creation unit 314 sets the position with the highest symmetry as the model image area. The model image creation unit 314 regards a position with high symmetry as the center of the model image. The model image creation unit 314 determines the optimum edge position from the cutout frame and the distribution of the edge area, and determines the cutout position of the model image. The optimum edge position is determined using, for example, a size at which the edge area is saturated, or an edge area that is greater than a certain threshold. Then go back.
図9は、本実施形態に係るモデル画像の自動登録の流れを示すフローチャートである。
モデル画像作成部314におけるモデル画像の自動登録時の複数回処理する流れの例を以下に説明する。
図5のモデル画像の登録処理は、複数回処理することで、より適切なモデル画像を得ることもできる。より最適なモデル画像を得るために、「明るさ調整」と「モデル画像の切り出し」を複数回繰り返して行う。
FIG. 9 is a flowchart showing a flow of automatic registration of model images according to the present embodiment.
An example of the flow of processing a plurality of times at the time of automatic registration of the model image in the model image creation unit 314 will be described below.
The model image registration process of FIG. 5 can be performed more than once to obtain a more appropriate model image. In order to obtain a more optimal model image, “brightness adjustment” and “cutout of model image” are repeated a plurality of times.
先ず、ステップS10において、撮像制御部313は電子部品載置部2の上方に載置部画像取得部50を移動する。 First, in step S <b> 10, the imaging control unit 313 moves the placement unit image acquisition unit 50 above the electronic component placement unit 2.
次に、ステップS20において、モデル画像作成部314は電子部品載置部2の画像の明るさを調整する。 Next, in step S <b> 20, the model image creation unit 314 adjusts the brightness of the image of the electronic component placement unit 2.
次に、ステップS30において、モデル画像作成部314は電子部品載置部2のモデル画像エリアを決定する。 Next, in step S <b> 30, the model image creation unit 314 determines a model image area of the electronic component placement unit 2.
次に、ステップS32において、撮像制御部313は電子部品載置部2のモデル画像エリアが中心に撮像できる位置に載置部画像取得部50を移動する。 Next, in step S <b> 32, the imaging control unit 313 moves the placement unit image acquisition unit 50 to a position where the model image area of the electronic component placement unit 2 can be imaged.
次に、ステップS34において、モデル画像作成部314は電子部品載置部2のモデル画像エリア内で明るさ調整を行い、より最適にする。 Next, in step S <b> 34, the model image creation unit 314 performs brightness adjustment in the model image area of the electronic component placement unit 2 to make it more optimal.
次に、ステップS36において、モデル画像作成部314は電子部品載置部2のモデル画像エリアを決定する。これにより、載置部画像取得部50中心で撮像した電子部品載置部2のモデル画像を使用できる。 Next, in step S <b> 36, the model image creation unit 314 determines a model image area of the electronic component placement unit 2. Thereby, the model image of the electronic component placement unit 2 captured at the center of the placement unit image acquisition unit 50 can be used.
次に、ステップS40において、モデル画像作成部314は電子部品載置部2のモデル画像を切り出して登録する。そしてモデル画像の自動登録を終了する。 Next, in step S40, the model image creation unit 314 cuts out and registers the model image of the electronic component placement unit 2. Then, the automatic registration of the model image ends.
以上のように、検査装置1では、載置部画像取得部50によって、電子部品載置部2の画像を取得する。 As described above, in the inspection apparatus 1, the image of the electronic component placement unit 2 is obtained by the placement unit image acquisition unit 50.
本実施形態によれば、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを調整することができる。これにより、最適なモデル画像を得ることができる。その結果、搬送位置を補正して高精度搬送を実現する搬送装置10及び検査装置1を提供できる。 According to the present embodiment, at least one of the brightness of the model image and the cutout position of the model image with respect to the image can be adjusted. Thereby, an optimal model image can be obtained. As a result, it is possible to provide the transfer device 10 and the inspection device 1 that correct the transfer position and realize high-precision transfer.
また、作業者に依存しない最適なモデル登録が行える。登録作業者の負担が軽減される。 In addition, optimal model registration independent of the worker can be performed. The burden on registration workers is reduced.
(第2実施形態)
図10は、本実施形態に係るモデル画像の自動登録の設定画面を示す図である。
以下、本実施形態について説明するが、前述した第1実施形態との相違点を中心に説明し、同様の事項は、その説明を省略する。
(Second Embodiment)
FIG. 10 is a diagram showing a setting screen for automatic registration of model images according to the present embodiment.
Hereinafter, although this embodiment is described, it demonstrates centering around difference with 1st Embodiment mentioned above, The description is abbreviate | omitted about the same matter.
本実施形態に係る搬送装置10は、画像に基づいて電子部品載置部2のモデル画像の設定情報を表示可能で、モデル画像の自動登録の指示を受付可能なモデル自動登録ボタン(指示受付部)82を有する供給搬送補正セットアップ画面(モデル画像表示設定部)80とを備えている。 The transport apparatus 10 according to the present embodiment can display setting information of the model image of the electronic component placement unit 2 based on the image and can receive an instruction for automatic registration of the model image (an instruction reception unit). ) 82 and a supply conveyance correction setup screen (model image display setting unit) 80.
供給搬送補正セットアップ画面80は、電子部品載置部2を選択可能な検出ポケット選択ボタン(電子部品載置部選択部)84を備えている。作業者(操作者)は検出ポケット選択ボタン84で電子部品載置部2を選択する。モデル画像の自動登録は、作業者(操作者)がモデル自動登録ボタン82を選択することにより実行される。モデル自動登録ボタン82が選択された場合、モデル画像作成部314は、モデル画像の明るさと、画像に対するモデル画像の切り出し位置の少なくとも1つを自動で調整する。 The supply conveyance correction setup screen 80 includes a detection pocket selection button (electronic component placement portion selection portion) 84 that can select the electronic component placement portion 2. The operator (operator) selects the electronic component placement unit 2 with the detection pocket selection button 84. Automatic registration of the model image is executed by the operator (operator) selecting the model automatic registration button 82. When the model automatic registration button 82 is selected, the model image creation unit 314 automatically adjusts at least one of the brightness of the model image and the cutout position of the model image with respect to the image.
なお、作業者(操作者)の操作部42の操作は、例えば、マウス421を操作し、表示部41に表示された各操作ボタン(アイコン)の位置にカーソルを移動させ、選択(クリック)することによりなされる。
なお、表示部41に表示される各操作ボタンのうちの一部又は全部が、押しボタン等の機械式の操作ボタンとして設けられていてもよい。
The operation of the operation unit 42 of the operator (operator) is performed by, for example, operating the mouse 421, moving the cursor to the position of each operation button (icon) displayed on the display unit 41, and selecting (clicking). Is made by
Note that some or all of the operation buttons displayed on the display unit 41 may be provided as mechanical operation buttons such as push buttons.
図11は、本実施形態に係るモデル画像の自動登録の処理を示すフローチャートである。
モデル画像作成部314におけるモデル画像の自動登録時の流れの例を以下に説明する。
FIG. 11 is a flowchart showing a process for automatically registering a model image according to the present embodiment.
An example of the flow at the time of automatic registration of model images in the model image creation unit 314 will be described below.
先ず、ステップS50において、モデル画像作成部314はトレイ200(電子部品載置部2)のモデル画像を登録する(図5及び図9参照)。 First, in step S50, the model image creation unit 314 registers the model image of the tray 200 (electronic component placement unit 2) (see FIGS. 5 and 9).
次に、ステップS60において、モデル画像作成部314は電子部品供給部14(電子部品載置部2)のモデル画像を登録する(図5及び図9参照)。 Next, in step S60, the model image creation unit 314 registers the model image of the electronic component supply unit 14 (electronic component placement unit 2) (see FIGS. 5 and 9).
次に、ステップS70において、モデル画像作成部314は温度調整部12(電子部品載置部2)のモデル画像を登録する(図5及び図9参照)。 Next, in step S70, the model image creation unit 314 registers the model image of the temperature adjustment unit 12 (electronic component placement unit 2) (see FIGS. 5 and 9).
次に、ステップS80において、モデル画像作成部314は回転ステージ(図示せず)(電子部品載置部2)のモデル画像を登録する(図5及び図9参照)。そしてモデル画像の自動登録を終了する。 Next, in step S80, the model image creation unit 314 registers the model image of the rotary stage (not shown) (electronic component placement unit 2) (see FIGS. 5 and 9). Then, the automatic registration of the model image ends.
図12は、本実施形態に係るモデル画像の自動登録のモデル画像登録処理状態画面を示す図である。
自動登録中は、供給シャトル(電子部品供給部14)のモデル(モデル画面)登録中を示すモデル登録処理状態画面86が表示される。
FIG. 12 is a diagram showing a model image registration process state screen for automatic registration of model images according to the present embodiment.
During automatic registration, a model registration processing status screen 86 indicating that the model (model screen) of the supply shuttle (electronic component supply unit 14) is being registered is displayed.
(変形例)
なお、載置部画像取得部50は、電子部品載置部2の上方に配置されるように支持部60に支持されていてもよい。これにより、載置部画像取得部50は、電子部品載置部2の鉛直上方から電子部品載置部2の上面911の状態の情報を取得可能になっている。なお、支持部60は、例えば、検査部16や測定ロボット17を支持する支持脚(図示せず)等に取り付けられている。
(Modification)
The placement unit image acquisition unit 50 may be supported by the support unit 60 so as to be disposed above the electronic component placement unit 2. Thereby, the mounting part image acquisition part 50 can acquire information on the state of the upper surface 911 of the electronic component mounting part 2 from vertically above the electronic part mounting part 2. The support unit 60 is attached to, for example, a support leg (not shown) that supports the inspection unit 16 and the measurement robot 17.
図13は、変形例の載置部画像取得部50を示す概略側面図である。
また、載置部画像取得部50は、図13に示すように、電子部品載置部2の上方に配置されるように測定ロボット17に支持されていてもよい。これにより、載置部画像取得部50は、検査部16の鉛直上方から検査部16の画像を取得可能になる。
FIG. 13 is a schematic side view showing a placement unit image acquisition unit 50 according to a modification.
Moreover, the mounting part image acquisition part 50 may be supported by the measurement robot 17 so that it may be arrange | positioned above the electronic component mounting part 2, as shown in FIG. Thereby, the placement unit image acquisition unit 50 can acquire the image of the inspection unit 16 from vertically above the inspection unit 16.
また、前述した説明では、載置部画像取得部50は、1回の撮像で、1つの電子部品載置部2を撮像したが、1回の撮像で、複数の電子部品載置部2を撮像してもよい。また、載置部画像取得部50は、1つの電子部品載置部2を複数に分割して撮像してもよい。その場合の分割数は、特に限定されず、撮像装置51の性能等の諸条件に応じて適宜設定されるものであるが、多ければ多いほど好ましい。これにより、電子部品載置部2の画像を一括して取得する場合に比べ、前記画像を高精度に取得することができる。 Further, in the above description, the placement unit image acquisition unit 50 images one electronic component placement unit 2 by one imaging, but a plurality of electronic component placement units 2 are obtained by one imaging. You may image. Moreover, the mounting part image acquisition part 50 may divide and image the one electronic component mounting part 2 into a plurality. In this case, the number of divisions is not particularly limited, and may be set as appropriate according to various conditions such as the performance of the imaging device 51. The larger the number, the better. Thereby, the said image can be acquired with high precision compared with the case where the image of the electronic component mounting part 2 is acquired collectively.
以上、本発明の電子部品搬送装置及び電子部品検査装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。 As mentioned above, although the electronic component conveyance apparatus and electronic component inspection apparatus of this invention were demonstrated based on embodiment of illustration, this invention is not limited to this, The structure of each part is arbitrary which has the same function. It can be replaced with that of the configuration. In addition, any other component may be added to the present invention.
例えば、前述した実施形態では、載置部画像取得部50として、撮像装置51及び照明装置52を備えた構成を挙げたが載置部画像取得部50の構成はこれに限定されない。例えば、載置部画像取得部50は、レーザー光を電子部品の表面に照射し、そのレーザー光を走査し、前記表面で反射したレーザー光を受光する装置等であってもよい。 For example, in the above-described embodiment, the configuration including the imaging device 51 and the illumination device 52 is given as the placement unit image acquisition unit 50, but the configuration of the placement unit image acquisition unit 50 is not limited thereto. For example, the placement unit image acquisition unit 50 may be a device that irradiates the surface of an electronic component with a laser beam, scans the laser beam, and receives the laser beam reflected on the surface.
また、前述した実施形態では、載置部画像取得部50が電子部品載置部2の鉛直方向の上面を撮像するように構成されていたが、これに限らず、例えば、載置部画像取得部50が電子部品の裏面、側面等を撮像可能なように構成してもよい。 Further, in the embodiment described above, the placement unit image acquisition unit 50 is configured to image the top surface of the electronic component placement unit 2 in the vertical direction. The unit 50 may be configured to be able to image the back surface, the side surface, and the like of the electronic component.
1…検査装置(電子部品検査装置) 2…電子部品載置部 10…搬送装置(電子部品搬送装置) 11A,11B…トレイ搬送機構 12…温度調整部(電子部品載置部) 13…供給ロボット(デバイス搬送ヘッド) 14…電子部品供給部(電子部品載置部) 15…供給空トレイ搬送機構 16…検査部 17…測定ロボット(デバイス搬送ヘッド) 18…電子部品回収部(電子部品載置部) 19…回収用トレイ(電子部品載置部) 20…回収ロボット 21…回収空トレイ搬送機構 22A,22B…トレイ搬送機構 30…制御装置 31…制御部 32…記憶部 40…設定表示部 41…表示部 42…操作部(入力部) 50…載置部画像取得部 50a…第1載置部画像取得部 50b…第2載置部画像取得部 51…撮像装置(撮像部) 52…照明装置 60…支持部 70,72,74…ヒストグラム 80…供給搬送補正セットアップ画面(モデル画像表示設定部) 82…モデル自動登録ボタン(指示受付部) 84…検出ポケット選択ボタン(電子部品載置部選択部) 86…モデル登録処理状態画面 90…ICデバイス(電子部品) 181…載置部 200…トレイ(電子部品載置部) 311…駆動制御部 312…検査制御部 313…撮像制御部 314…モデル画像作成部 411…モニター 421…マウス 911…上面 A1…トレイ供給領域 A2…デバイス供給領域 A3…検査領域 A4…デバイス回収領域 A5…トレイ除去領域 R1…第1室 R2…第2室 R3…第3室。 DESCRIPTION OF SYMBOLS 1 ... Inspection apparatus (electronic component inspection apparatus) 2 ... Electronic component mounting part 10 ... Conveyance apparatus (electronic component conveyance apparatus) 11A, 11B ... Tray conveyance mechanism 12 ... Temperature adjustment part (electronic component mounting part) 13 ... Supply robot (Device transport head) 14 ... Electronic component supply unit (electronic component placement unit) 15 ... Supply empty tray transport mechanism 16 ... Inspection unit 17 ... Measurement robot (device transport head) 18 ... Electronic component collection unit (electronic component placement unit) 19 ... Tray for collection (electronic component placement unit) 20 ... Recovery robot 21 ... Recovery empty tray transport mechanism 22A, 22B ... Tray transport mechanism 30 ... Control device 31 ... Control unit 32 ... Storage unit 40 ... Setting display unit 41 ... Display unit 42 ... operation unit (input unit) 50 ... placement unit image acquisition unit 50a ... first placement unit image acquisition unit 50b ... second placement unit image acquisition unit 51 ... imaging device ( Image unit) 52 ... Illuminating device 60 ... Supporting unit 70, 72, 74 ... Histogram 80 ... Supply conveyance correction setup screen (model image display setting unit) 82 ... Automatic model registration button (instruction receiving unit) 84 ... Detection pocket selection button ( Electronic component placement unit selection unit) 86 ... Model registration processing status screen 90 ... IC device (electronic component) 181 ... Placement unit 200 ... Tray (electronic component placement unit) 311 ... Drive control unit 312 ... Inspection control unit 313 ... Imaging control unit 314 ... model image creation unit 411 ... monitor 421 ... mouse 911 ... upper surface A1 ... tray supply area A2 ... device supply area A3 ... inspection area A4 ... device recovery area A5 ... tray removal area R1 ... first chamber R2 ... first 2 rooms R3 ... 3rd room.
Claims (10)
前記電子部品載置部の画像を撮像可能な撮像部と、
前記画像に基づいて前記電子部品載置部のモデル画像を作成可能なモデル画像作成部とを有し、
前記モデル画像作成部は、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを調整可能な電子部品搬送装置。 An electronic component placement section capable of placing electronic components;
An imaging unit capable of capturing an image of the electronic component placement unit;
A model image creation unit capable of creating a model image of the electronic component placement unit based on the image;
The model image creation unit is an electronic component transport apparatus capable of adjusting at least one of brightness of the model image and a cut-out position of the model image with respect to the image.
前記モデル画像作成部は、入力された前記明るさ調整パラメーターを用いて前記モデル画像の明るさを調整する請求項1に記載の電子部品搬送装置。 It has an input unit for entering brightness adjustment parameters,
The electronic component transport apparatus according to claim 1, wherein the model image creating unit adjusts the brightness of the model image using the input brightness adjustment parameter.
前記モデル画像作成部は、前記撮像部の撮像信号に基づいて前記画像内の画素の明るさ及び画素の個数を前記表示部に表示する請求項1〜4のいずれか一項に記載の電子部品搬送装置。 Having a display,
5. The electronic component according to claim 1, wherein the model image creation unit displays the brightness and the number of pixels in the image on the display unit based on an imaging signal of the imaging unit. Conveying device.
前記電子部品載置部の画像を撮像可能な撮像部と、
前記画像に基づいて前記電子部品載置部のモデル画像の設定情報を表示可能で、前記モデル画像の自動登録の指示を受付可能な指示受付部を有するモデル画像表示設定部とを有し、
前記モデル画像表示設定部は、
前記電子部品載置部を選択可能な電子部品載置部選択部を有し、
前記指示受付部で指示した場合、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを自動で調整可能な電子部品搬送装置。 An electronic component placement section capable of placing electronic components;
An imaging unit capable of capturing an image of the electronic component placement unit;
A model image display setting unit that can display setting information of the model image of the electronic component placement unit based on the image and has an instruction receiving unit capable of receiving an instruction for automatic registration of the model image;
The model image display setting unit
An electronic component placement unit selection unit capable of selecting the electronic component placement unit;
An electronic component transport apparatus capable of automatically adjusting at least one of brightness of the model image and a cut-out position of the model image with respect to the image when instructed by the instruction receiving unit.
前記電子部品載置部の画像を撮像可能な撮像部と、
前記画像に基づいて前記電子部品載置部のモデル画像を作成可能なモデル画像作成部と、
前記電子部品を検査する検査部とを有し、
前記モデル画像作成部は、前記モデル画像の明るさと、前記画像に対する前記モデル画像の切り出し位置の少なくとも1つを調整可能な電子部品検査装置。 An electronic component placement section capable of placing electronic components;
An imaging unit capable of capturing an image of the electronic component placement unit;
A model image creation unit capable of creating a model image of the electronic component placement unit based on the image;
An inspection unit for inspecting the electronic component,
The model image creation unit is an electronic component inspection apparatus capable of adjusting at least one of brightness of the model image and a cut-out position of the model image with respect to the image.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148118A JP6759809B2 (en) | 2016-07-28 | 2016-07-28 | Electronic component transfer device and electronic component inspection device |
| TW106124856A TW201803787A (en) | 2016-07-28 | 2017-07-25 | Electronic component conveying device and electronic component inspecting device includes a model image creating part that can adjust at least one of the brightness of the model image and the intercepting region of the model image to realize high-precision conveying by correcting conveying position |
| CN201710626908.7A CN107661867B (en) | 2016-07-28 | 2017-07-27 | Electronic component conveying device and electronic component inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148118A JP6759809B2 (en) | 2016-07-28 | 2016-07-28 | Electronic component transfer device and electronic component inspection device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018018304A true JP2018018304A (en) | 2018-02-01 |
| JP2018018304A5 JP2018018304A5 (en) | 2019-06-20 |
| JP6759809B2 JP6759809B2 (en) | 2020-09-23 |
Family
ID=61081820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016148118A Active JP6759809B2 (en) | 2016-07-28 | 2016-07-28 | Electronic component transfer device and electronic component inspection device |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6759809B2 (en) |
| CN (1) | CN107661867B (en) |
| TW (1) | TW201803787A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113820576A (en) * | 2020-06-17 | 2021-12-21 | Tcl科技集团股份有限公司 | Method and device for testing light-emitting diode device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000183122A (en) * | 1998-12-16 | 2000-06-30 | Fujitsu Ltd | Semiconductor inspection method and apparatus |
| JP2013148361A (en) * | 2012-01-17 | 2013-08-01 | Omron Corp | Method for registering inspection standard for soldering inspection, and board inspection apparatus based on said method |
| JP2016065875A (en) * | 2015-11-13 | 2016-04-28 | 株式会社キーエンス | Image processing apparatus and image processing method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62274379A (en) * | 1986-05-22 | 1987-11-28 | Kubota Ltd | Image processor for recognizing fruit |
| JP3528184B2 (en) * | 1991-10-31 | 2004-05-17 | ソニー株式会社 | Image signal luminance correction apparatus and luminance correction method |
| JP2001125535A (en) * | 1999-10-29 | 2001-05-11 | Fujitsu General Ltd | Image quality correction circuit |
| JP2001067478A (en) * | 1999-08-30 | 2001-03-16 | Oki Electric Ind Co Ltd | Method and device for inspecting mounted component |
| JP5196731B2 (en) * | 2006-04-20 | 2013-05-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP2010060810A (en) * | 2008-09-03 | 2010-03-18 | Samsung Digital Imaging Co Ltd | Imaging apparatus and imaging method |
| JP6061488B2 (en) * | 2012-04-26 | 2017-01-18 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP6083140B2 (en) * | 2012-07-20 | 2017-02-22 | セイコーエプソン株式会社 | Electronic component conveying device and electronic component inspection device |
| CN103458194B (en) * | 2013-08-28 | 2017-02-22 | 中国科学院深圳先进技术研究院 | Method and device for analyzing exposure degree of digital image and video and digital imaging system |
| CN104994306B (en) * | 2015-06-29 | 2019-05-03 | 厦门美图之家科技有限公司 | A kind of image capture method and photographic device based on face's brightness adjust automatically exposure |
-
2016
- 2016-07-28 JP JP2016148118A patent/JP6759809B2/en active Active
-
2017
- 2017-07-25 TW TW106124856A patent/TW201803787A/en unknown
- 2017-07-27 CN CN201710626908.7A patent/CN107661867B/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000183122A (en) * | 1998-12-16 | 2000-06-30 | Fujitsu Ltd | Semiconductor inspection method and apparatus |
| JP2013148361A (en) * | 2012-01-17 | 2013-08-01 | Omron Corp | Method for registering inspection standard for soldering inspection, and board inspection apparatus based on said method |
| JP2016065875A (en) * | 2015-11-13 | 2016-04-28 | 株式会社キーエンス | Image processing apparatus and image processing method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113820576A (en) * | 2020-06-17 | 2021-12-21 | Tcl科技集团股份有限公司 | Method and device for testing light-emitting diode device |
| CN113820576B (en) * | 2020-06-17 | 2023-11-14 | Tcl科技集团股份有限公司 | Method and device for testing light-emitting diode device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107661867B (en) | 2020-04-14 |
| JP6759809B2 (en) | 2020-09-23 |
| CN107661867A (en) | 2018-02-06 |
| TW201803787A (en) | 2018-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425755B2 (en) | Foreign substance inspection method of substrate | |
| CN104091766B (en) | System and method for inspecting wafer | |
| JP2018159705A (en) | Automatic optical inspection system and operation method thereof | |
| TW502111B (en) | Inspection method for foreign matters inside through hole | |
| TWI699318B (en) | Electronic component handler and electronic component tester | |
| US20150043805A1 (en) | Image processing system, image processing method, and computer-readable recording medium | |
| JP2009145072A (en) | Measuring method and inspection method, measuring device and inspection device | |
| TW201712325A (en) | Electronic component transfer device and electronic component inspection device | |
| CN104655643A (en) | Quality detection system for surface welding process of electronic devices | |
| CN111725095A (en) | Electronic parts conveying device and electronic parts inspection device | |
| JP5417197B2 (en) | Inspection apparatus and inspection method | |
| KR101522312B1 (en) | Inspection device for pcb product and inspecting method using the same | |
| TW201911463A (en) | Electronic component transport apparatus and electronic component inspection apparatus | |
| JP2017015483A (en) | Electronic component conveying device and electronic component inspection device | |
| JP6759809B2 (en) | Electronic component transfer device and electronic component inspection device | |
| JP2017015482A (en) | Electronic component conveying device and electronic component inspection device | |
| TW202012947A (en) | Electronic component handler and electronic component tester | |
| JP2020118632A (en) | Method for teaching electronic component conveyance device, teaching program of electronic component conveyance device, electronic component conveyance device, and electronic component inspection device | |
| JP2017015479A (en) | Electronic component conveying device and electronic component inspection device | |
| JP2011185715A (en) | Inspection device and inspection method | |
| JP2012204703A (en) | Wafer appearance inspection device, wafer appearance inspection method, and semiconductor device | |
| JP2017015481A (en) | Electronic component conveyance device and electronic component inspection device | |
| US20190004104A1 (en) | Electronic Component Handler And Electronic Component Tester | |
| JP2006177760A (en) | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program | |
| JP7362507B2 (en) | Electronic component transport device, electronic component inspection device, and pocket position detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180907 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190517 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
| TRDD | Decision of grant or rejection written | ||
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20200803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200817 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6759809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |