[go: up one dir, main page]

JP3972941B2 - 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機 - Google Patents

部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機 Download PDF

Info

Publication number
JP3972941B2
JP3972941B2 JP2005184416A JP2005184416A JP3972941B2 JP 3972941 B2 JP3972941 B2 JP 3972941B2 JP 2005184416 A JP2005184416 A JP 2005184416A JP 2005184416 A JP2005184416 A JP 2005184416A JP 3972941 B2 JP3972941 B2 JP 3972941B2
Authority
JP
Japan
Prior art keywords
image
inspection
solder
density
ray transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005184416A
Other languages
English (en)
Other versions
JP2006049845A (ja
Inventor
淳 栗山
正人 石羽
清 村上
輝久 四ッ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005184416A priority Critical patent/JP3972941B2/ja
Priority to US11/168,015 priority patent/US7310406B2/en
Priority to TW094121756A priority patent/TWI302602B/zh
Priority to EP05014084A priority patent/EP1612546A1/en
Publication of JP2006049845A publication Critical patent/JP2006049845A/ja
Application granted granted Critical
Publication of JP3972941B2 publication Critical patent/JP3972941B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

この発明は、部品実装基板の製造のために実行される複数の工程のうちのはんだ印刷工程を経た基板を対象に、基板上の各ランドに印刷されたはんだの状態の適否を検査する方法およびこの方法を用いた検査機に関する。
部品実装基板の一般的な製造工程には、プリント配線板にクリームはんだを印刷する工程(はんだ印刷工程)、クリームはんだが塗布された位置に部品を搭載する工程(部品実装工程)、部品登載後の基板を加熱して部品を基板にはんだ付けする工程(はんだ付け工程)が含められる。これらの工程を一連に実行するようにした基板製造ラインでは、一般に、各工程で生じた不良基板が下流に流れないように、工程毎に検査を実行するようにしている。
この種の検査にX線透過画像を利用することが従来より提案されている。たとえば、下記の特許文献1には、X線透過画像を用いて基板のはんだ付け状態を検査するようにした検査機が開示されている。
特開平6−237076号公報
また、下記の特許文献2には、両面実装基板を製造する場合に、片方の面の実装が完了した時点での基板のX線透過画像と両面の実装が完了した時点での基板のX線透過画像との差分画像を求め、得られた差分画像を用いて、後で処理された方の基板面のはんだ付け状態を検査することが記載されている。
特開2001−50730号公報
しかし、完成後の部品実装基板では、はんだの大部分がランドに重ね合わせられ、またはんだの上方には部品が重ね合わせられる。このような重なり部分から各部材の状態を切り分けて判別することは困難である。この問題を解決するものとして、ラミノグラフィを使用した検査機が提案されているが、装置構造が複雑であるため、コストが高くなり、容易に導入できないという問題がある。
この発明は上記問題に着目してなされたもので、単純なX線透過画像を生成するタイプの安価な検査機を用いて、はんだ印刷工程における処理の結果を精度良く検査できるようにすることを目的とする。
この発明にかかるはんだ印刷検査方法は、部品実装基板の製造のために実行される複数の工程のうちの少なくともはんだ印刷工程に、X線透過画像の生成装置を含む検査機を配備し、前記はんだ印刷工程後に当該工程実行後の基板を受け付けて、前記X線透過画像の生成装置により当該基板のX線透過画像を生成するとともに、この基板につきはんだ印刷工程が実行される前に生成されたX線透過画像を入力し、自機で生成されたX線透過画像と入力されたX線透過画像との差分画像を用いて前記はんだの印刷状態を検査するもので、差分画像中の各ランドに対応する領域に検査ウィンドウを設定するのに必要な設定データと、差分画像上の濃度をはんだの厚みを表す値に換算するのに必要な換算用データと、各検査ウィンドウにおける基準のはんだ量とを、検査に先立ち登録しておき、以下の第1〜第6のステップを実行することを特徴とする。
第1ステップでは、前記設定データを用いて差分画像に複数の検査ウィンドウを設定する。第2ステップでは、第1ステップで設定された各検査ウィンドウにおいて、それぞれエッジを抽出する。第3ステップでは、第2ステップで抽出されたエッジを膨張させ、その膨張部分にランドのX線透過画像に相当する濃度を設定したマスク画像を作成する。
第4ステップでは、前記マスク画像と元の差分画像とを対応する画素毎に比較し、マスク画像の対応画素よりも濃度の低い画素の濃度がゼロに置き換えられ、マスク画像の対応画素よりも濃度の高い画素の濃度が維持されるように、前記差分画像を補正する。
第5ステップでは、補正後の差分画像の各検査ウィンドウにおいて、それぞれ当該ウィンドウ内の各画素の濃度を前記換算用データに基づきはんだの厚みを示す値に換算し、各画素における換算後の値の積算値をはんだ量として求める。
第6ステップでは、各検査ウィンドウについて、それぞれ第5ステップで求めたはんだ量を前記登録された基準のはんだ量と比較することにより、各ランドに印刷されたはんだ量の適否を判別する。
前記X線透過画像の生成装置は、X線の透過量を対数変換した画像を生成するように構成されるのが望ましい。X線の透過量は指数関数で表されるため、対数変換画像を生成すると、差分処理によりX線透過量の差を簡単に抽出することができるからである。このような画像を生成するには対数変換カメラを使用するのが望ましいが、これに代えて、たとえば、普通のカメラで露光時間を段階的に変えながら撮像を行う方法によって、対数変換したのと同様の画像を生成するようにしてもよい。
なお、検査機では、あらかじめ、入力される画像に対し、同一の試料にかかる画像の濃度が同一になるように、X線の照射量や画像のゲインを調整しておくのが望ましい。
上記の方法において、はんだ印刷工程の実行前の基板(すなわちプリント配線板)のX線透過画像は、X線透過画像の生成装置(前記検査機に組み込まれているのとは別体のもの)により生成することができる。またプリント配線板の検査を行う場合には、その検査を担当する検査機で生成されたはんだ印刷前の基板のX線透過画像を入力して、上記の方法を実行することができる。
上記のような差分画像によれば、プリント配線板に形成されていた構成(ランド、レジストパターン、スルーホールなど)の影響を受けずに、はんだ印刷工程において付加された構成(すなわちクリームはんだ)により変化した画像を切り出すことができる。さらに、差分画像中のはんだのエッジ付近に画像間の位置ずれによるノイズが生じている場合でも、このノイズが除去されるように差分画像を補正してからはんだ量を求めるので、はんだ量を精度良く求めることが可能になり、クリームはんだの印刷状態を精度良く検査することが可能になる。
つぎに、この発明にかかるはんだ印刷用の検査機は、X線透過画像の生成装置を具備するもので、部品実装基板の製造のために実行される複数の工程のうちのはんだ印刷工程を経た基板を受け付けて、前記X線透過画像の生成装置により当該基板のX線透過画像を生成するとともに、この基板につきはんだ印刷工程が実行される前に生成されたX線透過画像を入力し、自機で生成されたX線透過画像と入力されたX線透過画像との差分画像を用いて前記はんだの印刷状態を検査する。
上記の検査機には、前記差分画像中の各ランドに対応する領域に検査ウィンドウを設定するのに必要な設定データと、差分画像上の濃度をはんだの厚みを表す値に換算するのに必要な換算用データと、各検査ウィンドウにおける基準のはんだ量とが、それぞれ登録される登録手段;前記設定データを用いて差分画像に複数の検査ウィンドウを設定するウィンドウ設定手段;ウィンドウ設定手段により設定された各検査ウィンドウにおいて、それぞれエッジを抽出するエッジ抽出手段;エッジ抽出手段により抽出されたエッジを膨張させ、その膨張部分にランドのX線透過画像に相当する濃度を設定したマスク画像を作成するマスク画像作成手段;マスク画像と元の差分画像とを対応する画素毎に比較し、マスク画像の対応画素よりも濃度の低い画素の濃度がゼロに置き換えられ、マスク画像の対応画素よりも濃度の高い画素の濃度が維持されるように、前記差分画像を補正する画像補正手段;補正後の差分画像の各検査ウィンドウにおいて、それぞれ当該ウィンドウ内の各画素の濃度を前記換算用データに基づきはんだの厚みを示す値に換算し、各画素における換算後の値の積算値をはんだ量として求めるはんだ量計測手段;各検査ウィンドウについて、それぞれはんだ量計測手段が求めたはんだ量を前記登録された基準のはんだ量と比較することにより、各ランドに印刷されたはんだ量の適否を判別する判別手段;前記判別手段による判別結果を出力する出力手段;の各手段が設けられる。
この発明によれば、はんだ印刷工程が完了した後の基板について、その工程終了後のX線透過画像と工程実行前のX線透過画像との差分画像を用いて精度の高い検査を行うことが可能になる。また単純なX線透過画像を生成するタイプの検査機を使用すれば良いので、コストをかけずに、高精度の検査を実行することが可能になる。
図1は、この発明が適用された基板製造ラインの構成を示す。
この実施例の基板製造ラインは、はんだ印刷機3、高速マウンタ4、異形マウンタ5、リフロー炉6の各製造装置のほか、複数台の検査機1を含む。検査機1は、はんだ印刷機3の前、はんだ印刷機3と高速マウンタ4との間、異形マウンタ5とリフロー炉6との間、リフロー炉6の後の計4箇所に配備される。なお、図1では、各検査機1を、配置の順に1A,1B,1C,1Dの符号により示す。以下の説明でも、検査機1を個別に示す必要がある場合には、これらの符号で示す。
各検査機1は、X線透過画像を用いて基板検査を行うもので、LAN回線などのネットワーク回線2を介して相互に通信可能な状態に設定される。また、各検査機1およびはんだ印刷機3、マウンタ4,5、リフロー炉6は、基板搬送用のコンベア装置(図示せず。)を介して図示の順序で配置される。
はんだ印刷機3は、プリント配線板の供給を受けて、各部品のはんだ付け位置にクリームはんだを塗布するはんだ印刷工程を実行する。高速マウンタ4は、チップ部品を高速で実装し、異形マウンタ5は、チップ部品以外の部品を実装する。これら2種類のマウンタ4,5により、部品実装工程が実行される。リフロー炉6は、部品実装工程後の基板を加熱することにより、はんだ付け工程を実行する。
はんだ印刷機3の上流側の検査機1Aは、この基板製造ラインに送り込まれるベア基板(はんだ印刷前のプリント配線板であって、レジストパターンやランドなどが形成されている。)を対象として、ランドの状態などを検査する。はんだ印刷機3と高速マウンタ4との間の検査機1Bは、はんだ印刷工程を経た基板を対象として、はんだ量や印刷位置の適否などを検査するためのものである。以下、検査機1Aを「ベア基板検査機1A」、検査機1Bを「はんだ印刷検査機1B」という。
異形マウンタ5とリフロー炉6との間の検査機1Cは、部品実装工程を経た基板を対象として、部品の有無、位置ずれ、方向の適否などを検査する。以下、この検査機1Cを「部品実装検査機1C」という。また、リフロー炉6の下流の検査機1Dは、はんだ付け工程を経た基板を対象として、溶融後のはんだの分布状態の適否などを検査する。以下では、この検査機1Dを「はんだ付け検査機1D」という。
上記した各検査機1は、いずれも、検査対象の基板を支持する基板ステージ(図示せず。)を具備し、X線照射装置11、対数変換カメラ12(いずれも図2に示す。)、画像処理機能を持つコンピュータなどを用いて検査を実行するものである。各検査機1には、検査に先立ち、検査領域の設定データ、前記検査領域内の被検査部位毎に設定される小領域(以下、「ウィンドウ」という。)、前記検査領域やウィンドウに対する計測データの基準値などが登録される。以下、これら検査のために登録される情報を、「検査情報」という。
なお、前記検査情報のうち、検査領域やウィンドウの設定データについては、各検査機1に共通のデータが教示される。また、この実施例では、あらかじめ、各検査機1で同じ試料(所定の厚みを持つ鉛板など)を用いた画像生成処理を行って、前記試料に対応する画像の濃度が同一になるように、各検査機1におけるX線の照射量やカメラ12の出力ゲインなどを調整するようにしている。
この実施例では、ラインに送り込まれた1枚の基板を、各検査機1が順に検査していくことになる。各検査機1は、ネットワーク回線2を介した通信により、他の検査機1と通信を行いながら検査を実行するように構成される。特に、はんだ印刷検査機1B、部品実装検査機1C、はんだ付け検査機1Dは、自機の検査対象の基板について、1つ前工程の検査機1からその検査機1で生成したX線透過画像の提供を受け、提供された画像と自機で生成した画像の双方を用いた検査を実行するようにしている。
なお、X線透過画像の授受のために、基板の適所には、その基板の識別コードを表すバーコードラベル(図示せず。)が貼付されている。各検査機1は、このバーコードラベルのコードを読み取るためのバーコードリーダー13(図2に示す。)を具備している。検査の際には、前記バーコードリーダー13により基板の識別コードを読み取った後、この識別コードを含む画像要求信号を作成して前工程の検査機1に送信する。また、自機で生成したX線透過画像については、該当する基板の識別コードを対応づけた状態でメモリ内に保存している。そして、他の検査機1からの画像要求信号を受けると、その信号内の識別コードに該当する画像をメモリから読み出し、要求を出した検査機1に返送するようにしている。
図2は、前記各検査機1に共通する構成を示す。
この実施例の検査機1は、コンピュータによる制御部10に、前記したX線照射装置11、対数変換カメラ12(以下、単に「カメラ12」という。)、バーコードリーダー13のほか、入力部14、モニタ15、作業用メモリ(RAM)16、検査情報記憶部17、検査結果蓄積部18、通信インターフェース19などが接続されたものである。なお、前記制御部10には、CPUのほか、基本的なプログラムが格納されたROMが含まれるものとする。また、ここには図示していないが、カメラ12と制御部10との間には、画像入力用のインターフェース回路やA/D変換回路などが配備される。
X線照射装置11とカメラ12とは、基板ステージを挟んで配備される。バーコードリーダー13は、基板ステージの上方であって、前記バーコードラベルを撮像できる位置に配備される。なお、カメラ12により生成されたX線透過画像は、前記A/D変換回路によりディジタル変換された後、作業用メモリ16に格納される。なお、作業用メモリ16には、自機で生成されたX線透過画像のほか、前工程の検査機1から送信されたX線透過画像や後記する差分画像について、それぞれ専用の記憶領域が設定される。
入力部14は、キーボードやマウスなどであって、検査開始時に検査対象の基板の種類を入力したり、ティーチング時に各種設定データを入力するなどの目的に使用される。モニタ15は、ティーチング時のユーザーインターフェース、検査対象の画像、検査結果などの表示に用いられる。
検査情報記憶部17は、前記した検査情報を格納するためのメモリである。なお、検査情報は、基板の種類毎にファイル化されており、検査時に、入力部から基板種名を入力することにより、その入力に応じた検査情報ファイルが読み出され、作業用メモリ16にセットされる。また、各検査機1の画像間における基板の大きさに若干のばらつきがある場合には、このばらつきを補正するのに必要なパラメータとして、現時点の画像に対する補正後の画像の倍率などを求めるが、この倍率も検査情報記憶部17に保存される。また、はんだ印刷検査機1Bやはんだ付け検査機1Dでは、あらかじめ、はんだの厚みとX線透過画像上の濃度との関係をキャリブレーションによって求め、その関係を表す式またはテーブルを検査情報記憶部17に保存するようにしている。
検査結果蓄積部18は、検査結果や検査が終了した基板のX線透過画像を保存するためのもので、大容量のハードディスク装置により構成される。この実施例では、基板毎に、その基板の識別コードをフォルダ名とするフォルダを設定し、このフォルダ内に、該当する基板の画像や検査結果を格納するようにしている。
通信インターフェース19は、前記ネットワーク回線2を介して他の検査機1と通信を行うためのものである。
上記構成において、制御部10は、検査対象の基板が搬入されると、バーコードリーダー13を用いて基板の識別コードを読み取った後、X線照射装置11およびカメラ12を駆動して前記基板のX線透過画像を生成する。以下では、この検査対象の基板のX線透過画像を「検査用画像」という。
図3および図4は、前記各検査機1に送り込まれる基板の外観と、その検査機1で生成した検査用画像とを左右に対応づけて示す。なお、いずれの図も、同一の基板を表したものであり、各時点の基板に対し、時間軸に沿って、101,102,103,104の通し番号を付けて示す。また、各時点での検査用画像は、101a,102a,103a,104aとする。一方、基板上の各構成については、符号を統一するが、画像中の構成は末尾にaを付した符号をもって示す。
図3の(1)は、ベア基板検査機1Aに送り込まれるはんだ印刷前のベア基板101およびその検査用画像101aを示す。この時点の基板101には、ランド110、レジストパターン111、スルーホール112、位置決め用のマーク113などが形成されている。検査用画像101aにも、これらの構成に対応する画像110a,111a,112a,113aが現れている。ベア基板検査機1Aでは、この検査用画像101aからランドの画像110aを抽出し、その位置、大きさ、向きなどの適否を検査する。なお、このランドの検査や、後段のはんだ印刷検査およびはんだ付け検査では、ランド毎にウィンドウを設定して検査を実行する(以下、このウィンドウを「ランドウィンドウ」という。)。
図3の(2)は、はんだ印刷検査機1Bに送り込まれるはんだ印刷後の基板102およびその検査用画像102aを示す。この時点の基板102は、ランド110上にはんだ114が塗布された状態となる。このため、検査用画像102aでは、前記ランドの画像110aとはんだの画像114aとが重なった状態となる。
図4の(1)は、部品実装検査機1Cに送り込まれる部品実装後の基板103およびその検査用画像103aを示す。この時点の基板103は、ランド110間に部品115が配備された状態となる。このため、検査用画像103aでは、前記ランドの画像110aやはんだの画像114aに、さらに部品の画像115aが重ね合わせられた状態となる。
図4の(2)は、はんだ付け検査機1Dに送り込まれるはんだ付け後の基板104およびその検査用画像104aを示す。図面上の基板104は、部品実装後の基板103と大差ない状態に示しているが、実際には、溶融によってはんだの厚みが変化し、特に、表面張力によって部品の電極側に片寄った分布状態を示すようになる。このため、検査用画像104a上でも、はんだの部分の濃度分布状態に変化が現れている。
この実施例の先頭のベア基板検査機1Aを除く検査機1では、それぞれ検査対象の基板について、1つ前の工程の検査機1から、その検査機1で生成した前記基板の検査用画像を入力するようにしている。この画像入力は、前記画像要求信号を用いた通信により行われる。そして、入力した検査用画像と自機で生成した前記検査用画像との差分画像を生成することによって、被検査部位の画像を抽出し、必要な検査を実行するようにしている。
なお、この実施例では、検査用画像の生成のために対数変換カメラ12を使用しているので、差分処理によって画像間のX線の透過量の差を精度良く抽出することができる。特に、ランド110上のはんだ114など、被検査部位が他の部位に重ね合わせられている場合でも、その重ね合わせ前の画像と重ね合わせ後の画像との差分をとることになるから、被検査部位によって生じたX線透過量の差を反映した画像を得ることができる。よって、被検査部位の位置や形状などを、その被検査部位の背面側の部位による影響を受けることなく、計測することができる。
以下、この検査の詳細について、順を追って説明する。まずは、上流側から送り込まれた基板に対し、各検査機1B,1C、1Dが共通して実行する手順について、図5を用いて説明する。
最初のST1(STは「STEP(ステップ)」の略である。以下も同じ。)では、検査対象の基板を基板ステージ上に搬入する。つぎのST2では、前記バーコードリーダー13を用いて、基板の識別コードを読み取る処理を実行する。
つぎのST3では、前工程の検査機1に対し、前記ST2で読み取った識別コードを含む画像要求信号を送信する。この画像要求信号を受けた前工程の検査機1が、前記検査結果蓄積部18から前記画像要求信号に該当する検査用画像を読み出して返送してくると、その返送された検査用画像を前記作業用メモリ16に格納し、ST4に進む。
つぎのST4では、前記X線照射装置11およびカメラ12を駆動して、自機における検査用画像を生成する。ここで生成された検査用画像も作業用メモリ16に格納される。ST5では、ST4で生成した検査用画像とST3で入力した検査用画像との間の位置ずれや、画像間の大きさの違いを補正する処理を実行する。なお、位置ずれは、水平方向(x方向)および垂直方向(y方向)におけるずれのほか、回転ずれを含む。これらのずれ量は、画像間における相関演算、または後記する部品実装検査と同様のエッジコードを用いたマッチング処理によって、抽出することができる。また、画像の大きさの違いを補正するためのパラメータとして、前記した倍率を使用することができる。また画像の補正は、アフィン変換により行うことができる。
検査用画像の補正処理が終了すると、ST6では、補正後の検査用画像の対応する画素毎に、その画像データの差を求め、これら画素毎の差分データによる画像(差分画像)を作成する。なお、ここで生成された差分画像も前記作業用メモリ16に格納される。
つぎのST7では、作成された差分画像を用いて検査を実行する。ST8では、検査結果、およびST4で生成した検査用画像を、ST2で読み取った識別コードに対応づけ、検査結果蓄積部18に保存する。さらに、ST9において、検査結果を出力した後、ST10で、検査対象の基板を搬出し、処理を終了する。
つぎに、前記ST7で実行される検査の具体的な内容について、検査機1の種類毎に説明する。
<はんだ印刷検査>
図6は、前記はんだ印刷検査機1Bが検査に使用する差分画像の例を示す。この差分画像は、ベア基板検査装置1Aから入力した検査用画像101aと自機で生成した検査用画像102aとの差分画像であって、ランド、レジストパターンなど、画像間に共通する構成が消失し、はんだ印刷工程で新たに付加されたはんだの画像114aが残されている。なお、図6において、121は、部品毎の検査領域であり、122はランド毎に設定されるランドウィンドウである。
図7は、はんだ印刷検査機1Bにおける検査の手順を示す。この手順では、まず、最初のST101において、前記差分画像上に前記検査領域121やランドウィンドウ122を設定する。
つぎのST102およびST103は、前記差分画像上に生じたノイズを除去するための処理である。この実施例では、前記したように、あらかじめ、同一の試料を用いて、各検査機の画像の濃度が一定になるように調整したり、差分処理の前に、画像間の位置ずれや倍率などを補正するようにしている。しかし、画像間の濃度や大きさには、なお、微小な差異が生じている可能性があり、その差異が差分画像上にノイズとして出現する可能性がある。特に、はんだの画像114aのエッジ付近に、画像間の位置ずれによるノイズが生じると、はんだ量の計測に誤りが生じる。このため、ST102,103のような処理が必要となってくるのである。
ST102では、前記差分画像の各ランドウィンドウ122にエッジ抽出処理を施し、抽出されたエッジを数画素程度膨張させ、その膨張部分にあらかじめ設定されたゲインをかけたり、所定のオフセット値を加算するなどして、図8に示すようなマスク画像を作成する。ついで、ST103では、前記マスク画像と元の差分画像とを対応する画素毎に比較し、差分画像上でマスク画像の対応画素よりも濃度の小さい画素について、その濃度をゼロに置き換える処理を実行する。一方、マスク画素より濃度の大きい画素については、その濃度を維持する。このような処理により、はんだのエッジ付近にランドの画像などと同等の濃度を持つ部分がある場合には、その部分をノイズとみなして除去することができる。
上記のノイズ除去処理が終了すると、ST104では、そのノイズ除去後のはんだの画像に対するランドウィンドウ122の位置ずれを調整する。なお、このランドウィンドウ122の位置ずれ調整を行う前に、はんだの画像114aを若干膨張させて、前記ノイズ除去処理で削減された面積を回復するようにしてもよい。
この後、ST105では、ランドウィンドウ122の1つに着目する。そして、前記キャリブレーションにより登録されたデータを用いて、ウィンドウ122内の各画素毎に、その濃度をはんだの厚みに置き換える。さらに、ウィンドウ122内の全画素にかかる厚みを積算し、その積算値をはんだ量とする。ST106では、ST105で求めたはんだ量をあらかじめ登録された基準データと比較し、はんだ量の適否を判別する。
以下、着目するランドウィンドウ122を順に変更しながら、ST105,106を実行する。すべてのランドウィンドウ122に対する処理を終了すると、ST107が「YES」となり、処理を終了する。
<部品実装検査>
図9は、部品実装検査機1Cの検査に使用される差分画像の一例を示す。この差分画像は、はんだ印刷検査機1Bで生成された部品実装前の基板の検査用画像102aと部品実装検査機1C自身が生成した部品実装後の検査用画像103aとを差分処理して得られたもので、各検査用画像に共通する構成が消失し、部品の画像115aが残されている。なお、この差分画像にも、前記図6と同様の条件で検査領域121が設定される。
図10は、前記部品実装機1Cにおける検査の手順を示す。この検査では、まず、ST201において、上記の差分画像上の部品毎に検査領域121を設定する。そして、各検査領域121において、以下のST202〜206を順に実行する。
ST202では、前記検査領域121内のエッジ抽出処理を実行する。つぎのST203では、検査領域121内の各画素の画素データをエッジコードに置き換えた疑似画像(以下、「エッジコード画像」という。)を作成する。
なお、エッジコードとは、エッジ画素を基準に濃度勾配が変化する方向を示す角度データである(詳細については、下記の特許文献3を参照されたい。)。この実施例では、前記ST202のエッジ抽出処理により抽出されたエッジ画素についてのみ、エッジコードを算出し、エッジ画素以外の画素のエッジコードを0に設定するようにしている。
特開2002−203233号公報
ST204では、前記ST203で作成されたエッジコード画像について、基準のエッジコード画像を用いたマッチング処理を実行する。基準のエッジコード画像は、あらかじめ、モデルの基板の部品実装前後のX線透過画像の差分画像から部品の画像を抽出し、その部品の画像を構成する各画素のエッジコードを求めたものである(この場合も、エッジ画素以外のエッジコードはゼロに設定される。)。ST204では、この基準のエッジコード画像を処理対象のエッジコード画像上に走査しつつ、各走査位置において、対応する画素毎にエッジコードの差を求め、さらにこれらの差の総和を求める。走査が終了すると、ST205に進み、前記エッジコードの差の総和が最小の値になった位置を部品の位置として特定する。
ST206では、前記部品の位置として特定された位置の座標を基準の座標と比較することにより、部品の位置の適否を判別する。ただし、前記特定された位置におけるエッジコードの差の総和が所定のしきい値よりも大きい場合には、基準の実装方向に対し、部品が正しい方向に実装されていないものとして、実装不良であると判別する。また、この図には示していないが、ST202のエッジ抽出処理において、エッジ画素の抽出数が所定値以下であった場合は、ST203〜205の処理をスキップし、ST206で、部品が欠落しているものと判別する。
以下、同様に、検査領域毎にST202〜206を実行する。すべての検査領域121に対する処理が終了すると、ST207が「YES」となり、部品実装検査にかかる手順を終了する。
<はんだ付け検査>
図11は、はんだ付け検査機1Dの検査に使用される差分画像の一例を示す。この差分画像は、部品実装検査機1Cで生成されたはんだ付け前の基板の検査用画像103aとはんだ付け検査機1D自身が生成したはんだ付け後の基板の検査用画像104aとを差分処理して得られたものである。この例では、部品やランドなどの固定された構成が消失し、はんだの部分について、溶融による厚みの変化を反映した画像114bが抽出されている。前記したように、溶融後のはんだは、表面張力によって部品の電極側に偏るので、前記画像114bは、部品の電極の近傍位置に沿ったパターンとなる。
はんだ付け検査機1Dでは、このような差分画像に対し、前記はんだ印刷検査機1Bと同様のランドウィンドウ122を設定し、ランドウィンドウ122内の各画素について、はんだの厚みを抽出する。さらに、この検査では、ランドウィンドウ122内のはんだの分布パターンをあらかじめ登録した基準のパターンと比較することによって、はんだ付けの適否を判別する。
以上述べたように、はんだ印刷検査機1B、部品実装検査機1C、はんだ付け検査機1Dでは、1つ前の工程の検査機1から入力した検査用画像と自機で生成した検査用画像との差分画像を求めることによって、被検査部位の画像を精度良く抽出し、検査を行うことができる。
なお、先頭のベア基板検査機1Aでは、他の検査機1B,1C,1Dで生成された検査用画像を用いた検査を実行することはできないが、これに代えて、基板のCADデータを利用した検査を実行することができる。すなわち、CADデータが示すランドやレジストのパターンと、これらの構成にかかるX線の透過量とを用いて、X線透過画像の理論データを作成し、この理論データと実際に生成した検査用画像との差分をとることができる。この場合には、差分画像上に抽出された差異部分の面積を求め、その面積が所定の基準値を超えている場合に、「不良あり」と判別することができる。
つぎに、図1の基板製造ラインにおいて、両面実装基板を製造する場合には、まず、基板の片方の面について、各工程および検査を順に実行した後、基板を反転させて、再度、基板製造ラインに投入し、同様に各工程および検査を順に実行することになる。この場合において、ベア基板検査機1Aでは、2回目の検査を実行せずに、基板を通過させるだけとなる。また、はんだ印刷検査機1Bでは、2回目の検査時には、検査用画像の入力先をはんだ付け検査機1Dに変更する。そして、はんだ付け検査機1Dから入力した画像を180°回転させた後、その回転後の画像と自機で生成した検査用画像とを用いて、前記画像補正処理や差分処理を実行する。
はんだ印刷検査機1Bで2回目の検査時に生成される検査用画像には、検査対象とする上面側の構成のみならず、裏面側の構成も現れてしまう。しかし、上記のように、裏面側の最終工程終了後の検査用画像との差分処理を行うようにすれば、裏面側の構成を消失させ、被検査部位である上面側のはんだの画像を抽出することができる。よって、基板のいずれの面についても、はんだの印刷状態を精度良く検査することができる。
一方、部品実装検査機1Cやはんだ付け検査機1Dでは、2回目の検査でも、1回目と同様に、1つ前の工程の検査機1B,1Cから検査用画像を入力する。ただし、ここで入力するのは、2回目の検査にかかる検査用画像であるから、差分処理により、検査の直前に基板に付加された構成(部品)や変化(はんだの変化)を抽出することができる。よって、この場合にも、各面の被検査部位について、精度の良い検査を実行することができる
この発明が適用された基板製造ラインの一例を示す説明図である。 検査機のブロック図である。 ベア基板検査機、はんだ印刷検査機に導入される基板と検査用画像とを対応づけて示す説明図である。 部品実装検査機、はんだ付け検査機に導入される基板と検査用画像とを対応づけて示す説明図である。 はんだ印刷検査機、部品実装検査機、はんだ付け検査機に共通する手順を示すフローチャートである。 はんだ印刷検査機で作成される差分画像を示す説明図である。 はんだ印刷検査の手順を示すフローチャートである。 ノイズ除去のためのマスク画像の例を示す説明図である。 部品実装検査機で作成される差分画像を示す説明図である。 部品実装検査の手順を示すフローチャートである。 はんだ付け検査機で作成される差分画像を示す説明図である。
符号の説明
1 検査機
2 ネットワーク回線
3 はんだ印刷機
4 高速マウンタ
5 異形マウンタ
6 リフロー炉
10 制御部
11 X線照射装置
12 対数変換カメラ
17 検査情報記憶部
18 検査結果蓄積部
19 通信インターフェース
101,102,103,104 基板
101a,102a,103a,104a X線透過画像(検査用画像)

Claims (3)

  1. 部品実装基板の製造のために実行される複数の工程のうちの少なくともはんだ印刷工程に、X線透過画像の生成装置を含む検査機を配備し、前記はんだ印刷工程後に当該工程実行後の基板を受け付けて、前記X線透過画像の生成装置により当該基板のX線透過画像を生成するとともに、この基板につきはんだ印刷工程が実行される前に生成されたX線透過画像を入力し、自機で生成されたX線透過画像と入力されたX線透過画像との差分画像を用いて前記はんだの印刷状態を検査する方法であって、
    前記差分画像中の各ランドに対応する領域に検査ウィンドウを設定するのに必要な設定データと、差分画像上の濃度をはんだの厚みを表す値に換算するのに必要な換算用データと、各検査ウィンドウにおける基準のはんだ量とを、検査に先立ち登録しておき、
    前記設定データを用いて差分画像に複数の検査ウィンドウを設定する第1ステップと、
    第1ステップで設定された各検査ウィンドウにおいて、それぞれエッジを抽出する第2ステップと、
    第2ステップで抽出されたエッジを膨張させ、その膨張部分にランドのX線透過画像に相当する濃度を設定したマスク画像を作成する第3ステップと、
    前記マスク画像と元の差分画像とを対応する画素毎に比較し、マスク画像の対応画素よりも濃度の低い画素の濃度がゼロに置き換えられ、マスク画像の対応画素よりも濃度の高い画素の濃度が維持されるように、前記差分画像を補正する第4ステップと、
    補正後の差分画像の各検査ウィンドウにおいて、それぞれ当該ウィンドウ内の各画素の濃度を前記換算用データに基づきはんだの厚みを示す値に換算し、各画素における換算後の値の積算値をはんだ量として求める第5ステップと、
    各検査ウィンドウについて、それぞれ第5ステップで求めたはんだ量を前記登録された基準のはんだ量と比較することにより、各ランドに印刷されたはんだ量の適否を判別する第6ステップとを、実行することを特徴とする、はんだ印刷検査方法。
  2. 請求項1に記載された方法において、
    前記はんだ印刷工程の前工程であるプリント配線板の製造工程にも、X線透過画像の生成装置を含む検査機を配備し、この検査機において生成されたはんだ印刷前の基板のX線透過画像を入力するようにした、はんだ印刷検査方法。
  3. X線透過画像の生成装置を具備する検査機であって、部品実装基板の製造のために実行される複数の工程のうちのはんだ印刷工程を経た基板を受け付けて、前記X線透過画像の生成装置により当該基板のX線透過画像を生成するとともに、この基板につきはんだ印刷工程が実行される前に生成されたX線透過画像を入力し、自機で生成されたX線透過画像と入力されたX線透過画像との差分画像を用いて前記はんだの印刷状態を検査する検査機において、
    前記差分画像中の各ランドに対応する領域に検査ウィンドウを設定するのに必要な設定データと、差分画像上の濃度をはんだの厚みを表す値に換算するのに必要な換算用データと、各検査ウィンドウにおける基準のはんだ量とが、それぞれ登録される登録手段と、
    前記設定データを用いて差分画像に複数の検査ウィンドウを設定するウィンドウ設定手段と、
    ウィンドウ設定手段により設定された各検査ウィンドウにおいて、それぞれエッジを抽出するエッジ抽出手段と、
    エッジ抽出手段により抽出されたエッジを膨張させ、その膨張部分にランドのX線透過画像に相当する濃度を設定したマスク画像を作成するマスク画像作成手段と、
    前記マスク画像と元の差分画像とを対応する画素毎に比較し、マスク画像の対応画素よりも濃度の低い画素の濃度がゼロに置き換えられ、マスク画像の対応画素よりも濃度の高い画素の濃度が維持されるように、前記差分画像を補正する画像補正手段と、
    補正後の差分画像の各検査ウィンドウにおいて、それぞれ当該ウィンドウ内の各画素の濃度を前記換算用データに基づきはんだの厚みを示す値に換算し、各画素における換算後の値の積算値をはんだ量として求めるはんだ量計測手段と、
    各検査ウィンドウについて、それぞれはんだ量計測手段が求めたはんだ量を前記登録された基準のはんだ量と比較することにより、各ランドに印刷されたはんだ量の適否を判別する判別手段と、
    前記判別手段による判別結果を出力する出力手段とを、具備することを特徴とするはんだ印刷検査用の検査機。
JP2005184416A 2004-06-30 2005-06-24 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機 Expired - Lifetime JP3972941B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005184416A JP3972941B2 (ja) 2004-06-30 2005-06-24 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機
US11/168,015 US7310406B2 (en) 2004-06-30 2005-06-27 Inspection method and system for and method of producing component mounting substrate
TW094121756A TWI302602B (en) 2004-06-30 2005-06-29 Inspection method and system for and method of producing component mounting substrate
EP05014084A EP1612546A1 (en) 2004-06-30 2005-06-29 Inspection method and system for and method of producing component mounting substrate

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004193601 2004-06-30
JP2005184416A JP3972941B2 (ja) 2004-06-30 2005-06-24 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機

Publications (2)

Publication Number Publication Date
JP2006049845A JP2006049845A (ja) 2006-02-16
JP3972941B2 true JP3972941B2 (ja) 2007-09-05

Family

ID=34937718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005184416A Expired - Lifetime JP3972941B2 (ja) 2004-06-30 2005-06-24 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機

Country Status (4)

Country Link
US (1) US7310406B2 (ja)
EP (1) EP1612546A1 (ja)
JP (1) JP3972941B2 (ja)
TW (1) TWI302602B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014530A (ja) * 2008-07-03 2010-01-21 Omron Corp 基板外観検査方法および基板外観検査装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0616410D0 (en) * 2006-08-21 2006-10-18 Anaglyph Ltd Visual aid for manufacturing assembly/component placement
JP5052114B2 (ja) * 2006-12-15 2012-10-17 株式会社東芝 工程管理方法、データ登録プログラム及び電子装置の製造方法
JP2011075470A (ja) * 2009-10-01 2011-04-14 Fujitsu Ltd 画像処理プログラム、画像処理方法および画像処理装置
JP5223876B2 (ja) * 2010-03-12 2013-06-26 オムロン株式会社 X線検査装置、x線検査方法、x線検査プログラムおよびx線検査システム
DE102011018823A1 (de) 2011-04-27 2012-10-31 Witrins S.R.O. Verfahren und Vorrichtung zur Inspektion von gedruckten PCBs
KR101590831B1 (ko) * 2013-04-02 2016-02-03 주식회사 고영테크놀러지 기판의 이물질 검사방법
JP6323160B2 (ja) * 2014-05-15 2018-05-16 富士通株式会社 検査装置、検査方法及び検査プログラム
DE102015204870A1 (de) * 2015-03-18 2016-10-13 Siemens Aktiengesellschaft Verfahren zur Ermittlung der Fehlstellen in einer Lötstelle
US9709694B2 (en) * 2015-10-29 2017-07-18 ADANI Systems, Inc. Portable X-ray mattress scanner
US9883842B2 (en) * 2015-10-29 2018-02-06 ADANI Systems, Inc. Portable X-ray mattress scanner
US10576566B2 (en) 2016-06-06 2020-03-03 International Business Machines Corporation Solder paste misprint cleaning
TWI589200B (zh) * 2016-12-19 2017-06-21 Combinatorial system and manufacturing method thereof
JP7023740B2 (ja) * 2018-02-22 2022-02-22 東レエンジニアリング株式会社 実装装置
JP7417806B2 (ja) * 2019-06-06 2024-01-19 パナソニックIpマネジメント株式会社 再投入支援装置
JP7098591B2 (ja) 2019-09-30 2022-07-11 本田技研工業株式会社 電極構造体検査方法
JP7357549B2 (ja) * 2020-01-07 2023-10-06 東京エレクトロン株式会社 基板の位置ずれ検出方法、基板位置の異常判定方法、基板搬送制御方法、及び基板の位置ずれ検出装置
JP2024006058A (ja) * 2022-06-30 2024-01-17 新光電気工業株式会社 配線基板及びその製造方法、配線基板の識別方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3573455A (en) * 1968-09-13 1971-04-06 Ibm Examination of articles by x-rays
US5097492A (en) * 1987-10-30 1992-03-17 Four Pi Systems Corporation Automated laminography system for inspection of electronics
JP2934455B2 (ja) * 1988-08-26 1999-08-16 株式会社日立製作所 X線透過画像によるはんだ付部の検査方法及びその装置
JPH0372249A (ja) 1989-08-14 1991-03-27 Fujitsu Ltd X線半田付検査装置
US5182775A (en) * 1990-01-12 1993-01-26 Kawasaki Jukogyo Kabushiki Kaisha Method of processing radiographic image data for detecting a welding defect
JP3128891B2 (ja) 1991-10-09 2001-01-29 松下電器産業株式会社 部品実装方法および部品実装装置
JP2707175B2 (ja) 1991-10-14 1998-01-28 日立ソフトウエアエンジニアリング株式会社 図形処理システム
JPH05108798A (ja) 1991-10-17 1993-04-30 Shinko Electric Ind Co Ltd 画像処理方法と画像処理装置
JP2945537B2 (ja) 1992-04-08 1999-09-06 株式会社神戸製鋼所 半田付け検査方法及び装置
JPH06237076A (ja) 1993-02-10 1994-08-23 Omron Corp X線利用の基板検査方法
WO1996005714A1 (en) 1994-08-08 1996-02-22 Kabushiki Kaisha Kobe Seiko Sho Method and apparatus for soldering inspection of circuit board
DE29623488U1 (de) * 1995-11-06 1998-09-17 Macrotron Process Technologies GmbH, 81829 München Schaltungsanordnung zur Prüfung von Lötstellen
US6721461B1 (en) * 1997-11-24 2004-04-13 Cognex Technology And Investment Corporation Method and apparatus using image subtraction and dynamic thresholding
JPH11198343A (ja) 1998-01-16 1999-07-27 Furukawa Electric Co Ltd:The クリーム半田印刷検査方法
JPH11344449A (ja) 1998-05-29 1999-12-14 Shimu:Kk 外観検査方法
JP2001050730A (ja) 1999-08-11 2001-02-23 Nagoya Electric Works Co Ltd 両面実装基板の半田付け検査方法およびその装置
US6410193B1 (en) * 1999-12-30 2002-06-25 Intel Corporation Method and apparatus for a reflective mask that is inspected at a first wavelength and exposed during semiconductor manufacturing at a second wavelength
JP3629397B2 (ja) * 2000-03-28 2005-03-16 松下電器産業株式会社 接合検査装置及び方法、並びに接合検査方法を実行させるプログラムを記録した記録媒体
JP3656542B2 (ja) 2000-10-25 2005-06-08 松下電器産業株式会社 電子部品実装システムおよび電子部品実装方法
JP2002261500A (ja) 2001-03-02 2002-09-13 Alps Electric Co Ltd 基板検査方法
US6573523B1 (en) * 2001-12-12 2003-06-03 Lsi Logic Corporation Substrate surface scanning
AU2003220830A1 (en) 2002-03-12 2003-09-22 Olympus Corporation Semiconductor manufacturing method and device thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014530A (ja) * 2008-07-03 2010-01-21 Omron Corp 基板外観検査方法および基板外観検査装置

Also Published As

Publication number Publication date
EP1612546A1 (en) 2006-01-04
TWI302602B (en) 2008-11-01
US20060002510A1 (en) 2006-01-05
US7310406B2 (en) 2007-12-18
TW200613723A (en) 2006-05-01
JP2006049845A (ja) 2006-02-16

Similar Documents

Publication Publication Date Title
JP3972941B2 (ja) 部品実装基板用のはんだ印刷検査方法およびはんだ印刷検査用の検査機
JP3882840B2 (ja) はんだ印刷検査方法、およびこの方法を用いたはんだ印刷検査機ならびにはんだ印刷検査システム
JP7479389B2 (ja) 部品の検査中における参照位置ずれの補償
CN103091328B (zh) 对检查结果的目视检验操作进行辅助的系统、装置及方法
US7283660B2 (en) Multi-layer printed circuit board fabrication system and method
US11176635B2 (en) Automatic programming of solder paste inspection system
JP2008128651A (ja) パターン位置合わせ方法、パターン検査装置及びパターン検査システム
JP4776197B2 (ja) 配線基板の検査装置
JP2006234510A (ja) 検査装置及び検査方法並びに位置決め方法
JP2008186879A (ja) 基板検査方法
JP2008014700A (ja) ワークの検査方法及びワーク検査装置
JP2006276454A (ja) 画像補正方法、およびこれを用いたパターン欠陥検査方法
JP4333349B2 (ja) 実装外観検査方法及び実装外観検査装置
JP2006216981A (ja) 部品実装基板用の検査方法および検査システム、部品実装基板の製造方法
JP2010149289A (ja) 印刷物検査装置、及び印刷物検査方法
CN1715894A (zh) 制造元件安装基板的方法及其检测方法和系统
JP4187332B2 (ja) スクリーン印刷検査方法およびスクリーン印刷装置
JP2003107672A (ja) フォトマスク外観検証システム及び方法
JP2000200355A (ja) クリ―ムはんだ印刷検査機の検査プログラム作成方法
KR0120595B1 (ko) 시각 인식장치를 채용한 인쇄회로기판 검사 시스템의 원점 보정방법
JP2008084174A (ja) 印刷物検査装置、印刷物検査方法及びプログラム
JP2006234554A (ja) パターン検査方法およびパターン検査装置
JP4434116B2 (ja) 金属箔張り積層板の検査方法
JP2010066629A (ja) パターン検査装置及びパターン検査方法
JPH0328744A (ja) プリント基板のパターン検査方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070604

R150 Certificate of patent or registration of utility model

Ref document number: 3972941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term