[go: up one dir, main page]

JP2009162579A - 紙の裁断面の品質評価装置及びそれを用いた品質評価方法 - Google Patents

紙の裁断面の品質評価装置及びそれを用いた品質評価方法 Download PDF

Info

Publication number
JP2009162579A
JP2009162579A JP2007340980A JP2007340980A JP2009162579A JP 2009162579 A JP2009162579 A JP 2009162579A JP 2007340980 A JP2007340980 A JP 2007340980A JP 2007340980 A JP2007340980 A JP 2007340980A JP 2009162579 A JP2009162579 A JP 2009162579A
Authority
JP
Japan
Prior art keywords
cut surface
evaluation
density
image
paper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007340980A
Other languages
English (en)
Other versions
JP5116462B2 (ja
Inventor
Takayuki Ikeda
孝之 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Denki Corp
Original Assignee
JFE Denki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Denki Corp filed Critical JFE Denki Corp
Priority to JP2007340980A priority Critical patent/JP5116462B2/ja
Publication of JP2009162579A publication Critical patent/JP2009162579A/ja
Application granted granted Critical
Publication of JP5116462B2 publication Critical patent/JP5116462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】紙山の積層状態や撮像環境といった外乱要因の存在にかかわらず、裁断面における微小な異物の存在を検出し、信頼性が高い評価結果を得ることができる紙の裁断面の品質評価装置及びそれを用いた品質評価方法を提供する。
【解決手段】紙山50の裁断面50aに対向して設置された撮像装置10と、照射光の光軸A20が撮像装置10の光軸A10に対して60度から90度をなすように配置された照明装置20と、品質評価値作成手段30と、評価手段40とを有する。品質評価値作成手段30は、撮像装置10が撮像して得られた裁断面50aの画像を構成する各画素の濃度に関する同時生起行列を作成し、その同時生起行列から前記評価対象範囲のコントラスト評価値を求めるコントラスト評価値演算手段36を有する。評価手段40は、求められたコントラスト評価値が、予め設定された基準値よりも低いか否かを評価する。
【選択図】図1

Description

本発明は、紙の裁断面の品質評価装置及びそれを用いた品質評価方法に関し、特に、紙の裁断面について、目視でなく、客観的に良否の判定を行う紙の裁断面の品質評価装置及びそれを用いた品質評価方法に関する。
従来より、製紙工場などにおいては、製紙工程を経て作製された紙の品質検査に、裁断面の外観検査が含まれる。
この裁断面の外観検査(以下、裁断面検査と呼ぶ。)は、束ねられた紙を所定方向に裁断し、その裁断面の性状を評価する検査である。
しかし、この裁断面検査では、紙の繊維の一部が完全に切断されずに引きちぎられることによる毛羽立ちの発生や、紙粉と呼ばれる粉末状の紙の付着等の問題が生じることがあった。このような問題の原因としては、裁断機の裁断能力の低下等が挙げられる。
また、製紙工程において紙の表面にコーティング処理等が施された場合には、切断時にコーティング材が剥離して裁断面に付着してしまう問題も生じることがあった。
これら毛羽立ちの発生、並びに、紙粉及び剥離したコーティング材(以下、コーティング材粉と呼ぶ。)の付着は、単に美観の問題にとどまるものではない。特に、紙粉及びコーティング材粉等の微小な異物は、印刷装置における記録媒体として用いた場合、印刷装置の感光ドラムに付着し、形成した画像部分が白点状に抜けて画像不良となるトラブルや、印刷装置の故障を発生させることがある。
従って、これらの微小な異物に起因するトラブルの発生防止は電子写真方式の複写機やプリンタなどの印刷装置においては極めて重要な課題となっているのが現状である。
このような問題を未然に防ぐために、現状の裁断面検査では、毛羽立ちや微小な異物の存在を目視によって評価しているが、その評価には個人差があり客観的な判定が困難であった。このため、裁断面検査を客観的に評価する方法として、画像処理による検査装置が提案されている(特許文献1参照)。
特許文献1では、毛羽立ち部分(周囲より明るい濃度を持つ部分)と毛羽立ちにより照明光が当たらない部分(周囲より暗い濃度を持つ部分)とを二値化処理により抽出し、毛羽立ち部分の面積と検査範囲全体の面積の比より毛羽立ちの程度を計算して求めることが開示されている。
特開2001−228142号公報
しかしながら、特許文献1に開示された評価方法においては、二値化処理によって毛羽立ち部分を抽出して評価しているため、ある程度大きな毛羽立ちしか検出できず、紙粉やコーティング材粉のように微小な異物は検出できない。
また、二値化処理を行う際に用いられる閾値は、評価結果に重大な影響を与える因子であるが、その閾値の客観的な決定方法は特許文献1には何ら記載されていない。
従って、特許文献1に記載の評価方法を用いても、紙粉やコーティング材粉のように微小な異物により生じる印刷装置の画像不良や故障などのトラブルを解消するには至っていない。
また、特許文献1における二値化処理を用いた評価方法による問題点として、紙が積層されることによって紙山の裁断面に形成される横方向の縞模様の影響で評価結果の信頼性に欠けるという問題もある。ここで、横方向とは、積層された紙の裁断面において、紙の積層方向と直交する方向を指す。
ここで、図19は、凹凸がある従来の裁断面を示す画像である。例えば、図19に示すように、紙の裁断面において紙の積層方向に凹凸がある場合は、紙が飛出ている部分(凸部)は、引っ込んでいる部分(凹部)より明るく表示される。このように明るさの変動が積層方向に存在する場合、特許文献1に開示された縞模様除去方法では対応できない。すなわち、最適な二値化処理に用いられる閾値は各層の明るさにより異なってしまう。その結果、単一の閾値を用いた二値化処理で抽出された毛羽立ち部の面積は本来の面積と異なる値となり、信頼性が低い評価という問題があった。
従って、本発明は上述の問題点に鑑みてなされたものであり、その目的は、紙山の積層状態や撮像環境といった外乱要因の存在にかかわらず、裁断面における微小な異物の存在を検出し、信頼性が高い評価結果を得ることができる紙の裁断面の品質評価装置及びそれを用いた品質評価方法を提供することにある。
上記問題を解決するため、本発明のうち請求項1に係る紙の裁断面の品質評価装置は、山積みされた紙山を一定寸法に裁断して得られた裁断面に対向した位置に設置された撮像装置と、照射光の光軸が前記撮像装置の光軸に対して60度から90度をなすように配置された照明装置とを有し、
前記照明装置によって光が照射された前記裁断面を前記撮像装置が撮像することによって得られた画像について、その画像を構成する各画素の濃度を、評価対象範囲の平均濃度が一定になるように変換し、一の画素iの濃度Giと、その画素iから変位δだけ横方向に離れた他の画素jの濃度Gjとに基づいて、(Gi,Gj)の出現率で表される前記評価対象範囲の同時生起行列を作成し、その同時生起行列から前記評価対象範囲のコントラスト評価値を求める品質評価値作成手段と、求められた前記コントラスト評価値が、予め設定された基準値よりも低いか否かを評価する評価手段とを有することを特徴としている。
また、本発明のうち請求項2に係る紙の裁断面の品質評価方法は、山積みされた紙山を一定寸法に裁断して得られた裁断面に対向した位置に撮像装置が設置され、照射光の光軸が前記撮像装置の光軸に対して60度から90度をなすように照明装置が配置され、前記照明装置によって光が照射された前記裁断面を前記撮像装置が撮像することによって得られた画像に基づいて、評価対象範囲の平均濃度が一定になるように濃度を変換する濃度均一化工程と、一の画素iの濃度Giと、その画素iから変位δだけ横方向に離れた他の画素jの濃度Gjとに基づいて、(Gi,Gj)の出現率で表される前記評価対象範囲の同時生起行列を作成する同時生起行列演算工程、及びその同時生起行列から前記評価対象範囲のコントラスト評価値を求めるコントラスト評価値演算工程を含む品質評価値作成工程と、求められた前記コントラスト評価値が、予め設定された基準値よりも低いか否かを評価する評価工程とを含むことを特徴としている。
本発明のうち請求項1に係る紙の裁断面の品質評価装置によれば、評価手段が、対象画像の横方向の変位に関して作成された同時生起行列に基づき演算された品質評価値を用いて評価するので、二値化処理に見られるような外乱の影響も極めて少なく、紙粉やコーティング材粉のように微小な異物についても客観的で再現性があり、信頼性が高い評価結果を得ることができる紙の裁断面の品質評価装置を提供することができる。
また、本発明のうち請求項2に係る紙の裁断面の品質評価方法によれば、評価対象画像の横方向の変位に関する同時生起行列を作成し、これに基づき算出された品質評価値を用いて評価するので、二値化処理に見られるような外乱の影響も極めて少なく、紙粉やコーティング材粉のように微小な異物についても客観的で信頼性が高い評価結果を得る紙の裁断面の品質評価方法を提供することができる。
以下、本発明に係る紙の裁断面の品質評価装置及びそれを用いた品質評価方法の一実施形態について、図面を参照して説明する。
図1は本発明に係る紙の裁断面の品質評価装置の構成を示す概略図である。
図1に示すように、品質評価装置1は、評価対象である紙山50の裁断面を撮像する撮像装置10と、照明装置20と、品質評価値作成手段30と、評価手段40と、基準値記憶部41とを有する。
撮像装置10は、所定の寸法に裁断され、裁断面50aを揃えて山積みされた紙山50に対して、その紙山50の裁断面50aに対向するように設置されている。すなわち、撮像装置10は、その光軸A10が、裁断面50aの法線方向にほぼ一致するように設置されている。撮像装置10は、裁断面50aを撮像して得た画像データを、品質評価値作成手段30の要求に応じて出力する機能を有している。撮像装置10としては、例えば、CCDカメラが挙げられる。
照明装置20は、裁断面50aに対して入射光がなす角度(入射角度)が0度から30度をなすように設置される。すなわち、照明装置20は、その光軸A20と裁断面50aの法線方向とのなす角度αが60度から90度の間となるように配置される。角度αは、言い換えれば、裁断面50aにおいて、照明装置20の光軸A20と撮像装置10の光軸A10とのなす角度である。
なお、撮像装置10は、少なくとも、照明装置20によって光が照射された裁断面50aを撮像できる位置に設置されればよい。
品質評価値作成手段30は、撮像装置10に接続され、撮像装置10によって撮像された紙山50の断面画像に基づいて品質評価値を作成する手段である。品質評価値作成手段30は、画像メモリ31と、画像サイズ記憶部32と、画像サイズ変換部33と、濃度平均化処理部34と、同時生起行列演算部35と、コントラスト評価値演算部36とを有する。品質評価値作成手段30は、必要に応じて、同時生起行列演算部35で作成された同時生起行列を記憶する同時生起行列記憶部や、コントラスト評価値を記憶するコントラスト評価値記憶部を有してもよい。
画像メモリ31は、撮像装置10から供給された画像データ(デジタル階調画像データ)を格納する記憶手段である。
画像サイズ記憶部32は、評価対象範囲を特定するために、所望の画像サイズを記憶する記憶手段である。
画像サイズ変換部33は、画像メモリ31に記憶された画像のサイズを画像サイズ記憶部32に記憶された所望の画像サイズに変換し、サイズ変換後の画像を画像メモリ31に格納する手段である。
濃度平均化処理部34は、画像メモリ31に格納されたサイズ変換後の画像データに基づいて、画像の濃度の平均値の均一化を演算する手段である。
同時生起行列演算部35は、濃度が平均化された画像データを構成する各画素について同時生起行列を演算する手段である。具体的な演算方法については後述する。
コントラスト評価値演算部36は、品質評価値としてコントラスト評価値を演算する演算手段であり、同時生起行列演算部35によって演算された同時生起行列に基づいてコントラスト評価値を演算する手段である。
基準値記憶部41は、コントラスト評価値として許容される最大値として設定された値(以下、基準値と呼ぶ。)が予め記憶された手段である。基準値の入力は、例えば、外部に接続された入力装置などを用いることによって行われる。この基準値は、紙の種類、紙山の状態、裁断環境、画像取込環境等に応じて複数の評価基準となるコントラスト評価値を記憶しておくことが好ましい。
評価手段40は、コントラスト評価値演算手段36において算出されたコントラスト評価値と、基準値記憶部41に記憶された所定の基準値とを比較し、コントラスト評価値が基準値よりも低い場合に、「異物が裁断面にほぼ存在しない」といった評価結果データを出力する手段である。また、評価手段40は、コントラスト評価値演算手段36において算出されたコントラスト評価値が、基準値記憶部41に記憶された所定の基準値よりも高い場合に、「異物が裁断面に存在する」といった評価結果データを出力する手段である。さらに、評価手段40は、評価結果データを外部に出力する機能を有している。すなわち、評価手段40に接続されたディスプレイなどの表示装置に評価結果データが文字データとして出力されてもよいし、評価結果データがデータ伝送可能に接続された他の機器に送信されてもよい。さらに、評価手段40は、評価結果を所定の記憶手段に保存し、それを時系列に並べて表示装置などに表示するトレンド機能を有してもよい。なお、評価手段40には、基準値記憶部41に複数の基準値が記憶されていた場合に、どの基準値を評価基準として用いるかを選択する選択手段(図示せず)を備えてもよい。
ここで、撮像装置10によって得られた裁断面50aの画像において、裁断面50aに毛羽立ち・紙粉・コーティング粉等の付着物が存在するか否かによってその画像にどのような違いがあらわれるかについて図2(A)及び図2(B)を参照して説明する。
図2は、紙の裁断面に付着物が存在するか否かによって照射光の光路に及ぼす影響を説明する図であり、図2(A)は付着物がほとんど認められない紙山の裁断面に対する照射光の光路を示す図であり、図2(B)は紙山の裁断面に存在する付着物に対する照射光の光路を示す図である。
図2(A)に示すように、裁断面50aに付着物が認められない場合は、照明光が入射角と同じ角度で反射していく光路Pが多いため、撮像装置10に入る光は裁断面50aにおいて乱反射した光の成分のみとなる。従って、このような場合は、濃度がある程度均一でコントラストがほとんどない画像データが撮像装置10によって得られる。
一方、図2(B)に示すように、裁断面50aに付着物がある場合は、照明光が付着物部分51で反射する光路Pや、正反射成分が撮像装置10の方向に反射する光路Pで進むことが多い。なお、光路Pでは、付着物に反射した光が撮像装置10へ向かうことにより、付着物が明るく見え、その横方向は影で暗く見える。また、反射した光が撮像装置10の方向に行かず明るくならない場合でも、付着物部分51で発生した影でその横が暗く見える。従って、裁断面50aに付着物がある画像は、裁断面50aに付着物がない画像に比べ、明暗差のあるコントラストが高い画像が撮像装置10によって得られることがわかる。
ここで、照明装置20は、拡散光を照射する蛍光灯などの照明よりも、照射した光の向きが揃っている照明(例えば、LED)を使用する方が、コントラストの高い画像を得ることができる。
このように、裁断面50aにおける付着物の有無を画像上で検証した結果、裁断面50aにおける毛羽立ち等の異物の存在を評価するためには、評価対象範囲における画像をコントラストの高低で評価することが有効であることがわかる。そして、裁断面50aの画像データを、コントラストが高い画像として得るためには、影の部分が大きく見えるように、撮像装置10と照明装置20とのなす角度を比較的大きくする必要がある。
次に、品質評価装置1の構成において、撮像装置10、及び照明装置20の設置位置について説明する。
図3乃至図5は、図1に示す構成において、撮像装置10の光軸A10と、照明装置20から照射される光の光軸A20とのなす角度αを変化させた場合の同一の裁断面50a上に存在する付着物の画像である。
また、図6及び図7は、図1に示す構成において、撮像装置10の光軸A10と、照明装置20から照射される光の光軸A20とのなす角度αを変化させた場合の同一の裁断面50a上に存在する紙粉の画像である。
具体的には、図3は角度αを80度としたときの付着物の画像であり、図4は角度αを60度としたときの付着物の画像であり、図5は角度αを45度としたときの付着物の画像であり、図6は角度αを85度としたときの紙粉の画像であり、図7は角度αを45度としたときの紙粉の画像である。なお、照明装置20から照射される光の光軸とのなす角度αは、紙山50の裁断面50aに撮像装置10の光軸を対向させた、すなわち、裁断面50aの法線方向と撮像装置10の光軸をほぼ一致させた状態における角度である。従って、この前提において角度αは、裁断面50aの法線方向と、照明装置20から照射される光の光軸とのなす角度でもある。また、裁断面50aの法線方向と撮像装置10の光軸をほぼ一致させた状態において、裁断面50aに対し、照明装置20から照射される光の入射角度は、(90−α)度とみなすことができる。
図3乃至図5に示すように、図5に示す画像よりも図4に示す画像の方が、コントラストが高く、付着物を認識しやすい。また、図4に示す画像よりも図3に示す画像の方が、コントラストが高く、付着物を認識しやすい。また、図5に示す画像では、図3及び図4に示す画像において認識可能な付着物が多数確認できなかった。従って、裁断面50a上に存在する付着物の画像は、角度αを、図4に示す画像を取得する際に採用した60度以上とすることが好ましいことがわかる。
また、図6及び図7に示すように、図7に示す画像よりも図6に示す画像の方が、コントラストが高く、紙粉を認識しやすい。また、図7に示す画像では、図6に示す画像において認識可能な紙粉が多数確認できなかった。従って、裁断面50a上に存在する紙粉の画像は、角度αを、図4に示す画像を取得する際に採用した60度以上とすることが好ましいことがわかる。
ここで、角度αの好ましい角度について、図2(B)を参照して以下に説明する。
照明装置20を角度αが小さくなるように移動すると、付着物の上方から照明装置20で照らすようになり、影の部分が小さくなってしまい、コントラストが低下してしまう。従って、撮像装置10によって得られる画像に影を残すためには、角度αがある程度大きくなるように照明装置20を配置する必要がある。
また、撮像装置10を裁断面50aに正対させることが好ましい理由は、以下のように説明できる。撮像装置10を照明装置20側に傾けると、照明装置20の照射によって発生した影の部分を捉えることが困難になり、逆に、撮像装置10を照明装置20側の反対側に傾けると、照明装置20によって照射された明るい部分を捉えることが困難になる。すなわち、撮像装置10を照明装置20におけるどちら方向に傾けてもコントラストが低下してしまう。従って、本願発明に示すように、撮像装置10は、裁断面50aに正対させ、照明装置20と撮像装置10とのなす角度αは、60度から90度が適していることになる。
このように、図1に示す構成における角度αを、60度から90度とすることにより、コントラストの高い画像が得られるので、裁断面における付着物の存在を高精度で評価することができる。また、角度αは、60度から89度が好ましい。
次に、撮像装置が評価対象である紙の裁断面を撮像することによって得られた画像の品質を評価する紙の裁断面の品質評価方法について、図面を参照して以下に説明する。
本発明に係る紙の裁断面の品質評価方法は、図8に示すように、裁断面の撮像工程S1と、評価対象範囲指定工程S2と、濃度平均化工程S4と、品質評価値作成工程S5と、評価工程S6とを含む。品質評価値作成工程S5は、同時生起行列演算工程S5aと、コントラスト評価値演算工程S5bとを含む。なお、本発明に係る紙の裁断面の品質評価方法としては、必要に応じて、評価対象範囲指定工程S2と濃度平均化工程S4との間に、画像サイズ変換工程S3を含んでもよい。
裁断面の撮像工程S1は、図1に示す構成のように、照明装置20によって光が照射された紙の裁断面50aを撮像装置10で撮像する工程である。
評価対象範囲指定工程S2は、図1及び図8に示すように、裁断面の撮像後、撮像装置10から取得した画像データにおける評価対象範囲を決定する工程である。評価対象範囲を決定する情報の入力は、例えば、取得した画像データの画像を表示装置(図示せず)に表示し、その画像に基づき、外部に接続された入力装置(図示せず)を用いて、X−Y方向のそれぞれの画素数を入力して枠等で表示された評価対象範囲を指定する(図14参照)ことによって行われる。
画像サイズ変換工程S3は、図1及び図8に示すように、評価対象範囲指定工程S2において評価対象範囲を決定した後、画像サイズ記憶部32に格納された画像サイズデータに基づき、撮像装置10から取得した画像データのサイズを画像サイズ変換部33によって変換する工程である。画像サイズデータの入力は、例えば、外部に接続された入力装置などを用いることによって行われる。
図1に示した品質評価装置1を用いた品質評価方法においては、紙山50の積層状態や、照明装置20の劣化などによる照明光の不均一性等、様々な外乱を受けることがある。例えば、照明装置20が劣化して全体の明るさが暗くなると、裁断面50aにおける異物の有無にかかわらず、コントラストが低下してしまうことがある。
そこで、このような評価対象における明るさの変化によるコントラストの低下を低減するために、評価対象である画像の濃度の平均値を均一化する濃度平均化工程S4を行う。
ここで、濃度平均化工程S4の具体的な方法について、以下に説明する。
図1において、評価対象範囲指定工程S2において評価対象範囲が特定された画像データ、又は画像サイズ変換工程S3によって画像サイズが変換された画像データは、画像メモリ31に格納される。この画像データは、2次元座標(X−Y座標)に多数配置された電荷素子(画素)ごとに分割される。画像データはX−Y座標における座標位置とその位置の明暗の数値(濃度)の集合体である。
ここで、ある座標位置(x,y)における画素の濃度の数値をfとすると、濃度に関する画素情報は、f(x,y)であらわすことができる。
そこで、濃度平均化工程S4では、図1において、画像メモリ31に格納された画像データを濃度平均化処理部34が読み出し、この画像データに対して下記数式(1)による計算を画素毎に実施し、画素情報g(x,y)を得る。なお、下記数式(1)において、hは処理後の画像が暗くなり過ぎないように決めた任意の定数であり、AVE(A)は評価対象範囲における画像の平均濃度値を表す。
g(x,y)=f(x,y)×h/AVE(A)・・・・・・数式(1)
同時生起行列演算工程S5aは、濃度平均化工程S4において各画素の濃度を平均化した画像データに対し、その画像データのコントラストの高低を数値化する工程である。具体的には、図1に示すように、濃度平均化処理部34によって濃度の平均値が均一化された画像データを構成する各画素について、同時生起行列演算部35が同時生起行列を作成する。
ここで、同時生起行列とは、ある画素iから画像上のδだけ相対的に離れた画素jについて、それらの画素の濃度をそれぞれGi、Gjとしたとき、S(Gi,Gj)で表される濃度の組合せSの出現確率を行列表示したものである。
なお、同時生起行列を作成する元となる画像データにおける各画素の濃度がn(bit)で表現される場合には、同時生起行列は2行×2列で表される。
同時生起行列については、例えば、高木幹雄、下田陽久編:「テクスチャ特徴の抽出」、“画像解析ハンドブック”、東京大学出版会、pp.518−521に記載されている。
同時生起行列演算工程S5aは、標本化工程と、正規化工程とを有する。
図9乃至図11は、本発明において用いられる同時生起行列演算工程S5aのプロセスの具体例を示す図であり、図9は評価対象となる画像データの座標と濃度とを示す図であり、図10は評価対象となる画像データから標本化した濃度の組合せSの行列を示す図であり、図11は正規化工程において作成された同時生起行列を示す図である。なお、図9は具体例として5行5列で構成された画像データにおいて、各画素の座標(上段)及び濃度(下段)を表している。
標本化工程は、例えば、評価対象となる画像の画像データにおいて、一の画素iの濃度Giと、一の画素iから横方向に変位δ離れた他の画素jの濃度Gjとの組合せ(Gi,Gj)を行列形式で標本化する工程である。なお、前記「横方向」とは、積層された紙の裁断面において、紙の積層方向と直交する方向を指す。また、この標本工程で標本化された行列は、標本化対象の画像データの濃度がn(bit)で表現されていた場合、2行×2列で表される。変位δの寸法としては、0.3mm乃至1.0mmが好ましい。また、寸法以外では、変位δを、0.3mm乃至1.0mmに相等する画素分とすることも好ましい。
ここで、まず、変位δの方向を、横方向に特定した理由について以下に説明する。
通常、同時生起行列を演算する際に用いられる変位δは、基準となる画素(画素i)に対して、裁断面における所定の角度方向(積層方向及び横方向)に位置する組合せ対象の画素(画素j)が適宜選択される。
本発明では、積層された紙の裁断面は以下(1)乃至(3)のような特徴を有しているため、基準となる画素(画素i)から組合せ対象となる画素(画素j)までの変位δを、横方向移動した変位量として定義した。
(1)裁断面の画像において、積層方向の濃度は紙の積層状態によって変化してしまう(図19参照)。また、照明光が裁断面の積層方向に均一に照射されていない場合も濃度が変化してしまう。
(2)横方向の濃度は照明光の均一性に影響されるが、横方向の微小な間隔であれば、照明光は均一に照射されていると見なすことができる。
(3)付着物は微小な範囲での濃度の変化として捉えることができる。
このように、横方向の微小な変位δにおける画素間の濃度差を求めれば、基準となる画素の上下の濃度値を品質評価値の算出のために参照しないので、紙山の積層方向の縞模様の濃度差を考慮することなく、また、裁断面における照明光の不均一性について画素の濃度の補正をその都度行う必要がなく、変位δを微小な数値とすることで、照明の不均一による画像の横方向の明るさの差に影響されず、紙粉などの微小な異物も認識できる。
すなわち、微小な変位δの方向を横方向に特定することにより、紙山の積層状態や、照明光の不均一性といった外乱に影響されずに、付着物に起因する濃度の変化を高い精度で表現することができる。
ここで、変位δの値について0.3mm乃至1.0mmとした理由について図12及び図13を参照して説明する。図12は、紙粉の付着の程度により、変位δを変化させた場合の品質評価値(後述)の変化を示すグラフである。なお、図12は、「紙粉の付着あり(非常に多い)」、「紙粉の付着あり(多い)」、及び「紙粉の付着が少ない」の3つのサンプルについての評価結果である。また、「紙粉の付着あり(非常に多い)」、及び「紙粉の付着あり(多い)」は、製品として出荷が不可であるレベルである。さらに、図12では、変位δの単位は、画素で1画素から30画素まで変化させており、1画素は0.08mmに相等する。また、図13(A)及び図13(B)は、照明装置20によって照射された付着物部分51における2カ所の濃度値とそれらの間隔(変位δ)とを示す図である。
図12に示すように、変位δが3画素以下の領域では、付着物を正しく評価できず、3つのサンプルが同様の品質評価値を示している。これは、図13(A)に示すように、検出しようとする付着物のサイズに対して変位δが小さすぎるため、濃度値Gi及び濃度値Gjで大きく変化する箇所が少なくなり、照明装置20によって発生した明るい箇所と影の箇所とを捉えられないためと考えられる。
一方、図12に示すように、変位δが4画素乃至10画素の領域では、付着物が少ない場合は、安定した品質評価値(品質評価値の変動範囲が±3)を示している。これは、図13(B)に示すように、変位δの値が適正な値の場合、濃度値Gi及び濃度値Gjで大きく変化する箇所が多くなるためと考えられる。
また、図12に示すように、変位δが15画素を超えると、品質評価値が上昇に転じる。この原因は、照明の不均一の影響や、紙山のうねりなどの影響を受けていると考えられる。すなわち、変位δが15画素を超えると、変位δはもはや微小な変位といえず、様々な外乱を受けて品質評価値が上昇している。
このように、変位δには、付着物を評価するために適切な範囲が存在する。この範囲は、本願発明では、4画素乃至12画素程度であり、これを距離値に換算すると、0.3mm乃至1.0mmになる。
しかしながら、一般には、検出しようとする付着物等のサイズに応じて、撮像装置のレンズの倍率が変更されるため、変位δの適正な範囲も、レンズの倍率等、検出する付着物のサイズや、撮像条件により変化する。
従って、変位δは、撮像条件や、撮像装置によって得られた画像に基づいて、適切な値が適宜選択される。
次に、標本化工程の具体的な方法について、図9及び図10を参照して説明する。なお、この説明において、図9に示す画像データは、5×5の25画素から構成された画像データと仮定し、変位δは1画素分の距離と仮定している。
標本化工程においては、例えば、評価対象である図9に示す画像データが、座標(0,0)の画素(0,0)の濃度Gが0であり、画素(0,0)から横方向に変位δ(=1画素分)離れた画素(1,0)の濃度Gが0であるため、(G,G)=(0,0)と表すことができる。また、座標(1,1)の画素(1,1)の濃度Gが1であり、画素(1,1)から横方向に変位δ(=1画素分)離れた画素(2,1)の濃度Gが2であるため、(G,G)=(1,2)と表すことができる。
このようにして、評価対象範囲を構成する画素について(Gi,Gj)の標本を作成することになるが、図9に示す画像データにおいては、濃度の範囲が0乃至3であるので、図10に示すような4行4列の行列で表すことができる。
ここで、図10に示す行列は、図9に示す画像データにおいて、変位δとしたときの濃度の組合せ(Gi,Gj)が(0,0)となる標本の数が3つであることを意味する。すなわち、濃度の組合せ(Gi,Gj)が(0,0)、(1,1)、(2,2)、及び(3,3)となる標本は、変位δとしたときの2つの画素の濃度差が0であることを意味する。
また、図9に示すような5×5の25画素から構成された画像データにおいて、変位δを1画素分の距離として標本化した場合、横方向において隣接する画素間の濃度差を示す標本化を各行について行っているので、総標本数は20個になる。
正規化工程は、上述の標本化工程において作成された行列の各要素(濃度の組合せSの数)をその出現確率に変換する工程である。具体的には、同時生起行列演算部35が、標本化工程において作成された行列の各要素(濃度の組合せSの数)を総標本数で除する工程である。
次に、正規化工程の具体的な方法について、図9乃至図11を参照して説明する。ここで、この説明においては、正規化工程を行う対象を、図9に示すような画像データについて標本化を行って得られた図10に示す行列とする。
正規化工程は、例えば、図10に示す行列の各要素(標本数)を総標本数20で除して、図11に示す行列として表す工程である。すなわち、図11に示す行列では、例えば、変位δとしたときの濃度の組合せS(Gi,Gj)が(0,0)となる標本確率が0.15であることを意味する。
コントラスト評価値演算工程S5bは、同時生起行列演算工程S5aにおいて作成された同時生起行列から、2点間の濃度差の絶対値毎の度数分布を求め、そこから品質評価値として、コントラストを評価する値(以下、コントラスト評価値と呼ぶ。)を算出する工程である。その算出方法は種々のものが提案されているが、本発明では下記数式(2)で表されるコントラスト評価値Cの算出方法を採用する。なお、下記数式(2)において、Cはコントラスト評価値、dは2点間の濃度差、K[d]は2点間の濃度差がdとなる確率を表す。
C=Σ{d×K[d]}・・・・・・・・・・・・・・・・・・数式(2)
以下、数式(2)を用いてコントラスト評価値を演算する具体例について図面を参照して説明する。
コントラスト評価値演算工程S5bにおいては、同時生起行列演算部35によって作成された同時生起行列(図11参照)について、コントラスト評価値演算部36が、数式(2)に基づく下記の演算を行う。
コントラスト評価値C=(2点間の濃度差の2乗×確率)の合計
=(0−1)×0.1+(1−2)×0.1+(2−3)×0.05+(3−0)×0.05
=1×0.1+1×0.1+1×0.05+9×0.05
=0.7
ここで、上記演算において、「(0−1)×0.1」は、同時生起行列(図11参照)の(Gi,Gj)=(1,0)の要素が、「2点間の濃度差」が「Gj-Gi」、すなわち「0−1」であること、及び「確率」が「0.1」であることによる。また、コントラスト評価値演算工程S5bにおいては、同時生起行列(図11参照)における1行1列、2行2列、3行3列、及び4行4列に示す各確率は、2点間の濃度差が0であるため、計算されない。
このように、2点間の濃度差が0である行列要素を評価の要素に採用しないことにより、紙の水分調整が不適切な場合等に起因する紙山の浮き上がりが発生しても、紙山の浮き上がりがないのと同様に評価することができる。
これは、数式(2)が、横方向のみにしか演算対象としていないため、横方向に同じ濃度を持つ浮き上がり部分における積層方向での明るさの差(濃度の差)は影響を受けないからである。
次に、本発明に係る品質評価方法における評価工程S5について、図14乃至図18を参照して説明する。
図14乃至図18は、コントラスト評価値ごとの裁断面の性状を示す画像であり、図14は目視にて裁断面の性状が使用に供する限界と判断された裁断面の画像(コントラスト評価値が185)である。図15は目視にて付着物の存在が裁断面に特に認められず、印刷装置に通常に使用しても可能と判断された裁断面の画像(コントラスト評価値が98)である。図16は目視にて紙粉などの微小な異物の存在が認められなかったと判断された裁断面の画像(コントラスト評価値が58)である。図17は目視にて毛羽立ちの存在が認められたと判断された裁断面の画像(コントラスト評価値が400)である。図18は目視にてコーティング材の存在が認められたと判断された裁断面の画像(コントラスト評価値が128)である。なお、これらのコントラスト評価値は、濃度が8ビットで表現された画素によって構成された画像データに基づき算出されたコントラスト評価値であり、その画像データに基づいて作成された同時生起行列は256行×256列で表される。
図14乃至図18に示すように、裁断面における付着物の存在について、目視による評価とコントラスト評価値との間に相関があることが確認できる。
具体的には、図14の画像によれば、コントラスト評価値が185であると、裁断面における微小な異物の存在が、目視ではほとんど確認できないことがわかる。
また、図15の画像によれば、コントラスト評価値が98であると、裁断面における微小な異物の存在が、目視ではほとんど確認できないことがわかる。
また、図16の画像によれば、コントラスト評価値が58であると、裁断面における微小な異物の存在が、目視では皆無であることがわかる。
また、図17の画像によれば、コントラスト評価値が400であると、裁断面において、毛羽立ちの存在が目視で認められる程度であることがわかる。
また、図18の画像によれば、コントラスト評価値が128であると、裁断面において、コーティング材の存在が目視で認められる程度であることがわかる。
そこで、本発明では、評価手段40が、コントラスト評価値演算手段36において算出されたコントラスト評価値と、基準値記憶部41に記憶された基準値とを比較し、その比較結果に基づく評価結果データを出力する。具体的には、コントラスト評価値と、基準値記憶部41に記憶された基準値とを比較し、コントラスト評価値が基準値よりも低い場合に、「微小な異物が裁断面にほぼ存在しない」と評価結果データを出力し、コントラスト評価値が基準値よりも高い場合には、「微小な異物が裁断面に存在する」という評価結果データを出力する。
なお、上述した図14乃至図18に示す裁断面の評価においては、図18に示すコントラスト評価値を基準値として扱うことが好ましい。図14に示す画像は、コントラスト評価値185で目視においても裁断面の性状に問題がないと判断されたが、図18に示す画像はコントラスト評価値が128であるにもかかわらず、コーティング材の存在が目視で確認できたからである。
このように、基準値記憶部41に基準値(128)を記憶させ、この基準値(128)よりも低いコントラスト評価値を示す図15及び図16に示す裁断面は、微小な異物がその裁断面にほぼ存在しないと評価手段40によって判断される。また、基準値(128)よりも高いコントラスト評価値を示す図14、図17及び図18に示す裁断面は、微小な異物がその裁断面に存在すると評価手段40によって判断される。
そして、コントラスト評価値が185である図14の画像については、「この裁断面の紙山を印刷装置に使用した場合、画像不良や印刷装置の故障などを引き起こす可能性がある」という評価結果情報を評価手段40が出力する。また、コントラスト評価値が98程度である図15の画像については、「裁断面の性状が通常使用しても印刷装置に対する影響等を考慮しなくてもよいレベルである」という評価結果情報を評価手段40が出力する。また、コントラスト評価値が58程度である図16の画像については、「微小な異物がほとんどない状態」という評価結果情報を評価手段40が出力する。コントラスト評価値が400である図17の画像については、「この裁断面の紙山を印刷装置に使用した場合、画像不良や印刷装置の故障などを引き起こす可能性が非常に高い」という評価結果情報を評価手段40が出力する。コントラスト評価値が128である図18の画像については、「この裁断面の紙山を印刷装置に使用した場合、画像不良や印刷装置の故障などを引き起こす可能性がある」という評価結果情報を評価手段40が出力する。
また、品質評価値を所定の記憶手段に記憶しておき、これを時系列にグラフ化などして表示装置に表示することにより、切断機の刃の管理を行うことができる。
以上説明したように、評価対象画像のコントラスト評価値が、基準値記憶部41に予め記憶させた基準値よりも低いか否かを、評価手段40が判定することにより、裁断面における微小な異物の存在を評価することができる。なお、基準値は、紙の種類、紙山の状態、裁断環境、画像取込環境等に応じて決定される。
以上、本発明の実施の形態について説明してきたが、本発明はこれに限定されずに、種々の変更、改良を行うことができる。
例えば、毛羽立ちのように比較的大きなもののみを評価する場合は、同時生起行列を求める前に対象画像を濃度変換して濃淡レベルを少なくして微小な濃度変動を無視することも可能である。
本発明に係る紙の裁断面の品質評価装置の構成を示す概略図である。 本発明に係る紙の裁断面の品質評価方法において、紙の裁断面に付着物が存在するか否かによって照射光の光路に及ぼす影響を説明する図である。 本発明に係る紙の裁断面の品質評価方法において照明の入射角度を10度としたときの毛羽立ちを示す画像である。 本発明に係る紙の裁断面の品質評価方法において照明装置の入射角度αを20度としたときの毛羽立ちを示す画像である。 本発明に係る紙の裁断面の品質評価方法において照明装置の入射角度αを45度としたときの毛羽立ちを示す画像である。 本発明に係る紙の裁断面の品質評価方法において照明装置の入射角度αを5度としたときの紙粉を示す画像である。 本発明に係る紙の裁断面の品質評価方法において照明装置の入射角度αを45度としたときの紙粉を示す画像である。 本発明に係る紙の裁断面の品質評価方法のフローチャートである。 本発明に係る紙の裁断面の品質評価方法において評価対象となる画像データの概要を示す図である。 本発明に係る紙の裁断面の品質評価方法において評価対象となる画像データから2つの画素の濃度の組合せS(Gi,Gj)の標本数を示す行列を示す図である。 本発明に係る紙の裁断面の品質評価方法において作成された同時生起行列を示す図である。 本発明に係る紙の裁断面の品質評価方法において、変位δを変化させた場合の変位δと、品質評価値との関係を示すグラフである。 本発明に係る紙の裁断面の品質評価方法において、変位δを変化させた場合の付着物の濃度値の検出状態を説明する図である。 本発明に係る紙の裁断面の品質評価方法においてコントラスト評価値が185の裁断面の画像である。 本発明に係る紙の裁断面の品質評価方法においてコントラスト評価値が98の裁断面の画像である。 本発明に係る紙の裁断面の品質評価方法においてコントラスト評価値が58の裁断面の画像である。 本発明に係る紙の裁断面の品質評価方法においてコントラスト評価値が400の裁断面の画像である。 本発明に係る紙の裁断面の品質評価方法においてコントラスト評価値が128の裁断面の画像である。 裁断面に凹凸がある場合の従来の裁断面の画像である。
符号の説明
1 品質評価装置
10 撮像装置
20 照明装置
30 品質評価値作成手段
40 評価手段
50 紙山
50a 裁断面

Claims (2)

  1. 山積みされた紙山を一定寸法に裁断して得られた裁断面に対向した位置に設置された撮像装置と、照射光の光軸が前記撮像装置の光軸に対して60度から90度をなすように配置された照明装置とを有し、
    前記照明装置によって光が照射された前記裁断面を前記撮像装置が撮像することによって得られた画像について、その画像を構成する各画素の濃度を、評価対象範囲の平均濃度が一定になるように変換し、一の画素iの濃度Giと、その画素iから変位δだけ横方向に離れた他の画素jの濃度Gjとに基づいて、(Gi,Gj)の出現率で表される前記評価対象範囲の同時生起行列を作成し、その同時生起行列から前記評価対象範囲のコントラスト評価値を求める品質評価値作成手段と、求められた前記コントラスト評価値が、予め設定された基準値よりも低いか否かを評価する評価手段とを有することを特徴とする紙の裁断面の品質評価装置。
  2. 山積みされた紙山を一定寸法に裁断して得られた裁断面に対向した位置に撮像装置が設置され、照射光の光軸が前記撮像装置の光軸に対して60度から90度をなすように照明装置が配置され、前記照明装置によって光が照射された前記裁断面を前記撮像装置が撮像することによって得られた画像に基づいて、評価対象範囲の平均濃度が一定になるように濃度を変換する濃度均一化工程と、一の画素iの濃度Giと、その画素iから変位δだけ横方向に離れた他の画素jの濃度Gjとに基づいて、(Gi,Gj)の出現率で表される前記評価対象範囲の同時生起行列を作成する同時生起行列演算工程、及びその同時生起行列から前記評価対象範囲のコントラスト評価値を求めるコントラスト評価値演算工程を含む品質評価値作成工程と、求められた前記コントラスト評価値が、予め設定された基準値よりも低いか否かを評価する評価工程とを含むことを特徴とする紙の裁断面の品質評価方法。
JP2007340980A 2007-12-28 2007-12-28 紙の裁断面の品質評価装置及びそれを用いた品質評価方法 Active JP5116462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007340980A JP5116462B2 (ja) 2007-12-28 2007-12-28 紙の裁断面の品質評価装置及びそれを用いた品質評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007340980A JP5116462B2 (ja) 2007-12-28 2007-12-28 紙の裁断面の品質評価装置及びそれを用いた品質評価方法

Publications (2)

Publication Number Publication Date
JP2009162579A true JP2009162579A (ja) 2009-07-23
JP5116462B2 JP5116462B2 (ja) 2013-01-09

Family

ID=40965370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007340980A Active JP5116462B2 (ja) 2007-12-28 2007-12-28 紙の裁断面の品質評価装置及びそれを用いた品質評価方法

Country Status (1)

Country Link
JP (1) JP5116462B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038014A (ja) * 2012-08-14 2014-02-27 Jfe Electrical & Control Systems Inc 紙粉の付着量検査方法および紙粉付着量検査装置
JP2014038012A (ja) * 2012-08-14 2014-02-27 Jfe Electrical & Control Systems Inc 平判紙の折れ込み検査方法および平判紙折れ込み検査装置
KR20160006171A (ko) * 2013-05-10 2016-01-18 케미라 오와이제이 페이퍼 내 자유 섬유 단부를 검출하기 위한 방법 및 장치
CN111879781A (zh) * 2020-06-17 2020-11-03 西安交通大学 一种基于机器视觉的试纸质量检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297020A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 欠陥検査方法とその装置
JPH0961373A (ja) * 1995-08-28 1997-03-07 Kawasaki Steel Corp 表面欠陥検出方法および装置
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP2001228142A (ja) * 2000-02-18 2001-08-24 Nippon Paper Industries Co Ltd 紙の裁断面の品質を検査する方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297020A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 欠陥検査方法とその装置
JPH0961373A (ja) * 1995-08-28 1997-03-07 Kawasaki Steel Corp 表面欠陥検出方法および装置
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP2001228142A (ja) * 2000-02-18 2001-08-24 Nippon Paper Industries Co Ltd 紙の裁断面の品質を検査する方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038014A (ja) * 2012-08-14 2014-02-27 Jfe Electrical & Control Systems Inc 紙粉の付着量検査方法および紙粉付着量検査装置
JP2014038012A (ja) * 2012-08-14 2014-02-27 Jfe Electrical & Control Systems Inc 平判紙の折れ込み検査方法および平判紙折れ込み検査装置
KR20160006171A (ko) * 2013-05-10 2016-01-18 케미라 오와이제이 페이퍼 내 자유 섬유 단부를 검출하기 위한 방법 및 장치
KR102191209B1 (ko) 2013-05-10 2020-12-16 케미라 오와이제이 페이퍼 내 자유 섬유 단부를 검출하기 위한 방법 및 장치
CN111879781A (zh) * 2020-06-17 2020-11-03 西安交通大学 一种基于机器视觉的试纸质量检测系统

Also Published As

Publication number Publication date
JP5116462B2 (ja) 2013-01-09

Similar Documents

Publication Publication Date Title
US20080175466A1 (en) Inspection apparatus and inspection method
JP4060558B2 (ja) 欠陥検査方法及びその装置
JP4078280B2 (ja) 回路パターンの検査方法および検査装置
KR20080073281A (ko) 화상 결함 검사 장치, 화상 결함 검사 시스템 및 화상 결함검사 방법
CN101600957A (zh) 缺陷检测装置及缺陷检测方法
JP5842373B2 (ja) 表面欠陥検出方法、および表面欠陥検出装置
US20070286471A1 (en) Auto Distinction System And Auto Distinction Method
JP4101489B2 (ja) 欠陥検査方法及びその装置
JP2004177139A (ja) 検査条件データ作成支援プログラム及び検査装置及び検査条件データ作成方法
JP5116462B2 (ja) 紙の裁断面の品質評価装置及びそれを用いた品質評価方法
JP4932595B2 (ja) 表面疵検査装置
JP5286331B2 (ja) 乗客コンベアのハンドレール点検装置および乗客コンベアの保全方法
WO2023047866A1 (ja) シート状物の凹凸測定装置、シート状物の凹凸測定方法
US20060222232A1 (en) Appearance inspection apparatus and appearance inspection method
JP2012037425A (ja) 多結晶シリコンウェーハの検査方法及びその装置
JP5387319B2 (ja) シート状の連続体の検査方法
JP3565672B2 (ja) ウエハのマクロ検査方法および自動ウエハマクロ検査装置
JP4015436B2 (ja) 金めっき欠陥検査装置
JP6623545B2 (ja) 検査システム、検査方法、プログラムおよび記憶媒体
JP2009222516A (ja) 端部検査装置、及び、端部検査方法
KR102705809B1 (ko) 셀-대-셀 비교 방법
JP2003156451A (ja) 欠陥検出装置
JP2009222683A (ja) 表面検査方法および装置
JP2001228142A (ja) 紙の裁断面の品質を検査する方法
JP7524717B2 (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101216

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121016

R150 Certificate of patent or registration of utility model

Ref document number: 5116462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250