[go: up one dir, main page]

JP2010268389A - 変倍画像生成装置および変倍画像生成法 - Google Patents

変倍画像生成装置および変倍画像生成法 Download PDF

Info

Publication number
JP2010268389A
JP2010268389A JP2009120160A JP2009120160A JP2010268389A JP 2010268389 A JP2010268389 A JP 2010268389A JP 2009120160 A JP2009120160 A JP 2009120160A JP 2009120160 A JP2009120160 A JP 2009120160A JP 2010268389 A JP2010268389 A JP 2010268389A
Authority
JP
Japan
Prior art keywords
pixel
image
coordinate value
value
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009120160A
Other languages
English (en)
Other versions
JP5134585B2 (ja
Inventor
Yoshio Mizuyama
善雄 水山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009120160A priority Critical patent/JP5134585B2/ja
Publication of JP2010268389A publication Critical patent/JP2010268389A/ja
Application granted granted Critical
Publication of JP5134585B2 publication Critical patent/JP5134585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】線形補間法を使用し、モアレ低減と輪郭がぼける対策を兼ね備えた変倍画像生成装置を提供する。
【解決手段】この変倍画像生成装置は、変倍後の画像を構成する各画素の座標値を、変倍前の原画像を構成する画素の座標値と対応する座標値に変倍して原画像上の座標値を算出し、該座標値を囲む周囲の原画像の画素値を用いて線形補間により変倍画像の画素値を算出して変倍画像を生成する画像変倍生成装置において、前記原画像上の前記補間する画素の座標値を、該座標値を囲む前記周辺の前記原画像の画素の最も近い画素を含む前記周辺内の所定の領域内の座標値に変換する座標変換部と、当該変換した座標値に基づいて線形補間により変倍後の画素の画素値を算出する補間演算部と、を備えている。また、前記所定の領域を変倍率の大きさにしたがって調整すると、モアレ低減と輪郭がぼける対策にさらに効果がある。
【選択図】図6

Description

本発明は、周辺画素の画素値を用いて線形補間を行って、画像の拡大や縮小を行う変倍画像生成装置および変倍画像生成法に関する。
従来より原稿画像を拡大/縮小できる画像処理装置として、複写機、ファクシミリ装置、プリンタ等が知られている。
このような拡大/縮小を行う際には、画像中の一定領域に存在する複数の画素の画素値を用いて、その領域の内部に新たな画素値を生成する内挿補間法が広く用いられ、代表的なものとして、最近傍法(Nearest Neighbor)、線形補間法(Bilinear)、3次補間法(Bicubic)等がある。
最近傍法は、補間画素に1番近い既存画素、すなわち最近傍の既存画素の画素値を、補間画素の画素値として生成する補間処理方法である。そのため、エッジ付近についてはエッジの鮮鋭性を保存するような画素値を生成することができる反面、曲線や斜線がギザギザとなって現れるジャギーが発生し、画質が劣化する。
また、線形補間法は、既存画素に対する補間画素の位置に基づいた重み係数を用いて2次の線形内挿補間を行い、補間画素の画素値を生成する補間処理方法である。
そのため、画像を滑らかにすることができる反面、画像内のエッジ部分についても滑らかに処理してしまうため、エッジを鈍らせて、画像がぼやけ、画質が劣化する。また、特定の倍率のときにモアレが発生するという問題点がある。
また、3次補間法は、3次の非線形内挿補間の1つであって、補間画素の周囲にある4つの既存画素と、その4つの既存画素の周囲にある12の既存画素を加えた合計16の既存画素を用いて演算処理を行う補間処理方法である。
そのため、画像を平滑化するとともに、エッジの鈍りも防止するので、滑らかで自然な画像を生成することができる反面、最近傍法および線形補間法に比べ、極めて複雑な演算処理を必要とするので、演算処理を実行する回路規模の増大を抑えることができず、結果として、装置規模の増大を抑えることができない。
このように、従来の内挿補間法にはそれぞれ欠点があるため、次のような補間処理の技術が提案されている。
特許文献1のデータ処理装置および方法では、原画像データを変倍する際に乱数を用いてデータ点を変動させ、この後、補間演算を行って変倍後の画像データを作成することにより、モアレの低減を行っている。
また、特許文献2の画像拡大方法では、補間位置が原画素から一定以上遠い場合とその他の場合に分けて、最近傍法(零次ホールド法)と線形補間法を切り替えることにより、輪郭がぼけるのを低減させている。
特開平09−128528号公報 特開平11−96348号公報
しかしながら、特許文献1では、輪郭がぼける改善策にはなっておらず、また、特許文献2では、モアレの低減がされていない。
本発明は、上述のような実情を考慮してなされたものであって、線形補間法を使用し、モアレ低減と輪郭がぼける対策を兼ね備えた変倍画像生成装置および変倍画像生成法を提供することを目的とする。
上記の課題を解決するために、本発明の変倍画像生成装置は、変倍後の画像を構成する各画素の座標値を、変倍前の原画像を構成する画素の座標値と対応する座標値に変倍して原画像上の座標値を算出し、該座標値を囲む周囲の原画像の画素値を用いて線形補間により変倍画像の画素値を算出して変倍画像を生成する画像変倍生成装置において、前記原画像上の前記補間する画素の座標値を、該座標値を囲む前記周辺の前記原画像の画素の最も近い画素を含む前記周辺内の所定の領域内の座標値に変換する座標変換部と、当該変換した座標値に基づいて線形補間により変倍後の画素の画素値を算出する補間演算部と、を備えている。
これにより、線形補間法を使用し、モアレ低減と輪郭がぼける対策を兼ね備えた変倍画像生成装置を提供できる。
また、前記座標変換部において、前記所定の領域を変倍率の大きさにしたがって調整することによって、さらに滲みやモアレを低減できる。
また、本発明の変倍画像生成法は、変倍後の画像を構成する各画素の座標値を、変倍前の原画像を構成する画素の座標値と対応する座標値に変倍して原画像上の座標値を算出し、該座標値を囲む周囲の原画像の画素値を用いて線形補間により変倍画像の画素値を算出して変倍画像を生成する画像変倍生成法において、前記原画像上の前記補間する画素の座標値を、該座標値を囲む前記周辺の前記原画像の画素の最も近い画素を含む前記周辺内の所定の領域内の座標値に変換し、当該変換した座標値に基づいて線形補間により変倍後の画素の画素値を算出する。
これにより、線形補間法を使用し、モアレ低減と輪郭がぼける対策を兼ね備えた変倍画像生成法を提供することができる。
また、上記の変倍画像生成法において、前記所定の領域を変倍率の大きさにしたがって調整することによって、さらに滲みやモアレを低減できる。
本発明によれば、線形補間法を使用して画像を変倍しても、モアレや画像の滲みを低減できる。
一般的な線形補間法を説明する図である(1次元)。 一般的な線形補間法を説明する図である(2次元)。 本発明の座標変換を説明する図である(1次元)。 本発明の座標変換を説明する図である(2次元)。 射影領域の範囲の調整を説明する図である。 本発明の変倍画像生成装置の構成を示すブロック図である。 本発明の座標変換後に線形補間法を適用したときの濃度分布図である。 本発明の変倍画像生成装置の処理手順を示すフローチャートである。 本発明の変倍画像生成法、一般的な線形補間法および最近傍法を使った濃度分布図である。
以下、図面を参照して本発明の変倍画像生成装置および変倍画像生成法に係る好適な実施形態について説明する。
まず、2つの画素の中間点の濃度値を求める例を用いて、一般的な線形補間法について説明する。図1において、Aは、X座標値がX0の画素の濃度値、Bは、X座標値がX1の画素の濃度値、Cは、座標X0から距離Xだけ離れた点の濃度値とする。
濃度値Cは、(式1)の補間式で求められる。
Figure 2010268389
次に、図2を使って2次元に拡張した補間点の濃度値を求める方法を説明する。図2において、4つの点A00,A10,B01,B11は隣り合った画素(格子点)、S1は点A00と点B01(またはA10とB11)の距離、S2は点A00と点A10(または点B01と点B11)の距離、Xは補間点PのX軸方向において点A00から点Pまでの距離、Yは補間点PのY軸方向において点A00から点Pまでの距離とする。また、4つの点A00,A10,B01,B11および点Pの濃度値をそれぞれC00、C10,C01,C11およびCとする。
濃度値Cは、(式2)の補間式で求められる。
Figure 2010268389
次に、本発明の座標変換について説明する。
本発明では、変倍後の画素の座標値に対応する変倍前の座標値(補間点の座標値ともいう)を求め、この補間点の座標値に最も近い画素を含む所定の領域内の点に射影する(座標変換ともいう)。
以下、この所定の領域のことを射影領域といい、また、この射影領域の範囲を制限するパラメータを設け、以下、このパラメータをNで表現することにする。
図3は、本発明の座標変換を説明する図であり、簡単のためX座標軸について示したものである。点Aと点Bは、隣接する画素、点Cは点Aと点Bとの中点、Sは点Aと点Bとの距離とする。また、点Dは点Aから距離Nだけ離れた点、点Eは点Bから距離Nだけ離れた点とする。
本発明の座標変換では、線分AC上にある点を線分AD上の点に射影し、線分BC上にある点を線分BE上の点に射影する。
即ち、線分AB上にある点Pが点Aから距離Xだけ離れているとすると、射影された点P’は、(式3)および(式4)のように点Aから距離X’だけ離れた点として計算される。
Figure 2010268389
図4は、2次元の射影領域を説明する図である。射影領域は、図4(A)の斜線で示される領域で、画素ごとに1辺の長さがNである正方形で表わされる。
本発明の座標変換は、図4(B)のような隣接する4つの画素の中点で分割される4つの分割領域内の点を、この分割領域に含まれる画素の射影領域内の点に射影することである。
即ち、点Pは点A00の射影領域内、点Pは点A10の射影領域内、点Pは点B01の射影領域内、点Pは点B11の射影領域内の点に射影される。
ここで、パラメータNは、原画像の特性と変倍率(拡大率・縮小率)に応じて、最もよい画質になるように適宜に設定する。但し、変倍率(縮小)が小さいと、滲み対策が重要となるため、パラメータNの値を小さめにし(図5(A))、変倍率(拡大)が大きくなると、滑らかに拡大するために補間点の位置が重要となるので、パラメータNの値を大きめにして(図5(B))、倍率に応じて画質的に射影領域を調整することが好ましい。
次に、本発明の変倍画像生成装置について説明する。
図6は、本発明の変倍画像生成装置の構成を示すブロック図であり、同図において、変倍画像生成装置は、座標発生部1、座標変換部2、補間演算部3、画像データ記憶部4、変倍画像データ記憶部5を少なくことも含んで構成されている。
画像データ記憶部4は、スキャナから取り込まれた画像データやPCや撮影装置から送られてきた画像データを記憶する記憶装置である。
変倍画像データ記憶部5は、画像データ記憶部4に記憶された画像データに対して変倍処理を施した画像データを記憶する記憶装置である。
上記の画像データ記憶部4や変倍画像データ記憶部5は、公知のデータ記録方式とし、画像データのほかに、画像の幅と高さの画素数、画素間の距離等の情報が記録されるものとする。
座標発生部1は、変倍率が与えられたとき、変倍後の画像の各画素の座標値に対応する変倍前の画像上の座標値を算出し、算出された座標値を座標変換部2に送る。
例えば、幅の変倍率をzx、高さの変倍率をzyとし、変倍後の画像の画素の座標値(i,j)に対応する座標値(x,y)は(式5)で計算される。
Figure 2010268389
ここで、i,jは整数であり、x、y、zx、zyは実数である。
座標変換部2は、座標発生部1から送られてきた座標値(x,y)を上述した(式3)または(式4)によって座標変換した座標値(x’,y’)を補間演算部3に送る。このとき、変倍前の画像の画素間の距離S1、S2は、画像データ記憶部4に記憶されている画像データから取得する。
補間演算部3は、座標変換部2から送られてきた座標変換後の座標値(x’,y’)と、画像データ記憶部4に記憶された画像データに基づいて、(式2)から変倍後の画像の濃度値を算出して、変倍画像データ記憶部5に書き込む。
まず、補間演算部3は、変倍前の画像データの中で座標変換後の座標値(x’,y’)を囲む4つの画素の座標値(格子点)を求める。
今、X座標値x’の整数部分の値をm、Y座標値y’の整数部分の値をnとすると、4つの画素の座標値は、(m,n)、(m+1,n)、(m,n+1)、(m+1,n+1)である。
次に、変倍前の画像データの4つの画素(m,n)、(m+1,n)、(m,n+1)、(m+1,n+1)における濃度値と、座標値(x’,y’)と、前記4つの画素間の距離とを(式2)に代入することによって、変倍後の画素の座標値(i,j)における濃度値を求める。
上記の座標発生、座標変換、補間演算を変倍後の画像のすべての画素について計算することによって、変倍後の画像データが変倍画像データ記憶部5に書き込まれる。
図7は、本発明による座標変換後に線形補間法を適用したときの濃度分布である。図7に示すように、滲みが出やすい濃度Aと濃度Bの中間濃度を使用しないので、滲んだ濃度と原画素に近いクリアな濃度の繰り返しから発生するモアレも低減できる。
次に、図8のフローチャートを用いて、変倍画像生成装置の処理手順を説明する。
ユーザは、スキャナやPCや撮影装置等で得た原画像データを予め画像データ記憶部4に記憶させておき、変倍画像生成装置または外部装置等から原画像の記憶場所と変倍率を指定して、画像変倍処理機能を動作させる。
変倍画像生成装置の画像変倍処理機能は、起動すると指定された画像データの記憶場所と変倍率を取り込んで、座標発生部1を起動する(ステップS1)。
座標発生部1は、与えられた変倍率(幅zx、高さzy)を用いて変倍後の画像の画素の座標値(i,j)に対応する変倍前の画像上の座標値(x,y)を(式5)で計算し、算出された座標値(x,y)を座標変換部2に送る(ステップS2)。
以下、変倍後の画像を構成する画素の中から1つの画素を選択して、ステップS2〜S7の処理が行われる。
座標変換部2は、座標発生部1から送られてきた座標値(x,y)を(式3)または(式4)によって座標変換して、変換された座標値(x’,y’)を補間演算部3に送る(ステップS3)。このとき、変倍前の画像の画素間の距離S1、S2は、画像データ記憶部4に記憶されている画像データから取得する。
次に、補間演算部3は、画像データ記憶部4に記憶された画像データの中で変換後の座標値(x’,y’)を囲む4つの画素の座標値を求める(ステップS4)。
次に、この4つの画素の濃度値と、座標値(x’,y’)と、4つの画素間の距離S1、S2とを(式2)に代入して濃度値を求める(ステップS5)。
求めた濃度値を変倍後の画素の座標値(i,j)の濃度値として、変倍画像データ記憶部5に書き込む(ステップS6)。
上記のステップS2からS6までの処理を、変倍後の画像のすべての画素について行うことによって、変倍後の画像データが変倍画像データ記憶部5に書き込まれる(ステップS7)。
次に、濃度 0,0,255,0,0,255,…を繰り返す画像(線状パターン)を用いて、本発明の変倍画像生成法、一般的な線形補間法および最近傍法を使った補間結果について説明する。
図9は、上記例の線状パターンの画像を111%に拡大した場合の濃度分布図である。ここで、本発明の変倍画像生成法の射影領域の範囲を表わすパラメータNの値を画素間の距離の25%とした(即ち、N=S/4)。
濃度値が255の線を輪郭と考え、200以上の濃度値に注目すると、本発明の変倍画像生成法で計算されたピーク部は200以上の値があり、一般的な線形補間法にくらべて大きな値となっており、輪郭がぼけることが回避できていることがわかる。
一方、最近傍法は、輪郭だけでみるともっともよい結果であるが、拡大すると滑らかな画像を作ることができない欠点を持っている。
例えば、グラデーション画像(濃度 250,230,210,…)を400%拡大した場合で考えてみる。
最近傍法では、濃度 250,250,250,250,230,230,230,230,210,210,210,210,…と濃度が滑らかにならない。
一方、一般的な線形補間法や本発明の変倍画像生成法では、濃度 250,245,240,235,230,225,220,215,210,205,200,195,…のように、濃度が滑らかに変化するので、グラデーションも滑らかになることがわかる。
したがって、本発明の変倍画像生成法は、最近傍法に比べて、十分滑らかであることがわかる。
また、モアレの低減については、ピーク部の濃度の最大と最小が画素が進む毎に定期的に波打つと目立つが、これも先ほどのピーク値が、200〜255濃度で安定しているため、一般的な線形補間法の150〜255濃度に比べるとモアレが低減できていることがわかる。
以上のように本実施形態を構成すると、モアレの低減と、画像滲みの低減とを同時に改善することが可能である。
また、拡大率が100%から大きく離れる場合、射影領域の範囲を大きくすることで、補間位置の重要度が増すため、滑らかに画像を拡大できる。
一方、縮小率が100%から大きく離れる場合、射影領域の範囲を小さくすることで、濃度の滲みを低減することができる。
上記の実施形態では、画像をモノクロとして説明したが、カラーの画像にも適用できる。カラーの画像の場合には、色成分ごとに上記の補間演算を行うことにより、変倍した画像を求めることができる。
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
1…座標発生部、2…座標変換部、3…補間演算部、4…画像データ記憶部、5…変倍画像データ記憶部。

Claims (4)

  1. 変倍後の画像を構成する各画素の座標値を、変倍前の原画像を構成する画素の座標値と対応する座標値に変倍して原画像上の座標値を算出し、該座標値を囲む周囲の原画像の画素値を用いて線形補間により変倍画像の画素値を算出して変倍画像を生成する画像変倍生成装置において、
    前記原画像上の前記補間する画素の座標値を、該座標値を囲む前記周辺の前記原画像の画素の最も近い画素を含む前記周辺内の所定の領域内の座標値に変換する座標変換部と、当該変換した座標値に基づいて線形補間により変倍後の画素の画素値を算出する補間演算部と、を備えることを特徴とする変倍画像生成装置。
  2. 前記座標変換部は、前記所定の領域を変倍率の大きさにしたがって調整することを特徴とする請求項1に記載の変倍画像生成装置。
  3. 変倍後の画像を構成する各画素の座標値を、変倍前の原画像を構成する画素の座標値と対応する座標値に変倍して原画像上の座標値を算出し、該座標値を囲む周囲の原画像の画素値を用いて線形補間により変倍画像の画素値を算出して変倍画像を生成する画像変倍生成法において、
    前記原画像上の前記補間する画素の座標値を、該座標値を囲む前記周辺の前記原画像の画素の最も近い画素を含む前記周辺内の所定の領域内の座標値に変換し、当該変換した座標値に基づいて線形補間により変倍後の画素の画素値を算出することを特徴とする変倍画像生成法。
  4. 前記所定の領域を変倍率の大きさにしたがって調整することを特徴とする請求項3に記載の変倍画像生成法。
JP2009120160A 2009-05-18 2009-05-18 変倍画像生成装置および変倍画像生成法 Active JP5134585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009120160A JP5134585B2 (ja) 2009-05-18 2009-05-18 変倍画像生成装置および変倍画像生成法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009120160A JP5134585B2 (ja) 2009-05-18 2009-05-18 変倍画像生成装置および変倍画像生成法

Publications (2)

Publication Number Publication Date
JP2010268389A true JP2010268389A (ja) 2010-11-25
JP5134585B2 JP5134585B2 (ja) 2013-01-30

Family

ID=43364971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009120160A Active JP5134585B2 (ja) 2009-05-18 2009-05-18 変倍画像生成装置および変倍画像生成法

Country Status (1)

Country Link
JP (1) JP5134585B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018034401A (ja) * 2016-08-31 2018-03-08 シャープ株式会社 画像形成装置および制御プログラム
CN119251117A (zh) * 2024-12-05 2025-01-03 深圳精智达技术股份有限公司 一种组合线性变换消除摩尔纹的方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328106A (ja) * 1992-05-25 1993-12-10 Ricoh Co Ltd 画像変倍装置
JP2005122601A (ja) * 2003-10-20 2005-05-12 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2008177688A (ja) * 2007-01-16 2008-07-31 Kawasaki Microelectronics Kk 画像寸法の拡大方法および画像寸法拡大装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328106A (ja) * 1992-05-25 1993-12-10 Ricoh Co Ltd 画像変倍装置
JP2005122601A (ja) * 2003-10-20 2005-05-12 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2008177688A (ja) * 2007-01-16 2008-07-31 Kawasaki Microelectronics Kk 画像寸法の拡大方法および画像寸法拡大装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018034401A (ja) * 2016-08-31 2018-03-08 シャープ株式会社 画像形成装置および制御プログラム
CN119251117A (zh) * 2024-12-05 2025-01-03 深圳精智达技术股份有限公司 一种组合线性变换消除摩尔纹的方法、装置及存储介质

Also Published As

Publication number Publication date
JP5134585B2 (ja) 2013-01-30

Similar Documents

Publication Publication Date Title
JP6266131B2 (ja) 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体
JP2003283811A (ja) 画像処理装置およびプログラム
JP3075269B2 (ja) 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録した媒体
JP3167120B2 (ja) 画像処理装置及び方法
JPH07131634A (ja) 画像処理装置
US7405740B1 (en) Context sensitive scaling device and method
JP5134585B2 (ja) 変倍画像生成装置および変倍画像生成法
JP5825306B2 (ja) 画像変倍装置および画像変倍方法
JP3912971B2 (ja) 画像処理装置および方法
JP2000270208A (ja) 画像処理装置及び画像処理方法
JP3092769B2 (ja) 画像処理装置
JP2005293265A (ja) 画像処理装置及び方法
JP3200351B2 (ja) 画像処理装置及びその方法
JP6097524B2 (ja) 画像処理方法、画像処理装置、およびプログラム
JP3950647B2 (ja) 画像処理装置及びその処理方法
JP2000076430A5 (ja)
JP2000076430A (ja) 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体
JP3054338B2 (ja) 画像処理装置およびその方法
JP2007035025A (ja) 画像変換装置、画像変換方法、プログラム及びコンピュータ可読記憶媒体
JP4710508B2 (ja) 画像処理プログラム、画像処理装置
JP2001043357A (ja) 画像処理方法、画像処理装置及び記録媒体
JPH0744701A (ja) 画像処理装置
CN104143175A (zh) 图像处理装置和图像处理方法
Morsy Comparison of commonly used non-adaptive image scaling techniques
JP4517288B2 (ja) 画像処理装置、画像処理方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5134585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150