JP2014178241A - 撮像装置、ステレオカメラ及び移動体 - Google Patents
撮像装置、ステレオカメラ及び移動体 Download PDFInfo
- Publication number
- JP2014178241A JP2014178241A JP2013053090A JP2013053090A JP2014178241A JP 2014178241 A JP2014178241 A JP 2014178241A JP 2013053090 A JP2013053090 A JP 2013053090A JP 2013053090 A JP2013053090 A JP 2013053090A JP 2014178241 A JP2014178241 A JP 2014178241A
- Authority
- JP
- Japan
- Prior art keywords
- light
- polarization
- imaging
- stereo camera
- birefringent plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタ104を備え、領域分割フィルタ104の偏光透過角度を受光素子の画素の配列方向に対して45度とした。
【選択図】図13
Description
図1は光学フィルタ部と撮像部の位置関係の対応を例示する図である。図2は図1の断面図である。両図に示すように、撮像装置1は、撮像部100及び光学フィルタ部200を含んで構成されている。撮像部100は、複数の受光素子を備えた撮像素子101と、該撮像素子101を支持する基板102とを備えている。撮像素子101は、複数の受光素子を縦横の2次元に配列されており、光学フィルタ部200を透過した互いに直交する偏光方向の偏光成分を有するS偏光成分の光とP偏光成分の光とを各受光素子で受光する。なお、撮像素子101には、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などを用いることができる。ここでは撮像素子としてはモノクロのセンサを想定しているが、これに限定されるものでなく、カラーセンサ(例えばRCCC(レッド・クリア・クリア・クリア)配列、ベイヤ(RGB(レッド・グリーン・ブルー))配列など)であってもよい。
図15は本発明の一実施形態に係るステレオカメラの実施例1の構成を示す概略図である。図15(a)、(b)に示すステレオカメラ300は、偏光重畳モジュール301、レンズ302、フィルタ303及び撮像素子304を含んで構成されている。そして、偏光重畳モジュール301は、偏光ビームスプリッタ301−1、偏光フィルタ301−2及びミラー301−3を備えている。図15に示すステレオカメラ300は、偏光ビームスプリッタ301−1と偏光フィルタ301−2を用いて視差を有する2つの光路を合成し、1つのレンズ302を介して1つの撮像素子304で撮像する。つまり、レンズ302の前で完全に2つの光路は合成され、1つのレンズしか通らない。このため、レンズの特性が温度でずれたり、レンズの位置がずれたり、あるいはセンサの位置がずれたりしようが、両方の画像が同じようにずれるだけなので、完全に影響をキャンセルすることができる。これにより、非常に耐環境性のあるステレオカメラを実現できる。また、レンズとセンサが1つで済むため、安価である。更に、撮像素子とレンズとの位置関係がずれた場合にも、左右の画像が同じようにずれるため原理的に影響をキャンセルすることができる。図15のフィルタ303は、画素ごとに偏光子を有するフィルタである。ただし、図15の構成においては、左右の光路において、光路長差が生じており、例えば2つの画像の視差におけるピクセルマッチング処理で生じた光路長差を補填する処理が必要となるため現実的ではない。
図21はステレオカメラの実施例3を示す概略図である。図21に示すステレオカメラ400は、偏光選択型のクロスプリズム405の上と下でセンサユニットを設けている。例えば、撮像素子414がカラー、撮像素子402がモノクロとする。あるいは、撮像素子414を高解像度なモノクロ、撮像素子402を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。
図22はステレオカメラの実施例4の構成を示す概略図である。図22に示すステレオカメラ400は、雨滴検出機能を持たせたものである。LED赤外光の光源420をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源420からのLED赤外光をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図22の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、1つのPD422と簡単なレンズ(例えば単レンズ)424などを用いる構成でも問題ない。
クロスプリズム405とプリズム408、409との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム405とプリズム408、409の間に若干隙間ができる場合がある。その場合には、クロスプリズム405とプリズム408、409との間を保持する保持部材(不図示)で固定するのが良い。保持部材が金属の場合には、その金属はプリズム408、409を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材が短くて済むように、隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。
図23はステレオカメラの実施例5を示す概略図である。本実施例は、実施例1、2で用いていた、偏光選択型のクロスプリズムや偏光選択型の偏光板を用いずに、PBS(偏光ビームスプリッタ)膜とミラー面(反射面)を用いている。そして、実施例1における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚のPBS膜とミラーとを用いるため、画面中央の欠陥部(隙間)は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Rはミラー面(反射面)433により反射され、更に光RのP偏光の光はPBS膜431で反射される。他方の光Lはミラー面432、434によりそれぞれ反射され、光LのS偏光の光はPBS膜431を透過する。そして、P偏光とS偏光の光が合波され、撮像レンズ404に入射されて撮像素子402に結像する。光L、Rとは互いに同じ光路長差を有する。ここで、PBS膜431としては、多層膜を使ったものでもよく、ワイヤグリッド偏光子を用いたものでもよいが、広範囲な入射角および入射波長に対して、安定した性能を持つワイヤグリッド偏光子を用いることが望ましい。
(態様1)
受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して受光素子に出射する領域分割フィルタ104を備え、領域分割フィルタ104は、受光素子の画素の配列方向に対して45度の偏光透過角度を有する。これによれば、上記実施形態について説明したように、領域分割フィルタの偏光透過角度は撮像部の受光素子の配列方向に対して45度になっている。上述のようにステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面の偏光を用いて2つの画像を重畳する。これにより、従来のような領域分割フィルタの偏光透過角度が略0度である場合に比べて、被写体の縦方向、横方向の面による偏光依存性を減らすことができる。よって、受光素子で受光した2つの光の輝度の差を略無くすことができ、対応位置の画素の輝度を略一致させることができる。
(態様2)
(態様1)において、領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、領域分割フィルタの偏光透過方向に応じて定める。これによれば、上記実施形態について説明したように、複屈折板は同一の光路から入射された光を分岐する。よって、入射された光を互いに直交した2つの偏光成分の光に分岐することができる。
(態様3)
(態様1)において、複屈折板の前面に光学的ローパスフィルタを設ける。これによれば、上記実施形態について説明したように、同一の光路から入射された光を複数回分岐する。これにより、二重像に分離できる。
(態様4)
(態様3)において、光学的ローパスフィルタは、複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、上記複屈折板とは別の複屈折板とを含んで構成される。これによれば、上記実施形態について説明したように、同一の光路から入射された光を4回分岐する。これにより、それぞれの複屈折板によって二重像にそれぞれ分離できる。よって、入射された光を4点に分岐できる。
(態様5)
(態様1)〜(態様4)のいずれかにおいて、複屈折板の材料は、水晶である。これによれば、上記実施形態について説明したように、屈折方向及びシフト量は厚みや結晶軸を適宜変更することで容易に調整することができる。
(態様6)
(態様1)において、複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものである。これによれば、上記実施形態について説明したように、90度軸が違う2つの複屈折板で縦方向、横方向にそれぞれ1画素づつ入射位置をずらすことができる。そのため、同じ光の位置を取得している画素となり、この画素間の輝度比を演算することで偏光比を得ることができる。
(態様7)
(態様1)において、グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設ける。これによれば、上記実施形態について説明したように、
(態様8)
互いに直交する方向に偏光方向が異なる視差を有する2つの画像の光路を1つに重ね合わせる偏光合波手段と、上記撮像装置を用い少なくとも2つの偏光方向の偏光成分の光を受光して2つの偏光成分の光を視差画像として取得する撮像手段と、重ね合わさった画像を撮像手段に結像させる光学部材と、撮像手段の2つの撮像領域に、重ね合わさった画像を2つの画像に分岐させる領域分割偏光手段とを備える。これによれば、上記実施形態について説明したように、斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。
(態様9)
(態様8)において、撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備える。これによれば、上記実施形態について説明したように、ステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。よって、ステレオカメラにおけるマッチング処理で対応する画素検索の精度を向上させることができ、距離算出手段による距離演算の精度を上げることができる。
(態様10)
(態様8)において、偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のステレオカメラと同様に視差を得ることができる。
(態様11)
(態様8)において、偏光合波手段では、2つの画像の光路における光路長を互いに略同じにする。これによれば、上記実施形態について説明したように、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。
(態様12)
移動体が(態様8)〜(態様11)のいずれかに記載のステレオカメラを搭載する。これによれば、上記実施形態について説明したように、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。
100 撮像部
101 撮像素子
102 基板
103 複屈折板
104 領域分割フィルタ
105 複屈折板
106 複屈折板
107 複屈折板
200 光学フィルタ部
201 フィルタ基板
202 偏光フィルタ層
203 充填層
300 ステレオカメラ
301 偏光重畳モジュール
301−1 偏光ビームスプリッタ
301−2 偏光フィルタ
301−3 ミラー
302 レンズ
303 フィルタ
304 撮像素子
400 ステレオカメラ
401 基板
402 撮像素子
403 光学フィルタ
404 撮像レンズ
405 クロスプリズム
406 側面
407 側面
408 三角柱のプリズム
409 三角柱のプリズム
410 側面
411 ミラー
412 ミラー
413 基板
414 撮像素子
415 光学フィルタ
416 撮像レンズ
420 光源
421 ウインドシールド
422 PD
423 光学フィルタ
424 レンズ
431 偏光ビームスプリッタ膜
432 ミラー面
433 ミラー面
434 ミラー面
435 光学絞り
450 偏光板
450−1 偏光板
450−2 偏光板
500 自動車
501 ステレオカメラ
502 信号処理装置
Claims (12)
- 互いに直交する方向に偏光方向が異なる2つの偏光成分の光を1つの光路に重ね合わせる偏光合波部と、2つの偏光成分の光をそれぞれ受光する複数の受光素子が配列された撮像素子を有する撮像部とを備える撮像装置において、
前記受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する前記各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタを備え、
前記領域分割フィルタの偏光透過角度を前記受光素子の画素の配列方向に対して45度としたことを特徴とする撮像装置。 - 請求項1記載の撮像装置において、
前記領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、前記領域分割フィルタの偏光透過方向に応じて定めることを特徴とする撮像装置。 - 請求項1記載の撮像装置において、
前記複屈折板の前面に光学的ローパスフィルタを設けることを特徴とする撮像装置。 - 請求項3記載の撮像装置において、
前記光学的ローパスフィルタは、前記複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、前記複屈折板とは別の複屈折板とを含んで構成されることを特徴とする撮像装置。 - 請求項1〜4のいずれかに記載の撮像装置において、
前記複屈折板の材料は、水晶であることを特徴とする撮像装置。 - 請求項1記載の撮像装置において、
前記複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものであることを特徴とする撮像装置。 - 請求項1記載の撮像装置において、
グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設けることを特徴とする撮像装置。 - 互いに直交する方向に偏光方向が異なる視差を有する2つの画像の光路を1つに重ね合わせる偏光合波手段と、請求項1〜7のいずれかに記載の撮像装置を用い少なくとも2つの偏光方向の輝度を検出する撮像手段と、重ね合わさった画像を前記撮像手段に結像させる光学部材と、前記撮像手段の2つの撮像領域に、重ね合わさった画像を2つの画像に分岐させる領域分割偏光手段とを備えることを特徴とするステレオカメラ。
- 請求項8記載のステレオカメラにおいて、
前記撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備えることを特徴とするステレオカメラ。 - 請求項8記載のステレオカメラにおいて、
前記偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されていることを特徴とするステレオカメラ。 - 請求項8記載のステレオカメラにおいて、
前記偏光合波手段では、2つの画像の光路における光路長を互いに略同じにすることを特徴とするステレオカメラ。 - 請求項8〜11のいずれかに記載のステレオカメラを搭載することを特徴する移動体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013053090A JP6202364B2 (ja) | 2013-03-15 | 2013-03-15 | ステレオカメラ及び移動体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013053090A JP6202364B2 (ja) | 2013-03-15 | 2013-03-15 | ステレオカメラ及び移動体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014178241A true JP2014178241A (ja) | 2014-09-25 |
| JP2014178241A5 JP2014178241A5 (ja) | 2017-01-12 |
| JP6202364B2 JP6202364B2 (ja) | 2017-09-27 |
Family
ID=51698333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013053090A Expired - Fee Related JP6202364B2 (ja) | 2013-03-15 | 2013-03-15 | ステレオカメラ及び移動体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6202364B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017157804A (ja) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | 撮像装置 |
| CN108834072A (zh) * | 2017-05-03 | 2018-11-16 | 腾讯科技(深圳)有限公司 | 移动轨迹的获取方法及装置 |
| CN111292537A (zh) * | 2018-12-06 | 2020-06-16 | 中国科学院长春光学精密机械与物理研究所 | 一种夜间车牌识别系统及方法 |
| US12217454B2 (en) | 2021-10-21 | 2025-02-04 | Samsung Electronics Co., Ltd. | Method and device with sensing data processing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1054960A (ja) * | 1996-05-10 | 1998-02-24 | Daishinku Co | 光学ローパスフィルタ |
| US20020140835A1 (en) * | 2001-03-27 | 2002-10-03 | Silverstein D. Amnon | Single sensor chip digital stereo camera |
| JP2012154847A (ja) * | 2011-01-27 | 2012-08-16 | Ricoh Co Ltd | 偏光画像撮像装置 |
| JP2013034095A (ja) * | 2011-08-02 | 2013-02-14 | Nikon Corp | 撮像装置およびアダプタユニット |
| JP2014127771A (ja) * | 2012-12-25 | 2014-07-07 | Ricoh Co Ltd | 撮像装置及びステレオカメラ |
-
2013
- 2013-03-15 JP JP2013053090A patent/JP6202364B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1054960A (ja) * | 1996-05-10 | 1998-02-24 | Daishinku Co | 光学ローパスフィルタ |
| US20020140835A1 (en) * | 2001-03-27 | 2002-10-03 | Silverstein D. Amnon | Single sensor chip digital stereo camera |
| JP2005505950A (ja) * | 2001-03-27 | 2005-02-24 | ヒューレット・パッカード・カンパニー | シングルセンサチップのデジタルステレオカメラ |
| JP2012154847A (ja) * | 2011-01-27 | 2012-08-16 | Ricoh Co Ltd | 偏光画像撮像装置 |
| JP2013034095A (ja) * | 2011-08-02 | 2013-02-14 | Nikon Corp | 撮像装置およびアダプタユニット |
| JP2014127771A (ja) * | 2012-12-25 | 2014-07-07 | Ricoh Co Ltd | 撮像装置及びステレオカメラ |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017157804A (ja) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | 撮像装置 |
| WO2017150553A1 (ja) * | 2016-03-04 | 2017-09-08 | キヤノン株式会社 | 撮像装置 |
| CN108834072A (zh) * | 2017-05-03 | 2018-11-16 | 腾讯科技(深圳)有限公司 | 移动轨迹的获取方法及装置 |
| CN111292537A (zh) * | 2018-12-06 | 2020-06-16 | 中国科学院长春光学精密机械与物理研究所 | 一种夜间车牌识别系统及方法 |
| CN111292537B (zh) * | 2018-12-06 | 2023-05-16 | 中国科学院长春光学精密机械与物理研究所 | 一种夜间车牌识别系统及方法 |
| US12217454B2 (en) | 2021-10-21 | 2025-02-04 | Samsung Electronics Co., Ltd. | Method and device with sensing data processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6202364B2 (ja) | 2017-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6156724B2 (ja) | ステレオカメラ | |
| EP2875315B1 (en) | Stereo camera | |
| KR101458287B1 (ko) | 거리 측정용 카메라 장치 | |
| CA2811260C (en) | Camera imaging systems and methods | |
| JP2014178190A5 (ja) | ||
| JP4826507B2 (ja) | 焦点検出装置および撮像装置 | |
| WO2005119175A1 (ja) | カメラモジュール | |
| WO2017155622A1 (en) | Phase detection autofocus using opposing filter masks | |
| JP6202364B2 (ja) | ステレオカメラ及び移動体 | |
| JP5278814B2 (ja) | ステレオカメラ装置及び車外監視装置 | |
| EP2690485B1 (en) | Polarization device, and imaging apparatus using the same | |
| CN110392818B (zh) | 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统 | |
| JP6146006B2 (ja) | 撮像装置及びステレオカメラ | |
| JP2014041171A (ja) | 偏光装置及び撮像装置 | |
| JP2014178241A5 (ja) | ||
| JP2014003433A (ja) | 撮像装置 | |
| JP2014036298A (ja) | 撮像装置 | |
| JP5549566B2 (ja) | ステレオ撮影装置 | |
| JP2007295113A (ja) | 撮像装置 | |
| JP2008157851A (ja) | カメラモジュール | |
| KR20100020200A (ko) | 3차원 영상 획득을 위한 스테레오 비젼 카메라 | |
| JP2014178494A (ja) | 視差画像撮像装置 | |
| JP2007057386A (ja) | カメラ1台を用いたインライン3次元計測装置及び計測方法 | |
| KR20150024971A (ko) | 피코 프로젝터 | |
| JP2014178494A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170817 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6202364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |