JP6053265B2 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP6053265B2 JP6053265B2 JP2011190502A JP2011190502A JP6053265B2 JP 6053265 B2 JP6053265 B2 JP 6053265B2 JP 2011190502 A JP2011190502 A JP 2011190502A JP 2011190502 A JP2011190502 A JP 2011190502A JP 6053265 B2 JP6053265 B2 JP 6053265B2
- Authority
- JP
- Japan
- Prior art keywords
- impulse response
- pressure signal
- signal
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/22—Details, e.g. general constructional or apparatus details
- G01N29/24—Probes
- G01N29/2418—Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/1702—Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/1702—Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
- G01N2021/1706—Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids in solids
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Description
また、実際の応用の場面では、測定環境の違いや機器の経時変化に伴い、インパルス応答が変化する。上記の手法では、これらの変化に応じて何度もインパルス応答を測定する必要が生じるため、現実的な運用は困難であった。
すなわち、測定対象から伝播した弾性波が受信機により受信されて得られた圧力信号の初期値を取得する信号初期化手段と、前記受信機のインパルス応答の初期値を取得するインパルス応答初期化手段と、前記圧力信号の初期値および前記インパルス応答の初期値に基づいて修正圧力信号を出力する出力手段と、有する情報処理装置であって、前記出力手段は、インパルス応答を用いて圧力信号を修正する信号修正手段と、高コントラスト性、正値性、および周波数帯域特性を拘束条件として圧力信号を修正する信号拘束手段と、圧力信号を用いてインパルス応答を修正するインパルス応答修正手段と、インパルス応答の時間帯域特性を拘束条件としてインパルス応答を修正するインパルス応答拘束手段とを有し、前記信号修正手段、前記信号拘束手段、前記インパルス応答修正手段および前記インパルス応答拘束手段の処理を、所定の条件に従って反復して実行することにより、前記修正圧力信号を生成することを特徴とする情報処理装置である。
本発明はまた、以下の構成を採用する。
すなわち、測定対象から伝播した弾性波が受信機により受信されて得られた圧力信号の
初期値を取得する信号初期化ステップと、前記受信機のインパルス応答の初期値を取得するインパルス応答初期化ステップと、前記圧力信号の初期値および前記インパルス応答の初期値に基づいて修正圧力信号を出力するステップと、を有する情報処理方法であって、前記出力するステップでは、インパルス応答を用いて圧力信号を修正する信号修正ステップと、高コントラスト性、正値性、および周波数帯域特性を拘束条件として圧力信号を修正する信号拘束ステップと、圧力信号を用いてインパルス応答を修正するインパルス応答修正ステップと、インパルス応答の時間帯域特性を拘束条件としてインパルス応答を修正するインパルス応答拘束ステップとが、所定の条件に従って反復して実行されることにより、前記修正圧力信号が生成されることを特徴とする情報処理方法である。
本発明の技術は、光音響イメージングにおいて、測定対象内部の三次元圧力分布あるいは光学特性値分布を求める(再構成する)前の、圧力信号を整形する段階に適用される。従って本発明は、光音響イメージング装置としてはもちろん、光音響イメージング装置に組み込まれたり、接続されたりして使用される画像処理装置あるいは情報処理装置として実施することもできる。本発明はまた、コンピュータ等の画像処理装置や情報処理装置に
本発明の各工程における処理を実行させる画像処理プログラムまたは情報処理プログラムとしても実現できる。本発明はまた、プログラムに従い画像処理装置や情報処理装置が行う画像処理方法や情報処理方法としても実現できる。
図1は、本発明の実施の形態を含む光音響イメージング装置全体の模式図である。以下、装置の各構成要素の機能を説明する。
超音波受信機は、弾性波を受信して電気信号に変換する検出器である。電気信号には、必要に応じてAD変換や増幅処理が施される。測定対象から主に発生する100KHzから100MHzの弾性波を受信できる検出器が好適に用いられる。超音波受信機は、圧電現象を用いるもの、光の共振を用いるもの、容量の変化を用いるものなど、弾性波を受信できるものであればどのような検出器でもよい。また、複数の受信素子がリニア状あるいは平面状に配列された超音波受信機を用いれば、検出時間を短縮できると共に、測定対象の振動の影響を低減できる。超音波受信機は、本発明の受信機に相当する。
前処理の済んだ圧力信号に対して再構成手段5にて再構成工程を行う。再構成とは圧力信号から前記三次元圧力分布を復元推定する工程である。再構成手段は、本発明の作成手段に相当する。
再構成された三次元圧力分布に対して、後処理手段6にて特徴抽出やコントラスト調整等の後処理工程を行う。
これら前処理手段、再構成手段、後処理手段は、例えばコンピュータ等の情報処理装置で実行されるプログラムのモジュールとして実現することもできるし、専用の回路を用いても構わない。
以上が、本発明の実施の形態に係る光音響イメージング装置及びその動作の概要である。
次に、図2を参照しながら、本発明の実施の形態における各工程を説明する。なお、以下の説明では圧力信号の推定値及びインパルス応答の推定値を単に信号、インパルス応答と記し、特に区別が必要な場合以外、推定値である旨を書かない。各工程は、図5に示すように、前処理手段4の各構成要素によって行われる。
しかし、これはあくまで実施形態の一例を示したに過ぎず、各修正手段および各拘束手段による処理の本質を損なわない限りにおいて、適宜、反復の順番や反復の回数を変更することができる。
大きく2より小さい実数をインパルス応答のパワースペクトル(フーリエ変換の絶対値の2乗)の最大値で除した値を使うことができる。これは反復写像のスペクトル半径が1より小さいこと(収束条件)から定まる。さらに言えば、反復が安定して行える限り、緩和係数は大きい値であるほど好ましい。
具体的には、例えば、基線除去(高コントラスト性に対応)、負値除去(正値性に対応)、高周波成分除去(周波数帯域特性に対応)をこの順で行うことにより信号を拘束してもよい。
次に、ステップS27において、インパルス応答修正手段27にて、この時点での信号を真値とみなしてインパルス応答の修正を行う。修正の方法は、例えば、式(2)に示すLandweber反復により行うことができる。なお、式(2)において、hkはk回目の反復におけるインパルス応答、γは緩和係数、xは信号、yは実際に測定された圧力信号、*は複素共役、積記号(○に×)は畳みこみ積である。
具体的には、適当なカットオフ時間により特徴づけられる減衰関数をインパルス応答に乗じることにより、インパルス応答を拘束してもよい。この処理はインパルス応答が有限の時間で減衰するという物理的要請を保証するためのものである。したがってそのカットオフ時間は、インパルス応答の典型的な減衰時間を示す指標であればよく、例えば、受信
機の帯域中心を特徴づける周波数と、受信機の帯域幅を特徴づけるQ値とから算出してもよい。
以下、実施例として、本発明の情報処理装置により上記フローに従って算出したデコンボリューションの結果について述べる。
上記の設定値を用いて、図2に示したフローチャートに従ってデコンボリューションを行った。
Claims (20)
- 測定対象から伝播した弾性波が受信機により受信されて得られた圧力信号の初期値を取得する信号初期化手段と、
前記受信機のインパルス応答の初期値を取得するインパルス応答初期化手段と、
前記圧力信号の初期値および前記インパルス応答の初期値に基づいて修正圧力信号を出力する出力手段と、
を有する情報処理装置であって、
前記出力手段は、
インパルス応答を用いて圧力信号を修正する信号修正手段と、
高コントラスト性、正値性、および周波数帯域特性を拘束条件として圧力信号を修正する信号拘束手段と、
圧力信号を用いてインパルス応答を修正するインパルス応答修正手段と、
インパルス応答の時間帯域特性を拘束条件としてインパルス応答を修正するインパルス応答拘束手段とを有し、
前記信号修正手段、前記信号拘束手段、前記インパルス応答修正手段および前記インパルス応答拘束手段の処理を、所定の条件に従って反復して実行することにより、前記修正圧力信号を生成する
ことを特徴とする情報処理装置。 - 前記インパルス応答初期化手段は、前記受信機のインパルス応答の実測または近似値の推算により、前記インパルス応答の初期値を取得する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記式(1)における緩和係数は、0より大きく2より小さい実数を前記インパルス応答のパワースペクトルの最大値で除したものを用いる
ことを特徴とする請求項3に記載の情報処理装置。 - 前記式(2)における緩和係数は、0より大きく2より小さい実数を、前記式(2)における圧力信号のパワースペクトルの最大値で除したものを用いる
ことを特徴とする請求項5に記載の情報処理装置。 - 前記信号拘束手段は、前記高コントラスト性に対応する基線除去、前記正値性に対応する負値除去、前記周波数帯域特性に対応する高周波成分除去の順に圧力信号の修正を行う
ことを特徴とする請求項1ないし6のいずれか1項に記載の情報処理装置。 - 前記信号拘束手段は、圧力信号の平均値、中央値および低周波成分のいずれかに所定の係数を乗じたのち当該圧力信号から減ずることにより、前記基線除去を行う
ことを特徴とする請求項7に記載の情報処理装置。 - 前記基線除去における前記所定の係数は、0以上の実数である
ことを特徴とする請求項8に記載の情報処理装置。 - 前記信号拘束手段は、所定のカットオフ周波数を持つローパスフィルタにより、前記高周波成分除去を行う
ことを特徴とする請求項7ないし9のいずれか1項に記載の情報処理装置。 - 前記高周波成分除去における前記所定のカットオフ周波数は、前記受信機の帯域中心の周波数の1倍以上10倍以下の値である
ことを特徴とする請求項10に記載の情報処理装置。 - 前記インパルス応答拘束手段は、所定のカットオフ時間を持つ減衰関数をインパルス応答に乗じることにより、当該インパルス応答を修正する
ことを特徴とする請求項1ないし11のいずれか1項に記載の情報処理装置。 - 前記インパルス応答拘束手段における前記所定のカットオフ時間は、前記受信機の帯域中心の周波数と、前記受信機の帯域幅を表すQ値とから算出される
ことを特徴とする請求項12に記載の情報処理装置。 - 前記出力手段は、
前記信号修正手段、前記信号拘束手段の順に圧力信号の修正を繰り返す第一のループ処理と、
前記インパルス応答修正手段、前記インパルス応答拘束手段の順にインパルス応答の修正を繰り返す第二のループ処理と、
前記第一のループ処理および前記第二のループ処理を繰り返す第三のループ処理の、回数及び順番を制御する
ことを特徴とする請求項1ないし13のいずれか1項に記載の情報処理装置。 - 前記出力手段は、前記第一のループ処理、前記第二のループ処理および前記第三のループ処理を、それぞれ所定の回数だけ実行する
ことを特徴とする請求項14に記載の情報処理装置。 - 前記出力手段は、前記第一のループ処理における圧力信号の修正量が所定の基準値を下回るまで前記第一のループ処理を実行する
ことを特徴とする請求項14に記載の情報処理装置。 - 前記出力手段は、前記第二のループ処理におけるインパルス応答の修正量が所定の基準値を下回るまで前記第二のループ処理を実行する
ことを特徴とする請求項14に記載の情報処理装置。 - 請求項1ないし17のいずれか1項に記載の情報処理装置と、
当該情報処理装置によって修正された圧力信号を用いて、バックプロジェクション法、k−space法、最小二乗法、制約付き最小二乗法および非線形最適化法のいずれかの手法により前記測定対象内部の画像データを作成する作成手段と、
を有することを特徴とする光音響装置。 - 測定対象から伝播した弾性波が受信機により受信されて得られた圧力信号の初期値を取得する信号初期化ステップと、
前記受信機のインパルス応答の初期値を取得するインパルス応答初期化ステップと、
前記圧力信号の初期値および前記インパルス応答の初期値に基づいて修正圧力信号を出力するステップと、
を有する情報処理方法であって、
前記出力するステップでは、
インパルス応答を用いて圧力信号を修正する信号修正ステップと、
高コントラスト性、正値性、および周波数帯域特性を拘束条件として圧力信号を修正する信号拘束ステップと、
圧力信号を用いてインパルス応答を修正するインパルス応答修正ステップと、
インパルス応答の時間帯域特性を拘束条件としてインパルス応答を修正するインパルス応答拘束ステップとが、所定の条件に従って反復して実行されることにより、前記修正圧力信号が生成される
ことを特徴とする情報処理方法。 - 請求項19に記載の情報処理方法の各ステップを情報処理装置に実行させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011190502A JP6053265B2 (ja) | 2011-09-01 | 2011-09-01 | 情報処理装置および情報処理方法 |
| PCT/JP2012/072665 WO2013032031A1 (en) | 2011-09-01 | 2012-08-30 | Information processing apparatus, information processing method, and information processing program |
| US14/238,765 US9523659B2 (en) | 2011-09-01 | 2012-08-30 | Information processing apparatus, information processing method, and information processing program |
| EP12772818.6A EP2750584A1 (en) | 2011-09-01 | 2012-08-30 | Information processing apparatus, information processing method, and information processing program |
| CN201280041302.2A CN103764016B (zh) | 2011-09-01 | 2012-08-30 | 信息处理装置、信息处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011190502A JP6053265B2 (ja) | 2011-09-01 | 2011-09-01 | 情報処理装置および情報処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013053863A JP2013053863A (ja) | 2013-03-21 |
| JP2013053863A5 JP2013053863A5 (ja) | 2014-10-16 |
| JP6053265B2 true JP6053265B2 (ja) | 2016-12-27 |
Family
ID=47019127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011190502A Expired - Fee Related JP6053265B2 (ja) | 2011-09-01 | 2011-09-01 | 情報処理装置および情報処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9523659B2 (ja) |
| EP (1) | EP2750584A1 (ja) |
| JP (1) | JP6053265B2 (ja) |
| CN (1) | CN103764016B (ja) |
| WO (1) | WO2013032031A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6486056B2 (ja) * | 2014-10-10 | 2019-03-20 | キヤノン株式会社 | 光音響装置および光音響装置の処理方法 |
| JP6946307B2 (ja) | 2016-08-30 | 2021-10-06 | キヤノン株式会社 | 情報取得装置および信号処理方法 |
| US20220247488A1 (en) * | 2021-02-02 | 2022-08-04 | Huawei Technologies Co., Ltd. | Method and system inspecting fibered optical communication paths |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941101A (en) * | 1987-09-01 | 1990-07-10 | Hewlett-Packard Company | Method for analyzing chromatograms |
| JP2846079B2 (ja) * | 1989-08-16 | 1999-01-13 | 株式会社日立製作所 | 光音響信号検出方法及び装置 |
| JP3254465B2 (ja) * | 1993-04-21 | 2002-02-04 | 株式会社日立製作所 | 光熱変位信号検出方法とその装置 |
| US5615675A (en) * | 1996-04-19 | 1997-04-01 | Regents Of The University Of Michigan | Method and system for 3-D acoustic microscopy using short pulse excitation and 3-D acoustic microscope for use therein |
| US6216025B1 (en) * | 1999-02-02 | 2001-04-10 | Optosonics, Inc. | Thermoacoustic computed tomography scanner |
| CN100477956C (zh) | 2006-01-24 | 2009-04-15 | 天津九安医疗电子股份有限公司 | 可测量血粘度、血管弹性和血压的装置及其测量方法 |
| US8152710B2 (en) | 2006-04-06 | 2012-04-10 | Ethicon Endo-Surgery, Inc. | Physiological parameter analysis for an implantable restriction device and a data logger |
| JP5499793B2 (ja) | 2010-03-15 | 2014-05-21 | 新日鐵住金株式会社 | 高温強度及び溶接熱影響部の低温靭性及び耐再熱脆化性に優れた耐火鋼材とその製造方法 |
| JP5661451B2 (ja) * | 2010-12-27 | 2015-01-28 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
-
2011
- 2011-09-01 JP JP2011190502A patent/JP6053265B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-30 US US14/238,765 patent/US9523659B2/en not_active Expired - Fee Related
- 2012-08-30 CN CN201280041302.2A patent/CN103764016B/zh not_active Expired - Fee Related
- 2012-08-30 WO PCT/JP2012/072665 patent/WO2013032031A1/en not_active Ceased
- 2012-08-30 EP EP12772818.6A patent/EP2750584A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN103764016A (zh) | 2014-04-30 |
| WO2013032031A1 (en) | 2013-03-07 |
| CN103764016B (zh) | 2016-03-02 |
| US20140192615A1 (en) | 2014-07-10 |
| JP2013053863A (ja) | 2013-03-21 |
| US9523659B2 (en) | 2016-12-20 |
| EP2750584A1 (en) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8260403B2 (en) | Photoacoustic imaging apparatus and photoacoustic imaging method | |
| JP5528083B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
| JP5661451B2 (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
| JP6504826B2 (ja) | 情報処理装置および情報処理方法 | |
| JP5479173B2 (ja) | 情報処理装置および情報処理方法 | |
| JP5762995B2 (ja) | 光音響画像生成装置及び方法 | |
| US9888856B2 (en) | Photoacoustic image generation apparatus, system and method | |
| WO2014063005A1 (en) | Transcranialphotoacoustic/thermoacoustic tomography brain imaging informed by adjunct image data | |
| JP6238539B2 (ja) | 処理装置、被検体情報取得装置、および、処理方法 | |
| JP6598667B2 (ja) | 被検体情報取得装置およびその制御方法 | |
| JP5197217B2 (ja) | 生体情報イメージング装置、画像構成方法 | |
| JP6222936B2 (ja) | 装置および画像生成方法 | |
| JP6053265B2 (ja) | 情報処理装置および情報処理方法 | |
| JP5864905B2 (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
| JP6587410B2 (ja) | 被検体情報取得装置および信号処理方法 | |
| JP6739099B2 (ja) | 光音響情報処理方法、光音響情報処理プログラムおよび光音響情報処理装置 | |
| JP5940109B2 (ja) | 画像生成装置、伝播速度決定方法、及び、プログラム | |
| JP2015092914A (ja) | 被検体情報取得装置および音響波受信装置 | |
| Rejesh et al. | Photoacoustic and thermoacoustic signal characteristics study | |
| JP6381718B2 (ja) | 装置および画像生成方法 | |
| JP6113330B2 (ja) | 装置および画像生成方法 | |
| JP2017055838A (ja) | 光音響画像化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140827 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161129 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6053265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |