JP2019069178A - 医療画像処理装置、医療画像処理方法及びプログラム - Google Patents
医療画像処理装置、医療画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2019069178A JP2019069178A JP2018232377A JP2018232377A JP2019069178A JP 2019069178 A JP2019069178 A JP 2019069178A JP 2018232377 A JP2018232377 A JP 2018232377A JP 2018232377 A JP2018232377 A JP 2018232377A JP 2019069178 A JP2019069178 A JP 2019069178A
- Authority
- JP
- Japan
- Prior art keywords
- affected area
- skin
- axis
- coordinate system
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
特許文献1記載の発明は、より簡易で的確な超音波画像診断装置を提供するもので、撮像されたマーカの位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する表示用画像生成部と、生体の外観を撮像して取得した表示用生体画像に、表示用超音波画像データによる表示用超音波画像を重畳して表示するものである。
特許文献1記載の発明では、生体の概観との対比により患部である超音波画像の大きさを把握することができるが、実寸までは分からない。
ここで、特許文献2には、撮影した画像中の被写体を特定し、特定した被写体の周りに実寸の目盛りを固定して表示することが開示されている。
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手
段と、
表示手段に表示される実寸の目盛り付きの座標系の軸に、前記特定手段で特定した皮膚
患部が接触するように、該皮膚患部を合わせる調整手段と、
前記調整手段により前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表
示手段に表示する表示制御手段と、
を備えたことを特徴とする。
図1は、本発明の実施形態に係る医療画像処理装置20と撮像装置10とを示す図である。
この医療画像処理装置20は、医師の診察室内に設置され、撮像装置10から受信したダーモスコピー画像に画像処理を行う。この医療画像処理装置20は、制御部21、入力部22、表示部23、通信部24及び記憶部25を備える。
表示部23は、例えば、LCD(Liquid Crystal Display)やEL(Electroluminescence)ディスプレイなどによって構成される。
記憶部25は、HDD(Hard Disk Drive)などの不揮発性メモリから構成され、撮像装置10から受信したダーモスコピー画像や各種データを記憶する。記憶部24は、データとして、ダーモスコピー画像中の皮膚患部の実寸を求めるために必要な情報を記憶する。実寸を求めるために必要な情報とは、例えば、撮像装置10の焦点距離、画角に関する情報である。
ステップS12において、皮膚患部が特定されると、医療画像処理装置20の内部としては、図7のように、座標系の軸とともに皮膚患部が表示された状態となる。
また、図6に示した表示制御処理においては、左右対称の楕円形の皮膚患部Dを前提に説明したが、皮膚患部Dの形状としてはこれに限られないことはもちろんである。表示制御処理は、線形・非線形問わず皮膚患部のとり得るおよそ全ての形状(三角形や四角形などの多角形や楕円以外の歪な円など)に適用することができる。
上述した実施形態においては、特定部213がダーモスコピー画像中から皮膚患部を特定することができる前提で説明した。しかし、現実的には、皮膚患部の輪郭線を抽出できないなどにより、皮膚患部を特定できない場合がある。例えば、皮膚患部がメラノーマやほくろなどの色素性皮膚疾患であれば特定できたとしても、皮膚患部が血管に係る血管腫などの場合は特定できない場合がある。
次に、制御部21は、ステップS19において軸に目盛りを付与した後、表示制御部217は、疑似患部Pを座標系の軸とともに表示部23に表示する(図20参照)。
上述した実施形態おいては、表示部23に表示する皮膚患部は1つであることを前提に説明したが、これに限られない。例えば、医師が撮影した同じ箇所の皮膚患部が時系列で複数ある場合(例えば、医師が1回目と2回目の診断において同じ皮膚患部を撮影した場合)、それらを重ねて表示してもよい。
上述した実施形態においては、移動後の皮膚患部は座標系の第1象限であることを前提に説明したが、これに限られない。例えば、第2〜第4象限に表示してもいい。また、移動後の皮膚患部Dの中心をさらに原点に移動してもいい(図22参照)。皮膚患部Dの表示箇所を事前に医師から受け付けるようにしておけば、医師の好みに応じた表示をすることができる。なお、皮膚患部Dの中心は厳密な図形の中心である必要はなく、形状に応じて所定誤差を設けてもよい。
具体的には、上記実施形態では、医療画像処理装置20が行う表示制御処理のプログラムが、制御部21のROMに予め記憶されているものとして説明した。しかし、この表示制御処理のプログラムを、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部(取得部211、画像変換部212、特定部213、線分抽出部214、調整部215、移動部216、表示制御部217)の機能を実現することができるコンピュータを構成してもよい。また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等をすることができるようにしてもよい。
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手段と、
表示手段に表示される座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を合わせる調整手段と、
前記調整手段により前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする医療画像処理装置。
前記調整手段は、前記表示手段に表示される座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を移動させる移動手段を含む、
ことを特徴とする付記1に記載の医療画像処理装置。
前記座標系の軸は、実寸の目盛り付きである、
ことを特徴とする付記1又は2に記載の医療画像処理装置。
前記特定手段は、前記ダーモスコピー画像を2値化処理又はエッジ強調処理することにより前記皮膚患部の輪郭線を抽出して、該皮膚患部を特定する、
ことを特徴とする付記1乃至3の何れか一つに記載の医療画像処理装置。
前記特定手段は、前記ダーモスコピー画像をHDR(High Dynamic Range)変換処理する手段を含む、
ことを特徴とする付記1乃至4の何れか一つに記載の医療画像処理装置。
前記特定手段が特定した皮膚患部の輪郭線上の2点間を結ぶ第1の線分と、該第1の線分の中点に垂直に交わる第2の線分と、を抽出する線分抽出手段を備え、
前記移動手段は、
前記第1の線分が前記座標系のX軸に、前記第2の線分が前記座標系のY軸に、それぞれ平行になるように、前記皮膚患部を回転させる回転手段と、
前記第1の線分の2つの端点のうち、前記Y軸に近い方の端点が、該Y軸に接触するように、前記皮膚患部を直線移動させる第1直線移動手段と、
前記第2の線分の2つの端点のうち、前記X軸に近い方の端点が、該X軸に接触するように、前記皮膚患部を直線移動させる第2直線移動手段と、
を含む、
ことを特徴とする付記2に記載の医療画像処理装置。
前記線分抽出手段は、前記輪郭線上の複数の点のうち、2点間を結ぶ線分が最も長い線分を前記第1の線分として抽出する、
ことを特徴とする付記6に記載の医療画像処理装置。
前記移動手段は、前記皮膚患部を移動後、該皮膚患部の中心が前記座標系の原点に重なるように、該皮膚患部をさらに移動させる、
ことを特徴とする付記2に記載の医療画像処理装置。
前記表示制御手段は、撮影時刻が異なる複数のダーモスコピー画像がある場合、該複数のダーモスコピー画像からそれぞれ特定された皮膚患部が前記移動手段により移動された後、該移動後の皮膚患部を前記表示手段に時系列で複数重ねて表示する、
ことを特徴とする付記2に記載の医療画像処理装置。
前記表示制御手段は、前記表示手段に前記皮膚患部の実寸の数値を表示する、
ことを特徴とする付記1乃至9の何れか一つに記載の医療画像処理装置。
前記特定手段が前記皮膚患部を特定できない場合、該皮膚患部に代わる疑似患部を、ユーザ操作に基づいて受け付ける受付手段を備え、
前記調整手段は、前記表示手段に表示される座標系の軸に、前記受付手段で受け付けた疑似患部が接触するように、該疑似患部を合わせ、
前記表示制御手段は、前記調整手段により前記座標系の軸に合わせた疑似患部を、前記座標系とともに前記表示手段に表示する、
ことを特徴とする付記1乃至10の何れか一つに記載の医療画像処理装置。
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定ステップと、
表示手段に表示される座標系の軸に、前記特定ステップにおいて特定した皮膚患部が接触するように、該皮膚患部を合わせる調整ステップと、
前記調整ステップにおいて前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御ステップと、
を備えたことを特徴とする医療画像処理方法。
コンピュータを、
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手段、
表示手段に表示される座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を合わせる調整手段、
前記調整手段により前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御手段、
として機能させるためのプログラム。
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手段と、
前記特定された皮膚患部を表示部に表示させる表示制御手段と、
前記表示部に所定の座標系の座標軸を表示させる座標軸表示制御手段と、
前記特定された皮膚患部の中心を前記座標軸の原点に重なるように調整する調整手段と、
を備えたことを特徴とする。
Claims (12)
- ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手段と、
表示手段に表示される実寸の目盛り付きの座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を合わせる調整手段と、
前記調整手段により前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする医療画像処理装置。 - 前記調整手段は、前記表示手段に表示される実寸の目盛り付きの座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を移動させる移動手段を含む、
ことを特徴とする請求項1に記載の医療画像処理装置。 - 前記特定手段は、前記ダーモスコピー画像を2値化処理又はエッジ強調処理することにより前記皮膚患部の輪郭線を抽出して、該皮膚患部を特定する、
ことを特徴とする請求項1または2に記載の医療画像処理装置。 - 前記特定手段は、前記ダーモスコピー画像をHDR(High Dynamic Range)変換処理する手段を含む、
ことを特徴とする請求項1乃至3の何れか一項に記載の医療画像処理装置。 - 前記特定手段が特定した皮膚患部の輪郭線上の2点間を結ぶ第1の線分と、該第1の線分の中点に垂直に交わる第2の線分と、を抽出する線分抽出手段を備え、
前記移動手段は、
前記第1の線分が前記座標系のX軸に、前記第2の線分が前記座標系のY軸に、それぞれ平行になるように、前記皮膚患部を回転させる回転手段と、
前記第1の線分の2つの端点のうち、前記Y軸に近い方の端点が、該Y軸に接触するように、前記皮膚患部を直線移動させる第1直線移動手段と、
前記第2の線分の2つの端点のうち、前記X軸に近い方の端点が、該X軸に接触するように、前記皮膚患部を直線移動させる第2直線移動手段と、
を含む、
ことを特徴とする請求項2に記載の医療画像処理装置。 - 前記線分抽出手段は、前記輪郭線上の複数の点のうち、2点間を結ぶ線分が最も長い線分を前記第1の線分として抽出する、
ことを特徴とする請求項5に記載の医療画像処理装置。 - 前記移動手段は、前記皮膚患部を移動後、該皮膚患部の中心が前記座標系の原点に重なるように、該皮膚患部をさらに移動させる、
ことを特徴とする請求項2に記載の医療画像処理装置。 - 前記表示制御手段は、撮影時刻が異なる複数のダーモスコピー画像がある場合、該複数のダーモスコピー画像からそれぞれ特定された皮膚患部が前記移動手段により移動された後、該移動後の皮膚患部を前記表示手段に時系列で複数重ねて表示する、
ことを特徴とする請求項2に記載の医療画像処理装置。 - 前記表示制御手段は、前記表示手段に前記皮膚患部の実寸の数値を表示する、
ことを特徴とする請求項1乃至8の何れか一項に記載の医療画像処理装置。 - 前記特定手段が前記皮膚患部を特定できない場合、該皮膚患部に代わる疑似患部を、ユーザ操作に基づいて受け付ける受付手段を備え、
前記調整手段は、前記表示手段に表示される実寸の目盛り付きの座標系の軸に、前記受付手段で受け付けた疑似患部が接触するように、該疑似患部を合わせ、
前記表示制御手段は、前記調整手段により前記座標系の軸に合わせた疑似患部を、前記座標系とともに前記表示手段に表示する、
ことを特徴とする請求項1乃至9の何れか一項に記載の医療画像処理装置。 - ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定ステップと、
表示手段に表示される実寸の目盛り付きの座標系の軸に、前記特定ステップにおいて特定した皮膚患部が接触するように、該皮膚患部を合わせる調整ステップと、
前記調整ステップにおいて前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御ステップと、
を備えたことを特徴とする医療画像処理方法。 - コンピュータを、
ダーモスコープを介して撮影されたダーモスコピー画像から皮膚患部を特定する特定手段、
表示手段に表示される実寸の目盛り付きの座標系の軸に、前記特定手段で特定した皮膚患部が接触するように、該皮膚患部を合わせる調整手段、
前記調整手段により前記座標系の軸に合わせた皮膚患部を、前記座標系とともに前記表示手段に表示する表示制御手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018232377A JP6669236B2 (ja) | 2018-12-12 | 2018-12-12 | 医療画像処理装置、医療画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018232377A JP6669236B2 (ja) | 2018-12-12 | 2018-12-12 | 医療画像処理装置、医療画像処理方法及びプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015014840A Division JP6451350B2 (ja) | 2015-01-28 | 2015-01-28 | 医療画像処理装置、医療画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019069178A true JP2019069178A (ja) | 2019-05-09 |
| JP6669236B2 JP6669236B2 (ja) | 2020-03-18 |
Family
ID=66440349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018232377A Active JP6669236B2 (ja) | 2018-12-12 | 2018-12-12 | 医療画像処理装置、医療画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6669236B2 (ja) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6081612A (en) * | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
| JP2005192944A (ja) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | 色素沈着部位の遠隔診療システム |
| US20060269111A1 (en) * | 2005-05-27 | 2006-11-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
| JP2009511163A (ja) * | 2005-10-14 | 2009-03-19 | アプライド リサーチ アソシエイツ エヌゼット リミテッド | 表面特徴を観察する方法とその装置 |
| JP2010520774A (ja) * | 2007-03-02 | 2010-06-17 | エレクトロ−オプティカル サイエンシス インコーポレイテッド | 皮膚特徴の定量分析 |
| JP2010253274A (ja) * | 2009-04-23 | 2010-11-11 | Lvmh Recherche | 皮膚欠陥を特性化する方法及び装置、並びに化粧用薬剤、外皮用薬剤、又は薬剤を使用する皮膚欠陥のための処置の有効性を評価する方法 |
| US20110040192A1 (en) * | 2009-05-21 | 2011-02-17 | Sara Brenner | Method and a system for imaging and analysis for mole evolution tracking |
| US20120206587A1 (en) * | 2009-12-04 | 2012-08-16 | Orscan Technologies Ltd | System and method for scanning a human body |
| US20130116573A1 (en) * | 2010-07-12 | 2013-05-09 | The Johns Hopkins University | Three-dimensional thermal imaging for the detection of skin lesions and other natural and abnormal conditions |
| WO2013188926A1 (en) * | 2012-06-22 | 2013-12-27 | The University Of Queensland | Method and composition for delivering a compound through a biological barrier |
| US20140036054A1 (en) * | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
-
2018
- 2018-12-12 JP JP2018232377A patent/JP6669236B2/ja active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6081612A (en) * | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
| JP2005192944A (ja) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | 色素沈着部位の遠隔診療システム |
| US20060269111A1 (en) * | 2005-05-27 | 2006-11-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
| JP2009511163A (ja) * | 2005-10-14 | 2009-03-19 | アプライド リサーチ アソシエイツ エヌゼット リミテッド | 表面特徴を観察する方法とその装置 |
| JP2010520774A (ja) * | 2007-03-02 | 2010-06-17 | エレクトロ−オプティカル サイエンシス インコーポレイテッド | 皮膚特徴の定量分析 |
| JP2010253274A (ja) * | 2009-04-23 | 2010-11-11 | Lvmh Recherche | 皮膚欠陥を特性化する方法及び装置、並びに化粧用薬剤、外皮用薬剤、又は薬剤を使用する皮膚欠陥のための処置の有効性を評価する方法 |
| US20110040192A1 (en) * | 2009-05-21 | 2011-02-17 | Sara Brenner | Method and a system for imaging and analysis for mole evolution tracking |
| US20120206587A1 (en) * | 2009-12-04 | 2012-08-16 | Orscan Technologies Ltd | System and method for scanning a human body |
| US20130116573A1 (en) * | 2010-07-12 | 2013-05-09 | The Johns Hopkins University | Three-dimensional thermal imaging for the detection of skin lesions and other natural and abnormal conditions |
| US20140036054A1 (en) * | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
| WO2013188926A1 (en) * | 2012-06-22 | 2013-12-27 | The University Of Queensland | Method and composition for delivering a compound through a biological barrier |
Non-Patent Citations (2)
| Title |
|---|
| T. TANAKA ET AL.: "A Study on the Image Diagnosis of Melanoma", THE 26TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, JPN6019035050, September 2004 (2004-09-01), pages 1597 - 1600, ISSN: 0004111830 * |
| ZHAO LIU ET AL.: "Distribution quantification on dermoscopy images for computer-assisted diagnosis of cutaneous melano", MED BIOL ENG COMPUT, vol. 50, JPN6019035051, 22 March 2012 (2012-03-22), pages 503 - 513, ISSN: 0004111831 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6669236B2 (ja) | 2020-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6463038B2 (ja) | 画像位置合せ装置、方法およびプログラム | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| US10417808B2 (en) | Image processing system, image processing apparatus, and image processing method | |
| CN101275943A (zh) | 用于对组织病变进行病理检查的方法、装置和系统 | |
| WO2014025886A1 (en) | System and method of overlaying images of different modalities | |
| CN111091127A (zh) | 一种图像检测方法、网络模型训练方法以及相关装置 | |
| JP2016116774A (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
| JP6461024B2 (ja) | 画像位置合せ装置、方法およびプログラム | |
| JP2010274044A (ja) | 手術支援装置、手術支援方法及び手術支援プログラム | |
| CN108210073A (zh) | 手术导引系统及其器械导引方法 | |
| JP6451350B2 (ja) | 医療画像処理装置、医療画像処理方法及びプログラム | |
| WO2014050019A1 (ja) | 仮想内視鏡画像生成装置および方法並びにプログラム | |
| EP3543955B1 (en) | Image processing device and projection system | |
| Ahmad et al. | 3D reconstruction of gastrointestinal regions using single-view methods | |
| Zhang et al. | Co-axial projective imaging for augmented reality telementoring in skin cancer surgery | |
| JP2016137007A (ja) | 画像表示装置及び画像表示方法 | |
| JP6669236B2 (ja) | 医療画像処理装置、医療画像処理方法及びプログラム | |
| Gard et al. | Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy | |
| Amara et al. | A mobile AR Computer-Aided Diagnosis: 6 DoF Brain Tumour Pose Estimator using a Fine-Tuned EfficientPose-based Model | |
| CN108158804A (zh) | 一种基于体表静脉特征实现目标定位的方法及体表静脉模具 | |
| US20150121276A1 (en) | Method of displaying multi medical image and medical image equipment for performing the same | |
| CN113989184B (zh) | 肋骨计数信息的处理方法、装置及设备 | |
| Morita et al. | MRI overlay system using optical see-through for marking assistance | |
| US20240331329A1 (en) | Method and system for superimposing two-dimensional (2d) images over deformed surfaces | |
| TWM618266U (zh) | 使用三維面部及身體掃描數據提供即時可視化服務的設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181225 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6669236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |