JP2015012984A - Blood vessel visualization device, blood vessel visualization method, and program - Google Patents
Blood vessel visualization device, blood vessel visualization method, and program Download PDFInfo
- Publication number
- JP2015012984A JP2015012984A JP2013141240A JP2013141240A JP2015012984A JP 2015012984 A JP2015012984 A JP 2015012984A JP 2013141240 A JP2013141240 A JP 2013141240A JP 2013141240 A JP2013141240 A JP 2013141240A JP 2015012984 A JP2015012984 A JP 2015012984A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blood vessel
- unit
- wavelength region
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Infusion, Injection, And Reservoir Apparatuses (AREA)
Abstract
【課題】 より正確な血管位置を示すことができる血管可視化装置を提供する。【解決手段】 血管可視化装置は、第1の波長領域の光と、第2の波長領域の光とで、同一の被写体を撮影する撮影部と、撮影部により撮影された複数の画像に基づいて、血管の深さ情報を生成する深さ情報生成部と、深さ情報生成部により生成された深さ情報と、撮影部により撮影された画像とに基づいて、血管の位置を示す情報を出力する出力部とを有する。撮影部は、第1の波長領域に属する近赤外光を照射して被写体を撮影する第1の近赤外光撮影部と、第2の波長領域に属する近赤外光を照射して被写体を撮影する第2の近赤外光撮影部とを含み、深さ情報生成部は、前記第1の近赤外光撮影部により撮影された画像と、前記第2の近赤外光撮影部により撮影された画像との差異に基づいて、血管の深さ情報を生成する。【選択図】図1PROBLEM TO BE SOLVED: To provide a blood vessel visualization device capable of showing a more accurate blood vessel position. A blood vessel visualization device is based on a photographing unit that photographs the same subject with light in a first wavelength region and light in a second wavelength region, and a plurality of images photographed by the photographing unit. The information indicating the position of the blood vessel is output based on the depth information generation unit that generates the depth information of the blood vessel, the depth information generated by the depth information generation unit, and the image captured by the imaging unit. Output unit. The imaging unit irradiates near-infrared light belonging to the first wavelength region and irradiates near-infrared light belonging to the second wavelength region. A depth information generation unit including an image taken by the first near-infrared light photographing unit and the second near-infrared light photographing unit. Based on the difference from the image taken by the above, blood vessel depth information is generated. [Selection] Figure 1
Description
本発明は、血管可視化装置、血管可視化方法、及びプログラムに関する。 The present invention relates to a blood vessel visualization device, a blood vessel visualization method, and a program.
例えば、特許文献1には、赤外光線で組織を照明することで、皮下血管の視認性を向上させ、反射された赤外光線に基づいて体組織および皮下血管のビデオ・イメージを作製するイメージング・システムが開示されている。
また、特許文献2には、小型プロジェクションヘッドに、標的領域を撮像する手段と、画像を光学経路に沿って標的領域に投影する手段が備えられた小型静脈像エンハンサが開示されている。
For example, Patent Document 1 discloses imaging in which a tissue image and a subcutaneous blood vessel are created based on reflected infrared light by improving the visibility of the subcutaneous blood vessel by illuminating the tissue with infrared light. • The system is disclosed.
Patent Document 2 discloses a small vein image enhancer in which a small projection head is provided with means for imaging a target area and means for projecting an image onto the target area along an optical path.
また、特許文献3には、近赤外光と可視光を照射する照明手段と、近赤外分光感度の高い撮像手段と、近赤外光照射時に撮像した近赤外画像と可視光照射時に撮像した可視画像を用いて、生体の血管像を検出して血管強調画像を生成する手段と、注射器像を検出して特徴抽出した注射器特徴情報を取得し、注射器特徴情報を基に、生体に注射針穿刺中の注射針先端位置を予測算出し、血管強調画像に対し予測した注射針先端位置を示すマーク像を生成する手段と、血管強調画像とマーク像との合成画像を表示する表示手段とを備えた血管及び注射針位置提示装置が開示されている。
また、特許文献4には、近赤外線を静脈可視化部位に照射する照射手段と、当該静脈可視化部位から透視反射した光線のうち、波長800〜1000nmの近赤外線に絞り込むためのフィルタリング手段と、当該フィルタリングされた近赤外線を用いて前記静脈可視化部位を撮影する撮像手段と、当該撮像手段にて得られたデータをモニターに透視画像として表示するための画像処理手段とを有することを特徴とする静脈可視化装置が開示されている。
Patent Document 3 discloses an illumination unit that emits near-infrared light and visible light, an imaging unit with high near-infrared spectral sensitivity, a near-infrared image captured during near-infrared light irradiation, and a visible-light irradiation. Means for detecting a blood vessel image of a living body by using the captured visible image and generating a blood vessel emphasized image, and acquiring syringe feature information obtained by extracting and characterizing the syringe image. Based on the syringe feature information, Means for predicting and calculating the tip position of the injection needle during needle puncturing, generating a mark image indicating the predicted tip position of the injection needle with respect to the blood vessel emphasized image, and display means for displaying a composite image of the blood vessel emphasized image and the mark image There is disclosed a blood vessel and injection needle position presentation device including:
Patent Document 4 discloses an irradiation unit that irradiates a vein visualization site with near-infrared rays, a filtering unit for narrowing the near-infrared rays having a wavelength of 800 to 1000 nm out of light rays that are transparently reflected from the vein visualization site, and the filtering. Visualization comprising: imaging means for imaging the vein visualization site using the near infrared ray, and image processing means for displaying data obtained by the imaging means as a fluoroscopic image on a monitor An apparatus is disclosed.
より正確な血管位置を示すことができる血管可視化装置を提供することを目的とする。 An object of the present invention is to provide a blood vessel visualization device capable of showing a more accurate blood vessel position.
本発明に係る血管可視化装置は、第1の波長領域の光と、第2の波長領域の光とで、同一の被写体を撮影する撮影部と、前記撮影部により撮影された複数の画像に基づいて、血管の深さ情報を生成する深さ情報生成部と、前記深さ情報生成部により生成された深さ情報と、前記撮影部により撮影された画像とに基づいて、血管の位置を示す情報を出力する出力部とを有する。 The blood vessel visualization device according to the present invention is based on an imaging unit that images the same subject with light in the first wavelength region and light in the second wavelength region, and a plurality of images captured by the imaging unit. The position of the blood vessel is indicated based on the depth information generation unit that generates the depth information of the blood vessel, the depth information generated by the depth information generation unit, and the image captured by the imaging unit. And an output unit for outputting information.
好適には、前記撮影部は、第1の波長領域に属する近赤外光を照射して被写体を撮影する第1の近赤外光撮影部と、第2の波長領域に属する近赤外光を照射して被写体を撮影する第2の近赤外光撮影部とを含み、前記深さ情報生成部は、前記第1の近赤外光撮影部により撮影された画像と、前記第2の近赤外光撮影部により撮影された画像との差異に基づいて、血管の深さ情報を生成する。 Preferably, the imaging unit irradiates near-infrared light belonging to the first wavelength region to shoot a subject and captures the subject, and near-infrared light belonging to the second wavelength region. And a second near-infrared light photographing unit that photographs the subject, and the depth information generating unit includes an image photographed by the first near-infrared light photographing unit, and the second near-infrared light photographing unit. Blood vessel depth information is generated based on the difference from the image captured by the near infrared light imaging unit.
好適には、第1の波長領域は、第2の波長領域よりも短い波長領域であり、前記深さ情報生成部は、前記第1の近赤外光撮影部により撮影された画像に基づいて特定された血管を、前記第2の近赤外光撮影部により撮影された画像に基づいて特定された血管よりも浅い位置の血管として、血管の深さ情報を生成する。 Preferably, the first wavelength region is a wavelength region shorter than the second wavelength region, and the depth information generation unit is based on an image photographed by the first near-infrared light photographing unit. Blood vessel depth information is generated using the identified blood vessel as a blood vessel at a position shallower than the blood vessel identified based on the image photographed by the second near-infrared light photographing unit.
好適には、前記撮影部により撮影された画像のうち、4回対称ではない形状の画像領域の画像データを参照して、この画像領域に含まれる画像データの階調数を減少させる階調処理部をさらに有し、前記出力部は、前記階調処理部により階調数が減少した画像データを表示させる。 Preferably, gradation processing for reducing the number of gradations of the image data included in the image area with reference to the image data of the image area having a shape that is not four-fold symmetric among the images photographed by the photographing unit. And the output unit displays the image data having the number of gradations reduced by the gradation processing unit.
好適には、前記階調処理部は、ユーザの入力に応じて、前記画像領域の形状又は大きさを変更する。 Preferably, the gradation processing unit changes the shape or size of the image area in accordance with a user input.
好適には、前記階調処理部は、ユーザが入力した肌表面の状態又は年齢に応じて、前記画像領域の形状又は大きさを変更する。 Preferably, the gradation processing unit changes the shape or size of the image area according to the skin surface state or age input by the user.
好適には、前記被写体の体脂肪率、性別及び年齢の少なくとも一つを被写体の属性として特定する属性特定部をさらに有し、前記深さ情報生成部は、前記属性特定部に特定された属性と、前記撮影部による撮影で用いられた波長領域とに基づいて、撮影された画像に含まれる血管画像について、深さ情報を生成する。 Preferably, the apparatus further includes an attribute specifying unit that specifies at least one of a body fat percentage, sex, and age of the subject as an attribute of the subject, and the depth information generation unit includes the attribute specified by the attribute specifying unit. Then, based on the wavelength region used for imaging by the imaging unit, depth information is generated for the blood vessel image included in the captured image.
好適には、前記撮影部は、第1の波長領域に属する近赤外光及び第2の波長領域に属する近赤外光を照射する照明装置と、前記照射装置により照射された近赤外光の反射光を受光して画像データを生成するカメラとを含み、前記照明装置は、近赤外光を拡散して、被写体の穿刺部位の近傍に照射する。 Preferably, the imaging unit includes an illumination device that irradiates near-infrared light belonging to the first wavelength region and near-infrared light belonging to the second wavelength region, and near-infrared light emitted by the irradiation device. The illumination device diffuses near-infrared light and irradiates it in the vicinity of the puncture site of the subject.
好適には、前記撮影部は、第1の波長領域に属する近赤外光及び第2の波長領域に属する近赤外光を照射する照明装置と、前記照射装置により照射された近赤外光の反射光を受光して画像データを生成するカメラとを含み、前記照明装置は、互いに異なる位置及び方向に配置された複数の発光ダイオードで構成される。 Preferably, the imaging unit includes an illumination device that irradiates near-infrared light belonging to the first wavelength region and near-infrared light belonging to the second wavelength region, and near-infrared light emitted by the irradiation device. And a camera that generates image data by receiving the reflected light, and the illumination device includes a plurality of light emitting diodes arranged at different positions and directions.
また、本発明に係る血管可視化装置は、複数の波長領域それぞれで、同一の被写体を撮影する撮影部と、前記撮影部により撮影された複数の画像それぞれに含まれる画像要素を、撮影時の波長領域毎に異なる表示態様で表現し、互いに異なる表示態様で表現された複数の画像の画像要素を合成して表示させる出力部とを有する。 The blood vessel visualization device according to the present invention includes an imaging unit that captures the same subject in each of a plurality of wavelength regions, and an image element included in each of the plurality of images captured by the imaging unit. And an output unit that displays each region with a different display mode, and synthesizes and displays image elements of a plurality of images expressed in different display modes.
また、本発明に係る血管可視化装置は、既定の波長領域の光で、被写体を撮影する撮影部と、前記撮影部により撮影された画像のうち、4回対称ではない形状の画像領域の画像データを参照して、この画像領域に含まれる画像データの階調数を減少させる階調処理部と、前記階調処理部により階調数が減少した画像に基づいて、血管の位置を示す情報を出力する出力部とを有する。 The blood vessel visualization device according to the present invention includes an imaging unit that images a subject with light in a predetermined wavelength region, and image data of an image region that has a shape that is not four-fold symmetric among images captured by the imaging unit. The gradation processing unit for reducing the number of gradations of the image data included in the image region, and information indicating the position of the blood vessel based on the image having the number of gradations decreased by the gradation processing unit. And an output unit for outputting.
また、本発明に係る血管可視化方法は、第1の波長領域の光で被写体を撮影するステップと、第2の波長領域の光で前記被写体を撮影するステップと、撮影された複数の画像に基づいて、血管の深さ情報を生成するステップと、生成された深さ情報と、撮影された画像とに基づいて、血管の位置を示す情報を出力するステップとを有する。 The blood vessel visualization method according to the present invention is based on a step of photographing a subject with light in a first wavelength region, a step of photographing the subject with light in a second wavelength region, and a plurality of images taken. A step of generating blood vessel depth information, and a step of outputting information indicating the position of the blood vessel based on the generated depth information and the captured image.
また、本発明に係るプログラムは、第1の波長領域の光で撮影された被写体の画像と、第2の波長領域の光で撮影された前記被写体の画像とに基づいて、血管の深さ情報を生成するステップと、生成された深さ情報と、撮影された画像とに基づいて、血管の位置を示す情報を出力するステップとをコンピュータに実行させる。 Further, the program according to the present invention is based on the image of the subject imaged with the light in the first wavelength region and the image of the object imaged with the light in the second wavelength region. And a step of outputting information indicating the position of the blood vessel based on the generated depth information and the captured image.
本発明によれば、より正確な血管位置を示すことができる血管可視化装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the blood vessel visualization apparatus which can show a more exact blood vessel position can be provided.
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、静脈可視化装置1のハードウェア構成を例示する図である。
図1に例示するように、本実施形態の静脈可視化装置1は、撮影装置10と画像出力装置20とを含む。
撮影装置10の筐体には、カメラ12と、照明装置14と、操作ボタン16とが設けられている。
画像出力装置20は、コンピュータ端末であり、接続ケーブルを介して、撮影装置10に接続されている。本例の画像出力装置20は、USBケーブルを介して、撮影装置10により撮影された複数の画像を取得し、取得された画像に基づいて、被写体の静脈を可視化する。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration of the vein visualization apparatus 1.
As illustrated in FIG. 1, the vein visualization device 1 according to the present embodiment includes an imaging device 10 and an image output device 20.
A
The image output device 20 is a computer terminal, and is connected to the imaging device 10 via a connection cable. The image output apparatus 20 of this example acquires a plurality of images captured by the imaging apparatus 10 via a USB cable, and visualizes the veins of the subject based on the acquired images.
図2は、撮影装置10のカメラ12及び照明装置14をより詳細に説明する図である。
図2に例示するように、撮影装置10の内部に基板144が設けられ、この基板144の上に拡散板140が重ねられている。
拡散板140は、近赤外光を拡散して、基板144から照射される近赤外光を均一化する。これにより、穿刺位置の近傍におけるハレーションが防止される。拡散板140の中央(すなわち、基板144のカメラ12が配置された位置に相当する場所)に、開口が設けられている。
基板144には、複数のLEDライト142が配置され、これらのLEDライト142の中央に、カメラ12が配置されている。
カメラ12には、可視光(波長700nm以下)を遮断する光学フィルタが装着されている。これにより、可視光の影響を排除して、より効率的に近赤外反射光の撮影が可能になる。本例のカメラ12は、1000画素×760画素で撮影する場合を具体例として説明する。
LEDライト142には、複数の波長領域の近赤外光を照射するLED群が混在している。より具体的には、750〜770nm(第1の波長領域の一例)の近赤外光を照射するLED群と、840〜860nm(第2の波長領域の一例)の近赤外光を照射するLED群とが分散配置されている。これにより、被写体の穿刺位置に対して、垂直方向及び斜め後方の複数の方向から均一に近赤外光を照射することが可能になる。これによりノイズの低減を期待できる。
なお、以下の実施形態では、上記第1の波長領域及び第2の波長領域で撮影する形態を具体例として説明するが、他の波長領域による撮影を除外する趣旨ではなく、例えば、第3の波長領域(例えば、720nm前後)での撮影を加えてもよい。
また、本例では、点灯させるLEDを切り替えることにより、照射される近赤外光の波長を切り替える形態を具体例として説明するが、これらの波長が含まれた光を照射する光源を用意し、フィルタによって近赤外光の波長を切り替えてもよい。
FIG. 2 is a diagram for explaining the
As illustrated in FIG. 2, a substrate 144 is provided inside the photographing apparatus 10, and a diffusion plate 140 is overlaid on the substrate 144.
The diffusion plate 140 diffuses near-infrared light and makes the near-infrared light irradiated from the substrate 144 uniform. This prevents halation near the puncture position. An opening is provided in the center of the diffusion plate 140 (that is, a place corresponding to the position where the
A plurality of
The
The
In the following embodiment, a mode in which imaging is performed in the first wavelength region and the second wavelength region will be described as a specific example. However, it is not intended to exclude imaging in other wavelength regions. You may add imaging | photography in a wavelength range (for example, around 720 nm).
In addition, in this example, a mode of switching the wavelength of the near infrared light to be irradiated by switching the LED to be lit will be described as a specific example, but a light source that irradiates light including these wavelengths is prepared, The wavelength of near infrared light may be switched by a filter.
図3は、画像出力装置20のハードウェア構成を例示する図である。
図3に例示するように、画像出力装置20は、CPU200、メモリ202、HDD204、ネットワークインタフェース206(ネットワークIF206)、表示装置208、及び入力装置210を有し、これらの構成はバス212を介して互いに接続している。
CPU200は、例えば、中央演算装置である。
メモリ202は、例えば、揮発性メモリであり、主記憶装置として機能する。
HDD204は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラムやその他のデータファイルを格納する。
ネットワークIF206は、有線又は無線で通信するためのインタフェースであり、ネットワークを介した撮影装置10との通信を実現する。
表示装置208は、例えば、液晶ディスプレイである。
入力装置210は、例えば、キーボード及びマウスである。
FIG. 3 is a diagram illustrating a hardware configuration of the image output apparatus 20.
As illustrated in FIG. 3, the image output device 20 includes a
The
The
The
A network IF 206 is an interface for performing wired or wireless communication, and realizes communication with the imaging apparatus 10 via the network.
The
The
図4は、画像出力装置20にインストールされる可視化プログラム50の機能構成を例示する図である。
図4に例示するように、可視化プログラム50は、撮影制御部500、入力受付部510、階調処理部520、深さ情報生成部530、及び出力部540を有する。
なお、可視化プログラム50の一部又は全部は、ASICなどのハードウェアにより実現されてもよい。
FIG. 4 is a diagram illustrating a functional configuration of the visualization program 50 installed in the image output apparatus 20.
As illustrated in FIG. 4, the visualization program 50 includes an
Part or all of the visualization program 50 may be realized by hardware such as an ASIC.
可視化プログラム50において、撮影制御部500は、撮影装置10のカメラ12及び照明装置14を制御して、第1の波長領域に属する近赤外光、及び、第2の波長領域に属する近赤外光による被写体の撮影を実現する。
本例の撮影制御部500は、760nmの近赤外光を用いた撮影と、850nmの近赤外光を用いた撮影とを、撮影装置10に実行させる。
In the visualization program 50, the
The
入力受付部510は、入力装置210を制御して、ユーザによる入力を受け付ける。
本例の入力受付部510は、被写体の年齢及び肌の状態の入力を受け付ける。
The
The
階調処理部520は、撮影装置10により撮影された画像に対して、4回対称ではない形状の画像領域の画像データを参照して、この画像領域に含まれる画像データの階調数を減少させる階調処理を施す。4回対称ではない形状とは、長方形やひし形のように「2回対称であって、4回対称ではない形状」だけでなく、正方形及び真円以外の形状を含む。本例の階調処理部520は、長方形の画像領域に含まれる画像データに基づいて、2値化に用いる基準値を決定し、この画像領域に含まれる画像データと、決定された基準値とを比較して、画像データを2値化する。
本例の2値化処理は、図5を参照して後述する。
The
The binarization process of this example will be described later with reference to FIG.
深さ情報生成部530は、撮影装置10により撮影された複数の画像に基づいて、静脈の深さ情報を生成する。ここで、深さ情報とは、深さを示す情報であり、例えば、基準の深さ(3mm)よりも深いか浅いかを示す情報である。
本例の深さ情報生成部530は、760nmの近赤外光を用いて撮影された画像(階調処理部520により2値化されたもの)と、850nmの近赤外光を用いて撮影された画像(階調処理部520により2値化されたもの)とを比較し、850nmで撮影された画像中で発見でき、760nmで撮影された画像中で発見できない静脈を、深さ3.0mm以上の静脈であると判定し、これら以外の発見された静脈を、深さ3.0mm未満の静脈であると判定する。
The depth
The depth
出力部540は、深さ情報生成部530により生成された深さ情報と、撮影装置10により撮影された画像とに基づいて、静脈の位置を示す情報を表示装置208に表示させる。
本例の出力部540は、850nmで撮影された画像のうち、深さ情報生成部530により、深さ3.0mm以上であると判定された静脈と、深さ3.0mm未満であると判定された静脈とを、互いに異なる表示態様で表示させる。より具体的には、出力部540は、850nmで撮影された画像のうち、深さ3.0mm以上であると判定された静脈、又は、深さ3.0mm未満であると判定された静脈に、色を付けて表示させる。
The
The
図5は、階調処理部520が2値化処理で参照する画像領域902を例示する図である。
図5に例示するように、階調処理部520は、撮影装置10により撮影された撮影画像900について、長方形(50画素×100画素)の画像領域を設定し、設定された画像領域内の画像データから、下記の計算式により、この画像領域の中心画素を2値化するための閾値T(i,j)を算出する。
T(i,j)=m(i,j)+k*s(i,j)
m(i,j):中心画素(i,j)を含む画像領域の平均画素値
s(i,j):中心画素(i,j)を含む画像領域の標準偏差
k:係数
次に、階調処理部520は、中心画素(i,j)の画素値と、閾値T(i,j)とを比較し、中心画素(i,j)の画素値が閾値T(i,j)を超える場合に、中心画素を白色とし、これ以外の場合に、中心画素を黒色とする。
また、撮影装置10を被写体にかざす向きは、図5に例示するように、長方形の画像領域902の長辺が静脈を横切る方向にする。例えば、腕を撮影する場合においては、腕を横切る方向を、静脈を横切る方向とする。
FIG. 5 is a diagram illustrating an image region 902 that the
As illustrated in FIG. 5, the
T (i, j) = m (i, j) + k * s (i, j)
m (i, j): average pixel value of the image area including the center pixel (i, j) s (i, j): standard deviation of the image area including the center pixel (i, j) k: coefficient The
Further, the direction in which the photographing apparatus 10 is held over the subject is set so that the long side of the rectangular image region 902 crosses the vein, as illustrated in FIG. For example, when photographing an arm, the direction across the arm is the direction across the vein.
図6は、年齢テーブル及び肌状態テーブルを例示する図である。
図5に例示した画像領域902の形状及び大きさは、図6に例示する年齢テーブル及び肌状態テーブルを参照して決定される。
階調処理部520は、入力受付部510により受け付けた年齢及び肌状態に基づいて、年齢テーブルから、受け付けた年齢に対応する領域形状を読み出し、読み出された領域形状に対して、受け付けた肌状態に対応する形状変形を加えて、画像領域の形状及び大きさを決定する。肌の状態(シワやキメ)によって、近赤外光の反射が変化するため、局所2値化処理に用いる画像領域の形状及び大きさを、年齢及び肌状態に応じて変更することにより、より鮮明な静脈画像が得られる。
FIG. 6 is a diagram illustrating an age table and a skin condition table.
The shape and size of the image region 902 illustrated in FIG. 5 are determined with reference to the age table and the skin condition table illustrated in FIG.
The
図7は、静脈可視化処理(S10)を説明するフローチャートである。
図7に例示されるように、ステップ100(S100)において、可視化装置1の入力受付部500は、入力装置210を介してユーザの操作を検知し、被写体の年齢及び肌状態の入力を受け付ける。階調処理部520は、入力受付部500により受け付けた年齢及び肌状態に基づいて、年齢テーブル(図6)及び肌状態テーブル(図6)から、年齢及び肌状態に対応する領域形状及び形状変形を特定し、局所2値化処理に用いる画像領域の形状及び大きさを決定する。
FIG. 7 is a flowchart for explaining the vein visualization process (S10).
As illustrated in FIG. 7, in step 100 (S <b> 100), the
ステップ105(S105)において、撮影制御部500は、ユーザの撮影開始指示に応じて、撮影装置10に対して、850nmでの撮影を指示する。撮影装置10は、850nmのLEDライト142を点灯させて、カメラ12によって、近赤外光(850nm)の反射光を撮影し、撮影された画像データを画像出力装置20に転送する。
In step 105 (S105), the
ステップ110(S110)において、撮影制御部500は、850nmでの撮影が終了すると、撮影装置10に対して、760nmでの撮影を指示する。撮影装置10は、760nmのLEDライト142を点灯させて、カメラ12によって、近赤外光(760nm)の反射光を撮影し、撮影された画像データを画像出力装置20に転送する。
In step 110 (S110), the
ステップ115(S115)において、階調処理部520は、決定した画像領域を用いて、撮影された2つの画像(850nmで撮影された画像、及び、760nmで撮影された画像)に対して、2値化処理を施す。
ステップ120(S120)において、出力部540は、階調処理部520により2値化した画像(850nmで撮影された画像)を表示装置208に表示して、表示された画像でよいか否かの判断を促す。
In step 115 (S115), the
In step 120 (S120), the
ステップ125(S125)において、可視化プログラム50は、ユーザが、表示された画像でよいと判断し、その旨を入力した場合に、S135の処理に移行し、ユーザが、表示された画像では不十分であると判断し、その旨を入力した場合に、S130の処理に移行する。 In step 125 (S125), the visualization program 50 determines that the displayed image is acceptable, and when the user inputs that fact, the process proceeds to S135, and the displayed image is insufficient for the user. If it is determined that the information is input, the process proceeds to S130.
ステップ130(S130)において、階調処理部520は、操作ボタン16に対する操作に応じて、2値化処理に用いる画像領域の形状または大きさを変更して、S115の処理に戻る。つまり、可視化プログラム50は、2値化処理に用いる画像領域の形状または大きさを変更して、再度2値化処理を行う。
In step 130 (S130), the
ステップ135(S135)において、深さ情報生成部530は、階調処理部520により2値化された2つの画像(850nmで撮影された画像、及び、760nmで撮影された画像)を比較して、深さ3.0mm以上の静脈と、深さ3.0mm未満の静脈を特定する。
In step 135 (S135), the depth
ステップ140(S140)において、出力部540は、階調処理部520により2値化された撮影画像(850nmで撮影された画像)のうち、深さ情報生成部530により深さ3.0mm以上であると判定された静脈と、深さ3.0mm未満であると判定された静脈とにそれぞれ異なる色を付して、表示装置208に表示させる。
ユーザは、表示装置208に表示された静脈及び深さ情報に基づいて、穿刺の位置及び角度を決定することができる。
In step 140 (S140), the
The user can determine the puncture position and angle based on the vein and depth information displayed on the
図8は、2値化処理の効果を説明する図であり、図8(A)は、撮影装置10により撮影された2値化前の画像(グレースケール)であり、図8(B)は、図8(A)の画像を局所的な処理をすることなく単純2値化した2値画像であり、図8(C)は、正方形の画像領域を用いて局所2値化した2値画像である。
図8(A)に示すように、撮影された2値化前の画像(グレースケール)では明暗差が小さく静脈を特定することは困難である。また、図8(B)に示すように、単純2値化すると、照明ムラによって画像中央が白くなるだけで、静脈を特定することは困難である。
一方、150画素×150画素の画像領域で2値化すると、図8(C)に例示するように、静脈が特定可能になる。
FIG. 8 is a diagram for explaining the effect of the binarization process. FIG. 8A is an image (grayscale) before binarization photographed by the photographing apparatus 10, and FIG. 8A is a binary image obtained by simple binarization without performing local processing, and FIG. 8C is a binary image obtained by local binarization using a square image region. It is.
As shown in FIG. 8 (A), it is difficult to specify the vein in the photographed image (binary scale) before binarization because the difference in brightness is small. Further, as shown in FIG. 8B, if the binarization is simple, the center of the image only becomes white due to uneven illumination, and it is difficult to specify the vein.
On the other hand, when binarization is performed in an image region of 150 pixels × 150 pixels, a vein can be specified as illustrated in FIG.
図9は、2値化処理に用いる画像領域の形状による効果を説明する図であり、図9(A)は、150画素×150画素の画像領域で局所2値化した画像であり、図9(B)は、静脈を横切る方向が150画素、かつ、これに直交する方向が75画素である画像領域で局所2値化した画像であり、図9(C)は、静脈を横切る方向が75画素、かつ、これに直交する方向が150画素である画像領域で局所2値化した画像である。
図9(A)と図9(B)とを比較してわかるように、長方形の画像領域(長辺が静脈を横切る方向)を用いた場合、正方形の画像領域を用いた場合よりも鮮明に静脈を確認することができる。特に、画像の中央付近で改善が顕著にみられる。
また、図9(B)と図9(C)とを比較してわかるように、画像領域の短辺が静脈を横切る方向に設定すると、ノイズが増えるだけで、静脈が鮮明になるわけではない。
以上より、長辺が静脈を横切る方向に設定された長方形の画像領域を設定することにより、静脈の視認性がより向上する。
FIG. 9 is a diagram for explaining the effect of the shape of the image area used for the binarization processing, and FIG. 9A is an image binarized locally in an image area of 150 pixels × 150 pixels. FIG. 9B is an image that is locally binarized in an image region in which the direction crossing the vein is 150 pixels and the direction orthogonal to this is 75 pixels. FIG. This is an image that is binarized locally in an image area that has 150 pixels in the direction orthogonal to the pixels.
As can be seen by comparing FIG. 9 (A) and FIG. 9 (B), the use of a rectangular image region (the long side crossing the vein) is clearer than the case of using a square image region. The veins can be confirmed. In particular, the improvement is noticeable near the center of the image.
Further, as can be seen by comparing FIG. 9B and FIG. 9C, when the short side of the image region is set in a direction crossing the vein, only the noise increases and the vein is not clear. .
As described above, the visibility of the vein is further improved by setting the rectangular image area whose long side is set in the direction crossing the vein.
図10は、2値化処理に用いる画像領域の大きさによる効果を説明する図であり、図10(A)は、50画素×100画素の画像領域で局所2値化した画像であり、図10(B)は、75画素×150画素の画像領域で局所2値化した画像である。
図10(A)と図10(B)とを比較してわかるように、画像領域のサイズを小さくすると、静脈が強調されるようになり、より多くの静脈が特定可能になる。一方で、粒状のノイズが増し、視認性が悪化する場合もある。
そこで、本例の可視化装置1は、上記のように、2値化した画像をプレビューして、画像領域のサイズをユーザに変更させ、対象者(被写体)毎に、静脈が最も見やすくなるように調整可能とする。
FIG. 10 is a diagram for explaining the effect of the size of the image area used for the binarization processing. FIG. 10A is an image that is locally binarized in an image area of 50 pixels × 100 pixels. 10 (B) is an image binarized locally in an image area of 75 pixels × 150 pixels.
As can be seen by comparing FIG. 10A and FIG. 10B, when the size of the image region is reduced, veins are emphasized, and more veins can be specified. On the other hand, granular noise may increase and visibility may deteriorate.
Therefore, the visualization device 1 of the present example previews the binarized image as described above, and allows the user to change the size of the image area so that the vein is most easily seen for each subject (subject). Adjustable.
以上説明したように、本実施形態の静脈可視化装置1によれば、静脈の深さ情報を加味して、静脈を可視化できる。これにより、例えば、穿刺の位置だけでなく、その角度まで適切に決定できる。
また、本例の静脈可視化装置1によれば、長方形の画像領域を参照して局所2値化するため、より鮮明に静脈を可視化できる。
As described above, according to the vein visualization apparatus 1 of the present embodiment, veins can be visualized in consideration of vein depth information. Thereby, for example, not only the puncture position but also the angle can be determined appropriately.
Further, according to the vein visualization apparatus 1 of this example, the binarization is performed with reference to the rectangular image region, so that the vein can be visualized more clearly.
[変形例1]
以下、上記実施形態の変形例を説明する。
図11は、変形例1における可視化プログラム52の機能構成を例示する図である。なお、本図に示された各構成のうち、図4に示された構成と実質的に同一のものには、同一の符号が付されている。
図11に例示するように、変形例1の可視化プログラム52は、図4の可視化プログラム50に、属性特定部550を追加した構成をとる。
属性特定部550は、被写体の属性(体脂肪率、性別、及び年齢など)を特定する。属性特定部550は、例えば、入力受付部510により受け付けた入力情報に基づいて、被写体の体脂肪率、性別、及び年齢を特定してもよいし、他の機器(体脂肪計など)から体脂肪率等を受信してもよい。
本変形例において、深さ情報生成部530は、撮影装置10により撮影された複数の画像と、撮影に用いられた光の波長領域と、属性特定部550により特定された被写体の属性とに基づいて、深さ情報を生成する。被写体の属性を加味して、静脈の深さを特定することができるため、深さ情報がより正確になることが期待できる。
[Modification 1]
Hereinafter, modifications of the above embodiment will be described.
FIG. 11 is a diagram illustrating a functional configuration of the visualization program 52 in the first modification. Of the components shown in the figure, those substantially the same as those shown in FIG. 4 are denoted by the same reference numerals.
As illustrated in FIG. 11, the visualization program 52 of Modification 1 has a configuration in which an
The
In the present modification, the depth
[変形例2]
上記実施形態では、深さ情報生成部530は、2つの画像を比較して、深さ情報を生成しているが、異なる波長領域の光で撮影された画像それぞれを、互いに異なる色で表し、異なる色の撮影画像を単純に重ね合わせてもよい。
このように、静脈可視化装置1は、撮影時の波長領域によって表示態様を切り替えることにより、静脈の深さを可視化してもよい。
[Modification 2]
In the above-described embodiment, the depth
As described above, the vein visualization apparatus 1 may visualize the depth of the vein by switching the display mode according to the wavelength region at the time of imaging.
[変形例3]
上記実施形態では、撮影装置10の向きと、階調処理で参照する画像領域の向きとの関係が固定である場合を具体例として説明したが、これに限定されるものではなく、例えば、撮影装置10により撮影された画像に基づいて、静脈の大まかな方向を推定し、推定された静脈の方向に基づいて、階調処理で参照する画像領域の向きを決定してもよい。
静脈の方向の推定は、例えば、腕を撮影する場合に、腕の輪郭を撮影画像から検出し、検出された腕の輪郭の向きを静脈の方向として推定する。
[Modification 3]
In the above-described embodiment, the case where the relationship between the orientation of the imaging device 10 and the orientation of the image area referred to in the gradation processing is fixed has been described as a specific example. However, the present invention is not limited to this. The rough direction of the vein may be estimated based on the image captured by the apparatus 10, and the direction of the image region to be referred to in the gradation processing may be determined based on the estimated vein direction.
For example, when the arm is photographed, the contour of the vein is detected from the captured image, and the detected direction of the contour of the arm is estimated as the direction of the vein.
[その他の変形例]
上記実施形態では、撮影装置10と画像出力装置20とがUSBケーブルで接続された形態を説明したが、撮影装置10と画像出力装置20とが一体化され、1つの筐体で静脈可視化装置1が構成されてもよい。
また、上記実施形態の階調処理部520は、長方形の画像領域を参照して局所2値化しているが、ひし形又は楕円形などの他の形状の画像領域を参照して局所2値化してもよい。
また、上記実施形態では、照明装置14が、互いに異なる波長領域の光を照射して、波長領域の異なる反射光を撮影しているが、カメラ14のフィルタを切り替えて、互いに異なる波長領域の反射光を撮影してもよい。
[Other variations]
In the above embodiment, the form in which the imaging device 10 and the image output device 20 are connected by the USB cable has been described. However, the imaging device 10 and the image output device 20 are integrated, and the vein visualization device 1 is formed in one housing. May be configured.
The
Moreover, in the said embodiment, although the illuminating device 14 irradiates the light of a mutually different wavelength region, and image | photographs the reflected light from which a wavelength region differs, the filter of the camera 14 is switched and reflection of a mutually different wavelength region is carried out. You may shoot light.
1…静脈可視化装置
10…撮影装置
20…画像出力装置
50…可視化プログラム
DESCRIPTION OF SYMBOLS 1 ... Vein visualization apparatus 10 ... Imaging | photography apparatus 20 ... Image output apparatus 50 ... Visualization program
Claims (13)
前記撮影部により撮影された複数の画像に基づいて、血管の深さ情報を生成する深さ情報生成部と、
前記深さ情報生成部により生成された深さ情報と、前記撮影部により撮影された画像とに基づいて、血管の位置を示す情報を出力する出力部と
を有する血管可視化装置。 An imaging unit for imaging the same subject with light in the first wavelength region and light in the second wavelength region;
A depth information generator for generating blood vessel depth information based on a plurality of images captured by the imaging unit;
A blood vessel visualization apparatus comprising: an output unit that outputs information indicating a blood vessel position based on depth information generated by the depth information generation unit and an image captured by the imaging unit.
前記深さ情報生成部は、前記第1の近赤外光撮影部により撮影された画像と、前記第2の近赤外光撮影部により撮影された画像との差異に基づいて、血管の深さ情報を生成する
請求項1に記載の血管可視化装置。 The imaging unit irradiates near-infrared light belonging to a first wavelength region, irradiates near-infrared light belonging to a first wavelength region, and irradiates near-infrared light belonging to a second wavelength region. A second near-infrared light photographing unit for photographing a subject,
The depth information generation unit is configured to determine a depth of a blood vessel based on a difference between an image photographed by the first near-infrared light photographing unit and an image photographed by the second near-infrared light photographing unit. The blood vessel visualization device according to claim 1, which generates depth information.
前記深さ情報生成部は、前記第1の近赤外光撮影部により撮影された画像に基づいて特定された血管を、前記第2の近赤外光撮影部により撮影された画像に基づいて特定された血管よりも浅い位置の血管として、血管の深さ情報を生成する
請求項2に記載の血管可視化装置。 The first wavelength region is a wavelength region shorter than the second wavelength region,
The depth information generation unit is configured to identify a blood vessel identified based on an image photographed by the first near infrared light photographing unit based on an image photographed by the second near infrared light photographing unit. The blood vessel visualization device according to claim 2, wherein blood vessel depth information is generated as a blood vessel at a position shallower than the identified blood vessel.
をさらに有し、
前記出力部は、前記階調処理部により階調数が減少した画像データを表示させる
請求項1に記載の血管可視化装置。 The image processing apparatus further includes a gradation processing unit that refers to image data of an image region having a shape that is not four-fold symmetric among images captured by the photographing unit and reduces the number of gradations of the image data included in the image region. And
The blood vessel visualization device according to claim 1, wherein the output unit displays image data in which the number of gradations is reduced by the gradation processing unit.
請求項4に記載の血管可視化装置。 The blood vessel visualization device according to claim 4, wherein the gradation processing unit changes the shape or size of the image region in accordance with a user input.
請求項5に記載の血管可視化装置。 The blood vessel visualization device according to claim 5, wherein the gradation processing unit changes the shape or size of the image region according to a skin surface state or age input by a user.
をさらに有し、
前記深さ情報生成部は、前記属性特定部に特定された属性と、前記撮影部による撮影で用いられた波長領域とに基づいて、撮影された画像に含まれる血管画像について、深さ情報を生成する
請求項1に記載の血管可視化装置。 An attribute specifying unit for specifying at least one of the body fat percentage, sex, and age of the subject as a subject attribute;
The depth information generation unit obtains depth information about the blood vessel image included in the imaged image based on the attribute specified by the attribute specifying unit and the wavelength region used for imaging by the imaging unit. The blood vessel visualization device according to claim 1 to generate.
前記照明装置は、近赤外光を拡散して、被写体の穿刺部位の近傍に照射する
請求項2に記載の血管可視化装置。 The photographing unit irradiates near-infrared light belonging to the first wavelength region and near-infrared light belonging to the second wavelength region, and reflected light of the near-infrared light irradiated by the irradiation device. A camera that receives light and generates image data,
The blood vessel visualization device according to claim 2, wherein the illumination device diffuses near-infrared light and irradiates the vicinity of a puncture site of a subject.
前記照明装置は、互いに異なる位置及び方向に配置された複数の発光ダイオードで構成される
請求項2に記載の血管可視化装置。 The photographing unit irradiates near-infrared light belonging to the first wavelength region and near-infrared light belonging to the second wavelength region, and reflected light of the near-infrared light irradiated by the irradiation device. A camera that receives light and generates image data,
The blood vessel visualization device according to claim 2, wherein the illumination device includes a plurality of light emitting diodes arranged at different positions and directions.
前記撮影部により撮影された複数の画像それぞれに含まれる画像要素を、撮影時の波長領域毎に異なる表示態様で表現し、互いに異なる表示態様で表現された複数の画像の画像要素を合成して表示させる出力部と
を有する血管可視化装置。 An imaging unit for imaging the same subject in each of a plurality of wavelength regions;
The image elements included in each of the plurality of images captured by the imaging unit are expressed in different display modes for each wavelength region at the time of shooting, and the image elements of the plurality of images expressed in different display modes are combined A blood vessel visualization device comprising: an output unit for displaying.
前記撮影部により撮影された画像のうち、4回対称ではない形状の画像領域の画像データを参照して、この画像領域に含まれる画像データの階調数を減少させる階調処理部と、
前記階調処理部により階調数が減少した画像に基づいて、血管の位置を示す情報を出力する出力部と
を有する血管可視化装置。 An imaging unit that captures a subject with light in a predetermined wavelength range;
A gradation processing unit that reduces the number of gradations of image data included in the image region with reference to image data of an image region having a shape that is not four-fold symmetric among images captured by the photographing unit;
A blood vessel visualization device comprising: an output unit that outputs information indicating a blood vessel position based on an image in which the number of gradations is reduced by the gradation processing unit.
第2の波長領域の光で前記被写体を撮影するステップと、
撮影された複数の画像に基づいて、血管の深さ情報を生成するステップと、
生成された深さ情報と、撮影された画像とに基づいて、血管の位置を示す情報を出力するステップと
を有する血管可視化方法。 Photographing a subject with light in a first wavelength region;
Photographing the subject with light in a second wavelength region;
Generating blood vessel depth information based on a plurality of captured images;
A blood vessel visualization method comprising: outputting information indicating a position of the blood vessel based on the generated depth information and the captured image.
生成された深さ情報と、撮影された画像とに基づいて、血管の位置を示す情報を出力するステップと
をコンピュータに実行させるプログラム。 Generating blood vessel depth information based on an image of a subject imaged with light in a first wavelength region and an image of the subject imaged with light in a second wavelength region;
A program for causing a computer to execute the step of outputting information indicating the position of a blood vessel based on the generated depth information and a captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013141240A JP2015012984A (en) | 2013-07-05 | 2013-07-05 | Blood vessel visualization device, blood vessel visualization method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013141240A JP2015012984A (en) | 2013-07-05 | 2013-07-05 | Blood vessel visualization device, blood vessel visualization method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015012984A true JP2015012984A (en) | 2015-01-22 |
Family
ID=52435279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013141240A Pending JP2015012984A (en) | 2013-07-05 | 2013-07-05 | Blood vessel visualization device, blood vessel visualization method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015012984A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021065344A1 (en) * | 2019-10-04 | 2021-04-08 | 株式会社エンプラス | Lighting device and observation apparatus |
| CN113825452A (en) * | 2019-05-15 | 2021-12-21 | 日本麦可罗尼克斯股份有限公司 | Blood vessel position display device and blood vessel position display method |
| CN115191953A (en) * | 2022-09-08 | 2022-10-18 | 首都医科大学宣武医院 | A visual injection system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070038118A1 (en) * | 2005-08-10 | 2007-02-15 | Depue Marshall Thomas | Subcutaneous tissue imager |
| JP2008073103A (en) * | 2006-09-19 | 2008-04-03 | A Mullani Nijar | Super irradiation apparatus having orange light |
| WO2013042395A1 (en) * | 2011-09-20 | 2013-03-28 | オリンパスメディカルシステムズ株式会社 | Image processing equipment and endoscopic system |
-
2013
- 2013-07-05 JP JP2013141240A patent/JP2015012984A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070038118A1 (en) * | 2005-08-10 | 2007-02-15 | Depue Marshall Thomas | Subcutaneous tissue imager |
| JP2007044532A (en) * | 2005-08-10 | 2007-02-22 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | Subcutaneous tissue camera |
| JP2008073103A (en) * | 2006-09-19 | 2008-04-03 | A Mullani Nijar | Super irradiation apparatus having orange light |
| WO2013042395A1 (en) * | 2011-09-20 | 2013-03-28 | オリンパスメディカルシステムズ株式会社 | Image processing equipment and endoscopic system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113825452A (en) * | 2019-05-15 | 2021-12-21 | 日本麦可罗尼克斯股份有限公司 | Blood vessel position display device and blood vessel position display method |
| WO2021065344A1 (en) * | 2019-10-04 | 2021-04-08 | 株式会社エンプラス | Lighting device and observation apparatus |
| CN115191953A (en) * | 2022-09-08 | 2022-10-18 | 首都医科大学宣武医院 | A visual injection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12185905B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
| WO2023103467A1 (en) | Image processing method, apparatus and device | |
| US10682089B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6273640B2 (en) | Captured image display device | |
| CN105338887A (en) | Skin function evaluation device and skin evaluation method | |
| JP2011516151A (en) | Identification of blood vessel position | |
| JP2015008785A (en) | Endoscope apparatus, and operation method and program of endoscope apparatus | |
| WO2020036121A1 (en) | Endoscope system | |
| WO2017199635A1 (en) | Image analysis device, image analysis system, and method for operating image analysis device | |
| JP2013153882A (en) | Image processing system, processing method, and program | |
| JP2015000347A (en) | Medical image processor and medical image processing program | |
| JPWO2020067100A1 (en) | Medical image processing equipment, processor equipment, medical image processing methods, and programs | |
| JP2024169447A (en) | Dynamic adjustment of flash intensity based on retinal pigmentation | |
| KR20190011659A (en) | Skin undertone determining method and an electronic device | |
| US20220172358A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM (as amended) | |
| JP2015012984A (en) | Blood vessel visualization device, blood vessel visualization method, and program | |
| US20180374211A1 (en) | Information processing apparatus, and program, method and system thereof | |
| TWI777142B (en) | Blood vessel position display device and blood vessel position display method | |
| US11341666B2 (en) | Image processing device, endoscope system, operation method of image processing device, and computer-readable recording medium | |
| CN104661595B (en) | Noninvasive Biometric Devices | |
| JP2018196426A (en) | Pore detection method and pore detection device | |
| JP7284103B2 (en) | Image processing device, image processing method and image processing program | |
| JP2022119872A (en) | image projection device | |
| US11039077B2 (en) | Image processing device, endoscope system, image processing method, and computer-readable recording medium | |
| JP2015191512A (en) | Blood vessel part emphasis image generation device and blood vessel part emphasis image generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170421 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171010 |