[go: up one dir, main page]

JP2010088795A - 医用画像処理装置及び医用画像診断装置 - Google Patents

医用画像処理装置及び医用画像診断装置 Download PDF

Info

Publication number
JP2010088795A
JP2010088795A JP2008264206A JP2008264206A JP2010088795A JP 2010088795 A JP2010088795 A JP 2010088795A JP 2008264206 A JP2008264206 A JP 2008264206A JP 2008264206 A JP2008264206 A JP 2008264206A JP 2010088795 A JP2010088795 A JP 2010088795A
Authority
JP
Japan
Prior art keywords
medical image
lumen
blood vessel
contour
contour points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008264206A
Other languages
English (en)
Other versions
JP5305821B2 (ja
Inventor
Takahiro Manabe
崇寛 眞鍋
Kyoko Fujisawa
恭子 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008264206A priority Critical patent/JP5305821B2/ja
Priority to CN2009101763610A priority patent/CN101727661B/zh
Priority to US12/576,564 priority patent/US8437520B2/en
Publication of JP2010088795A publication Critical patent/JP2010088795A/ja
Application granted granted Critical
Publication of JP5305821B2 publication Critical patent/JP5305821B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】スライス方向での分類領域の連続性を確保することができ、さらに、内腔の誤検出を防止することができる医用画像処理装置を提供する。
【解決手段】医用画像処理装置は、医用画像の三次元ボリュームデータから血管の石灰化を抽出する手段(S2)と、三次元ボリュームデータから血管の内腔を抽出する手段(S3)と、三次元ボリュームデータから血管の外壁を抽出する手段(S4)と、三次元ボリュームデータから血管のプラークを抽出する手段(S5)とを備え、内腔を抽出する手段は、三次元ボリュームデータから複数のスライス画像を有する曲面任意多断面再構成画像を求め、求めた曲面任意多断面再構成画像の複数のスライス画像を用いて内腔の複数の輪郭点を求め、求めた複数の輪郭点に対してスライス方向の連続性を得る補正を行い、求めた複数の輪郭点及び補正した輪郭点に対して曲線近似及び補間を行い、内腔の輪郭を抽出する。
【選択図】図3

Description

本発明は、医用画像を処理する医用画像処理装置及びその医用画像処理装置を備える医用画像診断装置に関する。
医用画像診断装置は、医用画像を撮影する医用画像撮影装置やその医用画像を処理する医用画像処理装置などを備えている。医用画像撮影装置としては、例えば、X線断層撮影装置(X線CT装置)などが挙げられる。このX線断層撮影装置は、被検体にX線を照射し、その被検体を通過したX線を検出し、被検体の内部(注目部位)をCT画像として表示する装置である。
前述の医用画像診断装置を用いた心臓の冠動脈診断では、医師が手動で冠動脈を石灰化、内腔(造影剤)、外壁及びプラークの四種類に分類している。この分類を自動化するため、クラスタリングアルゴリズムの開発が行われている(例えば、特許文献1参照)。現状のアルゴリズムでは、二次元の血管スライス画像を用いて自動的に閾値を算出して分類を行う二次元処理が行われている。
特開2003−79606号公報
しかしながら、前述の二次元処理では、プラーク領域や石灰化領域などの分類領域が隣り合うスライス画像で突然現れたり、あるいは、消えたりするため、スライス方向(血管の延伸方向)での分類領域の連続性はなくなってしまう。さらに、石灰石のボケ全体が内腔として検出されるため、石灰化のボケに起因して内腔の誤検出も発生してしまう。
本発明は上記に鑑みてなされたものであり、スライス方向での分類領域の連続性を確保することができ、さらに、内腔の誤検出を防止することができる医用画像処理装置及び医用画像診断装置を提供することである。
本発明の実施の形態に係る第1の特徴は、医用画像処理装置において、医用画像の三次元ボリュームデータから血管の石灰化を抽出する手段と、三次元ボリュームデータから血管の内腔を抽出する手段と、三次元ボリュームデータから血管の外壁を抽出する手段と、三次元ボリュームデータから血管のプラークを抽出する手段とを備え、内腔を抽出する手段は、三次元ボリュームデータから複数のスライス画像を有する曲面任意多断面再構成画像を求め、求めた曲面任意多断面再構成画像の複数のスライス画像を用いて内腔の複数の輪郭点を求め、求めた複数の輪郭点に対してスライス方向の連続性を得る補正を行い、求めた複数の輪郭点及び補正した輪郭点に対して曲線近似及び補間を行い、内腔の輪郭を抽出することである。
本発明の実施の形態に係る第2の特徴は、医用画像診断装置において、医用画像を撮影する医用画像撮影装置と、前述の第1の特徴に係る医用画像処理装置とを備えることである。
本発明の実施の形態に係る第3の特徴は、医用画像処理装置において、医用画像の三次元ボリュームデータ内の三次元関心領域を求める手段と、三次元ボリュームデータの石灰化領域を求める手段と、三次元関心領域のヒストグラムに基づいて血管の内腔領域と血管壁領域を決めるための閾値を求める手段と、閾値に基づいて、血管の内腔領域または血管壁領域の少なくとも一方の領域を識別可能に表示する表示手段とを備えることである。
本発明によれば、スライス方向での分類領域の連続性を確保することができ、さらに、内腔の誤検出を防止することができる。
本発明の実施の一形態について図面を参照して説明する。
図1に示すように、本発明の実施の形態に係る医用画像診断装置1は、被検体の注目部位(例えば、心臓)に関する医用画像を撮影する医用画像撮影装置2と、その撮影した医用画像を保管する医用画像保管装置3と、医用画像を画像処理する医用画像処理装置4とを備えている。これらの各部はLAN(Local Area Network)などのネットワーク5により接続されている。
医用画像撮影装置2は、被検体の注目部位(関心部位)を示す医用画像を撮影する撮影装置である。この医用画像撮影装置2としては、例えば、X線断層撮影装置(X線CT装置)などを用いる。X線断層撮影装置を用いた場合には、医用画像はCT画像となる。
医用画像保管装置3は、医用画像撮影装置2により得られた医用画像(例えば、被検体の各部位に関するCT画像であるボリュームデータなど)を記憶するデータベースである。ここで、被検体の各部位としては、例えば、心臓、肺及び胃などが挙げられる。なお、医用画像(ボリュームデータ)は、医用画像撮影装置2からネットワーク5を介して医用画像保管装置3に送信される。
医用画像処理装置4は、図2に示すように、各部を集中的に制御するCPU(Central Processing Unit)などの制御部11と、ROM(Read Only Memory)やRAM(Random Access Memory)などのメモリ12と、医用画像などの各種画像を表示する表示部13と、操作者からの入力操作を受け付ける操作部14と、各種プログラムや各種データなどを記憶する記憶部15と、外部装置との通信を行う通信部16と、医用画像などの各種画像を処理する画像処理部17とを備えている。これらの各部は、バスライン18により電気的に接続されている。
制御部11は、記憶部15に記憶された各種プログラムや各種データなどに基づいて、各部を制御する。特に、制御部11は、各種のプログラムやデータに基づいて、データの計算又は加工などを行う一連のデータ処理、医用画像を処理する画像処理及び医用画像を表示する表示処理などを実行する。
メモリ12は、制御部11が実行する起動プログラムなどを記憶するメモリであって、制御部11のワークエリアとしても機能するメモリである。なお、起動プログラムは、医用画像処理装置4の起動時に制御部11により読み出されて実行される。
表示部13は、二次元画像や三次元画像などの各種画像をカラー表示する表示装置である。この表示部13としては、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイなどを用いる。
操作部14は、操作者により入力操作される入力部であって、画像表示の開始や画像の切り替え、設定の変更などの各種の入力操作を受け付ける入力部である。この操作部14としては、例えば、マウスやキーボードなどの入力デバイスを用いる。
記憶部15は、各種のプログラムやデータなどを記憶する記憶装置であって、特に、画像処理のために医用画像保管装置3からネットワーク5を介して送信された各部位の三次元ボリュームデータD1を記憶する記憶装置である。この記憶部15としては、例えば、磁気ディスク装置や半導体ディスク装置(フラッシュメモリ)などを用いる。
通信部16は、LANやインターネットなどのネットワーク5を介して外部装置との通信を行う装置である。この通信部16としては、LANカードやモデムなどを用いる。外部装置としては、医用画像撮影装置2及び医用画像保管装置3などが挙げられる。
画像処理部17は、三次元ボリュームデータD1に対して画像処理を行う装置である。この画像処理部17は、例えば、三次元ボリュームデータD1としての心臓ボリュームデータに対して冠動脈クラスタリングを行う。すなわち、心臓の冠動脈を石灰化、内腔(造影剤)、外壁及びプラークの四領域に自動分類する。なお、画像処理部17は、ソフトウェア又はハードウェア(回路)あるいはそれらの両方により構成されている。
次に、前述の画像処理部17が行う画像処理について説明する。なお、ここでは、注目部位が心臓であり、記憶部15には、三次元ボリュームデータD1として心臓ボリュームデータが格納されている場合について説明する。なお、処理に用いる各種のデータは必要に応じて記憶部15に一時的あるいは長期的に保存される。
画像処理部17は、基本処理として、図3に示すように、心臓ボリュームデータに対し、画像切り出し処理(ステップS1)、石灰化抽出処理(ステップS2)、内腔(造影剤)抽出処理(ステップS3)、外壁抽出処理(ステップS4)及びプラーク抽出処理(ステップS5)を実行し、抽出結果を取得する。
図3のステップS1では、図4に示すように、心臓ボリュームデータD1から注目領域である処理領域R1が切り出され、切り出された処理領域R1は三次元処理される。これにより、図5に示すように、切り出しデータ(3Dボリュームデータ)D2が得られる。なお、処理領域R1としては、例えば、血管である冠動脈の一部分が切り出される。
図3のステップS2では、図6に示すように、心臓ボリュームデータD1から大動脈起始部R2のCT値が取得され、その大動脈起始部R2のCT値の1.2倍を上回るCT値の領域が石灰化(石灰化プラーク)として抽出され、図7に示すように、石灰化抽出結果K1が得られる。なお、ここでは、造影剤のCT値より石灰化のCT値が高いことが利用されており、特に、パーシャルボリュームエフェクトの小さい大動脈起始部R2のCT値が用いられている。
図3のステップS3では、図8に示すように、まず、芯点P1が内腔にない場合に補正が行われ(ステップS11)、次いで、切り出しボリュームD2から複数断面のCPR(Curved Planer Reconstruction)像が作成され(ステップS12)、芯点P1から内壁に向かう方向にスキャンが行われ、内壁の輪郭点P2が抽出される(ステップS13)。さらに、石灰化前後の輪郭点P2が補正され(ステップS14)、分岐あるいは異常点がある場合には、補正が行われ(ステップS15)、内腔の輪郭点P2の円近次及び三次元補間(3D補間)が行われる(ステップS16)。なお、CPR像は、複数のスライス画像を有する曲面任意多断面再構成画像である。
図8のステップS11では、図9に示すように、まず、切り出しボリュームD2から芯線周りにチューブROI(3次元的な関心領域)が取られ(ステップS21)、そのチューブROI内の石灰化が抽出及び除去され(ステップS22)、石灰化領域を除去したチューブROI内のヒストグラムに基づいて、閾値が算出されて二値化により内腔が粗抽出され(ステップS23)、SA平面(スライス平面)上で二値化により内腔の重心が取られ、その重心と旧芯点とでCT値が高い方が芯点P1に取られる(ステップS24)。このようにして芯点P1が補正される。
ここで、図10に示すように、芯点P1が内腔の領域内から外れた場合には(図10中の白輪内参照)、前述の処理により、芯点P1が内腔の領域内に入るように補正され、図11に示すように、芯点P1が内腔の領域内に存在するようになる(図11中の白輪内参照)。なお、各芯点P1を通る線が芯線である。
図8のステップS12及びステップS13では、例えば、図12に示すように、芯線方向(血流方向:図12中の矢印参照)に垂直なプロファイル断面が芯線方向に順次取られ、各プロファイル断面において内壁に向かう方向にスキャンが行われる。これにより、芯点P1を中心として、例えば、図13及び図14に示すようなプロファイルが得られる。なお、図13のプロファイルは、図12に示すプロファイル断面ABから得られ、図14のプロファイルは、図12に示すプロファイル断面CDから得られる。得られた各プロファイルから、図15に示すような内腔の輪郭点P2が複数抽出される。
ここで、輪郭点P2抽出用の閾値はプロファイルの正方向と負方向で別々に設定されている。図13のプロファイルでは、正方向及び負方向において、最大CT値と最小CT値の50%の位置が内腔の輪郭点P2として別々に抽出される。また、図14のプロファイルでは、負方向において、最大CT値と最小CT値の50%の位置が内腔の輪郭点P2として抽出され、正方向においては、石灰化にぶつかるため、石灰化の位置が内腔の輪郭点P2として抽出される。
図8のステップS14では、例えば、図16に示すように、石灰化前後の二つの輪郭点A1、A2(図16中の黒輪内の輪郭点P2)が選択され、その後、輪郭点A1の前後の二つの輪郭点B1、C1が選択され、同様に、輪郭点A2の前後の二つの輪郭点B2、C2が選択される。次いで、図17に示すように、輪郭点B1と輪郭点C1とを結ぶ直線(図17中の黒点線参照)と、輪郭点A1と芯点P1(輪郭点A1と同じプロファイル断面での芯点)とを結ぶ直線との交点が求められ、その交点に輪郭点A1の位置が置き換えられる。同様に、輪郭点B2と輪郭点C2とを結ぶ直線(図17中の黒点線参照)と、輪郭点A2と芯点P1(輪郭点A2と同じプロファイル断面での芯点)とを結ぶ直線との交点が求められ、その交点に輪郭点A2の位置が置き換えられる。このようにして、図18に示すように、石灰化前後の輪郭点A1、A2が補正される。なお、他の石灰化前後の輪郭点P2も同様に補正される。
図8のステップS15では、分岐判定として、例えば、図19に示すように、注目する輪郭点P2(図19中の黒輪内の輪郭点P2)と、その前後の二つの輪郭点P2を結ぶ直線(図19中の黒点線参照)との距離が測定され、その距離が一定距離以上離れていた場合、注目する輪郭点P2が分岐先端点として判定される。同様にして、不連続性の原因となる異常な場所にとられた輪郭点P2が異常点として判定される。
さらに、図8のステップS15では、分岐補正として、例えば、図20に示すように、分岐先端点である輪郭点P2の次の輪郭点P2(血流方向において次の位置:図20中のバツ印参照)と、分岐先端点である輪郭点P2の二つ先の輪郭点P2(血流方向において二つ先の位置:図20中のバツ印参照)とを通る直線(図20中の白点線参照)に対し、一定距離以内にある輪郭点P2(図20中の黒輪内の輪郭点P2)が分岐開始点として判定される。その分岐開始点と、前述の分岐先端点の次の輪郭点P2とを結ぶ直線で分岐が切り離され、図21に示すように、その直線上に各輪郭点P2の位置が置き換えられる(図21中の黒輪内参照)。
最後に、図8のステップS16では、例えば、図22に示すように、複数のプロファイル断面から得られた各輪郭点P2がスライス平面毎に円近似などの曲線近似され、さらに、三次元ボリュームデータD1上で近似円がスライス方向に順次補間される。これにより、図23に示すように、内腔抽出結果K2が得られる。
図3に戻り、ステップS4では、図24に示すように、まず、切り出しボリュームD2に対して、SA平面(スライス平面)上で放射状にスキャンが行われて外壁の輪郭点P3が抽出され(ステップS31)、次いで、外れ点補正が行われ(ステップS32)、心筋補正が行われ(ステップS33)、円近似及び補間が行われる(ステップS34)。
図24のステップS31では、図25に示すように、例えば32方向に放射状にスキャンが行われ、閾値処理により外壁の輪郭点P3が抽出される。外壁の輪郭点抽出の閾値はスキャン経路の最大CT値で調整され、周辺のCT値の影響も考慮される。閾値Thは、例えばTh=th+0.1×CTmaxに設定される。
図24のステップS32では、図26に示すように、抽出された外壁の輪郭点P3の中での外れ点が補正される。例えば、静脈や心筋が近くにあるため、間違った位置に抽出された輪郭点P3が外れ点として認識されて除去される。この除去方法としては、例えば、芯点P1からの距離の標準偏差が計算され、そこから外れる輪郭点(外側のみ)P3が外れ点として除去される。
図24のステップS33では、図27及び図28に示すように、外壁と心筋の輪郭判別が不可能である場合、すなわち、隣り合うスライス平面間で外壁径の急激な変化がある場所、あるいは、内壁(芯点P1)が外壁内にない場所が失敗として判定される。失敗として判定された場所では、血管中心が内腔中心としておかれ、外壁径は空気層との最小径と前スライスの径との平均値が取られて求められ、外壁の輪郭点P3が補充される。すなわち、血管中心及び外壁の最小径が求められ、前スライス径との平均値が取られる。なお、図27の左図の状態で心筋補正を行わなかった場合には、前スライスと比較して外壁径が急激に大きくなり、連続性が失われてしまう。同様に、図28の左図の状態で心筋補正を行わなかった場合には、内腔が外壁の外に出て、連続性が失われてしまう。
最後に、図24のステップS34では、例えば、複数のスライス平面から得られた外壁の各輪郭点P3がスライス平面毎に円近似され、さらに、三次元ボリュームデータD1上で近似円がスライス方向に順次補間される。これにより、図29に示すように、外壁抽出結果K3が得られる。
図3に戻り、ステップS5では、CT値が周りよりも落ち込む領域がプラークとして抽出される。すなわち、血管壁内がクラスタリングされ、周りよりも暗い領域が探索される。詳しくは、ステップS5において、三次元平滑化フィルタにより血管壁内領域が平滑化され、平滑化された平滑化画像から元の血管壁内領域が差し引かれ、図30に示すような画像が得られる。その後、差分の結果から一定値以上の領域がプラークとして抽出され、図31に示すように、プラーク抽出結果K4が得られる。
このようにして、石灰化抽出結果K1、内腔抽出結果K2、外壁抽出結果K3及びプラーク抽出結果K4が得られ、これらの結果は記憶部15に順次保存される。また、この抽出結果に対応する画像は表示部13に表示され、医師などの診断者は画像を視認して診断を行う。
この画像処理では、CPR像の複数のスライス画像(断面画像)が用いられて内腔の輪郭点P2が複数取られ、その後、円近似及び三次元補間(3D補間)が行われて内腔輪郭が取られる。その際、スライス方向である長手方向(血管の延伸方向)の連続性が考慮され、内腔輪郭が連続となっていない、すなわち滑らかでない場合には、補正が加えられる。これにより、スライス方向での内腔の連続性を確保することができ、さらに、石灰化のボケによる内腔の誤検出を防止することができる。
ここで、例えば、図32に示すように、図4に示す処理領域R1として冠動脈における図32中の38〜46の領域が切り出され、前述の処理が行われると、石灰化抽出結果K1、内腔抽出結果K2、外壁抽出結果K3及びプラーク抽出結果K4が抽出結果として得られる(図7、図23、図29及び図31参照)。
Z軸方向のスライス画像38〜46は、図33に示すように、三次元処理結果(3D処理結果)として得られ、表示部13に表示される。なお、図33には、比較例として、入力データ、手動分類及び二次元処理結果(2D処理結果)における各スライス画像38〜46も記載されている。入力データは生データであり、手動分類結果は医師などの診断者が入力データを視認しながら操作部14を入力操作して分類を行った結果であり、二次元処理結果は二次元ボリュームデータを用いる二次元処理を行った結果である。
二次元処理結果では、図33中の黒矢印及び白矢印を参照すると、隣り合うスライス画像でプラーク(図33中の黒領域参照)や石灰化(図33中の白領域参照)が突然現れたり、消えたりしている。特に、その現象はプラークで顕著である。したがって、プラーク領域や石灰化領域に連続性がないことがわかる。この不連続は二次元処理においてスライス画像1枚毎に処理を行うために生じている。また、二次元処理結果では、図33中の白矢印を参照すると、石灰化のボケによる内腔の誤検出により石灰化(図33中の白領域参照)が内腔(図33中の斜線ハッチング参照)内に存在してしまっている。つまり、二次元処理では、石灰化のボケ部分が内腔として検出されてしまう。
一方、三次元処理結果では、図33中の黒矢印及び白矢印を参照すると、プラークや石灰化が隣り合うスライス画像間で連続となっている。さらに、図33中の白矢印を参照すると、石灰化のボケによる内腔の誤検出がなくなり、石灰化が内腔の外に存在している。したがって、前述の二次元処理結果のように、プラーク領域や石灰化領域などの分類領域が隣り合うスライス画像で突然現れたり、消えたりすることがなくなり、スライス方向での分類領域(プラーク領域や石灰化領域など)の連続性を確保することができ、さらに、石灰化のボケによる内腔の誤検出を防止することができる。
また、手動分類処理においては、医師などの診断者が手動により分類を行うため、分類する作業時間が長くなり、また、細かい部分までの分類が困難である。特に、分類作業は経験や技量に左右されるため、経験や技量が不足している場合には、作業時間が非常に長くなり、さらに、細かい部分までの分類が非常に困難となる。
一方、三次元処理結果では、連続性が確保され正確な分類が行われた画像が自動的に表示されるので、作業効率を向上させることができ、さらに、正確な診断を行うことができる。特に、診断者の経験や熟練度などに依存することなく、患者の心臓の血管状況を的確に把握することが可能になるので、正確な診断を行うことができる。
以上説明したように、本発明の実施の形態によれば、三次元ボリュームデータD1から複数のスライス画像を有するCPR画像を求め、求めたCPR画像の各スライス画像を用いて内腔の複数の輪郭点P2を求め、求めた各輪郭点P2に対してスライス方向の連続性を得る補正を行い、求めた各輪郭点P2及び補正した輪郭点P2に対して円近似及び補間を行い、内腔の輪郭を抽出することによって、プラーク領域や石灰化領域などの分類領域が隣り合うスライス画像で突然現れたり、消えたりすることがなくなり、スライス方向での分類領域の連続性を確保することができ、さらに、石灰化のボケによる内腔の誤検出を防止することができる。また、連続性の確保や誤検出の防止を実現し、血管を各領域に分類する分類精度を向上させることができる。
また、求めた各輪郭点P2に対し、抽出した石灰化の周辺の輪郭点P2を内腔の輪郭が滑らかになるように血管の内側に移動させる補正を行うことによって、簡略な処理により、スライス方向での分類領域の連続性を確実に確保することができ、さらに、内腔の輪郭を精度良く得ることができる。
加えて、求めた各輪郭点P2に対し、血管の分岐周辺の輪郭点P2を内腔の輪郭が滑らかになるように血管の内側に移動させる補正を行うことによって、簡略な処理により、スライス方向での分類領域の連続性を確実に確保することができ、さらに、内腔の輪郭を精度良く得ることができる。
また、三次元ボリュームデータD1における複数のスライス画像を用いて外壁の複数の輪郭点P3を求め、求めた各輪郭点P3に対してスライス方向の連続性を得る補正を行い、求めた各輪郭点P3及び補正した輪郭点P3に対して円近似及び補間を行い、外壁の輪郭を抽出することによって、自動で正確に外壁の輪郭を抽出することができ、さらに、連続性を保持しながら外壁の輪郭を抽出することができる。
また、求めた外壁の各輪郭点P3に対し、血管の芯点P1から所定距離外れた輪郭点P3を除去する補正を行うことによって、簡略な処理により、スライス方向での外壁領域の連続性を確実に確保することができ、さらに、外壁の輪郭を精度良く得ることができる。
加えて、血管の径を監視し、隣り合うスライス画像を用いて外壁の輪郭点P3を追加する補正を行うことによって、簡略な処理により、スライス方向での外壁領域の連続性を確実に確保することができ、さらに、外壁の輪郭を精度良く得ることができる。
なお、本発明は、前述の実施の形態に限るものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、前述の実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせてもよい。また、前述の実施の形態においては、各種の数値を挙げているが、それらの数値は例示であり、限定されるものではない。
前述の実施の形態においては、X線断層撮影装置(X線CT装置)などを用いて医用画像撮影装置2を構成しているが、これに限るものではなく、例えば、他の撮影装置を用いるようにしてもよく、さらに、X線断層撮影装置などの医用画像撮影装置2に医用画像処理装置4を組み込み、医用画像診断装置1を構成するようにしてもよい。
本発明の実施の一形態に係る医用画像診断装置の概略構成を示すブロック図である。 図1に示す医用画像診断装置が備える医用画像処理装置の概略構成を示すブロック図である。 図2に示す医用画像処理装置が行う画像処理の流れを示すフローチャートである。 図3に示す画像処理の画像切り出し処理における心臓ボリュームデータを説明するための説明図である。 図3に示す画像処理の画像切り出し処理による切り出しデータを説明するための説明図である。 図3に示す画像処理の石灰化処理における心臓ボリュームデータを説明するための説明図である。 図3に示す画像処理の石灰化抽出処理による石灰化抽出結果を説明するための説明図である。 図3に示す画像処理の内腔抽出処理の流れを示すフローチャートである。 図8に示す内腔抽出処理の芯点補正処理の流れを示すフローチャートである。 図9に示す芯点補正処理における芯点の補正を説明するための説明図である。 図9に示す芯点補正処理における芯点の補正を説明するための説明図である。 図8に示す内腔抽出処理における輪郭点の抽出を説明するための説明図である。 図12に示す第1のプロファイル断面図から得られた第1のプロファイルを説明するための説明図である。 図12に示す第2のプロファイル断面図から得られた第2のプロファイルを説明するための説明図である。 図8に示す内腔抽出処理における輪郭点の抽出を説明するための説明図である。 図8に示す内腔抽出処理における石灰化前後の輪郭点の補正を説明するための説明図である。 図8に示す内腔抽出処理における石灰化前後の輪郭点の補正を説明するための説明図である。 図8に示す内腔抽出処理における石灰化前後の輪郭点の補正を説明するための説明図である。 図8に示す内腔抽出処理における分岐あるいは異常の輪郭点の補正を説明するための説明図である。 図8に示す内腔抽出処理における分岐あるいは異常の輪郭点の補正を説明するための説明図である。 図8に示す内腔抽出処理における分岐あるいは異常の輪郭点の補正を説明するための説明図である 図8に示す内腔抽出処理における輪郭点の円近次及び三次元補間を説明するための説明図である。 図8に示す内腔抽出処理による内腔抽出結果を説明するための説明図である。 図3に示す画像処理の外壁抽出処理の流れを示すフローチャートである。 図24に示す外壁抽出処理における輪郭点の抽出を説明するための説明図である。 図24に示す外壁抽出処理における外れ点の補正を説明するための説明図である。 図24に示す外壁抽出処理における心筋補正を説明するための説明図である。 図24に示す外壁抽出処理における心筋補正を説明するための説明図である。 図24に示す外壁抽出処理による外壁抽出結果を説明するための説明図である。 図3に示す画像処理のプラーク抽出処理における差分画像を説明するための説明図である。 図3に示す画像処理のプラーク抽出処理によるプラーク抽出結果を説明するための説明図である。 心臓の冠動脈を示す模式図である。 図32に示す冠動脈の一部を分類抽出した抽出結果を説明するための説明図である。
符号の説明
1 医用画像診断装置
2 医用画像撮影装置
4 医用画像処理装置
D1 三次元ボリュームデータ
P2 輪郭点(内腔の輪郭点)
P3 輪郭点(外壁の輪郭点)

Claims (9)

  1. 医用画像の三次元ボリュームデータから血管の石灰化を抽出する手段と、
    前記三次元ボリュームデータから前記血管の内腔を抽出する手段と、
    前記三次元ボリュームデータから前記血管の外壁を抽出する手段と、
    前記三次元ボリュームデータから前記血管のプラークを抽出する手段と、
    を備え、
    前記内腔を抽出する手段は、前記三次元ボリュームデータから複数のスライス画像を有する曲面任意多断面再構成画像を求め、求めた前記曲面任意多断面再構成画像の前記複数のスライス画像を用いて前記内腔の複数の輪郭点を求め、求めた前記複数の輪郭点に対してスライス方向の連続性を得る補正を行い、求めた前記複数の輪郭点及び補正した前記輪郭点に対して曲線近似及び補間を行い、前記内腔の輪郭を抽出することを特徴とする医用画像処理装置。
  2. 前記内腔を抽出する手段は、求めた前記複数の輪郭点に対し、抽出した前記石灰化の周辺の前記輪郭点を前記内腔の輪郭が滑らかになるように前記血管の内側に移動させる補正を行うことを特徴とする請求項1記載の医用画像処理装置。
  3. 前記内腔を抽出する手段は、求めた前記複数の輪郭点に対し、前記血管の分岐周辺の前記輪郭点を前記内腔の輪郭が滑らかになるように前記血管の内側に移動させる補正を行うことを特徴とする請求項1又は2記載の医用画像処理装置。
  4. 前記外壁を抽出する手段は、前記三次元ボリュームデータにおける複数のスライス画像を用いて前記外壁の複数の輪郭点を求め、求めた前記複数の輪郭点に対してスライス方向の連続性を得る補正を行い、求めた前記複数の輪郭点及び補正した前記輪郭点に対して円近似及び補間を行い、前記外壁の輪郭を抽出することを特徴とする請求項1、2又は3記載の医用画像処理装置。
  5. 前記外壁を抽出する手段は、求めた前記複数の輪郭点に対し、前記血管の芯点から所定距離外れた前記輪郭点を除去する補正を行うことを特徴とする請求項4記載の医用画像処理装置。
  6. 前記外壁を抽出する手段は、前記血管の径を監視し、隣り合う前記スライス画像を用いて前記輪郭点を追加する補正を行うことを特徴とする請求項4又は5記載の医用画像処理装置。
  7. 医用画像を撮影する医用画像撮影装置と、
    請求項1ないし6のいずれか一に記載の医用画像処理装置と、
    を備えることを特徴とする医用画像診断装置。
  8. 医用画像の三次元ボリュームデータ内の三次元関心領域を求める手段と、
    前記三次元ボリュームデータの石灰化領域を求める手段と、
    前記三次元関心領域のヒストグラムに基づいて血管の内腔領域と血管壁領域を決めるための閾値を求める手段と、
    前記閾値に基づいて、前記血管の内腔領域または血管壁領域の少なくとも一方の領域を識別可能に表示する表示手段と、
    を備えることを特徴とする医用画像処理装置。
  9. 前記閾値を求める手段は、前記三次元関心領域内における石灰化領域を除去したヒストグラムに基づいて、前記閾値を決めるものであることを特徴とする請求項8記載の医用画像処理装置。
JP2008264206A 2008-10-10 2008-10-10 医用画像処理装置及び医用画像診断装置 Expired - Fee Related JP5305821B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008264206A JP5305821B2 (ja) 2008-10-10 2008-10-10 医用画像処理装置及び医用画像診断装置
CN2009101763610A CN101727661B (zh) 2008-10-10 2009-09-28 医用图像处理装置
US12/576,564 US8437520B2 (en) 2008-10-10 2009-10-09 Medical image processor and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008264206A JP5305821B2 (ja) 2008-10-10 2008-10-10 医用画像処理装置及び医用画像診断装置

Publications (2)

Publication Number Publication Date
JP2010088795A true JP2010088795A (ja) 2010-04-22
JP5305821B2 JP5305821B2 (ja) 2013-10-02

Family

ID=42098892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008264206A Expired - Fee Related JP5305821B2 (ja) 2008-10-10 2008-10-10 医用画像処理装置及び医用画像診断装置

Country Status (3)

Country Link
US (1) US8437520B2 (ja)
JP (1) JP5305821B2 (ja)
CN (1) CN101727661B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173820A (ja) * 2014-03-14 2015-10-05 テルモ株式会社 画像処理装置、画像処理方法及びプログラム
JP2015226693A (ja) * 2014-06-02 2015-12-17 株式会社東芝 医用画像処理装置および医用画像処理方法
US9462986B2 (en) 2012-03-02 2016-10-11 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing method
JP2017079914A (ja) * 2015-10-26 2017-05-18 渡邉 真弓 治療方針決定のためのデータを提供する方法
US10204409B2 (en) 2015-06-04 2019-02-12 Samsung Electronics Co., Ltd. Apparatus and method of processing medical image
KR20210069853A (ko) 2019-12-04 2021-06-14 충남대학교병원 동맥 2차원 초음파영상을 이용한 동맥경화반의 표면형상 및 3차원구조 추정방법
KR20210078273A (ko) 2019-12-18 2021-06-28 충남대학교병원 2차원 초음파이미지를 자료로 하는 혈관객체분석방법
JP7623683B2 (ja) 2021-02-24 2025-01-29 国立大学法人山口大学 画像処理装置、画像処理プログラム、画像処理方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5658931B2 (ja) * 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN102456227B (zh) * 2010-10-28 2015-05-27 清华大学 Ct图像重建方法及装置
WO2012083350A1 (en) * 2010-12-24 2012-06-28 Otton James Maxwell Coronary calcium measurement
US8805122B1 (en) * 2011-02-03 2014-08-12 Icad, Inc. System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data
JP5713748B2 (ja) * 2011-03-24 2015-05-07 株式会社東芝 プラーク領域抽出方法及びその装置
JP5897308B2 (ja) * 2011-11-24 2016-03-30 株式会社東芝 医用画像処理装置
US9020232B2 (en) 2012-07-24 2015-04-28 Kabushiki Kaisha Toshiba Per vessel, vessel tree modelling with shared contours
US9430827B2 (en) * 2013-05-31 2016-08-30 Siemens Aktiengesellschaft Segmentation of a calcified blood vessel
US9406141B2 (en) 2013-05-31 2016-08-02 Siemens Aktiengesellschaft Segmentation of a structure
JP6188434B2 (ja) * 2013-06-07 2017-08-30 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像処理プログラム
CN106716488B (zh) * 2014-09-12 2020-12-15 皇家飞利浦有限公司 分析主动脉瓣钙化
JP2016158916A (ja) * 2015-03-03 2016-09-05 キヤノンマーケティングジャパン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP6639935B2 (ja) * 2016-02-09 2020-02-05 キヤノンメディカルシステムズ株式会社 画像処理装置およびmri装置
CN107563983B (zh) * 2017-09-28 2020-09-01 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
US10813612B2 (en) 2019-01-25 2020-10-27 Cleerly, Inc. Systems and method of characterizing high risk plaques
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
WO2021141921A1 (en) 2020-01-07 2021-07-15 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
CN114648536A (zh) * 2020-12-17 2022-06-21 通用电气精准医疗有限责任公司 血管壁的提取方法及装置
CN114240937B (zh) * 2022-02-24 2022-05-27 武汉烽火凯卓科技有限公司 一种基于ct切片的肾结石检测方法及系统
US12406365B2 (en) 2022-03-10 2025-09-02 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
US12440180B2 (en) 2022-03-10 2025-10-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
US20250143657A1 (en) 2022-03-10 2025-05-08 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
US20250217981A1 (en) 2022-03-10 2025-07-03 Cleerly, Inc. Systems, methods, and devices for image-based plaque analysis and risk determination
CN115861356A (zh) * 2022-12-29 2023-03-28 深圳睿心智能医疗科技有限公司 一种血管轮廓的生成方法、生成装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095795A (ja) * 1999-09-30 2001-04-10 Japan Science & Technology Corp 医療用画像作成方法および装置、並びに記録媒体
JP2006055631A (ja) * 2004-07-19 2006-03-02 Pie Medical Imaging Bv 分割結果の3次元位置情報を用いた生物学的構造を視覚化するための方法と装置
JP2006246941A (ja) * 2005-03-08 2006-09-21 Toshiba Corp 画像処理装置及び管走行トラッキング方法
WO2006118100A1 (ja) * 2005-04-28 2006-11-09 Hitachi Medical Corporation 画像表示装置及びプログラム
JP2008200524A (ja) * 2008-05-12 2008-09-04 Ziosoft Inc 画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997042602A1 (en) * 1996-05-06 1997-11-13 Torsana A/S A method of estimating skeletal status
JP4200546B2 (ja) * 1998-03-09 2008-12-24 株式会社日立メディコ 画像表示装置
JP3574584B2 (ja) * 1998-12-16 2004-10-06 富士通株式会社 表画像処理装置及びそのプログラム記憶媒体
JP2003079606A (ja) 2001-09-13 2003-03-18 Fuji Photo Film Co Ltd 異常陰影検出装置
US7295691B2 (en) * 2002-05-15 2007-11-13 Ge Medical Systems Global Technology Company, Llc Computer aided diagnosis of an image set
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
US7492967B2 (en) * 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
CN100589760C (zh) * 2004-11-26 2010-02-17 株式会社东芝 X射线ct装置和图像处理装置
EP2284794B1 (en) 2004-11-26 2017-01-18 Toshiba Medical Systems Corporation X-ray CT apparatus and image processing device
US7711163B2 (en) * 2005-05-26 2010-05-04 Siemens Medical Solutions Usa, Inc. Method and system for guided two dimensional colon screening
US7697740B2 (en) * 2005-10-21 2010-04-13 Kabushiki Kaisha Toshiba Medical image processing system and medical image processing method
JP2009261651A (ja) * 2008-04-25 2009-11-12 Johns Hopkins Univ 画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095795A (ja) * 1999-09-30 2001-04-10 Japan Science & Technology Corp 医療用画像作成方法および装置、並びに記録媒体
JP2006055631A (ja) * 2004-07-19 2006-03-02 Pie Medical Imaging Bv 分割結果の3次元位置情報を用いた生物学的構造を視覚化するための方法と装置
JP2006246941A (ja) * 2005-03-08 2006-09-21 Toshiba Corp 画像処理装置及び管走行トラッキング方法
WO2006118100A1 (ja) * 2005-04-28 2006-11-09 Hitachi Medical Corporation 画像表示装置及びプログラム
JP2008200524A (ja) * 2008-05-12 2008-09-04 Ziosoft Inc 画像処理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462986B2 (en) 2012-03-02 2016-10-11 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing method
US9875539B2 (en) 2012-03-02 2018-01-23 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing method
JP2015173820A (ja) * 2014-03-14 2015-10-05 テルモ株式会社 画像処理装置、画像処理方法及びプログラム
JP2015226693A (ja) * 2014-06-02 2015-12-17 株式会社東芝 医用画像処理装置および医用画像処理方法
US10043267B2 (en) 2014-06-02 2018-08-07 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing method
US10204409B2 (en) 2015-06-04 2019-02-12 Samsung Electronics Co., Ltd. Apparatus and method of processing medical image
JP2017079914A (ja) * 2015-10-26 2017-05-18 渡邉 真弓 治療方針決定のためのデータを提供する方法
KR20210069853A (ko) 2019-12-04 2021-06-14 충남대학교병원 동맥 2차원 초음파영상을 이용한 동맥경화반의 표면형상 및 3차원구조 추정방법
KR20210078273A (ko) 2019-12-18 2021-06-28 충남대학교병원 2차원 초음파이미지를 자료로 하는 혈관객체분석방법
JP7623683B2 (ja) 2021-02-24 2025-01-29 国立大学法人山口大学 画像処理装置、画像処理プログラム、画像処理方法

Also Published As

Publication number Publication date
US8437520B2 (en) 2013-05-07
US20100092053A1 (en) 2010-04-15
CN101727661A (zh) 2010-06-09
CN101727661B (zh) 2012-10-03
JP5305821B2 (ja) 2013-10-02

Similar Documents

Publication Publication Date Title
JP5305821B2 (ja) 医用画像処理装置及び医用画像診断装置
JP6243763B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
US11282170B2 (en) Contrast injection imaging
US20220319004A1 (en) Automatic vessel analysis from 2d images
CN104978725B (zh) 一种冠状动脉分割方法和装置
JP5713748B2 (ja) プラーク領域抽出方法及びその装置
KR102361354B1 (ko) 관상동맥 조영 영상에서 심장 협착증 질병 정보 제공 방법
US20230113721A1 (en) Functional measurements of vessels using a temporal feature
JP6282853B2 (ja) 画像処理装置及び画像処理方法
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
CN115115657B (zh) 病灶分割方法及装置、电子设备及存储介质
CN111295665A (zh) 确定肺图像中高密度肺组织的区域
CN109377481B (zh) 图像质量评价方法、装置、计算机设备和存储介质
US6748257B2 (en) Detection of ribcage boundary from digital chest image
CN113506277B (zh) 图像处理方法及装置
US8077954B2 (en) System and method for image processing
JP4717585B2 (ja) 医用画像判定装置、医用画像判定方法およびそのプログラム
CN113034522B (zh) 一种基于人工神经网络的ct图像分割方法
JP5558793B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2006167169A (ja) 医用画像表示装置及びその方法
US7689018B2 (en) Anomaly detection in volume data structure information
CN118799328B (zh) 造影图像分析方法及装置
US12499552B2 (en) Image processing apparatus, image processing method, and recording medium
JP5543871B2 (ja) 画像処理装置
CN117530718B (zh) 肺动脉血流分数的确定方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100804

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5305821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees