[go: up one dir, main page]

WO2023085262A1 - 消化管表層微小血管の血流速度測定内視鏡システム - Google Patents

消化管表層微小血管の血流速度測定内視鏡システム Download PDF

Info

Publication number
WO2023085262A1
WO2023085262A1 PCT/JP2022/041538 JP2022041538W WO2023085262A1 WO 2023085262 A1 WO2023085262 A1 WO 2023085262A1 JP 2022041538 W JP2022041538 W JP 2022041538W WO 2023085262 A1 WO2023085262 A1 WO 2023085262A1
Authority
WO
WIPO (PCT)
Prior art keywords
blood flow
frame
moving image
microvessels
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/041538
Other languages
English (en)
French (fr)
Inventor
章仁 永原
浩也 上山
陽一 赤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juntendo Educational Foundation
Original Assignee
Juntendo Educational Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juntendo Educational Foundation filed Critical Juntendo Educational Foundation
Priority to US18/708,089 priority Critical patent/US20250169707A1/en
Priority to JP2023559636A priority patent/JPWO2023085262A1/ja
Publication of WO2023085262A1 publication Critical patent/WO2023085262A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Definitions

  • the present invention relates to an endoscope system for measuring the blood flow velocity of microvessels on the surface of the gastrointestinal tract.
  • the present inventors measured the blood flow velocity of the gastric surface microvessels using a magnifying endoscope, and found that the blood flow velocity of the gastric surface microvessels is useful for qualitative diagnosis in the magnifying endoscopic diagnosis of early gastric cancer. We have found and reported that (Non-Patent Documents 1 to 4).
  • an object of the present invention is to provide an endoscope system that measures the blood flow velocity of microvessels on the surface of the gastrointestinal tract in real time.
  • the present inventors studied the real-time measurement of the blood flow velocity of the surface microvessels of the gastrointestinal tract.
  • the inventors have found that the blood flow velocity of microvessels on the surface of the gastrointestinal tract can be measured in real time by measuring the change in the red color component, which indicates the movement of red blood cells in the moving image, and completed the present invention.
  • an endoscopic system for measuring the blood flow velocity of microtubules in the surface layer of the gastrointestinal tract comprising a magnifying endoscope and a blood flow moving image data processing section obtained by the magnifying endoscope, (A) the magnifying endoscope captures a blood flow moving image of microvessels on the surface of the gastrointestinal tract and sends it to the blood flow moving image data processing unit; (B) An endoscope for measuring the blood flow velocity of gastrointestinal superficial microvessels, wherein the blood flow moving image data processing unit that receives the blood flow moving image performs the following data processing (B1) to (B5). system.
  • the endoscope system according to [2] further performs a process of comparing the obtained blood flow velocity of the gastrointestinal superficial microvessels with the normal blood flow velocity of the gastrointestinal superficial microvessels.
  • the endoscope system according to any one of [1] to [4], wherein the process of calculating the difference using the red component detects movement of red blood cells.
  • the endoscope system according to any one of [1] to [5], wherein the regions generated by the regionization are regions through which red blood cells have passed between frames 1 and 2.
  • a method for measuring the blood flow velocity of surface microvessels of the gastrointestinal tract comprising: using a magnifying endoscope to capture a video of the blood flow in the surface microvessels of the gastrointestinal tract; decomposing the obtained blood flow movie into frames; comparing the image of frame 1 with the next image of frame 2 to remove translation components; calculating the difference with the red component of the image with the translation component removed; a step of regionalizing the portion for which the difference of the red component is calculated;
  • a method for measuring blood flow velocity in gastrointestinal superficial microvessels comprising the step of calculating a region size of obtained region data.
  • the measurement method according to [9], wherein the moving image of blood flow is a moving image of blood flow of microvessels at a site suspected of having an abnormality in the surface layer of the gastrointestinal tract obtained by a magnifying endoscope.
  • the measuring method according to [10] further comprising the step of comparing the obtained blood flow velocity in the gastrointestinal tract superficial microvessels with normal blood flow velocity in the gastrointestinal superficial microvessels.
  • the measurement method according to any one of [9] to [11], wherein the step of removing the translation component is a step of detecting differences between frames caused by blood flow.
  • the measuring method according to any one of [9] to [12], wherein the step of calculating the difference with the red component detects movement of red blood cells.
  • a magnifying endoscope can be used to measure the blood flow velocity of microvessels on the surface of the gastrointestinal tract in real time.
  • inflammatory bowel disease inflammatory and functional diseases related to the gastrointestinal tract
  • allergic gastrointestinal diseases inflammatory and functional diseases related to the gastrointestinal tract
  • abnormal gastrointestinal blood flow due to lifestyle-related diseases other than gastrointestinal diseases.
  • FIG. 4 is a diagram showing a flow of obtaining blood flow velocities from frame 2 and frame 1 to frame 2 of the endoscope moving image by the endoscope system of the present invention;
  • gray portions indicate processing means, and white portions indicate data.
  • FIG. 3 is a diagram in which translation components are removed from frames 1 and 2; It is a figure which shows the difference of a red component.
  • ROC analysis results for blood flow velocities in early stage gastric cancer and mean blood flow velocities in normal gastric superficial microvessels are shown.
  • One aspect of the present invention is an endoscopic system for measuring the blood flow velocity of gastrointestinal surface microtubules, comprising a magnifying endoscope and a blood flow moving image data processing unit obtained by the magnifying endoscope, (A) the magnifying endoscope captures a blood flow moving image of microvessels on the surface of the gastrointestinal tract and sends it to the blood flow moving image data processing unit; (B) An endoscope for measuring the blood flow velocity of gastrointestinal superficial microvessels, wherein the blood flow moving image data processing unit that receives the blood flow moving image performs the following data processing (B1) to (B5). System.
  • Another aspect of the present invention is a method for measuring the blood flow velocity of microvessels in the surface layer of the gastrointestinal tract in real time from microvessel moving images of the surface layer of the gastrointestinal tract, comprising the following step (a): (f).
  • the magnifying endoscope captures a blood flow moving image of microvessels on the surface of the gastrointestinal tract and sends it to the blood flow moving image data processing unit; All of the steps of capturing a moving image of blood flow in microvessels on the surface of the gastrointestinal tract using a magnifying endoscope are processes performed by the magnifying endoscope.
  • This magnifying endoscope may be any endoscope that can measure blood flow in microvessels. Commercially available magnifying endoscopes have a moving image capturing function.
  • FIG. 1 shows an example of a specific processing flow.
  • Step (a) of the present invention is a step of capturing a moving image of blood flow in microvessels at a site suspected of having an abnormality in the surface layer of the gastrointestinal tract obtained by a magnifying endoscope.
  • This magnifying endoscope may be any endoscope that can measure blood flow in microvessels.
  • Commercially available magnifying endoscopes have a moving image capturing function.
  • Steps (b) to (f) of the present invention can be performed in real time by a computer that receives blood flow moving images obtained by a magnifying endoscope.
  • Known software can be used as the framework used for the image processing of the present invention. For example, OpenCV, dlib, etc. can be used. In addition, development languages such as c/c++, Python, and JavaScript can be used.
  • Step (b) is a step of decomposing the obtained magnified endoscopic blood flow moving image into frames.
  • This step is a step of designating a moving image file captured by a magnifying endoscope to be analyzed, and decomposing the moving image into frames.
  • the moving image is decomposed into an image of frame 1, an image of frame 2, an image of frame 3, and so on, as shown in FIG.
  • Step (c) is a step of comparing the image of frame 1 with the image of next frame 2 to remove the translation component.
  • an image from which the translation component between the image of frame 1 and the image of frame 2 is removed is obtained (see FIG. 1).
  • This step detects the difference between the frame 1 image and the frame 2 image, that is, the difference between the frames caused by the blood flow (see FIG. 2).
  • Step (d) is a step of calculating the difference with the red component of the image from which the translation component has been removed.
  • This step is to calculate the difference between the images of frame 1 and frame 2, ie, the difference between the frames caused by the blood flow, in the red component. Since the movement of the red component is the movement of red blood cells in blood, the movement of red blood cells can be detected by calculating the difference with the red component.
  • Step (e) is a step of regionalizing the portion where the difference of the red component is calculated. This step measures the area traversed by the red blood cells between frame 1 and frame 2.
  • Step (f) is a step of calculating the region size of the obtained region data. This step measures the minor and major diameters of the region size.
  • the blood flow velocity in each region of Frame 2 can be measured. Also, as shown in Table 2, the blood flow velocity in each region in the other frame images of the obtained moving image can also be measured.
  • this blood flow rate with the normal blood flow rate of microvessels in the surface layer of the gastrointestinal tract, it is possible to diagnose whether or not a disease such as early cancer exists in the surface layer of the gastrointestinal tract.
  • the comparison of these blood flow velocities can also be performed by a computer that performs the steps (b) to (f).
  • the gastrointestinal tract includes the esophagus, stomach, duodenum, small intestine, large intestine and rectum.
  • gastrointestinal diseases include neoplastic lesions such as esophageal cancer, gastric cancer, duodenal cancer, colon cancer and rectal cancer; non-neoplastic lesions such as gastric polyps and colon polyps; Inflammatory and functional diseases such as intestinal disease, esophagitis, gastritis, functional dyspepsia, irritable bowel syndrome, chronic constipation, diarrhea, and bowel movements, allergic gastrointestinal diseases, lifestyle-related diseases other than gastrointestinal diseases Abnormal gastrointestinal blood flow due to Here, for example, blood flow velocities in early gastric cancer were statistically significantly slower and narrower than those in normal gastric superficial microvessels, even when intra-individual variability was taken into account. . Furthermore, when ROC analysis was performed for each average, the cutoff value was 1.09 as shown in FIG. 4 (sensitivity 90.3%, specificity 89.7%
  • Example 1 Using Python as a development language and OpenCV as an image processing framework, three arguments in Table 1 were specified, and a magnified endoscopic video of the gastric mucosa was processed according to the flow in FIG.
  • the magnified endoscopic video was captured using a LASEREO 7000 series (FUJIFILM) endoscope system and an EG-L600ZW7 (FUJIFILM) scope.
  • the parallel movement component-removed image shown in FIG. 2 was obtained, and the difference of the red component shown in FIG. 3 was detected.
  • the blood flow velocity could be measured from the blood flow moving image of the microvessels on the surface of the gastrointestinal tract obtained by the magnifying endoscope.
  • Table 2 shows the region size in each frame and the measurement results of the blood flow velocity in that region.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

リアルタイムで消化管表層微小血管の血流速度を測定する手段を提供すること。 拡大内視鏡と、拡大内視鏡で得られた血流動画データ処理部とを有する消化管表層部微小管の血流速度測定内視鏡システムであって、 (A)拡大内視鏡は、消化管表層微小血管の血流動画を撮影して前記血流動画データ処理部に送り、 (B)前記血流動画を受信した血流動画データ処理部は、次の(B1)~(B5)のデータ処理を行うことを特徴とする消化管表層微小血管の血流速度測定内視鏡システム。 (B1)得られた血流動画を各フレームに分解する処理、 (B2)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去する処理、 (B3)平行移動成分を除去した画像の赤色成分で差分を計算する処理、 (B4)赤色成分の差分を計算した部分を領域化する処理、 (B5)得られた領域データの領域サイズを計算する処理。

Description

消化管表層微小血管の血流速度測定内視鏡システム
 本発明は、消化管表層微小血管の血流速度測定内視鏡システムに関する。
 近年、内視鏡機器・技術の進歩により拡大内視鏡診断体系が確立し、消化管表層の微小血管構築像と表面微細構造から消化管病変の質的診断が行われているが、これは静止画を用いた静的な診断体系である。拡大内視鏡では表層の微小血管の血流(赤血球の動き)が観察されるが、消化管病変で正常粘膜と比べて血流がどう変動するかについてはこれまで検討されていなかった。動的に消化管粘膜の生体機能を内視鏡診断することは、消化管癌をはじめとする様々な消化管病変の診断・病態解明の新たな評価法となり、これまでの静的な診断体系では診断が困難であった病変や、技術的に診断が困難であった病変の診断につながる可能性がある。
 本発明者らは、拡大内視鏡を用いて胃表層微小血管の血流速度を測定し、早期胃癌の拡大内視鏡診断において胃表層微小血管の血流速度が質的診断に有用であることを見出し、報告してきた(非特許文献1~4)。
第97回日本消化器学会内視鏡学会総会(JGES 2019) American College of Gastroenterology,October 25,2019-October 30,2019 第28回日本消化器関連学会週間(JDDW 2020) J Gastroenterol Hepatol.2021;36(7):1927-1934.doi:10.1111/jgh.15425.
 しかしながら、前記の微小血管の血流速度の測定方法は、事後解析かつ非効率的であり、実臨床での実用化にはリアルタイムに消化管表層微小血管の血流速度を測定する新たな手段が望まれていた。
 従って、本発明の課題は、リアルタイムで消化管表層微小血管の血流速度を測定する内視鏡システムを提供することにある。
 そこで本発明者は消化管表層微小血管の血流速度をリアルタイムで測定するべく検討したところ、拡大内視鏡動画から血流速度をソフトウエア的に計測する手法を採用し、画像処理に当たって血流動画中の赤血球の移動を示す赤色成分の変動を測定すれば、リアルタイムで消化管表層微小血管の血流速度が測定できることを見出し、本発明を完成した。
 すなわち、本発明は次の発明[1]~[16]を提供するものである。
[1]拡大内視鏡と、拡大内視鏡で得られた血流動画データ処理部とを有する消化管表層部微小管の血流速度測定内視鏡システムであって、
(A)拡大内視鏡は、消化管表層微小血管の血流動画を撮影して前記血流動画データ処理部に送り、
(B)前記血流動画を受信した血流動画データ処理部は、次の(B1)~(B5)のデータ処理を行うことを特徴とする消化管表層微小血管の血流速度測定内視鏡システム。
 (B1)得られた血流動画を各フレームに分解する処理、
 (B2)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去する処理、
 (B3)平行移動成分を除去した画像の赤色成分で差分を計算する処理、
 (B4)赤色成分の差分を計算した部分を領域化する処理、
 (B5)得られた領域データの領域サイズを計算する処理。
[2]前記血流動画データが、拡大内視鏡により得られた消化管表層の異常が疑われる部位の微小血管の血流動画データである[1]記載の内視鏡システム。
[3]さらに、得られた消化管表層微小血管の血流速度と、正常な消化管表層微小血管の血流速度とを対比する処理を行う[2]記載の内視鏡システム。
[4]前記平行移動成分を除去する処理が、血流により生じたフレーム間の相違点を検出する処理である[1]~[3]のいずれかに記載の内視鏡システム。
[5]前記赤色成分で差分を計算する処理が、赤血球の移動を検出するものである[1]~[4]のいずれかに記載の内視鏡システム。
[6]前記領域化により生成される領域が、フレーム1からフレーム2の間で赤血球が通過した領域である[1]~[5]のいずれかに記載の内視鏡システム。
[7]前記領域サイズの計算が、前記領域の短径、長径を算出する計算である[1]~[6]のいずれかに記載の内視鏡システム。
[8]前記領域サイズとフレーム1とフレーム2に至る時間によりフレーム2中の各領域の流速を計算する[1]~[7]のいずれかに記載の内視鏡システム。
[9]消化管表層微小血管の血流速度を測定する方法であって、
 拡大内視鏡を用いて消化管表層微小血管の血流動画を撮影するステップ、
 得られた血流動画を各フレームに分解するステップ、
 フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去するステップ、
 平行移動成分を除去した画像の赤色成分で差分を計算するステップ、
 赤色成分の差分を計算した部分を領域化するステップ、
 得られた領域データの領域サイズを計算するステップを備えることを特徴とする消化管表層微小血管の血流速度の測定方法。
[10]前記血流動画が、拡大内視鏡により得られた消化管表層の異常が疑われる部位の微小血管の血流動画である[9]記載の測定方法。
[11]さらに、得られた消化管表層微小血管の血流速度と、正常な消化管表層微小血管の血流速度とを対比するステップを有する[10]記載の測定方法。
[12]前記平行移動成分を除去するステップが、血流により生じたフレーム間の相違点を検出するステップである[9]~[11]のいずれかに記載の測定方法。
[13]前記赤色成分で差分を計算するステップが、赤血球の移動を検出するものである[9]~[12]のいずれかに記載の測定方法。
[14]前記領域化により生成される領域が、フレーム1からフレーム2の間で赤血球が通過した領域である[9]~[13]のいずれかに記載の測定方法。
[15]前記領域サイズの計算が、前記領域の短径、長径を算出する計算である[9]~[14]のいずれかに記載の測定方法。
[16]前記領域サイズとフレーム1とフレーム2に至る時間によりフレーム2中の各領域の流速を計算する[9]~[15]のいずれかに記載の測定方法。
 本発明内視鏡システム及び方法によれば、拡大内視鏡を用いて消化管表層微小血管の血流速度を、リアルタイムで測定することができるので、消化管の腫瘍性病変、非腫瘍性病変、炎症性腸疾患、消化管に関連する炎症性疾患や機能性疾患、アレルギー性消化管疾患、消化管疾患以外の生活習慣病による消化管血流異常などの診断や病態解明が早期に可能となる。
本発明内視鏡システムにより、内視鏡動画のフレーム2とフレーム1からフレーム2の血流速度を求めるフローを示す図である。図中、グレー部は処理手段を示し、白部はデータを示す。 フレーム1とフレーム2において平行移動成分を除去した図である。 赤色成分の差分を示す図である。 早期の胃癌の場合の血流速度と、正常な胃表層部微小血管の血流速度の平均についてのROC解析結果を示す。
 本発明の一態様は、拡大内視鏡と、拡大内視鏡で得られた血流動画データ処理部とを有する消化管表層部微小管の血流速度測定内視鏡システムであって、
(A)拡大内視鏡は、消化管表層微小血管の血流動画を撮影して前記血流動画データ処理部に送り、
(B)前記血流動画を受信した血流動画データ処理部は、次の(B1)~(B5)のデータ処理を行うことを特徴とする消化管表層微小血管の血流速度測定内視鏡システムである。
 (B1)得られた血流動画を各フレームに分解する処理、
 (B2)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去する処理、
 (B3)平行移動成分を除去した画像の赤色成分で差分を計算する処理、
 (B4)赤色成分の差分を計算した部分を領域化する処理、
 (B5)得られた領域データの領域サイズを計算する処理。
 また、本発明の別の一態様は、消化管表層部微小血管の血流速度を、当該消化管表層部の微小血管動画の撮影からリアルタイムで計測する方法であって、次のステップ(a)~(f)を備えることを特徴とする。
(a)拡大内視鏡を用いて消化管表層微小血管の血流動画を撮影するステップ。
(b)得られた血流動画を各フレームに分解するステップ。
(c)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去するステップ。
(d)平行移動成分を除去した画像の赤色成分で差分を計算するステップ。
(e)赤色成分の差分を計算した部分を領域化するステップ。
(f)得られた領域データの領域サイズを計算するステップ。
 さらに、得られた消化管表層微小血管の血流速度と、正常な消化管表層微小血管の血流速度とを対比する処理又はステップを実施すれば、当該消化管に癌などが生じているかを診断することができる。
 本発明のシステムにおける、(A)拡大内視鏡は、消化管表層微小血管の血流動画を撮影して前記血流動画データ処理部に送るという処理と、本発明の方法における、(a)拡大内視鏡を用いて消化管表層微小血管の血流動画を撮影するステップは、いずれも拡大内視鏡で行う処理である。
 この拡大内視鏡は、微小血管の血流が測定できる内視鏡であればよい。そして、市販の拡大内視鏡は、動画の撮影機能を有する。
 本発明のシステムにおける(B1)~(B5)のデータ処理と、本発明の方法における(b)~(f)のステップは、実質的に同じであるから、本発明における方法の各ステップを説明する。
 図1に具体的な処理フローの例を示す。
 本発明のステップ(a)は、拡大内視鏡により得られた消化管表層の異常が疑われる部位の微小血管の血流動画を撮影するステップである。この拡大内視鏡は、微小血管の血流が測定できる内視鏡であればよい。そして、市販の拡大内視鏡は、動画の撮影機能を有する。
 本発明のステップ(b)~(f)は、拡大内視鏡により得られた血流動画を受信したコンピュータで、リアルタイムで行うことができる。
 本発明の画像処理に用いられるフレームワークとしては、公知のソフトウエアを用いることができる。例えば、OpenCV、dlibなどを用いることができる。また、開発言語も、c/c++、Python、JavaScriptなどを使用することができる。
 また、画像処理ソフトウエアの実行に当たっては、以下の3引数を指定して実行するのが好ましい。
Figure JPOXMLDOC01-appb-T000001
 ステップ(b)は、得られた拡大内視鏡血流動画を各フレームに分解するステップである。
 このステップは、解析対象となる拡大内視鏡で撮影した動画ファイルを指定し、当該動画を各フレームに分解するステップである。このステップにより、図1に示すように、動画の画像が、フレーム1の画像、フレーム2の画像、フレーム3の画像、・・・などのように分解される。
 ステップ(c)は、(c)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去するステップである。
 この操作によって、フレーム1の画像とフレーム2の画像との間の平行移動成分が除去された画像が得られる(図1参照)。このステップにより、フレーム1の画像とフレーム2の画像の間で相違が生じた部分、すなわち、血流により生じたフレーム間の相違点が検出される(図2参照)。
 ステップ(d)は、平行移動成分を除去した画像の赤色成分で差分を計算するステップである。
 このステップは、フレーム1の画像とフレーム2の画像の間の相違点、すなわち血流により生じたフレーム間の相違点を、赤色成分で差分を計算するするステップである。赤色成分の移動は、血液中の赤血球の移動であるから、赤色成分で差分を計算することにより、赤血球の移動を検出することができる。
 このステップにおいては、フレーム間の赤色成分差分を取る際に、赤色成分の差がこれ以上あるピクセルについて差分ありと判定するため、赤色成分閾値を予め設定しておくのが好ましい。
 ステップ(e)は、赤色成分の差分を計算した部分を領域化するステップである。
 このステップは、フレーム1からフレーム2の間で赤血球が通過した領域を測定する。
 ステップ(f)は、得られた領域データの領域サイズを計算するステップである。
 このステップは、領域サイズの短径、長径を測定する。
 上記のステップにより、フレーム2各領域の血流速度が計測できる。また、表2のように、得られた動画の他のフレーム画像における各領域の血流速度も計測することができる。この血流速度を、正常な消化管表層の微小血管の血流速度と対比することにより、消化管表層に早期の癌などの疾患が存在するかを診断することができる。ここで、これらの血流速度の対比も、前記ステップ(b)~(f)を行うコンピュータにより実施することができる。
 消化管としては、食道、胃、十二指腸、小腸、大腸及び直腸が挙げられる。また、消化管疾患としては、食道癌、胃癌、十二指腸癌、大腸癌、直腸癌などの腫瘍性病変、胃ポリープ、大腸ポリープなどの非腫瘍性病変、潰瘍性大腸炎、クローン病などの炎症性腸疾患、食道炎、胃炎、機能性ディスペプシア、過敏性腸症候群、慢性便秘症、下痢症、便通異常などの炎症性疾患や機能性疾患、アレルギー性消化管疾患、消化管疾患以外の生活習慣病による消化管血流異常が挙げられる。
 ここで、例えば早期の胃癌の場合の血流速度は、正常な胃表層部微小血管の血流速度よりも、個人内変動を考慮した場合でも、統計学的に有意に遅く、範囲も狭かった。さらに各平均についてROC解析をしたところ、カットオフ値は、図4に示すように1.09であった(感度90.3%、特異度89.7%)。
 次に実施例を挙げて本発明をさらに詳細に説明するが、本発明はこの実施例に限定されるものではない。
実施例1
 開発言語としてPythonを使用し、画像処理のフレームワークとしてOpenCVを使用し、前記表1の3引数を指定して、図1のフローに従って、胃粘膜の拡大内視鏡動画を処理した。なお、拡大内視鏡動画は、内視鏡システムはLASEREO 7000 series(FUJIFILM)、スコープはEG-L600ZW7(FUJIFILM)を用いて撮影した。
 その結果、図2の平行移動成分除去済み画像が得られ、図3の赤色成分の差分が検出された。そしてステップ(b)~(f)により、拡大内視鏡により得られた消化管表層の微小血管の血流動画から血流速度を測定することができた。
 表2には、各フレームにおける領域サイズ及びその領域における血流速度の測定結果を示す。
Figure JPOXMLDOC01-appb-T000002
 上記血流測定ソフトウエアをインストールしたPCを用い、過去に記録した内視鏡動画を使用して血流を測定するのが、リアルタイムで血流速度を測定するうえでより好ましい。

Claims (16)

  1.  拡大内視鏡と、拡大内視鏡で得られた血流動画データ処理部とを有する消化管表層部微小管の血流速度測定内視鏡システムであって、
    (A)拡大内視鏡は、消化管表層微小血管の血流動画を撮影して前記血流動画データ処理部に送り、
    (B)前記血流動画を受信した血流動画データ処理部は、次の(B1)~(B5)のデータ処理を行うことを特徴とする消化管表層微小血管の血流速度測定内視鏡システム。
     (B1)得られた血流動画を各フレームに分解する処理、
     (B2)フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去する処理、
     (B3)平行移動成分を除去した画像の赤色成分で差分を計算する処理、
     (B4)赤色成分の差分を計算した部分を領域化する処理、
     (B5)得られた領域データの領域サイズを計算する処理。
  2.  前記血流動画データが、拡大内視鏡により得られた消化管表層の異常が疑われる部位の微小血管の血流動画データである請求項1記載の内視鏡システム。
  3.  さらに、得られた消化管表層微小血管の血流速度と、正常な消化管表層微小血管の血流速度とを対比する処理を行う請求項2記載の内視鏡システム。
  4.  前記平行移動成分を除去する処理が、血流により生じたフレーム間の相違点を検出する処理である請求項1~3のいずれか1項に記載の内視鏡システム。
  5.  前記赤色成分で差分を計算する処理が、赤血球の移動を検出するものである請求項1~4のいずれか1項に記載の内視鏡システム。
  6.  前記領域化により生成される領域が、フレーム1からフレーム2の間で赤血球が通過した領域である請求項1~5のいずれか1項に記載の内視鏡システム。
  7.  前記領域サイズの計算が、前記領域の短径、長径を算出する計算である請求項1~6のいずれか1項に記載の内視鏡システム。
  8.  前記領域サイズとフレーム1とフレーム2に至る時間によりフレーム2中の各領域の流速を計算する請求項1~7のいずれか1項に記載の内視鏡システム。
  9.  消化管表層微小血管の血流速度を測定する方法であって、
     拡大内視鏡を用いて消化管表層微小血管の血流動画を撮影するステップ、
     得られた血流動画を各フレームに分解するステップ、
     フレーム1の画像とその次のフレーム2の画像とを対比して平行移動成分を除去するステップ、
     平行移動成分を除去した画像の赤色成分で差分を計算するステップ、
     赤色成分の差分を計算した部分を領域化するステップ、
     得られた領域データの領域サイズを計算するステップを備えることを特徴とする消化管表層微小血管の血流速度の測定方法。
  10.  前記血流動画が、拡大内視鏡により得られた消化管表層の異常が疑われる部位の微小血管の血流動画である請求項9記載の測定方法。
  11.  さらに、得られた消化管表層微小血管の血流速度と、正常な消化管表層微小血管の血流速度とを対比するステップを有する請求項10記載の測定方法。
  12.  前記平行移動成分を除去するステップが、血流により生じたフレーム間の相違点を検出するステップである請求項9~11のいずれか1項に記載の測定方法。
  13.  前記赤色成分で差分を計算するステップが、赤血球の移動を検出するものである請求項9~12のいずれか1項に記載の測定方法。
  14.  前記領域化が、フレーム1からフレーム2の間で赤血球が通過した領域により行われる請求項9~13のいずれか1項に記載の測定方法。
  15.  前記領域サイズの計算が、領域の短径、長径を算出することにより行われる請求項9~14のいずれか1項に記載の測定方法。
  16.  前記領域サイズから、領域サイズとフレーム1とフレーム2に至る時間によりフレーム2中の各領域の流速を計算する請求項9~15のいずれか1項に記載の測定方法。
PCT/JP2022/041538 2021-11-09 2022-11-08 消化管表層微小血管の血流速度測定内視鏡システム Ceased WO2023085262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/708,089 US20250169707A1 (en) 2021-11-09 2022-11-08 Endoscope system for measuring blood flow velocity in gastrointestinal superficial small blood vessel
JP2023559636A JPWO2023085262A1 (ja) 2021-11-09 2022-11-08

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-182768 2021-11-09
JP2021182768 2021-11-09

Publications (1)

Publication Number Publication Date
WO2023085262A1 true WO2023085262A1 (ja) 2023-05-19

Family

ID=86336130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041538 Ceased WO2023085262A1 (ja) 2021-11-09 2022-11-08 消化管表層微小血管の血流速度測定内視鏡システム

Country Status (3)

Country Link
US (1) US20250169707A1 (ja)
JP (1) JPWO2023085262A1 (ja)
WO (1) WO2023085262A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0417076A (ja) * 1990-05-10 1992-01-21 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2014004329A (ja) * 2012-06-01 2014-01-16 Sony Corp 歯用装置、医療用装置及び算出方法
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017061256A1 (ja) * 2015-10-07 2017-04-13 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2019520879A (ja) * 2016-05-23 2019-07-25 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 顕微鏡または内視鏡等の医療用観察装置ならびに時間変調および/または空間変調を有する疑似カラーパターンを用いる方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10463229B2 (en) * 2010-10-22 2019-11-05 Fukuoka University Endoscopic observation method and composition for improving diagnostic performance involving applying useful white opaque substance to diagnosis of gastric epithelial tumors (adenoma or gastric cancer)
JP6850225B2 (ja) * 2017-09-01 2021-03-31 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
EP4104769B1 (en) * 2020-02-14 2024-10-23 FUJIFILM Corporation Ultrasonic diagnostic apparatus, control method for ultrasonic diagnostic apparatus, and processor for ultrasonic diagnostic apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0417076A (ja) * 1990-05-10 1992-01-21 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2014004329A (ja) * 2012-06-01 2014-01-16 Sony Corp 歯用装置、医療用装置及び算出方法
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017061256A1 (ja) * 2015-10-07 2017-04-13 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2019520879A (ja) * 2016-05-23 2019-07-25 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 顕微鏡または内視鏡等の医療用観察装置ならびに時間変調および/または空間変調を有する疑似カラーパターンを用いる方法

Also Published As

Publication number Publication date
US20250169707A1 (en) 2025-05-29
JPWO2023085262A1 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
Wu et al. A deep neural network improves endoscopic detection of early gastric cancer without blind spots
Xu et al. Artificial intelligence–assisted colonoscopy for colorectal cancer screening: a multicenter randomized controlled trial
Hoffman et al. High-definition endoscopy with i-Scan and Lugol’s solution for more precise detection of mucosal breaks in patients with reflux symptoms
Cho et al. Comparison of convolutional neural network models for determination of vocal fold normality in laryngoscopic images
Fernández-Esparrach et al. Exploring the clinical potential of an automatic colonic polyp detection method based on the creation of energy maps
KR102222547B1 (ko) 인공지능 기반의 대장내시경 영상 분석 방법
Galmiche et al. Screening for esophagitis and Barrett's esophagus with wireless esophageal capsule endoscopy: a multicenter prospective trial in patients with reflux symptoms
JP2024045234A (ja) 腸の病理学のための画像スコアリング
JP7034102B2 (ja) 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
Brodersen et al. Artificial intelligence-assisted analysis of pan-enteric capsule endoscopy in patients with suspected Crohn’s disease: A study on diagnostic performance
Cammarota et al. Emerging technologies in upper gastrointestinal endoscopy and celiac disease
WO2019245009A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN104054092A (zh) 用于显示体内图像流中的活动力事件的系统和方法
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
Dong et al. A deep learning-based system for real-time image reporting during esophagogastroduodenoscopy: a multicenter study
Pfeifer et al. Computer-aided detection of colorectal polyps using a newly generated deep convolutional neural network: from development to first clinical experience
WO2023085262A1 (ja) 消化管表層微小血管の血流速度測定内視鏡システム
Aoyama et al. Effects of artificial intelligence assistance on endoscopist performance: Comparison of diagnostic performance in superficial esophageal squamous cell carcinoma detection using video‐based models
JPWO2023067922A5 (ja)
CN119091206A (zh) 一种基于人工智能的肠镜合格退镜时间评估方法及系统
Fiaidhi et al. An investigation into crohn’s disease lesions variability sensing using video colonoscopy and machine learning techniques
Rai et al. Polyp Detection Using U-Net Neural Network Based Algorithm
Capela et al. TOP 100 and detection of colorectal lesions in colon capsule endoscopy: more than meets the eye
Ebigbo et al. Application of Artificial Intelligence in Gastrointestinal Endoscopy
An et al. Improving Gastric Lesion Detection by using Specular Highlights Removal Algorithm and Deep Learning Approach

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892760

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023559636

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 22892760

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18708089

Country of ref document: US