CN113038868A - 医疗图像处理系统 - Google Patents
医疗图像处理系统 Download PDFInfo
- Publication number
- CN113038868A CN113038868A CN201980075340.1A CN201980075340A CN113038868A CN 113038868 A CN113038868 A CN 113038868A CN 201980075340 A CN201980075340 A CN 201980075340A CN 113038868 A CN113038868 A CN 113038868A
- Authority
- CN
- China
- Prior art keywords
- region
- medical image
- blood vessel
- feature amount
- index value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
- A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Vascular Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种能够以高精度进行表示病变部的进展程度的病期阶段的判别的医疗图像处理系统。医疗图像获取部(35)获取拍摄观察对象而获得的医疗图像。特征量计算部(42)按照医疗图像的图像区域的每个像素或将医疗图像的图像区域分割为特定尺寸的每个分割区域来计算观察对象的特征量。阶段判别部(44)计算对各分割区域的特征量的空间分布进行了指标值化的分布指标值,并根据分布指标值,判别观察对象的病期阶段。
Description
技术领域
本发明涉及一种根据医疗图像判别表示病变部的进展阶段的病期阶段的医疗图像处理系统。
背景技术
在当前的医疗领域中,如具备光源装置、内窥镜及处理器装置的内窥镜系统等,使用医疗图像的医疗图像处理系统逐渐普及。并且,近年来,从医疗图像计算特征量,并根据计算出的特征量,使用于病变部等医疗图像中所包含的区域的诊断。
例如,在专利文献1中,为了检测存在出血部位的医疗图像,按照分割了医疗图像的每个区域来计算特征量(色度),并根据计算出的特征量与阈值之间之比较,判别各区域是否为出血区域。并且,在专利文献2中,在从医疗图像删除了不需要区域的基础上,按照医疗图像的每个区域来计算特征量,并根据阈值以上的区域数量相对于所有有效区域是哪种程度,判别粘膜区域的状态。
以往技术文献
专利文献
专利文献1:日本特开2006-334115号公报
专利文献2:日本特开2006-166939号公报
发明内容
发明要解决的技术课题
在使用医疗图像的诊断中,尤其在欲以高精度来进行病变区域的确定或表示病变部的进展阶段的病期阶段等的判别的情况下,与从医疗图像计算出的特征量的空间分布相关的信息变得重要。例如,在巴雷特食管的初期阶段,血管整体性地均匀分布,另一方面,在进展阶段,出现产生糜烂而看不到血管的区域及血管密集的区域,从而存在血管的分布中出现不均的倾向。相对于此,在上述专利文献1、2中,虽然使用特征量的大小来进行对区域的判别,但关于使用特征量的空间分布来进行区域判别等,并无记载及提示。
本发明的目的在于提供一种能够以高精度进行表示病变部的进展程度的病期阶段的判别的医疗图像处理系统。
用于解决技术课题的手段
本发明的医疗图像处理系统具备:医疗图像获取部,获取拍摄观察对象而获得的医疗图像;特征量计算部,按照医疗图像的图像区域的每个像素或将医疗图像的图像区域分割为特定尺寸的每个分割区域来计算观察对象的特征量;及阶段判别部,使用特征量的空间分布,判别观察对象的病期阶段。
阶段判别部优选具有:分布指标值计算部,计算对特征量的空间分布进行了指标化的分布指标值;及判别部,根据分布指标值,判别病期阶段。优选分布指标值为特征量的方差,特征量的方差越大,病期阶段的进展程度越大。分布指标值优选为与表示特征量在特定范围外的像素或分割区域的异常区域的空间分布相关的指标值。优选与异常区域的空间分布相关的指标值为异常区域的数量或面积或者图像区域中异常区域所占的比率中的至少任一个,异常区域的数量、面积或异常区域的比率越大,病期阶段的进展程度越大。
优选阶段判别部具有整合表示特征量在特定范围外的像素或分割区域的异常区域的第1区域整合部,分布指标值为与通过第1区域整合部整合异常区域而得的整合异常区域中满足特定条件的特定的整合异常区域的空间分布相关的指标值。优选具有在相邻的像素或分割区域的特征量在特征量用范围内的情况下整合相邻的分割区域的第2区域整合部,分布指标值为与通过第2区域整合部整合相邻的像素或分割区域而得的整合区域的空间分布相关的指标值。特征量优选为血管密度、血管对比度、血管宽度的变动或血管宽度的平均值中的至少任一个。
特征量计算部优选按照每个像素或每个分割区域来计算种类彼此不同的多个运算用特征量,并且计算通过基于多个运算用特征量的运算而获得的第1运算值作为特征量。优选运算用特征量为第1层血管的血管密度及与第1层血管不同的第2层血管的血管密度,第1运算值为第1层血管的血管密度与第2层血管的血管密度之比。
优选特征量计算部按照每个像素或每个分割区域来计算种类彼此不同的多个运算用特征量,阶段判别部具有:分布指标值计算部,计算对各运算用特征量的空间分布进行了指标化的运算用分布指标值,并且计算通过基于运算用分布指标值的运算而获得的第2运算值作为分布指标值;及判别部,根据分布指标值,判别病期阶段。
优选具有设定图像区域中能够判别病期阶段的有效区域的有效区域设定部,特征量计算部按照位于有效区域内的每个分割区域来计算特征量。在按照每个像素来计算特征量的情况下,特征量计算部优选将从包含像素的特定区域获得的特定区域的特征量设为每个像素的特征量。
发明效果
根据本发明,能够以高精度进行表示病变部的进展程度的病期阶段的判别。
附图说明
图1是表示图像处理系统及内窥镜系统等的框图。
图2是表示内窥镜系统的框图。
图3是表示医疗图像分析处理部的功能的框图。
图4是表示图像区域及有效区域的医疗图像的图像图。
图5是表示盖的缘部及镜面反射的医疗图像的图像图。
图6是表示图像区域及分割区域的医疗图像的图像图。
图7A是表示图像区域及有效区域内的分割区域的医疗图像的图像图。
图7B是表示像素PE及特定区域SR的说明图。
图8是表示分割区域P1、P2、……、Pn的医疗图像的图像图。
图9是表示异常区域即分割区域Pa、Pb、Pc的医疗图像的图像图。
图10是表示具有第1区域整合部的医疗图像分析处理部的框图。
图11是表示整合异常区域IR1、IR2的医疗图像的图像图。
图12是表示整合异常区域IR3的医疗图像的图像图。
图13是表示具有第2区域整合部的医疗图像分析处理部的框图。
图14是表示整合异常区域IRx的医疗图像的图像图。
图15是包含图像处理系统的诊断支持装置。
图16是包含图像处理系统的医疗业务支持装置。
具体实施方式
如图1所示,图像处理系统10具备医疗图像获取部11、医疗图像分析处理部12、显示部13、显示控制部15、输入接收部16、集中控制部17及保存部18。
医疗图像获取部11从医疗装置即内窥镜系统21等直接或经由PACS(PictureArchiving and Communication System/图像存储与传输系统)22等管理系统或其他信息系统获取包含被摄体像的医疗图像。医疗图像为静态图像或动态图像(所谓的检查动态图像)。在医疗图像为动态图像的情况下,医疗图像获取部11能够获取检查后构成动态图像的帧图像而作为静态图像。并且,在医疗图像为动态图像的情况下,医疗图像的显示除了包含显示构成动态图像的一个代表帧的静态图像的内容以外,还包含播放一次或多次动态图像的内容。并且,在医疗图像获取部11所获取的医疗图像中,除了包含医生使用内窥镜系统21等医疗装置拍摄的图像以外,还包含内窥镜系统21等医疗装置不依赖于医生的摄影命令而自动拍摄的图像。另外,在本实施方式中,图像处理系统10及内窥镜系统21均使用医疗图像进行图像处理,因此图像处理系统10及内窥镜系统21均相当于医疗图像处理系统。作为医疗图像系统,还包含实时获取图像并显示的超声波诊断装置。
在能够获取多个医疗图像的情况下,医疗图像获取部11能够选择性地获取这些医疗图像中的一个或多个医疗图像。并且,医疗图像获取部11能够获取在多个彼此不同的检查中获取的多个医疗图像。例如,能够获取过去进行的检查中所获取的医疗图像及最新检查中所获取的医疗图像中的一个或两个。即,医疗图像获取部11能够任意地获取医疗图像。
在本实施方式中,获取多个包含被摄体像的医疗图像。更具体而言,在获取在一次特定的检查中拍摄的医疗图像且存在多个在一次特定的检查中拍摄的医疗图像的情况下,在一系列医疗图像中获取多个医疗图像。并且,在本实施方式中,图像处理系统10与内窥镜系统21连接,并从内窥镜系统21获取医疗图像。即,在本实施方式中,医疗图像为内窥镜图像。
显示部13为显示医疗图像获取部11所获取的医疗图像及医疗图像分析处理部12的分析结果的显示器。能够共用图像处理系统10连接的设备等所包含的监视器或显示器,并用作图像处理系统10的显示部13。显示控制部15控制显示部13中的医疗图像及分析结果的显示方式。
输入接收部16接收来自与图像处理系统10连接的鼠标、键盘及其他操作设备的输入。图像处理系统10的各部的动作能够使用这些操作设备进行控制。
集中控制部17集中控制图像处理系统10的各部的动作。在输入接收部16接收了使用操作设备的操作输入的情况下,集中控制部17按照该操作输入控制图像处理系统10的各部。
保存部18在图像处理系统10所包含的存储器等存储设备(未图示)或者内窥镜系统21等医疗装置或PACS22所包含的存储设备(未图示)中保存医疗图像的静态图像等。
如图2所示,在本实施方式中,图像处理系统10连接的内窥镜系统21具有通过照射白色的波长频带的光或特定的波长频带的光中的至少任一个拍摄被摄体而获得图像的内窥镜31、经由内窥镜31对被摄体内照射照明光的光源装置32、处理器装置33及显示使用内窥镜31拍摄的内窥镜图像等医疗图像的监视器34。内窥镜31在照明光中使用的特定的波长频带的光例如为窄于绿色波长频带的短波长频带的光,尤其为可见区域的蓝色频带或紫色频带的光。
处理器装置33具备医疗图像获取部35、医疗图像分析处理部36及显示控制部37。医疗图像获取部35获取从内窥镜31输出的医疗图像。医疗图像分析处理部36对通过医疗图像获取部35获取的医疗图像进行分析处理。医疗图像分析处理部36中的处理内容与图像处理系统10的医疗图像分析处理部12中的处理内容相同。显示控制部37将通过医疗图像分析处理部36获得的医疗图像显示于监视器34(显示部)。处理器装置33与图像处理系统10连接。另外,医疗图像获取部35与医疗图像获取部11相同,医疗图像分析处理部36与医疗图像分析处理部12相同,显示控制部37与显示控制部15相同。
医疗图像分析处理部36使用医疗图像获取部11所获取的医疗图像进行分析处理。如图3所示,医疗图像分析处理部36具备有效区域设定部40、特征量计算部42及阶段判别部44。
有效区域设定部40设定医疗图像的图像区域中在阶段判别部44中能够判别病期阶段的有效区域。因此,从医疗图像的图像区域去除无法判别病期阶段或妨碍阶段判别的不可判别区域。例如,如图4所示,在图像区域RP中,关于像素值变低的暗部46,设为不可判别区域,并且从图像区域RP去除暗部46。图像区域RP为显示通过内窥镜31拍摄的观察对象的图像整体的显示区域。而且,从图像区域RP去除了暗部46的区域设定为有效区域Rx。
另外,除了暗部46以外,关于覆盖观察对象的水渍、血渍等特定的渍部;在图像区域RP的周边部产生的失真(由观察对象的拍摄中所使用的物镜引起的失真)或图像模糊;包含空气等的泡沫等也优选设为不可判别区域。例如,关于特定的渍部,呈现特定的颜色,因此通过去除特定的颜色的处理能够去除特定的渍部。并且,关于泡沫,具有圆状,因此通过去除圆状的结构物能够去除泡沫。
并且,在内窥镜31的插入部的前端部安装盖且如图5所示在医疗图像的图像区域映入有盖的缘部48的情况下,关于盖的缘部48的图像,也会妨碍阶段判别部44中病期阶段的判别,因此设为不可判别区域。并且,关于因观察对象被透明的粘膜覆盖而产生的镜面反射50,也会妨碍阶段判别部44中病期阶段的判别,因此设为不可判别区域。而且,有效区域设定部40将从图像区域RP去除了盖的缘部48或镜面反射50的区域设定为有效区域。另外,也可以设为如下方式,即,制作表示不可判别区域的图像,使处理器装置33的学习部(未图示)学习不可判别区域的图像,对学习部输入所获取的医疗图像,由此确定不可判别区域。
如图6所示,特征量计算部42按照将医疗图像的图像区域RP分割为特定尺寸的每个分割区域P来计算观察对象的特征量。例如,在医疗图像的图像尺寸为640×480的情况下,若以纵横来分别分割为16个部分,则分割区域的特定尺寸成为40×30左右(左右周边部分的特定尺寸变得小于其他部分)。特征量使用于病期阶段的判别,因此如图7A所示,特征量计算部42优选对位于能够进行病期阶段的判别的有效区域Rx内的分割区域P计算观察对象的特征量。另外,在特征量计算部42中,也可以按照图像区域RP的每个像素来计算特征量,以代替按照每个分割区域P来计算特征量。在该情况下,例如,如图7B所示,优选设定以所关注的像素PE为中心的40×30左右的特定区域SR,并且将特定区域SR内所获得的特征量设为所关注的像素的特征量。
在特征量计算部42中,作为特征量,例如优选计算特定区域SR或各分割区域P中所包含的血管的血管密度、血管的对比度、血管宽度的变动及血管宽度的平均值等。
血管密度为特定区域SR或分割区域P中所包含的血管的比例。血管的密度为分割区域P的所有像素中血管所占的比例。关于血管,优选将像素值比周围更低的像素区域设为血管。
血管的对比度是指,血管相对于观察对象的粘膜的相对对比度。血管的对比度使用血管的亮度YV及粘膜的亮度YM而例如以“YV/YM”或“(YV-YM)/(YV+YM)”来计算。
血管宽度的变动是指,与特定区域SR或分割区域P中所包含的血管的血管宽度(血管与粘膜的边界线之间的距离)的不均相关的血管指标值,也称为口径不同度。血管宽度的变动例如为血管宽度的变化率(也称为扩展度)。血管直径的变化率使用血管最细部分的粗细(最小直径)及血管最粗部分的粗细(最大直径)并以“血管直径的变化率(%)=最小直径/最大直径×100”来求出。另外,血管宽度例如沿所提取的血管的中心轴而每隔特定间隔计数正交方向即血管的短边方向上的像素数而获得。
血管宽度的平均值为特定区域SR或分割区域P中所包含的血管的血管宽度的平均值。具体而言,通过分割区域P内的血管的血管宽度的合计除以分割区域P内的血管的根数,计算血管宽度的平均值。
作为通过特征量计算部42计算的特征量,除了上述以外,还有血管宽度变动的复杂度、血管的根数、血管的交叉数、血管的长度、血管的间隔、血管的深度、血管的高低差、血管的倾斜度、血管的面积、血管的颜色、血管的蛇行度、血管的血液浓度、血管的氧饱和度、血管的走行图案及血管的血流量等。
关于血管宽度变动的复杂度(以下,称为“宽度变动的复杂度”),在特定区域SR或分割区域P中所包含的血管的血管宽度正在发生变化的情况下,是表示其变化复杂到哪种程度的血管指标值,是组合多个表示血管宽度的变动的血管指标值(即,血管直径的变化率、细径部的比例或粗径部的比例)而计算的血管指标值。粗细变化的复杂度例如能够以血管直径的变化率与细径部的比例的乘积来求出。
血管的根数是指,在特定区域SR或分割区域P中所提取的血管的数量。血管的根数例如使用所提取的血管的分支点的个数(分支数)或与其他血管的交叉点的个数(交叉数)等来计算。血管的分支角度为两根血管在分支点上所成的角度。分支点之间距离为任意的分支点与其旁边的分支点的直线距离或任意的分支点与到其旁边的分支点为止的沿血管的长度。
血管的交叉数是指,粘膜下的深度不同的血管在特定区域SR或分割区域P交叉的交叉点的个数。更具体而言,血管的交叉数是指,相对位于粘膜下较浅的位置的血管横切位于较深的位置的血管的数量。
血管的长度是指,沿长边方向对从特定区域SR或分割区域P提取的血管进行计数的像素数。
血管的间隔是指,表示位于从特定区域SR或分割区域P提取的血管的边缘之间的粘膜的像素的像素数。在所提取的血管为一根的情况下,血管的间隔不带值。
血管的深度以粘膜(更具体而言粘膜的表面)为基准进行测量。以该粘膜为基准的血管的深度例如能够根据血管的颜色进行计算。在特殊观察图像的情况下,例如,以品红色系的颜色来表示位于离粘膜的表面近的位置(粘膜下的较浅的位置)的表层血管,以青色系的颜色来表示位于离粘膜的表面远的位置(粘膜下的较深的位置)的中深层血管,因此根据作为血管来提取的像素的R、G、B各颜色的信号的平衡,按照每个像素来计算以粘膜为基准的血管的深度。
血管的高低差是指,特定区域SR或分割区域P中所包含的血管的深度之差的大小。例如,所关注的一根血管的高低差以该血管最深部位的深度(最大深度)与最浅部位的深度(最小深度)之差来求出。在深度为一定的情况下,高低差为零。
血管的倾斜度是指,特定区域SR或分割区域P中所包含的血管的深度的变化率,使用血管的长度及血管的深度来计算。即,血管的倾斜度以“血管的倾斜度=血管的深度/血管的长度”来求出。另外,也可以将血管划分为多个区间,并且在各区间计算血管的倾斜度。
血管的面积为与特定区域SR或分割区域P中所包含的血管的像素的像素数或作为血管来提取的像素的像素数成正比的值。血管的面积对关注区域内、关注区域外或内窥镜图像整体进行计算。
血管的颜色是指,特定区域SR或分割区域P中所包含的表示血管的像素的RGB的各值。而且,血管的颜色的变化是指,表示血管的像素的RGB各值各自的最大值与最小值之差或之比。例如,表示血管的像素的B值的最大值与最小值之比、G值的最大值与最小值之比或R值的最大值与最小值之比表示血管的颜色的变化。当然,也可以转换为补色而对青色、品红色、黄色及绿色等的各值计算血管的颜色及血管的颜色的变化。
血管的蛇行度是指,表示特定区域SR或分割区域P中所包含的血管蛇行走行的范围的宽度的血管指标值。血管的蛇行度例如为包含计算蛇行度的血管的最小长方形面积(像素数)。并且,也可以将血管的长度相对于血管的起点与终点的直线距离之比设为血管的蛇行度。
血管的血液浓度是指,与特定区域SR或分割区域P中所包含的血管中的血红蛋白的量成正比的血管指标值。G值相对于表示血管的像素的R值之比(G/R)与血红蛋白量成正比,因此通过计算G/R的值,能够按照每个像素来计算血液浓度。
血管的氧饱和度是指,氧合血红蛋白相对于特定区域SR或分割区域P中所包含的血管中的血红蛋白的总量(氧合血红蛋白及还原血红蛋白的总量)的量。氧饱和度能够使用氧合血红蛋白与还原血红蛋白的吸光系数的差异较大的特定波长频带的光(例如,波长470±10nm左右的蓝色光)照明观察对象时获得的内窥镜图像来计算。在使用波长470±10nm左右的蓝色光的情况下,表示血管的像素的B值与氧饱和度有关联,因此通过使用将B值与氧饱和度建立对应关联的表格等,能够计算表示血管的各像素的氧饱和度。
动脉的比例是指,动脉的像素数相对于所有血管的像素数的比例。相同地,静脉的比例是指,静脉的像素数相对于所有血管的像素数的比例。动脉及静脉能够根据氧饱和度来进行区别。例如,若将氧饱和度为70%以上的血管设为动脉,将氧饱和度小于70%的血管设为静脉,则能够将所提取的血管区分为动脉及静脉,因此能够计算上述动脉的比例及静脉的比例。
注射的色素的浓度是指,对观察对象喷洒的色素或通过静脉注射注入于血管的色素的浓度。注射的色素的浓度例如以色素颜色的像素值相对于除了色素颜色以外的像素的像素值的比例来计算。例如,在注射了以蓝色来着色的色素的情况下,B/G或B/R等表示定影(或暂时附着)于观察对象的色素的浓度。B/G为医疗图像的蓝色图像的像素值与医疗图像的绿色图像的像素值的比率,B/R为医疗图像的蓝色图像的像素值与医疗图像的红色图像的像素值的比率。
血管的走行图案是指,与特定区域SR或分割区域P中所包含的血管的走行方向相关的血管指标值。血管的走行图案例如为血管相对于任意设定的基准线的血管的平均角度(走行方向)或血管相对于任意设定的基准线所成的角度的方差(走行方向的不均)等。
血管的血流量为在特定区域SR或分割区域P中所包含的血管中红血球每单位时间穿过的数量。在经由内窥镜12的钳子通道等并用超声波探头的情况下等,使用通过超声波探头获得的信号来计算内窥镜图像的表示血管的各像素的多普勒频移频率,由此能够求出血管的血流量。
阶段判别部44使用通过特征量计算部42计算出的特征量的空间分布,判别观察对象的病期阶段。阶段判别部44具备计算对特征量的空间分布进行了指标值化的分布指标值的分布指标值计算部44a及根据分布指标值判别病期阶段的判别部44b(参考图3)。另外,特征量的空间分布是指图像区域RP中的特征量的扩展,具体而言,表示图像区域的各像素之间的特征量的大小的差异。
在此,作为病期阶段,优选以病变部的进展程度来表示。通常,认为特征量的空间分布中越出现不均,病变阶段的进展程度越大。例如,在病变部为巴雷特食管的情况下,在初期阶段,可举出“血管整体性地均匀分布”、“血管宽度的变化不大”。即,在初期阶段的情况下,认为特征量的空间分布的不均较少。另一方面,若成为进展阶段,则可举出“因炎症、糜烂,存在看不到血管的区域”、“根据区域而血管宽度发生变化”、“血管宽度的变动变大”。即,在进展阶段的情况下,认为特征量的空间分布中产生不均。
另外,在本实施方式中,使用分布指标值来进行病期阶段的判别,但也可以通过其他方法来进行病期阶段的判别。例如,将根据特征量的空间分布图像及其分布图像判别的病期阶段作为学习数据而使处理器装置33的学习部(未图示)学习。学习中使用深度学习等机器学习方法。而且,通过将由特征量计算部42计算出的特征量的空间分布图像输入于学习部,从学习部输出病期阶段。
分布指标值计算部44a作为分布指标值例如求出特征量的方差。具体而言,在按照每个分割区域来计算出特征量的情况下,如图8所示,相加各分割区域P1、P2、……、Pn的所有特征量而计算合计值S,并通过合计值S除以分割区域的数N来计算平均特征量Ave。接着,从分割区域P1的特征量减去平均特征量Ave并进行平方,计算平方偏差V1(=(分割区域P1的特征量-Ave)2)。以相同的方式,对分割区域P2~Pn的特征量,也从各自的特征量减去平均特征量Ave并进行平方,计算平方偏差V2(=(分割区域P2的特征量-Ave)2)、……、Vn(=(分割区域Pn的特征量-Ave)2)。然后,通过合计计算出的所有平方偏差V1、V2、……、Vn,获得方差Vx。
并且,在按照每个像素来计算出特征量的情况下,相加以各像素来计算出的所有特征量而计算合计值,通过合计值除以有效区域内的像素数,计算平均特征量。接着,从各像素的特征量减去平均特征量并进行平方,计算平方偏差(=(各像素的特征量-平均特征量)2)。然后,通过合计有效区域内的所有平方偏差,获得方差。
判别部44b根据通过分布指标值计算部44a求出的方差,判别病期阶段。在该情况下,认为特征量的方差越大,特征量的空间分布中越产生不均,因此判别为病期阶段的进展程度变大。
分布指标值计算部44a例如将特征量成为特定范围外的像素或分割区域确定为异常区域,并计算与异常区域的空间分布相关的指标值作为分布指标值。若为分割区域的情况,则如图9所示,异常区域例如分割区域P1、P2、……、Pa、Pb、Pc、……、Pn中特征量成为特定范围外的分割区域Pa、Pb、Pc确定为异常区域。作为与异常区域的空间分布相关的指标值,有异常区域的数量、面积或图像区域RP中异常区域所占的面积的比率(异常区域的面积比)。例如,在异常区域为分割区域Pa、Ph、Pc,各分割区域的面积为M,分割区域的数量为N的情况下,异常区域的数量成为“3”,异常区域的面积成为“3M”,异常区域的面积比成为“3M/NM”。另外,异常区域的空间分布是指,图像区域RP中的异常区域的扩展,具体而言,表示图像区域RP的异常区域之间的差异。并且,对于以下所示的“特定的整合异常区域的空间分布”或“整合区域的空间分布”也以相同地方式定义。
判别部44b根据与异常区域的空间分布相关的指标值,判别病期阶段。例如,作为与异常区域的空间分布相关的指标值,认为异常区域的数量、面积或异常区域的面积比越大,特征量的空间分布中越产生不均,因此判别为病期阶段的进展程度变大。另外,在按照每个像素计算特征量的情况或每个分割区域来计算特征量的情况中的任一个情况下,也能够根据特征量成为特定范围外的异常区域的像素数等,判别病期阶段的进展程度。
[第2实施方式]
在第2实施方式中,整合表示特征量在特定范围外的像素或分割区域的异常区域,并且计算与整合整合区域而得的整合异常区域中满足特定条件的特定的整合异常区域的空间分布相关的指标值作为分布指标值。在第2实施方式中,关于与特定的整合异常区域的空间分布相关的指标值,例如设为特定的整合异常区域的数量、面积或图像区域中整合异常区域所占的比率中的至少任一个。
在第2实施方式中,分布指标值计算部44a也确定表示特征量在特定范围外的像素或分割区域的异常区域。但是,不会将与异常区域的空间分布相关的指标值直接设为分布指标值。而且,如图10所示,设置于医疗图像分析处理部36的第1区域整合部44c在异常区域相邻存在的情况下,将这些相邻的多个异常区域整合为整合异常区域。然后,第1区域整合部44c将具有一定值面积以上的整合异常区域或图像区域中所占的比率为一定以上的整合异常区域设定为满足特定条件的特定的整合异常区域。然后,分布指标值计算部44a计算特定的整合异常区域的数量、面积或图像区域中特定的整合异常区域所占的比率中的至少任一个作为分布指标值。
若以异常区域为分割区域的情况为例,则例如,如图11所示,在异常区域Pa、Pb、Pc彼此相邻且在远离这些异常区域Pa、Pb、Pc的位置上异常区域Pd、Pe、Pf彼此相邻分布的情况下,第1区域整合部44c整合异常区域Pa、Pb、Pc而设为整合异常区域IR1,整合异常区域Pd、Pe、Pf而设为整合异常区域IR2。但是,关于整合异常区域IR1、IR2,因面积小于规定值,而整合异常区域IR1、IR2不会设定为特定的整合异常区域。
另一方面,如图12所示,在异常区域Pa、Pb、Pc、Pd、Pe、Pf彼此相邻分布的情况下,第1区域整合部44c整合这些异常区域Pa、Pb、Pc、Pd、Pe、Pf而设为整合异常区域IR3。然后,因整合异常区域IR3的面积为规定值以上,而整合异常区域IR3设定为特定的整合异常区域。计算该整合异常区域IR3的数量、面积或图像区域RP中整合异常区域IR3所占的比率中的至少任一个作为分布指标值。
在作为分布指标值计算出特定的整合异常区域的数量、面积或图像区域中特定的整合异常区域所占的比率的情况下,判别部44b根据这些特定的整合异常区域的面积等判别病期阶段。例如,认为特定的整合异常区域的面积等越大,特征量的空间分布中越产生不均,因此判别为病期阶段的进展程度变大。另外,在按照每个像素计算特征量的情况或每个分割区域来计算特征量的情况中的任一个情况下,也能够根据特定的整合异常区域的数量等,判别病期阶段的进展程度。
另外,在第2实施方式中,在相邻的像素或分割区域之间的特征量在特征量用范围内的情况下,也可以整合相邻的像素或分割区域,以代替整合异常区域。该像素或分割区域的整合由图13所示的医疗图像分析处理部36内的第2区域整合部43进行。而且,分布指标值计算部44a计算与整合相邻的像素或分割区域而得的整合区域的空间分布相关的指标值作为分布指标值。关于与整合区域的空间分布相关的指标值,例如设为整合区域的方差。
若以分割区域的情况为例,则例如,如图14所示,在具有特征量Cs的分割区域Ps、具有特征量Ct的分割区域Pt、具有特征量Cu的分割区域Pu、具有特征量Cv的分割区域Pv及具有特征量Cw的分割区域Pw彼此相邻分布的情况下,在特征量Cs、Ct、Cu在特征量用范围内,而特征量Cv、Cw在特征量用范围外的情况下,整合分割区域Ps、Pt、Pu而设为整合区域IRx。而且,计算该整合区域IRx的方差作为分布指标值。
在作为分布指标值计算出整合区域的数量、面积或图像区域中整合区域所占的比率的情况下,判别部44b根据这些整合区域的数量等判别病期阶段。例如,认为整合区域的数量等越大,特征量的空间分布中越产生不均,因此判别为病期阶段的进展程度变大。另外,在按照每个像素计算特征量的情况或每个分割区域来计算特征量的情况中的任一个情况下,也能够根据整合区域的数量等,判别病期阶段的进展程度。
另外,在上述第1及第2实施方式中,作为特征量,计算血管密度、血管对比度、血管宽度的变动或血管宽度的平均值等,但也可以组合它们而设为特征量。例如,在特征量计算部42中,也可以按照每个像素或每个分割区域来计算种类彼此不同的多个运算用特征量,并且将通过基于多个运算用特征量的运算而获得的第1运算值设为特征量。另外,在按照每个像素来计算多个运算用特征量的情况下,与上述实施方式相同地,优选将在特定区域SR中计算的多个运算用特征量设为每个像素的特征量。
例如,在特定区域SR或各分割区域中,在计算极表层血管(第1层血管)的血管密度及位于比极表层血管更深区域的表层血管(第2层血管)的血管密度这两个运算用特征量的情况下,也可以将极表层血管的血管密度除以表层血管的血管密度而获得的血管密度比(第1运算值)设为特征量。在该情况下,关于极表层血管的血管密度,优选使用根据包含410nm的窄频带光的照明光而获得的410nm的医疗图像来计算各分割区域中所包含的极表层血管的血管密度。并且,关于表层血管的血管密度,优选使用根据包含450nm的窄频带光的照明光而获得的450nm的医疗图像来计算各分割区域中所包含的表层血管的血管密度。
并且,在特征量计算部42中,按照每个特定区域SR或分割区域来计算出种类彼此不同的多个运算用特征量的基础上,在分布指标值计算部44a中,计算对各运算用特征量的空间分布进行了指标值化的运算用分布指标值,并将通过基于计算出的运算用分布指标值的运算而获得的第2运算值设为分布指标值。
并且,如上所述,在特定区域SR或各分割区域中,在计算出极表层血管的血管密度及位于比极表层血管更深区域的表层血管的血管密度这两个运算用特征量的情况下,计算对与极表层血管的血管密度相关的空间分布进行了指标值化的极表层血管的分布指标值,并且计算对与表层血管的血管密度相关的空间分布进行了指标值化的表层血管的分布指标值。而且,也可以将极表层血管的分布指标值除以表层血管的分布指标值而获得的分布指标值比(第2运算值)设为分布指标值。
此外,图像处理系统10、内窥镜系统21及包含图像处理系统10的各种装置或系统能够进行以下各种变更等后使用。
作为医疗图像,能够使用照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像。
作为医疗图像,在使用照射特定的波长频带的光而获得的图像的情况下,特定的波长频带能够使用比白色的波长频带窄的频带。
特定的波长频带例如为可见区域的蓝色频带或绿色频带。
在特定的波长频带为可见区域的蓝色频带或绿色频带的情况下,优选特定的波长频带包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带,且特定的波长频带的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。
特定的波长频带例如为可见区域的红色频带。
在特定的波长频带为可见区域的红色频带的情况下,优选特定的波长频带包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带,且特定的波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
特定的波长频带例如包含氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带,且特定的波长频带的光能够在氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带中具有峰值波长。
在特定的波长频带包含氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带,且特定的波长频带的光在氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带中具有峰值波长的情况下,优选特定的波长频带包含400±10nm、440±10hm、470±10nm或600nm以上且750nm以下的波长频带,且特定的波长频带的光在400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带中具有峰值波长。
在医疗图像为照出活体内的活体内图像的情况下,该活体内图像能够具有活体内的荧光物质发出的荧光的信息。
并且,荧光能够利用对活体内照射峰值波长为390nm以上且470nm以下的激励光而获得的荧光。
在医疗图像为照出活体内的活体内图像的情况下,前述的特定的波长频带能够利用红外光的波长频带。
在医疗图像为照出活体内的活体内图像,且作为前述的特定的波长频带利用红外光的波长频带的情况下,优选特定的波长频带包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带,且特定的波长频带的光在790nm以上且820nm以下或905nm以上且970nm以下的波长频带中具有峰值波长。
医疗图像获取部11能够具有特殊光图像获取部,该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像,获取具有特定的波长频带的信号的特殊光图像。在该情况下,作为医疗图像能够利用特殊光图像。
特定的波长频带的信号能够通过基于通常光图像中所包含的RGB或CMY的颜色信息的运算来获得。
能够具备特征量图像生成部,该特征量图像生成部通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像及照射特定的波长频带的光而获得的特殊光图像中的至少一个的运算,生成特征量图像。在该情况下,作为医疗图像能够利用特征量图像。
关于内窥镜系统21,作为内窥镜31能够使用胶囊型内窥镜。在该情况下,光源装置32及处理器装置33的一部分能够搭载于胶囊型内窥镜。
另外,在上述实施方式中,对进行医疗图像之一即内窥镜图像的处理的内窥镜系统适用了本发明,但对处理除了内窥镜图像以外的医疗图像的医疗图像处理系统也能够适用本发明。并且,对用于使用医疗图像而对用户进行诊断支持的诊断支持装置也能够适用本发明。并且,对用于使用医疗图像而支持诊断报告等医疗服务的医疗服务支持装置也能够适用本发明。
例如,如图15所示,诊断支持装置600组合使用医疗图像处理系统602等医学影像设备或PACS604。并且,如图16所示,医疗服务支持装置610经由任意地网络626与第1医疗图像处理系统621、第2医疗图像处理系统622、……、第N医疗图像处理系统623等各种检查装置连接。医疗服务支持装置610接收来自第1~第N医疗图像处理系统621、622……、623的医疗图像,并根据所接收的医疗图像,进行医疗服务的支持。
在上述实施方式及变形例中,医疗图像获取部11、医疗图像分析处理部12及构成医疗图像分析处理部12的各部、显示控制部15、输入接收部16、集中控制部17以及医疗图像获取部35、医疗图像分析处理部36、显示控制部37、有效区域设定部40、特征量计算部42、第2区域整合部43、阶段判别部44、分布指标值计算部44a、判别部44b及第1区域整合部44c等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit/中央处理器)、FPGA(Field Programmable GateArray/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路及GPU(Graphical Processing Unit/图形处理器)等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA或CPU与FPGA的组合、CPU与GPU的组合)构成。并且,也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。并且,存储部的硬件结构为HDD(hard disc drive:硬盘驱动器)或SSD(solid state drive:固态硬盘)等存储装置。
本发明也能够通过下述另一方式来实施。
在处理器装置中,
获取拍摄观察对象而获得的医疗图像,
按照医疗图像的图像区域的每个像素或将医疗图像的图像区域分割为特定尺寸的每个分割区域来计算观察对象的特征量,
使用特征量的空间分布,判别观察对象的病期阶段。
符号说明
10-图像处理系统,11-医疗图像获取部,12-医疗图像分析处理部,13-显示部,15-显示控制部,16-输入接收部,17-集中控制部,18-保存部,21-内窥镜系统,22-PACS,31-内窥镜,32-光源装置,33-处理器装置,34-监视器,35-医疗图像获取部,36-医疗图像分析处理部,37-显示控制部,40-有效区域设定部,42-特征量计算部,43-第2区域整合部,44-阶段判别部,44a-分布指标值计算部,44b-判别部,44c-第1区域整合部,46-暗部,48-缘部,50-镜面反射,610-诊断支持装置,621-第1检查装置,622-第2检查装置,623-第N检查装置,626-网络,630-医疗业务支持装置,RP-图像区域,Rx-有效区域,P-分割区域,P1、P2、Pn、Ps、Pt、Pu、Pv、Pw-分割区域,Pa、Pb、Pc、Pd、Pf-分割区域(异常区域),IR1、IR2、IR3-整合异常区域,IRx-整合区域。
Claims (13)
1.一种医疗图像处理系统,其具备:
医疗图像获取部,获取拍摄观察对象而获得的医疗图像;
特征量计算部,按照所述医疗图像的图像区域的每个像素或将所述医疗图像的图像区域分割为特定尺寸的每个分割区域来计算所述观察对象的特征量;及
阶段判别部,使用所述特征量的空间分布判别所述观察对象的病期阶段。
2.根据权利要求1所述的医疗图像处理系统,其中,
所述阶段判别部具有:
分布指标值计算部,计算对所述特征量的空间分布进行了指标化的分布指标值;及
判别部,根据所述分布指标值,判别所述病期阶段。
3.根据权利要求2所述的医疗图像处理系统,其中,
所述分布指标值为所述特征量的方差,
所述特征量的方差越大,所述病期阶段的进展程度越大。
4.根据权利要求2所述的医疗图像处理系统,其中,
所述分布指标值为与表示所述特征量在特定范围外的像素或分割区域的异常区域的空间分布相关的指标值。
5.根据权利要求4所述的医疗图像处理系统,其中,
与所述异常区域的空间分布相关的指标值为所述异常区域的数量或面积或者所述图像区域中所述异常区域所占的比率中的至少任一个,
所述异常区域的数量、面积或所述异常区域的比率越大,所述病期阶段的进展程度越大。
6.根据权利要求2所述的医疗图像处理系统,其中,
所述阶段判别部具有整合表示所述特征量在特定范围外的像素或分割区域的异常区域的第1区域整合部,
所述分布指标值为与通过所述第1区域整合部整合所述异常区域而得的整合异常区域中满足特定条件的特定的整合异常区域的空间分布相关的指标值。
7.根据权利要求2所述的医疗图像处理系统,其中,
所述医疗图像处理系统具有:
第2区域整合部,在相邻的像素或分割区域的特征量在特征量用范围内的情况下,整合所述相邻的像素或分割区域,
所述分布指标值为与通过所述第2区域整合部整合所述相邻的像素或分割区域而得的整合区域的空间分布相关的指标值。
8.根据权利要求1至7中任一项所述的医疗图像处理系统,其中,
所述特征量为血管密度、血管对比度、血管宽度的变动或血管宽度的平均值中的至少任一个。
9.根据权利要求1至7中任一项所述的医疗图像处理系统,其中,
所述特征量计算部按照每个所述像素或每个所述分割区域来计算种类彼此不同的多个运算用特征量,并且计算通过基于所述多个运算用特征量的运算而获得的第1运算值作为所述特征量。
10.根据权利要求9所述的医疗图像处理系统,其中,
所述运算用特征量为第1层血管的血管密度及与所述第1层血管不同的第2层血管的血管密度,所述第1运算值为所述第1层血管的血管密度与所述第2层血管的血管密度之比。
11.根据权利要求1所述的医疗图像处理系统,其中,
所述特征量计算部按照每个所述像素或每个所述分割区域来计算种类彼此不同的多个运算用特征量,
所述阶段判别部具有:
分布指标值计算部,计算对所述各运算用特征量的空间分布进行了指标化的运算用分布指标值,并且计算通过基于所述运算用分布指标值的运算而获得的第2运算值作为分布指标值;及
判别部,根据所述分布指标值,判别所述病期阶段。
12.根据权利要求1至11中任一项所述的医疗图像处理系统,其中,
所述医疗图像处理系统具有:
有效区域设定部,设定所述图像区域中能够判别所述病期阶段的有效区域,
所述特征量计算部按照位于所述有效区域内的每个分割区域来计算所述特征量。
13.根据权利要求1至12中任一项所述的医疗图像处理系统,其中,
在按照每个所述像素来计算所述特征量的情况下,所述特征量计算部将从包含所述像素的特定区域获得的特定区域的特征量设为每个所述像素的特征量。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018213697 | 2018-11-14 | ||
| JP2018-213697 | 2018-11-14 | ||
| PCT/JP2019/043027 WO2020100630A1 (ja) | 2018-11-14 | 2019-11-01 | 医療画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113038868A true CN113038868A (zh) | 2021-06-25 |
| CN113038868B CN113038868B (zh) | 2024-10-11 |
Family
ID=70731495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980075340.1A Active CN113038868B (zh) | 2018-11-14 | 2019-11-01 | 医疗图像处理系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11961228B2 (zh) |
| EP (1) | EP3881751B1 (zh) |
| JP (1) | JP7263387B2 (zh) |
| CN (1) | CN113038868B (zh) |
| WO (1) | WO2020100630A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4316338A4 (en) * | 2021-03-31 | 2024-08-14 | FUJIFILM Corporation | ENDOSCOPY SYSTEM AND METHOD OF OPERATING SUCH A SYSTEM |
| WO2023084969A1 (ja) * | 2021-11-11 | 2023-05-19 | 富士フイルム株式会社 | 医療画像評価支援装置及び医療画像評価支援装置の作動方法 |
| CN116098565A (zh) * | 2022-12-30 | 2023-05-12 | 杭州华匠医学机器人有限公司 | 视野控制方法及内窥镜系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101166456A (zh) * | 2005-04-27 | 2008-04-23 | 奥林巴斯医疗株式会社 | 图像处理装置、图像处理方法及图像处理程序 |
| CN101981582A (zh) * | 2008-04-04 | 2011-02-23 | 富士胶片株式会社 | 用于检测对象的方法、装置和程序 |
| CN103327883A (zh) * | 2011-02-22 | 2013-09-25 | 奥林巴斯医疗株式会社 | 医用图像处理装置和医用图像处理方法 |
| US20160174886A1 (en) * | 2013-09-26 | 2016-06-23 | Fujifilm Corporation | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device |
| US20180214005A1 (en) * | 2015-09-29 | 2018-08-02 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006166939A (ja) | 2004-12-10 | 2006-06-29 | Olympus Corp | 画像処理方法 |
| JP4767591B2 (ja) | 2005-06-01 | 2011-09-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
| JP2007236956A (ja) * | 2007-03-16 | 2007-09-20 | Olympus Corp | 内視鏡診断支援装置及び内視鏡画像処理方法 |
| JP5784404B2 (ja) * | 2011-07-29 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6027803B2 (ja) | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
| JP6351323B2 (ja) * | 2014-03-20 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6210962B2 (ja) * | 2014-09-30 | 2017-10-11 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| US10052015B2 (en) | 2014-09-30 | 2018-08-21 | Fujifilm Corporation | Endoscope system, processor device, and method for operating endoscope system |
| US20160306936A1 (en) * | 2015-04-15 | 2016-10-20 | Canon Kabushiki Kaisha | Diagnosis support system, information processing method, and program |
| JP6074455B2 (ja) * | 2015-05-14 | 2017-02-01 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム |
| EP3357403B1 (en) | 2015-09-28 | 2019-08-21 | Fujifilm Corporation | Image processing device, endoscope system, and image processing method |
| JP6640866B2 (ja) | 2015-09-29 | 2020-02-05 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
| US10255675B2 (en) * | 2016-01-25 | 2019-04-09 | Toshiba Medical Systems Corporation | Medical image processing apparatus and analysis region setting method of texture analysis |
-
2019
- 2019-11-01 EP EP19884644.6A patent/EP3881751B1/en active Active
- 2019-11-01 JP JP2020556041A patent/JP7263387B2/ja active Active
- 2019-11-01 WO PCT/JP2019/043027 patent/WO2020100630A1/ja not_active Ceased
- 2019-11-01 CN CN201980075340.1A patent/CN113038868B/zh active Active
-
2021
- 2021-04-30 US US17/245,895 patent/US11961228B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101166456A (zh) * | 2005-04-27 | 2008-04-23 | 奥林巴斯医疗株式会社 | 图像处理装置、图像处理方法及图像处理程序 |
| CN101981582A (zh) * | 2008-04-04 | 2011-02-23 | 富士胶片株式会社 | 用于检测对象的方法、装置和程序 |
| CN103327883A (zh) * | 2011-02-22 | 2013-09-25 | 奥林巴斯医疗株式会社 | 医用图像处理装置和医用图像处理方法 |
| US20160174886A1 (en) * | 2013-09-26 | 2016-06-23 | Fujifilm Corporation | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device |
| US20180214005A1 (en) * | 2015-09-29 | 2018-08-02 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020100630A1 (ja) | 2021-09-30 |
| CN113038868B (zh) | 2024-10-11 |
| US20210264592A1 (en) | 2021-08-26 |
| JP7263387B2 (ja) | 2023-04-24 |
| WO2020100630A1 (ja) | 2020-05-22 |
| EP3881751A1 (en) | 2021-09-22 |
| EP3881751B1 (en) | 2024-09-11 |
| US11961228B2 (en) | 2024-04-16 |
| EP3881751A4 (en) | 2021-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891737B2 (en) | Medical image processing device, endoscope system, diagnosis support device, and medical service support device | |
| US10674892B2 (en) | Image processor, image processing method, and endoscope system | |
| US10672123B2 (en) | Image processing apparatus, endoscope system, and image processing method | |
| US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| JP6640866B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| CN112584741B (zh) | 医疗图像处理系统 | |
| US20190183315A1 (en) | Processor device, endoscope system, and method of operating processor device | |
| CN112512398B (zh) | 医疗图像处理装置 | |
| US20180214004A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JP2007190364A (ja) | 画像処理方法及び装置 | |
| US11961228B2 (en) | Medical image processing system | |
| EP3360459A1 (en) | Endoscope system and operation method for endoscope system | |
| WO2019065111A1 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
| JP6866497B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
| WO2020039685A1 (ja) | 医療画像処理装置 | |
| JPWO2020039929A1 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP5800549B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| JP7478245B2 (ja) | 医療画像装置及びその作動方法 | |
| US12121203B2 (en) | Endoscope system | |
| US20230316521A1 (en) | Image-based determination of a property of a fluorescing substance | |
| JP6721939B2 (ja) | 蛍光画像解析装置 | |
| US20250356514A1 (en) | Systems, devices, and methods for imaging and depth measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |