[go: up one dir, main page]

CN104812288B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN104812288B
CN104812288B CN201380060869.9A CN201380060869A CN104812288B CN 104812288 B CN104812288 B CN 104812288B CN 201380060869 A CN201380060869 A CN 201380060869A CN 104812288 B CN104812288 B CN 104812288B
Authority
CN
China
Prior art keywords
region
inspection
image processing
contour edge
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380060869.9A
Other languages
English (en)
Other versions
CN104812288A (zh
Inventor
神田大和
北村诚
河野隆志
弘田昌士
上山都士也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104812288A publication Critical patent/CN104812288A/zh
Application granted granted Critical
Publication of CN104812288B publication Critical patent/CN104812288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明提供在管腔内图像内存在粘膜等检查对象的轮廓边缘的情况下也能够高精度地识别检查对象表面的微细构造的异常的图像处理装置等。图像处理装置(1)具有：轮廓边缘区域提取部(110)，其从对活体的管腔内进行摄像而得到的图像中提取检查对象的轮廓边缘区域；检查区域设定部(120)，其在上述图像内以不内包轮廓边缘区域的方式设定检查区域；以及异常构造识别部(130)，其根据该检查区域的纹理信息来识别检查对象的表面的微细构造是否异常。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及识别对活体的管腔内进行摄像而得到的图像中映出的检查对象表面的微细构造的异常的图像处理装置、图像处理方法和图像处理程序。
背景技术
作为针对通过内窥镜或胶囊型内窥镜等医用观察装置对活体的管腔内进行摄像而得到的图像(以下称为管腔内图像或简称为图像)的图像处理，例如在专利文献1中公开了基于粘膜表面的微细构造或血管行进方式从图像内检测异常部的技术。更详细地讲，在管腔内图像中提取出由包含较多与粘膜的微细构造或血管像有关的信息的G(绿)成分构成的图像后，计算对粘膜表面的像素值图案进行数值化而得到的特征量(例如参照专利文献2和3)，使用该特征量和根据作为正常和异常观察结果的管腔内图像而事前生成的线性判别函数，判别该管腔内图像中映出的被摄体(粘膜)是正常还是异常。另外，在专利文献2中公开了对特定空间频率成分的图像进行二值化并提取的区域的形状特征量(面积、沟宽、周长、圆形度、分支点、端点、分支率等)。并且，在专利文献3中公开了基于利用Gabor滤波器等的空间频率解析的特征量。
现有技术文献
专利文献
专利文献1：日本特开2005-192880号公报
专利文献2：日本特许第2918162号公报
专利文献3：日本特开2002-165757号公报
发明内容
发明要解决的课题
但是，在通过内窥镜进行摄像而得到的管腔内图像中，对作为检查对象的管腔内壁的粘膜进行倾斜摄像而得到的图像较多，所以，存在由于粘膜褶皱的重合而产生的粘膜的轮廓边缘。因此，如现有技术那样，当针对图像整体计算基于空间频率的特征量时，由于这些轮廓边缘的影响而无法计算适当的特征量，存在无法高精度地判别正常和异常的问题。
本发明是鉴于上述情况而完成的，其目的在于，在管腔内图像内存在粘膜等检查对象的轮廓边缘的情况下也能够高精度地识别检查对象表面的微细构造的异常的图像处理装置、图像处理方法和图像处理程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置处理对活体的管腔内进行摄像而得到的图像，其特征在于，所述图像处理装置具有：轮廓边缘区域提取部，其从所述图像中提取检查对象的轮廓边缘区域；检查区域设定部，其在所述图像内以不内包所述轮廓边缘区域的方式设定检查区域；以及异常构造识别部，其根据所述检查区域的纹理信息来识别所述检查对象的表面的微细构造是否异常。
本发明的图像处理方法是处理对活体的管腔内进行摄像而得到的图像的图像处理装置执行的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：轮廓边缘区域提取步骤，从所述图像中提取检查对象的轮廓边缘区域；检查区域设定步骤，在所述图像内以不内包所述轮廓边缘区域的方式设定检查区域；以及异常构造识别步骤，根据所述检查区域的纹理信息来识别所述检查对象的表面的微细构造是否异常。
本发明的图像处理程序是使处理对活体的管腔内进行摄像而得到的图像的图像处理装置执行的图像处理程序，其特征在于，所述图像处理程序包括以下步骤：轮廓边缘区域提取步骤，从所述图像中提取检查对象的轮廓边缘区域；检查区域设定步骤，在所述图像内以不内包所述轮廓边缘区域的方式设定检查区域；以及异常构造识别步骤，根据所述检查区域的纹理信息来识别所述检查对象的表面的微细构造是否异常。
发明效果
根据本发明，以不包含检查对象的轮廓边缘区域的方式设定检查区域，针对所设定的检查区域识别微细构造的异常，所以，在图像内存在检查对象的轮廓边缘的情况下，也能够高精度地识别检查对象表面的微细构造的异常。
附图说明
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的图像处理装置的动作的流程图。
图3是示出通过内窥镜对管腔内进行摄像的状况的示意图。
图4是示出通过内窥镜进行摄像而得到的管腔内图像的示意图。
图5是示出图1所示的轮廓边缘区域提取部执行的处理的详细情况的流程图。
图6是示出图1所示的检查区域设定部执行的详细处理的流程图。
图7是用于说明图1所示的检查区域设定部执行的处理的示意图。
图8是示出图1所示的异常构造识别部执行的处理的详细情况的流程图。
图9是示出本发明的实施方式1的变形例1-2的图像处理装置所具有的运算部的结构的框图。
图10是示出图9所示的轮廓边缘区域提取部执行的处理的流程图。
图11是示出图9所示的检查区域设定部执行的处理的流程图。
图12是用于说明图9所示的检查区域设定部执行的处理的示意图。
图13是用于说明图9所示的检查区域设定部执行的处理的示意图。
图14是示出图9所示的异常构造识别部执行的处理的流程图。
图15是示出本发明的实施方式1的变形例1-3的图像处理装置所具有的运算部的结构的框图。
图16是示出图15所示的检查区域设定部执行的处理的流程图。
图17是示出图15所示的异常构造识别部执行的处理的流程图。
图18是示出本发明的实施方式1的变形例1-4的图像处理装置所具有的检查区域设定部的结构的框图。
图19是示出图18所示的检查区域设定部执行的处理的流程图。
图20是用于说明图18所示的检查区域设定部执行的处理的示意图。
图21是示出本发明的实施方式1的变形例1-5的图像处理装置所具有的检查区域设定部的结构的框图。
图22是示出图21所示的检查区域设定部执行的处理的流程图。
图23是用于说明图21所示的检查区域设定部执行的处理的示意图。
图24是示出本发明的实施方式2的图像处理装置的结构的框图。
图25是示出图24所示的图像处理装置的动作的流程图。
图26是示出本发明的实施方式3的图像处理装置的结构的框图。
图27是示出图26所示的图像处理装置的动作的流程图。
图28是示出图26所示的检查区域设定部执行的处理的详细情况的流程图。
图29是示出根据图4所示的图像生成的距离转换图像的示意图。
图30是示出图26所示的异常构造识别部执行的处理的详细情况的流程图。
图31是示出管腔内图像中的与摄像距离对应的频率成分的强度特性的示意图。
具体实施方式
下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法和图像处理程序进行说明。另外，本发明不被这些实施方式限定。并且，在各附图的记载中，对相同部分标注相同标号示出。
并且，在以下说明的各实施方式中，作为一例，说明将通过内窥镜进行摄像而得到的活体的管腔内图像(以下简称为图像)作为处理对象、从该管腔内图像识别作为检查对象的粘膜的表面中的微细构造的异常的图像处理。管腔内图像通常是在各像素位置处针对R(红)、G(绿)、B(蓝)的波长成分(颜色成分)具有规定(例如256灰度的)像素级别(像素值)的彩色图像。
(实施方式1)
图1是示出本发明的实施方式1的图像处理装置的框图。如图1所示，图像处理装置1具有对该图像处理装置1整体的动作进行控制的控制部10、取得与通过内窥镜进行摄像而得到的图像对应的图像数据的图像取得部20、受理从外部输入的输入信号的输入部30、进行各种显示的显示部40、存储由图像取得部20取得的图像数据和各种程序的记录部50、以及对图像数据执行规定的图像处理的运算部100。
控制部10由CPU等硬件实现，通过读入记录部50中记录的各种程序，根据从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行针对构成图像处理装置1的各部的指示和数据的传输等，总括地控制图像处理装置1整体的动作。
根据包含内窥镜的系统的方式适当构成图像取得部20。例如，在与胶囊型内窥镜之间的图像数据的交换中使用移动型记录介质的情况下，图像取得部20由以拆装自如的方式安装该记录媒体并读出所记录的图像的图像数据的读出装置构成。并且，在设置了预先保存由内窥镜进行摄像而得到的图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信而取得图像数据。或者，还可以利用从内窥镜经由缆线输入图像信号的接口装置等构成图像取得部20。
输入部30例如由键盘和鼠标、触摸面板、各种开关等输入设备实现，将所受理的输入信号输出到控制部10。
显示部40由LCD或EL显示器等显示装置实现，在控制部10的控制下，显示包含管腔内图像的各种画面。
记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或通过数据通信端子连接的硬盘、或者CD-ROM等信息记录介质及其读取装置等实现。记录部50除了存储由图像取得部20取得的图像数据之外，还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、在该程序的执行中使用的数据等。具体而言，记录部50存储用于识别图像内映出的粘膜表面的微细构造的异常的图像处理程序51、该程序的执行中使用的各种信息等。
运算部100由CPU等硬件实现，通过读入图像处理程序51而对管腔内图像实施图像处理，执行用于识别作为检查对象的粘膜的表面的微细构造的异常的各种运算处理。
接着，对运算部100的详细结构进行说明。运算部100具有从图像中提取粘膜的轮廓边缘区域的轮廓边缘区域提取部110、以不内包所提取出的轮廓边缘区域的方式在图像内设定检查区域的检查区域设定部120、以及识别检查区域内的粘膜表面的微细构造是否异常的异常构造识别部130。
其中，轮廓边缘区域提取部110具有计算图像内的各像素中的边缘强度的边缘强度计算部111、提取边缘强度为规定阈值以上的像素作为轮廓边缘候选区域的轮廓边缘候选区域提取部112、以及根据轮廓边缘候选区域的特征量来确定轮廓边缘区域的轮廓边缘区域确定部113，在从图像内的边缘强度较强的像素中将噪声除外后，提取剩余的像素的区域作为轮廓边缘区域。
检查区域设定部120具有在图像内设定检查候选区域的候选区域设定部121、根据与上述轮廓边缘区域有关的信息而从检查候选区域中确定检查区域的区域确定部122，检查区域设定部120以不内包轮廓边缘区域的方式设定检查区域。更详细地讲，区域确定部122具有将所设定的检查候选区域中的内包轮廓边缘区域的检查候选区域除外的轮廓边缘内包区域除外部122a，确定未由轮廓边缘内包区域除外部122a除外而剩余的检查候选区域作为检查区域。
异常构造识别部130根据检查区域的纹理信息来识别粘膜表面的微细构造的异常。这里，图像处理中的纹理是指反复的亮度图案(参考：CG-ARTS协会、“数字图像处理”、第192页(区域的纹理))。在实施方式1中，作为对纹理的特征进行数值化而得到的纹理特征量，使用特定空间频率成分(以下称为特定空间频率成分)。特定空间频率成分在后面叙述。
异常构造识别部130具有计算检查区域中的特定空间频率成分的特定频率成分计算部131、以及根据该特定空间频率成分进行统计分类的统计分类部132，使用该统计分类的结果来识别检查区域内映出的粘膜表面的微细构造是否异常。
接着，对图像处理装置1的动作进行说明。图2是示出图像处理装置1的动作的流程图。
首先，在步骤S11中，运算部100通过读入记录部50中记录的图像数据，取得处理对象的管腔内图像。这里，图3是示出通过内窥镜对管腔内进行摄像的状况的示意图。并且，图4是示出通过内窥镜进行摄像而得到的管腔内图像的示意图。如图3所示，内窥镜6大致使视野V的中心轴与管腔7的长度方向一致来进行摄像。因此，在映出作为检查对象的粘膜的表面(粘膜表面8)的图像M中，粘膜的褶皱的重合有时表现为轮廓边缘区域m1。
在接下来的步骤S12中，轮廓边缘区域提取部110从所取得的图像内提取粘膜的轮廓边缘区域。图5是示出轮廓边缘区域提取部110执行的处理的详细情况的流程图。
首先，在步骤S121中，边缘强度计算部111计算图像内的各像素的边缘强度。能够通过对R、G、B中的任意一个波长成分使用公知的微分滤波器(参考：CG-ARTS协会、“数字图像处理”、第114页(微分滤波器))、形态学滤波器(参考：CORONA公司、小畑秀文著、“形态学”、第100页(边缘检测滤波器))等来实现。
在接下来的步骤S122中，轮廓边缘候选区域提取部112提取边缘强度为规定阈值以上的像素作为轮廓边缘候选区域(以下简称为候选区域)。此时，轮廓边缘候选区域提取部112通过公知的贴标签处理(参考：CG-ARTS协会、“数字图像处理”、第181页(贴标签))等，通过利用附近像素彼此连结规定阈值以上的像素而作为区域进行识别。
在接下来的步骤S123中，轮廓边缘区域确定部113计算所提取出的轮廓边缘候选区域的特征量。作为特征量，举出轮廓边缘候选区域内的像素中的边缘强度的平均值或最大值这样的代表值、轮廓边缘候选区域的面积(即，构成候选区域的像素数)、周长(即，追踪候选区域的轮廓一周的移动量)、宽度这样的形状特征量(参照本申请发明人的日本特开2012-11137号公报)。
进而，在步骤S124中，轮廓边缘区域确定部113根据特征量来确定轮廓边缘区域。更详细地讲，将作为特征量的边缘强度的代表值为规定阈值以下的候选区域、面积或长度为规定阈值以下的候选区域、或宽度为规定阈值以上的候选区域等作为噪声而除外，将剩余的候选区域作为轮廓边缘区域。
另外，在上述步骤S12中，如日本特开2012-11137号公报所公开的那样，也可以应用像素值的变化与检查对象的三维形状对应的粘膜阶梯差、粘膜沟等粘膜起伏的提取处理。
然后，处理返回主例程。
在接着步骤S12的步骤S13中，检查区域设定部120以不内包轮廓边缘区域的方式设定检查区域。图6是示出检查区域设定部120执行的详细处理的流程图。并且，下面，作为一例，说明针对图4所示的图像M的处理。
首先，在步骤S131中，例如如图7所示，候选区域设定部121在图像M内将规定尺寸的多个矩形的检查候选区域CA设定为格子状。
在接下来的步骤S132中，轮廓边缘内包区域除外部122a将检查候选区域CA中的内包轮廓边缘区域m1的检查候选区域除外。例如，在图7的情况下，将斜线所示的检查候选区域CAin作为内包轮廓边缘区域m1的区域而将其除外。
进而，在步骤S133中，区域确定部122确定步骤S132中未除外而剩余的检查候选区域CA作为检查区域EA。
然后，处理返回主例程。
在接着步骤S13的步骤S14中，异常构造识别部130识别图像M中映出的粘膜表面的微细构造是否异常。图8是示出异常构造识别部130执行的处理的详细情况的流程图。
首先，在步骤S141中，特定频率成分计算部131按照构成图像M的每个波长成分(R成分、G成分、B成分)，计算检查区域EA中的特定空间频率成分的强度。这里，特定空间频率成分是能够识别图像M中映出的粘膜表面的微细构造有无异常的空间频率成分，根据训练数据等事前设定。
通过针对检查区域EA的各波长成分应用公知的带通滤波器(参考：CG-ARTS协会、“数字图像处理”、第136页(带通滤波器)、第141页(LOG滤波器))，实现特定空间频率成分的计算。另外，在实施方式1中，针对位于检查区域EA的端部的像素(端部像素)，不进行带通滤波器处理(特定空间频率成分的计算)。其理由是，在计算检查区域EA的端部像素的特定空间频率成分时，需要使用检查区域EA的外部的像素，但是，例如如检查区域EAend那样，在检查区域EA位于图像M的端部的情况下，检查区域EA的外部即成为图像M的外部，不存在像素。并且，在检查区域EA的外部存在像素的情况下，在检查区域EA的外部，像素值也可能与检查区域EA的内部像素的像素值大幅不同。
在接下来的步骤S142中，统计分类部132针对检查区域EA，按照波长成分计算特定空间频率成分的像素间的平均强度，生成将这些平均强度作为成分的特征矢量x。另外，在实施方式1中，由于针对R、G、B这3个波长成分进行运算，所以，特征矢量x成为由3个成分构成的3行1列的矩阵。
这里，在粘膜表面的微细构造异常的情况下，在除了表示粘膜表面形状的低频成分和表示摄像噪声的高频成分以外的中间频带的特定空间频率成分中，在与微细构造正常的情况之间，强度产生差。
因此，在步骤S143中，异常构造识别部130根据事前生成的异常区域的识别函数和根据特定空间频率成分生成的特征矢量x，进行各检查区域EA是否异常的分类。作为实际的处理，计算下式(1)所示的基于概率模型的分类指标P(x)，在该值为阈值以上的情况下，分类为检查区域EA异常。
【数学式1】
在式(1)中，记号μ是事前取得的多个异常区域的取样中的特征矢量的平均矢量(3行1列)。记号Z是事前取得的多个异常区域的取样中的特征矢量的方差协方差矩阵(3行3列)。记号|Z|是方差协方差矩阵的矩阵式。记号Z-1是方差协方差矩阵的逆矩阵。记号k是特征矢量x的维数，在实施方式1中，k＝3。
另外，在实施方式1中，示出使用概率模型的异常区域的分类方法，但是，只要能够对检查区域EA是正常还是异常进行分类即可，也可以使用上述说明以外的方法。例如，也可以通过基于与代表性特征矢量之间的特征空间距离的方法、在特征空间内设定分类边界的方法等来进行分类。
然后，处理返回主例程。
在接着步骤S14的步骤S15中，运算部100输出步骤S14中的异常识别结果，使显示部40进行显示，并且使记录部50进行记录。然后，结束图像处理装置1中的处理。
如以上说明的那样，根据实施方式1，以不包含作为检查对象的粘膜的轮廓边缘区域的方式设定检查区域，针对所设定的检查区域来识别微细构造是否异常，所以，在图像内存在粘膜的轮廓边缘的情况下，也能够高精度地识别粘膜表面的微细构造的异常。
(变形例1-1)
接着，对本发明的实施方式1的变形例1-1进行说明。
在上述实施方式1中，示出了利用空间频率成分作为粘膜表面的纹理信息的例子，但是，代替空间频率成分，也可以使用利用共生矩阵的统计特征量、Local Binary Pattern(局部二值模式)、高次局部自相关、SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)、HOG(Histograms of Oriented Gradients：梯度方向直方图)等公知纹理信息。
(变形例1-2)
接着，对本发明的实施方式1的变形例1-2进行说明。
图9是示出变形例1-2的图像处理装置所具有的运算部的结构的框图。图9所示的运算部100A具有轮廓边缘区域提取部110A、检查区域设定部120A、异常构造识别部130A。另外，运算部100A以外的图像处理装置的结构和动作与实施方式1相同(参照图1)。
轮廓边缘区域提取部110A相对于图1所示的轮廓边缘区域提取部110还具有低吸收波长选择部114。低吸收波长选择部114选择构成图像的多个波长成分中的活体内的吸收或散射的程度最低的波长成分(低吸收波长成分)。轮廓边缘区域提取部110A根据选择出的低吸收波长成分的值，从图像内提取轮廓边缘区域。
代替图1所示的检查区域设定部120所具有的候选区域设定部121，检查区域设定部120A具有候选区域设定部123。候选区域设定部123具有计算与设定检查候选区域的位置处映出的检查对象之间的代表性摄像距离的代表摄像距离计算部123a，在图像内设定与计算出的代表性摄像距离对应的尺寸的检查候选区域。
异常构造识别部130A具有选择根据活体内的吸收或散射的程度而确定的特定波长成分的特定波长成分选择部133、针对选择出的特定波长成分计算特定空间频率成分的特定频率成分计算部134、以及根据特定空间频率成分进行统计分类的统计分类部135，根据基于针对特定波长成分的特定空间频率成分的上述分类的结果，识别检查区域内的微细构造的异常。
接着，对运算部100A的动作进行说明。运算部100A的动作整体与图2所示的动作相同，轮廓边缘区域提取部110A(步骤S12)、检查区域设定部120A(步骤S13)和异常构造识别部130A(步骤S14)的各部执行的处理的详细情况与实施方式1不同。
图10是示出步骤S12中轮廓边缘区域提取部110A执行的处理的流程图。
首先，在步骤a121中，低吸收波长选择部114选择R成分作为低吸收波长成分。这是为了抑制由于血管等而导致的吸收或散射的影响，得到最优良地反映了与粘膜表面之间的摄像距离的像素值，以使得不会将粘膜表面的血管等的边缘误判别为轮廓边缘。在由R成分、G成分和B成分构成的图像中，由于R成分是与血液的吸收频带最远、且波长最长的成分，所以，很难受到活体内的吸收或散射的影响。因此，在本变形例1-2中，选择R成分。
在接下来的步骤a122中，边缘强度计算部111根据步骤a121中选择出的波长成分的值，计算图像内的各像素的边缘强度。
此后的步骤S122～S124中的处理与实施方式1相同(参照图5)。
图11是示出步骤S13中检查区域设定部120A执行的处理的流程图。并且，图12和图13是用于说明检查区域设定部120A执行的处理的示意图。
首先，在步骤a131中，如图12所示，候选区域设定部123在图像M内的多个部位随机决定作为检查候选区域中心的位置(xi,yi)。
在接下来的步骤a132中，代表摄像距离计算部123a计算与各位置(xi,yi)处映出的粘膜之间的摄像距离作为检查候选区域的代表性摄像距离。更详细地讲，代表摄像距离计算部123a根据各位置(xi,yi)的像素的低吸收波长成分(R成分)的值，使用下式(2)估计假设粘膜表面8(参照图3)为均等扩散面的情况下的摄像距离r。
【数学式2】
在式(2)中，记号I是内窥镜6内置的光源的放射强度，应用事前测定的测定值。记号K是粘膜表面8的扩散反射系数，事前测定并应用平均值。记号θ是粘膜表面8的法线矢量与从该粘膜表面8到光源(内窥镜6)的矢量所成的角度。另外，角度θ实际上是根据设置在内窥镜6的前端的光源与粘膜表面8的位置关系而单独决定的值，事前设定并应用平均值。记号L是映出摄像距离r的粘膜表面8上的估计对象区域的像素的R成分值。另外，作为代表性摄像距离，除了作为检查候选区域中心的位置(xi,yi)处的摄像距离以外，还可以使用位置(xi,yi)附近的规定范围内的多个部位处的摄像距离的平均等。
这里，在图像中，一般情况下，远景部的被摄体(粘膜)映出越小，所以，当摄像距离越长则将检查区域设定为越小时，在检查区域内不内包轮廓边缘区域的可能性提高。因此，在步骤a133中，如图13所示，候选区域设定部123以各位置(xi,yi)为中心，设定具有与摄像距离对应的尺寸的检查候选区域CAi。另外，在图13中，示出矩形的检查候选区域CAi，但是，检查区域的形状没有特别限定，除了矩形以外，也可以使用圆形或椭圆形等各种形状。
此后的步骤S132和S133中的处理与实施方式1相同(参照图6)。
图14是示出步骤S14中异常构造识别部130A执行的处理的流程图。
这里，在实施方式1中，使用全部波长成分(R成分、G成分、B成分)来识别粘膜表面的微细构造的异常，但是，粘膜表面的微细构造的异常由于毛细血管的形成状态而引起的情况较多。因此，在异常区域与正常区域之间，发现越是接近血液的吸收频带的波长成分则变化越显著。
因此，在步骤a141中，特定波长成分选择部133选择活体内的吸收或散射的程度较高的特定波长成分。具体而言，选择G成分或B成分。
在接下来的步骤a142中，特定频率成分计算部134针对各检查区域，针对各像素计算选择出的波长成分中的特定空间频率成分的强度。
在接下来的步骤a143中，统计分类部135计算选择出的波长成分中的特定空间频率成分的平均强度，将该平均强度的值作为特征量。
进而，在步骤a144中，异常构造识别部130A根据事前生成的异常区域的识别函数和步骤a143中计算出的特征量，进行各检查区域是否异常的分类。另外，使用识别函数的处理与实施方式1相同。但是，在式(1)所示的分类指标P(x)的计算式中，代替特征矢量x，应用步骤a143中计算出的特征量。并且，代替式(1)中的平均矢量μ，应用事前取得的多个异常区域的取样中的特征量的平均值。进而，代替式(1)中的方差协方差矩阵Z，应用事前取得的多个异常区域的取样中的方差，代替逆矩阵Z-1，应用该取样中的方差的倒数。并且，在式(1)中，k＝1。
然后，处理返回主例程。
如以上说明的那样，根据变形例1-2，由于根据设定检查区域的位置处的摄像距离来变更检查候选区域的尺寸，所以，能够高效地设定检查区域。因此，能够针对更宽范围的粘膜表面执行异常构造识别处理，其结果，能够高精度地识别粘膜表面的微细构造的异常。
并且，根据变形例1-2，由于根据低吸收波长成分的值来提取轮廓边缘区域，所以，能够抑制将由于血管等而产生的边缘(也称为吸光边缘)误判别为粘膜的轮廓边缘。因此，能够将微细构造的异常的识别中有效的吸光边缘包含在检查区域内，其结果，能够高精度地识别粘膜表面的微细构造的异常。
进而，根据变形例1-2，由于根据高吸收波长成分的值来执行异常的识别处理，所以，能够高精度地识别伴随粘膜表面的吸光变化而引起的微细构造的异常。
(变形例1-3)
接着，对本发明的实施方式1的变形例1-3进行说明。
图15是示出变形例1-3的图像处理装置所具有的运算部的结构的框图。图15所示的运算部100B具有轮廓边缘区域提取部110、检查区域设定部120B、异常构造识别部130B。另外，运算部100B以外的图像处理装置的结构和动作与实施方式1相同(参照图1)。并且，轮廓边缘区域提取部110的结构和动作也与实施方式1相同。
代替图1所示的检查区域设定部120所具有的候选区域设定部121，检查区域设定部120B具有候选区域设定部124。候选区域设定部124具有计算设定检查候选区域的位置处映出的检查对象的代表性摄像距离梯度的代表摄像距离梯度计算部124a，在图像内设定与计算出的代表性摄像距离梯度对应的尺寸的检查候选区域。
异常构造识别部130B具有计算活体内的吸收或散射的程度相互不同的特定波长成分间的比率的特定波长间比率计算部136、针对计算出的特定波长成分间的比率计算特定空间频率成分的特定频率成分计算部137、以及根据特定空间频率成分进行统计分类的统计分类部138，根据基于针对波长成分间的比率的特定空间频率成分的上述分类的结果，识别检查区域内的微细构造的异常。
接着，对运算部100B的动作进行说明。运算部100B的动作整体与图2所示的动作相同，检查区域设定部120B(步骤S13)和异常构造识别部130B(步骤S14)的各部执行的处理的详细情况与实施方式1不同。
图16是示出步骤S13中检查区域设定部120B执行的处理的流程图。
首先，在步骤b131中，候选区域设定部124在图像内的多个部位随机决定作为检查候选区域中心的位置(xi,yi)。
在接下来的步骤b132中，代表摄像距离梯度计算部124a计算各位置(xi,yi)处映出的粘膜中的摄像距离梯度作为检查候选区域的代表性摄像距离梯度。更详细地讲，代表摄像距离梯度计算部124a使用式(2)计算与各位置(xi,yi)及其附近的像素中的粘膜之间的摄像距离。然后，针对这些摄像距离的值应用公知的1次微分滤波器(参考：CG-ARTS协会、“数字图像处理”、第114页(微分滤波器))，求出所计算出的值的绝对值。另外，作为代表性摄像距离梯度，除了作为检查候选区域中心的位置(xi,yi)处的摄像距离梯度以外，也可以使用位置(xi,yi)附近的规定范围内的多个部位处的摄像距离梯度的平均等。
这里，在管腔内图像中，摄像距离梯度越大，则从相对于粘膜的倾斜越大的方向进行摄像，所以，图像内的每单位面积的区域中映出的实际的粘膜的面积增大。因此，如果设定检查区域的位置处映出的粘膜的摄像距离梯度越大，则减小检查区域时，在检查区域内不内包轮廓边缘区域的可能性提高。
因此，在步骤b133中，候选区域设定部124以各位置(xi,yi)为中心设定与摄像距离梯度对应的尺寸的检查候选区域。具体而言，决定检查区域的尺寸，以使得摄像距离梯度越大，则检查区域越大。
此后的步骤S132和S133中的处理与实施方式1相同(参照图6)。
图17是示出步骤S14中异常构造识别部130B执行的处理的流程图。
这里，在上述变形例1-2中，使用活体内的吸收或散射的程度较高的特定波长中的特定空间频率成分来识别微细构造的异常。但是，由于这种特定波长的像素值变化容易受到摄像距离的影响，所以，在远景部中变化较小，在近景部中变化较大。因此，在针对高吸收波长成分计算出的特定空间频率成分的平均强度中包含与摄像距离对应的变化，当在远景部和近景部中使用相同识别函数执行异常构造识别处理时，识别精度可能降低。因此，在本变形例1-3中，为了抑制伴随摄像距离的像素值变化的影响，计算活体内的吸收或散射的程度相互不同的特定波长成分间的比率，根据该比率中的特定空间频率成分，执行检查区域中的异常构造识别处理。
详细地讲，在步骤b141中，特定波长间比率计算部136根据检查区域内的各像素的像素值，例如计算G成分值相对于R成分值的比率(G/R)，作为活体内的吸收或散射的程度相互不同的特定波长成分间的比率。下面，将该比率称为波长间比率。
在接下来的步骤b142中，特定频率成分计算部137针对各检查区域，针对各像素计算所计算出的波长间比率的特定空间频率成分的强度。另外，特定空间频率成分根据训练数据等事前设定。
在接下来的步骤b143中，统计分类部138针对各检查区域计算波长间比率的特定空间频率成分的像素间的平均强度，将该平均强度的值作为特征量。
进而，在步骤b144中，异常构造识别部130B根据事前生成的异常区域的识别函数和步骤b143中计算出的特征量，进行各检查区域是否异常的分类。另外，使用识别函数的处理与变形例1-2相同。
然后，处理返回主例程。
如以上说明的那样，根据变形例1-3，由于根据设定检查区域的位置处的摄像距离梯度来变更检查区域的尺寸，所以，能够高效地设定检查区域。因此，能够针对更宽范围的粘膜表面执行异常构造识别处理，其结果，能够高精度地识别粘膜表面的微细构造的异常。
并且，根据变形例1-3，由于在识别粘膜表面中的微细构造的异常时使用波长间比率，所以，能够抑制伴随摄像距离的像素值变化对特定空间频率成分的强度变化造成的影响，能够高精度地识别微细构造的异常。
(变形例1-4)
接着，对本发明的实施方式1的变形例1-4进行说明。
图18是示出变形例1-4的图像处理装置所具有的运算部的一部分结构的框图。代替图1所示的检查区域设定部120，变形例1-4的图像处理装置具有图18所示的检查区域设定部120C。
检查区域设定部120C具有候选区域设定部121和区域确定部125。其中，候选区域设定部121的动作与实施方式1相同。并且，区域确定部125具有将存在于由候选区域设定部121设定的检查候选区域内的轮廓边缘区域除外的轮廓边缘区域除外部125a，确定将轮廓边缘区域除外后而剩余的检查候选区域作为检查区域。
接着，对检查区域设定部120C执行的处理进行说明。图19是示出检查区域设定部120C执行的处理的流程图。下面，作为一例，对针对图4所示的图像M的处理进行说明。
首先，在步骤c131中，候选区域设定部121在处理对象的图像M内将规定尺寸的多个矩形的检查候选区域CA设定为格子状(参照图7)。
在接下来的步骤c132中，轮廓边缘区域除外部125a将检查候选区域CA内的轮廓边缘区域m1除外。由此，如图20所示，斜线所示的轮廓边缘区域m1被除外。
进而，在步骤c133中，区域确定部125确定未除外而剩余的区域作为检查区域。例如，在图20的情况下，除了确定原本不包含轮廓边缘区域m1的检查候选区域CA作为检查区域EA以外，还设定从包含轮廓边缘区域m1的检查候选区域CAk中将轮廓边缘区域m1除外的其余区域作为一个检查区域。
然后，处理返回主例程。
如以上说明的那样，在变形例1-4中，不是将设定为格子状的检查候选区域中的内包轮廓边缘区域的候选区域全部除外，而仅将轮廓边缘区域除外，设定其余区域作为检查区域。因此，能够针对更宽范围的粘膜表面执行异常构造识别处理，其结果，能够高精度地识别粘膜表面的微细构造的异常。
另外，也可以将本变形例1-4与变形例1-2或1-3进行组合，从设定为与摄像距离或摄像距离梯度对应的尺寸的检查候选区域中将轮廓边缘区域除外，将未除外而剩余的区域设定为检查区域。
(变形例1-5)
接着，对本发明的实施方式1的变形例1-5进行说明。
图21是示出变形例1-5的图像处理装置所具有的运算部的一部分结构的框图。代替图1所示的检查区域设定部120，变形例1-5的图像处理装置具有图21所示的检查区域设定部120D。
检查区域设定部120D具有候选区域设定部121和区域确定部126。其中，候选区域设定部121的动作与实施方式1相同。并且，区域确定部126具有将存在于检查候选区域内的轮廓边缘区域除外的轮廓边缘区域除外部126a、以及计算未除外而剩余的检查候选区域的面积的面积计算部126b，根据计算出的检查候选区域的面积来确定检查区域。
接着，对检查区域设定部120D执行的处理进行说明。图22是示出检查区域设定部120D执行的处理的流程图。下面，作为一例，对针对图4所示的图像M的处理进行说明。
首先，在步骤d131中，候选区域设定部121在处理对象的图像M内将规定尺寸的多个矩形的检查候选区域CA设定为格子状(参照图7)。
在接下来的步骤d132中，轮廓边缘区域除外部126a将检查候选区域CA内的轮廓边缘区域m1除外。通过对全部检查候选区域CA执行该处理，如图23所示，斜线所示的轮廓边缘区域m1从检查区域中除外。
这里，在各检查候选区域CA中，在通过将轮廓边缘区域m1除外而相互分开的检查候选区域(例如检查候选区域CAk被截断而产生的区域CAk1、CAk2)中，实际空间中映出不连续粘膜表面的可能性较高。因此，当合并它们并作为一个检查区域进行以后的处理时，异常构造的识别精度可能降低。并且，切开的结果，非常小的区域(例如区域CAk2)的像素数较少，无法得到充分的识别精度，所以优选事前将其除外。
因此，在步骤d133中，面积计算部126b计算将轮廓边缘区域m1除外后而剩余的各检查候选区域CA的面积。此时，针对截断的区域(例如区域CAk1、CAk2)，按照每个区域来计算面积。
进而，在步骤d134中，区域确定部126根据由面积计算部126b计算出的面积来确定检查区域。具体而言，分开的结果是，将面积为规定阈值以下的检查候选区域(例如区域CAk2)除外，确定剩余的各检查候选区域作为检查区域。
然后，处理返回主例程。
如以上说明的那样，根据变形例1-5，由于根据通过将轮廓边缘区域除外而相互分开的各检查候选区域的面积来确定检查区域，所以，能够划分认为实际空间中映出不连续粘膜表面的区域，能够设定异常构造的识别中有效的大小的检查区域。因此，能够高精度地识别粘膜表面的微细构造的异常。
另外，也可以将本变形例1-5与变形例1-2或1-3进行组合，从设定为与摄像距离或摄像距离梯度对应的尺寸的检查候选区域中将轮廓边缘区域除外，根据未除外而剩余的检查候选区域的面积来设定检查区域。
(实施方式2)
接着，对本发明的实施方式2进行说明。
图24是示出实施方式2的图像处理装置的结构的框图。如图24所示，实施方式2的图像处理装置2代替图1所示的运算部100而具有运算部200。另外，运算部200以外的图像处理装置2的各部的结构和动作与实施方式1相同。
运算部200具有将不是异常构造识别处理对象的区域(非检查对象区域)从检查区域的设定对象中除外的非检查对象区域除外部210、轮廓边缘区域提取部110、检查区域设定部120、进行针对未设定检查区域的区域反复执行检查区域的设定的控制的反复控制部220、异常构造识别部130。其中，轮廓边缘区域提取部110、检查区域设定部120、和异常构造识别部130的结构和动作与实施方式1相同。
接着，对图像处理装置2的动作进行说明。图25是示出图像处理装置2的动作的流程图。
首先，在步骤S21中，运算部200通过读入记录部50中记录的图像数据，取得处理对象的管腔内图像。
在接下来的步骤S22中，非检查对象区域除外部210根据能够从图像取得的颜色信息、频率信息、形状信息等，确定暗部、亮部、残渣、泡这样的非检查对象区域，将其从检查区域的设定对象中除外。
这里，在管腔内图像中，在作为检查对象的粘膜区域以外也存在映出管腔的深部的区域(暗部)、从被摄体的表面进行镜面反射的光晕区域(亮部)、映出残渣或泡的区域等。当这些区域混在检查区域内时，微细构造的异常的识别精度降低。因此，非检查对象区域除外部210从图像中提取映出亮部、暗部、残渣和泡等的区域，预先将其作为非检查对象区域而除外。另外，能够通过公知的各种方法来提取这些非检查对象区域。例如，根据基于图像内的各像素的颜色信息(R成分、G成分、B成分的各值等)的颜色特征量来提取黑色区域，根据该黑色区域周围的像素值变化的方向判别该黑色区域是否是暗部，由此能够提取暗部(参考：日本特开2011-234931号公报)。并且，例如，根据图像内的各像素的颜色特征量来提取白色区域，根据该白色区域的边界附近的像素值的变化判别该白色区域是否是光晕区域，由此能够提取亮部(同上)。例如，根据图像内的各像素的颜色特征量来检测视为非粘膜区域的残渣候选区域，根据该残渣候选区域与图像内的构造边缘的位置关系判别残渣候选区域是否是粘膜区域，由此能够提取残渣。例如，从图像内提取边缘，计算根据泡图像的特征而预先设定的泡模型与提取出的边缘的相关值，由此能够提取泡(参考：日本特开2007-313119号公报)。
在接下来的步骤S23中，轮廓边缘区域提取部110提取粘膜的轮廓边缘区域。另外，该提取处理与实施方式1(参照图5)相同。
在接下来的步骤S24中，检查区域设定部120针对将非检查对象区域除外的其余的图像区域以不内包轮廓边缘区域的方式设定检查区域。另外，该检查区域的设定处理与实施方式1(参照图6)相同。其结果，例如如图7所示，将除了斜线所示的检查候选区域CAin以外的区域设定为检查区域EA。
在步骤S25中，反复控制部220判定还未设定检查区域的区域即未检查区域的面积是否小于规定阈值(设为阈值A)、或此前设定的检查区域的设定次数是否大于规定阈值(设为阈值N)。例如在设定次数为第1次的情况下，将从检查区域EA中除外的检查候选区域CAin整体(斜线部分)的面积与阈值A进行比较。
这里，在图像内未充分设定检查区域的情况下，微细构造的异常的识别精度可能降低。因此，在未检查区域的面积为阈值A以上、且检查区域的设定次数为阈值N以下的情况下(步骤S25：否)，反复控制部220判断为还需要进行检查区域的设定，使要设定的检查区域的尺寸小于上次设定时的尺寸(步骤S26)。然后，转移到步骤S24，使检查区域设定部120再次执行检查区域的设定。
例如在图7的情况下，针对上次未设定为检查区域EA的检查候选区域CAin进行减小尺寸的检查区域的设定处理。通过这样减小检查区域的尺寸，检查候选区域不内包轮廓边缘区域m1的可能性提高，所以，能够设定为检查区域的图像M内的区域增加的可能性提高。
另一方面，在未检查区域的面积小于阈值A、或检查区域的设定次数大于阈值N的情况下(步骤S25：是)，反复控制部220判断为不需要进一步进行检查区域的设定，转移到步骤S27。
在步骤S27中，异常构造识别部130针对所设定的检查区域识别粘膜表面的微细构造是否异常。另外，该识别处理与实施方式1(参照图8)相同。
然后，在步骤S28中，运算部200输出步骤S27中的异常识别结果，使显示部40进行显示，并且使记录部50进行记录。然后，结束图像处理装置2中的处理。
如以上说明的那样，根据实施方式2，由于事前将非检查对象区域除外来设定检查区域，所以，能够高精度地识别微细构造的异常。并且，由于反复进行检查区域的设定，所以，能够针对宽范围的粘膜表面识别微细构造的异常。此时，由于每当处理反复时减小检查区域的尺寸，所以，能够设定的检查区域的数量增加，能够针对更宽范围的粘膜表面识别微细构造的异常。其结果，能够提高微细构造的异常的识别精度。
另外，也可以将上述实施方式2中说明的非检查对象区域除外部210和反复控制部220设置在变形例1-2或1-3的图像处理装置中。
(实施方式3)
接着，对本发明的实施方式3进行说明。
图26是示出本发明的实施方式3的图像处理装置的结构的框图。如图26所示，实施方式3的图像处理装置3代替图1所示的运算部100而具有运算部300。运算部300以外的图像处理装置3的各部的结构和动作与实施方式1相同。
运算部300具有轮廓边缘区域提取部110、根据后述距离转换图像来设定检查区域的检查区域设定部310、进行针对未设定检查区域的区域反复执行检查区域的设定的控制的反复控制部320、根据基于与粘膜表面之间的摄像距离而确定的特定频率成分的强度来识别检查区域内的微细构造的异常的异常构造识别部330。其中，轮廓边缘区域提取部110的结构和动作与实施方式1相同。
检查区域设定部310具有计算将图像内的各像素与轮廓边缘区域或图像的端部之间的距离转换为像素值后的距离转换图像的距离转换图像计算部311，根据计算出的距离转换图像，在图像内设定检查区域。
异常构造识别部330具有取得与检查区域中映出的粘膜之间的代表性摄像距离的代表摄像距离取得部331、计算根据该代表性摄像距离而确定的特定空间频率成分的特定频率成分计算部332、以及根据该特定空间频率成分进行统计分类的统计分类部333，根据基于与代表性摄像距离对应的特定空间频率成分的上述分类的结果，识别检查区域内的微细构造的异常。
接着，对图像处理装置3的动作进行说明。图27是示出图像处理装置3的动作的流程图。
首先，在步骤S31中，运算部300通过读入记录部50中记录的图像数据，取得处理对象的管腔内图像。
在接下来的步骤S32中，轮廓边缘区域提取部110提取粘膜的轮廓边缘区域。另外，该提取处理与实施方式1(参照图5)相同。
在步骤S33中，检查区域设定部310以不内包轮廓边缘区域的方式设定检查区域。这里，如实施方式1那样设定检查候选区域，在从中确定符合不内包轮廓边缘区域的条件的候选区域作为检查区域的情况下，当符合条件的候选区域较少时，可能无法得到足够的识别精度。因此，在本实施方式3中，根据轮廓边缘区域的提取结果，使用距离转换图像，以使得更加高效地设定检查区域。
图28是示出检查区域设定部310执行的处理的详细情况的流程图。
在步骤S331中，距离转换图像计算部311计算将从轮廓边缘区域、图像端部或已设定检查区域的区域到各像素的距离转换为该像素的像素值后的距离转换图像。图29是示出根据映出轮廓边缘m1的图像M(参照图4)生成的距离转换图像的示意图。在图29中，利用根据与图像M的端部或轮廓边缘区域m1之间的距离而不同的图案，示出距离转换图像M’内的区域。
在接下来的步骤S332中，检查区域设定部310将距离转换图像中的像素值为最大值的像素作为检查区域中心，设定检查区域，以使得从该中心到检查区域的边界的距离小于上述最大值。例如，在图29的情况下，分别提取像素值最大的点、即与图像M的端部或轮廓边缘区域m1之间的距离最大的点(xmax1,ymax1)～(xmax9,ymax9)，分别设定以这些点为中心的检查区域EA1～EA9。
然后，处理返回主例程。
在接着步骤S33的步骤S34中，反复控制部320判定还未设定检查区域的区域即未检查区域的面积是否小于规定阈值(设为阈值A)、或此前设定的检查区域的设定次数是否大于规定阈值(设为阈值N)。
在未检查区域的面积为阈值A以上、且检查区域的设定次数为阈值N以下的情况下(步骤S34：否)，反复控制部320判断为还需要进行检查区域的设定，转移到步骤S33，使检查区域设定部310再次执行检查区域的设定。例如，在设定了检查区域EA1～EA9后，计算与轮廓边缘区域m1、图像M的端部或检查区域EA1～EA9之间的距离转换图像，根据该距离转换图像设定新的检查区域。
另一方面，在未检查区域的面积小于阈值A、或检查区域的设定次数大于阈值N的情况下(步骤S34：是)，反复控制部320判断为不需要进一步进行检查区域的设定，转移到步骤S35。
在步骤S35中，异常构造识别部330识别检查区域中映出的粘膜表面的微细构造是否异常。图30是示出异常构造识别部330执行的处理的详细情况的流程图。
在步骤S351中，代表摄像距离取得部331取得与各检查区域中映出的粘膜之间的代表性摄像距离。作为代表性摄像距离，例如使用与检查区域中包含的粘膜之间的摄像距离的平均值、检查区域的重心坐标中的摄像距离等。另外，各像素位置中的摄像距离由式(2)给出。
这里，在通过内窥镜进行摄像而得到的管腔内图像中，根据摄像距离而使粘膜表面的微细构造的清晰度不同，所以，能够识别微细构造的异常的特定空间频率成分也根据摄像距离而不同。具体而言，摄像距离越长，则清晰度越低。因此，例如如图31所示，在摄像距离较短的情况下(近景)，当设能够识别微细构造的异常的特定空间频率为f1时，当摄像距离变长时，能够识别相同微细构造的异常的空间频率向高频侧位移(远景：空间频率f2)。
因此，在步骤S352中，特定频率成分计算部332根据代表性摄像距离，确定微细构造的异常的识别中使用的空间频率成分。具体而言，摄像距离越长，则越提高特定空间频率成分，使得能够检测更加微细的构造。另一方面，摄像距离越短，则越降低特定空间频率成分，抑制伴随清晰度提高的噪声的影响。由此，能够提高粘膜表面的微细构造的异常的识别精度。另外，与摄像距离对应的特定空间频率成分根据训练数据等事前设定。
在接下来的步骤S353中，特定频率成分计算部332针对构成图像的各波长成分，针对各像素计算与摄像距离对应的特定空间频率成分的强度。另外，特定空间频率成分的强度的计算处理与实施方式1相同(参照图8的步骤S141)。
接下来的步骤S142和S143与实施方式1相同。然后，处理返回主例程。
在接着步骤S35的步骤S36中，运算部300输出步骤S35中的异常识别结果，使显示部40进行显示，并且使记录部50进行记录。然后，结束图像处理装置3中的处理。
如以上说明的那样，根据实施方式3，不用反复进行检查候选区域的设定和检查区域的确定这样的处理，能够高效地在图像内的宽范围内设定检查区域。其结果是，能够高精度地识别粘膜表面的微细构造的异常。
并且，根据实施方式3，由于根据与检查区域中映出的粘膜之间的代表性摄像距离来确定微细构造的异常的识别中使用的空间频率成分，所以，能够进一步提高微细构造的异常的识别精度。
通过由个人计算机或工作站等计算机系统执行记录介质中记录的图像处理程序，能够实现以上说明的实施方式1～3和这些变形例的图像处理装置。并且，也可以经由局域网、广域网(LAN/WAN)或因特网等公共线路而与其他计算机系统或服务器等设备连接来使用这种计算机系统。该情况下，实施方式1～3的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，并对经由这些网络连接的各种输出设备(观测仪或打印机等)输出图像处理结果，并且在经由这些网络连接的存储装置(记录介质及其读取装置等)中存储图像处理结果。
另外，本发明不限于实施方式1～3和它们的变形例，通过适当组合各实施方式或变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式或变形例所示的全部结构要素中删除若干个结构要素而形成，也可以适当组合不同实施方式或变形例所示的结构要素而形成。
标号说明
1、2、3：图像处理装置；6：内窥镜；7：管腔；8：粘膜表面；10：控制部；20：图像取得部；30：输入部；40：显示部；50：记录部；51：图像处理程序；100、100A、100B、200、300：运算部；110、110A：轮廓边缘区域提取部；111：边缘强度计算部；112：轮廓边缘候选区域提取部；113：轮廓边缘区域确定部；114：低吸收波长选择部；120、120A、120B、120C、120D、310：检查区域设定部；121、124：候选区域设定部；122、125：区域确定部；122a：轮廓边缘内包区域除外部；123：候选区域设定部；123a：代表摄像距离计算部；124a：代表摄像距离梯度计算部；125a：轮廓边缘区域除外部；126a：轮廓边缘区域除外部；126b：面积计算部；130、130A、130B、330：异常构造识别部；131：特定频率成分计算部；132、135、138、333：统计分类部；133：特定波长成分选择部；134：特定频率成分计算部；136：特定波长间比率计算部；137：特定频率成分计算部；210：非检查对象区域除外部；220、320：反复控制部；311：距离转换图像计算部；331：代表摄像距离取得部；332：特定频率成分计算部。

Claims (15)

1.一种图像处理装置，其处理对活体的管腔内进行摄像而得到的图像，其特征在于，所述图像处理装置具有：
轮廓边缘区域提取部，其从所述图像中提取检查对象的轮廓边缘区域；
检查区域设定部，其在所述图像内以不内包所述轮廓边缘区域的方式设定检查区域；以及
异常构造识别部，其根据所述检查区域的纹理信息来识别所述检查对象的表面的微细构造是否异常，
所述检查区域设定部具有：
候选区域设定部，其在所述图像内设定检查候选区域；以及
区域确定部，其根据与所述轮廓边缘区域有关的信息，从所述检查候选区域中确定所述检查区域，
所述区域确定部具有轮廓边缘区域除外部，该轮廓边缘区域除外部将存在于所述检查候选区域内的所述轮廓边缘区域除外，所述区域确定部确定通过所述轮廓边缘区域除外部将所述轮廓边缘区域除外后剩余的检查候选区域作为所述检查区域，
所述异常构造识别部具有：
特定频率成分计算部，其计算所述检查区域中的特定空间频率成分；以及
统计分类部，其根据所述特定空间频率成分来进行统计分类。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述候选区域设定部具有代表摄像距离计算部，该代表摄像距离计算部计算与设定所述检查候选区域的位置处映出的检查对象之间的代表性摄像距离，所述候选区域设定部设定与所述代表性摄像距离对应的尺寸的所述检查候选区域。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述候选区域设定部具有代表摄像距离梯度计算部，该代表摄像距离梯度计算部计算设定所述检查候选区域的位置处映出的检查对象的代表性摄像距离梯度，所述候选区域设定部设定与所述代表性摄像距离梯度对应的尺寸的所述检查候选区域。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述检查区域设定部具有距离转换图像计算部，该距离转换图像计算部计算将所述图像内的各像素与所述轮廓边缘区域或所述图像的端部之间的距离转换为像素值后的距离转换图像，根据所述距离转换图像来设定所述检查区域。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述检查区域设定部将所述距离转换图像中像素值为最大值的像素作为所述检查区域的中心，以从该中心到所述检查区域的边界的距离小于与所述最大值对应的距离的方式设定所述检查区域。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有反复控制部，该反复控制部进行控制，以使得针对未设定所述检查区域的区域反复进行所述检查区域设定部执行的处理。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述反复控制部根据所述处理的反复，针对所述检查区域设定部执行的处理变更内容。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述轮廓边缘区域提取部具有：
边缘强度计算部，其计算所述图像内的各像素处的边缘强度；
轮廓边缘候选区域提取部，其提取所述边缘强度为规定阈值以上的像素作为轮廓边缘候选区域；以及
轮廓边缘区域确定部，其根据所述轮廓边缘候选区域的特征量来确定所述轮廓边缘区域。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述图像由与多个颜色对应的多个波长成分构成，
所述轮廓边缘区域提取部具有低吸收波长选择部，该低吸收波长选择部选择所述多个波长成分中的活体内的吸收或散射的程度最低的波长成分即低吸收波长成分，所述轮廓边缘区域提取部根据所述低吸收波长成分来提取所述轮廓边缘区域。
10.根据权利要求1所述的图像处理装置，其特征在于，
所述图像由与多个颜色对应的多个波长成分构成，
所述异常构造识别部还具有特定波长成分选择部，该特定波长成分选择部从所述多个波长成分中选择根据所述活体内的吸收或散射的程度而确定的特定波长成分。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述图像由与多个颜色对应的多个波长成分构成，
所述异常构造识别部还具有特定波长间比率计算部，该特定波长间比率计算部计算所述活体内的吸收或散射的程度相互不同的波长成分间的比率。
12.根据权利要求1所述的图像处理装置，其特征在于，
所述异常构造识别部还具有代表摄像距离取得部，该代表摄像距离取得部取得与所述检查区域中映出的所述检查对象之间的代表性摄像距离，
所述特定频率成分计算部计算根据所述代表性摄像距离而确定的特定空间频率成分。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有非检查对象区域除外部，该非检查对象区域除外部将所述图像内包含的非检查对象区域从所述检查区域的设定对象中除外。
14.根据权利要求13所述的图像处理装置，其特征在于，
所述非检查对象区域为映出暗部、亮部、残渣和泡中的任意一方的区域。
15.一种图像处理装置执行的图像处理方法，该图像处理装置处理对活体的管腔内进行摄像而得到的图像，其特征在于，所述图像处理方法包括以下步骤：
轮廓边缘区域提取步骤，从所述图像中提取检查对象的轮廓边缘区域；
检查区域设定步骤，在所述图像内以不内包所述轮廓边缘区域的方式设定检查区域；以及
异常构造识别步骤，根据所述检查区域的纹理信息来识别所述检查对象的表面的微细构造是否异常，
所述检查区域设定步骤包括以下步骤：
候选区域设定步骤，在所述图像内设定检查候选区域；以及
区域确定步骤，根据与所述轮廓边缘区域有关的信息，从所述检查候选区域中确定所述检查区域，
所述区域确定步骤还包括轮廓边缘区域除外步骤，在该轮廓边缘区域除外步骤中，将存在于所述检查候选区域内的所述轮廓边缘区域除外，所述区域确定步骤确定通过所述轮廓边缘区域除外步骤将所述轮廓边缘区域除外后剩余的检查候选区域作为所述检查区域，
所述异常构造识别步骤具有：
特定频率成分计算步骤，计算所述检查区域中的特定空间频率成分；以及
统计分类步骤，根据所述特定空间频率成分来进行统计分类。
CN201380060869.9A 2012-11-29 2013-11-18 图像处理装置和图像处理方法 Active CN104812288B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-261671 2012-11-29
JP2012261671A JP6422198B2 (ja) 2012-11-29 2012-11-29 画像処理装置、画像処理方法、及び画像処理プログラム
PCT/JP2013/081083 WO2014084083A1 (ja) 2012-11-29 2013-11-18 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104812288A CN104812288A (zh) 2015-07-29
CN104812288B true CN104812288B (zh) 2018-02-09

Family

ID=50827726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380060869.9A Active CN104812288B (zh) 2012-11-29 2013-11-18 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US9672610B2 (zh)
EP (1) EP2926716A4 (zh)
JP (1) JP6422198B2 (zh)
CN (1) CN104812288B (zh)
WO (1) WO2014084083A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043052B2 (en) * 2011-10-27 2018-08-07 Synaptics Incorporated Electronic device packages and methods
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN107529962B (zh) * 2015-04-23 2020-02-07 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
JP6598850B2 (ja) * 2015-04-23 2019-10-30 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10255675B2 (en) 2016-01-25 2019-04-09 Toshiba Medical Systems Corporation Medical image processing apparatus and analysis region setting method of texture analysis
JP6961333B2 (ja) * 2016-01-25 2021-11-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置
DE112016006913T5 (de) * 2016-05-27 2019-02-14 Olympus Corporation Bildverarbeitungsvorrichtung, Betriebsverfahren der Bildverarbeitungsvorrichtung und Betriebsprogramm der Bildverarbeitungsvorrichtung
JP6390671B2 (ja) * 2016-07-29 2018-09-19 オムロン株式会社 画像処理装置および画像処理方法
EP3701852B1 (en) * 2017-10-26 2023-05-10 FUJIFILM Corporation Medical image processing device
CN109344839B (zh) * 2018-08-07 2020-11-27 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP6697537B1 (ja) * 2018-12-20 2020-05-20 ゼネラル・エレクトリック・カンパニイ 医用画像装置及びその制御プログラム
WO2020255228A1 (ja) 2019-06-17 2020-12-24 オリンパス株式会社 画像記録装置、情報処理装置、画像記録方法および画像記録プログラム
JP2023075611A (ja) 2021-11-19 2023-05-31 富士フイルム株式会社 医療画像処理装置及びその作動方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
FR2809849B1 (fr) * 2000-06-05 2002-11-01 Ge Medical Systems Global Tech Cy Llc Procede et dispositif d'acquisition d'images
JP4450973B2 (ja) 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
US7949162B2 (en) * 2006-08-14 2011-05-24 Siemens Medical Solutions Usa, Inc. System and method for solid component evaluation in mixed ground glass nodules
US7856130B2 (en) * 2007-03-28 2010-12-21 Eigen, Inc. Object recognition system for medical imaging
JP5028138B2 (ja) * 2007-05-08 2012-09-19 オリンパス株式会社 画像処理装置および画像処理プログラム
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8687859B2 (en) * 2009-10-14 2014-04-01 Carestream Health, Inc. Method for identifying a tooth region
JP5610761B2 (ja) * 2009-12-16 2014-10-22 キヤノン株式会社 Ｘ線画像処理装置、ｘ線画像処理システム、ｘ線画像処理方法、及びコンピュータプログラム
US8483432B2 (en) * 2009-12-23 2013-07-09 General Electric Company Methods for automatic segmentation and temporal tracking
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658931B2 (ja) 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Also Published As

Publication number Publication date
US20150254826A1 (en) 2015-09-10
JP2014104293A (ja) 2014-06-09
EP2926716A4 (en) 2016-09-07
JP6422198B2 (ja) 2018-11-14
CN104812288A (zh) 2015-07-29
US9672610B2 (en) 2017-06-06
EP2926716A1 (en) 2015-10-07
WO2014084083A1 (ja) 2014-06-05

Similar Documents

Publication Publication Date Title
CN104812288B (zh) 图像处理装置和图像处理方法
CN104363815B (zh) 图像处理装置以及图像处理方法
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US11875479B2 (en) Fusion of deep learning and handcrafted techniques in dermoscopy image analysis
US10499845B2 (en) Method and device for analysing an image
Azemin et al. Robust methodology for fractal analysis of the retinal vasculature
CN103957771B (zh) 图像处理装置和图像处理方法
EP1593094B1 (en) Image analysis for the purpose of assessing cancer
TWI496112B (zh) 細胞影像分割方法以及核質比評估方法
KR100889014B1 (ko) 그래프 기반 접근 방법을 이용한 설진 영역 추출 방법
CN107835654A (zh) 图像处理装置、图像处理方法和图像处理程序
CN108186051B (zh) 一种从超声图像中自动测量胎儿双顶径长度的图像处理方法及处理系统
WO2013161589A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR101926015B1 (ko) 영상 처리 장치 및 방법
US10540765B2 (en) Image processing device, image processing method, and computer program product thereon
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
CN110930425B (zh) 基于邻域向量内积局部对比度图像增强的损伤目标检测方法
KR20230060149A (ko) 홀로그램 기반 대상체 3차원 계측 장치 및 방법
WO2025061646A1 (en) Method of bioimage analysis for the detection of color abnormalities through color distribution assessment
CN107529962A (zh) 图像处理装置、图像处理方法和图像处理程序
Łowicki et al. Towards sustainable health-detection of tumor changes in breast histopathological images using deep learning
Özkan et al. Biomedical System Design Capsule Project Report
Liao High-Speed, High-Resolution 3D Imaging and Multispectral Imaging for High-Throughput Precision Agriculture: Leaf Vein Segmentation and Density Measurement
CN121121282A (zh) 一种皮肤病智能评估方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant