[go: up one dir, main page]

WO2018011928A1 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2018011928A1
WO2018011928A1 PCT/JP2016/070745 JP2016070745W WO2018011928A1 WO 2018011928 A1 WO2018011928 A1 WO 2018011928A1 JP 2016070745 W JP2016070745 W JP 2016070745W WO 2018011928 A1 WO2018011928 A1 WO 2018011928A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
image
region
area
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/070745
Other languages
English (en)
French (fr)
Inventor
健人 速水
大和 神田
隆志 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to CN201680087532.0A priority Critical patent/CN109475277B/zh
Priority to PCT/JP2016/070745 priority patent/WO2018011928A1/ja
Priority to JP2018527322A priority patent/JP6664486B2/ja
Publication of WO2018011928A1 publication Critical patent/WO2018011928A1/ja
Priority to US16/237,838 priority patent/US20190150848A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an image processing device that classifies an intraluminal image group acquired by, for example, imaging the inside of a lumen of a living body, an operation method of the image processing device, and an operation program of the image processing device.
  • Patent Document 1 discloses a first high-frequency intensity that is lost when defocusing or camera shake occurs, and a low value that is relatively larger than the first high-frequency intensity even when defocusing or camera shake occurs.
  • the second high-frequency intensity including the frequency component on the band side is extracted from the image, and the noise parameter is set by calculating the average amplitude of the noise in the image.
  • patent document 1 calculates the focus degree of several positions in an image by calculating ratio of the 1st high frequency intensity to the sum of the 2nd high frequency intensity and a noise parameter.
  • the present invention has been made in view of the above, and an object thereof is to provide an image processing apparatus capable of classifying images in detail, an operation method of the image processing apparatus, and an operation program of the image processing apparatus.
  • an image processing apparatus includes an attention area setting unit that sets an attention area that is an evaluation target of classification for an image, and a surface layer structure of the attention area.
  • a surface layer structure information calculation unit that calculates surface layer structure information indicating at least a focus level calculation unit that calculates a degree of focus outside the region of interest in the image;
  • An image classifying unit that classifies the image based on the degree of charcoal.
  • an operation method of the image processing apparatus is a region-of-interest setting in which a region-of-interest setting unit sets a region of interest to be evaluated for classification on an image.
  • a surface layer structure information calculation step in which a surface layer structure information calculation unit calculates surface layer structure information indicating a surface layer structure of the region of interest, and an out-of-focus region out-of-focus region calculation unit includes at least an out-of-focus region in the image.
  • the operation program of the image processing apparatus includes a region-of-interest setting unit in which a region-of-interest setting unit sets a region of interest to be evaluated for classification on an image.
  • a procedure, a surface layer structure information calculation unit that calculates surface layer structure information indicating a surface layer structure of the region of interest, and a focus area calculation unit that is out of the region of interest includes at least an out-of-focus region in the image.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • FIG. 4 is a block diagram showing a functional configuration of the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating image processing performed by the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flow
  • FIG. 6 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • FIG. 7 is a flowchart illustrating image processing performed by the image processing apparatus according to the second modification of the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart illustrating image processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • FIG. 10 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • FIG. 11 is a diagram for explaining the setting of the reference area by the reference area setting unit.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 14 is a flowchart showing the intraluminal image classification processing executed by the image classification unit.
  • FIG. 15 is a flowchart illustrating image processing performed by the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 16 is a flowchart showing the calculation process of the out-of-focus area focus degree executed by the out-of-focus area focus degree calculation unit.
  • an image processing apparatus that classifies an intraluminal image group captured by an endoscope is shown.
  • the intraluminal image is a color image having a pixel level (pixel value) for each color component of R (red), G (green), and B (blue) at each pixel position.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to Embodiment 1 classifies intraluminal images based on an intraluminal image group, an attention area such as a lesion area suspected to be a neoplastic lesion, and information outside the attention area. .
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires an intraluminal image group generated by imaging the inside of the lumen by the imaging device, and an external device.
  • An input unit 30 for inputting a signal corresponding to the operation of the control unit 10 to the control unit 10, a display unit 40 for displaying various information and images, and a recording unit for storing image data and various programs acquired by the image acquisition unit 20 50 and a calculation unit 100 that executes predetermined image processing on the image data.
  • the control unit 10 is realized by hardware such as a CPU (Central Processing Unit), and by reading various programs recorded in the recording unit 50, an intraluminal image group input from the image acquisition unit 20 and the input unit 30. In accordance with signals input from the image processing apparatus 1, instructions to each unit constituting the image processing apparatus 1, data transfer, and the like are performed, and the overall operation of the image processing apparatus 1 is comprehensively controlled.
  • a CPU Central Processing Unit
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the medical imaging device.
  • the image acquisition unit 20 is configured by an interface that captures an intraluminal image group generated in the imaging device.
  • the image acquisition unit 20 is configured by a communication device or the like connected to the server, and performs data communication with the server to perform tube communication.
  • An intraluminal image group is acquired.
  • the intraluminal image group generated by the imaging device may be transferred using a portable recording medium.
  • the image acquisition unit 20 detachably mounts the portable recording medium, It is comprised by the reader apparatus which reads the intraluminal image group of the recorded image.
  • the input unit 30 is realized by input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs an input signal generated in response to an external operation on these input devices to the control unit 10.
  • the display unit 40 is realized by a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an intraluminal image group under the control of the control unit 10.
  • a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an intraluminal image group under the control of the control unit 10.
  • the recording unit 50 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, a hard disk built in or connected by a data communication terminal, or an information recording device such as a CD-ROM and its reading device.
  • the recording unit 50 operates the image processing apparatus 1 in addition to the intraluminal image group acquired by the image acquisition unit 20 and also causes the image processing apparatus 1 to execute various functions, and the execution of this program. Stores data used inside.
  • the recording unit 50 stores an image processing program 51 for classifying an intraluminal image group, a threshold used in the image processing, a classification result by the calculation unit 100, and the like.
  • the calculation unit 100 is realized by hardware such as a CPU, and executes image processing for classifying the intraluminal image group by reading the image processing program 51.
  • the calculation unit 100 includes an attention area setting unit 110 that sets an attention area that is an evaluation target of image classification in the acquired image, a surface layer structure information calculation unit 120 that calculates information indicating a surface layer structure of the attention area, and an attention area.
  • An out-of-focus area focus degree calculation unit 130 that calculates the out-of-area focus degree, and an image classification unit 140 that classifies images based on the surface layer structure information and the out-of-focus area focus degree.
  • the out-of-focus area focus degree calculation unit 130 includes a frequency information calculation unit 131 that calculates frequency information of the intraluminal image, and a distance calculation unit 132. Furthermore, the frequency information calculation unit 131 includes a specific frequency intensity calculation unit 131a that calculates the intensity of a specific frequency band of the image.
  • the image classification unit 140 includes a weighted average unit 141 that calculates a degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance calculated by the distance calculation unit 132.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 acquires an intraluminal image via the image acquisition unit 20.
  • the image is generated by irradiating the lumen with illumination light (white light) including each of the R, G, and B wavelength components by the endoscope, and these are generated at each pixel position.
  • An intraluminal image having pixel values (R value, G value, B value) corresponding to the wavelength components of is acquired.
  • the illumination light is not limited to the white light, but may be special light including wavelength components of G and B narrow bands, or irradiation light including at least one narrow band light of R, G, and B. .
  • a pixel value (G value) corresponding to these wavelength components is generated at each pixel position by generating an image by irradiating the lumen with special light including each wavelength component with narrowed G and B bands. , B value) may be acquired.
  • the calculation unit 100 sets a region of interest.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets an attention area including the attention location.
  • the attention area setting unit 110 may be, for example, a user input, a known snake (reference: CG-ARTS Association, “Digital Image Processing” revised new edition, page 210), graph cut (reference: CG-ARTS Association, “ A region of interest is set using a known method such as “Digital Image Processing”, revised edition, page 212).
  • a polyp candidate detection process described in Japanese Patent Application Laid-Open No. 2007-244518 may be used to extract a polyp region and use it as a region of interest.
  • DPM deformable parts model
  • Learning deep architectures for AI Y. Bengio
  • a lesioned part such as a tumor or an abnormal part may be detected, and a region of interest including any of these may be set.
  • the calculation unit 100 calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates information indicating the surface layer structure of the set attention area.
  • the information indicating the surface layer structure calculated here is, for example, the edge strength calculated by applying a known edge extraction process (reference: CG-ARTS Association, “Digital Image Processing” revised edition, page 105). It is.
  • the surface layer structure information calculation unit 120 uses, as the surface layer structure information, representative values such as an average value and a mode value when a plurality of pieces of information are obtained, for example, the edge strength is obtained for each pixel position. Further, the surface layer structure information calculation unit 120 may calculate the frequency information of the attention area as the surface layer structure information.
  • FIG. 3 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • the frequency information calculation unit 131 calculates frequency information outside the attention area. Specifically, when a plurality of pixels included in the imaging device are arranged in a matrix and the coordinates of the pixels are (x, y), the frequency information F of the image I (x, y) is expressed by the following equation (1). (U, v) is calculated. At this time, in an image composed of wavelength components of R, G, and B colors, the G component and the B component are close to the blood absorption band, and an object (blood vessel) showing a contrast change is easily reflected, and saturation is hardly caused. Therefore, the frequency information calculation unit 131 calculates the frequency information F (u, v) based on the G component and the B component.
  • the arithmetic unit 100 may perform saturation removal or halation removal by an optical system or an illumination system that may be a cause of reduced accuracy before the processing step S401.
  • j imaginary unit
  • j ⁇ ( ⁇ 1)
  • u Spatial frequency in the x direction
  • v Spatial frequency in the y direction.
  • the characteristic range here is a characteristic frequency representing a surface layer structure, for example, a characteristic frequency representing a texture such as the thickness of a blood vessel, and is set in advance.
  • the extracted frequency information F ′ (u, v) is converted into a processed image I ′ (x, y) by the following equation (2).
  • the specific frequency intensity calculation unit 131a takes an absolute value
  • the specific frequency intensity calculation unit 131a may set a small area including a plurality of pixel positions, and may use the representative value of the focus degree in the small area as the focus degree of the small area.
  • the representative value is, for example, an average value, median value, mode value, maximum value, minimum value, or the like.
  • the specific frequency intensity calculating unit 131a sets a small region having the same length in both the vertical and horizontal directions in the intraluminal image, and sets the small region as I (x, y).
  • the frequency information F (u, v) is calculated for each small region by the equation (1), and the power spectrum is calculated by the following equation (3).
  • the specific frequency intensity calculation unit 131a calculates a representative value of the extracted power spectrum p (u, v) and sets it as the degree of focus.
  • step S403 following step S402, the distance calculation unit 132 calculates the distance from the attention area to each pixel position or each small area outside the attention area.
  • the distance calculated by the distance calculation unit 132 is the distance on the image from the coordinates of the attention area and the coordinates outside the attention area, or the imaging distance to the object appearing in the attention area and the object appearing outside the attention area. Is the difference from the imaging distance.
  • the distance calculation unit 132 calculates the center of gravity of the attention area, and calculates the distance from the coordinates of the pixel position where the center of gravity is located to the coordinates of each pixel position outside the attention area.
  • the distance calculation unit 132 first represents a representative value of the imaging distance to the target shown in the region of interest (for example, an average value, a median value, a mode value, a maximum value, a minimum value, etc. ). Thereafter, the distance calculation unit 132 calculates the difference between the imaging distance of each pixel position outside the attention area and the representative value of the imaging distance determined in the attention area.
  • the imaging distance to the target on the intraluminal image can be calculated by a known calculation method. For example, it may be calculated using pixel values of wavelength components as will be described later, a distance may be calculated by acquiring a stereo image, or based on a result of distance measurement by a distance measurement sensor or the like. The distance may be calculated.
  • the operation of the calculation unit 100 returns to the main routine.
  • the range outside the attention area in which the degree of focus is calculated may be limited to a range in which the distance is within a predetermined range.
  • the distance calculation unit 132 calculates the distance before the frequency information calculation unit 131 calculates the frequency information.
  • step S50 the image classification unit 140 calculates the degree of focus of the attention area.
  • the weighted average unit 141 calculates the degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance.
  • the weighted average section 141 when the focus degree of the region of interest was f t, and calculates the focus level f t by the following equation (4).
  • K the number of pixels or the number of areas outside the attention area
  • w i the weight according to the distance f i : the degree of focus outside the attention area.
  • the weight w i is larger as the distance is shorter and smaller as it is farther away.
  • the weight w i is calculated by the following equation (5), for example.
  • k arbitrary coefficient
  • ⁇ standard deviation
  • d i distance between the attention area and the outside of the attention area. Note that the weight is not limited to the above equation (5) as long as the weights w i that are larger as the distance is shorter and smaller as the distance is farther can be calculated.
  • step S60 subsequent to step S50, the image classification section 140, a focus degree f t of the attention area weighted average unit 141 is calculated, based on the surface structure information calculated at step S30, the intraluminal image Classify.
  • the image classification unit 140 converts the intraluminal image into a focused image having a surface layer structure in a region of interest, a focused image having no surface layer structure, an unfocused image that is not focused, Classify into: If the information indicating the surface layer structure is equal to or greater than a preset value, the image classification unit 140 classifies the focused image having the surface layer structure.
  • Image classification unit 140 is less than the value information showing a surface structure has been set in advance, and, if the value or the degree of focus f t of the region of interest is set in advance, no surface structure if Classify into a focus image. Then, if it is less than the value of information indicating the surface structure, and the focus degree f t of the attention area are both set in advance are classified into unfocused image.
  • the value set in advance for the information indicating the surface layer structure is a value set for the intensity of a specific frequency, and is assumed to have a surface layer structure and clearly appear in the intraluminal image.
  • the preset value for the degree of focus f t of the attention area is a value which is set for focusing degree f t, thereby regarded as an object in the target region is reflected in clear It is a value that can be determined.
  • the control unit 10 records the classification result in the recording unit 50 in association with the intraluminal image or displays it on the display unit 40. Note that the control unit 10 repeats the above-described classification process at the timing when the image acquisition unit 20 acquires the intraluminal image or the timing that satisfies the set condition, for example, every frame or every several frames.
  • the intraluminal image group can be classified in detail. Conventionally, there is a case where the focus determination cannot be performed correctly because there is no target that shows a contrast change in the attention area. However, according to the first embodiment, the focus degree outside the attention area is determined as the distance from the attention area.
  • the intraluminal image is converted into a focused image including the presence or absence of a surface layer structure and a non-focused image. It can be classified with high accuracy.
  • FIG. 4 is a block diagram showing a functional configuration of the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • An image processing apparatus 1A shown in FIG. 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1A, an image acquisition unit 20 that acquires image data generated by imaging the inside of a lumen, and an external An input unit 30 for inputting a signal corresponding to an operation from the control unit 10, a display unit 40 for displaying various information and images, and a record for storing image data acquired by the image acquisition unit 20 and various programs.
  • Unit 50 and an arithmetic unit 100A that executes predetermined image processing on the image data.
  • the calculation unit 100A includes an attention area setting unit 110 that sets an attention area as an evaluation target of image classification in the acquired image, a surface layer structure information calculation unit 120 that calculates information indicating a surface layer structure of the attention area, An out-of-focus area focus degree calculation unit 130A that calculates the out-of-area focus degree, and an image classification unit 140 that classifies images based on the surface layer structure information and the out-of-focus area focus degree.
  • the out-of-focus area degree-of-focus calculation unit 130A calculates the degree of focus based on the imaging distance estimation unit 133 that estimates the imaging distance to each pixel in the image, and information on different frequency bands depending on the imaging distance. And an adaptive focus degree calculation unit 134. Furthermore, the imaging distance estimation unit 133 includes a low absorption wavelength component selection unit 133a that selects a low absorption wavelength component having the lowest degree of absorption / scattering in the living body. In addition, the adaptive focus degree calculation unit 134 includes an adaptive frequency information calculation unit 134a that calculates information of different frequency bands adaptively according to the imaging distance.
  • FIG. 5 is a flowchart illustrating image processing performed by the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • the image processing apparatus 1 ⁇ / b> A acquires an intraluminal image via the image acquisition unit 20.
  • the calculation unit 100A sets the attention area.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets the attention area including the attention location.
  • the calculation unit 100A calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates surface layer structure information indicating the surface layer structure of the set attention area.
  • FIG. 6 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • the imaging distance estimation unit 133 estimates the imaging distance at each pixel position in the image.
  • the imaging distance estimation unit 133 estimates the imaging distance at each pixel position in the image.
  • the imaging distance estimation unit 133 selects the low absorption wavelength component having the lowest degree of absorption / scattering in the living body.
  • the low absorption wavelength component selection unit 133a will be described as selecting the R component. This is to obtain pixel value information that is most correlated with the imaging distance from the mucosal surface by suppressing the decrease in pixel value due to blood vessels or the like reflected on the mucosal surface.
  • the R component is selected because it is not affected by absorption and scattering in the living body because the R component is a long wavelength component away from the blood absorption band.
  • the imaging distance estimation part 133 estimates the imaging distance which assumed the uniform diffusion surface based on the pixel value of a low absorption wavelength component.
  • the imaging distance estimation unit 133 calculates an imaging distance estimated according to the following equation (6).
  • imaging distance I radiation intensity of light source
  • K diffuse reflection coefficient of mucosal surface
  • ⁇ angle formed by normal vector of mucosal surface and vector from mucosal surface to light source
  • L mucosal surface of imaging distance estimation target Is the pixel value of the R component of the pixel in which.
  • the radiation intensity I and the diffuse reflection coefficient K are values set in advance from values measured in advance.
  • the angle ⁇ is a value determined by the positional relationship between the light source at the distal end of the endoscope and the mucosal surface, and an average value is set in advance.
  • the imaging distance estimation unit 133 corrects pixel value unevenness due to an optical system and an illumination system, which can be a factor of reducing accuracy of each process, and non-mucosal regions such as specular reflection, residue, and bubbles before executing step S411. Exclusion may be performed.
  • the method based on the image is shown, but it may be calculated based on a distance measuring sensor or the like. Further, it is not always necessary to estimate the imaging distance, and the subsequent adaptive processing may be performed with a pixel value correlated with the imaging distance.
  • the adaptive frequency information calculation unit 134a calculates information of adaptively different frequency bands according to the imaging distance.
  • the structure of the mucosal surface reflected in the intraluminal image changes in size on the image depending on the distance of the imaging distance, and the frequency band information also changes depending on the imaging distance. Therefore, when the frequency information is calculated in step S401 in FIG. 3 described above, the range of the frequency w extracted from the frequency information F (u, v) is changed as a function of the imaging distance. For example, the adaptive frequency information calculation unit 134a decreases the range of the frequency w as the imaging distance increases.
  • the adaptive focus level calculation unit 134 calculates a focus level outside the attention area based on the information of the different frequency bands calculated by the adaptive frequency information calculation unit 134a.
  • the adaptive focus degree calculation unit 134 calculates the focus degree from the frequency information obtained in step S412 as in the first embodiment described above.
  • the adaptive focus degree calculation unit 134 converts the extracted frequency information F ′ (u, v) into the processed image I ′ (x, y) by the above equation (2).
  • the adaptive focus degree calculation unit 134 takes the absolute value
  • the adaptive focus degree calculation unit 134 may set a small area and use the representative value of the focus degree in the small area as the focus degree of the small area.
  • the representative value is, for example, an average value, median value, mode value, maximum value, minimum value, or the like. Thereafter, the operation of the arithmetic unit 100 returns to the main routine.
  • step S50 the image classification unit 140 calculates the degree of focus of the attention area.
  • the weighted average unit 141 calculates the degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance.
  • the weighted average section 141 the above equation (4) to calculate the focus level f t.
  • step S60 subsequent to step S50, the image classification section 140, a focus degree f t of the attention area weighted average unit 141 is calculated, based on the surface structure information calculated at step S30, the intraluminal image Classify.
  • the image classification unit 140 converts the intraluminal image into a focused image having a surface layer structure, a focused image having no surface layer structure, and an unfocused image not focused. Classify.
  • the imaging distance estimation method of the imaging distance estimation unit 133 according to Modification 1 may be applied to the distance calculation of the distance calculation unit 132 according to Embodiment 1 described above.
  • FIG. 7 is a flowchart illustrating image processing performed by the image processing apparatus according to the second modification of the first embodiment of the present invention.
  • the image processing apparatus 1 acquires an intraluminal image via the image acquisition unit 20.
  • step S20 the calculation unit 100 sets a region of interest.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets the attention area including the attention location.
  • step S30 the calculation unit 100 calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates the surface layer structure information of the set attention area.
  • the edge strength is calculated as the surface layer structure information.
  • step S70 the operation unit 100 determines whether or not there is a surface layer structure from the calculation result in step S30.
  • the calculation unit 100 determines whether or not the surface layer structure information is greater than or equal to a preset value.
  • the determination in step S70 corresponds to determining whether or not the region of interest is in focus in the intraluminal image. Therefore, the setting value used at this time is set to a value for determining whether or not the in-focus state is obtained from the surface layer structure information. If the arithmetic unit 100 determines that there is a surface layer structure (step S70: Yes), the operation unit 100 proceeds to step S60. On the other hand, when the arithmetic unit 100 determines that there is no surface layer structure (step S70: No), the operation unit 100 proceeds to step S40.
  • step S40 the calculation unit 100 calculates a degree of focus outside the region of interest.
  • the computing unit 100 calculates the degree of focus outside the region of interest according to the flowchart shown in FIG.
  • step S50 the image classification unit 140 calculates the degree of focus of the attention area.
  • the weighted average unit 141 calculates the degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance.
  • the weighted average section 141 the above equation (4) to calculate the focus level f t.
  • step S60 the image classification unit 140 classifies the intraluminal image based on at least the surface layer structure information. If it is determined that the image classification unit 140 has a surface layer structure (step S70: Yes), the intraluminal image is classified into an image having a surface layer structure and being focused. In contrast, the image classification section 140, if it is determined that no surface structure (step S70: No), on the basis of the focus degree f t of the attention area weighted average unit 141 is calculated, the surface structure The image is classified into an in-focus image that does not have a surface layer structure and a non-focus image that is not in-focus.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing apparatus 1B shown in FIG. 1 includes a control unit 10 that controls the overall operation of the image processing apparatus 1B, an image acquisition unit 20 that acquires image data generated by imaging the inside of the lumen by the imaging apparatus, and an external An input unit 30 for inputting a signal corresponding to an operation from the control unit 10, a display unit 40 for displaying various information and images, and a record for storing image data acquired by the image acquisition unit 20 and various programs.
  • Unit 50 and a calculation unit 100B that executes predetermined image processing on the image data.
  • the calculation unit 100B includes an attention region setting unit 110 that sets an attention region that is an evaluation target of image classification in the acquired image, a surface layer structure information calculation unit 120 that calculates information indicating a surface layer structure of the attention region, An out-of-focus area focus degree calculation unit 130B that calculates the out-of-area focus degree, and an image classification unit 140 that classifies images based on the surface layer structure information and the out-of-focus area focus degree.
  • the out-of-focus area focus degree calculation unit 130B includes a reference region setting unit 135 that includes only pixels whose distance is within a predetermined range and sets a reference region so that no edge exists between the attention region and the reference region. . Furthermore, the reference region setting unit 135 includes a distance calculation unit 135a that calculates a distance from the region of interest to each pixel position in the intraluminal image, and an edge strength calculation unit 135b that calculates edge strength in the intraluminal image. Is provided.
  • FIG. 9 is a flowchart illustrating image processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • the image processing apparatus 1 acquires an intraluminal image via the image acquisition unit 20.
  • step S20 the calculation unit 100B sets a region of interest.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets the attention area including the attention location.
  • step S30 the calculation unit 100B calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates information indicating the surface layer structure of the set attention area.
  • FIG. 10 is a flowchart showing a calculation process of the out-of-focus area out-of-focus area executed by the out-of-focus area out-of-focus area calculation unit.
  • step S421 the distance calculation unit 135a calculates the distance from the region of interest to each pixel position in the intraluminal image.
  • the distance calculation unit 135a calculates the distance by a method similar to the calculation method performed by the distance calculation unit 132.
  • step S422 the edge strength calculation unit 135b calculates the edge strength of the intraluminal image.
  • the edge strength calculating unit 135b calculates the edge strength in the intraluminal image, whereby the edge of the intraluminal image can be detected.
  • the reference area setting unit 135 sets a reference area.
  • the reference area setting unit 135 includes only pixels within a predetermined distance from the attention area, and there is an edge having an intensity higher than a predetermined intensity between the attention area and the reference area. Set the reference area so that it does not.
  • a reference region setting method for example, several threshold values are provided for the distance, and the reference region can be set with a set interval by the threshold processing. At that time, the reference area setting unit 135 connects each pixel position and the center of gravity position of the attention area with a straight line.
  • the reference area setting unit 135 does not include the pixel position in the reference area when the straight line intersects an edge having an intensity equal to or higher than a preset intensity, or the area including the pixel position is not included in the reference area. What is necessary is just to judge not to set. Thereby, one or a plurality of reference areas are set in the area including the attention area and surrounded by the edges or between the edges and the outer edge of the image.
  • FIG. 11 is a diagram for explaining the setting of the reference area by the reference area setting unit.
  • the intraluminal image W 100 includes edges E 1 to E 3 having an intensity equal to or higher than a preset intensity, and an attention location Pa, and an attention area Ra surrounding the attention location is set.
  • the reference region candidate Rr1 can be set as a reference region because there is no edge having a strength higher than a preset strength between the attention region Ra and the reference region candidate Rr1. is there.
  • the reference region candidate Rr2 is between the attention area Ra and the reference region candidate Rr2, since the edge E 2 is present with an intensity of more than intensity that is set in advance, the reference area not set.
  • the reference region setting unit 135 sets this reference region candidate as a reference region if no edge exists between the attention region Ra and the reference region candidate regardless of whether or not the attention region Ra includes an edge.
  • Examples of the method for setting the reference area include a method for setting a regular area such as a rectangular area developed around a grid-like point, a method for setting the position / size of the area at random, and the like.
  • the reference area may be set using a method of setting the reference area including only pixels within the predetermined range of the focus degree instead of the distance, or may be referred based on the imaging distance or luminance. It may be determined whether or not the area can be set.
  • the attention area and the reference area are a rectangular frame.
  • the present invention is not limited thereto, and may be a polygon other than a rectangle, an ellipse, or a circle. May be different.
  • step S424 the out-of-focus area focus degree calculation unit 130B calculates the focus degree for each reference area. Specifically, the out-of-focus area focus degree calculation unit 130B calculates the in-focus degree outside the attention area by replacing the small area in the frequency information calculation in step S401 of FIG. 3 described above with the reference area. Thereafter, the operation of the arithmetic unit 100 returns to the main routine.
  • step S50 the image classification unit 140 calculates the focus degree of the attention area.
  • the weighted average unit 141 calculates the degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance.
  • step S60 subsequent to step S50, the image classification section 140, a focus degree f t of the attention area weighted average unit 141 is calculated, based on the surface structure information calculated at step S30, the intraluminal image Classify.
  • the image classification unit 140 converts the intraluminal image into a focused image having a surface layer structure in a region of interest, a focused image having no surface layer structure, an unfocused image that is not focused, Classify into:
  • the intraluminal image group can be classified in detail.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • An image processing apparatus 1C shown in FIG. 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1C, an image acquisition unit 20 that acquires image data generated by imaging the inside of a lumen, and an external An input unit 30 for inputting a signal corresponding to an operation from the control unit 10, a display unit 40 for displaying various information and images, and a record for storing image data acquired by the image acquisition unit 20 and various programs.
  • Unit 50 and an arithmetic unit 100C that executes predetermined image processing on the image data.
  • the calculation unit 100C includes an attention area setting unit 110 that sets an attention area that is an evaluation target of image classification in the acquired image, a surface layer structure information calculation unit 120 that calculates information indicating a surface layer structure of the attention area, and an attention area An out-of-focus area focus degree calculation unit 130B that calculates the out-of-area focus degree, and an image classification unit 140A that classifies images based on the surface layer structure information and the out-of-focus area focus degree.
  • the image classification unit 140A includes an overlap evaluation unit 142 that determines the focus degree of the attention area based on the overlap degree of the focus range and the attention area. Furthermore, the overlap evaluation unit 142 includes a focus range estimation unit 142a that estimates the focus range from the focus degree distribution outside the attention area.
  • FIG. 13 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 3 of the present invention.
  • the image processing apparatus 1 ⁇ / b> C acquires an intraluminal image via the image acquisition unit 20.
  • the calculation unit 100C sets a region of interest.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets the attention area including the attention location.
  • step S30 the calculation unit 100C calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates information indicating the surface layer structure of the set attention area.
  • step S42 the calculation unit 100C calculates a degree of focus outside the attention area.
  • the computing unit 100B calculates the degree of focus outside the attention area according to the flowchart shown in FIG.
  • step S61 the image classification unit 140A classifies the intraluminal image.
  • FIG. 14 is a flowchart showing the intraluminal image classification processing executed by the image classification unit.
  • the focus range estimation unit 142a estimates the focus range from the focus degree distribution outside the attention area.
  • a threshold is set for the degree of focus outside the region of interest
  • the focus pixel coordinates are determined by the threshold processing
  • the focus pixel coordinate group is publicly known.
  • the opening process reference document: CG-ARTS Association, “Digital Image Processing” revised new edition, page 186).
  • the overlap evaluation unit 142 determines whether or not the focus area is in focus based on the degree of overlap between the focus range and the focus area. Specifically, the overlap evaluation unit 142 evaluates the ratio of the overlap area between the focus range estimated in step S611 and the attention area with respect to the area of the attention area. The overlap evaluation unit 142 determines that the region of interest is in focus if the ratio is greater than or equal to a preset value, and determines that the area is out of focus if the ratio is less than a preset value.
  • the image classification unit 140A based on the surface layer structure information and the focus determination result of the region of interest, converts the intraluminal image, the focused image having the surface layer structure in the region of interest, and the focus not having the surface layer structure.
  • the image is classified into an in-focus image that is not in focus.
  • the operation of the calculation unit 100 returns to the main routine, and the classification process ends.
  • the image classification unit 140A can classify the intraluminal image without using the distance information, and the dark lumen in which the imaging distance cannot be correctly estimated while improving the calculation efficiency. Even in the case of an internal image, the intraluminal image can be classified.
  • FIG. 15 is a flowchart illustrating image processing performed by the image processing apparatus according to the third embodiment of the present invention.
  • the image processing apparatus 1 acquires an intraluminal image via the image acquisition unit 20.
  • step S80 the calculation unit 100 calculates the degree of focus of the intraluminal image.
  • FIG. 16 is a flowchart showing the calculation process of the out-of-focus area focus degree executed by the out-of-focus area focus degree calculation unit.
  • step S801 the frequency information calculation unit 131 calculates the frequency information of the intraluminal image.
  • the frequency information calculation unit 131 calculates the frequency information of the intraluminal image in the same manner as in step S401 in FIG.
  • step S802 the specific frequency intensity calculator 131a calculates the intensity of the specific frequency.
  • the specific frequency intensity calculation unit 131a calculates the intensity of the specific frequency of the intraluminal image in the same manner as in step S402 in FIG. In this way, in step S80, the frequency information calculation unit 131 calculates the intensity of the specific frequency at all pixel positions of the intraluminal image as the degree of focus at all pixel positions of the intraluminal image.
  • step S20 following step S80 the calculation unit 100 sets a region of interest.
  • the attention area setting unit 110 detects an attention location in the intraluminal image, and sets the attention area including the attention location.
  • step S30 the calculation unit 100 calculates surface layer structure information indicating the surface layer structure of the region of interest.
  • the surface layer structure information calculation unit 120 calculates information indicating the surface layer structure of the set attention area.
  • step S90 following step S30 the image classification unit 140 calculates the focus degree of the attention area based on the focus degree outside the attention area.
  • the image classification unit 140 recalculates the degree of focus of the attention area based on the intensity of the specific frequency calculated in step S802 outside the attention area. Specifically, the image classification unit 140 sets the representative value of the focus degree outside the attention area as the focus degree of the attention area.
  • the weighted average unit 141 may be provided, and the weighted average unit 141 may calculate the degree of focus of the attention area by performing weighted averaging of the degree of focus outside the attention area according to the distance.
  • step S62 the image classification unit 140 classifies the intraluminal image.
  • the image classification unit 140 classifies the intraluminal image based on the calculated degree of focus of the attention area and the surface layer structure information calculated in step S30. As described above, the image classification unit 140 converts the intraluminal image into a focused image having a surface layer structure in a region of interest, a focused image having no surface layer structure, an unfocused image that is not focused, Classify into: Thereafter, the operation of the calculation unit 100 returns to the main routine, and the classification process ends.
  • the intraluminal images are classified based on the surface layer structure information of the region of interest and the degree of focus of the region of interest obtained from the degree of focus outside the region of interest.
  • the intraluminal image group can be classified in detail.
  • Embodiments 1 to 4 described above have been described as classifying an intraluminal image obtained by imaging a lumen in a subject.
  • the present invention is not limited to this, and an image showing an evaluation target for classification, For example, classification of images captured by a capsule endoscope, an industrial endoscope, a digital camera, or the like may be performed.
  • the image processing apparatus As described above, the image processing apparatus, the operation method of the image processing apparatus, and the operation program of the image processing apparatus according to the present invention are useful for classifying images in detail.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明にかかる画像処理装置は、画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、少なくとも画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部と、を備える。

Description

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
　本発明は、例えば生体の管腔内を撮像することにより取得された管腔内画像群を分類する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
　従来、１フレームの画像において、複数箇所の合焦度を算出する技術が知られている。例えば、特許文献１は、ピンぼけや手ブレなどが生じると失われるような第１高周波強度と、ピンぼけや手ブレが生じていても第１高周波強度と比して相対的に値が大きくなる低域側の周波数成分を含む第２高周波強度とを画像中から抽出し、さらに、画像中のノイズの平均振幅を算出することによってノイズパラメータを設定する。そして、特許文献１は、第２高周波強度とノイズパラメータとの和に対する第１高周波強度の比を算出することによって、画像内の複数の位置の合焦度を算出する。
特開２００９－２５８２８４号公報
　ところで、内視鏡により撮像された画像を分類する処理では、画像内の注目領域の合焦状態に基づいた分類を行うことが想定される。しかしながら、このような分類処理に特許文献１が開示する技術を適用した場合、高周波成分を示すコントラスト変化を有しない注目領域では、第２高周波強度成分によらず非合焦と判断されてしまうため、注目領域について詳細に分類することができない。
　本発明は、上記に鑑みてなされたものであって、画像を詳細に分類することができる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムの提供を目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、を備えることを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、を含むことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、をコンピュータに実行させることを特徴とする。
　本発明によれば、画像を詳細に分類することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。 図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図１１は、参照領域設定部による参照領域の設定を説明する図である。 図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。 図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
　本実施の形態では、内視鏡により撮像された管腔内画像群を分類する画像処理装置を示す。管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。実施の形態１に係る画像処理装置１は、管腔内画像群と、腫瘍性病変と疑われる病変領域などの注目領域や、注目領域外の情報とをもとに管腔内画像を分類する。
　画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した管腔内画像群を取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ（Central　Processing　Unit）等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される管腔内画像群や入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
　画像取得部２０は、医用の撮像装置を含むシステムの態様に応じて適宜構成される。例えば、撮像装置を画像処理装置１に接続する場合、画像取得部２０は、撮像装置において生成された管腔内画像群を取り込むインタフェースによって構成される。また、撮像装置によって生成された管腔内画像群を保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像群を取得する。或いは、撮像装置によって生成された管腔内画像群を、可搬型の記録媒体を用いて受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記録媒体を着脱自在に装着し、記録された画像の管腔内画像群を読み出すリーダ装置によって構成される。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって実現され、制御部１０の制御のもと、管腔内画像群を含む各種画面を表示する。
　記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像群の他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像群を分類する画像処理プログラム５１や、該画像処理において用いられる閾値、演算部１００による分類結果等を格納する。
　演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像群を分類する画像処理を実行する。
　演算部１００は、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０と、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
　注目領域外合焦度算出部１３０は、管腔内画像の周波数情報を算出する周波数情報算出部１３１と、距離算出部１３２とを備える。さらに、周波数情報算出部１３１は、画像の特定周波数帯域の強度を算出する特定周波数強度算出部１３１ａを備える。
　画像分類部１４０は、距離算出部１３２が算出した距離に応じて注目領域外の合焦度を加重平均して、注目領域の合焦度を算出する加重平均部１４１を備える。
　次に、画像処理装置１の動作を説明する。図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。本実施の形態１においては、内視鏡によりＲ、Ｇ、Ｂの各波長成分を含む照明光（白色光）を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｒ値、Ｇ値、Ｂ値）を有する管腔内画像が取得される。なお、照明光は上記白色光に限定されず、Ｇ、Ｂの各狭帯域の波長成分を含む特殊光でもよく、さらにはＲ，Ｇ，Ｂの少なくとも１つの狭帯域光を含む照射光でもよい。例えば、Ｇ、Ｂの狭帯域化された各波長成分を含む特殊光を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｇ値、Ｂ値）を有する管腔内画像が取得されるものであってもよい。
　続くステップＳ２０において、演算部１００は注目領域の設定を行う。具体的には、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。注目領域設定部１１０は、例えば、ユーザ入力や、公知のスネーク（参考文献：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１０頁）、グラフカット（参考文献：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１２頁）などの公知の方法を用いて注目領域の設定を行う。また、特開２００７－２４４５１８号公報に記載されているポリープ候補検出処理により、ポリープの領域を抽出し、それを注目領域としてもよい。この他、ＤＰＭ（（deformable　parts　model）、参考文献：「A　Discriminatively　Trained,　Multiscale,　Deformable　Part　Model」、Pedro　Felzenszwalb、University　of　Chicago）や、特徴量の設計を行わずに領域を検出可能なDeep　Learning（参考文献：「Learning　deep　architectures　for　AI」、Y.Bengio）による機械学習等を用いて注目領域の検出を行ってもよい。また、ポリープに限らず、腫瘍などの病変部や、異常部分を検出し、これらのいずれかを含む注目領域を設定するようにしてもよい。
　続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。具体的には、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。ここで算出される表層構造を示す情報とは、例えば、公知のエッジ抽出処理（参考文献：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１０５頁）を適用して算出されるエッジ強度である。表層構造情報算出部１２０は、例えば画素位置ごとにエッジ強度が得られるなど、複数の情報が得られる場合、平均値や最頻値などの代表値を表層構造情報とする。また、表層構造情報算出部１２０は、注目領域の周波数情報を表層構造情報として算出してもよい。
　続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
　ステップＳ４０１において、周波数情報算出部１３１は、注目領域外の周波数情報を算出する。具体的には、撮像装置が有する複数の画素がマトリックス状に配列され、画素の座標を（ｘ，ｙ）としたとき、下式（１）により、画像Ｉ（ｘ，ｙ）の周波数情報Ｆ（ｕ，ｖ）を算出する。このとき、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像において、Ｇ成分及びＢ成分は血液の吸収帯域に近く、コントラスト変化を示す対象（血管）が映りやすく、また、サチュレーションを起こし難い。そのため、周波数情報算出部１３１は、Ｇ成分やＢ成分に基づいて周波数情報Ｆ（ｕ，ｖ）を算出する。なお、演算部１００は、処理ステップＳ４０１の前に、精度低下要因と成り得る光学系や照明系によるサチュレーション除去やハレーション除去を行ってもよい。
Figure JPOXMLDOC01-appb-M000001
  ここで、ｊ：虚数単位、ｊ＝√（－１）
　　　　ｕ：ｘ方向の空間周波数
　　　　ｖ：ｙ方向の空間周波数
である。
　ステップＳ４０１に続くステップＳ４０２において、特定周波数強度算出部１３１ａは、得られた周波数情報Ｆ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって注目領域外の特定周波数の強度を算出する。ここでいう特性の範囲とは、表層構造を表す特徴的な周波数、例えば血管の太さなどのテクスチャを表す特徴的な周波数の範囲であり、予め設定されている。さらに、下式（２）により、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に変換する。
Figure JPOXMLDOC01-appb-M000002
　特定周波数強度算出部１３１ａは、処理後画像Ｉ´（ｘ，ｙ）において、特定周波数帯域の強度を表す絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。この合焦度は、特定周波数の強度に相当する。特定周波数強度算出部１３１ａは、複数の画素位置を含む小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。
　また、特定周波数の強度の別の算出方法として、特定周波数強度算出部１３１ａは、管腔内画像内に縦横が同じ長さの小領域を設定し、該小領域をＩ（ｘ，ｙ）とし、式（１）にて該小領域ごとに周波数情報Ｆ（ｕ，ｖ）を算出し、下式（３）によりパワースペクトルを算出する。
Figure JPOXMLDOC01-appb-M000003
 　特定周波数強度算出部１３１ａは、パワースペクトルｐ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって特定周波数強度を算出する。特定周波数強度算出部１３１ａは、抽出されたパワースペクトルｐ（ｕ，ｖ）の代表値を算出し、それを合焦度とする。
　ステップＳ４０２に続くステップＳ４０３において、距離算出部１３２は、注目領域から注目領域外の各画素位置または各小領域までの距離を算出する。ここで、距離算出部１３２が算出する距離とは、注目領域の座標と注目領域外の座標までの画像上の距離、又は、注目領域に映る対象までの撮像距離と注目領域外に映る対象までの撮像距離との差である。
　距離算出部１３２は、画像上の距離を算出する場合、注目領域の重心を算出し、その重心が位置する画素位置の座標から注目領域外の各画素位置の座標までの距離をそれぞれ算出する。
　また、距離算出部１３２は、撮像距離の差を算出する場合、まず、注目領域に映る対象までの撮像距離の代表値（例えば、平均値、中央値、最頻値、最大値、最小値等）を定める。その後、距離算出部１３２は、注目領域外の各画素位置の撮像距離と、注目領域で定めた撮像距離の代表値との差を算出する。管腔内画像上の対象までの撮像距離の算出は、公知の算出方法により算出できる。例えば、後述するような波長成分の画素値を用いて算出するものであってもよいし、ステレオ画像を取得して距離を算出してもよいし、測距センサー等により測距した結果に基づいて距離を算出してもよい。
　距離算出部１３２により距離を算出した後、演算部１００の動作はメインルーチンに戻る。なお、算出した距離に基づいて、合焦度を算出する注目領域外の範囲を、距離が所定の範囲内であるものに制限してもよい。この場合は、周波数情報算出部１３１が周波数情報の算出を行う前に、距離算出部１３２による距離の算出を行う。
　ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が、注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、注目領域の合焦度をｆtとしたとき、下式（４）により合焦度ｆtを算出する。
Figure JPOXMLDOC01-appb-M000004
 ここで、Ｋ：注目領域外の画素数または領域の数
　　　　ｗi：距離に応じた重み
　　　　ｆi：注目領域外の合焦度
である。重みｗiは、距離が近いほど大きく、遠いほど小さい。重みｗiは、例えば、下式（５）により算出される。
Figure JPOXMLDOC01-appb-M000005
 ここで、ｋ：任意の係数
　　　　σ：標準偏差
　　　　ｄi：注目領域と注目領域外との間の距離
である。なお、距離が近いほど大きく、遠いほど小さい重みｗiを算出できるものであれば、上式（５）に限らない。
　ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。具体的には、画像分類部１４０は、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値以上であれば、表層構造を有する合焦画像に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値未満であり、かつ、注目領域の合焦度ｆtが予め設定されている値以上であれば、表層構造を有しない合焦画像に分類する。そして、表層構造を示す情報と、注目領域の合焦度ｆtとがともに予め設定されている値未満であれば、非合焦画像に分類する。表層構造を示す情報について予め設定されている値とは、特定周波数の強度に対して設定される値であり、表層構造を有し、かつ管腔内画像内に明確に映っていると見做せると判断できる値である。また、注目領域の合焦度ｆtについて予め設定されている値とは、合焦度ｆtに対して設定される値であり、注目領域内の被写体が明確に映っていると見做せると判断できる値である。その後、制御部１０は、分類結果を、管腔内画像と対応付けて記録部５０に記録したり、表示部４０に表示したりする。なお、制御部１０は、画像取得部２０が管腔内画像を取得したタイミング、または設定された条件を満たすタイミング、例えば毎フレームごと、又は数フレーム毎のタイミングで、上述した分類処理を繰り返す。
　以上説明したように、本発明の実施の形態１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、当該注目領域外の位置から注目領域までの距離に応じて求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。従来、注目領域にコントラスト変化を示す対象が存在しないために、正しく合焦判定ができない場合があったが、本実施の形態１によれば、注目領域外の合焦度を注目領域からの距離に応じて加重平均することで、注目領域の合焦度を算出して合焦判定をするため、管腔内画像を、表層構造の有無を含めた合焦画像と、非合焦画像とに高精度に分類することができる。
（実施の形態１の変形例１）
　図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ａは、該画像処理装置１Ａ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ａとを備える。
　演算部１００Ａは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ａと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
　注目領域外合焦度算出部１３０Ａは、画像内の各画素までの撮像距離を推定する撮像距離推定部１３３と、撮像距離に応じて異なる周波数帯域の情報をもとに合焦度を算出する適応的合焦度算出部１３４とを備える。さらに、撮像距離推定部１３３は、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部１３３ａを備える。また、適応的合焦度算出部１３４は、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する適応的周波数情報算出部１３４ａを備える。
　次に、画像処理装置１Ａの動作を説明する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ａは、画像取得部２０を介して管腔内画像を取得する。
　続くステップＳ２０において、演算部１００Ａは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
　続くステップＳ３０において、演算部１００Ａは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定された注目領域の表層構造を示す表層構造情報を算出する。
　続くステップＳ４１において、演算部１００Ａは、注目領域外の合焦度を算出する。図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
　ステップＳ４１１において、撮像距離推定部１３３は、画像内の各画素位置における撮像距離を推定する。撮像距離推定を行う方法は公知の様々なものがある。本変形例１では、管腔内画像をもとに、撮影対象を均等拡散面と仮定した撮影距離推定の方法を示す。具体的には、まず、低吸収波長成分選択部１３３ａが、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する。本変形例１では、低吸収波長成分選択部１３３ａは、Ｒ成分を選択するものとして説明する。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像においては、Ｒ成分が血液の吸収帯域から離れる波長、かつ長波長の成分であるために生体内での吸収、散乱の影響を受け難いため、Ｒ成分を選択する。そして、撮像距離推定部１３３は、低吸収波長成分の画素値に基づいて、均等拡散面を仮定した撮像距離を推定する。撮像距離推定部１３３は、下式（６）に従って推定される撮像距離を算出する。
Figure JPOXMLDOC01-appb-M000006
 ここで、ｒ：撮像距離
　　　　Ｉ：光源の放射強度
　　　　Ｋ：粘膜表面の拡散反射係数
　　　　θ：粘膜表面の法線ベクトルと該粘膜表面から光源までのベクトルのなす角
　　　　Ｌ：撮像距離推定対象の粘膜表面が映る画素のＲ成分の画素値
である。放射強度Ｉおよび拡散反射係数Ｋは、事前に測定された値から、予め設定されている値である。角θは、内視鏡先端の光源と粘膜表面の位置関係により決まる値であり、平均的な値が予め設定されている。
　なお、撮像距離推定部１３３は、ステップＳ４１１を実行する前に、各処理の精度低下要因となり得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行うようにしてもよい。
　また、本変形例１では画像に基づく方法を示したが、その他にも測距センサー等に基づいて算出してもよい。また、必ずしも撮像距離の推定まで行わず、撮像距離と相関する画素値で後段の適応的な処理を行ってもよい。
　ステップＳ４１２において、適応的周波数情報算出部１３４ａは、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する。管腔内画像に映る粘膜表面の構造は、撮像距離の遠近により画像上の大きさが変わり、周波数帯域の情報も撮像距離により変化する。そこで、上述した図３のステップＳ４０１における周波数情報の算出の際に、周波数情報Ｆ（ｕ，ｖ）から抽出する周波数ｗの範囲を、撮像距離の関数として変化させる。適応的周波数情報算出部１３４ａは、例えば、撮像距離が大きくなるほど、周波数ｗの範囲は小さくする。
　ステップＳ４１３において、適応的合焦度算出部１３４は、適応的周波数情報算出部１３４ａが算出した異なる周波数帯域の情報に基づいて注目領域外の合焦度を算出する。適応的合焦度算出部１３４は、ステップＳ４１２で得られた周波数情報から、上述した実施の形態１と同様に合焦度を算出する。例えば、適応的合焦度算出部１３４は、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に上式（２）により変換する。
　適応的合焦度算出部１３４は、処理後画像Ｉ´（ｘ，ｙ）において、絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。適応的合焦度算出部１３４は、小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。その後、演算部１００の動作はメインルーチンに戻る。
　ステップＳ４１に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
　ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。
　以上説明したように、本発明の実施の形態１の変形例１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
　なお、本変形例１に係る撮像距離推定部１３３の撮像距離推定方法を、上述した実施の形態１に係る距離算出部１３２の距離算出に適用してもよい。
（実施の形態１の変形例２）
　本実施の形態１の変形例２に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１と同様である。図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
　続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
　続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造情報を算出する。本変形例２では、エッジ強度を表層構造情報として算出するものとして説明する。
　ステップＳ３０に続くステップＳ７０において、演算部１００は、ステップＳ３０の算出結果から、表層構造があるか否かを判断する。演算部１００は、表層構造情報が予め設定されている値以上であるか否かを判断する。この際、表層構造情報はエッジ強度であるため、ステップＳ７０における判断は、管腔内画像において注目領域内が合焦しているか否かを判断することに相当する。そのため、この際に用いる設定値は、表層構造情報から合焦しているか否かを判断するための値が設定される。ここで、演算部１００は、表層構造があると判断した場合（ステップＳ７０：Ｙｅｓ）、ステップＳ６０に移行する。これに対し、演算部１００は、表層構造がないと判断した場合（ステップＳ７０：Ｎｏ）、ステップＳ４０に移行する。
　続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。演算部１００は、図３に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
　ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
　ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、少なくとも表層構造情報に基づいて、管腔内画像を分類する。画像分類部１４０は、表層構造を有すると判断されている場合（ステップＳ７０：Ｙｅｓ）、当該管腔内画像が、表層構造を有し、かつ合焦している画像に分類する。これに対し、画像分類部１４０は、表層構造を有しないと判断されている場合（ステップＳ７０：Ｎｏ）、加重平均部１４１が算出した注目領域の合焦度ｆtに基づいて、表層構造を有しない合焦画像と、表層構造を有さず、かつ合焦していない非合焦画像とに分類する。
　以上説明したように、本発明の実施の形態１の変形例２によれば、注目領域の表層構造情報や、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度をもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（実施の形態２）
　図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｂは、該画像処理装置１Ｂ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｂとを備える。
　演算部１００Ｂは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
　注目領域外合焦度算出部１３０Ｂは、距離が所定の範囲内の画素のみを含み、さらに注目領域と参照領域の間にエッジが存在しないように参照領域を設定する参照領域設定部１３５を備える。さらに、参照領域設定部１３５は、注目領域から管腔内画像内の各画素位置までの距離を算出する距離算出部１３５ａと、管腔内画像内のエッジ強度を算出するエッジ強度算出部１３５ｂとを備える。
　次に、画像処理装置１Ｂの動作を説明する。図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
　続くステップＳ２０において、演算部１００Ｂは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
　続くステップＳ３０において、演算部１００Ｂは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
　続くステップＳ４２において、演算部１００Ｂは、注目領域外の合焦度を算出する。図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
　ステップＳ４２１において、距離算出部１３５ａは、注目領域から管腔内画像内の各画素位置までの距離を算出する。距離算出部１３５ａは、距離算出部１３２が行う算出方法と同様の方法によって距離を算出する。
　ステップＳ４２２において、エッジ強度算出部１３５ｂは、管腔内画像のエッジ強度を算出する。エッジ強度算出部１３５ｂが管腔内画像内のエッジ強度を算出することによって、管腔内画像のエッジを検出することができる。
　ステップＳ４２３において、参照領域設定部１３５は、参照領域を設定する。参照領域設定部１３５は、注目領域からの距離が予め設定されている範囲内の画素のみを含み、さらに注目領域と参照領域の間に、予め設定されている強度以上の強度を有するエッジが存在しないように参照領域を設定する。参照領域の設定方法としては、例えば、距離に対していくつかの閾値を設け、その閾値処理により、設定された間隔をもって参照領域を設定することができる。その際、参照領域設定部１３５は、各画素位置と注目領域の重心位置とを直線で結ぶ。参照領域設定部１３５は、この直線が、予め設定されている強度以上の強度を有するエッジと交差する場合は、該画素位置を参照領域に含まない、又はこの画素位置を含む領域は参照領域に設定しない等の判定をすればよい。これにより、注目領域を含み、エッジ間やエッジと画像の外縁で囲まれる領域内で一つ又は複数の参照領域が設定される。
　図１１は、参照領域設定部による参照領域の設定を説明する図である。図１１では、管腔内画像Ｗ100において、予め設定されている強度以上の強度を有するエッジＥ1～Ｅ3と、注目箇所Ｐaとを含んでおり、注目箇所を囲む注目領域Ｒaが設定されている。図１１に示すように、参照領域候補Ｒr１は、注目領域Ｒaと当該参照領域候補Ｒr１との間に、予め設定されている強度以上の強度を有するエッジが存在しないため、参照領域に設定可能である。これに対し、参照領域候補Ｒr２は、注目領域Ｒaと当該参照領域候補Ｒr２との間に、予め設定されている強度以上の強度を有するエッジＥ2が存在するため、参照領域には設定しない。なお、参照領域設定部１３５は、注目領域Ｒaがエッジを含むか否かにかかわらず、注目領域Ｒaと参照領域候補との間にエッジが存在しなければ、この参照領域候補を参照領域として設定する。また、参照領域を設定する方法としては、グリッド状の点を中心に矩形領域を展開する等の規則的な領域を設定する方法や、領域の位置／サイズともにランダムに設定する方法等も挙げられる。その他にも、距離の代わりに合焦度が所定の範囲内の画素のみを含めて参照領域を設定する方法を用いて参照領域を設定してもよいし、撮像距離や輝度をもとに参照領域の設定の可否を判断するようにしてもよい。なお、図１１では、注目領域及び参照領域が、矩形をなす枠であるものを示したが、これに限らず、四角形以外の多角形や、楕円、円であってもよいし、互いに大きさが異なるものであってもよい。
　ステップＳ４２４において、注目領域外合焦度算出部１３０Ｂは、参照領域ごとに合焦度を算出する。具体的には、注目領域外合焦度算出部１３０Ｂは、上述した図３のステップＳ４０１の周波数情報算出における小領域を、該参照領域に置き換えて注目領域外の合焦度を算出する。その後、演算部１００の動作はメインルーチンに戻る。
　ステップＳ４２に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
　ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。
　以上説明したように、本発明の実施の形態２によれば、注目領域の表層構造情報と、設定された参照領域から求まる注目領域外の合焦度、及び注目領域を基点として求まる距離に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（実施の形態３）
　図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｃは、該画像処理装置１Ｃ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｃとを備える。
　演算部１００Ｃは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０Ａとを備える。
　画像分類部１４０Ａは、合焦範囲と注目領域の重なり度合いに基づいて注目領域の合焦度合いを判定する重なり評価部１４２を備える。さらに、重なり評価部１４２は、注目領域外の合焦度分布から合焦範囲を推定する合焦範囲推定部１４２ａを備える。
　次に、画像処理装置１Ｃの動作を説明する。図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ｃは、画像取得部２０を介して管腔内画像を取得する。
　続くステップＳ２０において、演算部１００Ｃは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
　続くステップＳ３０において、演算部１００Ｃは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
　続くステップＳ４２において、演算部１００Ｃは、注目領域外の合焦度を算出する。演算部１００Ｂは、図１０に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
　ステップＳ４２に続くステップＳ６１において、画像分類部１４０Ａは、管腔内画像を分類する。図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。
　ステップＳ６１１において、合焦範囲推定部１４２ａは、注目領域外の合焦度分布から合焦範囲を推定する。合焦範囲の推定方法としては、例えば、注目領域外の合焦度に対して閾値を設定し、その閾値処理により合焦画素座標を決定して、該合焦画素座標群に対して、公知のクロージング、オープニング処理（参考文献：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１８６頁）により合焦範囲を推定する方法が挙げられる。
　ステップＳ６１２において、重なり評価部１４２は、合焦範囲と注目領域との重なり度合いに基づいて注目領域において合焦しているか否かを判定する。具体的には、重なり評価部１４２は、注目領域の面積に対する、ステップＳ６１１で推定した合焦範囲と、注目領域との重なり面積の割合を評価する。重なり評価部１４２は、この割合が予め設定された値以上であれば注目領域は合焦と判定し、割合が予め設定された値より小さければ非合焦と判定する。その後、画像分類部１４０Ａは、表層構造情報と、注目領域の合焦判定結果とに基づいて、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
　以上説明したように、本発明の実施の形態３によれば、注目領域の表層構造情報と、推定された合焦範囲及び注目領域の重なり度合いに基づく注目領域の合焦判定結果とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。また、本実施の形態３によれば、画像分類部１４０Ａが距離情報を用いずに管腔内画像を分類可能であり、計算効率向上をはかりつつ、撮像距離を正しく推定できないような暗い管腔内画像であっても該管腔内画像を分類することができる。
（実施の形態４）
　本実施の形態４に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１から距離算出部１３２及び加重平均部１４１を除いた構成である。図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
　ステップＳ１０に続くステップＳ８０において、演算部１００は、管腔内画像の合焦度を算出する。図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
　ステップＳ８０１において、周波数情報算出部１３１は、管腔内画像の周波数情報を算出する。周波数情報算出部１３１は、図３のステップＳ４０１と同様にして、管腔内画像の周波数情報を算出する。
　ステップＳ８０２において、特定周波数強度算出部１３１ａは、特定周波数の強度を算出する。特定周波数強度算出部１３１ａは、図３のステップＳ４０２と同様にして、管腔内画像の特定周波数の強度を算出する。このように、ステップＳ８０において、周波数情報算出部１３１は、管腔内画像の全画素位置における特定周波数の強度を、管腔内画像の全画素位置における合焦度として算出する。
　ステップＳ８０に続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
　続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
　ステップＳ３０に続くステップＳ９０において、画像分類部１４０は、注目領域外の合焦度をもとに注目領域の合焦度を算出する。画像分類部１４０は、注目領域外における、ステップＳ８０２で算出された特定周波数の強度をもとに、注目領域の合焦度を再度算出する。具体的には、画像分類部１４０は、注目領域外の合焦度の代表値を注目領域の合焦度とする。なお、加重平均部１４１を設けて、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出するようにしてもよい。
　ステップＳ９０に続くステップＳ６２において、画像分類部１４０は、管腔内画像を分類する。画像分類部１４０は、算出した注目領域の合焦度と、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
　以上説明したように、本発明の実施の形態４によれば、注目領域の表層構造情報と、注目領域外の合焦度から求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（その他の実施の形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～４によってのみ限定されるべきものではない。例えば、上述した実施の形態１～４は、被検体内の管腔を撮像した管腔内画像を分類するものとして説明したが、これに限らず、分類するための評価対象が写った画像、例えば、カプセル型内視鏡や、工業用内視鏡、デジタルカメラ等で撮像された画像の分類を行ってもよい。
　以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、画像を詳細に分類するのに有用である。
　１，１Ａ，１Ｂ，１Ｃ　画像処理装置
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記録部
　５１　画像処理プログラム
　１００，１００Ａ，１００Ｂ，１００Ｃ　演算部
　１１０　注目領域設定部
　１２０　表層構造情報算出部
　１３０，１３０Ａ，１３０Ｂ　注目領域外合焦度算出部
　１３１　周波数情報算出部
　１３１ａ　特定周波数強度算出部
　１３２，１３５ａ　距離算出部
　１３３　撮像距離算出部
　１３３ａ　低吸収波長成分選択部
　１３４　適応的合焦度算出部
　１３４ａ　適応的周波数情報算出部
　１３５　参照領域設定部
　１３５ｂ　エッジ強度算出部
　１４０，１４０Ａ　画像分類部
　１４１　加重平均部
　１４２　重なり評価部
　１４２ａ　合焦範囲推定部

Claims (18)

  1. 　画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、
    　前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、
    　少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、
    　前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記画像分類部は、
    　前記画像を、前記表層構造を有する合焦画像、前記表層構造を有しない合焦画像、及び非合焦画像のいずれかに分類する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記注目領域外合焦度算出部は、
    　前記画像の周波数情報を算出する周波数情報算出部、
    　を備え、
    　前記周波数情報をもとに注目領域外の合焦度を算出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記周波数情報算出部は、
    　前記画像の特定周波数帯域の強度を算出する特定周波数強度算出部、
    　を備えることを特徴とする請求項３に記載の画像処理装置。
  5. 　前記注目領域外合焦度算出部は、
    　前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
    　を備え、
    　前記距離をもとに注目領域外の合焦度を算出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　前記距離算出部は、前記注目領域の所定の座標と、前記注目領域外の各画素座標との間の画像上の距離、又は前記注目領域に映る対象までの撮像距離と、各画素に映る対象までの撮像距離との差を前記距離として算出する
    　ことを特徴とする請求項５に記載の画像処理装置。
  7. 　前記注目領域外合焦度算出部は、予め設定されている範囲内の前記距離を有する前記注目領域外の合焦度を算出する
    　ことを特徴とする請求項５に記載の画像処理装置。
  8. 　前記画像分類部は、
    　前記距離に応じて、前記注目領域外の合焦度を加重平均する加重平均部、
    　を備え、
    　前記加重平均の結果をもとに前記注目領域の合焦度を算出し、算出した前記注目領域の合焦度をもとに前記画像を分類する
    　ことを特徴とする請求項５に記載の画像処理装置。
  9. 　前記注目領域外合焦度算出部は、
    　前記画像内の各画素座標における撮像距離を推定する撮像距離推定部と、
    　前記撮像距離に応じたパラメータで前記注目領域外の合焦度を算出する適応的合焦度算出部と、
    　を備えることを特徴とする請求項１に記載の画像処理装置。
  10. 　前記適応的合焦度算出部は、
    　前記撮像距離に応じて異なる周波数情報を算出する適応的周波数情報算出部、
    　を備え、
    　前記異なる周波数情報をもとに前記注目領域外の合焦度を算出する
    　ことを特徴とする請求項９に記載の画像処理装置。
  11. 　前記注目領域外合焦度算出部は、
    　前記画像における前記注目領域外に参照領域を設定する参照領域設定部、
    　を備え、
    　前記参照領域の情報をもとに前記注目領域外の合焦度を算出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  12. 　前記参照領域設定部は、
    　前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
    　を備え、
    　予め設定されている範囲内の前記距離を有する画素座標のみを含む参照領域を設定する
    　ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記参照領域設定部は、
    　前記画像のエッジの強度を算出するエッジ強度算出部、
    　を備え、
    　前記注目領域と前記参照領域との間に所定の強度以上の強度を有する前記エッジが存在しない場合に前記参照領域を設定する
    　ことを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記画像分類部は、
    　前記注目領域外の合焦度の分布から合焦範囲を推定する合焦範囲推定部と、
    　合焦範囲と前記注目領域との重なり度合いを評価する重なり評価部と、
    　を備え、
    　前記注目領域に対する重なり度合いをもとに前記注目領域が合焦しているか否かを判定し、該判定の結果に基づいて前記画像を分類する
    　ことを特徴とする請求項１に記載の画像処理装置。
  15. 　前記注目領域は、病変部を含む領域であって、
    　前記表層構造情報算出部は、前記注目領域の合焦度を判定する
    　ことを特徴とする請求項１に記載の画像処理装置。
  16. 　前記画像は、管腔内を撮像した管腔内画像である
    　ことを特徴とする請求項１に記載の画像処理装置。
  17. 　注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、
    　表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、
    　注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、
    　画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、
    　を含むことを特徴とする画像処理装置の作動方法。
  18. 　注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、
    　表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、
    　注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、
    　画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、
    　をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
PCT/JP2016/070745 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Ceased WO2018011928A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680087532.0A CN109475277B (zh) 2016-07-13 2016-07-13 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序
PCT/JP2016/070745 WO2018011928A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2018527322A JP6664486B2 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US16/237,838 US20190150848A1 (en) 2016-07-13 2019-01-02 Image processing apparatus, operation method performed by image processing apparatus and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070745 WO2018011928A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/237,838 Continuation US20190150848A1 (en) 2016-07-13 2019-01-02 Image processing apparatus, operation method performed by image processing apparatus and recording medium

Publications (1)

Publication Number Publication Date
WO2018011928A1 true WO2018011928A1 (ja) 2018-01-18

Family

ID=60952847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070745 Ceased WO2018011928A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20190150848A1 (ja)
JP (1) JP6664486B2 (ja)
CN (1) CN109475277B (ja)
WO (1) WO2018011928A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686841A (zh) * 2020-12-21 2021-04-20 昆明理工大学 一种检测多相混合过程中气泡均匀性的评价方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522437B (zh) * 2020-03-09 2023-05-02 中国美术学院 一种基于眼动数据获取产品原型方法和系统
CN115153397A (zh) * 2022-06-16 2022-10-11 武汉迈瑞医疗技术研究院有限公司 用于内窥镜摄像系统的成像方法和内窥镜摄像系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298503A (ja) * 2003-03-31 2004-10-28 Olympus Corp 歯科検査用光イメージング装置
JP2005250401A (ja) * 2004-03-08 2005-09-15 Kodak Digital Product Center Japan Ltd 焦点距離検出方法及び合焦装置
JP2009258284A (ja) * 2008-04-15 2009-11-05 Nikon Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013142859A (ja) * 2012-01-12 2013-07-22 Sony Corp 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム
WO2015044996A1 (ja) * 2013-09-24 2015-04-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP5669489B2 (ja) * 2009-10-15 2015-02-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5513661B2 (ja) * 2013-05-09 2014-06-04 ファナック株式会社 付加軸付きロボットのオフラインプログラム作成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298503A (ja) * 2003-03-31 2004-10-28 Olympus Corp 歯科検査用光イメージング装置
JP2005250401A (ja) * 2004-03-08 2005-09-15 Kodak Digital Product Center Japan Ltd 焦点距離検出方法及び合焦装置
JP2009258284A (ja) * 2008-04-15 2009-11-05 Nikon Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013142859A (ja) * 2012-01-12 2013-07-22 Sony Corp 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム
WO2015044996A1 (ja) * 2013-09-24 2015-04-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686841A (zh) * 2020-12-21 2021-04-20 昆明理工大学 一种检测多相混合过程中气泡均匀性的评价方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体
JPWO2023144936A1 (ja) * 2022-01-26 2023-08-03

Also Published As

Publication number Publication date
CN109475277B (zh) 2021-08-24
JP6664486B2 (ja) 2020-03-13
CN109475277A (zh) 2019-03-15
US20190150848A1 (en) 2019-05-23
JPWO2018011928A1 (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5980555B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2012125469A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
CN103460254B (zh) 基于图像内容的自动亮度检测方法与装置
JP2012120799A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP6598850B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113888509B (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
WO2016208001A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2017012384A (ja) シワ状態分析装置及びシワ状態分析方法
JP2018185265A (ja) 情報処理装置、制御方法、及びプログラム
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP6603709B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2017084302A (ja) 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法
US20200053268A1 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
JP2005160916A (ja) 石灰化陰影判定方法、石灰化陰影判定装置及びプログラム
JP6459410B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2009258771A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16908830

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018527322

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16908830

Country of ref document: EP

Kind code of ref document: A1