WO2021079691A1 - 画像処理装置及びその作動方法 - Google Patents
画像処理装置及びその作動方法 Download PDFInfo
- Publication number
- WO2021079691A1 WO2021079691A1 PCT/JP2020/036674 JP2020036674W WO2021079691A1 WO 2021079691 A1 WO2021079691 A1 WO 2021079691A1 JP 2020036674 W JP2020036674 W JP 2020036674W WO 2021079691 A1 WO2021079691 A1 WO 2021079691A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- frequency characteristic
- image processing
- remission
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4255—Intestines, colon or appendix
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4216—Diagnosing or evaluating gastrointestinal ulcers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Definitions
- the present invention relates to an image processing device that performs processing related to a disease and a method of operating the image processing device.
- an endoscope system including a light source device, an endoscope, and a processor device.
- an observation object is irradiated with illumination light, and the observation object illuminated by the illumination light is imaged to acquire an endoscopic image as a medical image.
- the endoscopic image is displayed on the monitor and used for diagnosis.
- CAD Computer-Aided Diagnosis
- Patent Document 1 when analyzing the state of epithelium using an endoscope having a super-magnifying function, is it a super-magnified image that is an image to be analyzed by using a halation region included in the image?
- the image analysis device for determining the above is disclosed.
- ulcerative colitis Ulcerative Colitis
- Ulcerative Colitis Ulcerative Colitis
- endoscopic diagnosis if the distance from the tip of the endoscope to the observation target such as the mucous membrane of the large intestine is long, the resolution of the obtained endoscopic image is low, and it is based on the stage judgment. It is difficult to accurately grasp the biological characteristics such as the shape of the blood vessel and the presence or absence of bleeding. For example, in order to accurately perform stage determination using an endoscopic image, if the distance to the observation target is long in the endoscopic image, the doctor will perform endoscopy again and the distance to the observation target will be It was necessary to acquire an appropriate endoscopic image again.
- An object of the present invention is to provide an image processing device capable of accurately determining ulcerative colitis using medical images and a method of operating the same.
- the image processing apparatus of the present invention includes a processor, and the processor acquires a medical image obtained by imaging an observation target, and based on the imaging conditions of the medical image and / or the image analysis result obtained by analyzing the medical image. Based on the density of superficial blood vessels, intramucosal bleeding, and extramucosal bleeding obtained from the medical image, the medical image determined to be image-processed is determined whether or not to perform image processing on the medical image. At least one of calculating an index value for the stage of ulcerative colitis, determining the stage of ulcerative colitis, and determining remission or non-remission of ulcerative colitis is performed.
- the imaging condition of the medical image is an index of the enlargement ratio of the medical image.
- the image analysis result is preferably at least one of the halation distribution, frequency characteristic, luminance value, and shadow distribution obtained from the medical image.
- the medical image is obtained by imaging the observation object irradiated with the measurement auxiliary light for measuring the observation object, and the image analysis result is the position of the measurement auxiliary light irradiation region formed on the observation object in the medical image. Is preferable.
- the processor calculates an index value regarding the stage of ulcerative colitis based on the imaging conditions of the medical image and / or the image analysis result obtained by analyzing the medical image with respect to the medical image determined to be image-processed. It is preferable to perform at least one of the determination of the stage of ulcerative colitis and the determination of remission or non-remission of ulcerative colitis.
- the processor determines remission or non-remission of ulcerative colitis, it classifies superficial vascular congestion, intramucosal bleeding, and extramucosal bleeding according to the frequency characteristics or brightness values obtained from medical images, and is ulcerative according to the classification. It is preferable to determine remission or non-remission of colitis.
- the spatial frequency component distribution is calculated from the medical image, and the first frequency characteristic region having the first frequency characteristic is extracted based on the spatial frequency component distribution. Then, the second frequency characteristic region having the second frequency characteristic having a frequency higher than the first frequency characteristic is extracted, and the third frequency characteristic region having the third frequency characteristic having a frequency higher than the second frequency characteristic is extracted.
- the surface blood vessel It is preferable to detect congestion, intramucosal bleeding, and extramucosal bleeding, and to determine remission or non-remission of ulcerative colitis based on superficial vascular congestion, intramucosal bleeding, and extramucosal bleeding.
- the medical image is obtained by imaging an observation object illuminated by illumination light including light having a short wavelength.
- the illumination light is preferably purple light containing 410 nm in the center wavelength or the peak wavelength.
- the method of operating the image processing device of the present invention is a method of operating an image processing device including a processor, which includes an image acquisition step in which the processor acquires a medical image obtained by imaging an observation target, and a medical image.
- the image processing decision step that determines whether or not to perform image processing on the medical image based on the imaging conditions or the image analysis result obtained by analyzing the medical image, and the medical image that is determined to be subjected to image processing.
- the processor calculates the spatial frequency component distribution from the medical image and the first frequency based on the spatial frequency component distribution.
- the first frequency characteristic region having characteristics is extracted
- the second frequency characteristic region having a second frequency characteristic having a frequency higher than the first frequency characteristic is extracted
- the third frequency having a frequency higher than the second frequency characteristic is extracted.
- the steps to detect superficial vascular congestion, intramucosal bleeding, and extramucosal bleeding based on the third frequency response region, and remission of ulcerative colitis based on superficial vascular congestion, intramucosal bleeding, and extramucosal bleeding are preferable to have a step of determining non-remission.
- the medical image is obtained by imaging an observation target illuminated by illumination light which is purple light having 410 nm in the center wavelength or the peak wavelength.
- FIG. 8 (A) is an image diagram of the special image 91a
- FIG. 8 (B) is an image diagram of the special image 95a, which is an image diagram of a monitor displaying a special image.
- FIG. 9A is an explanatory diagram of a halation distribution image
- FIG. 9A is an explanatory diagram when a halation region is not included
- FIG. 9B is an explanatory diagram when a halation region is included.
- FIG. 10A is an explanatory diagram when a low frequency region is included
- FIG. 10B is an explanatory diagram when a low frequency region is not included.
- FIG. 11A is an explanatory diagram in the case of a special image 91a
- FIG. 11B is an explanatory diagram in the case of a special image 95a. It is explanatory drawing explaining the hood shadow area, FIG.
- FIG. 12A is an explanatory view in the case of a special image 91a
- FIG. 12B is an explanatory view in the case of a special image 95a.
- It is an image diagram of the special image 100 including the spot SP. It is explanatory drawing explaining the relationship between the position of a spot SP and an observation distance.
- FIG. 15A is an explanatory diagram in the case of a special image 100a
- FIG. 15B is an explanatory diagram in the case of a special image 100b.
- It is sectional drawing which shows the cross section of a large intestine.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
- the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
- the endoscope 12 includes an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a part 12d.
- the curved portion 12c bends by operating the angle knob 12e of the operating portion 12b.
- the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
- the operation unit 12b is provided with a mode switching SW (mode switching switch) 12f used for mode switching operation and a zoom operation unit 12g for instructing enlargement / reduction of the endoscopic image. ing.
- mode switching SW mode switching switch
- the endoscope system 10 has three modes: a normal light mode, a special light mode, and a disease-related processing mode.
- a normal light mode a normal image having a natural color is displayed on the monitor 18 by illuminating the observation target with normal light and taking an image.
- a special light mode a special image emphasizing a specific structure is displayed on the monitor 18 by illuminating the observation target with special light having a wavelength band different from that of normal light and taking an image.
- remission or non-remission of ulcerative colitis which is one of the diseases, is determined based on a normal image or a special image.
- an index value relating to the stage of ulcerative colitis may be calculated, or the stage of ulcerative colitis may be determined.
- a special image is used in the disease-related processing mode, but a normal image may be used.
- images used in the disease-related processing mode in addition to a special image as an endoscopic image which is one of medical images, a radiographic image obtained by a radiography apparatus, a CT image obtained by CT (Computed Tomography), and the like.
- a medical image such as an MRI image obtained by MRI (Magnetic Resonance Imaging) may be used.
- the disease-related processing mode is executed in the processor device 16 to which the endoscope 12 is connected, the disease-related processing mode may be executed by another method.
- the function of the disease-related processing unit 66 (FIG. 2) is provided in an external image processing device different from the endoscope system 10, and the medical image is input to the external image processing device to execute the disease-related processing mode.
- the execution result may be displayed on an external monitor connected to an external image processing device.
- the processor device 16 is electrically connected to the monitor 18 and the console 19.
- the monitor 18 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
- the console 19 functions as a user interface that accepts input operations such as function settings.
- An external recording unit (not shown) for recording an image, image information, or the like may be connected to the processor device 16. Further, the processor device 16 corresponds to the image processing device of the present invention.
- the light source device 14 includes a light source unit 20 and a light source control unit 21 that controls the light source unit 20.
- the light source unit 20 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 20 is turned on, the amount of light emitted from each semiconductor light source is controlled to emit illumination light that illuminates the observation target.
- the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light).
- EmittingDiode It has a 20d 4-color LED.
- the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
- the B-LED 20b generates blue light B having a center wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
- the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
- the R-LED20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
- Purple light V is short-wavelength light used for detecting superficial blood vessel congestion, intramucosal hemorrhage, and extramucosal hemorrhage used in the disease-related treatment mode, and includes 410 nm in the center wavelength or peak wavelength. Is preferable.
- the light source control unit 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. Further, the light source control unit 21 emits normal light having a light intensity ratio of Vc: Bc: Gc: Rc among purple light V, blue light B, green light G, and red light R in the normal light mode. In addition, each LED 20a to 20d is controlled.
- the light intensity ratio of purple light V as short wavelength light to blue light B, green light G, and red light R is Vs: Bs in the special light mode or the disease-related processing mode.
- Each LED 20a to 20d is controlled so as to emit special light such as Gs: Rs.
- the light intensity ratio Vs: Bs: Gs: Rs emphasizes surface blood vessels and the like with special light. Therefore, it is preferable that the special light makes the light intensity of the purple light V larger than the light intensity of the blue light B.
- the ratio of the light intensity Vs of purple light V to the light intensity Bs of blue light B is set to "4: 1".
- the light intensity ratio between the purple light V, the blue light B, the green light G, and the red light R is set to 1: 0: 0: 0, and the light has a short wavelength. May emit only the purple light V as.
- the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light intensity ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if one does not light up, it shall have a light intensity ratio.
- the light emitted by each of the LEDs 20a to 20e is incident on the light guide 25 via the optical path coupling portion 23 composed of a mirror, a lens, or the like.
- the light guide 25 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16).
- the light guide 25 propagates the light from the optical path coupling portion 23 to the tip portion 12d of the endoscope 12.
- the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
- the illumination optical system 30a has an illumination lens 32, and the illumination light propagated by the light guide 25 is applied to the observation target through the illumination lens 32.
- the image pickup optical system 30b has an objective lens 42 and an image pickup sensor 44. The light from the observation target due to the irradiation of the illumination light is incident on the image sensor 44 via the objective lens 42. As a result, an image to be observed is formed on the image sensor 44.
- a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be used.
- a complementary color image sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used.
- the image signals of the four colors of CMYG are output. Therefore, by converting the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion, the image signals of the four colors of CMYG are converted into the image signals of the three colors of RGB. An image signal of each RGB color similar to that of the image sensor 44 can be obtained.
- the image pickup sensor 44 is driven and controlled by the image pickup control unit 45.
- the control in the image pickup control unit 45 is different for each mode. In the normal light mode or the disease-related treatment mode, the image pickup control unit 45 controls the image pickup sensor 44 so as to image the observation target illuminated by the normal light.
- the Bc image signal is output from the B pixel of the image sensor 44
- the Gc image signal is output from the G pixel
- the Rc image signal is output from the R pixel.
- the image pickup control unit 45 controls the image pickup sensor 44 and controls the image pickup sensor 44 so as to take an image of an observation target illuminated by the special light.
- the Bs image signal is output from the B pixel of the image sensor 44
- the Gs image signal is output from the G pixel
- the Rs image signal is output from the R pixel.
- the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image sensor 44.
- CDS correlated double sampling
- AGC automatic gain control
- the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by the A / D (Analog / Digital) converter 48.
- the digital image signal after A / D conversion is input to the processor device 16.
- the processor device 16 includes an image acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing switching unit 56, an image processing unit 58, and a video signal generation unit 60.
- the image processing unit 58 includes a normal image generation unit 62, a special image generation unit 64, and a disease-related processing unit 66.
- the image acquisition unit 50 acquires an image signal of an endoscope image, which is one of the medical images input from the endoscope 12.
- the acquired image signal is transmitted to the DSP 52.
- the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received image signal.
- defect correction process the signal of the defective pixel of the image sensor 44 is corrected.
- the offset processing the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
- the gain correction process adjusts the signal level of each image signal by multiplying the image signal of each color after the offset process by a specific gain.
- the image signal of each color after the gain correction processing is subjected to linear matrix processing for enhancing color reproducibility.
- each image signal After that, the brightness and saturation of each image signal are adjusted by gamma conversion processing.
- the image signal after the linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing or simultaneous processing), and a signal of the missing color of each pixel is generated by interpolation.
- demosaic processing also referred to as isotropic processing or simultaneous processing
- all the pixels have signals of each color of RGB.
- the DSP 52 performs YC conversion processing on each image signal after demosaic processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54.
- the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method, a median filter method, or the like on an image signal that has undergone demosaic processing or the like by DSP 52.
- the noise-reduced image signal is input to the image processing switching unit 56.
- the image processing switching unit 56 sets the transmission destination of the image signal from the noise reduction unit 54 to any of the normal image generation unit 62, the special image generation unit 64, and the disease-related processing unit 66, depending on the set mode. Switch. Specifically, for example, when the normal light mode is set, the image signal from the noise reduction unit 54 is input to the normal image generation unit 62. When the special light mode is set, the image signal from the noise reduction unit 54 is input to the special image generation unit 64. When the disease-related processing mode is set, the image signal from the noise reduction unit 54 is input to the disease-related processing unit 66.
- the normal image generation unit 62 performs normal image image processing on the input Rc image signal, Gc image signal, and Bc image signal for one frame.
- Image processing for normal images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as three-dimensional LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
- the Rc image signal, the Gc image signal, and the Bc image signal that have undergone image processing for a normal image are input to the video signal generation unit 60 as normal images.
- the special image generation unit 64 performs special image image processing on the input Rs image signal, Gs image signal, and Bs image signal for one frame.
- Image processing for special images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as three-dimensional LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. ..
- the Rs image signal, the Gs image signal, and the Bs image signal that have undergone image processing for special images are input to the video signal generation unit 60 as special images.
- the disease-related processing unit 66 determines whether or not to perform image processing on the special image based on the imaging conditions of the special image or the image analysis result obtained by analyzing the special image. At this time, the disease-related processing unit 66 receives information regarding zooming based on the operation of the zoom operation unit 12g via the zoom control unit 57. Then, for the special image determined to be image-processed, the index value regarding the stage of ulcerative colitis is calculated based on the density of superficial blood vessels, intramucosal hemorrhage, and extramucosal hemorrhage obtained from the special image, and ulcerative colitis. At least one of determining the stage of ulcerative colitis or determining remission or non-remission of ulcerative colitis is performed.
- Information about the determination result is input to the video signal generation unit 60. Details of the disease-related processing unit 66 will be described later. In the first to third embodiments, a case where the disease-related processing unit 66 determines remission or non-remission of ulcerative colitis will be described.
- the video signal generation unit 60 converts the information regarding the normal image, the special image, or the determination result output from the image processing unit 58 into a video signal that can be displayed in full color on the monitor 18.
- the converted video signal is input to the monitor 18.
- the monitor 18 displays information on a normal image, a special image, or a determination result.
- the disease-related processing unit 66 includes an image processing determination unit 70, a spatial frequency component distribution calculation unit 71, a frequency characteristic region extraction unit 72, a structure detection unit 74, and a determination unit 76. ..
- the image processing determination unit 70 determines whether or not to perform image processing on the special image based on the shooting conditions of the special image and / or the image analysis result obtained by analyzing the special image.
- the image processing determination unit 70 performs image processing on the special image determined to be image processed.
- the spatial frequency component distribution calculation unit 71, the frequency characteristic region extraction unit 72, the structure detection unit 74, and the determination unit 76 perform image processing. Image processing will be described later.
- the image processing determination unit 70 determines whether or not to perform image processing on the special image based on the imaging conditions of the special image which is a medical image and / or the image analysis result obtained by analyzing the special image. As shown in FIG. 7, the image processing determination unit 70 includes an image processing execution control unit 81, a magnification index analysis unit 82, a halation distribution analysis unit 83, a frequency characteristic analysis unit 84, a brightness value analysis unit 85, and a shadow distribution analysis unit. It includes 86 and a measurement auxiliary optical analysis unit 87.
- the image processing execution control unit 81 controls the image processing determination unit 70.
- the determination of whether or not to perform image processing on the special image is made in any of the shooting conditions of the special image and / or the image analysis result obtained by analyzing the special image.
- Controls such as whether to perform image processing based on the above, and control to determine whether or not to perform image processing on a special image after integrating these analysis results when a plurality of image analysis results are obtained are included. It is set in advance which of the shooting conditions of the special image and / or the image analysis result obtained by analyzing the special image is used to determine whether or not to perform image processing on the special image. For example, after obtaining all the shooting conditions and the image analysis results, the image processing execution control unit 81 may decide whether or not to perform the image processing after integrating these analysis results, or only the shooting conditions are used. May be decided.
- the image processing execution control unit 81 controls the disease-related processing unit 66 to send the imaging conditions of the special image and / or the image analysis result obtained by analyzing the special image.
- the disease-related processing unit analyzes the shooting conditions and / or the special image of the special image sent from the image processing execution control unit 81 with respect to the special image determined by the image processing determination unit to perform image processing. At least one of calculating an index value for the stage of ulcerative colitis, determining the stage of ulcerative colitis, and determining remission or non-remission of ulcerative colitis using the analysis results. I do.
- the magnification index When based on the shooting conditions for special images, for example, use the magnification index.
- the imaging condition in addition to the magnification index, the imaging distance, which is the distance between the observation target and the tip of the endoscope, the amount of illumination light, or the like may be used.
- the image analysis result obtained by analyzing the special image for example, the halation distribution, the frequency characteristic, the brightness value, the shadow distribution, or the position of the measurement auxiliary light is used. These may be used alone or in plurality.
- the image processing execution control unit 81 integrates them and determines whether or not to perform image processing according to a preset standard.
- the magnifying power index used when based on the shooting conditions is an index related to the magnifying power, and for example, shooting at the time of acquiring a special image such as the magnifying power, the focal length, or the depth of field using the optical zoom and / or the electronic zoom.
- information on the enlargement ratio such as the operation history of the zoom operation unit, the type of zoom and the ratio of each zoom can be used.
- information on the enlargement ratio obtained by image analysis of the special image may be used.
- the magnification is a relative value, and is magnified or magnified based on the size of the image to be observed included in the image obtained by capturing the image without performing an operation such as enlargement or zooming. It is a value indicating the ratio of the size of the image to be observed included in the image obtained by taking an image after an operation such as zooming.
- optical zoom and electronic zoom are provided as zoom types.
- the observation target displayed on the monitor is enlarged by moving the lens and adjusting the focal length to magnify the image of the observation target imaged on the image sensor.
- the electronic zoom a part of the image signal (for example, the central portion) obtained by imaging the observation target is trimmed, and the trimmed range is enlarged and displayed on the monitor to enlarge the observation target.
- the type of zoom may be either an optical zoom, an electronic zoom, or both an optical zoom and an electronic zoom.
- the special image 91a displayed by the monitor image 91 that does not perform an operation such as enlargement is an endoscope.
- the hood 92 attached to the mirror tip portion 12d forming a shadow or the like.
- the special image 95a displayed by the monitor image 95 that has undergone the enlargement operation the illumination light passes through the transparent hood 92 and reaches the observation target, and the halation Region 96 is formed.
- the hood 92 is shown by diagonal lines in FIGS. 8 (A) and 8 (B), and in FIGS. 11, 12, 22, and 23.
- the enlargement ratio display 93 indicating the enlargement ratio is shown so that the user can easily grasp the enlargement ratio.
- the enlargement ratio index analysis unit 82 receives information and the like related to the enlargement ratio index by the zoom control unit 57 and the like, and calculates the enlargement ratio by analyzing this information.
- the enlargement ratio is sent to the image processing execution control unit 81 in order to determine whether or not to perform image processing on the special image.
- the image processing execution control unit 81 determines that the image processing is performed when the calculated enlargement ratio is equal to or higher than the preset threshold value, and determines that the image processing is not performed when the enlargement ratio is smaller than the preset threshold value. ..
- the halation distribution is a calculation of the distribution of the halation region included in the special image.
- the frequency characteristic is a calculation of the distribution of the spatial frequency component of the special image.
- the luminance value is a calculation of the luminance value of the special image.
- the shadow distribution is a calculation of the distribution of this shadow region when the special image includes a shadow formed on the observation target by the hood provided at the tip of the endoscope.
- the reflected light position of the measurement auxiliary light is a calculation of the position of a bright spot formed on the observation target by the measurement auxiliary light emitted to the observation target when the observation target is measured.
- the halation distribution analysis unit 83 performs image analysis of a special image related to the halation distribution.
- a special image a halation region having an extremely high brightness value as compared with the surroundings may occur depending on the distance between the endoscope tip portion 12d and the observation target.
- the special image includes the halation area, the distance between the endoscope tip 12d and the observation target is relatively short, and when the special image does not include the halation area, the distance between the endoscope tip 12d and the observation target is relatively short. Relatively far. Therefore, by analyzing the special image and calculating the distribution of the halation region, it is possible to obtain an index of the distance between the endoscope tip 12d and the observation target or the resolution of the special image.
- the special image 95a includes a plurality of halation regions 96.
- the enlargement ratio display 93 indicates that this image is a special image that has undergone an enlargement operation.
- the halation distribution analysis unit 83 sets a region having a specific brightness value or more set in advance as a halation region. For example, as shown in FIG. 9, in a special image, a halation distribution image showing a region having a specific luminance value or more set in advance is created. As shown in FIG. 9B, the halation distribution image 95b created based on the special image 95a includes a high-luminance region (Signal ⁇ S) which is a region (Signal ⁇ S) equal to or higher than the specific luminance value (S) based on the halation region. 97 is formed. Further, as shown in FIG.
- the high-luminance region 97 is not formed in the halation distribution image 91b created based on the special image 91a.
- the halation distribution analysis unit 83 calculates the area (Area (Signal ⁇ S)) of the high-luminance region 97 based on the halation distribution images 91b and 95b, respectively.
- the figure of the special image or the like schematically describes the image when displayed on the monitor, but the shape of the actual special image or the like can be appropriately set depending on the case. It may be circular or rectangular.
- the area of each high-brightness region 97 in the halation distribution images 91b and 95b based on the special images 91a and 95a is determined by the image processing execution control unit in order to determine whether or not to perform image processing on the special images 91a and 95a. It is sent to 81.
- the image processing execution control unit 81 determines that image processing is performed on the special image when the calculated area of each high-luminance region 97 is equal to or larger than a preset threshold value, and the area of the high-luminance region 97 is predetermined. It is determined that image processing is not performed on special images smaller than the set threshold value.
- the frequency characteristic analysis unit 84 performs image analysis of a special image related to the frequency characteristic.
- the spatial frequency distribution of the special image is calculated by the analysis. For example, the deep portion of the lumen where the tip portion 12d of the endoscope and the observation target are far from each other and the illumination light does not reach is a low frequency region where the spatial frequency is lower than the surroundings. Further, for example, a portion where the distance between the endoscope tip portion 12d and the observation target is short and the illumination light reaches all of the observation targets does not include the low frequency region. Therefore, by performing an analysis for calculating the spatial frequency distribution of the special image, it is possible to obtain an index of the distance between the endoscope tip 12d and the observation target or the resolution of the special image.
- the spatial frequency distribution image 91c created based on the special image 91a includes a low frequency region (Frequency ⁇ F) 98 whose spatial frequency is lower than the surroundings. Further, as shown in FIG. 10B, the spatial frequency distribution image 95c created based on the special image 95a does not include the low frequency region 98.
- the frequency characteristic analysis unit 84 calculates the area (Area (Frequency ⁇ F)) of the low frequency region 98 based on the spatial frequency distribution images 91c and 95c, respectively.
- the area of the low frequency region 98 in the images 91c and 95c is determined by the image processing execution control unit 81 to determine whether or not to perform image processing on the special images 91a and 95a. Will be sent to.
- the image processing execution control unit 81 determines that image processing is performed on the special image when the calculated area of the low frequency region 98 is equal to or less than a preset threshold value, and the area of the low frequency region 98 is preset. It is determined that no image processing is performed on the special image larger than the threshold value.
- the brightness value analysis unit 85 performs image analysis of a special image related to the brightness value.
- the brightness value distribution of the special image is calculated by the analysis. Based on the brightness value distribution calculated based on the special image, for example, the average brightness value of the entire special image is calculated. For example, when the distance between the tip portion 12d of the endoscope and the observation target is long and the area of the deep portion of the lumen that the illumination light does not reach is large, the average brightness value becomes small. Further, for example, the average brightness value becomes large in a portion where the distance between the endoscope tip portion 12d and the observation target is short and the illumination light reaches most of the observation target. Therefore, by performing an analysis for calculating the brightness value of the special image, it is possible to obtain an index of the distance between the endoscope tip 12d and the observation target or the resolution of the special image.
- the luminance value analysis unit 85 calculates the luminance value distribution based on the special image 91a, and calculates the average luminance value BV1 for the entire image of the special image 91a from the luminance value distribution. Further, as shown in FIG. 11B, the luminance value distribution is calculated based on the special image 95a, and the average luminance value BV2 for the entire image of the special image 95a is calculated from the luminance value distribution.
- the average luminance values BV1 and BV2 in the images 91c and 95c, respectively, are controlled to execute image processing in order to determine whether or not to perform image processing on the special images 91a and 95a. It is sent to section 81.
- the image processing execution control unit 81 determines that image processing is performed on the special image when the calculated average brightness value is equal to or higher than the preset threshold value, and the special image has an average brightness value smaller than the preset threshold value. On the other hand, it is decided not to perform image processing.
- the shadow distribution analysis unit 86 performs image analysis of a special image relating to a shadow (hereinafter referred to as a hood shadow) generated on an observation target by a hood attached to the tip portion 12d of the endoscope.
- a hood shadow a special image relating to a shadow
- the distribution of the hood shadow area included in the special image (hereinafter referred to as the hood shadow area) is calculated.
- the hood shadow area For example, when the distance between the endoscope tip 12d and the observation target is long, the angle of the illumination light with respect to the observation target is far from the vertical, so that the hood shadow region becomes large. Further, for example, when the distance between the endoscope tip portion 12d and the observation target is short, the angle of the illumination light with respect to the observation target becomes close to vertical, so that the hood shadow region becomes small. Therefore, by performing an analysis for calculating the distribution of the hood shadow region on the special image, it is possible to obtain an index of the distance between the endoscope tip 12
- the special image 91a and the special image 99 each include a hood shadow region 92a due to the hood 92.
- the shadow distribution analysis unit 86 calculates the area of the hood shadow region 92a based on the special image 91a and the special image 99, respectively.
- the area of the hood shadow region 92a can be calculated as the hood shadow region 92a by, for example, image analysis.
- the area SH1 of the hood shadow region 92a based on the special image 91a and the area SH2 of the hood shadow region 92a based on the special image 99 are used to determine whether or not to perform image processing on the special images 91a and 99, respectively. It is sent to the image processing execution control unit 81.
- the image processing execution control unit 81 determines that image processing is not performed on the special image when the calculated area of the hood shadow region 92a is larger than the preset threshold value, and the area of the hood shadow region 92a is preset. It is determined that image processing is performed on the special image below the threshold value.
- the area SH1 of the hood shadow region 92a based on the special image 91a is larger than the preset threshold value, it is determined that no image processing is performed on the special image 91a, and the hood shadow region 92a based on the special image 99 Since the area SH2 is equal to or less than a preset threshold value, it is determined that image processing is performed on the special image 99.
- the measurement auxiliary light analysis unit 87 performs image analysis of a special image regarding the position of the measurement auxiliary light.
- the measurement auxiliary light is used for measuring the observation target, and is applied to the observation target in addition to the illumination light.
- the measurement auxiliary light is light of a color that can be detected by the pixels of the image pickup sensor 44, for example, visible light such as red light of 600 nm or more and 650 nm or less, and a laser light source or a light emitting element such as an LED is used.
- a measurement auxiliary light irradiation region such as a spot SP is formed on the observation target.
- An observation target on which the spot SP is formed by the measurement auxiliary light is imaged to obtain a special image 100 including the spot SP which is the measurement auxiliary light irradiation region.
- the measurement auxiliary light lens is used in the endoscope tip 12d.
- a 30c is provided, and the measurement auxiliary light emitted from the measurement auxiliary light emitting unit 30d is irradiated to the observation target.
- the measurement auxiliary light is emitted in a state where the optical axis Lm of the measurement auxiliary light is within the shooting angle of view (within the region sandwiched by the two solid lines L1) of the imaging optical system.
- the measurement auxiliary light in the imaging range (indicated by arrows Qx, Qy, Qz) at each point. It can be seen that the positions of the spots SP formed on the observation target (points where the arrows Qx, Qy, and Qz intersect with the optical axis Lm) are different.
- the position of the endoscope tip portion 12d is defined as the position P1.
- the observation distance is the distance between the tip portion 12d of the endoscope and the observation target.
- the observation distance is the distance between the position P1 and the near-end Px, the near-center Py, and the far-end Pz, respectively.
- the observation distance is, in detail, the distance from the start point of the optical axis Ax of the imaging optical system 30b at the tip end portion 12d of the endoscope to the observation target.
- the axis Dv indicates the observation distance.
- the image sensor 44 By imaging the observation target illuminated with the measurement auxiliary light with the image sensor 44, a special image including the spot SP which is the measurement auxiliary light irradiation region is obtained.
- the position of the spot SP differs depending on the relationship between the optical axis Ax of the imaging optical system 30b and the optical axis Lm of the measurement auxiliary light, and the observation distance. Therefore, by acquiring the correspondence information in which the position of the spot SP and the observation distance are associated in advance, the observation distance can be obtained depending on the position of the spot SP.
- the marker indicating the actual size can be obtained by acquiring the correspondence information in which the observation distance is associated with, for example, a marker of a predetermined size in advance. The actual size of the observation target can be measured by superimposing it on a special image.
- the measurement auxiliary light analysis unit 87 identifies the position of the spot SP in the special image by analyzing the special image including the spot SP. For example, when the distance between the endoscope tip portion 12d and the observation target is long, the position of the spot SP is located at the upper part of the special image. Further, for example, when the distance between the endoscope tip portion 12d and the observation target is short, the position of the spot SP is located at the center portion of the special image. Therefore, by performing an analysis for specifying the position of the spot SP on the special image, it is possible to obtain an index of the distance between the endoscope tip 12d and the observation target or the resolution of the special image.
- the special image 100a includes the spot SP1 formed on the observation target by the measurement auxiliary light.
- the special image 100b includes the spot SP2 formed on the observation target by the measurement auxiliary light.
- the measurement auxiliary light analysis unit 87 specifies the positions of the spots SP1 and the spots SP2 in the special images 100a and 100b, respectively, in the special images 100a and 100b, respectively.
- the measurement auxiliary light analysis unit 87 determines the observation distance in the special image 100a from the position of the spot SP1 and the observation distance in the special image 100a by the correspondence information associated with the position of the spot SP and the observation distance acquired in advance by the measurement auxiliary light analysis unit 87.
- the observation distance in the special image 100b is calculated from the position of the spot SP2. In the present embodiment, it is calculated that the observation distance of the special image 100a is farther depending on the position of the spot SP1, and that the observation distance of the special image 100b is closer depending on the position of the spot SP2.
- the calculated observation distance is sent to the image processing execution control unit 81 in order to determine whether or not to perform image processing on the special images 91a and 95a.
- the image processing execution control unit 81 determines that the image processing is performed on the special image when the calculated observation distance is equal to or less than the preset threshold value, and the special image when the observation distance is larger than the preset threshold value. On the other hand, it is decided not to perform image processing.
- the disease-related processing unit 66 has an ulcerative colitis based on the density of superficial blood vessels, intramucosal hemorrhage, and extramucosal hemorrhage obtained from the special image. At least one of calculating an index value for the stage of inflammation, determining the stage of ulcerative colitis, and determining remission or non-remission of ulcerative colitis is performed. As shown in FIGS. 16A to 16E, the inventor of the ulcerative colitis to be determined by the disease-related processing unit 66 changes the pattern of the vascular structure as the severity worsens. Are finding out.
- the disease-related processing unit 66 determines remission or non-remission of ulcerative colitis based on a special image which is one of the medical images by utilizing the pattern change of the vascular structure described above.
- “dense superficial blood vessels” refers to a state in which superficial blood vessels meander and gather, and in appearance on the image, many superficial blood vessels surround the intestinal gland bulk (crypt) (see FIG. 17). It means being out.
- “Intramucosal bleeding” means that bleeding in mucosal tissue (see FIG. 17) requires differentiation from bleeding into the lumen.
- “Intramucosal bleeding” refers to bleeding that is not in the mucosa and in the lumen (lumen, pleated hole) in appearance on the image.
- Extramucosal bleeding is a small amount of blood into the lumen, blood that oozes out of the lumen in front of the endoscope even after cleaning the lumen, or blood that is visible from the mucosa, or on hemorrhagic mucosa. Blood in the lumen with bleeding.
- the disease-related processing unit 66 classifies superficial blood vessel congestion, intramucosal bleeding, and extramucosal bleeding according to the frequency characteristics or brightness values obtained from the special image, and determines remission or non-remission of ulcerative colitis according to the classification. Specifically, the density of superficial blood vessels, intramucosal hemorrhage, and extramucosal hemorrhage are classified as shown in FIG. The density of surface blood vessels is represented by a low luminance value and a high frequency characteristic. Intramucosal hemorrhage is represented by a medium luminance value and a medium frequency characteristic. Extramucosal hemorrhage is represented by a low luminance value and a low frequency characteristic.
- the blurred dark part or endoscopic shadow of the special image is used. (Shadow formed in the central portion of the endoscopic image when the tip portion 12d of the endoscope is moved along the lumen) and the like are also included.
- the above classification is used to extract superficial vascular congestion, intramucosal hemorrhage, and extramucosal hemorrhage necessary for determining remission or non-remission of ulcerative colitis from special images.
- the disease-related processing unit 66 includes a spatial frequency component distribution calculation unit 71, a frequency characteristic region extraction unit 72, a structure detection unit 74, and a determination unit 76.
- the spatial frequency component distribution calculation unit 71 calculates the spatial frequency component distribution by applying a Laplacian filter to the special image.
- the frequency characteristic region extraction unit 72 extracts the first frequency characteristic region (low frequency region) having the first frequency characteristic (low frequency) based on the spatial frequency component distribution, and has a frequency higher than the first frequency characteristic.
- the second frequency characteristic region (medium frequency region) having the second frequency characteristic (medium frequency) is extracted, and the third frequency characteristic region (high frequency) having the third frequency characteristic (high frequency) having a frequency higher than the second frequency characteristic is extracted. Region) is extracted.
- the frequency characteristic region extraction unit 72 includes a first frequency characteristic region extraction unit 72a, a third frequency characteristic region extraction unit 72b, an analysis target region detection unit 72c, and a second frequency characteristic region extraction unit 72d.
- the first to third frequency characteristic regions are extracted along the flow shown in FIG.
- the first frequency characteristic region extraction unit 72a sets the specific pixel as a pixel belonging to the first frequency characteristic when the standard deviation of the frequencies of nine nearby pixels including the specific pixel is equal to or less than a certain value. To do.
- the first frequency characteristic region is extracted by detecting the specific pixels for all the pixels.
- the first frequency characteristic region corresponds to a low frequency region.
- the third frequency characteristic region extraction unit 72b extracts the third frequency characteristic region by Hesian analysis on the spatial frequency component distribution.
- the third frequency characteristic region corresponds to a high frequency region.
- the specific pixel when the standard deviation of the frequencies of nine nearby pixels including the specific pixel is less than a certain value, the specific pixel is regarded as a pixel belonging to the first frequency characteristic, but other statistics.
- a specific pixel may be a pixel belonging to the first frequency characteristic when the amount, for example, the maximum value or the minimum value of the frequency with nine nearby pixels, and the average value are equal to or less than a certain value.
- the analysis target area detection unit 72c detects the analysis target area excluding the first frequency characteristic area from the special image.
- the second frequency characteristic region extraction unit 72d extracts the second frequency characteristic region by removing the third frequency characteristic region from the analysis target region.
- the second frequency characteristic region corresponds to the medium frequency region.
- the structure detection unit 74 is based on the first frequency characteristic region subjected to the first region discrimination processing using the luminance value, the second frequency characteristic region subjected to the second region discrimination processing using the luminance value, and the third frequency characteristic region. Detects superficial blood vessel congestion, intramucosal hemorrhage, and extramucosal hemorrhage. Specifically, the structure detection unit 74 detects extramucosal bleeding by performing a first region discrimination process on the first frequency characteristic region, and performs a second region discrimination process on the second frequency characteristic region. By applying, intramucosal hemorrhage is detected, and the third frequency characteristic region is detected as a density of superficial blood vessels.
- the low-frequency first frequency characteristic region includes medium-intensity blurred dark areas or endoscopic shadows. Be bleeding.
- first region discrimination process a region whose brightness value is equal to or less than the luminance value threshold value in the first frequency characteristic region of the special image is detected as a region of extramucosal bleeding.
- a second region discrimination process is performed to distinguish medium-brightness intramucosal bleeding.
- second region discrimination process a region whose brightness value is equal to or greater than the luminance value threshold value among the second frequency characteristic regions of the special image is detected as an intramucosal hemorrhage region.
- the third region determination process may be performed in order to distinguish the density of low-luminance surface blood vessels.
- a region whose brightness value is equal to or less than the luminance value threshold value in the third frequency characteristic region of the special image is detected as a region where surface blood vessels are densely packed.
- the determination unit 76 indicates that the surface blood vessels are dense, the detected amount of intramucosal bleeding is equal to or higher than the threshold for intramucosal bleeding, the detected amount of extramucosal bleeding is equal to or higher than the threshold for extramucosal bleeding, and the amount of intramucosal bleeding.
- the sum of the detected amount and the detected amount of extramucosal bleeding satisfies either of the thresholds for intramucosal bleeding or more, ulcerative colitis is determined to be non-relief.
- the determination unit 76 the surface blood vessels are dense, the detected amount of intramucosal bleeding is equal to or higher than the threshold for intramucosal bleeding, the detected amount of extramucosal bleeding is equal to or higher than the threshold for extramucosal bleeding, and the mucosa.
- ulcerative colitis is determined to be in remission.
- the information regarding the determination by the determination unit 76 is displayed on the monitor 18 and used for the determination of the user in remission or non-remission of ulcerative colitis.
- the determination unit 76 determines that the ulcerative colitis is in remission, a message to that effect is displayed on the monitor 18 as shown in FIG.
- the determination unit 76 calculates the amount of intramucosal bleeding detected based on the ratio occupied by the second frequency characteristic region in the special image. Further, the determination unit 76 calculates the detection amount of extramucosal bleeding based on the ratio occupied by the low-brightness first frequency characteristic region (first frequency characteristic region after the first region determination processing) in the special image. Is preferable. Further, the determination unit 76 obtains an index value that indexes the severity of ulcerative colitis in addition to or instead of determining whether or not the patient has ulcerative colitis, and relieves ulcerative colitis according to the index value. Alternatively, a non-relaxation determination may be made, and the index value may be displayed on the monitor 18 as a determination result.
- the disease-related processing unit 66 has similar functions, for example, the frequency characteristic analysis unit 84 and the spatial frequency component distribution calculation unit 71, they may be shared. That is, one part may function as the frequency characteristic analysis unit 84 in some cases, and may function as the spatial frequency component distribution calculation unit 71 in another case.
- the image processing determination unit 70 analyzes the imaging conditions and / or the special image of the special image which is a medical image, and the image analysis result is obtained. Based on the above, the disease-related processing unit 66 determines whether or not to perform image processing on the special image, and the disease-related processing unit 66 determines the surface layer obtained from the special image with respect to the special image determined by the image processing determination unit 70 to perform image processing. Calculating index values for the stage of ulcerative colitis, determining the stage of ulcerative colitis, and remission or non-remission of ulcerative colitis based on vascular congestion, intramucosal bleeding, and extramucosal bleeding.
- the image processing apparatus that performs at least one of the determinations performs image processing on a special image from which the determination result of the image processing can be obtained with high accuracy. Therefore, it is possible to accurately determine the ulcerative colitis using a special image.
- the image processing execution control unit 81 determines whether or not to perform image processing based on the imaging conditions of the special image and / or the image analysis result obtained by analyzing the special image according to the preset contents. Therefore, image processing is performed on the automatically selected special image. Therefore, the determination regarding ulcerative colitis using a special image can be performed accurately and easily.
- the endoscope 12 obtains a special image which is one of the endoscopic images (medical images) at a certain point in time by imaging the observation target illuminated by the special light (step ST110).
- the image acquisition unit 50 acquires a special image from the endoscope 12 (step ST120).
- the special image is sent to the disease-related processing unit 66, and the image processing determination unit 70 determines whether or not to perform image processing, that is, whether or not to perform image processing (step ST130).
- the image processing execution control unit 81 integrates these analysis results to determine the pros and cons of image processing.
- the frequency characteristic analysis unit 84 calculates the frequency characteristics of the special image and creates a spatial frequency distribution image.
- the spatial frequency distribution image can be created by applying a filter of each color according to the spatial frequency.
- the low frequency region 98a is light blue
- the high frequency region 98b is red, and the like.
- the frequency characteristic analysis unit 84 calculates, for example, an area having a frequency of F or less in a spatial frequency distribution image and compares it with a preset threshold value in a low frequency region. The comparison is performed by, for example, the following equation (1).
- the area where the frequency is F or less is defined as Area (Frequency ⁇ F)
- the threshold value in the low frequency region is defined as Threshold_Low frequency.
- a special image satisfying the following equation (1) indicates that the observation target is far from the tip portion 12d of the endoscope or is deep in the lumen.
- the halation distribution analysis unit 83 calculates the halation distribution of the special image and creates the halation distribution image.
- the halation distribution image can be created by calculating a region where the brightness value is equal to or higher than a specific value.
- the halation distribution image can be created by applying a filter of each color to a region having a luminance value equal to or higher than the specific luminance value.
- the halation region is white or the like.
- the halation distribution analysis unit 83 calculates, for example, an area having a brightness value of S or more in a halation distribution image and compares it with a preset threshold value of the halation region. The comparison is performed by, for example, the following equation (2).
- the area where the brightness value is S or more is defined as Area (Signal ⁇ S), and the threshold value of the halation region is defined as Threshold_Halarion.
- the special image satisfying the following equation (2) shows that there is no halation region indicating that the observation target is close to the endoscope tip portion 12d.
- the image processing execution control unit 81 receives the area Area (Frequency ⁇ F) of the low frequency region 98a and the area Area (Signal ⁇ S) of the halation region from the frequency characteristic analysis unit 84 and the halation distribution analysis unit 83, and described above.
- the respective threshold values are compared with the equations (1) and (2). Further, since the special image satisfying the above formula (1) and the above formula (2) has a long distance from the tip of the endoscope 12d to the observation target and a low resolution, for example, a stage of ulcerative colitis can be obtained by image processing. Since it is inconvenient to determine, it is determined not to perform image processing (NO in step ST140). For example, as shown in FIG.
- the spatial frequency distribution image 91c based on the special image 91a satisfies the equation (1)
- the halation distribution image 91b based on the special image 91a satisfies the equation (2). Determines not to perform image processing.
- the image processing determination unit 70 determines that the image processing is not performed, the medical image is acquired again.
- a special image that does not satisfy the above formula (1) and does not satisfy the above formula (2) has a short distance from the tip of the endoscope 12d to the observation target and has a high resolution. Since it is convenient to determine the stage of sexual colitis, it is decided to perform image processing (YES in step ST140). For example, as shown in FIG. 23, in the special image 95a, the spatial frequency distribution image 95c based on the special image 95a does not satisfy the formula (1), and the halation distribution image 95b based on the special image 95a does not satisfy the formula (2). Therefore, the image processing determination unit 70 decides to perform image processing. When the image processing determination unit 70 determines to perform image processing, the process proceeds to the next step.
- a special image satisfying either the above formula (1) or the above formula (2) also has a short distance from the tip of the endoscope 12d to the observation target and has a high resolution. Therefore, for example, an ulcerative colitis can be processed by image processing. It is not convenient to determine the stage of the flame, but there is no problem, so it is decided to perform image processing (YES in step ST140).
- the spatial frequency component distribution calculation unit 71 calculates the spatial frequency component distribution from the special image (step ST160).
- the first frequency characteristic region extraction unit 72a extracts a low frequency first frequency characteristic region based on the spatial frequency component distribution (step ST170).
- the third frequency characteristic region extraction unit 72b extracts a high frequency third frequency characteristic region based on the spatial frequency component distribution (step ST180).
- the analysis target region detection unit 72c detects the analysis target region excluding the first frequency characteristic region from the medical image (step ST190).
- the second frequency characteristic region extraction unit 72d extracts the second frequency characteristic region of the middle frequency by removing the third frequency characteristic region from the analysis target region (step ST200).
- the structure detection unit 74 detects extramucosal bleeding by performing a first region discrimination process on a low frequency first frequency characteristic region (step ST210). In addition, the structure detection unit 74 detects intramucosal bleeding by performing a second region discrimination process on the second frequency characteristic region of the medium frequency (step ST220). Further, the structure detection unit 74 detects the third frequency characteristic region as a density of surface blood vessels.
- the determination unit 76 determines remission or non-remission of ulcerative colitis based on the density of superficial blood vessels, intramucosal hemorrhage, and extramucosal hemorrhage detected by the structure detection unit 74 (step ST230). Information regarding the determination by the determination unit 76 is displayed on the monitor 18 (step ST240).
- a series of flow of the disease-related processing mode using the above will be described with reference to the flowchart shown in FIG. 24.
- the flowchart shown in FIG. 24 is the flowchart shown in FIG. 21 with step ST150 added. That is, the image analysis result obtained by analyzing the shooting conditions and / or the special image of the special image from the image processing execution control unit 81 before performing the image processing on the special image determined to be subjected to the image processing. Acquire a certain image processing parameter (step ST150).
- the image processing execution control unit 81 sends the image processing result that the special image satisfies both the above formula (1) and the above formula (2) to the disease-related processing unit 66.
- the disease-related processing unit 66 is densely packed with surface blood vessels using the image processing result sent from the image processing execution control unit 81 that is a special image satisfying both the above formula (1) and the above formula (2).
- the kernel size when calculating the degree the image processing parameter for using the low magnification kernel is set from among several types of kernel sizes prepared in advance. The subsequent flow is the same as the flowchart shown in FIG.
- a wideband light source such as a xenon lamp and a rotation filter are used to illuminate the observation target.
- a monochrome image sensor is used to image the observation target. Other than that, it is the same as that of the first embodiment.
- the light source device 14 is provided with a wideband light source 102, a rotation filter 104, and a filter switching unit 105 in place of the four-color LEDs 20a to 20e.
- the image pickup optical system 30b is provided with a monochrome image pickup sensor 106 without a color filter instead of the color image pickup sensor 44.
- the broadband light source 102 is a xenon lamp, a white LED, or the like, and emits white light having a wavelength range ranging from blue to red.
- the rotation filter 104 is provided with a filter 107 for a normal light mode and a filter 108 for a special light mode and a disease-related processing mode in order from the inside (see FIG. 26).
- the filter switching unit 105 moves the rotary filter 104 in the radial direction, and when the mode switching SW12f sets the normal light mode, the filter 107 for the normal light mode is inserted into the optical path of white light, and the special light mode is used.
- the filter 108 for the special light mode and the disease-related processing mode is inserted into the optical path of white light.
- the filter 107 for the normal light mode includes a B filter 107a that transmits wideband blue light B of white light and a G filter that transmits wideband green light G of white light along the circumferential direction. 107b and an R filter 107c that transmits wideband red light R among white light are provided. Therefore, in the normal light mode, the rotation of the rotation filter 104 alternately irradiates the observation target with the wideband blue light B, the wideband green light G, and the wideband red light R as normal light.
- the filters 108 for the special light mode and the disease-related processing mode include a Bn filter 108a that transmits blue narrow band light of white light and a Gn filter that transmits green narrow band light of white light along the circumferential direction. 108b is provided. Therefore, in the special light mode or the disease-related processing mode, the rotation of the rotation filter 104 alternately irradiates the observation target with blue narrow-band light as short-wavelength light and green narrow-band light as special light.
- the wavelength band of the blue narrow band light is preferably 400 to 450 nm
- the wavelength band of the green narrow band light is preferably 540 to 560 nm.
- the observation target is imaged by the monochrome imaging sensor 106 every time the observation target is illuminated by the broadband blue light B, the broadband green light G, and the broadband red light R.
- a Bc image signal, a Gc image signal, and an Rc image signal can be obtained.
- a normal image is generated by the same method as in the first embodiment.
- the observation target is imaged by the monochrome imaging sensor 106 each time the observation target is illuminated by the blue narrow band light and the green narrow band light.
- a Bs image signal and a Gs image signal can be obtained.
- a special image is generated by the same method as in the first embodiment.
- the center wavelength corresponding to short wavelength light is 405 ⁇ 10 nm.
- the purple laser light source unit 203 (denoted as “405LD”; LD represents “Laser Diode”) and the blue laser light source (denoted as "445LD”) that emits a blue laser light having a center wavelength of 445 ⁇ 10 nm.
- 204 is provided.
- the light emitted from the semiconductor light emitting elements of the light source units 204 and 206 is individually controlled by the light source control unit 208.
- the light source control unit 208 lights the blue laser light source unit 204 in the normal light mode.
- the purple laser light source unit 203 and the blue laser light source unit 204 are turned on at the same time.
- the half price width of the purple laser light, the blue laser light, or the blue-green laser light is preferably about ⁇ 10 nm.
- a broad area type InGaN-based laser diode can be used for the purple laser light source unit 203, the blue laser light source unit 204, and the blue-green laser light source unit 206, and an InGaN As-based laser diode or a GaN As-based laser diode can also be used. ..
- a light emitting body such as a light emitting diode may be used as the light source.
- the illumination optical system 30a is provided with a phosphor 210 to which the blue laser light or the blue-green laser light from the light guide 25 is incident.
- the phosphor 210 is excited by a blue laser beam and emits fluorescence. Therefore, the blue laser light corresponds to the excitation light. Further, a part of the blue laser light is transmitted without exciting the phosphor 210.
- the blue-green laser light passes through the phosphor 210 without exciting it. The light emitted from the phosphor 210 illuminates the inside of the observation target through the illumination lens 32.
- the blue laser light is mainly incident on the phosphor 210, as shown in FIG. 28, the blue laser light and the fluorescence excited and emitted from the phosphor 210 by the blue laser light are combined.
- Normal light is illuminated on the observation target.
- a normal image including a Bc image signal, a Gc image signal, and an Rc image signal can be obtained.
- the special light mode or the disease-related processing mode when the purple laser light and the blue laser light are simultaneously incident on the phosphor 210, as shown in FIG. 29, in addition to the purple laser light and the blue laser light, purple Pseudo-white light containing fluorescence that is excited and emitted from the phosphor 210 by the laser light and the blue laser light is emitted as special light.
- a special image composed of a Bs image signal, a Gs image signal, and an Rs image signal can be obtained.
- the pseudo white light may be a combination of purple light V, blue light B, green light G, and red light emitted from V-LED20a, B-LED20b, G-LED20c, and R-LED20d.
- the phosphor 210 is a plurality of types of phosphors that absorb a part of the blue laser light and excite and emit light from green to yellow (for example, a YKG-based phosphor or a phosphor such as BAM (BaMgAl 10 O 17)). It is preferable to use one composed of.
- a semiconductor light emitting element is used as an excitation light source for the phosphor 210 as in this configuration example, high-intensity white light can be obtained with high luminous efficiency, the intensity of white light can be easily adjusted, and the color of white light can be adjusted. Changes in temperature and chromaticity can be suppressed to a small extent.
- the present invention is applied to an endoscopic system that processes an endoscopic image, which is one of medical images, but medical images other than the endoscopic image are processed.
- the present invention can also be applied to a medical image processing system.
- the present invention can also be applied to a diagnostic support device for providing diagnostic support to a user using a medical image.
- the present invention can also be applied to a medical work support device for supporting medical work such as a diagnostic report using a medical image.
- the diagnostic support device 600 is used in combination with a modality such as a medical image processing system 602 and a PACS (Picture Archiving and Communication Systems) 604.
- a modality such as a medical image processing system 602 and a PACS (Picture Archiving and Communication Systems) 604.
- the medical business support device 610 includes various inspection devices such as the first medical image processing system 621, the second medical image processing system 622, ..., The Nth medical image processing system 623, and an arbitrary network. Connect via 626.
- the medical business support device 610 receives medical images from the first to Nth medical image processing systems 621, 622 ..., 623, and supports medical business based on the received medical images.
- the normal image generation unit 62, the special image generation unit 64, the disease-related processing unit 66, the spatial frequency component distribution calculation unit 71, the frequency characteristic region extraction unit 72, and the first frequency characteristic region included in the image processing unit 58 are included.
- the structure is various processors as shown below.
- the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
- CPU Central Processing Unit
- FPGA Field Programmable Gate Array
- PLD programmable logic device
- dedicated electric circuit which is a processor having a circuit configuration specially designed for executing various processes, and the like.
- One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
- SoC System On Chip
- a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
- the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
- the present invention can also be implemented by the following alternative embodiments.
- the image acquisition unit acquires a medical image obtained by imaging the observation target
- the image processing determination unit determines whether or not to perform image processing on the medical image based on the imaging conditions of the medical image and / or the image analysis result obtained by analyzing the medical image.
- the medical image determined by the disease-related processing unit to perform the image processing is ulcerative based on the density of superficial blood vessels, intramucosal bleeding, and extramucosal bleeding obtained from the medical image.
- a processor device that calculates an index value relating to the stage of ulcerative colitis, determines the stage of the ulcerative colitis, and determines the remission or non-remission of the ulcerative colitis.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Endocrinology (AREA)
- Gastroenterology & Hepatology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
医療画像を用いた潰瘍性大腸炎に関する判定を精度良く行うことができる画像処理装置及びその作動方法を提供する。 画像処理装置(16)はプロセッサを含み、プロセッサが、医療画像の撮影条件及び/又は医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定する。そして、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。
Description
本発明は、疾患に関連する処理を行う画像処理装置及びその作動方法に関する。
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。
近年では、内視鏡画像に基づいて処理を行うことにより、病変部などの異常領域の判定などの診断を支援する情報をユーザーに提供することが行われつつある。また、内視鏡画像に適切な画像処理を施し、例えば、疾患のステージを判定するCAD(Computer-Aided Diagnosis)技術も開発されている。CAD技術において、ステージを高精度に判定するためには、高解像度の内視鏡画像を基に画像処理が施されることが望ましい。
例えば、特許文献1では、超拡大機能を有する内視鏡を用いて上皮の状態の解析を行う際に、画像に含まれるハレーション領域を用いて、解析の対象画像である超拡大画像であるかを判定する画像解析装置を開示している。
ところで、大腸の疾患の一つとして、潰瘍性大腸炎(UC、Ulcerative Colitis)が知られている。内視鏡診断により潰瘍性大腸炎に関して判定する場合、内視鏡先端部から大腸の粘膜等の観察対象までの距離が遠い場合、得られる内視鏡画像の解像度は低く、ステージ判定のもととなる血管形状や出血の有無などの生体特徴を正確にとらえることは難しい。例えば、内視鏡画像を用いてステージ判定を精度良く行うために、内視鏡画像において観察対象までの距離が遠い場合には、医師が再度内視鏡検査を行い、観察対象までの距離が適切な内視鏡画像を改めて取得する必要があった。
本発明は、医療画像を用いた潰瘍性大腸炎に関する判定を精度良く行うことができる画像処理装置及びその作動方法を提供することを目的とする。
本発明の画像処理装置は、プロセッサを備え、プロセッサは、観察対象を撮像して得られる医療画像を取得し、医療画像の撮影条件及び/又は医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定し、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。
医療画像の撮影条件は、医療画像の拡大率指標であることが好ましい。
画像解析結果は、医療画像から得られるハレーション分布、周波数特性、輝度値、及び影分布のうち少なくとも1つであることが好ましい。
医療画像は、観察対象の計測を行うための計測補助光が照射された観察対象を撮像して得られ、画像解析結果は、医療画像において観察対象上に形成された計測補助光照射領域の位置であることが好ましい。
プロセッサは、画像処理を行うと決定した医療画像に対し、医療画像の撮影条件及び/又は医療画像を解析して得られる画像解析結果に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行うことが好ましい。
プロセッサが、潰瘍性大腸炎の寛解又は非寛解を判定する場合には、医療画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って潰瘍性大腸炎の寛解又は非寛解を判定することが好ましい。
プロセッサが潰瘍性大腸炎の寛解又は非寛解を判定する場合には、医療画像から空間周波数成分分布を算出し、空間周波数成分分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出し、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出し、表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定することが好ましい。
医療画像は、短波長の光を含む照明光によって照明された観察対象を撮像して得られることが好ましい。また、照明光は、中心波長又はピーク波長に410nmを含む紫色光であることが好ましい。
また、本発明の画像処理装置の作動方法は、プロセッサを備える画像処理装置の作動方法であって、プロセッサが、観察対象を撮像して得られる医療画像を取得する画像取得ステップと、医療画像の撮影条件又は医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備える。
判定ステップにおいて潰瘍性大腸炎の寛解又は非寛解を判定する場合には、判定ステップでは、プロセッサが、医療画像から空間周波数成分分布を算出するステップと、空間周波数成分分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出するステップと、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出するステップと、表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定するステップを有することが好ましい。また、医療画像は、中心波長又はピーク波長に410nmが含まれる紫色光である照明光によって照明された観察対象を撮像して得られることが好ましい。
本発明によれば、医療画像を用いた潰瘍性大腸炎に関する判定を精度良く行うことができる。
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、内視鏡画像の拡大・縮小を指示するズーム操作部12gとが設けられている。
なお、内視鏡システム10は、通常光モード、特殊光モード、及び疾患関連処理モードの3つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常画像をモニタ18に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊画像をモニタ18に表示する。疾患関連処理モードでは、通常画像又は特殊画像に基づいて、疾患の一つである潰瘍性大腸炎の寛解又は非寛解を判定する。なお、疾患関連処理モードでは、潰瘍性大腸炎のステージに関する指標値を算出すること、又は、潰瘍性大腸炎のステージを判定することを行ってもよい。
なお、本実施形態では、疾患関連処理モードでは、特殊画像(内視鏡画像)を用いるが、通常画像を用いるようにしてもよい。また、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊画像の他、放射線撮影装置で得られる放射線画像、CT(Computed Tomography)で得られるCT画像、MRI(Magnetic Resonance Imaging)で得られるMRI画像などの医療画像を用いてもよい。また、内視鏡12が接続されたプロセッサ装置16内において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム10とは別の外部の画像処理装置に疾患関連処理部66(図2)の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のモニタに表示するようにしてもよい。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。また、プロセッサ装置16は、本発明の画像処理装置に対応する。
図2において、光源装置14は、光源部20と、光源部20を制御する光源制御部21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。なお、紫色光Vは、疾患関連処理モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に410nmを含めることが好ましい。
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
また、光源制御部21は、特殊光モード又は疾患関連処理モード時には、短波長の光としての紫色光Vと、青色光B、緑色光G、及び赤色光Rとの光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。光強度比Vs:Bs:Gs:Rsは、特殊光は、表層血管などを強調することが好ましい。そのため、特殊光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、図4に示すように、紫色光Vの光強度Vsと青色光Bの光強度Bsとの比率を「4:1」とする。また、図5に示すように、特殊光については、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比を1:0:0:0にして、短波長の光としての紫色光Vのみを発光するようにしてもよい。
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
各LED20a~20eが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。
撮像センサ44は、撮像制御部45によって駆動制御される。撮像制御部45における制御は、各モードによって異なっている。通常光モード又は疾患関連処置モードでは、撮像制御部45は、通常光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
特殊光モード又は疾患関連処置モードでは、撮像制御部45は撮像センサ44を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、映像信号生成部60とを備えている。画像処理部58は、通常画像生成部62と、特殊画像生成部64と、疾患関連処理部66とを備えている。
画像取得部50は、内視鏡12から入力される医療画像の一つである内視鏡画像の画像信号を取得する。取得した画像信号はDSP52に送信される。DSP52は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部56に入力される。
画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常画像生成部62と、特殊画像生成部64と、疾患関連処理部66のいずれかに切り替える。具体的には、例えば、通常光モードにセットされている場合には、ノイズ低減部54からの画像信号を通常画像生成部62に入力する。特殊光モードにセットされている場合には、ノイズ低減部54からの画像信号を特殊画像生成部64に入力する。疾患関連処理モードにセットされている場合には、ノイズ低減部54からの画像信号を疾患関連処理部66に入力する。
通常画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常画像用画像処理を施す。通常画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、及び空間周波数強調等の構造強調処理が含まれる。通常画像用画像処理が施されたRc画像信号、Gc画像信号、及びBc画像信号は、通常画像として映像信号生成部60に入力される。
特殊画像生成部64は、入力した1フレーム分のRs画像信号、Gs画像信号、及びBs画像信号に対して、特殊画像用画像処理を施す。特殊画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊画像用画像処理が施されたRs画像信号、Gs画像信号、及びBs画像信号は、特殊画像として映像信号生成部60に入力される。
疾患関連処理部66は、特殊画像の撮影条件又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。この際、疾患関連処理部66は、ズーム制御部57を介して、ズーム操作部12gの操作に基づくズームに関する情報を受け取る。そして、画像処理を行うと決定した特殊画像に対し、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。判定結果に関する情報は、映像信号生成部60に入力される。疾患関連処理部66の詳細については、後述する。なお、第1~第3実施形態では、疾患関連処理部66が潰瘍性大腸炎の寛解又は非寛解を判定する場合について説明を行う。
映像信号生成部60は、画像処理部58から出力される通常画像、特殊画像、又は判定結果に関する情報を、モニタ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はモニタ18に入力される。これにより、モニタ18には通常画像、特殊画像、又は判定結果に関する情報が表示される。
疾患関連処理部66の詳細について、以下説明する。図6に示すように、疾患関連処理部66は、画像処理決定部70と、空間周波数成分分布算出部71と、周波数特性領域抽出部72と、構造検出部74と、判定部76とを備える。画像処理決定部70は、特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。画像処理決定部70が、画像処理を行うと決定した特殊画像について、画像処理を行う。空間周波数成分分布算出部71、周波数特性領域抽出部72、構造検出部74、及び判定部76は、画像処理を行う。画像処理に関しては、後述する。
画像処理決定部70は、医療画像である特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。図7に示すように、画像処理決定部70は、画像処理実施制御部81、拡大率指標解析部82、ハレーション分布解析部83、周波数特性解析部84、輝度値解析部85、影分布解析部86、及び計測補助光解析部87を備える。
画像処理実施制御部81は、画像処理決定部70に関する制御を行う。画像処理決定部70に関する制御としては、特殊画像に対して画像処理を行うか否かの決定を、特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果のうち、いずれに基づいて行うかといった制御、及び、複数の画像解析結果を得た場合、これらの解析結果を統合した上で特殊画像に対して画像処理を行うか否かを決定する制御が含まれる。特殊画像に対して画像処理を行うか否かの決定を、特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果のうち、いずれに基づいて行うかは、予め設定する。例えば、撮影条件及び画像解析結果を全て得た後に、画像処理実施制御部81がこれらの解析結果を統合した上で画像処理を行うか否かを決定してもよいし、撮影条件のみを用いて決定してもよい。
また、画像処理実施制御部81は、疾患関連処理部66に対し、特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果を送る制御を行う。疾患関連処理部は、画像処理決定部が画像処理を行うと決定した特殊画像に対し、画像処理実施制御部81から送られた特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果を用いて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。
特殊画像の撮影条件に基づく場合は、例えば、拡大率指標を用いる。撮影条件は、拡大率指標の他に、観察対象と内視鏡先端部との距離である撮影距離、又は照明光の光量等を用いてもよい。特殊画像を解析して得られる画像解析結果に基づく場合は、例えば、ハレーション分布、周波数特性、輝度値、影分布、又は計測補助光の位置を用いる。これらは、単独を用いても良いし、複数を用いてもよい。複数を用いる場合は、画像処理実施制御部81がこれらを統合し、予め設定した基準に従って画像処理を行うか否かを決定する。
撮影条件に基づく場合に用いる拡大率指標は、拡大率に関する指標であり、例えば、光学ズーム及び/又は電子ズームを用いた拡大率、焦点距離、又は被写界深度等の特殊画像取得時の撮影条件の他、ズーム操作部の操作履歴、ズームの種類と各ズームの割合等、拡大率に関する情報を用いることができる。また、特殊画像を画像分析することにより得た、拡大率に関する情報を用いてもよい。なお、拡大率とは、相対的な値であり、例えば、拡大又はズーム等の操作をせずに撮像して得られる画像が含む観察対象の像の大きさを基準とした場合に、拡大又はズーム等の操作後に撮像して得られる画像が含む観察対象の像の大きさの割合を示す値である。
本実施形態では、ズームの種類として、光学ズームと電子ズームとを備える。光学ズームでは、レンズを動かし、焦点距離を調節して撮像センサに結像する観察対象の像を拡大することにより、モニタに表示する観察対象を拡大する。また、電子ズームでは、観察対象を撮像して得られる画像信号の一部(例えば中央部)をトリミングし、トリミングした範囲を引き伸ばしてモニタに表示することによって観察対象を拡大する。本実施形態では、ズームの種類は、光学ズーム、電子ズーム、又は光学ズームと電子ズームとの両方のいずれであってもよい。
図8に示すように、観察対象の像をモニタに表示する場合、例えば、図8(A)に示すように、拡大等の操作を行わないモニタ画像91が表示する特殊画像91aでは、内視鏡先端部12dに取り付けたフード92が影を形成すること等により暗い部分が存在する。また、例えば、図8(B)に示すように、拡大の操作を行ったモニタ画像95が表示する特殊画像95aでは、照明光が透明なフード92を透過して観察対象に届き、また、ハレーション領域96が形成される。なお、図8(A)及び図8(B)において、また、図11、図12、図22、及び図23において、フード92は斜線で示す。また、ユーザーが拡大率を容易に把握できるよう、モニタ画像91及び95において、拡大率を示す拡大率表示93が示される。
拡大率指標解析部82は、ズーム制御部57等により、拡大率指標に関する情報等を受け取り、これらの情報を解析することにより拡大率を算出する。拡大率は、特殊画像に対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出した拡大率が予め設定した閾値以上の場合に画像処理を行うと決定し、また、拡大率が予め設定した閾値より小さい場合は画像処理を行わないと決定する。
次に、特殊画像を解析して得られる画像解析結果に基づく場合、画像解析結果として、例えば、ハレーション分布、周波数特性、輝度値、影分布、又は計測補助光の位置を用いることができる。ハレーション分布は、特殊画像が含むハレーション領域の分布を算出したものである。周波数特性は、特殊画像の空間周波数成分の分布を算出したものである。輝度値は、特殊画像の輝度値を算出したものである。影分布は、特殊画像が内視鏡先端部が備えるフードにより観察対象に形成される影を含む場合、この影の領域の分布を算出したものである。計測補助光の反射光位置は、観察対象の計測を行う場合に観察対象に照射される計測補助光が観察対象に形成する輝点の位置を算出したものである。
ハレーション分布解析部83は、ハレーション分布に関する特殊画像の画像解析を行う。特殊画像において、内視鏡先端部12dと観察対象との距離によって、輝度値が周囲に比べて極端に高いハレーション領域が生じる場合がある。特殊画像がハレーション領域を含む場合は、内視鏡先端部12dと観察対象との距離が比較的近く、また、ハレーション領域を含まない場合は、内視鏡先端部12dと観察対象との距離が比較的遠い。したがって、特殊画像を解析してハレーション領域の分布を算出することにより、内視鏡先端部12dと観察対象との距離又は特殊画像の解像度の指標を得ることができる。
例えば、図8(B)に示すように、特殊画像95aは、複数のハレーション領域96を含む。なお、図の煩雑さを避けるために、図8(B)において、一部のハレーション領域にのみ符号を付す。また、図8(B)は、拡大操作を行っている画像であるため、拡大率表示93により、この画像は拡大操作を行った特殊画像であることが示される。
ハレーション分布解析部83は、予め設定した特定の輝度値以上の領域をハレーション領域とする。例えば、図9に示すように、特殊画像において、予め設定した特定の輝度値以上の領域を示すハレーション分布画像を作成する。特殊画像95aに基づき作成したハレーション分布画像95bには、図9(B)に示すように、ハレーション領域に基づく上記の特定の輝度値(S)以上の領域(Signal≧S)である高輝度領域97が形成される。また、特殊画像91aに基づき作成したハレーション分布画像91bには、図9(A)に示すように高輝度領域97が形成されない。ハレーション分布解析部83は、ハレーション分布画像91b及び95bに基づき、高輝度領域97の面積(Area(Signal≧S))をそれぞれ算出する。
なお、図9を含む以下の図において、特殊画像等の図は、モニタに表示した場合の画像を模式的に記載するが、実際の特殊画像等の形状は問わず、場合によって適宜設定でき、円形又は矩形等であってよい。
特殊画像91a及び95aに基づくハレーション分布画像91b及び95bにおけるそれぞれの高輝度領域97の面積は、特殊画像91a及び95aに対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出したそれぞれの高輝度領域97の面積が予め設定した閾値以上の場合に特殊画像に対して画像処理を行うと決定し、また、高輝度領域97の面積が予め設定した閾値より小さい特殊画像に対しては画像処理を行わないと決定する。
周波数特性解析部84は、周波数特性に関する特殊画像の画像解析を行う。解析により、特殊画像の空間周波数分布を算出する。例えば、内視鏡先端部12dと観察対象との距離が遠く、照明光が届かない管腔の奥深い部分は、空間周波数が周囲より低い低周波領域となる。また、例えば、内視鏡先端部12dと観察対象との距離が近く、観察対象の全てに照明光が届いている部分は、低周波領域を含まない。したがって、特殊画像について空間周波数分布を算出する解析を行うことにより、内視鏡先端部12dと観察対象との距離又は特殊画像の解像度の指標を得ることができる。
図10(A)に示すように、特殊画像91aに基づき作成した空間周波数分布画像91cは、周囲より空間周波数が低い低周波領域(Frequency≦F)98を含む。また、図10(B)に示すように、特殊画像95aに基づき作成した空間周波数分布画像95cは、低周波領域98を含まない。周波数特性解析部84は、空間周波数分布画像91c及び95cに基づき、低周波領域98の面積(Area(Frequency≦F))をそれぞれ算出する。
特殊画像91a及び95aに基づく空間周波数分布画像91c及び95cにおける低周波領域98の面積は、特殊画像91a及び95aに対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出した低周波領域98の面積が予め設定した閾値以下の場合に特殊画像に対して画像処理を行うと決定し、また、低周波領域98の面積が予め設定した閾値より大きい特殊画像に対しては画像処理を行わないと決定する。
輝度値解析部85は、輝度値に関する特殊画像の画像解析を行う。解析により、特殊画像の輝度値分布を算出する。特殊画像に基づき算出した輝度値分布に基づき、例えば、特殊画像全体での平均輝度値を算出する。例えば、内視鏡先端部12dと観察対象との距離が遠く、照明光が届かない管腔の奥深い部分の面積が多い場合は、平均輝度値が小さくなる。また、例えば、内視鏡先端部12dと観察対象との距離が近く、観察対象の大部分に照明光が届いている部分は、平均輝度値が大きくなる。したがって、特殊画像について輝度値を算出する解析を行うことにより、内視鏡先端部12dと観察対象との距離又は特殊画像の解像度の指標を得ることができる。
図11(A)に示すように、輝度値解析部85は、特殊画像91aに基づいて輝度値分布を算出し、輝度値分布から特殊画像91aの画像全体に対する平均輝度値BV1を算出する。また、図11(B)に示すように、特殊画像95aに基づいて輝度値分布を算出し、輝度値分布から特殊画像95aの画像全体に対する平均輝度値BV2を算出する。
特殊画像91a及び95aに基づく空間周波数分布画像91c及び95cのそれぞれにおける平均輝度値BV1及びBV2は、特殊画像91a及び95aに対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出した平均輝度値が予め設定した閾値以上の場合に特殊画像に対して画像処理を行うと決定し、また、平均輝度値が予め設定した閾値より小さい特殊画像に対しては画像処理を行わないと決定する。
影分布解析部86は、内視鏡先端部12dに取り付けたフードにより観察対象に生じる影(以下、フード影という)に関する特殊画像の画像解析を行う。解析により、特殊画像が含むフード影の領域の分布(以下、フード影領域という)を算出する。例えば、内視鏡先端部12dと観察対象との距離が遠い場合は、観察対象に対する照明光の角度が垂直から離れるため、フード影領域が大きくなる。また、例えば、内視鏡先端部12dと観察対象との距離が近い場合は、観察対象に対する照明光の角度が垂直に近くなるため、フード影領域が小さくなる。したがって、特殊画像についてフード影領域の分布を算出する解析を行うことにより、内視鏡先端部12dと観察対象との距離又は特殊画像の解像度の指標を得ることができる。
図12(A)及び図12(B)に示すように、特殊画像91a及び特殊画像99は、それぞれフード92によるフード影領域92aを含む。影分布解析部86は、特殊画像91a及び特殊画像99に基づき、フード影領域92aの面積をそれぞれ算出する。なお、フード影領域92aの面積の算出は、例えば、画像分析により、輝度値が所定の範囲内の領域をフード影領域92aとして算出することができる。
特殊画像91aに基づくフード影領域92aの面積SH1、及び特殊画像99に基づくフード影領域92aの面積SH2は、それぞれ特殊画像91a及び99に対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出したフード影領域92aの面積が予め設定した閾値より大きい場合に特殊画像に対して画像処理を行わないと決定し、また、フード影領域92aの面積が予め設定した閾値以下の特殊画像に対しては画像処理を行うと決定する。例えば、特殊画像91aに基づくフード影領域92aの面積SH1は、予め設定した閾値より大きいため、特殊画像91aに対しては画像処理を行わないと決定し、特殊画像99に基づくフード影領域92aの面積SH2は、予め設定した閾値以下であるため、特殊画像99に対しては画像処理を行うと決定する。
計測補助光解析部87は、計測補助光の位置に関する特殊画像の画像解析を行う。計測補助光は、観察対象の計測に用いるものであり、照明光に加えて観察対象に照射される。計測補助光は、撮像センサ44の画素によって検出可能な色の光、例えば、600nm以上650nm以下の赤色光等の可視光であり、レーザー光源又はLED等の発光素子を用いる。
図13に示すように、計測補助光が観察対象に照射されることにより、観察対象上において、スポットSP等の計測補助光照射領域が形成される。計測補助光によるスポットSPが形成された観察対象を撮像して、計測補助光照射領域であるスポットSPを含む特殊画像100を得る。特殊画像100におけるスポットSPの位置を特定することにより、内視鏡先端部12dと観察対象との距離(以下、観察距離という)が求められる。
特殊画像に91aおけるスポットSPの位置により、内視鏡先端部12dと観察対象との距離を求める方法について説明すると、図14に示すように、内視鏡先端部12dにおいて、計測補助光用レンズ30cが備えられ、計測補助光出射部30dから出射される計測補助光を観察対象に照射する。計測補助光の光軸Lmが撮像光学系の撮影画角(2つの実線L1で挟まれる領域内)に入る状態で、計測補助光を出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測補助光によって観察対象上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Lmと交わる点)が異なることが分かる。内視鏡先端部12dの位置を位置P1とする。観察距離は、内視鏡先端部12dと観察対象との距離である。したがって、観察距離は、それぞれ、位置P1と、近端Px、中央付近Py、及び遠端Pzとの間の距離である。観察距離は、詳細には、内視鏡先端部12dにおける撮像光学系30bの光軸Axの始点から観察対象までの距離となる。軸Dvは観察距離を示す。
計測補助光が照明された観察対象を撮像センサ44で撮像することによって、計測補助光照射領域であるスポットSPを含む特殊画像を得る。特殊画像では、スポットSPの位置は、撮像光学系30bの光軸Axと計測補助光の光軸Lmとの関係、及び観察距離に応じて異なる。したがって、予め、スポットSPの位置と観察距離とを対応付けた対応情報を取得しておくことにより、スポットSPの位置によって観察距離を得ることができる。なお、観察対象の長さ又は大きさを計測する際も、予め、観察距離と、例えば、所定の大きさのマーカとを対応付けた対応情報を取得しておくことにより、実寸を示すマーカを特殊画像上に重畳すること等により、観察対象の実寸を計測することができる。
計測補助光解析部87は、スポットSPを含む特殊画像の解析により、特殊画像におけるスポットSPの位置を特定する。例えば、内視鏡先端部12dと観察対象との距離が遠い場合は、スポットSPの位置が特殊画像の上部に位置する。また、例えば、内視鏡先端部12dと観察対象との距離が近い場合は、スポットSPの位置が特殊画像の中心部に位置する。したがって、特殊画像についてスポットSPの位置を特定する解析を行うことにより、内視鏡先端部12dと観察対象との距離又は特殊画像の解像度の指標を得ることができる。
図15(A)に示すように、特殊画像100aは、計測補助光により観察対象上に形成されたスポットSP1を含む。また、図15(B)に示すように、特殊画像100bは、計測補助光により観察対象上に形成されたスポットSP2を含む。計測補助光解析部87は、特殊画像100a及び100bのそれぞれにおいて、特殊画像100a及び100bにおけるスポットSP1及びスポットSP2の位置を、それぞれ特定する。計測補助光解析部87が予め取得する、スポットSPの位置と観察距離とを対応付けた対応情報により、計測補助光解析部87は、スポットSP1の位置から特殊画像100aにおける観察距離を、また、スポットSP2の位置から特殊画像100bにおける観察距離を算出する。なお、本実施形態では、スポットSP1の位置により特殊画像100aは観察距離がより遠いと算出され、スポットSP2の位置により特殊画像100bは観察距離がより近いと算出される。
算出された観察距離は、特殊画像91a及び95aに対して画像処理を行うか否かを決定するために、画像処理実施制御部81に送られる。画像処理実施制御部81は、算出した観察距離が予め設定した閾値以下の場合の特殊画像に対して画像処理を行うと決定し、また、観察距離が予め設定した閾値より大きい場合の特殊画像に対しては画像処理を行わないと決定する。
画像処理実施制御部81が画像処理を行うと決定した特殊画像に対し、疾患関連処理部66は、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。疾患関連処理部66にて判定対象とする潰瘍性大腸炎は、図16(A)~(E)に示すように、重症度が悪化する毎に、血管構造のパターンが変化することを発明者らが見出している。潰瘍性大腸炎が寛解、又は、潰瘍性大腸炎が発生していない場合には、表層血管のパターンが規則的であり(図16(A))、又は、表層血管のパターンの規則性に多少の乱れが生じている程度である(図16(B))。一方、潰瘍性大腸炎が非寛解であり、且つ、重症度が軽症である場合には、表層血管の密集が粗密である(図16(C))。また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症である場合には、粘膜内出血が発生している(図16(D))。また、また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症~重症である場合には、粘膜外出血が発生している(図16(E))。疾患関連処理部66では、上記の血管構造のパターン変化を利用して、医療画像の一つである特殊画像に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。
ここで、「表層血管の密集」とは、表層血管が蛇行し、集まる状態をいい、画像上の見た目では、腸腺嵩(クリプト)(図17参照)の周りを表層血管が何本も囲んでいることをいう。「粘膜内出血」とは、粘膜組織内(図17参照)の出血で内腔への出血との鑑別を要することをいう。「粘膜内出血」とは、画像上の見た目では、粘膜の中、且つ内腔(管腔、ひだの穴)ではない出血を指している。「粘膜外出血」とは、管腔内への少量の血液、管腔内を洗浄した後も内視鏡前方の管腔、又は粘膜からにじみ出て視認可能な血液、又は、出血性粘膜上でにじみを伴った管腔内の血液のことをいう。
疾患関連処理部66は、特殊画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って、潰瘍性大腸炎の寛解又は非寛解を判定する。具体的には、表層血管の密集、粘膜内出血、及び粘膜外出血については、図18に示すように、分類される。表層血管の密集は、輝度値が低輝度で、且つ、周波数特性が高周波で表される。粘膜内出血は、輝度値が中輝度で、且つ、周波数特性が中周波で表される。粘膜外出血は、輝度値が低輝度で、且つ、周波数特性が低周波で表される。なお、特殊画像の各種構造を輝度値及び周波数特性で表した場合には、上記の3つの表層血管の密集、粘膜内出血、及び粘膜外出血の他に、特殊画像のボケ暗部又は内視鏡影(内視鏡の先端部12dを管腔に沿って動かす場合において内視鏡画像の中心部分にできる影)なども含まれる。本実施形態では、上記の分類を利用して、特殊画像から、潰瘍性大腸炎の寛解又は非寛解の判定に必要な表層血管の密集、粘膜内出血、及び粘膜外出血を抽出する。
図6に示すように、疾患関連処理部66は、空間周波数成分分布算出部71と、周波数特性領域抽出部72と、構造検出部74と、判定部76とを備えている。空間周波数成分分布算出部71は、特殊画像に対してラプラシアンフィルタをかけることにより、空間周波数成分分布を算出する。
周波数特性領域抽出部72は、空間周波数成分分布に基づいて、第1周波数特性(低周波)を有する第1周波数特性領域(低周波領域)を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性(中周波)を有する第2周波数特性領域(中周波領域)を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性(高周波)を有する第3周波数特性領域(高周波領域)を抽出する。
具体的には、周波数特性領域抽出部72は、第1周波数特性領域抽出部72a、第3周波数特性領域抽出部72b、解析対象領域検出部72c、及び、第2周波数特性領域抽出部72dを備えており、図19に示す流れに沿って第1~第3周波数特性領域を抽出する。第1周波数特性領域抽出部72aは、空間周波数成分分布に基づいて、特定画素を含む近傍の9画素の周波数の標準偏差が一定値以下の場合に、特定画素を第1周波数特性に属する画素とする。この特定画素の検出を全画素分行うことによって、第1周波数特性領域を抽出する。第1周波数特性領域は、低周波の領域に相当する。第3周波数特性領域抽出部72bは、空間周波数成分分布に対するヘシアン解析によって、第3周波数特性領域を抽出する。第3周波数特性領域は、高周波の領域に相当する。なお、第1周波数特性領域抽出部72aでは、特定画素を含む近傍の9画素の周波数の標準偏差が一定値以下の場合に、特定画素を第1周波数特性に属する画素としているが、その他の統計量、例えば、近傍の9画素との周波数の最大値又は最小値、平均値が一定値以下の場合に、特定画素を第1周波数特性に属する画素としてもよい。
解析対象領域検出部72cは、特殊画像から第1周波数特性領域を除いた解析対象領域を検出する。第2周波数特性領域抽出部72dは、解析対象領域から、第3周波数特性領域を除くことにより、第2周波数特性領域を抽出する。第2周波数特性領域は、中周波の領域に相当する。
構造検出部74は、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出する。具体的には、構造検出部74は、第1周波数特性領域に対して第1領域判別処理を施すことにより、粘膜外出血を検出し、第2周波数特性領域に対して第2領域判別処理を施すことにより、粘膜内出血を検出し、第3周波数特性領域を表層血管の密集として検出する。
低周波の第1周波数特性領域には、低輝度の粘膜外出血の他、中輝度のボケ暗部又は内視鏡影が含まれることから、これらを区別するために、第1領域判別処理が行われる。第1領域判別処理では、特殊画像の第1周波数特性領域のうち輝度値が輝度値用閾値以下の領域を、粘膜外出血の領域として検出する。中輝度の粘膜内出血を区別するために第2領域判別処理が行われる。第2領域判別処理では、特殊画像の第2周波数特性領域うち輝度値が輝度値用閾値以上の領域を、粘膜内出血の領域として検出する。なお、低輝度の表層血管の密集を区別するために第3領域判定処理を行うようにしてもよい。第3領域判別処理では、特殊画像の第3周波数特性領域のうち輝度値が輝度値用閾値以下の領域を、表層血管が密集する領域として検出する。
判定部76は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれかを満たす場合に、潰瘍性大腸炎が非寛解であると判定する。一方、判定部76は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値のいずれも満たさない場合に、潰瘍性大腸炎が寛解であると判定する。以上の判定部76での判定に関する情報は、モニタ18上に表示されて、ユーザーによる潰瘍性大腸炎の寛解又は非寛解の判定に用いられる。判定部76において潰瘍性大腸炎が寛解であると判定された場合には、図20に示すように、その旨のメッセージがモニタ18上に表示される。なお、判定に関する情報を表示する際には、判定部76での判定に用いた特殊画像を重畳表示することが好ましい。
なお、判定部76では、粘膜内出血の検出量について、特殊画像のうち第2周波数特性領域が占める割合に基づいて算出することが好ましい。また、判定部76では、粘膜外出血の検出量について、特殊画像のうち低輝度の第1周波数特性領域(第1領域判定処理後の第1周波数特性領域)が占める割合に基づいて算出することが好ましい。また、判定部76では、潰瘍性大腸炎の寛解又は非寛解の判定に加えて又は代えて、潰瘍性大腸炎の重症度を指標化した指標値を求め、指標値に従って潰瘍性大腸炎の寛解又は非寛解の判定を行い、また、指標値を判定結果としてモニタ18に表示するようにしてもよい。
なお、疾患関連処理部66において、例えば、周波数特性解析部84と空間周波数成分分布算出部71とのように、同様の機能を持つ場合はこれらを共通させてもよい。すなわち、一つの部分が、ある場合には周波数特性解析部84として機能し、また、別のある場合には空間周波数成分分布算出部71として機能するようにしてもよい。
以上のように、医療画像を用いて潰瘍性大腸炎に関する判定を行うに際し、画像処理決定部70が、医療画像である特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定し、画像処理決定部70が画像処理を行うと決定した特殊画像に対し、疾患関連処理部66が、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う画像処理装置により、画像処理の判定結果が精度良く得られる特殊画像に対して、画像処理が行われる。したがって、特殊画像を用いた潰瘍性大腸炎に関する判定を、精度良く行うことができる。
また、場合により、予め設定された内容により、画像処理実施制御部81が特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果に基づき、画像処理を行うか否かを決定するため、自動的に選択された特殊画像に対して、画像処理が行われる。したがって、特殊画像を用いた潰瘍性大腸炎に関する判定を、精度良く、しかも、簡便に行うことができる。
次に、疾患関連処理モードの一連の流れについて、図21に示すフローチャートに沿って説明を行う。疾患関連処理モードに切り替えられると、特殊光が観察対象に照射される。内視鏡12は、特殊光によって照明された観察対象を撮像することにより(ステップST110)、ある時点で内視鏡画像(医療画像)の一つである特殊画像を得る。画像取得部50は、内視鏡12からの特殊画像を取得する(ステップST120)。
特殊画像は、疾患関連処理部66に送られ、画像処理決定部70により、画像処理を行うか否か、つまり、画像処理の是非を決定する(ステップST130)。本実施形態では、周波数特性と、ハレーション分布との、2種類の解析を行い、画像処理実施制御部81が、これらの解析結果を統合して、画像処理の是非を決定する。
周波数特性解析部84が、特殊画像の周波数特性を算出し、空間周波数分布画像を作成する。空間周波数分布画像は、空間周波数に応じて各色のフィルターをかけることにより作成できる。例えば、低周波領域98aを水色、高周波領域98bを赤色等とする。周波数特性解析部84は、例えば、空間周波数分布画像において、周波数がF以下の面積を算出し、予め設定された低周波領域の閾値との比較を行う。比較は、例えば、以下の式(1)により行う。ここで、周波数がF以下の面積を、Area(Frequency≦F)、低周波領域の閾値を、Threshold_Lowflequencyとする。以下の式(1)を満たす特殊画像は、観察対象が内視鏡先端部12dから遠いこと、または、管腔奥深くが存在することを示す。
Area(Frequency≦F)>Threshold_Lowflequency (1)
次に、ハレーション分布解析部83が、特殊画像のハレーション分布を算出し、ハレーション分布画像を作成する。ハレーション分布画像は、輝度値が特定値以上の領域を算出することにより作成できる。例えば、ハレーション分布画像は、輝度値が特定値に応じて、特定の輝度値以上の領域に各色のフィルターをかけることにより作成できる。例えば、ハレーション領域を白色等とする。ハレーション分布解析部83は、例えば、ハレーション分布画像において、輝度値がS以上の面積を算出し、予め設定されたハレーション領域の閾値との比較を行う。比較は、例えば、以下の式(2)により行う。ここで、輝度値がS以上の面積を、Area(Signal≧S)、ハレーション領域の閾値を、Threshold_Halarionとする。以下の式(2)を満たす特殊画像は、観察対象が内視鏡先端部12dから近いことを示すハレーション領域が存在しないことを示す。
Area(Signal≧S)<Threshold_Halarion (2)
画像処理実施制御部81は、周波数特性解析部84とハレーション分布解析部83とから、低周波数領域98aの面積Area(Frequency≦F)、及びハレーション領域の面積Area(Signal≧S)を受け取り、上記式(1)及び(2)により、それぞれの閾値と比較する。さらに、上記式(1)かつ上記式(2)を満たす特殊画像は、内視鏡先端部12dから観察対象までの距離が遠く、解像度が低いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに不都合であるから、画像処理を実施しないと決定する(ステップST140でNO)。例えば、図22に示すように、特殊画像91aに基づく空間周波数分布画像91cが式(1)を満たし、特殊画像91aに基づくハレーション分布画像91bが式(2)を満たすため、画像処理決定部70は、画像処理を行わないと決定する。画像処理決定部70が、画像処理を行わないと決定した場合、再度医療画像を取得する。
また、上記式(1)を満たさず、かつ、上記式(2)を満たさない特殊画像は、内視鏡先端部12dから観察対象までの距離が近く、解像度が高いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに好都合であるから、画像処理を実施すると決定する(ステップST140でYES)。例えば、図23に示すように、特殊画像95aは、特殊画像95aに基づく空間周波数分布画像95cが式(1)を満たさず、特殊画像95aに基づくハレーション分布画像95bが式(2)を満たさないため、画像処理決定部70は、画像処理を行なうと決定する。画像処理決定部70が、画像処理を行うと決定した場合、次のステップに進む。
また、上記式(1)と上記式(2)のいずれか一方を満たす特殊画像も、内視鏡先端部12dから観察対象までの距離が近く、解像度が高いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに好都合とまでは言えないが問題はないため、画像処理を実施すると決定する(ステップST140でYES)。
画像処理を実施すると決定された特殊画像に対して、画像処理を行う。空間周波数成分分布算出部71は、特殊画像から空間周波数成分分布を算出する(ステップST160)。第1周波数特性領域抽出部72aは、空間周波数成分分布に基づいて、低周波の第1周波数特性領域を抽出する(ステップST170)。また、第3周波数特性領域抽出部72bは、空間周波数成分分布に基づいて、高周波の第3周波数特性領域を抽出する(ステップST180)。解析対象領域検出部72cは、医療画像から第1周波数特性領域を除いた解析対象領域を検出する(ステップST190)。第2周波数特性領域抽出部72dは、解析対象領域から第3周波数特性領域を除くことにより、中周波の第2周波数特性領域を抽出する(ステップST200)。
構造検出部74において、低周波の第1周波数特性領域に対して、第1領域判別処理を行うことにより、粘膜外出血を検出する(ステップST210)。また、構造検出部74において、中周波の第2周波数特性領域に対して、第2領域判別処理を行うことにより、粘膜内出血を検出する(ステップST220)。また、構造検出部74では、第3周波数特性領域を、表層血管の密集として検出する。
判定部76は、構造検出部74によって検出された表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する(ステップST230)。判定部76での判定に関する情報は、モニタ18に表示される(ステップST240)。
なお、疾患関連処理部66が、画像処理を行うと決定した特殊画像に対し、画像処理実施制御部81から送られた特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果を用いる疾患関連処理モードの一連の流れについては、図24に示すフローチャートに沿って説明を行う。図24に示すフローチャートは、図21に示すフローチャートにおいて、ステップST150が追加されたものである。すなわち、画像処理を実施すると決定された特殊画像に対して画像処理を行う前に、画像処理実施制御部81から、特殊画像の撮影条件及び/又は特殊画像を解析して得られる画像解析結果である、画像処理のパラメータを取得する(ステップST150)。
画像処理のパラメータについては、例えば、炎症性疾患は血管が密集している領域が多いほど重症であるという知見に基づき、特殊画像が含む観察対象の拡大率が小さい場合は、表層血管の密集を評価するために表層血管の密集度を算出する場合、表層血管の密集度を算出するために用いるカーネルサイズも小さくする必要がある。上記式(1)及び上記式(2)の両方を満たす特殊画像は、拡大率が小さいと判断できる。したがって、画像処理実施制御部81は、上記式(1)及び上記式(2)の両方を満たす特殊画像であるとの画像処理結果を、疾患関連処理部66に送る。疾患関連処理部66は、画像処理実施制御部81から送られた、上記式(1)及び上記式(2)の両方を満たす特殊画像であるとの画像処理結果を用いて、表層血管の密集度を算出する場合のカーネルサイズとして、予め数種類準備しておいたカーネルサイズの中から、低倍率用カーネルを用いるとの画像処理パラメータを設定する。その後の流れは、図21に示すフローチャートと同様である。
[第2実施形態]
第2実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
第2実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図25に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20eに代えて、広帯域光源102、回転フィルタ104、フィルタ切替部105が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ106が設けられている。
広帯域光源102はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ104には、内側から順に、通常光モード用フィルタ107と、特殊光モード及び疾患関連処理モード用フィルタ108とが設けられている(図26参照)。フィルタ切替部105は、回転フィルタ104を径方向に移動させるものであり、モード切替SW12fにより通常光モードにセットしたときに、通常光モード用フィルタ107を白色光の光路に挿入し、特殊光モード又は疾患関連処理モードにセットしたときに、特殊光モード及び疾患関連処理モード用フィルタ108を白色光の光路に挿入する。
図26に示すように、通常光モード用フィルタ107には、周方向に沿って、白色光のうち広帯域青色光Bを透過させるBフィルタ107a、白色光のうち広帯域緑色光Gを透過させるGフィルタ107b、及び、白色光のうち広帯域赤色光Rを透過させるRフィルタ107cが設けられている。したがって、通常光モード時には、回転フィルタ104が回転することで、通常光として、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rが交互に観察対象に照射される。
特殊光モード及び疾患関連処理モード用フィルタ108には、周方向に沿って、白色光のうち青色狭帯域光を透過させるBnフィルタ108a、及び、白色光のうち緑色狭帯域光を透過させるGnフィルタ108bが設けられている。したがって、特殊光モード又は疾患関連処理モード時には、回転フィルタ104が回転することで、特殊光として、短波長の光としての青色狭帯域光と緑色狭帯域光が交互に観察対象に照射される。なお、青色狭帯域光の波長帯域は400~450nmであり、緑色狭帯域光の波長帯域は540~560nmであることが好ましい。
内視鏡システム100では、通常光モード時には、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら3色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
内視鏡システム100では、特殊光モード又は疾患関連処理モード時には、青色狭帯域光と緑色狭帯域光で観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bs画像信号、Gs画像信号が得られる。そして、それら2色の画像信号に基づいて、上記第1実施形態と同様の方法で、特殊画像が生成される。
[第3実施形態]
第3実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第1実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
第3実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第1実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
図27に示すように、第3実施形態の内視鏡システム200では、光源装置14の光源部20において、4色のLED20a~20eの代わりに、短波長の光に相当する中心波長405±10nmの紫色レーザ光を発する紫色レーザ光源部203(「405LD」と表記。LDは「Laser Diode」を表す)と、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記)204とが設けられている。これら各光源部204、206の半導体発光素子からの発光は、光源制御部208により個別に制御されている。
光源制御部208は、通常光モードの場合には、青色レーザ光源部204を点灯させる。これに対して、特殊光モード又は疾患関連処理モードの場合には、紫色レーザ光源部203と青色レーザ光源部204を同時点灯させる。
なお、紫色レーザ光、青色レーザ光、又は、青緑色レーザ光の半値幅は±10nm程度にすることが好ましい。また、紫色レーザ光源部203、青色レーザ光源部204及び青緑色レーザ光源部206は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの青色レーザ光又は青緑色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。したがって、青色レーザ光は励起光に相当する。また、青色レーザ光の一部は、蛍光体210を励起させることなく透過する。青緑色レーザ光は、蛍光体210を励起させることなく透過する。蛍光体210を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常光モードにおいては、主として青色レーザ光が蛍光体210に入射するため、図28に示すように、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した通常光が観察対象に照明される。この通常光で照明された観察対象を撮像センサ44で撮像することによって、Bc画像信号、Gc画像信号、Rc画像信号からなる通常画像が得られる。
また、特殊光モード又は疾患関連処理モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体210に同時に入射することにより、図29に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体210から励起発光する蛍光を含む疑似白色光が、特殊光として発せられる。この特殊光で照明された観察対象を撮像センサ44で撮像することによって、Bs画像信号、Gs画像信号、Rs画像信号からなる特殊画像が得られる。なお、疑似白色光は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dから発せられる紫色光V、青色光B、緑色光G、及び赤色光を組み合わせた光としてもよい。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYKG系蛍光体、或いはBAM(BaMgAl10O17)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
例えば、図30に示すように、診断支援装置600は、医療画像処理システム602などのモダリティやPACS(Picture Archiving and Communication Systems)604を組み合わせて使用される。また、図31に示すように、医療業務支援装置610は、第1医療画像処理システム621、第2医療画像処理システム622、…、第N医療画像処理システム623等の各種検査装置と任意のネットワーク626を介して接続する。医療業務支援装置610は、第1~第N医療画像処理システム621、622・・・、623からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
上記実施形態において、画像処理部58に含まれる通常画像生成部62、特殊画像生成部64、疾患関連処理部66、空間周波数成分分布算出部71、周波数特性領域抽出部72、第1周波数特性領域抽出部72a、第3周波数特性領域抽出部72b、解析対象領域検出部72c、第2周波数特性領域抽出部72d、構造検出部74、判定部76、画像処理実施制御部81、拡大率指標解析部82、ハレーション分布解析部83、周波数特性解析部84、輝度値解析部85、影分布解析部86、及び、計測補助光解析部87といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
本発明は、下記の別形態によっても実施可能である。
プロセッサ装置において、
画像取得部により、観察対象を撮像して得られる医療画像を取得し、
画像処理決定部により、前記医療画像の撮影条件及び/又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
疾患関連処理部により、前記画像処理決定部が前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う、プロセッサ装置。
プロセッサ装置において、
画像取得部により、観察対象を撮像して得られる医療画像を取得し、
画像処理決定部により、前記医療画像の撮影条件及び/又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
疾患関連処理部により、前記画像処理決定部が前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う、プロセッサ装置。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
30c 計測補助光用レンズ
30d 計測補助光出射部
32 照明レンズ
42 対物レンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
57 ズーム制御部
58 画像処理部
60 映像信号生成部
62 通常画像生成部
64 特殊画像生成部
66 疾患関連処理部
70 画像処理決定部
71 空間周波数成分分布算出部
72 周波数特性領域抽出部
72a 第1周波数特性領域抽出部
72b 第3周波数特性領域抽出部
72c 解析対象領域検出部
72d 第2周波数特性領域抽出部
74 構造検出部
76 判定部
81 画像処理実施制御部
82 拡大率指標解析部
83 ハレーション分布解析部
84 周波数特性解析部
85 輝度値解析部
86 影分布解析部
87 計測補助光解析部
91、95 モニタ画像
91a、95a、99、100、100a、100b 特殊画像
91b、95b ハレーション分布画像
91c、95c 空間周波数分布画像
92 フード
92a フード影領域
93 拡大率表示
96 ハレーション領域
97 高輝度領域
98 低周波領域
101 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
107 通常光モード用フィルタ
107a Bフィルタ
107b Gフィルタ
107c Rフィルタ
108 特殊光モード及び疾患関連処理モード用フィルタ
108a Bnフィルタ
108b Gnフィルタ
200 内視鏡システム
203 紫色レーザ光源部
204 青色レーザ光源部
208 光源制御部
210 蛍光体
600 診断支援装置
602 医療画像処理システム
604 PACS
610 医療業務支援装置
621 第1医療画像処理システム
622 第2医療画像処理システム
623 第N医療画像処理システム
626 ネットワーク
SP、SP1、SP2 スポット
Lm 光軸
Rx 範囲
Px 近端
Py 中央付近
Pz 遠端
Qx、Qy、Qz 撮像範囲
P1 位置
Ax 光軸
Dv 観察距離
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
30c 計測補助光用レンズ
30d 計測補助光出射部
32 照明レンズ
42 対物レンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
57 ズーム制御部
58 画像処理部
60 映像信号生成部
62 通常画像生成部
64 特殊画像生成部
66 疾患関連処理部
70 画像処理決定部
71 空間周波数成分分布算出部
72 周波数特性領域抽出部
72a 第1周波数特性領域抽出部
72b 第3周波数特性領域抽出部
72c 解析対象領域検出部
72d 第2周波数特性領域抽出部
74 構造検出部
76 判定部
81 画像処理実施制御部
82 拡大率指標解析部
83 ハレーション分布解析部
84 周波数特性解析部
85 輝度値解析部
86 影分布解析部
87 計測補助光解析部
91、95 モニタ画像
91a、95a、99、100、100a、100b 特殊画像
91b、95b ハレーション分布画像
91c、95c 空間周波数分布画像
92 フード
92a フード影領域
93 拡大率表示
96 ハレーション領域
97 高輝度領域
98 低周波領域
101 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
107 通常光モード用フィルタ
107a Bフィルタ
107b Gフィルタ
107c Rフィルタ
108 特殊光モード及び疾患関連処理モード用フィルタ
108a Bnフィルタ
108b Gnフィルタ
200 内視鏡システム
203 紫色レーザ光源部
204 青色レーザ光源部
208 光源制御部
210 蛍光体
600 診断支援装置
602 医療画像処理システム
604 PACS
610 医療業務支援装置
621 第1医療画像処理システム
622 第2医療画像処理システム
623 第N医療画像処理システム
626 ネットワーク
SP、SP1、SP2 スポット
Lm 光軸
Rx 範囲
Px 近端
Py 中央付近
Pz 遠端
Qx、Qy、Qz 撮像範囲
P1 位置
Ax 光軸
Dv 観察距離
Claims (12)
- プロセッサを備え、
前記プロセッサは、
観察対象を撮像して得られる医療画像を取得し、
前記医療画像の撮影条件及び/又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う画像処理装置。 - 前記医療画像の前記撮影条件は、前記医療画像の拡大率指標である請求項1に記載の画像処理装置。
- 前記画像解析結果は、前記医療画像から得られるハレーション分布、周波数特性、輝度値、及び影分布のうち少なくとも1つである請求項1又は2に記載の画像処理装置。
- 前記医療画像は、前記観察対象の計測を行うための計測補助光が照射された前記観察対象を撮像して得られ、
前記画像解析結果は、前記医療画像において前記観察対象上に形成された前記計測補助光照射領域の位置である請求項1ないし3のいずれか1項に記載の画像処理装置。 - 前記プロセッサは、前記画像処理を行うと決定した前記医療画像に対し、前記医療画像の撮影条件及び/又は前記医療画像を解析して得られる画像解析結果に基づいて、潰瘍性大腸炎のステージに関する前記指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う請求項1ないし4のいずれか1項に記載の画像処理装置。
- 前記プロセッサが、前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、前記医療画像から得られる周波数特性又は輝度値によって前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を分類し、前記分類に従って前記潰瘍性大腸炎の寛解又は非寛解を判定する請求項1ないし5のいずれか1項に記載の画像処理装置。
- 前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
前記プロセッサは、
前記医療画像から空間周波数成分分布を算出し、
前記空間周波数成分分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、前記第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、前記第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出し、
輝度値を用いる第1領域判別処理を施した前記第1周波数特性領域、輝度値を用いる第2領域判別処理を施した前記第2周波数特性領域、及び前記第3周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出し、
前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定する備える請求項1ないし6のいずれか1項に記載の画像処理装置。 - 前記医療画像は、短波長の光を含む照明光によって照明された前記観察対象を撮像して得られる請求項1ないし7のいずれか1項に記載の画像処理装置。
- 前記照明光は、中心波長又はピーク波長に410nmを含む紫色光である請求項8に記載の画像処理装置。
- プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサが、
観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
前記医療画像の撮影条件又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備える画像処理装置の作動方法。 - 前記判定ステップにおいて前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
前記プロセッサが、
前記判定ステップでは、
前記医療画像から空間周波数成分分布を算出するステップと、
前記空間周波数成分分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、前記第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、前記第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出するステップと、
輝度値を用いる第1領域判別処理を施した前記第1周波数特性領域、輝度値を用いる第2領域判別処理を施した前記第2周波数特性領域、及び前記第3周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出するステップと、
前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定するステップを有する請求項10記載の画像処理装置の作動方法。 - 前記医療画像は、中心波長又はピーク波長に410nmが含まれる紫色光である照明光によって照明された前記観察対象を撮像して得られる請求項10又は11に記載の画像処理装置の作動方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021554199A JP7214886B2 (ja) | 2019-10-23 | 2020-09-28 | 画像処理装置及びその作動方法 |
| CN202080073953.4A CN114585291A (zh) | 2019-10-23 | 2020-09-28 | 图像处理装置及其工作方法 |
| US17/723,525 US12051201B2 (en) | 2019-10-23 | 2022-04-19 | Image processing device capable of accurately determining ulcerative colitis by using a medical image and method of operating the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-193042 | 2019-10-23 | ||
| JP2019193042 | 2019-10-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/723,525 Continuation US12051201B2 (en) | 2019-10-23 | 2022-04-19 | Image processing device capable of accurately determining ulcerative colitis by using a medical image and method of operating the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021079691A1 true WO2021079691A1 (ja) | 2021-04-29 |
Family
ID=75619957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/036674 Ceased WO2021079691A1 (ja) | 2019-10-23 | 2020-09-28 | 画像処理装置及びその作動方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12051201B2 (ja) |
| JP (1) | JP7214886B2 (ja) |
| CN (1) | CN114585291A (ja) |
| WO (1) | WO2021079691A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022249817A1 (ja) * | 2021-05-27 | 2022-12-01 | ||
| WO2024009631A1 (ja) * | 2022-07-06 | 2024-01-11 | 富士フイルム株式会社 | 画像処理装置及び画像処理装置の作動方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013140667A1 (ja) * | 2012-03-21 | 2013-09-26 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
| WO2018051680A1 (ja) * | 2016-09-15 | 2018-03-22 | 富士フイルム株式会社 | 内視鏡システム |
| WO2018159461A1 (ja) * | 2017-03-03 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
| JP2019042157A (ja) * | 2017-09-01 | 2019-03-22 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
| WO2019078204A1 (ja) * | 2017-10-17 | 2019-04-25 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
| JP2019111040A (ja) * | 2017-12-22 | 2019-07-11 | サイバネットシステム株式会社 | 画像解析装置及び画像解析方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016158682A (ja) * | 2015-02-27 | 2016-09-05 | Hoya株式会社 | 画像処理装置 |
| WO2018008740A1 (ja) * | 2016-07-08 | 2018-01-11 | 有限会社ハヌマット | 大腸癌発症可能性の判定方法 |
| CN113784654B (zh) * | 2019-04-23 | 2024-10-11 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
-
2020
- 2020-09-28 JP JP2021554199A patent/JP7214886B2/ja active Active
- 2020-09-28 CN CN202080073953.4A patent/CN114585291A/zh active Pending
- 2020-09-28 WO PCT/JP2020/036674 patent/WO2021079691A1/ja not_active Ceased
-
2022
- 2022-04-19 US US17/723,525 patent/US12051201B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013140667A1 (ja) * | 2012-03-21 | 2013-09-26 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
| WO2018051680A1 (ja) * | 2016-09-15 | 2018-03-22 | 富士フイルム株式会社 | 内視鏡システム |
| WO2018159461A1 (ja) * | 2017-03-03 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
| JP2019042157A (ja) * | 2017-09-01 | 2019-03-22 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
| WO2019078204A1 (ja) * | 2017-10-17 | 2019-04-25 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
| JP2019111040A (ja) * | 2017-12-22 | 2019-07-11 | サイバネットシステム株式会社 | 画像解析装置及び画像解析方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022249817A1 (ja) * | 2021-05-27 | 2022-12-01 | ||
| WO2024009631A1 (ja) * | 2022-07-06 | 2024-01-11 | 富士フイルム株式会社 | 画像処理装置及び画像処理装置の作動方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220237795A1 (en) | 2022-07-28 |
| JP7214886B2 (ja) | 2023-01-30 |
| US12051201B2 (en) | 2024-07-30 |
| JPWO2021079691A1 (ja) | 2021-04-29 |
| CN114585291A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| JP6243364B2 (ja) | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム | |
| US11439297B2 (en) | Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus | |
| CN110868908B (zh) | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 | |
| JP6763025B2 (ja) | プロセッサ装置及びプロセッサ装置の作動方法 | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| CN112752535B (zh) | 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 | |
| JP6891294B2 (ja) | 内視鏡システム及びその作動方法 | |
| US12051201B2 (en) | Image processing device capable of accurately determining ulcerative colitis by using a medical image and method of operating the same | |
| WO2021060159A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理の作動方法 | |
| JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US11957483B2 (en) | Image processing device and method of operating the same | |
| CN111970954A (zh) | 医疗图像处理系统 | |
| WO2021070688A1 (ja) | 内視鏡システム及びその作動方法 | |
| JP7217351B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| JP7556961B2 (ja) | 内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20879589 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021554199 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20879589 Country of ref document: EP Kind code of ref document: A1 |