WO2025187496A1 - 内視鏡システム及びその作動方法 - Google Patents
内視鏡システム及びその作動方法Info
- Publication number
- WO2025187496A1 WO2025187496A1 PCT/JP2025/006600 JP2025006600W WO2025187496A1 WO 2025187496 A1 WO2025187496 A1 WO 2025187496A1 JP 2025006600 W JP2025006600 W JP 2025006600W WO 2025187496 A1 WO2025187496 A1 WO 2025187496A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- spectral
- signal
- illumination light
- image
- spectroscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present invention relates to an endoscope system that calculates biological parameters such as oxygen saturation, and a method for operating the same.
- Oxygen saturation imaging is a technology that calculates hemoglobin oxygen saturation from a small amount of spectral information from visible light.
- oxygen saturation images are created and displayed from spectral signals acquired by switching the illumination light for two or three frames of video.
- the present invention aims to provide an endoscope system and an operating method thereof that can calculate biological parameters, including oxygen saturation, more accurately than when oxygen saturation is calculated from a small number of spectroscopic signals.
- the endoscope system of the present invention comprises a light source device that emits illumination light, an endoscope that captures an image of an object to be observed, and one or more processors that acquire a first spectral signal captured by the endoscope while the illumination light is irradiating the object to be observed.
- the one or more processors calculate biological parameters including oxygen saturation based on the first spectral signal and a reference spectral signal determined in accordance with the first spectral signal, and control the display of an oxygen saturation image based on the oxygen saturation.
- the one or more processors preferably calculate the biological parameters using N or more reference spectroscopic signals at different wavelengths determined by N-1 (N is an integer greater than 3) biological parameters including oxygen saturation, and N or more first spectroscopic signals corresponding to the wavelengths of the N or more reference signals.
- the biological parameters preferably include at least one of hemoglobin concentration, bilirubin concentration, and scattering wavelength-dependent parameters.
- the reference spectroscopic signal is set from the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectroscopic model, and the spectral sensitivity of the imaging sensor provided in the endoscope, and the spectroscopic model has the living body parameters as arguments, and it is preferable that one or more processors calculate the living body parameters so that the difference calculation value based on the difference between the reference spectroscopic signal and the first spectroscopic signal falls within a specific range.
- M sets of reference spectroscopic signals are set for each spectroscopic model based on the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectroscopic model, and the spectral sensitivity of the imaging sensor provided in the endoscope, and that one or more processors select, from the M sets of reference spectroscopic signals, a specific reference spectroscopic signal that has the smallest calculated difference value based on the difference from the first spectroscopic signal, and calculate, as the biological parameter, a specific biological parameter determined by the spectroscopic model that corresponds to the specific reference spectroscopic signal.
- M sets of reference spectroscopic signals are set for each phantom based on the emission spectrum of the illumination light, the spectral reflectance of the living body determined by spectroscopic measurement of a phantom that mimics the spectroscopic model, and the spectral sensitivity of the imaging sensor installed in the endoscope, and one or more processors preferably select, from the M sets of reference spectroscopic signals, a specific reference spectroscopic signal that has the smallest calculated difference value based on the difference from the first spectroscopic signal, and calculate, as the biological parameter, the specific biological parameter determined for the phantom that corresponds to the specific reference spectroscopic signal.
- M sets of reference spectroscopic signals are obtained by illuminating a phantom simulating a spectroscopic model with illumination light and capturing an image for each phantom.
- M sets of reference spectroscopic signals it is preferable to select a specific reference spectroscopic signal that has the smallest calculated difference value based on the difference from the first spectroscopic signal, and calculate the specific biological parameter defined for the phantom that corresponds to the specific reference spectroscopic signal as the biological parameter.
- the reference spectroscopic signal is normalized by a reference emission value corresponding to the emission spectrum of the illumination light, and that the first spectroscopic signal is normalized by the average value of multiple first spectroscopic signals.
- the one or more processors reset the reference spectroscopic signal.
- the endoscope has an imaging sensor and the imaging sensor is changed to one with a different spectral sensitivity, it is preferable that the one or more processors reset the reference spectroscopic signal.
- the light source device emits first illumination light and second illumination light having a broader bandwidth than the first illumination light as illumination light, and that one or more processors acquire a signal captured while the first illumination light is being irradiated as a first spectral signal, acquire a signal captured while the second illumination light is being irradiated as a second spectral signal, and display an image generated from the second spectral signal.
- the one or more processors align the first spectral signals based on the amount of movement between the second spectral signals.
- the biological parameters preferably include hemoglobin concentration, and the display preferably controls the display to display a hemoglobin concentration image based on the hemoglobin concentration.
- the light source device preferably emits either first illumination light or second illumination light having a broader bandwidth than the first illumination light as illumination light, and one or more processors control the illumination to alternate between the first illumination light and the second illumination light, and the first spectral signal is preferably obtained by imaging the object illuminated with the first illumination light using an endoscope. It is preferable that the first illumination light having center wavelengths of 450 nm, 470 nm, 540 nm, 620 nm, 690 nm, and 850 nm is emitted in sequence, and that the second illumination light is emitted between each emission of the first illumination light.
- the imaging sensor provided in the endoscope is preferably a spectroscopic imaging sensor that splits the illumination light into first illumination lights, and the spectroscopic imaging sensor obtains the first spectral signal by capturing an image of an object illuminated with the illumination light.
- the spectroscopic imaging sensor preferably splits the illumination light into first illumination lights having center wavelengths of 450 nm, 470 nm, 500 nm, 540 nm, 620 nm, 690 nm, and 850 nm.
- an endoscopic system comprising a light source device that emits illumination light, an endoscope that captures an image of an object to be observed, and one or more processors that acquire a first spectral signal captured by the endoscope while the illumination light is irradiating the object to be observed, the one or more processors calculate biological parameters including oxygen saturation based on the first spectral signal and a reference spectral signal determined in accordance with the first spectral signal, and perform control to display an oxygen saturation image based on the oxygen saturation.
- FIG. 1 is a schematic diagram of an endoscopy system for the digestive tract.
- 10A and 10B are explanatory diagrams showing display modes on the display and the extended display in normal mode.
- 10A and 10B are explanatory diagrams showing the display modes on the display and the extended display in the oxygen saturation mode.
- (A) shows an oxygen saturation image inside the digestive tract
- (B) shows an image of the extended display showing an oxygen saturation image on the serosal side.
- FIG. 2 is a block diagram showing the functions of the endoscope system.
- 1 is a graph showing the emission spectra of monochromatic light b, sb, g, a, r, and ir.
- FIG. 10 is an explanatory diagram showing a light emission pattern in an oxygen saturation mode.
- FIG. 1 is a graph showing the spectral sensitivity of an image sensor.
- 10 is a table showing image signals obtained in a normal mode.
- 10 is a table showing image signals obtained in an oxygen saturation mode.
- 1 is a graph showing the relationship between the central wavelengths of monochromatic light b, sb, g, a, r, and ir and the reflection spectrum of hemoglobin.
- 1 is a block diagram showing the functions of an extended processor device according to a first embodiment;
- FIG. 1 is a graph showing the relationship between reflectance R and ratio ⁇ a/ ⁇ s′.
- 10 is a graph showing an increase in the light intensity of monochromatic light sb.
- 10A and 10B are explanatory diagrams illustrating replacement of the endoscope with respect to the light source device.
- FIG. 10 is a flowchart showing a series of steps in an oxygen saturation mode.
- FIG. 10 is an explanatory diagram showing the oxygen saturation, hemoglobin concentration, bilirubin concentration, and scattering wavelength-dependent parameters of the spectroscopic model that are minimum required for calculating biological parameters.
- 10A and 10B are explanatory diagrams showing oxygen saturation, hemoglobin concentration, bilirubin concentration, and scattering wavelength-dependent parameters of a spectroscopic model required for improving the accuracy of calculation of biological parameters.
- FIG. 10 is an explanatory diagram showing the oxygen saturation, hemoglobin concentration, bilirubin concentration, and scattering wavelength-dependent parameters of the spectroscopic model required to further improve the accuracy of the calculation of biological parameters.
- FIG. 10 is a graph showing spectral reflectance determined by a spectral model.
- FIG. 10 is a block diagram showing the functions of an extended processor device according to a second embodiment. 10 is a table showing reference spectroscopic signals for each spectroscopic model. 10 is a graph showing spectral reflectance determined in a phantom.
- FIG. 11 is a block diagram showing the functions of an extended processor device according to a third embodiment. 10 is a table showing reference spectroscopic signals for each phantom.
- FIG. 10 is a block diagram showing the functions of an extended processor device according to a fourth embodiment.
- FIG. 13 is an explanatory diagram showing a method for acquiring a reference spectroscopic signal in the fourth embodiment.
- FIG. 1 is a schematic diagram of an endoscope system for laparoscopy.
- FIG. 2 is an explanatory diagram showing an imaging unit having three monochrome imaging sensors.
- FIG. 1 is an explanatory diagram showing an imaging unit having one color imaging sensor.
- 1 is a graph showing an emission spectrum of broadband illumination light.
- FIG. 2 is an explanatory diagram showing a pixel arrangement in a spectroscopic image sensor.
- FIG. 10 is an explanatory diagram showing another light emission pattern in the oxygen saturation mode.
- an endoscopic system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, a processor-side user interface 16, an extended processor device 17, and an extended display 18.
- the endoscope 12 is optically or electrically connected to the light source device 13 and electrically connected to the processor device 14.
- the extended processor device 17 is electrically connected to the light source device 13 and the processor device 14. Note that the term "display" in the claims includes the extended display 18 in addition to the display 15.
- the endoscope 12 has an insertion section 12a, an operating section 12b, a bending section 12c, and a tip section 12d.
- the insertion section 12a is inserted into the subject's body.
- the operating section 12b is provided at the base end of the insertion section 12a.
- the bending section 12c and the tip section 12d are provided on the tip side of the insertion section 12a.
- the bending section 12c is bent by operating the angle knob 12e of the operating section 12b.
- the tip section 12d is oriented in the desired direction by bending the bending section 12c.
- a forceps channel (not shown) is provided from the insertion section 12a to the tip section 12d, for inserting treatment tools and the like. Treatment tools are inserted into the forceps channel through the forceps port 12j.
- the endoscope 12 is provided with an optical system for forming an image of the subject and an optical system for illuminating the subject with illumination light.
- the operation unit 12b is provided with an angle knob 12e, a mode selector switch 12f, a still image acquisition instruction switch 12h, and a zoom operation unit 12i.
- the mode selector switch 12f is used to switch observation modes.
- the still image acquisition instruction switch 12h is used to instruct the acquisition of a still image of the subject.
- the zoom operation unit 12i is used to zoom in or out on the observation target.
- the mode selector switch 12f and still image acquisition instruction switch 12h are included in the scope-side user interface 19, which is used to perform various operations on the processor device 14.
- the light source device 13 generates illumination light.
- the processor device 14 performs system control of the endoscope system 10 and generates endoscopic images by performing image processing on image signals transmitted from the endoscope 12.
- the display 15 displays medical images transmitted from the processor device 14.
- the processor-side user interface 16 includes a keyboard, mouse, microphone, tablet, foot switch, and touch pen, and accepts input operations such as function settings.
- the endoscope system 10 has a normal mode and an oxygen saturation mode, and the user can switch between these modes by operating the mode selector switch 12f.
- a white light image with natural coloring obtained by capturing an image of the object of observation using white light as illumination light is displayed on the display 15, while nothing is displayed on the extended display 18.
- the oxygen saturation of the subject is calculated, and an oxygen saturation image that visualizes the calculated oxygen saturation is displayed on the extended display 18.
- a white light equivalent image which has fewer short wavelength components than a white light image, is displayed on the display 15.
- the "normal light image” in the claims includes a white light equivalent image.
- the oxygen saturation image may also be displayed on the display 15.
- the endoscope system 10 is a flexible endoscope type for the digestive tract, such as the stomach and large intestine, and in oxygen saturation mode, as shown in Figure 4(A), displays an internal digestive tract oxygen saturation image, which visualizes the oxygen saturation state inside the digestive tract, on the extended display 18. Furthermore, in the case of an endoscope system described below that is a rigid endoscope type for the abdominal cavity, such as the serosa, in oxygen saturation mode, as shown in Figure 4(B), displays a serosal side oxygen saturation image, which visualizes the oxygen saturation state on the serosal side, on the extended display 18.
- the light source device 13 includes a light source unit 20 and a light source processor 21 that controls the light source unit 20.
- the light source unit 20 emits at least one of polychromatic light and monochromatic light as illumination light.
- the light source unit 20 has, for example, multiple semiconductor light sources, which are turned on or off individually, and when turned on, the light emission amount of each semiconductor light source is controlled to emit illumination light that illuminates the object of observation.
- the light source unit 20 is equipped with v-LED20g (Violet-Light Emitting Diode), b-LED20a (Blue-Light Emitting Diode), sb-LED20b (Sky Blue-Light Emitting Diode), g-LED20c (Green-Light Emitting Diode), a-LED20d (Amber-Light Emitting Diode), r-LED20e (Red-Light Emitting Diode), and ir-LED20f (Infra Red-Light Emitting Diode).
- v-LED20g Voliolet-Light Emitting Diode
- b-LED20a Blue-Light Emitting Diode
- sb-LED20b Sky Blue-Light Emitting Diode
- g-LED20c Green-Light Emitting Diode
- a-LED20d Amber-Light Emitting Diode
- r-LED20e Re
- each LED 20a-20f is incident on the light guide 25 via the optical path coupling section 23, which is composed of mirrors, lenses, etc.
- the light guide 25 is built into the endoscope 12 and universal cord (a cord that connects the endoscope 12 to the light source device 13 and processor device 14).
- the light guide 25 propagates light from the optical path coupling section 23 to the tip 12d of the endoscope 12.
- the tip 12d of the endoscope 12 is provided with an illumination optical system 30 and an imaging optical system 31.
- the illumination optical system 30 has an illumination lens 32, and illumination light propagated by the light guide 25 is irradiated onto the object of observation via the illumination lens 32.
- the imaging optical system 31 has an objective lens 35 and an imaging sensor 36. Light from the object of observation irradiated with illumination light enters the imaging sensor 36 via the objective lens 35. As a result, an image of the object of observation is formed on the imaging sensor 36.
- the imaging sensor 36 captures an image of the object being observed. It is preferable that the imaging sensor 36 be a color imaging sensor. Each pixel of the imaging sensor 36 is provided with either a B pixel (blue pixel) having a B (blue) color filter, a G pixel (green pixel) having a G (green) color filter, or an R pixel (red pixel) having an R (red) color filter.
- the spectral transmittance of the B color filter, G color filter, and R color filter, which determine the spectral sensitivity of the imaging sensor 36, will be described later. It is preferable that the imaging sensor 36 be a color imaging sensor with a Bayer array in which the ratio of the number of B pixels, G pixels, and R pixels is 1:2:1, for example.
- the imaging sensor 36 can be a CCD (Charge Coupled Device) imaging sensor or a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor.
- CMOS Complementary Metal-Oxide Semiconductor
- a complementary color imaging sensor equipped with complementary color filters of C (cyan), M (magenta), Y (yellow), and G (green) can be used.
- image signals of the four colors CMYG are output, and by converting the four CMYG image signals into three RGB image signals using complementary color-primary color conversion, image signals of each RGB color similar to those of the imaging sensor 36 can be obtained.
- the imaging sensor 36 is driven and controlled by the imaging processor 37.
- the control of each mode in the imaging processor 37 will be described later.
- the CDS/AGC circuit 40 (Correlated Double Sampling/Automatic Gain Control) performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the imaging sensor 36.
- CDS correlated double sampling
- AGC automatic gain control
- the image signal that passes through the CDS/AGC circuit 40 is converted into a digital image signal by an A/D converter 41 (Analog/Digital).
- the digital image signal after A/D conversion is input to the processor device 14.
- the processor unit 14 comprises a DSP (Digital Signal Processor) 45, an image processing unit 50, a display control unit 52, and a central control unit 53.
- the processor unit 14 has programs for various processes stored in a program memory (not shown).
- the central control unit 53 which is made up of a processor, executes the programs in the program memory to realize the functions of the DSP 45, image processing unit 50, display control unit 52, and central control unit 53. It is preferable to have one or more processors.
- the DSP 45 performs various signal processing on the image signals received from the endoscope 12, including defect correction, offset processing, gain correction, linear matrix processing, gamma conversion, demosaic processing, white balance processing, YC conversion processing, and noise reduction.
- defect correction signals from defective pixels in the imaging sensor 36 are corrected.
- offset processing dark current components are removed from the image signals that have been subjected to defect correction processing, and an accurate zero level is set.
- gain correction the signal level of each image signal is adjusted by multiplying the image signals of each color after offset processing by a specific gain. The image signals of each color after gain correction are subjected to linear matrix processing to improve color reproducibility.
- gamma conversion processing adjusts the brightness and saturation of each image signal.
- the image signal undergoes demosaic processing (also known as isotropy processing or synchronization processing), and signals of the missing colors for each pixel are generated by interpolation.
- Demosaic processing ensures that all pixels have signals for each of the RGB colors.
- the DSP 45 performs YC conversion processing on each image signal after demosaic processing, and outputs the luminance signal Y and color difference signals Cb and Cr to the DSP 45.
- the DSP 45 then performs noise reduction processing, such as using the moving average method or median filter method, on the image signals that have undergone demosaic processing, etc.
- the image processing unit 50 performs various image processing on the image signal from the DSP 45.
- Image processing includes color conversion processing such as 3x3 matrix processing, tone conversion processing, and 3D LUT (Look Up Table) processing, color enhancement processing, and structural enhancement processing such as spatial frequency enhancement.
- the image processing unit 50 performs image processing according to the mode. In the normal mode, the image processing unit 50 performs image processing for the normal mode to generate a white light image. In the oxygen saturation mode, the image processing unit 50 generates a white light equivalent image.
- the image processing unit 50 also transmits the image signal from the DSP 45 to the extended processor device 17 via the image communication unit 51.
- the display control unit 52 performs display control to display the white light image or image information such as the oxygen saturation image from the image processing unit 50, as well as other information, on the display 15. In accordance with the display control, the white light image or a white light equivalent image is displayed on the display 15.
- the extended processor device 17 receives image signals from the processor device 14 and performs various image processing. In oxygen saturation mode, the extended processor device 17 calculates oxygen saturation and generates an oxygen saturation image that visualizes the calculated oxygen saturation. Details of the extended processor device 17 will be described later. The generated oxygen saturation image is displayed on the extended display 18.
- the v-LED 20g emits monochromatic light v with a center wavelength of 410 nm.
- the b-LED 20a emits monochromatic light b with a center wavelength of 450 nm.
- the sb-LED 20b emits monochromatic light sb with a center wavelength of 470 nm.
- the g-LED 20c emits monochromatic light g with a center wavelength of 540 nm.
- the a-LED 20d emits monochromatic light a with a center wavelength of 620 nm.
- the r-LED 20e emits monochromatic light r with a center wavelength of 690 nm.
- the ir-LED 20f emits monochromatic light ir with a center wavelength of 850 nm.
- the center wavelength of each monochromatic light may be the same as or different from the peak wavelength.
- v-LED 20g, b-LED 20a, g-LED 20c, and a-LED 20d are simultaneously lit to emit polychromatic light including monochromatic light v with a center wavelength of 410 nm, monochromatic light b with a center wavelength of 450 nm, monochromatic light g with a center wavelength of 540 nm, and monochromatic light a with a center wavelength of 620 nm.
- monochromatic light with center wavelengths of 450 nm, 470 nm, 540 nm, 620 nm, 690 nm, and 850 nm is emitted in sequence as the first illumination light, and polychromatic light with a broader bandwidth than the first illumination light is emitted between each monochromatic light emission. Specifically, as shown in FIG.
- monochromatic light sb, g, a, r, and ir with center wavelengths of 470 nm, 540 nm, 620 nm, 690 nm, and 850 nm are emitted in even-numbered frames 2, 4, 6, 8, and 10, respectively, and polychromatic light including monochromatic light b with a center wavelength of 450 nm, monochromatic light g with a center wavelength of 540 nm, and monochromatic light r with a center wavelength of 690 nm is emitted in odd-numbered frames 1, 3, 5, 7, and 9 between the even frames.
- the B color filter BF provided in the B pixel of the image sensor 36 transmits mainly light in the blue band, specifically light with a wavelength band of 380 to 560 nm (blue transmission band).
- the peak wavelength at which transmittance is maximum is around 460 to 470 nm.
- the G color filter GF provided in the G pixel of the image sensor 36 transmits mainly light in the green band, specifically light with a wavelength band of 450 to 630 nm (green transmission band).
- the R color filter RF provided in the R pixel of the image sensor 36 transmits mainly light in the red band, specifically light with a wavelength band of 580 to 900 nm (red transmission band).
- the imaging processor 37 controls the imaging sensor 36 to capture an image of an object being observed frame by frame while it is illuminated with polychromatic light including monochromatic light b, monochromatic light g, and monochromatic light r.
- Bc image signals are output from the B pixels of the imaging sensor 36
- Gc image signals are output from the G pixels
- Rc image signals are output from the R pixels.
- a white light image is generated based on the Bc image signals, Gc image signals, and Rc image signals.
- the imaging processor 37 controls the imaging of the object being observed while it is illuminated with polychromatic light including monochromatic light b, monochromatic light g, and monochromatic light r.
- a Bc image signal is output from the B pixel of the imaging sensor 36
- a Gc image signal is output from the G pixel
- an Rc image signal is output from the R pixel.
- a white light equivalent image is generated based on the Bc image signal, Gc image signal, and Rc image signal.
- the imaging processor 37 controls the imaging of the object being observed illuminated with monochromatic light sb.
- a B1 image signal is output from the B pixel of the imaging sensor 36
- a G1 image signal is output from the G pixel
- an R1 image signal is output from the R pixel.
- the imaging processor 37 controls the imaging of the object being observed illuminated with monochromatic light g, a, r, and ir.
- B2, B3, B4, and B5 image signals are output from the B pixel of the imaging sensor 36, G2, G3, G4, and G5 image signals are output from the G pixel, and R2, R3, R4, and R5 image signals are output from the R pixel.
- the B1 image signal, B2 image signal, G2 image signal, R3 image signal, R4 image signal, B5 image signal, G5 image signal, and R5 image signal are used from the image signals obtained in frames 2, 4, 6, 8, and 10 of the even frames.
- the B1 image signal contains image information related to monochromatic light sb from the light transmitted through the B color filter BF.
- the B2 image signal contains image information related to monochromatic light g from the light transmitted through the B color filter BF.
- the G2 image signal contains image information related to monochromatic light g from the light transmitted through the G color filter GF.
- the R3 image signal contains image information related to monochromatic light a from the light transmitted through the R color filter RF.
- the R4 image signal contains image information related to monochromatic light r from the light transmitted through the R color filter.
- the B5 image signal contains image information related to monochromatic light ir from the light transmitted through the B color filter.
- the G5 image signal contains image information related to monochromatic light ir among the light transmitted through the G color filter.
- the R5 image signal contains image information related to monochromatic light ir among the light transmitted through the R color filter.
- the image information related to monochromatic light sb includes image information of wavelength band sb whose reflection spectrum changes with changes in the oxygen saturation of blood hemoglobin.
- the image information related to monochromatic light g, a, r, and ir includes image information of wavelength bands g, a, r, and ir whose reflection spectrum changes with changes in the oxygen saturation of blood hemoglobin.
- curve 55a represents the reflection spectrum of reduced hemoglobin
- curve 55b represents the reflection spectrum of oxygenated hemoglobin.
- the extended processor device 17 comprises an actual measurement first spectral signal acquisition unit 60, a biological parameter calculation unit 61, a reference spectral signal setting unit 62, a display control unit 63, and an alignment unit 64.
- the extended processor device 17 has programs for various processes stored in a program memory (not shown).
- a central control unit (not shown) made up of a processor executes the programs in the program memory to realize the functions of the actual measurement first spectral signal acquisition unit 60, the biological parameter calculation unit 61, the reference spectral signal setting unit 62, the display control unit 63, and the alignment unit 64. It is preferable to use one or more processors.
- the measured first spectral signal acquisition unit 60 acquires measured first spectral signals (first spectral signals) captured by the imaging sensor 36 while the object of observation is illuminated with the first illumination light.
- the processor performs processing based on the measured first spectral signals.
- the measured first spectral signals include the B1, B2, G2, R3, R4, B5, G5, and R5 image signals obtained in the oxygen saturation mode.
- the B1, B2, G2, R3, and R4 image signals are used as the measured first spectral signals
- the B5, G5, and R5 image signals are used as an MR5 image signal obtained by combining the three color image signals.
- the B1 image signal, B2 image signal, G2 image signal, R3 image signal, R4 image signal, and MR5 image signal of the measured first spectral signal will be referred to as the B1 img image signal, B2 img image signal, G2 img image signal, R3 img image signal, R4 img image signal, and MR5 img image signal.
- the measured first spectral signals are preferably normalized by the average value of the plurality of measured first spectral signals to eliminate instability in the illuminance of the illumination light.
- the average value of the six measured first spectral signals i.e., the B1 img image signal, the B2 img image signal, the G2 img image signal, the R3 img image signal, the R4 img image signal, and the MR5 img image signal
- Ave the average value of the six measured first spectral signals
- the B1 img image signal is normalized by subtracting the logarithmic average value Ave from the B1 img image signal (Log(B1 img image signal) - Log(Ave)).
- the B2 img image signal, the G2 img image signal, the R3 img image signal, the R4 img image signal, and the MR5 img image signal are also normalized in the same manner as the B1 img image signal.
- the biological parameter calculation unit 61 calculates biological parameters including oxygen saturation based on the measured first spectral signal and a reference spectral signal that is predetermined according to the measured first spectral signal. Specifically, in the first embodiment, the biological parameter calculation unit 61 calculates biological parameters including oxygen saturation based on the reference spectral signal that is set from the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectral model, and the spectral sensitivity of the imaging sensor 36, and the measured first spectral signal.
- the display control unit 63 displays an oxygen saturation image based on the oxygen saturation image on the extended display 18.
- the reference spectral signal is preferably predetermined so that its wavelength range or number matches that of the measured first spectral signal.
- the biological parameter calculation unit 61 calculates biological parameters so that the difference calculation value based on the difference between the reference spectroscopic signal and the measured first spectroscopic signal falls within a specific range (fitting process).
- the reference spectroscopic signal uses an error calculation value based on the error between the reference spectroscopic signal and the measured first spectroscopic signal as the difference calculation value based on the difference between the reference spectroscopic signal and the measured first spectroscopic signal. Since it is determined based on a spectroscopic model that uses biological parameters as arguments, it is defined as a function of the biological parameters. In this embodiment, four biological parameters are used: oxygen saturation S, hemoglobin concentration Hb, bilirubin concentration Bb, and scattering wavelength-dependent parameter b.
- a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal are defined as reference spectral signals corresponding to the B1 img image signal, the B2 img image signal, the G2 img image signal, the R3 img image signal, the R4 img image signal, and the MR5 img image signal.
- the calculated error value Diff is preferably calculated by the square error calculation formula based on (Formula 1).
- Diff W B1 (B1 std (S, Hb, Bb, b) - B1 img ) 2 +W B2 (B2 std (S, Hb, Bb, b) - B2 img ) 2 +W G1 (G2 std (S, Hb, Bb, b) - G2 img ) 2 +W R3 (R3 std (S, Hb, Bb, b) - R3 img ) 2 +W R4 (R4 cal (S, Hb, Bb, b) - R4 img ) 2 +W MR5 (MR5 std (S, Hb, Bb, b) - MR5 img ) 2 ...
- B1 std (S, Hb, Bb, b), B2 std (S, Hb, Bb, b), G2 std (S, Hb, Bb, b), R3 std (S, Hb, Bb, b), R4 std (S, Hb, Bb, b), and MR5 std (S, Hb, Bb, b) represent the B1 std image signal, B2 std image signal, G2 std image signal, R3 std image signal, R4 std image signal, and MR5 std image signal, respectively, and also represent functions of oxygen saturation S, hemoglobin concentration Hb, bilirubin concentration Bb, and scattering wavelength-dependent parameter b.
- B1 img , B2 img , G2 img , R3 img , R4 img , and MR5 img represent the B1 img image signal, B2 img image signal, G2 img image signal, R3 img image signal, R4 img image signal, and MR5 img image signal, respectively, and W B1 , W B2 , W G2 , W R3 , W R4 , and W MR5 represent weighting factors for the squared difference values of each term.
- the biological parameter calculation unit 61 calculates the biological parameters so that the calculated error value Diff is minimized.
- the oxygen saturation level S, hemoglobin concentration Hb, bilirubin concentration Bb, and scattering wavelength-dependent parameter b are obtained as biological parameters.
- the biological parameters may be calculated for each pixel, or may be calculated for each pixel region having multiple pixels.
- N is an integer greater than 3
- N is an integer greater than 3
- N is an integer greater than 3
- N is an integer greater than 3
- the four biological parameters namely, oxygen saturation S, hemoglobin concentration Hb, bilirubin concentration Bb, and scattering wavelength-dependent parameter b
- six image signals namely, B1 image signal, B2 image signal, G2 image signal, R3 image signal, R4 image signal, and MR5 image signal, are used as the measured first spectral image signals.
- the calculated oxygen saturation is displayed on the extended display 18 as an oxygen saturation image in various display modes. For example, it is preferable to display a still image of the oxygen saturation alongside a moving image of the white light equivalent image on the extended display 18. Furthermore, when displaying a moving image of the white light equivalent image and a moving image of the oxygen saturation image alongside each other, it is preferable to display the moving image of the oxygen saturation image at a reduced frame rate.
- the white light equivalent image is preferably generated based on the measured second spectral signal (second spectral signal) captured by the imaging sensor 36 while the object being observed is being irradiated with the second illumination light.
- the measured second spectral signal is preferably the Bc image signal, Gc image signal, and Rc image signal obtained in odd-numbered frames (frames 1, 3, 5, 7, and 9) in the oxygen saturation mode.
- hemoglobin concentration, bilirubin concentration, and scattering wavelength-dependent parameters may also be calculated as biological parameters, and these may be displayed as images on the extended display 18.
- a hemoglobin concentration image based on hemoglobin concentration may be displayed on the extended display 18.
- an indicator combining oxygen saturation and hemoglobin concentration may be visualized and displayed on the extended display 18.
- a pseudocolor image in which oxygen saturation is assigned to color differences Cr and Cb and hemoglobin concentration is assigned to luminance Y is displayed on the extended display 18. In this case, the higher the hemoglobin concentration in the pseudocolor image, the darker it appears.
- the alignment unit 64 aligns the measured first spectral signals based on the amount of movement between the measured second spectral signals.
- the alignment unit 64 calculates the amount of movement of the object from the measured second spectral signals obtained in odd-numbered frames (frames 1, 3, 5, 7, and 9) in the oxygen saturation mode, and uses the calculated amount of movement to align the B1 image signal, B2 image signal, G2 image signal, R3 image signal, R4 image signal, B5 image signal, G5 image signal, and R5 image signal of the measured first spectral signals. For example, as shown in FIG. 13 , the amount of movement is calculated from the Bc image signal, Gc image signal, and Rc image signal of frames 1, 3, and 5.
- the calculated amount of movement is used to align the B1 image signal of frame 2 with the B2 image signal and G2 image signal of frame 4.
- the B1 image signal of frame 2 is aligned to match the positions of the B2 image signal and G2 image signal of frame 4, but conversely, the B2 image signal and G2 image signal of frame 4 may be aligned to match the position of the B1 image signal of frame 2.
- the reference spectral signal setting unit 62 sets the reference spectral signal from the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectral model, and the spectral sensitivity of the image sensor 36.
- the reference spectral signal is preferably normalized by a reference emission value corresponding to the emission spectrum.
- B1 std (S, Hb, Bb, b) is set according to (Equation 2).
- Lsb( ⁇ ) represents the luminance of monochromatic light sb.
- R( ⁇ ; S, Hb, Bb, b) represents the spectral reflectance of the living body determined from the spectral model.
- Sb( ⁇ ) represents the sensitivity of the B pixel of the imaging sensor 36.
- the denominator of (Equation 2) is the reference light emission value corresponding to the emission spectrum of monochromatic light sb, and B1 cal (S, Hb, Bb, b) is normalized by this reference light emission value.
- B2 std (S, Hb, Bb, b) is set according to (Equation 3).
- Lg( ⁇ ) represents the luminance of monochromatic light g.
- R( ⁇ ; S, Hb, Bb, b) represents the spectral reflectance of the living body determined from the spectral model.
- Sb( ⁇ ) represents the sensitivity of the B pixel of the imaging sensor 36.
- the denominator of Equation 3 is the reference light emission value corresponding to the emission spectrum of monochromatic light g, and B2 std (S, Hb, Bb, b) is normalized by this reference light emission value.
- G2 std (S, Hb, Bb, b) is set according to (Equation 4).
- Equation 4 "Lg( ⁇ )” represents the luminance of monochromatic light g.
- R( ⁇ ; S, Hb, Bb, b)” represents the spectral reflectance of the living body determined from the spectral model.
- Sg( ⁇ ) represents the sensitivity of the G pixel of the imaging sensor 36.
- the denominator of Equation 4 is the reference light emission value corresponding to the emission spectrum of monochromatic light g, and G2 std (S, Hb, Bb, b) is normalized by this reference light emission value.
- R3 std (S, Hb, Bb, b) is set according to (Equation 5).
- La( ⁇ ) represents the luminance of monochromatic light a.
- R( ⁇ ; S, Hb, Bb, b) represents the spectral reflectance of a living body determined from a spectral model.
- Sr( ⁇ ) represents the sensitivity of the R pixel of the imaging sensor 36.
- the denominator of Equation 5 is the reference light emission value corresponding to the emission spectrum of monochromatic light a, and R3 std (S, Hb, Bb, b) is normalized by this reference light emission value.
- R4 std (S, Hb, Bb, b) is set according to (Equation 6).
- Equation 6 "Lr( ⁇ )” represents the luminance of monochromatic light r.
- R( ⁇ ; S, Hb, Bb, b)” represents the spectral reflectance of a living body determined from a spectroscopic model.
- Sr( ⁇ ) represents the sensitivity of the R pixel of the imaging sensor 36.
- the denominator of Equation 6 is the reference light emission value corresponding to the emission spectrum of monochromatic light r, and R4 std (S, Hb, Bb, b) is normalized by this reference light emission value.
- MR5 std (S, Hb, Bb, b) is set according to (Equation 7).
- “Lir( ⁇ )” represents the luminance of monochromatic light r.
- “R( ⁇ ; S, Hb, Bb, b)” represents the spectral reflectance of the living body determined from the spectral model.
- “Sr( ⁇ )”, “Sg( ⁇ )”, and “Sb( ⁇ )” represent the sensitivities of the R, G, and B pixels of the imaging sensor 36, respectively.
- the denominator of Equation 6 is the reference light emission value corresponding to the emission spectrum of monochromatic light ir, and R5 std (S, Hb, Bb, b) is normalized by this reference light emission value.
- the spectral reflectance R ( ⁇ ; S, Hb, Bb, b) of a living body is calculated from the ratio ⁇ a/ ⁇ s' between the absorption coefficient ⁇ a ( ⁇ ; Hb, S, Bb) and the scattering coefficient ⁇ s' ( ⁇ ; b).
- the relationship between the spectral reflectance R and the ratio ⁇ a/ ⁇ s' is shown in Figure 14.
- the functional form of the spectral reflectance R (ratio ⁇ a/ ⁇ s') may be stored in a table, or may be approximated and stored using a simple function such as a polynomial.
- both the spectral reflectance R and the ratio ⁇ a/ ⁇ s' are logarithmic.
- the absorption coefficient ⁇ a( ⁇ ; Hb, S, Bb) is expressed by (Equation 8).
- ⁇ a ( ⁇ ; Hb, S, Bb) Hb ⁇ S/100 ⁇ aHbO2( ⁇ )+(1-S/100) ⁇ aHb( ⁇ ) ⁇ +Bb ⁇ aBb( ⁇ )...(Formula 8)
- ⁇ aHbO2( ⁇ ) represents the absorption coefficient of oxygenated hemoglobin
- Hb( ⁇ ) represents the absorption coefficient of reduced hemoglobin
- ⁇ aBb( ⁇ ) represents the absorption coefficient of bilirubin
- ⁇ represents the wavelength (similarly to Equation (9)).
- the reference spectral signal setting unit 62 resets the reference spectral signal when the emission spectrum of the illumination light is changed. For example, as shown in FIG. 15 , when the light intensity of the monochromatic light sb emitted in frame 2 is increased from Lx to Ly, the reference spectral signal setting unit 62 resets the B1 standard image signal in accordance with (Equation 2). Furthermore, when the image sensor 36 is changed to one with a different spectral sensitivity, the reference spectral signal setting unit 62 resets the reference spectral signal. For example, as shown in FIG.
- the reference spectral signal setting unit 62 resets the B1 standard image signal, B2 standard image signal, G2 standard image signal, R3 standard image signal, R4 standard image signal, and MR5 standard image signal in accordance with (Equation 2) to (Equation 7).
- the mode selector switch 12f When the mode selector switch 12f is operated to switch to the oxygen saturation mode, polychromatic light and monochromatic light are alternately used as illumination light.
- the measured first spectral signal acquisition unit 60 acquires a measured first spectral signal by using the image sensor 36 to capture an image of the object of observation illuminated with monochromatic light.
- the biological parameter calculation unit 61 calculates biological parameters including oxygen saturation based on the measured first spectral signal and a reference spectral signal set from the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectral model, and the spectral sensitivity of the image sensor 36.
- the extended display 18 displays an oxygen saturation image based on the oxygen saturation.
- Second Embodiment when calculating a biological parameter, a plurality of fixed values are defined in advance in the spectroscopic model, rather than being used as arguments (variables), and biological parameters that satisfy certain conditions are calculated from among the fixed values.
- M sets of reference spectral signals used to calculate the biological parameters are set for each spectroscopic model from the emission spectrum of the illumination light, the spectral reflectance of the living body determined from the spectroscopic model, and the spectral sensitivity of the image sensor 36. Note that, apart from the setting of the reference spectral signals, the second embodiment is the same as the first embodiment.
- M biological parameters
- a total of 16 spectroscopic models SP1 to SP16 are used for two cases of oxygen saturation, “high oxygen saturation” and “low oxygen saturation”, two cases of hemoglobin concentration, “high hemoglobin concentration” and “low hemoglobin concentration”, two cases of bilirubin concentration, “high bilirubin concentration” and “low bilirubin concentration”, and two cases of scattering wavelength-dependent parameters, “high scattering wavelength-dependent parameters” and “low scattering wavelength-dependent parameters”.
- 16 sets of reference spectroscopic signals are set.
- a total of 81 spectroscopic models SP1 to SP81 are used for three cases of oxygen saturation: “high oxygen saturation,” “medium oxygen saturation,” and “low oxygen saturation," three cases of hemoglobin concentration: “high hemoglobin concentration,” “medium hemoglobin concentration,” and “low hemoglobin concentration,” three cases of bilirubin concentration: “high bilirubin concentration,” “medium bilirubin concentration,” and three cases of scattering wavelength-dependent parameters: “high scattering wavelength-dependent parameter,” “medium scattering wavelength-dependent parameter,” and “low scattering wavelength-dependent parameter.”
- 81 sets of reference spectroscopic signals are set.
- an intermediate concentration may be set for oxygen saturation between "high oxygen saturation” and “medium oxygen saturation,” and an intermediate concentration may be set between “medium oxygen saturation” and “low oxygen saturation.” Similar intermediate concentrations may also be set for other hemoglobin concentrations, bilirubin concentrations, and scattering wavelength-dependent parameters.
- a total of M spectroscopic models SP1 to SPM are used.
- M sets of reference spectroscopic signals are set.
- the spectral reflectance RLX1 determined by the spectroscopic model SPX1 is determined by the biological parameter LPX1.
- the biological parameter LP1 includes the oxygen saturation SX1 for low oxygen saturation, the hemoglobin concentration HbX1 for high hemoglobin concentration, the medium bilirubin concentration BbX1, and the medium scattering wavelength-dependent parameter bX1.
- the spectral reflectance RL2X determined by the spectral model SPX2 is determined by the biological parameter LPX2.
- the biological parameter LP2 includes oxygen saturation SX2 for high oxygen saturation, hemoglobin concentration HbX2 for high hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- the spectral reflectance RLX3 determined by the spectral model SPX3 is determined by the biological parameter LPX3.
- the biological parameter LPX3 includes oxygen saturation SX3 for low oxygen saturation, hemoglobin concentration HbX3 for low hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- the spectral reflectance RLX4 determined by the spectral model SPX4 is determined by the biological parameter LPX4.
- the biological parameter LPX4 includes oxygen saturation SX4 for high oxygen saturation, hemoglobin concentration HbX4 for low hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- the reference spectral signal setting unit 71 of the second embodiment sets a reference spectral signal for the spectral model SPX1 based on the emission spectrum of the illumination light, the spectral reflectance RLX1, and the spectral sensitivity of the image sensor 36.
- the method of setting the reference spectral signal is the same as in the first embodiment.
- the reference spectral signal for the spectral model SPX1 obtained as described above includes six image signals: a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal.
- the reference spectral signals for the spectral models SPX2, SPX3, and SPX4 also include six image signals: a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal.
- reference spectral signals for the spectral models SPX2, SPX3, and SPX4 are set.
- the biological parameter calculation unit 70 selects, from the M sets of reference spectral signals, the specific reference spectral signal that has the smallest calculated error value based on the error from the measured first spectral signal. Then, the specific biological parameter defined by the spectroscopic model corresponding to the specific reference spectral signal is calculated as the biological parameter. Specifically, when four sets of reference spectral signals for spectroscopic models SPX1, SPX2, SPX3, and SPX4 are used, if the reference spectral signal for spectroscopic model SP1 has the smallest calculated error value based on the error from the measured first spectral signal, the reference spectral signal for spectroscopic model SPX1 is selected as the specific reference spectral signal.
- the biological parameter LP1 defined by the spectroscopic model SPX1 is calculated as the biological parameter. That is, the oxygen saturation level S1 and the hemoglobin concentration Hb1 are calculated as the biological parameters.
- the calculated error value is preferably a value obtained by squared error.
- the third embodiment when calculating biological parameters, instead of a spectral model, multiple phantoms that mimic the spectral model are used, and biological parameters that satisfy conditions are calculated from the biological parameters determined by the phantoms.
- M sets of reference spectral signals used to calculate the biological parameters are set for each phantom based on the emission spectrum of the illumination light, the spectral reflectance of the biological body determined by spectroscopic measurement of the phantom, and the spectral sensitivity of the image sensor 36. Note that, apart from the setting of the reference spectral signals, the third embodiment is the same as the first embodiment.
- 16 sets of reference spectral signals are set.
- phantoms required to improve the accuracy of calculating biological parameters it is preferable to use phantoms corresponding to the 81 spectral models shown in FIG. 19.
- 81 sets of reference spectral signals are set.
- phantoms required to further improve the accuracy of calculating biological parameters it is preferable to use phantoms corresponding to the M spectral models shown in FIG. 20. In this case, M sets of reference spectral signals are set.
- phantom FHX1 has a spectral reflectance RLX1 determined by the biological parameter LPX1.
- the biological parameter LPX1 includes oxygen saturation SX1 for low oxygen saturation, hemoglobin concentration HbX1 for high hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- phantom FHX2 has a spectral reflectance RLX2 determined by biological parameter LPX2.
- the biological parameter LPX2 includes oxygen saturation SX2 for high oxygen saturation, hemoglobin concentration HbX2 for high hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- phantom FHX3 has a spectral reflectance RLX3 determined by biological parameter LPX3.
- the biological parameter LPX3 includes oxygen saturation SX3 for low oxygen saturation, hemoglobin concentration HbX3 for low hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- phantom FH4 has a spectral reflectance RLX4 determined by biological parameter LPX4.
- the biological parameter LPX4 includes oxygen saturation SX4 for high oxygen saturation, hemoglobin concentration HbX4 for low hemoglobin concentration, medium bilirubin concentration BbX1, and medium scattering wavelength-dependent parameter bX1.
- the above spectral reflectances RLX1 to RLX4 are calculated in advance by measuring a phantom with a spectroscopic measurement device.
- the calculated spectral reflectances RLX1 to RLX4 are pre-stored in the extension processor device 17.
- the reference spectral signal setting unit 81 of the third embodiment sets a reference spectral signal for the phantom FHX1 based on the emission spectrum of the illumination light, the spectral reflectance RLX1, and the spectral sensitivity of the image sensor 36.
- the method of setting the reference spectral signal is the same as in the first embodiment.
- the reference spectral signal for the phantom FHX1 obtained as described above includes six image signals: a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal.
- the reference spectral signals for the phantoms FHX2 to FHX4 include six image signals: a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal.
- reference spectral signals for the phantoms FHX2, FHX3, and FHX4 are set.
- the biological parameter calculation unit 80 selects, from the M sets of reference spectral signals, the specific reference spectral signal that has the smallest calculated error value based on the error from the measured first spectral signal. Then, the specific biological parameter defined by the spectroscopic model corresponding to the specific reference spectral signal is calculated as the biological parameter. Specifically, when four sets of reference spectral signals for phantoms FHX1 to FHX4 are used, if the reference spectral signal for phantom FHX1 has the smallest calculated error value based on the error from the measured first spectral signal, the reference spectral signal for phantom FHX1 is selected as the specific reference spectral signal.
- the biological parameter LPX1 defined for phantom FHX1 is calculated as the biological parameter. That is, the oxygen saturation level S1 and the hemoglobin concentration Hb1 are calculated as the biological parameters.
- the calculated error value is preferably a value obtained by squared error, as in the first embodiment.
- the reference spectral signal acquisition unit 90 shown in FIG. 27 acquires M sets of reference spectral signals in advance for each phantom by illuminating the phantom with monochromatic light and imaging it. Note that the process is the same as the first embodiment except for the acquisition of the reference spectral signals.
- 16 sets of reference spectroscopic signals are acquired.
- 81 phantoms corresponding to the spectroscopic models shown in FIG. 19 In this case, 81 sets of reference spectroscopic signals are acquired.
- phantoms required to further improve the accuracy of calculating biological parameters it is preferable to use phantoms corresponding to the M spectroscopic models shown in FIG. 20. In this case, M sets of reference spectroscopic signals are acquired.
- phantom FHX1 is illuminated with monochromatic light sb, g, a, r, and ir, and an image is taken by the image sensor 36 for each monochromatic light illumination.
- This imaging yields B1, G1, and R1 image signals; B2, G2, and R2 image signals; B3, G3, and R3 image signals; B4, G4, and R4 image signals; and B5, G5, and R5 image signals.
- the B1 image signal, B2 image signal, G2 image signal, R3 image signal, and R4 image signal, as well as the MR5 image signal, which is a combination of the B5, G5, and R5 image signals, are each used as the reference spectral signal.
- the reference spectral signals include a B1 standard image signal, a B2 standard image signal, a G2 standard image signal, an R3 standard image signal, an R4 standard image signal, and an MR5 standard image signal.
- reference spectral signals are obtained for each phantom by illuminating the phantoms FHX2 to FHX4 with monochromatic light and capturing images of them, just as in the case of phantom FHX1.
- the biological parameter calculation unit 91 selects, from the M sets of reference spectral signals, the specific reference spectral signal that has the smallest calculated error value based on the error from the measured first spectral signal. Then, the specific biological parameter defined for the phantom corresponding to the specific reference spectral signal is calculated as the biological parameter. Specifically, when four sets of reference spectral signals for phantoms FHX1 to FHX4 are used, if the reference spectral signal for phantom FHX1 has the smallest calculated error value based on the error from the measured first spectral signal, the reference spectral signal for phantom FHX1 is selected as the specific reference spectral signal.
- the biological parameter LPX1 defined for phantom FHX1 is calculated as the biological parameter. That is, oxygen saturation S1 and hemoglobin concentration Hb1 are calculated as the biological parameters. It is preferable that the calculated error value be a value obtained by squared error, as in the first embodiment.
- a rigid endoscope for laparoscopy may also be used.
- the endoscope system 200 shown in Figure 29 is used. It comprises an endoscope 101, a light source device 13, a processor device 14, a display 15, a processor-side user interface 16, an extended processor device 17, and an extended display 18.
- parts of the endoscope system 100 that are common to the endoscope system 10 will be omitted, and only the differences will be explained.
- the imaging unit 103 separates the light from the endoscope 101 into light of multiple wavelength bands and acquires image signals based on the separated wavelength bands.
- the imaging unit 103 includes dichroic mirrors 105, 106, and 107, and monochrome image sensors 110, 111, 112, and 113.
- the dichroic mirror 105 reflects light in the blue band of the light reflected from the endoscope 101 and transmits light with longer wavelengths than the blue band light.
- the blue band light reflected by the dichroic mirror 105 is incident on the imaging sensor 110.
- Monochromatic light sb, the blue band portion of monochromatic light g, and monochromatic light ir are incident on the imaging sensor 110.
- Dichroic mirror 106 reflects light in the green band out of the light that has passed through dichroic mirror 105, and transmits light with longer wavelengths than the light in the green band.
- the light in the green band reflected by dichroic mirror 106 is incident on image sensor 111.
- the light in the green band out of the monochromatic light g and the monochromatic light ir are incident on image sensor 111.
- the light that has passed through dichroic mirror 106 is incident on image sensor 112.
- the monochromatic light r and the monochromatic light ir are incident on image sensor 112.
- image sensors 110, 111, and 112 In normal mode, image sensors 110, 111, and 112 output Bc, Gc, and Rc image signals in response to the incidence of monochromatic light b, monochromatic light g, and monochromatic light r, respectively.
- image sensors 110, 111, and 112 In oxygen saturation mode, in odd-numbered frames (frames 1, 3, 5, 7, and 9), image sensors 110, 111, and 112 output Bc, Gc, and Rc image signals in response to the incidence of monochromatic light b, monochromatic light g, and monochromatic light r, respectively.
- image sensor 110 In even-numbered frames in oxygen saturation mode, in frame 2, image sensor 110 outputs a B1 image in response to the incidence of monochromatic light sb.
- image sensor 110 In frame 4, image sensor 110 outputs a B2 image signal in response to the incidence of light in the blue band of monochromatic light g, and image sensor 111 outputs a G2 image signal in response to the incidence of monochromatic light
- the image sensor 112 outputs an R3 image signal in response to the incidence of monochromatic light a.
- the image sensor 112 outputs an R4 image signal in response to the incidence of monochromatic light r.
- the image sensor 110 outputs a B5 image signal in response to the incidence of monochromatic light ir
- the image sensor 111 outputs a G5 image signal in response to the incidence of monochromatic light ir
- the image sensor 112 outputs an R5 image signal in response to the incidence of monochromatic light ir.
- endoscope system 200 when using an endoscope that is a rigid laparoscope, instead of endoscope system 100, which uses three monochrome image sensors 110-112 to capture images of the object being observed, endoscope system 200, which captures images of the object being observed using another imaging method, may be used. As shown in FIG. 31, endoscope system 200 uses a one-sensor type abdominal endoscope 201 that has one color image sensor 203. Image sensor 203 is provided in imaging unit 205 of endoscope 201. The spectral sensitivity of image sensor 203 is the same as that of image sensor 36. Other aspects are the same as those of endoscope system 100.
- the measured first spectral signal is obtained by sequentially switching between monochromatic lights and capturing images with the imaging sensor 36.
- the measured first spectral signal may be obtained by illuminating with broadband illumination light and capturing images with a spectroscopic imaging sensor that splits the broadband illumination light into first illumination lights.
- illumination light having a wavelength range of 300 nm to 1000 nm is used as the broadband illumination light.
- a snapshot mosaic hyperspectral image sensor is preferable to use.
- the spectral image sensor 300 has a color filter array consisting of nine pixels, 3 pixels vertically and 3 pixels horizontally, arranged in tiles.
- the color filter array pixels are arranged with color filters whose center wavelengths in the transmission band are 450 nm, 470 nm, 500 nm, 540 nm, 620 nm, 690 nm, and 850 nm.
- "450 nm, 470 nm, 500 nm, 540 nm, 620 nm, 690 nm, and 850 nm” represent pixels with color filters having the respective center wavelengths in the transmission band.
- the spectroscopic imaging sensor 300 By capturing an image of an object illuminated with broadband illumination light using the spectroscopic imaging sensor 300, the spectroscopic imaging sensor 300 outputs a b image signal from the 450 nm pixel, an sb image signal from the 470 nm pixel, an sg image signal from the 500 nm pixel, an lg image signal from the 540 nm pixel, an a image signal from the 620 nm pixel, an r image signal from the 60 nm pixel, and an ir image signal from the 850 nm pixel.
- each pixel has its own image signal, with no image signals output from other pixels, resulting in a discrete distribution of image signals.
- demosaic processing an interpolation process between pixels, is performed to compensate for the pixel signals of other pixels.
- each pixel has image signals for all wavelength ranges (b image signal, sb image signal, sg image signal, sl image signal, a image signal, r image signal, ir image signal). It is preferable to use the method described in JP-A-2023-529189 for demosaic processing, for example.
- the b image signal is treated as a B1 img image signal, and the sb image signal is treated as a B2 img image signal.
- the image signal obtained by combining the sg and sl image signals is treated as a G2 img image signal.
- the a image signal is treated as an R3 img image signal, the r image signal is treated as an R4 img image signal, and the ir image signal is treated as an MR5 img image signal.
- the innate parameters are calculated in the same manner as in the above embodiment.
- monochromatic light is emitted as the first illumination light while polychromatic light is emitted as the second illumination light, but other light may also be emitted.
- monochromatic light b, monochromatic light g, and monochromatic light a are simultaneously emitted as the second illumination light in frames 1, 3, and 5
- monochromatic light sb and monochromatic light a may be simultaneously emitted as the first illumination light in frame 2
- monochromatic light g and monochromatic light r may be simultaneously emitted as the first illumination light in frame 4.
- Frame 6 emits only monochromatic light ir as the first illumination light.
- the image signal output from the B pixel of the imaging sensor 36 is referred to as the B1 img image signal, and the image signal output from the R pixel is referred to as the R3 img image signal.
- the image signal output from the B pixel of the imaging sensor is referred to as the B2 img image signal
- the image signal output from the G pixel is referred to as the G2 img image signal
- the image signal output from the R pixel is referred to as the R2 img image signal.
- the image signals output from the B pixel, G pixel, and R pixel of the imaging sensor 36 are referred to as the B5 img image signal, G5 img image signal, and R5 img image signal, respectively.
- the number of frames can be reduced to six, frames 1 to 6.
- the hardware structure of the processing units that perform various processes is made up of various processors as shown below.
- the various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphical Processing Unit), a programmable logic device (PLD), such as an FPGA (Field Programmable Gate Array), whose circuit configuration can be changed after manufacture, and a dedicated electrical circuit, which is a processor with a circuit configuration designed specifically for performing various processes.
- CPU Central Processing Unit
- PLD programmable logic device
- FPGA Field Programmable Gate Array
- a single processing unit may be configured with one of these various processors, or may be configured with a combination of two or more processors of the same or different types (for example, multiple FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Multiple processing units may also be configured with a single processor. Examples of multiple processing units configured with a single processor include, first, a form in which one processor is configured with a combination of one or more CPUs and software, as typified by client or server computers, and this processor functions as multiple processing units. Second, a form in which a processor is used to realize the functions of the entire system, including multiple processing units, on a single IC (Integrated Circuit) chip, as typified by system-on-chip (SoC). In this way, the various processing units are configured with a hardware structure using one or more of the various processors listed above.
- SoC system-on-chip
- the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor devices.
- the hardware structure of the memory unit is a storage device such as an HDD (hard disc drive) or SSD (solid state drive).
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Endoscopes (AREA)
Abstract
本発明は、少数の分光信号から酸素飽和度を演算する場合と比較して、より正確な酸素飽和度を含む生体パラメータを算出することができる内視鏡システム及びその作動方法を提供することを目的とする。 生体パラメータ算出部(61)は、第1分光信号に応じて定められる基準分光信号と、第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出する。拡張ディスプレイ(18)は、酸素飽和度に基づく酸素飽和度画像を表示する。
Description
本発明は、酸素飽和度などの生体パラメータを算出する内視鏡システム及びその作動方法に関する。
近年では、内視鏡を使用する医療分野においては、酸素飽和度イメージングが知られている。酸素飽和度イメージングは、可視光の少数の分光情報から、ヘモグロビン酸素飽和度を演算する技術である。従来は、特許文献1に示すように、動画の2ないし3フレームの照明光を切り替えながら取得した分光信号から、酸素飽和度画像を作成して表示している。
生体組織の分光特性の多様性等を考慮し、より高精度、高ロバストな演算を実現することによって、特許文献1のように、少数の分光信号から酸素飽和度を演算する場合と比較して、より正確な酸素飽和度を含む生体パラメータを算出できるようにすることが求められていた。
本発明は、少数の分光信号から酸素飽和度を演算する場合と比較して、より正確な酸素飽和度を含む生体パラメータを算出することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、照明光を発光する光源装置と、観察対象を撮像する内視鏡と、照明光が観察対象に照射されている間に内視鏡によって撮像された第1分光信号を取得する1又は複数のプロセッサとを備え、1又は複数のプロセッサは、第1分光信号に応じて定められる基準分光信号と、第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出し、酸素飽和度に基づく酸素飽和度画像を表示する制御を行う。
1又は複数のプロセッサは、酸素飽和度を含むN-1個(Nは3より大きい整数)の生体パラメータで決定される、異なる波長におけるN個以上の基準分光信号と、N個以上の基準信号の波長に対応するN個以上の第1分光信号とを用いて、生体パラメータを算出することが好ましい。生体パラメータは、ヘモグロビン濃度、ビリルビン濃度、散乱波長依存パラメータの少なくともいずれかを含むことが好ましい。
基準分光信号は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、内視鏡に設けられる撮像センサの分光感度から設定され、分光モデルは、生体パラメータを引数として有し、1又は複数のプロセッサは、基準分光信号と第1分光信号との差分に基づく差分演算値が特定範囲内となるように、生体パラメータを算出することが好ましい。
基準分光信号は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、内視鏡に設けられる撮像センサの分光感度から、分光モデル毎にMセット設定され、1又は複数のプロセッサは、Mセットの前記基準分光信号のうち、第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、特定基準分光信号に対応する分光モデルで定められた特定生体パラメータを、生体パラメータとして算出することが好ましい。
基準分光信号は、照明光の発光スペクトル、分光モデルを模したファントムを分光測定して定められる生体の分光反射率、及び、内視鏡に設けられる撮像センサの分光感度から、ファントム毎にMセット設定され、1又は複数のプロセッサは、Mセットの基準分光信号のうち、第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、特定基準分光信号に対応するファントムで定められた特定生体パラメータを、生体パラメータとして算出することが好ましい。
基準分光信号は、分光モデルを模したファントムを、ファントム毎に、照明光で照明し、撮像することによって、Mセット得られ、Mセットの基準分光信号のうち、第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、特定基準分光信号に対応するファントムで定められた特定生体パラメータを、生体パラメータとして算出することが好ましい。
基準分光信号は、照明光の発光スペクトルに対応する基準発光値で規格化され、第1分光信号は、複数の第1分光信号の平均値で規格化されていることが好ましい。照明光の発光スペクトルを変更した場合には、1又は複数のプロセッサは、基準分光信号を再設定することが好ましい。内視鏡は撮像センサを有し、分光感度が異なる撮像センサに変更した場合には、1又は複数のプロセッサは、基準分光信号を再設定することが好ましい。
光源装置は、照明光として、第1照明光、及び、第1照明光よりも広帯域の第2照明光を発光し、1又は複数のプロセッサは、第1照明光が照射されている間に撮像された信号を第1分光信号として取得し、第2照明光が照射されている間に撮像された信号を第2分光信号として取得し、第2分光信号から生成される画像を表示することが好ましい。
1又は複数のプロセッサは、第2分光信号間の移動量に基づいて、第1分光信号間の位置合わせを行うことが好ましい。生体パラメータには、ヘモグロビン濃度が含まれ、ディスプレイは、ヘモグロビン濃度に基づくヘモグロビン濃度画像をディスプレイに表示する制御を行うことが好ましい。
光源装置は、照明光として、第1照明光又は第1照明光よりも広帯域の第2照明光のいずれかを発光し、1又は複数のプロセッサは、第1照明光と第2照明光と交互に照明する制御を行い、第1分光信号は、第1照明光で照明された観察対象を内視鏡で撮像して得られることが好ましい。中心波長が450nm、470nm、540nm、620nm、690nm、850nmの第1照明光を順に発光し、且つ、各第1照明光の発光の間に、第2照明光を発光することが好ましい。
内視鏡に設けられる撮像センサは、照明光を第1照明光に分光する分光型撮像センサであり、分光型撮像センサは、照明光で照明された観察対象を撮像することによって、第1分光信号を得ることが好ましい。分光型撮像センサは、照明光を、中心波長が450nm、470nm、500nm、540nm、620nm、690nm、850nmの第1照明光に分光することが好ましい。
照明光を発光する光源装置と、観察対象を撮像する内視鏡と、照明光が観察対象に照射されている間に内視鏡によって撮像された第1分光信号を取得する1又は複数のプロセッサとを備える内視鏡システムの作動方法において、1又は複数のプロセッサは、第1分光信号に応じて定められる基準分光信号と、第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出し、酸素飽和度に基づく酸素飽和度画像を表示する制御を行う。
本発明によれば、少数の分光信号から酸素飽和度を演算する場合と比較して、より正確な酸素飽和度を含む生体パラメータを算出することができる。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12、光源装置13、プロセッサ装置14、ディスプレイ15、及び、プロセッサ側ユーザーインターフェース16、拡張プロセッサ装置17、及び、拡張ディスプレイ18を備える。内視鏡12は、光源装置13と光学的又は電気的に接続され、かつ、プロセッサ装置14と電気的に接続される。拡張プロセッサ装置17は、光源装置13及びプロセッサ装置14と電気的に接続される。なお、特許請求の範囲の「ディスプレイ」には、ディスプレイ15の他、拡張ディスプレイ18も含まれる。
図1に示すように、内視鏡システム10は、内視鏡12、光源装置13、プロセッサ装置14、ディスプレイ15、及び、プロセッサ側ユーザーインターフェース16、拡張プロセッサ装置17、及び、拡張ディスプレイ18を備える。内視鏡12は、光源装置13と光学的又は電気的に接続され、かつ、プロセッサ装置14と電気的に接続される。拡張プロセッサ装置17は、光源装置13及びプロセッサ装置14と電気的に接続される。なお、特許請求の範囲の「ディスプレイ」には、ディスプレイ15の他、拡張ディスプレイ18も含まれる。
内視鏡12は、挿入部12a、操作部12b、湾曲部12c及び先端部12dを有している。挿入部12aは、被写体の体内に挿入される。操作部12bは、挿入部12aの基端部分に設けられる。湾曲部12c及び先端部12dは、挿入部12aの先端側に設けられる。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)を設けている。処置具は、鉗子口12jから鉗子チャンネル内に挿入する。
内視鏡12の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。操作部12bには、アングルノブ12e、モード切替スイッチ12f、静止画像取得指示スイッチ12h及びズーム操作部12iが設けられる。モード切替スイッチ12fは、観察モードの切り替え操作に用いる。静止画像取得指示スイッチ12hは、被写体の静止画像の取得指示に用いる。ズーム操作部12iは、観察対象の拡大又は縮小の操作に用いる。なお、モード切替スイッチ12f及び静止画像取得指示スイッチ12hは、プロセッサ装置14に対する各種の操作を行うためのスコープ側ユーザーインターフェース19に含まれる。
光源装置13は、照明光を発生する。プロセッサ装置14は、内視鏡システム10のシステム制御を行い、さらに、内視鏡12から送信された画像信号に対して画像処理等を行うことによって内視鏡画像を生成等する。ディスプレイ15は、プロセッサ装置14から送信される医療画像を表示する。プロセッサ側ユーザーインターフェース16は、キーボード、マウス、マイク、タブレット、フットスイッチ、及びタッチペン等を有し、機能設定等の入力操作を受け付ける。
内視鏡システム10は、通常モード、酸素飽和度モードを有しており、それらモードの切替は、ユーザーがモード切替スイッチ12fを操作することによって行われる。図2に示すように、通常モードでは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの白色光画像をディスプレイ15に表示する一方、拡張ディスプレイ18には何も表示されない。
図3に示すように、酸素飽和度モードでは、観察対象の酸素飽和度を算出し、算出した酸素飽和度を画像化した酸素飽和度画像を拡張ディスプレイ18に表示する。また、酸素飽和度モードにおいては、白色光画像よりも短波長成分が少ない白色光相当画像がディスプレイ15に表示される。なお、特許請求の範囲の「通常光画像」には、白色光相当画像が含まれる。また、酸素飽和度画像は、ディスプレイ15に表示してもよい。
なお、内視鏡システム10は、胃、大腸などの消化管用の軟性鏡タイプであり、酸素飽和度モードにおいては、図4(A)に示すように、消化管内部の酸素飽和度の状態を画像化した消化管内部酸素飽和度画像を拡張ディスプレイ18に表示する。また、後述する内視鏡システムは、漿膜などの腹腔用の硬性鏡タイプの場合には、酸素飽和度モードにおいて、図4(B)に示すように、漿膜側の酸素飽和度の状態を画像化した漿膜側酸素飽和度画像を拡張ディスプレイ18に表示する。
なお、酸素飽和度モードにおいては、以下の場合には、酸素飽和度を正確に算出することが可能である。
・予め定められた対象部位(例えば、食道、胃、大腸)を観察する場合
・周囲に照明がある体外環境以外の場合
・粘膜及び漿膜上に残渣や残液、粘液、血液、脂肪が残っていない場合
・粘膜上に色素を散布しない場合
・観察部位に対して、内視鏡12が7mmを超えて離れている場合
・観察部位に対して、内視鏡が大きく離れることなく適切な距離で観察する場合
・照明光が十分に当たっている領域
・観察部位からの正反射光が少ない場合
・酸素飽和度画像の2/3内部の領域
・内視鏡の動きが小さい場合、または、拍動や呼吸など患者の動きが少ない場合
・消化管粘膜深部の血管が観察されない場合
・予め定められた対象部位(例えば、食道、胃、大腸)を観察する場合
・周囲に照明がある体外環境以外の場合
・粘膜及び漿膜上に残渣や残液、粘液、血液、脂肪が残っていない場合
・粘膜上に色素を散布しない場合
・観察部位に対して、内視鏡12が7mmを超えて離れている場合
・観察部位に対して、内視鏡が大きく離れることなく適切な距離で観察する場合
・照明光が十分に当たっている領域
・観察部位からの正反射光が少ない場合
・酸素飽和度画像の2/3内部の領域
・内視鏡の動きが小さい場合、または、拍動や呼吸など患者の動きが少ない場合
・消化管粘膜深部の血管が観察されない場合
図5に示すように、光源装置13は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、照明光として、多色光と単色光の少なくともいずれかを発光する。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源部20は、v-LED20g(Violet- Light Emitting Diode)、b-LED20a(Blue- Light Emitting Diode)、sb-LED20b(Sky Blue- Light Emitting Diode)、g-LED20c(Green- Light Emitting Diode)、a-LED20d(amber- Light Emitting Diode)、r-LED20e(Red- Light Emitting Diode)、ir-LED20f(Infra Red- Light Emitting Diode)を備えている。
各LED20a~20fが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置13及びプロセッサ装置14を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30と撮像光学系31が設けられている。照明光学系30は照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系31は、対物レンズ35及び撮像センサ36を有している。照明光が照射された観察対象からの光は、対物レンズ35を介して撮像センサ36に入射する。これにより、撮像センサ36に観察対象の像が結像される。
撮像センサ36は、観察対象を撮像する。撮像センサ36としては、カラー撮像センサであることが好ましい。撮像センサ36の各画素には、B(青色)カラーフィルタを有するB画素(青色画素)、G(緑色)カラーフィルタを有するG画素(緑色画素)、R(赤色)カラーフィルタを有するR画素(赤色画素)のいずれかが設けられている。撮像センサ36の分光感度を定めるBカラーフィルタ、Gカラーフィルタ、及び、Rカラーフィルタの分光透過率については、後述する。なお、例えば、撮像センサ36は、B画素とG画素とR画素の画素数の比率が、1:2:1であるベイヤー配列のカラー撮像センサであることが好ましい。
撮像センサ36としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ36の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ36と同様のRGB各色の画像信号を得ることができる。
撮像センサ36、撮像用プロセッサ37によって駆動制御される。撮像用プロセッサ37における各モードの制御は後述する。CDS/AGC回路40(Correlated Double Sampling/Automatic Gain Control)は、撮像センサ36から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路40を経た画像信号は、A/Dコンバータ41(Analog/Digital)により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置14に入力される。
プロセッサ装置14は、DSP(Digital Signal Processor)45と、画像処理部50と、表示制御部52と、中央制御部53とを備えている。プロセッサ装置14には、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサによって構成される中央制御部53がプログラム用メモリ内のプログラムを実行することによって、DSP45と、画像処理部50と、表示制御部52と、中央制御部53との機能が実現する。なお、プロセッサは、1又は複数であることが好ましい。
DSP45は、内視鏡12から受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、ホワイトバランス処理、YC変換処理、及び、ノイズ低減処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ36の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP45は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号CrをDSP45に出力する。DSP45は、デモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。
画像処理部50は、DSP45からの画像信号に対して、各種の画像処理を施す。画像処理には、3×3のマトリックス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理などが含まれる。画像処理部50では、モードに応じた画像処理が行われる。通常モードの場合においては、画像処理部50は、通常モード用の画像処理が行われることによって、白色光画像を生成する。酸素飽和度モードの場合においては、画像処理部50は、白色光相当画像を生成する。また、画像処理部50は、画像通信部51を介して、DSP45からの画像信号を、拡張プロセッサ装置17に送信する。
表示制御部52は、画像処理部50からの白色光画像、又は酸素飽和度画像などの画像情報、その他の情報を、ディスプレイ15に表示するための表示制御を行う。表示制御に従って、ディスプレイ15には、白色光画像又は白色光相当画像が表示される。
拡張プロセッサ装置17は、プロセッサ装置14から画像信号を受信し、各種の画像処理を行う。拡張プロセッサ装置17は、酸素飽和度モードにおいて、酸素飽和度を算出し、算出した酸素飽和度を画像化した酸素飽和度画像を生成する。拡張プロセッサ装置17の詳細については後述する。生成された酸素飽和度画像は、拡張ディスプレイ18に表示される。
各モードにおける点灯又は消灯制御について、詳細な説明を行う。図6に示すように、v-LED20gは、中心波長が410nmの単色光vを発光する。b-LED20aは、中心波長が450nmの単色光bを発光する。sb-LED20bは、中心波長が470nmの単色光sbを発光する。g-LED20cは、中心波長が540nmの単色光gを発光する。a-LED20dは、中心波長が620nmの単色光aを発光する。r-LED20eは、中心波長が690nmの単色光rを発光する。ir-LED20fは、中心波長が850nmの単色光irを発光する。なお、各単色光の中心波長は、ピーク波長と同じであってもよく、異なってもよい。
通常モードでは、v-LED20g、b-LED20a、g-LED20c、a-LED20dを同時に点灯することによって、中心波長410nmの単色光v、中心波長450nmの単色光b、中心波長540nmの単色光g、及び、中心波長620nmの単色光aを含む多色光として発光する。酸素飽和度モードでは、第1照明光として、中心波長が450nm、470nm、540nm、620nm、690nm、850nmの単色光を順に発光し、且つ、各単色光の発光の間に、第1照明光より広帯域の第2照明光として、多色光を発光する。具体的には、図7に示すように、フレーム1~フレーム10の10フレーム分の発光を繰り返し行う場合において、偶数フレームのフレーム2、4、6、8、10に、それぞれ中心波長が470nm、540nm、620nm、690nm、850nmの単色光sb、g、a、r、irを発光し、且つ、偶数フレームの間の奇数フレーム1、3、5、7、9に、中心波長450nmの単色光b、中心波長540nmの単色光g、及び、中心波長690nmの単色光rを含む多色光を発光する。
Bカラーフィルタ、Gカラーフィルタ、及び、Rカラーフィルタの分光透過率について、詳細な説明を行う。図8に示すように、撮像センサ36のB画素に設けられるBカラーフィルタBFは、主として青色帯域の光、具体的には、波長帯域が380~560nm(青色透過帯域)の光を透過させる。透過率が最大となるピーク波長は460~470nm付近に存在する。撮像センサ36のG画素に設けられるGカラーフィルタGFは、主として緑色帯域の光、具体的には、波長帯域が450~630nm(緑色透過帯域)の光を透過させる。撮像センサ36のR画素に設けられるRカラーフィルタRFは、主として赤色帯域の光、具体的には580~900nm(赤色透過帯域)の光を透過させる。
撮像用プロセッサ37における各モードの制御について、詳細な説明を行う。図9に示すように、通常モードでは、撮像用プロセッサ37は、単色光b、単色光g、及び、単色光rを含む多色光で照明中の観察対象を1フレーム毎に撮像するように、撮像センサ36を制御する。これにより、撮像センサ36のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。Bc画像信号、Gc画像信号、及び、Rc画像信号に基づいて、白色光画像が生成される。
図10に示すように、酸素飽和度モードでは、奇数フレームのフレーム1、3、5、7、9において、撮像用プロセッサ37は、単色光b、単色光g、及び、単色光rを含む多色光で照明中の観察対象を撮像する制御を行う。これにより、フレーム1、3、5、7、9において、撮像センサ36のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。Bc画像信号、Gc画像信号、及び、Rc画像信号に基づいて、白色光相当画像が生成される。
一方、偶数フレームのフレーム2において、撮像用プロセッサ37は、単色光sbで照明中の観察対象を撮像する制御を行う。これにより、撮像センサ36のB画素からB1画像信号が出力され、G画素からG1画像信号が出力され、R画素からR1画像信号が出力される。同様にして、偶数フレームのフレーム4、6、8、10において、撮像用プロセッサ37は、単色光g、a、r、irで照明中の観察対象を撮像する制御を行う。これにより、撮像センサ36のB画素からB2、B3、B4、B5画像信号が出力され、G画素からG2、G3、G4、G5画像信号が出力され、R画素からR2、R3、R4、R5画像信号が出力される。
酸素飽和度などの生体パラメータの算出には、偶数フレームのフレーム2、4、6、8、10で得られた画像信号のうち、B1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号、B5画像信号、G5画像信号、R5画像信号が用いられる。B1画像信号は、BカラーフィルタBFを透過した光のうち、単色光sbに関する画像情報が含まれている。B2画像信号には、BカラーフィルタBFを透過した光のうち、単色光gに関する画像情報が含まれている。G2画像信号には、GカラーフィルタGFを透過した光のうち、単色光gに関する画像情報が含まれている。R3画像信号には、RカラーフィルタRFを透過した光のうち、単色光aに関する画像情報が含まれている。R4画像信号には、Rカラーフィルタを透過した光のうち、単色光rに関する画像情報が含まれている。B5画像信号には、Bカラーフィルタを透過した光のうち、単色光irに関する画像情報が含まれている。G5画像信号には、Gカラーフィルタを透過した光のうち、単色光irに関する画像情報が含まれている。R5画像信号には、Rカラーフィルタを透過した光のうち、単色光irに関する画像情報が含まれている。
また、単色光sbに関する画像情報には、図11に示すように、血中ヘモグロビンの酸素飽和度の変化により反射スペクトルが変化する波長帯域sbの画像情報を含んでいる。同様にして、単色光g、a、r、irに関する画像情報には、血中ヘモグロビンの酸素飽和度の変化により反射スペクトルが変化する波長帯域g、a、r、irの画像情報を含んでいる。なお、曲線55aは、還元ヘモグロビンの反射スペクトルを表しており、曲線55bは酸化ヘモグロビンの反射スペクトルを表している。
拡張プロセッサ装置17について、詳細に説明する。拡張プロセッサ装置17は、図12に示すように、実測第1分光信号取得部60と、生体パラメータ算出部61と、基準分光信号設定部62と、表示制御部63と、位置合わせ部64とを備えている。拡張プロセッサ装置17には、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサによって構成される中央制御部(図示しない)がプログラム用メモリ内のプログラムを実行することによって実測第1分光信号取得部60と、生体パラメータ算出部61と、基準分光信号設定部62と、表示制御部63と、位置合わせ部64との機能が実現する。なお、プロセッサは、1又は複数であることが好ましい。
実測第1分光信号取得部60は、第1照明光で観察対象を照射している間に撮像センサ36で撮像された実測第1分光信号(第1分光信号)を取得する。プロセッサは、実測第1分光信号に基づいて処理を行う。実測第1分光信号としては、酸素飽和度モードで得られるB1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号、B5画像信号、G5画像信号、R5画像信号が用いられる。本実施形態では、B1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号については、実測第1分光信号としてそのまま使用し、B5画像信号、G5画像信号、R5画像信号については、それら3色の画像信号を合成したMR5画像信号を実測第1分光信号として使用する。以下、実測第1分光信号のB1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号、及びMR5画像信号について、B1img画像信号、B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号として、表記する。
なお、実測第1分光信号については、照明光の照度の不安定性を無くすために、複数の実測第1分光信号の平均値で規格化されていることが好ましい。本実施形態では、6つの実測第1分光信号のB1img画像信号、B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号の平均値をAveとした場合、対数化したB1img画像信号を、対数化した平均値Aveで減算することにより、B1img画像信号を規格化する(Log(B1img画像信号)-Log(Ave))。B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号についても、B1img画像信号と同様の方法で、規格化を行う。
生体パラメータ算出部61は、実測第1分光信号に応じて予め定められる基準分光信号と、実測第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出する。具体的には、第1実施形態では、生体パラメータ算出部61は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、撮像センサ36の分光感度から設定される基準分光信号と、実測第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出する。表示制御部63は、酸素飽和度画像に基づく酸素飽和度画像を拡張ディスプレイ18に表示する。なお、基準分光信号は、実測第1分光信号の波長域又は個数が一致するように、予め定めることが好ましい。
生体パラメータ算出部61は、基準分光信号と実測第1分光信号の差分に基づく差分演算値が特定範囲内となるように、生体パラメータを算出する(フィッティング処理)。本実施形態では、基準分光信号は、基準分光信号と実測第1分光信号の差分に基づく差分演算値として、基準分光信号と実測第1分光信号の誤差に基づく誤差計算値を用いる。生体パラメータを引数とする分光モデルに基づいて定められていることから、生体パラメータの関数で定義される。本実施形態では、生体パラメータとして、酸素飽和度Sの他、ヘモグロビン濃度Hb、ビリルビン濃度Bb、散乱波長依存性パラメータbの4つが用いられる。
基準分光信号は、実測第1分光信号毎に定められている。本実施形態では、B1img画像信号、B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号に対応する基準分光信号として、B1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号を定めている。
誤差計算値Diffは、(式1)に基づく2乗誤差算出式によって算出されることが好ましい。
Diff=WB1(B1std(S,Hb,Bb,b)-B1img)2
+WB2(B2std(S,Hb,Bb,b)-B2img)2
+WG1(G2std(S,Hb,Bb,b)-G2img)2
+WR3(R3std(S,Hb,Bb,b)-R3img)2
+WR4(R4cal(S,Hb,Bb,b)-R4img)2
+WMR5(MR5std(S,Hb,Bb,b)-MR5img)2・・・(式1)
なお、B1std(S,Hb,Bb,b)、B2std(S,Hb,Bb,b)、G2std(S,Hb,Bb,b)、R3std(S,Hb,Bb,b)、R4std(S,Hb,Bb,b)、及び、MR5std(S,Hb,Bb,b)は、それぞれB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号を表しており、また、酸素飽和度S、ヘモグロビン濃度Hb、ビリルビン濃度Bb、散乱波長依存性パラメータbの関数であることを表している。また、B1img、B2img、G2img、R3img、R4img、及び、MR5imgは、それぞれB1img画像信号、B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号を表している。また、WB1、WB2、WG2、WR3、WR4、WMR5は、各項の二乗差分値に対する重み付因子を表している。
Diff=WB1(B1std(S,Hb,Bb,b)-B1img)2
+WB2(B2std(S,Hb,Bb,b)-B2img)2
+WG1(G2std(S,Hb,Bb,b)-G2img)2
+WR3(R3std(S,Hb,Bb,b)-R3img)2
+WR4(R4cal(S,Hb,Bb,b)-R4img)2
+WMR5(MR5std(S,Hb,Bb,b)-MR5img)2・・・(式1)
なお、B1std(S,Hb,Bb,b)、B2std(S,Hb,Bb,b)、G2std(S,Hb,Bb,b)、R3std(S,Hb,Bb,b)、R4std(S,Hb,Bb,b)、及び、MR5std(S,Hb,Bb,b)は、それぞれB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号を表しており、また、酸素飽和度S、ヘモグロビン濃度Hb、ビリルビン濃度Bb、散乱波長依存性パラメータbの関数であることを表している。また、B1img、B2img、G2img、R3img、R4img、及び、MR5imgは、それぞれB1img画像信号、B2img画像信号、G2img画像信号、R3img画像信号、R4img画像信号、及び、MR5img画像信号を表している。また、WB1、WB2、WG2、WR3、WR4、WMR5は、各項の二乗差分値に対する重み付因子を表している。
生体パラメータ算出部61では、上記(式1)により誤差計算値Diffを算出した場合には、誤差計算値Diffが最小になるように、生体パラメータを算出する。これにより、生体パラメータとして、酸素飽和度S、ヘモグロビン濃度Hb、ビリルビン濃度Bb、散乱波長依存性パラメータbが得られる。生体パラメータは、画素毎に算出する他、又は、複数の画素を有する画素領域毎に算出してもよい。
本実施形態では、酸素飽和度を含むN-1個(Nは3よりも大きい整数)の生体パラメータで決定される、異なる波長におけるN個以上の基準分光信号と、N個以上の基準信号の波長に対応するN個以上の第1分光信号を用いて、生体パラメータを算出するのが好ましい。生体パラメータの個数であるN-1よりも大きいN個の第1分光信号を用いて生体パラメータを算出することで、N-1個の生体パラメータを精度良く算出することができる。
なお、本実施形態では、酸素飽和度S、ヘモグロビン濃度Hb、ビリルビン濃度Bb、散乱波長依存性パラメータbの4つの生体パラメータを精度良く算出するために、実測第1分光画像信号として、6つのB1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号、MR5画像信号を用いている。
算出された酸素飽和度は、画像化された酸素飽和度画像として、各種表示態様で、拡張ディスプレイ18に表示される。例えば、拡張ディスプレイ18に、白色光相当画像の動画と並列して、酸素飽和度の静止画を表示することが好ましい。また、白色光相当画像の動画と酸素飽和度画像の動画を並列して表示する場合には、酸素飽和度画像の動画のほうのフレームレートを落として表示することが好ましい。なお、白色光相当画像は、第2照明光が観察対象に照射されている間に撮像センサ36で撮像された実測第2分光信号(第2分光信号)に基づいて生成されることが好ましい。実測第2分光信号は、酸素飽和度モードの奇数フレーム(フレーム1、3、5、7、9)で得られるBc画像信号、Gc画像信号、Rc画像信号であることが好ましい。
なお、生体パラメータとして、酸素飽和度以外に、ヘモグロビン濃度、ビリルビン濃度、散乱波長依存性パラメータを算出するため、これらも画像として拡張ディスプレイ18に表示するようにしてもよい。例えば、ヘモグロビン濃度に基づくヘモグロビン濃度画像を拡張ディスプレイ18に表示してもよい。ヘモグロビン濃度と酸素飽和度を組み合わせることで、鬱血の指標とすることができるため、白色光画像と並列して、酸素飽和度画像とヘモグロビン濃度画像を拡張ディスプレイ18に表示することが好ましい。また、酸素飽和度とヘモグロビン濃度を組み合わせた指標を画像化して拡張ディスプレイ18に表示してもよい。例えば、酸素飽和度を色差Cr、Cbに割り当て、ヘモグロビン濃度を輝度Yに割り当てた疑似カラー画像を拡張ディスプレイ18に表示する。この場合、疑似カラー画像では、ヘモグロビン濃度が高いほど暗く表示される。
位置合わせ部64は、実測第2分光信号間の移動量に基づいて、実測第1分光信号間の位置合わせを行う。位置合わせ部64は、酸素飽和度モードの奇数フレーム(フレーム1、3、5、7、9)で得られる実測第2分光信号間から観察対象の移動量を算出し、算出した移動量を用いて、実測第1分光信号のB1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号、B5画像信号、G5画像信号、R5画像信号の位置合わせを行う。例えば、図13に示すように、フレーム1、3、5のBc画像信号、Gc画像信号、Rc画像信号から移動量を算出する。算出した移動量を用いて、フレーム2のB1画像信号とフレーム4のB2画像信号、G2画像信号間の位置合わせを行う。なお、図12では、フレーム4のB2画像信号、G2画像信号の位置に合うように、フレーム2のB1画像信号を位置合わせしているが、反対に、フレーム2のB1画像信号の位置に合うように、フレーム4のB2画像信号、G2画像信号の位置合わせをしてもよい。
基準分光信号設定部62は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、撮像センサ36の分光感度から、基準分光信号を設定する。基準分光信号は、発光スペクトルに対応する基準発光値で規格化されることが好ましい。
本実施形態では、B1std(S,Hb,Bb,b)は、(式2)に従って、設定する。
なお、(式2)において、「Lsb(λ)」は単色光sbの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sb(λ)」は、撮像センサ36のB画素の感度を表している。(式2)の分母は、単色光sbの発光スペクトルに対応する基準発光値であり、この基準発光値で、B1cal(S,Hb,Bb,b)は規格化されている。
なお、(式2)において、「Lsb(λ)」は単色光sbの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sb(λ)」は、撮像センサ36のB画素の感度を表している。(式2)の分母は、単色光sbの発光スペクトルに対応する基準発光値であり、この基準発光値で、B1cal(S,Hb,Bb,b)は規格化されている。
本実施形態では、B2std(S,Hb,Bb,b)は、(式3)に従って、設定する。
なお、(式3)において、「Lg(λ)」は単色光gの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sb(λ)」は、撮像センサ36のB画素の感度を表している。(式3)の分母は、単色光gの発光スペクトルに対応する基準発光値であり、この基準発光値で、B2std(S,Hb,Bb,b)は規格化されている。
なお、(式3)において、「Lg(λ)」は単色光gの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sb(λ)」は、撮像センサ36のB画素の感度を表している。(式3)の分母は、単色光gの発光スペクトルに対応する基準発光値であり、この基準発光値で、B2std(S,Hb,Bb,b)は規格化されている。
本実施形態では、G2std(S,Hb,Bb,b)は、(式4)に従って、設定する。
なお、(式4)において、「Lg(λ)」は単色光gの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sg(λ)」は、撮像センサ36のG画素の感度を表している。(式4)の分母は、単色光gの発光スペクトルに対応する基準発光値であり、この基準発光値で、G2std(S,Hb,Bb,b)は規格化されている。
なお、(式4)において、「Lg(λ)」は単色光gの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sg(λ)」は、撮像センサ36のG画素の感度を表している。(式4)の分母は、単色光gの発光スペクトルに対応する基準発光値であり、この基準発光値で、G2std(S,Hb,Bb,b)は規格化されている。
本実施形態では、R3std(S,Hb,Bb,b)は、(式5)に従って、設定する。
なお、(式5)において、「La(λ)」は単色光aの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」は、撮像センサ36のR画素の感度を表している。(式5)の分母は、単色光aの発光スペクトルに対応する基準発光値であり、この基準発光値で、R3std(S,Hb,Bb,b)は規格化されている。
なお、(式5)において、「La(λ)」は単色光aの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」は、撮像センサ36のR画素の感度を表している。(式5)の分母は、単色光aの発光スペクトルに対応する基準発光値であり、この基準発光値で、R3std(S,Hb,Bb,b)は規格化されている。
本実施形態では、R4std(S,Hb,Bb,b)は、(式6)に従って、設定する。
なお、(式6)において、「Lr(λ)」は単色光rの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」は、撮像センサ36のR画素の感度を表している。(式6)の分母は、単色光rの発光スペクトルに対応する基準発光値であり、この基準発光値で、R4std(S,Hb,Bb,b)は規格化されている。
なお、(式6)において、「Lr(λ)」は単色光rの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」は、撮像センサ36のR画素の感度を表している。(式6)の分母は、単色光rの発光スペクトルに対応する基準発光値であり、この基準発光値で、R4std(S,Hb,Bb,b)は規格化されている。
本実施形態では、MR5std(S,Hb,Bb,b)は、(式7)に従って、設定する。
なお、(式7)において、「Lir(λ)」は単色光rの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」、「Sg(λ)」、「Sb(λ)」は、それぞれ撮像センサ36のR画素、G画素、B画素の感度を表している。(式6)の分母は、単色光irの発光スペクトルに対応する基準発光値であり、この基準発光値で、R5std(S,Hb,Bb,b)は規格化されている。
なお、(式7)において、「Lir(λ)」は単色光rの輝度を表している。「R(λ;S,Hb,Bb,b)」は、分光モデルから定められる生体の分光反射率を表している。「Sr(λ)」、「Sg(λ)」、「Sb(λ)」は、それぞれ撮像センサ36のR画素、G画素、B画素の感度を表している。(式6)の分母は、単色光irの発光スペクトルに対応する基準発光値であり、この基準発光値で、R5std(S,Hb,Bb,b)は規格化されている。
生体の分光反射率R(λ;S,Hb,Bb,b)については、吸収係数μa(λ;Hb,S,Bb)と散乱係数μs´(λ;b)との比μa/μs´から算出される。分光反射率Rと比μa/μs´との関係は、図14で表される。なお、分光反射率R(比μa/μs´)については、関数形をテーブルで記憶させてもよく、多項式等の簡単な関数で近似して保持してもよい。また、図14では、分光反射率Rと比μa/μs´は、いずれも対数化されている。
なお、吸収係数μa(λ;Hb,S,Bb)は、(式8)で表される。
μa(λ;Hb,S,Bb)
=Hb×{S/100×μaHbO2(λ)+(1-S/100)×μaHb(λ)}
+Bb×μaBb(λ)・・・(式8)
(式8)において、μaHbO2(λ)は酸化ヘモグロビンの吸収係数を、Hb(λ)は還元ヘモグロビンの吸収係数を表している。μaBb(λ)はビリルビンの吸収係数を表している。λは波長を表している(式(9)も同様)
μa(λ;Hb,S,Bb)
=Hb×{S/100×μaHbO2(λ)+(1-S/100)×μaHb(λ)}
+Bb×μaBb(λ)・・・(式8)
(式8)において、μaHbO2(λ)は酸化ヘモグロビンの吸収係数を、Hb(λ)は還元ヘモグロビンの吸収係数を表している。μaBb(λ)はビリルビンの吸収係数を表している。λは波長を表している(式(9)も同様)
また、散乱係数μs´(λ;b)は、(式9)で表される。
μs´(λ;b)=14cm-1×(λ/500nm)-b・・・(式9)
μs´(λ;b)=14cm-1×(λ/500nm)-b・・・(式9)
基準分光信号設定部62は、照明光の発光スペクトルを変更した場合には、基準分光信号を再設定する。例えば、図15に示すように、フレーム2で発光する単色光sbの光強度をLxからLyに増加させた場合には、(式2)に従って、B1std画像信号を再設定する。また、基準分光信号設定部62は、分光感度が異なる撮像センサ36に変更した場合には、基準分光信号を再設定する。例えば、図16に示すように、分光感度Xを有する撮像センサ36を有する内視鏡12Aを光源装置13から取り外し、代わりに、分光感度Xと異なる分光感度Yを有する撮像センサ36を有する内視鏡12Bを光源装置13に装着した場合には、(式2)~(式7)に従って、B1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号を再設定する。
次に、酸素飽和度モードの一連の流れについて、図17のフローチャートに沿って説明を行う。モード切替スイッチ12fの操作によって、酸素飽和度モードに切り替えられると、照明光として、多色光と単色光とが交互に照明される。実測第1分光信号取得部60は、単色光で照明された観察対象を撮像センサ36で撮像して得られる実測第1分光信号を取得する。生体パラメータ算出部61は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、撮像センサ36の分光感度から設定される基準分光信号と、実測第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出する。拡張ディスプレイ18は、酸素飽和度に基づく酸素飽和度画像を表示する。
[第2実施形態]
第2実施形態においては、生体パラメータを算出する場合において、分光モデルで、生体パラメータを、引数(変数)とするのではなく、予め固定値として複数定め、それら固定値の生体パラメータの中から、条件を満たすものを生体パラメータとして算出する。第2実施形態では、生体パラメータの算出に用いる基準分光信号は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、撮像センサ36の分光感度から、分光モデル毎に、Mセット分設定される。なお、基準分光信号の設定以外については、第1実施形態と同様である。
第2実施形態においては、生体パラメータを算出する場合において、分光モデルで、生体パラメータを、引数(変数)とするのではなく、予め固定値として複数定め、それら固定値の生体パラメータの中から、条件を満たすものを生体パラメータとして算出する。第2実施形態では、生体パラメータの算出に用いる基準分光信号は、照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、撮像センサ36の分光感度から、分光モデル毎に、Mセット分設定される。なお、基準分光信号の設定以外については、第1実施形態と同様である。
具体的には、生体パラメータの算出に最低限必要な分光モデルとして、16個の分光モデルが用いられる(M=16)。この場合には、図18に示すように、酸素飽和度が「高酸素飽和度」、「低酸素飽和度」の2通り場合、ヘモグロビン濃度が「高ヘモグロビン濃度」、「低ヘモグロビン濃度」の2通りの場合、ビリルビン濃度が「高ビリルビン濃度」、「低ビリルビン濃度」、散乱波長依存パラメータが「高散乱波長依存パラメータ」、「低散乱波長依存パラメータ」の2通りの場合の合計16個の分光モデルSP1~SP16が用いられる。この場合、基準分光信号は16セット設定される。なお、図18において、「S」は酸素飽和度、「Hb」はヘモグロビン濃度、「Bb」はビリルビン濃度、「b」は散乱波長依存パラメータを表しており、「高」は高濃度、又は高いパラメータであることを、「低」は低濃度、又は、低いパラメータであることを表している(図19、図20でも同様である(図19、図20の場合は、「中」は中濃度、又は中間のパラメータであることを表している))。
また、生体パラメータの算出精度向上のために必要な分光モデルとして、81個の分光モデルが用いられる(M=81)。この場合には、図19に示すように、酸素飽和度が「高酸素飽和度」、「中酸素飽和度」、「低酸素飽和度」の3通り場合、ヘモグロビン濃度が「高ヘモグロビン濃度」、「中ヘモグロビン濃度」、「低ヘモグロビン濃度」の3通りの場合、ビリルビン濃度が「高ビリルビン濃度」、「中ビリルビン濃度」、「低ビリルビン濃度」、散乱波長依存パラメータが「高散乱波長依存パラメータ」、「中散乱波長依存パラメータ」、「低散乱波長依存パラメータ」の3通りの場合の合計81個の分光モデルSP1~SP81が用いられる。この場合、基準分光信号は81セット設定される。
また、生体パラメータの算出について更なる精度向上のために必要な分光モデルとして、図20に示すように、酸素飽和度の濃度を、「高酸素飽和度」と「中酸素飽和度」の間に中間濃度を設け、「中酸素飽和度」と「低酸素飽和度」の間に中間濃度を設け、その他のヘモグロビン濃度、ビリルビン濃度、散乱波長依存パラメータについても、同様の中間濃度を設けてもよい。この場合の合計M個の分光モデルSP1~SPMが用いられる。この場合、基準分光信号はMセット設定される。
以下においては、説明の簡略化のため、生体パラメータの算出に用いる分光モデルの中の一部の分光モデルSPX1~SPX4を用いて説明を行う。図21に示すように、分光モデルSPX1で定められる分光反射率RLX1は、生体パラメータLPX1で定められている。生体パラメータLP1には、低酸素飽和度の酸素飽和度SX1、高ヘモグロビン濃度のヘモグロビン濃度HbX1、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。
また、分光モデルSPX2で定められる分光反射率RL2Xは、生体パラメータLPX2で定められている。生体パラメータLP2には、高酸素飽和度の酸素飽和度SX2、高ヘモグロビン濃度のヘモグロビン濃度HbX2、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。また、分光モデルSPX3で定められる分光反射率RLX3は、生体パラメータLPX3で定められている。生体パラメータLPX3には、低酸素飽和度の酸素飽和度SX3、低ヘモグロビン濃度のヘモグロビン濃度HbX3、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。また、分光モデルSPX4で定められる分光反射率RLX4は、生体パラメータLPX4で定められている。生体パラメータLPX4には、高酸素飽和度の酸素飽和度SX4、低ヘモグロビン濃度のヘモグロビン濃度HbX4、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。
図22に示すように、第2実施形態の基準分光信号設定部71は、照明光の発光スペクトル、分光反射率RLX1、及び、撮像センサ36の分光感度から、分光モデルSPX1についての基準分光信号を設定する。基準分光信号の設定方法は、第1実施形態と同様である。図23に示すように、以上のように得られた分光モデルSPX1についての基準分光信号には、6つのB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号が含まれている。分光モデルSPX2、SPX3、SPX4についての基準分光信号についても、同様に、6つのB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号が含まれている。同様にして、分光モデルSPX2、SPX3、SPX4についての基準分光信号が設定される。
第2実施形態の生体パラメータ算出部70は、Mセットの基準分光信号のうち、実測第1分光信号との誤差に基づく誤差計算値が最小となる特定基準分光信号を選択する。その上で、特定基準分光信号に対応する分光モデルで定められる特定生体パラメータを、生体パラメータとして算出する。具体的には、分光モデルSPX1、SPX2、SPX3、SPX4についての4セットの基準分光信号を用いる場合、実測第1分光信号との誤差に基づく誤差計算値が最小となる基準分光信号が、分光モデルSP1についての基準分光信号の場合、分光モデルSPX1についての基準分光信号が特定基準分光信号として選択される。この場合、分光モデルSPX1で定められる生体パラメータLP1が、生体パラメータとして算出される。即ち、酸素飽和度S1と、ヘモグロビン濃度Hb1が、生体パラメータとして算出される。なお、誤差計算値は、第1実施形態のように、二乗誤差で得られる値とすることが好ましい。
[第3実施形態]
第3実施形態においては、生体パラメータを算出する場合において、分光モデルの代わりに、分光モデルを模したファントムを複数用い、ファントムが定める生体パラメータの中から、条件を満たす生体パラメータを、生体パラメータとして算出する。第3実施形態では、生体パラメータの算出に用いる基準分光信号は、照明光の発光スペクトル、ファントムを分光測定して定められる生体の分光反射率、及び撮像センサ36の分光感度から、ファントム毎にMセット分設定される。なお、基準分光信号の設定以外については、第1実施形態と同様である。
第3実施形態においては、生体パラメータを算出する場合において、分光モデルの代わりに、分光モデルを模したファントムを複数用い、ファントムが定める生体パラメータの中から、条件を満たす生体パラメータを、生体パラメータとして算出する。第3実施形態では、生体パラメータの算出に用いる基準分光信号は、照明光の発光スペクトル、ファントムを分光測定して定められる生体の分光反射率、及び撮像センサ36の分光感度から、ファントム毎にMセット分設定される。なお、基準分光信号の設定以外については、第1実施形態と同様である。
具体的には、生体パラメータの算出に最低限必要なファントムについては、図18に示す16個の分光モデルに対応したファントムを用いることが好ましい。この場合、基準分光信号は16セット設定される。また、生体パラメータの算出精度向上のために必要なファントムについては、図19に示す81個の分光モデルに対応したファントムを用いることが好ましい。この場合、基準分光信号は81セット設定される。また、生体パラメータの算出について更なる精度向上のために必要なファントムについては、図20に示すM個の分光モデルに対応したファントムを用いることが好ましい。この場合、基準分光信号は、Mセット設定される。
以下においては、説明の簡略化のため、生体パラメータの算出に用いるファントムの中の一部のファントムFHX1~FHX4を用いて説明を行う。図24に示すように、ファントムFHX1は、生体パラメータLPX1で定められる分光反射率RLX1を有する。生体パラメータLPX1には、低酸素飽和度の酸素飽和度SX1、高ヘモグロビン濃度のヘモグロビン濃度HbX1、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。
また、ファントムFHX2は、生体パラメータLPX2で定められる分光反射率RLX2を有する。生体パラメータLPX2には、高酸素飽和度の酸素飽和度SX2、高ヘモグロビン濃度のヘモグロビン濃度HbX2が、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1含まれる。また、ファントムFHX3は、生体パラメータLPX3で定められる分光反射率RLX3を有する。生体パラメータLPX3には、低酸素飽和度の酸素飽和度SX3、低ヘモグロビン濃度のヘモグロビン濃度HbX3、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。また、ファントムFH4は、生体パラメータLPX4で定められる分光反射率RLX4を有する。生体パラメータLPX4には、高酸素飽和度の酸素飽和度SX4、低ヘモグロビン濃度のヘモグロビン濃度HbX4、中ビリルビン濃度BbX1、中散乱波長依存パラメータbX1が含まれる。以上の分光反射率RLX1~RLX4については、ファントムを分光測定装置で測定することによって、予め算出される。算出された分光反射率RLX1~RLX4は、拡張プロセッサ装置17において予め記憶される。
図25に示すように、第3実施形態の基準分光信号設定部81は、照明光の発光スペクトル、分光反射率RLX1、及び、撮像センサ36の分光感度から、ファントムFHX1についての基準分光信号を設定する。基準分光信号の設定方法は、第1実施形態と同様である。図26に示すように、以上のように得られたファントムFHX1についての基準分光信号には、6つのB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号が含まれている。ファントムFHX2~FHX4についての基準分光信号についても、同様に、6つのB1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号が含まれている。同様にして、ファントムFHX2、FHX3、FHX4についての基準分光信号が設定される。
第3実施形態の生体パラメータ算出部80は、Mセットの基準分光信号のうち、実測第1分光信号との誤差に基づく誤差計算値が最小となる特定基準分光信号を選択する。その上で、特定基準分光信号に対応する分光モデルで定められる特定生体パラメータを、生体パラメータとして算出する。具体的には、ファントムFHX1~FHX4についての4セットの基準分光信号を用いる場合、実測第1分光信号との誤差に基づく誤差計算値が最小となる基準分光信号が、ファントムFHX1についての基準分光信号の場合、ファントムFHX1についての基準分光信号が特定基準分光信号として選択される。この場合、ファントムFHX1で定められる生体パラメータLPX1が、生体パラメータとして算出される。即ち、酸素飽和度S1と、ヘモグロビン濃度Hb1が、生体パラメータとして算出される。なお、誤差計算値は、第1実施形態のように、二乗誤差で得られる値とすることが好ましい。
[第4実施形態]
第4実施形態においては、生体パラメータを算出する場合において、分光モデルの代わりに、分光モデルを模したファントムを複数用い、ファントム毎に、単色光を照明し、撮像して基準分光信号を得る。そして、基準分光信号の中で、条件を満たす基準分光信号に対応するファントムが定める生体パラメータを、生体パラメータとして算出する。そのため、第4実施形態では、図27に示す基準分光信号取得部90で、ファントム毎に、ファントムを単色光で照明して撮像することによって、Mセットの基準分光信号を取得することが予め行われる。なお、基準分光信号の取得以外については、第1実施形態と同様である。
第4実施形態においては、生体パラメータを算出する場合において、分光モデルの代わりに、分光モデルを模したファントムを複数用い、ファントム毎に、単色光を照明し、撮像して基準分光信号を得る。そして、基準分光信号の中で、条件を満たす基準分光信号に対応するファントムが定める生体パラメータを、生体パラメータとして算出する。そのため、第4実施形態では、図27に示す基準分光信号取得部90で、ファントム毎に、ファントムを単色光で照明して撮像することによって、Mセットの基準分光信号を取得することが予め行われる。なお、基準分光信号の取得以外については、第1実施形態と同様である。
具体的には、生体パラメータの算出に最低限必要なファントムについては、図18に示す16個の分光モデルに対応したファントムを用いることが好ましい。この場合、基準分光信号は16セット取得される。また、生体パラメータの算出精度向上のために必要なファントムについては、図19に示す分光モデルに対応した81個のファントムを用いることが好ましい。この場合、基準分光信号は81セット取得される。また、生体パラメータの算出について更なる精度向上のために必要なファントムについては、図20に示すM個の分光モデルに対応したファントムを用いることが好ましい。この場合、基準分光信号はMセット取得される。
以下においては、説明の簡略化のため、生体パラメータの算出に用いるファントムの中の一部のファントムFHX1~FHX4を用いて説明を行う。図28に示すように、ファントムFHX1に対しては、単色光sb、g、a、r、irが照明され、各単色光の照明毎に、撮像センサ36で撮像を行う。この撮像により、B1、G1、R1画像信号、B2、G2、R2画像信号、B3、G3、R3画像信号、B4、G4、R4画像信号、B5、G5、R5画像信号が得られる。これら画像信号のうち、B1画像信号、B2画像信号、G2画像信号、R3画像信号、R4画像信号と、B5、G5、R5画像信号を合成したMR5画像信号が、それぞれ、基準分光信号とされる。
即ち、図26に示すように、ファントムFHX1の場合には、基準分光信号として、B1std画像信号、B2std画像信号、G2std画像信号、R3std画像信号、R4std画像信号、及び、MR5std画像信号が含まれる。同様にして、ファントムFHX2~FHX4についても、ファントムFHX1の場合と同様に、ファントムFHX2~FHX4に対する単色光の照明と撮像によって、ファントム毎に基準分光信号が得られる。
第4実施形態の生体パラメータ算出部91は、Mセットの基準分光信号のうち、実測第1分光信号との誤差に基づく誤差計算値が最小となる特定基準分光信号を選択する。その上で、特定基準分光信号に対応するファントムで定められる特定生体パラメータを、生体パラメータとして算出する。具体的には、ファントムFHX1~FHX4についての4セットの基準分光信号を用いる場合、実測第1分光信号との誤差に基づく誤差計算値が最小となる基準分光信号が、ファントムFHX1についての基準分光信号の場合、ファントムFHX1についての基準分光信号が特定基準分光信号として選択される。この場合、ファントムFHX1で定められる生体パラメータLPX1が、生体パラメータとして算出される。即ち、酸素飽和度S1と、ヘモグロビン濃度Hb1が、生体パラメータとして算出される。なお、誤差計算値は、第1実施形態のように、二乗誤差で得られる値とすることが好ましい。
なお、内視鏡として、消化管用の軟性鏡である内視鏡12を用いる他、腹腔鏡用の硬性鏡である内視鏡を用いてもよい。硬性鏡の内視鏡を用いる場合には、図29に示す内視鏡システム200が用いられる。内視鏡101と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、プロセッサ側ユーザーインターフェース16と、拡張プロセッサ装置17と、拡張ディスプレイ18とを備えている。なお、以下、内視鏡システム100において、内視鏡システム10と共通する部分は省略し、相違する部分のみ説明を行う。
図30に示すように、撮像ユニット103は、内視鏡101からの光を複数の波長帯域の光に分光し、且つ、分光した複数の波長帯域に基づいて、画像信号を取得する。撮像ユニット103は、ダイクロイックミラー105、106、及び、107と、モノクロの撮像センサ110、111、112、及び113とを備えている。ダイクロイックミラー105は、内視鏡101からの光の反射光のうち、青色帯域の光を反射させ、青色帯域の光よりも長波長の光を透過させる。ダイクロイックミラー105で反射した青色帯域の光は、撮像センサ110に入射する。撮像センサ110には、単色光sb、単色光gのうち青色帯域の部分の光、及び、単色光irが入射する。
ダイクロイックミラー106は、ダイクロイックミラー105を透過した光のうち、緑色帯域の光を反射させ、緑色帯域の光よりも長波長の光を透過させる。ダイクロイックミラー106で反射した緑色帯域の光は、撮像センサ111に入射する。撮像センサ111には、単色光gのうち緑色帯域の光、及び、単色光irが入射する。一方、ダイクロイックミラー106を透過した光は、撮像センサ112に入射する。撮像センサ112には、単色光r、及び、単色光irが入射する。
通常モードにおいては、撮像センサ110、111、112は、単色光b、単色光g、単色光rの入射に合わせて、それぞれBc画像信号、Gc画像信号、Rc画像信号を出力する。酸素飽和度モードにおいては、奇数フレーム(フレーム1、3、5、7、9)において、撮像センサ110、111、112は、単色光b、単色光g、単色光rの入射に合わせて、それぞれBc画像信号、Gc画像信号、Rc画像信号を出力する。一方、酸素飽和度モードの偶数フレームにおいては、フレーム2で、撮像センサ110は、単色光sbの入射に合わせて、B1画像を出力する。フレーム4では、撮像センサ110は、単色光gのうち青色帯域の光の入射に合わせて、B2画像信号を出力し、撮像センサ111は、単色光gの入射に合わせて、G2画像信号を出力する。
フレーム6では、撮像センサ112は、単色光aの入射に合わせて、R3画像信号を出力する。フレーム8では、撮像センサ112は、単色光rの入射に合わせて、R4画像信号を出力する。フレーム10では、撮像センサ110は、単色光irの入射に合わせて、B5画像信号を出力し、撮像センサ111は、単色光irの入射に合わせて、G5画像信号を出力し、撮像センサ112は、単色光irの入射に合わせて、R5画像信号を出力する。これら3つのB5画像信号、G5画像信号、R5画像信号は合成されて、MR5画像信号として生成される。
なお、腹腔鏡用の硬性鏡である内視鏡を用いる場合には、3つのモノクロの撮像センサ110~112を用いて観察対象の撮像を行う内視鏡システム100に代えて、他の撮像方式で観察対象の撮像を行う内視鏡システム200を用いてもよい。図31に示すように、内視鏡システム200においては、1つのカラーの撮像センサ203を有する1センサタイプの腹腔用の内視鏡201が用いられる。撮像センサ203は、内視鏡201の撮像ユニット205に設けられている。撮像センサ203の分光感度は、撮像センサ36と同様である。その他については、内視鏡システム100と同様である。
なお、上記実施形態においては、単色光を順次切り替え、撮像センサ36で撮像することによって、実測第1分光信号を取得しているが、これに代えて、広帯域の照明光で照明を行い、広帯域の照明光を第1照明光に分光する分光型撮像センサで撮像を行うことによって、実測第1分光信号を取得してもよい。具体的には、図32に示すように、広帯域の照明光として、300nm~1000nmの波長域を有する照明光を用いる。分光型撮像センサとしては、スナップショットモザイク型のハイパースペクトル画像センサを用いることが好ましい。
この場合、図33に示すように、分光型撮像センサ300には、縦3画素×横3画素の9画素を単位とするカラーフィルタ配列が、タイル状に配列されている。カラーフィルタ配列では、透過帯域の中心波長がそれぞれ450nm、470nm、500nm、540nm、620nm、690nm、850nmであるカラーフィルタが設けられた画素が配列されている。図33の「450nm、470nm、500nm、540nm、620nm、690nm、850nm」は、それぞれ透過帯域の中心波長を有するカラーフィルタが設けられた画素を表している。広帯域の照明光で照明された観察対象を分光型撮像センサ300で撮像することによって、分光型撮像センサ300のうち、450nmの画素からb画像信号が、470nmの画素からsb画像信号が、500nmの画素からsg画像信号、540nmの画素からlg画像信号が、620nmの画素からa画像信号が、60nmの画素からr画像信号が、850nmの画素からir画像信号が出力される。
以上のように分光型撮像センサ300から画像信号が出力された状態では、各画素においては、各画素の画像信号のみ存在し、他の画素から出力される画像信号は存在しない離散的な画像信号の分布となっている。これに対しては、画素間の補間処理であるデモザイク処理を行うことによって、各画素に、他の画素の画素信号を埋め合わせる。これにより、各画素には、全ての波長域分の画像信号(b画像信号、sb画像信号、sg画像信号、sl画像信号、a画像信号、r画像信号、ir画像信号)が存在することとなる。なお、デモザイク処理としては、例えば、特表2023-529189号に記載の方法を用いることが好ましい。
デモザイク処理後の画像信号については、b画像信号はB1img画像信号として扱われ、sb画像信号はB2img画像信号として扱われる。sg画像信号とsl画像信号を合成した画像信号は、G2img画像信号として扱われる。a画像信号はR3img画像信号として扱われ、r画像信号はR4img画像信号として扱われ、ir画像信号はMR5img画像信号として扱われる。そして、上記実施形態と同様の方法で、生来パラメータの算出が行われる。
なお、上記実施形態においては、酸素飽和度モードにおいて、第2照明光としての多色光の発光の間に、第1照明光として、単色光を発光しているが、その他の光を発光してもよい。例えば、図34に示すように、フレーム1、3、5で、第2照明光として、単色光b、単色光g、単色光aを同時に発光する場合において、フレーム2において、第1照明光として、単色光sbと単色光aを同時に発光し、フレーム4において、第1照明光として、単色光gと単色光rとを同時に発光してもよい。フレーム6は、第1照明光として、単色光irのみを発光する。
この場合、フレーム2において、撮像センサ36のB画素から出力される画像信号をB1img画像信号とし、R画素から出力される画像信号をR3img画像信号とする。また、フレーム4において、撮像センサのB画素から出力される画像信号をB2img画像信号とし、G画素から出力される画像信号をG2img画像信号とし、R画素から出力される画像信号をR2img画像信号とする。フレーム6については、上記実施形態とのフレーム10と同様に、撮像センサ36のB画素、G画素、R画素から出力される画像信号を、それぞれB5img画像信号、G5img画像信号、R5img画像信号とする。以上のように、第1照明光を発光した場合には、フレーム1~6の6フレーム分にフレーム数を抑えることができる。
上記実施形態において、実測第1分光信号取得部60、生体パラメータ算出部61、基準分光信号設定部62、表示制御部63、位置合わせ部64といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12、12A、12B 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12h 静止画像取得指示スイッチ
12i ズーム操作部
12j 鉗子口
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 プロセッサ側ユーザーインターフェース
17 拡張プロセッサ装置
18 拡張ディスプレイ
19 スコープ側ユーザーインターフェース
20 光源部
21 光源用プロセッサ
20a b-LED
20b sb-LED
20c g-LED
20d a-LED
20e r-LED
20f ir-LED
20g v-LED
23 光路結合部
25 ライトガイド
30 照明光学系
31 撮像光学系
32 照明レンズ
35 対物レンズ
36 撮像センサ
37 撮像用プロセッサ
40 CDS/AGC回路
41 A/Dコンバータ
45 DSP
50 画像処理部
52 表示制御部
53 中央制御部
55a、55b 曲線
60 実測第1分光信号取得部
61 生体パラメータ算出部
62 基準分光信号設定部
63 表示制御部
64 位置合わせ部
70 生体パラメータ算出部
71 基準分光信号設定部
80 生体パラメータ算出部
81 基準分光信号設定部
90 基準分光信号取得部
91 生体パラメータ算出部
100 内視鏡システム
101 内視鏡
103 撮像ユニット
105、106 ダイクロイックミラー
110、111、112 撮像センサ
200 内視鏡システム
201 内視鏡
203 撮像センサ
205 撮像ユニット
300 分光型撮像センサ
12、12A、12B 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12h 静止画像取得指示スイッチ
12i ズーム操作部
12j 鉗子口
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 プロセッサ側ユーザーインターフェース
17 拡張プロセッサ装置
18 拡張ディスプレイ
19 スコープ側ユーザーインターフェース
20 光源部
21 光源用プロセッサ
20a b-LED
20b sb-LED
20c g-LED
20d a-LED
20e r-LED
20f ir-LED
20g v-LED
23 光路結合部
25 ライトガイド
30 照明光学系
31 撮像光学系
32 照明レンズ
35 対物レンズ
36 撮像センサ
37 撮像用プロセッサ
40 CDS/AGC回路
41 A/Dコンバータ
45 DSP
50 画像処理部
52 表示制御部
53 中央制御部
55a、55b 曲線
60 実測第1分光信号取得部
61 生体パラメータ算出部
62 基準分光信号設定部
63 表示制御部
64 位置合わせ部
70 生体パラメータ算出部
71 基準分光信号設定部
80 生体パラメータ算出部
81 基準分光信号設定部
90 基準分光信号取得部
91 生体パラメータ算出部
100 内視鏡システム
101 内視鏡
103 撮像ユニット
105、106 ダイクロイックミラー
110、111、112 撮像センサ
200 内視鏡システム
201 内視鏡
203 撮像センサ
205 撮像ユニット
300 分光型撮像センサ
Claims (18)
- 照明光を発光する光源装置と、
観察対象を撮像する内視鏡と、
前記照明光が前記観察対象に照射されている間に前記内視鏡によって撮像された第1分光信号を取得する1又は複数のプロセッサとを備え、
前記1又は複数のプロセッサは、
前記第1分光信号に応じて定められる基準分光信号と、前記第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出し、
前記酸素飽和度に基づく酸素飽和度画像を表示する制御を行う内視鏡システム。 - 前記1又は複数のプロセッサは、前記酸素飽和度を含むN-1個(Nは3より大きい整数)の前記生体パラメータで決定される、異なる波長におけるN個以上の基準分光信号と、前記N個以上の基準信号の波長に対応するN個以上の第1分光信号とを用いて、前記生体パラメータを算出する請求項1記載の内視鏡システム。
- 前記生体パラメータは、ヘモグロビン濃度、ビリルビン濃度、散乱波長依存パラメータの少なくともいずれかを含む請求項2記載の内視鏡システム。
- 前記基準分光信号は、前記照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、前記内視鏡に設けられる撮像センサの分光感度から設定され、
前記分光モデルは、前記生体パラメータを引数として有し、
前記1又は複数のプロセッサは、
前記基準分光信号と前記第1分光信号との差分に基づく差分演算値が特定範囲内となるように、前記生体パラメータを算出する請求項1記載の内視鏡システム。 - 前記基準分光信号は、前記照明光の発光スペクトル、分光モデルから定められる生体の分光反射率、及び、前記内視鏡に設けられる撮像センサの分光感度から、前記分光モデル毎にMセット設定され、
前記1又は複数のプロセッサは、
前記Mセットの前記基準分光信号のうち、前記第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、
前記特定基準分光信号に対応する分光モデルで定められた特定生体パラメータを、前記生体パラメータとして算出する請求項1記載の内視鏡システム。 - 前記基準分光信号は、前記照明光の発光スペクトル、分光モデルを模したファントムを分光測定して定められる生体の分光反射率、及び、前記内視鏡に設けられる撮像センサの分光感度から、前記ファントム毎にMセット設定され、
前記1又は複数のプロセッサは、
前記Mセットの前記基準分光信号のうち、前記第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、
前記特定基準分光信号に対応するファントムで定められた特定生体パラメータを、前記生体パラメータとして算出する請求項1記載の内視鏡システム。 - 前記基準分光信号は、分光モデルを模したファントムを、前記ファントム毎に、前記照明光で照明し、撮像することによって、Mセット得られ、
前記Mセットの前記基準分光信号のうち、前記第1分光信号との差分に基づく差分計算値が最小となる特定基準分光信号を選択し、
前記特定基準分光信号に対応するファントムで定められた特定生体パラメータを、前記生体パラメータとして算出する請求項1記載の内視鏡システム。 - 前記基準分光信号は、前記照明光の発光スペクトルに対応する基準発光値で規格化され、
前記第1分光信号は、複数の前記第1分光信号の平均値で規格化されている請求項1記載の内視鏡システム。 - 前記照明光の発光スペクトルを変更した場合には、前記1又は複数のプロセッサは、前記基準分光信号を再設定する請求項1記載の内視鏡システム。
- 前記内視鏡は撮像センサを有し、
分光感度が異なる前記撮像センサに変更した場合には、前記1又は複数のプロセッサは、前記基準分光信号を再設定する請求項1記載の内視鏡システム。 - 前記光源装置は、前記照明光として、第1照明光、及び、前記第1照明光よりも広帯域の第2照明光を発光し、
前記1又は複数のプロセッサは、前記第1照明光が照射されている間に撮像された信号を前記第1分光信号として取得し、前記第2照明光が照射されている間に撮像された信号を前記第2分光信号として取得し、
前記第2分光信号から生成される画像を表示する制御を行う請求項1記載の内視鏡システム。 - 前記1又は複数のプロセッサは、
前記第2分光信号間の移動量に基づいて、前記第1分光信号間の位置合わせを行う請求項9記載の内視鏡システム。 - 前記生体パラメータには、ヘモグロビン濃度が含まれ、
ディスプレイは、前記ヘモグロビン濃度に基づくヘモグロビン濃度画像をディスプレイに表示する制御を行う請求項1記載の内視鏡システム。 - 前記光源装置は、前記照明光として、前記第1照明光又は前記第1照明光よりも広帯域の第2照明光のいずれかを発光し、
前記1又は複数のプロセッサは、前記第1照明光と前記第2照明光と交互に照明する制御を行い、
前記第1分光信号は、前記第1照明光で照明された観察対象を前記内視鏡で撮像して得られる請求項11記載の内視鏡システム。 - 中心波長が450nm、470nm、540nm、620nm、690nm、850nmの前記第1照明光を順に発光し、且つ、各第1照明光の発光の間に、前記第2照明光を発光する請求項14記載の内視鏡システム。
- 前記内視鏡に設けられる撮像センサは、前記照明光を前記第1照明光に分光する分光型撮像センサであり、
前記分光型撮像センサは、前記照明光で照明された前記観察対象を撮像することによって、前記第1分光信号を得る請求項11記載の内視鏡システム。 - 前記分光型撮像センサは、前記照明光を、中心波長が450nm、470nm、500nm、540nm、620nm、690nm、850nmの前記第1照明光に分光する請求項16記載の内視鏡システム。
- 照明光を発光する光源装置と、観察対象を撮像する内視鏡と、前記照明光が前記観察対象に照射されている間に前記内視鏡によって撮像された第1分光信号を取得する1又は複数のプロセッサとを備える内視鏡システムの作動方法において、
前記1又は複数のプロセッサは、
前記第1分光信号に応じて定められる基準分光信号と、前記第1分光信号とに基づいて、酸素飽和度を含む生体パラメータを算出し、
前記酸素飽和度に基づく酸素飽和度画像を表示する制御を行う内視鏡システムの作動方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024033323 | 2024-03-05 | ||
| JP2024-033323 | 2024-03-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2025187496A1 true WO2025187496A1 (ja) | 2025-09-12 |
| WO2025187496A8 WO2025187496A8 (ja) | 2025-10-02 |
Family
ID=96990585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/006600 Pending WO2025187496A1 (ja) | 2024-03-05 | 2025-02-26 | 内視鏡システム及びその作動方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025187496A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100042005A1 (en) * | 2007-03-28 | 2010-02-18 | Trustees Of Boston University | Detecting optical properties of a turbid medium |
| JP2012125501A (ja) * | 2010-12-17 | 2012-07-05 | Fujifilm Corp | 内視鏡装置 |
| JP2012143349A (ja) * | 2011-01-11 | 2012-08-02 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの観察画像表示方法 |
| JP2013165776A (ja) * | 2012-02-14 | 2013-08-29 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法 |
| JP2017170168A (ja) * | 2014-03-28 | 2017-09-28 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| JP2019531106A (ja) * | 2016-07-18 | 2019-10-31 | ビオプティックス・インコーポレイテッドVioptix,Inc. | 腹腔鏡下拡張による酸素測定デバイス |
-
2025
- 2025-02-26 WO PCT/JP2025/006600 patent/WO2025187496A1/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100042005A1 (en) * | 2007-03-28 | 2010-02-18 | Trustees Of Boston University | Detecting optical properties of a turbid medium |
| JP2012125501A (ja) * | 2010-12-17 | 2012-07-05 | Fujifilm Corp | 内視鏡装置 |
| JP2012143349A (ja) * | 2011-01-11 | 2012-08-02 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの観察画像表示方法 |
| JP2013165776A (ja) * | 2012-02-14 | 2013-08-29 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法 |
| JP2017170168A (ja) * | 2014-03-28 | 2017-09-28 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| JP2019531106A (ja) * | 2016-07-18 | 2019-10-31 | ビオプティックス・インコーポレイテッドVioptix,Inc. | 腹腔鏡下拡張による酸素測定デバイス |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025187496A8 (ja) | 2025-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4647347B2 (ja) | 内視鏡装置 | |
| US10264955B2 (en) | Processor device and method for operating same, and endoscopic system and method for operating same | |
| US12329351B2 (en) | Endoscope system and method of operating endoscope system | |
| JP6840737B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
| WO2006120794A1 (ja) | 生体観測装置用信号処理装置 | |
| WO2006120798A1 (ja) | 生体観測装置 | |
| US10194849B2 (en) | Endoscope system and method for operating the same | |
| JP6561000B2 (ja) | 内視鏡システム及びその作動方法 | |
| US11937788B2 (en) | Endoscope system | |
| JP7702294B2 (ja) | 内視鏡システム及びその作動方法 | |
| CN109310305B (zh) | 内窥镜系统及特征量计算方法 | |
| US20240081616A1 (en) | Processor device, method of operating the same, and endoscope system | |
| CN109310299B (zh) | 电子内窥镜用处理器以及电子内窥镜系统 | |
| JP7196016B2 (ja) | 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法 | |
| US20240358245A1 (en) | Processor device, method for operating the same, and endoscope system | |
| US20240341641A1 (en) | Endoscope system and method for operating the same | |
| WO2025187496A1 (ja) | 内視鏡システム及びその作動方法 | |
| JP2025135460A (ja) | 内視鏡システム、生体パラメータ画像の生成方法及びプログラム | |
| WO2023132188A1 (ja) | 内視鏡システム及びその作動方法 | |
| US20240335092A1 (en) | Endoscope system and method for operating the same | |
| US20250176876A1 (en) | Endoscope system and method for operating the same | |
| WO2025070479A1 (ja) | 内視鏡システム、その作動方法、及び内視鏡システムの作動プログラム | |
| JP2006341076A (ja) | 生体観測装置用信号処理装置 | |
| JP2018011796A (ja) | キャリブレーション方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25767881 Country of ref document: EP Kind code of ref document: A1 |