[go: up one dir, main page]

WO2017051779A1 - 分析装置 - Google Patents

分析装置 Download PDF

Info

Publication number
WO2017051779A1
WO2017051779A1 PCT/JP2016/077465 JP2016077465W WO2017051779A1 WO 2017051779 A1 WO2017051779 A1 WO 2017051779A1 JP 2016077465 W JP2016077465 W JP 2016077465W WO 2017051779 A1 WO2017051779 A1 WO 2017051779A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
index
light
contribution
analyzer according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/077465
Other languages
English (en)
French (fr)
Inventor
千葉 亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to CN201680002955.8A priority Critical patent/CN107072488B/zh
Priority to JP2017514928A priority patent/JP6195328B2/ja
Priority to DE112016000119.3T priority patent/DE112016000119B4/de
Priority to US15/513,601 priority patent/US10420457B2/en
Publication of WO2017051779A1 publication Critical patent/WO2017051779A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an analyzer that acquires an index indicating the concentration of a biological substance in a biological tissue based on an image obtained by photographing the biological tissue.
  • Patent Document 1 An endoscope apparatus having a function of quantifying the concentration of a biological substance (for example, hemoglobin) in a biological tissue that is a subject from color information of an endoscopic image is known.
  • An example of such an endoscope apparatus is described in International Publication No. 2014/192781 (hereinafter referred to as “Patent Document 1”).
  • the endoscope apparatus described in Patent Document 1 is based on the color information of two endoscope images photographed using two types of illumination light in the absorption band near 550 nm of hemoglobin, respectively.
  • An endoscope apparatus that calculates an index indicating the amount of hemoglobin and an index indicating the oxygen saturation SatO 2 is described.
  • the color of the image of the living tissue is affected by the scattering of illumination light by the living tissue.
  • changes in spectral characteristics due to scattering are not taken into account in the calculation of each index. Therefore, there has been a problem that the calculation result of the index varies depending on the intensity of scattering (that is, the calculated index value includes an error due to scattering).
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an analyzer that can compensate for an error in an index value caused by scattering and obtain a more accurate index value.
  • An analysis apparatus includes a light source device, an imaging element that captures a biological tissue illuminated by light generated by the light source device to generate color image data, and a living body based on the color image data.
  • the color image data includes an index calculation unit that calculates an index X indicating the feature quantity Q of the organization, and a feature quantity acquisition unit that acquires the feature quantity Q based on the index X, and the feature quantity acquisition unit is included in the color image data
  • a contribution calculation unit that calculates a contribution degree C that quantifies the degree of contribution of scattering to the spectral characteristics of biological tissue based on at least two colors of monochromatic image data, and is characterized based on the index X and the contribution degree C Get the quantity Q.
  • the color image data is RGB color image data
  • the contribution calculation unit calculates the contribution C as a ratio of the R monochromatic image data to the G or B monochromatic image data in the color image data. Also good.
  • the contribution calculation unit includes storage means for holding information indicating the relationship between the feature quantity Q, the index X, and the contribution degree C, and the feature quantity acquisition unit includes the information, the index X.
  • the feature amount Q may be acquired based on the contribution degree C.
  • the information may be a numerical table or a function indicating the relationship between the feature quantity Q, the index X, and the contribution degree C.
  • the information represents a plurality of sets of the index X, the contribution degree C, and the feature quantity Q
  • the feature quantity acquisition unit has the index X and the contribution degree C of color image data among the plurality of sets. It is good also as a structure which selects the set nearest to what was calculated based on, and acquires the feature-value Q of the selected set.
  • the information represents a plurality of sets of the index X, the contribution degree C, and the feature quantity Q
  • the feature quantity acquisition unit includes the index X and the index X obtained from the color image data among the plurality of sets. Select two sets adjacent to the set of contribution C, and calculate the feature quantity Q by the following formula 1.
  • X is an index calculated based on color image data
  • Qa is one of the two selected feature quantities
  • Xa is one of the two selected indices
  • Qb is the other feature amount of the two selected sets
  • Xb may be configured to be the other of the two selected indices.
  • the light source device is generated by switching between the special light for calculating the index X and the substantially white normal light, and the contribution calculation unit generates the living tissue under the illumination of the normal light.
  • the contribution C may be calculated based on color image data obtained by imaging.
  • the special light has first continuous light having a continuous spectrum distributed in the first wavelength range in which the first and second biological substances contained in the biological tissue have absorption, and the first special light within the first wavelength range.
  • a second special light having a continuous spectrum distributed in the second wavelength range, the light source device is generated by switching between the first special light, the second special light, and the normal light, First special observation image data G 1 obtained by imaging a biological tissue under illumination of the first special light, and second special observation image data G 2 obtained by imaging the biological tissue under illumination of the second special light.
  • the index X may be calculated based on the above.
  • a color image data is RGB color image data
  • first special observation image data G 1 and the second special observation image data G 2 may be configured as a G single color image data, respectively.
  • the feature quantity Q may be a molar concentration ratio of the first and second biological substances contained in the biological tissue.
  • the first biological material may be oxygenated hemoglobin
  • the second biological material may be reduced hemoglobin
  • the molar concentration ratio may be oxygen saturation
  • the analysis apparatus includes a concentration ratio distribution image generation unit that generates a concentration ratio distribution image representing a distribution of molar concentration ratios of the first and second biological substances in the biological tissue based on the feature amount Q. It is good.
  • the feature amount Q may be a concentration of a biological substance contained in a biological tissue.
  • the above analysis apparatus may be configured to include a concentration distribution image generation unit that generates a concentration distribution image representing the concentration distribution of the biological substance contained in the biological tissue based on the feature amount Q.
  • the feature quantity Q may be a total hemoglobin quantity in the living tissue.
  • the above-described analyzer may have a configuration in which an imaging device is provided with an endoscope provided at a distal end portion.
  • FIG. 1 is a block diagram of an endoscope apparatus according to an embodiment of the present invention. It is a transmission spectrum of the color filter incorporated in an image sensor. It is an external view of a rotation filter. It is a flowchart expressing the image generation process which concerns on embodiment of this invention. It is the simulation result of the spectral characteristic of a biological tissue explaining the influence of the scattering in a spectral characteristic. It is the graph which showed the relationship between the contribution C of scattering, and the R, G, and B digital image data imaged under the illumination of white light. The relationship between the contribution rate C and index X of the scattering is a graph plotting each true oxygen saturation SATO 2.
  • FIG. 5 is a flowchart expressing a procedure of processing for obtaining oxygen saturation SatO 2 based on an index X.
  • Use the graph of FIG. 8 is a diagram for explaining a method for obtaining the oxygen saturation SATO 2 the weighted average. It is an example of a display of the image information produced
  • (A) is a two-dimensional display example of an oxygen saturation distribution image
  • An endoscope apparatus quantitatively calculates biological information (for example, oxygen saturation SatO 2 ) of a subject based on a plurality of images captured under illumination of light having different wavelength ranges.
  • biological information for example, oxygen saturation SatO 2
  • This is a device that analyzes and displays the analysis result as an image.
  • the property that the spectral characteristics of blood that is, the spectral characteristics of hemoglobin
  • the oxygen saturation SatO 2 is used.
  • FIG. 1 shows an absorption spectrum of hemoglobin near 550 nm.
  • Hemoglobin has a strong absorption band derived from porphyrin near 550 nm.
  • the absorption spectrum of hemoglobin varies depending on the oxygen saturation SatO 2 (the ratio of oxygenated hemoglobin HbO 2 in the total hemoglobin).
  • the solid line waveform in FIG. 1 is an absorption spectrum when the oxygen saturation SatO 2 is 100% (that is, oxygenated hemoglobin HbO 2 ), and the long broken line waveform is when the oxygen saturation SatO 2 is 0%. (Ie, reduced hemoglobin Hb).
  • the short dashed line is an absorption spectrum of hemoglobin (a mixture of oxygenated hemoglobin HbO 2 and reduced hemoglobin Hb) at an intermediate oxygen saturation SatO 2 (10, 20, 30,... 90%).
  • oxygenated hemoglobin HbO 2 and reduced hemoglobin Hb have different peak wavelengths.
  • oxygenated hemoglobin HbO 2 has an absorption peak P1 near a wavelength of 542 nm and an absorption peak P3 near a wavelength of 576 nm.
  • reduced hemoglobin Hb has an absorption peak P2 near 556 nm.
  • a wavelength region sandwiched between the isosbestic points E1 and E2 is sandwiched between the wavelength region R1 and the wavelength region sandwiched between the isosbestic points E2 and E3 is sandwiched between the wavelength region R2 and the isosbestic points E3 and E4.
  • This wavelength region is called a wavelength region R3.
  • a wavelength region sandwiched between the isosbestic points E1 and E4 (that is, a combination of the wavelength regions R1, R2, and R3) is referred to as a wavelength region R0.
  • the absorption A R1, A R3 of hemoglobin in the wavelength range R1, R3 is linearly and monotonously increases with respect to the concentration of oxygenated hemoglobin HbO 2 (or oxygen saturation SATO 2)
  • hemoglobin in the wavelength range R2 absorption a R2 of linearly monotonously increased with respect to the concentration (1 oxygen saturation SATO 2) of reduced hemoglobin Hb. Therefore, the index X defined by the following formula 2 increases monotonically linearly with respect to the oxygenated hemoglobin HbO 2 concentration (or oxygen saturation SatO 2 ).
  • the behavior of the increase or decrease with respect to oxygen saturation SATO 2 is as defined the index X by the difference in absorption between different bands, monotonous and oxygen saturation SATO 2 (more preferably linear If it has a quantitative relationship, the index X can be defined by another mathematical formula. For example, as shown in Equation 3 below, the ratio of the sum of the absorption A R1, A R3 monotonously increases with respect to oxygen saturation SATO 2, the absorption A R2 that decreases monotonically with respect to oxygen saturation SATO 2 to linearly monotonically increase against oxygen saturation SATO 2, a good indicator of oxygen saturation SATO 2.
  • FIG. 2 is a block diagram of the endoscope apparatus 1 according to the embodiment of the present invention.
  • the endoscope apparatus 1 according to this embodiment includes an electronic endoscope 100, a processor 200, and a monitor 300.
  • the electronic endoscope 100 and the monitor 300 are detachably connected to the processor 200.
  • the processor 200 includes a light source unit 400 and an image processing unit 500.
  • the electronic endoscope 100 has an insertion portion 110 that is inserted into a body cavity. Inside the electronic endoscope 100, a light guide 131 that extends over substantially the entire length is provided. One end portion (front end portion 131a) of the light guide 131 is disposed in the vicinity of the front end portion (insertion front end portion 111) of the insertion portion 110, and the other end portion (base end portion 131b) of the light guide 131 is the processor 200. It is connected to the.
  • the light source unit 400 built in the processor 200 includes a light source lamp 430 that generates white light WL with a large amount of light.
  • the light source lamp 430 for example, a xenon lamp, a metal halide lamp, an LED lamp, a halogen lamp, or the like is used.
  • the illumination light IL generated by the light source unit 400 is incident on the proximal end portion 131b of the light guide 131, is guided to the distal end portion 131a through the light guide 131, and is emitted from the distal end portion 131a.
  • a light distribution lens 132 disposed opposite to the distal end portion 131 a of the light guide 131 is provided at the insertion distal end portion 111 of the electronic endoscope 100, and illumination light emitted from the distal end portion 131 a of the light guide 131.
  • the IL passes through the light distribution lens 132 and illuminates the living tissue T in the vicinity of the insertion tip portion 111.
  • the insertion tip 111 is provided with an objective optical system 121 and an image sensor 141.
  • the image sensor 141 of the present embodiment is a CCD (Charge-Coupled Device) image sensor for capturing a color image having a color filter 141a on its light-receiving surface, but other types such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the color filter 141 a includes an R filter that transmits (transmits) red light, a G filter that transmits green light, and a B filter that transmits blue light, and is arranged on each light receiving element of the image sensor 141. It is a so-called on-chip filter formed directly.
  • the R, G, and B filters of the color filter 141a have spectral characteristics as shown in FIG. That is, the R filter of the present embodiment is a filter that allows light having a wavelength longer than about 570 nm to pass, the G filter is a filter that allows light having a wavelength of about 470 nm to 620 nm to pass, and the B filter is about 530 nm. It is a filter that allows light having a shorter wavelength to pass therethrough.
  • the imaging element 141 is controlled to be driven in synchronization with a signal processing circuit 550 described later, and periodically outputs an imaging signal corresponding to an image formed on the light receiving surface (for example, at an interval of 1/30 seconds). To do.
  • the imaging signal output from the imaging element 141 is sent to the image processing unit 500 of the processor 200 via the cable 142.
  • the image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550.
  • the A / D conversion circuit 510 performs A / D conversion on the imaging signal input from the imaging element 141 of the electronic endoscope 100 and outputs the obtained digital image data. Digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520.
  • Digital image data includes R digital image data captured by a light receiving element with an R filter, G digital image data captured by a light receiving element with a G filter, and a light receiving element with a B filter.
  • B digital image data is included.
  • R digital image data, G digital image data, and B digital image data are also referred to as single color image data (R single color image data, G single color image data, and B single color image data).
  • the controller 530 processes one or a plurality of digital image data stored in the temporary storage memory 520 to generate one display image data, and sends this to the video memory 540.
  • the controller 530 may display pixels (x, x, n) based on display image data generated from a single digital image data, display image data in which images of a plurality of digital image data are arranged, or a plurality of digital image data.
  • a reflection spectrum of the living tissue T is generated every time, and using this reflection spectrum, display image data for identifying and displaying a healthy part and a lesioned part, or a living tissue corresponding to a specific pixel (x, y) Display image data or the like for displaying a graph of the reflection spectrum of T is generated, and the display image data is stored in the video memory 540.
  • the signal processing circuit 550 generates and outputs a video signal in a predetermined format (for example, a format conforming to the NTSC standard or the DVI standard) based on the display image data stored in the video memory 540.
  • the video signal output from the signal processing circuit 550 is input to the monitor 300.
  • An endoscopic image or the like captured by the electronic endoscope 100 is displayed on the monitor 300.
  • the processor 200 functions as a video processor for processing the imaging signal output from the imaging device 141 of the electronic endoscope 100 and the illumination light IL for illuminating the living tissue T as the subject. It also has a function as a light source device to be supplied to the light guide 131 of the endoscope 100.
  • the light source unit 400 includes a condensing lens 440, a rotation filter 410, a filter control unit 420, and a condensing lens 450 in addition to the light source 430 described above.
  • the substantially parallel white light WL emitted from the light source 430 is collected by the condenser lens 440, passes through the rotary filter 410, and is collected again by the condenser lens 450.
  • the rotary filter 410 is movable between an application position (solid line) on the optical path of the white light WL and a retreat position (broken line) outside the optical path by a moving means (not shown) such as a linear guideway.
  • the configuration of the light source unit 400 is not limited to that shown in FIG.
  • a lamp that generates convergent light in the light source 430 may be employed.
  • a configuration may be adopted in which the white light WL is condensed before the condenser lens 440 and is incident on the condenser lens 440 as diffused light.
  • a configuration in which the convergent light from the light source 430 is condensed in the vicinity of the rotary filter 410 without using the condenser lens 440 may be employed.
  • a configuration in which a collimator lens is used instead of the condenser lens 440 and the white light WL is incident on the rotary filter 410 in a substantially parallel light state may be employed.
  • a collimator lens such as a dielectric multilayer filter
  • the incident angle of the white light WL to the optical filter is caused by causing the substantially parallel white light WL to enter the rotary filter 410.
  • a lamp that generates divergent light may be used for the light source 430.
  • a collimator lens is used instead of the condensing lens 440 and the substantially parallel white light WL is incident on the rotary filter 410.
  • the rotation filter 410 is a disc-shaped optical unit including a plurality of optical filters, and is configured such that the pass wavelength band is switched according to the rotation angle (or phase) thereof.
  • the rotation angle of the rotary filter 410 is controlled by a filter control unit 420 connected to the controller 530.
  • the controller 530 controls the rotation angle of the rotary filter 410 via the filter control unit 420, the spectrum of the illumination light that passes through the rotary filter 410 and is supplied to the light guide 131 is switched.
  • FIG. 4 is an external view (front view) of the rotary filter 410.
  • the rotary filter 410 includes a substantially disc-shaped frame 411 and four circular fan-shaped optical filters 415, 416, 417 and 418.
  • Four circular fan-shaped windows 414a, 414b, 414c, and 414d are formed at equal intervals around the central axis of the frame 411, and the optical filters 415, 416 are provided in the windows 414a, 414b, 414c, and 414d, respectively. 417 and 418 are fitted.
  • the optical filters of the present embodiment are all dielectric multilayer filters, but other types of optical filters (for example, absorption optical filters and etalon filters using dielectric multilayer films as reflective films). May be used.
  • a boss hole 412 is formed on the central axis of the frame 411.
  • the output shaft of the filter control unit 420 is inserted and fixed in the boss hole 412, and the rotary filter 410 rotates together with the output shaft of the filter control unit 420.
  • FIG. 4 shows a state where the white light WL is incident on the optical filter 415.
  • the optical filters on which the white light WL is incident are 415, 416,
  • the spectrum is switched in the order of 417 and 418, whereby the spectrum of the illumination light IL passing through the rotary filter 410 is switched.
  • Optical filters 415 and 416 are optical bandpass filters that selectively pass light in the 550 nm band. As shown in FIG. 1, the optical filter 415 allows light in the wavelength region from the equiabsorption points E1 to E4 (that is, the wavelength region R0 (also referred to as “first illumination wavelength region”)) to pass through with low loss. The light is configured to block light in other wavelength regions.
  • the optical filter 416 allows light in the wavelength region from the isosbestic points E2 to E3 (that is, the wavelength region R2 (also referred to as “second illumination wavelength region”)) to pass through with low loss, and other wavelength regions. Is configured to block light.
  • the wavelength range R1 includes the peak wavelength of the absorption peak P1 derived from oxygenated hemoglobin HbO 2
  • the wavelength range R2 includes the peak wavelength of the absorption peak P2 derived from reduced hemoglobin Hb
  • the wavelength region R3 includes the peak wavelength of the absorption peak P3 derived from oxygenated hemoglobin HbO 2
  • the wavelength band R0 includes the peak wavelengths of the absorption peaks P1, P2, and P3.
  • the pass wavelength range (FIG. 1) of the optical filters 415 and 416 is included in the pass wavelength range (FIG. 3) of the G filter of the color filter 141a. Therefore, an image formed on the light receiving surface of the image sensor 141 by the light that has passed through the optical filter 415 or 416 is captured by the light receiving element on which the G filter is mounted, and is obtained as G digital image data.
  • the optical filter 417 is designed to selectively allow only light in the 650 nm band (630 to 650 nm), which is a wavelength region where hemoglobin absorption is low.
  • the pass wavelength range of the optical filter 417 is included in the pass wavelength range of the R filter of the color filter 141a (FIG. 3). Therefore, an image of light that has passed through the optical filter 417 is captured by a light receiving element equipped with an R filter, and is obtained as R digital image data. Image data acquired using illumination light in the 650 nm band is used for a normalization process to be described later.
  • the optical filter 418 is an ultraviolet cut filter, and the illumination light IL (that is, white light) that has passed through the optical filter 418 is normally used to capture an observation image. Note that the optical filter 418 may not be used, and the window 414d of the frame 411 may be opened.
  • illumination light that has passed through the optical filter 415, 416, or 417 is also referred to as special light (or special observation light), and white light (or broadband light) that has passed through the optical filter 418 is normal light (or normal light). Also referred to as (observation light).
  • a neutral density filter (ND filter) 419 is attached to the window 414a so as to overlap the optical filter 415.
  • the neutral density filter 419 has almost no wavelength dependence over the entire visible light range, and reduces only the light amount without substantially changing the spectrum of the illumination light IL.
  • the neutral density filter 419 By using the neutral density filter 419, the light quantity of the illumination light IL that has passed through the optical filter 415 and the neutral density filter 419 is adjusted to the same level as the light quantity of the illumination light IL that has passed through the optical filter 416. As a result, even when the illumination light IL that has passed through any of the optical filters 415 and 416 is used, it is possible to capture an image with appropriate exposure with the same exposure time.
  • a fine metal mesh is used as the neutral density filter 419.
  • a neutral density filter such as a reflection type or an absorption type may be used.
  • the pass rates of the optical filters 415 and 416 themselves may be adjusted without using the neutral density filter.
  • the amount of light passing through may be adjusted by changing the central angle (that is, the opening area) of the windows 414a to 414d.
  • a through hole 413 is formed in the peripheral edge of the frame 411.
  • the through hole 413 is formed at the same rotational position as the boundary portion between the window 414a and the window 414d.
  • a photo interrupter 422 for detecting the through hole 413 is arranged so as to surround a part of the peripheral edge of the frame 411.
  • the photo interrupter 422 is connected to the filter control unit 420.
  • the endoscope apparatus 1 of the present embodiment has four operation modes: a normal observation mode, a spectroscopic analysis (oxygen saturation distribution image display) mode, a baseline measurement mode, and a calibration mode. Each operation mode is switched by a user operation.
  • the normal observation mode is an operation mode for photographing a color image using white light that has passed through the optical filter 418.
  • spectroscopic analysis mode spectroscopic analysis is performed based on digital image data captured using illumination light that has passed through the optical filters 415, 416, and 417, respectively, and a distribution image (for example, an oxygen saturation distribution image) of a biomolecule in a living tissue is performed. ) Is displayed.
  • an optical filter 415 is used with a color reference plate such as an achromatic diffusion plate (polished glass or the like) or a standard reflection plate as a subject before (or after) performing actual endoscope observation.
  • a color reference plate such as an achromatic diffusion plate (polished glass or the like) or a standard reflection plate as a subject before (or after) performing actual endoscope observation.
  • imaging is performed using illumination light that has passed through 416 and 417, respectively, and data used for normalization processing described later is acquired.
  • spectroscopic analysis is performed on a standard sample whose characteristics such as oxygen saturation SatO 2 are known, and parameters (to be described later) are used to eliminate the difference between the analysis result and the reference amount (or theoretical value) of the standard sample characteristics. This is a process for adjusting the correction coefficient k).
  • the controller 530 controls the moving means to move the rotary filter 410 from the application position to the retracted position.
  • the rotary filter 410 is disposed at the application position.
  • the controller 530 controls the filter control unit 420 to stop the rotary filter 410 at a position where the white light WL enters the optical filter 418.
  • the digital image data picked up by the image pickup device 141 is subjected to image processing as necessary, and then converted into a video signal and displayed on the monitor 300.
  • the controller 530 controls the filter control unit 420 to rotate and rotate the rotary filter 410 at a constant rotation speed, and the living tissue by the illumination light that has passed through the optical filters 415, 416, 417, and 418. T images are sequentially captured. Then, based on the digital image data acquired using each of the optical filters 415, 416, and 417, an image showing the distribution of biomolecules in the biological tissue is generated, and a normal observation image acquired using this and the optical filter 418, A display screen in which the images are arranged is generated, further converted into a video signal, and displayed on the monitor 300.
  • the filter control unit 420 detects the phase of rotation of the rotary filter 410 based on the timing when the photo interrupter 422 detects the through hole 413, and uses this as the phase of the timing signal supplied from the controller 530. In comparison, the rotation phase of the rotary filter 410 is adjusted.
  • the timing signal from the controller 530 is synchronized with the drive signal for the image sensor 141. Accordingly, the rotary filter 410 is rotationally driven at a substantially constant rotational speed in synchronization with the driving of the image sensor 141.
  • the rotation of the rotation filter 410 is caused by the optical filters 415 to 418 (windows) on which the white light WL is incident every time one image (three frames of R, G, and B) is captured by the image sensor 141. 414a to d) are controlled to be switched.
  • the controller 530 sequentially images the color reference plate with the illumination light IL that has passed through the optical filters 415, 416, and 417 while rotating the rotary filter 410 by controlling the filter control unit 420.
  • G digital image data photographed using the illumination light IL that has passed through the optical filters 415 and 416 are respectively stored as baseline image data BL 415 (x, y) and BL 416 (x, y) in the internal memory of the controller 530. 531 is stored.
  • the R digital image data captured using the illumination light IL that has passed through the optical filter 417 is stored in the internal memory 531 of the controller 530 as baseline image data BL 417 (x, y).
  • FIG. 5 is a flowchart representing image generation processing (including index calculation processing and feature amount acquisition processing).
  • the filter control unit 420 rotationally drives the rotary filter 410 at a constant rotational speed. Then, the illumination light IL that has passed through the optical filters 415, 416, 417, and 418 is sequentially supplied from the light source unit 400, and imaging using each illumination light IL is sequentially performed (processing S1).
  • G digital image data G 415 (x, y) imaged using the illumination light IL that has passed through the optical filter 415 G digital image data G imaged using the illumination light IL that has passed through the optical filter 416 416 (x, y), R digital image data R 417 (x, y) imaged using the illumination light IL that has passed through the optical filter 417, and illumination light IL (white light) that has passed through the optical filter (ultraviolet cut filter) 418
  • R digital image data R 418 (x, y), G digital image data G 418 (x, y), and B digital image data B 418 (x, y) captured using are stored in the internal memory 532 of the controller 530. Is done.
  • the image processing unit 500 outputs the R digital image data R 418 (x, y), the G digital image data G 418 (x, y), and the B digital image data B 418 (x, y) acquired in step S1.
  • the above three conditional expressions are set based on the magnitude relationship (G component ⁇ B component ⁇ R component) of each color component value in the blood color image. Note that the pixel selection process S2 is performed using only one or two of the above three conditional expressions (for example, paying attention to the red color peculiar to blood and using only Expressions 5 and 6). May be.
  • the normalization process of the present embodiment includes a first normalization process S3 for correcting the characteristics of the endoscope apparatus 1 itself (for example, the transmittance of the optical filter and the light receiving sensitivity of the image sensor), and the biological tissue that is the subject. And a second normalization process S4 for correcting a variation in reflectance due to a difference in the surface state of T and the incident angle of the illumination light IL to the living tissue T.
  • a first normalization process S3 for correcting the characteristics of the endoscope apparatus 1 itself (for example, the transmittance of the optical filter and the light receiving sensitivity of the image sensor), and the biological tissue that is the subject.
  • a second normalization process S4 for correcting a variation in reflectance due to a difference in the surface state of T and the incident angle of the illumination light IL to the living tissue T.
  • the image processing unit 500 uses the G digital image data G 415 (x, y) acquired using the illumination light IL that has passed through the optical filter 415 and the illumination light IL that has passed through the optical filter 417. From the acquired R digital image data R 417 (x, y) and baseline image data BL 415 (x, y), BL 417 (x, y), the normalized reflectance SR 415 (x, y y) is calculated.
  • each digital image data G 415 (x, y), R 417 (x, y) By dividing each digital image data G 415 (x, y), R 417 (x, y) by the corresponding baseline image data BL 415 (x, y), BL 417 (x, y), respectively, Elements (device functions) depending on the characteristics of the endoscope apparatus 1 are removed (first normalization process S3). Further, by dividing the G digital image data G 415 (x, y) by the R digital image data R 417 (x, y), the surface state of the living tissue T and the incident angle of the illumination light IL to the living tissue T can be determined. The change in reflectance due to the difference is corrected (second normalization process S4).
  • the normalized reflectance SR 416 (x, y) is calculated by the following formula 8.
  • the absorptions A 415 (x, y) and A 416 (x, y) of the living tissue T with respect to the illumination light IL that has passed through the optical filters 415 and 416 are calculated by the following formulas 9 and 10, respectively (processing S5).
  • the absorptions A 415 (x, y) and A 416 (x, y) can also be calculated approximately by the following equations 11 and 12, respectively.
  • the absorptions A 415 (x, y) and A 416 (x, y) can also be approximately calculated by the following formulas 15 and 16, respectively.
  • index X (Formula 2) is expressed by the following Formula 19.
  • the index X (Formula 3) is also expressed by the following Formula 20.
  • k is a constant (correction coefficient). Since the optical filters 415 and 416 differ greatly in the width of the passing wavelength region, the difference in the amount of light passing through them is also large. Therefore, as described above, the light quantity is adjusted by superimposing the neutral density filter 419 on the optical filter 415 having a large amount of passing light so that proper exposure can be obtained with the same exposure time even if the optical filter is switched. As a result, the quantitative relationship between the absorption A 415 (x, y) acquired using the optical filter 415 and the absorption A 416 (x, y) acquired using the optical filter 416 is disrupted. Yes. Further, the pass rates within the pass wavelength region of the optical filters 415 and 416 are not 100%, and have different pass losses depending on the individual.
  • the correction coefficient k corrects an error in the quantitative relationship between the absorption A 415 (x, y) and the absorption A 416 (x, y). A method for obtaining the correction coefficient k will be described later. If this correction is not performed, the correction coefficient k is set to 1.
  • the G digital image data G 415 (x, y), G 416 (x, y), the R digital image data R 417 (x, y), and the baseline image data BL 415 (x, y) are expressed using Equation 21.
  • the value of the index X can be calculated (step S6).
  • the index X can be approximately obtained by the following Expression 22.
  • the image processing unit 500 acquires, for each pixel (x, y), the oxygen saturation SatO 2 (x, y) based on the index X (x, y) acquired in the process S6 (S7 (x, y)).
  • FIG. 5 is performed.
  • a process for obtaining the oxygen saturation SatO 2 (x, y) in which the error due to scattering is corrected is performed, and the predetermined condition is not satisfied (that is, correction is performed). Therefore, a process of obtaining an uncorrected oxygen saturation SatO 2 (x, y) including an error caused by scattering is performed on a pixel (which may cause the accuracy of the analysis result to be reduced).
  • FIG. 6 is a spectral characteristic (reflection spectrum) of a biological tissue obtained by simulation calculation, and shows the influence of scattering on the spectral characteristic.
  • the reflection spectrum of living tissue such as the inner wall of the digestive tract is the wavelength of scattering in addition to the wavelength characteristics of absorption by the components constituting the living tissue (specifically, absorption spectrum characteristics of oxygenated hemoglobin HbO 2 and reduced hemoglobin Hb). Influenced by characteristics.
  • FIG. 6A shows a reflection spectrum when there is no scattering (when the contribution ratio C of scattering is 0%), and FIG. 6C shows a case where there is no absorption by hemoglobin (the contribution ratio C of scattering is 100).
  • the scattering contribution rate C is a kind of parameter that represents the degree of contribution (contribution) of scattering in the spectral characteristics of biological tissue.
  • the contribution of scattering is a parameter correlated with the concentration of the scatterer used in the simulation calculation of spectral characteristics, and is multiplied by the scattering term.
  • the contribution C of scattering in the present embodiment is a parameter that represents the ratio of components due to scattering in the spectral characteristics of biological tissue.
  • the index X calculated based on the spectral characteristics of the biological tissue also has a value depending on the scattering intensity. Can change. That is, the index X calculated in step S6 includes an error due to scattering. In order to obtain a more accurate analysis result, it is necessary to correct an error caused by scattering.
  • the spectral characteristics of scattering exhibit a waveform that increases monotonously with respect to the wavelength. Therefore, the amount of scattered light that passes through the B, G, and R filters of the image pickup device 141 (the outline of the transmission spectrum of each filter is indicated by a broken line in FIG. 6C) increases in this order, and the ratio (for example, The ratio of the amount of scattered light passing through the R filter to the amount of scattered light passing through the G filter is substantially constant regardless of the intensity of scattering.
  • the reflection spectrum of biological tissue represented by FIG. 6B also has a waveform that gradually increases with wavelength, similar to the scattered light spectrum of FIG. Yes.
  • the inclination of the reflection spectrum of the living tissue becomes smaller as the scattering is smaller (approaching the inclination of the waveform in FIG. 6A), and becomes larger as the scattering is increased (approaching the inclination of the waveform in FIG. 6C). Therefore, based on the ratio of the amount of light passing through two different color filters, for example, the ratio of the amount of light passing through the G filter (value of G digital image data) and the amount of light passing through the R filter (value of R digital image data). The intensity of scattering can be approximated.
  • FIG. 7 shows the relationship between the scattering contribution rate C and the values of the R digital image data R 418 , G digital image data G 418, and B digital image data B 418 obtained by simulation calculation based on experimental values. It is a graph. As shown in FIG. 7, the sensitivity to the scattering contribution rate C (the slope of the graph of FIG. 7) is the highest for the R digital image data R 418 and the lowest for the G digital image data G 418 . Therefore, the value obtained by dividing the R digital image data R 418 by the G digital image data G 418 and normalized is a good index of the scattering contribution rate C. Therefore, in this embodiment, the scattering contribution ratio C is calculated by the following Expression 23.
  • the value obtained by dividing the R digital image data R 418 by the B digital image data B 418 is also the contribution rate. C can be used.
  • FIG. 8 plots the relationship between the contribution C of scattering and the index X calculated in the process S5 (FIG. 5) for each true oxygen saturation SatO 2 (ie, no error due to scattering).
  • FIG. The quantitative relationship shown in FIG. 8 can be obtained by simulation calculation or experiment.
  • the curve closest to the point where the set of the index X and the contribution ratio C of scattering obtained from the image data of the biological tissue is plotted is selected, and the oxygen saturation SatO 2 corresponding to the selected curve is obtained. By doing so, an approximate value of the oxygen saturation SatO 2 in which the error due to scattering is corrected can be obtained.
  • the quantitative relationship shown in FIG. 8 is acquired in advance by simulation calculation or experiment, and is held in the nonvolatile memory 532 of the controller 530, for example, as a numerical table or a function.
  • FIG. 9 is a flowchart expressing the procedure of oxygen saturation acquisition processing (feature amount acquisition processing) S7.
  • process S7 first, it is determined whether or not the values of the R digital image data R 418 , the G digital image data G 418, and the B digital image data B 418 are suitable for correcting errors caused by scattering (process S71). ). Specifically, it is determined whether or not the two conditional expressions shown in the following mathematical expressions 24 and 25 are satisfied.
  • b 1, b 2, b 3 is the threshold (positive constant).
  • Formula 25 defines the lower limit of brightness because it is determined that the reliability of each pixel value (R digital image data R 418 and G digital image data G 418 ) is low when the image is dark. is there.
  • the lower limit of brightness may be set by the following formula 26 using only the G digital image data G 418 instead of the formula 25, for example.
  • b 3 ′ is a threshold value (positive constant).
  • the contribution rate C (x, y) is calculated for each pixel (x, y) by the above-described Expression 23.
  • the oxygen saturation SatO 2 (x, y) of hemoglobin in which the error due to scattering is corrected is acquired.
  • the pair (C, X) of the scattering contribution rate C (x, y) obtained in step S72 and the index X (x, y) obtained in step S5 is shown on the graph of FIG. , The curve closest to the plotted point (C, X) is selected, and the oxygen saturation SatO 2 (x, y) corresponding to the selected curve is at that pixel (x, y). Obtained as oxygen saturation SatO 2 (x, y).
  • the oxygen saturation SatO 2 corresponding to the curve closest to the point (C, X) plotted on the graph of FIG. 8 is acquired. It is not limited to this configuration. For example, adjacent to the point (C, X) on the graph of FIG. 8 (i.e., the point (C, between which X)) to select a pair of curves, the oxygen saturation SATO 2 for each curve, A weighted average weighted according to the distance between the point (C, X) and each curve can be calculated, and this weighted average value can be acquired as the oxygen saturation SatO 2 of the pixel (x, y).
  • [SatO 2 ] a is the oxygen saturation SatO 2 (40%) corresponding to the curve A
  • [SatO 2 ] b is the oxygen saturation SatO 2 (50%) corresponding to the curve B.
  • the nonvolatile memory 532 of the controller 530 stores a numerical table representing a quantitative relationship between the oxygen saturation SatO 2 of hemoglobin and the value of the index X, which is experimentally acquired in advance and does not consider the influence of scattering. (Or function) is stored. In the process S74, the controller 530 refers to this numerical table (or function) and acquires the oxygen saturation SatO 2 (x, y) corresponding to the value of the index X obtained in the process S5.
  • the nonvolatile memory 532 of the controller 530 stores a numerical table (or function) that represents the relationship between the oxygen saturation SatO 2 (x, y) and the display color (pixel value). Then, in the process S8 (FIG. 5), the controller 530 refers to this numerical table (or function), and represents a display color corresponding to the oxygen saturation SatO 2 (x, y) obtained in the process S7. Get the value.
  • the controller 530 also outputs R digital image data R 418 (x, y) and G digital image data G 418 (x) captured using the illumination light IL (white light) that has passed through the optical filter (ultraviolet cut filter) 418. , Y) and B digital image data B 418 (x, y), normal observation image data is generated.
  • FIG. 11 shows a display example of image data generated by the controller 530.
  • FIG. 11A is a display example of the oxygen saturation distribution image data (two-dimensional display) generated by the above-described process S8.
  • FIG. 11B is a display example of oxygen saturation distribution image data (three-dimensional display) generated in the form of a three-dimensional graph with the oxygen saturation SatO 2 as a vertical axis. Note that FIG. 11 is an observation of the right hand in a state where the vicinity of the proximal interphalangeal joint of the middle finger is compressed with a rubber band. A state in which the oxygen saturation SatO 2 is lowered due to the blood flow being blocked by the compression on the distal side of the compression portion of the right middle finger is shown.
  • the controller 530 generates screen data for displaying the normal observation image and the oxygen saturation distribution image side by side on one screen from the generated oxygen saturation distribution image data and normal observation image data, and stores them in the video memory 540.
  • the controller 530 displays the patient ID on the display screen that displays only the oxygen saturation distribution image, the display screen that displays only the normal observation image, the oxygen saturation distribution image and / or the normal observation image in accordance with a user operation.
  • Various display screens can be generated, such as a display screen in which incidental information such as information and observation conditions is displayed in a superimposed manner.
  • the theoretical calculation value of the index X is compared with the actual measurement value, and the value of the correction coefficient k is determined so that the actual measurement value is closest to the theoretical calculation value.
  • FIG. 12 shows an example of a calibration curve used for determining the correction coefficient k in the embodiment of the present invention.
  • FIG. 12A is an example of a general calibration curve, in which the horizontal axis represents the theoretical value of the index X, and the vertical axis represents the actual measurement value of the index X acquired by the above analysis process. Black circles are plots of measured values, and broken line Ma is a straight line obtained by fitting measured values by the least square method. A solid line indicates a reference line Ref which is a plot when an actual measurement value as a theoretical value is obtained.
  • the actual measurement value of the index X is acquired by an analysis process using a sample of a living tissue (for example, blood) whose oxygen saturation SatO 2 is known. Further, the theoretical value of the index X defined by Equation 19 is calculated using the transmission spectrum of the optical filters 415 and 416 actually used and the reflection spectrum (or absorption spectrum) of blood. Specifically, the theoretical value of the index X is, for example, an absorption A 415 (absorption A 416 ) obtained by multiplying and integrating the transmission spectrum of the optical filter 415 (optical filter 416) and the reflection spectrum of blood. , Calculated from Equation 19.
  • a deviation between the reference line Ref and the actual measurement value Ma is expressed as an inclination of the broken line Ma with respect to the reference line Ref.
  • a phenomenon in which sufficient sensitivity cannot be obtained that is, a phenomenon in which the gradient of the so-called broken line Ma becomes gentle, is obtained by the absorption A 415 (x, y) and the absorption A 416 (x, y) in Expression 19 by using the neutral density filter 419. This is due to the collapse of the quantitative relationship between the two.
  • the correction coefficient k By selecting an appropriate value as the correction coefficient k, the error due to the use of the neutral density filter 419 is corrected, and the measured value of the index X has a small error and a high correlation with the theoretical value. can do.
  • FIG. 12 (b) is a modified example of the calibration curve.
  • the horizontal axis represents the oxygen saturation of the sample
  • the vertical axis represents the index X.
  • the black circle is a plot of the actual measurement value
  • the broken line Mb is a straight line obtained by fitting the actual measurement value by the least square method.
  • a solid line Ref indicates a theoretical calculation value.
  • the oxygen saturation of the sample is a value accurately measured by an ideal spectroscopic method.
  • This calibration curve is obtained by changing the scale of the horizontal axis from the calibration curve of FIG. 12A and is substantially equivalent, but has an advantage that it is easy to grasp the relationship with the value of oxygen saturation. .
  • the method for determining the correction coefficient k using the calibration curve described above uses the analysis results of a plurality of samples having different oxygen saturation SatO 2 , but uses only the analysis results of one sample. Thus, the correction coefficient k may be determined.
  • the absorption wavelength ranges R1, R2, and R3 of hemoglobin that is, the pass wavelength range of the optical filter 415
  • the absorption A R1 of each wavelength range R1, R2, and R3 according to the change in the oxygen saturation SatO 2.
  • (X, y), A R2 (x, y), and A R3 (x, y) vary, but their sum Y (shown in Equation 28) is substantially constant.
  • the sum Y of absorption is proportional to the total hemoglobin amount (sum of the concentrations of oxygenated hemoglobin HbO 2 and reduced hemoglobin Hb) in the living tissue, it is appropriate to use this as an index indicating the total hemoglobin amount. is there.
  • the value of the total hemoglobin amount can be acquired from the index Y using a numerical table and a function as in the above-described processing S7. Similarly to the processing S72 to 73, the value of the total hemoglobin amount in which the influence of scattering is corrected can be acquired based on the contribution rate C of scattering.
  • the controller 530 has an index X indicating the oxygen saturation SatO 2 calculated by Expression 19 or the like, and the index Y indicating the total hemoglobin amount calculated by Expression 28 is larger than a predetermined reference value (first reference value).
  • lesion-enhanced image data is generated by performing highlight display processing on the corresponding pixel of the normal observation image data, and the normal observation image
  • the lesion-emphasized image may be displayed on the monitor 300 together with (or alone) the oxygen saturation distribution image.
  • a process of increasing the pixel value of the corresponding pixel for example, a process of changing the hue (for example, a process of increasing the red component by increasing the R component, or a process of rotating the hue by a predetermined angle) ), A process of blinking the corresponding pixel (or changing the hue periodically).
  • the controller 530 determines that the malignancy is based on, for example, the deviation from the average value of the index X (x, y) and the deviation from the average value of the index Y (x, y) instead of the lesion-emphasized image data.
  • An index Z (x, y) indicating the degree of tumor suspicion may be calculated to generate image data (malignancy suspicion image data) having the index Z as a pixel value.
  • the fluctuation range of the absorbance with respect to the change in the oxygen saturation SatO 2 is larger than in the wavelength regions R1 and R3. Therefore, by setting a large weight for absorption A R2 in the wavelength range R2, it is possible to improve the sensitivity of the index X to changes in oxygen saturation SATO 2.
  • the index X is calculated by the following numerical formula 29 with a double weight for the absorption AR2 .
  • index X can be approximately obtained by the following equation 30.
  • the ratio of the weight of the absorption A R2 to the absorption A R1 and A R3 is doubled. However, this ratio is different from that of the other so that a suitable sensitivity and noise amount can be obtained.
  • the value can be appropriately changed to a value (for example, 1.5 times or 2.4 times).
  • the index X can be described by Equation 31.
  • index X can be approximately obtained by the following formula 32.
  • the index X is calculated by the following formula 33.
  • index X can be approximately obtained by the following mathematical formula 34.
  • a weight w1 is given to the sum of absorptions A R1 + A R3 of the wavelength regions R1 and R3 having a positive correlation with the oxygen saturation SatO 2 , and the absorption A R2 of the wavelength region R2 having a negative correlation Then, the weight X may be given, and the index X may be calculated by the following formula 35 or 36.
  • absorption A R1, A R3 in the wavelength range R1, R3 is proportional to the concentration of oxygenated hemoglobin HbO 2 (i.e. oxygen saturation SATO 2)
  • absorption A R2 in the wavelength range R2 is the concentration of reduced hemoglobin Hb (i.e. Since it is proportional to 1-SatO 2 )
  • the following equation 37 is obtained from the first row of equation 33.
  • D Sat (x, y) is the oxygen saturation SatO 2 in the pixel (x, y).
  • the index X calculated by Expression 37 is an index with good sensitivity because D Sat (x, y) (oxygen saturation SatO 2 ) increases exponentially as it approaches 1.
  • the normalized reflectance SR 415 (x, y) and SR 416 (x, y) are calculated by Equations 38 and 39, respectively.
  • the baseline image data BL R418 (x, y), BL G418 (x, y), and BL B 418 (x, y) are imaged under the illumination by the illumination light IL that has passed through the optical filter 418.
  • the contribution rate C is calculated as a percentage of the degree (contribution) that the scattering affects the spectral characteristics of the living tissue.
  • the present invention is not limited to this configuration, and the contribution rate of the scattering.
  • Other indicators representing for example, an integer value of 1 to 5 representing five levels may be used.
  • the oxygen saturation SatO 2 (or the total hemoglobin amount) that does not include an error due to scattering (strictly speaking, the error is reduced) from the index X (or index Y) and the contribution ratio C of scattering. ) Is acquired, but the index X (or index Y) can be corrected based on the contribution C of the scattering.
  • the contribution ratio C of scattering is calculated based on 418 (x, y) two-color monochromatic image data
  • the present invention is not limited to this configuration.
  • the minimum The contribution rate C may be calculated by a square method or a weighted average calculation. Further, for example, the contribution rate C may be calculated only from the R digital image data R 418 (x, y).
  • the present invention is applied to the analysis of the hemoglobin concentration distribution in the biological tissue.
  • another biological substance that changes the color of the biological tissue for example, a secretion product such as a hormone.
  • the present invention can also be applied to analysis of concentration distribution.
  • the mathematical formula used to acquire the index X of the oxygen saturation SatO 2 and the index Y of the total hemoglobin amount is an example, and each index may be acquired by another calculation procedure or method. Good.
  • the value of the oxygen saturation SatO 2 is obtained from the numerical table or function based on the value of the index X, and further multiplied by a predetermined constant to calculate the pixel value of the oxygen saturation distribution image.
  • the present invention is not limited to this configuration. Since the index X is a numerical value that monotonously increases with respect to the oxygen saturation SatO 2 , the value of the index X can be used as it is (or multiplied by a predetermined constant) as the pixel value of the oxygen saturation distribution image.
  • the image sensor 141 of the present embodiment has been described as an image sensor for color image imaging including R, G, B primary color filters on the front surface thereof, the present invention is limited to this configuration.
  • an image sensor for capturing a color image including a complementary color filter of Y, Cy, Mg, and G may be used.
  • the image sensor 141 of the present embodiment has been described as an image sensor for color image capturing including the on-chip color filter 141a.
  • the present invention is not limited to this configuration.
  • An image pickup device for image pickup may be used and a so-called frame sequential color filter may be provided.
  • the color filter 141a is not limited to an on-chip configuration, and can be arranged in the optical path from the light source 430 to the image sensor 141.
  • the rotary filter 410 is used.
  • the present invention is not limited to this configuration, and other types of wavelength tunable filters whose pass wavelength band can be switched may be used. .
  • the rotation filter 410 is provided on the light source side and the irradiation light IL is filtered.
  • the present invention is not limited to this configuration.
  • 410 may be provided on the image sensor side (for example, between the objective optical system 121 and the image sensor 131) to filter the return light from the subject.
  • a configuration is used in which imaging is performed at predetermined time intervals while rotating the rotary filter 410 at a constant rotation speed.
  • the present invention is limited to this configuration.
  • the rotation position of the rotary filter 410 may be changed stepwise at predetermined time intervals, and imaging may be performed while the rotary filter 410 is stationary.
  • a white light source such as a xenon lamp is used as a light source that generates broadband light for illumination, but a non-white light having a sufficient amount of light over the entire pass wavelength range of each optical filter to be used.
  • a light source that generates a wide band of light may be used.
  • a primary color light source that generates light in each wavelength region of R, G, and B may be provided, and a combination of the light generated by each primary color light source may be used as the white light WL.
  • a narrow band light source such as a laser can be used other than the G primary color light source.
  • the G primary color light source a light source that generates broadband light having a sufficient amount of light over at least the entire first illumination wavelength range (wavelength range R0 shown in FIG. 1) is used.
  • the pass wavelength range R0 of the optical filter 415 includes the three peak wavelengths of the absorption peaks P1, P2, and P3, but the two absorption peaks (specifically, the first illumination wavelength range is adjacent). May include only absorption peaks P1 and P2 or absorption peaks P2 and P3).
  • a transmission type optical filter is used, but a reflection type optical filter that reflects the pass wavelength band may be used.
  • the above embodiment is an example in which the present invention is applied to an electronic endoscope apparatus which is a form of a digital camera.
  • digital cameras for example, a digital single lens reflex camera and a digital video camera
  • the present invention can also be applied to the system used.
  • a digital still camera it is possible to observe body surface tissue and brain tissue during craniotomy (for example, rapid examination of cerebral blood flow).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明の一実施形態に係る分析装置は、光源装置と、光源装置が発生する光により照明された生体組織を撮像してカラー画像データを生成する撮像素子と、カラー画像データに基づいて、生体組織の特徴量Qを示す指標Xを計算する指標計算部と、指標Xに基づいて、特徴量Qを取得する特徴量取得部と、を備え、特徴量取得部が、カラー画像データに含まれる少なくとも2色の単色画像データに基づいて、生体組織の分光特性への散乱の寄与度Cを計算する寄与度計算部を備え、指標X及び寄与度Cに基づいて特徴量Qを取得する。

Description

分析装置
 本発明は、生体組織を撮影した画像に基づいて、生体組織中の生体物質の濃度を示す指標を取得する分析装置に関する。
 内視鏡画像の色情報から、被写体である生体組織中の生体物質(例えば、ヘモグロビン)の濃度を定量する機能を備えた内視鏡装置が知られている。このような内視鏡装置の一例が国際公開第2014/192781号(以下「特許文献1」という。)に記載されている。
 特許文献1に記載の内視鏡装置は、ヘモグロビンの550nm付近の吸収帯内の2種類の波長域の照明光をそれぞれ使用して撮影した2つの内視鏡画像の色情報に基づいて、総ヘモグロビン量を示す指標と、酸素飽和度SatOを示す指標を計算する内視鏡装置が記載されている。
 生体組織の画像の色は、生体組織による照明光の散乱の影響を受ける。しかし、特許文献1に記載の内視鏡装置では、各指標の計算において、散乱に起因する分光特性の変化が考慮されていない。そのため、散乱の強さによって指標の計算結果が変動する(すなわち、算出された指標値に、散乱に起因する誤差が含まれている)という問題があった。
 本発明は上記の事情に鑑みてなされたものであり、散乱に起因する指標値の誤差を補償し、より精度の高い指標値を取得可能な分析装置を提供することを目的とする。
 本発明の一実施形態に係る分析装置は、光源装置と、光源装置が発生する光により照明された生体組織を撮像してカラー画像データを生成する撮像素子と、カラー画像データに基づいて、生体組織の特徴量Qを示す指標Xを計算する指標計算部と、指標Xに基づいて、特徴量Qを取得する特徴量取得部と、を備え、特徴量取得部が、カラー画像データに含まれる少なくとも2色の単色画像データに基づいて、生体組織の分光特性への散乱の寄与の程度を数値化した寄与度Cを計算する寄与度計算部を備え、指標X及び寄与度Cに基づいて特徴量Qを取得する。
 この構成によれば、散乱に起因する誤差が低減され、より精度の高い指標値の取得が可能になる。
 上記の分析装置において、カラー画像データがRGBカラー画像データであり、寄与度計算部が、カラー画像データにおける、R単色画像データのG又はB単色画像データに対する比として寄与度Cを計算する構成としてもよい。
 また、上記の分析装置において、寄与度計算部が、特徴量Qと、指標Xと、寄与度Cとの関係を示す情報を保持する記憶手段を備え、特徴量取得部が、情報、指標X及び寄与度Cに基づいて、特徴量Qを取得する構成としてもよい。
 また、上記の分析装置において、情報が、特徴量Qと、指標Xと、寄与度Cとの関係を示す数値テーブル又は関数である構成としてもよい。
 また、上記の分析装置において、情報が、指標X、寄与度C及び特徴量Qの複数の組を表し、特徴量取得部が、複数の組のうち、指標X及び寄与度Cがカラー画像データに基づいて計算されたものに最も近い組を選択して、選択された組の特徴量Qを取得する構成としてもよい。
 また、上記の分析装置において、情報が、指標X、寄与度C及び特徴量Qの複数の組を表し、特徴量取得部が、複数の組のうち、カラー画像データから得られた指標X及び寄与度Cの組に隣接する2組を選択し、次の数式1により特徴量Qを計算する、
Figure JPOXMLDOC01-appb-M000002
 但し、
  Xは、カラー画像データに基づいて計算された指標であり、
  Qaは、選択された2組の一方の特徴量であり、
  Xaは、選択された2組の一方の指標であり、
  Qbは、選択された2組の他方の特徴量であり、
  Xbは、選択された2組の他方の指標である構成としてもよい。
 また、上記の分析装置において、光源装置が、指標Xを計算するための特殊光と、略白色の通常光とを切り替えて発生し、寄与度計算部が、通常光の照明下で生体組織を撮像して得たカラー画像データに基づいて寄与度Cを計算する構成としてもよい。
 また、上記の分析装置において、特殊光が、生体組織に含まれる第1及び第2生体物質が吸収を有する第1波長域に分布する連続スペクトルを有する第1特殊光と、第1波長域内の第2波長域に分布する連続スペクトルを有する第2特殊光と、を含み、光源装置が、第1特殊光と、第2特殊光と、通常光とを切り替えて発生し、指標計算部が、第1特殊光の照明下で生体組織を撮像して得た第1特殊観察画像データGと、第2特殊光の照明下で生体組織を撮像して得た第2特殊観察画像データGと、に基づいて指標Xを計算する構成としてもよい。
 また、上記の分析装置において、カラー画像データがRGBカラー画像データであり、第1特殊観察画像データG及び第2特殊観察画像データGが、それぞれG単色画像データである構成としてもよい。
 また、上記の分析装置において、特徴量Qが、生体組織に含まれる第1及び第2生体物質のモル濃度比である構成としてもよい。
 また、上記の分析装置において、第1生体物質が酸素化ヘモグロビンであり、第2生体物質が還元ヘモグロビンであり、モル濃度比が酸素飽和度である構成としてもよい。
 また、上記の分析装置において、特徴量Qに基づき、生体組織中の第1及び第2生体物質のモル濃度比の分布を表す濃度比分布画像を生成する濃度比分布画像生成部を備えた構成としてもよい。
 また、上記の分析装置において、特徴量Qが、生体組織に含まれる生体物質の濃度である構成としてもよい。
 また、上記の分析装置において、特徴量Qに基づき、生体組織に含まれる生体物質の濃度の分布を表す濃度分布画像を生成する濃度分布画像生成部を備えた構成としてもよい。
 また、上記の分析装置において、特徴量Qが、生体組織中の総ヘモグロビン量である構成としてもよい。
 また、上記の分析装置において、撮像素子が先端部に設けられた内視鏡を備えた構成としてもよい。
へモグロビンの550nm付近の吸収スペクトルである。 本発明の実施の形態に係る内視鏡装置のブロック図である。 撮像素子に内蔵されるカラーフィルタの透過スペクトルである。 回転フィルタの外観図である。 本発明の実施形態に係る画像生成処理を表現するフローチャートである。 分光特性における散乱の影響を説明する、生体組織の分光特性のシミュレーション結果である。 散乱の寄与率Cと、白色光の照明下で撮像したR、G及びBデジタル画像データとの関係を示したグラフである。 散乱の寄与率Cと指標Xとの関係を、真の酸素飽和度SatO毎にプロットしたグラフである。 指標Xに基づいて酸素飽和度SatOを取得する処理の手順を表現するフローチャートである。 図8のグラフを使用して、加重平均により酸素飽和度SatOを取得する方法を説明する図である。 本発明の実施の形態に係る内視鏡装置によって生成された画像情報の表示例である。(a)は酸素飽和度分布画像の2次元表示例であり、(b)は酸素飽和度分布画像の3次元表示例である。 補正係数kの決定に使用される検量線の例である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 以下に説明する本発明の実施形態に係る内視鏡装置は、波長域の異なる光の照明下で撮像した複数の画像に基づいて被写体の生体情報(例えば、酸素飽和度SatO)を定量的に分析して、分析結果を画像化して表示する装置である。以下に説明する酸素飽和度SatOの定量分析では、血液の分光特性(すなわち、ヘモグロビンの分光特性)が酸素飽和度SatOに応じて連続的に変化する性質が利用される。
(ヘモグロビンの分光特性及び酸素飽和度の計算原理)
 本発明の実施形態に係る内視鏡装置の詳しい構成を説明する前に、ヘモグロビンの分光特性と、本実施形態における酸素飽和度SatOの計算原理について説明する。
 図1に、550nm付近のヘモグロビンの吸収スペクトルを示す。ヘモグロビンは、550nm付近にポルフィリンに由来する強い吸収帯を有している。ヘモグロビンの吸収スペクトルは、酸素飽和度SatO(全ヘモグロビンのうち酸素化ヘモグロビンHbOが占める割合)に応じて変化する。図1における実線の波形は、酸素飽和度SatOが100%の場合の(すなわち、酸素化ヘモグロビンHbOの)吸収スペクトルであり、長破線の波形は、酸素飽和度SatOが0%の場合の(すなわち、還元ヘモグロビンHbの)吸収スペクトルである。また、短破線は、その中間の酸素飽和度SatO(10、20、30、・・・90%)におけるヘモグロビン(酸素化ヘモグロビンHbOと還元ヘモグロビンHbの混合物)の吸収スペクトルである。
 図1に示されるように、上記の550nm付近の吸収帯において、酸素化ヘモグロビンHbOと還元ヘモグロビンHb(脱酸素化ヘモグロビンともいう。)は互いに異なるピーク波長を有している。具体的には、酸素化ヘモグロビンHbOは、波長542nm付近の吸収ピークP1と、波長576nm付近の吸収ピークP3を有している。一方、還元ヘモグロビンHbは、556nm付近に吸収ピークP2を有している。図1は、各成分(酸素化ヘモグロビンHbO、還元ヘモグロビンHb)の濃度の和が一定となる2成分系の吸収スペクトルであるため、各成分の濃度(すなわち、酸素飽和度SatO)によらず吸収が一定となる等吸収点E1、E2、E3、E4が現れる。以下の説明では、等吸収点E1とE2とで挟まれた波長領域を波長域R1、等吸収点E2とE3とで挟まれた波長領域を波長域R2、等吸収点E3とE4とで挟まれた波長領域を波長域R3と呼ぶ。また、等吸収点E1とE4とで挟まれた波長領域(すなわち波長域R1、R2及びR3を合わせたもの)を波長域R0と呼ぶ。
 図1に示されるように、隣接する等吸収点間では、酸素飽和度SatOに対して吸収が単調に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収は、酸素飽和度SatOに対してほぼ線形的に変化する。
 具体的には、波長域R1、R3におけるヘモグロビンの吸収AR1、AR3は酸素化ヘモグロビンHbOの濃度(或いは酸素飽和度SatO)に対して線形的に単調増加し、波長域R2におけるヘモグロビンの吸収AR2は還元ヘモグロビンHbの濃度(1-酸素飽和度SatO)に対して線形的に単調増加する。従って、次の数式2により定義される指標Xは、酸素化ヘモグロビンHbOの濃度(或いは酸素飽和度SatO)に対して線形的に単調増加する。
Figure JPOXMLDOC01-appb-M000003
 上記の数式2は、酸素飽和度SatOに対する増減の挙動が異なる帯域間での吸収の差分によって指標Xを定義したものであるが、酸素飽和度SatOとの単調な(より好ましくは線形的な)定量的関係を有していれば、他の数式によって指標Xを定義することもできる。例えば、以下の数式3に示されるように、酸素飽和度SatOに対して単調増加する吸収AR1、AR3の和と、酸素飽和度SatOに対して単調減少する吸収AR2との比率も酸素飽和度SatOに対して線形的に単調増加するため、酸素飽和度SatOの良い指標となる。
Figure JPOXMLDOC01-appb-M000004
 従って、予め実験的に酸素飽和度SatOと指標Xとの定量的な関係を取得すれば、指標Xの値から酸素飽和度SatOを計算することができる。
(内視鏡装置の構成)
 図2は、本発明の実施形態に係る内視鏡装置1のブロック図である。本実施形態の内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400及び画像処理部500が内蔵されている。
 電子内視鏡100は、体腔内に挿入される挿入部110を有している。電子内視鏡100の内部には、略全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入部110の先端部(挿入先端部111)の近傍に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200に内蔵される光源部400は、光量の大きい白色光WLを生成する光源ランプ430を備えている。光源ランプ430には、例えばキセノンランプ、メタルハライドランプ、LEDランプ、ハロゲンランプ等が使用される。光源部400によって生成された照明光ILは、ライトガイド131の基端部131bに入射し、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから射出される。電子内視鏡100の挿入先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから射出される照明光ILは、配光レンズ132を通過して、挿入先端部111の近傍の生体組織Tを照明する。
 また、挿入先端部111には対物光学系121及び撮像素子141が設けられている。生体組織Tの表面で反射・散乱された光の一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面に結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。カラーフィルタ141aは、赤色の光を通過(透過)させるRフィルタと、緑色の光を通過させるGフィルタと、青色の光を通過させるBフィルタとが配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。カラーフィルタ141aのR、G、B各フィルタは、図3に示すような分光特性を有している。すなわち、本実施形態のRフィルタは、波長約570nmより長波長の光を通過させるフィルタであり、Gフィルタは、波長約470nm~620nmの光を通過させるフィルタであり、Bフィルタは、波長約530nmより短波長の光を通過させるフィルタである。
 撮像素子141は、後述する信号処理回路550と同期して駆動するように制御され、受光面に結像した像に対応する撮像信号を、周期的に(例えば、1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。
 画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141から入力される撮像信号をA/D変換して、得られたデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。
 デジタル画像データには、Rフィルタが装着された受光素子によって撮像されたRデジタル画像データ、Gフィルタが装着された受光素子によって撮像されたGデジタル画像データ及びBフィルタが装着された受光素子によって撮像されたBデジタル画像データが含まれている。本明細書において、Rデジタル画像データ、Gデジタル画像データ及びBデジタル画像データを、単色画像データ(R単色画像データ、G単色画像データ及びB単色画像データ)ともいう。
 コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理して一つの表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された表示用画像データ、複数のデジタル画像データの画像が並べられた表示用画像データ、或いは複数のデジタル画像データに基づいて画素(x,y)毎に生体組織Tの反射スペクトルを生成し、この反射スペクトルを用いて、健常部と病変部とを識別表示する表示用画像データや、特定の画素(x,y)に対応する生体組織Tの反射スペクトルのグラフを表示する表示用画像データ等を生成して、この表示用画像データをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データに基づいて所定の形式(例えば、NTSC規格やDVI規格に準拠した形式)のビデオ信号を生成して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。そして、電子内視鏡100によって撮像された内視鏡画像等がモニタ300に表示される。
 このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、被写体である生体組織Tを照明するための照明光ILを電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。
 光源部400は、上述の光源430の他に、集光レンズ440、回転フィルタ410、フィルタ制御部420及び集光レンズ450を備えている。光源430から射出される略平行光の白色光WLは、集光レンズ440によって集光され、回転フィルタ410を通過した後、集光レンズ450によって再度集光されて、ライトガイド131の基端部131bに入射する。回転フィルタ410は、リニアガイドウェイ等の移動手段(不図示)によって、白色光WLの光路上の適用位置(実線)と光路外の退避位置(破線)との間で移動可能になっている。
 なお、光源部400の構成は、図2に示されるものに限定されない。例えば、光源430に収束光を発生するランプを採用してもよい。この場合、例えば、白色光WLを集光レンズ440の手前で集光させ、拡散光として集光レンズ440に入射させる構成を採用してもよい。また、集光レンズ440を使用せずに、光源430からの収束光を回転フィルタ410の近傍で集光させる構成を採用してもよい。
 また、集光レンズ440を使用せず、光源430が発生する略平行光を直接回転フィルタ410に入射させる構成を採用してもよい。
 また、収束光を発生するランプを使用する場合、集光レンズ440の替わりにコリメータレンズを使用して、略平行光の状態で白色光WLを回転フィルタ410に入射させる構成を採用してもよい。例えば、回転フィルタ410に誘電体多層膜フィルタ等の干渉型の光学フィルタを使用する場合、略平行光の白色光WLを回転フィルタ410に入射させることで、光学フィルタへの白色光WLの入射角を均一にすることにより、より良好なフィルタ特性を得ることができる。
 また、光源430に発散光を発生するランプを採用してもよい。この場合にも、集光レンズ440の替わりにコリメータレンズを使用して、略平行光の白色光WLを回転フィルタ410に入射させる構成を採用することができる。
 回転フィルタ410は、複数の光学フィルタを備えた円盤型の光学ユニットであり、その回転角度(又は位相)に応じて通過波長域が切り替わるように構成されている。回転フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御される。コントローラ530がフィルタ制御部420を介して回転フィルタ410の回転角度を制御することにより、回転フィルタ410を通過してライトガイド131に供給される照明光のスペクトルが切り替えられる。
 図4は、回転フィルタ410の外観図(正面図)である。回転フィルタ410は、略円盤状のフレーム411と、4つの円環扇形の光学フィルタ415、416、417及び418を備えている。フレーム411の中心軸の周りには4つの円環扇状の窓414a、414b、414c及び414dが等間隔で形成されており、各窓414a、414b、414c及び414dには、それぞれ光学フィルタ415、416、417及び418が嵌め込まれている。なお、本実施形態の光学フィルタは、いずれも誘電体多層膜フィルタであるが、他の方式の光学フィルタ(例えば、吸収型の光学フィルタや誘電体多層膜を反射膜として用いたエタロンフィルタ等)を用いてもよい。
 また、フレーム411の中心軸上にはボス穴412が形成されている。ボス穴412には、フィルタ制御部420の出力軸が差し込まれて固定され、回転フィルタ410はフィルタ制御部420の出力軸と共に回転する。
 図4には、白色光WLが光学フィルタ415に入射する状態が示されているが、回転フィルタ410が矢印で示される方向に回転すると、白色光WLが入射する光学フィルタは、415、416、417、418の順に切り替わり、これにより回転フィルタ410を通過する照明光ILのスペクトルが切り替えられる。
 光学フィルタ415及び416は、550nm帯の光を選択的に通過させる光バンドパスフィルタである。図1に示されるように、光学フィルタ415は、等吸収点E1からE4までの波長域(すなわち、波長域R0(「第1照明波長域」ともいう。))の光を低損失で通過させ、それ以外の波長領域の光を遮断するように構成されている。また、光学フィルタ416は、等吸収点E2からE3までの波長域(すなわち、波長域R2(「第2照明波長域」ともいう。))の光を低損失で通過させ、それ以外の波長領域の光を遮断するように構成されている。
 図1に示されるように、波長域R1には酸素化ヘモグロビンHbOに由来する吸収ピークP1のピーク波長が含まれ、波長域R2には還元ヘモグロビンHbに由来する吸収ピークP2のピーク波長が含まれ、波長域R3には酸素化ヘモグロビンHbOに由来する吸収ピークP3のピーク波長が含まれている。また、波長域R0には、吸収ピークP1、P2、P3の各ピーク波長が含まれている。
 光学フィルタ415及び416の通過波長域(図1)は、カラーフィルタ141aのGフィルタの通過波長域(図3)に含まれている。従って、光学フィルタ415又は416を通過した光によって撮像素子141の受光面に形成される像は、Gフィルタが装着された受光素子によって撮像され、Gデジタル画像データとして得られる。
 光学フィルタ417は、ヘモグロビンの吸収が低い波長域である650nm帯(630~650nm)の光のみを選択的に通過させるように設計されている。光学フィルタ417の通過波長域は、カラーフィルタ141aのRフィルタの通過波長域(図3)に含まれている。従って、光学フィルタ417を通過した光の像は、Rフィルタが装着された受光素子によって撮像され、Rデジタル画像データとして得られる。650nm帯の照明光を使用して取得される画像データは、後述する規格化処理に使用される。
 また、光学フィルタ418は、紫外線カットフィルタであり、光学フィルタ418を通過した照明光IL(すなわち白色光)は、通常観察像の撮像に使用される。なお、光学フィルタ418を使用せず、フレーム411の窓414dを開放した構成としてもよい。また、本明細書において、光学フィルタ415、416又は417を通過した照明光を特殊光(又は特殊観察光)とも称し、光学フィルタ418を通過した白色光(又は広帯域光)を通常光(又は通常観察光)とも称する。
 窓414aには、光学フィルタ415に重ねて、減光フィルタ(NDフィルタ)419が取り付けられている。減光フィルタ419は、可視光全域に亘って波長依存性が殆ど無く、照明光ILのスペクトルを殆ど変化させずに光量のみを低減する。減光フィルタ419の使用によって、光学フィルタ415及び減光フィルタ419を通過した照明光ILの光量が、光学フィルタ416を通過した照明光ILの光量と同程度に調整される。これにより、光学フィルタ415、416のいずれを通過した照明光ILを用いた場合でも、同じ露出時間で適正露出での撮像が可能になる。
 本実施形態では、減光フィルタ419として、目の細かな金属メッシュが使用されている。金属メッシュ以外にも、反射型や吸収型等の他方式の減光フィルタを使用してもよい。また、減光フィルタを使用せずに、光学フィルタ415、416自体の通過率を調整してもよい。また、窓414c、414dにも減光フィルタを取り付けてもよい。また、窓414a~414dの中心角(すなわち開口面積)を変えることで通過光量を調整してもよい。また、減光フィルタを使用せずに、使用する光学フィルタ毎に露出時間を調整してもよい。
 フレーム411の周縁部には、貫通孔413が形成されている。貫通孔413は、窓414aと窓414dとの境界部と同じ回転位置に形成されている。フレーム411の周囲には、貫通孔413を検出するためのフォトインタラプタ422が、フレーム411の周縁部の一部を囲むように配置されている。フォトインタラプタ422は、フィルタ制御部420に接続されている。
 本実施形態の内視鏡装置1は、通常観察モード、分光分析(酸素飽和度分布画像表示)モード、ベースライン測定モード及び検量モードの4つの動作モードを有している。各動作モードは、ユーザ操作によって切り替えられる。通常観察モードは、光学フィルタ418を通過した白色光を用いてカラー画像を撮影する動作モードである。分光分析モードは、光学フィルタ415、416及び417をそれぞれ通過した照明光を用いて撮像したデジタル画像データに基づいて分光分析を行い、生体組織中の生体分子の分布画像(例えば酸素飽和度分布画像)を表示するモードである。ベースライン測定モードは、実際の内視鏡観察を行う前に(又は行った後で)、無彩色の拡散板(磨りガラス等)や標準反射板等の色基準板を被写体として、光学フィルタ415、416及び417をそれぞれ通過した照明光を用いて撮像を行い、後述する規格化処理に使用するデータを取得するモードである。検量モードは、酸素飽和度SatO等の特性が既知の標準サンプルについて分光分析を行い、分析結果と標準サンプルの特性の基準量(或いは理論値)との差異が解消するようにパラメータ(後述する補正係数k)を調整する処理である。
 通常観察モードにおいては、コントローラ530は、移動手段を制御して、回転フィルタ410を適用位置から退避位置へ移動させる。なお、通常観察モード以外の動作モードでは、回転フィルタ410は適用位置に配置される。また、回転フィルタ410が移動手段を有しない場合は、コントローラ530は、フィルタ制御部420を制御して、白色光WLが光学フィルタ418に入射する位置で回転フィルタ410を静止させる。そして、撮像素子141によって撮像されたデジタル画像データを、必要に応じて画像処理を施した後に、ビデオ信号に変換して、モニタ300に表示させる。
 分光分析モードにおいては、コントローラ530は、フィルタ制御部420を制御して、回転フィルタ410を一定の回転数で回転駆動させながら、光学フィルタ415、416、417及び418を通過した照明光による生体組織Tの撮像を順次行う。そして、各光学フィルタ415、416及び417を用いて取得したデジタル画像データに基づいて生体組織中の生体分子の分布を示す画像を生成し、これと光学フィルタ418を用いて取得した通常観察画像とを並べた表示画面を生成して、更にビデオ信号に変換して、モニタ300に表示させる。
 分光分析モードでは、フィルタ制御部420は、フォトインタラプタ422が貫通孔413を検出するタイミングに基づいて、回転フィルタ410の回転の位相を検出し、これをコントローラ530から供給されるタイミング信号の位相と比較して、回転フィルタ410の回転の位相を調整する。コントローラ530からのタイミング信号は、撮像素子141の駆動信号と同期している。従って、回転フィルタ410は、撮像素子141の駆動と同期して、略一定の回転数で回転駆動される。具体的には、回転フィルタ410の回転は、撮像素子141による1画像分(R,G,Bの3フレーム)の撮像が行われる毎に、白色光WLが入射する光学フィルタ415~418(窓414a~d)が切り替わるように制御される。
 ベースライン測定モードにおいては、コントローラ530は、フィルタ制御部420を制御して回転フィルタ410を回転させながら、光学フィルタ415、416及び417を通過した照明光ILによる色基準板の撮像を順次行う。光学フィルタ415、416を通過した照明光ILを用いて撮影されたGデジタル画像データは、それぞれベースライン画像データBL415(x,y)、BL416(x,y)として、コントローラ530の内部メモリ531に記憶される。また、光学フィルタ417を通過した照明光ILを用いて撮影されたRデジタル画像データは、ベースライン画像データBL417(x,y)としてコントローラ530の内部メモリ531に記憶される。
 次に、分光分析モードにおいて、画像処理部500によって実行される画像生成処理について説明する。なお、画像処理部500は、後述のように、本発明の実施形態に係る指標Xを計算することから、「指標計算部」ともいう。また、画像処理部500は、後述のように、指標Xに基づいて生体組織の特徴量である酸素飽和度SatOや総ヘモグロビン量を取得することから、「特徴量取得部」ともいう。図5は、画像生成処理(指標計算処理及び特徴量取得処理を含む。)を表現するフローチャートである。
 分光分析モードが選択されている場合は、上述のように、フィルタ制御部420は回転フィルタ410を一定の回転数で回転駆動する。そして、光源部400からは、光学フィルタ415、416、417、418をそれぞれ通過した照明光ILが順次供給され、各照明光ILを用いた撮像が順次行われる(処理S1)。具体的には、光学フィルタ415を通過した照明光ILを用いて撮像したGデジタル画像データG415(x,y)、光学フィルタ416を通過した照明光ILを用いて撮像したGデジタル画像データG416(x,y)、光学フィルタ417を通過した照明光ILを用いて撮像したRデジタル画像データR417(x,y)並びに光学フィルタ(紫外線カットフィルタ)418を通過した照明光IL(白色光)を用いて撮像したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)がコントローラ530の内部メモリ532に記憶される。
 次に、画像処理部500は、処理S1にて取得したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)を用いて、以下の分析処理(処理S3-S8)の対象とする画素を選別する画素選別処理S2を行う。血液を含んでいない箇所や、組織の色がヘモグロビン以外の物質により支配的な影響を受けている箇所については、画素の色情報から酸素飽和度SatOや血流量を計算しても意味のある値は得られず、単なるノイズとなる。このようなノイズを算出して医師に提供すると、医師による診断の妨げとなるだけでなく、画像処理部500に無用な負荷を与えて処理速度を低下させるという弊害が生じる。そこで、本実施形態の画像生成処理は、分析処理に適した画素(すなわち、その色情報がヘモグロビンの分光学的特徴に適合する画素)を選別して、選別された画素に対してのみ分析処理を行うように構成されている。
 画素選別処理S2では、以下の数式4、数式5及び数式6の条件を全て充足する画素のみが分析処理の対象画素として選別される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 ここで、a、a、aは正の定数である。
 上記の3つの条件式は、血液のカラー画像における、各色成分の値の大小関係(G成分<B成分<R成分)に基づいて設定されている。なお、上記の3つの条件式のうちの1つ又は2つのみを使用して(例えば、血液に特有の赤色に注目し、数式5及び数式6のみを使用して)画素選別処理S2を行っても良い。
 次に、画像処理部500は、規格化処理を行う。本実施形態の規格化処理には、内視鏡装置1自体の特性(例えば光学フィルタの透過率や撮像素子の受光感度)を補正するための第1規格化処理S3と、被写体である生体組織Tの表面状態や、生体組織Tへの照明光ILの入射角の違いによる反射率の変動を補正するための第2規格化処理S4とが含まれる。
 規格化処理においては、画像処理部500は、光学フィルタ415を通過した照明光ILを用いて取得したGデジタル画像データG415(x,y)、光学フィルタ417を通過した照明光ILを用いて取得したRデジタル画像データR417(x,y)及びベースライン画像データBL415(x,y)、BL417(x,y)から、次の数式7により、規格化反射率SR415(x,y)が計算される。なお、各デジタル画像データG415(x,y)、R417(x,y)をそれぞれ対応するベースライン画像データBL415(x,y)、BL417(x,y)で除算することにより、内視鏡装置1の特性に依存する要素(装置関数)が取り除かれる(第1規格化処理S3)。また、Gデジタル画像データG415(x,y)をRデジタル画像データR417(x,y)で除算することにより、生体組織Tの表面状態や生体組織Tへの照明光ILの入射角の違いによる反射率の変動が補正される(第2規格化処理S4)。
Figure JPOXMLDOC01-appb-M000008
 同様に、次の数式8により、規格化反射率SR416(x,y)が計算される。
Figure JPOXMLDOC01-appb-M000009
 光学フィルタ415、416を通過した照明光ILに対する生体組織Tの吸収A415(x,y)、A416(x,y)は、それぞれ次の数式9、10により計算される(処理S5)。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 なお、吸収A415(x,y)及びA416(x,y)は、それぞれ次の数式11、12により近似的に計算することもできる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 また、上述した規格化処理(処理S3、S4)を省略して、簡易的に分光分析を行うこともできる。その場合には、吸収A415(x,y)及びA416(x,y)は、次の数式13、14により計算される。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
 また、この場合、吸収A415(x,y)及びA416(x,y)は、それぞれ次の数式15、16により近似的に計算することもできる。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
 また、図1に示すヘモグロビンの吸収波長域R1、R2、R3と光学フィルタ415、416の通過波長域との関係から明らかなように、波長域R1、R2、R3に対する生体組織Tの吸収AR1(x,y)、AR2(x,y)、AR3(x,y)と、光学フィルタ415、416を通過した照明光ILに対する生体組織Tの吸収A415(x,y)、A416(x,y)との間には、次の数式17、18に示す関係がある。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
 従って、指標X(数式2)は、次の数式19によって表される。
Figure JPOXMLDOC01-appb-M000020
 また、指標X(数式3)は、次の数式20によっても表される。
Figure JPOXMLDOC01-appb-M000021
 ここで、kは、定数(補正係数)である。光学フィルタ415と416とは、通過波長域の幅が大きく異なるため、両者を通過する光量の違いも大きい。そのため、上述したように、光学フィルタが切り替わっても同じ露出時間で適正露出が得られるように、通過光量の大きい光学フィルタ415に減光フィルタ419を重ねて、光量を調整している。その結果、光学フィルタ415を使用して取得した吸収A415(x,y)と、光学フィルタ416を使用して取得した吸収A416(x,y)との間の定量的な関係が崩れている。また、光学フィルタ415、416の通過波長域内の通過率は100%ではなく、個体によって異なる通過損失を有している。また、光学フィルタ415、416の通過波長域にも誤差がある。そのため、減光フィルタ419を使用しなくても、吸収A415(x,y)と吸収A416(x,y)との定量関係には一定の誤差が含まれる。補正係数kは、吸収A415(x,y)と吸収A416(x,y)との定量関係の誤差を補正するものである。補正係数kを取得する方法については後述する。なお、この補正を行わない場合は、補正係数kを1とする。
 更に、数式9、10及び数式7、8を用いて数式19を整理すると、次の数式21が得られる。
Figure JPOXMLDOC01-appb-M000022
 従って、数式21を用いて、Gデジタル画像データG415(x,y)、G416(x,y)、Rデジタル画像データR417(x,y)及びベースライン画像データBL415(x,y)、BL416(x,y)、BL417(x,y)から指標Xの値を計算することができる(処理S6)。
 また、指標Xは、次の数式22によっても近似的に求めることができる。
Figure JPOXMLDOC01-appb-M000023
 次に、画像処理部500は、各画素(x,y)について、処理S6で取得した指標X(x,y)に基づいて、酸素飽和度SatO(x,y)を取得する処理S7(図5)を行う。処理S7では、所定の条件を満たす画素については、散乱に起因する誤差が補正された酸素飽和度SatO(x,y)を取得する処理が行われ、所定の条件を満たさない(すなわち、補正によって却って分析結果の精度が低下する可能性がある)画素については、散乱に起因する誤差を含む未補正の酸素飽和度SatO(x,y)を取得する処理が行わる。
 処理S7の具体的な手順を説明する前に、指標Xに含まれる散乱に起因する誤差について説明する。
 図6は、シミュレーション計算によって得られた生体組織の分光特性(反射スペクトル)であり、分光特性における散乱の影響を示したものである。消化管内壁等の生体組織の反射スペクトルは、生体組織を構成する成分による吸収の波長特性(具体的には、酸素化ヘモグロビンHbO及び還元ヘモグロビンHbの吸収スペクトル特性)に加えて、散乱の波長特性の影響を受ける。図6(a)は散乱が全く無い場合(散乱の寄与率Cが0%の場合)の反射スペクトルであり、図6(c)はヘモグロビンによる吸収が全くない場合(散乱の寄与率Cが100%の場合)の反射スペクトルであり、図6(b)は反射スペクトルに対する散乱の寄与とヘモグロビンの吸収の寄与の程度が同じ場合(散乱の寄与率Cが50%の場合)の反射スペクトルである。生体組織の反射スペクトルは、図6(b)に近いものとなる。ここで、散乱の寄与率Cとは、生体組織の分光特性における散乱の寄与の程度(寄与度)を表すパラメータの一種である。散乱の寄与度は、分光特性のシミュレーション計算において使用される、散乱体の濃度と相関するパラメータであり、散乱項に乗ぜられるものである。本実施形態における散乱の寄与率Cは、生体組織の分光特性における散乱に起因する成分が占める割合を表すパラメータである。
 図6に示されるように、生体組織の分光特性は、散乱の強さ(寄与率C)によって変化するため、生体組織の分光特性に基づいて計算された指標Xも、散乱の強さによって値が変わり得る。つまり、処理S6で算出された指標Xは、散乱に起因する誤差を含んだものとなっている。より精度の高い分析結果を得るためには、散乱に起因する誤差を補正する必要がある。
 図6(c)に示されるように、散乱のスペクトル特性は、波長に対して単調に増加する波形を呈する。そのため、撮像素子141のB、G、Rフィルタ(各フィルタの透過スペクトルの概略を図6(c)に破線で示す)を通過する散乱光の光量は、この順に大きくなり、それらの割合(例えば、Gフィルタを通過する散乱光の光量に対するRフィルタを通過する散乱光の光量の割合)は散乱の強さによらず略一定となる。また、図6(b)に代表される生体組織の反射スペクトルも、長い波長範囲で見ると、図6(c)の散乱光のスペクトルに似た、波長と共に緩やかに増加する波形を有している。生体組織の反射スペクトルの傾斜は、散乱が少ないほど小さくなり(図6(a)の波形の傾きに近づき)、散乱が多いほど大きくなる(図6(c)の波形の傾きに近づく)。そのため、2つの異なる色のフィルタをそれぞれ通過する光の光量の比率、例えばGフィルタの通過光量(Gデジタル画像データの値)とRフィルタの通過光量(Rデジタル画像データの値)との比率から、散乱の強さを概算することができる。
 図7は、実験値に基づくシミュレーション計算によって得られた、散乱の寄与率Cと、Rデジタル画像データR418、Gデジタル画像データG418及びBデジタル画像データB418の値との関係を示したグラフである。図7より、散乱の寄与率Cに対する感受性(図7のグラフの傾き)は、Rデジタル画像データR418が最も高く、Gデジタル画像データG418が最も低い。従って、Rデジタル画像データR418をGデジタル画像データG418で割って規格化した値が、散乱の寄与率Cの良い指標となる。そこで、本実施形態では、次の数式23により散乱の寄与率Cが計算される。
Figure JPOXMLDOC01-appb-M000024
 なお、散乱の寄与率Cに対するBデジタル画像データB418の感受性もGデジタル画像データG418の感受性と大差無いため、Rデジタル画像データR418をBデジタル画像データB418で割った値も寄与率Cとして使用することができる。
 図8は、散乱の寄与率Cと処理S5(図5)で計算された指標Xとの関係を、真の(すなわち、散乱に起因する誤差を含まない)酸素飽和度SatO毎にプロットした図である。図8に示される定量関係は、シミュレーション計算や実験により取得することができる。図8のグラフにおいて、生体組織の画像データから得られた指標X及び散乱の寄与率Cの組をプロットした点と最も近い曲線を選択し、選択した曲線に対応する酸素飽和度SatOを取得することで、散乱に起因する誤差が補正された酸素飽和度SatOの近似値を得ることができる。
 本実施形態では、図8に示される定量関係が、シミュレーション計算や実験により予め取得され、例えば数値テーブル又は関数として、コントローラ530の不揮発性メモリ532に保持されている。
 次に、処理S7の具体的な手順について説明する。
 図9は、酸素飽和度取得処理(特徴量取得処理)S7の手順を表現するフローチャートである。
 処理S7では、まず、Rデジタル画像データR418、Gデジタル画像データG418及びBデジタル画像データB418の値が、散乱に起因する誤差の補正に適しているか否かが判定される(処理S71)。具体的には、次の数式24、25に示される2つの条件式が成立するか否かが判定される。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
 ここで、b、b、bは閾値(正の定数)である。
 数式24は、寄与率Cが小さ過ぎる場合や、逆に大き過ぎる場合は、Rデジタル画像データR418又はGデジタル画像データG418の信頼性が低いと判断されるため、寄与率Cに基づく散乱の補正の対象から除外するためのものである。
 また、数式25は、画像が暗い場合に、各画素値(Rデジタル画像データR418及びGデジタル画像データG418)の信頼性が低いと判断されるため、明るさの下限を規定するものである。なお、数式25に替えて、例えばGデジタル画像データG418のみを使用して、次の数式26により明るさの下限を設定してもよい。
Figure JPOXMLDOC01-appb-M000027
 ここで、b´は閾値(正の定数)である。
 数式24及び数式25(又は数式26)の2つの条件が両方とも成立する場合には(S71:YES)、処理S72~73へ進み、散乱の影響が補正された酸素飽和度SatOが取得される。また、いずれか一方でも成立しない場合には(S71:NO)、処理S74へ進み、散乱に起因する誤差を含む未補正の酸素飽和度SatOが取得される。
 処理S72では、各画素(x,y)について、上述した数式23により寄与率C(x,y)が計算される。
 処理S73では、図8に示される定量関係を用いて、処理S72で得られた散乱の寄与率C(x,y)と、処理S5で得られた指標X(x,y)とに基づいて、散乱に起因する誤差が補正されたヘモグロビンの酸素飽和度SatO(x,y)が取得される。具体的には、処理S72で得られた散乱の寄与率C(x,y)と、処理S5で得られた指標X(x,y)との対(C,X)を図8のグラフ上にプロットしたときに、プロットされた点(C,X)に最も近い曲線が選択され、選択された曲線に対応する酸素飽和度SatO(x,y)が、その画素(x,y)における酸素飽和度SatO(x,y)として取得される。
 なお、本実施形態の処理S73では、上述したように、図8のグラフ上にプロットした点(C,X)と最も近い曲線に対応する酸素飽和度SatOが取得されるが、本発明はこの構成に限定されない。例えば、図8のグラフ上で点(C,X)に隣接する(すなわち、点(C,X)を間に挟む)一対の曲線を選択し、各曲線に対応する酸素飽和度SatOについて、点(C,X)と各曲線との距離に応じて重み付けした加重平均を計算し、この加重平均値を画素(x,y)の酸素飽和度SatOとして取得することもできる。
 図10を参照して、加重平均により酸素飽和度SatOを取得する方法の具体例を説明する。図10の例では、酸素飽和度SatOが40%の場合における寄与率Cと指標Xとの関係を表す曲線Aと、酸素飽和度SatOが50%の場合の曲線Bとの間に、分析処理で得られた点(C,X)が位置する。寄与率Cにおいて、曲線Aの指標がXaであり、曲線Bの指標がXbである場合、点(C,X)に対応する酸素飽和度SatO(散乱に起因する誤差が補正されたもの)は、次の数式27の加重平均により計算される。
Figure JPOXMLDOC01-appb-M000028
 ここで、[SatO2] aは曲線Aに対応する酸素飽和度SatO(40%)であり、[SatO2] bは曲線Bに対応する酸素飽和度SatO(50%)である。
 また、コントローラ530の不揮発性メモリ532には、予め実験的に取得された、散乱の影響が考慮されていない、ヘモグロビンの酸素飽和度SatOと指標Xの値との定量的関係を表す数値テーブル(又は関数)が記憶されている。処理S74では、コントローラ530は、この数値テーブル(又は関数)を参照して、処理S5で得られた指標Xの値に対応する酸素飽和度SatO(x,y)を取得する。
 コントローラ530の不揮発性メモリ532には、酸素飽和度SatO(x,y)と表示色(画素値)との関係を表す数値テーブル(又は関数)が記憶されている。そして、処理S8(図5)において、コントローラ530は、この数値テーブル(又は関数)を参照して、処理S7で得られた酸素飽和度SatO(x,y)に対応する表示色を表す画素値を取得する。
 また、コントローラ530は、光学フィルタ(紫外線カットフィルタ)418を通過した照明光IL(白色光)を使用して撮像したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)から、通常観察画像データを生成する。
 図11にコントローラ530が生成する画像データの表示例を示す。図11(a)は、上述の処理S8により生成した酸素飽和度分布画像データ(2次元表示)の表示例である。また、図11(b)は、酸素飽和度SatOを垂直軸とする3次元グラフの形式で生成した酸素飽和度分布画像データ(3次元表示)の表示例である。なお、図11は、中指の近位指節間関節付近を輪ゴムで圧迫した状態の右手を観察したものである。右中指の圧迫部よりも遠位側において、圧迫によって血流が阻害されたことにより、酸素飽和度SatOが低くなっている様子が表されている。
 更に、コントローラ530は、生成した酸素飽和度分布画像データ及び通常観察画像データから、1画面上に通常観察画像と酸素飽和度分布画像を並べて表示する画面データを生成して、ビデオメモリ540に記憶させる。なお、コントローラ530は、ユーザ操作に応じて、酸素飽和度分布画像のみを表示する表示画面や、通常観察画像のみを表示する表示画面、酸素飽和度分布画像及び/又は通常観察画像に患者のID情報や観察条件等の付帯情報をスーパーインポーズ表示した表示画面等、種々の表示画面を生成することができる。
 次に、検量モードにおいて、補正係数kを決定する方法について説明する。本実施形態では、指標Xの理論計算値と実測値とを比較して、実測値が理論計算値に最も近い値となるように補正係数kの値を決定する。
 図12に、本発明の実施形態における補正係数kの決定に使用される検量線の例を示す。図12(a)は、一般的な検量線の一例であり、横軸に指標Xの理論値をとり、縦軸に上記の分析処理によって取得した指標Xの実測値をとったものである。黒丸は実測値のプロットであり、破線Maは最小二乗法により実測値をフィッティングした直線である。また、実線は、理論値通りの実測値が得られた場合のプロットである基準線Refを示す。
 指標Xの実測値は、酸素飽和度SatOが既知の生体組織(例えば、血液)のサンプルを使用した分析処理により取得される。また、数式19により定義される指標Xの理論値は、実際に使用する光学フィルタ415及び416の透過スペクトルと、血液の反射スペクトル(又は吸収スペクトル)とを用いて計算される。具体的には、指標Xの理論値は、例えば、光学フィルタ415(光学フィルタ416)の透過スペクトルと血液の反射スペクトルとを乗じて積分したものを吸収A415(吸収A416)とすることで、数式19から計算される。
 基準線Refと実測値Maとのずれは、基準線Refに対する破線Maとの傾きとして表現される。十分な感度が得られない現象、いわゆる破線Maの勾配が緩やかになる現象は、減光フィルタ419の使用によって、数式19における吸収A415(x,y)と吸収A416(x,y)との間の定量的な関係が崩れることに起因している。補正係数kとして適切な値を選択することにより、減光フィルタ419の使用に起因する誤差が補正され、指標Xの実測値が、理論値に対して、誤差が少なくかつ高い相関を有する状態とすることができる。
 図12(b)は、検量線の変形例である。図12(b)の検量線は、横軸にサンプルの酸素飽和度をとり、縦軸に指標Xをとったものである。黒丸は実測値のプロットであり、破線Mbは最小二乗法により実測値をフィッティングした直線である。また、実線Refは理論計算値を示す。なお、サンプルの酸素飽和度は、理想的な分光測定法により正確に測定された値である。この検量線は、図12(a)の検量線から横軸のスケールを変更したもので、実質的に等価なものであるが、酸素飽和度の値との関係を把握し易いという利点がある。
 なお、上記の検量線を使用して補正係数kを決定する方法は、酸素飽和度SatOの異なる複数のサンプルの分析結果を使用するものであるが、一つのサンプルの分析結果のみを使用して補正係数kを決定してもよい。
 また、へモグロビンの吸収波長域R1、R2、R3(すなわち、光学フィルタ415の通過波長域)に着目すると、酸素飽和度SatOの変化に応じて各波長域R1、R2、R3の吸収AR1(x,y)、AR2(x,y)、AR3(x,y)は変化するが、これらの和Y(数式28に示す)は略一定となる。また、この吸収の和Yは、生体組織中の総ヘモグロビン量(酸素化ヘモグロビンHbOと還元ヘモグロビンHbの濃度の和)に比例するため、これを総ヘモグロビン量を示す指標として用いることは妥当である。
Figure JPOXMLDOC01-appb-M000029
 なお、上述した処理S7と同様に、数値テーブルや関数を用いて、指標Yから総ヘモグロビン量の値を取得することができる。また、処理S72~73と同様に、散乱の寄与率Cに基づいて、散乱の影響が補正された総ヘモグロビン量の値を取得することもできる。
 悪性腫瘍の組織では、血管新生により正常な組織よりも総ヘモグロビン量が多く、尚且つ、酸素の代謝が顕著であるため酸素飽和度SatOは正常な組織よりも低いことが知られている。そこで、コントローラ530は、数式28により計算した総ヘモグロビン量を示す指標Yが所定の基準値(第1基準値)よりも大きく、且つ、数式19等により計算した酸素飽和度SatOを示す指標Xが所定の基準値(第2基準値)よりも小さい画素を抽出して、例えば通常観察画像データの対応する画素に対して強調表示処理を行った病変部強調画像データを生成し、通常観察画像及び/又は酸素飽和度分布画像と共に(或いは単独で)病変部強調画像をモニタ300に表示することもできる。
 強調表示処理としては、例えば、該当する画素の画素値を増加させる処理や、色相を変化させる処理(例えば、R成分を増加させて赤味を強くする処理や、色相を所定角度だけ回転させる処理)、該当する画素を明滅させる(あるいは、周期的に色相を変化させる)処理がある。また、これらの処理の2つ以上を組み合わせた処理をしてもよい。
 また、コントローラ530が、病変部強調画像データの代わりに、例えば、指標X(x,y)の平均値からの偏差と、指標Y(x,y)の平均値からの偏差に基づいて、悪性腫瘍の疑いの度合を示す指標Z(x,y)を計算して、指標Zを画素値とする画像データ(悪性疑い度画像データ)を生成する構成としてもよい。
(第1変形例)
 次に、上述した本発明の実施形態の第1変形例について説明する。
 上述した実施形態では、数式2に示されるように、各波長域R1、R2、R3の吸収AR1、AR2、AR3に重み付けをせずに(但し、各波長域の増減が揃うように符号を調整した上で)加算して、指標Xが計算された。これに対して、本変形例は、指標Xを計算する際に、各波長域の吸収AR1、AR2、AR3に重み付けをすることで、酸素飽和度SatOの変化に対する指標Xの感度を向上させるものである。
 図1に示されるように、波長域R2では、波長域R1、R3と比べて、酸素飽和度SatOの変化に対する吸光度の変動幅が大きい。そのため、波長域R2における吸収AR2に対する重みを大きく設定することによって、酸素飽和度SatOの変化に対する指標Xの感度を向上させることができる。
 具体的には、吸収AR2に対して2倍の重みを付けて、次の数式29により指標Xが計算される。
Figure JPOXMLDOC01-appb-M000030
 また、指標Xは、次の数式30によって近似的に求めることもできる。
Figure JPOXMLDOC01-appb-M000031
 なお、上述した第1変形例では、吸収AR1、AR3に対する吸収AR2の重みの割合を2倍にしているが、この割合は、好適な感度やノイズ量が得られるように、他の値(例えば、1.5倍や2.4倍等)に適宜変更することができる。また、数式29を一般化して、吸収AR1、AR3の重みをw1とし、吸収AR2の重みをw2とすると、数式31により指標Xを記述することができる。
Figure JPOXMLDOC01-appb-M000032
 また、指標Xは、次の数式32によって近似的に求めることもできる。
Figure JPOXMLDOC01-appb-M000033
(第2変形例)
 次に、本発明の実施形態の第2変形例について説明する。
 上述した実施形態では、数式2に示されるように、酸素飽和度SatOの増大と共に吸収が増大する波長域R1、R3における吸収AR1、AR3の和と、酸素飽和度SatOの増大と共に吸収が減少する波長域R2における吸収AR2との差分により指標Xが計算された。これに対して、本変形例では、吸収AR1、AR3の和と吸収AR2との比率によって指標Xが計算される。
 具体的には、次の数式33により指標Xが計算される。
Figure JPOXMLDOC01-appb-M000034
 また、指標Xは、次の数式34によって近似的に求めることもできる。
Figure JPOXMLDOC01-appb-M000035
 また、酸素飽和度SatOに対して正の相関を有する波長域R1、R3の吸収の和AR1+AR3に対して重みw1を与え、負の相関を有する波長域R2の吸収AR2に対して重みw2を与えて、次の数式35又は数式36により指標Xを計算してもよい。
Figure JPOXMLDOC01-appb-M000036
Figure JPOXMLDOC01-appb-M000037
 また、波長域R1、R3における吸収AR1、AR3は、酸素化ヘモグロビンHbOの濃度(すなわち酸素飽和度SatO)に比例し、波長域R2における吸収AR2は還元ヘモグロビンHbの濃度(すなわち1-SatO)に比例するため、数式33の第1行から次の数式37が得られる。
Figure JPOXMLDOC01-appb-M000038
 ここで、DSat(x,y)は、画素(x,y)における酸素飽和度SatOである。
 従って、数式37によって計算された指標Xは、DSat(x,y)(酸素飽和度SatO)が増加して1に近づくにつれて、指数関数的に増大するため、感度の良い指標となる。
(第3変形例)
 次に、本発明の実施形態の第3変形例について説明する。
 上述した実施形態では、第2規格化処理S4において、光学フィルタ417を通過した650nm帯の照明光ILを用いて撮像したRデジタル画像データR417(x,y)で除算する処理が行われるが、本発明はこの構成に限定されるものではない。例えば、第2規格化処理において、光学フィルタ418(あるいは、波長依存性を有しない減光フィルタや単なる透明な窓でもよい)を通過した照明光ILを用いて撮影されたR、G、Bの各デジタル画像データの和で除算する構成を採用することもできる。
 この場合、規格化反射率SR415(x,y)、SR416(x,y)は、それぞれ数式38、39により計算される。
Figure JPOXMLDOC01-appb-M000039
Figure JPOXMLDOC01-appb-M000040
 ここで、ベースライン画像データBLR418(x,y)、BLG418(x,y)及びBLB418(x,y)は、光学フィルタ418を通過した照明光ILによる照明下で色基準板を撮像して得たRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)である。
 以上が本発明の実施形態の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。
 上記の実施形態では、生体組織の分光特性に散乱が影響を与える度合(寄与度)を百分率で表した寄与率Cが計算されるが、本発明はこの構成に限定されず、散乱の寄与度を表す他の指標(例えば、5段階の水準を表す1~5の整数値)を使用してもよい。
 また、上記の実施形態では、指標X(又は指標Y)と散乱の寄与率Cから、散乱による誤差を含まない(厳密には、誤差が低減された)酸素飽和度SatO(又は総ヘモグロビン量)が取得されるが、散乱の寄与率Cに基づいて指標X(又は指標Y)を補正することもできる。
 また、上記の実施形態では、Rデジタル画像データR418(x,y)とGデジタル画像データG418(x,y)、又はRデジタル画像データR418(x,y)とBデジタル画像データB418(x,y)の2色の単色画像データに基づいて散乱の寄与率Cが計算されるが、本発明はこの構成に限定されない。例えば、Rデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)の3色の単色画像データに基づいて、例えば最小二乗法や加重平均計算により、寄与率Cを計算する構成としてもよい。また、例えば、Rデジタル画像データR418(x,y)のみから寄与率Cを計算してもよい。
 また、上記の実施形態では、生体組織中のヘモグロビンの濃度分布の分析に本発明を適用したものであるが、生体組織の色を変化させる別の生体物質(例えば、ホルモン等の分泌物)の濃度分布の分析にも本発明を適用することができる。
 また、上記の実施形態において、酸素飽和度SatOの指標Xや総ヘモグロビン量の指標Yの取得に使用された数式は一例であり、別の計算手順や手法によって各指標を取得する構成としてもよい。
 また、上記の実施形態では、指標Xの値に基づいて数値テーブル又は関数から酸素飽和度SatOの値を取得し、更に所定の定数を乗じて酸素飽和度分布画像の画素値を計算しているが、本発明はこの構成に限定されるものではない。指標Xは酸素飽和度SatOに対して単調に増加する数値であるため、指標Xの値をそのまま(又は所定の定数を乗じて)酸素飽和度分布画像の画素値として用いることもできる。
 また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、本発明はこの構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。
 また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、本発明はこの構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中への配置が可能である。
 また、上記の実施形態では、回転フィルタ410が使用されるが、本発明はこの構成に限定されるものではなく、通過波長域が切換え可能な他の方式の波長可変フィルタを使用してもよい。
 また、上記の実施形態では、回転フィルタ410が光源側に設けられ、照射光ILに対してフィルタリングを行う構成が採用されているが、本発明はこの構成に限定されるものではなく、回転フィルタ410を撮像素子側(例えば、対物光学系121と撮像素子131との間)に設けて、被写体からの戻り光をフィルタリングする構成としてもよい。
 また、上記の実施形態では、分光分析モードにおいて、回転フィルタ410を一定の回転数で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、回転フィルタ410の回転位置を所定の時間間隔で段階的に変化させ、回転フィルタ410が静止した状態で撮像を行う構成としてもよい。
 また、上記の実施形態では、照明用の広帯域光を発生する光源としてキセノンランプ等の白色光源が使用されるが、使用する各光学フィルタの通過波長域全域に亘って十分な光量を有する非白色の広帯域光を発生する光源を使用してもよい。
 また、例えば、R、G、Bの各波長域の光をそれぞれ発生する原色光源を設け、各原色光源が発生する光を合波したものを白色光WLとして使用してもよい。この場合、G原色光源以外はレーザ等の狭帯域光源を使用することもできる。また、G原色光源には、少なくとも第1照明波長域(図1に示される波長域R0)の全域に亘って十分な光量を有する広帯域光を発生する光源が使用される。
 また、上記の実施形態では、光学フィルタ415の通過波長域R0が吸収ピークP1、P2及びP3の3つのピーク波長を含んでいるが、第1照明波長域が隣接する2つの吸収ピーク(具体的には吸収ピークP1及びP2又は吸収ピークP2及びP3)のみを含む構成としてもよい。
 また、上記の実施形態では、透過型の光学フィルタが使用されるが、通過波長域を反射する反射型の光学フィルタを使用してもよい。
 また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ(例えば、デジタル一眼レフカメラやデジタルビデオカメラ)を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の観察や開頭手術時の脳組織の観察(例えば、脳血流量の迅速検査)を行うことができる。

Claims (16)

  1.  光源装置と、
     前記光源装置が発生する光により照明された生体組織を撮像してカラー画像データを生成する撮像素子と、
     前記カラー画像データに基づいて、前記生体組織の特徴量Qを示す指標Xを計算する指標計算部と、
     前記指標Xに基づいて、前記特徴量Qを取得する特徴量取得部と、
    を備え、
     前記特徴量取得部が、
      前記カラー画像データに含まれる少なくとも2色の単色画像データに基づいて、前記生体組織の分光特性への散乱の寄与の程度を数値化した寄与度Cを計算する寄与度計算部を備え、
      前記指標X及び前記寄与度Cに基づいて前記特徴量Qを取得する、
    分析装置。
  2.  前記カラー画像データがRGBカラー画像データであり、
     前記寄与度計算部が、前記カラー画像データにおける、R単色画像データのG又はB単色画像データに対する比として前記寄与度Cを計算する、
    請求項1に記載の分析装置。
  3.  前記寄与度計算部が、
      前記特徴量Qと、前記指標Xと、前記寄与度Cとの関係を示す情報を保持する記憶手段を備え、
     前記特徴量取得部が、
      前記情報、前記指標X及び前記寄与度Cに基づいて、前記特徴量Qを取得する、
    請求項1又は請求項2に記載の分析装置。
  4.  前記情報が、前記特徴量Qと、前記指標Xと、前記寄与度Cとの関係を表す数値テーブル又は関数である、
    請求項3に記載の分析装置。
  5.  前記情報が、前記指標X、前記寄与度C及び前記特徴量Qの複数の組を表し、
     前記特徴量取得部が、
      前記複数の組のうち、前記指標X及び前記寄与度Cが前記カラー画像データに基づいて計算されたものに最も近い組を選択して、選択された前記組の特徴量Qを取得する、
    請求項4に記載の分析装置。
  6.  前記情報が、前記指標X、前記寄与度C及び前記特徴量Qの複数の組を表し、
     前記特徴量取得部が、
      前記複数の組のうち、前記カラー画像データから得られた前記指標X及び前記寄与度Cの組に隣接する2組を選択し、
     次の数式1により前記特徴量Qを計算する、
    Figure JPOXMLDOC01-appb-M000001
     但し、
      Xは、前記カラー画像データに基づいて計算された指標であり、
      Qaは、選択された前記2組の一方の特徴量であり、
      Xaは、選択された前記2組の一方の指標であり、
      Qbは、選択された前記2組の他方の特徴量であり、
      Xbは、選択された前記2組の他方の指標である、
    請求項4又は請求項5に記載の分析装置。
  7.  前記光源装置が、
      前記指標Xを計算するための特殊光と、略白色の通常光とを切り替えて発生し、
     前記寄与度計算部が、
      前記通常光の照明下で前記生体組織を撮像して得たカラー画像データに基づいて前記寄与度Cを計算する、
    請求項1から請求項6のいずれか一項に記載の分析装置。
  8.  前記特殊光が、
      前記生体組織に含まれる第1及び第2生体物質が吸収を有する第1波長域に分布する連続スペクトルを有する第1特殊光と、
      前記第1波長域内の第2波長域に分布する連続スペクトルを有する第2特殊光と、を含み、
     前記光源装置が、
      前記第1特殊光と、前記第2特殊光と、前記通常光とを切り替えて発生し、
     前記指標計算部が、
      前記第1特殊光の照明下で前記生体組織を撮像して得た第1特殊観察画像データGと、前記第2特殊光の照明下で前記生体組織を撮像して得た第2特殊観察画像データGと、に基づいて前記指標Xを計算する、
    請求項7に記載の分析装置。
  9.  前記カラー画像データがRGBカラー画像データであり、
     前記第1特殊観察画像データG及び前記第2特殊観察画像データGが、それぞれG単色画像データである、
    請求項8に記載の分析装置。
  10.  前記特徴量Qが、前記生体組織に含まれる第1及び第2生体物質のモル濃度比である、
    請求項1から請求項9のいずれか一項に記載の分析装置。
  11.  前記第1生体物質が酸素化ヘモグロビンであり、
     前記第2生体物質が還元ヘモグロビンであり、
     前記モル濃度比が酸素飽和度である、
    請求項10に記載の分析装置。
  12.  前記特徴量Qに基づき、前記生体組織中の前記第1及び前記第2生体物質のモル濃度比の分布を表す濃度比分布画像を生成する濃度比分布画像生成部を備えた、
    請求項10又は請求項11に記載の分析装置。
  13.  前記特徴量Qが、前記生体組織に含まれる生体物質の濃度である、
    請求項1から請求項12のいずれか一項に記載の分析装置。
  14.  前記特徴量Qに基づき、前記生体組織に含まれる生体物質の濃度の分布を表す濃度分布画像を生成する濃度分布画像生成部を備えた、
    請求項13に記載の分析装置。
  15.  前記特徴量Qが、前記生体組織中の総ヘモグロビン量である、
    請求項14に記載の分析装置。
  16.  前記撮像素子が先端部に設けられた内視鏡を備えた、
    請求項1から請求項15のいずれか一項に記載の分析装置。
PCT/JP2016/077465 2015-09-24 2016-09-16 分析装置 Ceased WO2017051779A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680002955.8A CN107072488B (zh) 2015-09-24 2016-09-16 分析装置
JP2017514928A JP6195328B2 (ja) 2015-09-24 2016-09-16 分析装置
DE112016000119.3T DE112016000119B4 (de) 2015-09-24 2016-09-16 Analysevorrichtung
US15/513,601 US10420457B2 (en) 2015-09-24 2016-09-16 Analyzing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015186553 2015-09-24
JP2015-186553 2015-09-24

Publications (1)

Publication Number Publication Date
WO2017051779A1 true WO2017051779A1 (ja) 2017-03-30

Family

ID=58386498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077465 Ceased WO2017051779A1 (ja) 2015-09-24 2016-09-16 分析装置

Country Status (5)

Country Link
US (1) US10420457B2 (ja)
JP (2) JP6195328B2 (ja)
CN (1) CN107072488B (ja)
DE (1) DE112016000119B4 (ja)
WO (1) WO2017051779A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230130A1 (ja) * 2017-06-13 2018-12-20 オリンパス株式会社 内視鏡装置及び表示画像生成方法
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018001730T5 (de) 2017-03-31 2020-01-09 Hoya Corporation Elektronisches Endoskopsystem
US12350043B2 (en) * 2018-11-11 2025-07-08 Jerusalem College Of Technology Method for measurements of oxygenated and de-oxygenated hemoglobin concentration
EP3982813A1 (en) * 2019-06-13 2022-04-20 Boston Scientific Scimed, Inc. Methods and apparatus to detect bleeding vessels
CN113729859B (zh) * 2021-10-08 2023-03-24 重庆市急救医疗中心 血肿抽取系统、导航系统及血肿边界判断方法
CN113729942B (zh) * 2021-10-08 2023-03-24 重庆市急救医疗中心 基于混合现实技术的血肿清除设备智能定位装置及导航系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085342A (ja) * 2000-09-11 2002-03-26 Olympus Optical Co Ltd 内視鏡装置
WO2013172156A1 (ja) * 2012-05-18 2013-11-21 Hoya株式会社 電子内視鏡装置
WO2014192781A1 (ja) * 2013-05-30 2014-12-04 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS532984A (en) 1976-06-30 1978-01-12 Shimadzu Corp Blood pressure measuring system
US20090204009A1 (en) * 2008-02-07 2009-08-13 Los Alamos National Security Medical device system and related methods for diagnosing abnormal medical conditions based on in-vivo optical properties of tissue
JP5302984B2 (ja) 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
US9492139B2 (en) * 2011-01-13 2016-11-15 Ultrasonic Medical Mapping, Llc Non-imaging low frequency ultrasonic testing and diagnostic evaluation system
JP5419931B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法
CN103781395B (zh) * 2011-09-05 2016-04-13 富士胶片株式会社 内窥镜系统、用于所述内窥镜系统的处理设备和图像生成方法
JP5331860B2 (ja) * 2011-09-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び光源装置
JP5568584B2 (ja) * 2012-03-12 2014-08-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN103006238B (zh) * 2013-01-07 2014-11-26 天津大学 一种测量血氧饱和度的方法
JP6099529B2 (ja) * 2013-09-11 2017-03-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法
US20160287063A1 (en) * 2013-11-22 2016-10-06 Duke University Colposcopes having light emitters and image capture devices and associated methods
CN103750829A (zh) * 2014-01-16 2014-04-30 清华大学 一种多参数生理指征检测装置
JP6010571B2 (ja) * 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6039639B2 (ja) 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6356051B2 (ja) 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085342A (ja) * 2000-09-11 2002-03-26 Olympus Optical Co Ltd 内視鏡装置
WO2013172156A1 (ja) * 2012-05-18 2013-11-21 Hoya株式会社 電子内視鏡装置
WO2014192781A1 (ja) * 2013-05-30 2014-12-04 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230130A1 (ja) * 2017-06-13 2018-12-20 オリンパス株式会社 内視鏡装置及び表示画像生成方法
JPWO2018230130A1 (ja) * 2017-06-13 2019-06-27 オリンパス株式会社 内視鏡装置
CN110740678A (zh) * 2017-06-13 2020-01-31 奥林巴斯株式会社 内窥镜装置及显示图像生成方法
US11457796B2 (en) 2017-06-13 2022-10-04 Olympus Corporation Endoscope system and object evaluation method
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法
JP2023099754A (ja) * 2018-08-31 2023-07-13 Hoya株式会社 内視鏡システム、および画像処理方法
US11885954B2 (en) 2018-08-31 2024-01-30 Hoya Corporation Endoscope system

Also Published As

Publication number Publication date
US10420457B2 (en) 2019-09-24
US20180064320A1 (en) 2018-03-08
JPWO2017051779A1 (ja) 2017-09-28
CN107072488A (zh) 2017-08-18
CN107072488B (zh) 2019-04-19
DE112016000119T5 (de) 2017-06-08
JP2018000975A (ja) 2018-01-11
JP6195328B2 (ja) 2017-09-13
JP6783721B2 (ja) 2020-11-11
DE112016000119B4 (de) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6356051B2 (ja) 分析装置及び分析装置の作動方法
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
JP6195328B2 (ja) 分析装置
US10925527B2 (en) Endoscope apparatus
CN109310305B (zh) 内窥镜系统及特征量计算方法
CN109561808B (zh) 分析装置
JP6783168B2 (ja) 内視鏡システム及び分析装置
JP6284451B2 (ja) 内視鏡装置
JP6584147B2 (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017514928

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15513601

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016000119

Country of ref document: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848567

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16848567

Country of ref document: EP

Kind code of ref document: A1