[go: up one dir, main page]

WO2016084504A1 - 診断支援装置及び診断支援情報表示方法 - Google Patents

診断支援装置及び診断支援情報表示方法 Download PDF

Info

Publication number
WO2016084504A1
WO2016084504A1 PCT/JP2015/078992 JP2015078992W WO2016084504A1 WO 2016084504 A1 WO2016084504 A1 WO 2016084504A1 JP 2015078992 W JP2015078992 W JP 2015078992W WO 2016084504 A1 WO2016084504 A1 WO 2016084504A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
region
fluorescence
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/078992
Other languages
English (en)
French (fr)
Inventor
博樹 内山
俊明 渡邉
佑一 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to CN201580032472.8A priority Critical patent/CN106659360A/zh
Priority to JP2016538152A priority patent/JP6013665B1/ja
Priority to EP15862891.7A priority patent/EP3141178A4/en
Publication of WO2016084504A1 publication Critical patent/WO2016084504A1/ja
Priority to US15/371,831 priority patent/US20170086659A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Definitions

  • the present invention relates to a diagnosis support apparatus and a diagnosis support information display method, and more particularly to a diagnosis support apparatus and a diagnosis support information display method used for fluorescence observation.
  • a lesion site is applied to the desired subject.
  • fluorescence observation is performed, which is an observation method for diagnosing whether or not the odor is included.
  • Japanese Unexamined Patent Application Publication No. 2008-154846 discloses a fluorescence endoscope that can be used for fluorescence observation.
  • Japanese Patent Application Laid-Open No. 2008-154846 does not particularly mention a method that can solve the above-mentioned problems. Therefore, according to the configuration disclosed in Japanese Patent Application Laid-Open No. 2008-154846, it is difficult to appropriately evaluate the temporal change in the state of fluorescence generated from the subject, and thus an endoscope was used. There is a problem corresponding to the above-described problem that an excessive burden may be imposed on an operator who diagnoses the subject by fluorescence observation.
  • the present invention has been made in view of the above-described circumstances, and provides a diagnosis support apparatus and a diagnosis support information display method capable of reducing the burden on an operator who makes a diagnosis by fluorescence observation using an endoscope.
  • the purpose is to do.
  • the diagnosis support apparatus treats the fluorescence generated when the desired subject in the subject is irradiated with the excitation light as a reference of the fluorescence generation state from the fluorescence images obtained by imaging the fluorescence.
  • a region extraction unit configured to perform a process for extracting a reference region and a region of interest to be treated as a comparison target of the fluorescence generation state, a luminance value of each pixel included in the reference region, and
  • An arithmetic processing unit configured to perform an arithmetic process for calculating an arithmetic value indicating an intensity ratio of the fluorescence of the target region with respect to the reference region based on a luminance value of each pixel included in the target region.
  • a storage unit configured to store the calculation value calculated by the calculation processing unit, and a process for causing the display device to display information indicating a change over time of the calculation value stored in the storage unit To do It has a made image processing unit.
  • the region extraction unit captures the fluorescence from the fluorescence image obtained by imaging the fluorescence generated when the desired subject in the subject is irradiated with the excitation light.
  • the reference region includes a region extraction step for performing processing for extracting each of a reference region treated as a reference for the occurrence state of the fluorescence and a region of interest treated as a comparison target of the fluorescence occurrence state, and an arithmetic processing unit. Based on the luminance value of each pixel and the luminance value of each pixel included in the region of interest, an arithmetic process for calculating an arithmetic value indicating the fluorescence intensity ratio of the region of interest with respect to the reference region is performed.
  • FIG. 4 is a diagram illustrating an example when a reference area Ar, an attention area Ai1, and an attention area Ai2 are extracted from the fluorescence image of FIG.
  • 1 to 8 relate to an embodiment of the present invention.
  • an endoscope system 1 is configured to be inserted into a subject and to image a subject such as a living tissue in the subject and output it as an imaging signal.
  • a light source device 3 configured to supply illumination light for illuminating the subject to the endoscope 2 and observation by performing signal processing on an imaging signal output from the endoscope 2
  • the video processor 4 is configured to generate and output an image and the like
  • the monitor 5 is configured to display an observation image output from the video processor 4 on a screen.
  • FIG. 1 is a diagram illustrating a configuration of a main part of an endoscope system including a diagnosis support apparatus according to an embodiment.
  • the endoscope 2 includes an optical viewing tube 2A having an elongated insertion portion 6 and a camera unit 2B that can be attached to and detached from the eyepiece 7 of the optical viewing tube 2A.
  • the optical viewing tube 2A includes an elongated insertion portion 6 to be inserted into a subject, a gripping portion 8 provided at the proximal end portion of the insertion portion 6, and an eyepiece portion provided at the proximal end portion of the gripping portion 8. 7.
  • FIG. 2 is a diagram for explaining an example of the internal configuration of the endoscope system of FIG. 1.
  • the exit end of the light guide 11 is disposed in the vicinity of the illumination lens 15 at the distal end of the insertion section 6 as shown in FIG. Further, the incident end portion of the light guide 11 is disposed in a light guide base 12 provided in the grip portion 8.
  • a light guide 13 for transmitting illumination light supplied from the light source device 3 is inserted into the cable 13a as shown in FIG.
  • a connection member (not shown) that can be attached to and detached from the light guide base 12 is provided at one end of the cable 13a.
  • a light guide connector 14 that can be attached to and detached from the light source device 3 is provided at the other end of the cable 13a.
  • An illumination window in which an illumination lens 15 for emitting illumination light transmitted by the light guide 11 to the outside is disposed on the distal end surface of the insertion portion 6 and an optical according to light incident from the outside.
  • An objective window in which an objective lens 17 for obtaining an image is arranged is provided adjacent to each other.
  • a relay lens 18 for transmitting an optical image obtained by the objective lens 17 to the eyepiece unit 7 is provided inside the insertion unit 6.
  • an eyepiece lens 19 is provided inside the eyepiece unit 7 so that the optical image transmitted by the relay lens 18 can be observed with the naked eye.
  • the camera unit 2B includes a fluorescence imaging system that captures fluorescence as return light incident through the eyepiece lens 19 in the fluorescence observation mode and generates a fluorescence image, and a return incident through the eyepiece lens 19 in the white light observation mode.
  • a white light imaging system that captures reflected light of white light as light and generates a white light image.
  • the fluorescence imaging system and the white light imaging system are divided into two optical axes orthogonal to each other by a dichroic prism 21 having spectral characteristics that reflect white light and transmit fluorescence.
  • the camera unit 2B includes a signal cable 28 provided with an end portion of a signal connector 29 that can be attached to and detached from the video processor 4.
  • the fluorescence imaging system of the camera unit 2B has passed through the excitation light cut filter 22 having spectral characteristics that cut the wavelength band EW of the excitation light emitted from the light source device 3, the dichroic prism 21, and the excitation light cut filter 22.
  • An imaging optical system 23 that forms an image of fluorescence and an image sensor 24 that images the fluorescence imaged by the imaging optical system 23 are provided.
  • the image sensor 24 is constituted by, for example, a highly sensitive monochrome CCD. Further, the image sensor 24 is configured to perform an imaging operation according to an image sensor drive signal output from the video processor 4. The image sensor 24 is configured to capture the fluorescence imaged by the imaging optical system 23 and generate and output a fluorescence image corresponding to the captured fluorescence.
  • the white light imaging system of the camera unit 2B includes an imaging optical system 25 that forms an image of white light reflected by the dichroic prism 21, an imaging element 26 that images the white light imaged by the imaging optical system 25, and It has.
  • the image pickup element 26 is constituted by, for example, a color CCD having a primary color or complementary color filter provided on the image pickup surface. Further, the image sensor 26 is configured to perform an imaging operation according to an image sensor drive signal output from the video processor 4. The imaging element 26 is configured to capture the white light imaged by the imaging optical system 25 and generate and output a white light image corresponding to the captured white light.
  • the camera unit 2B performs predetermined signal processing (correlated double sampling processing, gain adjustment processing, and A / D processing) on the fluorescence image output from the image sensor 24 and the white light image output from the image sensor 26.
  • a signal processing circuit 27 configured to output the fluorescent image and the white light image subjected to the predetermined signal processing to the video processor 4 to which the signal cable 28 is connected.
  • the light source device 3 includes a white light generation unit 31, an excitation light generation unit 32, dichroic mirrors 33 and 34, a condensing lens 35, and a light source control unit 36.
  • the white light generator 31 includes, for example, a lamp or LED that emits broadband white light. Further, the white light generation unit 31 is configured to switch between a lighting state and a light-off state according to the control of the light source control unit 36. Further, the white light generation unit 31 is configured to generate white light having a light amount according to the control of the light source control unit 36.
  • the excitation light generator 32 includes, for example, an LED that emits light (excitation light) in a predetermined wavelength band including the excitation wavelength of the fluorescent agent administered into the subject. Further, the excitation light generation unit 32 is configured to be switched to a lighting state or a light-off state according to the control of the light source control unit 36. In addition, the excitation light generation unit 32 is configured to generate excitation light having a light amount according to the control of the light source control unit 36.
  • the dichroic mirror 33 is, for example, an optical device that transmits white light emitted from the white light generation unit 31 to the condenser lens 35 side and reflects excitation light emitted from the excitation light generation unit 32 to the condenser lens 35 side. It is formed with characteristics.
  • the dichroic mirror 34 has, for example, an optical characteristic that reflects the excitation light emitted from the excitation light generation unit 32 to the dichroic mirror 33 side.
  • the condensing lens 35 is configured to collect the light incident through the dichroic mirror 33 and emit it to the light guide 13.
  • the light source control unit 36 is configured to control the white light generation unit 31 and the excitation light generation unit 32 in accordance with the illumination control signal output from the video processor 4.
  • the video processor 4 includes an image sensor driving unit 41, an image input unit 42, a region identification processing unit 43, an arithmetic processing unit 44, a storage unit 45, an image processing unit 46, and an input I / F (interface) 52. And a control unit 53.
  • the image sensor driving unit 41 includes, for example, a driver circuit.
  • the image sensor drive unit 41 is configured to generate and output an image sensor drive signal according to the control of the control unit 53.
  • the image input unit 42 includes, for example, a buffer memory and stores one frame of images sequentially output from the signal processing circuit 27 of the camera unit 2B, and stores the stored image one frame at a time to the control unit 53. It is configured to output.
  • the image input unit 42 is configured to output the white light image accumulated in the white light observation mode to the image processing unit 46 frame by frame in accordance with the control of the control unit 53.
  • the image input unit 42 is configured to output the fluorescence image accumulated in the fluorescence observation mode to the region identification processing unit 43 and the image processing unit 46 one frame at a time under the control of the control unit 53.
  • the area identification processing unit 43 performs a labeling process on the fluorescent images sequentially output frame by frame from the image input unit 42 according to the control of the control unit 53, for example, so that the reference region included in the fluorescent image is included.
  • Ar discussed below
  • attention area Ai discussed below
  • the arithmetic processing unit 44 includes, for example, an arithmetic processing circuit.
  • the arithmetic processing unit 44 controls the luminance value of each pixel included in the reference region Ar of the fluorescent image sequentially output frame by frame from the region identification processing unit 43 according to the control of the control unit 53, and the fluorescent image. Based on the luminance value of each pixel included in the attention area Ai, an arithmetic processing for calculating an arithmetic value indicating the fluorescence intensity ratio of the attention area Ai with respect to the reference area Ar is performed.
  • the arithmetic processing unit 44 is configured to output the arithmetic value obtained as a result of the arithmetic processing described above to the storage unit 45 and / or the image processing unit 46 under the control of the control unit 53.
  • the storage unit 45 includes, for example, a memory and is configured to store a calculation value output from the calculation processing unit 44 with a time stamp.
  • the image processing unit 46 includes, for example, an image processing circuit for performing predetermined image processing.
  • the image processing unit 46 performs predetermined image processing on the white light image sequentially output frame by frame from the image input unit 42 in the white light observation mode in accordance with the control of the control unit 53 to thereby generate white light.
  • An observation image is generated, and the generated white light observation image is output to the monitor 5.
  • the image processing unit 46 performs a predetermined image processing on the fluorescence image sequentially output from the image input unit 42 for each frame in the fluorescence observation mode in accordance with the control of the control unit 53, thereby obtaining the fluorescence observation image.
  • the generated fluorescence observation image is output to the monitor 5.
  • the image processing unit 46 controls the fluorescent image output from the region identification processing unit 43, the calculation value output from the calculation processing unit 44, and the storage unit 45 in the fluorescence observation mode according to the control of the control unit 53.
  • the monitor 5 is configured to perform processing for causing the monitor 5 to display diagnosis support information (described later) based on the calculated value read from.
  • the input I / F 52 includes one or more input devices capable of giving instructions according to user operations. Specifically, the input I / F 52 gives an instruction to set (switch) the observation mode of the endoscope system 1 to either the white light observation mode or the fluorescence observation mode, for example, according to a user operation. And an observation mode changeover switch (not shown) that can be used. Also, the input I / F 52 is a diagnostic support information display switch (non-switchable) capable of setting (switching) the display of diagnostic support information in the fluorescence observation mode to either on or off according to the user's operation, for example. (Shown).
  • a diagnostic support information display switch non-switchable
  • the input I / F 52 can issue an instruction to set the reference area Ar and the attention area Ai in the fluorescence observation image displayed on the monitor 5 in the fluorescence observation mode, for example, according to the user's operation.
  • a pointing device (not shown).
  • the control unit 53 includes, for example, a CPU, and an illumination control signal for emitting illumination light corresponding to the observation mode of the endoscope system 1 based on an instruction given by the observation mode changeover switch of the input I / F 52. Is generated and output to the light source control unit 36. Further, the control unit 53 performs control for performing an operation according to the observation mode of the endoscope system 1 based on an instruction given by the observation mode changeover switch of the input I / F 52, the image sensor driving unit 41, and the image input.
  • the unit 42 and the image processing unit 46 are configured so as to be performed.
  • control unit 53 is performed in the pointing device of the input I / F 52 when the observation mode of the endoscope system 1 is set to the fluorescence observation mode and the display of the diagnosis support information is set to ON.
  • the reference area Ar and the attention area Ai are respectively extracted from the fluorescence image output from the image input unit 42, and the generation state of the fluorescence of the attention area Ai with respect to the extracted reference area Ar is visualized.
  • Control for displaying certain diagnosis support information on the monitor 5 is configured to be performed on the region identification processing unit 43, the arithmetic processing unit 44, and the image processing unit 46.
  • a user such as an operator connects each part of the endoscope system 1 and turns on the power, and then operates the input I / F 52 to change the observation mode of the endoscope system 1 to the white light observation mode. Give instructions for setting.
  • control unit 53 When the control unit 53 detects that the white light observation mode is set, the control unit 53 generates an illumination control signal for causing the light source device 3 to emit white light and outputs the illumination control signal to the light source control unit 36. Further, when detecting that the white light observation mode is set, the control unit 53 drives the image pickup device 26 of the camera unit 2B and controls the image pickup device 24 of the camera unit 2B to stop driving the image pickup device. To the unit 41.
  • the light source control unit 36 performs control for turning on the white light generation unit 31 in accordance with the illumination control signal output from the control unit 53, and performs control for turning off the excitation light generation unit 32. Do.
  • the image sensor drive unit 41 generates an image sensor drive signal for stopping the imaging operation and outputs the image sensor drive signal to the image sensor 24 according to the control of the control unit 53, and at a predetermined exposure period EA and a predetermined read period RA.
  • An image sensor drive signal for performing the image capturing operation is generated and output to the image sensor 26.
  • the light source control unit 36 and the image sensor driving unit 41 perform the operation as described above, so that the subject is irradiated with white light as illumination light, and the reflected light of the white light is captured by the image sensor 26.
  • a white light image obtained by imaging the reflected light of the white light is output to the image input unit 42 via the signal processing circuit 27.
  • the control unit 53 controls the image input unit 42 to output the white light images sequentially output from the camera unit 2B to the image processing unit 46 frame by frame. Against.
  • the control unit 53 detects that the white light observation mode is set, the control unit 53 performs control for performing predetermined image processing on the white light image sequentially output from the image input unit 42 for each frame. This is performed on the image processing unit 46.
  • control as described above is performed in the control unit 53, whereby the white light observation image is displayed on the monitor 5.
  • the user places the distal end portion of the insertion portion 6 in the vicinity of a desired subject by inserting the insertion portion 6 into the subject while confirming the white light observation image displayed on the monitor 5. To do. Then, the user arranges the distal end portion of the insertion portion 6 in the vicinity of a desired subject, and then operates the input I / F 52 to instruct to set the observation mode of the endoscope system 1 to the fluorescence observation mode. I do.
  • control unit 53 When the control unit 53 detects that the fluorescence observation mode is set, the control unit 53 generates an illumination control signal for emitting excitation light from the light source device 3 and outputs the illumination control signal to the light source control unit 36. Further, when detecting that the fluorescence observation mode is set, the control unit 53 drives the image pickup device 24 of the camera unit 2B and performs control to stop driving the image pickup device 26 of the camera unit 2B. 41.
  • the light source control unit 36 performs control for turning off the white light generation unit 31 according to the illumination control signal output from the control unit 53, and performs control for turning on the excitation light generation unit 32. Do.
  • the image sensor drive unit 41 generates an image sensor drive signal for stopping the imaging operation and outputs the image sensor drive signal to the image sensor 26 according to the control of the control unit 53, and in a predetermined exposure period EB and a predetermined readout period RB.
  • An image sensor drive signal for performing an image capturing operation is generated and output to the image sensor 24.
  • the operation as described above is performed in the light source control unit 36 and the image sensor driving unit 41, so that the excitation light is emitted as illumination light to the desired subject and emitted from the fluorescent agent excited by the excitation light.
  • the captured fluorescence is imaged by the imaging device 24, and a fluorescence image obtained by imaging the fluorescence is output to the image input unit 42 via the signal processing circuit 27.
  • control unit 53 When the control unit 53 detects that the fluorescence observation mode is set and the display of the diagnosis support information is turned off, the control unit 53 sequentially outputs the fluorescence images sequentially output from the camera unit 2B to the image processing unit 46 frame by frame. Control for outputting is performed on the image input unit 42. Further, when the control unit 53 detects that the fluorescence observation mode is set and the display of the diagnosis support information is set to off, the control unit 53 applies the fluorescence images sequentially output from the image input unit 42 for each frame. Control for performing predetermined image processing is performed on the image processing unit 46.
  • control as described above is performed in the control unit 53, whereby the fluorescence observation image is displayed on the monitor 5.
  • the user operates the input I / F 52 while confirming the fluorescence observation image displayed on the monitor 5 to give an instruction to switch the display setting of the diagnosis support information from off to on.
  • control unit 53 When the control unit 53 detects that the display of the diagnosis support information is set to ON, the control unit 53 displays a character string or the like for prompting the setting of the reference area Ar and the attention area Ai in the fluorescence observation image together with the fluorescence observation image. Is controlled with respect to the image processing unit 46.
  • the user operates the input I / F 52 while confirming the character string displayed on the monitor 5 together with the fluorescence observation image, thereby generating a fluorescence generation state from the fluorescence generation region included in the fluorescence observation image.
  • An instruction for setting one reference area Ar treated as a reference and one or more attention areas Ai treated as comparison targets of the fluorescence generation state is issued.
  • the reference area Ar and the attention area Ai in this embodiment are set as pixel areas each having one or more pixels.
  • the control unit 53 having a function as a region extraction unit extracts the reference region Ar and the attention region Ai from the fluorescent image output from the image input unit 42 based on the instruction made in the input I / F 52. Process.
  • FIG. 3 is a diagram illustrating an example of a fluorescence image used for processing of the diagnosis support apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example in which the reference area Ar, the attention area Ai1, and the attention area Ai2 are extracted from the fluorescence image of FIG.
  • the control unit 53 extracts the reference region Ar, the attention region Ai1, and the attention region Ai2 from the fluorescence image output from the image input unit 42, and then indicates the current fluorescence intensity ratio of the attention region Ai1 with respect to the reference region Ar.
  • Control for displaying information and information indicating the current fluorescence intensity ratio of the attention area Ai2 with respect to the reference area Ar on the monitor 5 as diagnosis support information is performed by the area identification processing section 43, the arithmetic processing section 44, and the image processing section. 46.
  • the area identification processing unit 43 performs a labeling process on the fluorescent images sequentially output frame by frame from the image input unit 42 in accordance with the control of the control unit 53, whereby the reference areas Ar, The attention areas Ai1 and Ai2 are made identifiable, and the fluorescent image subjected to the labeling process is output to the arithmetic processing unit 44.
  • the arithmetic processing unit 44 represents the average value or the maximum value of the luminance values of the respective pixels in the reference region Ar included in the fluorescence image sequentially output frame by frame from the region identification processing unit 43 under the control of the control unit 53.
  • An arithmetic value AV1 which is obtained as a value RV and is a ratio value obtained by dividing the luminance value of the attention area Ai1 included in the fluorescence image by the representative value RV is calculated for each pixel of the attention area Ai1.
  • An arithmetic process is performed to calculate an arithmetic value AV2 that is a ratio value obtained by dividing the luminance value of the attention area Ai2 included in the image by the representative value RV for each pixel of the attention area Ai2.
  • the arithmetic processing unit 44 outputs the arithmetic values AV1 and AV2 of each pixel obtained as a result of the above-described arithmetic processing to the storage unit 45 and the image processing unit 46, respectively.
  • the image processing unit 46 selects a region identification processing unit 43 from among a plurality of color information determined in advance based on the magnitudes of the calculation values AV1 and AV2 output from the calculation processing unit 44. And processing for acquiring color information corresponding to each pixel of the attention areas Ai1 and Ai2 included in the fluorescence image sequentially output frame by frame, and using the acquired color information, Processing for outputting a diagnosis support image in which the areas Ai1 and Ai2 are colored to the monitor 5 is performed.
  • FIG. 5 is a diagram illustrating an example of a diagnosis support image generated by the diagnosis support apparatus according to the embodiment.
  • diagnosis support image of FIG. 5 for example, information indicating the current fluorescence intensity ratio of the attention area Ai1 with respect to the reference area Ar is displayed on the monitor 5 with the color C1, and the current of the attention area Ai2 with respect to the reference area Ar.
  • Information indicating the fluorescence intensity ratio is displayed on the monitor 5 in color C2. That is, the diagnosis support image of FIG. 5 includes, as diagnosis support information, the color C1 that is the color information visualizing the current fluorescence intensity ratio of the attention area Ai1 with respect to the reference area Ar and the current of the attention area Ai2 with respect to the reference area Ar. And color C2, which is color information obtained by visualizing the fluorescence intensity ratio.
  • the control unit 53 extracts the reference region Ar, the attention region Ai1, and the attention region Ai2 from the fluorescence image output from the image input unit 42, and then changes the fluorescence intensity ratio of the attention region Ai1 with respect to the reference region Ar over time. Control for causing the monitor 5 to display the time-dependent change in the fluorescence intensity ratio of the attention area Ai2 with respect to the reference area Ar as diagnosis support information for the area identification processing section 43, the arithmetic processing section 44, and the image processing section 46. Do.
  • the area identification processing unit 43 performs a labeling process on the fluorescent images sequentially output frame by frame from the image input unit 42 in accordance with the control of the control unit 53, whereby the reference areas Ar, The attention areas Ai1 and Ai2 are made identifiable, and the fluorescent image subjected to the labeling process is output to the arithmetic processing unit 44.
  • the arithmetic processing unit 44 represents the average value or the maximum value of the luminance values of the respective pixels in the reference region Ar included in the fluorescence image sequentially output frame by frame from the region identification processing unit 43 under the control of the control unit 53.
  • the value RV the average value or the maximum value of the luminance values of each pixel of the attention area Ai1 included in the fluorescent image is acquired as the representative value RV1
  • the luminance value of each pixel of the attention area Ai2 included in the fluorescent image Is obtained as a representative value RV2
  • the storage unit 45 performs processing for assigning and storing time stamps indicating the same time for the arithmetic values AV3 and AV4 input simultaneously from the arithmetic processing unit 44.
  • the arithmetic values AV3 and AV4 obtained as the processing result of the arithmetic processing unit 44 are obtained immediately after the reference area Ar, the attention area Ai1, and the attention area Ai2 are set.
  • Each frame is stored in the storage unit 45 starting from the time Tf corresponding to the time.
  • the image processing unit 46 reads the arithmetic value AV3 stored in the storage unit 45 in time series, and uses a graph in which the read arithmetic value AV3 is arranged and plotted in time series as diagnosis support information. Processing for outputting to the monitor 5 is performed. Further, the image processing unit 46 reads the arithmetic value AV4 stored in the time series in the storage unit 45 according to the control of the control unit 53, and supports diagnosis of a graph in which the read arithmetic value AV4 is plotted in time series. A process for outputting the information to the monitor 5 is performed.
  • FIG. 6 is a diagram illustrating an example of diagnosis support information generated by the diagnosis support apparatus according to the embodiment.
  • the temporal change of the calculated value AV3 starting from the time Tf is displayed on the monitor 5 as a plurality of black points, and the temporal change of the calculated value AV4 starting from the time Tf. Are displayed on the monitor 5 as a plurality of white dots.
  • the temporal change rate of the calculated values AV3 and AV4 is not limited to being displayed as the diagnosis support information, but for example, the temporal change rate of the calculated values AV3 and AV4 is displayed as the diagnostic support information. It may be.
  • processing for displaying as information may be performed.
  • the control unit 53 extracts the reference region Ar, the attention region Ai1, and the attention region Ai2 from the fluorescence image output from the image input unit 42, and then extracts one of the extracted attention region Ai1 or attention region Ai2.
  • the image processing unit 46 is controlled to display a character string or the like that prompts selection of the pixel position together with the fluorescence observation image.
  • the user operates the input I / F 52 while confirming the character string displayed on the monitor 5 together with the fluorescence observation image, so that one attention pixel is selected from the reference area Ar, the attention area Ai1, and the attention area Ai2.
  • An instruction for selecting a PT is given.
  • the control unit 53 specifies the target pixel PT from the fluorescent image output from the image input unit 42 based on the instruction made at the input I / F 52, and at the same time, the current fluorescence intensity of the target pixel PT with respect to the reference region Ar. Control for displaying the ratio value on the monitor 5 is performed on the region identification processing unit 43, the arithmetic processing unit 44, and the image processing unit 46.
  • the area identification processing unit 43 performs a labeling process on the fluorescent images sequentially output frame by frame from the image input unit 42 in accordance with the control of the control unit 53, whereby the reference areas Ar, The attention areas Ai1 and Ai2 are made identifiable, and the fluorescent image subjected to the labeling process is output to the arithmetic processing unit 44.
  • the image processing unit 46 performs processing for outputting the arithmetic value AV5 output from the arithmetic processing unit 44 to the monitor 5 as diagnosis support information in accordance with the control of the control unit 53.
  • the current calculation value AV5 in the target pixel PT selected from the target regions Ai1 and Ai2 is displayed on the monitor 5 as diagnosis support information.
  • processing for displaying a predetermined character string or the like for notification on the monitor 5 may be performed.
  • the processing is not limited to the processing described above.
  • the arithmetic value AV1 changes over time and is predetermined.
  • Processing for causing the monitor 5 to blink and display the pixel group that has reached the value TH2 and the pixel group that has reached the predetermined value TH2 as the arithmetic value AV2 has changed over time may be performed.
  • the processing is not limited to the processing described above.
  • the calculation value AV3 and / or the calculation value AV4 changes with time and reaches the predetermined value TH3 at time Tg.
  • a process for displaying the time required from the time Tf to Tg on the monitor 5 may be performed.
  • the reference phosphor having known fluorescence characteristics with respect to the excitation light emitted from the light source device 3 when the user operates the input I / F 52.
  • An instruction for setting the area where the symbol is placed as the reference area Ar may be given.
  • a calibration auxiliary means for fluorescence observation disclosed in Japanese Patent Laid-Open No. 2005-300540 may be used as the reference phosphor.
  • a process of extracting the area where the reference phosphor is arranged as the reference area Ar may be performed.
  • the operation of the endoscope system 1 when such processing is performed will be described below.
  • FIG. 7 is a diagram illustrating an example of a configuration of a fluorescent member used in combination with the diagnosis support apparatus according to the embodiment.
  • the fluorescent member 101 is formed, for example, as a flat plate member having a rectangular shape in plan view as shown in FIG.
  • the fluorescent member 101 may be formed to have another planar view shape such as a star shape, for example.
  • the fluorescent member 101 is provided so as to surround the reference phosphor 102 having known fluorescence characteristics with respect to the excitation light emitted from the light source device 3 and the outer edge of the reference phosphor 102.
  • the frame member 103 is formed.
  • the reference phosphor 102 is formed, for example, by covering the surface of a phosphor such as a quantum dot with glass.
  • the frame member 103 is formed using a non-fluorescent member that does not generate fluorescence according to excitation light emitted from the light source device 3, such as black PEEK (polyether ether ketone) resin.
  • a non-fluorescent member that does not generate fluorescence according to excitation light emitted from the light source device 3, such as black PEEK (polyether ether ketone) resin.
  • FIG. 8 is a diagram illustrating an example of a fluorescent image captured in a state where the fluorescent member of FIG. 7 is arranged.
  • the control unit 53 detects that the display of the diagnosis support information is turned on, the reference phosphor 102 exists in the inner region surrounded by the frame member 103 based on the fluorescence image output from the image input unit 42. And a process of extracting the specified area as the reference area Ar.
  • control unit 53 generates an edge image by performing edge extraction processing on the fluorescent image output from the image input unit 42, and performs Hough transform on the generated edge image.
  • a straight line shape is extracted, an internal region surrounded by the extracted straight line shape is specified as a region where the reference phosphor 102 exists, and the specified region is extracted as a reference region Ar.
  • the present embodiment it is possible to display on the monitor 5 diagnosis support information that visualizes the fluorescence generation state of one or more attention areas Ai with respect to one reference area Ar. As a result, according to the present embodiment, it is possible to reduce the burden on the operator who makes a diagnosis by fluorescence observation using an endoscope.
  • diagnosis support information may be displayed on the monitor 5, or a plurality of diagnosis support information may be displayed on the monitor 5 at the same time.
  • diagnosis support information may be superimposed on the fluorescence observation image and displayed on the monitor 5, and may be displayed in a display area different from the display area of the fluorescence observation image on the monitor 5.
  • Diagnosis support information or diagnosis support images may be displayed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 診断支援装置は、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、蛍光の発生状態の基準として扱う基準領域と、蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出部と、基準領域に含まれる各画素の輝度値と、注目領域に含まれる各画素の輝度値と、に基づき、基準領域に対する注目領域の蛍光の強度比を示す演算値を算出するための演算処理を行う演算処理部と、演算処理部により算出された演算値を格納する記憶部と、記憶部に格納された演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理部と、を有する。

Description

診断支援装置及び診断支援情報表示方法
 本発明は、診断支援装置及び診断支援情報表示方法に関し、特に、蛍光観察に用いられる診断支援装置及び診断支援情報表示方法に関するものである。
 医療分野の内視鏡観察においては、例えば、生体内に投与された蛍光薬剤を励起するための励起光を所望の被写体に照射した際の蛍光の発生状態に基づき、当該所望の被写体に病変部位が含まれているか否か等を診断するような観察手法である、蛍光観察が従来行われている。そして、例えば、日本国特開2008-154846号公報には、蛍光観察に利用可能な蛍光内視鏡が開示されている。
 ここで、内視鏡観察においては、一般的に、被写体と内視鏡との間の距離を一定に保ちながら当該被写体の観察を行うことが困難であるとされている。そのため、内視鏡を用いた蛍光観察において、被写体から発せられる蛍光を撮像して得られる画像には、当該被写体と当該内視鏡との間の距離の変化に応じた蛍光強度の変化が潜在的に含まれ得る。従って、内視鏡を用いた蛍光観察においては、被写体からの蛍光の発生状態の経時変化を、当該被写体と当該内視鏡との間の距離の変化に応じた蛍光強度の変化による影響を排除しつつ、適切に評価することが困難である、という問題点が生じている。
 一方、日本国特開2008-154846号には、前述の問題点を解消可能な手法等について特に言及されていない。そのため、日本国特開2008-154846号に開示された構成によれば、被写体からの蛍光の発生状態の経時変化を適切に評価することが困難であることに起因し、内視鏡を用いた蛍光観察により当該被写体の診断を行う術者に過度な負担を強いてしまう場合がある、という前述の問題点に応じた課題が生じている。
 本発明は、前述した事情に鑑みてなされたものであり、内視鏡を用いた蛍光観察により診断を行う術者の負担を軽減することが可能な診断支援装置及び診断支援情報表示方法を提供することを目的としている。
 本発明の一態様の診断支援装置は、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うように構成された演算処理部と、前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、を有する。
 本発明の一態様の診断支援情報表示方法は、領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、演算処理部が、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、を有する。
実施例に係る診断支援装置を含む内視鏡システムの要部の構成を示す図。 図1の内視鏡システムの内部構成の一例を説明するための図。 実施例に係る診断支援装置の処理に用いられる蛍光画像の一例を示す図。 図3の蛍光画像から基準領域Ar、注目領域Ai1及び注目領域Ai2が抽出された場合の例を示す図。 実施例に係る診断支援装置により生成される診断支援画像の一例を示す図。 実施例に係る診断支援装置により生成される診断支援情報の一例を示す図。 実施例に係る診断支援装置と併用される蛍光部材の構成の一例を示す図。 図7の蛍光部材を配置した状態で撮像された蛍光画像の一例を示す図。
 以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
 図1から図8は、本発明の実施例に係るものである。
 内視鏡システム1は、図1に示すように、被検体内に挿入されるとともに、当該被検体内における生体組織等の被写体を撮像して撮像信号として出力するように構成された内視鏡2と、当該被写体を照明するための照明光を内視鏡2に供給するように構成された光源装置3と、内視鏡2から出力される撮像信号に対して信号処理を施すことにより観察画像等を生成して出力するように構成されたビデオプロセッサ4と、ビデオプロセッサ4から出力される観察画像等を画面上に表示するように構成されたモニタ5と、を有している。図1は、実施例に係る診断支援装置を含む内視鏡システムの要部の構成を示す図である。
 内視鏡2は、細長の挿入部6を備えた光学視管2Aと、光学視管2Aの接眼部7に対して着脱可能なカメラユニット2Bと、を有して構成されている。
 光学視管2Aは、被検体内に挿入される細長の挿入部6と、挿入部6の基端部に設けられた把持部8と、把持部8の基端部に設けられた接眼部7と、を有して構成されている。
 挿入部6の内部には、図2に示すように、ケーブル13aを介して供給される照明光を伝送するためのライトガイド11が挿通されている。図2は、図1の内視鏡システムの内部構成の一例を説明するための図である。
 ライトガイド11の出射端部は、図2に示すように、挿入部6の先端部における照明レンズ15の近傍に配置されている。また、ライトガイド11の入射端部は、把持部8に設けられたライトガイド口金12に配置されている。
 ケーブル13aの内部には、図2に示すように、光源装置3から供給される照明光を伝送するためのライトガイド13が挿通されている。また、ケーブル13aの一方の端部には、ライトガイド口金12に対して着脱可能な接続部材(不図示)が設けられている。また、ケーブル13aの他方の端部には、光源装置3に対して着脱可能なライトガイドコネクタ14が設けられている。
 挿入部6の先端面には、ライトガイド11により伝送された照明光を外部へ出射するための照明レンズ15が配置された照明窓(不図示)と、外部から入射される光に応じた光学像を得るための対物レンズ17が配置された対物窓(不図示)と、が相互に隣接して設けられている。
 挿入部6の内部には、図2に示すように、対物レンズ17により得られた光学像を接眼部7へ伝送するためのリレーレンズ18が設けられている。
 接眼部7の内部には、図2に示すように、リレーレンズ18により伝送された光学像を肉眼で観察可能とするための接眼レンズ19が設けられている。
 カメラユニット2Bは、蛍光観察モード時に接眼レンズ19を経て入射される戻り光としての蛍光を撮像して蛍光画像を生成する蛍光撮像系と、白色光観察モード時に接眼レンズ19を経て入射される戻り光としての白色光の反射光を撮像して白色光画像を生成する白色光撮像系と、を具備している。そして、蛍光撮像系及び白色光撮像系は、白色光を反射しかつ蛍光を透過させるような分光特性を有するダイクロイックプリズム21により、互いに直交する2つの光軸に分けられている。また、カメラユニット2Bは、ビデオプロセッサ4に対して着脱可能な信号コネクタ29を端部に設けた信号ケーブル28を有して構成されている。
 カメラユニット2Bの蛍光撮像系は、光源装置3から発せられる励起光の波長帯域EWをカットするような分光特性を備えた励起光カットフィルタ22と、ダイクロイックプリズム21および励起光カットフィルタ22を透過した蛍光を結像する結像光学系23と、結像光学系23により結像された蛍光を撮像する撮像素子24と、を備えている。
 撮像素子24は、例えば、高感度なモノクロCCDにより構成されている。また、撮像素子24は、ビデオプロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子24は、結像光学系23により結像された蛍光を撮像し、当該撮像した蛍光に応じた蛍光画像を生成して出力するように構成されている。
 カメラユニット2Bの白色光撮像系は、ダイクロイックプリズム21により反射された白色光を結像する結像光学系25と、結像光学系25により結像された白色光を撮像する撮像素子26と、を備えている。
 撮像素子26は、例えば、原色系または補色系のカラーフィルタを撮像面に設けたカラーCCDにより構成されている。また、撮像素子26は、ビデオプロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子26は、結像光学系25により結像された白色光を撮像し、当該撮像した白色光に応じた白色光画像を生成して出力するように構成されている。
 一方、カメラユニット2Bは、撮像素子24から出力される蛍光画像及び撮像素子26から出力される白色光画像に対して所定の信号処理(相関二重サンプリング処理、ゲイン調整処理、及び、A/D変換処理等)を施すとともに、当該所定の信号処理を施した蛍光画像及び白色光画像を、信号ケーブル28が接続されたビデオプロセッサ4へ出力するように構成された信号処理回路27を具備している。
 光源装置3は、白色光発生部31と、励起光発生部32と、ダイクロイックミラー33及び34と、集光レンズ35と、光源制御部36と、を有して構成されている。
 白色光発生部31は、例えば、広帯域な白色光を発するランプまたはLED等を具備して構成されている。また、白色光発生部31は、光源制御部36の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、白色光発生部31は、光源制御部36の制御に応じた光量を具備する白色光を発生するように構成されている。
 励起光発生部32は、例えば、被検体内に投与される蛍光薬剤の励起波長を含む所定の波長帯域の光(励起光)を発するLED等を具備して構成されている。また、励起光発生部32は、光源制御部36の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、励起光発生部32は、光源制御部36の制御に応じた光量を具備する励起光を発生するように構成されている。
 ダイクロイックミラー33は、例えば、白色光発生部31から発せられる白色光を集光レンズ35側へ透過させるとともに、励起光発生部32から発せられる励起光を集光レンズ35側へ反射するような光学特性を具備して形成されている。
 ダイクロイックミラー34は、例えば、励起光発生部32から発せられる励起光をダイクロイックミラー33側へ反射するような光学特性を具備して形成されている。
 集光レンズ35は、ダイクロイックミラー33を経て入射される光を集光してライトガイド13へ出射するように構成されている。
 光源制御部36は、ビデオプロセッサ4から出力される照明制御信号に応じて白色光発生部31及び励起光発生部32に対する制御を行うように構成されている。
 ビデオプロセッサ4は、撮像素子駆動部41と、画像入力部42と、領域識別処理部43と、演算処理部44と、記憶部45と、画像処理部46と、入力I/F(インターフェース)52と、制御部53と、を有して構成されている。
 撮像素子駆動部41は、例えば、ドライバ回路等を具備して構成されている。また、撮像素子駆動部41は、制御部53の制御に応じた撮像素子駆動信号を生成して出力するように構成されている。
 画像入力部42は、例えば、バッファメモリ等を具備し、カメラユニット2Bの信号処理回路27から順次出力される画像を1フレーム分蓄積するとともに、当該蓄積した画像を1フレーム分ずつ制御部53へ出力するように構成されている。また、画像入力部42は、制御部53の制御に応じ、白色光観察モード時に蓄積した白色光画像を1フレーム分ずつ画像処理部46へ出力するように構成されている。また、画像入力部42は、制御部53の制御に応じ、蛍光観察モード時に蓄積した蛍光画像を1フレーム分ずつ領域識別処理部43及び画像処理部46へ出力するように構成されている。
 領域識別処理部43は、制御部53の制御に応じ、例えば、画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ar(後述)及び注目領域Ai(後述)をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部44へ出力するように構成されている。
 演算処理部44は、例えば、演算処理回路を具備して構成されている。また、演算処理部44は、制御部53の制御に応じ、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像の基準領域Arに含まれる各画素の輝度値と、当該蛍光画像の注目領域Aiに含まれる各画素の輝度値と、に基づき、基準領域Arに対する注目領域Aiの蛍光の強度比を示す演算値を算出するための演算処理を行うように構成されている。また、演算処理部44は、制御部53の制御に応じ、前述の演算処理の処理結果として得られた演算値を記憶部45及び/または画像処理部46へ出力するように構成されている。
 記憶部45は、例えば、メモリ等を具備し、演算処理部44から出力される演算値にタイムスタンプを付与して格納するように構成されている。
 画像処理部46は、例えば、所定の画像処理を行うための画像処理回路等を具備して構成されている。また、画像処理部46は、制御部53の制御に応じ、白色光観察モード時に画像入力部42から1フレーム分ずつ順次出力される白色光画像に対して所定の画像処理を施すことにより白色光観察画像を生成し、当該生成した白色光観察画像をモニタ5へ出力するように構成されている。また、画像処理部46は、制御部53の制御に応じ、蛍光観察モード時に画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対して所定の画像処理を施すことにより蛍光観察画像を生成し、当該生成した蛍光観察画像をモニタ5へ出力するように構成されている。
 一方、画像処理部46は、制御部53の制御に応じ、蛍光観察モード時において、領域識別処理部43から出力される蛍光画像と、演算処理部44から出力される演算値と、記憶部45から読み込んだ演算値と、に基づいて診断支援情報(後述)をモニタ5に表示させるための処理を行うように構成されている。
 入力I/F52は、ユーザの操作に応じた指示を行うことが可能な1以上の入力装置を具備して構成されている。具体的には、入力I/F52は、例えば、ユーザの操作に応じ、内視鏡システム1の観察モードを白色光観察モードまたは蛍光観察モードのいずれかに設定する(切り替える)ための指示を行うことが可能な観察モード切替スイッチ(不図示)を具備して構成されている。また、入力I/F52は、例えば、ユーザの操作に応じ、蛍光観察モード時における診断支援情報の表示をオンまたはオフのいずれかに設定する(切り替える)ことが可能な診断支援情報表示スイッチ(不図示)を具備して構成されている。また、入力I/F52は、例えば、ユーザの操作に応じ、蛍光観察モード時にモニタ5に表示される蛍光観察画像内において基準領域Ar及び注目領域Aiをそれぞれ設定するための指示を行うことが可能なポインティングデバイス(不図示)を具備して構成されている。
 制御部53は、例えば、CPU等を具備し、入力I/F52の観察モード切替スイッチにおいてなされた指示に基づき、内視鏡システム1の観察モードに応じた照明光を出射させるための照明制御信号を生成して光源制御部36へ出力するように構成されている。また、制御部53は、入力I/F52の観察モード切替スイッチにおいてなされた指示に基づき、内視鏡システム1の観察モードに応じた動作を行わせるための制御を撮像素子駆動部41、画像入力部42及び画像処理部46の各部に対して行うように構成されている。
 一方、制御部53は、内視鏡システム1の観察モードが蛍光観察モードに設定され、かつ、診断支援情報の表示がオンに設定されている際に、入力I/F52のポインティングデバイスにおいてなされた指示に基づき、画像入力部42から出力される蛍光画像の中から基準領域Ar及び注目領域Aiをそれぞれ抽出するとともに、当該抽出した基準領域Arに対する注目領域Aiの蛍光の発生状態を可視化した情報である診断支援情報をモニタ5に表示させるための制御を領域識別処理部43、演算処理部44及び画像処理部46に対して行うように構成されている。
 次に、本実施例の内視鏡システム1の動作等について説明する。
 まず、術者等のユーザは、内視鏡システム1の各部を接続して電源を投入した後、入力I/F52を操作することにより、内視鏡システム1の観察モードを白色光観察モードに設定するための指示を行う。
 制御部53は、白色光観察モードに設定されたことを検出すると、光源装置3から白色光を出射させるための照明制御信号を生成して光源制御部36へ出力する。また、制御部53は、白色光観察モードに設定されたことを検出すると、カメラユニット2Bの撮像素子26を駆動させるとともに、カメラユニット2Bの撮像素子24を駆動停止させるような制御を撮像素子駆動部41に対して行う。
 光源制御部36は、制御部53から出力される照明制御信号に応じ、白色光発生部31を点灯状態にするための制御を行うとともに、励起光発生部32を消灯状態にするための制御を行う。
 撮像素子駆動部41は、制御部53の制御に応じ、撮像動作を停止させるための撮像素子駆動信号を生成して撮像素子24へ出力するとともに、所定の露光期間EA及び所定の読出期間RAで撮像動作を行わせるための撮像素子駆動信号を生成して撮像素子26へ出力する。
 そして、以上に述べたような動作が光源制御部36及び撮像素子駆動部41において行われることにより、白色光が照明光として被写体に照射され、当該白色光の反射光が撮像素子26により撮像されるとともに、当該白色光の反射光を撮像して得られた白色光画像が信号処理回路27を経て画像入力部42へ出力される。
 制御部53は、白色光観察モードに設定されたことを検出すると、カメラユニット2Bから順次出力される白色光画像を1フレーム分ずつ画像処理部46へ出力させるための制御を画像入力部42に対して行う。また、制御部53は、白色光観察モードに設定されたことを検出すると、画像入力部42から1フレーム分ずつ順次出力される白色光画像に対して所定の画像処理を施させるための制御を画像処理部46に対して行う。
 そして、以上に述べたような制御が制御部53において行われることにより、白色光観察画像がモニタ5に表示される。
 一方、ユーザは、モニタ5に表示される白色光観察画像を確認しながら、挿入部6を被検体の内部に挿入してゆくことにより、挿入部6の先端部を所望の被写体の近傍に配置する。そして、ユーザは、挿入部6の先端部を所望の被写体の近傍に配置した後、入力I/F52を操作することにより、内視鏡システム1の観察モードを蛍光観察モードに設定するための指示を行う。
 ここで、内視鏡システム1の観察モードが蛍光観察モードに設定された際に行われる具体的な動作等について説明する。なお、以降においては、診断支援情報の表示の設定がオフからオンへ切り替えられる場合を例に挙げて説明する。また、以降においては、内視鏡システム1の観察モードが蛍光観察モードに設定される前に、励起光発生部32から発せられる励起光に応じた蛍光を発する蛍光薬剤が被検体内に予め投与されているものとして説明を行う。
 制御部53は、蛍光観察モードに設定されたことを検出すると、光源装置3から励起光を出射させるための照明制御信号を生成して光源制御部36へ出力する。また、制御部53は、蛍光観察モードに設定されたことを検出すると、カメラユニット2Bの撮像素子24を駆動させるとともに、カメラユニット2Bの撮像素子26を駆動停止させるような制御を撮像素子駆動部41に対して行う。
 光源制御部36は、制御部53から出力される照明制御信号に応じ、白色光発生部31を消灯状態にするための制御を行うとともに、励起光発生部32を点灯状態にするための制御を行う。
 撮像素子駆動部41は、制御部53の制御に応じ、撮像動作を停止させるための撮像素子駆動信号を生成して撮像素子26へ出力するとともに、所定の露光期間EB及び所定の読出期間RBで撮像動作を行わせるための撮像素子駆動信号を生成して撮像素子24へ出力する。
 そして、以上に述べたような動作が光源制御部36及び撮像素子駆動部41において行われることにより、励起光が照明光として所望の被写体に照射され、当該励起光により励起された蛍光薬剤から発せられた蛍光が撮像素子24により撮像され、当該蛍光を撮像して得られた蛍光画像が信号処理回路27を経て画像入力部42へ出力される。
 制御部53は、蛍光観察モードに設定され、かつ、診断支援情報の表示がオフに設定されたことを検出すると、カメラユニット2Bから順次出力される蛍光画像を1フレーム分ずつ画像処理部46へ出力させるための制御を画像入力部42に対して行う。また、制御部53は、蛍光観察モードに設定され、かつ、診断支援情報の表示がオフに設定されたことを検出すると、画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対して所定の画像処理を施させるための制御を画像処理部46に対して行う。
 そして、以上に述べたような制御が制御部53において行われることにより、蛍光観察画像がモニタ5に表示される。
 一方、ユーザは、モニタ5に表示される蛍光観察画像を確認しながら、入力I/F52を操作することにより、診断支援情報の表示の設定をオフからオンへ切り替えるための指示を行う。
 制御部53は、診断支援情報の表示がオンに設定されたことを検出すると、蛍光観察画像内における基準領域Ar及び注目領域Aiの設定を促す文字列等を蛍光観察画像に併せて表示させるための制御を画像処理部46に対して行う。
 ユーザは、蛍光観察画像に併せてモニタ5に表示される文字列を確認しながら、入力I/F52を操作することにより、当該蛍光観察画像に含まれる蛍光発生領域の中から、蛍光の発生状態の基準として扱う1つの基準領域Arと、蛍光の発生状態の比較対象として扱う1つ以上の注目領域Aiと、をそれぞれ設定するための指示を行う。なお、本実施例の基準領域Ar及び注目領域Aiは、1画素以上の画素数を具備する画素領域としてそれぞれ設定されるものとする。
 領域抽出部としての機能を具備する制御部53は、入力I/F52においてなされた指示に基づき、画像入力部42から出力される蛍光画像の中から、基準領域Ar及び注目領域Aiをそれぞれ抽出するための処理を行う。
 ここで、以降においては、例えば、図3の斜線で示すような蛍光発生領域を具備する蛍光画像の中から、図4の一点鎖線で示すような1つの基準領域Arと、図4の破線で示すような2つの注目領域Ai1及びAi2と、がそれぞれ抽出された場合の具体的な処理等について説明する。図3は、実施例に係る診断支援装置の処理に用いられる蛍光画像の一例を示す図である。図4は、図3の蛍光画像から基準領域Ar、注目領域Ai1及び注目領域Ai2が抽出された場合の例を示す図である。
 制御部53は、画像入力部42から出力される蛍光画像の中から基準領域Ar、注目領域Ai1及び注目領域Ai2を抽出した後、基準領域Arに対する注目領域Ai1の現在の蛍光の強度比を示す情報と、基準領域Arに対する注目領域Ai2の現在の蛍光の強度比を示す情報と、を診断支援情報としてモニタ5に表示させるための制御を領域識別処理部43、演算処理部44及び画像処理部46に対して行う。
 領域識別処理部43は、制御部53の制御に応じ、画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ar、注目領域Ai1及びAi2をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部44へ出力する。
 演算処理部44は、制御部53の制御に応じ、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Arの各画素の輝度値の平均値または最大値を代表値RVとして取得し、当該蛍光画像に含まれる注目領域Ai1の輝度値を当該代表値RVで除して得られる比の値である演算値AV1を注目領域Ai1の画素毎に算出し、当該蛍光画像に含まれる注目領域Ai2の輝度値を当該代表値RVで除して得られる比の値である演算値AV2を注目領域Ai2の画素毎に算出するための演算処理を行う。そして、演算処理部44は、制御部53の制御に応じ、前述の演算処理の処理結果として得られた各画素の演算値AV1及びAV2を記憶部45及び画像処理部46へそれぞれ出力する。
 画像処理部46は、制御部53の制御に応じ、演算処理部44から出力される演算値AV1及びAV2の大きさに基づいて予め決められた複数の色情報の中から、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像に含まれる注目領域Ai1及びAi2の各画素に対応する色情報を取得するための処理を行うとともに、当該取得した色情報を用いて当該蛍光画像の注目領域Ai1及びAi2を着色した診断支援画像をモニタ5へ出力するための処理を行う。
 そして、前述のような画像処理部46の処理によれば、例えば、図4の注目領域Ai1の各画素において算出された演算値AV1が相互に同一の値であり、図4の注目領域Ai2の各画素において算出された演算値AV2が相互に同一の値であり、かつ、演算値AV1及び当該演算値AV2が相互に異なる値である場合に、図5に示すような診断支援画像をモニタ5に表示させることができる。図5は、実施例に係る診断支援装置により生成される診断支援画像の一例を示す図である。
 図5の診断支援画像によれば、例えば、基準領域Arに対する注目領域Ai1の現在の蛍光の強度比を示す情報が色C1でモニタ5に表示されるとともに、基準領域Arに対する注目領域Ai2の現在の蛍光の強度比を示す情報が色C2でモニタ5に表示される。すなわち、図5の診断支援画像には、診断支援情報として、基準領域Arに対する注目領域Ai1の現在の蛍光の強度比を可視化した色情報である色C1と、基準領域Arに対する注目領域Ai2の現在の蛍光の強度比を可視化した色情報である色C2と、が含まれている。
 なお、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、以降に述べるような、蛍光の強度比の経時変化を示す情報を診断支援情報として表示するための処理が行われるものであってもよい。なお、以降においては、簡単のため、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。
 制御部53は、画像入力部42から出力される蛍光画像の中から基準領域Ar、注目領域Ai1及び注目領域Ai2を抽出した後、基準領域Arに対する注目領域Ai1の蛍光の強度比の経時変化と、基準領域Arに対する注目領域Ai2の蛍光の強度比の経時変化と、を診断支援情報としてモニタ5に表示させるための制御を領域識別処理部43、演算処理部44及び画像処理部46に対して行う。
 領域識別処理部43は、制御部53の制御に応じ、画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ar、注目領域Ai1及びAi2をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部44へ出力する。
 演算処理部44は、制御部53の制御に応じ、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Arの各画素の輝度値の平均値または最大値を代表値RVとして取得し、当該蛍光画像に含まれる注目領域Ai1の各画素の輝度値の平均値または最大値を代表値RV1として取得し、当該蛍光画像に含まれる注目領域Ai2の各画素の輝度値の平均値または最大値を代表値RV2として取得し、さらに、当該代表値RV1を当該代表値RVで除して得られる比の値(=RV1/RV)である演算値AV3と、当該代表値RV2を当該代表値RVで除して得られる比の値(=RV2/RV)である演算値AV4と、を算出するための演算処理を行う。そして、演算処理部44は、制御部53の制御に応じ、前述の演算処理の処理結果として得られた演算値AV3及びAV4を記憶部45へ同時に出力する。
 記憶部45は、演算処理部44から同時に入力される演算値AV3及びAV4に対し、同じ時刻を示すタイムスタンプを付与して格納するための処理を行う。
 すなわち、以上に述べたような処理によれば、例えば、演算処理部44の処理結果として得られた演算値AV3及びAV4が、基準領域Ar、注目領域Ai1及び注目領域Ai2が設定された直後の時刻に相当する時刻Tfを起点として1フレーム分ずつ記憶部45に格納される。
 画像処理部46は、制御部53の制御に応じ、記憶部45に時系列に格納された演算値AV3を読み込むとともに、当該読み込んだ演算値AV3を時系列に並べてプロットしたグラフを診断支援情報としてモニタ5へ出力するための処理を行う。また、画像処理部46は、制御部53の制御に応じ、記憶部45に時系列に格納された演算値AV4を読み込むとともに、当該読み込んだ演算値AV4を時系列に並べてプロットしたグラフを診断支援情報としてモニタ5へ出力するための処理を行う。
 そして、前述のような画像処理部46の処理によれば、例えば、図6に示すような診断支援情報をモニタ5に表示させることができる。図6は、実施例に係る診断支援装置により生成される診断支援情報の一例を示す図である。
 図6の診断支援情報によれば、時刻Tfを起点とした演算値AV3の経時変化が複数の黒塗りの点としてモニタ5に表示されるとともに、時刻Tfを起点とした演算値AV4の経時変化が複数の白抜きの点としてモニタ5に表示される。
 なお、本実施例によれば、演算値AV3及びAV4の経時変化が診断支援情報として表示されるものに限らず、例えば、演算値AV3及びAV4の経時変化率が診断支援情報として表示されるようにしてもよい。
 また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、以降に述べるような、注目領域内の所望の画素位置における蛍光の強度比の値を診断支援情報として表示するための処理が行われるものであってもよい。
 制御部53は、画像入力部42から出力される蛍光画像の中から基準領域Ar、注目領域Ai1及び注目領域Ai2を抽出した後、当該抽出した注目領域Ai1または注目領域Ai2のいずれかにおける1つの画素位置の選択を促す文字列等を蛍光観察画像に併せて表示させるための制御を画像処理部46に対して行う。
 ユーザは、蛍光観察画像に併せてモニタ5に表示される文字列を確認しながら、入力I/F52を操作することにより、基準領域Ar、注目領域Ai1及び注目領域Ai2の中から1つの注目画素PTを選択するための指示を行う。
 制御部53は、入力I/F52においてなされた指示に基づき、画像入力部42から出力される蛍光画像の中から注目画素PTを特定するとともに、基準領域Arに対する注目画素PTの現在の蛍光の強度比の値をモニタ5に表示させるための制御を領域識別処理部43、演算処理部44及び画像処理部46に対して行う。
 領域識別処理部43は、制御部53の制御に応じ、画像入力部42から1フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ar、注目領域Ai1及びAi2をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部44へ出力する。
 演算処理部44は、制御部53の制御に応じ、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Arの各画素の輝度値の平均値または最大値を代表値RVとして取得し、さらに、注目画素PTの輝度値PTBを当該代表値RVで除して得られる比の値(=PTB/RV)である演算値AV5を算出するための演算処理を行う。
 画像処理部46は、制御部53の制御に応じ、演算処理部44から出力される演算値AV5を診断支援情報としてモニタ5へ出力するための処理を行う。
 すなわち、以上に述べたような画像処理部46の処理によれば、注目領域Ai1及びAi2の中から選択された注目画素PTにおける現在の演算値AV5が診断支援情報としてモニタ5に表示される。
 また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、演算値AV3及び/または演算値AV4が経時的に変化して所定値TH1に達した旨を報知するための所定の文字列等をモニタ5に表示させるための処理が行われるものであってもよい。
 また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、注目領域Ai1及びAi2に含まれる各画素のうち、演算値AV1が経時的に変化して所定値TH2に達した画素群と、演算値AV2が経時的に変化して所定値TH2に達した画素群と、をそれぞれモニタ5に点滅表示させるための処理が行われるものであってもよい。
 また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、演算値AV3及び/または演算値AV4が経時的に変化して時刻Tgに所定値TH3に達した場合において、時刻TfからTgまでに要した時間をモニタ5に表示させるための処理が行われるものであってもよい。
 一方、本実施例によれば、例えば、蛍光観察モード時に、ユーザが、入力I/F52を操作することにより、光源装置3から出射される励起光に対して既知の蛍光特性を有する基準蛍光体を配置した領域を基準領域Arとして設定するための指示を行うものであってもよい。なお、このような方法で基準領域Arを設定する場合においては、例えば、日本国特開2005-300540号公報に開示された蛍光観察用の較正補助手段等を基準蛍光体として用いればよい。
 また、本実施例によれば、例えば、蛍光観察モード時に、光源装置3から出射される励起光に対して既知の蛍光特性を有する基準蛍光体を撮像して得られた蛍光画像に基づき、当該基準蛍光体が配置された領域を基準領域Arとして抽出するような処理が行われるようにしてもよい。ここで、このような処理が行われる場合の内視鏡システム1の動作等について、以下に説明する。
 ユーザは、モニタ5に表示される蛍光観察画像を確認しながら、図7に例示するような蛍光部材101を所望の被写体の表面に配置する。また、ユーザは、所望の被写体の表面に蛍光部材101を配置した後、入力I/F52を操作することにより、診断支援情報の表示の設定をオフからオンへ切り替えるための指示を行う。図7は、実施例に係る診断支援装置と併用される蛍光部材の構成の一例を示す図である。
 蛍光部材101は、例えば、図7に示すように、平面視矩形形状をなす平板部材として形成されている。なお、蛍光部材101は、生体内に存在し得ない形状である直線を含む限りにおいては、例えば、星形形状等の他の平面視形状を具備して形成されていてもよい。
 一方、蛍光部材101は、図7に示すように、光源装置3から出射される励起光に対して既知の蛍光特性を有する基準蛍光体102と、基準蛍光体102の外縁部を囲むように設けられた枠部材103と、を有して構成されている。
 基準蛍光体102は、例えば、量子ドット等の蛍光体の表面をガラスで覆うことにより形成されている。
 枠部材103は、例えば、黒色のPEEK(ポリエーテルエーテルケトン)樹脂等のような、光源装置3から出射される励起光に応じた蛍光を発生しない非蛍光性部材を用いて形成されている。
 すなわち、蛍光観察モード時に、所望の被写体の表面に蛍光部材101が配置された状態においては、例えば、図8に示すような、基準蛍光体102と、基準蛍光体102以外の蛍光発生領域と、の境界部分が枠部材103により強調された蛍光画像が撮像素子24により撮像されるとともに画像入力部42から出力される。図8は、図7の蛍光部材を配置した状態で撮像された蛍光画像の一例を示す図である。
 制御部53は、診断支援情報の表示がオンに設定されたことを検出すると、画像入力部42から出力される蛍光画像に基づき、枠部材103に囲まれた内部領域を基準蛍光体102が存在する領域として特定するとともに、当該特定した領域を基準領域Arとして抽出する処理を行う。
 具体的には、制御部53は、例えば、画像入力部42から出力される蛍光画像に対してエッジ抽出処理を施すことによりエッジ画像を生成し、当該生成したエッジ画像に対してハフ変換を施すことにより直線形状を抽出し、当該抽出した直線形状に囲まれた内部領域を基準蛍光体102が存在する領域として特定し、当該特定した領域を基準領域Arとして抽出するような処理を行う。
 以上に述べたように、本実施例によれば、1つの基準領域Arに対する1つ以上の注目領域Aiの蛍光の発生状態を可視化した診断支援情報をモニタ5に表示させることができる。その結果、本実施例によれば、内視鏡を用いた蛍光観察により診断を行う術者の負担を軽減することができる。
 なお、本実施例によれば、例えば、1つの診断支援情報のみをモニタ5に表示させるようにしてもよく、複数の診断支援情報を同時にモニタ5に表示させるようにしてもよい。また、本実施例によれば、例えば、蛍光観察画像内に診断支援情報を重畳してモニタ5に表示させるようにしてもよく、モニタ5における蛍光観察画像の表示領域とは別の表示領域に診断支援情報または診断支援画像を表示させるようにしてもよい。
 本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2014年11月26日に日本国に出願された特願2014-239157号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

  1.  被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、
     前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うように構成された演算処理部と、
     前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、
     前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、
     を有することを特徴とする診断支援装置。
  2.  前記演算処理部は、前記演算値を算出するための演算処理として、前記基準領域に含まれる各画素の輝度値の平均値または最大値を第1の代表値として取得し、前記注目領域に含まれる各画素の輝度値の平均値または最大値を第2の代表値として取得し、前記第2の代表値を前記第1の代表値で除して得られる比の値を算出する処理を行う
     ことを特徴とする請求項1に記載の診断支援装置。
  3.  前記演算処理部は、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得するとともに、前記注目領域の輝度値を前記代表値で除して得られる比の値を前記注目領域の画素毎に算出するための演算処理をさらに行い、
     前記画像処理部は、前記演算処理部により算出された前記比の値の大きさに応じた色情報を前記表示装置に表示させるための処理をさらに行う
     ことを特徴とする請求項1に記載の診断支援装置。
  4.  前記演算処理部は、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得するとともに、前記注目領域の各画素の中から選択された1つの注目画素の輝度値を前記代表値で除して得られる比の値を算出するための演算処理をさらに行い、 前記画像処理部は、前記演算処理部により算出された前記比の値を前記表示装置に表示させるための処理をさらに行う
     ことを特徴とする請求項1に記載の診断支援装置。
  5.  前記領域抽出部は、前記蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する領域を前記基準領域として抽出するための処理を行う
     ことを特徴とする請求項1に記載の診断支援装置。
  6.  前記領域抽出部は、前記励起光に応じた前記蛍光を発生しない非蛍光性部材を用いて形成された枠部材が前記基準蛍光体の外縁部に設けられている場合において、前記蛍光画像に基づき、前記枠部材に囲まれた内部領域を前記基準蛍光体が存在する領域として特定するとともに、当該特定した領域を前記基準領域として抽出する処理を行う
     ことを特徴とする請求項5に記載の診断支援装置。
  7.  領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、
     演算処理部が、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、
     画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、
     を有することを特徴とする診断支援情報表示方法。
  8.  前記演算処理ステップは、前記演算値を算出するための演算処理として、前記基準領域に含まれる各画素の輝度値の平均値または最大値を第1の代表値として取得し、前記注目領域に含まれる各画素の輝度値の平均値または最大値を第2の代表値として取得し、前記第2の代表値を前記第1の代表値で除して得られる比の値を算出する処理を行う
     ことを特徴とする請求項7に記載の診断支援情報表示方法。
  9.  前記演算処理ステップは、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得するとともに、前記注目領域の輝度値を前記代表値で除して得られる比の値を前記注目領域の画素毎に算出するための演算処理をさらに行い、
     前記画像処理ステップは、前記演算処理ステップにより算出された前記比の値の大きさに応じた色情報を前記表示装置に表示させるための処理をさらに行う
     ことを特徴とする請求項7に記載の診断支援情報表示方法。
  10.  前記演算処理ステップは、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得するとともに、前記注目領域の各画素の中から選択された1つの注目画素の輝度値を前記代表値で除して得られる比の値を算出するための演算処理をさらに行い、
     前記画像処理ステップは、前記演算処理ステップにより算出された前記比の値を前記表示装置に表示させるための処理をさらに行う
     ことを特徴とする請求項7に記載の診断支援情報表示方法。
  11.  前記領域抽出ステップは、前記蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する領域を前記基準領域として抽出するための処理を行う
     ことを特徴とする請求項7に記載の診断支援情報表示方法。
  12.  前記領域抽出ステップは、前記励起光に応じた前記蛍光を発生しない非蛍光性部材を用いて形成された枠部材が前記基準蛍光体の外縁部に設けられている場合において、前記蛍光画像に基づき、前記枠部材に囲まれた内部領域を前記基準蛍光体が存在する領域として特定するとともに、当該特定した領域を前記基準領域として抽出する処理を行う
     ことを特徴とする請求項11に記載の診断支援情報表示方法。
PCT/JP2015/078992 2014-11-26 2015-10-14 診断支援装置及び診断支援情報表示方法 Ceased WO2016084504A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580032472.8A CN106659360A (zh) 2014-11-26 2015-10-14 诊断支援装置和诊断支援信息显示方法
JP2016538152A JP6013665B1 (ja) 2014-11-26 2015-10-14 診断支援装置及び診断支援情報表示方法
EP15862891.7A EP3141178A4 (en) 2014-11-26 2015-10-14 Diagnosis assistance device and diagnosis assistance information display method
US15/371,831 US20170086659A1 (en) 2014-11-26 2016-12-07 Diagnosis assisting apparatus and diagnosis assisting information display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-239157 2014-11-26
JP2014239157 2014-11-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/371,831 Continuation US20170086659A1 (en) 2014-11-26 2016-12-07 Diagnosis assisting apparatus and diagnosis assisting information display method

Publications (1)

Publication Number Publication Date
WO2016084504A1 true WO2016084504A1 (ja) 2016-06-02

Family

ID=56074082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078992 Ceased WO2016084504A1 (ja) 2014-11-26 2015-10-14 診断支援装置及び診断支援情報表示方法

Country Status (5)

Country Link
US (1) US20170086659A1 (ja)
EP (1) EP3141178A4 (ja)
JP (1) JP6013665B1 (ja)
CN (1) CN106659360A (ja)
WO (1) WO2016084504A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム
US12053161B2 (en) 2019-02-26 2024-08-06 Olympus Corporation Endoscope apparatus, information storage medium, control method of endoscope apparatus, and processing device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367898B (zh) * 2018-07-10 2024-09-24 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
CN112584741B (zh) * 2018-08-20 2024-10-29 富士胶片株式会社 医疗图像处理系统
WO2020066941A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020084752A1 (ja) * 2018-10-26 2020-04-30 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP6921886B2 (ja) * 2019-03-19 2021-08-18 キヤノン株式会社 情報処理装置および情報処理方法
JP7451170B2 (ja) * 2019-12-20 2024-03-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法およびプログラム
CN115243598B (zh) * 2020-03-09 2026-01-09 奥林巴斯株式会社 医疗用图像处理装置、医疗用拍摄装置、医疗用观察系统、图像处理方法和存储介质
JP7596365B2 (ja) * 2020-04-09 2024-12-09 オリンパス株式会社 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム
EP4213712A4 (en) * 2020-09-18 2024-07-31 Stryker European Operations Limited FLUORESCENCE VISUALIZATION SYSTEMS AND METHODS
CN115375641A (zh) * 2022-08-12 2022-11-22 杭州海康慧影科技有限公司 一种生成荧光染色图像的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06503979A (ja) * 1991-01-04 1994-05-12 アンスチチュ ナショナル ド ラ サント エ ド ラ ルシェルシュ メディカル−アンセルム 標的のpHを測定する装置、該装置の使用方法及びその用途
JP2005040181A (ja) * 2003-07-23 2005-02-17 Pentax Corp 自家蛍光観察装置
JP2008154846A (ja) * 2006-12-25 2008-07-10 Olympus Corp 蛍光内視鏡および蛍光測定方法
JP2011194164A (ja) * 2010-03-23 2011-10-06 Olympus Corp 蛍光観察装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137173A (ja) * 1999-11-11 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像測定方法および装置
JP2004024932A (ja) * 2002-06-21 2004-01-29 Nok Corp 中空糸膜モジュール
WO2006065739A2 (en) * 2004-12-14 2006-06-22 Millennium Pharmaceuticals, Inc A device for aggregating, imaging and analyzing thrombi and a method of use
JPWO2008044492A1 (ja) * 2006-10-13 2010-02-12 オリンパス株式会社 小動物体内の顕微観察方法
JP2009201940A (ja) * 2008-02-29 2009-09-10 Hoya Corp 内視鏡光源システム、内視鏡光源装置、内視鏡プロセッサ、および内視鏡ユニット
WO2010116552A1 (ja) * 2009-03-30 2010-10-14 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JP5356191B2 (ja) * 2009-11-26 2013-12-04 オリンパス株式会社 蛍光観察装置
JP5555002B2 (ja) * 2010-02-10 2014-07-23 オリンパス株式会社 蛍光内視鏡装置
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2012114934A1 (ja) * 2011-02-21 2012-08-30 オリンパス株式会社 蛍光観察装置
JP6006199B2 (ja) * 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置
CN103687529B (zh) * 2011-07-22 2016-05-18 奥林巴斯株式会社 荧光内窥镜装置
JP5750381B2 (ja) * 2012-02-13 2015-07-22 株式会社日立製作所 領域抽出処理システム
JP5979904B2 (ja) * 2012-02-20 2016-08-31 キヤノン株式会社 画像処理装置、眼科撮影システム、及び画像処理方法
US9542744B2 (en) * 2012-03-01 2017-01-10 Hitachi, Ltd. Medical image display apparatus and medical image display method
WO2013187148A1 (ja) * 2012-06-15 2013-12-19 オリンパス株式会社 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法
JP5993237B2 (ja) * 2012-07-25 2016-09-14 オリンパス株式会社 蛍光観察装置
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2014207904A1 (ja) * 2013-06-28 2014-12-31 キヤノン株式会社 画像処理装置及び画像処理方法
JP6030035B2 (ja) * 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06503979A (ja) * 1991-01-04 1994-05-12 アンスチチュ ナショナル ド ラ サント エ ド ラ ルシェルシュ メディカル−アンセルム 標的のpHを測定する装置、該装置の使用方法及びその用途
JP2005040181A (ja) * 2003-07-23 2005-02-17 Pentax Corp 自家蛍光観察装置
JP2008154846A (ja) * 2006-12-25 2008-07-10 Olympus Corp 蛍光内視鏡および蛍光測定方法
JP2011194164A (ja) * 2010-03-23 2011-10-06 Olympus Corp 蛍光観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3141178A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
US11176665B2 (en) 2017-04-24 2021-11-16 Olympus Corporation Endoscopic image processing device and endoscopic image processing method
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム
US12053161B2 (en) 2019-02-26 2024-08-06 Olympus Corporation Endoscope apparatus, information storage medium, control method of endoscope apparatus, and processing device

Also Published As

Publication number Publication date
JPWO2016084504A1 (ja) 2017-04-27
CN106659360A (zh) 2017-05-10
EP3141178A4 (en) 2018-02-21
EP3141178A1 (en) 2017-03-15
US20170086659A1 (en) 2017-03-30
JP6013665B1 (ja) 2016-10-25

Similar Documents

Publication Publication Date Title
JP6013665B1 (ja) 診断支援装置及び診断支援情報表示方法
JP6435275B2 (ja) 内視鏡装置
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
US20140037179A1 (en) Fluoroscopy apparatus and fluoroscopy system
JP6001219B1 (ja) 内視鏡システム
JP5769892B2 (ja) 内視鏡
EP3085299A1 (en) Endoscopic device
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019123827A1 (ja) 内視鏡システム及び内視鏡プロセッサ
WO2018047369A1 (ja) 内視鏡システム
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JPWO2017104192A1 (ja) 医用観察システム
JP6137892B2 (ja) 撮像システム
JP2002345739A (ja) 画像表示装置
JP5815162B2 (ja) 撮像装置
JP6293392B1 (ja) 生体観察システム
JP6120758B2 (ja) 医用システム
JP6205531B1 (ja) 内視鏡システム
JPWO2017047142A1 (ja) 内視鏡装置及び内視鏡システム
JP6266559B2 (ja) 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2021129648A (ja) 医療用信号処理装置、キャップ部材および医療用信号処理方法
JP2021126153A (ja) 医療用画像処理装置および医療用観察システム
JPWO2016072172A1 (ja) 内視鏡システム
KR20170022571A (ko) 형광 영상을 촬영하는 내시경 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016538152

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15862891

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015862891

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015862891

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE