[go: up one dir, main page]

WO2019230095A1 - カメラ装置、画像処理方法およびカメラシステム - Google Patents

カメラ装置、画像処理方法およびカメラシステム Download PDF

Info

Publication number
WO2019230095A1
WO2019230095A1 PCT/JP2019/007801 JP2019007801W WO2019230095A1 WO 2019230095 A1 WO2019230095 A1 WO 2019230095A1 JP 2019007801 W JP2019007801 W JP 2019007801W WO 2019230095 A1 WO2019230095 A1 WO 2019230095A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
visible
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/007801
Other languages
English (en)
French (fr)
Inventor
平野　哲司
田部井　憲治
朋之 齊藤
木庭　優治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201980028616.0A priority Critical patent/CN112040831A/zh
Priority to US16/979,090 priority patent/US20200405152A1/en
Priority to EP19811542.0A priority patent/EP3804604A4/en
Priority to JP2020521710A priority patent/JP7272670B2/ja
Publication of WO2019230095A1 publication Critical patent/WO2019230095A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/12—Condensers affording bright-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2446—Optical details of the image relay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2453—Optical details of the proximal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera

Definitions

  • the present disclosure relates to a camera device, an image processing method, and a camera system that process an image captured during a medical practice, for example.
  • an observation image for example, a normal visible image or a fluorescence image excited by IR excitation light
  • a doctor or the like can confirm the situation of the surgical target part in detail and can grasp the situation of the surgical target part in real time.
  • Patent Document 1 the brightness of the fluorescence image and the reference light image calculated by the fluorescence image brightness calculation circuit and the reference light image brightness calculation circuit, respectively, are stored in the first coefficient and the second coefficient stored in the coefficient storage memory.
  • An endoscope apparatus is disclosed that calculates the brightness of a dimming target by multiplying and adding each of the coefficients, and calculates and adjusts a gain for setting the dimming target value via a gain calculation circuit. Yes.
  • a target site where surgery or treatment is performed for example, a site where a fluorescent drug is administered to a subject by injection before surgery
  • the visibility of the output video displayed on the monitor is important for a doctor or the like to grasp the details of the situation of the target part (for example, the affected part in the subject).
  • the present disclosure has been devised in view of the above-described conventional circumstances, suppresses the deterioration of the image quality of the fluorescent image, makes it easy to see the fluorescent portion in the fluorescent image when the fluorescent image and the normal visible image are superimposed, and It is an object of the present invention to provide a camera device, an image processing method, and a camera system that support the output of a captured image that enables a user such as the above to determine a clear state of a target region of a subject.
  • imaging based on visible light incident on a medical optical device from a target region of a subject to which a fluorescent agent has been administered in advance, and imaging based on fluorescence incident on the medical optical device from the target region are performed.
  • a camera head that is capable of both, amplifying the intensity of the fluorescent image input from the camera head, and making the black and white portions of the fluorescent image stand out, and then performing a nonlinear conversion process on the amplified fluorescent image
  • An image processing unit that superimposes the fluorescence image after the nonlinear transformation processing on the visible image obtained by imaging based on the visible light and generates a superimposed image to be output to the output unit, A camera device is provided.
  • the present disclosure is also an image processing method in a camera device including a camera head and an image processing unit, and the camera head enters a medical optical device from a target site of a subject to which a fluorescent agent has been administered in advance. Steps of performing imaging based on visible light and imaging based on fluorescence incident on the medical optical device from the target site, and the image processing unit amplifies the intensity of the fluorescent image input from the camera head Then, after making the black portion and the white portion of the fluorescent image stand out, the nonlinear conversion processing is performed on the amplified fluorescent image, and the nonlinear conversion processing is performed on the visible image obtained by imaging based on the visible light. And a step of superimposing a subsequent fluorescence image and generating a superimposed image to be output to an output unit.
  • the present disclosure is a camera system including a camera device and an output unit, and the camera device is based on visible light incident on a medical optical instrument from a target site of a subject to which a fluorescent agent has been administered in advance.
  • Imaging, and imaging based on fluorescence incident on the medical optical instrument from the target site respectively, amplifying the intensity of the fluorescence image obtained by imaging based on the fluorescence, and black and white portions of the fluorescence image
  • the non-linear conversion processing is performed on the amplified fluorescence image, the fluorescence image after the non-linear conversion processing is superimposed on the visible image obtained by imaging based on the visible light, and the output unit A superimposed image to be output to the camera device is generated, and the output unit provides a camera system that outputs the superimposed image generated by the camera device.
  • deterioration of the image quality of a fluorescent image is suppressed, and when a fluorescent image and a normal visible image are superimposed, a fluorescent part in the fluorescent image is easily seen, and a user such as a doctor can It can support the output of captured images that can distinguish a clear situation.
  • FIG. Block diagram showing a detailed hardware configuration example of the visible video / IR video superimposition processing unit
  • Explanatory drawing of threshold processing Explanatory drawing of the 1st example (binarization) of nonlinear transformation processing
  • Explanatory drawing of the 2nd example (N-value conversion) of nonlinear transformation processing 7 is a flowchart illustrating an example of an operation procedure of the camera device according to the first embodiment.
  • FIG. 7 is a block diagram illustrating a hardware configuration example of a camera device according to a second embodiment.
  • the figure which shows the example of a display by which the visual image and the superimposed image were displayed by contrast The figure which shows the example of a display by which IR image
  • the figure which shows the example of a display by which the visual image, IR image, and the superimposed image were displayed by contrast The figure which shows the system structural example which applied the medical camera system containing the camera apparatus which concerns on Embodiment 1, 2 to the surgery endoscope system
  • a medical camera system used in medical surgery such as microscopic surgery or endoscopic surgery will be described as an example of a camera system including a camera device according to the present disclosure.
  • the camera system is not limited to the example of the medical camera system.
  • the camera device is a medical optical device from an observation target site (for example, an affected area that is a target site for surgery) of a subject (for example, a patient) to which a fluorescent drug such as ICG (Indocyanine Green) is administered in advance. Imaging based on visible light incident on the device and imaging based on fluorescence incident on the medical optical device from the observation target site are performed.
  • the medical optical instrument is, for example, a surgical microscope or a surgical endoscope.
  • the camera device performs image processing including at least nonlinear conversion processing on the fluorescence image obtained by imaging based on fluorescence, superimposes the fluorescence image after image processing on the visible image obtained by imaging based on visible light, and outputs an output unit A superimposed image to be output is generated.
  • FIG. 1 is a system configuration diagram showing a configuration example in which a medical camera system including the camera device 20 according to the first and second embodiments is applied to a surgical microscope system.
  • the surgical microscope system includes a surgical microscope 10 as an example of a medical optical instrument, a camera device 20, and an output unit 30.
  • the camera device 20 includes a camera head 21 that captures an observation image of an observation target region obtained by the surgical microscope 10 by condensing light incident on the imaging optical system 23 on the imaging unit 24.
  • the camera device 20 includes a CCU (Camera Control Unit) 22 that performs image processing on each frame of the observation image that constitutes the observation image captured by the camera head 21.
  • the camera head 21 and the CCU 22 are connected by a signal cable 25.
  • the camera head 21 is attached to and connected to the camera attachment unit 15 of the surgical microscope 10.
  • An output unit 30 (for example, a display device such as a monitor) for displaying an observation image as a result of image processing performed by the CCU 22 is connected to the output terminal of the CCU 22.
  • the surgical microscope 10 is, for example, a binocular microscope, and includes an objective lens 11, an observation optical system 12 provided so as to correspond to the left and right eyes of an observer such as a doctor, an eyepiece 13, and camera imaging optics.
  • This is a configuration having a system 14 and a camera mounting portion 15.
  • the observation optical system 12 includes zoom optical systems 101L and 101R, imaging lenses 102L and 102R, and eyepieces 103L and 103R so as to correspond to the left and right eyes of the observer.
  • the zoom optical systems 101L and 101R, the imaging lenses 102L and 102R, and the eyepiece lenses 103L and 103R are symmetrically arranged with the optical axis of the objective lens 11 in between.
  • the light from the subject 40 is incident on the objective lens 11 and then obtained through the zoom optical systems 101L and 101R, the imaging lenses 102L and 102R, the eyepieces 103L and 103R, the optical system 104L, and the beam splitter 104R.
  • the left and right observation images having parallax are guided to the eyepiece unit 13.
  • the observer can view the state of the observation target portion of the subject 40 in three dimensions by looking through the eyepiece unit 13 with both eyes.
  • the light from the subject 40 described above is white light emitted from the light source device 31 (see later) to the observation target portion of the subject 40 to which the above-described fluorescent agent such as ICG is previously administered by injection or the like.
  • the reflected light (for example, normal RGB visible light) reflected by the observation target portion or the fluorescence generated as a result of being excited by the IR excitation light irradiated from the light source device 31 being irradiated to the fluorescent agent.
  • a band cut filter (BCF: Band Cut Filter) for blocking transmission of IR excitation light is formed between the objective lens 11 and the respective zoom optical systems 101L and 101R.
  • BCF Band Cut Filter
  • a doctor or the like fluoresces in the body of the subject 40 that is the observation target site in order to determine the status of the lymph node of the site to be observed (that is, the affected part of the subject 40).
  • ICG indocyanine green
  • ICG indocyanine green
  • ICG indocyanine green
  • the camera imaging optical system 14 includes an optical system 104L, a beam splitter 104R, and a mirror 105R.
  • the camera imaging optical system 14 deflects and separates the light passing through the observation optical system 12 by the beam splitter 104R, reflects the light by the mirror 105R, and guides it to the camera mounting unit 15.
  • FIG. 2 is a diagram showing an example of the appearance of a surgical microscope system.
  • the surgical microscope 10 is provided with an eyepiece 13 at the upper part of the microscope main body, a housing for the camera imaging optical system 14 extends from the base end of the eyepiece 13 to the side, and a camera mounting portion 15 is provided. .
  • the camera mounting portion 15 opens upward and is formed so that the imaging optical system 23 of the camera head 21 can be mounted.
  • the imaging optical system 23 can be attached to and detached from the main body of the camera head 21 and can be exchanged, and an imaging optical system having different optical characteristics can be used depending on the application.
  • the camera head 21 captures, for example, a spectral prism that divides a subject image into light in each frequency band of RGB (Red Green Blue) and IR (Infrared Radiation), and a subject image of light in each wavelength band of RGB and IR. It is composed of a four-plate imaging unit having four image sensors. Note that a single-plate imaging unit having one image sensor in which RGB and IR pixels are arranged may be used as the imaging unit 24. In addition, a two-plate type having a prism that separates visible light and IR light (for example, fluorescence), two image sensors including an image sensor that captures visible light and an image sensor that captures IR light (for example, fluorescence). An imaging unit may be used as the imaging unit 24.
  • a spectral prism that divides a subject image into light in each frequency band of RGB (Red Green Blue) and IR (Infrared Radiation), and a subject image of light in each wavelength band of RGB and IR. It is composed of a four-plate
  • the surgical microscope system includes a light source device 31 that illuminates a target region, a recorder 32 that records an observation image captured by the camera device 20, an operation unit 33 for operating the surgical microscope system, and an observer performs operation input with his / her foot.
  • the foot switch 37 is included.
  • the operation unit 33, CCU 22, light source device 31 and recorder 32 are housed in a control unit housing 35.
  • an output unit 30 for example, a display such as a liquid crystal display device
  • the surgical microscope 10 is attached to a support arm 34 that can be displaced, and is connected to a control unit housing 35 via the support arm 34.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the camera device 20 according to the first embodiment.
  • a camera device 20 shown in FIG. 3 includes camera heads 21 and 121 and CCUs 22 and 122.
  • the camera heads 21 and 121 and the CCUs 22 and 122 are connected via a signal cable 25.
  • the camera head 21 has imaging optical systems 23 and 123 and an imaging unit 24.
  • the camera head 21 is attached to the camera mounting portion 15 of the surgical microscope 10 during, for example, a microscope operation.
  • the light from the subject 40 passes through the imaging optical systems 23 and 123 and is coupled to the imaging surfaces of the image sensors held by the visible imaging unit 241 and the IR imaging unit 242 of the imaging unit 24, respectively.
  • An RGB subject image and an IR subject image are respectively captured.
  • the imaging optical systems 23 and 123 have one or a plurality of lenses and a resolving prism for splitting light from the subject 40 into each wavelength band of RGB and IR.
  • the imaging unit 24 includes a visible imaging unit 241 and an IR imaging unit 242.
  • the visible imaging unit 241 is configured using, for example, a three-plate image sensor arranged to be able to capture light in the RGB wavelength band or a single-plate image sensor in which RGB pixels are arranged, and the imaging optical system 23, Based on the light in each wavelength band of RGB that has passed through 123, an observation image of visible light (hereinafter also referred to as “visible image” or “visible image”) is generated.
  • the IR imaging unit 242 is configured using, for example, a single-plate image sensor arranged so as to be capable of imaging G (green) or R (red) light having sensitivity in the IR or IR wavelength band. Based on the light in the IR wavelength band (that is, fluorescence) that has passed through 23 and 123, a fluorescence observation image (hereinafter also referred to as “IR image” or “IR image”) is generated.
  • IR image fluorescence observation image
  • the image sensor is composed of a solid-state imaging device such as a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • a signal of an observation image of the observation target region (that is, the affected part) of the subject 40 imaged by the camera head 21 is transmitted to the CCU 22 via the signal cable 25 and input.
  • the CCUs 22 and 122 as an example of an image processing apparatus include a visible video / IR video separation unit 221, a visible video processing unit 222, an IR video processing unit 223, and a visible video / IR video superimposition processing unit 224. is there.
  • the CCUs 22 and 122 or their respective parts are configured using a CPU (Central Processing Unit), a DSP (Digital Signal Processor) or an FPGA (Field Programmable Gate Array), and a circuit configuration and operation setting and change can be made by a program. Yes.
  • the CCUs 22 and 122 input signals of the observation video (visible video, IR video) captured by the camera head 21, perform predetermined image processing for the visible video on the visible video, and perform the processing on the IR video. Then, predetermined image processing for IR video is performed.
  • the CCUs 22 and 122 perform various kinds of image processing for improving the image quality of the IR video on the IR video, and superimpose the IR video after the image processing on the visible video to generate a superimposed video and output it to the output unit 30. To do.
  • the visible video / IR video separation unit 221 separates the observation video signal transmitted from the camera head 21 via the signal cable 25 into a visible video signal and an IR video signal, and converts the visible video signal into the visible video signal.
  • the image is sent to the processing unit 222, and an IR video signal is sent to the IR video processing unit 223.
  • a visible image and an IR image are periodically time-division imaged in the imaging unit 24 of the camera head 21, the imaged visible image is input for the first certain period and the IR image captured for the next certain period. Is entered.
  • the visible video / IR video separation unit 221 receives the visible video input for the first predetermined period. Only the video is sent to the visible video processing unit 222, and only the input IR video is sent to the IR video processing unit 223 in the next fixed period.
  • the visible imaging unit 241 and the IR imaging unit 242 are provided, it is possible to simultaneously capture the visible image and the IR imaging.
  • the visible video and the IR video are alternately input to the visible video / IR video separation unit 221, for example, the visible video and the IR video are identified and separated by referring to the header area, for example.
  • the visible video / IR video separation unit 221 may receive a visible video and an IR video at the same time.
  • the signal cable 25 (see FIG. 3) is configured to include both a visible video signal line and an IR video signal line.
  • the visible video processing unit 222 performs normal image processing (for example, linear interpolation processing, high resolution processing, etc.) on the input visible video, and the visible video signal after the image processing is converted into a visible video / IR video superimposition processing unit. 224.
  • normal image processing for example, linear interpolation processing, high resolution processing, etc.
  • the IR video processing unit 223 performs normal image processing (for example, linear interpolation processing, high resolution processing, etc.) on the input IR video, and the IR video signal after the image processing is converted into a visible video / IR video superimposition processing unit. 224.
  • normal image processing for example, linear interpolation processing, high resolution processing, etc.
  • the visible video / IR video superimposing unit 224 performs various kinds of image processing on the IR video signal sent from the IR video processing unit 223, and the IR video signal subjected to the image processing is subjected to visible video processing. Superimposition processing is performed on the visible video sent from the unit 222 to generate a superimposed video (superimposed image) and output it to the output unit 30. Details of the operation of the visible image / IR image superimposition processing unit 224 will be described later with reference to FIG.
  • the visible image / IR image superimposing processing unit 224 includes an operation unit (not shown) such as a doctor who visually recognizes the superimposed image output to the output unit 30 (for example, a liquid crystal display device) during a microscope operation or an endoscopic operation. A signal based on an operation using () may be input, and an image processing parameter (see below) applied to the IR video signal may be appropriately changed.
  • the output unit 30 is, for example, a liquid crystal display device (LCD: Liquid Crystal Display) or a video display device configured using organic EL (Electroluminescence), or data of output video output (that is, superimposed video (superimposed image)).
  • LCD Liquid Crystal Display
  • video display device configured using organic EL (Electroluminescence), or data of output video output (that is, superimposed video (superimposed image)).
  • recording device for recording
  • the recording device is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • FIG. 4 is a block diagram illustrating a detailed hardware configuration example of the visible video / IR video superimposition processing unit 224.
  • the visible video / IR video superimposition processing unit 224 includes a threshold processing unit 2241, a pre-conversion gain processing unit 2242, a non-linear conversion unit 2243, a post-conversion gain processing unit 2244, and a superimposition processing unit 2245.
  • the threshold processing unit 2241 and the non-linear conversion unit 2243 may be configured as the same circuit (for example, the non-linear conversion unit 2243). This is because threshold processing described later can be considered as an example of nonlinear conversion processing, and the characteristics used by the threshold processing unit 2241 (see FIG. 5A) are configured by a lookup table so that the nonlinear conversion unit 2243 performs threshold processing. Because it is feasible.
  • the threshold processing unit 2241 has the intensity of the input IR video signal (for example, the brightness of the IR image for each pixel constituting the IR video, or k * k (k: an integer that is a multiple of 2 equal to or greater than 2)). If the brightness of the IR image for each block of pixels (the same applies hereinafter) is less than the first threshold th1, the intensity is reduced, and if the intensity is greater than or equal to the second threshold th2 (> first threshold th1) An intensity correction process for increasing the intensity is performed (see FIG. 5A). The threshold processing unit 2241 sends the IR video signal subjected to the intensity correction processing to the pre-conversion gain processing unit 2242.
  • the intensity of the input IR video signal for example, the brightness of the IR image for each pixel constituting the IR video, or k * k (k: an integer that is a multiple of 2 equal to or greater than 2). If the brightness of the IR image for each block of pixels (the same applies hereinafter) is less than the
  • FIG. 5A is an explanatory diagram of threshold processing.
  • the threshold process is an intensity correction process for correcting the intensity of the input IR video signal using parameters (for example, first threshold th1 and second threshold th2 which are two kinds of thresholds) (see above). It is.
  • the horizontal axis (x-axis) indicates the intensity of the input IR video signal
  • the vertical axis (y-axis) indicates the intensity of the IR video signal output after the threshold processing.
  • a characteristic Cv1 indicates the characteristic of threshold processing in the threshold processing unit 2241.
  • the IR video signal input to the threshold processing unit 2241 often includes a noise component.
  • a part of the white part in the IR image in other words, the affected part that is the fluorescent observation target part
  • the black part in the IR image in other words, The background portion (which is not the affected area) becomes somewhat whitish, and as a result, the image quality of the IR video is deteriorated.
  • the threshold processing unit 2241 reduces the intensity so that the output value becomes 0 (zero) if the intensity of the input IR video signal is less than the first threshold th1 (in other words, To 0 (zero). That is, the threshold processing unit 2241 corrects the intensity of the pixel or block to which the intensity less than the first threshold th1 is input to 0 (zero), and makes the black portion of the IR video stand out.
  • the threshold processing unit 2241 when the intensity of the input IR video signal is equal to or higher than the second threshold th2, is the maximum output value that can represent the output value with a predetermined number of bits that can be expressed. Increase the strength so that That is, the threshold processing unit 2241 corrects the intensity of the pixel or block to which the intensity greater than or equal to the second threshold th2 is input to the maximum output value, and makes the white portion in the IR video stand out.
  • the threshold processing unit 2241 corrects the dark portion of the IR video so that it becomes black even if the intensity of the input IR video signal is equal to or higher than the first threshold th1 and lower than the second threshold.
  • the gradation of the IR image can be made closer to black and white, and the fluorescent part can be easily distinguished when superimposed on the visible image.
  • at least one of the first threshold th1 and the second threshold th2 is a signal based on an operation using an operation unit (not shown) such as a doctor who visually recognizes the superimposed video (superimposed image) displayed on the output unit 30. Based on the input, the changed value may be set in the threshold processing unit 2241.
  • the pre-conversion gain processing unit 2242 holds a preset first gain value.
  • the first gain value may be set based on a signal based on an operation using an operation unit such as a doctor who visually recognizes the superimposed image displayed on the output unit 30.
  • the pre-conversion gain processing unit 2242 uses the first gain value to input and amplify the IR video signal subjected to the intensity correction processing by the threshold processing unit 2241.
  • the pre-conversion gain processing unit 2242 sends the amplified IR video signal to the nonlinear conversion unit 2243. Accordingly, the camera device 20 can perform amplification processing for facilitating the nonlinear conversion processing in the subsequent nonlinear conversion unit 2243 and can contribute to the use of other image processing. Therefore, the visible image / IR image superimposition processing unit 224 can be versatile.
  • the non-linear conversion unit 2243 is configured using a non-linear processing circuit that holds a look-up table (LUT: Look Up Table) 2243t and performs non-linear processing using the look-up table 2243t.
  • the nonlinear conversion unit 2243 performs nonlinear conversion processing on the IR video signal sent from the pre-conversion gain processing unit 2242 based on the value group written in the lookup table 2243t.
  • the non-linear conversion processing is, for example, binarization or N-leveling of the intensity of the IR video signal, and represents processing for expressing the IR video signal in two gradations or N gradations.
  • N is an integer of 3 or more.
  • the type (for example, binarization or N-value conversion) of the non-linear conversion process performed by the non-linear conversion unit 2243 may be set in advance, or an operation of a doctor or the like who visually recognizes the superimposed image displayed on the output unit 30. It may be set based on a signal based on an operation using the unit.
  • the nonlinear conversion unit 2243 is not limited to the example in which the nonlinear conversion process is performed using the lookup table 2243t described above, but is a ROM in which nonlinear function data (for example, data of each point of a broken line used for approximation) is written.
  • the nonlinear conversion process may be performed by a broken line approximation circuit that performs a process of connecting points with broken lines using (Read ⁇ ⁇ Only Memory).
  • the look-up table normally has an output value corresponding to each of the values that the input signal can take (for example, 0 to 255 for 8 bits), and consists of 256 pieces of data.
  • the amount of data held in the lookup table tends to increase.
  • the amount of data to be held can be reduced because the data to be held is only the number of points of the broken line.
  • an IR image (that is, an image obtained by imaging fluorescence generated by exciting a fluorescent agent such as ICG with IR excitation light) has a light intensity lower than that of normal visible light, and has, for example, 10 bits.
  • the IR portion that is, the fluorescent portion
  • the nonlinear conversion unit 2243 performs nonlinear conversion processing (for example, binarization or N-value conversion) on the input IR video signal.
  • nonlinear conversion processing for example, binarization or N-value conversion
  • FIG. 5B is an explanatory diagram of a first example (binarization) of nonlinear conversion processing.
  • FIG. 5C is an explanatory diagram of a second example (N-value conversion) of nonlinear conversion processing.
  • the horizontal axis (x-axis) indicates the intensity of the IR video signal
  • the vertical axis (y-axis) indicates the intensity of the IR video signal output after the nonlinear conversion process.
  • the nonlinear conversion unit 2243 outputs 0 as the output when the intensity in the pixel or block (see above) of the input IR video signal is less than M1 held in the lookup table 2243t. Convert to (zero).
  • the characteristic Cv2 is a characteristic example showing an example of the nonlinear conversion process in the nonlinear conversion unit 2243.
  • the camera device 20 simply converts the IR video signal into a black and white signal according to whether or not the input value (that is, the intensity of each pixel or block of the input IR video signal) is equal to or less than M1. Since it can be expressed by bits, it is possible to generate a superimposed image in which the fluorescent portion can be easily identified when superimposed on the visible image.
  • the horizontal axis (x-axis) indicates the intensity of the IR video signal
  • the vertical axis (y-axis) indicates the intensity of the IR video signal output after the nonlinear conversion process.
  • the non-linear conversion unit 2243 has N1, N2, N3, N4, N5, and N6 whose intensities in pixels or blocks (see above) of the input IR video signal are held in the lookup table 2243t. , N7, the output value is converted in a stepwise manner.
  • the characteristic Cv3 is a characteristic example showing an example of nonlinear conversion processing in the nonlinear conversion unit 2243.
  • the output value is the maximum value ( For example, the input value for outputting 8) and the value group of the output value are written in the lookup table 2243t. If the input value is larger than N3 and smaller than N4, a value of 50% of the maximum value is assigned. That is, in FIG. 5C, the output according to the characteristic Cv3 shown in FIG. 5C is the result of the nonlinear conversion process according to the comparison result between the intensity of each pixel or block of the input IR video signal and the seven types of values N1 to N7. Assigned as.
  • the camera device 20 determines the IR video signal in accordance with the magnitude relationship between the input value (that is, the intensity of each pixel or block of the input IR video signal) and the seven types of values N1 to N7. Can be expressed with 8 bits of black and white, so that a superimposed image can be generated in which the fluorescent portion can be easily identified when superimposed on the visible image.
  • the post-conversion gain processing unit 2244 holds a preset second gain value. Note that the second gain value may be set based on a signal based on an operation using an operation unit such as a doctor who visually recognizes the superimposed image displayed on the output unit 30.
  • the post-conversion gain processing unit 2244 uses the second gain value to input and amplify the IR video signal subjected to the non-linear conversion processing by the non-linear conversion unit 2243.
  • the post-conversion gain processing unit 2244 sends the amplified IR video signal to the superimposition processing unit 2245. As a result, the camera device 20 becomes darker due to amplification of the signal of the IR image that has been subjected to nonlinear conversion processing.
  • the visible video / IR video superimposition processing unit 224 can be versatile.
  • the superimposition processing unit 2245 receives the visible video signal sent from the visible video processing unit 222 and the IR video signal sent from the post-conversion gain processing unit 2244, and converts the IR video signal into the visible video signal. A superimposed image (superimposed image) subjected to the superimposition process is generated (see FIG. 8). The superimposition processing unit 2245 outputs the superimposed video signal as an output video to the output unit 30 (for example, a monitor).
  • the superimposition processing unit 2245 includes RGB information (pixel value) for each k * k blocks (see above) of the visible image constituting the visible video in the same block of the corresponding IR video. By adding the G (green) information (pixel value), it is possible to generate a superimposed image in which the IR image portion is colored (colored) in green after the IR image portion is superimposed on the visible image. Note that the superimposition processing in the superimposition processing unit 2245 is not limited to the above-described example.
  • FIG. 8 is a diagram illustrating an example of a superimposed video G2as in which an IR video is superimposed on a visible video.
  • the superimposed image G2as is a white portion of the IR image (that is, a portion that is not a background portion and that is an affected portion tg in which a fluorescent agent such as ICG emits fluorescence) when the IR image is superimposed on the visible image. In order to make it easy to discriminate, for example, it is colored green and shown.
  • the doctor visually recognizes the light emission distribution of the fluorescent agent administered into the body of the subject 40 and the state of the affected part tg by visually checking the superimposed image G2as output (displayed) on the output unit 30 (for example, a monitor). Can be determined automatically.
  • FIG. 6 is a flowchart illustrating an example of an operation procedure of the camera device 20 according to the first embodiment. The processing within the dotted line shown in FIG. 6 is executed for each frame of a visible image that constitutes a visible image or each frame of an IR image that constitutes an IR image.
  • the camera device 20 causes the camera head 21 to collect the reflected light from the subject 40 (that is, visible light and fluorescence reflected by the subject 40) on the imaging unit 24.
  • a visible image and an IR image are captured (St1).
  • the IR excitation light that excites the fluorescent agent previously administered into the body of the subject 40 is provided between the objective lens 11 and the zoom optical systems 101L and 101R, for example. It is preferable that the transmission is blocked by the band cut filter. Thereby, since the reflected light of the IR excitation light is suppressed from entering the camera head 21 of the camera device 20, the image quality of the fluorescence observation video signal is improved.
  • the camera device 20 separates the observation video signal transmitted from the camera head 21 via the signal cable 25 into a visible video signal and an IR video signal, and sends the visible video signal to the visible video processing unit 222.
  • the IR video signal is sent to the IR video processing unit 223 (St2).
  • the camera device 20 performs normal image processing (for example, linear interpolation processing, high resolution processing, etc.) for each frame of the visible image constituting the visible video (St3A).
  • normal image processing for example, linear interpolation processing, high resolution processing, etc.
  • the camera device 20 performs normal image processing (for example, linear interpolation processing, high resolution processing, etc.) for each frame of the IR image constituting the IR video (St3B1). For each IR image frame on which image processing has been performed in step St3B1, the camera device 20 calculates the intensity of the frame (for example, the brightness of the IR image for each pixel constituting the IR video, or k * k pixels). Intensity correction that reduces the intensity when the brightness of the IR image for each block is less than the first threshold th1 and increases the intensity when the intensity is greater than or equal to the second threshold th2 (> first threshold th1). Processing is performed (St3B2).
  • normal image processing for example, linear interpolation processing, high resolution processing, etc.
  • the camera device 20 amplifies the signal of the IR image subjected to the intensity correction process using the first gain value for each frame on which the intensity correction process (threshold process) is performed in step St3B2 (St3B3).
  • the camera device 20 performs nonlinear conversion processing for each frame of the IR image constituting the IR video amplified in step St3B3 based on the value group written in the lookup table 2243t (St3B4).
  • the camera device 20 amplifies the signal of the IR video that has been subjected to the non-linear conversion process using the second gain value for each frame of the IR image that constitutes the IR video that has been subjected to the non-linear conversion process in step St3B4. (St3B5).
  • the camera device 20 receives the visible video signal subjected to image processing in step St3A and the IR video signal amplified in step St3B5, and superimposes the IR video signal superimposed on the visible video signal. (Superimposed image) is generated (St4).
  • the camera device 20 outputs the superimposed video signal generated in step St4 to the output unit 30 (for example, a monitor) as an output video (St5).
  • FIG. 7 is a schematic diagram showing an example of changes in IR video before and after threshold processing and nonlinear conversion processing.
  • an IR video G2 is an IR video before threshold processing and nonlinear conversion processing are performed.
  • a wide noise component appears strongly in the portion BKG1 other than the affected part tg (that is, around the affected part tg and the whole excluding the affected part tg), and the color is black to gray. ing.
  • the IR image G2a is an IR image after the threshold processing and the nonlinear conversion processing are performed.
  • the noise component of the part BKG1 other than the affected part tg that has appeared in the IR image G2 is eliminated to obtain a clear image quality, and the part BKG2 other than the affected part tg has a hue close to black.
  • the image quality of the IR video G2a is improved compared to the image quality of the IR video G2.
  • the camera device 20 is configured so that an observation target region (for example, an affected part that is a target region for surgery) of a subject (for example, a patient) to which a fluorescent agent such as ICG (Indocyanine Green) is administered in advance. Imaging based on visible light incident on the medical optical instrument and imaging based on fluorescence incident on the medical optical instrument from the observation site are performed.
  • the medical optical instrument is, for example, a surgical microscope or a surgical endoscope.
  • the camera device performs image processing including at least nonlinear conversion processing on the fluorescence image obtained by imaging based on fluorescence, superimposes the fluorescence image after image processing on the visible image obtained by imaging based on visible light, and outputs an output unit A superimposed image to be output is generated.
  • the camera device 20 performs nonlinear conversion processing on the fluorescence image based on the fluorescence emission of the fluorescent agent such as ICG previously administered to the affected part in the body of the subject 40 to define the color of the visible image. Since the hue of the fluorescent image can be defined with a bit number lower than the number, deterioration of the image quality of the fluorescent image can be suppressed. In addition, since the camera device 20 performs nonlinear conversion processing so that the fluorescent image becomes a clear black and white image, when the fluorescent image and the normal visible image are superimposed, the fluorescent portion in the fluorescent image is made easier to see, so that the doctor It is possible to support the output of a captured image that allows a user such as the user to determine the clear state of the target portion of the subject.
  • the camera device 20 amplifies the intensity of the fluorescent image input from the camera head 21, and then performs a nonlinear conversion process on the amplified fluorescent image. Accordingly, the camera device 20 can perform amplification processing for facilitating the nonlinear conversion processing in the subsequent nonlinear conversion unit 2243 and can contribute to the use of other image processing. Therefore, the visible image / IR image superimposition processing unit 224 can be versatile.
  • the camera device 20 amplifies the intensity of the fluorescent image after the nonlinear conversion process. As a result, the camera device 20 becomes darker due to amplification of the signal of the IR image that has been subjected to nonlinear conversion processing. Therefore, when the IR image in the superimposition processing unit 2245 in the subsequent stage is superimposed on the visible image, the fluorescence of the IR image is increased. Amplification processing that makes the portion more identifiable can be performed, and it can contribute to the use of other image processing. Therefore, the visible video / IR video superimposition processing unit 224 can be versatile.
  • the amplification factor related to amplification in the pre-conversion gain processing unit 2242 or the post-conversion gain processing unit 2244 is variable by the operation of a user such as a doctor. Thereby, the doctor or the like can appropriately adjust the visibility of the superimposed image output to the output unit 30 (in other words, the affected part tg of the subject 40), so that an appropriate judgment can be made at the time of microscopic surgery or endoscopic surgery. Yes.
  • the camera device 20 executes an intensity correction process that decreases when the intensity of the fluorescent image is less than the first threshold th1 and increases when the intensity of the fluorescent image is greater than or equal to the second threshold th2 that is greater than the first threshold th1. Then, the nonlinear conversion process is executed on the fluorescence image after the intensity correction process.
  • the camera device 20 can effectively eliminate the influence of the noise component by the intensity correction process. It can be close to the value, and it is easy to distinguish the fluorescent part when superimposed on the visible image.
  • the first threshold th1 and the second threshold th2 are variable by the operation of a user such as a doctor. Accordingly, the doctor or the like determines whether the boundary of the affected part tg of the subject 40 is buried in the surrounding visible video in the superimposed video output to the output unit 30 and is difficult to see. In this case, the first threshold th1 and the second threshold th2 can be adjusted as appropriate, so that an appropriate determination can be made during microscopic surgery or endoscopic surgery.
  • the camera device 20 has a lookup table 2243t having a value group that can be changed by the operation of a user such as a doctor, and performs nonlinear conversion processing based on the lookup table 2243t.
  • the camera device 20 simply converts the IR video signal into a black and white signal according to whether or not the input value (that is, the intensity of each pixel or block of the input IR video signal) is equal to or less than M1. Since it can be expressed by bits, it is possible to generate a superimposed image in which the fluorescent portion can be easily identified when superimposed on the visible image.
  • the camera device 20 receives the IR video signal in accordance with the magnitude relationship between the input value (that is, the intensity of each pixel or block of the input IR video signal) and the seven types of values N1 to N7. Since it is possible to express finely with black and white 8 bits, it is possible to generate a superimposed image in which a fluorescent part can be easily identified when superimposed on a visible image. As described above, the doctor or the like selects the look-up table 2243t as appropriate in order to check the superimposed image output to the output unit 30 (in other words, the affected part tg of the subject 40). Since the nonlinear conversion process in the conversion unit 2243 can be selected, it is possible to cause the camera device 20 to execute an appropriate nonlinear conversion process and to visually recognize a superimposed image with good image quality.
  • the camera device selects at least one of a visible image, a fluorescent image that has undergone image processing, and a superimposed image, and at least It further comprises at least one selection unit that outputs to one corresponding output unit.
  • FIG. 9 is a block diagram illustrating a hardware configuration example of the camera device 20 according to the second embodiment.
  • the same contents as those in FIG. 3 are denoted by the same reference numerals, simplified or omitted, and different contents will be described.
  • the camera apparatus 20 shown in FIG. 9 includes camera heads 21 and 121 and CCUs 22 and 122.
  • the CCUs 22 and 122 include a visible video / IR video separation unit 221, a visible video processing unit 222, an IR video processing unit 223, a visible video / IR video superimposition processing unit 224, and a selection unit 2251, 2252, 2253. It is a configuration.
  • the selection unit 2251 includes a visible video signal after image processing by the visible video processing unit 222, an IR video signal after image processing by the IR video processing unit 223, and a visible video / IR
  • the superimposed video signal generated by the video superimposing process b224 is input.
  • the selection unit 2251 selects at least one of a visible image, an IR image, and a superimposed image and outputs the selected image to the output unit 301 in response to input of a signal based on an operation of a user such as a doctor.
  • the selection unit 2252 includes a visible video signal after image processing by the visible video processing unit 222, an IR video signal after image processing by the IR video processing unit 223, and a visible video / IR
  • the superimposed video signal generated by the video superimposing process b224 is input.
  • the selection unit 2252 selects at least one of a visible image, an IR image, and a superimposed image and outputs the selected image to the output unit 302 in response to input of a signal based on an operation of a user such as a doctor.
  • the selection unit 2253 includes a visible video signal after image processing by the visible video processing unit 222, an IR video signal after image processing by the IR video processing unit 223, and a visible video / IR
  • the superimposed video signal generated by the video superimposing process b224 is input.
  • the selection unit 2253 selects at least one of a visible image, an IR image, and a superimposed image and outputs the selected image to the output unit 303 in response to an input of a signal based on an operation of a user such as a doctor.
  • the output units 301, 302, and 303 are, for example, a liquid crystal display (LCD: Liquid Crystal Display) or a video display device configured using an organic EL (Electroluminescence), or an output video (that is, a superimposed video ( This is a recording apparatus that records data of a superimposed image)).
  • the recording device is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • FIG. 10 is a diagram showing a display example in which the visible video G1 and the superimposed video G2as are displayed in comparison.
  • FIG. 11 is a diagram illustrating a display example in which the IR video G2a and the superimposed video G2as are displayed in comparison.
  • FIG. 12 is a diagram illustrating a display example in which the visible video G1, the IR video G2a, and the superimposed video G2as are displayed in comparison.
  • the camera device 20 according to Embodiment 2 can select, for example, the visible video G1 and the superimposed video G2as in the selection unit 2251 and output them to the output unit 301. That is, the camera device 20 according to the second embodiment selects a plurality of types of video and selects the same screen as compared with the example in which the camera device 20 according to the first embodiment outputs the superimposed video G2as to the output unit 30. Can be displayed in contrast.
  • the doctor or the like compares the superimposed video G2as and the visible video G1 with the same output unit 301, and determines whether or not the degree of superimposition of the fluorescent light emission part (that is, the video of the affected part tg) in the superimposed video G2as is appropriate.
  • the degree of superimposition can be adjusted by changing various parameters as necessary.
  • the camera apparatus 20 according to Embodiment 2 can select, for example, the IR video G2a and the superimposed video G2as in the selection unit 2252 and output them to the output unit 302. That is, the camera device 20 according to the second embodiment selects a plurality of types of video and selects the same screen as compared with the example in which the camera device 20 according to the first embodiment outputs the superimposed video G2as to the output unit 30. Can be displayed in contrast. Accordingly, the doctor or the like compares the superimposed image G2as and the IR image G2a with the same output unit 302 and determines whether or not the noise component is appropriately suppressed from the IR image G2a.
  • the camera device 20 according to Embodiment 2 can select, for example, the visible video G1, the IR video G2a, and the superimposed video G2as in the selection unit 2253, and output them to the output unit 303. That is, the camera device 20 according to the second embodiment selects a plurality of types of video and selects the same screen as compared with the example in which the camera device 20 according to the first embodiment outputs the superimposed video G2as to the output unit 30. Can be displayed in contrast.
  • segmented into 4 screens is shown and the example in which the display area of the superimposition image
  • the doctor or the like compares the visible video G1, the IR video G2a, and the superimposed video G2as with the same output unit 303, and the degree of superimposition of the fluorescent light emission part (that is, the video of the affected part tg) in the superimposed video G2as is appropriate. It can be easily confirmed whether or not there is.
  • doctors or the like appropriately determine whether or not the noise component is appropriately suppressed from the IR image G2a, and whether or not the intensity of the fluorescence emission part (that is, the image of the affected part tg) is appropriately corrected so as to be distinguished in the superimposed image G2as. Whether or not can be easily confirmed. Therefore, doctors and the like can correct the image quality of the IR video G2a by changing various parameters as described in the first embodiment as necessary.
  • 10, 11, and 12 show examples in which a plurality of videos are selected by the selection units 2251, 2252, and 2253 and displayed on the output units 301, 302, and 303, respectively.
  • 2252 and 2253 may select only one of the visible video G1, the IR video G2a, and the superimposed video G2as and output the selected video to the corresponding output units 301, 302, and 303.
  • the camera apparatus 20 etc. can output the image
  • FIG. 13 is a system configuration diagram showing a configuration example in which the medical camera system including the camera device 20 according to the first and second embodiments is applied to a surgical endoscope system.
  • the surgical endoscope system includes a surgical endoscope 110, a camera device 120, an output unit 130 (for example, a display device such as a monitor), and a light source device 131.
  • the camera device 120 is the same as the camera device 20 shown in FIGS. 1 to 4 and includes a camera head 121 and a CCU 122.
  • the surgical endoscope 110 includes an elongated insertion portion 111 and an objective lens 201L, a relay lens 202L, and an imaging lens 203L.
  • the surgical endoscope 110 includes a camera mounting unit 115 and a light source mounting unit 117 provided on the proximal side of the observation optical system, and guides illumination light from the light source mounting unit 117 to the distal end portion of the insertion unit 111.
  • a light guide 204 is provided. By mounting the imaging optical system 123 of the camera head 121 on the camera mounting unit 115 and capturing an image, an observation image can be acquired by the camera device 120.
  • a light guide cable 116 is connected to the light source mounting portion 117, and a light source device 131 is connected via the light guide cable 116.
  • the camera head 121 and the CCU 122 are connected by a signal cable 125, and the video signal of the subject 40 imaged by the camera head 121 is transmitted to the CCU 122 via the signal cable 125.
  • An output unit 130 (for example, a display device such as a monitor) is connected to the output terminal of the CCU 122, and two left and right video outputs 1 and 2 for 3D display may be output, or a 2D observation video (observation image) is output. May be.
  • the output unit 130 may display a 2D pixel 3D image as an observation image of the target region, or may output a 2D observation image (observation image).
  • FIG. 14 is a diagram showing an example of the external appearance of the surgical endoscope system.
  • a camera mounting unit 115 is provided on the proximal side of the insertion unit 111, and the imaging optical system 123 of the camera head 121 is mounted.
  • a light source mounting portion 117 is provided on the proximal side of the insertion portion 111, and a light guide cable 116 is connected thereto.
  • the camera head 121 is provided with an operation switch so that an operation of an observation image to be captured (freeze, release, image scan, etc.) can be performed at the user's hand.
  • the surgical endoscope system includes a recorder 132 that records an observation video imaged by the camera device 120, an operation unit 133 for operating the surgical endoscope system, and a foot switch 137 that allows an observer to input an operation with a foot.
  • the operation unit 133, the CCU 122, the light source device 131, and the recorder 132 are housed in the control unit housing 135.
  • An output unit 130 is disposed on the upper portion of the control unit casing 135.
  • the state of the observation target portion acquired by the surgical endoscope 110 can be clearly confirmed, similarly to the configuration of the medical camera system described above. Output of a superimposed image is possible.
  • the present disclosure suppresses deterioration of the image quality of the fluorescent image, makes it easy to see the fluorescent portion in the fluorescent image when the fluorescent image and the normal visible image are superimposed, and allows a user such as a doctor to clearly see the target portion of the subject.
  • the present invention is useful as a camera device, an image processing method, and a camera system that support the output of captured images that can determine the situation.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

カメラ装置は、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および対象部位からの医療用光学機器に入射した蛍光に基づく撮像がともに可能なカメラヘッドと、カメラヘッドから入力された蛍光画像の強度を増幅し、蛍光画像の黒色部分と白色部分を際立たせた後に、増幅された蛍光画像に対して非線形変換処理を実行し、可視光に基づく撮像により得られた可視画像に非線形変換処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する画像処理部と、を備える。

Description

カメラ装置、画像処理方法およびカメラシステム
　本開示は、例えば医療行為の際に撮像された画像を処理するカメラ装置、画像処理方法およびカメラシステムに関する。
　手術用の顕微鏡を用いて微細な手術対象部位（例えば被検体内の患部）を観察しながら行う顕微鏡手術、あるいは、内視鏡を用いて被検体内の手術対象部位を観察しながら行う内視鏡手術では、手術対象部位の観察画像（例えば、通常の可視画像、ＩＲ励起光により励起される蛍光画像）を撮像してモニタに表示することが行われる。モニタ上に観察画像を表示することで、医者等は、手術対象部位の状況を詳細に確認でき、当該手術対象部位の状況をリアルタイムに把握可能となる。
　特許文献１には、蛍光画像明るさ算出回路と参照光画像明るさ算出回路によりそれぞれ算出された蛍光画像および参照光画像の明るさを、係数格納メモリに格納された第１の係数および第２の係数をそれぞれ乗算して加算することで調光対象の明るさを算出し、ゲイン算出回路を経て調光目標値に設定するためのゲインを算出して調整する内視鏡装置が開示されている。
日本国特開２０１５－０５４０３８号公報
　上述した顕微鏡手術あるいは内視鏡手術等の医療手術の際、手術あるいは処置等が行われる対象部位（例えば、手術前に予め注射等で被検体に対して蛍光薬剤が投与される部位）の鮮明な状況を判別可能とするため、観察画像を撮像するためのカメラシステムから視認性の良好な出力映像の表示が望まれる。モニタに表示される出力映像の視認性は、医者等が対象部位（例えば被検体内の患部）の状況の詳細を把握する上で重要である。このためには、例えば蛍光薬剤がＩＲ励起光により励起されて発生した蛍光が撮像された蛍光画像の画質が良好であることが求められる。
　ところが、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤がＩＲ励起光により励起されて発生した蛍光はＩＲ励起光に比べて光強度が弱いので、患部の状態を分かり易くするために蛍光画像中の蛍光部分を可視画像に重畳した時に、可視画像と蛍光部分との境界等の区別がつきにくく蛍光部分が見えづらいという課題があった。このため、医者等が患部の詳細を把握することが困難となり、手術あるいは処置等の際に不便であった。また、被検体（つまり患者）ごとに皮膚の厚さ等に個人差があるために、蛍光画像の見え方が必ずしも一様にならないことも不便さを招く原因となっていた。特許文献１においても、このような課題を想定した技術的対策は開示されておらず、依然として上述した課題を解決することは従来技術において考慮されていないと言える。
　本開示は、上述した従来の事情に鑑みて案出され、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援するカメラ装置、画像処理方法およびカメラシステムを提供することを目的とする。
　本開示は、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像がともに可能なカメラヘッドと、前記カメラヘッドから入力された前記蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する画像処理部と、を備える、カメラ装置を提供する。
　また、本開示は、カメラヘッドおよび画像処理部を含むカメラ装置における画像処理方法であって、前記カメラヘッドにより、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行うステップと、前記画像処理部により、前記カメラヘッドから入力された前記蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成するステップと、を有する、画像処理方法を提供する。
　また、本開示は、カメラ装置と出力部とを含むカメラシステムであって、前記カメラ装置は、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行い、前記蛍光に基づく撮像により得られた蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、前記出力部に出力されるための重畳画像を生成し、前記出力部は、前記カメラ装置により生成された前記重畳画像を出力する、カメラシステムを提供する。
　本開示によれば、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援できる。
実施の形態１，２に係るカメラ装置を含む医療用カメラシステムを手術顕微鏡システムに適用したシステム構成例を示す図 手術顕微鏡システムの外観例を示す図 実施の形態１に係るカメラ装置のハードウェア構成例を示すブロック図 可視映像／ＩＲ映像重畳処理部の詳細なハードウェア構成例を示すブロック図 閾値処理の説明図 非線形変換処理の第１例（２値化）の説明図 非線形変換処理の第２例（Ｎ値化）の説明図 実施の形態１に係るカメラ装置の動作手順の一例を示すフローチャート 閾値処理および非線形変換処理の前後におけるＩＲ映像の変化例を示す模式図 可視映像にＩＲ映像が重畳された重畳映像の一例を示す図 実施の形態２に係るカメラ装置のハードウェア構成例を示すブロック図 可視映像と重畳映像とが対比表示された表示例を示す図 ＩＲ映像と重畳映像とが対比表示された表示例を示す図 可視映像とＩＲ映像と重畳映像とが対比表示された表示例を示す図 実施の形態１，２に係るカメラ装置を含む医療用カメラシステムを手術内視鏡システムに適用したシステム構成例を示す図 手術内視鏡システムの外観例を示す図
　以下、適宜図面を参照しながら、本開示に係るカメラ装置、画像処理方法およびカメラシステムを具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　また、以下の各実施の形態では、本開示に係るカメラ装置を含むカメラシステムの一例として、顕微鏡手術あるいは内視鏡手術等の医療手術の際に使用される医療用カメラシステムを説明する。ただし、カメラシステムは、医療用カメラシステムの例に限定されない。
（実施の形態１）
　実施の形態１では、カメラ装置は、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤が予め投与された被検体（例えば患者）の観察対象部位（例えば手術の対象部位である患部）からの医療用光学機器に入射した可視光に基づく撮像、および観察対象部位からの医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行う。医療用光学機器は、例えば手術顕微鏡あるいは手術内視鏡である。カメラ装置は、蛍光に基づく撮像により得られた蛍光画像に対する非線形変換処理を少なくとも含む画像処理を施し、可視光に基づく撮像により得られた可視画像に画像処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する。
　図１は、実施の形態１，２に係るカメラ装置２０を含む医療用カメラシステムを手術顕微鏡システムに適用した構成例を示すシステム構成図である。手術顕微鏡システムは、医療用光学機器の一例としての手術顕微鏡１０と、カメラ装置２０と、出力部３０とを含む構成である。カメラ装置２０は、撮像光学系２３に入射した光を撮像部２４に集光することで、手術顕微鏡１０により得られた観察対象部位の観察映像を撮像するカメラヘッド２１を有する。カメラ装置２０は、カメラヘッド２１により撮像された観察映像を構成するそれぞれの観察画像のフレームに対して画像処理を施すＣＣＵ（カメラコントロールユニット：Camera Control Unit）２２を有する。カメラ装置２０では、カメラヘッド２１とＣＣＵ２２とが信号ケーブル２５により接続される。カメラヘッド２１は、手術顕微鏡１０のカメラ装着部１５に装着されて接続される。ＣＣＵ２２の出力端子には、ＣＣＵ２２により画像処理が施された結果としての観察映像を表示するための出力部３０（例えばモニタ等のディスプレイ装置）が接続される。
　手術顕微鏡１０は、例えば双眼の顕微鏡であり、対物レンズ１１と、医者等の観察者の左右の眼に対応するように設けられた観察光学系１２と、接眼部１３と、カメラ撮像用光学系１４と、カメラ装着部１５とを有する構成である。観察光学系１２は、観察者の左右の眼に対応するように、ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒを有する。ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒは、対物レンズ１１の光軸を挟んでそれぞれ対称的に配置される。被検体４０からの光は、対物レンズ１１に入射した後、ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒ、光学系１０４Ｌ、ビームスプリッタ１０４Ｒを介して得られた、視差を持つ左右の観察画像を接眼部１３に導く。観察者は、接眼部１３を両眼で覗くことで、被検体４０の観察対象部位の様子を立体的に視認可能となっている。
　なお、上述した被検体４０からの光は、上述したＩＣＧ等の蛍光薬剤が注射等によって予め投与された被検体４０の観察対象部位に対し、光源装置３１（後述参照）から照射される白色光（例えば通常のＲＧＢの可視光）が観察対象部位により反射された反射光、あるいは、光源装置３１から照射されるＩＲ励起光が蛍光薬剤に照射されて励起された結果として発生する蛍光である。なお、手術顕微鏡１０において、例えば対物レンズ１１とそれぞれのズーム光学系１０１Ｌ，１０１Ｒとの間に、ＩＲ励起光の透過を遮断するためのバンドカットフィルタ（ＢＣＦ：Band Cut Filter）が形成されることが、蛍光の撮像に基づく蛍光画像の画質を劣化させない点で好ましい。
　また、顕微鏡手術もしくは内視鏡手術では、例えば医者等が観察対象部位（つまり、被検体４０の患部）のリンパ節の状況を判別するために、観察対象部位である被検体４０の体内に蛍光薬剤であるＩＣＧ（インドシアニングリーン）がＩＲ励起光の照射前に予め投与されると、被写体である患部にＩＣＧ（インドシアニングリーン）が集積する。ＩＣＧ（インドシアニングリーン）は、ＩＲ励起光に基づいて励起されると、より高波長側（例えば８６０ｎｍ）の光で蛍光発光する。ＩＲ励起光の波長は、例えば７８０ｎｍもしくは８０８ｎｍである。この蛍光発光により生じた光（つまり、蛍光）が撮像されると、患部の状況が詳細に判別可能となる。
　カメラ撮像用光学系１４は、光学系１０４Ｌ、ビームスプリッタ１０４Ｒ、ミラー１０５Ｒを有する。カメラ撮像用光学系１４は、ビームスプリッタ１０４Ｒによって観察光学系１２を通過する光を偏向して分離し、ミラー１０５Ｒによって反射してカメラ装着部１５に導く。
　図２は、手術顕微鏡システムの外観例を示す図である。手術顕微鏡１０は、顕微鏡本体の上部に接眼部１３が設けられ、接眼部１３の基端部より側方にカメラ撮像用光学系１４の筐体が延出し、カメラ装着部１５が設けられる。カメラ装着部１５は、上方に向かって開口し、カメラヘッド２１の撮像光学系２３が装着可能に形成されている。撮像光学系２３は、カメラヘッド２１の本体に対して着脱して交換可能であり、用途に応じて異なる光学特性を持つ撮像光学系を使用できる構成となっている。カメラヘッド２１は、例えば被写体像をＲＧＢ（Red Green Blue）およびＩＲ（Infrared Radiation）の各周波数帯の光に分光する分光プリズムと、ＲＧＢおよびＩＲの各波長帯の光の被写体像をそれぞれ撮像する４つのイメージセンサとを有する４板式の撮像部により構成される。なお、ＲＧＢおよびＩＲの各画素が並べられた１つのイメージセンサを有する単板式の撮像部を撮像部２４として用いてもよい。また、可視光とＩＲ光（例えば蛍光）とを分離するプリズムと、可視光を撮像するイメージセンサとＩＲ光（例えば蛍光）を撮像するイメージセンサとからなる２つのイメージセンサとを有する２板式の撮像部を撮像部２４として用いてもよい。
　手術顕微鏡システムは、対象部位を照明する光源装置３１、カメラ装置２０にて撮像した観察映像を記録するレコーダ３２、手術顕微鏡システムを操作するための操作ユニット３３、観察者が足で操作入力を行うフットスイッチ３７を含む構成である。操作ユニット３３、ＣＣＵ２２、光源装置３１およびレコーダ３２は、制御ユニット筐体３５に収納されている。制御ユニット筐体３５の近傍には、出力部３０（例えば液晶表示装置等のディスプレイ）が配置される。手術顕微鏡１０は、変位可能な支持アーム３４に取り付けられ、支持アーム３４を介して制御ユニット筐体３５に連結されている。
　図３は、実施の形態１に係るカメラ装置２０のハードウェア構成例を示すブロック図である。図３に示すカメラ装置２０は、カメラヘッド２１，１２１と、ＣＣＵ２２，１２２とを含む構成である。カメラヘッド２１，１２１とＣＣＵ２２，１２２とは信号ケーブル２５を介して接続される。
　カメラヘッド２１は、撮像光学系２３，１２３と、撮像部２４とを有する。カメラヘッド２１は、例えば顕微鏡手術の際に、手術顕微鏡１０のカメラ装着部１５に取り付けられる。カメラヘッド２１では、被検体４０からの光は、撮像光学系２３，１２３を通過して撮像部２４の可視撮像部２４１およびＩＲ撮像部２４２のそれぞれにより保持されるイメージセンサの撮像面にそれぞれ結像され、ＲＧＢの被写体像およびＩＲの被写体像がそれぞれ撮像される。
　撮像光学系２３，１２３は、１または複数のレンズと、被検体４０からの光をＲＧＢおよびＩＲの各波長帯に分光するための分解プリズムとを有する。
　撮像部２４は、可視撮像部２４１と、ＩＲ撮像部２４２とを有する。
　可視撮像部２４１は、例えばＲＧＢの波長帯の光を撮像可能に配置された３板式のイメージセンサまたはＲＧＢの各画素が並べられた単板式のイメージセンサを用いて構成され、撮像光学系２３，１２３を通過したＲＧＢの各波長帯の光に基づいて、可視光の観察映像（以下、「可視映像」または「可視画像」とも称する）を生成する。
　ＩＲ撮像部２４２は、例えばＩＲ、またはＩＲの波長帯に感度を有するＧ（グリーン）もしくはＲ（レッド）の光を撮像可能に配置された単板式のイメージセンサを用いて構成され、撮像光学系２３，１２３を通過したＩＲの波長帯（つまり、蛍光）の光に基づいて、蛍光の観察映像（以下、「ＩＲ映像」または「ＩＲ画像」とも称する）を生成する。
　なお、イメージセンサは、ＣＣＤ（Charged-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子により構成される。カメラヘッド２１にて撮像された被検体４０の観察対象部位（つまり、患部）の観察映像の信号は、信号ケーブル２５を介してＣＣＵ２２に伝送されて入力される。
　画像処理装置の一例としてのＣＣＵ２２，１２２は、可視映像／ＩＲ映像分離部２２１と、可視映像処理部２２２と、ＩＲ映像処理部２２３と、可視映像／ＩＲ映像重畳処理部２２４とを含む構成である。ＣＣＵ２２，１２２またはその各部は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）またはＦＰＧＡ（Field Programmable Gate Array）を用いて構成され、プログラムによって回路構成および動作の設定、変更が可能となっている。
　ＣＣＵ２２，１２２は、カメラヘッド２１にて撮像された観察映像（可視映像、ＩＲ映像）の信号を入力して、可視映像に対して可視映像用の所定の画像処理を施すとともに、ＩＲ映像に対してＩＲ映像用の所定の画像処理を施す。ＣＣＵ２２，１２２は、ＩＲ映像の画質を向上するための各種の画像処理をＩＲ映像に施し、その画像処理後のＩＲ映像を可視映像に重畳処理して重畳映像を生成して出力部３０に出力する。
　可視映像／ＩＲ映像分離部２２１は、信号ケーブル２５を介してカメラヘッド２１から伝送された観察映像の信号を、可視映像の信号とＩＲ映像の信号とに分離し、可視映像の信号を可視映像処理部２２２に送り、ＩＲ映像の信号をＩＲ映像処理部２２３に送る。例えばカメラヘッド２１の撮像部２４において可視映像とＩＲ映像とが周期的に時分割撮像される場合、最初の一定期間では撮像された可視映像が入力され、次の一定期間では撮像されたＩＲ映像が入力される。この場合、可視映像／ＩＲ映像分離部２２１に入力される時点で既に可視映像とＩＲ映像とが分離されているので、可視映像／ＩＲ映像分離部２２１は、最初の一定期間では入力された可視映像だけを可視映像処理部２２２に送り、次の一定周期では入力されたＩＲ映像だけをＩＲ映像処理部２２３に送る。
　また、例えばカメラヘッド２１の撮像部２４では、可視撮像部２４１とＩＲ撮像部２４２とが設けられるので、可視映像とＩＲ撮像との同時撮像が可能である。この場合、可視映像／ＩＲ映像分離部２２１には、例えば可視映像とＩＲ映像とが交互に入力されるので、例えばヘッダ領域を参照することで可視映像とＩＲ映像とをそれぞれ識別して分離することで、可視映像だけを可視映像処理部２２２に送り、ＩＲ映像だけをＩＲ映像処理部２２３に送る。なお、可視映像／ＩＲ映像分離部２２１には、可視映像とＩＲ映像とが同時に入力されてもよい。この場合には、信号ケーブル２５（図３参照）には、可視映像用の信号線とＩＲ映像用の信号線との両方が含まれるように構成される。
　可視映像処理部２２２は、入力された可視映像に対する通常の画像処理（例えば線形補間処理、高解像度化処理等）を行い、その画像処理後の可視映像の信号を可視映像／ＩＲ映像重畳処理部２２４に送る。
　ＩＲ映像処理部２２３は、入力されたＩＲ映像に対する通常の画像処理（例えば線形補間処理、高解像度化処理等）を行い、その画像処理後のＩＲ映像の信号を可視映像／ＩＲ映像重畳処理部２２４に送る。
　可視映像／ＩＲ映像重畳処理部２２４は、ＩＲ映像処理部２２３から送られたＩＲ映像の信号に対して各種の画像処理を施し、その画像処理が施されたＩＲ映像の信号を、可視映像処理部２２２から送られた可視映像に重畳処理を行って、重畳映像（重畳画像）を生成して出力部３０に出力する。可視映像／ＩＲ映像重畳処理部２２４の動作の詳細については、図４を参照して後述する。なお、可視映像／ＩＲ映像重畳処理部２２４には、顕微鏡手術もしくは内視鏡手術の際に出力部３０（例えば液晶表示装置）に出力された重畳映像を視認した医者等の操作部（図示略）を用いた操作に基づく信号が入力されて、ＩＲ映像の信号に施される画像処理のパラメータ（後述参照）が適宜、変更されてもよい。
　出力部３０は、例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）を用いて構成された映像表示装置、または出力された出力映像（つまり、重畳映像（重畳画像））のデータを記録する記録装置である。記録装置は、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。
　図４は、可視映像／ＩＲ映像重畳処理部２２４の詳細なハードウェア構成例を示すブロック図である。可視映像／ＩＲ映像重畳処理部２２４は、閾値処理部２２４１と、変換前ゲイン処理部２２４２と、非線形変換部２２４３と、変換後ゲイン処理部２２４４と、重畳処理部２２４５とを含む構成である。なお、図４において、閾値処理部２２４１と非線形変換部２２４３とは同一の回路（例えば、非線形変換部２２４３）として構成されてもよい。これは、後述する閾値処理が非線形変換処理の一例と考えることができ、閾値処理部２２４１が使用する特性（図５Ａ参照）をルックアップテーブルで構成することで、非線形変換部２２４３が閾値処理を実現可能だからである。
　閾値処理部２２４１は、入力されたＩＲ映像の信号の強度（例えばＩＲ映像を構成する画素ごとのＩＲ画像の明るさ、または、ｋ＊ｋ（ｋ：２以上の２の倍数の整数）個の画素からなるブロックごとのＩＲ画像の明るさ。以下同様。）が第１閾値ｔｈ１未満の場合にその強度を低下させ、その強度が第２閾値ｔｈ２（＞第１閾値ｔｈ１）以上の場合にその強度を増大させる強度補正処理を行う（図５Ａ参照）。閾値処理部２２４１は、強度補正処理が施されたＩＲ映像の信号を変換前ゲイン処理部２２４２に送る。
　図５Ａは、閾値処理の説明図である。閾値処理とは、パラメータ（例えば、２種類の閾値である第１閾値ｔｈ１，第２閾値ｔｈ２）を用いて、入力されたＩＲ映像の信号の強度の強度を補正する強度補正処理（上述参照）である。図５Ａにおいて、横軸（ｘ軸）は入力されたＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は閾値処理後に出力されるＩＲ映像の信号の強度を示す。特性Ｃｖ１は、閾値処理部２２４１における閾値処理の特性を示す。特性Ｃｖ０は、閾値処理部２２４１における閾値処理が行われない場合の特性を示し、これは入力と出力とが同一であることを示している（ｙ＝ｘ）。
　ここで、閾値処理部２２４１に入力されるＩＲ映像の信号にはノイズ成分が含まれていることが少なくない。ノイズ成分が含まれると、ＩＲ映像における白色部分（言い換えると、蛍光発光した観察対象部位である患部）の一部が黒ずんで患部の詳細が分かりにくくなったり、ＩＲ映像における黒色部分（言い換えれば、患部でない背景部分）に多少白っぽくなったりするので、結果的にＩＲ映像の画質が劣化してしまう。
　そこで、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ映像の信号の強度が第１閾値ｔｈ１未満であれば、出力値が０（ゼロ）となるように強度を低下（言い換えると、抑圧）して０（ゼロ）にする。つまり、閾値処理部２２４１は、第１閾値ｔｈ１未満の強度が入力された画素もしくはブロックの強度を０（ゼロ）に補正し、ＩＲ映像における黒色部分を際立たせる。
　また、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ映像の信号の強度が第２閾値ｔｈ２以上であれば、出力値を既定の表現可能なビット数で示せる最大の出力値となるように強度を増大する。つまり、閾値処理部２２４１は、第２閾値ｔｈ２以上の強度が入力された画素もしくはブロックの強度を最大の出力値に補正し、ＩＲ映像における白色部分を際立たせる。
　また、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ映像の信号の強度が第１閾値ｔｈ１以上かつ第２閾値未満でも、ＩＲ映像における黒っぽい部分をより黒くなるように補正し、かつＩＲ映像における白っぽい部分をより白くなるように補正するので、ＩＲ映像の階調を白黒に近づけることができ、可視映像に重畳された時に蛍光部分の区別をつきやすくできる。なお、第１閾値ｔｈ１および第２閾値ｔｈ２のうち少なくとも１つは、出力部３０に表示された重畳映像（重畳画像）を視認した医者等の操作部（図示略）を用いた操作に基づく信号の入力に基づいて、変更された値が閾値処理部２２４１に設定されてよい。
　変換前ゲイン処理部２２４２は、予め設定された第１ゲイン値を保持する。なお、第１ゲイン値は、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。変換前ゲイン処理部２２４２は、第１ゲイン値を用いて、閾値処理部２２４１により強度補正処理されたＩＲ映像の信号を入力して増幅する。変換前ゲイン処理部２２４２は、増幅後のＩＲ映像の信号を非線形変換部２２４３に送る。これにより、カメラ装置２０は、後段の非線形変換部２２４３における非線形変換処理を行い易くするための増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。
　非線形変換部２２４３は、ルックアップテーブル（ＬＵＴ：Look Up Table）２２４３ｔを保持し、ルックアップテーブル２２４３ｔを用いた非線形処理を行う非線形処理回路を用いて構成される。非線形変換部２２４３は、ルックアップテーブル２２４３ｔに書き込まれた値群に基づいて、変換前ゲイン処理部２２４２から送られたＩＲ映像の信号に対して非線形変換処理を施す。非線形変換処理は、例えばＩＲ映像の信号の強度を２値化あるいはＮ値化することであり、ＩＲ映像の信号を２階調あるいはＮ階調で表現する処理を示す。Ｎは３以上の整数である。なお、非線形変換部２２４３が行う非線形変換処理の種類（例えば、２値化あるいはＮ値化）は、予め設定されてもよいし、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。
　また、非線形変換部２２４３は、上述したルックアップテーブル２２４３ｔを用いて非線形変換処理を行う例に限らず、非線形関数のデータ（例えば、近似に使用される折れ線の各ポイントのデータ）を書き込んだＲＯＭ（Read Only Memory）を用い、ポイント間を折れ線でつなぐ処理を行う折れ線近似回路によって非線形変換処理を行ってもよい。ここで、ルックアップテーブルは、通常、入力信号が取り得る値（例えば８ビットなら０～２５５）のそれぞれに対応する出力値を有する構成であり、２５６個のデータからなる。このため、入力信号の取り得る値のビット数が多くなると、ルックアップテーブルが保持するデータ量が多くなる傾向にある。一方で、折れ線近似回路であれば、保持するデータは折れ線のポイント数だけで済むので、保持するべきデータ量を少なくできる。
　ここで、ＩＲ映像（つまり、ＩＣＧ等の蛍光薬剤がＩＲ励起光により励起されて生じた蛍光が撮像された映像）は、通常の可視光に比べて光の強度が弱い上に、例えば１０ビット（つまり、２１０＝１０２４階調）で表現されるように可視映像との階調差が大きくなると、ＩＲ映像が可視映像に重畳された時にはＩＲ映像のＩＲ部分（つまり、蛍光部分）の区別がつきにくく、見えづらいという課題があった。そこで、実施の形態１では、非線形変換部２２４３は、図５Ｂまたは図５Ｃに示すように、入力されるＩＲ映像の信号に対して非線形変換処理（例えば、２値化あるいはＮ値化）を施し、可視映像に重畳された場合に蛍光部分の区別がつきやすい（言い換えると、ＩＲＧＢの可視映像部分に埋もれにくい）ＩＲ映像の信号を生成する。
　図５Ｂは、非線形変換処理の第１例（２値化）の説明図である。図５Ｃは、非線形変換処理の第２例（Ｎ値化）の説明図である。
　図５Ｂにおいて、横軸（ｘ軸）はＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は非線形変換処理後に出力されるＩＲ映像の信号の強度を示す。図５Ｂに示すように、非線形変換部２２４３は、入力されるＩＲ映像の信号の画素もしくはブロック（上述参照）における強度がルックアップテーブル２２４３ｔに保持されるＭ１未満である場合には、出力として０（ゼロ）に変換する。特性Ｃｖ２は、非線形変換部２２４３における非線形変換処理の一例を示す特性例であり、入力値がＭ１以下であれば出力値として０を出力し、入力値がＭ１より大きければ出力値として最大値（例えば１）を出力するための入力値および出力値の値群がルックアップテーブル２２４３ｔに書き込まれる。これにより、カメラ装置２０は、単純に入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）がＭ１以下であるか否かに応じて、ＩＲ映像の信号を白黒の１ビットで表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。
　図５Ｃにおいて、横軸（ｘ軸）はＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は非線形変換処理後に出力されるＩＲ映像の信号の強度を示す。図５Ｃに示すように、非線形変換部２２４３は、入力されるＩＲ映像の信号の画素もしくはブロック（上述参照）における強度がルックアップテーブル２２４３ｔに保持されるＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７との大小関係に応じて、段階的に定められた出力値に変換する。特性Ｃｖ３は、非線形変換部２２４３における非線形変換処理の一例を示す特性例であり、入力値がＮ１以下であれば出力値として０を出力し、入力値がＮ７より大きければ出力値として最大値（例えば８）を出力するための入力値および出力値の値群がルックアップテーブル２２４３ｔに書き込まれる。入力値がＮ３より大きくＮ４より小さければ最大値の５０％の値が割り当てられる。つまり、図５Ｃでは、入力されたＩＲ映像の信号の画素もしくはブロックごとの強度と７種類の値Ｎ１～Ｎ７との比較結果に従って、図５Ｃに示す特性Ｃｖ３に従った出力が非線形変換処理の結果として割り当てられる。これにより、カメラ装置２０は、入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）と７種類の値Ｎ１～Ｎ７とのそれぞれの大小関係に応じて、ＩＲ映像の信号を白黒の８ビットできめ細かに表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。
　変換後ゲイン処理部２２４４は、予め設定された第２ゲイン値を保持する。なお、第２ゲイン値は、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。変換後ゲイン処理部２２４４は、第２ゲイン値を用いて、非線形変換部２２４３により非線形変換処理されたＩＲ映像の信号を入力して増幅する。変換後ゲイン処理部２２４４は、増幅後のＩＲ映像の信号を重畳処理部２２４５に送る。これにより、カメラ装置２０は、非線形変換処理されたＩＲ映像の信号の増幅により色が濃くなるので、後段の重畳処理部２２４５におけるＩＲ映像が可視映像に重畳された際に、そのＩＲ映像の蛍光部分のより識別可能となる増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。
　重畳処理部２２４５は、可視映像処理部２２２から送られた可視映像の信号と、変換後ゲイン処理部２２４４から送られたＩＲ映像の信号とを入力し、可視映像の信号にＩＲ映像の信号を重畳処理した重畳映像（重畳画像）を生成する（図８参照）。重畳処理部２２４５は、重畳映像の信号を出力映像として出力部３０（例えばモニタ）に出力する。
　重畳処理部２２４５は、重畳処理の一例として、可視映像を構成する可視画像のｋ＊ｋ個のブロック（上述参照）ごとのＲＧＢの情報（画素値）に、対応するＩＲ映像の同一のブロック内のＧ（グリーン）の情報（画素値）を加算することで、ＩＲ映像の部分を可視映像に重ね合わせた上で、ＩＲ映像の部分を緑色に着色（色付け）した重畳映像を生成できる。なお、重畳処理部２２４５における重畳処理は、上述した例に限定されない。
　図８は、可視映像にＩＲ映像が重畳された重畳映像Ｇ２ａｓの一例を示す図である。重畳映像Ｇ２ａｓは、可視映像にＩＲ映像が重畳される際に、ＩＲ映像の白色部分（つまり、背景部分ではない部分であって、ＩＣＧ等の蛍光薬剤が蛍光発光した患部ｔｇの部分）の様子が判別し易くするために、例えば緑色に着色されて示されている。医者等は、出力部３０（例えばモニタ）に出力（表示）される重畳映像Ｇ２ａｓを視認することにより、被検体４０の体内に投与された蛍光薬剤の発光分布等やその患部ｔｇの様子を視覚的に判別できる。
　次に、実施の形態１に係るカメラ装置２０における動作手順の一例について、図６を参照して説明する。図６は、実施の形態１に係るカメラ装置２０の動作手順の一例を示すフローチャートである。図６に示す点線内の処理は、可視映像を構成する可視画像のフレーム、またはＩＲ映像を構成するＩＲ画像のフレームごとに実行される。
　図６において、カメラ装置２０は、カメラヘッド２１において、被検体４０からの反射光（つまり、被検体４０により反射された可視光、蛍光）を撮像部２４に集光させ、撮像部２４において、可視映像およびＩＲ映像の撮像をそれぞれ行う（Ｓｔ１）。なお、実施の形態１では、上述したように被検体４０の体内に予め投与された蛍光薬剤を励起させるＩＲ励起光は、例えば対物レンズ１１とそれぞれのズーム光学系１０１Ｌ，１０１Ｒとの間に設けられたバンドカットフィルタにより透過が遮断されることが好ましい。これにより、カメラ装置２０のカメラヘッド２１にＩＲ励起光の反射光が入射されることが抑制されるので、蛍光の観察映像の信号の画質が良好となる。
　カメラ装置２０は、信号ケーブル２５を介してカメラヘッド２１から伝送された観察映像の信号を、可視映像の信号とＩＲ映像の信号とに分離し、可視映像の信号を可視映像処理部２２２に送り、ＩＲ映像の信号をＩＲ映像処理部２２３に送る（Ｓｔ２）。
　カメラ装置２０は、可視映像を構成する可視画像のフレームごとに、通常の画像処理（例えば線形補間処理、高解像度化処理等）を行う（Ｓｔ３Ａ）。
　カメラ装置２０は、ＩＲ映像を構成するＩＲ画像のフレームごとに、通常の画像処理（例えば線形補間処理、高解像度化処理等）を行う（Ｓｔ３Ｂ１）。カメラ装置２０は、ステップＳｔ３Ｂ１において画像処理が施されたＩＲ画像のフレームごとに、そのフレームの強度（例えばＩＲ映像を構成する画素ごとのＩＲ画像の明るさ、または、ｋ＊ｋ個の画素からなるブロックごとのＩＲ画像の明るさ）が第１閾値ｔｈ１未満の場合にその強度を低下させ、その強度が第２閾値ｔｈ２（＞第１閾値ｔｈ１）以上の場合にその強度を増大させる強度補正処理を行う（Ｓｔ３Ｂ２）。
　カメラ装置２０は、ステップＳｔ３Ｂ２において強度補正処理（閾値処理）が行われたフレームごとに、第１ゲイン値を用いて、その強度補正処理されたＩＲ映像の信号を増幅する（Ｓｔ３Ｂ３）。カメラ装置２０は、ステップＳｔ３Ｂ３において増幅されたＩＲ映像を構成するＩＲ画像のフレームごとに、ルックアップテーブル２２４３ｔに書き込まれた値群に基づいて非線形変換処理を施す（Ｓｔ３Ｂ４）。カメラ装置２０は、ステップＳｔ３Ｂ４において非線形変換処理が施されたＩＲ映像を構成するＩＲ画像のフレームごとに、第２ゲイン値を用いて、その非線形変換処理が施されたＩＲ映像の信号を増幅する（Ｓｔ３Ｂ５）。
　カメラ装置２０は、ステップＳｔ３Ａにおいて画像処理が施された可視映像の信号と、ステップＳｔ３Ｂ５において増幅されたＩＲ映像の信号とを入力し、可視映像の信号にＩＲ映像の信号を重畳処理した重畳映像（重畳画像）を生成する（Ｓｔ４）。カメラ装置２０は、ステップＳｔ４において生成された重畳映像の信号を出力映像として出力部３０（例えばモニタ）に出力する（Ｓｔ５）。
　図７は、閾値処理および非線形変換処理の前後におけるＩＲ映像の変化例を示す模式図である。図７において、ＩＲ映像Ｇ２は、閾値処理および非線形変換処理が行われる前のＩＲ映像である。図７に示すＩＲ映像Ｇ２では、患部ｔｇ以外の部分ＢＫＧ１（つまり、患部ｔｇの周囲や、患部ｔｇの部分を除く全体）に広くノイズ成分が強く現れており、黒から灰色に近い色合いとなっている。このため、医者等は、ＩＲ映像Ｇ２が可視映像と重畳された重畳映像を出力部３０（例えばモニタ）で視認した場合に、患部ｔｇの境界部分の詳細が分かりにくくなり、ＩＲ映像Ｇ２のどこまでが患部であるのか等、手術もしくは検査の際に誤判断を行ってしまう可能性がある。
　一方、ＩＲ映像Ｇ２ａは、閾値処理および非線形変換処理が行われた後のＩＲ映像である。図７に示すＩＲ映像Ｇ２ａでは、ＩＲ映像Ｇ２において出現していた患部ｔｇ以外の部分ＢＫＧ１のノイズ成分が排除されて鮮明な画質となり、患部ｔｇ以外の部分ＢＫＧ２がほぼ黒に近い色合いとなって、ＩＲ映像Ｇ２ａの画質がＩＲ映像Ｇ２の画質に比べて向上している。このため、医者等は、ＩＲ映像Ｇ２ａが可視映像と重畳された重畳映像を出力部３０（例えばモニタ）で視認した場合に、患部ｔｇの輪郭やその内側の詳細を簡易かつ視覚的に把握し易くなり、手術もしくは検査の際にスムーズに行うことができる。
　以上により、実施の形態１に係るカメラ装置２０は、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤が予め投与された被検体（例えば患者）の観察対象部位（例えば手術の対象部位である患部）からの医療用光学機器に入射した可視光に基づく撮像、および観察対象部位からの医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行う。医療用光学機器は、例えば手術顕微鏡あるいは手術内視鏡である。カメラ装置は、蛍光に基づく撮像により得られた蛍光画像に対する非線形変換処理を少なくとも含む画像処理を施し、可視光に基づく撮像により得られた可視画像に画像処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する。
　これにより、カメラ装置２０は、予め被検体４０の体内の患部に投与されたＩＣＧ等の蛍光薬剤の蛍光発光に基づく蛍光画像に対して非線形変換処理を行って、可視映像の色合いを規定するビット数に比べて低いビット数で蛍光画像の色合いを規定できるので、蛍光画像の画質の劣化を抑制できる。また、カメラ装置２０は、蛍光画像を鮮明な白黒の画像となるように非線形変換処理を行うので、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援できる。
　また、カメラ装置２０は、カメラヘッド２１から入力された蛍光画像の強度を増幅した後に、増幅された蛍光画像に対して非線形変換処理を実行する。これにより、カメラ装置２０は、後段の非線形変換部２２４３における非線形変換処理を行い易くするための増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。
　また、カメラ装置２０は、非線形変換処理後の蛍光画像の強度を増幅する。これにより、カメラ装置２０は、非線形変換処理されたＩＲ映像の信号の増幅により色が濃くなるので、後段の重畳処理部２２４５におけるＩＲ映像が可視映像に重畳された際に、そのＩＲ映像の蛍光部分のより識別可能となる増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。
　また、変換前ゲイン処理部２２４２または変換後ゲイン処理部２２４４における増幅に関する増幅率は、例えば医者等のユーザの操作により可変である。これにより、医者等は、出力部３０に出力された重畳映像（言い換えると、被検体４０の患部ｔｇ）の見易さを適切に調整できるので、顕微鏡手術もしくは内視鏡手術時に適正な判断を行える。
　また、カメラ装置２０は、蛍光画像の強度が第１閾値ｔｈ１未満の場合に低下させ、蛍光画像の強度が第１閾値ｔｈ１より大きい第２閾値ｔｈ２以上の場合に増大させる強度補正処理を実行し、強度補正処理後の蛍光画像に対して非線形変換処理を実行する。これにより、カメラ装置２０は、撮像されたＩＲ映像にノイズ成分が含まれている場合でも、強度補正処理によってノイズ成分の影響を効果的に排除できるので、ＩＲ映像の階調をより白黒の２値に近づけることができ、可視映像に重畳された時に蛍光部分の区別をつきやすくできる。
　また、強度補正処理（閾値処理）において、第１閾値ｔｈ１および第２閾値ｔｈ２は、医者等のユーザの操作により可変である。これにより、医者等は、出力部３０に出力された重畳映像中において被検体４０の患部ｔｇの境界が周囲の可視映像に埋もれて見えにくくなっているか否かを判断した上で、見えにくくなっている場合には適宜第１閾値ｔｈ１および第２閾値ｔｈ２を調整できるので、顕微鏡手術もしくは内視鏡手術時に適正な判断を行える。
　また、カメラ装置２０は、医者等のユーザの操作により変更可能な値群を有するルックアップテーブル２２４３ｔを有し、ルックアップテーブル２２４３ｔに基づいて非線形変換処理を実行する。これにより、カメラ装置２０は、単純に入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）がＭ１以下であるか否かに応じて、ＩＲ映像の信号を白黒の１ビットで表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。また、カメラ装置２０は、入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）と７種類の値Ｎ１～Ｎ７とのそれぞれの大小関係に応じて、ＩＲ映像の信号を白黒の８ビットできめ細かに表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。このように、医者等は、出力部３０に出力された重畳映像（言い換えると、被検体４０の患部ｔｇ）の見易さを確認するために、ルックアップテーブル２２４３ｔを適宜選択等することで非線形変換部２２４３における非線形変換処理を選択できるので、適切な非線形変換処理をカメラ装置２０に実行させることができ、良好な画質の重畳映像を視認できる。
（実施の形態２）
　実施の形態２では、カメラ装置は、上述した実施の形態１に係るカメラ装置の構成に加え、可視映像、画像処理が施された蛍光映像、および重畳画像のうち少なくとも１つを選択し、少なくとも１つの対応する出力部に出力する少なくとも１つの選択部をさらに備える。
　図９は、実施の形態２に係るカメラ装置２０のハードウェア構成例を示すブロック図である。図９の説明において、図３の説明と重複する内容について同一の符号を付与して簡略化または省略し、異なる内容について説明する。
　図９に示すカメラ装置２０は、カメラヘッド２１，１２１と、ＣＣＵ２２，１２２とを含む構成である。ＣＣＵ２２，１２２は、可視映像／ＩＲ映像分離部２２１と、可視映像処理部２２２と、ＩＲ映像処理部２２３と、可視映像／ＩＲ映像重畳処理部２２４と、選択部２２５１，２２５２，２２５３とを含む構成である。
　選択部２２５１には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５１は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０１に出力する。
　選択部２２５２には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５２は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０２に出力する。
　選択部２２５３には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５３は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０３に出力する。
　出力部３０１，３０２，３０３は、いずれも例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）を用いて構成された映像表示装置、または出力された出力映像（つまり、重畳映像（重畳画像））のデータを記録する記録装置である。記録装置は、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。
　図１０は、可視映像Ｇ１と重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。図１１は、ＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。図１２は、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。
　図１０に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５１において、可視映像Ｇ１と重畳映像Ｇ２ａｓとを選択して出力部３０１に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。これにより、医者等は、重畳映像Ｇ２ａｓと可視映像Ｇ１とを同一の出力部３０１で見比べながら、重畳映像Ｇ２ａｓにおける蛍光発光部分（つまり、患部ｔｇの映像）の重畳度合いが適切であるか否かを簡易に確認可能となり、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更して重畳度合いを調整できる。
　図１１に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５２において、ＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを選択して出力部３０２に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。これにより、医者等は、重畳映像Ｇ２ａｓとＩＲ映像Ｇ２ａとを同一の出力部３０２で見比べながら、ＩＲ映像Ｇ２ａからノイズ成分が適切に抑圧されているか否か、蛍光発光部分（つまり、患部ｔｇの映像）が重畳映像Ｇ２ａｓにおいて区別がつくように適正に強度補正されているか否かを簡易に確認可能となり、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更してＩＲ映像Ｇ２ａの画質を補正できる。
　図１２に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５３において、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを選択して出力部３０３に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。なお、図１２では、４画面に分割された表示態様が示され、重畳映像Ｇ２ａｓの表示面積が最も広く示されている例が示されているが、この例に限定されない。これにより、医者等は、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを同一の出力部３０３で見比べながら、重畳映像Ｇ２ａｓにおける蛍光発光部分（つまり、患部ｔｇの映像）の重畳度合いが適切であるか否かを簡易に確認可能となる。また、医者等は、ＩＲ映像Ｇ２ａからノイズ成分が適切に抑圧されているか否か、蛍光発光部分（つまり、患部ｔｇの映像）が重畳映像Ｇ２ａｓにおいて区別がつくように適正に強度補正されているか否かを簡易に確認可能となる。従って、医者等は、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更してＩＲ映像Ｇ２ａの画質を補正できる。
　なお、図１０，図１１，図１２では、それぞれ複数の映像が選択部２２５１，２２５２，２２５３により選択されて出力部３０１，３０２，３０３において表示される例が示されているが、選択部２２５１，２２５２，２２５３は、可視映像Ｇ１、ＩＲ映像Ｇ２ａおよび重畳映像Ｇ２ａｓのうち一つだけを選択して対応する出力部３０１，３０２，３０３に出力してもよい。これにより、カメラ装置２０等は、それぞれ出力部３０１，３０２，３０３の表示面積を最大限に利用して表示対象の映像を出力できるので、医者等にそれぞれの出力映像の詳細を視認させることができる。
　図１３は、実施の形態１，２に係るカメラ装置２０を含む医療用カメラシステムを手術内視鏡システムに適用した構成例を示すシステム構成図である。手術内視鏡システムは、手術内視鏡１１０と、カメラ装置１２０と、出力部１３０（例えばモニタ等のディスプレイ装置）と、光源装置１３１とを有する。カメラ装置１２０は、図１～図４に示したカメラ装置２０と同様であり、カメラヘッド１２１とＣＣＵ１２２とを有して構成される。
　手術内視鏡１１０は、細長の挿入部１１１に、対物レンズ２０１Ｌ、リレーレンズ２０２Ｌ、結像レンズ２０３Ｌを有して構成される。手術内視鏡１１０は、観察光学系の手元側に設けられたカメラ装着部１１５と、光源装着部１１７とを有し、光源装着部１１７から挿入部１１１の先端部にかけて照明光を導光するライトガイド２０４が設けられる。カメラ装着部１１５にカメラヘッド１２１の撮像光学系１２３を装着して撮像することにより、カメラ装置１２０において観察映像を取得可能となっている。光源装着部１１７には、ライトガイドケーブル１１６が接続され、ライトガイドケーブル１１６を介して光源装置１３１が接続される。
　カメラヘッド１２１とＣＣＵ１２２とは信号ケーブル１２５により接続され、カメラヘッド１２１にて撮像した被検体４０の映像信号は、信号ケーブル１２５を介してＣＣＵ１２２に伝送される。ＣＣＵ１２２の出力端子には出力部１３０（例えばモニタ等のディスプレイ装置）が接続され、３Ｄ表示用の左右２つの映像出力１，２が出力されてよいし、２Ｄの観察映像（観察画像）が出力されてもよい。出力部１３０には、対象部位の観察映像として、２Ｋ画素の３Ｄ映像が表示されてよいし、２Ｄの観察映像（観察画像）が出力されてもよい。
　図１４は、手術内視鏡システムの外観例を示す図である。手術内視鏡１１０は、挿入部１１１の手元側にカメラ装着部１１５が設けられ、カメラヘッド１２１の撮像光学系１２３が装着される。挿入部１１１の手元側部には光源装着部１１７が設けられ、ライトガイドケーブル１１６が接続される。カメラヘッド１２１には操作スイッチが設けられ、撮像する観察映像の操作（フリーズ、レリーズ、画像スキャン等）を使用者の手元において行うことが可能となっている。手術内視鏡システムは、カメラ装置１２０にて撮像した観察映像を記録するレコーダ１３２、手術内視鏡システムを操作するための操作ユニット１３３、観察者が足で操作入力を行うフットスイッチ１３７を有し、操作ユニット１３３、ＣＣＵ１２２、光源装置１３１、およびレコーダ１３２が制御ユニット筐体１３５に収納されている。制御ユニット筐体１３５の上部には、出力部１３０が配置される。
　このように、図１３および図１４に示す手術内視鏡システムの構成では、前述した医療用カメラシステムの構成と同様に、手術内視鏡１１０により取得した観察対象部位の様子が鮮明に確認可能な重畳映像の出力が可能となる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年５月３１日出願の日本特許出願（特願２０１８－１０５３９７）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援するカメラ装置、画像処理方法およびカメラシステムとして有用である。
１０　手術顕微鏡
２０、１２０　カメラ装置
２１、１２１　カメラヘッド
２２、１２２　ＣＣＵ（カメラコントロールユニット）
２３、１２３　撮像光学系
２４　撮像部
２５、１２５　信号ケーブル
３０、１３０、３０１、３０２、３０３　出力部
４０　被検体
１１０　手術内視鏡
２２１　可視映像／ＩＲ映像分離部
２２２　可視映像処理部
２２３　ＩＲ映像処理部
２２４　可視映像／ＩＲ映像重畳処理部
２２４１　閾値処理部
２２４２　変換前ゲイン処理部
２２４３　非線形変換部
２２４４　変換後ゲイン処理部
２２４５　重畳処理部
２２５１、２２５２、２２５３　選択部

Claims (9)

  1. 　蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像がともに可能なカメラヘッドと、
    　前記カメラヘッドから入力された前記蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する画像処理部と、を備える、
    　カメラ装置。
  2. 　前記画像処理部は、前記カメラヘッドから入力された前記蛍光画像の強度が第１閾値未満の場合に低下させ、前記蛍光画像の強度が前記第１閾値より大きい第２閾値以上の場合に強度を増幅する、
    　請求項１に記載のカメラ装置。
  3. 　前記画像処理部は、前記非線形変換処理後の蛍光画像の強度を増幅する、
    　請求項１または２に記載のカメラ装置。
  4. 　前記増幅に関する増幅率は、ユーザの操作により可変である、
    　請求項１～３のうちいずれか一項に記載のカメラ装置。
  5. 　前記第１閾値および前記第２閾値は、ユーザの操作により可変である、
    　請求項２～４のうちいずれか一項に記載のカメラ装置。
  6. 　前記画像処理部は、ユーザの操作により変更可能な値群を有するルックアップテーブルを有し、前記ルックアップテーブルに基づいて前記非線形変換処理を実行する、
    　請求項１～５のうちいずれか一項に記載のカメラ装置。
  7. 　前記可視画像、前記画像処理が施された蛍光画像、および前記重畳画像のうち少なくとも１つを選択し、少なくとも１つの対応する前記出力部に出力する少なくとも１つの選択部、をさらに備える、
    　請求項１～６のうちいずれか一項に記載のカメラ装置。
  8. 　カメラヘッドおよび画像処理部を含むカメラ装置における画像処理方法であって、
    　前記カメラヘッドにより、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行うステップと、
    　前記画像処理部により、前記カメラヘッドから入力された前記蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成するステップと、を有する、
    　画像処理方法。
  9. 　カメラ装置と出力部とを含むカメラシステムであって、
    　前記カメラ装置は、
    　蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像、および前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行い、
    　前記蛍光に基づく撮像により得られた蛍光画像の強度を増幅し、当該蛍光画像の黒色部分と白色部分を際立たせた後に、前記増幅された蛍光画像に対して非線形変換処理を実行し、前記可視光に基づく撮像により得られた可視画像に前記非線形変換処理後の蛍光画像を重畳し、前記出力部に出力されるための重畳画像を生成し、
    　前記出力部は、
    　前記カメラ装置により生成された前記重畳画像を出力する、
    　カメラシステム。
PCT/JP2019/007801 2018-05-31 2019-02-28 カメラ装置、画像処理方法およびカメラシステム Ceased WO2019230095A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980028616.0A CN112040831A (zh) 2018-05-31 2019-02-28 相机设备、图像处理方法和相机系统
US16/979,090 US20200405152A1 (en) 2018-05-31 2019-02-28 Camera device, image processing method, and camera system
EP19811542.0A EP3804604A4 (en) 2018-05-31 2019-02-28 CAMERA DEVICE, IMAGE PROCESSING METHODS AND CAMERA SYSTEM
JP2020521710A JP7272670B2 (ja) 2018-05-31 2019-02-28 カメラ装置、画像処理方法およびカメラシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-105397 2018-05-31
JP2018105397 2018-05-31

Publications (1)

Publication Number Publication Date
WO2019230095A1 true WO2019230095A1 (ja) 2019-12-05

Family

ID=68698071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007801 Ceased WO2019230095A1 (ja) 2018-05-31 2019-02-28 カメラ装置、画像処理方法およびカメラシステム

Country Status (5)

Country Link
US (1) US20200405152A1 (ja)
EP (1) EP3804604A4 (ja)
JP (1) JP7272670B2 (ja)
CN (1) CN112040831A (ja)
WO (1) WO2019230095A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146405A (ja) * 2019-03-15 2020-09-17 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
WO2022059293A1 (ja) * 2020-09-15 2022-03-24 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
WO2023112916A1 (ja) * 2021-12-16 2023-06-22 ｉ－ＰＲＯ株式会社 映像信号処理装置、映像信号処理方法および映像信号処理システム
JP2023094165A (ja) * 2021-12-23 2023-07-05 株式会社東芝 管内検査装置、管内検査方法、およびプログラム
JPWO2023127053A1 (ja) * 2021-12-27 2023-07-06
KR102692579B1 (ko) * 2023-04-24 2024-08-06 주식회사 큐리오시스 명시야 이미지 보정기능이 있는 광학계
WO2024225754A1 (ko) * 2023-04-24 2024-10-31 주식회사 큐리오시스 필터블록 조립체 및 이를 이용하는 광학계

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019215907A1 (ja) * 2018-05-11 2019-11-14 オリンパス株式会社 演算処理装置
DE102022126824A1 (de) * 2022-10-13 2024-04-18 Karl Storz Se & Co. Kg Verfahren zum Überlagern von Überlagerungsaufnahmeinformationen mit einem Livebild und eine entsprechende Vorrichtung
CN116158718A (zh) * 2023-03-13 2023-05-26 武汉迈瑞医疗技术研究院有限公司 用于内窥镜系统的成像及显示方法和内窥镜系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998939A (ja) * 1995-08-03 1997-04-15 Asahi Optical Co Ltd 蛍光診断用内視鏡装置
JP2001258820A (ja) * 2000-01-13 2001-09-25 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2013039275A (ja) * 2011-08-18 2013-02-28 Olympus Corp 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法
JP2015054038A (ja) 2013-09-11 2015-03-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2015173917A (ja) * 2014-03-17 2015-10-05 黎明 李 腹腔鏡を用いた検査方法及び検査装置
JP2018105397A (ja) 2016-12-26 2018-07-05 日本精工株式会社 ボールねじ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728446A (ja) * 1993-07-08 1995-01-31 Canon Inc 画像の２値化処理装置
US6462770B1 (en) * 1998-04-20 2002-10-08 Xillix Technologies Corp. Imaging system with automatic gain control for reflectance and fluorescence endoscopy
EP1301118B1 (en) * 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
JP2002051969A (ja) * 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
JP2005319116A (ja) * 2004-05-10 2005-11-17 Pentax Corp 蛍光観察内視鏡装置
JP4599398B2 (ja) * 2005-03-22 2010-12-15 オリンパス株式会社 画像処理装置及び内視鏡装置
US8355595B2 (en) * 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
EP2074933B1 (de) * 2007-12-19 2012-05-02 Kantonsspital Aarau AG Verfahren zur Analyse und Bearbeitung von Fluoreszenzbildern
DE102008027905A1 (de) * 2008-06-12 2009-12-17 Olympus Winter & Ibe Gmbh Verfahren und Endoskop zur Verbesserung von Endoskopbildern
US20110110589A1 (en) * 2009-11-06 2011-05-12 Kabushiki Kaisha Toshiba Image Contrast Enhancement
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
WO2013115389A1 (ja) * 2012-02-01 2013-08-08 株式会社東芝 医用画像診断装置
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
US9863767B2 (en) * 2013-06-27 2018-01-09 Panasonic Intellectual Property Corporation Of America Motion sensor device having plurality of light sources
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
US10368795B2 (en) * 2014-06-30 2019-08-06 Canfield Scientific, Incorporated Acne imaging methods and apparatus
EP3205254B1 (en) * 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998939A (ja) * 1995-08-03 1997-04-15 Asahi Optical Co Ltd 蛍光診断用内視鏡装置
JP2001258820A (ja) * 2000-01-13 2001-09-25 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2013039275A (ja) * 2011-08-18 2013-02-28 Olympus Corp 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法
JP2015054038A (ja) 2013-09-11 2015-03-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2015173917A (ja) * 2014-03-17 2015-10-05 黎明 李 腹腔鏡を用いた検査方法及び検査装置
JP2018105397A (ja) 2016-12-26 2018-07-05 日本精工株式会社 ボールねじ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3804604A4

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7459342B2 (ja) 2019-03-15 2024-04-01 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP7257829B2 (ja) 2019-03-15 2023-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
JP2023076608A (ja) * 2019-03-15 2023-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP2020146405A (ja) * 2019-03-15 2020-09-17 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
WO2022059293A1 (ja) * 2020-09-15 2022-03-24 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP2022048866A (ja) * 2020-09-15 2022-03-28 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
CN114901120A (zh) * 2020-09-15 2022-08-12 豪雅株式会社 内窥镜用处理器以及内窥镜系统
JP7229210B2 (ja) 2020-09-15 2023-02-27 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
US12150622B2 (en) 2020-09-15 2024-11-26 Hoya Corporation Processor for endoscope and endoscopic system
WO2023112916A1 (ja) * 2021-12-16 2023-06-22 ｉ－ＰＲＯ株式会社 映像信号処理装置、映像信号処理方法および映像信号処理システム
JP2023094165A (ja) * 2021-12-23 2023-07-05 株式会社東芝 管内検査装置、管内検査方法、およびプログラム
WO2023127053A1 (ja) * 2021-12-27 2023-07-06 オリンパス株式会社 画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラム
JPWO2023127053A1 (ja) * 2021-12-27 2023-07-06
JP7621512B2 (ja) 2021-12-27 2025-01-24 オリンパス株式会社 画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラム
KR102692579B1 (ko) * 2023-04-24 2024-08-06 주식회사 큐리오시스 명시야 이미지 보정기능이 있는 광학계
WO2024225754A1 (ko) * 2023-04-24 2024-10-31 주식회사 큐리오시스 필터블록 조립체 및 이를 이용하는 광학계

Also Published As

Publication number Publication date
EP3804604A4 (en) 2022-04-13
US20200405152A1 (en) 2020-12-31
EP3804604A1 (en) 2021-04-14
JPWO2019230095A1 (ja) 2021-06-24
CN112040831A (zh) 2020-12-04
JP7272670B2 (ja) 2023-05-12

Similar Documents

Publication Publication Date Title
JP7272670B2 (ja) カメラ装置、画像処理方法およびカメラシステム
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
US20200337540A1 (en) Endoscope system
US8451328B2 (en) Image processing device, imaging device, computer-readable device, and image processing method for processing a fluorescence image
US9513221B2 (en) Fluorescence observation apparatus
JP6461797B2 (ja) 蛍光観察装置
US20170035280A1 (en) Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
CN107072520A (zh) 以可见光波长和红外波长并行成像的内窥镜系统
EP3610779A1 (en) Image acquisition system, control device, and image acquisition method
CN106132276A (zh) 荧光观察内窥镜系统
JP2015029841A (ja) 撮像装置および撮像方法
JP6072374B2 (ja) 観察装置
US12102296B2 (en) Medical imaging system, medical imaging device, and operation method
WO2017042980A1 (ja) 蛍光観察装置および蛍光観察内視鏡装置
JP2022027195A (ja) ３板式カメラ
JP6535701B2 (ja) 撮像装置
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
WO2017212946A1 (ja) 画像処理装置
US20200037865A1 (en) Image processing device, image processing system, and image processing method
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2025243998A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2023076608A (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP2016043135A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521710

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019811542

Country of ref document: EP

Effective date: 20210111

WWW Wipo information: withdrawn in national office

Ref document number: 2019811542

Country of ref document: EP