[go: up one dir, main page]

WO2016171274A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2016171274A1
WO2016171274A1 PCT/JP2016/062830 JP2016062830W WO2016171274A1 WO 2016171274 A1 WO2016171274 A1 WO 2016171274A1 JP 2016062830 W JP2016062830 W JP 2016062830W WO 2016171274 A1 WO2016171274 A1 WO 2016171274A1
Authority
WO
WIPO (PCT)
Prior art keywords
blood vessel
image
frame
laser
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/062830
Other languages
English (en)
French (fr)
Inventor
武史 渡邉
五十嵐 誠
雙木 満
矢島 浩義
平井 祐治
賢 本田
千博 田中
武井 祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017514224A priority Critical patent/JPWO2016171274A1/ja
Publication of WO2016171274A1 publication Critical patent/WO2016171274A1/ja
Priority to US15/789,004 priority patent/US20180055372A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesizing signals from measured signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14Probes or electrodes therefor
    • A61B18/1492Probes or electrodes therefor having a flexible, catheter-like structure, e.g. for heart ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00Ultrasound therapy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00Ultrasound therapy
    • A61N7/02Localised ultrasound hyperthermia
    • A61N7/022Localised ultrasound hyperthermia intracavitary
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope apparatus.
  • Patent Document 1 In the surgical treatment of living tissue, it is important that the surgeon accurately recognizes the presence of blood vessels hidden inside the living tissue and performs treatment so as to avoid blood vessels. Therefore, a surgical treatment apparatus having a function of optically detecting a blood vessel present in a living tissue has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 it is possible to measure the amount of blood in a living tissue, determine whether a blood vessel exists based on the measured amount of blood, and call attention.
  • the laser Doppler method is observed by utilizing the fact that light scattered by a dynamic scatterer such as red blood cells flowing in blood vessels is frequency-shifted by Doppler shift when a living body is irradiated with recognition laser light.
  • This is a method for determining the presence or absence of blood vessels from the Doppler spectrum. The applicant improved this method, and when a blood vessel larger than the blood vessel diameter set separately is detected, (1) the operation mode of the treatment instrument is changed, (2) the operation of the treatment instrument is stopped, or (3) It is possible to reduce the risk of bleeding due to damaging a thick blood vessel by alerting the surgeon that there is a blood vessel by sound or index laser light.
  • the operator scans the exploration laser emitted from the treatment tool on the living body and determines that there is a blood vessel.
  • the blood vessel position can be recognized from the spot of the index laser emitted in this case, there is a problem that it is difficult to determine where the blood vessel position is when the field of view of the endoscope is deviated.
  • One embodiment of the present invention includes an image acquisition device for observing a living body, a blood vessel recognition device for irradiating a probe laser to the living body and recognizing a blood vessel by a laser Doppler method, and a blood vessel recognized by the blood vessel recognition device
  • the first laser spot position is calculated in the first frame acquired by the image acquisition device at the time, and the first frame is acquired for the second frame acquired at a time different from the first frame.
  • a display unit for displaying a plurality of the markers added by the calculation unit.
  • FIG. 1 is an overall configuration diagram showing an endoscope apparatus according to an embodiment of the present invention. It is a figure which shows the scattering of the laser beam by the static component in a biological tissue. It is a figure which shows the scattering of the laser beam by the dynamic component in a biological tissue. It is a figure which shows an example of the time series data of the intensity
  • FIG. 15A It is a figure which shows the case where a marker is displayed by performing displacement correction
  • FIG. 16B It is a flowchart which shows the continuation of the flowchart of FIG. 16B. It is a figure explaining the specific example in the flowchart of FIG. 16A to FIG. 16C. It is a figure explaining the continuation of FIG. 16D. It is a figure explaining the continuation of FIG. 16E. It is a figure which shows the case where a parameter
  • FIG. 16B It is a figure explaining the specific example in the flowchart of FIG. 16A to FIG. 16C. It is a figure explaining the continuation of FIG. 16D. It is a figure explaining the continuation of FIG. 16E. It is a figure which shows the case where a parameter
  • FIG. 20 is a diagram illustrating a correlation image (an example of R-ch and B-ch) using an image of another channel according to the modification of FIG. It is a figure which shows the case where a correlation image is acquired by producing
  • FIG. 27A It is a flowchart which shows the continuation of the flowchart of FIG. 27A. It is a figure explaining the specific example in the flowchart of FIG. 27A and FIG. 27B. It is a figure explaining the continuation of FIG. 27C. It is a flowchart explaining the modification of FIG. 15A. It is a flowchart which shows the continuation of the flowchart of FIG. 28A. It is a figure explaining the specific example in the flowchart of FIG. 28A and FIG. 28B. It is a figure explaining the continuation of FIG. 28C.
  • the endoscope apparatus 200 includes a blood vessel recognition apparatus 100, an image acquisition apparatus 500, a calculation unit 60, and a display unit 70.
  • the endoscope apparatus 200 includes a treatment instrument 1 including a blood vessel recognition device (blood vessel detection means) 100 that optically detects a blood vessel B in a living tissue A, and the blood vessel recognition device 100.
  • the control unit 2 that controls the output and stop of the visible light V from the light emitting unit 9 based on the detection result of the above, the image acquisition device 500, the calculation unit 60, the display unit 70, and the control unit 2 are provided.
  • the treatment tool 1 may be any device for performing a surgical operation under the endoscope apparatus 200.
  • it may be a device that performs incision and hemostasis of the affected area.
  • Such a device can be, for example, a device capable of outputting bipolar energy by ultrasonic energy and high-frequency current, and is a surgical energy device provided with a grasping tool for grasping an affected area at the distal end of the treatment instrument 1. Also good.
  • the blood vessel recognition device 100 includes an exploration laser light source 8 that outputs exploration laser light L, a light emitting unit 9 that emits the exploration laser light L provided from the exploration laser light source 8 at the tip of the probe body, A light receiving unit 10 provided in the vicinity for receiving scattered light S from the front end of the treatment instrument 1, a light detecting unit 11 for detecting scattered light S received by the light receiving unit 10, and detection by the light detecting unit 11 Frequency analysis unit 12 that obtains time series data of the intensity of the scattered light S and frequency analysis of the time series data, and a detection target having a predetermined range of diameters based on the frequency analysis result by the frequency analysis unit 12
  • the determination part 13 which determines the presence or absence of the blood vessel, and the visible light source 16 are provided.
  • the exploration laser light source 8 outputs the exploration laser light L in a wavelength region (for example, near infrared region) that is less absorbed by blood.
  • the exploration laser light source 8 is connected to the light emitting unit 9 through an optical fiber 14 that passes through the inside of the body unit 3.
  • the exploration laser light L incident on the optical fiber 14 from the exploration laser light source 8 is guided to the light emitting unit 9 by the optical fiber 14 and emitted from the light emitting unit 9 toward the living tissue A.
  • the exploration laser light L applied to the living tissue A is scattered inside the living tissue, but produces different scattering states depending on the presence or absence of blood vessels.
  • the light receiving unit 10 is a wavelength-selective light receiving sensor that selectively outputs the amount of received light with respect to the wavelength range of the exploration laser light, for example, and the light detecting unit 11 via the optical fiber 15 that passes through the body 3. It is connected.
  • the scattered light S received by the light receiving unit 10 is guided to the light detecting unit 11 by the optical fiber 15 and is incident on the light detecting unit 11.
  • the light detection unit 11 converts the intensity of the scattered light S incident from the optical fiber 15 into a digital value, and sequentially transmits the digital value to the frequency analysis unit 12.
  • the frequency analysis unit 12 acquires time-series data indicating the time change of the intensity of the scattered light S by recording the digital value received from the light detection unit 11 in a time-series over a predetermined period.
  • the frequency analysis unit 12 performs fast Fourier transform on the acquired time series data, and calculates an average frequency of the obtained Fourier spectrum.
  • the image acquisition device 500 includes an endoscope body 51, and an illumination unit 52 and an imaging unit 53 installed at the distal end of the endoscope body 51.
  • White light W is irradiated toward the living tissue A from the illumination unit 52.
  • the observation image I of A is acquired by imaging with the imaging unit 53 so as to detect the observation image light WI generated by W.
  • the image information of the observation image I is sent to the calculation unit 60.
  • a control signal from the control unit 2 of the blood vessel recognition device 100 is input to the calculation unit 60, and different calculations are performed based on the control signal.
  • the image information based on each calculation is added to the observation image I to generate a display image I Disp, which is displayed on the display unit.
  • the time-series data and Fourier spectrum acquired by the image acquisition device 500 will be described.
  • the biological tissue A includes fat, static components that are stationary like leaked blood exposed from blood vessels due to bleeding, and red blood cells in the blood that flows in the blood vessels B And a dynamic component moving like C.
  • the exploration laser light L having the frequency f is irradiated on the static component, scattered light S having the same frequency f as the exploration laser light L is generated.
  • the exploration laser light L having the frequency f is irradiated to the dynamic component, scattered light S having a frequency f + ⁇ f shifted from the frequency f of the exploration laser light L is generated by Doppler shift.
  • the frequency shift amount ⁇ f at this time depends on the moving speed of the dynamic component.
  • the scattered light S scattered by the blood in the blood vessel B and having the frequency f + ⁇ f and the static light other than the blood in the blood vessel B is simultaneously received by the light receiving unit 10.
  • the intensity of the scattered light S as a whole changes with ⁇ f due to interference between the scattered light S with the frequency f and the scattered light S with the frequency f + ⁇ f. appear.
  • the traveling direction of the light and the moving direction (blood flow direction) of the red blood cell when the laser light enters the red blood cell are determined.
  • the incident angle formed is not single but has a distribution. For this reason, a distribution occurs in the frequency shift amount ⁇ f due to the Doppler shift. Therefore, the beat of the intensity of the entire scattered light S is an overlap of several frequency components corresponding to the distribution of ⁇ f. In addition, the distribution of ⁇ f spreads to the higher frequency side as the blood flow velocity increases.
  • a Doppler spectrum having an intensity at a frequency ⁇ corresponding to the speed of blood flow (hereinafter, frequency shift ⁇ f is denoted as ⁇ ) is a Fourier spectrum. As obtained.
  • a relationship as shown in FIG. 5 and FIG. 6 exists between the shape of the Doppler spectrum, the presence or absence of the blood vessel B, and the speed of blood flow in the blood vessel B.
  • the Doppler spectrum has a flat shape having no intensity over the entire frequency ⁇ (see the one-dot chain line).
  • the Doppler spectrum has an intensity in a region having a low frequency ⁇ and a small spectral width (see a solid line).
  • the Doppler spectrum When a blood vessel B having a fast blood flow exists, the Doppler spectrum has an intensity from a low frequency ⁇ region to a high region and a large spectral width (see the chain line). Thus, as the blood flow is faster, the average frequency of the Doppler spectrum becomes larger as the Doppler spectrum spreads toward the higher frequency ⁇ and the spectrum width becomes larger.
  • the frequency analysis unit 12 obtains a function F ( ⁇ ) representing the relationship between the frequency ⁇ and the intensity of the Doppler spectrum, and calculates the average frequency of the Doppler spectrum F ( ⁇ ) based on the following equation (1).
  • the average frequency is transmitted to the determination unit 13.
  • the determination unit 13 compares the average frequency received from the frequency analysis unit 12 with a threshold value.
  • the first threshold is an average frequency corresponding to the minimum value of the diameter of the blood vessel B to be detected.
  • the determination unit 13 determines that the detection target blood vessel B exists when the average frequency received from the frequency analysis unit 12 is equal to or greater than the first threshold.
  • the determination unit 13 determines that the blood vessel B to be detected does not exist in the irradiation region of the exploration laser light L. Thereby, the blood vessel B having a diameter in a predetermined range is set as a detection target, and the presence or absence of the blood vessel B as the detection target is determined.
  • the determination unit 13 outputs the determination result to the control unit 2 and the calculation unit 60.
  • the minimum value of the diameter of the blood vessel B to be detected is input by an operator using an input unit (not shown), for example.
  • the determination unit 13 has a function in which the diameter of the blood vessel B is associated with the average frequency, obtains an average frequency corresponding to the input minimum value of the diameter of the blood vessel B from the function, and calculates the calculated average frequency. Each is set to a threshold value.
  • the control unit 2 When the determination unit 13 determines that the blood vessel B to be detected exists, the control unit 2 outputs the visible light V from the visible light source 16 so that the control unit 2 is visible together with the exploration laser light L from the light emitting unit 9. Light V is emitted. On the other hand, when the determination unit 13 determines that the blood vessel B to be detected does not exist, the control unit 2 stops the output of the visible light V from the visible light source 16, thereby causing the exploration laser from the light emitting unit 9. Only light L is emitted.
  • the image display method using the endoscope apparatus 200 includes a step of calculating a blood vessel determination position on the measurement image from the measurement image when the blood vessel recognition apparatus 100 determines that there is a blood vessel, and a time series A step of calculating the displacement of the visual field by correlating two (arbitrary) images, a step of setting the marker position based on the calculated position information, and a real time based on the marker position information Displaying a marker (trace) on the image. This makes it possible to notify the surgeon where the blood vessel position is even when the field of view is shifted.
  • the image display method in the present embodiment includes the following steps. step0. : Determine the presence or absence of blood vessels. step1. : Calculate the spot position on the image. step2. : Determine the amount of visual field deviation. step3. : A spot is corrected and displayed on an image whose field of view is shifted.
  • step 0 The presence or absence of a blood vessel is determined (step 0).
  • the spot position on the image when the exploration laser and / or the index laser is irradiated is calculated by at least one of the following methods (1) to (3) (step 1).
  • (1) R. of step1. By taking the AND of G-ch and B-ch inversion, the spot position is calculated by eliminating the saturated portion due to white light.
  • the color-collecting optical system is similarly converted to RGB by a known method, and is calculated by the same processing as in (1).
  • (3) the laser spot shape is made a specific shape different from the airy pattern and is calculated by image matching.
  • the specific shape is a shape that combines a plurality of regular patterns that function as a laser spot, but allow the surgeon to recognize that it is clearly different from the normal exploration laser light during exploration. For example, (a) the index laser beam is irradiated in a cross shape, or (b) the exploration laser beam is irradiated in an annular shape.
  • the visual field shift amount is obtained by the following methods (1) to (3) (step 2).
  • the deviation amount calculation method (1) is executed using the following means (a) or (b).
  • the correlation image can be acquired by at least one of the following methods (a-1), (a-2), and (a-3).
  • a correlation image that simply represents the image relationship between frames is acquired (a-1).
  • An enlarged / reduced and rotated image group is generated, and a correlation image is acquired (a-2).
  • the range / step of the enlargement / reduction / rotation angle may be limited or appropriately adjusted.
  • An image group obtained by affine transformation is generated, and a correlation image is acquired (a-3).
  • Step 2 A method of monitoring a change in position of a rigid endoscope (image acquisition apparatus) 500 inserted into the abdominal cavity as an insertion unit, and calculating a visual field deviation amount from the change in position.
  • the method (2) described above is executed using the following means (a) or (b).
  • (A) The relative positions of the trocar 83 and the rigid endoscope 500 are detected by insertion length / rotation position sensors (sensors) 84 and 85.
  • the relative position is detected using a position sensor (sensor) 86 mounted on the tip of the rigid endoscope 500. Combination of the deviation amount calculation methods of (3), (1) and (2) of step 2.
  • step 3 The spot after the position correction is displayed on the image whose field of view is shifted instead of the spot before the correction based on the shift amount obtained in step 2 (step 3).
  • the position where the blood vessel is recognized is calculated, the displacement amount is corrected and displayed on the display unit, and the past blood vessel position where the displacement amount is always compensated even when the field of view is shifted. Can be displayed as an afterimage, and the operator can be informed on the real-time display screen where the blood vessel position was.
  • the light emitting unit 9 is disposed in the vicinity of the living tissue A and the living tissue A is irradiated with the exploration laser light L. Then, as shown in FIG. 7, the exploration laser light L is moved so as to scan on the living tissue A. The scattered light S of the exploration laser light L scattered by the living tissue A is received by the light receiving unit 10.
  • the control unit 2 causes the light emission unit 9 to emit only the exploration laser light L.
  • the control unit 2 causes the visible light V to be emitted from the light emitting unit 9 together with the exploration laser light L. That is, only when the detection target blood vessel B exists in the irradiation region of the exploration laser light L, the irradiation region is also irradiated with the visible light V.
  • the scanning laser beam L is scanned on the living tissue A and the state where the visible light V is irradiated at the blood vessel position is captured by the imaging device, thereby recognizing the region where the blood vessel B exists on the image displayed on the screen display unit. can do.
  • the region where the blood vessel is present after being scanned once is retained on the display screen when the operator can easily discriminate the region where the blood vessel is present.
  • the image acquisition device 500 and the blood vessel recognition device 100 can be moved independently, and are observed in the field of view when scanned and in real time. The field of view is easily displaced.
  • the visual field displacement may be calculated by calculating the correlation between two images in time series.
  • the visible light V will be described as the index laser light V.
  • the visible light V will be described as the index laser light V.
  • the R-ch of the imaging unit 53 has sensitivity to the exploration laser light L
  • the spot when the exploration laser light is irradiated on the living body is an R-ch image observed by the imaging unit 53. Observed above.
  • a spot when the index laser beam V is irradiated on the living body is observed on the G-ch image observed by the imaging unit 53. Since the ratio of the spots by these laser beams to the B-ch image is small, the displacement of the visual field is evaluated using the B-ch image.
  • FIG. 8 shows B-ch images I B (i) and I B (i + 1) in two frames i and i + 1 on a certain time series.
  • the visual field shows a case of moving to the upper left. It can be seen that the subject is moving to the lower right in the image.
  • a correlation image I Corr, B (i + 1) obtained by correlating these I B (i) and I B (i + 1) is shown below. It can be seen that a peak appears in the correlation image I Corr, B (i + 1). This is an index of displacement as shown below.
  • FIG. 9 shows the relationship between the peak and the displacement in the correlation image I Corr, B (i + 1).
  • Each pixel in the correlation image is a value obtained by calculating the overlap integral by relatively displacing I B (i) and I B (i + 1) on the ⁇ x axis and the ⁇ y axis.
  • a correlation image is acquired by plotting. Accordingly, the ⁇ x axis and the ⁇ y axis are set so as to equally divide the correlation image vertically and horizontally, and the center of the image is the origin of the displacement 0.
  • the peak appearing in the correlation image indicates that the correlation is highest when the two images are overlapped with the displacement where the peak is located.
  • the peak position ( ⁇ x (i + 1), ⁇ y (i + 1)) corresponds to the visual field variation amount ( ⁇ x (i + 1), ⁇ y (i + 1)). Therefore, the amount of mutation ( ⁇ x (i + 1), ⁇ y (i + 1)) can be calculated by calculating the peak position of the correlation image I Corr, B (i + 1).
  • FIG. 10 shows an observation image when the laser is not irradiated.
  • the observation images of R-ch, G-ch, and B-ch are I R (i), I G (i), and I B (i), respectively, and the color observation images synthesized from these are I (i) and To do.
  • FIG. 11 shows an observation image when there is no blood vessel. At this time, since only the exploration laser is irradiated, the spot of the exploration laser is observed with high brightness only at I R (i).
  • FIG. 12 shows an observation image when it is determined that there is a blood vessel. At this time, both the exploration / index lasers L and V are irradiated. In this case, laser spots are observed at high brightness in I R (i) and I G (i), but no laser light is observed in I B (i).
  • the procedure shown in FIG. 13 may be used. That is, using the inverted image I invB (i) of B-ch, the logical sum (AND) of I R (i) and I G (i) and I invB (i) is calculated to calculate the spot calculation image I SP ( i).
  • the search / index laser spot position that is, the position (Sx (i), Sy (i)) determined to have a blood vessel can be calculated.
  • the acquired spot calculation image I SP (i) may be further subjected to appropriate contrast adjustment. By doing so, the positional accuracy of (Sx (i), Sy (i)) can be improved.
  • the calculation unit 60 performs the following processing as shown in FIG. (1) Obtain RGB images I R (i), I G (i), and I B (i) from the observed image I (i). (2) Obtain I invB (i) from I B (i), generate a spot calculation image I SP (i) from I R (i), I G (i), and I invB (i), and have blood vessels (Sx (i), Sy (i)) determined to be calculated. (3) Acquire RGB images I R (i + 1), I G (i + 1), and I B (i + 1) from the observed image I (i + 1) in the frame i + 1 located later in the series.
  • a visual field displacement amount ( ⁇ x (i + 1), ⁇ y (i + 1)) is calculated from the correlation image I Corr, B (i + 1) of I B (i) and I B (i + 1).
  • the position (S x (i) ⁇ x (i + 1), S y (i)) determined to have a blood vessel in the observed image I (i + 1) by correcting the amount of mutation acquired in (4) above.
  • a display image I Disp (i + 1) with a marker added to ⁇ y (i + 1)) is generated and displayed on the display unit 70 (final display state).
  • an observation image I (i) is acquired.
  • This observation image I (i) is stored in the kth element M I (k) of the array M I.
  • M I (k) is separated into R, G, and B channels to obtain M R (k), M G (k), and M B (k).
  • the spot coordinates were expressed (S x (k), S y (k)) as the k th element of M S M S (k, X , Y) and.
  • nan which means that the corresponding spot position does not exist, is replaced with the kth element M S (k, X, Y) of the array M S. ).
  • Correlation image I Corr, B (i) is acquired based on images M B (k) and M B (k ⁇ 1).
  • the displacement ( ⁇ x (i), ⁇ y (i)) of the measurement (i) with respect to the measurement (i ⁇ 1) is calculated from the correlation image I Corr, B (i), and the displacement array M ⁇ (k ⁇ 1, x, stored in y).
  • each element of the cumulative displacement amount M ⁇ is calculated.
  • the cumulative amount of mutation can be obtained by adding the displacement M ⁇ (k ⁇ 1, x, y) to the cumulative amount of mutation M ⁇ thus far.
  • M ⁇ (1, x, y) M ⁇ (1, x, y) + M ⁇ (k ⁇ 1, x, y)
  • Amount that is, a cumulative displacement amount.
  • the cumulative amount of mutation is added to the spot position obtained in each frame (at the time of each measurement) and stored in the array M S ⁇ (k ⁇ 1, x, y).
  • a corrected image M IS ⁇ (k) is generated in which markers having a desired size are arranged on the image based on the arrangement information.
  • the size of the marker may be a size according to the actual spot diameter, or may be an image having a hue that is easy to distinguish.
  • k 2
  • k> 2 an operation of superimposing a plurality of markers is performed, so that a trace image of the spot position (marker) of each frame is obtained.
  • the display image I Disp (k) is acquired by superimposing the trace image I Tr (k ⁇ 1) on M I (k), that is, the observation image I (i).
  • the index of each array data element is shifted down by one. In this way, information acquired in the previous frame is accumulated.
  • the next observation image I (i + 1) is acquired by the loop, and the same processing is continued.
  • the length of the accumulated information is defined, so that the time for displaying the trace image of the blood vessel detection position can be set.
  • the treatment instrument 1 provided with the blood vessel recognition device 100 and / or the endoscope device 200 is moved to another affected part or observation visual field and blood vessel recognition is resumed, or before or during or during the operation of performing blood vessel recognition.
  • an ON / OFF button for turning on / off the blood vessel recognition laser irradiation is provided so that the blood vessel recognition operation can be temporarily interrupted. Is preferred.
  • the apparatus 200 Even when the apparatus 200 is operated, it is possible to prevent a trace image with low correlation from being erroneously displayed by turning it off. If the endoscope apparatus 200 is turned on again, the endoscope apparatus 200 detects the irradiation position of the laser beam, and the above-described flows of FIGS. 15A to 15F can be resumed. In addition, the trace image displayed in the loop may not display all the information based on the measured image. By doing so, the processing speed can be improved, and the display can be easily visually recognized without excessive trace images. On the other hand, in an area where a plurality of different blood vessels travel, when three or more trace images have a certain inclination with respect to each other, the markers are connected to each other so as to increase the apparent resolution. Also good.
  • the flow (2) in FIGS. 16A to 16F is the same as the flow (1) in FIGS. 15A to 15F.
  • 1 is set when the determination constant J ves is YES. In the case of, 0 is substituted.
  • the trace is displayed.
  • the determination constant J ves is 0 downstream in the flow
  • the trace is displayed.
  • step 1 (2) processing can be performed in the same manner as step 1 (1) using RGB information that is normally converted by the color-collecting optical system.
  • image processing see Japanese Patent No. 4996773 of the color capturing optical system is executed.
  • the spot position may be calculated by matching the image of the index laser V in a cross shape.
  • a cross-shaped inverse Fourier image is arranged on the surface of the lens mounted on the emitting portion 81 of the index laser V and the laser is irradiated, a cross-shaped laser spot is projected on the sample.
  • This cross spot is observed on the laparoscopic image.
  • the spot position is calculated from the coordinates of the center of the cross shape.
  • the index laser V uses a cross-shaped spot composed of two orthogonal straight lines, but includes three or more crossing lines that include two or more intersecting lines that intersect at an equal angle. It may be a cross-shaped spot composed of intersecting lines.
  • the spot shape of the exploration laser beam L is a ring-shaped zone
  • the reference image group which is prepared by shifting the size (enlargement / reduction) of the zonal spot, and the observed laparoscopic image, and select the correlation image that maximizes the peak value.
  • the spot position is calculated from the coordinates of the center of a small circular spot provided at the center of a plurality of ring-shaped spots on concentric circles.
  • the spot position can be accurately calculated by distinguishing between the spot and the index laser spot.
  • the search laser L uses a plurality of ring-shaped spots arranged in concentric circles, but may be a ring-shaped spot having a spiral shape having a known curvature.
  • step 2 (1) (a-1) As a modification of step 2 (1) (a-1), as shown in FIG. 19, an example is shown in which the amount of displacement is calculated using a correlation image based on an image mixed with laser spots.
  • a case where a laser spot is reflected in the B-ch image (in a case where it is mixed) is shown.
  • Laser spots are reflected at different positions in the i-th frame I B (i) and the (i + 1) -th frame I B (i + 1).
  • a peak indicating displacement is also observed. By calculating the position of this peak, the displacement can be calculated.
  • the displacement can be calculated even using an image mixed with a laser spot.
  • the use of this embodiment has an effect that the displacement can be calculated without replacing the filter.
  • step 2 (1) (a-1) As a modification of step 2 (1) (a-1), as shown in FIG. 20, an example of spot position calculation using a correlation image using an image of another channel is shown.
  • an example is shown in which laser spots are reflected at different positions in the i-th frame I R (i) of R -ch and the (i + 1) -th frame I B (i + 1) of B-ch.
  • RB (i + 1) of these images a peak indicating displacement is also observed.
  • This peak is a peak having a sharp rise with respect to the central peak. Therefore, by performing image processing using a high-pass filter that removes a low-frequency change, it is possible to make the peak stand out, and as a result, the position of the peak can be calculated. The displacement can be calculated from this peak position.
  • the displacement can be calculated by acquiring a correlation image between other channels. According to this embodiment, there is an effect that any image can be used according to the processing speed.
  • the figure shows an example in which the field of view moves to the upper left of the rotor in the (i + 1) th frame with respect to the ith frame.
  • an image group is generated by performing an enlargement / reduction / rotation operation on the i-th frame, and this and the (i + 1) -th frame are Take correlation.
  • Information on the enlargement ratio and the rotation angle is given to each component of the image group.
  • the one with the largest peak (the image with the largest correlation) is selected to calculate the displacement amount.
  • a spot position shift amount is obtained based on the above information. By doing so, it is possible to calculate the deviation amount of the spot position even when it is displaced, enlarged / reduced or rotated.
  • step 2 (1) and (a-3) as shown in FIG. 22, a method of generating an affine transformation image group and acquiring a correlation image is shown.
  • the figure shows an example in which the field of view moves to the upper left of the rotor in the (i + 1) th frame with respect to the ith frame.
  • an image group is generated by performing an affine transformation operation on the i-th frame, and this is correlated with the (i + 1) -th frame.
  • affine transformation enlargement / reduction, angle and skew transformation are performed.
  • Information on the enlargement ratio, rotation angle, and skew is assigned to each component of the image group.
  • the one with the largest peak is selected to calculate the displacement amount.
  • step 2 (2) (a) as shown in FIG. 24, an example of obtaining the deviation amount by the insertion length / rotation position sensors 84 and 85 will be described.
  • the relative movement amount of the trocar 83 is calculated by the rotational position sensor 84 and the insertion length sensor 85 installed between the rigid endoscope 500 and the trocar 83. Since the insertion length indicates how close or far the rigid endoscope 500 is to the biological sample, the relative enlargement / reduction ratio between frames can be calculated.
  • the relative rotation amount between the frames can be calculated by the rotation position sensor 84.
  • a spot is displayed at the correction position based on the shift amount (enlargement / reduction ratio and rotation amount).
  • the positional deviation can be calculated more accurately.
  • An electromagnetic position sensor 86 is installed at the distal end of the rigid endoscope 500, and the positional information is acquired by an electromagnetic detector (not shown), thereby acquiring the relative movement amount (deviation amount) of the rigid endoscope 500. This makes it possible to acquire the amount of deviation without installing a new sensor in the trocar 83 itself.
  • step 3 (3) (1) acquisition of a deviation amount by image processing and (2) acquisition of a deviation amount by a sensor may be combined. As a result, the accuracy of the deviation amount calculation is improved.
  • the calculation of the deviation amount in the present embodiment is not limited to the calculation method described in the specification, and other known calculation methods may be used.
  • the index laser light of (a) is made into an annular shape instead of a cross-shaped (for example, cross-shaped) spot, or the exploration laser light of (b) is made into an intersecting shape instead of an annular shape. (For example, a cross shape).
  • the endoscope apparatus 200 has been illustrated as an example in which the blood vessel recognition apparatus 100 and the image acquisition apparatus 500 are separate bodies, the present invention is not limited to this and may be integrated. Good.
  • the blood vessel recognition device 100 of the endoscope apparatus 200 may include a gripping unit 150 for gripping a living body as shown in FIG.
  • blood vessel recognition can be performed independently of the treatment tool 101 without additionally mounting a blood vessel recognition means on the treatment tool 101.
  • blood vessel recognition can be performed while the outer diameter of the treatment instrument 101 is small.
  • a surgical energy device that performs sealing by excising or coagulating a small-sized blood vessel that is easy to stop hemostasis and fat by ultrasound and / or high frequency as described above.
  • blood vessel recognition can be performed while avoiding the risk that the mist derived from the affected part caused by the operation adheres to the blood vessel recognition device 100.
  • information obtained by connecting the acquired blood vessel information alone as a blood vessel image may be displayed on the display unit 70.
  • the image acquisition apparatus 500 is generally held by a surgical assistant in general, there may be a case where the amount of visual field deviation is small compared to the case where the operator himself / herself holds it.
  • the blood vessel position may be notified to the operator by continuously displaying the blood vessel recognition position in time while omitting the visual field shift correction. This can be realized by performing processing and display according to the flow of FIGS. 27A to 27D.
  • the steps relating to displacement calculation and position correction by image correlation are omitted from the flow of FIGS. 15A to 15F described above.
  • an observation image I (i) is acquired.
  • This observation image I (i) is stored in the kth element M I (k) of the array M I.
  • M I (k) is separated into R, G, and B channels to obtain M R (k), M G (k), and M B (k).
  • the spot coordinates were expressed (S x (k), S y (k)) as the k th element of M S M S (k, X , Y) and.
  • nan which means that the corresponding spot position does not exist, is replaced with the kth element M S (k, X, Y) of the array M S. ).
  • spot positions to be superimposed are stored in the array M S ⁇ ′ (k ⁇ 1, x, y).
  • a corrected image M IS ⁇ ′ (k) in which a marker having a desired size is arranged on the image based on the arrangement information is generated.
  • the size of the marker may be a size according to the actual spot diameter, or may be an image having a hue that is easy to distinguish.
  • k 2
  • k> 2 an operation of superimposing a plurality of markers is performed, so that a trace image of the spot position (marker) of each frame is obtained.
  • the display image I Disp (k) is acquired by superimposing the trace image I Tr (k ⁇ 1) on M I (k), that is, the observation image I (i).
  • the index of each array data element is shifted down by one. In this way, information acquired in the previous frame is accumulated.
  • the next observation image I (i + 1) is acquired by the loop, and the same processing is continued.
  • the length of the accumulated information is defined, so that the time for displaying the trace image of the blood vessel detection position can be set.
  • the blood vessel recognition is resumed after the treatment instrument 101 and / or the endoscope device 200 provided with the blood vessel recognition device 100 is moved to another affected part or observation field.
  • the blood vessel recognition ON is performed so that the blood vessel recognition operation can be temporarily interrupted. It is preferable to provide an / OFF button (operation button). In this way, even if the surgical assistant has a stable visual field, the treatment instrument 101 including the blood vessel recognition device 100 and / or an endoscope for purposes other than the operation for blood vessel recognition.
  • the apparatus 200 Even when the apparatus 200 is operated, it is possible to prevent a trace image with low correlation from being displayed erroneously.
  • the treatment tool 101 including the blood vessel recognition device 100 is operated.
  • the ON / OFF button is turned OFF to stop the irradiation of the laser light for blood vessel recognition, and only the operation to perform the blood vessel recognition is turned on / off.
  • the trace displayed in the loop may not display all the information based on the measured image. By doing so, the processing speed can be improved, and the display can be easily visually recognized without excessive trace images.
  • the flow (2) in FIGS. 28A to 28D is the same as the flow (1) in FIGS. 27A to 27D. However, after blood vessel recognition is performed, 1 is set when the determination constant J ves is YES. In the case of, 0 is substituted.
  • the trace is displayed.
  • the determination constant J ves is 0 downstream in the flow
  • the trace is displayed.
  • Such prohibition of the tatami mat display is performed within a range that does not exceed the resolution of the blood vessel recognition device 100, so that accuracy can be maintained.
  • an operator or a surgical assistant scans the blood vessel recognition device 100 at random and covers all the blood vessels near the affected area. Since it can be displayed in a clear manner, the effect of making it easier to discriminate the real-time determination spot occurs.
  • the spot position on the image can be calculated by performing the same processing as step 1.1 using information obtained by normal RGB conversion.
  • the operator or the operation assistant from FIG. 15A to FIG. 15F, FIG. 16A to FIG. 16F, FIG. 27A to FIG. 27D, and FIG. An interface for switching any of the determination methods in FIG. 28D may be provided.
  • the trace display method can be selected on the screen according to the judgment of the operator, and display according to the state of the operation is possible.
  • laser light is used for blood vessel detection.
  • the present invention is not limited to this, and other coherent light with the same phase may be used.
  • the near-infrared region is used as the wavelength of the laser light.
  • NBI Near Band Imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Laser Surgery Devices (AREA)
  • Surgical Instruments (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

視野がずれた場合でも血管位置がどこであったかを術者に知らせることを目的として、本発明の内視鏡装置(200)は、生体を観察するための画像取得装置(500)と、生体に探査レーザ光を照射して血管(B)を認識するための血管認識装置(100)と、血管(B)が認識された時点で画像取得装置(500)で取得された第1のフレームにおいて第1のレーザスポット位置を算出し、第1のフレームとは異なる時刻に取得された第2のフレームに対し、第1のフレームに対応する第2のフレーム上の位置に第1のレーザスポットに対応するマーカを付加するための演算部(60)と、画像取得装置(500)で取得された画像に対し、複数の異なる時刻に血管が認識され、演算部(60)によって付加された複数のマーカを表示するための表示部(70)とを備える。

Description

内視鏡装置
 本発明は、内視鏡装置に関するものである。
 生体組織の外科的処置においては、生体組織の内側に隠れている血管の存在を術者が正確に認識し、血管を避けるように処置することが重要である。そこで、生体組織中に存在する血管を光学的に検出する機能を備えた外科処置装置が提案されている(例えば、特許文献1参照。)。特許文献1では、生体組織中の血液量を測定し、測定された血液量に基づいて、血管が存在するか否かを判定して、注意喚起したりすることが可能である。
特許第4490807号公報
 しかしながら、特許文献1の血液量に基づく血管の検出方法は、血管外に出血した血液が検出誤差となり得る。すなわち、血管内の血液と、出血によって血管から漏出した漏出血液とが区別無く同様に測定されるので、血管を、漏出血液とは区別して正確に検出することができない。また、術者にとっては、特に太い血管の位置を正確に認識することが重要であるが、特許文献1の方法では、細い血管と太い血管とが区別無く検出され、術者にとって真に重要な血管を特定することができない。そこで出願人は、これまで、レーザドップラー法による血管認識技術を搭載した処置具について出願している(PCT/JP2015/051760)。レーザドップラー法は、生体に認識用レーザ光を照射した時に、血管内を流れる赤血球の様な動的散乱体により散乱された光がドップラーシフトによって周波数シフトされることを利用して、観測されるドップラースペクトルから血管の有無を判定する方法である。出願人は、この方法を改良し、別途設定した血管径よりも太い血管を検知した場合に、(1)処置具の動作モードを変えたり、(2)処置具の動作を停止したり、あるいは、(3)音や指標レーザ光によって血管があることを術者に注意喚起することで、太い血管を傷つけることによる出血リスクを低減することが可能である。
 しかし、(3)の指標レーザ光で血管位置を注意喚起する装置を鏡視下で使用した場合、術者は該処置具から照射される探査レーザを生体上で走査して血管有と判定した場合に照射される指標レーザのスポットから血管位置を認識することはできるが、内視鏡の視野がずれた場合に血管位置がどこであったかを判断しにくいという課題があった。
 本発明は、視野がずれた場合でも血管位置がどこであったかを術者に知らせることができる内視鏡装置を提供することを目的としている。
 本発明の一態様は、生体を観察するための画像取得装置と、前記生体に探査レーザを照射してレーザドップラー法により血管を認識するための血管認識装置と、該血管認識装置によって血管が認識された時点で前記画像取得装置で取得された第1のフレームにおいて第1のレーザスポット位置を算出し、前記第1のフレームとは異なる時刻に取得された第2のフレームに対し、前記第1のフレームに対応する前記第2のフレーム上の位置に前記第1のレーザスポット位置に対応するマーカを付加するための演算部と、前記画像取得装置で取得された画像に対し、複数の異なる時刻に血管が認識され、前記演算部によって付加された複数の前記マーカを表示するための表示部とを備える内視鏡装置を提供する。
 本発明によれば、視野がずれた場合でも血管位置がどこであったかを術者に知らせることができるという効果を奏する。
本発明の一実施形態に係る内視鏡装置を示す全体構成図である。 生体組織中の静的成分によるレーザ光の散乱を示す図である。 生体組織中の動的成分によるレーザ光の散乱を示す図である。 図1の内視鏡装置の判定部において取得される散乱光の強度の時系列データの一例を示す図である。 図1の内視鏡装置の判定部において取得されるドップラースペクトルの一例を示す図である。 血流の速度とドップラースペクトルの平均周波数との関係を示す図である。 鏡視下手術における血管認識装置と画像取得装置の配置と操作の一例を示す図である。 B-chの相関画像から変位を求める一例を示す図である。 相関画像ICorr,B(i+1)から変位量を算出する一例を示す図である。 レーザ光無しのときの観測画像を示す図である。 血管無し判定時の観測画像(探査レーザのみ照射)を示す図である。 血管有り判定時の観測画像(探査・指標レーザ照射)を示す図である。 スポット位置算出のための画像を取得し、スポット位置を算出する場合を示す図である。 血管有りと判定された位置に、変位補正を行ってマーカを表示する場合を示す図である。 図1の内視鏡装置を用いた画像処理および表示を説明するフローチャートである。 図15Aのフローチャートの続きを示すフローチャートである。 図15Bのフローチャートの続きを示すフローチャートである。 図15Aから図15Cのフローチャートにおける具体例を説明する図である。 図15Dの続きを説明する図である。 図15Eの続きを説明する図である。 図15Aの変形例を説明するフローチャートである。 図16Aのフローチャートの続きを示すフローチャートである。 図16Bのフローチャートの続きを示すフローチャートである。 図16Aから図16Cのフローチャートにおける具体例を説明する図である。 図16Dの続きを説明する図である。 図16Eの続きを説明する図である。 指標レーザを十字型にして画像マッチングにより算出する場合を示す図である。 探査レーザを輪帯にして画像マッチングにより算出する場合を示す図である。 レーザスポットが混入した画像に基づく相関画像を示す図である。 図19の変形例に係る他のchの画像を利用した相関画像(R-chおよびB-chの例)を示す図である。 拡大・縮小/回転画像群を生成して相関画像を取得する場合を示す図である。 アフィン変換画像群を生成して相関画像を取得する場合を示す図である。 Lucas-Kanada法で特徴点からずれ量を算出する場合を示す図である。 位置センサによるずれ量の取得を示す図である。 図24の変形例を示す図である。 図7の変形例を示す図である。 図15Aの変形例を説明するフローチャートである。 図27Aのフローチャートの続きを示すフローチャートである。 図27Aおよび図27Bのフローチャートにおける具体例を説明する図である。 図27Cの続きを説明する図である。 図15Aの変形例を説明するフローチャートである。 図28Aのフローチャートの続きを示すフローチャートである。 図28Aおよび図28Bのフローチャートにおける具体例を説明する図である。 図28Cの続きを説明する図である。
  本発明の一実施形態に係る内視鏡装置200は、血管認識装置100と、画像取得装置500と、演算部60、表示部70とを備えている。
 以下に、内視鏡装置200について図面を参照して説明する。
 内視鏡装置200は、図1に示されるように、生体組織A内の血管Bを光学的に検出する血管認識装置(血管検出手段)100を備えた処置具1と、該血管認識装置100による検出結果に基づいて発光部9からの可視光Vの出力と停止とを制御する制御部2と、画像取得装置500と、演算部60と、表示部70と、制御部2とを備えている。ここで、処置具1は、内視鏡装置200下で外科的手術を実行するための任意のデバイスであってよい。例えば、患部の切開と止血を行うデバイスであり得る。かかるデバイスとしては、例えば超音波エネルギーと高周波電流によるバイポーラエネルギーを出力可能なデバイスであり得、さらに処置具1の先端には患部を把持するための把持具を備える外科処置用エネルギーデバイスであってもよい。
 血管認識装置100は、探査レーザ光Lを出力する探査レーザ光源8と、プローブ胴部先端に設けられ探査レーザ光源8から供給された探査レーザ光Lを射出する発光部9と、発光部9の近傍に設けられ処置具1の先端前方からの散乱光Sを受光する受光部10と、該受光部10によって受光された散乱光Sを検出する光検出部11と、該光検出部11によって検出された散乱光Sの強度の時系列データを取得して該時系列データを周波数解析する周波数解析部12と、該周波数解析部12による周波数解析結果に基づいて所定の範囲の直径を有する検出対象の血管の有無を判定する判定部13と、可視光源16とを備えている。
 探査レーザ光源8は、血液による吸収が少ない波長域(例えば、近赤外領域)の探査レーザ光Lを出力する。探査レーザ光源8は、胴部3の内部を通る光ファイバ14を介して発光部9と接続されている。探査レーザ光源8から光ファイバ14へ入射された探査レーザ光Lは、光ファイバ14によって発光部9まで導光され、発光部9から生体組織Aに向かって射出されるようになっている。生体組織Aに照射された探査レーザ光Lは、生体組織内部で散乱しながらも血管の有無に応じて異なる散乱状態を生じる。
 受光部10は、例えば探査レーザ光の波長域に対して選択的に受光量を出力する波長選択性の受光センサであり、胴部3の内部を通る光ファイバ15を介して光検出部11と接続されている。受光部10によって受光された散乱光Sは、光ファイバ15によって光検出部11まで導光され、該光検出部11に入射するようになっている。
 光検出部11は、光ファイバ15から入射された散乱光Sの強度をデジタル値に変換し、該デジタル値を周波数解析部12へ順次送信する。
 周波数解析部12は、光検出部11から受信したデジタル値を所定期間にわたって時系列に記録することによって、散乱光Sの強度の時間変化を示す時系列データを取得する。周波数解析部12は、取得された時系列データを高速フーリエ変換し、得られたフーリエスペクトルの平均周波数を算出する。
 画像取得装置500は内視鏡胴部51と、内視鏡胴部51の先端部に設置された照明部52および撮像部53から構成されている。照明部52からは生体組織Aに向けて白色光Wが照射される。Wによって生じる観測画像光WIを検出する様に撮像部53で撮像することによりAの観測画像Iが取得される。
 観測画像Iの画像情報は演算部60に送られる。演算部60には血管認識装置100の制御部2からの制御信号が入力され、制御信号に基づいて異なる演算が成される。観測画像Iにはそれぞれの演算に基づいた画像情報が付加されて表示画像IDispが生成され、表示部で表示される。
 ここで、画像取得装置500で取得される時系列データおよびフーリエスペクトルについて説明する。
 生体組織Aには、図2および図3に示されるように、脂肪や、出血によって血管から露出した漏出血液のように静止している静的成分と、血管B内を流動する血液中の赤血球Cのように移動している動的成分とが含まれる。静的成分に周波数fの探査レーザ光Lが照射されたときには、探査レーザ光Lと同一の周波数fを有する散乱光Sが発生する。これに対し、動的成分に周波数fの探査レーザ光Lが照射されたときには、ドップラーシフトによって、探査レーザ光Lの周波数fからシフトした周波数f+Δfを有する散乱光Sが発生する。このときの周波数のシフト量Δfは、動的成分の移動の速さに依存する。
 したがって、生体組織A内の探査レーザ光Lの照射領域に血管Bが含まれている場合、血管B内の血液によって散乱されて周波数f+Δfを有する散乱光Sと、血管B内の血液以外の静的成分によって散乱されて周波数fを有する散乱光Sとが同時に受光部10によって受光される。その結果、時系列データには、図4に示されるように、周波数fの散乱光Sと周波数f+Δfの散乱光Sとの干渉に起因して散乱光S全体の強度がΔfで変化するうなりが現れる。
 生体組織Aに照射されたレーザ光は静的成分および動的成分において多重散乱が起こるため、レーザ光が赤血球に入射する際の、光の進行方向と赤血球の移動方向(血流方向)とが成す入射角は単一ではなく分布が生じる。このため、ドップラーシフトによる周波数シフト量Δfには分布が生じる。従って、散乱光S全体の強度のうなりはΔfの分布に対応して幾つもの周波数成分が重なり合ったものになっている。また、Δfの分布は血流速度が速い程高周波数側まで広がる。
 このような時系列データを高速フーリエ変換すると、図5に示されるように、血流の速さに応じた周波数ω(以下、周波数シフトΔfをωと記す)に強度を有するドップラースペクトルがフーリエスペクトルとして得られる。
 ドップラースペクトルの形状と、血管Bの有無および血管B内の血流の速さとの間には、図5および図6に示されるような関係が存在する。具体的には、探査レーザ光Lの照射領域に血管Bが存在しないときには上記うなりが生じないため、ドップラースペクトルは、周波数ω全域において強度を有さない平坦状となる(一点鎖線参照。)。血流の遅い血管Bが存在するときには、ドップラースペクトルは、周波数ωの低い領域に強度を有し、小さなスペクトル幅を有する(実線参照。)。血流の速い血管Bが存在するときには、ドップラースペクトルは、周波数ωの低い領域から高い領域に強度を有し、大きなスペクトル幅を有する(鎖線参照。)。このように、血流が速い程、ドップラースペクトルが周波数ωの高い側へ広がってスペクトル幅が大きくなるのに伴って、ドップラースペクトルの平均周波数が大きくなる。
 さらに、血管B内の血流の速さは、血管Bの直径に略比例することが知られている。
 周波数解析部12は、ドップラースペクトルの、周波数ωと強度との関係を表す関数F(ω)を求め、下式(1)に基づいてドップラースペクトルF(ω)の平均周波数を算出し、算出された平均周波数を判定部13へ送信する。
Figure JPOXMLDOC01-appb-M000001
 判定部13は、周波数解析部12から受信した平均周波数を、閾値と比較する。第1の閾値は、検出対象とする血管Bの直径の最小値に対応する平均周波数である。
 判定部13は、周波数解析部12から受信した平均周波数が第1の閾値以上であるときには、検出対象の血管Bが存在すると判定する。一方、判定部13は、周波数解析部12から受信した平均周波数が第1の閾値未満のときには、検出対象の血管Bが探査レーザ光Lの照射領域に存在しないと判定する。これにより、所定の範囲の直径を有する血管Bを検出対象とし、該検出対象の血管Bの有無が判定される。判定部13は、判定結果を制御部2および演算部60に出力する。
 検出対象の血管Bの直径の最小値は、例えば、術者が図示しない入力部を使用して入力するようになっている。判定部13は、例えば、血管Bの直径と平均周波数とを対応付けた関数を有し、入力された血管Bの直径の最小値と対応する平均周波数を関数から求め、算出された平均周波数をそれぞれ閾値に設定する。
 制御部2は、判定部13によって、検出対象の血管Bが存在すると判定された場合には、可視光源16から可視光Vを出力させることによって、発光部9から探査レーザ光Lと一緒に可視光Vを射出させる。一方、制御部2は、判定部13によって、検出対象の血管Bが存在しないと判定された場合には、可視光源16からの可視光Vの出力を停止させることによって、発光部9から探査レーザ光Lのみを射出させる。
 次に、このように構成された本実施形態に係る内視鏡装置200の作用について説明する。
 内視鏡装置200を用いた画像表示方法は、血管認識装置100によって血管有(True)と判定された場合に、測定画像上における血管判定位置を測定画像から算出するステップと、時系列上の(任意の)2つの画像の相関をとることによって、視野の変位を算出するステップと、算出した位置情報を変位情報に基づいて、マーカ位置を設定するステップと、マーカ位置情報に基づいて実時間画像上にマーカ(トレース)を表示するステップとを含む。
 これにより、視野がずれた場合でも血管位置がどこであったかを術者に知らせることが可能となる。
 具体的には、本実施形態における画像表示方法は以下のステップを含む。
step0.:血管の有無を判定する。
step1.:画像上のスポット位置を算出する。
step2.:視野のずれ量を求める。
step3.:視野がずれた画像上に、位置補正してスポットを表示する。
 上述した各ステップの実施例の一例を以下に示す。
  血管の有無を判定する(step0)。
  以下の(1)から(3)の少なくとも一つの方法により、探査レーザおよび/または指標レーザが照射された際の画像上のスポット位置を算出する(step1)。
step1の(1)R.G-chとB-chの反転とのANDをとることで、白色光による飽和箇所を排除してスポット位置を算出する。
step1の(2)捕色光学系でも同様に公知の方法によってRGBに変換して、(1)と同様の処理で算出する。
step1の(3)レーザスポット形状をエアリ―パターンとは異なる特異的な形状にして、画像マッチングにより算出する。ここで、特異的な形状とは、レーザスポットとして機能しつつも術者が探査時の通常の探査レーザ光とは明らかに異なることを認識できるような複数の規則的な模様を組み合わせた形状であり、例えば、(a)指標レーザ光を十字型で照射したり、(b)探査レーザ光を輪帯形状で照射したりすることである。
  以下の(1)から(3)の方法により、視野のずれ量を求める(step2)。
step2の(1)フレーム間の画像に対する画像処理によってずれ量を算出する方法。
この(1)のずれ量算出方法は、以下の(a)または(b)の手段を用いて実行される。
(a)相関画像を取得して算出する。
 相関画像は、以下の(a-1),(a―2),(a―3)の少なくとも一つの方法によって取得することができる。
 単純にフレーム同士の画像の関係を表す相関画像を取得する(a―1)。
 拡大・縮小および回転画像群を生成し、相関画像を取得する(a―2)。拡大・縮小/回転角の範囲・ステップは制限ないし適宜調節されてもよい。
 アフィン変換によって得られる画像群を生成し、相関画像を取得する(a―3)。
(b)Lucas-Kanade法で算出する。
step2の(2)挿入部として腹腔内に挿入される硬性鏡(画像取得装置)500の位置変化をモニタし、位置変化から視野ずれ量を算出する方法。
 上述した(2)の方法は、以下の(a)または(b)の手段を用いて実行される。
(a)トロッカ83と硬性鏡500の相対位置を、挿入長・回転位置センサ(センサ)84,85で検出する。
(b)硬性鏡500先端に搭載した位置センサ(センサ)86を用いて相対位置を検出する。
step2の(3)(1)および(2)のずれ量算出方法の組合せ。
  視野がずれた画像上に、補正前のスポットに代えて、step2で求めたずれ量により位置補正した後のスポットを表示する(step3)。
 上記のstep0からstep3までのフローに従って、血管を認識した位置を算出し、変位量を補正して表示部で表示することにより、視野がずれた場合でも常にずれ量が補償された過去の血管位置を残像として表示し、血管位置がどこであったかをリアルタイムな表示画面で術者に知らせることが可能となる。
 本実施形態に係る血管認識装置100を用いて生体組織A中の血管Bを認識するためには、発光部9を生体組織Aの近傍に配置して、生体組織Aへ探査レーザ光Lを照射し、図7に示されるように、探査レーザ光Lを生体組織A上で走査するように移動させる。生体組織Aによって散乱された探査レーザ光Lの散乱光Sは受光部10によって受光される。
 判定部13によって、探査レーザ光Lの照射領域に検出対象の血管Bが存在しないと判定された場合には、制御部2が探査レーザ光Lのみを発光部9から射出させる。判定部13によって、探査レーザ光Lの照射領域に検出対象の血管Bが存在する判定された場合には、制御部2が探査レーザ光Lと一緒に可視光Vを発光部9から射出させる。すなわち、探査レーザ光Lの照射領域に検出対象の血管Bが存在している場合にのみ、当該照射領域に可視光Vも照射される。
 この様子を画像取得装置500で得られる画像上で観測する場合を説明する。
 探査レーザ光Lを生体組織A上で走査して血管位置で可視光Vが照射される様子を撮像装置で捉えることによって、画面表示部に表示される画像上で血管Bの存在する領域を認識することができる。
 一度走査して血管の存在する領域が判別できたときにその領域が表示画面上に保持されることは、術者が血管存在領域を容易に判別可能となるため、望ましい。
 しかし、実際の鏡視下手術では内視鏡胴部51は固定されていないため、画像取得装置500および血管認識装置100は独立に動かすことができ、走査したときの視野と実時間で観測している視野は簡単にずれてしまう。
 従って、単純に走査軌跡を保持するだけでは視野がずれたときには意味を成さなくなってしまう。
 視野のずれを補正するためには、時系列上の2つの画像の相関を計算することによって視野の変位を算出すればよい。
 原理の説明のため、ここでは可視光Vに緑のレーザ光を用いる場合を説明する。以下、可視光Vを指標レーザ光Vとして説明する。
 前述した通り、探査レーザ光Lは生体の吸収・散乱の小さい波長(近赤外領域)を選択することが望ましい。このとき、撮像部53のR-chが探査レーザ光Lに対して感度を有する場合には、探査レーザ光が生体に照射されたときのスポットは撮像部53で観測されるR-chの画像上で観測される。
 また、指標レーザ光Vが生体に照射されたときのスポットは撮像部53で観測されるG-chの画像上に観測される。
 これらレーザ光によるスポットがB-chの画像に寄与する割合は小さいため、B-chの画像を用いて視野の変位を評価する。
 ある時系列上にある2つのフレームiおよびi+1におけるB-chの画像I(i)およびIB(i+1)を図8に示す。この図において、視野は左上に移動した場合を示している。被写体は画像中では右下に移動している様子が分かる。これらIB(i)およびIB(i+1)の画像相関をとった相関画像ICorr,B(i+1)を下に示す。相関画像ICorr,B(i+1)にはピークが出現していることがわかる。これは、以下に示す通り変位量の指標となっている。
 図9に相関画像ICorr,B(i+1)におけるピークと変位の関係を示す。相関画像における各画素はIB(i)およびIB(i+1)をΔx軸およびΔy軸上で相対的に変位させて重なり積分を算出した値であり、Δx軸およびΔyに対して積分値をプロットすることで相関画像が取得される。従って、相関画像の上下・左右を等分する様にΔx軸およびΔy軸が設定されおり、画像の中心が変位0の原点となる。相関画像に表れるピークは、2つの画像をこのピークが位置する変位で重ねたときに最も相関が高いことを示している。すなわち、ピーク位置(Δx(i+1),Δy(i+1))が視野の変異量(Δx(i+1),Δy(i+1))に対応する。
 従って、相関画像ICorr,B(i+1)のピーク位置を算定することで変異量(Δx(i+1),Δy(i+1))を算出することができる。
 以下、図10から図13を用いて、画像取得装置500によって取得した画像から血管位置を算出する方法を説明する。
 図10にはレーザを照射していないときの観測画像を示す。R-ch、G-ch、B-chの観測画像をそれぞれIR(i)、IG(i)、IB(i)とし、これらから合成されるカラーの観測画像をI(i)とする。
 図11には血管が無いときの観測画像を示す。このときには探査レーザのみが照射されているのでIR(i)のみに探査レーザのスポットが高輝度で観測される。
 図12には血管が有ると判定されたときの観測画像を示す。このときには探査・指標レーザL,Vの両方が照射されている。この場合、IR(i)およびIG(i)にレーザスポットが高輝度で観測されるが、IB(i)にはレーザ光は観測されない。
 また、カラー画像I(i)の中には白色光Wの照射によって飽和して白く観測される領域があることがわかる。
 観測画像からレーザの照射されている位置を正確に算出するためにはこのWによる飽和領域は除外する必要がある。
 従って、R・G-chの輝度値のみからレーザ位置を算出することは困難であり、R・G-chで輝度かつB-chでは低輝度の領域を求め、その重心位置からスポット位置を算出することが求められる。
 これを実現するには、具体的には図13に示す手順を用いればよい。すなわち、B-chの反転画像IinvB(i)を用いてIR(i)およびIG(i)およびIinvB(i)の論理和(AND)を計算してスポット算出用画像ISP(i)を取得する。このISP(i)の高輝度領域の重心位置を算出することで、探査・指標レーザスポット位置すなわち血管ありと判定された位置(Sx(i),Sy(i))を算出することができる。取得したスポット算出用画像ISP(i)はさらに適当なコントラスト調整してもよい。この様にすることで(Sx(i),Sy(i))の位置精度を向上することができる。
 血管ありと判定された(True)場合に演算部60において図14に示されるように、以下の処理を行う。
(1)観測画像I(i)からRGB各chの画像IR(i)、IG(i)、IB(i)を取得する。
(2)IB(i)からIinvB(i)を取得し、IR(i)およびIG(i)およびIinvB(i)からスポット算出画像ISP(i)を生成し、血管ありと判定された位置(Sx(i),Sy(i))を算出する。
(3)系列上でより後に位置するフレームi+1における観測画像I(i+1)からRGB各Chの画像IR(i+1)、IG(i+1)、IB(i+1)を取得する。
(4)IB(i)およびIB(i+1)の相関画像ICorr,B(i+1)から視野の変位量(Δx(i+1),Δy(i+1))を算出する。
(5)上記(4)で取得した変異量の補正を加えることにより、観測画像I(i+1)における血管ありと判定された位置(S(i)-Δx(i+1),S(i)-Δy(i+1))にマーカを付加した表示画像IDisp(i+1)を生成し、表示部70に表示する(最終的な表示状態)。
 図15Aから図15Fのフローに従って処理および表示を行うことで、課題解決が実現できる。
 以下、フロー(1)を説明する。
 まず、i番目のループにおいて、観測画像I(i)を取得する。
 この観測画像I(i)を配列Mのk番目の要素M(k)に格納する。
 M(k)をR,G,Bの各チャンネルに分離してM(k),M(k),M(k)を取得する。
 次に、血管判定の結果に基づいて、異なる処理を行う。まず、血管があると判定された場合(図中YES、すなわちTrue)には、M(k)の反転MinvB(k)を生成し、M(k),M(k),MinvB(k)の3つの画像から血管があると判定された位置すなわちスポット位置(S(i),S(i))を算出する。このスポット位置(S(i),S(i))を配列Mのk番目の要素M(k,X,Y)に代入する。ここで、簡便のため、スポットの座標(S(k),S(k))をMのk番目の要素としてM(k,X,Y)と表記した。一方、血管が無いと判定された場合(図中NO、すなわちfalse)には、対応するスポット位置が存在しないことを意味するnanを配列Mのk番目の要素M(k,X,Y)に代入する。
 次に、変位の計算を行う。
 画像M(k)とM(k-1)に基づいて相関画像ICorr,B(i)を取得する。
 相関画像ICorr,B(i)から測定(i-1)に対する測定(i)の変位(Δx(i),Δy(i))を計算し、変位の配列MΔ(k-1,x,y)に格納する。
 続いて、変位の累積量MΣの各要素を計算する。これまでの累積の変異量MΣに変位MΔ(k-1,x,y)を加算することで、累積変異量が得られる。尚、MΣの初期値では、全ての要素を0としておく。
 MΣ(k-1,x,y)=0+MΔ(k-1,x,y)、MΣ(k-2,x,y)=MΔ(k-2,x,y)+MΔ(k-1,x,y)、・・・MΣ(1,x,y)=MΔ(1,x,y)+MΔ(k-1,x,y)
 尚、ループの最後で各配列要素のインデックスをそれぞれ1つ小さい方にずらす処理を行うため、k-2、k-3、・・・1とインデックスが小さくなる程、より以前の変位が加算された量、すなわち累積の変位量となる。
 次に、各フレーム(それぞれの測定時)に求められたスポット位置に、累積の変異量を加算し、配列M(k-1,x,y)に格納する。
 各フレームに対して、所望の大きさのマーカをこの配列情報に基づいて画像上に配置した補正画像MISΣ(k)を生成する。マーカの大きさは実際のスポット径に準じた大きさでも良く、判別しやすい色相を持たせた画像でもよい。
 これらの補正画像MISΣ(k)の各要素を重畳してk=1~(k-1)のマーカのトレース像ITr(k-1)を生成する。ここで、kが2の場合は単独のマーカとなり、k>2の場合は複数のマーカを重畳する操作を行うため、各フレームのスポット位置(マーカ)のトレース像が得られる。
 次に、トレース像ITr(k-1)をM(k)すなわち観測画像I(i)に重畳することで表示画像IDisp(k)を取得する。
 表示部70に表示画像IDisp(k)を出力する(測定iの場合には、IDisp(i)=IDisp(k))。
 処理ループの最後に、各々の配列データの要素のインデックスを1つ小さい方にずらす。こうすることにより、1つ前のフレームで取得した情報が蓄積される。
 ループにより、次の観測画像I(i+1)を取得し、同様の処理が継続される。
 配列kの大きさを適宜設定することにより、蓄積される情報の長さが規定されることから、血管検出位置のトレース像を表示する時間を設定することができる。
 仮に血管認識装置100を備えた処置具1、および/または内視鏡装置200を別の患部ないし観察視野に移動させてから血管認識を再開させる場合や、血管認識を行う操作の前後または途中で処置具1による患部の処置を行うための動作のみを行う場合には、血管認識の操作を一時的に中断できるよう、血管認識用のレーザ照射をON/OFFするためのON/OFFボタンを設けるのが好ましい。このようにすることで、たとえ手術補助者が安定な視野を確保していたとしても、血管認識のための動作以外の目的で血管認識装置100を備えた処置具1、および/または内視鏡装置200を動作させる場合にも、OFFの状態にすることで相関性の低いトレース像が誤って表示されるのを防止できる。再びONの状態した場合には、内視鏡装置200がレーザ光の照射位置を検出することで、上述した図15Aから図15Fのフローを再開できる。また、ループにおいて表示するトレース像は測定した画像に基づいた情報について全てを表示しなくてもよい。こうすることにより、処理速度の向上が図れ、また、過剰なトレース像をなくして表示が視認しやすくなる。一方で、複数の異なる血管が走行する領域においては、3以上のトレース像が互いに一定の傾きである場合にマーカ同士をつなげて表示するようにすることで、見かけ上の分解能を高めるようにしてもよい。
 図16Aから図16Fのフロー(2)においては、図15Aから図15Fのフロー(1)と同様であるが、血管認識を行った後、判定定数JvesにYESの場合には1を、NOの場合には0を代入する。
 さらに、フローの下流において、判定定数Jvesが0の場合のみ、トレースを表示する様になっている。こうすることにより、血管があるという判定が行われている間は判定履歴が重畳されないために、実時間の判定スポットが判別しやすいという効果が生じる。
 補色光学系の場合、通常のRGB変換によって得られる情報を用いてstep1.1と同様の処理を行うことによって画像上のスポット位置の算出が可能である。
  step1の(2)として、捕色光学系で通常変換するRGBの情報を用いてstep1の(1)と同様に処理可能である。
   例えば、捕色光学系の画像処理(特許第4996773号 参照)を実行する。
    マゼンタ(Mg)、グリーン(G)、シアン(Cy)、イエロー(Ye)
      ↓Y/C分離回路
    輝度信号Y、式差信号Cr‘、Cb’
      ↓
    R1、G1、B1
の処理後にこれらの信号で得られる画像をstep1のIR(i)、IG(i)、IB(i)に用いることで処理可能となる。
 step1の(3)(a)として、図17に示されるように、指標レーザVを十字型にして画像マッチングすることで、スポット位置を算出してもよい。
 指標レーザVの射出部81に搭載したレンズ表面に十字型の逆フーリエ像を配置し、レーザを照射すると試料上に十字型のレーザスポットが投影される。
 腹腔鏡画像上にはこの十字型スポットが観測される。
 あらかじめ用意しておいた十字型の大きさ(拡大・縮小)・角度を少しずつずらしたリファレンス画像群と、上記観測された腹腔鏡画像との相関をとり、ピーク値が最大となる相関画像を選択する。十字型の中心部の座標からスポット位置を算出する。
 十字型スポットはほぼ均等な角度で交差する形状のため、指標レーザVがB-chだけでなく他のchにも漏れこんだ場合にも、生体には無い特異的な形状のパターンマッチングにより、画像上で白とびしているスポットと、指標レーザスポットとを区別して、スポット位置を正確に算出可能となる。本実施形態において、指標レーザVは、2本の直交する直線からなる十字型スポットを用いたが、均等な角度で交差する2以上の交差線を含んでいるような、3本またはそれ以上の交差線からなる十字型スポットであってもよい。
 step1の(3)(b).として、図18に示されるように、探査レーザ光Lのスポット形状を輪帯状にした場合の実施例を示す。
 探査レーザLの射出部82からレーザを照射すると腹腔鏡画像上には輪帯状のスポットが観測される。
 あらかじめ用意しておいた輪帯スポットの大きさ(拡大・縮小)を少しずつずらしたリファレンス画像群と、上記観測された腹腔鏡画像との相関をとり、ピーク値が最大となる相関画像を選択する。例えば図18のように、同心円上の複数の大きさのリング状スポットの中心部に設けた小円形状のスポットの中心部の座標からスポット位置を算出する。
 輪帯状のスポットを用いることにより、指標レーザVがB-chだけでなく他のchにも漏れこんだ場合にも、生体には無い特異的な形状のパターンマッチングにより、画像上で白とびしているスポットと、指標レーザスポットとを区別して、スポット位置を正確に算出可能となる。
 また、十字型のスポットを用いる場合と比較してリファレンス画像群の変数として角度方向の変数がなくなるため画像群を構成する画像数が少なくなるため、探査時の処理速度が向上するという効果がある。本実施形態において、探査レーザLは、同心円に並ぶ複数のリング状スポットを用いたが、既知の曲率からなるスパイラル形状からなる輪帯状スポットであってもよい。
 step2の(1)(a-1)の変形例として、図19に示されるように、レーザスポットが混入した画像に基づく相関画像を用いて変位量を算出する例を示す。
 ここでは、B-chの画像にレーザスポットが写りこんでしまっている場合(混入している場合)を示す。i番目のフレームI(i)と(i+1)番目のフレームI(i+1)では異なる位置にレーザスポットが写りこんでいる。これらの画像の相関画像ICorr,B(i+1)でも、やはり変位を示すピークが観測されている。このピークの位置を算出することにより、変位を算出することができる。
 従って、レーザスポットが混入した画像を用いても変位を算出することができる。
 レーザが混入しない様にするためにはOD値の高いフィルターを用いる必要があるが、本実施例を用いることにより、フィルターを交換しなくても変位を算出できるという効果がある。
 step2の(1)(a-1)の変形例として、図20に示されるように、他のchの画像を利用した相関画像によるスポット位置算出の例を示す。
 ここでは、R-chのi番目のフレームI(i)とB-chの(i+1)番目のフレームI(i+1)で異なる位置にレーザスポットが写りこんでいる例を挙げる。これらの画像の相関画像ICorr,R-B(i+1)でも、やはり変位を示すピークが観測されている。このピークは中央のピークに対して急峻な立ち上がりをしたピークとなっている。従って、低周波数変化を除去するハイパスフィルターを用いて画像処理することにより、ピークを際立たせることができ、その結果、ピークの位置を算出することが可能となる。このピーク位置から変位を算出することができる。
 従って、他のch同士の相関画像を取得して変位を算出することができる。
 本実施例により、処理速度に応じて任意の画像を利用可能であるという効果がある。
 step2の(1)(a-2)として、図21に示されるように、拡大・縮小および回転画像群を生成して相関画像を取得する方法を示す。
 図には、i番目のフレームに対し、i+1番目のフレームでは視野が回転子、左上に移動した例を示す。
 この様に平行移動に加え回転や拡大が起きた場合には、i番目のフレームに対して拡大・縮小/回転の操作を加えた画像群を生成し、これと(i+1)番目のフレームとの相関をとる。画像群のそれぞれの構成要素には拡大率および回転角度の情報が付与されている。相関画像のうち、ピークが最も大きいもの(最も相関が大きい画像)を選択して変位量を算出する。さらに、ピークが最も大きい相関画像を生成した画像群の要素の拡大率および回転角度から、i+1番目の視野がどのくらい拡大・縮小および回転したかを求めることができる。
 以上の情報に基づいてスポット位置のずれ量を得る。
 この様にすることで、変位、拡大・縮小、回転した場合でもスポット位置のずれ量を算出可能となる。
 step2の(1)(a-3)として、図22に示されるように、アフィン変換画像群を生成して相関画像を取得する方法を示す。
 図には、i番目のフレームに対し、i+1番目のフレームでは視野が回転子、左上に移動した例を示す。
 この様に平行移動に加え回転や拡大が起きた場合には、i番目のフレームに対してアフィン変換の操作を加えた画像群を生成し、これと(i+1)番目のフレームとの相関をとる。アフィン変換では、拡大・縮小、角度およびスキューの変換が施されている。この画像群のそれぞれの構成要素には拡大率、回転角度およびスキューの情報が付与されている。相関画像のうち、ピークが最も大きいもの(最も相関が大きい画像)を選択して変位量を算出する。さらに、ピークが最も大きい相関画像を生成した画像群の要素の拡大率、回転角度、スキュー情報から、i+1番目の視野がどのくらい拡大・縮小、回転、スキューしたかを求めることができる。
 以上の情報に基づいてスポット位置のずれ量を得る。
 この様にすることで、変位、拡大・縮小、回転、スキューした場合でもスポット位置のずれ量を算出可能となる。
 step2の(1)(b)として、図23に示されるように、Lucas-Kanade法で得られる特徴点からずれ量を算出する例を示す。
 これにより、変位、拡大・縮小、回転した場合でもスポット位置のずれ量を算出可能となる。
 step2の(2)(a)として、図24に示されるように、挿入長・回転位置センサ84,85によるずれ量の取得の実施例を示す。
 本実施例では、硬性鏡500とトロッカ83との間に設置した回転位置センサ84および挿入長センサ85によって、トロッカ83の相対移動量を算出する。
 挿入長によって、硬性鏡500が生体試料にどのくらい近づいたか・遠ざかったかがわかるため、フレーム間での相対的な拡大・縮小率が算定できる。
 また、回転位置センサ84によって、フレーム間の相対的な回転量が算定できる。
 このずれ量(拡大・縮小率および回転量)に基づいて補正位置にスポットを表示する。
 センサを用いることでより位置ずれを正確に算定することができる。
 step2の(2)(b)として、図25に示されるように、電磁式の位置センサ86によるずれ量の取得の実施例を示す。
 硬性鏡500の先端部に電磁式の位置センサ86を設置し、図示しない電磁検出器によって位置情報を取得することにより、硬性鏡500の相対移動量(ずれ量)を取得する。
 これにより、トロッカ83自体に新たなセンサを設置することなく、ずれ量の取得が可能となる。
 step2の(3)として、(1)画像処理によるずれ量の取得と、(2)センサによるずれ量の取得を組合せてもよい。
 これにより、ずれ量算出の精度が向上する。
 なお、本実施形態におけるずれ量の算出については、明細書中で説明した算出方法に限られるものではなく、他の公知の算出方法を用いてもよい。例えば、step1の(3)において、(a)の指標レーザ光を交差状(例えば、十字型)のスポットではなく輪帯形状にしたり、(b)の探査レーザ光を輪帯形状ではなく交差状(例えば、十字型)にしたりしてもよい。
 また、本実施形態に係る内視鏡装置200は、血管認識装置100と画像取得装置500とが別体であるものを例示したが、これに限られるものではなく、一体的になっていてもよい。
 また、本実施形態に係る内視鏡装置200の血管認識装置100が、図26に示されるように、生体を把持するための把持手段150を備えていてもよい。
 この場合、処置具101に付加的に血管認識手段を搭載することなく、処置具101とは独立して血管認識を行うことができる。この場合、処置具101の外径寸法が小さいままで血管認識が行える。とくに、上述したような超音波および/または高周波による生体組織や脂肪、ひいては止血容易な細径の血管を切除したり凝固したりして封止を行う外科処置用エネルギーデバイスにおいては、処置具101の動作によって生じる患部由来のミストが血管認識装置100に付着するリスクを回避しながら血管認識が行えるという利点がある。
 また、本実施形態においては、取得した血管情報を血管画像として単独で繋ぎ合わせた情報を表示部70に表示するようにしてもよい。
 画像取得装置500は、一般に手術補助者が保持する場合が多いため、術者本人が保持する場合に比べて視野のずれ量が微少な場合も起こりうる。この場合視野ずれ補正を省略しながら血管認識位置を時間的に継続して表示することで、血管位置を術者に知らせてもよい。
 これは図27Aから図27Dのフローに従って処理および表示を行うことで実現できる。この図27Aから図27Dに示される判定方法では、上述した図15Aから図15Fのフローから画像相関による変位の計算や位置補正に関するステップを省略する内容となっている。
 以下、フロー(1)を説明する。
 まず、i番目のループにおいて、観測画像I(i)を取得する。
 この観測画像I(i)を配列Mのk番目の要素M(k)に格納する。
 M(k)をR,G,Bの各チャンネルに分離してM(k),M(k),M(k)を取得する。
 次に、血管判定の結果に基づいて、異なる処理を行う。まず、血管があると判定された場合(図中YES、すなわちTrue)には、M(k)の反転MinvB(k)を生成し、M(k),M(k),MinvB(k)の3つの画像から血管があると判定された位置すなわちスポット位置(S(i),S(i))を算出する。このスポット位置(S(i),S(i))を配列Mのk番目の要素M(k,X,Y)に代入する。ここで、簡便のため、スポットの座標(S(k),S(k))をMのk番目の要素としてM(k,X,Y)と表記した。一方、血管が無いと判定された場合(図中NO、すなわちfalse)には、対応するスポット位置が存在しないことを意味するnanを配列Mのk番目の要素M(k,X,Y)に代入する。
 次に、重畳するスポット位置を配列MSΣ’(k-1,x,y)に格納する。
 各フレームに対して、所望の大きさのマーカをこの配列情報に基づいて画像上に配置した補正画像MISΣ’(k)を生成する。マーカの大きさは実際のスポット径に準じた大きさでも良く、判別しやすい色相を持たせた画像でもよい。
 これらの補正画像MISΣ’(k)の各要素を重畳してk=1~(k-1)のマーカのトレース像ITr(k-1)を生成する。ここで、kが2の場合は単独のマーカとなり、k>2の場合は複数のマーカを重畳する操作を行うため、各フレームのスポット位置(マーカ)のトレース像が得られる。
 次に、トレース像ITr(k-1)をM(k)すなわち観測画像I(i)に重畳することで表示画像IDisp(k)を取得する。
 表示部70に表示画像IDisp(k)を出力する(測定iの場合には、IDisp(i)=IDisp(k))。
 処理ループの最後に、各々の配列データの要素のインデックスを1つ小さい方にずらす。こうすることにより、1つ前のフレームで取得した情報が蓄積される。
 ループにより、次の観測画像I(i+1)を取得し、同様の処理が継続される。
 配列kの大きさを適宜設定することにより、蓄積される情報の長さが規定されることから、血管検出位置のトレース像を表示する時間を設定することができる。
 図27Aから図27Dのフローを適用したトレース像において、仮に血管認識装置100を備えた処置具101、および/または内視鏡装置200を別の患部ないし観察視野に移動させてから血管認識を再開させる場合や、血管認識を行う操作の前後または途中で処置具101による患部の処置を行うための動作のみを行う場合には、血管認識の操作を一時的に中断できるよう、血管認識用のON/OFFボタン(操作ボタン)を設けるのが好ましい。このようにすることで、たとえ手術補助者が安定な視野を確保していたとしても、血管認識のための動作以外の目的で血管認識装置100を備えた処置具101、および/または内視鏡装置200を動作させる場合にも、相関性の低いトレース画像が誤って表示されるのを防止できる。特に、本実施形態のように、画像取得装置800による視野ずれが殆ど無い場合を前提に、視野ずれによる補正を行わないケースにおいては、例えば、血管認識装置100を備えた処置具101を操作する操作者が、処置具101としての把持動作を実行する際にはON/OFFボタンをOFFとすることで血管認識用のレーザ光の照射を停止し、血管認識を行おうとする動作でのみON/OFFボタンをONにするように手動で切り替えることで、使用者が血管認識を行おうとする意思に連動して認識した血管情報を迅速にトレース画像として追加表示できるメリットがある。こうして、再びON/OFFボタンをONにした際には、内視鏡装置200がレーザ光の照射位置を検出することで、上述した図27Aから図27Dのフローを再開できる。
 また、ループにおいて表示するトレースは測定した画像に基づいた情報について全てを表示しなくてもよい。こうすることにより、処理速度の向上が図れ、また、過剰なトレース像をなくして表示が視認しやすくなる。
 図28Aから図28Dのフロー(2)においては、図27Aから図27Dのフロー(1)と同様であるが、血管認識を行った後、判定定数JvesにYESの場合には1を、NOの場合には0を代入する。
 さらに、フローの下流において、判定定数Jvesが0の場合のみ、トレースを表示する様になっている。こうすることにより、血管があるという判定が行われている間は判定履歴が重畳されない(過去に血管有りと判定された箇所へのトレース表示を禁止する)機能を付加できる。したがって、術者がたとえ生体組織の同じ箇所を繰り返し走査したとしても、トレース表示が混雑するのを防止し、且つ、新たに検出された血管情報のみが漸次継ぎ足しされる。このような畳重表示の禁止は、血管認識装置100の分解能を超えない範囲で実行されることで正確さを保つことができる。かかる畳重表示の禁止機能を有する血管認識装置100を備えた処置具101によれば、術者または手術補助者が、ランダムに血管認識装置100を走査するだけで患部付近の血管を網羅的且つクリアに表示できるので、実時間の判定スポットをより一層判別し易くなるという効果が生じる。
 補色光学系の場合、通常のRGB変換によって得られる情報を用いてstep1.1と同様の処理を行うことによって画像上のスポット位置の算出が可能である。
 また、上述した実施形態においては、術者または手術補助者が図示しないトレース表示法切替スイッチ(切替部)によって図15Aから図15F、図16Aから図16F、図27Aから図27D、および図28Aから図28Dの判定方法のいずれかを切り替えるためのインタフェースを設けてもよい。これにより、術者の判断によってトレース表示方法を画面上で選択でき、手術の状況に応じた表示が可能となる。
 また、上述した実施形態においては、血管検出のためにレーザ光を用いたが、これに限られるものではなく、位相が揃う他のコヒーレント光であってもよい。
 また、上述した実施形態においては、レーザ光の波長として、近赤外領域を用いたが、これに限られるものではなく、NBI(Narrow Band Imaging:狭帯域光法)を用いてもよい。
  1 処置具
  2 制御部
  3 胴部
  8 探査レーザ光源
  9 発光部
  10 受光部
  11 光検出部
  12 周波数解析部
  13 判定部
  16 可視光源
  51 内視鏡胴部
  52 照明部
  53 撮像部
  60 演算部
  70 表示部
  83 トロッカ
  84 回転位置センサ(センサ)
  85 挿入長センサ(センサ)
  86 位置センサ(センサ)
  100 血管認識装置
  101 処置具
  150 把持手段
  200 内視鏡装置
  500 画像取得装置
  A 生体組織
  B 血管
  C 赤血球
  I 観測画像
  L 探査レーザ光
  S 散乱光
  V 可視光
  W 白色光
  WI 観測画像光
  E 腹腔

Claims (13)

  1.  生体を観察するための画像取得装置と、
     前記生体に探査レーザを照射してレーザドップラー法により血管を認識するための血管認識装置と、
     該血管認識装置によって血管が認識された時点で前記画像取得装置で取得された第1のフレームにおいて第1のレーザスポット位置を算出し、前記第1のフレームとは異なる時刻に取得された第2のフレームに対し、前記第1のフレームに対応する前記第2のフレーム上の位置に前記第1のレーザスポット位置に対応するマーカを付加するための演算部と、
     前記画像取得装置で取得された画像に対し、複数の異なる時刻に血管が認識され、前記演算部によって付加された複数の前記マーカを表示するための表示部とを備える内視鏡装置。
  2.  前記演算部は、さらに、前記第2のフレームに対する前記第1のレーザスポット位置からの位置ずれ情報を算出し、算出した該位置ずれ情報に基づいて前記第2のフレームにおける前記第1のレーザスポット位置に対応する補正位置を算出し、前記第2のフレームに対して前記補正位置に前記マーカを付加する請求項1に記載の内視鏡装置。
  3.  前記血管認識装置においてが、レーザドップラー法により血管があると判定された場合に、指標レーザを前記生体に照射し、
     前記演算部が、前記指標レーザのスポット位置を算出する請求項1または請求項2に記載の内視鏡装置。
  4.  前記血管認識装置において、前記探査レーザおよび/または前記指標レーザの照射スポットがエアリ―パターンとは異なる特異的な形状である請求項3記載の内視鏡装置。
  5.  前記血管認識装置が、前記指標レーザの照射スポット形状をエアリーパターンとは異なる特異的な形状で照射し、
     前記演算部が、別途用意した指標レーザの照射スポットのリファレンス画像群との画像相関によりレーザスポット位置を算出する請求項3または請求項4に記載の内視鏡装置。
  6.  前記探査レーザの照射スポット形状が輪帯状であり、
     前記演算部が、前記探査レーザのスポット形状と別途用意した輪帯パターンリファレンス画像群との画像相関によりレーザスポット位置を算出する請求項1から請求項5のいずれかに記載の内視鏡装置。
  7.  前記演算部が、前記位置ずれ情報を、前記画像取得装置によって取得した前記第1のフレームおよび前記第2のフレーム間の画像相関によって取得する請求項1から請求項6のいずれかに記載の内視鏡装置。
  8.  前記演算部が、画像相関を行う際に、異なる前記第1のフレームおよび前記第2のフレーム間で、一方の拡大・縮小および角度、スキューのいずれかまたはいずれかの組合せの変換画像を取得し、これを用いて画像相関を取得する請求項7に記載の内視鏡装置。
  9.  前記画像取得装置を有し、トロッカを介して患者の体内に挿入される挿入部と、
     該挿入部と前記トロッカとの相対位置を取得するセンサとを備え、
     前記演算部が、前記センサにより取得された相対位置に基づいて前記位置ずれ情報を算出する請求項1または請求項2に記載の内視鏡装置。
  10.  前記センサが前記挿入部に設けられている請求項9に記載の内視鏡装置。
  11.  前記血管認識装置が、前記生体を把持するための把持部を有する請求項1から請求項10のいずれかに記載の内視鏡装置。
  12.  前記血管認識装置は、血管認識動作のON/OFFを手動で切り替える操作ボタンを有する請求項11記載の内視鏡装置。
  13.  生体を観察するための画像取得装置と、
     前記生体にレーザ光を照射してレーザドップラー法により血管を認識するための血管認識装置と、
     該血管認識装置によって血管が認識された時点で前記画像取得装置で取得されたフレームにおいてレーザスポット位置を算出し、前記画像取得装置で取得された前記フレームとは異なる時刻に取得されたフレームと前記フレームとの位置ずれ情報を算出し、算出した該位置ずれ情報に基づいて前記異なる時刻に取得されたフレームにおける前記フレームでのレーザスポット位置の補正位置を算出し、前記異なる時刻に取得されたフレームに前記補正位置に対応するマーカを前記異なる時刻に取得されたフレーム上に付加して表示するための方法もしくは、前記血管認識装置によって血管が認識された時点で前記画像取得装置で取得されたフレームにおいてレーザスポット位置を算出し、前記異なる時刻に取得されたフレームのレーザスポット位置に対応するマーカを前記異なる時刻に取得されたフレーム上に付加して表示する方法とを切り換えるための切替部と、
     該切替部によって選択した前記マーカを前記異なる時刻に取得されたフレーム上に付加して表示するための演算部と、
     前記画像取得装置で取得された画像に前記演算部によって付加された前記マーカを表示するための表示部とを備える内視鏡装置。
PCT/JP2016/062830 2015-04-23 2016-04-22 内視鏡装置 Ceased WO2016171274A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017514224A JPWO2016171274A1 (ja) 2015-04-23 2016-04-22 内視鏡装置
US15/789,004 US20180055372A1 (en) 2015-04-23 2017-10-20 Image processing apparatus and endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562151585P 2015-04-23 2015-04-23
US62/151585 2015-04-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/789,004 Continuation US20180055372A1 (en) 2015-04-23 2017-10-20 Image processing apparatus and endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2016171274A1 true WO2016171274A1 (ja) 2016-10-27

Family

ID=57143169

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/062830 Ceased WO2016171274A1 (ja) 2015-04-23 2016-04-22 内視鏡装置
PCT/JP2016/062714 Ceased WO2016171238A1 (ja) 2015-04-23 2016-04-22 外科処置装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062714 Ceased WO2016171238A1 (ja) 2015-04-23 2016-04-22 外科処置装置

Country Status (3)

Country Link
US (1) US20180055372A1 (ja)
JP (2) JPWO2016171274A1 (ja)
WO (2) WO2016171274A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679671A (zh) * 2017-01-05 2017-05-17 大连理工大学 一种基于激光数据的导航标识图识别方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019035175A1 (ja) 2017-08-15 2019-02-21 オリンパス株式会社 血管認識方法および血管認識装置
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
US11439429B2 (en) 2019-07-11 2022-09-13 New View Surgical Cannula assembly with deployable camera
JP7458475B2 (ja) 2019-08-05 2024-03-29 ジャイラス エーシーエムアイ インク ディー/ビー/エー オリンパス サージカル テクノロジーズ アメリカ レーザファイバから標的までの距離の制御
KR20240017960A (ko) * 2019-09-23 2024-02-08 보스톤 싸이엔티픽 싸이메드 인코포레이티드 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
WO2022103770A1 (en) * 2020-11-11 2022-05-19 New View Surgical, Inc. Multi-camera imaging system
CN113545843B (zh) * 2021-07-20 2023-09-26 广东迪光医学科技有限公司 激光消融系统和方法
CN116523796B (zh) * 2023-05-17 2025-10-21 上海博动医疗科技股份有限公司 血管图像校正方法、装置、系统和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239023A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
JP2001515382A (ja) * 1997-03-06 2001-09-18 マサチューセッツ インスティチュート オブ テクノロジー 生体組織の光学走査用機器
WO2009081883A1 (ja) * 2007-12-21 2009-07-02 Institute Of National Colleges Of Technology, Japan レーザドップラー血流測定方法及び装置
JP2011101763A (ja) * 2009-11-12 2011-05-26 Fujifilm Corp 画像表示装置
JP2012231910A (ja) * 2011-04-28 2012-11-29 Olympus Corp 光走査型観察装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE419678B (sv) * 1978-10-31 1981-08-17 Gert Erik Nilsson Sett och anordning for metning av stromningsrorelser i ett fluidum
JP4490807B2 (ja) * 2002-05-06 2010-06-30 コヴィディエン アクチェンゲゼルシャフト 電気外科処置中に血液を電気的に検出し発生器を制御するシステム
US20120190990A1 (en) * 2010-06-25 2012-07-26 Konica Minolta Opto, Inc. Probe, Diagnosis Device, and Method for Using the Diagnosis Device
JP2012239669A (ja) * 2011-05-20 2012-12-10 Konica Minolta Advanced Layers Inc プローブ及び診断システム
WO2013121331A1 (en) * 2012-02-13 2013-08-22 Koninklijke Philips N.V. Photonic probe apparatus with integrated tissue marking facility
US8753340B2 (en) * 2012-03-01 2014-06-17 Mark D Noar Catheter structure and method for locating tissue in a body organ and simultaneously delivering therapy and evaluating the therapy delivered
WO2013134411A1 (en) * 2012-03-06 2013-09-12 Briteseed, Llc Surgical tool with integrated sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239023A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
JP2001515382A (ja) * 1997-03-06 2001-09-18 マサチューセッツ インスティチュート オブ テクノロジー 生体組織の光学走査用機器
WO2009081883A1 (ja) * 2007-12-21 2009-07-02 Institute Of National Colleges Of Technology, Japan レーザドップラー血流測定方法及び装置
JP2011101763A (ja) * 2009-11-12 2011-05-26 Fujifilm Corp 画像表示装置
JP2012231910A (ja) * 2011-04-28 2012-11-29 Olympus Corp 光走査型観察装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679671A (zh) * 2017-01-05 2017-05-17 大连理工大学 一种基于激光数据的导航标识图识别方法

Also Published As

Publication number Publication date
US20180055372A1 (en) 2018-03-01
JPWO2016171274A1 (ja) 2018-03-01
JPWO2016171238A1 (ja) 2018-02-15
JP6784667B2 (ja) 2020-11-11
WO2016171238A1 (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
WO2016171274A1 (ja) 内視鏡装置
US8355775B2 (en) Image diagnosing support method and image diagnosing support apparatus
EP3616596B1 (en) MICROSCOPE AND METHOD USING PSEUDO-COLOR IMAGE DATA
US20150339817A1 (en) Endoscope image processing device, endoscope apparatus, image processing method, and information storage device
US10980416B2 (en) Blood flow measurement apparatus
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
US20100069747A1 (en) Diagnostic imaging apparatus
JPWO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2013184018A (ja) 光画像計測装置
JP2004202221A (ja) 検査システムおよび検査方法
JP2022074392A (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
WO2009157229A1 (ja) 散乱体内部観察装置および散乱体内部観察方法
WO2018056187A1 (ja) 光音響画像生成装置
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP6469436B2 (ja) 血流計測装置
JP2010060332A (ja) 散乱体内部観測装置及び散乱体内部観測方法
JP6502790B2 (ja) 血流計測装置
JP2010223770A (ja) 散乱体内部観察装置および散乱体内部観察方法
US12133626B2 (en) Endoscope system and endoscope system operation method
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP6021289B2 (ja) 血流情報生成装置、血流情報生成方法、及びプログラム
WO2017010486A1 (ja) 血管認識システム
US8379945B2 (en) Optical apparatus for acquiring structure information and its processing method of optical interference signal
JP2012050598A (ja) 撮像表示方法および装置
JP6453191B2 (ja) 血流計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16783295

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017514224

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16783295

Country of ref document: EP

Kind code of ref document: A1