[go: up one dir, main page]

WO2021149169A1 - 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2021149169A1
WO2021149169A1 PCT/JP2020/002006 JP2020002006W WO2021149169A1 WO 2021149169 A1 WO2021149169 A1 WO 2021149169A1 JP 2020002006 W JP2020002006 W JP 2020002006W WO 2021149169 A1 WO2021149169 A1 WO 2021149169A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
target site
treatment support
site image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/002006
Other languages
English (en)
French (fr)
Inventor
雅弘 西光
龍一 平池
亮作 志野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2020/002006 priority Critical patent/WO2021149169A1/ja
Priority to JP2021572174A priority patent/JP7315033B2/ja
Priority to US17/791,398 priority patent/US12295549B2/en
Priority to EP20914888.1A priority patent/EP4094672A4/en
Publication of WO2021149169A1 publication Critical patent/WO2021149169A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Definitions

  • the present invention relates to a treatment support device and a treatment support method for supporting a treatment using an endoscope, and further to a computer-readable recording medium for recording a program for realizing these.
  • the observer detects the target site image corresponding to the target site (for example, the lesion area) from the image obtained by capturing the inside of the living body using an endoscope, and displays various displays on the detected target site image.
  • a treatment support device that makes it easier to recognize a target site image is known.
  • Patent Documents 1 and 2 disclose a technique for displaying the outline of the target part image and displaying the target part image to be filled. Further, Patent Document 1 discloses that a target portion image is displayed according to the moving speed of a camera provided in the endoscope.
  • Patent Documents 1 and 2 are techniques for making the target site image easier for the observer to recognize, they are not techniques for supporting the observation of the target site image. That is, when observing the target site image, it is not a technique that enables the target site image to be observed in detail and makes it easy to recognize the target site image in other cases.
  • An example of an object of the present invention is to provide a treatment support device, a treatment support method, and a computer-readable recording medium that effectively display an image of a target site according to a situation.
  • the treatment support device in one aspect of the present invention is A detection unit that detects the target site image from the image of the inside of the living body, An estimation unit that estimates whether or not the target site image is being observed, When it is presumed that the target site image is being observed, a display information generation unit that generates a first display that facilitates observation of the target site image, and a display information generation unit. It is characterized by doing.
  • the treatment support method in one aspect of the present invention is: A detection step that detects the target site image from the image of the inside of the living body, An estimation step for estimating whether or not the target site image is being observed, and When it is presumed that the target site image is being observed, it is characterized by having a display information generation step that generates a first display that facilitates observation of the target site image.
  • a computer-readable recording medium on which a program according to one aspect of the present invention is recorded is A detection step that detects a target site image from an image of the inside of a living body captured by a computer, An estimation step for estimating whether or not the target site image is being observed, and When it is presumed that the target site image is being observed, a display information generation step for generating a first display that facilitates observation of the target site image, and a display information generation step. It is characterized in that it records a program containing an instruction to execute.
  • FIG. 1 is a diagram for explaining an example of the treatment support device 1.
  • FIG. 2 is a diagram for explaining an example of the first display.
  • FIG. 3 is a diagram for explaining an example of a system having a treatment support device.
  • FIG. 4 is a diagram for explaining an example of sophistication of switching.
  • FIG. 5 is a diagram for explaining an example of the intermediate display.
  • FIG. 6 is a diagram for explaining an example of the operation of the treatment support device.
  • FIG. 7 is a diagram for explaining an example of a computer that realizes a treatment support device.
  • FIG. 1 is a diagram for explaining an example of the treatment support device 1.
  • the treatment support device 1 shown in FIG. 1 is a device that effectively displays the target site image according to the situation. Further, as shown in FIG. 1, the treatment support device 1 includes a detection unit 2, an estimation unit 3, and a display information generation unit 4.
  • the detection unit 2 detects the target site image from the image captured inside the living body.
  • the estimation unit 3 estimates whether or not the target site image is being observed.
  • the display information generation unit 4 When it is presumed that the display information generation unit 4 is observing the target site image, the display information generation unit 4 generates the first display that makes it easy to observe the target site image.
  • FIG. 2 is a diagram for explaining an example of the first display.
  • the detection unit 2 detects the target site image from the image 201a that captures the inside of the living body.
  • the target site is, for example, an area inside the living body where a lesion (neoplastic lesion, inflammatory lesion, etc.) has occurred.
  • the target site image is an image of a region corresponding to the target site included in the image captured by the image pickup device mounted on the endoscope.
  • the detection of the target site image is to execute the segmentation process on the image 201a obtained by capturing the inside of the living body and recognize the region corresponding to the target site.
  • the segmentation process is described in Reference 1, "Hiroshi Fujita,” Medical AI and Deep Learning Series, Introduction to Medical Image Deep Learning, "April 10, 2019, Ohmsha,” “Chapter 6".
  • the estimation unit 3 estimates whether or not the observer is observing the target site image. To estimate whether or not the situation is being observed, the movement of an imaging device such as a camera mounted on an endoscope is estimated using an image including one or more target site images. Based on this estimation result, it can be known whether or not the observer is observing the target site.
  • the movement of the imaging device is indexed by using, for example, the degree of blurring / blurring of the image, the processing result of the optical flow processing, or both of them. Then, based on the index, it is determined whether or not the observer is observing.
  • the estimation of whether or not the situation is being observed is estimated based on, for example, the degree of blurring / blurring of the image 201a.
  • the degree of blur and blur for example, Reference 2 "Yan Ke, Xiaoou Tang, Feng Jing," The Design of High-Level Features for Photo Quality Assessment "School of Computer Science, Carnegie Mellon; Microsoft Research Asia CPR It is described in "4.1. Spatial Distribution of Edges” and “4.4. Blur” of ": //www.cs.cmu.edu/ ⁇ yke/photoqual/cvpr06photo.pdf".
  • the estimation of whether or not the situation is being observed is performed based on the processing result (movement amount of the target site image) by executing optical flow processing using, for example, a plurality of images including the image 201a.
  • optical flow processing for example, "2 groups 2" of Reference 3 "Hironobu Fujiyoshi,” Knowledge Forest “(http://www.ieice-hbkb.org/), September 2010, Institute of Electronics, Information and Communication Engineers” It is described in "Pattern Recognition and Vision", “Chapter 4 Video Analysis 4-1: Optical Flow, 4-2: Tracking" (http://ieice-hbkb.org/files/02/02gun_02hen_04.pdf).
  • the processing result of the optical flow processing, or both are applied to the model for classifying whether or not the observation is being performed.
  • Classification of whether or not observation is performed can be realized by using various pattern recognition models such as neural networks.
  • the display information generation unit 4 estimates that the observer is observing the target part image by the estimation unit 3
  • the display information generation unit 4 displays the first display that makes it easier to observe the target part image on the screen of the output device.
  • the first display is a display in which the surrounding frame surrounding the outline of the target part image, the surrounding frame including all the outlines of the target part image, or the surrounding frame surrounding a part of the target part image is represented by a predetermined color.
  • the shape of the surrounding frame may be, for example, an ellipse, a circle, or a quadrangle. Further, the type of the surrounding frame is not limited to the solid line, but may be, for example, a broken line.
  • the display information generation unit 4 displays a second display on the screen of the output device, which makes it easier to recognize the target part image when it is estimated that the situation is other than the situation where the target part image is being observed.
  • the second display is a display in which the area of the target part image, the area including the target part image, or a part of the target part image is filled with a predetermined color or pattern.
  • the effective display is performed when the observer is presumed to be observing the target site image, so that the observer can easily observe the target site image. Can be done.
  • a display that shields the vascular structure of the lesion area may be used.
  • a display showing the outline of the lesion is desirable because it hinders the doctor's observation of the lesion.
  • a display that makes it easy to grasp the lesion position. (Display 202) is desirable.
  • the display When observing the target site image, the display may be automatically switched to facilitate the observation of the target site image as described above, but the observer may manually switch the display.
  • the treatment support device 1 or the endoscope may be provided with a switching mechanism such as a switch so that the display can be switched using the switch.
  • the output device may be displayed with a switching user interface, and the display may be switched using the user interface.
  • FIG. 3 is a diagram for explaining an example of a system having a treatment support device.
  • the system 20 in the present embodiment includes a control unit 21, an endoscope 22, and an output device 23 in addition to the treatment support device 1.
  • the estimation unit 3 has an operation estimation unit 31.
  • the display information generation unit 4 has a first display information generation unit 41 and a second display information generation unit 42.
  • the control unit 21 executes image processing or the like on the input image, for example, a video processor or the like. Specifically, the control unit 21 acquires an imaging signal from the endoscope 22, adjusts the image of the imaging signal, generates an image of the inside of the living body, and outputs the image to the treatment support device 1. ..
  • the endoscope 22 transmits an image of the inside of the living body, which is an image of the inside of the living body such as a human body, to a control unit 21 connected to the endoscope 22.
  • the endoscope 22 includes, for example, an insertion portion to be inserted into the living body, an imaging device such as a camera provided on the tip side of the insertion portion, and an operation unit for operating bending of the insertion portion, imaging of the imaging unit, and the like. It has a connecting portion for connecting the endoscope 22 and the treatment support device 1.
  • the tip side of the insertion portion has a lighting unit, a nozzle used for air supply, water supply, and suction, a forceps opening, and the like.
  • the output device 23 acquires information including display information converted into a format that can be output from the display information generation unit 4, and outputs images, sounds, and the like generated based on the information.
  • the output device 23 includes, for example, an image display device using a liquid crystal, an organic EL (ElectroLuminescence), and a CRT (CathodeRayTube), and an audio output device such as a speaker.
  • the output device 23 may be a printing device such as a printer.
  • the detection unit 2 detects the target site image from the captured image of the inside of the living body. Specifically, the detection unit 2 first acquires images captured in time series using the endoscope 22 from the control unit 21. Subsequently, the detection unit 2 uses segment processing to detect a region (target part image) corresponding to the target part from the acquired image. Subsequently, the detection unit 2 outputs information representing the detected region of the target portion to the display information generation unit 4. As the information representing the region of the target portion, for example, information such as a mask image (black and white binary image) for extracting the region of the target portion can be considered.
  • the estimation unit 3 estimates whether or not the observer is observing the target part using the target part image displayed on the output device 23. That is, the estimation unit 3 estimates the operating state of an image pickup device such as a camera mounted on the endoscope 22 by using one or more images. For example, the following methods (1) and (2) can be considered as a method for estimating the operating state.
  • the movement vector of the target part image of a plurality of images (movement amount of the target part image: second index) is calculated by using optical flow processing, and the calculated movement amount is a preset movement amount threshold value. If it is smaller, the movement of the imaging device is estimated to be small.
  • the estimation unit 3 may estimate the observation state using one or more images.
  • the following method (3) can be considered as a method for estimating the observation state.
  • the motion estimation unit 31 When estimating (1), the motion estimation unit 31 first acquires images captured in time series using the endoscope 22 from the control unit 21. Subsequently, the motion estimation unit 31 calculates the degree of blur / blur ⁇ using one or more images. Subsequently, the motion estimation unit 31 determines whether or not the degree of blur / blur ⁇ is smaller than the blur / blur threshold value th1. Then, the motion estimation unit 31 estimates that the observer is observing when the blur / blur degree ⁇ is smaller than the blur / blur threshold th1. The blur / blur threshold th1 is obtained by an experiment or a simulation.
  • the motion estimation unit 31 calculates the degree of blur / blur ⁇ i of the i-th frame image of the images captured in time series using the equation 1.
  • the motion estimation unit 31 first acquires images captured in time series using the endoscope 22 from the control unit 21. Subsequently, the motion estimation unit 31 extracts the target site image from each of the images. Subsequently, the motion estimation unit 31 calculates the movement vector of the target site image between the images (movement amount u of the target site image) using the plurality of images.
  • the brightness of the position (x, y) of the target part image at a certain time t captured in time series be I (x, y, t).
  • the brightness when this point (x, y) is displaced by ( ⁇ x, ⁇ y) in the image of t + ⁇ t after a minute time is defined as I (x + ⁇ x, y + ⁇ y, t + ⁇ t).
  • the number 5 u represented by u x and u y at this time is the movement vector (or optical flow) at the position (x, y) of the target site image.
  • the Lucas-Kanade method assumes that the movement vector is uniform within the local neighborhood region, imposes a brightness-invariant optical flow constraint on each pixel in that region, and minimizes the movement vector. Find the square solution.
  • the movement vector u at this time is calculated as the least squares solution of the evaluation function E.
  • the motion estimation unit 31 determines whether or not the calculated movement amount u is smaller than the movement amount threshold value th2. Then, when the movement amount u is smaller than the movement amount threshold value th2, the motion estimation unit 31 estimates that the observer is observing.
  • the movement amount threshold value th2 is obtained by an experiment or a simulation.
  • FIG. 4 is a diagram for explaining an example of sophistication of switching.
  • the blur / blur degree ⁇ estimated by the motion estimation unit 31 the processing result (movement amount u) of the optical flow processing, or an index showing the motion of both cameras is input to the classification model. To estimate whether or not the observer is observing.
  • the observation estimation unit 32 When the observation estimation unit 32 estimates (3), the observation estimation unit 32 inputs the blur / blur degree ⁇ , the movement amount u, or both into the classification model, and the observer is observing the target site image. Outputs the estimation result ⁇ indicating whether or not.
  • the classification model is, for example, a classifier that classifies whether or not an observer is observing.
  • the classification model outputs the observation state-likeness as the estimation result ⁇ .
  • the estimation result ⁇ can be represented by a numerical value between 0.0 and 1.0, for example. However, the estimation result ⁇ is not limited to the above-mentioned numerical values.
  • the observation estimation unit 32 first acquires the blur / blur degree ⁇ , the movement amount u, or both of them, which is the estimation result of the motion estimation unit 31. Subsequently, the observation estimation unit 32 inputs the estimation result of the motion estimation unit 31 into the classification model. Subsequently, the observation estimation unit 32 outputs the estimation result ⁇ using the classification model. Subsequently, the observation estimation unit 32 determines whether or not the estimation result ⁇ is smaller than the observation state threshold value th3. Then, when the estimation result ⁇ is smaller than the observation state threshold value th3, the observation estimation unit 32 estimates that the observer is observing.
  • the observation state threshold value th3 is obtained by an experiment or a simulation.
  • the display information generation unit 4 generates display information for effectively displaying the target site image according to the situation in which the observer is observing the target site image.
  • the first display information generation unit 41 generates the first display information that makes it easier to recognize the target part image when it is presumed that the target part image is being observed. Specifically, the first display information generation unit 41 first acquires an estimation result (result of (1) or (2) or (3)) from the estimation unit 3. Subsequently, the first display information generation unit 41 is for displaying the image 201c having the display 203 as shown in FIG. 2 when the estimation result indicates that the situation is being observed. Generate display information. After that, the first display information generation unit 41 transmits the output information including the generated display information to the output device 23.
  • a display 203 is provided so that the observer can observe the target portion in detail.
  • the display 203 for example, it is conceivable to display an outline of a predetermined color in the area of the target portion image.
  • the display 203 may be any display that can grasp the position of the target site image without disturbing the observation.
  • the second display information generation unit 42 generates a second display that makes it easier to recognize the target part image when it is presumed that the situation is other than the situation in which the target part image is being observed. Specifically, the second display information generation unit 42 first acquires an estimation result (result of (1) or (2) or (3)) from the estimation unit 3. Subsequently, the second display information generation unit 42 displays display information for displaying the image 201b having the display 202 as shown in FIG. 2 when the estimation result indicates that the situation is not observing. To generate. After that, the second display information generation unit 42 transmits the output information including the generated display information to the output device 23.
  • a display 202 is displayed so that the observer can easily grasp the target portion image.
  • the display 202 for example, it is conceivable to fill the inside of the area of the target portion image with a predetermined color or pattern and display it. Moreover, you may set transparency as a predetermined color. That is, the display 202 may be transparent.
  • the third display information generation unit 43 displays one between the first display and the second display in order to make the switching look seamless.
  • the third display is, for example, an intermediate display between the first display and the second display.
  • the intermediate display for example, the smaller the estimated result ⁇ , the lower the transparency of the second display, and the larger the estimated result ⁇ , the higher the transparency of the second display.
  • the third display information generation unit 43 will be specifically described with reference to FIGS. 4 and 5.
  • FIG. 5 is a diagram for explaining an example of the intermediate display.
  • the third display information generation unit 43 first acquires the estimation result ⁇ from the estimation unit 3. Subsequently, the third display information generation unit 43 generates display information for displaying as shown in FIG. 5, according to the estimation result ⁇ . After that, the third display information generation unit 43 transmits the output information including the generated display information to the output device 23.
  • a display 502 (third display) is displayed so that the observer can easily grasp the target portion image.
  • the display 502 for example, it is conceivable that the inside of the target portion region is filled with a color lighter than the color of the second display and displayed. For example, the transparency set in the second display may be increased.
  • FIG. 6 is a diagram for explaining an example of the operation of the treatment support device.
  • FIGS. 1 to 5 will be referred to as appropriate.
  • the treatment support method is implemented by operating the treatment support device. Therefore, the description of the treatment support method in the present embodiment is replaced with the following description of the operation of the treatment support device.
  • the detection unit 2 first acquires images captured in time series using the endoscope 22 from the control unit 21 (step A1). Subsequently, the detection unit 2 detects a region (target part image) corresponding to the target part from the acquired image by using segment processing (step A2). Subsequently, in step A2, the detection unit 2 outputs information representing the detected region of the target portion to the display information generation unit 4.
  • the information representing the target site region for example, information such as a mask image (black and white binary image) for extracting the target region region can be considered.
  • the estimation unit 3 first estimates whether or not the observer is observing the target part using the target part image displayed on the output device 23 (step A3).
  • the estimation method the methods (1), (2) and (3) described above can be considered.
  • the movement vector of the target part image of a plurality of images (movement amount of the target part image: second index) is calculated by using optical flow processing, and the calculated movement amount is a preset movement amount threshold value. If it is smaller, the movement of the imaging device is estimated to be small.
  • step A3 when estimating (1), the motion estimation unit 31 first acquires images captured in time series using the endoscope 22 from the control unit 21. Subsequently, in step A3, the motion estimation unit 31 calculates the degree of blur / blur ⁇ using one or more images. Subsequently, in step A3, the motion estimation unit 31 determines whether or not the degree of blur / blur ⁇ is smaller than the blur / blur threshold value th1. Then, in step A3, the motion estimation unit 31 estimates that the observer is observing when the blur / blur degree ⁇ is smaller than the blur / blur threshold th1. The blur / blur threshold th1 is obtained by an experiment or a simulation.
  • the motion estimation unit 31 may correct the blur / blur degree ⁇ by combining blur, blur, color tone distribution, hue, contrast, or two or more of them.
  • step A3 when estimating (2), the motion estimation unit 31 first acquires images captured in time series using the endoscope 22 from the control unit 21. Subsequently, in step A3, the motion estimation unit 31 extracts the target site image from each of the images. Subsequently, in step A3, the motion estimation unit 31 calculates the movement vector (movement amount u of the target part image) of the target part image between the images. Subsequently, in step A3, the motion estimation unit 31 determines whether or not the calculated movement amount u is smaller than the movement amount threshold value th2. Then, in step A3, when the movement amount u is smaller than the movement amount threshold value th2, the motion estimation unit 31 estimates that the observer is observing.
  • the movement amount threshold value th2 is obtained by an experiment or a simulation.
  • step A3 the observation estimation unit 32 inputs the blur / blur degree ⁇ , the movement amount u, or both into the classification model, and whether or not the observer is observing the target site image. Outputs the estimation result ⁇ representing.
  • the classification model is, for example, a classifier that classifies whether or not an observer is observing.
  • the classification model outputs the observation state-likeness as the estimation result ⁇ .
  • the estimation result ⁇ can be represented by a numerical value between 0.0 and 1.0, for example. However, the estimation result ⁇ is not limited to the above-mentioned numerical values.
  • step A3 when the observation estimation unit 32 estimates (3), it first acquires the blur / blur degree ⁇ , the movement amount u, or both of them, which is the estimation result of the motion estimation unit 31. Subsequently, in step A3, the observation estimation unit 32 inputs the estimation result of the motion estimation unit 31 into the classification model. Subsequently, in step A3, the observation estimation unit 32 outputs the estimation result ⁇ using the classification model. Subsequently, in step A3, the observation estimation unit 32 determines whether or not the estimation result ⁇ is smaller than the observation state threshold value th3. Then, in step A3, when the estimation result ⁇ is smaller than the observation state threshold value th3, the observation estimation unit 32 estimates that the observer is observing.
  • the observation state threshold value th3 is obtained by an experiment or a simulation.
  • the display information generation unit 4 generates display information for effectively displaying the target site image according to the situation in which the observer is observing the target site image (step A4). After that, the display information generation unit 4 transmits the output information including the generated display information to the output device 23 (step A5).
  • step A4 when it is presumed that the target site image is being observed, the first display information generation unit 41 generates the first display information that makes it easier to recognize the target site image. Specifically, in step A4, the first display information generation unit 41 first acquires an estimation result (result of (1) or (2) or (3)) from the estimation unit 3.
  • step A4 the first display information generation unit 41 displays the image 201c having the display 203 as shown in FIG. 2 when the estimation result indicates that the situation is being observed. Generate display information for display. After that, in step A5, the first display information generation unit 41 transmits the output information including the generated display information to the output device 23.
  • a display 203 is provided so that the observer can observe the target portion in detail. It is conceivable that the display 203 displays an outline of a predetermined color in the area of the target portion image, for example. However, the display 203 may be any display that can grasp the position of the target site image without disturbing the observation.
  • step A4 when it is estimated that the situation is other than the situation where the target part image is being observed, the second display information generation unit 42 generates a second display that makes it easier to recognize the target part image. Specifically, in step A4, the second display information generation unit 42 first acquires the estimation result (result of (1) or (2) or (3)) from the estimation unit 3.
  • step A4 the second display information generation unit 42 displays the image 201b having the display 202 as shown in FIG. 2 when the estimation result indicates that the situation is not observing. Generate display information for.
  • step A5 the second display information generation unit 42 transmits the output information including the generated display information to the output device 23.
  • a display 202 is displayed so that the observer can easily grasp the target portion image.
  • the display 202 may be displayed by filling the area of the target portion image with a predetermined color or pattern, for example. Moreover, you may set transparency as a predetermined color. That is, the display 202 may be transparent.
  • step A4 when switching between the first display and the second display, the third display information generation unit 43 sets the first display and the second display in order to seamlessly show the switching.
  • One or more third displays to be displayed in between may be generated.
  • the third display is, for example, an intermediate display between the first display and the second display.
  • the intermediate display for example, the smaller the estimated result ⁇ , the lower the transparency of the second display, and the larger the estimated result ⁇ , the higher the transparency of the second display.
  • step A4 the third display information generation unit 43 first acquires the estimation result ⁇ from the estimation unit 3. Subsequently, in step A4, the third display information generation unit 43 generates display information for displaying as shown in FIG. 5 according to the estimation result ⁇ . After that, in step A4, the third display information generation unit 43 transmits the output information including the generated display information to the output device 23.
  • the effective display is performed when it is presumed that the observer is observing the target site image, so that the observer can easily observe the target site image. be able to.
  • a display that shields the vascular structure of the lesion area may be used.
  • a display showing the outline of the lesion is desirable because it hinders the doctor's observation of the lesion.
  • a display that makes it easy to grasp the lesion position. (Display 202) is desirable.
  • the display When observing the target site image, the display may be automatically switched to facilitate the observation of the target site image as described above, but the observer may manually switch the display.
  • the treatment support device 1 or the endoscope may be provided with a switching mechanism such as a switch so that the display can be switched using the switch.
  • the output device may be displayed with a switching user interface, and the display may be switched using the user interface.
  • voice information related to voice may be acquired from the microphone, and the display may be switched based on the voice information.
  • the program according to the embodiment of the present invention may be any program that causes a computer to execute steps A1 to A5 shown in FIG. By installing this program on a computer and executing it, the treatment support device and the treatment support method according to the present embodiment can be realized.
  • the computer processor functions as a detection unit 2, an estimation unit 3, and a display information generation unit 4 to perform processing.
  • each computer may function as one of the detection unit 2, the estimation unit 3, and the display information generation unit 4, respectively.
  • FIG. 7 is a diagram for explaining an example of a computer that realizes a treatment support device.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in this embodiment may be distributed on the Internet connected via the communication interface 117.
  • the recording medium 120 is a non-volatile recording medium.
  • the storage device 113 in addition to a hard disk drive, a semiconductor storage device such as a flash memory can be mentioned.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads a program from the recording medium 120, and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the treatment support device 1 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer on which the program is installed. Further, the treatment support device 1 may be partially realized by a program and the rest may be realized by hardware.
  • a detection unit that detects the target site image from the image of the inside of the living body, An estimation unit that estimates whether or not the target site image is being observed, When it is presumed that the target site image is being observed, a display information generation unit that generates a first display that facilitates observation of the target site image, and a display information generation unit.
  • a treatment support device characterized by having.
  • the treatment support device described in Appendix 1 The first display is a display in which a surrounding frame surrounding the outline of the target part image, a surrounding frame including all of the target part image, or a surrounding frame surrounding a part of the target part image is represented by a predetermined color.
  • the treatment support device according to Appendix 1 or 2.
  • the display information generation unit is a treatment support device characterized by generating a second display that facilitates recognition of the target site image when it is presumed that the situation is other than the situation in which the target site image is being observed.
  • the treatment support device described in Appendix 3 is a display in which a region of the target site image, a region including the target site image, or a part of the target site image is filled with a predetermined color or pattern. Support device.
  • Appendix 5 The treatment support device according to Appendix 3 or 4.
  • the display information generation unit displays one between the first display and the second display in order to make the switching seamless.
  • a treatment support device characterized by generating the above-mentioned third display.
  • the treatment support device according to any one of Appendix 1 to 5.
  • the estimation unit is a treatment support device that estimates whether or not the target site image is being observed by using the degree of blurring / blurring of the image.
  • the treatment support device according to any one of Appendix 1 to 6.
  • the estimation unit is a treatment support device characterized by further estimating using an optical flow.
  • Appendix 8 The treatment support device according to any one of Appendix 1 to 7.
  • the estimation unit inputs the degree of blurring / blurring of the image, the processing result of the optical flow, or both into a model for classifying whether or not the image is being observed, and observes the target part image in the image.
  • a treatment support device characterized by estimating whether or not the situation is occurring.
  • a detection step that detects the target site image from the image of the inside of the living body An estimation step for estimating whether or not the target site image is being observed, and When it is presumed that the target site image is being observed, a display information generation step for generating a first display for facilitating observation on the target site image, and a display information generation step.
  • the treatment support method described in Appendix 9 The first display is a display in which a surrounding frame surrounding the outline of the target part image, a surrounding frame including all of the target part image, or a surrounding frame surrounding a part of the target part image is represented by a predetermined color.
  • Appendix 11 The treatment support method described in Appendix 9 or 10.
  • a treatment support method characterized in that, in the display information generation step, when it is presumed that the situation is other than the situation in which the target site image is being observed, a second display that facilitates recognition of the target site image is generated.
  • the treatment support method described in Appendix 11 The second display is a display in which a region of the target site image, a region including the target site image, or a part of the target site image is filled with a predetermined color or pattern. Support method.
  • Appendix 13 The treatment support method according to any one of Appendix 11 to 12.
  • one is displayed between the first display and the second display in order to make the switching seamless.
  • a treatment support method characterized by generating the above-mentioned third display.
  • Appendix 14 The treatment support method described in any one of Appendix 9 to 13.
  • a treatment support method characterized in that, in the estimation step, it is estimated whether or not the target site image is being observed by using the degree of blurring / blurring of the image.
  • Appendix 15 The treatment support method described in any one of Appendix 9 to 14.
  • a treatment support method characterized in that, in the estimation step, it is estimated whether or not the target site image is being observed by using an optical flow.
  • Appendix 16 The treatment support method described in any one of Appendix 9 to 15.
  • the degree of blurring / blurring of the image, the processing result of the optical flow, or both are input to the model for classifying whether or not the image is being observed, and the target part image in the image is observed.
  • a detection step that detects a target site image from an image of the inside of a living body captured by a computer, An estimation step for estimating whether or not the target site image is being observed, and When it is presumed that the target site image is being observed, a program including an instruction to execute a display information generation step for generating a first display for facilitating observation on the target site image is recorded.
  • Computer-readable recording medium Computer-readable recording medium.
  • the first display is a display in which a surrounding frame surrounding the outline of the target part image, a surrounding frame including all of the target part image, or a surrounding frame surrounding a part of the target part image is represented by a predetermined color.
  • Appendix 19 A computer-readable recording medium according to Appendix 17 or 18.
  • a program including an instruction to generate a second display for facilitating the recognition of the target part image is recorded.
  • a computer-readable recording medium In the display information generation step, when it is presumed that the situation is other than the situation where the target part image is being observed, a program including an instruction to generate a second display for facilitating the recognition of the target part image is recorded.
  • Appendix 20 The computer-readable recording medium according to Appendix 19.
  • the second display is a display in which a region of the target site image, a region including the target site image, or a part of the target site image is filled with a predetermined color or pattern.
  • a readable recording medium is a display in which a region of the target site image, a region including the target site image, or a part of the target site image is filled with a predetermined color or pattern.
  • Appendix 21 A computer-readable recording medium according to any one of Appendix 19 to 20. When switching between the first display and the second display in the display information generation step, one is displayed between the first display and the second display in order to make the switching seamless.
  • Appendix 22 A computer-readable recording medium according to any one of Appendix 17 to 21.
  • a computer-readable recording medium characterized in that, in the estimation step, it is estimated whether or not the target site image is being observed by using the degree of blurring / blurring of the image.
  • Appendix 23 A computer-readable recording medium according to any one of Appendix 17 to 22.
  • a computer-readable recording medium characterized in that, in the estimation step, it is estimated whether or not the target site image is being observed by using an optical flow.
  • Appendix 24 A computer-readable recording medium according to any one of Appendix 17 to 23.
  • the degree of blurring / blurring of the image, the processing result of the optical flow, or both are input to the model for classifying whether or not the image is being observed, and the target part image in the image is observed.
  • the present invention it is possible to effectively display the target part image depending on the situation.
  • the present invention is useful in fields that require treatment using an endoscope.
  • Treatment support device 2 Detection unit 3
  • Estimate unit 4 Display information generation unit 20
  • System 21 Control unit 22 Endoscope 23
  • Motion estimation unit 32
  • Observation estimation unit 41
  • First display information generation unit 42
  • Second display information generation Unit 43
  • Third display information generation unit 110
  • Computer 111 CPU 112 Main memory 113
  • Storage device 114 Input interface 115
  • Display controller 116 Data reader / writer 117
  • Communication interface 118
  • Input device 120 Recording medium 121 Bus

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

状況に応じて対象部位画像に対して効果的な表示をする施術支援装置１は、生体内部を撮像した画像から対象部位画像を検知する、検知部２と、対象部位画像を観察している状況であるか否かを推定する、推定部３と、対象部位画像を観察している状況であると推定された場合、対象部位画像に観察し易くする第一の表示を生成する、表示情報生成部４と、を有する。

Description

施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムを記録しているコンピュータ読み取り可能な記録媒体に関する。
　内視鏡を用いて生体内部を撮像した画像から、対象部位（例えば、病変領域など）に対応する対象部位画像を検知し、検知した対象部位画像に対して各種表示をすることで、観察者に対象部位画像を認識し易くする、施術支援装置が知られている。
　関連する技術として特許文献１、２には、対象部位画像の輪郭を表す表示、対象部位画像を塗りつぶす表示を行う技術が開示されている。また、特許文献１には、内視鏡に設けられたカメラの移動速度に応じて、対象部位画像に表示をすることが開示されている。
国際公開第２０１８／２１６６１８号 特開平１０－２０１７９００号公報
　しかしながら、特許文献１、２には、対象部位画像を観察者に認識し易くする技術ではあるが、対象部位画像の観察を支援する技術ではない。すなわち、対象部位画像を観察する場合、対象部位画像を細部に観察できるようにし、それ以外の場合に対象部位画像を認識し易くする技術ではない。
　本発明の目的の一例は、状況に応じて対象部位画像に対して効果的な表示をする施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における施術支援装置は、
　生体内部を撮像した画像から対象部位画像を検知する、検知部と、
　前記対象部位画像を観察している状況であるか否かを推定する、推定部と、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する、表示情報生成部と、
　することを特徴とする。
　また、上記目的を達成するため、本発明の一側面における施術支援方法は、
　生体内部を撮像した画像から対象部位画像を検知する、検知ステップと、
　前記対象部位画像を観察している状況であるか否かを推定する、推定ステップと、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する、表示情報生成ステップと
　を有することを特徴とする。
　さらに、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
　コンピュータに
　生体内部を撮像した画像から対象部位画像を検知する、検知ステップと、
　前記対象部位画像を観察している状況であるか否かを推定する、推定ステップと、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する、表示情報生成ステップと、
　を実行させる命令を含むプログラムを記録していることを特徴とする。
　以上のように本発明によれば、状況に応じて対象部位画像に対して効果的な表示をすることができる。
図１は、施術支援装置１の一例を説明するための図である。 図２は、第一の表示の一例を説明するための図である。 図３は、施術支援装置を有するシステムの一例を説明するための図である。 図４は、切り替えの高度化の一例を説明するための図である。 図５は、中間表示の一例を説明するための図である。 図６は、施術支援装置の動作の一例を説明するための図である。 図７は、施術支援装置を実現するコンピュータの一例を説明するための図である。
（実施形態）
　以下、本発明の実施形態について、図１から図７を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施形態における施術支援装置１の構成について説明する。図１は、施術支援装置１の一例を説明するための図である。
　図１に示す施術支援装置１は、状況に応じて対象部位画像に対して効果的な表示をする装置である。また、図１に示すように、施術支援装置１は、検知部２と、推定部３と、表示情報生成部４とを有する。
　このうち、検知部２は、生体内部を撮像した画像から対象部位画像を検知する。推定部３は、対象部位画像を観察している状況であるか否かを推定する。表示情報生成部４は、対象部位画像を観察している状況であると推定された場合、対象部位画像を観察し易くする第一の表示を生成する。
　図２を用いて具体的に説明をする。
　図２は、第一の表示の一例を説明するための図である。検知部２は、生体内部を撮像した画像２０１ａから、対象部位画像を検知する。対象部位とは、例えば、病変（腫瘍性病変、炎症性病変など）が生じた生体内部の領域である。対象部位画像とは、内視鏡に搭載された撮像装置により撮像された画像に含まれる対象部位に対応する領域の画像である。
　対象部位画像の検知は、生体内部を撮像した画像２０１ａに対してセグメンテーション処理を実行し、対象部位に対応する領域を認識することである。セグメンテーション処理については、文献１「藤田広志、『医療ＡＩとディープラーニングシリーズ 医用画像ディープラーニング入門』、２０１９年４月１０日、オーム社」の「Chapter6」などに記載されている。
　推定部３は、対象部位画像を、観察者が、観察をしている状況であるか否かを推定する。観察している状況であるか否かの推定は、一つ以上の対象部位画像が含まれる画像を用いて、内視鏡に搭載されたカメラなどの撮像装置の動きを推定する。この推定結果に基づいて、観察者が、対象部位を観察している状況であるか否かがわかる。
　その理由は、観察者が観察をしている場合、観察者は撮像装置をできるだけ動かさないようにして、画像上で対象部位画像が動かないようにするからである。したがって、観察者が観察をしている場合、撮像装置の動きの影響は画像にあまり表れないと想定される。
　対して、観察以外の場合、画像に撮像装置の動きの影響が大きく表れると想定される。そこで、撮像装置の動きを、例えば、画像のボケ・ブレ度合、又はオプティカルフロー処理の処理結果、又はそれら両方を用いるなどして、撮像装置の動きを指標化する。そして、その指標に基づいて、観察者が観察をしているか否かを判定する。
　観察している状況であるか否かの推定は、例えば、画像２０１ａのボケ・ブレ度合に基づいて推定する。ボケ・ブレ度合の算出については、例えば、文献２「Yan Ke, Xiaoou Tang, Feng Jing, “The Design of High-Level Features for Photo Quality Assessment” School of Computer Science, Carnegie Mellon; Microsoft Research Asia CVPR2006. https://www.cs.cmu.edu/~yke/photoqual/cvpr06photo.pdf」の「4.1. Spatial Distribution of Edges」「4.4. Blur」などに記載されている。
　又は、観察している状況であるか否かの推定は、例えば、画像２０１ａを含む複数の画像を用いて、オプティカルフロー処理を実行して、処理結果（対象部位画像の移動量）に基づいて推定する。オプティカルフロー処理については、例えば、文献３「藤吉弘亘、『知識の森』（http://www.ieice-hbkb.org/）、２０１０年９月、電子情報通信学会」の「２群２編　パターン認識とビジョン」「４章　動画解析　４-１：オプティカルフロー、４－２：トラッキング」（http://ieice-hbkb.org/files/02/02gun_02hen_04.pdf）などに記載されている。
　又は、観察している状況であるか否かの推定は、例えば、観察をしているか否かを分類するモデルに、画像のボケ・ブレ度合、又はオプティカルフロー処理の処理結果、又はそれら両方を入力して、対象部位画像を観察している状況であるか否かを推定する。観察をしているか否かの分類については、ニューラルネットワークをはじめとする、種々のパターン認識モデルを用いることで実現できる。
　例えば、「https://ja.wikipedia.org/wiki/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98」などに記載されている。また、ニューラルネットワークについては、例えば、文献４「久保陽太郎、『ディープラーニングによるパターン認識』（https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=91504&file_id=1&file_no=1）、情報処理学会誌「情報処理」、Vol.54, No.5 May 2013.」などに記載されている。
　表示情報生成部４は、推定部３により、観察者が対象部位画像を観察している状況であると推定された場合、対象部位画像を観察し易くする第一の表示を、出力装置の画面に表示するための第一の表示情報を生成する。例えば、図２の画像２０１ｃに示した対象部位画像の概形を示すような表示２０３（実線範囲）を表示させるための情報を生成して、出力装置へ送信する。
　なお、第一の表示は、対象部位画像の輪郭を囲む囲み枠、又は対象部位画像の輪郭すべて含む囲み枠、又は対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である。なお、囲み枠の形状は、例えば、楕円形、円形、四角形などでもよい。また、囲み枠の種類は、実線だけでなく、例えば、破線などでもよい。
　また、表示情報生成部４は、対象部位画像を観察している状況以外と推定された場合、対象部位画像を認識し易くする第二の表示を、出力装置の画面に表示するための第二の表示情報を生成する。例えば、画像２０１ｂに示した対象部位領域の領域内部を所定色又はパターンで塗りつぶすような表示２０２（網掛け範囲）を表示させるための情報を生成して、出力装置２３へ送信する。
　なお、第二の表示は、対象部位画像の領域、又は対象部位画像を含む領域、又は対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である。
　このように、本実施形態においては、観察者が対象部位画像を観察している状況であると推定された場合に効果的な表示をするので、観察者に対象部位画像を観察し易くすることができる。
　具体的には、内視鏡診療中の医師（観察者）が、病変を観察する場合、自動検知結果の伝達方法として、病変領域の血管構造などを遮蔽するような表示（表示２０２）では、医師の病変観察を阻害することになるので、病変の概形を表す表示（表示２０３）が望ましい。対して、病変を観察する以外の状況、例えば、内視鏡を抜去しながら病変を探索する場合、又は、病変観察のためにカメラのアングルを変える場合、病変位置を容易に把握できるような表示（表示２０２）が望ましい。
　なお、対象部位画像を観察する場合、上述したように自動で、対象部位画像を観察し易くする表示に切り替えてもよいが、観察者が手動で切り替えられるようにしてもよい。例えば、施術支援装置１又は内視鏡などにスイッチなどの切り替え機構を設け、そのスイッチを用いて表示を切り替えられるようにしてもよい。また、出力装置に切り替え用ユーザインタフェースを表示させて、ユーザインタフェースを用いて表示を切り替えてもよい。
［システム構成］
　続いて、図３を用いて、本実施形態における施術支援装置１の構成をより具体的に説明する。図３は、施術支援装置を有するシステムの一例を説明するための図である。
　図３に示すように、本実施の形態におけるシステム２０は、施術支援装置１に加え、制御部２１と、内視鏡２２と、出力装置２３とを有する。また、推定部３は、動作推定部３１を有する。さらに、表示情報生成部４は、第一の表示情報生成部４１と、第二の表示情報生成部４２とを有する。
　制御部２１は、入力された画像に対して画像処理などを実行する、例えば、ビデオプロセッサをなどである。具体的には、制御部２１は、内視鏡２２から撮像信号を取得して、撮像信号に対して画像調整などを行い、生体内部を撮像した画像を生成して施術支援装置１へ出力する。
　内視鏡２２は、人体などの生体内部を撮像した生体内部の画像を、内視鏡２２と接続されている制御部２１へ送信する。内視鏡２２は、例えば、生体内部に挿入する挿入部と、挿入部の先端側に設けられているカメラなどの撮像装置と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２２と施術支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像装置以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。
　出力装置２３は、表示情報生成部４から出力可能な形式に変換された表示情報などを含む情報を取得し、その情報に基づいて生成した画像及び音声などを出力する。なお、出力装置２３は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２３は、プリンタなどの印刷装置でもよい。
　施術支援装置について具体的に説明する。
　検知部２は、撮像された生体内部の画像から対象部位画像を検知する。具体的には、検知部２は、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する。続いて、検知部２は、セグメント処理を用いて、取得した画像から対象部位に対応する領域（対象部位画像）を検知する。続いて、検知部２は、検知した対象部位の領域を表す情報を表示情報生成部４へ出力する。対象部位の領域を表す情報は、例えば、対象部位の領域を抽出するマスク画像（白黒の二値画像）などの情報が考えられる。
　推定部３は、観察者が対象部位を、出力装置２３に表示された対象部位画像を用いて観察をしている状況であるか否かを推定する。すなわち、推定部３は、一つ以上の画像を用いて、内視鏡２２に搭載されたカメラなどの撮像装置の動作状態を推定する。例えば、動作状態の推定方法としては次に示す（１）（２）の方法が考えられる。
（１）一つ以上の画像のボケ・ブレ度合（第一の指標）を算出し、算出したボケ・ブレ度合が、あらかじめ設定されたボケ・ブレ閾値より小さい場合、撮像装置の動きが小さいと推定する方法。
（２）複数の画像の対象部位画像の移動ベクトル（対象部位画像の移動量：第二の指標）を、オプティカルフロー処理を用いて算出し、算出した移動量が、あらかじめ設定された移動量閾値より小さい場合、撮像装置の動きが小さいと推定する方法。
　さらに、推定部３は、一つ以上の画像を用いて、観察状態を推定してもよい。観察状態を推定方法としては次に示す（３）の方法が考えられる。
（３）観察をしているか否かを分類するモデルに、（１）で算出した画像のボケ・ブレ度合、又は（２）で算出したオプティカルフロー処理の処理結果、又はそれら両方を入力して、観察者が対象部位画像を観察している状況であるか否かを表す推定結果（第三の指標）を推定する方法。
　（１）の推定について具体的に説明する。
　動作推定部３１は、（１）の推定をする場合、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する。続いて、動作推定部３１は、一つ以上の画像を用いて、ボケ・ブレ度合αを算出する。続いて、動作推定部３１は、ボケ・ブレ度合αがボケ・ブレ閾値ｔｈ１より小さいか否かを判定する。そして、動作推定部３１は、ボケ・ブレ度合αがボケ・ブレ閾値ｔｈ１より小さい場合、観察者が観察をしていると推定する。ボケ・ブレ閾値ｔｈ１は、実験又はシミュレーションなどにより求める。
　ボケ・ブレ度合αの算出方法の一例としては、上述した文献２の「4.1.」「4.4.」に記載されている「Spatial Distribution of Edges」「Blur」を利用できる。具体的には、例えば、動作推定部３１は、時系列に撮像された画像のｉ番目のフレーム画像のボケ・ブレ度合αｉを、数１を用いて算出する。
Figure JPOXMLDOC01-appb-M000001
　また、数２に基づいて対象とする生体内部画像より前に撮像されたｍ枚の生体内部画像のボケ・ブレ度合αを利用してもよい。
Figure JPOXMLDOC01-appb-M000002
　（２）の推定について具体的に説明する。
　動作推定部３１は、（２）の推定をする場合、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する。続いて、動作推定部３１は、画像それぞれから対象部位画像を抽出する。続いて、動作推定部３１は、複数の画像を用いて、画像間の対象部位画像の移動ベクトル（対象部位画像の移動量ｕ）を算出する。
　例えば、時系列に撮像されたある時刻ｔにおける対象部位画像の位置（ｘ，ｙ）の輝度をＩ（ｘ，ｙ，ｔ）とする。また、この点（ｘ，ｙ）が微小時間後ｔ＋δｔの画像において（δｘ，δｙ）だけ変位したときの輝度をＩ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）とする。ここで、上述した二枚の画像の対応するＩ（ｘ，ｙ，ｔ）とＩ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）の輝度が変わらないと仮定すると、数３が成り立つ。
Figure JPOXMLDOC01-appb-M000003
　次に、画像間での変位量が小さいことを仮定して、Ｉ（ｘ，ｙ，ｔ）についてテイラー展開を行う。また、テイラー展開における高次の項が無視できるほど小さいと仮定することで、数４に示すオプティカルフロー拘束式が得られる。
Figure JPOXMLDOC01-appb-M000004
　このときのｕｘとｕｙで表される数５のｕが、対象部位画像の位置（ｘ，ｙ）における移動ベクトル（またはオプティカルフロー）となる。
Figure JPOXMLDOC01-appb-M000005
　また、移動ベクトルｕの算出方法は、上述した文献３に記載のとおり、種々の手法が提案されている。例えば、Lucas-Kanade法は、局所近傍領域内において移動ベクトルが一様であることを仮定し、その領域内の各画素について輝度不変性のオプティカルフロー拘束条件を課して、その移動ベクトルの最小二乗解を求める。
　移動ベクトル推定の対象画素を中心としたｍ×ｍ＝ｎ画素の近傍領域を考えると、数６に示す連立方程式を得ることができる。
Figure JPOXMLDOC01-appb-M000006
　このときの移動ベクトルｕは、評価関数Ｅの最小二乗解として計算される。
Figure JPOXMLDOC01-appb-M000007
　続いて、動作推定部３１は、算出した移動量ｕが移動量閾値ｔｈ２より小さいか否かを判定する。そして、動作推定部３１は、移動量ｕが移動量閾値ｔｈ２より小さい場合、観察者が観察をしていると推定する。移動量閾値ｔｈ２は、実験又はシミュレーションなどにより求める。
　（３）の推定について具体的に説明する。
　図４は、切り替えの高度化の一例を説明するための図である。（３）の推定では、動作推定部３１で推定したボケ・ブレ度合α、又はオプティカルフロー処理の処理結果（移動量ｕ）、又はそれら両方のカメラの動きを表す指標を、分類モデルに入力して、観察者が観察をしているか否かを推定する。
　観察推定部３２は、（３）の推定をする場合、分類モデルに、ボケ・ブレ度合α、又は移動量ｕ、又はそれら両方を入力して、観察者が対象部位画像を観察している状況であるか否かを表す推定結果βを出力する。分類モデルは、例えば、観察者が観察をしているか否かを分類する分類器である。また、分類モデルは、推定結果βとして観察状態らしさを出力する。推定結果βは、例えば、０．０から１．０の間の数値で表すことができる。ただし、推定結果βは、上述した数値に限定されるものではない。
　具体的には、観察推定部３２は、まず、動作推定部３１の推定結果であるボケ・ブレ度合α、又は移動量ｕ、又はそれら両方を取得する。続いて、観察推定部３２は、動作推定部３１の推定結果を分類モデルに入力する。続いて、観察推定部３２は、分類モデルを用いて推定結果βを出力する。続いて、観察推定部３２は、推定結果βが観察状態閾値ｔｈ３より小さいか否かを判定する。そして、観察推定部３２は、推定結果βが観察状態閾値ｔｈ３より小さい場合、観察者が観察をしていると推定する。観察状態閾値ｔｈ３は、実験又はシミュレーションなどにより求める。
　表示情報生成部４は、観察者が対象部位画像を観察している状況に応じて、対象部位画像に対して効果的な表示をするための表示情報を生成する。
　第一の表示情報生成部４１は、対象部位画像を観察している状況と推定された場合、対象部位画像を認識し易くする第一の表示情報を生成する。具体的には、第一の表示情報生成部４１は、まず、推定部３から推定結果（（１）又は（２）又は（３）の結果）を取得する。続いて、第一の表示情報生成部４１は、当該推定結果が観察をしている状況であることを表している場合、図２に示したような表示２０３を有する画像２０１ｃを表示させるための表示情報を生成する。その後、第一の表示情報生成部４１は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図２の画像２０１ｃでは、観察者が、対象部位を詳細に観察できるようにするための表示２０３がされている。表示２０３としては、例えば、対象部位画像の領域に所定色の概形を表示することが考えられる。ただし、表示２０３は、観察を阻害することなく、対象部位画像の位置を把握できる表示であればよい。
　第二の表示情報生成部４２は、対象部位画像を観察している状況以外と推定された場合、対象部位画像を認識し易くする第二の表示を生成する。具体的には、第二の表示情報生成部４２は、まず、推定部３から推定結果（（１）又は（２）又は（３）の結果）を取得する。続いて、第二の表示情報生成部４２は、推定結果が観察をしている状況でないことを表している場合、図２に示したような表示２０２を有する画像２０１ｂを表示させるための表示情報を生成する。その後、第二の表示情報生成部４２は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図２の画像２０１ｂでは、観察者が、対象部位画像を容易に把握できるようにするための表示２０２が表示されている。表示２０２としては、例えば、対象部位画像の領域内部を所定色又はパターンで塗りつぶして表示することが考えられる。また、所定色としては、透明度を設定してもよい。すなわち、表示２０２を透過させる表示としてもよい。
　第三の表示情報生成部４３は、第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスに見せるために、第一の表示と第二の表示との間に表示させる一つ以上の第三の表示を生成する。第三の表示は、例えば、第一の表示と第二の表示との中間表示である。中間表示とは、例えば、推定結果βが小さい値であるほど第二の表示の透明度を下げ、推定結果βが大きい値であるほど第二の表示の透明度を上げるような表示が考えられる。
　図４、図５を用いて、第三の表示情報生成部４３について具体的に説明をする。
　図５は、中間表示の一例を説明するための図である。第三の表示情報生成部４３は、まず、推定部３から推定結果βを取得する。続いて、第三の表示情報生成部４３は、推定結果βに応じて、図５に示すように表示をさせるための表示情報を生成する。その後、第三の表示情報生成部４３は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図５の例では、推定結果β＝０．０の場合に画像２０１ｂを表示し、推定結果β＝０．５の場合に画像５０１を表示し、推定結果β＝１．０の場合に画像２０１ｃを表示している。このように、推定結果βに応じて表示を変化させることで、第一の表示と第二の表示をシームレスに変化させて表示できる。
　図５の画像５０１では、観察者が、対象部位画像を容易に把握できるようにするための表示５０２（第三の表示）が表示されている。表示５０２としては、例えば、対象部位領域内を第二の表示の色より薄い色で塗りつぶして表示することが考えられる。例えば、第二の表示において設定した透明度を上げた設定してもよい。
［装置動作］
　次に、本発明の実施形態における施術支援装置の動作について図６を用いて説明する。図６は、施術支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図１から図５を参照する。また、本実施形態では、施術支援装置を動作させることによって、施術支援方法が実施される。よって、本実施形態における施術支援方法の説明は、以下の施術支援装置の動作説明に代える。
　図６に示すように、検知部２は、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する（ステップＡ１）。続いて、検知部２は、セグメント処理を用いて、取得した画像から対象部位に対応する領域（対象部位画像）を検知する（ステップＡ２）。続いて、ステップＡ２において、検知部２は、検知した対象部位の領域を表す情報を表示情報生成部４へ出力する。対象部位領域を表す情報は、例えば、対象部位の領域を抽出するマスク画像（白黒の二値画像）などの情報が考えられる。
　また、推定部３は、まず、観察者が対象部位を、出力装置２３に表示された対象部位画像を用いて観察をしている状況であるか否かを推定する（ステップＡ３）。推定方法としては上述した（１）（２）（３）の方法が考えられる。
（１）一つ以上の画像のボケ・ブレ度合（第一の指標）を算出し、算出したボケ・ブレ度合が、あらかじめ設定されたボケ・ブレ閾値より小さい場合、撮像装置の動きが小さいと推定する方法。
（２）複数の画像の対象部位画像の移動ベクトル（対象部位画像の移動量：第二の指標）を、オプティカルフロー処理を用いて算出し、算出した移動量が、あらかじめ設定された移動量閾値より小さい場合、撮像装置の動きが小さいと推定する方法。
（３）観察をしているか否かを分類するモデルに、（１）で算出した画像のボケ・ブレ度合、又は（２）で算出したオプティカルフロー処理の処理結果、又はそれら両方を入力して、観察者が対象部位画像を観察している状況であるか否かを表す推定結果（第三の指標）を推定する方法。
　（１）の推定について具体的に説明する。
　ステップＡ３において、動作推定部３１は、（１）の推定をする場合、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する。続いて、ステップＡ３において、動作推定部３１は、一つ以上の画像を用いて、ボケ・ブレ度合αを算出する。続いて、ステップＡ３において、動作推定部３１は、ボケ・ブレ度合αがボケ・ブレ閾値ｔｈ１より小さいか否かを判定する。そして、ステップＡ３において、動作推定部３１は、ボケ・ブレ度合αがボケ・ブレ閾値ｔｈ１より小さい場合、観察者が観察をしていると推定する。ボケ・ブレ閾値ｔｈ１は、実験又はシミュレーションなどにより求める。
　なお、動作推定部３１は、ボケ、又はブレ、又は色調分布、又は色合い、又はコントラスト、又はそれらのうちの二つ以上を組み合わせて、ボケ・ブレ度合αを補正してもよい。
　（２）の推定について具体的に説明する。
　ステップＡ３において、動作推定部３１は、（２）の推定をする場合、まず、内視鏡２２を用いて時系列に撮像された画像を制御部２１から取得する。続いて、ステップＡ３において、動作推定部３１は、画像それぞれから対象部位画像を抽出する。続いて、ステップＡ３において、動作推定部３１は、画像間の対象部位画像の移動ベクトル（対象部位画像の移動量ｕ）を算出する。続いて、ステップＡ３において、動作推定部３１は、算出した移動量ｕが移動量閾値ｔｈ２より小さいか否かを判定する。そして、ステップＡ３において、動作推定部３１は、移動量ｕが移動量閾値ｔｈ２より小さい場合、観察者が観察をしていると推定する。移動量閾値ｔｈ２は、実験又はシミュレーションなどにより求める。
　（３）の推定について具体的に説明する。
　ステップＡ３において、観察推定部３２は、分類モデルに、ボケ・ブレ度合α、又は移動量ｕ、又はそれら両方を入力して、観察者が対象部位画像を観察している状況であるか否かを表す推定結果βを出力する。分類モデルは、例えば、観察者が観察をしているか否かを分類する分類器である。また、分類モデルは、推定結果βとして観察状態らしさを出力する。推定結果βは、例えば、０．０から１．０の間の数値で表すことができる。ただし、推定結果βは、上述した数値に限定されるものではない。
　ステップＡ３において、観察推定部３２は、（３）の推定をする場合、まず、動作推定部３１の推定結果であるボケ・ブレ度合α、又は移動量ｕ、又はそれら両方を取得する。続いて、ステップＡ３において、観察推定部３２は、動作推定部３１の推定結果を分類モデルに入力する。続いて、ステップＡ３において、観察推定部３２は、分類モデルを用いて推定結果βを出力する。続いて、ステップＡ３において、観察推定部３２は、推定結果βが観察状態閾値ｔｈ３より小さいか否かを判定する。そして、ステップＡ３において、観察推定部３２は、推定結果βが観察状態閾値ｔｈ３より小さい場合、観察者が観察をしていると推定する。観察状態閾値ｔｈ３は、実験又はシミュレーションなどにより求める。
　次に、表示情報生成部４は、観察者が対象部位画像を観察している状況に応じて、対象部位画像に対して効果的な表示をするための表示情報を生成する（ステップＡ４）。その後、表示情報生成部４は、生成した表示情報を含む出力情報を出力装置２３へ送信する（ステップＡ５）。
　ステップＡ４において、対象部位画像を観察している状況と推定された場合、第一の表示情報生成部４１は、対象部位画像を認識し易くする第一の表示情報を生成する。具体的には、ステップＡ４において、第一の表示情報生成部４１は、まず、推定部３から推定結果（（１）又は（２）又は（３）の結果）を取得する。
　続いて、ステップＡ４において、第一の表示情報生成部４１は、当該推定結果が観察をしている状況であることを表している場合、図２に示したような表示２０３を有する画像２０１ｃを表示させるための表示情報を生成する。その後、ステップＡ５において、第一の表示情報生成部４１は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図２の画像２０１ｃでは、観察者が、対象部位を詳細に観察できるようにするための表示２０３がされている。表示２０３は、例えば、対象部位画像の領域に所定色の概形を表示することが考えられる。ただし、表示２０３は、観察を阻害することなく、対象部位画像の位置を把握できる表示であればよい。
　ステップＡ４において、対象部位画像を観察している状況以外と推定された場合、第二の表示情報生成部４２は、対象部位画像を認識し易くする第二の表示を生成する。具体的には、ステップＡ４において、第二の表示情報生成部４２は、まず、推定部３から推定結果（（１）又は（２）又は（３）の結果）を取得する。
　続いて、ステップＡ４において、第二の表示情報生成部４２は、推定結果が観察をしている状況でないことを表している場合、図２に示したような表示２０２を有する画像２０１ｂを表示させるための表示情報を生成する。その後、ステップＡ５において、第二の表示情報生成部４２は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図２の画像２０１ｂには、観察者が、対象部位画像を容易に把握できるようにするための表示２０２が表示されている。表示２０２は、例えば、対象部位画像の領域内を所定色又はパターンで塗りつぶして表示することが考えられる。また、所定色としては、透明度を設定してもよい。すなわち、表示２０２を透過させる表示としてもよい。
　さらに、ステップＡ４において、第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスに見せるために、第三の表示情報生成部４３は、第一の表示と第二の表示との間に表示させる一つ以上の第三の表示を生成してもよい。
　第三の表示は、例えば、第一の表示と第二の表示との中間表示である。中間表示とは、例えば、推定結果βが小さい値であるほど第二の表示の透明度を下げ、推定結果βが大きい値であるほど第二の表示の透明度を上げるような表示が考えられる。
　具体的には、ステップＡ４において、第三の表示情報生成部４３は、まず、推定部３から推定結果βを取得する。続いて、ステップＡ４において、第三の表示情報生成部４３は、推定結果βに応じて、図５に示すように表示をさせるための表示情報を生成する。その後、ステップＡ４において、第三の表示情報生成部４３は、生成した表示情報を含む出力情報を出力装置２３へ送信する。
　図５の例では、推定結果β＝０．０の場合に画像２０１ｂを表示し、推定結果β＝０．５の場合に画像５０１を表示し、推定結果β＝１．０の場合に画像２０１ｃを表示している。このように、推定結果βに応じて表示を変化させることで、第一の表示と第二の表示をシームレスに変化させて表示できる。
［本実施形態の効果］
　以上のように本実施形態によれば、観察者が対象部位画像を観察している状況であると推定された場合に効果的な表示をするので、観察者に対象部位画像を観察し易くすることができる。
　具体的には、内視鏡診療中の医師（観察者）が、病変を観察する場合、自動検知結果の伝達方法として、病変領域の血管構造などを遮蔽するような表示（表示２０２）では、医師の病変観察を阻害することになるので、病変の概形を表す表示（表示２０３）が望ましい。対して、病変を観察する以外の状況、例えば、内視鏡を抜去しながら病変を探索する場合、又は、病変観察のためにカメラのアングルを変える場合、病変位置を容易に把握できるような表示（表示２０２）が望ましい。
　なお、対象部位画像を観察する場合、上述したように自動で、対象部位画像を観察し易くする表示に切り替えてもよいが、観察者が手動で切り替えられるようにしてもよい。例えば、施術支援装置１又は内視鏡などにスイッチなどの切り替え機構を設け、そのスイッチを用いて表示を切り替えられるようにしてもよい。また、出力装置に切り替え用ユーザインタフェースを表示させて、ユーザインタフェースを用いて表示を切り替えてもよい。さらに、マイクから音声に関する音声情報を取得し、音声情報に基づいて表示を切り替えてもよい。
［プログラム］
　本発明の実施形態におけるプログラムは、コンピュータに、図７に示すステップＡ１からＡ５を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における施術支援装置と施術支援方法とを実現することができる。この場合、コンピュータのプロセッサは、検知部２、推定部３、表示情報生成部４として機能し、処理を行なう。
　また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、検知部２、推定部３、表示情報生成部４のいずれかとして機能してもよい。
［物理構成］
　ここで、本実施形態におけるプログラムを実行することによって、施術支援装置を実現するコンピュータについて図７を用いて説明する。図７は、施術支援装置を実現するコンピュータの一例を説明するための図である。
　図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
　なお、本実施形態における施術支援装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、施術支援装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
　以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する（付記１）から（付記２４）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
　生体内部を撮像した画像から対象部位画像を検知する、検知部と、
　前記対象部位画像を観察している状況であるか否かを推定する、推定部と、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する、表示情報生成部と、
　を有することを特徴とする施術支援装置。
（付記２）
　付記１に記載の施術支援装置であって、
　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
　ことを特徴とする施術支援装置。
（付記３）
　付記１又は２に記載の施術支援装置であって、
　前記表示情報生成部は、前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成する
　ことを特徴とする施術支援装置。
（付記４）
　付記３に記載の施術支援装置であって、
　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
　ことを特徴とする施術支援装置。
（付記５）
　付記３又は４に記載の施術支援装置であって、
　前記表示情報生成部は、前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成する
　ことを特徴とする施術支援装置。
（付記６）
　付記１から５のいずれか一つに記載の施術支援装置であって、
　前記推定部は、前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とする施術支援装置。
（付記７）
　付記１から６のいずれか一つに記載の施術支援装置であって、
　前記推定部は、更にオプティカルフローを用いて推定する
　ことを特徴とする施術支援装置。
（付記８）
　付記１から７のいずれか一つに記載の施術支援装置であって、
　前記推定部は、観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフローの処理結果、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とする施術支援装置。
（付記９）
　生体内部を撮像した画像から対象部位画像を検知する、検知ステップと、
　前記対象部位画像を観察している状況であるか否かを推定する、推定ステップと、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像に観察し易くする第一の表示を生成する、表示情報生成ステップと、
　を有することを特徴とする施術支援方法。
（付記１０）
　付記９に記載の施術支援方法であって、
　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
　ことを特徴とする施術支援方法。
（付記１１）
　付記９又は１０に記載の施術支援方法であって、
　前記表示情報生成ステップにおいて、前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成する
　ことを特徴とする施術支援方法。
（付記１２）
　付記１１に記載の施術支援方法であって、
　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
　ことを特徴とする施術支援方法。
（付記１３）
　付記１１から１２のいずれか一つに記載の施術支援方法であって、
　前記表示情報生成ステップにおいて、前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成する
　ことを特徴とする施術支援方法。
（付記１４）
　付記９から１３のいずれか一つに記載の施術支援方法であって、
　前記推定ステップにおいて、前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とする施術支援方法。
（付記１５）
　付記９から１４のいずれか一つに記載の施術支援方法であって、
　前記推定ステップにおいて、オプティカルフローを用いて、前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とする施術支援方法。
（付記１６）
　付記９から１５のいずれか一つに記載の施術支援方法であって、
　前記推定ステップにおいて、観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフローの処理結果、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とする施術支援方法。
（付記１７）
　コンピュータに
　生体内部を撮像した画像から対象部位画像を検知する、検知ステップと、
　前記対象部位画像を観察している状況であるか否かを推定する、推定ステップと、
　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像に観察し易くする第一の表示を生成する、表示情報生成ステップと
　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１８）
　付記１７に記載のコンピュータ読み取り可能な記録媒体であって、
　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１９）
　付記１７又は１８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記表示情報生成ステップにおいて、前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成する
　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記２０）
　付記１９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記２１）
　付記１９から２０のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記表示情報生成ステップにおいて、前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記２２）
　付記１７から２１のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記推定ステップにおいて、前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記２３）
　付記１７から２２のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記推定ステップにおいて、オプティカルフローを用いて、前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記２４）
　付記１７から２３のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記推定ステップにおいて、観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフローの処理結果、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように本発明によれば、状況に応じて対象部位画像に対して効果的な表示をすることができる。本発明は、内視鏡を用いて施術を必要とする分野において有用である。
　　１　施術支援装置
　　２　検知部
　　３　推定部
　　４　表示情報生成部
　２０　システム
　２１　制御部
　２２　内視鏡
　２３　出力装置
　３１　動作推定部
　３２　観察推定部
　４１　第一の表示情報生成部
　４２　第二の表示情報生成部
　４３　第三の表示情報生成部
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２１　バス

Claims (24)

  1. 　生体内部を撮像した画像から対象部位画像を検知する、検知手段と、
    　前記対象部位画像を観察している状況であるか否かを推定する、推定手段と、
    　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する、表示情報生成手段と、
    　を有することを特徴とする施術支援装置。
  2. 　請求項１に記載の施術支援装置であって、
    　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
    　ことを特徴とする施術支援装置。
  3. 　請求項１又は２に記載の施術支援装置であって、
    　前記表示情報生成手段は、前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成する
    　ことを特徴とする施術支援装置。
  4. 　請求項３に記載の施術支援装置であって、
    　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
    　ことを特徴とする施術支援装置。
  5. 　請求項３又は４に記載の施術支援装置であって、
    　前記表示情報生成手段は、前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成する
    　ことを特徴とする施術支援装置。
  6. 　請求項１から５のいずれか一つに記載の施術支援装置であって、
    　前記推定手段は、前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援装置。
  7. 　請求項１から６のいずれか一つに記載の施術支援装置であって、
    　前記推定手段は、オプティカルフローを用いて、前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援装置。
  8. 　請求項１から７のいずれか一つに記載の施術支援装置であって、
    　前記推定手段は、観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフロー、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援装置。
  9. 　生体内部を撮像した画像から対象部位画像を抽出し、
    　前記対象部位画像を観察している状況であるか否かを推定し、
    　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成する
    　ことを特徴とする施術支援方法。
  10. 　請求項９に記載の施術支援方法であって、
    　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
    　ことを特徴とする施術支援方法。
  11. 　請求項９又は１０に記載の施術支援方法であって、
    　前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成する
    　ことを特徴とする施術支援方法。
  12. 　請求項１１に記載の施術支援方法であって、
    　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
    　ことを特徴とする施術支援方法。
  13. 　請求項１１から１２のいずれか一つに記載の施術支援方法であって、
    　前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成する
    　ことを特徴とする施術支援方法。
  14. 　請求項９から１３のいずれか一つに記載の施術支援方法であって、
    　前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援方法。
  15. 　請求項９から１４のいずれか一つに記載の施術支援方法であって、
    　オプティカルフローを用いて、前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援方法。
  16. 　請求項９から１５のいずれか一つに記載の施術支援方法であって、
    　観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフロー、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定する
    　ことを特徴とする施術支援方法。
  17. 　コンピュータに
    　生体内部を撮像した画像から対象部位画像を抽出させ、
    　前記対象部位画像を観察している状況であるか否かを推定させ、
    　前記対象部位画像を観察している状況であると推定された場合、前記対象部位画像を観察し易くする第一の表示を生成させる、
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  18. 　請求項１７に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記第一の表示は、前記対象部位画像の輪郭を囲む囲み枠、又は前記対象部位画像をすべて含む囲み枠、又は前記対象部位画像の一部領域を囲む囲み枠を、所定色で表した表示である
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  19. 　請求項１７又は１８に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記対象部位画像を観察している状況以外と推定された場合、前記対象部位画像を認識し易くする第二の表示を生成させる
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  20. 　請求項１９に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記第二の表示は、前記対象部位画像の領域、又は前記対象部位画像を含む領域、又は前記対象部位画像の一部領域を、所定色又はパターンで塗りつぶした表示である
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  21. 　請求項１９から２０のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    　前記第一の表示と前記第二の表示とを切り替える場合、切り替えをシームレスにするために、前記第一の表示と前記第二の表示との間に表示させる一つ以上の第三の表示を生成させる
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  22. 　請求項１７から２１のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    　前記画像のボケ・ブレ度合を用いて、前記対象部位画像を観察している状況であるか否かを推定させる
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  23. 　請求項１７から２２のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    　オプティカルフローを用いて、前記対象部位画像を観察している状況であるか否かを推定させる
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  24. 　請求項１７から２３のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    　観察をしているか否かを分類するモデルに、前記画像のボケ・ブレ度合、又はオプティカルフロー、又はそれら両方を入力して、前記画像における前記対象部位画像を観察している状況であるか否かを推定させる
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2020/002006 2020-01-21 2020-01-21 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 Ceased WO2021149169A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/002006 WO2021149169A1 (ja) 2020-01-21 2020-01-21 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
JP2021572174A JP7315033B2 (ja) 2020-01-21 2020-01-21 施術支援装置、施術支援方法、及びプログラム
US17/791,398 US12295549B2 (en) 2020-01-21 2020-01-21 Surgical operation support apparatus, surgical operation support method, and computer-readable recording medium
EP20914888.1A EP4094672A4 (en) 2020-01-21 2020-01-21 OPERATING ASSIST DEVICE, OPERATING ASSISTING METHOD AND COMPUTER READABLE RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/002006 WO2021149169A1 (ja) 2020-01-21 2020-01-21 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2021149169A1 true WO2021149169A1 (ja) 2021-07-29

Family

ID=76993185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002006 Ceased WO2021149169A1 (ja) 2020-01-21 2020-01-21 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US12295549B2 (ja)
EP (1) EP4094672A4 (ja)
JP (1) JP7315033B2 (ja)
WO (1) WO2021149169A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201790A (ja) 1997-01-24 1998-08-04 Kao Corp パンツ型の使い捨ておむつ
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018216618A1 (ja) 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3771985B2 (ja) 1997-01-20 2006-05-10 オリンパス株式会社 蛍光観察内視鏡装置
EP3029675A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for generating automatic animation
US10139827B2 (en) * 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201790A (ja) 1997-01-24 1998-08-04 Kao Corp パンツ型の使い捨ておむつ
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018216618A1 (ja) 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HIRONOBU FUJIYOSHI: "Forest of Knowledge", IEICE, September 2010 (2010-09-01), Retrieved from the Internet <URL:http://www.ieice-hbkb.org>
HIROSHI FUJITA: "Medical AI and Deep Learning Series - Introduction to Deep Learning for Medical Imaging", OHMSHA LTD., 10 April 2019 (2019-04-10)
See also references of EP4094672A4
YAN KEXIAOOU TANGFENG JING: "The Design of High-Level Features for Photo Quality Assessment", SCHOOL OF COMPUTER SCIENCE, CARNEGIE MELLON, MICROSOFT RESEARCH ASIA CVPR, 2006, Retrieved from the Internet <URL:https://www.cs.cmu.edu/-yke/photoqual/cvpr06photo.pdf>
YOTARO KUBO: "Pattern Recognition with Deep Learning", JOURNAL OF INFORMATION PROCESSING SOCIETY OF JAPAN ''INFORMATION PROCESSING, vol. 54, no. 5, May 2013 (2013-05-01), Retrieved from the Internet <URL:https:Hipsj.ixsq.nii.ac.jp/ej/?action=repository-uli&item-id=91504&file-id=I&fileno=l>

Also Published As

Publication number Publication date
EP4094672A4 (en) 2023-01-11
EP4094672A1 (en) 2022-11-30
JP7315033B2 (ja) 2023-07-26
US12295549B2 (en) 2025-05-13
US20230041542A1 (en) 2023-02-09
JPWO2021149169A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
US11907849B2 (en) Information processing system, endoscope system, information storage medium, and information processing method
US20180108138A1 (en) Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
KR20250046358A (ko) 의료영상 장치로부터의 실시간 비디오 처리 및 그 비디오로부터 오브젝트를 검출하기 위한 시스템 및 방법
KR20240160649A (ko) 적대적 생성 네트워크를 훈련시키기 위한 시스템 및 방법, 그리고 훈련된 적대적 생성 네트워크의 사용
Zhu et al. CRCNet: Global-local context and multi-modality cross attention for polyp segmentation
Du et al. Patch-based adaptive weighting with segmentation and scale (pawss) for visual tracking in surgical video
JP7565824B2 (ja) プログラム、情報処理方法及び情報処理装置
KR101661211B1 (ko) 얼굴 인식률 개선 장치 및 방법
JP7040630B2 (ja) 位置推定装置、位置推定方法、及びプログラム
US20240221154A1 (en) Method and device for displaying bio-image tissue
US11900615B2 (en) Tracking device, endoscope system, and tracking method
WO2020012530A1 (ja) 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
KR101791604B1 (ko) 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
JPWO2020194664A1 (ja) トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
JP2005020338A (ja) 異常陰影検出方法および装置並びにプログラム
JP2020061081A (ja) 画像処理装置および画像処理方法
JPWO2016208016A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7315033B2 (ja) 施術支援装置、施術支援方法、及びプログラム
JP2005020337A (ja) 画像処理方法および装置並びにプログラム
JP7215504B2 (ja) 施術支援装置、施術支援方法、及びプログラム
US20140221746A1 (en) Stereo endoscope apparatus and image processing method
JP5308848B2 (ja) シーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法
US20250185884A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
JP7750418B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021572174

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020914888

Country of ref document: EP

Effective date: 20220822

WWG Wipo information: grant in national office

Ref document number: 17791398

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2020914888

Country of ref document: EP