[go: up one dir, main page]

WO2024024022A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Download PDF

Info

Publication number
WO2024024022A1
WO2024024022A1 PCT/JP2022/029104 JP2022029104W WO2024024022A1 WO 2024024022 A1 WO2024024022 A1 WO 2024024022A1 JP 2022029104 W JP2022029104 W JP 2022029104W WO 2024024022 A1 WO2024024022 A1 WO 2024024022A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
endoscopic image
heat map
endoscopic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/029104
Other languages
English (en)
French (fr)
Inventor
達 木村
匠真 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US18/286,636 priority Critical patent/US20250089984A1/en
Priority to JP2024536678A priority patent/JP7750418B2/ja
Priority to PCT/JP2022/029104 priority patent/WO2024024022A1/ja
Priority to US18/525,167 priority patent/US12533006B2/en
Publication of WO2024024022A1 publication Critical patent/WO2024024022A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G06T11/10—
    • G06T11/26—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to image processing related to endoscopy.
  • Patent Document 1 describes a method in which, when a lesion is detected, markers surrounding the lesion are displayed superimposed on the observation image, or markers are displayed so as to surround the periphery of the observation image, depending on the risk of overlooking the lesion. There is.
  • Patent Document 1 Even in Patent Document 1, it is not always possible to show the position and size of a lesion without superimposing graphics or the like on an endoscopic image.
  • One objective of the present disclosure is to provide an endoscopy support device that can grasp the position and size of a lesion.
  • an endoscopy support device includes: an image acquisition means for acquiring an endoscopic image taken by the endoscope; Lesion detection means for detecting a lesion candidate from the endoscopic image; heat map generation means for generating a heat map that expresses the possibility of a lesion of a lesion candidate included in the endoscopic image in color; a display control means for displaying a lesion position on a frame of the endoscopic image based on the lesion candidate and the heat map; Equipped with.
  • an endoscopy support method includes: Obtain endoscopic images taken by an endoscope, Detecting a lesion candidate from the endoscopic image, Generate a heat map that expresses the lesion possibility of the lesion candidate included in the endoscopic image in color, The lesion position is displayed on the frame of the endoscopic image based on the lesion candidate and the heat map.
  • the recording medium includes: Obtain endoscopic images taken by an endoscope, Detecting a lesion candidate from the endoscopic image, Generate a heat map that expresses the lesion possibility of the lesion candidate included in the endoscopic image in color, A program is recorded that causes a computer to execute a process of displaying a lesion position on a frame of the endoscopic image based on the lesion candidate and the heat map.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopy system.
  • FIG. 2 is a block diagram showing the hardware configuration of an endoscopy support device.
  • FIG. 2 is a block diagram showing the functional configuration of an endoscopy support device.
  • FIG. 3 is a diagram illustrating an example of an indicator generation method. It is a figure showing an example of a display of an endoscopy support device.
  • FIG. 7 is a diagram showing another display example of the endoscopy support device. It is a figure which shows the other example of a display of an endoscopy support apparatus. It is a flowchart of display processing by an endoscopy support device.
  • FIG. 2 is a block diagram showing the functional configuration of an endoscopy support device according to a second embodiment. It is a flowchart of the process by the endoscopy support apparatus of 2nd Embodiment.
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 detects a lesion during an examination (including treatment) using an endoscope, and displays an indicator indicating the position and size of the lesion on the frame of the endoscopic image display screen. indicate. This allows the doctor to grasp the location and size of the lesion without partially blocking the endoscopic image.
  • the endoscopy system 100 mainly includes an endoscopy support device 1, a display device 2, and an endoscope scope 3 connected to the endoscopy support device 1. Be prepared.
  • the endoscopic examination support device 1 acquires an image (i.e., a video, hereinafter also referred to as "endoscope image Ic") taken by the endoscope scope 3 during an endoscopic examination from the endoscope scope 3. Then, display data is displayed on the display device 2 for the endoscopy examiner to confirm. Specifically, the endoscopy support device 1 acquires a moving image of an internal organ captured by the endoscope 3 during an endoscopy as an endoscopic image Ic. The endoscopic examination support device 1 extracts still images (frame images) from the endoscopic image Ic, and detects lesions using AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the endoscopy support device 1 when a lesion is detected from a frame image by AI, the endoscopy support device 1 generates a heat map based on the frame image. The endoscopy support device 1 generates an indicator indicating the position and size of the lesion from the heat map. Then, the endoscopic examination support device 1 generates display data including an endoscopic image Ic, a heat map, an indicator, and the like.
  • the display device 2 is a display or the like that displays images based on display signals supplied from the endoscopy support device 1.
  • the endoscope 3 mainly includes an operating section 36 through which the examiner inputs air supply, water supply, angle adjustment, photographing instructions, etc., and a flexible
  • the distal end portion 38 has a built-in imaging unit such as an ultra-small image sensor, and a connecting portion 39 for connecting to the endoscopy support device 1.
  • FIG. 2 shows the hardware configuration of the endoscopy support device 1.
  • the endoscopy support device 1 mainly includes a processor 11, a memory 12, an interface 13, an input section 14, a light source section 15, a sound output section 16, and a database (hereinafter referred to as "DB"). ) 17. Each of these elements is connected via a data bus 19.
  • DB database
  • the processor 11 executes a predetermined process by executing a program stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit). Note that the processor 11 may include a plurality of processors.
  • Processor 11 is an example of a computer.
  • the memory 12 includes various types of volatile memory used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory that stores information necessary for processing of the endoscopy support device 1. Consists of memory. Note that the memory 12 may include an external storage device such as a hard disk connected to or built in the endoscopy support device 1, or may include a removable storage medium such as a flash memory or a disk medium. The memory 12 stores programs for the endoscopy support apparatus 1 to execute each process in this embodiment.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the memory 12 temporarily stores a series of endoscopic images Ic taken by the endoscope 3 during an endoscopy, under the control of the processor 11. Furthermore, the memory 12 temporarily stores still images acquired from the endoscopic image Ic during the endoscopic examination. These images are stored in the memory 12 in association with, for example, the subject's identification information (eg, patient ID), time stamp information, and the like.
  • the interface 13 performs an interface operation between the endoscopy support device 1 and external devices. For example, the interface 13 supplies the display data Id generated by the processor 11 to the display device 2. Further, the interface 13 supplies illumination light generated by the light source section 15 to the endoscope 3. Further, the interface 13 supplies the processor 11 with an electrical signal indicating the endoscopic image Ic supplied from the endoscopic scope 3.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, and may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc. It's okay.
  • the input unit 14 generates an input signal based on the operation of the examiner.
  • the input unit 14 is, for example, a button, a touch panel, a remote controller, a voice input device, or the like.
  • the light source section 15 generates light to be supplied to the distal end section 38 of the endoscope 3. Further, the light source section 15 may also include a built-in pump or the like for sending out water and air to be supplied to the endoscope 3.
  • the sound output unit 16 outputs sound under the control of the processor 11.
  • the DB 17 stores endoscopic images and lesion information obtained from past endoscopic examinations of the subject.
  • the lesion information includes a lesion image and related information. Lesions include polyps (protruding lesions).
  • the DB 17 may include an external storage device such as a hard disk connected to or built in the endoscopy support device 1, or may include a removable storage medium such as a flash memory. Note that instead of providing the DB 17 in the endoscopy system 100, the DB 17 may be provided in an external server or the like, and the lesion information may be acquired from the server through communication.
  • FIG. 3 is a block diagram showing the functional configuration of the endoscopy support device 1. As shown in FIG. The endoscopy support device 1 functionally includes an interface 13, a lesion detection section 21, a heat map generation section 22, and a display control section 23.
  • An endoscopic image Ic is input to the endoscopic examination support device 1 from the endoscope scope 3.
  • the endoscopic image Ic is input to the interface 13.
  • the interface 13 extracts a frame image (hereinafter also referred to as "endoscopic image") from the input endoscopic image Ic, and outputs it to the lesion detection section 21 and the heat map generation section 22. Further, the interface 13 outputs the input endoscopic image Ic to the display control unit 23.
  • the lesion detection unit 21 performs image analysis based on the endoscopic image input from the interface 13 and determines whether the endoscopic image contains a lesion.
  • the lesion detection unit 21 detects locations that appear to be lesions (hereinafter also referred to as "lesion candidates") included in the endoscopic image using an image recognition model prepared in advance.
  • This image recognition model is a model that has been trained in advance to estimate lesion candidates included in endoscopic images, and is also referred to hereinafter as a "lesion detection model.”
  • the lesion detection section 21 detects a lesion candidate, it outputs the determination result that a lesion is present to the heat map generation section 22 and the display control section 23 together with information such as a time stamp.
  • the lesion detection section 21 does not detect a lesion candidate, it outputs the determination result that there is no lesion to the heat map generation section 22 and the display control section 23.
  • the heat map generation unit 22 generates a heat map based on the endoscopic image input from the interface 13 and the determination result input from the lesion detection unit 21.
  • the heat map generation unit 22 when the lesion detection unit 21 inputs a determination result indicating that a lesion is present, the heat map generation unit 22 generates an endoscopic image input from the interface 13 based on information such as a time stamp. An endoscopic image containing a lesion candidate is acquired from the image. Then, the heat map generation unit 22 uses a pre-prepared image recognition model or the like to calculate the pixels within the lesion candidate region (hereinafter also referred to as "lesion region") for each pixel of the endoscopic image. Estimate whether or not.
  • This image recognition model is a model that has been trained in advance to estimate whether each pixel of an endoscopic image is a pixel in a lesion area, and is hereinafter also referred to as a "lesion score estimation model.”
  • the heat map generation unit 22 uses the lesion score estimation model to estimate whether each pixel of the endoscopic image is a pixel in a lesion area, and calculates a score (hereinafter referred to as a "lesion score") indicating the probability that each pixel in the endoscopic image is a pixel in a lesion area. ”) is calculated.
  • the lesion score is, for example, a numerical value of 0 or more and 1 or less, and the closer the lesion score is to 1, the more likely the pixel is in a lesion area.
  • the heat map generation unit 22 then generates a heat map based on the predetermined relationship between the lesion score and color.
  • the heat map generation unit 22 outputs the generated heat map to the display control unit 23.
  • the heat map generation unit 22 generates a heat map when the determination result that a lesion is present is input from the lesion detection unit 21, but the timing of heat map generation is not limited to this.
  • the heat map generation unit 22 may generate a heat map each time an endoscopic image is input from the interface 13, and output it to the display control unit 23.
  • the display control unit 23 generates display data based on the endoscopic image Ic input from the interface 13, the determination result input from the lesion detection unit 21, and the heat map input from the heat map generation unit 22. generated and output to the display device 2.
  • the display control unit 23 when the determination result that a lesion is present is input from the lesion detection unit 21, the display control unit 23 generates an indicator indicating the position and size of the lesion candidate based on the heat map. Then, the display control unit 23 includes the indicator in the display data and outputs it to the display device 2. Furthermore, when the determination result that a lesion is present is input from the lesion detecting section 21 a predetermined number of times in succession, the display control section 23 considers that a lesion candidate has been stably detected. Then, the display control unit 23 includes the endoscopic image and heat map including the lesion candidate in the display data as a lesion history and a heat map corresponding to the lesion history, which will be described later, and outputs it to the display device 2. On the other hand, when the determination result that there is no lesion is input from the lesion detection section 21, the display control section 23 outputs the endoscopic image Ic to the display device 2 as display data.
  • FIG. 4 is an example of a method for generating an indicator by the display control unit 23.
  • a heat map 31 a lesion area 32, a rectangle 33, indicator information 34a, and indicator information 34b are shown.
  • the heat map 31 is a heat map input from the heat map generation unit 22.
  • Lesion area 32 indicates a lesion candidate.
  • the display control unit 23 compares the lesion score of each pixel of the heat map 31 with a predetermined threshold TH1, and sets a region consisting of pixels with a lesion score equal to or higher than the threshold TH1 as a lesion region 32.
  • Rectangle 33 is a rectangle surrounding lesion area 32.
  • the display control unit 23 surrounds the lesion area 32 with a rectangle 33 and generates coordinate information of the rectangle 33.
  • the coordinate information can be expressed, for example, by the coordinates (x, y) of the upper left point of the rectangle 33, and the width w and height h of the rectangle 33 when that point is set as the origin.
  • the display control unit 23 calculates the display position and size of the indicator (hereinafter also referred to as "indicator information") based on the coordinate information of the rectangle 33. Then, the display control unit 23 uses the calculation results to generate an indicator on the frame of the display screen of the endoscopic image, and outputs it to the display device 2.
  • the display control unit 23 uses at least one of the left and right edges and at least one of the top and bottom edges of the endoscopic image display screen to generate an indicator that allows the position and size of the lesion candidate to be recognized. Therefore, indicator information is calculated at two locations for one lesion area 32, like indicator information 34a and 34b in FIG. 4.
  • the interface 13 is an example of an image acquisition means
  • the lesion detection section 21 is an example of a lesion detection means
  • the heat map generation section 22 is an example of a heat map generation means
  • the display control section 23 is an example of a display control section 23. This is an example of a control means.
  • FIG. 5 is an example of a display by the display device 2.
  • the display device 2 displays an endoscopic image 41, a lesion history 42, a heat map 43, a display screen frame 44, and indicators 44a and 44b.
  • the endoscopic image 41 is an endoscopic image Ic during the examination, and is updated as the endoscopic camera moves.
  • the lesion history 42 is an endoscopic image containing lesion candidates detected during endoscopy. If there are multiple endoscopic images including lesion candidates, the endoscopic image including the most recent lesion candidate is displayed in the lesion history 42.
  • the heat map 43 is a heat map of the endoscopic image corresponding to the lesion history 42.
  • the display screen frame 44 is a frame of the display screen of the endoscopic image 41.
  • Indicators 44a and 44b are indicators that indicate the position and size of the lesion candidate. Indicators 44a and 44b are displayed on display screen frame 44 when a lesion candidate is detected during endoscopy.
  • the indicator 44a represents the vertical size and position of the lesion candidate.
  • Indicator 44b represents the lateral size and lateral position of the lesion candidate.
  • FIG. 6 shows another display example by the display device 2.
  • This example is a display example when two lesion candidates are detected.
  • the position and size of one lesion candidate are indicated by gray indicators 44a and 44b
  • the position and size of the other lesion candidate are indicated by diagonally hatched indicators 45a and 45b. It shows.
  • the doctor can It becomes possible to grasp the position and size of the object.
  • FIG. 7 shows another display example by the display device 2.
  • This example is a display example when two lesion candidates are detected.
  • indicators 44a and 44b and indicators 45a and 45b are displayed at the lower end and right end of the endoscopic image 41.
  • the indicators may be displayed in an overlapping manner depending on their positional relationship, making it difficult for a doctor to grasp the positions and sizes of the lesion candidates. Therefore, in FIG. 7, in addition to the lower end and right end of the endoscopic image 41, the upper end and left end of the endoscopic image 41 are used as indicator display locations. This makes it possible to prevent indicators from being displayed in an overlapping manner when multiple lesion candidates are detected.
  • FIG. 8 is a flowchart of processing by the endoscopy support device 1. This processing is realized by the processor 11 shown in FIG. 2 executing a program prepared in advance and operating as each element shown in FIG. 3.
  • an endoscopic image Ic is input from the endoscopic scope 3 to the interface 13.
  • the interface 13 acquires an endoscopic image from the input endoscopic image Ic (step S11).
  • the interface 13 outputs the endoscopic image to the lesion detection section 21 and the heat map generation section 22. Further, the interface 13 outputs the endoscopic image Ic to the display control unit 23.
  • the lesion detection unit 21 detects a lesion from the endoscopic image (step S12). Specifically, the lesion detection unit 21 uses a lesion detection model to determine whether a lesion is included in the endoscopic image.
  • the lesion detection unit 21 then outputs the determination result to the heat map generation unit 22 and the display control unit 23.
  • the heat map generation unit 22 when a lesion is detected, the heat map generation unit 22 generates a heat map from the endoscopic image (step S13). Specifically, the heat map generation unit 22 estimates a lesion score for each pixel of the endoscopic image using a lesion score estimation model. The heat map generation unit 22 then generates a heat map based on a predetermined relationship between scores and colors. The heat map generation unit 22 then outputs the generated heat map to the display control unit 23.
  • the display control unit 23 generates display data from the endoscopic image input from the interface 13, the determination result input from the lesion detection unit 21, and the heat map input from the heat map generation unit 22. and outputs it to the display device 2 (step S14). Note that, when a lesion candidate is included in the endoscopic image, the display control unit 23 generates an indicator indicating the position and size of the lesion candidate. Then, the display control unit 23 includes the indicator in the display data and outputs it to the display device 2.
  • the indicator is displayed in a single color, but the display mode within the indicator may be changed depending on the lesion score.
  • the display control unit 23 may change the display mode within the indicator according to the lesion score of the pixel in the lesion area. For example, if the lesion score at the center of the lesion area is high and the lesion score decreases as the distance from the center of the lesion area increases, the display control unit 23 darkens the color at the center of the indicator and displays other areas. You may add shading to the indicator, such as making it thinner. In this way, by changing the display mode within the indicator, the doctor can grasp the position of the lesion candidate that deserves more attention.
  • the display control unit 23 may change the indicator display mode according to the lesion score of the entire lesion area. Specifically, the display control unit 23 calculates the average value of the lesion scores assigned to each pixel of the lesion area (hereinafter also referred to as "lesion area score"), and sets the indicator according to the lesion area score. The display mode may be changed. For example, the display control unit 23 changes the indicator color to red when the lesion area score is greater than or equal to the predetermined threshold TH2, and changes the indicator color to yellow when the lesion area score is less than the predetermined threshold TH2. . In this way, for a lesion candidate with a high lesion area score, the indicator may be displayed in a manner that attracts the doctor's attention.
  • the indicator when a lesion candidate is detected, the indicator is uniformly displayed, but the display control unit 23 may display or hide the indicator depending on the lesion area score. .
  • the indicator may be displayed only when the lesion area score is equal to or higher than a predetermined threshold TH3.
  • the indicator when a lesion candidate is detected, the indicator is uniformly displayed, but the display control unit 23 displays or hides the indicator depending on the size of the lesion candidate. Good too.
  • the indicator may be displayed only when the area of the lesion candidate is equal to or greater than a predetermined threshold value TH4.
  • the display mode of the indicator may be changed for each doctor.
  • each doctor may be able to select the display location of the indicator from at least one of the left and right ends and at least one of the top and bottom ends. Further, each doctor may be able to select the color, pattern, etc. of the indicator. This makes it possible to display the indicator in a display format that is easy to see for each doctor.
  • the lesion detection unit 21 detects lesion candidates.
  • the heat map generation unit 22 may detect lesion candidates.
  • the heat map generation unit 22 performs image analysis based on the endoscopic image input from the interface 13 and determines whether the endoscopic image includes a lesion. Then, the heat map generation unit 22 generates a heat map when a lesion is included in the endoscopic image. Then, the heat map generation unit 22 inputs the determination result of the presence or absence of a lesion and the heat map to the display control unit 23.
  • the lesion score estimation model used by the heat map generation unit 22 is a trained model that has been trained in advance to calculate a lesion score for each pixel of an endoscopic image and detect lesion candidates.
  • FIG. 9 is a block diagram showing the functional configuration of an endoscopy support device according to the second embodiment.
  • the endoscopic examination support device 70 includes an image acquisition means 71, a lesion detection means 72, a heat map generation means 73, and a display control means 74.
  • FIG. 10 is a flowchart of processing by the endoscopy support device of the second embodiment.
  • the image acquisition means 71 acquires an endoscopic image photographed by the endoscope (step S71).
  • the lesion detection means 72 detects a lesion candidate from the endoscopic image (step S72).
  • the heat map generation means 73 generates a heat map that expresses the lesion possibility of the lesion candidate included in the endoscopic image using colors (step S73).
  • the display control means 74 displays the lesion position on the frame of the endoscopic image based on the lesion candidate and the heat map (step S74).
  • an image acquisition means for acquiring an endoscopic image taken by the endoscope;
  • Lesion detection means for detecting a lesion candidate from the endoscopic image;
  • heat map generation means for generating a heat map that expresses the possibility of a lesion of a lesion candidate included in the endoscopic image in color;
  • a display control means for displaying a lesion position on a frame of the endoscopic image based on the lesion candidate and the heat map;
  • the heat map generation means expresses the lesion possibility for each pixel included in a frame image of the endoscopic image as a score, and the display control means displays the endoscopic image in a display mode according to the score.
  • the endoscopy support device according to supplementary note 1, which displays a lesion position on a frame.
  • the heat map generation means expresses the lesion possibility as a score for each pixel included in the frame image of the endoscopic image, and the display control means calculates the average value of the scores and displays the lesion possibility according to the average value.
  • the endoscopic examination support device according to supplementary note 1, wherein the lesion position is displayed on the frame of the endoscopic image in a display mode.
  • the display control means displays the lesion positions of the plurality of lesion candidates on the frame of the endoscopic image in different display modes. endoscopy support device.
  • Appendix 7 Obtain endoscopic images taken by an endoscope, Detecting a lesion candidate from the endoscopic image, Generate a heat map that expresses the lesion possibility of the lesion candidate included in the endoscopic image in color, A recording medium storing a program that causes a computer to execute a process of displaying a lesion position on a frame of the endoscopic image based on the lesion candidate and the heat map.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査支援装置において、映像取得手段は、内視鏡によって撮影された内視鏡映像を取得する。病変検出手段は、前記内視鏡映像から病変候補を検出する。ヒートマップ生成手段は、前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成する。表示制御手段は、前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
　本開示は、内視鏡検査に関する画像の処理に関する。
　内視鏡検査において、内視鏡映像から病変を検知し、検知した病変の位置や大きさを示すために内視鏡映像上に図形等を重畳表示する技術が存在するが、図形等が重畳表示された結果、内視鏡映像が見えづらくなるという問題があった。特許文献１では、病変を検出すると、病変の見落としリスクに応じて、病変を取り囲むマーカーを観察画像上に重畳表示する方法や、観察画像の周縁部を取り囲むようマーカーを表示する方法が記載されている。
国際公開ＷＯ２０２０／１１０２１４号公報
　しかし、特許文献１によっても、内視鏡映像上に図形等を重畳表示することなく、病変の位置や大きさを示すことができるとは限らない。
　本開示の１つの目的は、病変の位置や大きさを把握することが可能な内視鏡検査支援装置を提供することにある。
　本開示の一つの観点では、内視鏡検査支援装置は、
　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
　前記内視鏡映像から病変候補を検出する病変検出手段と、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成するヒートマップ生成手段と、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する表示制御手段と、
を備える。
　本開示の他の観点では、内視鏡検査支援方法は、
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変候補を検出し、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する。
　本開示のさらに他の観点では、記録媒体は、
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変候補を検出し、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡映像の一部が遮られることなく、病変の位置や大きさを把握することが可能となる。
内視鏡検査システムの概略構成を示すブロック図である。 内視鏡検査支援装置のハードウェア構成を示すブロック図である。 内視鏡検査支援装置の機能構成を示すブロック図である。 インディケーターの生成方法の一例を示す図である。 内視鏡検査支援装置の表示例を示す図である。 内視鏡検査支援装置の他の表示例を示す図である。 内視鏡検査支援装置の他の表示例を示す図である。 内視鏡検査支援装置による表示処理のフローチャートである。 第２実施形態の内視鏡検査支援装置の機能構成を示すブロック図である。 第２実施形態の内視鏡検査支援装置による処理のフローチャートである。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）の際に病変を検出し、内視鏡映像の表示画面の枠上に病変の位置と大きさを示すインディケーターを表示する。これにより、内視鏡映像の一部が遮られることなく、医師は、病変の位置及び大きさを把握することができる。
　図１に示すように、内視鏡検査システム１００は、主に、内視鏡検査支援装置１、表示装置２と、内視鏡検査支援装置１に接続された内視鏡スコープ３と、を備える。
　内視鏡検査支援装置１は、内視鏡検査中に内視鏡スコープ３が撮影する画像（即ち、動画。以下、「内視鏡映像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡検査の検査者が確認するための表示データを表示装置２に表示させる。具体的には、内視鏡検査支援装置１は、内視鏡検査中に、内視鏡スコープ３により撮影された臓器内の動画を内視鏡映像Ｉｃとして取得する。内視鏡検査支援装置１は、内視鏡映像Ｉｃから静止画（フレーム画像）を抽出し、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｎｅｃｅ）を用いて病変の検出を行う。また、内視鏡検査支援装置１は、ＡＩによってフレーム画像から病変が検出されると、そのフレーム画像をもとにヒートマップを生成する。内視鏡検査支援装置１は、ヒートマップから病変の位置と大きさを示すインディケーターを生成する。そして、内視鏡検査支援装置１は、内視鏡映像Ｉｃやヒートマップ、インディケーターなどを含む表示データを生成する。
　表示装置２は、内視鏡検査支援装置１から供給される表示信号に基づき画像を表示するディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、内視鏡検査支援装置１と接続するための接続部３９とを有する。
　［ハードウェア構成］
　図２は、内視鏡検査支援装置１のハードウェア構成を示す。内視鏡検査支援装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び内視鏡検査支援装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、内視鏡検査支援装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像Ｉｃを一時的に記憶する。また、メモリ１２は、内視鏡検査中に内視鏡映像Ｉｃから取得した静止画を一時的に記憶する。これらの画像は、例えば、被検者の識別情報（例えば患者ＩＤ）、及び、タイムスタンプの情報等と関連付けられてメモリ１２に記憶される。
　インターフェース１３は、内視鏡検査支援装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示データＩｄを表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者の操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡画像、及び、病変情報を記憶している。病変情報は、病変画像と、関連情報とを含む。病変は、ポリープ（隆起性病変）を含む。ＤＢ１７は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから病変情報を取得するようにしてもよい。
　［機能構成］
　図３は、内視鏡検査支援装置１の機能構成を示すブロック図である。内視鏡検査支援装置１は、機能的には、インターフェース１３と、病変検出部２１と、ヒートマップ生成部２２と、表示制御部２３と、を含む。
　内視鏡検査支援装置１には、内視鏡スコープ３から内視鏡映像Ｉｃが入力される。内視鏡映像Ｉｃは、インターフェース１３へ入力される。インターフェース１３は、入力された内視鏡映像Ｉｃからフレーム画像（以下、「内視鏡画像」とも呼ぶ。）を抽出し、病変検出部２１と、ヒートマップ生成部２２へ出力する。また、インターフェース１３は、入力された内視鏡映像Ｉｃを表示制御部２３へ出力する。
　病変検出部２１は、インターフェース１３から入力された内視鏡画像に基づいて画像解析を行い、内視鏡画像に病変が含まれるか否かを判定する。病変検出部２１は、予め用意された画像認識モデルなどを用いて、内視鏡画像に含まれる病変らしい箇所（以下、「病変候補」とも呼ぶ。）を検出する。この画像認識モデルは、内視鏡画像に含まれる病変候補を推定するように予め学習されたモデルであり、以下、「病変検出モデル」とも呼ぶ。病変検出部２１は、病変候補を検出した場合は、病変有りとの判定結果をタイムスタンプなどの情報と共に、ヒートマップ生成部２２と表示制御部２３へ出力する。一方、病変検出部２１は、病変候補を検出しなかった場合は、病変無しとの判定結果をヒートマップ生成部２２と表示制御部２３へ出力する。
　ヒートマップ生成部２２は、インターフェース１３から入力された内視鏡画像と、病変検出部２１から入力された判定結果をもとに、ヒートマップを生成する。
　具体的には、病変検出部２１から病変有りとの判定結果が入力された場合は、ヒートマップ生成部２２は、タイムスタンプなどの情報をもとに、インターフェース１３から入力された内視鏡画像から、病変候補を含む内視鏡画像を取得する。そして、ヒートマップ生成部２２は、予め用意された画像認識モデルなどを用いて、上記内視鏡画像の各ピクセルについて、病変候補の領域内部（以下、「病変領域」とも呼ぶ。）にあるピクセルか否かを推定する。この画像認識モデルは、内視鏡画像の各ピクセルについて、病変領域のピクセルか否かを推定するように予め学習されたモデルであり、以下、「病変スコア推定モデル」とも呼ぶ。
　ヒートマップ生成部２２は、病変スコア推定モデルを用いて、内視鏡画像の各ピクセルについて病変領域のピクセルか否かを推定し、病変領域のピクセルである確率を示すスコア（以下、「病変スコア」とも呼ぶ。）を算出する。病変スコアは、例えば、０以上、１以下の数値であり、病変スコアが１に近い数値であるほど病変領域のピクセルである可能性が高い。そして、ヒートマップ生成部２２は、予め定められた病変スコアと色との関係に基づいて、ヒートマップを生成する。ヒートマップ生成部２２は、生成したヒートマップを表示制御部２３へ出力する。
　上記では、ヒートマップ生成部２２は、病変検出部２１から病変有りとの判定結果が入力された場合にヒートマップを生成しているが、ヒートマップの生成のタイミングはこれに限られない。例えば、ヒートマップ生成部２２は、インターフェース１３から内視鏡画像が入力される都度ヒートマップを生成し、表示制御部２３へ出力してもよい。
　表示制御部２３は、インターフェース１３から入力された内視鏡映像Ｉｃと、病変検出部２１から入力された判定結果と、ヒートマップ生成部２２から入力されたヒートマップをもとに、表示データを生成し、表示装置２へ出力する。
　具体的に、表示制御部２３は、病変検出部２１から病変有りとの判定結果が入力された場合は、ヒートマップをもとに、病変候補の位置及び大きさを示すインディケーターを生成する。そして、表示制御部２３は、インディケーターを表示データに含め、表示装置２へ出力する。また、表示制御部２３は、病変検出部２１から病変有りとの判定結果が所定の回数連続で入力された場合は、病変候補が安定的に検出されたとみなす。そして、表示制御部２３は、病変候補を含む内視鏡画像及びヒートマップを、後述の病変履歴及び病変履歴に対応するヒートマップとして、表示データに含め、表示装置２へ出力する。一方、表示制御部２３は、病変検出部２１から病変無しとの判定結果が入力された場合は、内視鏡映像Ｉｃを表示データとして、表示装置２へ出力する。
　図４は、表示制御部２３によるインディケーターの生成方法の一例である。図４では、ヒートマップ３１と、病変領域３２と、矩形３３と、インディケーター情報３４ａと、インディケーター情報３４ｂと、が示されている。
　ヒートマップ３１は、ヒートマップ生成部２２から入力されたヒートマップである。病変領域３２は、病変候補を示す。表示制御部２３は、ヒートマップ３１の各ピクセルの病変スコアを所定の閾値ＴＨ１と比較し、病変スコアが閾値ＴＨ１以上のピクセルから成る領域を、病変領域３２として設定する。矩形３３は、病変領域３２を囲む矩形である。表示制御部２３は、病変領域３２を矩形３３で囲い、矩形３３の座標情報を生成する。座標情報は、例えば、矩形３３の左上の点の座標（ｘ、ｙ）と、その点を原点とした場合の矩形３３の幅ｗ及び高さｈにより表すことができる。表示制御部２３は、矩形３３の座標情報をもとに、インディケーターの表示位置及びサイズ（以下、「インディケーター情報」とも呼ぶ。）を計算する。そして、表示制御部２３は、計算結果を用いて、内視鏡映像の表示画面の枠上にインディケーターを生成し、表示装置２へ出力する。
　なお、表示制御部２３は、内視鏡映像の表示画面の左右端の少なくとも一方及び上下端の少なくとも一方を使用して、病変候補の位置及び大きさが認識できるようなインディケーターを生成する。そのため、インディケーター情報は、図４のインディケーター情報３４ａ及び３４ｂのように、１つの病変領域３２に対して２か所計算されることになる。
　上記の構成において、インターフェース１３は映像取得手段の一例であり、病変検出部２１は病変検出手段の一例であり、ヒートマップ生成部２２はヒートマップ生成手段の一例であり、表示制御部２３は表示制御手段の一例である。
　［表示例］
　次に、表示装置２による表示例を説明する。
　図５は、表示装置２による表示の一例である。この例では、表示装置２に、内視鏡映像４１と、病変履歴４２と、ヒートマップ４３と、表示画面枠４４と、インディケーター４４ａ及び４４ｂと、が表示されている。
　内視鏡映像４１は、検査中の内視鏡映像Ｉｃであり、内視鏡カメラの移動に伴い更新される。病変履歴４２は、内視鏡検査において検出された病変候補を含む内視鏡画像である。病変候補を含む内視鏡画像が複数ある場合は、病変履歴４２には、直近の病変候補を含む内視鏡画像が表示される。ヒートマップ４３は、病変履歴４２に対応する内視鏡画像のヒートマップである。
　表示画面枠４４は、内視鏡映像４１の表示画面の枠である。インディケーター４４ａ及び４４ｂは、病変候補の位置及び大きさを示すインディケーターである。インディケーター４４ａ及び４４ｂは、内視鏡検査中に病変候補が検出されると、表示画面枠４４上に表示される。インディケーター４４ａは、病変候補の縦の大きさ及び縦方向の位置を表す。インディケーター４４ｂは、病変候補の横の大きさ及び横方向の位置を表す。インディケーター４４ａやインディケーター４４ｂが表示されることによって、医師は、病変候補の位置及び大きさを把握することが可能となる。
　図６は、表示装置２による他の表示例を示す。この例は、病変候補が２つ検出された場合の表示例である。具体的に、図６では、一方の病変候補の位置及び大きさを、グレーのインディケーター４４ａ及び４４ｂで示し、他方の病変候補の位置及び大きさを、斜めのハッチングのインディケーター４５ａ及び４５ｂで示している。図６のように、病変候補ごとに異なる表示態様のインディケーターを生成し、表示画面枠４４上に表示することで、複数の病変候補が同時に検出された場合でも、医師は、各々の病変候補の位置及び大きさを把握することが可能となる。
　図７は、表示装置２による他の表示例を示す。この例は、病変候補が２つ検出された場合の表示例である。図６では、内視鏡映像４１の下端及び右端にインディケーター４４ａ及び４４ｂと、インディケーター４５ａ及び４５ｂが表示されている。しかし、複数の病変候補が検出された場合、その位置関係によってはインディケーターが重なって表示されるため、医師は、病変候補の位置及び大きさの把握が困難となる。そこで、図７では、内視鏡映像４１の下端及び右端に加え、内視鏡映像４１の上端及び左端をインディケーターの表示場所として用いている。これにより、複数の病変候補が検出された場合に、インディケーターが重なって表示されることを防ぐことが可能となる。
　［画像表示処理］
　次に、上記のような表示を行う表示処理について説明する。図８は、内視鏡検査支援装置１による処理のフローチャートである。この処理は、図２に示すプロセッサ１１が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
　まず、内視鏡スコープ３からインターフェース１３に内視鏡映像Ｉｃが入力される。インターフェース１３は、入力された内視鏡映像Ｉｃから内視鏡画像を取得する（ステップＳ１１）。インターフェース１３は、内視鏡画像を、病変検出部２１と、ヒートマップ生成部２２へ出力する。また、インターフェース１３は、内視鏡映像Ｉｃを表示制御部２３へ出力する。次に、病変検出部２１は、内視鏡画像から病変を検出する（ステップＳ１２）。具体的に、病変検出部２１は、病変検出モデルを用いて、内視鏡画像に病変が含まれるか否かを判定する。そして、病変検出部２１は、判定結果をヒートマップ生成部２２と表示制御部２３へ出力する。
　次に、ヒートマップ生成部２２は、病変が検出されると、内視鏡画像からヒートマップを生成する（ステップＳ１３）。具体的に、ヒートマップ生成部２２は、病変スコア推定モデルを用いて、内視鏡画像の各ピクセルについて病変スコアを推定する。そして、ヒートマップ生成部２２は、予め定められたスコアと色との関係に基づいて、ヒートマップを生成する。そして、ヒートマップ生成部２２は、生成したヒートマップを表示制御部２３へ出力する。
　次に、表示制御部２３は、インターフェース１３から入力された内視鏡映像と、病変検出部２１から入力された判定結果と、ヒートマップ生成部２２から入力されたヒートマップから、表示データを生成し、表示装置２へ出力する（ステップＳ１４）。なお、表示制御部２３は、内視鏡画像に病変候補が含まれる場合は、その位置及び大きさを示すインディケーターを生成する。そして、表示制御部２３は、インディケーターを表示データに含め、表示装置２へ出力する。
　［変形例］
　次に、第１実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて第１実施形態に適用することができる。
　（変形例１）
　上記の第１実施形態では、インディケーターは単色で表されているが、病変スコアに応じてインディケーター内の表示態様を変化させてもよい。具体的に、表示制御部２３は、病変領域のピクセルの病変スコアに応じて、インディケーター内の表示態様を変化させてもよい。例えば、病変領域の中央部の病変スコアが高く、病変領域の中央部から遠ざかるほど病変スコアが低くなる場合は、表示制御部２３は、インディケーターの中央部の色を濃く、それ以外の部分を薄くするなど、インディケーター内に濃淡を加えてもよい。このように、インディケーター内の表示態様を変化させることで、医師は、より注目すべき病変候補の位置を把握することが可能となる。
　（変形例２）
　表示制御部２３は、病変領域全体の病変スコアに応じて、インディケーター表示態様を変更してもよい。具体的に、表示制御部２３は、病変領域の各ピクセルに割り振られている病変スコアの平均値（以下、「病変領域スコア」とも呼ぶ。）を算出し、病変領域スコアに応じて、インディケーターの表示態様を変化させてもよい。例えば、表示制御部２３は、病変領域スコアが所定の閾値ＴＨ２以上の場合は、インディケーターの色を赤色に、病変領域スコアが所定の閾値ＴＨ２未満の場合は、インディケーターの色を黄色にする。このように、病変領域スコアが高い病変候補については、インディケーターを医師の注意を引くような表示態様にしてもよい。
　（変形例３）
　上記の第１実施形態では、病変候補が検出されると、一律でインディケーターが表示されるが、表示制御部２３は、病変領域スコアに応じて、インディケーターを表示または非表示にしてもよい。例えば、病変領域スコアが、所定の閾値ＴＨ３以上の場合のみインディケーターを表示するようにしてもよい。
　（変形例４）
　上記の第１実施形態では、病変候補が検出されると、一律でインディケーターが表示されるが、表示制御部２３は、病変候補の大きさに応じて、インディケーターを表示または非表示にしてもよい。例えば、病変候補の面積が、所定の閾値ＴＨ４以上の場合のみインディケーターを表示するようにしてもよい。
　（変形例５）
　インディケーターの表示態様は医師毎に変更できるようにしてもよい。例えば、インディケーターの表示場所について、医師毎に左右端の少なくとも一方及び上下端の少なくとも一方から選択できるようにしてもよい。また、インディケーターの色や模様などについて、医師毎に選択できるようにしてもよい。これにより、医師毎に見やすい表示態様でインディケーターを表示することが可能となる。
　（変形例６）
　上記の第１実施形態では、病変検出部２１が病変候補を検出している。その代わりに、ヒートマップ生成部２２が、病変候補を検出してもよい。この場合、ヒートマップ生成部２２がインターフェース１３から入力された内視鏡画像に基づいて画像解析を行い、内視鏡画像に病変が含まれるか否かを判定する。そして、ヒートマップ生成部２２は、内視鏡画像に病変が含まれる場合は、ヒートマップを生成する。そして、ヒートマップ生成部２２は、病変有無の判定結果とヒートマップを表示制御部２３に入力する。ヒートマップ生成部２２が使用する病変スコア推定モデルは、内視鏡画像の各ピクセルについて病変スコアを算出し、病変候補の検出をするように予め学習された学習済みのモデルとする。
　＜第２実施形態＞
　図９は、第２実施形態の内視鏡検査支援装置の機能構成を示すブロック図である。内視鏡検査支援装置７０は、映像取得手段７１と、病変検出手段７２と、ヒートマップ生成手段７３と、表示制御手段７４と、を備える。
　図１０は、第２実施形態の内視鏡検査支援装置による処理のフローチャートである。映像取得手段７１は、内視鏡によって撮影された内視鏡映像を取得する（ステップＳ７１）。病変検出手段７２は、前記内視鏡映像から病変候補を検出する（ステップＳ７２）。ヒートマップ生成手段７３は、前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成する（ステップＳ７３）。表示制御手段７４は、前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する（ステップＳ７４）。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　（付記１）
　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
　前記内視鏡映像から病変候補を検出する病変検出手段と、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成するヒートマップ生成手段と、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する表示制御手段と、
を備えた内視鏡検査支援装置。
　（付記２）
　前記ヒートマップ生成手段は、前記内視鏡映像のフレーム画像に含まれるピクセルごとに前記病変可能性をスコアで表し、前記表示制御手段は、前記スコアに応じた表示態様で、前記内視鏡映像の枠上に病変位置を表示する付記１に記載の内視鏡検査支援装置。
　（付記３）
　前記ヒートマップ生成手段は、前記内視鏡映像のフレーム画像に含まれるピクセルごとに前記病変可能性をスコアで表し、前記表示制御手段は、前記スコアの平均値を算出し、前記平均値に応じた表示態様で、前記内視鏡映像の枠上に病変位置を表示する付記１に記載の内視鏡検査支援装置。
　（付記４）
　前記ヒートマップ生成手段は、前記病変可能性をスコアで表現し、前記表示制御手段は、前記スコアが所定の閾値以上の場合に、病変位置を前記内視鏡映像の枠上に表示する付記１に記載の内視鏡検査支援装置。
　（付記５）
　前記病変検出手段が複数の病変候補を検出した場合は、前記表示制御手段は、複数の病変候補の病変位置を前記内視鏡映像の枠上に表示態様を異ならせて表示する付記１に記載の内視鏡検査支援装置。
　（付記６）
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変候補を検出し、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する内視鏡検査支援方法。
　（付記７）
　内視鏡によって撮影された内視鏡映像を取得し、
　前記内視鏡映像から病変候補を検出し、
　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　１　内視鏡検査支援装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　２１　病変検出部
　２２　ヒートマップ生成部
　２３　表示制御部
　１００　内視鏡検査システム

Claims (7)

  1. 　内視鏡によって撮影された内視鏡映像を取得する映像取得手段と、
    　前記内視鏡映像から病変候補を検出する病変検出手段と、
    　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成するヒートマップ生成手段と、
    　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する表示制御手段と、
    を備えた内視鏡検査支援装置。
  2. 　前記ヒートマップ生成手段は、前記内視鏡映像のフレーム画像に含まれるピクセルごとに前記病変可能性をスコアで表し、前記表示制御手段は、前記スコアに応じた表示態様で、前記内視鏡映像の枠上に病変位置を表示する請求項１に記載の内視鏡検査支援装置。
  3. 　前記ヒートマップ生成手段は、前記内視鏡映像のフレーム画像に含まれるピクセルごとに前記病変可能性をスコアで表し、前記表示制御手段は、前記スコアの平均値を算出し、前記平均値に応じた表示態様で、前記内視鏡映像の枠上に病変位置を表示する請求項１に記載の内視鏡検査支援装置。
  4. 　前記ヒートマップ生成手段は、前記病変可能性をスコアで表現し、前記表示制御手段は、前記スコアが所定の閾値以上の場合に、病変位置を前記内視鏡映像の枠上に表示する請求項１に記載の内視鏡検査支援装置。
  5. 　前記病変検出手段が複数の病変候補を検出した場合は、前記表示制御手段は、複数の病変候補の病変位置を前記内視鏡映像の枠上に表示態様を異ならせて表示する請求項１に記載の内視鏡検査支援装置。
  6. 　内視鏡によって撮影された内視鏡映像を取得し、
    　前記内視鏡映像から病変候補を検出し、
    　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
    　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する内視鏡検査支援方法。
  7. 　内視鏡によって撮影された内視鏡映像を取得し、
    　前記内視鏡映像から病変候補を検出し、
    　前記内視鏡映像に含まれる病変候補の病変可能性を色で表現したヒートマップを生成し、
    　前記病変候補と、前記ヒートマップとに基づき、病変位置を前記内視鏡映像の枠上に表示する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/029104 2022-07-28 2022-07-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Ceased WO2024024022A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/286,636 US20250089984A1 (en) 2022-07-28 2022-07-28 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
JP2024536678A JP7750418B2 (ja) 2022-07-28 2022-07-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
PCT/JP2022/029104 WO2024024022A1 (ja) 2022-07-28 2022-07-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US18/525,167 US12533006B2 (en) 2022-07-28 2023-11-30 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029104 WO2024024022A1 (ja) 2022-07-28 2022-07-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US18/286,636 A-371-Of-International US20250089984A1 (en) 2022-07-28 2022-07-28 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US18/525,167 Continuation US12533006B2 (en) 2022-07-28 2023-11-30 Endoscopic examination support apparatus, endoscopic examination support method, and recording medium

Publications (1)

Publication Number Publication Date
WO2024024022A1 true WO2024024022A1 (ja) 2024-02-01

Family

ID=89705749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029104 Ceased WO2024024022A1 (ja) 2022-07-28 2022-07-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Country Status (3)

Country Link
US (2) US20250089984A1 (ja)
JP (1) JP7750418B2 (ja)
WO (1) WO2024024022A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155628A1 (ja) * 2018-02-09 2019-08-15 日本電気株式会社 画像処理装置、画像処理方法および記録媒体
WO2020012530A1 (ja) * 2018-07-09 2020-01-16 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
WO2020116115A1 (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置およびモデルの生成方法
WO2020174863A1 (ja) * 2019-02-28 2020-09-03 ソニー株式会社 診断支援プログラム、診断支援システム及び診断支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6342128B2 (ja) * 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
WO2019138772A1 (ja) * 2018-01-10 2019-07-18 富士フイルム株式会社 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JP7017198B2 (ja) 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7037220B2 (ja) 2018-11-21 2022-03-16 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP6957771B2 (ja) * 2018-11-28 2021-11-02 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
EP3895597B1 (en) 2018-12-13 2024-01-24 Sony Group Corporation Medical assistance system
JP7555181B2 (ja) 2019-03-27 2024-09-24 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures
WO2021220822A1 (ja) 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
EP3923190A1 (en) * 2020-06-09 2021-12-15 Vito NV A system and method for evaluating a performance of explainability methods used with artificial neural networks
US20220036542A1 (en) * 2020-07-28 2022-02-03 International Business Machines Corporation Deep learning models using locally and globally annotated training images
KR102505791B1 (ko) 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
CN117119941A (zh) * 2021-03-31 2023-11-24 富士胶片株式会社 内窥镜系统及其工作方法
US20240249409A1 (en) * 2021-05-18 2024-07-25 Ramot At Tel-Aviv University Ltd. System and method for analyzing abdominal scan

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155628A1 (ja) * 2018-02-09 2019-08-15 日本電気株式会社 画像処理装置、画像処理方法および記録媒体
WO2020012530A1 (ja) * 2018-07-09 2020-01-16 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
WO2020116115A1 (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置およびモデルの生成方法
WO2020174863A1 (ja) * 2019-02-28 2020-09-03 ソニー株式会社 診断支援プログラム、診断支援システム及び診断支援方法

Also Published As

Publication number Publication date
JP7750418B2 (ja) 2025-10-07
US20250089984A1 (en) 2025-03-20
JPWO2024024022A1 (ja) 2024-02-01
US20240090741A1 (en) 2024-03-21
US12533006B2 (en) 2026-01-27

Similar Documents

Publication Publication Date Title
US8830307B2 (en) Image display apparatus
US8837821B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
JP5526044B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7304951B2 (ja) コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
JP7493285B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JPWO2012153568A1 (ja) 医用画像処理装置
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
US20250061569A1 (en) Image processing device, image processing method, and recording medium
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
US20250281022A1 (en) Endoscopy support device, endoscopy support method, and recording medium
US20240378840A1 (en) Image processing device, image processing method, and storage medium
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20250185884A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20240180395A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20250378556A1 (en) Endoscopic examination assistance device, endoscopic examination system, processing method, and storage medium
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
US20260000270A1 (en) Image processing device, image processing method, and storage medium
US20240138651A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20250005747A1 (en) Information processing device, information processing method, and recording medium
WO2023187886A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2025104800A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JPWO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18286636

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953114

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024536678

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 18286636

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 22953114

Country of ref document: EP

Kind code of ref document: A1