[go: up one dir, main page]

WO2024171780A1 - 医療支援装置、内視鏡、医療支援方法、及びプログラム - Google Patents

医療支援装置、内視鏡、医療支援方法、及びプログラム Download PDF

Info

Publication number
WO2024171780A1
WO2024171780A1 PCT/JP2024/002653 JP2024002653W WO2024171780A1 WO 2024171780 A1 WO2024171780 A1 WO 2024171780A1 JP 2024002653 W JP2024002653 W JP 2024002653W WO 2024171780 A1 WO2024171780 A1 WO 2024171780A1
Authority
WO
WIPO (PCT)
Prior art keywords
size
image
medical
medical support
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/002653
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2025501019A priority Critical patent/JPWO2024171780A1/ja
Priority to CN202480012999.3A priority patent/CN120693098A/zh
Publication of WO2024171780A1 publication Critical patent/WO2024171780A1/ja
Priority to US19/284,644 priority patent/US20250352027A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the technology disclosed herein relates to a medical support device, an endoscope, a medical support method, and a program.
  • JP2021-178110A discloses an information processing device located between a radiography control device and an image management device.
  • the information processing device described in JP2021-178110A includes an abnormality detection means for detecting abnormalities in medical images received from the radiography control device, and a control means for determining the transmission content or transmission destination of the medical images or the detection results based on the detection results by the abnormality detection means.
  • the abnormality detection means generates a lesion name, lesion location, lesion size, lesion category, malignancy, or a malignancy map from the medical image.
  • the control means assigns a priority to the medical image when displaying the medical image based on the detection result, and transmits the priority to the image management device in association with the medical image.
  • International Publication No. 2020/188682 discloses a diagnostic support device.
  • the diagnostic support device described in International Publication No. 2020/188682 has an abnormal symptom identification unit, a lesion extraction function unit, and a function control unit.
  • the abnormal symptom identification unit is configured to perform processing to identify an abnormal symptom appearing in an organ to be diagnosed based on at least one of physical information including one or more pieces of information capable of estimating the state of the subject's organ to be diagnosed and an endoscopic image obtained by capturing an image of the organ to be diagnosed.
  • the lesion extraction function unit is configured to have a plurality of different lesion extraction units specialized for each abnormal symptom that may appear in the organ to be diagnosed, as a lesion extraction process for extracting a lesion candidate region from the endoscopic image.
  • the lesion extraction function control unit is configured to perform processing to select one lesion extraction unit corresponding to one abnormal symptom identified by the abnormal symptom identification unit from the lesion extraction units of the plurality of lesions, and to control the lesion extraction function unit to cause one lesion extraction unit to perform lesion extraction processing.
  • the diagnosis support device described in International Publication No. 2020/188682 also has a display control unit.
  • the display control unit is configured to perform processing for displaying, on a display device, an endoscopic image together with information indicating the position of a lesion candidate region extracted by one of the lesion extraction units.
  • One embodiment of the technology disclosed herein provides a medical support device, endoscope, medical support method, and program that can enable a user to grasp the size of an observation area that is expected to be of great interest to the user when multiple observation areas are shown in a medical image.
  • a first aspect of the technology disclosed herein is a medical support device that includes a processor that recognizes the positions of multiple observation regions in a medical image based on the medical image showing the multiple observation regions, determines the priority of the multiple observation regions based on their positions, measures the size of the multiple observation regions, and outputs the size based on the priority.
  • a second aspect of the technology disclosed herein is a medical support device according to the first aspect, in which the processor outputs the size of each observation region in order of priority.
  • the third aspect of the technology disclosed herein is a medical support device according to the second aspect, in which the size of each observation region is output each time an instruction is given.
  • a fourth aspect of the technology disclosed herein is a medical support device according to any one of the first to third aspects, in which the size is output by displaying the size on a screen.
  • the fifth aspect of the technology disclosed herein is a medical support device according to the fourth aspect, in which the screen displays the size in a display mode according to the priority order.
  • a sixth aspect of the technology disclosed herein is a medical support device according to the fourth or fifth aspect, in which a medical image is displayed on the screen and the size is displayed within the medical image.
  • a seventh aspect of the technology disclosed herein is a medical support device according to any one of the fourth to sixth aspects, in which a medical image is displayed on a screen, and area identification information capable of identifying an observation target area corresponding to the output size is displayed within the medical image.
  • An eighth aspect of the technology disclosed herein is a medical support device according to any one of the fourth to seventh aspects, in which the screen includes a first display area and a second display area, the first display area displays a medical image, the second display area displays a map showing the distribution of the positions of each observation target area, and area identification information capable of identifying the observation target area corresponding to the output size is displayed within the map.
  • a ninth aspect of the technology disclosed herein is a medical support device according to any one of the fourth to eighth aspects, in which the size displayed on the screen is switched according to a priority order.
  • a tenth aspect of the technology disclosed herein is a medical support device according to the ninth aspect, in which the size of what is displayed on the screen is changed each time an instruction is given.
  • An eleventh aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which the location is recognized using an AI-based method, and the priority is determined based on the confidence level obtained from the AI.
  • a twelfth aspect of the technology disclosed herein is a medical support device according to any one of the first to eleventh aspects, in which the closer the location is to the center of the medical image, the higher the priority.
  • a thirteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to twelfth aspects, in which the processor acquires depths of multiple observation target regions, and the priority is determined based on the positions and depths.
  • a fourteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to thirteenth aspects, in which the processor recognizes the type of observation target area based on the medical image, and the priority is determined based on the position and type.
  • a fifteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to fourteenth aspects, in which the processor measures the size according to a priority order.
  • a sixteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to fifteenth aspects, in which the medical image is an endoscopic image obtained by capturing an image using an endoscope.
  • a seventeenth aspect of the technology disclosed herein is a medical support device according to any one of the first to sixteenth aspects, in which the observation target area is a lesion.
  • An 18th aspect of the technology disclosed herein is an endoscope that includes a medical support device according to any one of the first to seventeenth aspects, and a module that is inserted into the body including an area to be observed and captures an image of the area to be observed to obtain a medical image.
  • a nineteenth aspect of the technology disclosed herein is a medical support method that includes recognizing the positions of multiple observation regions in a medical image based on the medical image showing the multiple observation regions, determining the priority of the multiple observation regions based on the positions, measuring the size of the multiple observation regions, and outputting the size based on the priority.
  • a twentieth aspect of the technology disclosed herein is a program for causing a computer to execute a medical support process that includes recognizing the positions of multiple observation regions in a medical image based on the medical image showing the multiple observation regions, determining the priority of the multiple observation regions based on their positions, measuring the size of the multiple observation regions, and outputting the size based on the priority.
  • FIG. 1 is a conceptual diagram showing an example of an aspect in which an endoscope system is used.
  • 1 is a conceptual diagram showing an example of an overall configuration of an endoscope.
  • 2 is a block diagram showing an example of a hardware configuration of an electrical system of the endoscope;
  • 2 is a block diagram showing an example of the main functions of a processor included in the endoscope and an example of information stored in an NVM.
  • FIG. FIG. 4 is a conceptual diagram showing an example of processing contents of a recognition unit and a control unit.
  • FIG. 13 is a conceptual diagram illustrating an example of a process performed by a determination unit.
  • FIG. 4 is a conceptual diagram showing an example of processing contents of a measurement unit.
  • FIG. 11 is a conceptual diagram showing an example of an aspect in which an endoscopic image is displayed in a first display area and the size is displayed within a map in a second display area.
  • FIG. 13 is a flowchart showing an example of the flow of a medical support process. 13 is a conceptual diagram showing an example of how the display contents in the map are switched in accordance with an instruction accepted by the acceptance device 64.
  • FIG. 13 is a conceptual diagram showing a first modified example of the processing content of the determination unit.
  • FIG. 13 is a conceptual diagram showing a second modified example of the processing content of the determination unit.
  • FIG. 13 is a conceptual diagram illustrating an example of a segmentation image displayed in a map surrounded by a circumscribing rectangular frame.
  • FIG. 13 is a conceptual diagram showing an example of a manner in which size and text information is displayed from within a map to outside the map in a pop-up manner, and the size and text information is displayed on the screen in a display size according to priority.
  • 11 is a conceptual diagram showing an example in which a lesion shown in an endoscopic image is surrounded by a circumscribing rectangular frame.
  • FIG. FIG. 13 is a conceptual diagram showing an example of an output destination of the size.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • SSD is an abbreviation for "Solid State Drive”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • HDD is an abbreviation for "Hard Disk Drive”.
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • AI is an abbreviation for "Artificial Intelligence”.
  • BLI is an abbreviation for "Blue Light Imaging”.
  • LCI is an abbreviation for "Linked Color Imaging”.
  • I/F is an abbreviation for "Interface”.
  • SSL is an abbreviation for "Sessile Serrated Lesion”.
  • NP is an abbreviation for "Neoplastic Polyp”.
  • HP is an abbreviation for "Hyperplastic Polyp”.
  • an endoscopic system 10 includes an endoscope 12 and a display device 14.
  • the endoscope 12 is used by a doctor 16 in an endoscopic examination.
  • the endoscopic examination is assisted by staff such as a nurse 17.
  • the endoscope 12 is an example of an "endoscope" according to the technology disclosed herein.
  • the endoscope 12 is communicatively connected to a communication device (not shown), and information obtained by the endoscope 12 is transmitted to the communication device.
  • a communication device is a server and/or a client terminal (e.g., a personal computer and/or a tablet terminal, etc.) that manages various information such as electronic medical records.
  • the communication device receives the information transmitted from the endoscope 12 and executes processing using the received information (e.g., processing to store the information in an electronic medical record, etc.).
  • the endoscope 12 includes an endoscope body 18.
  • the endoscope 12 is a device for performing medical treatment on the large intestine 22 contained within the body of a subject 20 (e.g., a patient) using the endoscope body 18.
  • the large intestine 22 is the object observed by the doctor 16.
  • the endoscope body 18 is inserted into the large intestine 22 of the subject 20.
  • the endoscope 12 causes the endoscope body 18 inserted into the large intestine 22 of the subject 20 to take images of the inside of the large intestine 22 inside the subject 20's body, and also performs various medical procedures on the large intestine 22 as necessary.
  • the endoscope 12 captures images of the inside of the large intestine 22 of the subject 20, and obtains and outputs images showing the state of the inside of the body.
  • the endoscope 12 is an endoscope with an optical imaging function that captures images of reflected light obtained by irradiating light 26 inside the large intestine 22 and reflecting it off the intestinal wall 24 of the large intestine 22.
  • an endoscopic examination of the large intestine 22 is shown here as an example, this is merely one example, and the technology disclosed herein can also be applied to endoscopic examination of hollow organs such as the esophagus, stomach, duodenum, or trachea.
  • the endoscope 12 is equipped with a control device 28, a light source device 30, and an image processing device 32.
  • the control device 28, the light source device 30, and the image processing device 32 are installed on a wagon 34.
  • the wagon 34 has multiple stands arranged in the vertical direction, and the image processing device 32, the control device 28, and the light source device 30 are installed from the lower stand to the upper stand.
  • the display device 14 is installed on the top stand of the wagon 34.
  • the control device 28 controls the entire endoscope 12. Under the control of the control device 28, the image processing device 32 performs various image processing on the images obtained by imaging the intestinal wall 24 by the endoscope body 18.
  • the display device 14 displays various information including images. Examples of the display device 14 include a liquid crystal display and an EL display. A tablet terminal with a display may be used in place of the display device 14 or together with the display device 14.
  • a screen 35 is displayed on the display device 14.
  • the screen 35 includes a plurality of display areas.
  • the plurality of display areas are arranged side by side within the screen 35.
  • a first display area 36 and a second display area 38 are shown as examples of the plurality of display areas.
  • the size of the first display area 36 is larger than the size of the second display area 38.
  • the first display area 36 is used as a main display area, and the second display area 38 is used as a sub display area.
  • the screen 35 is an example of a "screen” according to the technology of the present disclosure
  • the first display area 36 is an example of a "first display area” according to the technology of the present disclosure
  • the second display area 38 is an example of a "second display area” according to the technology of the present disclosure.
  • the first display area 36 displays an endoscopic image 40.
  • the endoscopic image 40 is an image acquired by imaging the intestinal wall 24 in the large intestine 22 of the subject 20 by the endoscope body 18.
  • an image showing the intestinal wall 24 is shown as an example of the endoscopic image 40.
  • the intestinal wall 24 shown in the endoscopic image 40 includes multiple lesions 42 (e.g., three lesions 42 in the example shown in FIG. 1) as multiple regions of interest (i.e., multiple observation target regions) that are focused on by the doctor 16, and the doctor 16 can visually recognize the state of the intestinal wall 24 including the multiple lesions 42 through the endoscopic image 40.
  • lesions 42 there are various types of lesions 42, and the types of lesions 42 include, for example, neoplastic polyps (e.g., NPs or SSLs belonging to NPs) and non-neoplastic polyps (e.g., HPs).
  • neoplastic polyps e.g., NPs or SSLs belonging to NPs
  • non-neoplastic polyps e.g., HPs
  • the endoscopic image 40 is an example of a "medical image” and an “endoscopic image” according to the technology of the present disclosure.
  • the lesion 42 is an example of an "observation target area” and a “lesion” according to the technology of the present disclosure.
  • the lesion 42 is illustrated, but the technology of the present disclosure is not limited to this, and the multiple areas of interest (i.e., the multiple observation target areas) gazed upon by the doctor 16 may be multiple organs (e.g., the bile duct opening and the pancreatic duct opening contained in the duodenal papilla), multiple marked areas, artificial treatment tools (e.g., artificial clips), or multiple treated areas (e.g., multiple areas where traces of removal of polyps, etc. remain), etc.
  • organs e.g., the bile duct opening and the pancreatic duct opening contained in the duodenal papilla
  • artificial treatment tools e.g., artificial clips
  • treated areas e.g., multiple areas where traces of removal of polyps, etc. remain
  • the multiple areas of interest i.e., the multiple observation target areas
  • gazed upon by the doctor 16 may be multiple combinations of at least one lesion 42, at least one organ, at least one marked area, at least one artificial treatment tool, and at least one treated area.
  • a moving image is displayed in the first display area 36.
  • the endoscopic image 40 displayed in the first display area 36 is one frame included in a moving image that includes multiple frames in chronological order. In other words, multiple frames of the endoscopic image 40 are displayed in the first display area 36 at a default frame rate (e.g., 30 frames/second or 60 frames/second, etc.).
  • a moving image displayed in the first display area 36 is a moving image in a live view format.
  • the live view format is merely one example, and the moving image may be temporarily stored in a memory or the like and then displayed, such as a moving image in a post-view format.
  • each frame contained in a moving image for recording stored in a memory or the like may be reproduced and displayed in the first display area 36 as an endoscopic image 40.
  • the second display area 38 is adjacent to the first display area 36, and is displayed in the lower right corner of the screen 35 when viewed from the front.
  • the display position of the second display area 38 may be anywhere within the screen 35 of the display device 14, but it is preferable that it is displayed in a position that can be compared with the endoscopic image 40.
  • a plurality of segmentation images 44 are displayed in the second display area 38.
  • the segmentation images 44 are image areas that identify the position in the endoscopic image 40 of a lesion 42 recognized by performing object recognition processing using AI segmentation on the endoscopic image 40.
  • the multiple segmentation images 44 displayed in the second display area 38 are images that correspond to the endoscopic image 40 and are referenced by the physician 16 to identify the location of the lesion 42 within the endoscopic image 40.
  • multiple segmentation images 44 are shown as an example here, when a lesion 42 is recognized by performing object recognition processing using AI on the endoscopic image 40 using a bounding box method, multiple bounding boxes are displayed instead of the multiple segmentation images 44. Also, multiple segmentation images 44 and multiple bounding boxes may be used in combination. Note that the segmentation image 44 and the bounding boxes are merely examples, and any image may be used as long as it is possible to identify the positional relationship in which multiple lesions 42 are captured in the endoscopic image 40.
  • the endoscope body 18 includes an operating section 46 and an insertion section 48.
  • the insertion section 48 is partially curved by operating the operating section 46.
  • the insertion section 48 is inserted into the large intestine 22 (see FIG. 1) while curving in accordance with the shape of the large intestine 22 (see FIG. 1) in accordance with the operation of the operating section 46 by the doctor 16 (see FIG. 1).
  • the tip 50 of the insertion section 48 is provided with a camera 52, a lighting device 54, and an opening 56 for a treatment tool.
  • the camera 52 and the lighting device 54 are provided on the tip surface 50A of the tip 50. Note that, although an example in which the camera 52 and the lighting device 54 are provided on the tip surface 50A of the tip 50 is given here, this is merely one example, and the camera 52 and the lighting device 54 may be provided on the side surface of the tip 50, so that the endoscope 12 is configured as a side-viewing endoscope.
  • the camera 52 is a device that captures an image of the inside of the subject 20 (e.g., inside the large intestine 22) to obtain an endoscopic image 40 as a medical image.
  • One example of the camera 52 is a CMOS camera. However, this is merely one example, and other types of cameras such as a CCD camera may also be used.
  • the camera 52 is an example of a "module" related to the technology of the present disclosure.
  • the illumination device 54 has illumination windows 54A and 54B.
  • the illumination device 54 irradiates light 26 (see FIG. 1) through the illumination windows 54A and 54B.
  • Examples of the type of light 26 irradiated from the illumination device 54 include visible light (e.g., white light) and non-visible light (e.g., near-infrared light).
  • the illumination device 54 also irradiates special light through the illumination windows 54A and 54B. Examples of the special light include light for BLI and/or light for LCI.
  • the camera 52 captures images of the inside of the large intestine 22 by optical techniques while the light 26 is irradiated inside the large intestine 22 by the illumination device 54.
  • the treatment tool opening 56 is an opening for allowing the treatment tool 58 to protrude from the tip 50.
  • the treatment tool opening 56 is also used as a suction port for sucking blood and internal waste, and as a delivery port for delivering fluids.
  • the operating section 46 is formed with a treatment tool insertion port 60, and the treatment tool 58 is inserted into the insertion section 48 from the treatment tool insertion port 60.
  • the treatment tool 58 passes through the insertion section 48 and protrudes to the outside from the treatment tool opening 56.
  • a puncture needle is shown as the treatment tool 58 protruding from the treatment tool opening 56.
  • a puncture needle is shown as the treatment tool 58, but this is merely one example, and the treatment tool 58 may be a grasping forceps, a papillotomy knife, a snare, a catheter, a guidewire, a cannula, and/or a puncture needle with a guide sheath, etc.
  • the endoscope body 18 is connected to the control device 28 and the light source device 30 via a universal cord 62.
  • the control device 28 is connected to an image processing device 32 and a reception device 64.
  • the image processing device 32 is also connected to the display device 14. In other words, the control device 28 is connected to the display device 14 via the image processing device 32.
  • the image processing device 32 is shown here as an external device for expanding the functions performed by the control device 28, an example is given in which the control device 28 and the display device 14 are indirectly connected via the image processing device 32, but this is merely one example.
  • the display device 14 may be directly connected to the control device 28.
  • the function of the image processing device 32 may be included in the control device 28, or the control device 28 may be equipped with a function to cause a server (not shown) to execute the same processing as that executed by the image processing device 32 (for example, the medical support processing described below) and to receive and use the results of the processing by the server.
  • the reception device 64 receives instructions from the doctor 16 and outputs the received instructions as an electrical signal to the control device 28.
  • Examples of the reception device 64 include a keyboard, a mouse, a touch panel, a foot switch, a microphone, and/or a remote control device.
  • the control device 28 controls the light source device 30, exchanges various signals with the camera 52, and exchanges various signals with the image processing device 32.
  • the light source device 30 emits light under the control of the control device 28, and supplies the light to the illumination device 54.
  • the illumination device 54 has a built-in light guide, and the light supplied from the light source device 30 passes through the light guide and is irradiated from illumination windows 54A and 54B.
  • the control device 28 causes the camera 52 to capture an image, acquires an endoscopic image 40 (see FIG. 1) from the camera 52, and outputs it to a predetermined output destination (e.g., the image processing device 32).
  • the image processing device 32 performs various image processing on the endoscopic image 40 input from the control device 28.
  • the image processing device 32 outputs the endoscopic image 40 that has been subjected to various image processing to a predetermined output destination (e.g., the display device 14).
  • the endoscopic image 40 output from the control device 28 is output to the display device 14 via the image processing device 32
  • the control device 28 and the display device 14 may be connected, and the endoscopic image 40 that has been subjected to image processing by the image processing device 32 may be displayed on the display device 14 via the control device 28.
  • the control device 28 includes a computer 66, a bus 68, and an external I/F 70.
  • the computer 66 includes a processor 72, a RAM 74, and an NVM 76.
  • the processor 72, the RAM 74, the NVM 76, and the external I/F 70 are connected to the bus 68.
  • the processor 72 has at least one CPU and at least one GPU, and controls the entire control device 28.
  • the GPU operates under the control of the CPU, and is responsible for executing various graphic processing operations and performing calculations using neural networks.
  • the processor 72 may be one or more CPUs with integrated GPU functionality, or one or more CPUs without integrated GPU functionality.
  • the computer 66 is equipped with one processor 72, but this is merely one example, and the computer 66 may be equipped with multiple processors 72.
  • RAM 74 is a memory in which information is temporarily stored, and is used as a work memory by processor 72.
  • NVM 76 is a non-volatile storage device that stores various programs and various parameters, etc.
  • An example of NVM 76 is a flash memory (e.g., EEPROM and/or SSD). Note that flash memory is merely one example, and other non-volatile storage devices such as HDDs may also be used, or a combination of two or more types of non-volatile storage devices may also be used.
  • the external I/F 70 is responsible for transmitting various types of information between the processor 72 and one or more devices (hereinafter also referred to as "first external devices") that exist outside the control device 28.
  • first external devices One example of the external I/F 70 is a USB interface.
  • the camera 52 is connected to the external I/F 70 as one of the first external devices, and the external I/F 70 is responsible for the exchange of various information between the camera 52 and the processor 72.
  • the processor 72 controls the camera 52 via the external I/F 70.
  • the processor 72 also acquires, via the external I/F 70, an endoscopic image 40 (see FIG. 1) obtained by the camera 52 capturing an image of the inside of the large intestine 22 (see FIG. 1).
  • the light source device 30 is connected to the external I/F 70 as one of the first external devices, and the external I/F 70 is responsible for the exchange of various information between the light source device 30 and the processor 72.
  • the light source device 30 supplies light to the lighting device 54 under the control of the processor 72.
  • the lighting device 54 irradiates the light supplied from the light source device 30.
  • the external I/F 70 is connected to the reception device 64 as one of the first external devices, and the processor 72 acquires instructions received by the reception device 64 via the external I/F 70 and executes processing according to the acquired instructions.
  • the image processing device 32 includes a computer 78 and an external I/F 80.
  • the computer 78 includes a processor 82, a RAM 84, and an NVM 86.
  • the processor 82, the RAM 84, the NVM 86, and the external I/F 80 are connected to a bus 88.
  • the image processing device 32 is an example of a "medical support device” according to the technology of the present disclosure
  • the computer 78 is an example of a "computer” according to the technology of the present disclosure
  • the processor 82 is an example of a "processor" according to the technology of the present disclosure.
  • computer 78 i.e., processor 82, RAM 84, and NVM 86
  • processor 82, RAM 84, and NVM 86 is basically the same as the hardware configuration of computer 66, so a description of the hardware configuration of computer 78 will be omitted here.
  • the external I/F 80 is responsible for transmitting various types of information between the processor 82 and one or more devices (hereinafter also referred to as "second external devices") that exist outside the image processing device 32.
  • second external devices One example of the external I/F 80 is a USB interface.
  • the control device 28 is connected to the external I/F 80 as one of the second external devices.
  • the external I/F 70 of the control device 28 is connected to the external I/F 80.
  • the external I/F 80 is responsible for the exchange of various information between the processor 82 of the image processing device 32 and the processor 72 of the control device 28.
  • the processor 82 acquires an endoscopic image 40 (see FIG. 1) from the processor 72 of the control device 28 via the external I/Fs 70 and 80, and performs various image processing on the acquired endoscopic image 40.
  • the display device 14 is connected to the external I/F 80 as one of the second external devices.
  • the processor 82 controls the display device 14 via the external I/F 80 to cause the display device 14 to display various information (e.g., an endoscopic image 40 that has been subjected to various image processing).
  • the doctor 16 checks the endoscopic image 40 via the display device 14 and determines whether or not medical treatment is required for the multiple lesions 42 shown in the endoscopic image 40, and performs medical treatment on the multiple lesions 42 if necessary.
  • the size of the multiple lesions 42 is an important factor in determining whether or not medical treatment is required.
  • the lesion 42 in which the doctor 16 is interested varies depending on the position of the lesion 42 in the endoscopic image 40. Presenting the size of the lesion 42 that the doctor 16 is less interested in to the doctor 16 preferentially, or presenting the sizes of the lesions 42 that the doctor 16 is more interested in to the doctor 16 in a state in which the sizes of the lesions 42 that the doctor 16 is less interested in to the doctor 16 cannot be distinguished, which can be a factor in inefficiency and confusion in performing an endoscopic examination.
  • medical support processing is performed by the processor 82 of the image processing device 32, as shown in FIG. 4.
  • NVM 86 stores a medical support program 90.
  • the medical support program 90 is an example of a "program" according to the technology of the present disclosure.
  • the processor 82 reads the medical support program 90 from NVM 86 and executes the read medical support program 90 on RAM 84 to perform medical support processing.
  • the medical support processing is realized by the processor 82 operating as a recognition unit 82A, a determination unit 82B, a measurement unit 82C, and a control unit 82D in accordance with the medical support program 90 executed on RAM 84.
  • the NVM 86 stores a recognition model 92 and a distance derivation model 94.
  • the recognition model 92 and the distance derivation model 94 are examples of "AI" according to the technology of the present disclosure.
  • the recognition model 92 is used by the recognition unit 82A
  • the distance derivation model 94 is used by the measurement unit 82C.
  • the recognition unit 82A and the control unit 82D acquire the endoscopic image 40 generated by the camera 52 capturing images at an imaging frame rate (e.g., several tens of frames per second) from the camera 52 on a frame-by-frame basis.
  • an imaging frame rate e.g., several tens of frames per second
  • the control unit 82D displays the endoscopic image 40 as a live view image in the first display area 36. That is, each time the control unit 82D acquires an endoscopic image 40 from the camera 52 frame by frame, it displays the acquired endoscopic image 40 in the first display area 36 in sequence according to the display frame rate (e.g., several tens of frames per second).
  • the display frame rate e.g., several tens of frames per second.
  • the recognition unit 82A performs a recognition process 96 on the endoscopic image 40 acquired from the camera 52 to recognize the position and type of the lesion 42 in the endoscopic image 40 (i.e., the position of the lesion 42 shown in the endoscopic image 40).
  • the recognition process 96 is performed by the recognition unit 82A on the acquired endoscopic image 40 each time the endoscopic image 40 is acquired.
  • the recognition process 96 is an object recognition process using an AI segmentation method.
  • the recognition process 96 is performed using the recognition model 92.
  • the recognition model 92 is a trained model for object recognition using an AI segmentation method, and is optimized by performing machine learning on the neural network using the first training data.
  • the first training data is a data set including multiple data (i.e., multiple frames of data) in which the first example data and the first correct answer data are associated with each other.
  • the first example data is an image corresponding to the endoscopic image 40.
  • the first correct answer data is correct answer data (i.e., annotation) for the first example data.
  • an annotation that identifies the position and type of a lesion that appears in the image used as the first example data is used as an example of the first correct answer data.
  • the recognition unit 82A acquires an endoscopic image 40 from the camera 52 and inputs the acquired endoscopic image 40 to the recognition model 92.
  • the recognition model 92 identifies the position of the segmentation image 44 identified by the segmentation method as the position of the lesion 42 appearing in the input endoscopic image 40, and outputs position identification information 98 that can identify the position of the segmentation image 44.
  • An example of the position identification information 98 is coordinates that identify the segmentation image 44 in the endoscopic image 40.
  • the recognition model 92 recognizes the type of the lesion 42 appearing in the input endoscopic image 40 (for example, the name of the lesion (for example, NP, SSL, HP, etc.)) and outputs type information 100 that indicates the recognized type.
  • the position identification information 98 and type information 100 are associated with the segmentation image 44.
  • the control unit 82D displays a map 102 in the second display area 38, which shows the distribution of the positions of the multiple lesions 42 for each endoscopic image 40, according to the position identification information 98 and the multiple segmentation images 44.
  • the map 102 is created by the recognition unit 82A.
  • the distribution of the positions of the multiple lesions 42 for each endoscopic image 40 in the map 102 is represented by the multiple segmentation images 44 obtained for each endoscopic image 40 by the recognition unit 82A.
  • the map 102 displayed in the second display area 38 is updated according to the display frame rate applied to the first display area 36. That is, the display of the multiple segmentation images 44 in the second display area 38 is updated in synchronization with the display timing of the endoscopic image 40 displayed in the first display area 36.
  • map 102 is an example of a "map" according to the technology disclosed herein.
  • the determination unit 82B acquires a map 102 including position identification information 98, type information 100, and multiple segmentation images 44 from the recognition unit 82A each time the recognition unit 82A performs a recognition process 96 (see FIG. 5) for each endoscopic image 40.
  • the determination unit 82B determines a priority order 104 for the multiple lesions 42 based on the position identification information 98 acquired from the recognition unit 82A.
  • the priority order 104 is a ranking assigned to each of the multiple lesions 42 according to priority (in other words, according to importance), and is determined so that a high ranking is assigned to a lesion 42 that is expected to be of high interest to the doctor 16 and a low ranking is assigned to a lesion 42 that is expected to be of low interest to the doctor 16.
  • the priority order 104 is determined by the determination unit 82B based on the location identification information 98 and type information 100.
  • the determination unit 82B first derives a position weight 106 based on the position identification information 98, and derives a type weight 108 based on the type information 100.
  • the position weight 106 is the weight of the position of the lesion 42 in the endoscopic image 40 (i.e., the priority (in other words, the importance)). For example, the closer to the center of the endoscopic image 40, the larger the position weight 106.
  • the position weight 106 is a value determined within the range of "0 ⁇ x ⁇ 0.5".
  • a first example of a means for deriving the position weight 106 from the position identification information 98 is a means that uses an arithmetic expression in which the position identification information 98 is a dependent variable and the position weight 106 is an independent variable.
  • a second example of a means for deriving the position weight 106 from the position identification information 98 is a means that uses a table in which the position identification information 98 is an input and the position weight 106 is an output.
  • the type weight 108 is the type of the lesion 42 indicated by the type information 100 (i.e., the priority (in other words, the importance)). For example, the more severe the type of the lesion 42, the larger the type weight 108.
  • the type weight 108 of a neoplastic polyp is larger than the type weight 108 of a non-neoplastic polyp.
  • the type weight 108 is a value determined within the range of "0 ⁇ y ⁇ 0.5".
  • a first example of a means for deriving the type weight 108 from the type information 100 is a means using a table that uses the type information 100 as input and the type weight 108 as output.
  • a second example of a means for deriving the type weight 108 from the type information 100 is a means using an arithmetic expression that uses the type information 100 as a dependent variable and the type weight 108 as an independent variable, assuming that the type information 100 is expressed by a variable that can identify the type of the lesion 42.
  • the determination unit 82B calculates the total weight 110 based on the position weight 106 and the type weight 108.
  • the total weight 110 is shown as the sum of the position weight 106 and the type weight 108.
  • the sum of the position weight 106 and the type weight 108 is merely an example, and the product of the position weight 106 and the type weight 108 may be used.
  • at least one of the position weight 106 and the type weight 108 may be multiplied by a coefficient.
  • the coefficient may be a fixed value or a variable value.
  • the coefficient may be determined according to various conditions (e.g., the type of endoscopic examination, the specifications of the endoscope 12, and/or the user of the endoscope 12, etc.), or may be determined according to instructions given by the doctor 16 or the like via the reception device 64.
  • the position weight 106 itself and/or the type weight 108 itself may be changed in a similar manner.
  • the determination unit 82B determines the priority order 104 of the multiple lesions 42 based on the total weight 110 calculated for each of the multiple lesions 42.
  • the priority order 104 is higher as the total weight 110 is larger. For example, when the sum of the position weight 106 and the type weight 108 is used as the total weight 110, when the position weight 106 is focused on, the total weight 110 is larger as the position weight 106 is larger, and the priority order 104 is higher accordingly.
  • the closer to the center of the endoscopic image 40 the larger the position weight 106. Therefore, the closer the position of the lesion 42 is to the center of the endoscopic image 40, the higher the priority order 104 is.
  • the total weight 110 is larger as the type weight 108 is larger, and the priority order 104 is higher accordingly.
  • the determination unit 82B assigns the determined priority order 104 to the multiple lesions 42.
  • the assignment of priority order 104 to the multiple lesions 42 is realized by assigning the priority order 104 determined by the determination unit 82B to each of the multiple segmentation images 44 corresponding to the multiple lesions 42.
  • the measurement unit 82C measures the size 112 of the lesion 42 based on the endoscopic image 40 acquired from the camera 52 (e.g., the endoscopic image 40 used by the recognition unit 82A to obtain the multiple segmentation images 44, the position identification information 98, and the type information 100 used by the determination unit 82B).
  • the measurement unit 82C measures the size 112 of the multiple lesions 42 according to the priority order 104 determined by the determination unit 82B. That is, the size 112 of the lesion 42 is measured in order from the lesion 42 with the highest priority order 104 to the lesion 42 with the lowest priority order 104.
  • the measuring unit 82C acquires distance information 114 of the multiple lesions 42 based on the endoscopic image 40 acquired from the camera 52.
  • the distance information 114 is information indicating the distance from the camera 52 (i.e., the observation position) to the intestinal wall 24 including the lesion 42 (see FIG. 1).
  • the distance from the camera 52 to the intestinal wall 24 including the lesion 42 is an example of "depth" according to the technology of the present disclosure.
  • the distance from the camera 52 to the intestinal wall 24 including the lesion 42 is illustrated here, this is merely an example, and instead of distance, a numerical value indicating the depth from the camera 52 to the intestinal wall 24 including the lesion 42 (e.g., multiple numerical values that define the depth in stages (e.g., numerical values ranging from several stages to several tens of stages)) may be used.
  • Distance information 114 is obtained for each of all pixels constituting the endoscopic image 40. Note that distance information 114 may also be obtained for each block of the endoscopic image 40 that is larger than a pixel (for example, a pixel group made up of several to several hundred pixels).
  • the measurement unit 82C acquires the distance information 114, for example, by deriving the distance information 114 using an AI method.
  • a distance derivation model 94 is used to derive the distance information 114.
  • the distance derivation model 94 is a machine that uses the second teacher data for the neural network.
  • the second training data is optimized by learning.
  • the second training data is a data set including multiple data (i.e., multiple frames of data) in which the second example data and the second answer data are associated with each other.
  • the second example data is an image corresponding to the endoscopic image 40.
  • the second correct answer data is correct answer data (i.e., annotation) for the second example data.
  • an annotation that specifies the distance corresponding to each pixel appearing in the image used as the second example data is used as an example of the second correct answer data.
  • the measurement unit 82C acquires the endoscopic image 40 from the camera 52, and inputs the acquired endoscopic image 40 to the distance derivation model 94.
  • the distance derivation model 94 outputs distance information 114 in pixel units of the input endoscopic image 40. That is, in the measurement unit 82C, information indicating the distance from the position of the camera 52 (e.g., the position of an image sensor or objective lens mounted on the camera 52) to the intestinal wall 24 shown in the endoscopic image 40 is output from the distance derivation model 94 as distance information 114 in pixel units of the endoscopic image 40.
  • the measurement unit 82C generates a distance image 116 based on the distance information 114 output from the distance derivation model 94.
  • the distance image 116 is an image in which the distance information 114 is distributed in pixel units contained in the endoscopic image 40.
  • the measurement unit 82C acquires the position identification information 98 from the determination unit 82B according to the priority order 104 determined by the determination unit 82B. That is, the measurement unit 82C acquires the position identification information 98 assigned to the segmentation images 44 in order from the highest priority order 104 to the lowest priority order 104. For example, in the example shown in FIG. 6, the three segmentation images 44 are assigned the priorities 104 of 1st to 3rd, so the measurement unit 82C acquires the position identification information 98 in sequence from the position identification information 98 assigned to the segmentation image 44 with the first priority order 104 to the position identification information 98 assigned to the segmentation image 44 with the third priority order 104.
  • the measurement unit 82C acquires position identification information 98 from the multiple segmentation images 44 in order from high to low priority order 104, and by referring to the acquired position identification information 98, extracts distance information 114 from the distance image 116 that corresponds to a position identified from the position identification information 98.
  • Examples of the distance information 114 extracted from the distance image 116 include distance information 114 that corresponds to a specific position (e.g., center of gravity) of the lesion 42, or a statistical value (e.g., median, average, or mode) of the distance information 114 for multiple pixels (e.g., all pixels) included in the lesion 42.
  • the measurement unit 82C extracts a pixel count 118 from the endoscopic image 40.
  • the pixel count 118 is the number of pixels on a line segment 120 that crosses an image area (i.e., an image area showing the lesion 42) at a position identified from the position identification information 98 among the entire image area of the endoscopic image 40 input to the distance derivation model 94.
  • An example of the line segment 120 is the longest line segment parallel to the long side of a circumscribing rectangular frame 122 for the image area showing the lesion 42. Note that the line segment 120 is merely an example, and instead of the line segment 120, the longest line segment parallel to the short side of a circumscribing rectangular frame 122 for the image area showing the lesion 42 may be applied.
  • the measurement unit 82C calculates the size 112 of the lesion 42 in real space based on the distance information 114 extracted from the distance image 116 and the number of pixels 118 extracted from the endoscopic image 40.
  • the size 112 refers to, for example, the length of the lesion 42 in real space.
  • the size 112 is calculated using an arithmetic expression 124.
  • the measurement unit 82C inputs the distance information 114 extracted from the distance image 116 and the number of pixels 118 extracted from the endoscopic image 40 to the arithmetic expression 124.
  • the arithmetic expression 124 is an arithmetic expression in which the distance information 114 and the number of pixels 118 are independent variables, and the size 112 is a dependent variable.
  • the arithmetic expression 124 outputs the size 112 corresponding to the input distance information 114 and number of pixels 118.
  • the size 112 of the lesion 42 corresponding to the segmentation image 44 assigned the first priority 104 is measured by the measurement unit 82C, but the sizes 112 of the lesions 42 corresponding to the segmentation images 44 assigned the second and third priorities 104 shown in FIG. 6 are also measured sequentially by the measurement unit 82C from the highest priority 104 to the lowest.
  • the sizes 112 of multiple lesions 42 are measured sequentially according to the priority order 104
  • the technology disclosed herein is not limited to this, and the sizes 112 of multiple lesions 42 may be measured in parallel.
  • the length of the lesion 42 in real space is exemplified as size 112, but the technology of the present disclosure is not limited to this, and size 112 may be the surface area or volume of the lesion 42 in real space.
  • an arithmetic formula 124 is used in which the number of pixels in the entire image area showing the lesion 42 and distance information 114 are independent variables, and the surface area or volume of the lesion 42 in real space is a dependent variable.
  • the control unit 82D displays a map 102 in the second display area 38.
  • the control unit 82D then displays a size 112 within the map 102 based on the priority order 104 assigned to the multiple segmentation images 44.
  • the size 112 is displayed superimposed on the map 102. Note that the superimposed display is merely one example, and an embedded display may also be used.
  • Multiple segmentation images 44 are displayed within the map 102, and the sizes 112 measured by the measurement unit 82C are displayed in order from highest to lowest priority 104 (first to third in the example shown in FIG. 8). That is, the sizes 112 displayed within the map 102 are switched according to the priority 104.
  • the time interval at which the sizes 112 are switched i.e., the time during which the sizes 112 for each priority 104 are continuously displayed, may be a fixed time of several seconds to several tens of seconds, or may be a variable time that can be changed according to instructions given by the doctor 16 or the like via the reception device 64.
  • the control unit 82D displays dimension lines 126 in the map 102 as information that enables identification of which of the multiple lesions 42 the size 112 displayed in the map 102 corresponds to.
  • the dimension lines 126 are marks that enable identification of which part of the segmentation image 44 the size 112 corresponds to.
  • the dimension lines 126 are created and displayed, for example, by the control unit 82D based on the position identification information 98 acquired from the recognition unit 82A.
  • the dimension lines 126 may be created, for example, in a manner similar to the creation of the line segment 120 (i.e., in a manner similar to the use of the circumscribing rectangular frame 122).
  • the dimension lines 126 are an example of "area identification information" related to the technology disclosed herein.
  • FIG. 9 The flow of the medical support process shown in FIG. 9 is an example of a "medical support method" related to the technology of the present disclosure.
  • step ST10 the recognition unit 82A determines whether or not one frame of images has been captured by the camera 52 inside the large intestine 22. If one frame of images has not been captured by the camera 52 inside the large intestine 22 in step ST10, the determination is negative and the determination of step ST10 is made again. If one frame of images has been captured by the camera 52 inside the large intestine 22 in step ST10, the determination is positive and the medical support process proceeds to step ST12.
  • step ST12 the recognition unit 82A and the control unit 82D acquire one frame of the endoscopic image 40 obtained by imaging the large intestine 22 with the camera 52 (see FIG. 5). For ease of explanation, the following description will be given on the assumption that the endoscopic image 40 shows multiple lesions 42.
  • step ST14 the medical support processing proceeds to step ST14.
  • step ST14 the control unit 82D displays the endoscopic image 40 acquired in step ST12 in the first display area 36 (see Figures 1, 5, and 8). After the processing of step ST14 is executed, the medical support processing proceeds to step ST16.
  • step ST16 the recognition unit 82A performs a recognition process 96 using the endoscopic image 40 acquired in step ST12 to recognize the positions and types of multiple lesions 42 in the endoscopic image 40, and acquires position identification information 98 and type information 100 (see FIG. 5).
  • step ST18 the medical support process proceeds to step ST18.
  • step ST18 the determination unit 82B determines priorities 104 for the multiple lesions 42 shown in the endoscopic image 40 acquired in step ST12 based on the position identification information 98 and type information 100 acquired by the recognition unit 82A in step ST16 (see FIG. 6). After the processing of step ST18 is executed, the medical support processing proceeds to step ST20.
  • step ST20 the measurement unit 82C measures the size 112 of the multiple lesions 42 shown in the endoscopic image 40 acquired in step ST12 (see FIG. 7). After the processing of step ST20 is executed, the medical support processing proceeds to step ST22.
  • step ST22 the control unit 82D displays the multiple sizes 112 of the multiple lesions 42 measured by the measurement unit 82C in step ST20 in the second display area 38 based on the priority order 104 determined in step ST18 (see FIG. 8). After the processing of step ST22 is executed, the medical support processing proceeds to step ST24.
  • step ST24 the control unit 82D determines whether or not a condition for terminating the medical support process has been satisfied.
  • a condition for terminating the medical support process is a condition in which an instruction to terminate the medical support process has been given to the endoscope system 10 (for example, a condition in which an instruction to terminate the medical support process has been accepted by the acceptance device 64).
  • step ST24 If the conditions for terminating the medical support process are not met in step ST24, the determination is negative and the medical support process proceeds to step ST10. If the conditions for terminating the medical support process are met in step ST24, the determination is positive and the medical support process ends.
  • the recognition unit 82A recognizes the positions of the multiple lesions 42 in the endoscopic image 40 based on the endoscopic image 40 in which the multiple lesions 42 are shown.
  • the determination unit 82B determines the priority order 104 of the multiple lesions 42 based on the positions of the multiple lesions 42 in the endoscopic image 40.
  • the measurement unit 82C measures the sizes 112 of the multiple lesions 42.
  • the control unit 82D displays the sizes 112 on the screen 35 based on the priority order 104. In this embodiment, as an example, the priority order 104 becomes higher the closer the position of the lesion 42 is to the center of the endoscopic image 40.
  • the size 112 of each lesion 42 is displayed on the screen 35 in order of priority 104. Therefore, among the multiple lesions 42 shown in the endoscopic image 40, the doctor 16 can grasp the size 112 of the lesions 42 in order, starting from the size 112 of the lesion 42 that is expected to be of great interest to the doctor 16 to the size 112 of the lesion 42 that is expected to be of little interest to the doctor 16.
  • the size 112 is displayed on the screen 35. Therefore, when multiple lesions 42 are shown in the endoscopic image 40, the doctor 16 can visually recognize the size 112 of the lesion 42 that is expected to be of great interest to the doctor 16.
  • an endoscopic image 40 is displayed in a first display area 36 in the screen 35.
  • a map 102 is displayed in a second display area 38 in the screen 35, and dimension lines 126 are displayed in the map 102 as information that can identify the lesion 42 that corresponds to the size 112 displayed in the second display area 38. Therefore, the doctor 16 can visually recognize through the map 102 which of the multiple lesions 42 shown in the endoscopic image 40 the size 112 displayed on the screen 35 corresponds to.
  • the sizes 112 displayed on the screen 35 are switched according to the priority order 104. Therefore, when multiple lesions 42 are shown in the endoscopic image 40, the doctor 16 can visually recognize the sizes 112 of the lesions 42 in sequence, from the size 112 of the lesion 42 that is expected to be of great interest to the doctor 16 to the size 112 of the lesion 42 that is expected to be of little interest to the doctor 16.
  • the recognition unit 82A recognizes the positions and types of the multiple lesions 42 in the endoscope image 40 based on the endoscope image 40 in which the multiple lesions 42 are captured.
  • the determination unit 82B determines the priority order 104 of the multiple lesions 42 based on the positions and types of the multiple lesions 42 in the endoscope image 40.
  • the control unit 82D then displays the size 112 on the screen 35 based on the priority order 104.
  • the priority order 104 is higher the closer the position of the lesion 42 is to the center of the endoscope image 40, and the higher the severity of the type of lesion 42 is.
  • the doctor 16 can be made to understand the size 112 of the type of lesion 42 that is of high interest to the doctor 16 and the size 112 of the type of lesion 42 that is of low interest to the doctor 16.
  • the measurement unit 82C measures the sizes 112 of multiple lesions 42 according to the priority order 104. Therefore, of the multiple lesions 42 shown in the endoscopic image 40, the sizes 112 of the lesions 42 that are of greatest interest to the doctor 16 can be measured with priority. As a result, this can contribute to quickly presenting to the doctor 16 the sizes 112 of the lesions 42 that are of greatest interest to the doctor 16.
  • the position weight 106 is larger the closer to the center of the endoscopic image 40, but the technology of the present disclosure is not limited to this.
  • the position weight 106 may be larger the closer to a specified position in the endoscopic image 40 (e.g., an area specified by the doctor 16 as an area to be watched by the doctor 16).
  • the position weight 106 may be smaller the closer to a specified position in the endoscopic image 40 (e.g., an area defined as an area in the endoscopic image 40 where the optical effects (e.g., distortion) of the lens of the camera 52 affect (e.g., the edge of the endoscopic image 40)).
  • the specified position in the endoscopic image 40 may be a fixed position that is determined in advance in accordance with various conditions, or may be a position that is changed in accordance with various conditions and/or given instructions.
  • the display of the sizes 112 of the multiple lesions 42 on the screen 35 may be performed each time an instruction 128 is given to the endoscope 12.
  • An example of the instruction 128 is an instruction given by the doctor 16.
  • the instruction 128 is received by the reception device 64, and the control unit 82D switches the display of the sizes 112 of the multiple lesions 42 in order of priority 104 each time the instruction 128 is received by the reception device 64.
  • the priority order 104 is determined based on the position and type of the lesion 42, but the technology of the present disclosure is not limited to this.
  • the priority order 104 may be determined based on the position of the lesion 42 without taking into account the type of the lesion 42.
  • the priority order 104 may be determined based on information other than the position identification information 98 and the type information 100.
  • the determination unit 82B determines the priority order 104 based on the position identification information 98 and the confidence level 130.
  • the confidence level 130 is an index indicating the likelihood of the position and type of each of the multiple lesions 42, and is used to recognize the position and type of the lesion 42 by the recognition model 92.
  • the confidence level 130 is obtained from the recognition model 92 for each of the multiple lesions 42 when the position and type of the multiple lesions 42 are recognized by the recognition process 96 (see FIG. 5).
  • an index indicating the likelihood of the position and type of each of the multiple lesions 42 is exemplified as the confidence level 130, but the technology disclosed herein is valid as long as the confidence level 130 is an index indicating the likelihood of the position of each of the multiple lesions 42.
  • the determination unit 82B derives the confidence weight 132 based on the confidence 130.
  • the confidence weight 132 is a value determined within the range of "0 ⁇ z ⁇ 0.5".
  • a first example of a means for deriving the confidence weight 132 from the confidence 130 is a means using an arithmetic expression in which the confidence 130 is a dependent variable and the confidence weight 132 is an independent variable.
  • a second example of a means for deriving the confidence weight 132 from the confidence 130 is a means using a table in which the confidence 130 is an input and the confidence weight 132 is an output.
  • the determination unit 82B calculates the total weight 134 based on the position weight 106 and the confidence weight 132 in a manner similar to that used to calculate the total weight 110 in the above embodiment.
  • the determination unit 82B determines the priority order 104 based on the total weight 134 in a manner similar to that used in the above embodiment, and assigns the determined priority order 104 to multiple lesions 42.
  • the confidence 130 influences the determination of the priority order 104, and therefore the priority order 104 can be determined with high accuracy.
  • confidence weights 132 are shown, but as an example, as shown in FIG. 12, depth weights 136 may be applied instead of confidence weights 132.
  • the determination unit 82B determines the priority order 104 based on the position identification information 98 and the depth weight 136.
  • the depth weight 136 is a numerical value determined according to the depth from the observation position in the depth direction (hereinafter, simply referred to as "depth").
  • depth the depth weight 136 is derived based on the distance information 114 extracted from the distance image 116 (see FIG. 7).
  • the depth weight 136 may be the distance indicated by the distance information 114 extracted from the distance image 116 itself, or may be a numerical value obtained by dividing the distance indicated by the distance information 114 extracted from the distance image 116 into several stages to several hundred stages. The smaller the depth, the larger the depth weight 136. Note that, without being limited to this, the greater the depth, the greater the depth weight 136 may be. Whether the depth weight 136 is greater the smaller the depth or the greater the depth may be determined by instructions given by the doctor 16 via the reception device 64.
  • the determination unit 82B calculates the total weight 138 based on the position weight 106 and the depth weight 136 in a manner similar to that used to calculate the total weight 110 in the above embodiment.
  • the determination unit 82B determines the priority order 104 based on the total weight 138 in a manner similar to that used in the above embodiment, and assigns the determined priority order 104 to the multiple lesions 42.
  • the doctor 16 can be made to grasp the size 112 of the lesion 42 in which the doctor 16 is most interested by giving priority.
  • the dimension lines 126 are displayed in correspondence with the segmentation image 44 as information capable of identifying the lesion 42 corresponding to the size 112 displayed in the map 102, but the technology of the present disclosure is not limited to this.
  • a circumscribing rectangular frame 140 for the segmentation image 44 capable of identifying the position in the endoscopic image 40 of the lesion 42 corresponding to the size 112 displayed in the map 102 may be displayed in the map 102.
  • the dimension lines 126 may be displayed in the map 102 together with the circumscribing rectangular frame 140.
  • the circumscribing rectangular frame 140 may be a bounding box.
  • the circumscribing rectangular frame 140 is an example of "area identification information" related to the technology of the present disclosure.
  • the sizes 112 are displayed in the map 102 in order of the priority order 104, but this is merely an example.
  • the sizes 112 may be displayed outside the map 102 (i.e., outside the second display area 38).
  • the sizes 112 are displayed in a pop-up manner from inside the map 102 to outside the map 102.
  • a speech bubble is generated from each of the multiple segmentation images 44, and each speech bubble contains text information 142 that can identify the size 112 and the priority order 104. Therefore, the doctor 16 can simultaneously view the size 112 and priority order 104 of each of the multiple lesions 42 on the screen 35.
  • the text information 142 is displayed, but this is merely an example, and the doctor 16 may visually recognize the priority order 104 (for example, an image or a symbol).
  • a form in which the size 112 and text information 142 are displayed in a pop-up manner from each of the multiple segmentation images 44 is given, but this is merely one example.
  • the size 112 and text information 142 may be displayed in a pop-up manner from each of the multiple lesions 42 shown in the endoscopic image 40.
  • the size 112 and text information 142 are displayed at a display size according to the priority 104.
  • the higher the priority 104 the larger the display size at which the size 112 and text information 142 are displayed.
  • the size 112 and text information 142 may be displayed in a display mode that makes them more noticeable the higher the priority 104.
  • the doctor 16 can visually distinguish between the sizes 112 of lesions 42 that are expected to be of great interest to the doctor 16 and the sizes 112 of lesions 42 that are expected to be of little interest to the doctor 16.
  • a pop-up display using a speech bubble is illustrated, but this is merely one example, and it is sufficient that the size 112 is displayed on the screen 35 in a display manner that allows identification of which lesion 42 the size 112 refers to (for example, a display manner in which the segmentation image 44 in the map 102 or the lesion 42 in the endoscopic image 40 is connected to the size 112 by a line). Similarly, it is sufficient that the size 112 is displayed on the screen 35 in a display manner that allows identification of which lesion 42 the text information 142 relates to.
  • the size 112 of each of the multiple lesions 42 is displayed within the map 102, but the technology disclosed herein is not limited to this.
  • the size 112 may be displayed within the endoscopic image 40. This allows the doctor 16 to visually recognize the size 112 of each of the multiple lesions 42 along with the endoscopic image 40.
  • the size 112 may be displayed in an alpha blended manner.
  • the size 112 may also be displayed in a manner that allows the priority 104 to be identified (e.g., font size, font color, and/or transparency, etc.).
  • a circumscribing rectangular frame 144 for the lesion 42 corresponding to the size 112 displayed in the endoscopic image 40 may be displayed in the endoscopic image 40.
  • the circumscribing rectangular frame 144 may be a bounding box.
  • the display of the circumscribing rectangular frame 144 is switched each time the display of the size 112 is switched according to the priority order 104 so that it is possible to identify which lesion 42 the size 112 displayed in the endoscopic image 40 corresponds to.
  • the circumscribing rectangular frame 144 is an example of "area identification information" related to the technology of the present disclosure.
  • the doctor 16 can visually easily recognize which of the multiple lesions 42 appearing in the endoscopic image 40 the size 112 displayed within the endoscopic image 40 corresponds to.
  • the display of the size 112 and the circumscribing rectangular frame 144 in the endoscopic image 40 are switched according to the priority order 104, but the sizes 112 of multiple lesions 42 may be displayed together in the endoscopic image 40.
  • the display aspects such as the line type, color, and/or brightness of the circumscribing rectangular frame 144 may be changed according to the priority order 104.
  • the size 112 is displayed on the screen 35, but this is merely one example, and the size 112 may be displayed on the screen 35 and/or at least one screen other than the screen 35.
  • information that can identify the priority order 104 may be displayed on the screen 35 and/or at least one screen other than the screen 35, and information that can identify the lesion 42 that corresponds to the displayed size 112 (e.g., dimension lines and/or a circumscribing rectangular frame, etc.) may be displayed.
  • the priority order 104 is determined based on two pieces of information, the position identification information 98 and information other than the position identification information 98.
  • the priority order 104 may be determined based on three or more pieces of information including the position identification information 98 (e.g., three or more pieces of information selected from the position identification information 98, the type information 100, the confidence level 130, and the depth).
  • the priority 104 may also be determined based on one or more pieces of information other than the location information 98 (e.g., one or more pieces of type information 100, confidence level 130, and depth).
  • the size 112 is measured on a frame-by-frame basis, but this is merely one example, and statistical values (e.g., average, median, or mode, etc.) of the size 112 measured for multiple frames of endoscopic images 40 in a time series may be displayed in a display manner similar to that of the above embodiment.
  • statistical values e.g., average, median, or mode, etc.
  • the size 112 may be measured, and the measured size 112 itself, or a statistical value of the size 112 measured for multiple frames of endoscopic images 40 in a time series, may be displayed on the screen 35.
  • the position of the lesion 42 was recognized for each endoscopic image 40 using an AI segmentation method, but the technology of the present disclosure is not limited to this.
  • the position of the lesion 42 may be recognized for each endoscopic image 40 using an AI bounding box method.
  • the amount of change in the bounding box is calculated by the processor 82, and a determination is made as to whether or not to measure the size 112 of the lesion 42 based on the amount of change in the bounding box in a manner similar to that of the above embodiment.
  • the amount of change in the bounding box means the amount of change in the position of the lesion 42.
  • the amount of change in the position of the lesion 42 may be the amount of change in the position of the lesion 42 between adjacent endoscopic images 40 in a time series, or may be the amount of change in the position of the lesion 42 between three or more frames of endoscopic images 40 in a time series (for example, a statistical value such as the average, median, mode, or maximum amount of change between three or more frames of endoscopic images 40 in a time series). It may also be the amount of change in the position of the lesion 42 between multiple frames in a time series with an interval of one or more frames between them.
  • an AI-based object recognition process is exemplified as the recognition process 96, but the technology disclosed herein is not limited to this, and the lesion 42 shown in the endoscopic image 40 may be recognized by the recognition unit 82A by executing a non-AI-based object recognition process (e.g., template matching, etc.).
  • a non-AI-based object recognition process e.g., template matching, etc.
  • the display device 14 is exemplified as an output destination of the size 112, but the technology disclosed herein is not limited to this, and the output destination of the size 112 may be a device other than the display device 14. As an example, as shown in FIG. 17, the output destination of the size 112 may be an audio playback device 146, a printer 148, and/or an electronic medical record management device 150, etc.
  • the size 112 may be output as audio by an audio playback device 146.
  • the size 112 may also be printed as text on a medium (e.g., paper) by a printer 148.
  • the size 112 may also be stored in an electronic medical record 152 managed by an electronic medical record management device 150.
  • the arithmetic formula 124 was used to calculate the size 112
  • the technology disclosed herein is not limited to this, and the size 112 may be measured by performing AI processing on the endoscopic image 40.
  • a trained model may be used that outputs the size 112 of the lesion 42 when an endoscopic image 40 including a lesion 42 is input.
  • deep learning may be performed on a neural network using teacher data that has annotations indicating the size of the lesion as correct answer data for the lesions shown in the images used as example data.
  • deriving distance information 114 using distance derivation model 94 has been described, but the technology of the present disclosure is not limited to this.
  • other methods of deriving distance information 114 using an AI method include a method that combines segmentation and depth estimation (for example, regression learning that provides distance information 114 for the entire image (for example, all pixels that make up the image), or unsupervised learning that learns the distance for the entire image in an unsupervised manner).
  • a distance measuring sensor may be provided at the tip 50 (see FIG. 2) so that the distance from the camera 52 to the intestinal wall 24 is measured by the distance measuring sensor.
  • an endoscopic image 40 is exemplified, but the technology of the present disclosure is not limited to this, and the technology of the present disclosure can also be applied to medical images other than endoscopic images 40 (for example, images obtained by a modality other than the endoscope 12, such as radiological images or ultrasound images).
  • position identification information can be extracted from all the distance information 114 output from the distance derivation model 94 without generating the distance image 116.
  • the distance information 114 corresponding to the position identified from the information 98 is extracted, and the extracted distance information 114 is input to the calculation formula 124.
  • the medical support program 90 may be stored in a portable, computer-readable, non-transitory storage medium such as an SSD or USB memory.
  • the medical support program 90 stored in the non-transitory storage medium is installed in the computer 78 of the endoscope 12.
  • the processor 82 executes the medical support process in accordance with the medical support program 90.
  • the medical support program 90 may also be stored in a storage device such as another computer or server connected to the endoscope 12 via a network, and the medical support program 90 may be downloaded and installed in the computer 78 in response to a request from the endoscope 12.
  • processors listed below can be used as hardware resources for executing medical support processing.
  • An example of a processor is a CPU, which is a general-purpose processor that functions as a hardware resource for executing medical support processing by executing software, i.e., a program.
  • Another example of a processor is a dedicated electrical circuit, which is a processor with a circuit configuration designed specifically for executing specific processing, such as an FPGA, PLD, or ASIC. All of these processors have built-in or connected memory, and all of these processors execute medical support processing by using the memory.
  • the hardware resource that executes the medical support processing may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs, or a combination of a CPU and an FPGA). Also, the hardware resource that executes the medical support processing may be a single processor.
  • a configuration using a single processor first, there is a configuration in which one processor is configured using a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes medical support processing. Secondly, there is a configuration in which a processor is used that realizes the functions of the entire system, including multiple hardware resources that execute medical support processing, on a single IC chip, as typified by SoCs. In this way, medical support processing is realized using one or more of the various processors listed above as hardware resources.
  • the hardware structure of these various processors can be an electric circuit that combines circuit elements such as semiconductor elements.
  • the above medical support processing is merely an example. Therefore, unnecessary
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same concept as “A and/or B” is also applied when three or more things are expressed by linking them with “and/or.”
  • a processor is provided.
  • the processor is Recognizing positions of the plurality of observation target regions in a medical image based on the medical image showing the plurality of observation target regions; determining a priority order for the plurality of observation target regions based on the positions; A medical support device that measures sizes of the plurality of observation target regions according to the priority order.
  • Appendix 2 A medical support device according to claim 1; and a module that is inserted into a body including the observation target area and captures the observation target area to obtain the medical image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

医療支援装置は、プロセッサを備える。プロセッサは、複数の観察対象領域 が写っている医用画像に基づいて医用画像内での複数の観察対象領域の位置を認識し、 複数の観察対象領域の優先順位を位置に基づいて決定し、複数の観察対象領域のサイズを測定し、優先順位に基づいて前記サイズを出力する。

Description

医療支援装置、内視鏡、医療支援方法、及びプログラム
　本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。
　特開２０２１－１７８１１０号公報には、撮影制御装置と画像管理装置との通信間に位置する情報処理装置が開示されている。特開２０２１－１７８１１０号公報に記載の情報処理装置は、撮影制御装置から受信した医用画像から異常を検出する異常検出手段と、異常検出手段による検出結果に基づいて、医用画像又は検出結果の送信内容又は送信先を決定する制御手段と、を備える。
　また、特開２０２１－１７８１１０号公報に記載の情報処理装置において、異常検出手段は、医用画像から病変名、病変の位置、病変のサイズ、病変のカテゴリー、悪性度、又は悪性度マップを生成する。更に、特開２０２１－１７８１１０号公報に記載の情報処理装置において、制御手段は、検出結果に基づいて、医用画像に、医用画像を表示させる際の優先度を付与し、優先度を医用画像と対応付けて画像管理装置に送信する。
　国際公報第２０２０／１８８６８２号には、診断支援装置が開示されている。国際公報第２０２０／１８８６８２号に記載の診断支援装置は、異常症状特定部、病変抽出機能部、及び機能制御部を有する。
　異常症状特定部は、被検者の診断対象の臓器の状態を推定可能な１つ以上の情報を含む身体情報、及び診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成されている。病変抽出機能部は、内視鏡画像から病変候補領域を抽出するための病変抽出処理として、診断対象の臓器において現れ得る異常症状毎に特化された異なる複数の病変抽出部を有して構成されている。病変抽出機能制御部は、複数の病変の病変抽出部の中から異常症状特定部により特定された一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、一の病変抽出部において病変抽出処理を行わせるための制御を病変抽出機能部に対して行うように構成されている。
　また、国際公報第２０２０／１８８６８２号に記載の診断支援装置は、表示制御部を有する。表示制御部は、内視鏡画像と、一の病変抽出部により抽出された病変候補領域の位置を示す情報と、を併せて表示装置に表示させるための処理を行うように構成されている。
　本開示の技術に係る一つの実施形態は、複数の観察対象領域が医用画像に写っている場合にユーザ等にとって関心が高いと予想される観察対象領域のサイズをユーザ等に把握させることができる医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、複数の観察対象領域が写っている医用画像に基づいて医用画像内での複数の観察対象領域の位置を認識し、複数の観察対象領域の優先順位を位置に基づいて決定し、複数の観察対象領域のサイズを測定し、優先順位に基づいてサイズを出力する医療支援装置である。
　本開示の技術に係る第２の態様は、プロセッサが、観察対象領域毎のサイズを優先順位通りに順次に出力する、第１の態様に係る医療支援装置である。
　本開示の技術に係る第３の態様は、観察対象領域毎のサイズの出力が、指示が与えられる毎に行われる、第２の態様に係る医療支援装置である。
　本開示の技術に係る第４の態様は、サイズの出力が、サイズが画面に表示されることによって実現される、第１の態様から第３の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第５の態様は、画面には、サイズが優先順位に応じた表示態様で表示される、第４の態様に係る医療支援装置である。
　本開示の技術に係る第６の態様は、画面には、医用画像が表示され、サイズが、医用画像内に表示される、第４の態様又は第５の態様に係る医療支援装置である。
　本開示の技術に係る第７の態様は、画面には、医用画像が表示され、かつ、出力されたサイズに対応する観察対象領域を特定可能な領域特定情報が医用画像内に表示される、第４の態様から第６の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第８の態様は、画面が、第１表示領域と第２表示領域とを含み、第１表示領域には、医用画像が表示され、第２表示領域には、観察対象領域毎の位置の分布を示すマップが表示され、かつ、出力されたサイズに対応する観察対象領域を特定可能な領域特定情報がマップ内に表示される、第４の態様から第７の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第９の態様は、画面に表示されるサイズが、優先順位に従って切り替えられる、第４の態様から第８の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１０の態様は、画面に表示されるサイズが、指示が与えられる毎に切り替えられる、第９の態様に係る医療支援装置である。
　本開示の技術に係る第１１の態様は、位置が、ＡＩを用いた方式で認識され、優先順位が、ＡＩから得られる確信度に基づいて決定される、第１の態様から第１０の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１２の態様は、優先順位が、位置が医用画像の中心に近いほど高い、第１の態様から第１１の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１３の態様は、プロセッサが、複数の観察対象領域の深度を取得し、優先順位が、位置と深度とに基づいて決定される、第１の態様から第１２の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１４の態様は、プロセッサが、医用画像に基づいて観察対象領域の種類を認識し、優先順位が、位置と種類とに基づいて決定される、第１の態様から第１３の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１５の態様は、プロセッサが、優先順位に従ってサイズを測定する、第１の態様から第１４の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１６の態様は、医用画像が、内視鏡によって撮像されることによって得られた内視鏡画像である、第１の態様から第１５の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１７の態様は、観察対象領域が、病変である、第１の態様から第１６の態様の何れか１つの態様に係る医療支援装置である。
　本開示の技術に係る第１８の態様は、第１の態様から第１７の態様の何れか１つの態様に係る医療支援装置と、観察対象領域を含む体内に挿入されて観察対象領域を撮像することにより医用画像を取得するモジュールと、を備える内視鏡である。
　本開示の技術に係る第１９の態様は、複数の観察対象領域が写っている医用画像に基づいて医用画像内での複数の観察対象領域の位置を認識すること、複数の観察対象領域の優先順位を位置に基づいて決定すること、複数の観察対象領域のサイズを測定すること、及び、優先順位に基づいてサイズを出力することを含む医療支援方法である。
　本開示の技術に係る第２０の態様は、複数の観察対象領域が写っている医用画像に基づいて医用画像内での複数の観察対象領域の位置を認識すること、複数の観察対象領域の優先順位を位置に基づいて決定すること、複数の観察対象領域のサイズを測定すること、及び、優先順位に基づいてサイズを出力することを含む医療支援処理をコンピュータに実行させるためのプログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡の全体構成の一例を示す概念図である。 内視鏡の電気系のハードウェア構成の一例を示すブロック図である。 内視鏡に含まれるプロセッサの要部機能の一例、及びＮＶＭに格納されている情報の一例を示すブロック図である。 認識部及び制御部の処理内容の一例を示す概念図である。 決定部の処理内容の一例を示す概念図である。 測定部の処理内容の一例を示す概念図である。 第１表示領域に内視鏡画像が表示されており、第２表示領域のマップ内にサイズが表示されている態様の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 受付装置６４によって受け付けられた指示に従ってマップ内の表示内容が切り替わる態様例を示す概念図である。 決定部の処理内容の第１変形例を示す概念図である。 決定部の処理内容の第２変形例を示す概念図である。 マップ内に表示されているセグメンテーション画像が外接矩形枠で取り囲まれている態様例を示す概念図である。 サイズ及びテキスト情報がマップ内からマップ外にポップアップ方式で表示され、かつ、優先順位に応じた表示サイズでサイズ及びテキスト情報が画面に表示される態様例を示す概念図である。 サイズ及びテキスト情報が内視鏡画像内から内視鏡画像外にポップアップ方式で表示され、かつ、優先順位に応じた表示サイズでサイズ及びテキスト情報が画面に表示される態様例を示す概念図である。 内視鏡画像内に写っている病変が外接矩形枠で取り囲まれている態様例を示す概念図である。 サイズの出力先の一例を示す概念図である。
　以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＳＳＬとは、“Sessile Serrated Lesion”の略称を指す。ＮＰとは、“Neoplastic Polyp”を指す。ＨＰとは、“Hyperplastic Polyp”を指す。
　一例として図１に示すように、内視鏡システム１０は、内視鏡１２及び表示装置１４を備えている。内視鏡１２は、内視鏡検査において医師１６によって用いられる。内視鏡検査は、看護師１７等のスタッフによって補助される。本実施形態において、内視鏡１２は、本開示の技術に係る「内視鏡」の一例である。
　内視鏡１２は、通信装置（図示省略）と通信可能に接続されており、内視鏡１２によって得られた情報は、通信装置に送信される。通信装置の一例として、電子カルテ等の各種情報を管理するサーバ及び／又はクライアント端末（例えば、パーソナル・コンピュータ及び／又はタブレット端末等）が挙げられる。通信装置は、内視鏡１２から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に保存する処理）を実行する。
　内視鏡１２は、内視鏡本体１８を備えている。内視鏡１２は、内視鏡本体１８を用いて被検体２０（例えば、患者）の体内に含まれる大腸２２に対する診療を行うための装置である。本実施形態において、大腸２２は、医師１６によって観察される対象である。
　内視鏡本体１８は、被検体２０の大腸２２に挿入される。内視鏡１２は、被検体２０の大腸２２に挿入された内視鏡本体１８に対して、被検体２０の体内の大腸２２内を撮像させ、かつ、必要に応じて大腸２２に対して医療的な各種処置を行う。
　内視鏡１２は、被検体２０の大腸２２内を撮像することで体内の態様を示す画像を取得して出力する。本実施形態において、内視鏡１２は、大腸２２内で光２６を照射することにより大腸２２の腸壁２４で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。
　なお、ここでは、大腸２２に対する内視鏡検査を例示しているが、これは、あくまでも一例に過ぎず、食道、胃、十二指腸、又は気管等の管腔臓器に対する内視鏡検査であっても本開示の技術は成立する。
　内視鏡１２は、制御装置２８、光源装置３０、及び画像処理装置３２を備えている。制御装置２８、光源装置３０、及び画像処理装置３２は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、画像処理装置３２、制御装置２８、及び光源装置３０が設置されている。また、ワゴン３４の最上段の台には、表示装置１４が設置されている。
　制御装置２８は、内視鏡１２の全体を制御する。画像処理装置３２は、制御装置２８の制御下で、内視鏡本体１８によって腸壁２４が撮像されることで得られた画像に対して各種の画像処理を行う。
　表示装置１４は、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１４に代えて、又は、表示装置１４と共に、ディスプレイ付きのタブレット端末を用いてもよい。
　表示装置１４には、画面３５が表示される。画面３５は、複数の表示領域を含む。複数の表示領域は、画面３５内で並べて配置されている。図１に示す例では、複数の表示領域の一例として、第１表示領域３６及び第２表示領域３８が示されている。第１表示領域３６のサイズは、第２表示領域３８のサイズよりも大きい。第１表示領域３６は、メインの表示領域として用いられ、第２表示領域３８は、サブの表示領域として用いられる。本実施形態において、画面３５は、本開示の技術に係る「画面」の一例であり、第１表示領域３６は、本開示の技術に係る「第１表示領域」の一例であり、第２表示領域３８は、本開示の技術に係る「第２表示領域」の一例である。
　第１表示領域３６には、内視鏡画像４０が表示される。内視鏡画像４０は、被検体２０の大腸２２内で内視鏡本体１８によって腸壁２４が撮像されることによって取得された画像である。図１に示す例では、内視鏡画像４０の一例として、腸壁２４が写っている画像が示されている。また、内視鏡画像４０に写っている腸壁２４には、医師１６によって注視される複数の関心領域（すなわち、複数の観察対象領域）として、複数の病変４２（例えば、図１に示す例では、３つの病変４２）が含まれており、医師１６は、内視鏡画像４０を通して、複数の病変４２を含む腸壁２４の態様を視覚的に認識することができる。病変４２には様々な種類があり、病変４２の種類としては、例えば、腫瘍性ポリープ（例えば、ＮＰ、又は、ＮＰに属するＳＳＬ）及び非腫瘍性ポリープ（例えば、ＨＰ）等が挙げられる。
　本実施形態において、内視鏡画像４０は、本開示の技術に係る「医用画像」及び「内視鏡画像」の一例である。また、本実施形態において、病変４２は、本開示の技術に係る「観察対象領域」及び「病変」の一例である。ここでは、病変４２を例示しているが、本開示の技術はこれに限定されるものではなく、医師１６によって注視される複数の関心領域（すなわち、複数の観察対象領域）は、複数の臓器（例えば、十二指腸乳頭に含まれる胆管開口部及び膵管開口部）、マーキングした複数の領域、人工処置具（例えば、人工クリップ）、又は処置済みの複数の領域（例えば、ポリープ等を除去した痕跡が残っている複数の領域）等であってもよい。また、医師１６によって注視される複数の関心領域（すなわち、複数の観察対象領域）は、少なくとも１つの病変４２、少なくとも１つの臓器、少なくとも１つのマーキングした領域、少なくとも１つの人工処置具、及び、少なくとも１つの処置済みの領域のうちの複数の組み合わせであってもよい。
　第１表示領域３６には、動画像が表示される。第１表示領域３６に表示される内視鏡画像４０は、時系列に沿った複数のフレームを含んで構成される動画像に含まれる１つのフレームである。つまり、第１表示領域３６には、複数のフレームの内視鏡画像４０が既定のフレームレート（例えば、３０フレーム／秒又は６０フレーム／秒等）で表示される。
　第１表示領域３６に表示される動画像の一例としては、ライブビュー方式の動画像が挙げられる。ライブビュー方式は、あくまでも一例に過ぎず、ポストビュー方式の動画像のように、メモリ等に一時的に保存されてから表示される動画像であってもよい。また、メモリ等の保存されている記録用動画像に含まれる各フレームが内視鏡画像４０として第１表示領域３６に再生表示されてもよい。
　画面３５内で、第２表示領域３８は、第１表示領域３６に隣接しており、画面３５内の正面視右下に表示されている。第２表示領域３８の表示位置は、表示装置１４の画面３５内であれば、どこでもよいが、内視鏡画像４０と対比可能な位置に表示されることが好ましい。第２表示領域３８には、複数のセグメンテーション画像４４が表示される。セグメンテーション画像４４は、内視鏡画像４０に対して、ＡＩを用いたセグメンテーション方式の物体認識処理が行われることによって認識された病変４２の内視鏡画像４０内での位置を特定する画像領域である。
　第２表示領域３８に表示される複数のセグメンテーション画像４４は、内視鏡画像４０に対応する画像であり、内視鏡画像４０内での病変４２の位置を特定するのに医師１６によって参照される。
　なお、ここでは、複数のセグメンテーション画像４４を例示しているが、内視鏡画像４０に対して、ＡＩを用いたバウンディングボックス方式の物体認識処理が行われることによって病変４２が認識された場合には、複数のセグメンテーション画像４４に代えて複数のバウンディングボックスが表示される。また、複数のセグメンテーション画像４４と複数のバウンディングボックスとが併用されるようにしてもよい。なお、セグメンテーション画像４４及びバウンディングボックスは、あくまでも一例に過ぎず、内視鏡画像４０内での複数の病変４２が写っている位置関係が特定可能な画像であれば如何なる画像であってもよい。
　一例として図２に示すように、内視鏡本体１８は、操作部４６及び挿入部４８を備えている。挿入部４８は、操作部４６が操作されることにより部分的に湾曲する。挿入部４８は、医師１６（図１参照）による操作部４６の操作に従って、大腸２２（図１参照）の形状に応じて湾曲しながら大腸２２に挿入される。
　挿入部４８の先端部５０には、カメラ５２、照明装置５４、及び処置具用開口５６が設けられている。カメラ５２及び照明装置５４は、先端部５０の先端面５０Ａに設けられている。なお、ここでは、カメラ５２及び照明装置５４が先端部５０の先端面５０Ａに設けられる形態例を挙げているが、これは、あくまでも一例に過ぎず、カメラ５２及び照明装置５４は、先端部５０の側面に設けられることにより、内視鏡１２が側視鏡として構成されていてもよい。
　カメラ５２は、被検体２０の体内（例えば、大腸２２内）を撮像することにより医用画像として内視鏡画像４０を取得する装置である。カメラ５２の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。カメラ５２は、本開示の技術に係る「モジュール」の一例である。
　照明装置５４は、照明窓５４Ａ及び５４Ｂを有する。照明装置５４は、照明窓５４Ａ及び５４Ｂを介して光２６（図１参照）を照射する。照明装置５４から照射される光２６の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５４は、照明窓５４Ａ及び５４Ｂを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ５２は、大腸２２内で照明装置５４によって光２６が照射された状態で、大腸２２内を光学的手法で撮像する。
　処置具用開口５６は、処置具５８を先端部５０から突出させるための開口である。また、処置具用開口５６は、血液及び体内汚物等を吸引する吸引口、並びに流体を送出する送出口としても用いられる。
　操作部４６には、処置具挿入口６０が形成されており、処置具５８は、処置具挿入口６０から挿入部４８内に挿入される。処置具５８は、挿入部４８内を通過して処置具用開口５６から外部に突出する。図２に示す例では、処置具５８として、穿刺針が処置具用開口５６から突出している態様が示されている。ここでは、処置具５８として、穿刺針を例示しているが、これは、あくまでも一例に過ぎず、処置具５８は、把持鉗子、パピロトミーナイフ、スネア、カテーテル、ガイドワイヤ、カニューレ、及び／又はガイドシース付き穿刺針等であってもよい。
　内視鏡本体１８は、ユニバーサルコード６２を介して制御装置２８及び光源装置３０に接続されている。制御装置２８には、画像処理装置３２及び受付装置６４が接続されている。また、画像処理装置３２には、表示装置１４が接続されている。すなわち、制御装置２８は、画像処理装置３２を介して表示装置１４に接続されている。
　なお、ここでは、制御装置２８で行われる機能を拡張させるための外付け装置という位置付けで画像処理装置３２を例示しているため、制御装置２８と表示装置１４とが画像処理装置３２を介して間接的に接続されている形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、表示装置１４は、制御装置２８に直接接続されていてもよい。この場合、例えば、画像処理装置３２の機能が制御装置２８に搭載されているか、或いは、画像処理装置３２によって実行される処理（例えば、後述する医療支援処理）と同じ処理をサーバ（図示省略）に対して実行させ、サーバによる処理結果を受信して使用する機能が制御装置２８に搭載されていればよい。
　受付装置６４は、医師１６からの指示を受け付け、受け付けた指示を電気信号として制御装置２８に出力する。受付装置６４の一例として、キーボード、マウス、タッチパネル、フットスイッチ、マイクロフォン、及び／又は遠隔操作機器等が挙げられる。
　制御装置２８は、光源装置３０を制御したり、カメラ５２との間で各種信号の授受を行ったり、画像処理装置３２との間で各種信号の授受を行ったりする。
　光源装置３０は、制御装置２８の制御下で発光し、光を照明装置５４に供給する。照明装置５４には、ライトガイドが内蔵されており、光源装置３０から供給された光はライトガイドを経由して照明窓５４Ａ及び５４Ｂから照射される。制御装置２８は、カメラ５２に対して撮像を行わせ、カメラ５２から内視鏡画像４０（図１参照）を取得して既定の出力先（例えば、画像処理装置３２）に出力する。
　画像処理装置３２は、制御装置２８から入力された内視鏡画像４０に対して各種の画像処理を行う。画像処理装置３２は、各種の画像処理を施した内視鏡画像４０を既定の出力先（例えば、表示装置１４）へ出力する。
　なお、ここでは、制御装置２８から出力された内視鏡画像４０が、画像処理装置３２を介して、表示装置１４へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、制御装置２８と表示装置１４とが接続されており、画像処理装置３２によって画像処理が施された内視鏡画像４０が、制御装置２８を介して表示装置１４に表示される態様であってもよい。
　一例として図３に示すように、制御装置２８は、コンピュータ６６、バス６８、及び外部Ｉ／Ｆ７０を備えている。コンピュータ６６は、プロセッサ７２、ＲＡＭ７４、及びＮＶＭ７６を備えている。プロセッサ７２、ＲＡＭ７４、ＮＶＭ７６、及び外部Ｉ／Ｆ７０は、バス６８に接続されている。
　例えば、プロセッサ７２は、少なくとも１つのＣＰＵ及び少なくとも１つのＧＰＵを有しており、制御装置２８の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、図３に示す例では、コンピュータ６６に１つのプロセッサ７２が搭載されている態様が示されているが、これは、あくまでも一例に過ぎず、コンピュータ６６に複数のプロセッサ７２が搭載されていてもよい。
　ＲＡＭ７４は、一時的に情報が格納されるメモリであり、プロセッサ７２によってワークメモリとして用いられる。ＮＶＭ７６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７６の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　外部Ｉ／Ｆ７０は、制御装置２８の外部に存在する１つ以上の装置（以下、「第１外部装置」とも称する）とプロセッサ７２との間の各種情報の授受を司る。外部Ｉ／Ｆ７０の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ７０には、第１外部装置の１つとしてカメラ５２が接続されており、外部Ｉ／Ｆ７０は、カメラ５２とプロセッサ７２との間の各種情報の授受を司る。プロセッサ７２は、外部Ｉ／Ｆ７０を介してカメラ５２を制御する。また、プロセッサ７２は、カメラ５２によって大腸２２（図１参照）内が撮像されることで得られた内視鏡画像４０（図１参照）を外部Ｉ／Ｆ７０を介して取得する。
　外部Ｉ／Ｆ７０には、第１外部装置の１つとして光源装置３０が接続されており、外部Ｉ／Ｆ７０は、光源装置３０とプロセッサ７２との間の各種情報の授受を司る。光源装置３０は、プロセッサ７２の制御下で、照明装置５４に光を供給する。照明装置５４は、光源装置３０から供給された光を照射する。
　外部Ｉ／Ｆ７０には、第１外部装置の１つとして受付装置６４が接続されており、プロセッサ７２は、受付装置６４によって受け付けられた指示を、外部Ｉ／Ｆ７０を介して取得し、取得した指示に応じた処理を実行する。
　画像処理装置３２は、コンピュータ７８及び外部Ｉ／Ｆ８０を備えている。コンピュータ７８は、プロセッサ８２、ＲＡＭ８４、及びＮＶＭ８６を備えている。プロセッサ８２、ＲＡＭ８４、ＮＶＭ８６、及び外部Ｉ／Ｆ８０は、バス８８に接続されている。本実施形態において、画像処理装置３２は、本開示の技術に係る「医療支援装置」の一例であり、コンピュータ７８は、本開示の技術に係る「コンピュータ」の一例であり、プロセッサ８２は、本開示の技術に係る「プロセッサ」の一例である。
　なお、コンピュータ７８のハードウェア構成（すなわち、プロセッサ８２、ＲＡＭ８４、及びＮＶＭ８６）は、コンピュータ６６のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７８のハードウェア構成に関する説明は省略する。
　外部Ｉ／Ｆ８０は、画像処理装置３２の外部に存在する１つ以上の装置（以下、「第２外部装置」とも称する）とプロセッサ８２との間の各種情報の授受を司る。外部Ｉ／Ｆ８０の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ８０には、第２外部装置の１つとして制御装置２８が接続されている。図３に示す例では、外部Ｉ／Ｆ８０に、制御装置２８の外部Ｉ／Ｆ７０が接続されている。外部Ｉ／Ｆ８０は、画像処理装置３２のプロセッサ８２と制御装置２８のプロセッサ７２との間の各種情報の授受を司る。例えば、プロセッサ８２は、制御装置２８のプロセッサ７２から外部Ｉ／Ｆ７０及び８０を介して内視鏡画像４０（図１参照）を取得し、取得した内視鏡画像４０に対して各種の画像処理を行う。
　外部Ｉ／Ｆ８０には、第２外部装置の１つとして表示装置１４が接続されている。プロセッサ８２は、外部Ｉ／Ｆ８０を介して表示装置１４を制御することにより、表示装置１４に対して各種情報（例えば、各種の画像処理が行われた内視鏡画像４０等）を表示させる。
　ところで、内視鏡検査では、医師１６が、表示装置１４を介して内視鏡画像４０を確認しながら、内視鏡画像４０に写っている複数の病変４２に対して医療的な処置が必要か否かを判断し、必要ならば複数の病変４２に対して医療的な処置を行う。医療的な処置が必要か否かの判断を行う上で、複数の病変４２のサイズは重要な判断要素となる。
　近年、機械学習の発達により、ＡＩ方式で内視鏡画像４０に基づいて複数の病変４２の検出及び鑑別ができるようになった。この技術を応用することで内視鏡画像４０から複数の病変４２のサイズを測定することが可能となる。
　しかし、内視鏡画像４０に複数の病変４２が写っている場合に、内視鏡画像４０内での病変４２の位置によって、医師１６がどの病変４２に関心があるのかが異なる。医師１６の関心が低い病変４２のサイズが優先的に医師１６に提示されたり、医師１６の関心が高い病変４２のサイズと医師１６の関心が低い病変４２のサイズとが識別不能な状態で医師１６に提示されたりすることは、内視鏡検査を行う上で非効率であったり、混乱を招いたりする一因になり得る。これに対し、医師１６の関心が高い病変４２のサイズが優先的に測定されて医師１６に提示されたり、医師１６の関心が高い病変４２のサイズと医師１６の関心が低い病変４２のサイズとが識別可能な状態で医師１６に提示されたりすることは内視鏡検査を行う上で有用なことと言える。
　そこで、このような事情に鑑み、本実施形態では、一例として図４に示すように、画像処理装置３２のプロセッサ８２によって医療支援処理が行われる。
　ＮＶＭ８６には、医療支援プログラム９０が格納されている。医療支援プログラム９０は、本開示の技術に係る「プログラム」の一例である。プロセッサ８２は、ＮＶＭ８６から医療支援プログラム９０を読み出し、読み出した医療支援プログラム９０をＲＡＭ８４上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ８２がＲＡＭ８４上で実行する医療支援プログラム９０に従って、認識部８２Ａ、決定部８２Ｂ、測定部８２Ｃ、及び制御部８２Ｄとして動作することによって実現される。
　ＮＶＭ８６には、認識モデル９２及び距離導出モデル９４が格納されている。認識モデル９２及び距離導出モデル９４は、本開示の技術に係る「ＡＩ」の一例である。詳しくは後述するが、認識モデル９２は、認識部８２Ａによって用いられ、距離導出モデル９４は、測定部８２Ｃによって用いられる。
　一例として図５に示すように、認識部８２Ａ及び制御部８２Ｄは、カメラ５２によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された内視鏡画像４０をカメラ５２から１フレーム単位で取得する。
　制御部８２Ｄは、内視鏡画像４０をライブビュー画像として第１表示領域３６に表示する。すなわち、制御部８２Ｄは、カメラ５２から１フレーム単位で内視鏡画像４０を取得する毎に、取得した内視鏡画像４０を順に表示フレームレート（例えば、数十フレーム／秒）に従って第１表示領域３６に表示する。
　認識部８２Ａは、カメラ５２から取得した内視鏡画像４０に対して認識処理９６を行うことで、内視鏡画像４０内での病変４２の位置（すなわち、内視鏡画像４０に写っている病変４２の位置）及び種類を認識する。認識処理９６は、認識部８２Ａによって、内視鏡画像４０が取得される毎に、取得された内視鏡画像４０に対して行われる。
　認識処理９６は、ＡＩによるセグメンテーション方式での物体認識処理である。ここでは、認識処理９６として、認識モデル９２を用いた処理が行われる。
　認識モデル９２は、ＡＩによるセグメンテーション方式での物体認識用の学習済みモデルであり、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データは、第１例題データと第１正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）を含むデータセットである。
　第１例題データは、内視鏡画像４０に相当する画像である。第１正解データは、第１例題データに対する正解データ（すなわち、アノテーション）である。ここでは、第１正解データの一例として、第１例題データとして用いられている画像に写っている病変の位置及び種類を特定するアノテーションが用いられる。
　認識部８２Ａは、カメラ５２から内視鏡画像４０を取得し、取得した内視鏡画像４０を認識モデル９２に入力する。これにより、認識モデル９２は、内視鏡画像４０が入力される毎に、入力された内視鏡画像４０に写っている病変４２の位置として、セグメンテーション方式で識別されたセグメンテーション画像４４の位置を特定し、セグメンテーション画像４４の位置を特定可能な位置特定情報９８を出力する。位置特定情報９８の一例としては、内視鏡画像４０内でのセグメンテーション画像４４を特定する座標が挙げられる。また、認識モデル９２は、内視鏡画像４０が入力される毎に、入力された内視鏡画像４０に写っている病変４２の種類（例えば、病変の名称（一例として、ＮＰ、ＳＳＬ、及びＨＰ等）を認識し、認識した種類を示す種類情報１００を出力する。セグメンテーション画像４４には、位置特定情報９８及び種類情報１００が対応付けられる。
　制御部８２Ｄは、位置特定情報９８及び複数のセグメンテーション画像４４に従って、内視鏡画像４０毎の複数の病変４２の位置の分布を示すマップ１０２を第２表示領域３８に表示する。マップ１０２は、認識部８２Ａによって作成される。マップ１０２内での内視鏡画像４０毎の複数の病変４２の位置の分布は、認識部８２Ａによって内視鏡画像４０毎に得られる複数のセグメンテーション画像４４によって表現される。例えば、第２表示領域３８に表示されるマップ１０２は、第１表示領域３６に対して適用される表示フレームレートに従って更新される。すなわち、第２表示領域３８内の複数のセグメンテーション画像４４の表示は、第１表示領域３６に表示される内視鏡画像４０の表示タイミングに同期して更新される。これにより、医師１６は、第１表示領域３６に表示される内視鏡画像４０を観察しながら、第２表示領域３８に表示されるマップ１０２を参照することで、第１表示領域３６に表示されている内視鏡画像４０内での複数の病変４２の概略的な位置を把握することが可能となる。本実施形態において、マップ１０２は、本開示の技術に係る「マップ」の一例である。
　一例として図６に示すように、決定部８２Ｂは、認識部８２Ａによって内視鏡画像４０単位で認識処理９６（図５参照）が行われる毎に、認識部８２Ａから位置特定情報９８、種類情報１００、及び複数のセグメンテーション画像４４を含めたマップ１０２を取得する。そして、決定部８２Ｂは、認識部８２Ａから取得した位置特定情報９８に基づいて、複数の病変４２の優先順位１０４を決定する。優先順位１０４は、複数の病変４２のそれぞれに対して優先度別（換言すると、重要度別）に付与される順位であり、医師１６の関心が高いと予想される病変４２に付与される順位が高く、医師１６の関心が低いと予想される病変４２に付与される順位が低くなるように定められている。
　図６に示す例では、優先順位１０４が、決定部８２Ｂによって、位置特定情報９８及び種類情報１００に基づいて決定される。
　これを実現するために、先ず、決定部８２Ｂは、位置特定情報９８に基づいて位置重み１０６を導出し、かつ、種類情報１００に基づいて種類重み１０８を導出する。
　位置重み１０６は、内視鏡画像４０内での病変４２の位置の重み（すなわち、優先度（換言すると、重要度））である。例えば、内視鏡画像４０の中心に近い程、位置重み１０６は大きくなる。ここで、例えば、位置重み１０６の値を“ｘ”とすると、位置重み１０６は、“０≦ｘ≦０．５”の範囲内で定まる値である。位置特定情報９８から位置重み１０６を導出する手段の第１例としては、位置特定情報９８を従属変数とし、位置重み１０６を独立変数とする演算式を用いる手段が挙げられる。位置特定情報９８から位置重み１０６を導出する手段の第２例としては、位置特定情報９８を入力とし、位置重み１０６を出力とするテーブルを用いる手段が挙げられる。
　種類重み１０８は、種類情報１００により示される病変４２の種類（すなわち、優先度（換言すると、重要度））である。例えば、病変４２の種類が、重症度の高い種類である程、種類重み１０８は大きくなる。例えば、非腫瘍性ポリープの種類重み１０８よりも腫瘍性ポリープの種類重み１０８の方が大きい。ここで、例えば、種類重み１０８の値を“ｙ”とすると、種類重み１０８は、“０≦ｙ≦０．５”の範囲内で定まる値である。種類情報１００から種類重み１０８を導出する手段の第１例としては、種類情報１００を入力とし、種類重み１０８を出力とするテーブルを用いた手段が挙げられる。種類情報１００から種類重み１０８を導出する手段の第２例としては、種類情報１００が病変４２の種類を特定可能な変数で表現されていることを前提として、種類情報１００を従属変数とし、種類重み１０８を独立変数とする演算式を用いる手段が挙げられる。
　決定部８２Ｂは、位置重み１０６と種類重み１０８とに基づいて総重み１１０を算出する。図６に示す例では、総重み１１０として、位置重み１０６と種類重み１０８との和が示されている。
　なお、位置重み１０６と種類重み１０８との和は、あくまでも一例に過ぎず、位置重み１０６と種類重み１０８との積でもよい。また、位置重み１０６及び種類重み１０８のうちの少なくとも一方に係数が乗じられてもよい。係数は、固定値であってもよいし、可変
値であってもよい。係数を可変値とする場合、係数は、各種条件（例えば、内視鏡検査の種類、内視鏡１２の仕様、及び／又は、内視鏡１２の使用者等）に応じて定められてもよいし、医師１６等によって受付装置６４を介して与えられた指示に従って定められてもよい。また、位置重み１０６そのもの、及び／又は、種類重み１０８そのものが同様の要領で変更されるようにしてもよい。
　決定部８２Ｂは、複数の病変４２のそれぞれについて算出した総重み１１０に基づいて、複数の病変４２の優先順位１０４を決定する。優先順位１０４は、総重み１１０が大きい程、高くなる。例えば、位置重み１０６と種類重み１０８との和が総重み１１０として用いられる場合、位置重み１０６に着目すると、位置重み１０６が大きいほど、総重み１１０が大きくなるので、これに伴って優先順位１０４が高くなる。本実施形態では、内視鏡画像４０内の中心に近い程、位置重み１０６が大きくなる。そのため、病変４２の位置が内視鏡画像４０内の中心に近くなる程、優先順位１０４が高くなる。また、種類重み１０８に着目すると、種類重み１０８が大きいほど、総重み１１０が大きくなるので、これに伴って優先順位１０４が高くなる。本実施形態では、病変４２の重症度が高い程、種類重み１０８が大きくなる。そのため、病変４２の重症度が高くなる程、優先順位１０４が高くなる。
　決定部８２Ｂは、決定した優先順位１０４を複数の病変４２に付与する。図６に示す例において、複数の病変４２に対する優先順位１０４の付与は、複数の病変４２に対応する複数のセグメンテーション画像４４のそれぞれに対して、決定部８２Ｂによって決定された優先順位１０４が付与されることによって実現される。
　決定部８２Ｂによって複数の病変４２の優先順位１０４が決定された場合、一例として図７に示すように、測定部８２Ｃは、カメラ５２から取得した内視鏡画像４０（例えば、決定部８２Ｂで用いられた複数のセグメンテーション画像４４、位置特定情報９８、及び種類情報１００を得るために認識部８２Ａによって用いられた内視鏡画像４０）に基づいて病変４２のサイズ１１２を測定する。測定部８２Ｃは、決定部８２Ｂによって決定された優先順位１０４に従って複数の病変４２のサイズ１１２を測定する。すなわち、優先順位１０４が高い病変４２から優先順位１０４が低い順に病変４２のサイズ１１２の測定が行われる。
　測定部８２Ｃは、カメラ５２から取得した内視鏡画像４０に基づいて複数の病変４２の距離情報１１４を取得する。距離情報１１４は、カメラ５２（すなわち、観察位置）から、病変４２を含めた腸壁２４（図１参照）までの距離を示す情報である。カメラ５２から、病変４２を含めた腸壁２４までの距離は、本開示の技術に係る「深度」の一例である。なお、ここでは、カメラ５２から、病変４２を含めた腸壁２４までの距離を例示しているが、これは、あくまでも一例に過ぎず、距離に代えて、カメラ５２から、病変４２を含めた腸壁２４までの深度が表示された数値（例えば、深度が段階的に規定された複数の数値（例えば、数段階～数十段階の数値））であってもよい。
　距離情報１１４は、内視鏡画像４０を構成している全画素の各々について取得される。なお、距離情報１１４は、内視鏡画像４０を画素よりも大きいブロック（例えば、数～数百ピクセル単位で構成された画素群）毎に取得されてもよい。
　測定部８２Ｃによる距離情報１１４の取得は、例えば、距離情報１１４はＡＩ方式で導出されることによって実現される。本実施形態では、距離情報１１４を導出するために距離導出モデル９４が用いられる。
　距離導出モデル９４は、ニューラルネットワークに対して第２教師データを用いた機械
学習が行われることによって最適化されている。第２教師データは、第２例題データと第２正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）を含むデータセットである。
　第２例題データは、内視鏡画像４０に相当する画像である。第２正解データは、第２例題データに対する正解データ（すなわち、アノテーション）である。ここでは、第２正解データの一例として、第２例題データとして用いられている画像に写っている各画素に対応する距離を特定するアノテーションが用いられる。
　測定部８２Ｃは、カメラ５２から内視鏡画像４０を取得し、取得した内視鏡画像４０を距離導出モデル９４に入力する。これにより、距離導出モデル９４は、入力された内視鏡画像４０の画素単位で距離情報１１４を出力する。すなわち、測定部８２Ｃでは、カメラ５２の位置（例えば、カメラ５２に搭載されているイメージセンサ又は対物レンズ等の位置）から、内視鏡画像４０に写っている腸壁２４までの距離を示す情報が、内視鏡画像４０の画素単位で、距離情報１１４として距離導出モデル９４から出力される。
　測定部８２Ｃは、距離導出モデル９４から出力された距離情報１１４に基づいて距離画像１１６を生成する。距離画像１１６は、内視鏡画像４０に含まれる画素単位で距離情報１１４が分布している画像である。
　測定部８２Ｃは、決定部８２Ｂによって決定された優先順位１０４に従って、決定部８２Ｂから位置特定情報９８を取得する。すなわち、測定部８２Ｃは、優先順位１０４が高い方から低い方向にかけて順に、セグメンテーション画像４４に付与されている位置特定情報９８を取得する。例えば、図６に示す例では、３つのセグメンテーション画像４４に対して優先順位１０４として１位～３位が付与されているので、測定部８２Ｃは、優先順位１０４が１位のセグメンテーション画像４４に付与されている位置特定情報９８から、優先順位１０４が３位のセグメンテーション画像４４に付与されている位置特定情報９８にかけて順次に位置特定情報９８を取得する。
　測定部８２Ｃは、複数のセグメンテーション画像４４から、優先順位１０４の高い方から低い方にかけて順次に位置特定情報９８を取得し、取得した位置特定情報９８を参照して、位置特定情報９８から特定される位置に対応する距離情報１１４を距離画像１１６から抽出する。距離画像１１６から抽出される距離情報１１４としては、例えば、病変４２の特定位置（例えば、重心）に対応する距離情報１１４、又は、病変４２に含まれる複数の画素（例えば、全画素）についての距離情報１１４の統計値（例えば、中央値、平均値、又は最頻値）が挙げられる。
　測定部８２Ｃは、内視鏡画像４０から画素数１１８を抽出する。画素数１１８は、距離導出モデル９４に入力された内視鏡画像４０の全画像領域のうちの位置特定情報９８から特定される位置の画像領域（すなわち、病変４２を示す画像領域）を横断する線分１２０上の画素数である。線分１２０の一例としては、病変４２を示す画像領域に対する外接矩形枠１２２の長辺に平行な最長の線分が挙げられる。なお、線分１２０は、あくまでも一例に過ぎず、線分１２０に代えて、病変４２を示す画像領域に対する外接矩形枠１２２の短辺に平行な最長の線分を適用してもよい。
　測定部８２Ｃは、距離画像１１６から抽出した距離情報１１４と内視鏡画像４０から抽出した画素数１１８とに基づいて実空間上での病変４２のサイズ１１２を算出する。サイズ１１２とは、例えば、実空間上での病変４２の長さを指す。
　サイズ１１２の算出には、演算式１２４が用いられる。測定部８２Ｃは、距離画像１１６から抽出した距離情報１１４と、内視鏡画像４０から抽出した画素数１１８とを演算式１２４に入力する。演算式１２４は、距離情報１１４及び画素数１１８を独立変数とし、サイズ１１２を従属変数とした演算式である。演算式１２４は、入力された距離情報１１４及び画素数１１８に対応するサイズ１１２を出力する。
　なお、図７に示す例では、優先順位１０４として１位が付与されているセグメンテーション画像４４に対応する病変４２のサイズ１１２が測定部８２Ｃによって測定される形態例を挙げたが、図６に示す優先順位１０４が２位と３位が各々付与されているセグメンテーション画像４４に対応する病変４２のサイズ１１２も、優先順位１０４が高い方から低い方にかけて測定部８２Ｃによって順次に測定される。
　また、ここでは、複数の病変４２に対して優先順位１０４通りに順次にサイズ１１２が測定される形態例を挙げたが、本開示の技術はこれに限定されず、複数の病変４２の各サイズ１１２の測定が並行して行われてもよい。
　また、ここでは、サイズ１１２として、実空間上での病変４２の長さが例示されているが、本開示の技術はこれに限定されず、サイズ１１２は、実空間上での病変４２の表面積又は体積であってもよい。この場合、例えば、演算式１２４として、病変４２を示す全画像領域の画素数と距離情報１１４とを独立変数とし、実空間上での病変４２の表面積又は体積を従属変数とする演算式が用いられる。
　一例として図８に示すように、制御部８２Ｄは、第２表示領域３８にマップ１０２を表示する。そして、制御部８２Ｄは、複数のセグメンテーション画像４４に付与されている優先順位１０４に基づいてサイズ１１２をマップ１０２内に表示する。例えば、サイズ１１２は、マップ１０２に重畳表示される。なお、重畳表示は、あくまでも一例に過ぎず、埋め込み表示であってもよい。
　マップ１０２内には、複数のセグメンテーション画像４４が表示され、かつ、優先順位１０４の高い方から低い方にかけて（図８に示す例では、１位から３位にかけて）順に、測定部８２Ｃによって測定されたサイズ１１２が表示される。すなわち、マップ１０２内に表示されるサイズ１１２は、優先順位１０４に従って切り替えられる。サイズ１１２が切り替えられる時間間隔、すなわち、優先順位１０４毎のサイズ１１２が継続して表示される時間は、数秒から数十秒程度の一定時間であってもよいし、医師１６等によって受付装置６４を介して与えられた指示に従って変更可能な可変時間であってもよい。
　制御部８２Ｄは、マップ１０２内に表示するサイズ１１２が複数の病変４２のうちの何れの病変４２のサイズ１１２なのかを特定可能な情報として寸法線１２６をマップ１０２内に表示する。寸法線１２６は、サイズ１１２がセグメンテーション画像４４のどの部分に対応するサイズ１１２なのかを特定可能にするマークである。寸法線１２６は、例えば、制御部８２Ｄによって、認識部８２Ａから取得された位置特定情報９８に基づいて作成されて表示される。寸法線１２６の作成は、例えば、線分１２０の作成と同様の要領（すなわち、外接矩形枠１２２を用いたのと同様の要領）で行われればよい。本実施形態において、寸法線１２６は、本開示の技術に係る「領域特定情報」の一例である。
　次に、内視鏡システム１０の本開示の技術に係る部分の作用について図９を参照しながら説明する。図９に示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。
　図９に示す医療支援処理では、先ず、ステップＳＴ１０で、認識部８２Ａは、大腸２２内でカメラ５２によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、大腸２２内でカメラ５２によって１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、大腸２２内でカメラ５２によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、認識部８２Ａ及び制御部８２Ｄは、カメラ５２によって大腸２２が撮像されることによって得られた１フレーム分の内視鏡画像４０を取得する（図５参照）。なお、ここでは、説明の便宜上、内視鏡画像４０に複数の病変４２が写っていることを前提として説明する。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、制御部８２Ｄは、ステップＳＴ１２で取得した内視鏡画像４０を第１表示領域３６に表示する（図１、図５、及び図８参照）。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、認識部８２Ａは、ステップＳＴ１２で取得した内視鏡画像４０を用いた認識処理９６を行うことにより内視鏡画像４０での複数の病変４２の位置及び種類を認識し、位置特定情報９８及び種類情報１００を取得する（図５参照）。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、決定部８２Ｂは、ステップＳＴ１６で認識部８２Ａによって取得された位置特定情報９８及び種類情報１００に基づいて、ステップＳＴ１２で取得した内視鏡画像４０に写っている複数の病変４２に対して優先順位１０４を決定する（図６参照）。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。
　ステップＳＴ２０で、測定部８２Ｃは、ステップＳＴ１２で取得した内視鏡画像４０に写っている複数の病変４２のサイズ１１２を測定する（図７参照）。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。
　ステップＳＴ２２で、制御部８２Ｄは、複数の病変４２についてステップＳＴ２０で測定部８２Ｃによって測定された複数のサイズ１１２を、ステップＳＴ１８で決定された優先順位１０４に基づいて第２表示領域３８に表示する（図８参照）。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。
　ステップＳＴ２４で、制御部８２Ｄは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６４によって受け付けられたという条件）が挙げられる。
　ステップＳＴ２４において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ１０へ移行する。ステップＳＴ２４において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
　以上説明したように、本実施形態に係る内視鏡システム１０では、複数の病変４２が写っている内視鏡画像４０に基づいて内視鏡画像４０内での複数の病変４２の位置が認識部８２Ａによって認識される。また、決定部８２Ｂによって、内視鏡画像４０内での複数の病変４２の位置に基づいて複数の病変４２の優先順位１０４が決定される。また、測定部８２Ｃによって、複数の病変４２のサイズ１１２が測定される。そして、制御部８２Ｄによって、優先順位１０４に基づいてサイズ１１２が画面３５に表示される。本実施形態では、一例として、優先順位１０４が、病変４２の位置が内視鏡画像４０の中心に近い程、高くなる。従って、内視鏡画像４０内での病変４２の位置が内視鏡画像４０の中心に近い程、医師１６の関心が高くなる場合には、内視鏡画像４０に写っている複数の病変４２のうち、医師１６にとって関心が高いと予想される病変４２のサイズ１１２を医師１６に把握させることができる。
　また、本実施形態に係る内視鏡システム１０では、病変４２毎のサイズ１１２が優先順位１０４通りに順次に画面３５に表示される。従って、内視鏡画像４０に写っている複数の病変４２のうち、医師１６にとって関心が高いと予想される病変４２のサイズ１１２から医師１６にとって関心が低いと予想される病変４２のサイズ１１２にかけて順次に病変４２のサイズ１１２を医師１６に対して把握させることができる。
　また、本実施形態に係る内視鏡システム１０では、画面３５にサイズ１１２が表示される。従って、複数の病変４２が内視鏡画像４０に写っている場合に、医師１６にとって関心が高いと予想される病変４２のサイズ１１２を医師１６に対して視覚的に認識させることができる。
　また、本実施形態に係る内視鏡システム１０では、画面３５内の第１表示領域３６に内視鏡画像４０が表示される。また、画面３５内の第２表示領域３８にマップ１０２が表示され、かつ、第２表示領域３８に表示されるサイズ１１２に対応する病変４２を特定可能な情報として寸法線１２６がマップ１０２内に表示される。従って、画面３５に表示されたサイズ１１２が内視鏡画像４０に写っている複数の病変４２のうちの何れの病変４２のサイズ１１２なのかを、医師１６に対して、マップ１０２を通して視覚的に認識させることができる。
　また、本実施形態に係る内視鏡システム１０では、画面３５に表示されるサイズ１１２は、優先順位１０４に従って切り替えられる。従って、複数の病変４２が内視鏡画像４０に写っている場合に、医師１６にとって関心が高いと予想される病変４２のサイズ１１２から医師１６にとって関心が低いと予想される病変４２のサイズ１１２にかけて順次に病変４２のサイズ１１２を医師１６に対して視覚的に認識させることができる。
　また、本実施形態に係る内視鏡システム１０では、病変４２の位置が内視鏡画像４０の中心に近いほど優先順位１０４が高くなる。従って、医師１６が内視鏡画像４０の中央部に高い関心を示している場合に、医師１６が高い関心を示している病変４２のサイズ１１２を医師１６に対して把握させることができる。
　また、本実施形態に係る内視鏡システム１０では、複数の病変４２が写っている内視鏡画像４０に基づいて内視鏡画像４０内での複数の病変４２の位置及び種類が認識部８２Ａによって認識される。また、決定部８２Ｂによって、内視鏡画像４０内での複数の病変４２の位置及び種類に基づいて複数の病変４２の優先順位１０４が決定される。そして、制御部８２Ｄによって、優先順位１０４に基づいてサイズ１１２が画面３５に表示される。本実施形態では、一例として、優先順位１０４が、病変４２の位置が内視鏡画像４０の中心に近い程、高くなり、病変４２の種類の重症度が高い程、高くなる。従って、内視鏡画像４０に写っている複数の病変４２に、医師１６にとって関心が高い種類の病変４２と医師１６にとって関心が低い種類の病変４２とが混在している場合に、医師１６が高い関心を示している種類の病変４２のサイズ１１２と医師１６が高い関心を示していない種類の病変４２のサイズ１１２とを医師１６に対して把握させることができる。
　また、本実施形態に係る内視鏡システム１０では、測定部８２Ｃによって、優先順位１０４に従って複数の病変４２のサイズ１１２が測定される。従って、内視鏡画像４０に写っている複数の病変４２のうち、医師１６にとって関心が高い病変４２のサイズ１１２を優先して測定することができる。この結果、医師１６にとって関心が高い病変４２のサイズ１１２の医師１６に対する迅速な提示に寄与することができる。
　なお、上記実施形態では、内視鏡画像４０の中心に近い程、位置重み１０６が大きくなる場合について説明したが、本開示の技術はこれに限定されない。例えば、内視鏡画像４０内の指定された位置（例えば、医師１６が注視する領域として医師１６によって指定された領域）に近い程、位置重み１０６が大きくなるようにしてもよい。また、内視鏡画像４０内の指定された位置（例えば、内視鏡画像４０内でカメラ５２のレンズの光学的影響（例えば、歪み）が及ぶ領域として定められた領域（例えば、内視鏡画像４０の辺縁部））に近い程、位置重み１０６が小さくなるようにしてもよい。内視鏡画像４０内の指定された位置は、各種条件に応じて事前に定められて固定された位置であってもよいし、各種条件及び／又は与えられた指示に応じて変更される位置であってもよい。
　上記実施形態では、複数の病変４２のサイズ１１２が優先順位１０４通りに順次に画面３５に表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１０に示すように、複数の病変４２のそれぞれのサイズ１１２の画面３５（図１０に示す例では、画面３５内の第２表示領域３８）への表示は、内視鏡１２に対して指示１２８が与えられる毎に行われるようにしてもよい。指示１２８の一例としては、医師１６から与えられた指示が挙げられる。例えば、指示１２８は、受付装置６４によって受け付けられ、制御部８２Ｄは、受付装置６４によって指示１２８が受け付けられる毎に、複数の病変４２のサイズ１１２の表示を優先順位１０４通りに切り替える。これにより、複数の病変４２が内視鏡画像４０に写っている場合に、医師１６にとって関心が高いと予想される病変４２から関心が低いと予想される病変４２にかけて順次に医師１６が意図するタイミングで病変４２のサイズ１１２を医師１６に把握させることができる。
　上記実施形態では、優先順位１０４が病変４２の位置及び種類に基づいて決定される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、優先順位１０４は、病変４２の種類を考慮せずに、病変４２の位置に基づいて決定されるようにしてもよい。また、一例として図１１及び図１２に示すように、位置特定情報９８と、種類情報１００以外の情報とに基づいて優先順位１０４が決定されてもよい。
　図１１に示す例では、決定部８２Ｂが、位置特定情報９８と確信度１３０とに基づいて優先順位１０４を決定する。確信度１３０は、複数の病変４２のそれぞれの位置及び種類の尤もらしさを示す指標であり、認識モデル９２による病変４２の位置及び種類の認識に用いられる。確信度１３０は、認識処理９６（図５参照）によって複数の病変４２の位置及び種類の認識が行われる場合に複数の病変４２のそれぞれについて認識モデル９２から得られる。ここでは、確信度１３０として、複数の病変４２のそれぞれの位置及び種類の尤もらしさを示す指標を例示したが、確信度１３０は、複数の病変４２のそれぞれの位置の尤もらしさを示す指標であれば本開示の技術は成立する。
　決定部８２Ｂは、確信度１３０に基づいて確信度重み１３２を導出する。確信度重み１３２は、確信度１３０が大きい程、大きくなる。ここで、例えば、確信度重み１３２の値を“ｚ”とすると、確信度重み１３２は、“０≦ｚ≦０．５”の範囲内で定まる値である。確信度１３０から確信度重み１３２を導出する手段の第１例としては、確信度１３０を従属変数とし、確信度重み１３２を独立変数とする演算式を用いる手段が挙げられる。確信度１３０から確信度重み１３２を導出する手段の第２例としては、確信度１３０を入力とし、確信度重み１３２を出力とするテーブルを用いた手段が挙げられる。
　決定部８２Ｂは、上記実施形態で総重み１１０を算出したのと同様の要領で、位置重み１０６と確信度重み１３２とに基づいて総重み１３４を算出する。そして、決定部８２Ｂは、上記実施形態と同様の要領で、総重み１３４に基づいて優先順位１０４を決定し、かつ、決定した優先順位１０４を複数の病変４２に付与する。このように、図１１に示す例によれば、優先順位１０４の決定に確信度１３０が影響するので、優先順位１０４を精度良く決定することができる。
　図１１に示す例では、確信度重み１３２を示したが、一例として図１２に示すように、確信度重み１３２に代えて深度重み１３６を適用してもよい。
　図１２に示す例では、決定部８２Ｂが、位置特定情報９８と深度重み１３６とに基づいて優先順位１０４を決定する。深度重み１３６は、観察位置から奥行方向への深度（以下、単に「深度」とも称する）に応じて定められた数値である。例えば、深度重み１３６は、距離画像１１６（図７参照）から抽出された距離情報１１４に基づいて導出される。深度重み１３６は、距離画像１１６から抽出された距離情報１１４により示される距離そのものであってもよいし、距離画像１１６から抽出された距離情報１１４により示される距離を数段階～数百段階に区分して得た数値等であってもよい。深度重み１３６は、深度が小さい程、大きくなる。なお、これに限らず、深度が大きい程、大きくしてもよく、深度重み１３６を深度が小さい程大きくするか、或いは、深度が大きい程大きくするか等は、医師１６から受付装置６４を介して与えられる指示等によって決められればよい。
　決定部８２Ｂは、上記実施形態で総重み１１０を算出したのと同様の要領で、位置重み１０６と深度重み１３６とに基づいて総重み１３８を算出する。そして、決定部８２Ｂは、上記実施形態と同様の要領で、総重み１３８に基づいて優先順位１０４を決定し、かつ、決定した優先順位１０４を複数の病変４２に付与する。このように、図１２に示す例によれば、優先順位１０４の決定に深度が影響するので、内視鏡画像４０に写っている複数の病変４２のうち、深度が小さいところに位置する病変４２であるほど医師１６にとって関心が高い病変４２である場合に、医師１６が高い関心を示している病変４２のサイズ１１２を優先して医師１６に把握させることができる。
　上記実施形態では、マップ１０２内に表示されたサイズ１１２に対応する病変４２を特定可能な情報として寸法線１２６がセグメンテーション画像４４に対応させて表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１３に示すように、マップ１０２内に表示されたサイズ１１２に対応する病変４２の内視鏡画像４０内での位置を特定可能なセグメンテーション画像４４に対する外接矩形枠１４０がマップ１０２内に表示されるようにしてもよい。また、この場合も、外接矩形枠１４０と共に寸法線１２６がマップ１０２内に表示されるようにしてもよい。また、外接矩形枠１４０は、例えば、バウンディングボックス方式のＡＩを用いることにより病変４２の位置が認識される場合には、外接矩形枠１４０としてバウンディングボックスを用いてもよい。なお、外接矩形枠１４０は、本開示の技術に係る「領域特定情報」の一例である。
　上記実施形態では、優先順位１０４通りに順次にサイズ１１２がマップ１０２内に表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、図１４に示すように、マップ１０２外（すなわち、第２表示領域３８外）にサイズ１１２が表示されてもよい。図１４に示す例では、マップ１０２内からマップ１０２外にポップアップ方式でサイズ１１２が表示されている。図１４に示す例では、複数のセグメンテーション画像４４の各々から吹き出しが出されており、各吹き出し内にサイズ１１２と優先順位１０４を特定可能なテキスト情報１４２が含まれている。よって、医師１６は、複数の病変４２のそれぞれのサイズ１１２と優先順位１０４とを画面３５内で同時に一覧することができる。なお、図１４に示す例では、テキスト情報１４２が示されているが、これは、あくまでも一例に過ぎず、医師１６が優先順位１０４を視覚的に認識可能な情報（例えば、画像又は記号等）であってもよい。
　図１５に示す例では、複数のセグメンテーション画像４４の各々からポップアップ方式でサイズ１１２及びテキスト情報１４２が表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、図１５に示すように、複数のセグメンテーション画像４４の各々からポップアップ方式でサイズ１１２及びテキスト情報１４２が表示されるのと同様の要領で、内視鏡画像４０に写っている複数の病変４２の各々からポップアップ方式でサイズ１１２及びテキスト情報１４２が表示されるようにしてもよい。
　また、図１５に示す例では、優先順位１０４に応じた表示サイズでサイズ１１２及びテキスト情報１４２が表示されている。例えば、優先順位１０４が高いほど大きな表示サイズでサイズ１１２及びテキスト情報１４２が表示されている。なお、これは、あくまでも一例に過ぎず、優先順位１０４が高いほど目立つよう表示態様でサイズ１１２及びテキスト情報１４２が表示されるようにすればよい。
　このように、サイズ１１２が優先順位１０４に応じた表示態様で画面３５に表示されることで、複数の病変４２が内視鏡画像４０に写っている場合に医師１６とって関心が高いと予想される病変４２のサイズ１１２と医師１６にとって関心が低いと予想される病変４２のサイズ１１２とを医師１６に対して視覚的に識別させることができる。
　図１４及び図１５に示す例では、吹き出しを用いたポップアップ表示を例示しているが、これは、あくまでも一例に過ぎず、どの病変４２のサイズ１１２であるかが特定可能な表示態様（例えば、マップ１０２内のセグメンテーション画像４４又は内視鏡画像４０内の病変４２とサイズ１１２とが線で繋げられた表示態様）で画面３５にサイズ１１２が表示されていればよい。また、これと同様に、テキスト情報１４２もどの病変４２に関する情報なのかが特定可能な表示態様で画面３５にサイズ１１２が表示されていればよい。
　上記実施形態では、複数の病変４２のそれぞれのサイズ１１２がマップ１０２内に表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１６に示すように、内視鏡画像４０内にサイズ１１２が表示されてもよい。これにより、医師１６に対して、内視鏡画像４０と共に複数の病変４２のそれぞれのサイズ１１２を視覚的に認識させることができる。
　サイズ１１２は、アルファブレンドが行われた表示態様で表示されてもよい。また、サイズ１１２は、優先順位１０４を特定可能な表示態様（例えば、フォントサイズ、フォント色、及び／又は透明度等）で表示されてもよい。
　また、一例として図１６に示すように、内視鏡画像４０内に表示されたサイズ１１２に対応する病変４２に対する外接矩形枠１４４が内視鏡画像４０内に表示されるようにしてもよい。外接矩形枠１４４は、例えば、バウンディングボックス方式のＡＩを用いることにより病変４２の位置が認識される場合には、外接矩形枠１４４としてバウンディングボックスを用いてもよい。
　また、図１６に示す例では、内視鏡画像４０内に表示されるサイズ１１２が何れの病変４２に対応しているのかが特定可能となるように、優先順位１０４に従ってサイズ１１２の表示が切り替わる毎に、外接矩形枠１４４の表示が切り替えられる。なお、外接矩形枠１４４は、本開示の技術に係る「領域特定情報」の一例である。
　このように、内視鏡画像４０内に表示されるサイズ１１２に対応している病変４２を取り囲む外接矩形枠１４４が内視鏡画像４０内に表示されることで、内視鏡画像４０内に表示されたサイズ１１２が内視鏡画像４０に写っている複数の病変４２のうちの何れの病変４２のサイズ１１２なのかを医師１６に対して視覚的に容易に認識させることができる。
　図１６に示す例では、優先順位１０４通りに内視鏡画像４０内でのサイズ１１２の表示及び外接矩形枠１４４の表示が切り替わる形態例が示されているが、内視鏡画像４０内で複数の病変４２のそれぞれのサイズ１１２が纏めて表示されてもよい。この場合、寸法線が複数の病変４２のそれぞれに付与されることにより、表示されている複数のサイズ１１２のそれぞれが何れの病変４２のサイズ１１２なのかを特定することができる。また、外接矩形枠１４４の線種、色、及び／輝度等の表示態様が優先順位１０４に応じて変更されるようにしてもよい。
　上述した各例では、画面３５にサイズ１１２が表示される形態例を挙げたが、これは、あくまでも一例に過ぎず、画面３５、及び／又は、画面３５以外の少なくとも１つの画面にサイズ１１２が表示されるようにしてもよい。また、これに併せて、画面３５、及び／又は、画面３５以外の少なくとも１つの画面に、優先順位１０４を特定可能な情報が表示されてもよいし、表示されるサイズ１１２に対応する病変４２を特定可能な情報（例えば、寸法線及び／又は外接矩形枠等）が表示されてもよい。
　上述した各例では、位置特定情報９８と、位置特定情報９８以外の情報との２つの情報に基づいて優先順位１０４が決定される形態例を挙げたが、位置特定情報９８を含めた３つ以上の情報（例えば、位置特定情報９８、種類情報１００、確信度１３０、及び深度のうちの３つ以上の情報）に基づいて優先順位１０４が決定されてもよい。
　また、位置特定情報９８以外の１つ以上情報（例えば、種類情報１００、確信度１３０、及び深度のうちの１つ以上の情報）に基づいて優先順位１０４が決定されてもよい。
　上記実施形態では、１フレーム単位でサイズ１１２の測定が行われる形態例を挙げたが、これは、あくまでも一例に過ぎず、時系列に沿った複数フレームの内視鏡画像４０を対象にして測定されたサイズ１１２の統計値（例えば、平均値、中央値、又は最頻値等）が上記実施形態と同様の表示態様で表示されてもよい。
　例えば、複数フレーム間で病変４２の位置の変位量が閾値未満の場合にサイズ１１２の測定が行われ、測定されたサイズ１１２そのもの、又は、時系列に沿った複数フレームの内視鏡画像４０を対象にして測定されたサイズ１１２の統計値が画面３５に表示されるようにしてもよい。
　上記実施形態では、内視鏡画像４０毎にＡＩによるセグメンテーション方式で病変４２の位置が認識される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡画像４０毎にＡＩによるバウンディングボックス方式で病変４２の位置が認識されるようにしてもよい。
　この場合、バウンディングボックスの変化量がプロセッサ８２によって算出され、上記実施形態と同様の要領で、バウンディングボックスの変化量に基づいて病変４２のサイズ１１２の測定を行うか否かの判定が行われるようにすればよい。
　例えば、バウンディングボックスの変化量とは、病変４２の位置の変化量を意味する。病変４２の位置の変化量は、時系列に沿った隣接する内視鏡画像４０間での病変４２の位置の変化量であってもよいし、時系列に沿った３フレーム以上の内視鏡画像４０間での病変４２の位置の変化量（例えば、時系列に沿った３フレーム以上の内視鏡画像４０間での変化量の平均値、中央値、最頻値、又は最大値等の統計値）であってもよい。また、１フレーム以上の間隔をおいて時系列に沿った複数のフレーム間での病変４２の位置の変化量であってもよい。
　上記実施形態では、認識処理９６として、ＡＩ方式の物体認識処理を例示したが、本開示の技術はこれに限定されず、非ＡＩ方式の物体認識処理（例えば、テンプレートマッチング等）が実行されることによって内視鏡画像４０に写っている病変４２が認識部８２Ａによって認識されるようにしてもよい。
　上記実施形態では、サイズ１１２の出力先として表示装置１４を例示したが、本開示の技術はこれに限定されず、サイズ１１２の出力先は、表示装置１４以外であってもよい。一例として図１７に示すように、サイズ１１２の出力先としては、音声再生装置１４６、プリンタ１４８、及び／又は電子カルテ管理装置１５０等が挙げられる。
　サイズ１１２は、音声再生装置１４６によって音声として出力されてもよい。また、サイズ１１２は、プリンタ１４８によって媒体（例えば、用紙）等にテキスト等として印刷されてもよい。また、サイズ１１２は、電子カルテ管理装置１５０によって管理されている電子カルテ１５２に保存されてもよい。
　上記実施形態では、サイズ１１２の算出のために演算式１２４を用いる形態例を挙げて説明したが、本開示の技術はこれに限定されず、内視鏡画像４０に対してＡＩを用いた処理が行われることによりサイズ１１２が測定されるようにしてもよい。この場合、例えば、病変４２を含む内視鏡画像４０が入力されると、病変４２のサイズ１１２を出力する学習済みモデルを用いればよい。学習済みモデルを作成する場合、例題データとして用いられる画像に写っている病変に対して、正解データとして病変のサイズを示すアノテーションを付与した教師データを用いた深層学習をニューラルネットワークに対して行われるようにすればよい。
　上記実施形態では、距離導出モデル９４を用いて距離情報１１４を導出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、距離情報１１４をＡＩ方式で導出する他の方法としては、例えば、セグメンテーションと深度推定とを組み合わせる方法（例えば、画像全体（例えば、画像を構成する全画素）に距離情報１１４を与える回帰学習、又は、無教師で画像全体の距離を学習する無教師学習）等が挙げられる。
　上記実施形態では、カメラ５２から腸壁２４までの距離をＡＩ方式で導出する形態例を挙げたが、カメラ５２から腸壁２４までの距離は実測してもよい。この場合、例えば、先端部５０（図２参照）に測距センサを設け、測距センサによってカメラ５２から腸壁２４までの距離が測定されるようにしてもよい。
　上記実施形態では、内視鏡画像４０を例示したが、本開示の技術はこれに限定されず、内視鏡画像４０以外の医用画像（例えば、放射線画像又は超音波画像等のように、内視鏡１２以外のモダリティによって得られた画像）であっても本開示の技術は成立する。
　上記実施形態では、動画像に写っている病変４２のサイズ１１２を測定する形態例を挙げたが、これは、あくまでも一例に過ぎず、病変４２が写っているコマ送り画像又は静止画像であっても本開示の技術は成立する。
　上記実施形態では、距離画像１１６から抽出した距離情報１１４を演算式１２４に入力する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、距離画像１１６を生成せずに、距離導出モデル９４から出力された全ての距離情報１１４から、位置特定情
報９８から特定される位置に対応する距離情報１１４を抽出し、抽出した距離情報１１４を演算式１２４に入力するようにすればよい。
　上記実施形態では、内視鏡１２に含まれるコンピュータ７８のプロセッサ８２によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理を行う装置は、内視鏡１２の外部に設けられていてもよい。内視鏡１２の外部に設けられる装置としては、例えば、内視鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
　上記実施形態では、ＮＶＭ８６に医療支援プログラム９０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援プログラム９０がＳＳＤ又はＵＳＢメモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている医療支援プログラム９０は、内視鏡１２のコンピュータ７８にインストールされる。プロセッサ８２は、医療支援プログラム９０に従って医療支援処理を実行する。
　また、ネットワークを介して内視鏡１２に接続される他のコンピュータ又はサーバ等の格納装置に医療支援プログラム９０を格納させておき、内視鏡１２の要求に応じて医療支援プログラム９０がダウンロードされ、コンピュータ７８にインストールされるようにしてもよい。
　なお、内視鏡１２に接続される他のコンピュータ又はサーバ装置等の格納装置に医療支援プログラム９０の全てを格納させておいたり、ＮＶＭ８６に医療支援プログラム９０の全てを記憶させたりしておく必要はなく、医療支援プログラム９０の一部を格納させておいてもよい。
　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要な
ステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　以上の実施形態に関し、更に以下の付記を開示する。
［付記１］
　プロセッサを備え、
　上記プロセッサは、
　複数の観察対象領域が写っている医用画像に基づいて上記医用画像内での上記複数の観察対象領域の位置を認識し、
　上記複数の観察対象領域の優先順位を上記位置に基づいて決定し、
　上記優先順位に従って上記複数の観察対象領域のサイズを測定する
　医療支援装置。
　［付記２］
　付記１に記載の医療支援装置と、
　上記観察対象領域を含む体内に挿入されて上記観察対象領域を撮像することにより上記医用画像を取得するモジュールと、を備える
　内視鏡。
　［付記３］
　複数の観察対象領域が写っている医用画像に基づいて上記医用画像内での上記複数の観察対象領域の位置を認識すること、
　上記複数の観察対象領域の優先順位を上記位置に基づいて決定すること、及び、
　上記優先順位に従って上記複数の観察対象領域のサイズを測定することを含む
　医療支援方法。
　［付記４］
　複数の観察対象領域が写っている医用画像に基づいて上記医用画像内での上記複数の観察対象領域の位置を認識すること、
　上記複数の観察対象領域の優先順位を上記位置に基づいて決定すること、及び、
　上記優先順位に従って上記複数の観察対象領域のサイズを測定することを含む医療支援処理をコンピュータに実行させるためのプログラム。

Claims (20)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　複数の観察対象領域が写っている医用画像に基づいて前記医用画像内での前記複数の観察対象領域の位置を認識し、
    　前記複数の観察対象領域の優先順位を前記位置に基づいて決定し、
    　前記複数の観察対象領域のサイズを測定し、
    　前記優先順位に基づいて前記サイズを出力する
    　医療支援装置。
  2. 　前記プロセッサは、前記観察対象領域毎の前記サイズを前記優先順位通りに順次に出力する
    　請求項１に記載の医療支援装置。
  3. 　前記観察対象領域毎の前記サイズの出力は、指示が与えられる毎に行われる
    　請求項２に記載の医療支援装置。
  4. 　前記サイズの出力は、前記サイズが画面に表示されることによって実現される
    　請求項１に記載の医療支援装置。
  5. 　前記画面には、前記サイズが前記優先順位に応じた表示態様で表示される
    　請求項４に記載の医療支援装置。
  6. 　前記画面には、前記医用画像が表示され、
    　前記サイズは、前記医用画像内に表示される
    　請求項４に記載の医療支援装置。
  7. 　前記画面には、前記医用画像が表示され、かつ、出力された前記サイズに対応する前記観察対象領域を特定可能な領域特定情報が前記医用画像内に表示される
    　請求項４に記載の医療支援装置。
  8. 　前記画面は、第１表示領域と第２表示領域とを含み、
    　前記第１表示領域には、前記医用画像が表示され、
    　前記第２表示領域には、前記観察対象領域毎の前記位置の分布を示すマップが表示され、かつ、出力された前記サイズに対応する前記観察対象領域を特定可能な領域特定情報が前記マップ内に表示される
    　請求項４に記載の医療支援装置。
  9. 　前記画面に表示される前記サイズは、前記優先順位に従って切り替えられる
    　請求項４に記載の医療支援装置。
  10. 　前記画面に表示される前記サイズは、指示が与えられる毎に切り替えられる
    　請求項９に記載の医療支援装置。
  11. 　前記位置は、ＡＩを用いた方式で認識され、
    　前記優先順位は、前記ＡＩから得られる確信度に基づいて決定される
    　請求項１に記載の医療支援装置。
  12. 　前記優先順位は、前記位置が前記医用画像の中心に近いほど高い
    　請求項１に記載の医療支援装置。
  13. 　前記プロセッサは、前記複数の観察対象領域の深度を取得し、
    　前記優先順位は、前記位置と前記深度とに基づいて決定される
    　請求項１に記載の医療支援装置。
  14. 　前記プロセッサは、前記医用画像に基づいて前記観察対象領域の種類を認識し、
    　前記優先順位は、前記位置と前記種類とに基づいて決定される
    　請求項１に記載の医療支援装置。
  15. 　前記プロセッサは、前記優先順位に従って前記サイズを測定する
    　請求項１に記載の医療支援装置。
  16. 　前記医用画像は、内視鏡によって撮像されることによって得られた内視鏡画像である
    　請求項１に記載の医療支援装置。
  17. 　前記観察対象領域は、病変である
    　請求項１に記載の医療支援装置。
  18. 　請求項１から請求項１７の何れか一項に記載の医療支援装置と、
    　前記観察対象領域を含む体内に挿入されて前記観察対象領域を撮像することにより前記医用画像を取得するモジュールと、を備える
    　内視鏡。
  19. 　複数の観察対象領域が写っている医用画像に基づいて前記医用画像内での前記複数の観察対象領域の位置を認識すること、
    　前記複数の観察対象領域の優先順位を前記位置に基づいて決定すること、
    　前記複数の観察対象領域のサイズを測定すること、及び、
    　前記優先順位に基づいて前記サイズを出力することを含む
    　医療支援方法。
  20. 　複数の観察対象領域が写っている医用画像に基づいて前記医用画像内での前記複数の観察対象領域の位置を認識すること、
    　前記複数の観察対象領域の優先順位を前記位置に基づいて決定すること、
    　前記複数の観察対象領域のサイズを測定すること、及び、
    　前記優先順位に基づいて前記サイズを出力することを含む医療支援処理をコンピュータに実行させるためのプログラム。
PCT/JP2024/002653 2023-02-16 2024-01-29 医療支援装置、内視鏡、医療支援方法、及びプログラム Ceased WO2024171780A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2025501019A JPWO2024171780A1 (ja) 2023-02-16 2024-01-29
CN202480012999.3A CN120693098A (zh) 2023-02-16 2024-01-29 医疗支持装置、内窥镜、医疗支持方法及程序
US19/284,644 US20250352027A1 (en) 2023-02-16 2025-07-29 Medical support device, endoscope, medical support method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-022704 2023-02-16
JP2023022704 2023-02-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/284,644 Continuation US20250352027A1 (en) 2023-02-16 2025-07-29 Medical support device, endoscope, medical support method, and program

Publications (1)

Publication Number Publication Date
WO2024171780A1 true WO2024171780A1 (ja) 2024-08-22

Family

ID=92421687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/002653 Ceased WO2024171780A1 (ja) 2023-02-16 2024-01-29 医療支援装置、内視鏡、医療支援方法、及びプログラム

Country Status (4)

Country Link
US (1) US20250352027A1 (ja)
JP (1) JPWO2024171780A1 (ja)
CN (1) CN120693098A (ja)
WO (1) WO2024171780A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120747A (ja) * 2009-12-11 2011-06-23 Fujifilm Corp 画像表示装置および方法並びにプログラム
WO2016080331A1 (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 医療装置
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2022224859A1 (ja) * 2021-04-23 2022-10-27 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120747A (ja) * 2009-12-11 2011-06-23 Fujifilm Corp 画像表示装置および方法並びにプログラム
WO2016080331A1 (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 医療装置
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2022224859A1 (ja) * 2021-04-23 2022-10-27 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
CN120693098A (zh) 2025-09-23
US20250352027A1 (en) 2025-11-20
JPWO2024171780A1 (ja) 2024-08-22

Similar Documents

Publication Publication Date Title
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
US20250078267A1 (en) Medical support device, endoscope apparatus, medical support method, and program
US20250086838A1 (en) Medical support device, endoscope apparatus, medical support method, and program
US20250037278A1 (en) Method and system for medical endoscopic imaging analysis and manipulation
WO2024171780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
JP2025026062A (ja) 医療支援装置、内視鏡装置、医療支援方法、及びプログラム
JP2025130538A (ja) 医療支援装置、内視鏡システム、及び医療支援方法
US20250387009A1 (en) Medical support device, endoscope system, medical support method, and program
US20250366701A1 (en) Medical support device, endoscope, medical support method, and program
CN119365136A (zh) 诊断支援装置、超声波内窥镜、诊断支援方法及程序
US20260007302A1 (en) Medical support device, endoscope system, medical support method, and program
US20250387008A1 (en) Medical support device, endoscope system, medical support method, and program
US20250356494A1 (en) Image processing device, endoscope, image processing method, and program
US20240335093A1 (en) Medical support device, endoscope system, medical support method, and program
US20250235079A1 (en) Medical support device, endoscope, medical support method, and program
US20250104242A1 (en) Medical support device, endoscope apparatus, medical support system, medical support method, and program
US20250221607A1 (en) Medical support device, endoscope, medical support method, and program
WO2024185357A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
JP2025012153A (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
JP2025091360A (ja) 医療支援装置、内視鏡装置、医療支援方法、及びプログラム
US20250157629A1 (en) Medical support device, medical support system, medical support method, and program
US20250169676A1 (en) Medical support device, endoscope, medical support method, and program
US20240065527A1 (en) Medical support device, endoscope, medical support method, and program
JP2025123020A (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2025022718A1 (ja) 医療支援装置、内視鏡装置、医療支援方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24756631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025501019

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025501019

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202480012999.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202480012999.3

Country of ref document: CN