[go: up one dir, main page]

WO2019230302A1 - 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 - Google Patents

学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 Download PDF

Info

Publication number
WO2019230302A1
WO2019230302A1 PCT/JP2019/018231 JP2019018231W WO2019230302A1 WO 2019230302 A1 WO2019230302 A1 WO 2019230302A1 JP 2019018231 W JP2019018231 W JP 2019018231W WO 2019230302 A1 WO2019230302 A1 WO 2019230302A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
diagnosis information
endoscopic
learning data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/018231
Other languages
English (en)
French (fr)
Inventor
悟朗 三浦
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020521812A priority Critical patent/JP7042907B2/ja
Priority to CN201980034313.XA priority patent/CN112189236B/zh
Priority to EP19811403.5A priority patent/EP3806101A4/en
Publication of WO2019230302A1 publication Critical patent/WO2019230302A1/ja
Priority to US17/089,685 priority patent/US11776692B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a learning data collection device, a learning data collection method and program, a learning system, a learned model, and an endoscopic image processing device, and more particularly to a technique for identifying a lesion from an endoscopic image.
  • Endoscopic filing systems that store endoscopic images and endoscope management systems that store endoscopy information, patient information, and endoscopic images exist on the market. Furthermore, an endoscopic CAD (Computer Aided Diagnosis) system for detecting a lesion and distinguishing a lesion during endoscopy has been studied for practical use.
  • endoscopic CAD Computer Aided Diagnosis
  • Patent Document 1 describes a classifier for classifying an image feature set corresponding to a region of interest of a medical image into a predetermined number of image findings.
  • Patent Document 1 an image feature set is extracted from hundreds to thousands of images collected in advance for each of ten image findings predetermined by an image diagnostician, and the extracted image feature set is used. A technique for generating a discriminator by performing learning is described.
  • the present invention has been made in view of such circumstances, a learning data collection device, a learning data collection method and a program for easily collecting learning data for learning a model for identifying a lesion from an endoscopic image,
  • An object is to provide a learning system, a learned model, and an endoscopic image processing apparatus.
  • one aspect of the learning data collection device is one or more endoscope images displayed by an endoscope displayed on an image display area of a display device and A display control unit that displays a plurality of findings diagnosis information in the findings diagnosis information display area of the display device, and at least one endoscope image among the endoscope images displayed in the image display area, which is an operation by the input device.
  • a reception unit that receives an operation for selecting at least one finding diagnosis information related to an endoscopic image from among the finding diagnosis information displayed in the finding diagnosis information display area, the selected endoscopic image, and the selected finding
  • a recording control unit for recording, and the display control unit classifies the endoscopic images linked to the finding diagnosis information in the linking unit into groups for each finding diagnosis information, and uses tabs to store the endoscope images for each group. It is a learning data collection device that switches and displays endoscopic images.
  • the endoscopic images linked to the diagnostic diagnosis information are classified into groups for each diagnostic diagnosis information, and the endoscopic images are switched and displayed for each group using tabs. An endoscopic image can be confirmed for each group of findings diagnosis information.
  • the accepting unit accepts an operation of selecting one tab by the input device, and the display control unit displays the endoscopic images classified into the selected tab group in the image display area. Thereby, the endoscopic image of the selected group of tabs can be confirmed.
  • the display control unit preferably classifies all selectable endoscopic images as one group. Thereby, all selectable endoscopic images can be confirmed.
  • the accepting unit accepts an operation of dragging and dropping at least one endoscopic image of the endoscopic images displayed in the image display area onto the finding diagnosis information displayed in the finding diagnosis information display area. It is preferable that the endoscope image dragged and dropped is linked to the diagnosis information. Thereby, it is possible to appropriately select an endoscopic image and finding diagnosis information related to the endoscopic image.
  • the accepting unit accepts an operation of dragging and dropping at least one finding diagnosis information of the finding diagnosis information displayed in the finding diagnosis information display area onto the endoscopic image displayed in the image display area. It is preferable to associate the dragged and dropped endoscopic image with the diagnosis information. Thereby, it is possible to appropriately select an endoscopic image and finding diagnosis information related to the endoscopic image.
  • the display control unit displays identification information indicating the diagnosis information associated with the endoscope image attached to the endoscope image in the image display area. Thereby, the findings diagnosis information linked
  • the display control unit preferably displays the identification information on the tab. Thereby, a tab can be identified appropriately.
  • the identification information is preferably a number corresponding to the findings diagnosis information. Thereby, identification information can be displayed appropriately.
  • the display control unit displays the identification information in the observation diagnosis information display area attached to the diagnosis information. Thereby, a user can be made to recognize a correspondence of finding diagnosis information and a number.
  • the display control unit displays the selected images in an overlapping manner. Thereby, the number of display images can be reduced, and an endoscopic image can be easily selected.
  • the accepting unit accepts an operation for designating position information of a lesion shown in the endoscopic image
  • the recording control unit causes the recording device to record the designated position information as learning data.
  • the position information of the lesion can be included in the learning data.
  • one aspect of a learning system includes a display device, an input device, a recording device, and one or a plurality of endoscopic images photographed by an endoscope. And a display control unit for displaying one or a plurality of findings diagnosis information related to a lesion in a findings diagnosis information display area of the display device, and an endoscope which is an operation by the input device and displayed in the image display area
  • a receiving unit that receives an operation of selecting at least one endoscopic image of the images and finding diagnosis information related to at least one endoscopic image of the finding diagnosis information displayed in the finding diagnosis information display area;
  • the linking unit that links the endoscopic image and the selected diagnostic diagnosis information, and the linked endoscopic image and the diagnostic diagnosis information are used for learning a model for identifying a lesion from the endoscopic image.
  • a learning data collection device that switches and displays an endoscopic image for each group using an image and a discriminator that identifies a lesion from an endoscopic image using a model, and learns the model using learning data System.
  • the model can be appropriately learned by the learning data collected by the learning data collection device that can confirm the endoscopic image for each finding diagnosis information.
  • one aspect of the learned model is to display one or a plurality of endoscope images photographed by a display device, an input device, a recording device, and an endoscope.
  • a display control unit for displaying in the area and displaying one or more findings diagnosis information on the lesion in the findings diagnosis information display area of the display device, and an operation performed by the input device, which is displayed in the image display area
  • a receiving unit that receives an operation of selecting at least one endoscopic image among the mirror images and at least one endoscopic image of the diagnostic diagnosis information displayed in the diagnostic diagnosis information display area;
  • the linking unit that links the endoscope image to the selected diagnostic diagnosis information, and the linked endoscopic image and the diagnostic diagnosis information are used for learning a model for identifying a lesion from the endoscopic image.
  • a recording control unit that causes the recording device to record the learning data as the learning data, and the display control unit classifies the endoscopic images associated with the finding diagnosis information in the associating unit into groups for each finding diagnosis information;
  • a learning data collection device that switches and displays an endoscopic image for each group using an image and a discriminator that identifies a lesion from an endoscopic image using a model, and learns the model using learning data A learned model learned by the system.
  • an endoscopic image processing apparatus includes a discriminator that identifies a lesion from an endoscopic image using a model, and learns using a learning system that learns the model using learning data.
  • An endoscopic image processing device that analyzes an endoscopic image using a learned model that has been learned, and the learning system includes a display device, an input device, a recording device, and one imaged by the endoscope Alternatively, a display control unit that displays a plurality of endoscopic images in the image display area of the display device, and displays one or a plurality of findings diagnosis information regarding the lesion in the findings diagnosis information display area of the display device, and an operation by the input device And at least one endoscopic image among the endoscopic images displayed in the image display area and at least one endoscopic image among the findings diagnostic information displayed in the findings diagnostic information display area.
  • a reception unit that accepts an operation of selecting the diagnostic diagnosis information regarding, a linking unit that links the selected endoscopic image and the selected diagnostic diagnosis information, a linked endoscopic image, and diagnostic diagnosis information
  • a recording control unit that records in a recording device as learning data used for learning a model for identifying a lesion from an endoscopic image, and the display control unit
  • a learning data collection device for classifying endoscopic images into groups for each finding diagnosis information, and switching and displaying endoscopic images for each group using tabs, and learning a model using learning data It is.
  • one aspect of the learning data collection method is one or more endoscope images displayed by an endoscope displayed on an image display area of a display device and A display control step for displaying a plurality of findings diagnosis information in the findings diagnosis information display area of the display device, and an operation by the input device, and at least one endoscope image among the endoscope images displayed in the image display area And a reception step of receiving an operation for selecting at least one finding diagnosis information related to an endoscopic image from among the finding diagnosis information displayed in the finding diagnosis information display area, the selected endoscopic image and the selected finding.
  • the linking process for linking diagnostic information, and the linked endoscopic image and finding diagnostic information are recorded as learning data used for learning a model for identifying a lesion from the endoscopic image.
  • a display control step for classifying the endoscopic images linked to the finding diagnosis information into groups for each finding diagnosis information and using tabs for each group. This is a learning data collection method for switching and displaying endoscopic images.
  • the endoscopic images linked to the diagnostic diagnosis information are classified into groups for each diagnostic diagnosis information, and the endoscopic images are switched and displayed for each group using tabs. An endoscopic image can be confirmed for each group of findings diagnosis information.
  • One aspect of a program for causing a computer to execute a learning data collection method to achieve the above object is to display one or a plurality of endoscopic images photographed by an endoscope in an image display area of a display device. And a display control step for displaying one or a plurality of findings diagnosis information related to the lesion in the findings diagnosis information display area of the display device, and an operation by the input device, wherein the endoscope image displayed in the image display area is displayed.
  • the endoscopic images linked to the diagnostic diagnosis information are classified into groups for each diagnostic diagnosis information, and the endoscopic images are switched and displayed for each group using tabs. An endoscopic image can be confirmed for each group of findings diagnosis information.
  • learning data for learning a model for identifying a lesion from an endoscopic image can be easily collected.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the endoscopic image learning system 10.
  • the endoscopic image learning system 10 is constructed in an in-hospital LAN (Local Area Network) 20 constructed in the hospital, an endoscopic department local LAN 30 constructed in the endoscope department of the hospital, and constructed in the hospital or outside the hospital.
  • AI Artificial Intelligence
  • An electronic medical record system 22 and a pathological system 24 are connected to the hospital LAN 20.
  • the electronic medical record system 22 is a system that manages examination information of all patients in the hospital.
  • the pathological system 24 is a system that manages pathological specimens and pathological diagnosis information.
  • the electronic medical record system 22 and the pathological system 24 may be configured by a single computer or may be distributed to a plurality of computers.
  • the endoscope department local LAN 30 is connected to an endoscope management report terminal 32, a video capture terminal 38, an endoscope management server 40, and a moving image storage NAS (Network Attached Storage) 46.
  • NAS Network Attached Storage
  • the endoscope management report terminal 32 is a terminal for a doctor to create an endoscope report 42 (described later) related to an endoscopic examination performed by an endoscope apparatus (not shown).
  • FIG. 2 is a block diagram showing an example of the configuration of the endoscope management report terminal 32.
  • the endoscope management report terminal 32 includes an input device 34, a display 36, and a learning data collection device 80.
  • the input device 34 for example, a mouse or a keyboard is applied.
  • a liquid crystal monitor is applied to the display 36 (an example of a display device). You may serve as the input device 34 and the display 36 using the display with a touch panel.
  • the learning data collection device 80 collects learning data used for learning a model for identifying a lesion from an endoscopic image.
  • the learning data collection device 80 includes a receiving unit 82, a display control unit 84, a linking unit 86, and a recording control unit 88.
  • the accepting unit 82 accepts an operation by the input device 34.
  • the display control unit 84 causes the display 36 to display an endoscopic image and finding diagnosis information.
  • the associating unit 86 associates the endoscopic image with the finding diagnosis information based on the below-described associating operation received by the accepting unit 82.
  • the recording control unit 88 causes the endoscope management server 40 to record the endoscope image and the observation diagnosis information linked by the linking unit 86.
  • the video capture terminal 38 captures a moving image taken by a camera of an endoscope apparatus (not shown) and transmits it to the moving image storage NAS 46. In addition, the video capture terminal 38 captures a still image captured by a camera of an endoscope apparatus (not shown) and transmits it to the endoscope management server 40.
  • the endoscope management server 40 manages an endoscope apparatus (not shown) via the endoscope management report terminal 32.
  • the endoscope management server 40 also records an endoscope report 42 created by the endoscope management report terminal 32 and an examination image 44 that is a still image taken by the camera of the endoscope apparatus.
  • the moving image storage NAS 46 records moving images taken by the camera of the endoscope apparatus.
  • the AI engine 52 is connected to the AI learning LAN 50.
  • the AI engine 52 identifies a lesion included in the input endoscopic image and outputs information on the identified lesion.
  • the AI engine 52 is configured by, for example, a GPU (Graphics Processing Unit).
  • FIG. 3 is a block diagram showing an example of the configuration of the AI engine 52.
  • the AI engine 52 includes an input unit 54, a feature amount extraction unit 56, an identification unit 58, an output unit 60, a learning data input unit 62, and a learning unit 64.
  • the endoscope image is input to the input unit 54.
  • the endoscopic image is not limited to a still image, and may be a moving image.
  • the feature quantity extraction unit 56 extracts a feature quantity from the endoscopic image input to the input unit 54.
  • the identification unit 58 (an example of a classifier) identifies a lesion included in the endoscopic image from the feature amount extracted by the feature amount extraction unit 56 using a model.
  • the output unit 60 outputs information on the lesion identified by the identification unit 58.
  • Learning data input unit 62 receives learning data for learning a model.
  • the learning unit 64 includes a model similar to that of the identification unit 58.
  • the learning unit 64 causes the model to be learned by the learning data input to the learning data input unit 62.
  • the learned model learned by the learning unit 64 is input to the identification unit 58.
  • the model of the identification unit 58 is updated to the learned model.
  • the feature amount extraction unit 56 and the identification unit 58 are configured to identify the lesion included in the endoscopic image using the model, and the learning unit 64 has learned and learned the models of the feature amount extraction unit 56 and the identification unit 58 You may update to a model.
  • the order gateway 70 is composed of one computer server.
  • the order gateway 70 receives examination information and patient information from the electronic medical chart system 22 or an ordering system (not shown), and transmits examination order information to the endoscope management server 40.
  • the endoscope management server 40 records the received inspection order.
  • the order gateway 70 receives the endoscope report 42 and the examination result information from the endoscope management server 40 and transmits them to the electronic medical chart system 22 or a medical accounting system (not shown).
  • the pathological system 24 and the endoscope management server 40 are connected via a pathological system gateway 72.
  • the pathological system gateway 72 is composed of one computer server.
  • the pathological system gateway 72 acquires a pathological diagnosis result from the pathological system 24 and transmits the pathological diagnosis result to the endoscope management server 40.
  • the endoscope management server 40 records the received pathological diagnosis result.
  • the AI engine 52 and the endoscope management server 40 are connected via an AI learning data output gateway 74.
  • the AI learning data output gateway 74 receives learning data from the endoscope management server 40 and transmits it to the AI engine 52.
  • FIG. 4 is a flowchart showing processing of a learning method using the endoscopic image learning system 10.
  • the learning method includes an endoscopic examination execution step (step S10), an endoscope report creation step (step S20), an AI learning image linking step (step S30), a pathology request step (step S40), and an AI learning data output step. (Step S50) and an AI learning step (Step S60).
  • FIG. 5 is a flowchart showing details of the endoscopic examination execution process.
  • the endoscopic examination execution process includes an examination information acquisition process (step S11), a moving image capturing start process (step S12), a lesion site still image capturing process (step S13), a still image server transfer process (step S14), and a moving image capturing end.
  • step S11 Examination information acquisition process
  • examination information for the endoscopic examination to be performed is obtained.
  • the examination information is input by the doctor using the input device 34 of the endoscope management report terminal 32.
  • the examination information includes information such as examination site information, examination date, patient name, age, and sex.
  • the entered examination information is transmitted from the endoscope management report terminal 32 to the endoscope management server 40.
  • step S12 In the moving image shooting start process, shooting of an endoscope image of the moving image is started.
  • the doctor operates a camera of an endoscope apparatus (not shown) to capture a moving image.
  • the captured moving image is displayed in real time on a display device of an endoscope apparatus (not shown).
  • the captured moving image is input to the video capture terminal 38 as needed.
  • ⁇ Lesion site still image photographing process (step S13)>
  • an endoscope image of a still image of the lesion part is photographed.
  • the doctor observes the moving image captured by the display device of the endoscope apparatus, and operates a camera (not shown) to capture a still image when a lesion site appears in the moving image.
  • Step S14 the captured still image is transferred to the endoscope management server 40.
  • the still image captured by the lesion site still image capturing process is transmitted to the video capture terminal 38 from a camera of an endoscope apparatus (not shown).
  • the video capture terminal 38 transmits the received still image to the endoscope management server 40.
  • the endoscope management server 40 records the received still image as the inspection image 44.
  • the endoscope management server 40 may record a thumbnail image obtained by reducing the size of the inspection image together with the inspection image 44.
  • step S15 In the moving image shooting end step, the moving image shooting ends.
  • the doctor completes the endoscopic examination, the doctor finishes shooting the moving image with the camera of the endoscope apparatus (not shown).
  • Step S16 the captured moving image is transferred to the moving image storage NAS 46.
  • the captured moving image is transferred to the video capture terminal 38 as needed, and is transferred from the video capture terminal 38 to the moving image storage NAS 46 in the moving image server transfer step.
  • the moving image storage NAS 46 records the transferred moving image as an inspection image.
  • an endoscope report 42 relating to the endoscopy performed in the endoscopy execution process is created.
  • the endoscope report 42 is created by the doctor using the endoscope management report terminal 32.
  • FIG. 6 is a flowchart showing details of the endoscope report creation process.
  • the endoscope report creation process includes a key image selection process (step S21), a lesion mark process (step S22), a finding diagnosis information input process (step S23), and an end determination process (step S24).
  • Step S21 ⁇ Key Image Selection Step (Step S21)>
  • the doctor selects a key image to be used for creating the endoscope report 42.
  • the key image is an image in which a lesion is clearly shown, for example.
  • the display control unit 84 displays the inspection image recorded in the endoscope management server 40 on the display 36.
  • the doctor uses the input device 34 to select a key image from the displayed examination images.
  • the number of key images is not limited.
  • ⁇ Lesion mark process (step S22)>
  • a lesion mark indicating the position of the lesion is added to the key image.
  • the doctor uses the input device 34 to add a lesion mark to the key image displayed on the display 36.
  • diagnosis diagnosis information input process (step S23)>
  • diagnosis diagnosis information including the diagnosis information and the diagnosis information is input.
  • the doctor uses the input device 34 to input findings diagnosis information related to endoscopy and key images.
  • ⁇ End determination step (step S24)> it is determined whether or not all inputs have been completed for the selected key image. If the input has not ended, the process returns to step S22 and the same processing is performed. When all the inputs are completed, the doctor makes an input to that effect using the input device 34, whereby the endoscope report 42 is completed, and the endoscope report creation process ends.
  • the endoscope image and the finding diagnosis information are linked to create learning data used for learning of the AI engine 52 (an example of a learning data collection method).
  • the AI learning image linking process is performed using the endoscope management report terminal 32.
  • FIG. 7 is a diagram showing an example of the endoscope report creation screen 100 displayed on the display 36. As shown in FIG. The endoscope report creation step (step S20) described above is performed on the endoscope report creation screen 100.
  • a case recording button 102 is displayed on the endoscope report creation screen 100.
  • the doctor uses a pointing device such as a mouse of the input device 34 to place the pointer on the case recording button 102 and click.
  • the display on the display 36 shifts to the AI learning image association screen 110. This operation may be used as an input to end the end determination step (step S24).
  • FIG. 8 is a diagram illustrating an example of the AI learning image association screen 110 displayed on the display 36.
  • the AI learning image linking process is performed on the AI learning image linking screen 110.
  • the AI learning image association screen 110 has an image display area 112 and a finding diagnosis information display area 114.
  • the display control unit 84 displays the AI learning image association screen 110 on the display 36. Also, the examination image 44 of the patient for which the endoscope report 42 has been created in the endoscope report creation process is read from the endoscope management server 40 and displayed in the image display area 112 (an example of a display control process).
  • the display control unit 84 causes the image display area 112 to display a plurality of tabs, any one of which is active. In the example shown in FIG. 8, tabs 116-1, 116-2, and 116-3 are displayed.
  • the display control unit 84 classifies all inspection images that can be associated as one group, and displays the inspection images of this group in the area related to the tab 116-1. If the inspection image is a still image, a thumbnail image of the still image may be displayed. If the inspection image is a moving image, a representative image such as a head image of the moving image may be displayed. In the example shown in FIG. 8, the tab 116-1 is active, and an inspection image that can be linked is displayed in the image display area 112. On the tab 116-1, characters “ALL” are displayed to identify the type of the tab.
  • the size of the display image in the image display area 112 can be selected as appropriate.
  • two inspection images 118-1 and 118-2 are displayed in the image display area 112.
  • the size of the display image By setting the size of the display image to be relatively small, the number of display images can be reduced. It can be relatively large.
  • the display control unit 84 reads out the diagnosis diagnosis information of the patient for which the endoscope report 42 has been created in the endoscope report creation process from the endoscope management server 40 and displays it in the finding diagnosis information display area 114 (display).
  • An example of a control process In the example shown in FIG. 8, two pieces of diagnosis information 120-1 and 120-2 are displayed.
  • the findings diagnosis information 120-1 and 120-2 are assigned the number “1” corresponding to the identification information 122-1 corresponding to the findings diagnosis information and the number “2” corresponding to the identification information 122-2, respectively. .
  • the tabs 116-2 and 116-3 displayed in the image display area 112 are tabs related to the findings diagnosis information 120-1 and 120-2, respectively.
  • the number “1” of the identification information 122-1 and the number “2” of the identification information 122-2 are displayed to identify the tab type.
  • FIG. 9 is a flowchart showing details of the AI learning image linking process.
  • the AI learning image linking process includes an AI learning image selection process (step S31), a linking process (step S32), an all-image determination process (step S33), and an all-finding diagnosis information determination process (step S34). .
  • Step S31 An inspection image used for AI learning and finding diagnosis information related to the inspection image are selected.
  • the doctor selects at least one examination image among examination images displayed in the image display area 112 of the AI learning image linking screen 110.
  • the finding diagnosis information associated with the selected examination image is selected from the finding diagnosis information displayed in the finding diagnosis information display area 114 (an example of a reception process). Then, using the input device 34, the selected examination image is dragged and dropped to the position of the selected finding diagnosis information.
  • the drag operation can be performed by clicking the left mouse button with the mouse pointer aligned with the selected inspection image and moving the mouse pointer while maintaining the click operation. Operation. During the drag operation, the selected inspection image is copied and moved as the mouse pointer moves.
  • the drop operation is an operation for releasing the left button of the mouse in a state where the position of the dragged mouse pointer or the copied examination image is matched with the position of the selected finding diagnosis information.
  • FIG. 10 is a diagram illustrating an example of a state in which the selected examination image 118-1 is dragged toward the selected finding diagnosis information 120-1 on the AI learning image linking screen 110. During the drag operation, the copy image 126 of the selected inspection image 118-1 moves together with the mouse pointer 124.
  • the selected inspection image is associated with the finding diagnosis information.
  • the associating unit 86 associates the inspection image dragged and dropped in the AI learning image selection step with the finding diagnosis information.
  • the inspection image 118-1 and the finding diagnosis information 120-1 are linked.
  • FIG. 11 is a diagram showing an example of the AI learning image linking screen 110 after the examination image 118-1 and the finding diagnosis information 120-1 are linked.
  • the display control unit 84 attaches the number “1” of the identification information 122-1 indicating the finding diagnosis information 120-1 associated with the inspection image 118-1 to the inspection image 118-1 as the attached display 128-1. To display. Thereby, the doctor can confirm that the inspection image 118-1 is linked to the finding diagnosis information 120-1.
  • FIG. 12 shows the AI learning image linking screen after further linking the examination image 118-2 and the findings diagnosis information 120-1 and linking the examination image 118-2 and the findings diagnosis information 120-2.
  • FIG. 12 shows the AI learning image linking screen after further linking the examination image 118-2 and the findings diagnosis information 120-1 and linking the examination image 118-2 and the findings diagnosis information 120-2.
  • an attached display 128-2 indicating the number “1” of the identification information 122-1 and an attached display 128-3 indicating the number “2” of the identification information 122-1 are attached and displayed. Accordingly, the doctor can confirm that the examination image 118-2 is linked to the finding diagnosis information 120-1 and 120-2.
  • the attached display indicating the identification information of the diagnosis information on the image after the association it is possible to identify which observation diagnosis information the image is associated with. Further, when one examination image is linked to a plurality of findings diagnosis information, the identification information of each finding diagnosis information is displayed, so that all the linked diagnosis information can be identified.
  • the tab 116-1 is activated, but the doctor activates the tab 116-2 or 116-3 by the input device 34. Can do.
  • FIG. 13 shows an AI learning image linking screen when the tab 116-2 is activated by the doctor selecting the tab 116-2 using the input device 34 on the AI learning image linking screen 110 shown in FIG. It is a figure which shows an example of the attachment screen.
  • the tab 116-2 is a tab related to the finding diagnosis information 120-1.
  • the display control unit 84 classifies the inspection images linked to the finding diagnosis information 120-1 as one group, and displays the inspection images of this group in an area related to the tab 116-2. Therefore, when the tab 116-2 is selected, the display control unit 84 causes the image display area 112 to display the examination image associated with the finding diagnosis information 120-1. In the example shown in FIG. 13, the inspection images 118-1 and 118-2 associated with the finding diagnosis information 120-1 are displayed.
  • FIG. 14 shows AI learning when the tab 116-3 is activated by the doctor selecting the tab 116-3 using the input device 34 on the AI learning image linking screen 110 shown in FIG. It is a figure which shows an example of the image correlation screen 110.
  • FIG. A tab 116-3 is a tab related to the finding diagnosis information 120-2.
  • the display control unit 84 classifies the inspection images associated with the finding diagnosis information 120-2 as one group, and displays the inspection images of this group in an area related to the tab 116-3. Therefore, when the tab 116-3 is selected, the display control unit 84 causes the image display area 112 to display the examination image associated with the finding diagnosis information 120-2. In the example shown in FIG. 14, an inspection image 118-2 associated with the finding diagnosis information 120-2 is displayed.
  • the display control unit 84 classifies the inspection images linked to the observation diagnosis information into groups for each of the diagnosis diagnosis information, and switches and displays the inspection images for each group using the tabs. Therefore, by selecting a desired tab among the plurality of tabs displayed in the image display area 112, only the examination image associated with the finding diagnosis information related to the selected tab can be displayed. Thereby, it is possible to confirm omission of an image associated with the finding diagnosis information. The doctor confirms that necessary images are prepared for each finding diagnosis information, and performs selection operation again if there is an excess or deficiency.
  • FIG. 15 shows the inspection images 118-3, 118-7, 118-8, and 118- of the inspection images 118-3 to 118-10 displayed in the image display area 112 on the AI learning image association screen 110. It is a figure which shows an example in the state which selected 9.
  • FIG. Here, the outer frame is surrounded by a thick line so that it can be recognized that the inspection images 118-3, 118-7, 118-8, and 118-9 have been selected, and the check box is checked.
  • the inspection images 118-3, 118-7, 118-8, and 118-9 are collectively dragged and dropped, so that the inspection images 118-3, 118-7, 118-8, And 118-9 can be linked to desired findings diagnosis information.
  • FIG. 16 is a diagram showing an example in which the selected inspection images 118-3, 118-7, 118-8, and 118-9 are displayed on the AI learning image linking screen 110 in an overlapping manner.
  • inspection images 118-3, 118-7, 118-8, and 118-9 are collectively dragged and dropped from the state of being displayed in a superimposed manner, so that one operation can be performed. Inspection images 118-3, 118-7, 118-8, and 118-9 can be linked to desired findings diagnosis information.
  • the finding diagnosis information may be dragged and dropped onto the examination image.
  • FIG. 17 is a diagram illustrating an example of a state in which the click operation of the right button of the mouse is performed after selecting the inspection image on the AI learning image linking screen 110.
  • inspection images 118-3, 118-7, 118-8, and 118-9 are selected, and a right click menu 130 is displayed by a subsequent click operation.
  • a selection item “link to 2” is included.
  • the doctor moves the mouse pointer to the position of the selection item “Place to 1” or “Place to 2” in the right-click menu 130 and clicks the left button of the mouse, thereby performing examination images 118-3 and 118.
  • ⁇ 7, 118-8, and 118-9 can be associated with the finding diagnosis information 120-1 or 120-2.
  • Step S33 it is determined whether or not the finding diagnosis information is associated with all the inspection images.
  • all the inspection images displayed in the area related to the tab 116-1 are determined. If there is an examination image not associated with the diagnosis information, the process returns to step S31 and the same processing is performed.
  • finding diagnosis information is associated with all inspection images, the process proceeds to step S34.
  • step S34 it is determined whether or not inspection images are associated with all the finding diagnosis information.
  • all the diagnosis diagnosis information displayed in the diagnosis diagnosis information display area 114 is determined. If there is finding diagnosis information not associated with the inspection image, the process returns to step S31 and the same processing is performed.
  • the recording control unit 88 records the associated inspection images and observation diagnosis information as learning data in the endoscope management server 40 (an example of a recording device). (An example of a recording control process), the process of this flowchart is terminated, and the AI learning image linking process is terminated.
  • the endoscope management server 40 may sequentially record the endoscope image and the findings diagnosis information in association with each other. Further, even when the finding diagnosis information is not associated with all the inspection images or when the inspection image is not associated with all the observation diagnosis information, the AI learning image associating process may be terminated. Good.
  • FIG. 18 is a flowchart showing details of the pathology request process.
  • the pathology request process includes a biopsy presence / absence determination process (step S41), a pathology request creation process (step S42), a pathology request transmission process (step S43), a pathology request diagnosis process (step S44), and an all pathology request end determination process ( Step S45).
  • step S41 Biopsy presence / absence determination step
  • the doctor determines whether there is a specimen to be pathologically diagnosed. If there is no specimen to be pathologically diagnosed, the process of this flowchart is terminated and the pathology requesting process is terminated. If there is a specimen to be pathologically diagnosed, the process proceeds to step S42.
  • ⁇ Pathology request creation process (step S42)>
  • the doctor creates a pathology request for the pathological sample acquired in the endoscopic examination based on information for identifying the endoscopic findings and the pathological sample in the endoscope management report terminal 32.
  • ⁇ Pathology request transmission process (step S43)>
  • the pathology request created in the pathology request creation process is transmitted to the electronic medical chart system 22 via the order gateway 70.
  • the electronic medical record system 22 manages the received pathological request as an order, and requests the pathological system 24 for pathological diagnosis.
  • ⁇ Pathological diagnosis reception process (step S44)>
  • the pathological system gateway 72 receives the pathological diagnosis result from the pathological system 24 for the examination for which the pathological request has been made and the pathological diagnosis result has not been received, and transmits it to the endoscope management server 40.
  • the endoscope management server 40 further stores the received pathological diagnosis result in association with the associated examination image and finding diagnosis information.
  • step S45 ⁇ All pathology request end determination step (step S45)>
  • the processing of this flowchart is terminated and the pathology request process is terminated.
  • FIG. 19 is a flowchart showing details of the AI learning data output process.
  • the AI learning data output step includes a learning data search step (step S51), a still image and moving image search step (step S52), and a still image and moving image data output step (step S53).
  • the AI learning data output gateway 74 searches for unlearned data that has not been learned in the learning unit 64 from the learning data recorded in the endoscope management server 40. For example, by extracting the difference between the learning data recorded in the endoscope management server 40 and the learning data recorded in the current endoscope management server 40 at the time when the learning data was transmitted to the AI engine 52 last time.
  • the learning unit 64 searches for learning data that has not been learned.
  • Step S52 ⁇ Still Image and Movie Search Step (Step S52)>
  • the AI learning data output gateway 74 uses the still image and moving image storage NAS 46 recorded in the endoscope management server 40 to search for still images of unlearned data searched in the learning data search step. And search for videos.
  • ⁇ Still image and moving image data output step (step S53)>
  • the AI learning data output gateway 74 receives the still image data and moving image data searched in the still image and moving image search step, and finding diagnosis information associated with the still image and moving image. , Transmitted to the AI engine 52.
  • the AI learning data output gateway 74 transmits the pathological diagnosis result to the AI engine 52 together.
  • the transmitted still image data and the like are input from the learning data input unit 62 to the learning unit 64.
  • the learning unit 64 causes the model to be learned using the learning data input to the learning data input unit 62.
  • the learned model learned by the learning unit 64 is input to the identification unit 58, and the model of the identification unit 58 is updated to the learned model.
  • the model can be appropriately learned.
  • the lesion position information of the examination image is further included as learning data.
  • the lesion position information is input by the doctor using the endoscope management report terminal 32.
  • the lesion position is recorded with a bounding box.
  • the bounding box is a rectangular area including a lesion, and here is specified by at least two coordinate positions.
  • FIG. 20 is a block diagram illustrating an example of the configuration of the endoscope management report terminal 32 according to the second embodiment.
  • symbol is attached
  • the receiving unit 82 of the endoscope management report terminal 32 includes a coordinate receiving unit 83.
  • the coordinate receiving unit 83 receives and accepts at least two coordinate positions of the bounding box input from the input device 34.
  • FIG. 21 is a flowchart showing processing of the lesion position information input method.
  • the lesion position information input method includes an examination image display process (step S71), a rectangular area input process (step S72), a lesion position information association process (step S73), and an end determination process (step S74).
  • Step S71 In the examination image display process, the display control unit 84 displays one of the examination images of the corresponding endoscopic examination among the examination images recorded in the endoscope management server 40 on the display 36.
  • FIG. 22 is a diagram showing an example of the lesion position information input screen 140 displayed on the display 36. As shown in FIG. The lesion position information input is performed on the lesion position information input screen 140. An examination image 142-1 is displayed on the lesion position information input screen 140 shown in FIG. Further, the examination image 142-1 includes a lesion L.
  • ⁇ Rectangular area input process (step S72)>
  • the doctor inputs a rectangular area including the lesion position with respect to the examination image displayed on the display 36.
  • the input of the rectangular area is performed by specifying the first upper left point of the rectangular area and further specifying the lower right second point that is the diagonal of the first point of the rectangular area.
  • the designation of the first point and the second point is performed by, for example, operating the mouse of the input device 34 or operating the finger using the touch panel.
  • FIG. 22 to 25 are diagrams showing an example of inputting a rectangular region by operating the mouse on the lesion position information input screen 140.
  • FIG. In the rectangular area having the minimum area including the lesion L in the inspection image 142-1, the upper left position is the position P 1 and the lower right position is the position P 2 .
  • the upper left position is the position P 1 and the lower right position is the position P 2 .
  • a case will be described in which a rectangular region whose upper left position is position P 1 and lower right position is position P 2 is input.
  • the display control unit 84 displays the mouse pointer 144, the guideline 146, and the guideline 148 on the lesion position information input screen 140. That is, as shown in FIG. 22, the mouse pointer 144 is displayed on the lesion position information input screen 140.
  • the lesion position information input screen 140 displays a vertical guideline 146 and a horizontal guideline 148 for showing the vertical position and horizontal position of the mouse pointer 144 in an easy-to-see manner.
  • the intersection of the guidelines 146 and 148 is the position of the mouse pointer 144.
  • FIG. 22 A physician enters a rectangular area, first, as shown in FIG. 22, it moves the mouse pointer 144 to the position P 1. Then, perform click operation of pressing the left mouse button in a state combined with mouse pointer 144 to the position P 1, performs a drag operation to move toward the position P 2 the mouse pointer 144 while maintaining the click operation.
  • Figure 23 is a diagram showing a state during a drag operation from the position P 1 until it reaches the position P 2. As shown in FIG. 23, during the drag operation, a rectangle 150 whose diagonal is the drag start position (here, position P 1 ) and the current position of the mouse pointer 144 is displayed.
  • the rectangle 150 whose upper left position is the position P 1 and lower right position is the position P 2 is determined as the bounding box 152.
  • Coordinate reception unit 83 of the receiving unit 82 coordinates (X 1, Y 1) in the upper left in the display 36 of the position P 1 of the bounding box 152, and the coordinate in the display 36 of the position P 2 of the lower right (X 2, Y 2) to receive.
  • the rectangular area having the minimum area including the lesion L is input here, the rectangular area may not be the rectangular area having the minimum area as long as the rectangular area includes the lesion L.
  • the touch panel When inputting a rectangular area using the touch panel, for example, touch the first position of the rectangular area with a finger and move the finger to the second position of the rectangular area while touching the touch panel with the finger. , Just keep away from the touch panel.
  • the first point and the second point may be specified simultaneously using two fingers.
  • the associating unit 86 calculates lesion position information from the rectangular region input in the rectangular region input step, and associates the calculated lesion position information with the examination image.
  • the associating unit 86 acquires the coordinates in the display 36 of the inspection image 142-1 displayed on the display 36 by the display control unit 84. From the coordinates in the display 36 of the examination image 142-1 and the coordinates in the display 36 of the bounding box 152, the coordinates of the bounding box 152 in the examination image 142-1 are calculated as lesion position information.
  • the recording control unit 88 causes the endoscope management server 40 to record the calculated lesion position information in association with the examination image.
  • step S74 In the end determination step, it is determined whether or not the lesion position information is associated with all the inspection images. If there is an examination image that is not associated with lesion position information, the process returns to step S71 and the same processing is repeated. That is, as shown in FIG. 25, the display control unit 84 displays the inspection image 142-2, which is the inspection image next to the inspection image 142-1, on the display 36.
  • the inspection image 142-2 is displayed immediately.
  • the next inspection image may be displayed by clicking a button or the like for displaying the next inspection image after completion of the drag operation.
  • the input of the lesion position information according to the present embodiment can be performed, for example, before the AI learning image selection step (step S31) of the first embodiment.
  • the linking process step S32
  • the same process may be performed.
  • step S51 it is conceivable that the search is performed under the condition where the lesion position information is added. It is also conceivable to use the area of the lesion position information as a search condition.
  • the first point of the rectangular area is designated as the upper left and the second point is designated as the lower right.
  • the designated position and order are not limited.
  • the corners of the rectangular area may be rounded.
  • the lesion position information may be a circular area.
  • FIG. 26 is a diagram illustrating an example of inputting a circular area.
  • Performing a drag operation by pressing the left button of the mouse the mouse pointer 144 in a state in conformity with a position P 3 is the center position of the lesion L, widened circular area 154 around the position P 3.
  • the circular area can be input.
  • the associating unit 86 converts the center coordinates of the circular area 154 on the display 36 and the distance from the center coordinates (radius of the circular area) into the center coordinates and the distance from the center coordinates in the examination image 142-1, and as lesion position information. get.
  • an elliptical area may be input by specifying three points. In this case, it is conceivable to specify the center coordinate at the first point, the distance from the horizontal center coordinate at the second point, and the distance from the vertical center coordinate at the third point.
  • the bounding box used for inputting the rectangular area of the previous inspection image may be displayed.
  • the bounding box 156 of the first inspection image 142-1 is displayed when the rectangular area of the second inspection image 142-2 is input.
  • the circular area 158 of the first inspection image 142-1 is displayed.
  • FIG. 29 is a block diagram illustrating an example of the configuration of the endoscope apparatus 90.
  • the endoscope apparatus 90 is connected to, for example, the endoscope department local LAN 30 (see FIG. 1).
  • the endoscope device 90 includes an endoscope 91, a medical image processing device 94, and a display device 98.
  • the endoscope 91 includes a light source 92 and a camera 93.
  • the light source 92 irradiates the observation area in the body cavity of the patient with irradiation light.
  • the camera 93 receives reflected light from the observation area and captures an endoscopic image of the observation area.
  • the medical image processing apparatus 94 (an example of an endoscopic image processing apparatus) includes a medical image acquisition unit 95, a medical image analysis processing unit 96, and a medical image analysis result acquisition unit 97.
  • the medical image acquisition unit 95 acquires a medical image.
  • a medical image In the present embodiment, an endoscopic image photographed by the endoscope 91 is acquired.
  • the medical image analysis processing unit 96 analyzes the medical image acquired by the medical image acquisition unit 95.
  • a lesion is identified from an endoscopic image using the learned model generated in the first embodiment.
  • the medical image analysis result acquisition unit 97 acquires the analysis result in the medical image analysis processing unit 96.
  • the display device 98 for example, a liquid crystal monitor is applied.
  • the display device 98 displays an endoscopic image photographed by the endoscope 91 and an analysis result acquired by the medical image analysis result acquisition unit 97.
  • the identified lesion area is colored and superimposed on the endoscopic image.
  • the lesion area may be displayed in a superimposed manner by surrounding it with a frame.
  • the endoscope apparatus 90 configured as described above, it is possible to identify a lesion from a learned model from an endoscopic image being captured, and to allow a doctor who performs endoscopy to recognize the lesion.
  • the medical image processing apparatus 94 is provided in the endoscope apparatus 90
  • it may be provided in the endoscope management report terminal 32 or the video capture terminal 38.
  • the medical image analysis processing unit detects a region of interest that is a region of interest based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis processing unit detects the presence or absence of a target of interest based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the analysis result is a medical image processing apparatus in which the attention area, which is the attention area included in the medical image, and / or the presence / absence of the attention object is included.
  • the medical image processing apparatus is a normal light image obtained by irradiating light in a plurality of wavelength bands as light in a white band or light in a white band.
  • a medical image is an image obtained by irradiating light of a specific wavelength band,
  • the specific wavelength band is a medical image processing apparatus that is narrower than the white wavelength band.
  • the specific wavelength band includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • Image processing device includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or less, or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device includes a wavelength band of 585 nm to 615 nm or less, or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • the specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and light in the specific wavelength band has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin.
  • Medical image processing device includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and light in the specific wavelength band has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and the light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ A medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • a medical image is an in-vivo image of a living body
  • the in-vivo image is a medical image processing apparatus having information on fluorescence emitted from a fluorescent substance in the living body.
  • a fluorescence is a medical image processing apparatus obtained by irradiating a living body with excitation light having a peak of 390 nm or more and 470 nm or less.
  • a medical image is an in-vivo image of a living body,
  • the specific wavelength band is a medical image processing apparatus that is a wavelength band of infrared light.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or less or 905 nm to 970 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. Processing equipment.
  • the medical image acquisition unit acquires a special light image having information on a specific wavelength band based on a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light.
  • a medical image processing apparatus in which a signal in a specific wavelength band is obtained by calculation based on RGB (Red Green Blue) or CMY (Cyan, Magenta, Yellow) color information included in a normal light image.
  • RGB Red Green Blue
  • CMY Cyan, Magenta, Yellow
  • Appendix 18 By calculation based on at least one of a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or light in a plurality of wavelength bands, and a special light image obtained by irradiating light of a specific wavelength band, A feature amount image generation unit for generating a feature amount image; A medical image processing apparatus in which a medical image is a feature amount image.
  • Appendix 19 The medical image processing apparatus according to any one of appendices 1 to 18, An endoscope for acquiring an image by irradiating at least one of light in a white wavelength band or light in a specific wavelength band; An endoscope apparatus comprising:
  • a diagnostic support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • Appendix 21 A medical operation support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • the image processing method described above may be configured as a program for causing a computer to perform each process, and may also configure a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) that stores the program. Is possible.
  • a CD-ROM Compact Disk-Read Only Memory
  • the hardware structure of a processing unit (processing unit) that executes various types of processing of the learning data collection device 80 is various types of processors as described below.
  • Various processors include a CPU (Central Processing Unit) that is a general-purpose processor that functions as various processing units by executing software (programs), a GPU (Graphics Processing Unit) that is a processor specialized for image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array) A dedicated electric circuit which is a processor having a designed circuit configuration is included.
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be constituted by one of these various processors, or two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a CPU). (A combination of GPUs). Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a server and a client, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • various processing units are configured using one or more various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集する学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置を提供する。内視鏡画像と所見診断情報とを紐付け、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる際に、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる。

Description

学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
　本発明は、学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置に係り、特に、内視鏡画像から病変を識別する技術に関する。
　内視鏡画像を保管する内視鏡ファイリングシステムや、内視鏡検査情報、患者情報、及び内視鏡画像を保管する内視鏡管理システムが市場に存在する。さらに、内視鏡検査時に、病変の検出や病変の鑑別を行う内視鏡ＣＡＤ（Computer Aided Diagnosis）システムが実用化に向けて研究されている。
　特許文献１には、医用画像の関心領域に対応する画像特徴セットを所定個数の画像所見に分類するための識別器が記載されている。
特開２０１７－０６８８３８号公報
　特許文献１には、画像診断医により予め定められた１０個の画像所見のそれぞれについて、予め収集された数百～数千個の画像から画像特徴セットを抽出し、抽出した画像特徴セットを用いて学習させることで識別器を生成する技術が記載されている。
　また、内視鏡ＣＡＤシステムに搭載されるＡＩ（Artificial Intelligence）エンジンを学習させるためには、病変画像、病変画像を撮影した際の所見診断情報、及び内視鏡検査時に記録した検査動画等を、医師が内視鏡管理システム、内視鏡ファイリングシステム等のそれぞれのシステムから個別に取得し、ＡＩ学習を行える形式に変換する必要がある。
　このように、モデルを学習させるためには大量の症例等の学習データを収集する必要があり、大量の学習データを収集するには多大な労力が必要であるという課題があった。
　本発明はこのような事情に鑑みてなされたものであり、内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集する学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置を提供することを目的とする。
　上記目的を達成するために学習データ収集装置の一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置である。
　本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
　受付部は、入力装置によって１つのタブを選択する操作を受け付け、表示制御部は、選択されたタブのグループに分類された内視鏡画像を画像表示エリアに表示させることが好ましい。これにより、選択したタブのグループの内視鏡画像を確認することができる。
　表示制御部は、選択可能な全ての内視鏡画像を１つのグループとして分類することが好ましい。これにより、選択可能な全ての内視鏡画像を確認することができる。
　受付部は、画像表示エリアに表示された内視鏡画像のうちの少なくとも１つの内視鏡画像を所見診断情報表示エリアに表示された所見診断情報にドラッグアンドドロップする操作を受け付け、紐付部は、ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付けることが好ましい。これにより、内視鏡画像とその内視鏡画像に関連する所見診断情報とを適切に選択することができる。
　受付部は、所見診断情報表示エリアに表示された所見診断情報のうちの少なくとも１つの所見診断情報を画像表示エリアに表示された内視鏡画像にドラッグアンドドロップする操作を受け付け、紐付部は、ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付けることが好ましい。これにより、内視鏡画像とその内視鏡画像に関連する所見診断情報とを適切に選択することができる。
　表示制御部は、内視鏡画像に付属させて紐付けられた所見診断情報を示す識別情報を画像表示エリアに表示させることが好ましい。これにより、内視鏡画像毎に紐付けられた所見診断情報を確認することができる。
　表示制御部は、識別情報をタブに表示させることが好ましい。これにより、タブを適切に識別することができる。
　識別情報は、所見診断情報に対応する番号であることが好ましい。これにより、識別情報を適切に表示することができる。
　表示制御部は、所見診断情報に付属させて識別情報を所見診断情報表示エリアに表示させることが好ましい。これにより、所見診断情報と番号の対応をユーザに認識させることができる。
　表示制御部は、選択された画像を重ねて表示することが好ましい。これにより、表示画像数を削減することができ、内視鏡画像を選択しやすくすることができる。
　受付部は、内視鏡画像に写った病変の位置情報を指定する操作を受け付け、記録制御部は、指定された位置情報を学習データとして記録装置に記録させることが好ましい。これにより、病変の位置情報を学習データに含めることができる。
　上記目的を達成するために学習システムの一の態様は、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、モデルを用いて内視鏡画像から病変を識別する識別器と、を備え、学習データを用いてモデルを学習させる学習システムである。
　本態様によれば、所見診断情報毎の内視鏡画像を確認することができる学習データ収集装置によって収集された学習データによってモデルを適切に学習させることができる。
　上記目的を達成するために学習済みモデルの一の態様は、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、モデルを用いて内視鏡画像から病変を識別する識別器と、を備え、学習データを用いてモデルを学習させる学習システムによって学習された学習済みモデルである。
　本態様によれば、適切に収集された学習データによって学習した学習済みモデルを取得することができる。
　上記目的を達成するために内視鏡画像処理装置の一の態様は、モデルを用いて内視鏡画像から病変を識別する識別器を備え、学習データを用いてモデルを学習させる学習システムによって学習された学習済みモデルを用いて内視鏡画像を解析する内視鏡画像処理装置であって、学習システムは、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、を備え、学習データを用いてモデルを学習させる学習システムである。
　本態様によれば、適切に収集された学習データによって学習した学習済みモデルを用いて内視鏡画像を解析することができる。
　上記目的を達成するために学習データ収集方法の一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御工程と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付工程と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、を備え、表示制御工程は、紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集方法である。
　本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
　上記目的を達成するために学習データ収集方法をコンピュータに実行させるためのプログラムの一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御工程と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付工程と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、を備え、表示制御工程は、紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集方法をコンピュータに実行させるためのプログラムである。
　本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
　本態様によれば、内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集することができる。
内視鏡画像学習システムの構成の一例を示すブロック図である。 内視鏡管理レポート端末の構成の一例を示すブロック図である。 ＡＩエンジンの構成の一例を示すブロック図である。 学習方法の処理を示すフローチャートである。 内視鏡検査実施工程の詳細の処理を示すフローチャートである。 内視鏡レポート作成工程の詳細の処理を示すフローチャートである。 内視鏡レポート作成画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け工程の詳細の処理を示すフローチャートである。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 病理依頼工程の詳細の処理を示すフローチャートである。 ＡＩ学習データ出力工程の詳細の処理を示すフローチャートである。 内視鏡管理レポート端末の構成の一例を示すブロック図である。 病変位置情報入力方法の処理を示すフローチャートである。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 内視鏡装置の構成の一例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜第１の実施形態＞
　〔内視鏡画像学習システムの構成〕
　図１は、内視鏡画像学習システム１０の構成の一例を示すブロック図である。内視鏡画像学習システム１０は、病院内に構築される院内ＬＡＮ（Local Area Network）２０、病院の内視鏡部門内に構築される内視鏡部門ローカルＬＡＮ３０、病院内又は病院外に構築されるＡＩ（Artificial Intelligence）学習ＬＡＮ５０等を有している。
　院内ＬＡＮ２０には、電子カルテシステム２２、及び病理システム２４が接続されている。
　電子カルテシステム２２は、病院内の全患者の検査情報を管理するシステムである。また、病理システム２４は、病理検体及び病理診断情報を管理するシステムである。電子カルテシステム２２及び病理システム２４は、１台のコンピュータで構成されていてもよいし、複数のコンピュータに分散された構成であってもよい。
　内視鏡部門ローカルＬＡＮ３０には、内視鏡管理レポート端末３２、ビデオキャプチャ端末３８、内視鏡管理サーバー４０、及び動画格納ＮＡＳ（Network Attached Storage）４６が接続されている。
　内視鏡管理レポート端末３２は、不図示の内視鏡装置によって行われた内視鏡検査に関する内視鏡レポート４２（後述）を医師が作成するための端末である。
　図２は、内視鏡管理レポート端末３２の構成の一例を示すブロック図である。内視鏡管理レポート端末３２は、入力デバイス３４、ディスプレイ３６、及び学習データ収集装置８０を備えている。
　入力デバイス３４（入力装置の一例）は、例えばマウス、又はキーボードが適用される。ディスプレイ３６（表示装置の一例）は、例えば液晶モニタが適用される。タッチパネル付きディスプレイを用いて、入力デバイス３４とディスプレイ３６とを兼ねてもよい。
　学習データ収集装置８０は、内視鏡画像から病変を識別するモデルの学習に使用する学習データを収集する。学習データ収集装置８０は、受付部８２、表示制御部８４、紐付部８６、及び記録制御部８８を備えている。
　受付部８２は、入力デバイス３４による操作を受け付ける。表示制御部８４は、内視鏡画像及び所見診断情報をディスプレイ３６に表示させる。紐付部８６は、受付部８２によって受け付けた後述する紐付操作に基づいて、内視鏡画像と所見診断情報とを紐付ける。記録制御部８８は、紐付部８６によって紐付けられた内視鏡画像と所見診断情報とを、内視鏡管理サーバー４０に記録させる。
　図１の説明に戻り、ビデオキャプチャ端末３８は、不図示の内視鏡装置のカメラが撮影した動画を取り込み、動画格納ＮＡＳ４６に送信する。また、ビデオキャプチャ端末３８は、不図示の内視鏡装置のカメラが撮影した静止画を取り込み、内視鏡管理サーバー４０に送信する。
　内視鏡管理サーバー４０は、内視鏡管理レポート端末３２を介して不図示の内視鏡装置を管理する。また、内視鏡管理サーバー４０は、内視鏡管理レポート端末３２によって作成された内視鏡レポート４２、及び内視鏡装置のカメラによって撮影された静止画である検査画像４４を記録する。
　動画格納ＮＡＳ４６は、内視鏡装置のカメラによって撮影された動画を記録する。
　ＡＩ学習ＬＡＮ５０には、ＡＩエンジン５２が接続されている。ＡＩエンジン５２は、入力された内視鏡画像に含まれる病変を識別し、識別した病変の情報を出力する。ＡＩエンジン５２は、例えばＧＰＵ（Graphics Processing Unit）により構成される。
　図３は、ＡＩエンジン５２の構成の一例を示すブロック図である。ＡＩエンジン５２は、入力部５４、特徴量抽出部５６、識別部５８、出力部６０、学習データ入力部６２、及び学習部６４を備えている。
　入力部５４には、内視鏡画像が入力される。内視鏡画像は、静止画に限定されず、動画でもよい。
　特徴量抽出部５６は、入力部５４に入力された内視鏡画像から特徴量を抽出する。識別部５８（識別器の一例）は、特徴量抽出部５６によって抽出された特徴量から、モデルを用いて内視鏡画像に含まれる病変を識別する。出力部６０は、識別部５８が識別した病変の情報を出力する。
　学習データ入力部６２は、モデルを学習させるための学習データが入力される。学習部６４は、識別部５８と同様のモデルを備えている。学習部６４は、学習データ入力部６２に入力された学習データによってモデルを学習させる。学習部６４によって学習された学習済みモデルは、識別部５８に入力される。これにより、識別部５８のモデルが学習済みモデルに更新される。
　特徴量抽出部５６及び識別部５８においてモデルを用いて内視鏡画像に含まれる病変を識別する構成とし、学習部６４は、特徴量抽出部５６及び識別部５８のモデルを学習して学習済みモデルに更新してもよい。
　再び図１の説明に戻り、電子カルテシステム２２と内視鏡管理サーバー４０とは、オーダーゲートウェイ７０を介して接続されている。オーダーゲートウェイ７０は、１台のコンピューターサーバーから構成される。オーダーゲートウェイ７０は、電子カルテシステム２２又は不図示のオーダーリングシステムから、検査情報及び患者情報を受信し、内視鏡管理サーバー４０に検査オーダー情報を送信する。内視鏡管理サーバー４０は、受信した検査オーダーを記録する。
　また、オーダーゲートウェイ７０は、内視鏡管理サーバー４０から内視鏡レポート４２及び検査実績情報を受信し、電子カルテシステム２２又は不図示の医事会計システムに送信する。
　病理システム２４と内視鏡管理サーバー４０とは、病理システムゲートウェイ７２を介して接続されている。病理システムゲートウェイ７２は、１台のコンピューターサーバーから構成される。病理システムゲートウェイ７２は、病理システム２４から病理診断結果を取得し、内視鏡管理サーバー４０に病理診断結果を送信する。内視鏡管理サーバー４０は、受信した病理診断結果を記録する。
　ＡＩエンジン５２と内視鏡管理サーバー４０とは、ＡＩ学習データ出力ゲートウェイ７４を介して接続されている。ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０から学習データを受信し、ＡＩエンジン５２に送信する。
　〔学習方法〕
　内視鏡画像学習システム１０は、内視鏡画像と所見診断情報とを学習データとして、内視鏡画像から病変を識別するモデルを学習させる。図４は、内視鏡画像学習システム１０を用いた学習方法の処理を示すフローチャートである。学習方法は、内視鏡検査実施工程（ステップＳ１０）、内視鏡レポート作成工程（ステップＳ２０）、ＡＩ学習画像紐付け工程（ステップＳ３０）、病理依頼工程（ステップＳ４０）、ＡＩ学習データ出力工程（ステップＳ５０）、及びＡＩ学習工程（ステップＳ６０）を有する。
　〔内視鏡検査実施工程の詳細〕
　内視鏡検査実施工程では、患者に対して内視鏡検査を実施する。図５は、内視鏡検査実施工程の詳細の処理を示すフローチャートである。内視鏡検査実施工程は、検査情報取得工程（ステップＳ１１）、動画撮影開始工程（ステップＳ１２）、病変部位静止画撮影工程（ステップＳ１３）、静止画サーバー転送工程（ステップＳ１４）、動画撮影終了工程（ステップＳ１５）、及び動画サーバー転送工程（ステップＳ１６）を有している。
　〈検査情報取得工程（ステップＳ１１）〉
　検査情報取得工程では、実施する内視鏡検査の検査情報を取得する。検査情報は、医師が内視鏡管理レポート端末３２の入力デバイス３４を用いて入力する。検査情報には、検査部位情報、検査日、患者の氏名、年齢、性別等の情報が含まれる。入力された検査情報は、内視鏡管理レポート端末３２から内視鏡管理サーバー４０に送信される。
　〈動画撮影開始工程（ステップＳ１２）〉
　動画撮影開始工程では、動画の内視鏡画像の撮影を開始する。医師は、不図示の内視鏡装置のカメラを操作し、動画を撮影する。撮影された動画は、不図示の内視鏡装置の表示装置にリアルタイムに表示される。また、撮影された動画は、ビデオキャプチャ端末３８に随時入力される。
　〈病変部位静止画撮影工程（ステップＳ１３）〉
　病変部位静止画撮影工程では、病変部位の静止画の内視鏡画像を撮影する。医師は、内視鏡装置の表示装置により撮影した動画を観察し、動画に病変部位が写った場合に不図示のカメラを操作し、静止画を撮影する。
　〈静止画サーバー転送工程（ステップＳ１４）〉
　静止画サーバー転送工程では、撮影した静止画を内視鏡管理サーバー４０に転送する。病変部位静止画撮影工程によって撮影された静止画は、不図示の内視鏡装置のカメラから、ビデオキャプチャ端末３８に送信される。ビデオキャプチャ端末３８は、受信した静止画を内視鏡管理サーバー４０に送信する。内視鏡管理サーバー４０は、受信した静止画を検査画像４４として記録する。内視鏡管理サーバー４０は、検査画像４４と共に、検査画像のサイズを縮小させたサムネイル画像を記録してもよい。
　〈動画撮影終了工程（ステップＳ１５）〉
　動画撮影終了工程では、動画の撮影を終了させる。医師は、内視鏡検査が終了すると、不図示の内視鏡装置のカメラによる動画の撮影を終了する。
　〈動画サーバー転送工程（ステップＳ１６）〉
　動画サーバー転送工程では、撮影した動画を動画格納ＮＡＳ４６に転送する。撮影された動画は、ビデオキャプチャ端末３８に随時転送され、動画サーバー転送工程においてビデオキャプチャ端末３８から動画格納ＮＡＳ４６に転送される。動画格納ＮＡＳ４６は、転送された動画を検査画像として記録する。
　以上により内視鏡検査実施工程が終了する。
　〔内視鏡レポート作成工程の詳細〕
　内視鏡レポート作成工程では、内視鏡検査実施工程において行った内視鏡検査に関する内視鏡レポート４２を作成する。内視鏡レポート４２は、医師により内視鏡管理レポート端末３２を用いて作成される。
　図６は、内視鏡レポート作成工程の詳細の処理を示すフローチャートである。内視鏡レポート作成工程は、キー画像選択工程（ステップＳ２１）、病変マーク工程（ステップＳ２２）、所見診断情報入力工程（ステップＳ２３）、及び終了判定工程（ステップＳ２４）を有している。
　〈キー画像選択工程（ステップＳ２１）〉
　キー画像選択工程では、医師が内視鏡レポート４２の作成に使用するキー画像を選択する。キー画像とは、例えば病変が明確に写った画像である。表示制御部８４は、内視鏡管理サーバー４０に記録された検査画像をディスプレイ３６に表示する。医師は、入力デバイス３４を用いて、表示された検査画像の中からキー画像を選択する。キー画像の数は限定されない。
　〈病変マーク工程（ステップＳ２２）〉
　病変マーク工程では、病変の位置を示す病変マークをキー画像に付加する。医師は、入力デバイス３４を用いて、ディスプレイ３６に表示されたキー画像に病変マークを付加する。
　〈所見診断情報入力工程（ステップＳ２３）〉
　所見診断情報入力工程では、所見情報及び診断情報からなる所見診断情報を入力する。医師は、入力デバイス３４を用いて、内視鏡検査及びキー画像に関する所見診断情報を入力する。
　〈終了判定工程（ステップＳ２４）〉
　終了判定工程では、選択したキー画像について全ての入力が終了したか否かを判定する。入力が終了していない場合は、ステップＳ２２に戻り、同様の処理を行う。全ての入力が終了した場合は、医師が入力デバイス３４を用いてその旨の入力を行うことで内視鏡レポート４２が完成し、内視鏡レポート作成工程が終了する。
　〔ＡＩ学習画像紐付け工程の詳細〕
　ＡＩ学習画像紐付け工程では、内視鏡画像と所見診断情報とを紐付けて、ＡＩエンジン５２の学習に使用する学習データを作成する（学習データ収集方法の一例）。ＡＩ学習画像紐付け工程は、内視鏡管理レポート端末３２を用いて行われる。
　図７は、ディスプレイ３６に表示された内視鏡レポート作成画面１００の一例を示す図である。前述した内視鏡レポート作成工程（ステップＳ２０）は、内視鏡レポート作成画面１００において行われる。
　内視鏡レポート作成画面１００には、症例収録ボタン１０２が表示されている。内視鏡レポート４２の作成後、医師は、入力デバイス３４のマウス等のポインティングデバイスを使用して症例収録ボタン１０２にポインタを合わせてクリックする。この操作により、ディスプレイ３６の表示は、ＡＩ学習画像紐付け画面１１０に移行する。この操作を、終了判定工程（ステップＳ２４）の終了の入力としてもよい。
　図８は、ディスプレイ３６に表示されたＡＩ学習画像紐付け画面１１０の一例を示す図である。ＡＩ学習画像紐付け工程は、ＡＩ学習画像紐付け画面１１０において行われる。図８に示すように、ＡＩ学習画像紐付け画面１１０は、画像表示エリア１１２及び所見診断情報表示エリア１１４を有している。
　表示制御部８４は、ディスプレイ３６にＡＩ学習画像紐付け画面１１０を表示させる。また、内視鏡管理サーバー４０から、内視鏡レポート作成工程において内視鏡レポート４２が作成された患者の検査画像４４を読み出し、画像表示エリア１１２に表示させる（表示制御工程の一例）。
　表示制御部８４は、いずれか１つがアクティブとなる複数のタブを画像表示エリア１１２に表示させる。図８に示す例では、タブ１１６－１、１１６－２、及び１１６－３を表示させている。
　表示制御部８４は、紐付け可能な全ての検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６－１に関連する領域に表示させる。検査画像が静止画であれば静止画のサムネイル画像を表示してもよいし、検査画像が動画であれば動画の先頭画像等の代表画像を表示してもよい。図８に示す例では、タブ１１６－１がアクティブとなっており、紐付け可能な検査画像が画像表示エリア１１２に表示されている。タブ１１６－１には、タブの種類を識別するために「ＡＬＬ」の文字が表示されている。
　なお、画像表示エリア１１２における表示画像の大きさは適宜選択可能となっている。図８に示す例では、画像表示エリア１１２に２つの検査画像１１８－１及び１１８－２が表示されているが、表示画像の大きさを相対的に小さく設定することで、表示画像の数量を相対的に多くすることができる。
　また、表示制御部８４は、内視鏡管理サーバー４０から内視鏡レポート作成工程において内視鏡レポート４２が作成された患者の所見診断情報を読み出し、所見診断情報表示エリア１１４に表示させる（表示制御工程の一例）。図８に示す例では、２つの所見診断情報１２０－１及び１２０－２が表示されている。所見診断情報１２０－１及び１２０－２には、それぞれ所見診断情報に対応する識別情報１２２－１である番号「１」、及び識別情報１２２－２に対応する番号「２」が付されている。
　画像表示エリア１１２に表示されたタブ１１６－２及び１１６－３は、それぞれ所見診断情報１２０－１及び１２０－２に関連したタブである。タブ１１６－２及び１１６－３には、タブの種類を識別するために識別情報１２２－１の番号「１」及び識別情報１２２－２の番号「２」が表示されている。
　図９は、ＡＩ学習画像紐付け工程の詳細の処理を示すフローチャートである。ＡＩ学習画像紐付け工程は、ＡＩ学習画像選択工程（ステップＳ３１）、紐付工程（ステップＳ３２）、全画像判定工程（ステップＳ３３）、及び全所見診断情報判定工程（ステップＳ３４）を有している。
　〈ＡＩ学習画像選択工程（ステップＳ３１）〉
　ＡＩ学習画像選択工程では、ＡＩ学習に使用する検査画像と、その検査画像に関する所見診断情報とを選択する。
　医師は、ＡＩ学習画像紐付け画面１１０の画像表示エリア１１２に表示された検査画像のうちの少なくとも１つの検査画像を選択する。また、所見診断情報表示エリア１１４に表示された所見診断情報のうち、選択した検査画像と紐付ける所見診断情報を選択する（受付工程の一例）。そして、入力デバイス３４を用いて、選択した検査画像を選択した所見診断情報の位置にドラッグアンドドロップ操作する。
　ドラッグ操作とは、マウスを使用した場合であれば、選択した検査画像の位置にマウスポインタの位置を合わせた状態でマウスの左ボタンをクリック操作し、クリック操作を維持した状態でマウスポインタを移動させる操作である。ドラッグ操作中は、マウスポインタの移動に伴って選択された検査画像が複写されて移動する。また、ドロップ操作とは、ドラッグ操作したマウスポインタ又は複写された検査画像の位置を、選択した所見診断情報の位置に合わせた状態で、マウスの左ボタンを解除する操作である。
　図１０は、ＡＩ学習画像紐付け画面１１０において、選択した検査画像１１８－１を、選択した所見診断情報１２０－１に向けてドラッグ操作している状態の一例を示す図である。ドラッグ操作中は、選択した検査画像１１８－１の複写画像１２６がマウスポインタ１２４と共に移動する。
　〈紐付工程（ステップＳ３２）〉
　紐付工程では、選択された検査画像と所見診断情報とを紐付ける。ここでは、紐付部８６は、ＡＩ学習画像選択工程においてドラッグアンドドロップされた検査画像と所見診断情報とを紐付ける。図１０に示した例では、検査画像１１８－１と所見診断情報１２０－１とが紐付けされる。
　このように、検査画像を所見診断情報にドラッグアンドドロップすることで、検査画像と所見診断情報との紐付けを容易に行うことができる。
　図１１は、検査画像１１８－１と所見診断情報１２０－１とが紐付けされた後のＡＩ学習画像紐付け画面１１０の一例を示す図である。表示制御部８４は、検査画像１１８－１に紐付けられた所見診断情報１２０－１を示す識別情報１２２－１の番号「１」を、付属表示１２８－１として検査画像１１８－１に付属して表示する。これにより、医師は、検査画像１１８－１が所見診断情報１２０－１に紐付けられたことを確認することができる。
　図１２は、さらに検査画像１１８－２と所見診断情報１２０－１との紐付け、及び検査画像１１８－２と所見診断情報１２０－２との紐付けを行った後のＡＩ学習画像紐付け画面１１０の一例を示す図である。
　検査画像１１８－２には、識別情報１２２－１の番号「１」を示す付属表示１２８－２、及び識別情報１２２－１の番号「２」を示す付属表示１２８－３が付属して表示されている。これにより、医師は、検査画像１１８－２が所見診断情報１２０－１及び１２０－２に紐付けられたことを確認することができる。
　このように、紐付け後の画像に所見診断情報の識別情報を示す付属表示を表示することで、どの所見診断情報に画像を紐付けたのかを識別することが可能となる。また、１つの検査画像を複数の所見診断情報に紐付けた場合に、それぞれの所見診断情報の識別情報が表示されるため、紐付けた全ての所見診断情報を識別することが可能となる。
　図９～図１２に示したＡＩ学習画像紐付け画面１１０は、タブ１１６－１がアクティブにされていたが、医師は入力デバイス３４によりタブ１１６－２又は１１６－３のタブをアクティブにすることができる。
　図１３は、図１２に示すＡＩ学習画像紐付け画面１１０において、医師が入力デバイス３４を用いてタブ１１６－２を選択することで、タブ１１６－２がアクティブにされた場合のＡＩ学習画像紐付け画面１１０の一例を示す図である。タブ１１６－２は、所見診断情報１２０－１に関連したタブである。表示制御部８４は、所見診断情報１２０－１に紐付けられた検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６－２に関連する領域に表示させる。したがって、タブ１１６－２が選択されると、表示制御部８４は、所見診断情報１２０－１に紐付けられた検査画像を画像表示エリア１１２に表示させる。図１３に示す例では、所見診断情報１２０－１に紐付けられた検査画像１１８－１及び１１８－２が表示されている。
　また、図１４は、図１２に示すＡＩ学習画像紐付け画面１１０において、医師が入力デバイス３４を用いてタブ１１６－３を選択することで、タブ１１６－３がアクティブにされた場合のＡＩ学習画像紐付け画面１１０の一例を示す図である。タブ１１６－３は所見診断情報１２０－２に関連したタブである。表示制御部８４は、所見診断情報１２０－２に紐付けられた検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６－３に関連する領域に表示させる。したがって、タブ１１６－３が選択されると、表示制御部８４は所見診断情報１２０－２に紐付けられた検査画像を画像表示エリア１１２に表示させる。図１４に示す例では、所見診断情報１２０－２に紐付けられた検査画像１１８－２が表示されている。
　このように、表示制御部８４は、所見診断情報に紐付けられた検査画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に検査画像を切り替え表示させる。したがって、画像表示エリア１１２に表示された複数のタブのうち所望のタブを選択することで、選択したタブに関連する所見診断情報に紐付けされた検査画像のみを表示させることができる。これにより、所見診断情報に紐付けられた画像の抜け漏れを確認することができる。医師は、所見診断情報毎に必要な画像が揃っていることを確認し、過不足があれば再度選択操作を行う。
　ここでは１つの検査画像毎にドラッグアンドドロップ操作する例を説明したが、複数の検査画像を選択画像としてドラッグアンドドロップ操作してもよい。図１５は、ＡＩ学習画像紐付け画面１１０において、画像表示エリア１１２に表示された検査画像１１８－３～１１８－１０のうち、検査画像１１８－３、１１８－７、１１８－８、及び１１８－９を選択した状態の一例を示す図である。ここでは、検査画像１１８－３、１１８－７、１１８－８、及び１１８－９が選択済みであることが認識できるように、外枠を太線で囲み、チェックボックスにチェックを入れている。
　この状態から検査画像１１８－３、１１８－７、１１８－８、及び１１８－９をまとめてドラッグアンドドロップ操作することで、一度の操作で検査画像１１８－３、１１８－７、１１８－８、及び１１８－９を所望の所見診断情報に紐付けることができる。
　また、複数の検査画像を選択した場合に、選択した検査画像を重ねて表示してもよい。図１６は、ＡＩ学習画像紐付け画面１１０において、選択された検査画像１１８－３、１１８－７、１１８－８、及び１１８－９が重ねて表示されている一例を示す図である。このように選択済み画像を重ねて表示することで、表示画像数を削減することができ、医師が検査画像を選択しやすい表示とすることができる。
　図１５に示す場合と同様に、重ねて表示されている状態から検査画像１１８－３、１１８－７、１１８－８、及び１１８－９をまとめてドラッグアンドドロップ操作することで、一度の操作で検査画像１１８－３、１１８－７、１１８－８、及び１１８－９を所望の所見診断情報に紐付けることができる。
　ここでは、検査画像を所見診断情報にドラッグアンドドロップ操作する場合について説明したが、所見診断情報を検査画像にドラッグアンドドロップ操作してもよい。
　また、紐付操作は、ドラッグアンドドロップ操作に限定されない。図１７は、ＡＩ学習画像紐付け画面１１０において、検査画像を選択後にマウスの右ボタンのクリック操作が行われた状態の一例を示す図である。ここでは、検査画像１１８－３、１１８－７、１１８－８、及び１１８－９が選択されており、その後のクリック操作により右クリックメニュー１３０が表示されている。
　右クリックメニュー１３０には、選択した検査画像を所見診断情報１２０－１と紐付けるための「１に紐付け」の選択項目、及び選択した検査画像を所見診断情報１２０－２と紐付けるための「２に紐付け」の選択項目が含まれている。
　医師は、右クリックメニュー１３０の「１に紐付け」又は「２に紐付け」の選択項目の位置にマウスポインタを合わせてマウスの左ボタンをクリック操作することで、検査画像１１８－３、１１８－７、１１８－８、及び１１８－９を所見診断情報１２０－１又は１２０－２と紐付けることができる。
　〈全画像判定工程（ステップＳ３３）〉
　全画像判定工程では、全ての検査画像について所見診断情報を紐付けたか否かを判定する。ここでは、タブ１１６－１に関連する領域に表示された全ての検査画像について判定する。所見診断情報を紐付けていない検査画像が存在する場合は、ステップＳ３１に戻り、同様の処理を行う。全ての検査画像について所見診断情報を紐付けた場合は、ステップＳ３４に移行する。
　〈全所見診断情報判定工程（ステップＳ３４）〉
　全所見診断情報判定工程では、全ての所見診断情報について検査画像を紐付けたか否かを判定する。ここでは、所見診断情報表示エリア１１４に表示された全ての所見診断情報について判定する。検査画像を紐付けていない所見診断情報が存在する場合は、ステップＳ３１に戻り、同様の処理を行う。
　全ての所見診断情報について検査画像を紐付けた場合は、記録制御部８８は、紐付けられた検査画像と所見診断情報とを学習データとして内視鏡管理サーバー４０（記録装置の一例）に記録させ（記録制御工程の一例）、本フローチャートの処理を終了してＡＩ学習画像紐付け工程を終了する。
　なお、内視鏡画像と所見診断情報とを紐付けた際に、内視鏡管理サーバー４０に順次記録させてもよい。また、全ての検査画像について所見診断情報を紐付けていない場合、又は全ての所見診断情報について検査画像を紐付けていない場合であっても、ＡＩ学習画像紐付け工程を終了させるようにしてもよい。
　〔病理依頼工程の詳細〕
　病理依頼工程では、内視鏡検査において採取した病理検体について行うべき病理診断について、依頼書の作成及び病理診断結果の取得を行う。図１８は、病理依頼工程の詳細の処理を示すフローチャートである。病理依頼工程は、生検有無判定工程（ステップＳ４１）、病理依頼作成工程（ステップＳ４２）、病理依頼送信工程（ステップＳ４３）、病理依頼診断工程（ステップＳ４４）、及び全病理依頼終了判定工程（ステップＳ４５）を有している。
　〈生検有無判定工程（ステップＳ４１）〉
　生検有無判定工程では、医師が病理診断すべき検体が存在するか否かを判定する。病理診断すべき検体が存在しない場合は、本フローチャートの処理を終了し、病理依頼工程を終了する。病理診断すべき検体が存在する場合は、ステップＳ４２に移行する。
　〈病理依頼作成工程（ステップＳ４２）〉
　病理依頼作成工程では、医師は、内視鏡管理レポート端末３２において、内視鏡検査において取得した病理検体について、内視鏡的所見と病理検体を識別する情報を元に病理依頼を作成する。
　〈病理依頼送信工程（ステップＳ４３）〉
　病理依頼送信工程では、病理依頼作成工程において作成された病理依頼を、オーダーゲートウェイ７０を経由して電子カルテシステム２２に送信する。電子カルテシステム２２は、受信した病理依頼をオーダーとして管理し、病理システム２４に病理診断を依頼する。
　〈病理診断受信工程（ステップＳ４４）〉
　病理診断受信工程では、病理システムゲートウェイ７２が病理依頼済み、かつ病理診断結果未受信の検査に対して、病理システム２４から病理診断結果を受信し、内視鏡管理サーバー４０に送信する。内視鏡管理サーバー４０は、受信した病理診断結果を、紐付けられた検査画像及び所見診断情報にさらに紐付けて格納する。
　〈全病理依頼終了判定工程（ステップＳ４５）〉
　全病理依頼終了判定工程では、取得した全ての病理検体について病理依頼を行ったか否かを判定する。病理依頼を行っていない病理検体がある場合は、ステップＳ４２に戻り、同様の処理を繰り返す。全ての病理検体について病理依頼を行った場合は、本フローチャートの処理を終了し、病理依頼工程を終了する。
　〔ＡＩ学習データ出力工程の詳細〕
　ＡＩ学習データ出力工程では、ＡＩ学習画像紐付け工程において紐付けられた検査画像及び所見診断情報を、学習データとして出力する。図１９は、ＡＩ学習データ出力工程の詳細の処理を示すフローチャートである。ＡＩ学習データ出力工程は、学習データ検索工程（ステップＳ５１）、静止画及び動画検索工程（ステップＳ５２）、静止画及び動画データ出力工程（ステップＳ５３）を有している。
　〈学習データ検索工程（ステップＳ５１）〉
　学習データ検索工程では、ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０に記録された学習データの中から、学習部６４において学習を行っていない未学習データを検索する。例えば、前回ＡＩエンジン５２に学習データを送信した時点での内視鏡管理サーバー４０に記録された学習データと現在の内視鏡管理サーバー４０に記録された学習データとの差分を抽出することで、学習部６４において学習を行っていない学習データを検索する。
　〈静止画及び動画検索工程（ステップＳ５２）〉
　静止画及び動画検索工程では、ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０に記録された静止画及び動画格納ＮＡＳ４６の中から、学習データ検索工程において検索された未学習データの静止画及び動画を検索する。
　〈静止画及び動画データ出力工程（ステップＳ５３）〉
　静止画及び動画データ出力工程では、ＡＩ学習データ出力ゲートウェイ７４は、静止画及び動画検索工程において検索された静止画データ及び動画データと、その静止画及び動画に紐付けられた所見診断情報とを、ＡＩエンジン５２に送信する。病理診断結果が紐付けられている場合は、ＡＩ学習データ出力ゲートウェイ７４は、その病理診断結果を併せてＡＩエンジン５２に送信する。送信された静止画データ等は、学習データ入力部６２から学習部６４に入力される。
　〔ＡＩ学習工程（ステップＳ６０）〕
　ＡＩ学習工程では、学習部６４は、学習データ入力部６２に入力された学習データによってモデルを学習させる。学習部６４によって学習された学習済みモデルは、識別部５８に入力され、識別部５８のモデルが学習済みモデルに更新される。
　以上のように、本実施形態によれば、モデルを適切に学習させることができる。
　＜第２の実施形態＞
　〔病変位置情報の入力〕
　第２の実施形態では、学習データとして検査画像の病変位置情報をさらに含める。病変位置情報は、医師が内視鏡管理レポート端末３２を用いて入力する。本実施形態では、病変位置をバウンディングボックスで記録する。バウンディングボックスとは、病変を含む矩形領域であり、ここでは少なくとも２つの座標位置により特定される。
　図２０は、第２の実施形態に係る内視鏡管理レポート端末３２の構成の一例を示すブロック図である。なお、図６に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡管理レポート端末３２の受付部８２は、座標受信部８３を備えている。座標受信部８３は、入力デバイス３４から入力されたバウンディングボックスの少なくとも２つの座標位置を受信して受け付ける。
　図２１は、病変位置情報入力方法の処理を示すフローチャートである。ここでは、１回の内視鏡検査によって撮影された複数の検査画像について、順に病変位置情報を入力する方法について説明する。病変位置情報入力方法は、検査画像表示工程（ステップＳ７１）、矩形領域入力工程（ステップＳ７２）、病変位置情報紐付工程（ステップＳ７３）、及び終了判定工程（ステップＳ７４）を有している。
　〈検査画像表示工程（ステップＳ７１）〉
　検査画像表示工程では、表示制御部８４は、内視鏡管理サーバー４０に記録された検査画像のうち該当する内視鏡検査の検査画像の１つをディスプレイ３６に表示する。
　図２２は、ディスプレイ３６に表示された病変位置情報入力画面１４０の一例を示す図である。病変位置情報入力は、病変位置情報入力画面１４０において行われる。図２２に示す病変位置情報入力画面１４０には、検査画像１４２－１が表示されている。また、検査画像１４２－１には、病変Ｌが含まれている。
　〈矩形領域入力工程（ステップＳ７２）〉
　矩形領域入力工程では、ディスプレイ３６に表示された検査画像に対して、医師が病変位置を含む矩形領域を入力する。矩形領域の入力は、矩形領域の左上の１点目を指定し、さらに矩形領域の１点目の対角となる右下の２点目を指定することで行う。１点目及び２点目の指定は、例えば入力デバイス３４のマウスの操作、又はタッチパネルによる指の操作等によって行う。
　図２２～図２５は、病変位置情報入力画面１４０において、マウスの操作によって矩形領域を入力する一例を示す図である。検査画像１４２－１の病変Ｌを含む最小面積の矩形領域は、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２であるとする。ここでは、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２である矩形領域を入力する場合について説明する。
　表示制御部８４は、病変位置情報入力画面１４０に、マウスポインタ１４４、ガイドライン１４６、及びガイドライン１４８を表示させる。即ち、図２２に示すように、病変位置情報入力画面１４０には、マウスポインタ１４４が表示される。また、病変位置情報入力画面１４０には、マウスポインタ１４４の垂直方向位置及び水平方向位置を見やすく示すための垂直方向のガイドライン１４６、及び水平方向のガイドライン１４８が表示される。ガイドライン１４６及び１４８の交点がマウスポインタ１４４の位置である。
　医師が矩形領域を入力するには、最初に、図２２に示すように、マウスポインタ１４４を位置Ｐ１に移動させる。続いて、マウスポインタ１４４を位置Ｐ１に合わせた状態でマウスの左ボタンを押すクリック操作を行い、クリック操作を維持した状態でマウスポインタ１４４を位置Ｐ２に向けて移動させるドラッグ操作を行う。図２３は、位置Ｐ１から位置Ｐ２に到達するまでのドラッグ操作中の状態を示す図である。図２３に示すように、ドラッグ操作中は、ドラッグ開始位置（ここでは位置Ｐ１）と現在のマウスポインタ１４４の位置とを対角とする矩形１５０が表示される。
　さらにドラッグ操作を継続し、図２４に示すようにマウスポインタ１４４を位置Ｐ２へ移動させたら、マウスポインタ１４４が位置Ｐ２に合わせた状態でマウスのクリック操作を解除する。
　この操作により、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２である矩形１５０がバウンディングボックス１５２として確定する。受付部８２の座標受信部８３は、バウンディングボックス１５２の左上の位置Ｐ１のディスプレイ３６内の座標（Ｘ１，Ｙ１）、及び右下の位置Ｐ２のディスプレイ３６内の座標（Ｘ２，Ｙ２）を受信する。
　なお、ここでは、病変Ｌを含む最小面積の矩形領域を入力したが、矩形領域が病変Ｌを含んでいれば最小面積の矩形領域でなくてもよい。
　タッチパネルを用いて矩形領域を入力する場合は、例えば、矩形領域の１点目とする位置に指で触れ、タッチパネルに指を触れたまま、矩形領域の２点目とする位置まで指を移動させ、タッチパネルから離せばよい。また、２本の指を用いて１点目及び２点目を同時に指定してもよい。
　〈病変位置情報紐付工程（ステップＳ７３）〉
　病変位置情報紐付工程では、紐付部８６は、矩形領域入力工程において入力された矩形領域から病変位置情報を算出し、算出した病変位置情報を検査画像に紐付ける。
　紐付部８６は、表示制御部８４がディスプレイ３６に表示させた検査画像１４２－１のディスプレイ３６内の座標を取得する。この検査画像１４２－１のディスプレイ３６内の座標とバウンディングボックス１５２のディスプレイ３６内の座標とから、検査画像１４２－１内におけるバウンディングボックス１５２の座標を病変位置情報として算出する。
　記録制御部８８は、算出した病変位置情報を検査画像に紐付けて内視鏡管理サーバー４０に記録させる。
　〈終了判定工程（ステップＳ７４）〉
　終了判定工程では、全ての検査画像について病変位置情報を紐付けたか否かを判定する。病変位置情報を紐付けていない検査画像が存在する場合は、ステップＳ７１へ戻り、同様の処理を繰り返す。即ち、図２５に示すように、表示制御部８４は、検査画像１４２－１の次の検査画像である検査画像１４２－２をディスプレイ３６に表示する。
　矩形領域入力工程においてドラッグ操作を終了し、検査画像１４２－１の矩形領域の入力が終了すると、ただちに検査画像１４２－２が表示される。このように、ドラッグ操作終了以外の操作を待たずに次の検査画像を表示させることで、矩形領域の入力を迅速に行うことができる。なお、ドラッグ操作終了後に次の検査画像を表示させるためのボタン等をクリックすることで、次の検査画像を表示させてもよい。このように次の検査画像を表示させることで、１つの画像について複数の矩形領域を入力させることができる。
　全ての検査画像について病変位置情報を紐付けた場合は、本フローチャートの処理を終了する。
　本実施形態に係る病変位置情報の入力は、例えば、第１実施形態のＡＩ学習画像選択工程（ステップＳ３１）の前に行うことができる。また、紐付工程（ステップＳ３２）の後に、所見診断情報が紐付けられた検査画像に対してのみ行うことが考えられる。病変マーク工程（ステップＳ２２）において、同様の処理を行ってもよい。
　また、学習データ検索工程（ステップＳ５１）において、病変位置情報が付加されている条件で検索を行うようにすることも考えられる。また、検索条件として病変位置情報の面積を使用することも考えられる。
　本実施形態では、矩形領域の１点目を左上、２点目を右下として指定したが、対角となる２点を指定できればよく、指定する位置と順序は限定されない。また、矩形領域の角は丸まっていてもよい。病変位置情報は円形領域であってもよい。
　図２６は、円形領域を入力する一例について示す図である。マウスポインタ１４４を病変Ｌの中心位置である位置Ｐ３に合わせた状態でマウスの左ボタンを押してドラッグ操作を行うと、位置Ｐ３を中心とする円形領域１５４が広がる。この円形領域１５４が病変Ｌを含む位置においてドラッグ操作を解除することで、円形領域を入力することができる。
　紐付部８６は、ディスプレイ３６における円形領域１５４の中心座標と中心座標からの距離（円形領域の半径）を検査画像１４２－１内における中心座標及び中心座標からの距離に変換し、病変位置情報として取得する。
　また、３つの点を指定することで楕円領域を入力してもよい。この場合、１点目に中心座標、２点目に水平方向の中心座標からの距離、３点目に垂直方向の中心座標からの距離を指定する等が考えられる。
　さらに、検査画像表示工程において新たな検査画像を表示する際に、１つ前の検査画像の矩形領域入力で用いたバウンディングボックスを表示させてもよい。図２７に示す例では、２つ目の検査画像１４２－２の矩形領域入力の際に、１つ目の検査画像１４２－１のバウンディングボックス１５６を表示している。また、図２８に示す例では、２つ目の検査画像１４２－２の円形領域入力の際に、１つ目の検査画像１４２－１の円形領域１５８を表示している。
　同じ病変の場合は同様の位置及び同様の大きさで写ることが多いため、以前に指定した位置を目安として表示することで、病変位置の指定が容易になる。
　＜第３の実施形態＞
　第１の実施形態において生成された学習済みモデルを用いて医療画像を解析する医療画像処理装置を備えた内視鏡装置について説明する。
　図２９は、内視鏡装置９０の構成の一例を示すブロック図である。内視鏡装置９０は、例えば内視鏡部門ローカルＬＡＮ３０（図１参照）に接続される。内視鏡装置９０は、内視鏡９１、医療画像処理装置９４、及び表示装置９８を備えている。
　内視鏡９１は、光源９２及びカメラ９３を備えている。光源９２は、患者の体腔内の被観察領域に照射光を照射する。カメラ９３は、被観察領域からの反射光を受光して被観察領域の内視鏡画像を撮影する。
　医療画像処理装置９４（内視鏡画像処理装置の一例）は、医療画像取得部９５、医療画像解析処理部９６、及び医療画像解析結果取得部９７を備えている。
　医療画像取得部９５は、医療画像を取得する。本実施形態では、内視鏡９１によって撮影された内視鏡画像を取得する。
　医療画像解析処理部９６は、医療画像取得部９５によって取得された医療画像を解析する。本実施形態では、第１の実施形態において生成された学習済みモデルを用いて内視鏡画像から病変を識別する。
　医療画像解析結果取得部９７は、医療画像解析処理部９６における解析結果を取得する。
　表示装置９８は、例えば液晶モニタが適用される。表示装置９８には、内視鏡９１により撮影された内視鏡画像、及び医療画像解析結果取得部９７において取得された解析結果が表示される。本実施形態では、識別した病変の領域を着色して内視鏡画像に重畳表示させる。病変の領域を枠で囲んで重畳表示させてもよい。
　このように構成された内視鏡装置９０によれば、撮影中の内視鏡画像から学習済みモデルによって病変を識別し、内視鏡検査を行う医師に病変を認識させることができる。
　ここでは、医療画像処理装置９４を内視鏡装置９０に設けた場合について説明したが、内視鏡管理レポート端末３２、又はビデオキャプチャ端末３８に設けてもよい。
　＜付記＞
　上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
　〔付記１〕
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　〔付記２〕
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　〔付記３〕
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　〔付記４〕
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　〔付記５〕
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　〔付記６〕
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　〔付記７〕
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　〔付記８〕
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　〔付記９〕
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　〔付記１０〕
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　〔付記１１〕
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　〔付記１２〕
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　〔付記１３〕
　蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　〔付記１４〕
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　〔付記１５〕
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　〔付記１６〕
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。
　〔付記１７〕
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Red Green Blue）あるいはＣＭＹ（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
　〔付記１８〕
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。
　〔付記１９〕
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。
　〔付記２０〕
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　〔付記２１〕
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　＜その他＞
　上記の画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、例えば、学習データ収集装置８０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバー及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…内視鏡画像学習システム
２０…院内ＬＡＮ
２２…電子カルテシステム
２４…病理システム
３０…内視鏡部門ローカルＬＡＮ
３２…内視鏡管理レポート端末
３４…入力デバイス
３６…ディスプレイ
３８…ビデオキャプチャ端末
４０…内視鏡管理サーバー
４２…内視鏡レポート
４４…検査画像
４６…動画格納ＮＡＳ
５０…ＡＩ学習ＬＡＮ
５２…ＡＩエンジン
５４…入力部
５６…特徴量抽出部
５８…識別部
６０…出力部
６２…学習データ入力部
６４…学習部
７０…オーダーゲートウェイ
７２…病理システムゲートウェイ
７４…ＡＩ学習データ出力ゲートウェイ
８０…学習データ収集装置
８２…受付部
８３…座標受信部
８４…表示制御部
８６…紐付部
８８…記録制御部
９０…内視鏡装置
９１…内視鏡
９２…光源
９３…カメラ
９４…医療画像処理装置
９５…医療画像取得部
９６…医療画像解析処理部
９７…医療画像解析結果取得部
１００…内視鏡レポート作成画面
１０２…症例収録ボタン
１１０…ＡＩ学習画像紐付け画面
１１２…画像表示エリア
１１４…所見診断情報表示エリア
１１６－１～１１６－３…タブ
１１８－１～１１８－１０…検査画像
１２０－１，１２０－２…所見診断情報
１２２－１，１２２－２…識別情報
１２４，１４４…マウスポインタ
１２６…複写画像
１２８－１～１２８－３…付属表示
１３０…右クリックメニュー
１４０…病変位置情報入力画面
１４２－１，１４２－２…検査画像
１４６，１４８…ガイドライン
１５０…矩形
１５２，１５６…バウンディングボックス
１５４，１５８…円形領域
Ｓ１０～Ｓ６０…学習方法の各工程
Ｓ７１～Ｓ７４…病変位置情報入力方法の各工程

Claims (17)

  1. 　内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を前記表示装置の所見診断情報表示エリアに表示させる表示制御部と、
    　入力装置による操作であって、前記画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、前記所見診断情報表示エリアに表示された所見診断情報のうち前記少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、
    　前記選択された内視鏡画像と前記選択された所見診断情報とを紐付ける紐付部と、
    　前記紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、
    　を備え、
    　前記表示制御部は、前記紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いて前記グループ毎に内視鏡画像を切り替え表示させる学習データ収集装置。
  2. 　前記受付部は、前記入力装置によって１つのタブを選択する操作を受け付け、
    　前記表示制御部は、前記選択されたタブのグループに分類された内視鏡画像を前記画像表示エリアに表示させる請求項１に記載の学習データ収集装置。
  3. 　前記表示制御部は、選択可能な全ての内視鏡画像を１つのグループとして分類する請求項１又は２に記載の学習データ収集装置。
  4. 　前記受付部は、前記画像表示エリアに表示された内視鏡画像のうちの少なくとも１つの内視鏡画像を前記所見診断情報表示エリアに表示された所見診断情報にドラッグアンドドロップする操作を受け付け、
    　前記紐付部は、前記ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付ける請求項１から３のいずれか１項に記載の学習データ収集装置。
  5. 　前記受付部は、前記所見診断情報表示エリアに表示された所見診断情報のうちの少なくとも１つの所見診断情報を前記画像表示エリアに表示された内視鏡画像にドラッグアンドドロップする操作を受け付け、
    　前記紐付部は、前記ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付ける請求項１から４のいずれか１項に記載の学習データ収集装置。
  6. 　前記表示制御部は、内視鏡画像に付属させて前記紐付けられた所見診断情報を示す識別情報を前記画像表示エリアに表示させる請求項１から５のいずれか１項に記載の学習データ収集装置。
  7. 　前記表示制御部は、前記識別情報を前記タブに表示させる請求項６に記載の学習データ収集装置。
  8. 　前記識別情報は、所見診断情報に対応する番号である請求項６又は７に記載の学習データ収集装置。
  9. 　前記表示制御部は、所見診断情報に付属させて前記識別情報を前記所見診断情報表示エリアに表示させる請求項６から８のいずれか１項に記載の学習データ収集装置。
  10. 　前記表示制御部は、前記選択された画像を重ねて表示する請求項１から９のいずれか１項に記載の学習データ収集装置。
  11. 　前記受付部は、前記内視鏡画像に写った病変の位置情報を指定する操作を受け付け、
    　前記記録制御部は、前記指定された位置情報を前記学習データとして前記記録装置に記録させる請求項１から１０のいずれか１項に記載の学習データ収集装置。
  12. 　表示装置と、
    　入力装置と、
    　記録装置と、
    　請求項１から１１のいずれか１項に記載の学習データ収集装置と、
    　モデルを用いて内視鏡画像から病変を識別する識別器と、
    　を備え、
    　前記学習データを用いて前記モデルを学習させる学習システム。
  13. 　請求項１２に記載の学習システムによって学習された学習済みモデル。
  14. 　請求項１３に記載の学習済みモデルを用いて内視鏡画像を解析する内視鏡画像処理装置。
  15. 　内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を前記表示装置の所見診断情報表示エリアに表示させる表示制御工程と、
    　入力装置による操作であって、前記画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、前記所見診断情報表示エリアに表示された所見診断情報のうち前記少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、
    　前記選択された内視鏡画像と前記選択された所見診断情報とを紐付ける紐付工程と、
    　前記紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、
    　を備え、
    　前記表示制御工程は、前記紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いて前記グループ毎に内視鏡画像を切り替え表示させる学習データ収集方法。
  16. 　請求項１５に記載の学習データ収集方法をコンピュータに実行させるためのプログラム。
  17. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１６に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/018231 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 Ceased WO2019230302A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020521812A JP7042907B2 (ja) 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
CN201980034313.XA CN112189236B (zh) 2018-05-28 2019-05-07 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习系统、学习完毕模型、以及内窥镜图像处理装置
EP19811403.5A EP3806101A4 (en) 2018-05-28 2019-05-07 TRAINING DATA COLLECTION DEVICE, TRAINING DATA COLLECTION METHOD AND PROGRAM, TRAINING SYSTEM, TRAINED MODEL AND ENDOSCOPE IMAGE PROCESSING DEVICE
US17/089,685 US11776692B2 (en) 2018-05-28 2020-11-04 Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-101498 2018-05-28
JP2018101498 2018-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/089,685 Continuation US11776692B2 (en) 2018-05-28 2020-11-04 Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus

Publications (1)

Publication Number Publication Date
WO2019230302A1 true WO2019230302A1 (ja) 2019-12-05

Family

ID=68696941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018231 Ceased WO2019230302A1 (ja) 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置

Country Status (5)

Country Link
US (1) US11776692B2 (ja)
EP (1) EP3806101A4 (ja)
JP (1) JP7042907B2 (ja)
CN (1) CN112189236B (ja)
WO (1) WO2019230302A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089711A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 モデルの生成方法およびプログラム
JP2021111283A (ja) * 2020-01-15 2021-08-02 キヤノンメディカルシステムズ株式会社 医用情報処理装置、学習用データ生成プログラムおよび学習用データ生成方法
JPWO2022044642A1 (ja) * 2020-08-28 2022-03-03
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
EP4088642A4 (en) * 2020-02-18 2023-06-07 Sony Olympus Medical Solutions Inc. LEARNING DEVICE AND MEDICAL IMAGE PROCESSING DEVICE
US12469131B2 (en) 2021-11-19 2025-11-11 Fujifilm Corporation Medical image processing device and method of operating the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4116992A4 (en) * 2020-03-06 2024-04-10 Lunit Inc. METHOD AND SYSTEM FOR PREDICTING THE EXPRESSION OF A BIOMARKER FROM A MEDICAL IMAGE
JP7642498B2 (ja) * 2021-09-08 2025-03-10 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
KR102672710B1 (ko) * 2023-07-06 2024-06-05 주식회사 서르 내시경 영상 합성 장치 및 합성 방법
CN117115241B (zh) * 2023-09-06 2024-03-29 北京透彻未来科技有限公司 一种追寻数字病理图像在缩放过程中中心焦点的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2017068838A (ja) 2015-09-29 2017-04-06 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746360B2 (ja) 2016-04-13 2020-08-26 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2017068838A (ja) 2015-09-29 2017-04-06 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7015275B2 (ja) 2018-12-04 2022-02-02 Hoya株式会社 モデルの生成方法、教師データの生成方法、および、プログラム
JP2020089711A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 モデルの生成方法およびプログラム
JP2021111283A (ja) * 2020-01-15 2021-08-02 キヤノンメディカルシステムズ株式会社 医用情報処理装置、学習用データ生成プログラムおよび学習用データ生成方法
JP7462424B2 (ja) 2020-01-15 2024-04-05 キヤノンメディカルシステムズ株式会社 医用情報処理装置、学習用データ生成プログラムおよび学習用データ生成方法
EP4088642A4 (en) * 2020-02-18 2023-06-07 Sony Olympus Medical Solutions Inc. LEARNING DEVICE AND MEDICAL IMAGE PROCESSING DEVICE
US12213643B2 (en) 2020-02-18 2025-02-04 Sony Olympus Medical Solutions Inc. Learning device and medical image processing device
JP7600247B2 (ja) 2020-08-28 2024-12-16 富士フイルム株式会社 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
WO2022044642A1 (ja) * 2020-08-28 2022-03-03 富士フイルム株式会社 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
JPWO2022044642A1 (ja) * 2020-08-28 2022-03-03
US12444052B2 (en) 2020-08-28 2025-10-14 Fujifilm Corporation Learning apparatus, learning method, program, trained model, and endoscope system
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
US12469131B2 (en) 2021-11-19 2025-11-11 Fujifilm Corporation Medical image processing device and method of operating the same

Also Published As

Publication number Publication date
JP7042907B2 (ja) 2022-03-28
CN112189236A (zh) 2021-01-05
EP3806101A4 (en) 2021-07-21
CN112189236B (zh) 2024-07-23
US11776692B2 (en) 2023-10-03
EP3806101A1 (en) 2021-04-14
US20210052137A1 (en) 2021-02-25
JPWO2019230302A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP7042907B2 (ja) 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
US11734820B2 (en) Medical image processing device, medical image processing method, and medical image processing program
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US20210191094A1 (en) Real-time Pathological Microscopic Image Collection and Analysis System, Method and Device and Medium
WO2023155488A1 (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
JP5242866B1 (ja) 画像管理装置、方法、及び読影用プログラム
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
CN111816285B (zh) 医用信息处理装置及医用信息处理方法
JP6368870B2 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
CN109978015B (zh) 一种图像处理方法、装置及内窥镜系统
CN103975364A (zh) 针对宫颈的光学检查的图像选择
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP7547057B2 (ja) 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム
CN111526779B (zh) 图像处理方法、图像处理程序、图像处理装置、图像显示装置、以及图像显示方法
CN116367765B (zh) 医疗图像处理装置、医疗图像处理装置的工作方法及非暂时性计算机可读介质
Lampreave et al. Towards assisted electrocardiogram interpretation using an AI-enabled Augmented Reality headset
JPWO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
JP2007319403A (ja) 診療支援システム、診療支援装置及び診療支援プログラム
JP4459642B2 (ja) 電子カルテ入力システム、電子カルテ作成処理をコンピュータに実行させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2024111693A (ja) 処理装置、処理プログラム、処理方法及び処理システム
JP7607803B2 (ja) 医療支援システム、レポート作成支援方法および情報処理装置
JP7660421B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019168372A1 (ko) 의료 영상 처리 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811403

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521812

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019811403

Country of ref document: EP

Effective date: 20210111