[go: up one dir, main page]

WO2024009631A1 - 画像処理装置及び画像処理装置の作動方法 - Google Patents

画像処理装置及び画像処理装置の作動方法 Download PDF

Info

Publication number
WO2024009631A1
WO2024009631A1 PCT/JP2023/018906 JP2023018906W WO2024009631A1 WO 2024009631 A1 WO2024009631 A1 WO 2024009631A1 JP 2023018906 W JP2023018906 W JP 2023018906W WO 2024009631 A1 WO2024009631 A1 WO 2024009631A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
determiner
light source
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/018906
Other languages
English (en)
French (fr)
Inventor
広樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2024531941A priority Critical patent/JPWO2024009631A1/ja
Publication of WO2024009631A1 publication Critical patent/WO2024009631A1/ja
Priority to US18/991,701 priority patent/US20250120568A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing device and an operating method of the image processing device, and particularly relates to a technique for evaluating an evaluation object using an image taken of the evaluation object.
  • a first training image in which the detection target is photographed using white light and a second training image in which the detection target is photographed using special light with a different wavelength band from white light, respectively, is used for training.
  • a processing system has been proposed that uses a first trained model and a second trained model to perform a detection process of detecting a region of interest from an image of a detection target (Patent Document 1).
  • the first trained model is a model for identifying the presence/absence or position of the region of interest from the image to be detected
  • the second trained model is for identifying the state of the region of interest (lesion classification, etc.). This is a model for identifying.
  • the processing system described in Patent Document 1 includes a process of executing a first trained model that identifies the presence/absence or position of a region of interest from an image photographed using white light, and a process of executing a first trained model that identifies the presence/absence or position of a region of interest from an image photographed using white light.
  • a process of executing a second trained model that identifies the state of the region of interest from the image is performed.
  • the processing system has a presence determination mode and a qualitative determination mode, and when the mode is the presence determination mode, it emits normal light as illumination light, and when the mode is the qualitative determination mode, it emits special light as illumination light. Control is performed to switch the trained model to be used from the first trained model to the second trained model in conjunction with this switching of the light source.
  • switching between the first trained model and the second trained model is performed in a scene in which a lesion is discovered or in a scene in which the stage of a discovered lesion is desired to be accurately classified. It depends on what is going on. Specifically, if the size of the region of interest detected in the presence determination mode is large, or if the location of the region of interest is close to the center of the image, the processing unit of the processing system determines whether the estimated probability of the region of interest is greater than or equal to a predetermined threshold. In such cases, the first trained model is switched to the second trained model. Further, switching between the first trained model and the second trained model can be performed based on user operation information.
  • the trained model is switched because the reliability of detecting the region of interest using the first trained model is high, and the qualitative judgment (classification of various lesions) of the region of interest using the second trained model This is because it is possible to perform it well. That is, switching from the first trained model to the second trained model is not performed to further increase the estimation probability of the region of interest in the detection target image.
  • Patent Document 1 discloses that when the first estimated probability of detecting a region of interest included in the first detection target image using a trained model is lower than a threshold, an endoscope device is used to improve the first estimated probability.
  • the control information to be controlled (first control information) is changed to second control information, a second detection target image is acquired based on the second control information, and the area of interest included in the second detection target image is determined by the trained model.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an image processing device and an operating method for the image processing device that can improve the accuracy of determination for an evaluation target object.
  • the invention according to the first aspect provides a first learning data set and a second learning data set obtained by photographing an object illuminated with each of a first light source and a second light source.
  • a first determiner and a second determiner each learned using a data set, a first processor, and a first memory that stores a confidence determination value, and the first processor is configured to use a first light source.
  • a first light source image obtained by photographing the illuminated evaluation target object and a second light source image obtained by photographing the evaluation target illuminated by the second light source are acquired, and the first light source image is input to the first determiner, calculate the determination confidence from the determination result of the first determiner, and calculate the determination result of the first determiner based on the determination confidence and the confidence determination value stored in the first memory.
  • the image processing apparatus determines whether to use the second determining device or the determination result of the second determining device.
  • the first processor outputs the determination result of the first determiner when the determination confidence is greater than or equal to the reliability determination value, and the first processor outputs the determination result of the first determiner, and If the degree is less than the reliability determination value, the determination result of the second determiner is output.
  • the first memory stores a first certainty determination value as the certainty determination value and a second certainty determination value smaller than the first certainty determination value.
  • the first processor outputs the determination result of the first determiner when the determination confidence is greater than or equal to the first certainty determination value, and outputs the determination result of the first determiner when the determination confidence is less than the second reliability determination value. Outputs the judgment result of the 2 judger.
  • the first processor when the determination confidence is less than the certainty determination value, replaces the first light source image with the second light source image.
  • a light source image is acquired, a second light source image is input to a second determiner, and a determination result is output from the second determiner.
  • the first processor alternately and continuously acquires the first light source image and the second light source image, and makes a determination. Select whether to output the first light source image to the first determiner or to output the second light source image to the second determiner based on the confidence and the confidence determination value stored in the first memory. .
  • the first determiner and the second determiner each determine the presence or absence of a lesion, the classification of a lesion, the severity of a lesion, Alternatively, a determination result indicating remission or non-remission of the inflammatory disease is output.
  • the learned first determiner and second determiner are arranged in a first learning dataset and a second learning dataset, respectively. It consists of a trained first learning model and a second learning model that have been trained using a data set, and one or two second processors that execute the first learning model and the second learning model, respectively.
  • the first processor obtains a plurality of determination results for the plurality of regions of the first light source image from the first determination device. Then, the determination reliability is calculated based on the plurality of determination results.
  • the first processor receives a plurality of consecutive A plurality of determination results for the first light source image are acquired, and a determination reliability is calculated based on the plurality of determination results.
  • the illumination light of one of the first light source and the second light source is narrow band special light
  • the illumination light of the other light source is white light
  • the first light source image and the second light source image are each an endoscopic image taken by an endoscope.
  • the invention according to the eleventh aspect uses a first learning data set and a second learning data set obtained by photographing an object illuminated by a first light source and a second light source, respectively.
  • a method of operating an image processing device comprising a learned first and second determiner, a first processor, and a first memory storing a confidence determination value, the first processor comprising: a learned first and second determiner; acquiring a first light source image obtained by photographing an evaluation object illuminated by one light source and a second light source image obtained by photographing an evaluation object illuminated by a second light source; the first processor inputs the first light source image to the first determiner and calculates the determination confidence from the determination result of the first determiner; and determining whether to use the determination result of the first determiner or the second determiner based on the reliability determination value.
  • the operating method of the image processing device is such that, in the eleventh aspect, the first processor outputs the determination result of the first determiner when the determination confidence is equal to or higher than the certainty determination value. , the step of outputting the determination result of the second determiner when the determination confidence is less than the reliability determination value.
  • the first memory includes a first certainty determination value as the certainty determination value and a second certainty determination value smaller than the first certainty determination value.
  • the first processor outputs the judgment result of the first judge when the judgment confidence is greater than or equal to the first certainty judgment value, and outputs the judgment result of the first judge when the judgment certainty is less than the second certainty judgment value.
  • the method includes a step of outputting a determination result of the determiner.
  • a method for operating an image processing apparatus includes, in any one of the eleventh to thirteenth aspects, a method for photographing an object illuminated by a third processor, a first light source, and a second light source, respectively; a second memory that stores a plurality of first evaluation data sets and second evaluation data sets obtained by the third processor; a step of inputting a plurality of first judgment results and a plurality of second judgment results from the first judgment device and the second judgment device, respectively; a step of calculating a plurality of first judgment certainty degrees from the plurality of first judgment results and a plurality of first judgment accuracies and a plurality of second judgment results from the plurality of first judgment results and the plurality of second judgment results; a step of calculating each accuracy; and a third processor, based on the relationship between the determination accuracy difference indicating the difference between the first determination accuracy and the second determination accuracy for the same part of the object and the first determination certainty,
  • the method includes a step of calculating a reliability determination value,
  • the third processor linearly approximates the relationship between the determination accuracy difference and the first determination confidence, and makes the determination on the linearly approximated straight line.
  • the first determination reliability when the sign of the accuracy difference is reversed is calculated as the reliability determination value.
  • the present invention by appropriately determining which judgment result of the first judgment device and the second judgment device corresponding to the first light source and the second light source should be used, It is possible to improve the accuracy of judgment regarding objects.
  • FIG. 1 is a system configuration diagram of an endoscope system including a processor device functioning as an image processing device according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the hardware configuration of a processor device that constitutes the endoscope system shown in FIG.
  • FIG. 3 is a functional block diagram showing a first embodiment of the main processors that constitute the processor device shown in FIG. 2.
  • FIG. 4 is a block diagram showing another embodiment of the first determiner and the second determiner.
  • FIG. 5 is a schematic diagram of a learning device that creates a first learning model and a second learning model.
  • FIG. 6 is a flowchart showing the first embodiment of the method for operating the image processing apparatus according to the present invention.
  • FIG. 1 is a system configuration diagram of an endoscope system including a processor device functioning as an image processing device according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the hardware configuration of a processor device that constitutes the endoscope system shown in FIG.
  • FIG. 3
  • FIG. 7 is a flowchart illustrating an embodiment of a method for calculating a reliability determination value.
  • FIG. 8 is a diagram regarding an example of a method of calculating the first determination accuracy, the second determination accuracy, and the like.
  • FIG. 9 is a graph related to a method of calculating a certainty determination value.
  • FIG. 10 is a diagram regarding another example of a method of calculating the first determination accuracy, the second determination accuracy, and the like.
  • FIG. 11 is a flowchart showing a second embodiment of the method for operating an image processing apparatus according to the present invention.
  • FIG. 12 is a graph related to a method of calculating the first reliability determination value and the second reliability determination value.
  • FIG. 13 is another graph related to the method of calculating the reliability determination value.
  • FIG. 1 is a system configuration diagram of an endoscope system including a processor device functioning as an image processing device according to the present invention.
  • an endoscope system 1 includes an endoscope 10, a processor device 20, a light source device 30, and a display device 40.
  • the endoscopic scope 10 photographs an observation region within the body cavity of a subject, which is an object to be evaluated, and obtains an endoscopic image, which is a medical image.
  • An optical system objective lens
  • an image sensor etc. are built into the distal end of the endoscope 10, and image light from an observation area is incident on the image sensor via the objective lens.
  • the image sensor converts image light of an observation area that is incident on its imaging surface into an electrical signal, and outputs an image signal representing an endoscopic image.
  • a video connector and a light guide connector are provided at the rear end of the endoscope 10 to connect the endoscope 10 to the processor device 20 and the light source device 30.
  • an image signal representing an endoscopic image taken by the endoscope 10 is sent to the processor device 20.
  • the light guide connector provided in the endoscope scope 10 to the light source device 30
  • the illumination light emitted from the light source device 30 can be transmitted to the light guide connector and the light source device 30 disposed inside the endoscope scope 10. Light is irradiated from the illumination window on the distal end of the endoscope 10 toward the observation area via the light guide.
  • the light source device 30 includes a first light source and a second light source, and supplies light to the light guide of the endoscope scope 10 via the light guide connector to the endoscope scope 10 to which the light guide connector is attached.
  • Supplying illumination light from a second light source is narrow band special light
  • the illumination light from the other light source is white light.
  • Special light is light in a specific narrow band, or light in various wavelength bands depending on the purpose of observation that has a peak wavelength in a specific narrow band.
  • White light is white broadband light or light in multiple wavelength bands with different wavelength bands. It is broadband light and is also called "normal light.”
  • the light source device 30 emits white light, special light, or white light/special light depending on the observation mode (for example, normal light observation mode, special light observation mode, multi-frame observation mode, etc.). In the multi-frame observation mode, the light source device 30 alternately emits white light and special light for each frame. Further, switching between white light and special light can also be performed automatically as described later.
  • the observation mode for example, normal light observation mode, special light observation mode, multi-frame observation mode, etc.
  • the light source device 30 In the multi-frame observation mode, the light source device 30 alternately emits white light and special light for each frame. Further, switching between white light and special light can also be performed automatically as described later.
  • the endoscope scope 10 photographs the illuminated evaluation target object, outputs an endoscopic image that is the first light source image, and When the evaluation target object is illuminated by the illumination light from the two light sources, the illuminated evaluation target object is photographed and an endoscopic image that is the second light source image is output.
  • the endoscope 10 photographs a special light image or a white light image according to the type of illumination light from the light source device 30, and outputs the photographed special light image or white light image.
  • the illumination light from one of the first and second light sources is narrow band special light
  • the illumination light from the other light source is white light.
  • the endoscope 10 is capable of photographing, for example, a BLI (Blue Light Imaging or Blue LASER Imaging) image or an LCI (Linked Color Imaging) image as a special light image.
  • a BLI Blue Light Imaging or Blue LASER Imaging
  • LCI Linked Color Imaging
  • the special light for BLI is an illumination light that has a high ratio of V (Violet) light, which has a high absorption rate in superficial blood vessels, and a low ratio of G (Green) light, which has a high absorption rate in middle layer blood vessels, and is the target of evaluation.
  • This method is suitable for generating an image (BLI image) suitable for emphasizing blood vessels and structures on the mucosal surface layer of a subject.
  • the special light for LCI has a higher ratio of V light than the white light for WLI, and is suitable for capturing minute color changes compared to the illumination light for WLI.
  • This is an image in which color enhancement processing has been performed using signals from R (Red) components, focusing on colors near the mucous membranes, so that reddish colors become redder and whitish colors become whiter.
  • the special light in this example is a narrow band special light having a peak wavelength in a wavelength range of 410 nm, and an endoscopic image taken under the special light is also referred to as a "410 nm image.”
  • FIG. 2 is a block diagram showing an embodiment of the hardware configuration of a processor device that constitutes the endoscope system shown in FIG.
  • the processor device 20 shown in FIG. 2 includes an image acquisition unit 21, a processor 22 as a first processor, a first determiner 23, a second determiner 24, a display control unit 25, an input/output interface 26, a memory 27, and an operation unit. It consists of 28.
  • the image acquisition unit 21 includes a connector to which a video connector of the endoscope 10 is connected, and transmits an endoscopic image captured by an image sensor disposed at the distal end of the endoscope 10 to the endoscope. 10 through the connector. Furthermore, the processor device 20 acquires a remote signal generated by an operation on the hand operation unit of the endoscope 10 via a connector to which the endoscope 10 is connected.
  • the remote signal includes a release signal and the like that instructs still image shooting.
  • the processor 22 is composed of a CPU (Central Processing Unit), etc., and performs overall control of each part of the processor device 20, as well as image processing of the endoscopic image acquired from the endoscope 10, the first determination device 23 or the second It functions as a processing unit that performs a process for determining which of the determiners 24 should be used to evaluate an evaluation target object, and a process for acquiring and storing a still image using a release signal acquired via the endoscope 10.
  • CPU Central Processing Unit
  • the first determiner 23 or the second determiner 24 is a part that performs AI (Artificial Intelligence) processing to infer the state of the observation area of the evaluation target based on the input endoscopic image, respectively.
  • 23 inputs a special light image and outputs a determination result for the special light image
  • a second determiner 24 inputs a white light image and outputs a determination result for the white light image.
  • the first determiner 23 and the second determiner 24 each determine the presence or absence of a lesion included in the evaluation target object, the classification of the lesion, the severity of the lesion, or a determination result indicating remission or non-remission of the inflammatory disease from the input image. Output. Furthermore, the determination results output from the first determiner 23 and the second determiner 24 can include a determination probability (0.0 to 1.0). Note that details of the first determiner 23 and the second determiner 24 will be described later.
  • the display control unit 25 generates a display image based on the endoscopic image (moving image or still image) after image processing applied from the processor 22 and the determination result of the first determiner 23 or the second determiner 24. , outputs the display image to the display device 40.
  • the memory 27 includes a flash memory, a ROM (Read-only Memory), a RAM (Random Accuracy Memory), a hard disk device, and the like.
  • the flash memory, ROM, or hard disk device is a nonvolatile memory that stores various programs executed by the processor 22.
  • the RAM functions as a work area for processing by the processor 22, and also temporarily stores programs and the like stored in a flash memory or the like.
  • the memory 27 functions as a first memory that stores the confidence determination value.
  • the confidence judgment value is compared with the judgment certainty calculated by the processor 22 and used to determine whether to use the judgment result of the first judge 23 or the judgment result of the second judge 24. This is the threshold value. Note that details of the reliability determination value and the determination reliability will be described later.
  • the memory 27 functions as a second memory that stores a plurality of first evaluation data sets and second evaluation data sets that are used to calculate the certainty determination value. Furthermore, the memory 27 can store still images taken during endoscopic diagnosis.
  • the display control unit 25 generates a display image based on the observation image (moving image or still image) after image processing applied from the processor 22 and the estimation result of the state of the observation area subjected to AI processing by the processor 22, The display image is output to the display device 40.
  • the input/output interface 26 includes a connection unit that connects to external devices by wire and/or wirelessly, a communication unit that can be connected to a network, and the like. By transmitting endoscopic images to an external device such as a personal computer connected via the input/output interface 26, the external device can have some or all of the functions of the image processing device according to the present invention. You may also do so.
  • the processor device 20 is connected to a storage (not shown) via an input/output interface 26.
  • the storage (not shown) is an external storage device connected to the processor device 20 via a LAN (Local Area Network), etc., and is, for example, a file server of a system for filing medical images such as a PACS (Picture Archiving and Communication System), or a NAS ( Network Attached Storage), etc.
  • the operation unit 28 includes a power switch, a switch for manually adjusting white balance, light intensity, zooming, etc., a switch for setting an observation mode, and the like.
  • FIG. 3 is a functional block diagram showing a first embodiment of the main processors that constitute the processor device shown in FIG. 2. As shown in FIG. 3,
  • the processor 22 includes an image acquisition section 110, a determination confidence calculation section 112, a determination section 114, and a selection section 116.
  • the image acquisition unit 110 is a part that acquires the special light image 100 or white light image 102 acquired from the endoscope 10 by the image acquisition unit 21 of the processor device 20.
  • the multi-frame observation mode is set as the observation mode, the special light image 100 and the white light image 102 are taken alternately, and the image acquisition unit 110 captures the special light image 100 and the white light image for each frame. 102 are acquired alternately.
  • the processor 22 inputs the special light image 100, which is the first light source image, to the first determiner 23, and inputs the white light image 102, which is the second light source image, to the second determiner 24.
  • the first determiner 23 and the second determiner 24 are configured to determine whether a first The learning data set and the second learning data set are respectively used for learning.
  • the first determiner 23 and the second determiner 24 of this example are trained to determine remission or non-remission of an inflammatory disease, respectively, and receive information indicating "remission” or “non-remission” as a determination result. and information indicating the determination probabilities of "remission” and "non-remission” can be output.
  • the information indicating the determination probability is, for example, information indicating a value of (0.0 to 1.0) and having a total sum of "1.0".
  • the first determiner 23 outputs the determination result for the input special light image 100 to the A input of the selection unit 116 and also outputs it to the determination certainty calculation unit 112.
  • the second determiner 24 outputs the determination result for the input white light image 102 to the B input of the selection unit 116.
  • the determination reliability calculation unit 112 calculates the determination reliability (special light AI determination reliability) based on the determination result input from the first determiner 23.
  • probability (remission) is the probability of determining remission
  • probability (non-remission) is the probability of determining non-remission. That is, the determination reliability calculating unit 112 calculates the difference between the determination probability of remission and the determination probability of non-remission from the determination result of the first determiner 23, and sets the absolute value of the calculated difference as the special light AI determination certainty. calculate.
  • the special light AI determination confidence (confidence_410) calculated by the determination confidence calculation unit 112 is output to the determination unit 114.
  • a confidence judgment value is added to other inputs of the determining unit 114 from the memory 27 functioning as a first memory, and the deciding unit 114 inputs the special light AI judgment confidence (confidence_410) and the certainty judgment value. Based on this, it is determined whether to use the determination result of the first determiner 23 or the second determiner 24.
  • the processor 22 (determining unit 114) of the first embodiment outputs the determination result of the first determiner 23 when the special light AI determination confidence (confidence _410) is greater than or equal to the confidence determination value, and If the AI determination confidence (confidence_410) is less than the confidence determination value, a decision is made to output the determination result of the second determiner 24.
  • the selection unit 116 When the selection unit 116 inputs the determination result of the determination unit 114 as switching information and inputs the switching information that outputs the determination result of the first determiner 23, the selection unit 116 inputs the determination result of the determination unit 114 as the switching information, and selects the determination result of the first determiner 23 input to the A input.
  • the determination result of the second determiner 24 input to the B input is selected and output.
  • FIG. 4 is a block diagram showing another embodiment of the first determiner and the second determiner.
  • the processor device 20 shown in FIG. 2 includes a first determiner 23 and a second determiner 24 separately from the processor 22, but in the embodiment shown in FIG. It also serves as a part of the second determiner 24.
  • the memory 27 stores a trained first learning model 23A that has been trained using a first learning data set obtained by photographing an object illuminated with a special light source that is a first light source;
  • a trained second learning model 24A that is trained using a second learning data set obtained by photographing an object illuminated with a white light source that is a second light source is stored.
  • the processor 22 functions as the first determiner 23 by reading out the first learning model 23A from the memory 27 and executing the processing of the first learning model 23A on the input special light image 100.
  • the second learning model 24A is read out and the process of the second learning model 24A is executed on the input white light image 102, thereby functioning as the second determining device 24.
  • processor 22 one or two other processors (second processors) may be used that execute the first learning model 23A and the second learning model 24A, respectively.
  • FIG. 5 is a schematic diagram of a learning device that creates a first learning model and a second learning model.
  • This learning device includes a processor 200 and a memory 210.
  • the memory 210 stores a learning model 211, a first learning data set 212, a second learning data set 213, a first parameter group 214, and a second parameter group 215.
  • CNN convolution neural network
  • the first parameter group 214 and the second parameter group 215 are filter coefficients of a filter called a kernel used for convolution calculation in the CNN convolution layer, weights connecting units of each layer, etc. Value is set.
  • the first learning data set 212 and the second learning data set 213 are N sets each consisting of a special light image and a white light image taken of the same location, and each set is given correct answer data. It is a dataset. Therefore, the first learning dataset 212 is a dataset consisting of N special light images and their corresponding correct data, and the second learning dataset 213 is a dataset consisting of N white light images and their corresponding correct answer data. This is a dataset consisting of correct answer data. In the case of inflammatory bowel disease, the correct data can be obtained by having a doctor visually inspect endoscopic images for each area and scoring the endoscopic severity, or by performing a biopsy, etc. for each area and evaluating the pathological severity. It can be obtained by scoring. Moreover, it is preferable that the first learning data set 212 and the second learning data set 213 are acquired from a large number of patients.
  • the processor 200 executes the processing of the learning model 211 using the special light image forming the first learning data set 212 as an input image, and combines the output data, the special light image, and the pair. Calculate the error (loss value) from the correct data. Examples of loss value calculation methods include softmax cross entropy and sigmoid. Then, based on the calculated loss value, the first parameter group 214 is adjusted by the error backpropagation method. In the error backpropagation method, errors are sequentially backpropagated starting from the final layer, stochastic gradient descent is performed in each layer, and the first parameter group 214 is repeatedly updated until the errors converge. By performing this using all N first learning data sets, the first parameter group 214 is optimized.
  • the processor 200 uses the second learning data set 213 and optimizes the second parameter group 215.
  • the first learning model 23A shown in FIG. It is composed of. Therefore, in addition to the general-purpose learning model 211, by storing in the memory 27 the first parameter group 214 and the second parameter group 215 that have been optimized by the learning device shown in FIG. The model 23A and the second learning model 23B will be stored.
  • FIG. 6 is a flowchart showing the first embodiment of the method for operating the image processing apparatus according to the present invention.
  • the operating method of the image processing apparatus includes, for example, the first determiner 23, the second determiner 24, the processor 22 as the first processor, and the memory 27 as the first memory shown in FIG.
  • the processor 22 executes the following various processes according to the flowchart shown in FIG.
  • the processor 22 alternately acquires the special light image 100 and the white light image 102 taken by the endoscope 10 in the multi-frame observation mode (step S100).
  • the special light image 100 and the white light image 102 are acquired alternately every frame, but the invention is not limited to this, and for example, they may be acquired alternately every two frames.
  • the special light image 100 is input to the first determiner 23, and a determination result is output from the first determiner 23, but the processor 22 acquires the determination result from the first determiner 23 (step S20) and A determination certainty factor is calculated from the determination result (step S30).
  • the determination confidence special light AI determination confidence (confidence _410)
  • the determination confidence can be calculated using the above-mentioned formula [Equation 1].
  • the processor 22 compares the special light AI determination confidence (confidence _410) calculated in step S30 with the confidence determination value stored in the memory 27 (step S40), and calculates the special light AI determination confidence (confidence _410). is greater than or equal to the confidence judgment value (judgment confidence ⁇ confidence judgment value), the process moves to step S50, the judgment result of the first judge 23 is output, and the special light AI judgment confidence (confidence _410) is determined as the certainty If it is less than the determination value (determination confidence ⁇ certainty determination value), the process moves to step S60, and the determination result of the second determiner 24 to which the white light image 102 is input is output.
  • the processor 22 determines whether or not to end the diagnosis using the endoscopic image based on the user's operation on the operation unit 28 (step S70). If it is determined that the diagnosis should not be ended, the processor 22 moves to step S10 and repeatedly executes the processes from step S10 to step S70, and if it is determined that the diagnosis is to be ended, the processor 22 ends this process.
  • step S50 or step S60 is displayed on the display device 40 together with the endoscopic image, thereby supporting the user's diagnosis using the endoscopic image.
  • FIG. 7 is a flowchart illustrating an embodiment of a method for calculating a reliability determination value.
  • the method of calculating the certainty factor judgment value is a method included in the method of operating the image processing device according to the present invention, and the image processing device further includes a third processor and a second memory.
  • the third processor may be the same as the processor 22 functioning as the first processor, or may be a different processor. A case in which the processor 22 functions as a third processor will be described below.
  • the second memory is a memory that stores a plurality of first evaluation data sets and second evaluation data sets obtained by photographing an object illuminated with each of the first light source and the second light source.
  • the memory 27 functions as the second memory.
  • the plurality of first evaluation data sets and second evaluation data sets stored in the memory 27 are the first learning data set and the second learning data set used for learning the first determiner 23 and the second determiner 24. These data sets are different from the data set, and include an M set in which one set includes two images of a special light image and a white light image photographed at the same location, and a data set in which correct answer data is added to each set. Note that a part of the first learning data set and the second learning data set may be used as the first evaluation data set and the second evaluation data set.
  • the processor 22 functioning as a third processor first uses a parameter i indicating one set of data sets among the first evaluation data set and the second evaluation data set. is set to 1 (step S100).
  • the processor 22 acquires one evaluation data set of the i-th special light image and the white light image from the memory 27 based on the parameter i (step S102).
  • the processor 22 inputs the special light image of the acquired evaluation data set to the first determiner 23, acquires a determination result (first determination result) from the first determiner 23 (step S104), and similarly
  • the set of white light images is input to the second determiner 24, and a determination result (second determination result) is obtained from the second determiner 24 (step S106).
  • the processor 22 calculates a first determination accuracy (410nm-AI determination accuracy) from the first determination result acquired in step S104 (step S108), and calculates a second determination accuracy from the second determination result acquired in step S106. (WLI-AI judgment accuracy) is calculated (step S110).
  • step S108 and step S110 will be described.
  • FIG. 8 is a diagram related to an example of a method of calculating the first determination accuracy, the second determination accuracy, etc.
  • Figure 8 shows special light images (a1_410, a2_410, b1_410) taken at four locations (a1, a2, b1, b2) in the large intestine as part of the first evaluation data set and second evaluation data set. , b2_410) and four sets of white light images (a1_WLI, a2_WLI, b1_WLI, b2_WLI) are shown.
  • step S108 and step S110 the first judgment result by the first judgment unit 23 of a set of two images, the special light image (i_410) and the white light image (i_WLI) taken at the same location (i) of the large intestine, and As the second determination result by the second determiner 24, as shown in FIG. Obtain multiple judgment results shown. Whether each of the nine regions is in "remission” or “non-remission” can be determined based on whether the determination probability (0.0 to 1.0) of each region is 0.5 or more.
  • the processor 22 calculates the first determination certainty factor xi from the first determination result obtained in step S104 using the following equation (step S112).
  • probability (remission) is the probability of determining remission
  • probability (non-remission) is the probability of determining non-remission.
  • 9 is the number of regions for which determination probabilities were determined in one special light image as shown in FIG. That is, in step S112, the difference between the remission determination probability and the non-remission determination probability in the nine regions in the special light image is calculated from the determination result of the first determination unit 23, and the absolute value of the calculated difference is 9. The average value of the two is calculated as the first determination certainty factor xi.
  • the processor 22 also determines the difference between the 410 nm-AI determination accuracy (accuracy_i_410), which is the first determination accuracy calculated in step S108 and step S110, and the WLI-AI determination accuracy (accuracy_i_WLI), which is the second determination accuracy.
  • the processor 22 stores the point Pi(xi, yi) in the memory 27, with the first determination certainty factor xi calculated in step S112 as the x-coordinate value and the determination accuracy difference yi calculated in step S114 as the coordinate value (step S116).
  • the processor 22 determines whether the parameter i has become M (step S118), and if i ⁇ M ("No"), the processor 22 increments the parameter i by 1 (step S120). , return to step S102.
  • M first judgment accuracies (410nm-AI judgment accuracy) are calculated from M first judgment results
  • M second judgment accuracies (WLI-AI judgment accuracy) are calculated from M second judgment results. ) are calculated, and M determination accuracy differences yi indicating the difference between the first determination accuracy and the second determination accuracy are obtained.
  • Step S122 forms a graph consisting of M plots.
  • FIG. 9 is a graph related to the method of calculating the confidence level judgment value.
  • FIG. 9 shows an example of a graph in which M points are plotted. As a result of examining ulcerative colitis using a 410 nm image as a special light image, the graph shown in Figure 9 was obtained.
  • the horizontal axis (x-axis) is the special light AI determination confidence
  • the vertical axis (y-axis) is the difference in determination accuracy
  • the processor 22 linearly approximates the relationship between the judgment accuracy difference and the first judgment certainty, and calculates the first judgment certainty when the sign of the judgment accuracy difference is reversed on the linearly approximated straight line (the linearly approximated straight line is the x-axis x-coordinate value of the point that intersects with ) is calculated as a certainty determination value and stored in the memory 27 (step S126).
  • the reliability determination value calculated as described above and stored in the memory 27 is 0.8
  • the determination reliability calculated from the determination result of the special light image of the first determiner 23 is smaller than 0.8. Since the determination result of the white light image of the second determiner 24 has higher determination accuracy, it is preferable to switch from the determination output of the first determiner 23 to the determination output of the second determiner 24.
  • the difference in judgment accuracy is linear with respect to the special light AI judgment confidence, so by using this linear relationship and referring to the special light AI judgment confidence during diagnosis, it is possible to It is possible to sense which light source is suitable for determining the scene.
  • the special light AI judgment confidence is calculated during diagnosis, and if the special light AI judgment confidence is greater than or equal to the confidence judgment value, the 410nm-AI judgment accuracy is higher than the WLI-AI judgment accuracy. (scene appropriateness is high), and conversely, if the special light AI judgment confidence is less than the confidence judgment value, it is judged that WLI-AI judgment accuracy has higher diagnostic accuracy than 410nm-AI judgment accuracy. can do. Thereby, the determination result of the first determiner 23 and the determination result of the second determiner 24 can be appropriately selected and output.
  • WLI images are suitable for determining the severity based on the redness of the mucous membrane in inflammatory diseases, etc., and the severity can be determined based on the state of blood vessels running in polyps and the irregularity of the mucous membrane in neoplastic diseases, etc. Special light imaging is suitable for this purpose.
  • FIG. 10 is a diagram regarding another example of the method for calculating the first determination accuracy and the second determination accuracy.
  • Figure 10 shows multiple special light images taken multiple times at four locations in the large intestine (a1, a2, b1, b2) as part of the first evaluation data set and the second evaluation data set. Images (a1_410, a2_410, b1_410, b2_410) and four sets of white light images (a1_WLI, a2_WLI, b1_WLI, b2_WLI) are shown.
  • the plurality of images can be the number of frames photographed per second.
  • the first judgment accuracy accuracy_i_410 explained using FIG. 8 is calculated for each of the plurality of special light images (i_410) taken at the same location (i) of the large intestine, and the calculated first judgment accuracy accuracy_i_410
  • the average value of can be set as the first determination accuracy average(accuracy_i_410).
  • the second judgment accuracy accuracy_i_WLI explained using FIG. 8 is calculated for each of the plurality of white light images (i_WLI), and the average value of the plurality of calculated second judgment accuracies accuracy_i_WLI is calculated as the second judgment accuracy average (accuracy_i_WLI).
  • the determination accuracy difference yi is the average determination accuracy difference that is the difference between the first determination accuracy average (accuracy_i_410) and the second determination accuracy average (accuracy_i_WLI).
  • the first judgment certainty factor xi is the average judgment certainty factor average( confidence_i_410).
  • the graph shown in Figure 9 is created using the average judgment accuracy difference and average judgment confidence of multiple consecutive images, and the confidence The degree judgment value can be obtained.
  • step S30 of FIG. 6 the determination confidence (special light AI determination confidence (confidence_410)) was calculated by the formula [Math. 1], but it may also be calculated by the formula [Math. 2] or It may be calculated as the average judgment confidence of .
  • FIG. 11 is a flowchart showing a second embodiment of the method for operating an image processing apparatus according to the present invention.
  • the operating method of the image processing apparatus of the second embodiment includes, for example, the first determiner 23, the second determiner 24, the processor 22 as the first processor, and the memory 27 as the first memory shown in FIG.
  • This is a method for operating an image processing apparatus, in which the memory 27 stores a first certainty judgment value and a second certainty judgment value smaller than the first certainty judgment value. .
  • the processor 22 compares the determination confidence calculated in step S30 (special light AI determination confidence (confidence_410)) with the first confidence determination value stored in the memory 27 (step S42), and performs the special light AI determination. If the confidence level (confidence_410) is equal to or higher than the first confidence level judgment value (judgment confidence level ⁇ first confidence level judgment value), the process moves to step S50, the judgment result of the first judgment unit 23 is output, and the special light AI judgment is performed. If the confidence level (confidence_410) is less than the first confidence level judgment value (judgment confidence level ⁇ first confidence level judgment value), the process moves to step S44.
  • step S30 special light AI determination confidence (confidence_410)
  • step S44 the processor 22 further compares the special light AI determination confidence (confidence_410) with the second confidence determination value stored in the memory 27, and determines whether the special light AI determination confidence (confidence_410) is the second If it is less than the reliability determination value (determination reliability ⁇ second reliability determination value), the process moves to step S60, and the determination result of the second determiner 24 to which the white light image 102 is input is output.
  • step S44 if the special light AI determination confidence (confidence_410) is equal to or higher than the second confidence determination value (i.e., second confidence determination value ⁇ determination confidence ⁇ first confidence determination value), the The process proceeds to step S70 without outputting either the determination result of the first determiner 23 or the determination result of the second determiner 24.
  • FIG. 12 is a graph related to the calculation method of the first certainty determination value and the second certainty determination value.
  • the graph shown in FIG. 12 is a diagram showing another example of a graph in which M points calculated based on M sets of the first evaluation data set and the second evaluation data set are plotted.
  • the first confidence judgment value of point C can be an x-coordinate value that takes a value of ⁇ % of the maximum value y max of the linear approximation line within the frame surrounding the positive point Pi shown in FIG.
  • the second confidence judgment value of A can be an x-coordinate value that takes a value of ⁇ % of the minimum value y min of the linear approximation line within the frame surrounding the negative point Pi shown in FIG.
  • the second reliability determination value of the point C can be an x-coordinate value that takes a value of ⁇ % of the maximum value y max of the linear approximation line within the frame surrounding the positive point Pi shown in FIG.
  • first reliability determination value of point C and the second reliability determination value of point A are values larger than point B by the first setting value, based on the reliability determination value of point B, and The value can be set to be smaller than the point by the second set value.
  • the special light AI determination certainty factor is If it becomes less than the second certainty factor judgment value, the judgment result of the second judgment device 24 is switched to the output, and while the judgment result of the second judgment device 24 is being output, the special light AI judgment certainty becomes the first certainty judgment value. In the above case, it may be possible to switch to the output of the determination result of the first determiner 23.
  • the horizontal axis (x-axis) of the graphs shown in FIGS. 9 and 12 is the special light AI determination certainty factor, it is not limited thereto, and may be the white light AI determination certainty factor.
  • the white light AI determination reliability can be calculated using the formula [Math 1] or the formula [Math 2], similar to the method for calculating the special light AI determination reliability.
  • probability (remission) and probability (non-remission) in formulas [Math. 1] and [Math. 2] are the determination probability of remission and the determination probability of non-remission calculated from the determination result of the second determiner 24. .
  • the vertical axis (y-axis) of the graphs shown in FIGS. 9 and 12 is the judgment accuracy difference obtained by subtracting the WLI-AI judgment accuracy (accuracy_i_WLI) from the 410nm-AI judgment accuracy (accuracy_i_410).
  • the determination accuracy difference may be obtained by subtracting the 410nm-AI determination accuracy (accuracy_i_410) from the accuracy (accuracy_i_WLI).
  • FIG. 13 is another graph related to the method of calculating the confidence level judgment value.
  • the lower right graph is the same as the graph shown in FIG. 12, and in the lower left graph, the horizontal axis (x-axis) represents the white light AI determination confidence instead of the special light AI determination confidence. It differs from the graph on the lower right in the way it is used.
  • the judgment confidence is set on two axes: special light AI judgment certainty and white light AI judgment confidence, and the special light AI judgment confidence calculated during diagnosis and white light Comprehensively determining which of the judgment results of the first judge 23 and the second judge 24 to output, or which of the special light source and the white light source to select, based on the AI judgment confidence level. is preferred.
  • the confidence judgment value of the special light AI judgment certainty and the certainty judgment value of the white light AI judgment certainty are stored in the memory 27, and the special light AI judgment certainty and the white light AI judgment certainty are stored in the memory 27 during diagnosis.
  • the calculated special light AI judgment confidence and white light AI judgment certainty are compared with the two certainty judgment values stored in the memory 27, and the first judgment unit 23 and the second judgment It is possible to decide which of the determination results of the device 24 to output, or not to output any of them.
  • the invention is not limited to this, and either one of the first light source or the second light source is automatically selected.
  • the first light source image or the second light source image (special light image, white light image) may be selectively acquired.
  • the judgment confidence is calculated from the judgment result of the first judgment device inputting the first light source image, and the calculated judgment certainty and the judgment result are stored in the first memory. Based on the certainty determination value, it is determined whether to use the first determiner or the second determiner (which of the first light source or the second light source to select), and also determines whether to use the second light source image.
  • the judgment confidence is calculated from the judgment result of the second judge which inputs the second light source image, and the calculated judgment certainty is combined with the certainty judgment value stored in the first memory. Based on this, it can be determined whether to use the first determiner or the second determiner (which one to select from the first light source or the second light source).
  • the special light image may include two or more different types of special light images, such as a BLI image and an LCI image. In this case, it is necessary to prepare determiners and confidence determination values corresponding to the BLI image and the LCI image, respectively.
  • the hardware structure that executes various controls of the image processing device is the following various processors.
  • Various types of processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute software (programs) and function as various control units.
  • the circuit configuration can be changed after manufacturing.
  • PLDs programmable logic devices
  • ASICs Application Specific Integrated Circuits
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, multiple FPGAs, or a combination of a CPU and FPGA). You can. Further, the plurality of control units may be configured with one processor. As an example of configuring multiple control units with one processor, firstly, one processor is configured with a combination of one or more CPUs and software, as typified by computers such as clients and servers. There is a form in which a processor functions as a plurality of control units. Second, as typified by System On Chip (SoC), there are processors that use a single IC (Integrated Circuit) chip to perform the functions of the entire system, including multiple control units. be. In this way, various control units are configured using one or more of the various processors described above as a hardware structure.
  • SoC System On Chip

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

評価対象物に対する判定精度を高めることができる画像処理装置及び画像処理装置の作動方法を提供する。画像処理装置として機能するプロセッサ装置は、第１学習用データセット及び第２学習用データセットを用いてそれぞれ学習された第１判定器（２３）及び第２判定器（２４）と、プロセッサ（２２）と、確信度判定値を記憶するメモリ（２７）と、を備え、プロセッサ（２２）は、第１光源及び第２光源によりそれぞれ照明された評価対象物を撮影することで得られる第１光源画像及び第２光源画像を取得し、第１光源画像を第１判定器（２３）に入力し、第１判定器（２３）の判定結果から判定確信度を算出し、判定確信度とメモリ（２７）に記憶された確信度判定値とに基づいて、第１判定器（２３）の判定結果を使用するか、又は第２判定器（２４）の判定結果を使用するかを決定する。

Description

画像処理装置及び画像処理装置の作動方法
　本発明は画像処理装置及び画像処理装置の作動方法に係り、特に評価対象物を撮影した画像を使用して評価対象物を評価する技術に関する。
　従来、白色光を用いて検出対象を撮影した第１学習用画像と、白色光とは波長帯域の異なる特殊光を用いて検出対象を撮影した第２学習用画像とにより、それぞれ訓練された第１学習済モデル及び第２学習済モデルを使用し、検出対象の画像から関心領域を検出する検出処理を行う処理システムが提案されている（特許文献１）。
　ここで、第１学習済モデルは、検出対象の画像から関心領域の存在／不在又は位置を特定するためのモデルであり、第２学習済モデルは、関心領域の状態（病変の分類等）を特定するためのモデルである。
　特許文献１に記載の処理システムは、白色光を用いて撮影された画像から関心領域の存在／不在又は位置を特定する第１学習済モデルを実行する処理と、特殊光を用いて撮影された画像から関心領域の状態を特定する第２学習済モデルを実行する処理とを行う。
　処理システムは、存在判定モードと質的判定モードとを備え、モードが存在判定モードの場合には照明光として通常光を照射し、質的判定モードの場合には照明光として特殊光を照射する制御を行い、この光源の切り替えと連動させて、使用する学習済モデルを第１学習済モデルから第２学習済モデルに切り替える。
　また、特許文献１に記載の処理システムにおいて、第１学習済モデルと第２学習済モデルとの切り替えは、病変を発見するシーンであるか、発見された病変のステージを正確に分類したいシーンであるかに応じて行っている。具体的には、処理システムの処理部は、存在判定モードで検出された関心領域の大きさが大きい場合、関心領域の位置が画像の中心に近い場合、関心領域の推定確率が所定の閾値以上である場合等に第１学習済モデルから第２学習済モデルに切り替える。また、第１学習済モデル又は第２学習済モデルの切り替えは、ユーザの操作情報に基づいて行うことができる。
国際公開第２０２１／１８１５６４号
　ところで、特許文献１に記載の処理システムにおいて、第１学習済モデルから第２学習済モデルへの切り替えの一態様として、関心領域の推定確率が所定の閾値以上である場合がある。
　この場合の学習済モデルの切り替えは、第１学習済モデルを使用した関心領域の検出の確からしさが高いため、第２学習済モデルを使用した関心領域における質的判定（病変の各種の分類）を良好に行うことが可能だからである。即ち、第１学習済モデルから第２学習済モデルへの切り替えは、検出対象画像内の関心領域の推定確率をより高めるために切り替えるものではない。
　また、特許文献１には、学習済モデルにより第１検出対象画像に含まれる注目領域の検出の第１推定確率が閾値よりも低い場合、第１推定確率を向上させるために内視鏡装置を制御する制御情報（第１制御情報）を第２制御情報に変更し、第２制御情報に基づいて第２検出対象画像を取得し、学習済モデルにより第２検出対象画像に含まれる注目領域の検出の第２推定確率を算出する記載があるが、学習済モデルの切り替えは行っていない。
　本発明はこのような事情に鑑みてなされたもので、評価対象物に対する判定精度を高めることができる画像処理装置及び画像処理装置の作動方法を提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、第１学習用データセット及び第２学習用データセットを用いて、それぞれ学習された第１判定器及び第２判定器と、第１プロセッサと、確信度判定値を記憶する第１メモリと、を備え、第１プロセッサは、第１光源により照明された評価対象物を撮影することで得られる第１光源画像と、第２光源により照明された評価対象物を撮影することで得られる第２光源画像とを取得し、第１光源画像を第１判定器に入力し、第１判定器の判定結果から判定確信度を算出し、判定確信度と第１メモリに記憶された確信度判定値とに基づいて、第１判定器の判定結果を使用するか、又は第２判定器の判定結果を使用するかを決定する、画像処理装置である。
　本発明の第２態様に係る画像処理装置は、第１態様において、第１プロセッサは、判定確信度が確信度判定値以上の場合には、第１判定器の判定結果を出力し、判定確信度が確信度判定値未満の場合には、第２判定器の判定結果を出力する。
　本発明の第３態様に係る画像処理装置は、第１態様において、第１メモリは、確信度判定値として第１確信度判定値と第１確信度判定値よりも小さい第２確信度判定値とを記憶し、第１プロセッサは、判定確信度が第１確信度判定値以上の場合に第１判定器の判定結果を出力し、判定確信度が第２確信度判定値未満の場合に第２判定器の判定結果を出力する。
　本発明の第４態様に係る画像処理装置は、第１態様又は第２態様において、第１プロセッサは、判定確信度が確信度判定値未満の場合には、第１光源画像に代えて第２光源画像を取得し、第２光源画像を第２判定器に入力させ、第２判定器から判定結果を出力させる。
　本発明の第５態様に係る画像処理装置は、第１態様から第３態様のいずれかにおいて、第１プロセッサは、第１光源画像と第２光源画像とを交互に連続して取得し、判定確信度と第１メモリに記憶された確信度判定値とに基づいて、第１光源画像を第１判定器に出力するか、又は第２光源画像を第２判定器に出力するかを選択する。
　本発明の第６態様に係る画像処理装置は、第１態様から第５態様のいずれかにおいて、第１判定器及び第２判定器は、それぞれ病変の有無、病変の分類、病変の重症度、又は炎症性疾患の寛解又は非寛解を示す判定結果を出力する。
　本発明の第７態様に係る画像処理装置は、第１態様から第６態様のいずれかにおいて、学習された第１判定器及び第２判定器は、それぞれ第１学習用データセット及び第２学習用データセットを用いて学習された学習済みの第１学習モデル及び第２学習モデルと、第１学習モデル及び第２学習モデルをそれぞれ実行する１つ又は２つの第２プロセッサと、からなる。
　本発明の第８態様に係る画像処理装置は、第１態様から第７態様のいずれかにおいて、第１プロセッサは、第１判定器から第１光源画像の複数の領域に対する複数の判定結果を取得し、複数の判定結果に基づいて判定確信度を算出する。
　本発明の第９態様に係る画像処理装置は、第１態様から第７態様のいずれかにおいて、第１プロセッサは、第１光源画像を連続して入力する第１判定器から、連続する複数の第１光源画像に対する複数の判定結果を取得し、複数の判定結果に基づいて判定確信度を算出する。
　本発明の第１０態様に係る画像処理装置は、第１態様から第９態様のいずれかにおいて、第１光源及び第２光源のうちの一方の光源の照明光は狭帯域の特殊光であり、他方の光源の照明光は白色光であり、第１光源画像及び第２光源画像は、それぞれ内視鏡スコープにより撮影された内視鏡画像である。
　第１１態様に係る発明は、第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、第１学習用データセット及び第２学習用データセットを用いて、それぞれ学習された第１判定器及び第２判定器と、第１プロセッサと、確信度判定値を記憶する第１メモリと、を備えた画像処理装置の作動方法であって、第１プロセッサが、第１光源により照明された評価対象物を撮影することで得られる第１光源画像と、第２光源により照明された評価対象物を撮影することで得られる第２光源画像とを取得するステップと、第１プロセッサが、第１光源画像を第１判定器に入力し、第１判定器の判定結果から判定確信度を算出するステップと、第１プロセッサが、判定確信度と第１メモリに記憶された確信度判定値とに基づいて、第１判定器の判定結果を使用するか、又は第２判定器の判定結果を使用するかを決定するステップと、を含む。
　本発明の第１２態様に係る画像処理装置の作動方法は、第１１態様において、第１プロセッサが、判定確信度が確信度判定値以上の場合には、第１判定器の判定結果を出力し、判定確信度が確信度判定値未満の場合には、第２判定器の判定結果を出力するステップを含む。
　本発明の第１３態様に係る画像処理装置の作動方法は、第１１態様において、第１メモリは、確信度判定値として第１確信度判定値と第１確信度判定値よりも小さい第２確信度判定値とを記憶し、第１プロセッサが、判定確信度が第１確信度判定値以上の場合に第１判定器の判定結果を出力し、第２確信度判定値未満の場合に第２判定器の判定結果を出力するステップを含む。
　本発明の第１４態様に係る画像処理装置の作動方法は、第１１態様から第１３態様のいずれかにおいて、第３プロセッサと、第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、複数の第１評価用データセット及び第２評価用データセットを記憶する第２メモリとを備え、第３プロセッサが、第１評価用データセット及び第２評価用データセットをそれぞれ第１判定器及び第２判定器に入力し、第１判定器及び第２判定器から複数の第１判定結果及び複数の第２判定結果を取得するステップと、第３プロセッサが、複数の第１判定結果から複数の第１判定確信度を算出するステップと、第３プロセッサが、複数の第１判定結果及び複数の第２判定結果から複数の第１判定精度及び複数の第２判定精度をそれぞれ算出するステップと、第３プロセッサが、対象物の同一箇所の第１判定精度と第２判定精度との差を示す判定精度差と、第１判定確信度との関係に基づいて、確信度判定値を算出するステップと、を含み、第１メモリは、算出した確信度判定値を記憶する。
　本発明の第１５態様に係る画像処理装置の作動方法は、第１４態様において、第３プロセッサは、判定精度差と第１判定確信度との関係を線形近似し、線形近似した直線上で判定精度差の符号が逆転するときの第１判定確信度を確信度判定値として算出する。
　本発明によれば、第１光源及び第２光源にそれぞれ対応する第１判定器及び第２判定器のうちのいずれの判定器の判定結果を使用すべきかを適切に決定することで、評価対象物に対する判定精度を高くすることができる。
図１は、本発明に係る画像処理装置として機能するプロセッサ装置を含む内視鏡システムのシステム構成図である。 図２は、図１に示した内視鏡システムを構成するプロセッサ装置のハードウェア構成の実施形態を示すブロック図である。 図３は、図２に示したプロセッサ装置を構成する主要なプロセッサの第１実施形態を示す機能ブロック図である。 図４は、第１判定器及び第２判定器の他の実施形態を示すブロック図である。 図５は、第１学習モデル及び第２学習モデルを作成する学習装置の概略図である。 図６は、本発明に係る画像処理装置の作動方法の第１実施形態を示すフローチャートである。 図７は、確信度判定値の算出方法の実施形態を示すフローチャートである。 図８は、第１判定精度及び第２判定精度等の算出方法の一例に関する図である。 図９は、確信度判定値の算出方法に関連するグラフである。 図１０は、第１判定精度及び第２判定精度等の算出方法の他の例に関する図である。 図１１は、本発明に係る画像処理装置の作動方法の第２実施形態を示すフローチャートである。 図１２は、第１確信度判定値及び第２確信度判定値の算出方法に関連するグラフである。 図１３は、確信度判定値の算出方法に関連する他のグラフである。
　以下、添付図面に従って本発明に係る画像処理装置及び画像処理装置の作動方法の好ましい実施形態について説明する。
　［システム構成］
　図１は、本発明に係る画像処理装置として機能するプロセッサ装置を含む内視鏡システムのシステム構成図である。
　図１において、内視鏡システム１は、内視鏡スコープ１０と、プロセッサ装置２０と、光源装置３０と、表示装置４０とから構成されている。
　内視鏡スコープ１０は、評価対象物である被検体の体腔内の観察領域を撮影し、医用画像である内視鏡画像を取得する。内視鏡スコープ１０の先端部には、光学系（対物レンズ）及び撮像素子等が内蔵されており、撮像素子には、対物レンズを介して観察領域からの像光が入射する。撮像素子は、その撮像面に入射した観察領域の像光を電気信号に変換し、内視鏡画像を示す画像信号を出力する。
　内視鏡スコープ１０の後端部には、内視鏡スコープ１０をプロセッサ装置２０及び光源装置３０に接続するビデオコネクタ及びライトガイドコネクタが設けられている。内視鏡スコープ１０に設けられたビデオコネクタをプロセッサ装置２０に装着することで、内視鏡スコープ１０により撮影された内視鏡画像を示す画像信号は、プロセッサ装置２０に送出される。また、内視鏡スコープ１０に設けられたライトガイドコネクタを光源装置３０に装着することで、光源装置３０から出射される照明光は、ライトガイドコネクタ及び内視鏡スコープ１０内に配設されたライトガイドを介して、内視鏡スコープ１０の先端面の照明窓から観察領域に向けて照射される。
　光源装置３０は、第１光源及び第２光源を含み、ライトガイドコネクタが装着された内視鏡スコープ１０に対し、ライトガイドコネクタを介して、内視鏡スコープ１０のライトガイドへ第１光源又は第２光源からの照明光を供給する。本例では、第１光源及び第２光源のうちの一方の光源の照明光は狭帯域の特殊光であり、他方の光源の照明光は白色光である。特殊光は、特定の狭帯域の光、或いは特定の狭帯域にピーク波長を有する観察目的に応じた各種波長帯域の光であり、白色光は、白色の広帯域の光又は波長帯域が異なる複数の広帯域の光であり、「通常光」ともいう。
　光源装置３０は、観察モード（例えば、通常光観察モード、特殊光観察モード、マルチフレーム観察モード等）に応じて、白色光、特殊光、又は白色光／特殊光を出射する。マルチフレーム観察モードの場合、光源装置３０は、白色光と特殊光とを１フレーム毎に交互に出射する。また、白色光と特殊光との切り替えは、後述するように自動的に行うこともできる。
　内視鏡スコープ１０は、第１光源からの照明光により評価対象物が照明されると、その照明された評価対象物を撮影し、第１光源画像である内視鏡画像を出力し、第２光源からの照明光により評価対象物が照明されると、その照明された評価対象物を撮影し、第２光源画像である内視鏡画像を出力する。
　即ち、内視鏡スコープ１０は、光源装置３０からの照明光の種類に応じて、特殊光画像又は白色光画像を撮影し、撮影した特殊光画像又は白色光画像を出力する。尚、本例では、第１光源及び第２光源のうちの一方の光源の照明光は狭帯域の特殊光であり、他方の光源の照明光は白色光である。
　内視鏡スコープ１０は、光源装置３０から特殊光が出射されると、特殊光画像として、例えば、ＢＬＩ（Blue Light Imaging or Blue LASER Imaging）画像、あるいはＬＣＩ（Linked Color Imaging）画像を撮影することができ、光源装置３０から白色光が出射されると、白色光画像（ＷＬＩ（White Light Imaging)画像）を撮影することができる。
　ＢＬＩ用の特殊光は、表層血管での吸収率が高いＶ（Violet）光の比率が高く、中層血管での吸収率が高いＧ（Green）光の比率を抑えた照明光であり、評価対象物である被検体の粘膜表層の血管や構造の強調に適した画像（ＢＬＩ画像）の生成に適している。
　また、ＬＣＩ用の特殊光は、Ｖ光の比率がＷＬＩ用の白色光に比べて高く、ＷＬＩ用の照明光と比べて微細な色調変化を捉えるのに適した照明光であり、ＬＣＩ画像は、Ｒ（Red） 成分の信号も利用して粘膜付近の色を中心に、赤味を帯びている色はより赤く、白っぽい色はより白くなるような色強調処理が行われた画像である。
　尚、本例の特殊光は、410ｎｍの波長域にピーク波長を有する狭帯域の特殊光であり、その特殊光下で撮影された内視鏡画像は、「410ｎｍ画像」ともいう。
　［プロセッサ装置］
　図２は、図１に示した内視鏡システムを構成するプロセッサ装置のハードウェア構成の実施形態を示すブロック図である。
　図２に示すプロセッサ装置２０は、画像取得部２１、第１プロセッサであるプロセッサ２２、第１判定器２３、第２判定器２４、表示制御部２５、入出力インターフェース２６、メモリ２７、及び操作部２８から構成されている。
　画像取得部２１は、内視鏡スコープ１０のビデオコネクタが接続されるコネクタを含み、内視鏡スコープ１０の先端部に配設された撮像素子により撮影された内視鏡画像を内視鏡スコープ１０からコネクタを介して取得する。また、プロセッサ装置２０は、内視鏡スコープ１０の手元操作部での操作によるリモート信号を内視鏡スコープ１０が接続されるコネクタを介して取得する。リモート信号には、静止画撮影を指示するレリーズ信号等を含む。
　プロセッサ２２は、ＣＰＵ（Central Processing Unit）等から構成され、プロセッサ装置２０の各部を統括制御するとともに、内視鏡スコープ１０から取得した内視鏡画像の画像処理、第１判定器２３又は第２判定器２４のいずれにより評価対象物を評価するかを決定するための処理、及び内視鏡スコープ１０を介して取得するレリーズ信号による静止画の取得及び保存処理等を行う処理部として機能する。
　第１判定器２３又は第２判定器２４は、それぞれ入力する内視鏡画像に基づいて評価対象物の観察領域の状態を推論するＡＩ（Artificial Intelligence）処理を行う部分であり、第１判定器２３は、特殊光画像を入力して特殊光画像に対する判定結果を出力し、第２判定器２４は、白色光画像を入力して白色光画像に対する判定結果を出力する。
　第１判定器２３及び第２判定器２４は、それぞれ入力画像から評価対象物に含まれる病変の有無、病変の分類、病変の重症度、又は炎症性疾患の寛解又は非寛解を示す判定結果を出力する。また、第１判定器２３及び第２判定器２４から出力される判定結果は、判定確率（0.0～1.0）を含めることができる。尚、第１判定器２３及び第２判定器２４の詳細については後述する。
　表示制御部２５は、プロセッサ２２から加えられる画像処理後の内視鏡画像（動画又は静止画）、及び第１判定器２３又は第２判定器２４の判定結果に基づいて表示用画像を生成し、表示用画像を表示装置４０に出力する。
　メモリ２７は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Accuracyess Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ又はハードディスク装置は、プロセッサ２２が実行する各種のプログラム等を記憶する不揮発性メモリである。ＲＡＭは、プロセッサ２２による処理の作業領域として機能し、また、フラッシュメモリ等に格納されたプログラム等を一時的に記憶する。
　また、メモリ２７は、確信度判定値を記憶する第１メモリとして機能する。確信度判定値は、プロセッサ２２が算出する判定確信度と比較され、第１判定器の２３判定結果を使用するか、又は第２判定器２４の判定結果を使用するかを決定するために使用される閾値である。尚、確信度判定値お及び判定確信度の詳細については後述する。
　また、メモリ２７は、確信度判定値の算出に使用する複数の第１評価用データセット及び第２評価用データセットを記憶する第２メモリとして機能する。更に、メモリ２７は、内視鏡診断中に撮影された静止画を保存することができる。
　表示制御部２５は、プロセッサ２２から加えられる画像処理後の観察画像（動画、又は静止画）、及びプロセッサ２２によりＡＩ処理された観察領域の状態の推定結果に基づいて表示用画像を生成し、表示用画像を表示装置４０に出力する。
　入出力インターフェース２６は、外部機器と有線及び／又は無線接続する接続部、及びネットワークと接続可能な通信部等を含む。入出力インターフェース２６を介して接続されるパーソナルコンピュータ等の外部機器に内視鏡画像を送信することで、その外部機器に本発明に係る画像処理装置の一部、又は全部の機能を持たせるようにしてもよい。
　また、プロセッサ装置２０は、入出力インターフェース２６を介して図示しないストレージと接続される。図示しないストレージは、プロセッサ装置２０にＬＡＮ（Local Area Network）等で接続した外部記憶装置であり、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の医用画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。
　操作部２８は、電源スイッチ、ホワイトバランスや光量、ズーミングなどを手動で調整するスイッチ、観察モードを設定するためのスイッチ等を含む。
　［プロセッサの第１実施形態］
　図３は、図２に示したプロセッサ装置を構成する主要なプロセッサの第１実施形態を示す機能ブロック図である。
　図３に示すように、プロセッサ２２は、画像取得部１１０、判定確信度算出部１１２、決定部１１４、及び選択部１１６を備えている。
　画像取得部１１０は、プロセッサ装置２０の画像取得部２１が内視鏡スコープ１０から取得した特殊光画像１００又は白色光画像１０２を取得する部分である。本例では、観察モードとして、マルチフレーム観察モードが設定され、特殊光画像１００と白色光画像１０２とが交互に撮影され、画像取得部１１０は、１フレーム毎に特殊光画像１００と白色光画像１０２とを交互に取得するものとする。
　プロセッサ２２は、第１光源画像である特殊光画像１００を第１判定器２３に入力し、第２光源画像である白色光画像１０２を第２判定器２４に入力する。
　第１判定器２３及び第２判定器２４は、それぞれ第１光源（特殊光光源）と第２光源（白色光光源）のそれぞれで照明された対象物を撮影することで得られた、第１学習用データセット及び第２学習用データセットを用いて、それぞれ学習されたものである。
　本例の第１判定器２３及び第２判定器２４は、それぞれ炎症性疾患の寛解又は非寛解を判定するように学習したものであり、判定結果として「寛解」又は「非寛解」を示す情報と、「寛解」及び「非寛解」の判定確率を示す情報とを出力することができる。判定確率を示す情報は、例えば、（0.0～1.0）の値を示し、総和が「1.0」となる情報である。
　第１判定器２３は、入力する特殊光画像１００に対する判定結果を選択部１１６のＡ入力に出力するとともに、判定確信度算出部１１２に出力する。第２判定器２４は、入力する白色光画像１０２に対する判定結果を選択部１１６のＢ入力に出力する。
　判定確信度算出部１１２は、第１判定器２３から入力される判定結果に基づいて判定確信度（特殊光ＡＩ判定確信度）を算出する。
　本例の判定確信度算出部１１２は、次式により、特殊光ＡＩ判定確信度（confidence _410）を算出する。
［数１］
　confidence_410＝|probability（寛解）－probability（非寛解）|
　［数１］式において、probability（寛解）は寛解の判定確率であり、probability（非寛解）は非寛解の判定確率である。即ち、判定確信度算出部１１２は、第１判定器２３の判定結果から寛解の判定確率と非寛解の判定確率との差を算出し、算出した差の絶対値を特殊光ＡＩ判定確信度として算出する。
　判定確信度算出部１１２により算出された特殊光ＡＩ判定確信度（confidence _410）は、決定部１１４に出力される。
　決定部１１４の他の入力には、第１メモリとして機能するメモリ２７から確信度判定値が加えられており、決定部１１４は、特殊光ＡＩ判定確信度（confidence _410）と確信度判定値とに基づいて、第１判定器２３の判定結果を使用するか、又は第２判定器２４の判定結果を使用するかを決定する。第１実施形態のプロセッサ２２（決定部１１４）は、特殊光ＡＩ判定確信度（confidence _410）が、確信度判定値以上の場合には、第１判定器２３の判定結果を出力し、特殊光ＡＩ判定確信度（confidence _410）が、確信度判定値未満の場合には、第２判定器２４の判定結果を出力する決定を行う。
　選択部１１６は、決定部１１４での決定結果を切替情報として入力し、第１判定器２３の判定結果を出力する切替情報を入力する場合には、Ａ入力に入力する第１判定器２３の判定結果を選択して出力し、第２判定器２４の判定結果を出力する切替情報を入力する場合には、Ｂ入力に入力する第２判定器２４の判定結果を選択して出力する。
　これにより、特殊光画像及び白色光画像のうち、評価対象物に対する判定精度がより高くなる画像を使用した判定結果を取得することができる。
　＜第１判定器及び第２判定器の他の実施形態＞
　図４は、第１判定器及び第２判定器の他の実施形態を示すブロック図である。
　図２に示したプロセッサ装置２０は、プロセッサ２２とは別に第１判定器２３及び第２判定器２４を備えているが、図４に示す実施形態では、プロセッサ２２が、第１判定器２３及び第２判定器２４の一部を兼ねている。
　即ち、メモリ２７には、第１光源である特殊光光源で照明された対象物を撮影することで得られた第１学習用データセットを用いて学習した学習済みの第１学習モデル２３Ａと、第２光源である白色光光源で照明された対象物を撮影することで得られた第２学習用データセットを用いて学習した学習済みの第２学習モデル２４Ａとが記憶されている。
　プロセッサ２２は、メモリ２７から第１学習モデル２３Ａを読み出し、入力する特殊光画像１００に対して第１学習モデル２３Ａの処理を実行することで、第１判定器２３として機能し、メモリ２７から第２学習モデル２４Ａを読み出し、入力する白色光画像１０２に対して第２学習モデル２４Ａの処理を実行することで、第２判定器２４として機能する。
　尚、プロセッサ２２の代わりに、それぞれ第１学習モデル２３Ａ及び第２学習モデル２４Ａをそれぞれ実行する１つ又は２つの別のプロセッサ（第２プロセッサ）を使用するものでもよい。
　＜学習モデル＞
　図５は、第１学習モデル及び第２学習モデルを作成する学習装置の概略図である。
　この学習装置は、プロセッサ２００とメモリ２１０とを備えている。
　メモリ２１０は、学習モデル２１１と、第１学習用データセット２１２と、第２学習用データセット２１３と、第１パラメータ群２１４と、第２パラメータ群２１５とを記憶している。
　学習モデル２１１は、汎用の学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を適用することができる。ＣＮＮは、複数の畳み込み層、複数のプーリング層等の複数のレイヤ構造を有する。第１パラメータ群２１４及び第２パラメータ群２１５は、ＣＮＮの畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数や、各層のユニット間を接続する重みなどであり、学習前は初期値が設定されている。
　第１学習用データセット２１２及び第２学習用データセット２１３は、同一箇所を撮影した特殊光画像と白色光画像の２枚を１セットとするＮセットと、各セットに正解データが付与されたデータセットである。したがって、第１学習用データセット２１２は、Ｎ枚の特殊光画像とそれに対応する正解データとからなるデータセットであり、第２学習用データセット２１３は、Ｎ枚の白色光画像とそれに対応する正解データとからなるデータセットである。炎症性腸疾患の場合、正解データは、領域毎に医師が内視鏡画像を目視し、内視鏡的重症度を採点する、あるいは、領域毎に生検等を行い、病理的重症度を採点する、ことによって取得することができる。また、第１学習用データセット２１２及び第２学習用データセット２１３は、多数の患者から取得されることが好ましい。
　プロセッサ２００は、第１学習モデル２３Ａの学習を行う場合、第１学習用データセット２１２を構成する特殊光画像を入力画像として学習モデル２１１の処理を実行し、出力データと特殊光画像とペアの正解データとの誤差（損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどがある。そして、計算した損失値を元に、誤差逆伝播法により第１パラメータ群２１４を調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまで第１パラメータ群２１４の更新を繰り返す。これをＮ個からなる第１学習用データセット全てを使用して行うことで、第１パラメータ群２１４を最適化する。
　同様に、プロセッサ２００は、第２学習モデル２３Ｂの学習を行う場合、第２学習用データセット２１３を使用し、第２パラメータ群２１５を最適化させる。
　図４に示した第１学習モデル２３Ａは、学習モデル２１１と最適化された第１パラメータ群２１４とから構成され、第２学習モデル２４Ａは、学習モデル２１１と最適化された第２パラメータ群２１５とから構成されたものである。したがって、汎用の学習モデル２１１に加えて、図５に示した学習装置により最適化された第１パラメータ群２１４及び第２パラメータ群２１５を、メモリ２７に記憶させることで、実質的に第１学習モデル２３Ａ及び第２学習モデル２３Ｂを記憶させることになる。
　［画像処理装置の作動方法の第１実施形態］
　図６は、本発明に係る画像処理装置の作動方法の第１実施形態を示すフローチャートである。
　第１実施形態の画像処理装置の作動方法は、例えば、図３に示した第１判定器２３、第２判定器２４、第１プロセッサであるプロセッサ２２、及び第１メモリであるメモリ２７を備えた画像処理装置を作動させる方法であり、プロセッサ２２は、図６に示したフローチャートにしたがって、以下に示す各種の処理を実行する。
　図６において、プロセッサ２２は、マルチフレーム観察モード時に内視鏡スコープ１０により撮影された特殊光画像１００と白色光画像１０２とを交互に取得する（ステップＳ１００）。尚、ステップＳ１０では、特殊光画像１００と白色光画像１０２とを１フレーム毎に交互に取得するが、これに限らず、例えば、２フレーム置きに交互に取得してもよい。
　特殊光画像１００は第１判定器２３に入力され、第１判定器２３から判定結果が出力されるが、プロセッサ２２は、第１判定器２３から判定結果を取得し（ステップＳ２０）、取得した判定結果から判定確信度を算出する（ステップＳ３０）。尚、判定確信度（特殊光ＡＩ判定確信度（confidence _410））は、前述した［数１］式により算出することができる。
　プロセッサ２２は、ステップＳ３０で算出した特殊光ＡＩ判定確信度（confidence _410）と、メモリ２７に記憶された確信度判定値とを比較し（ステップＳ４０）、特殊光ＡＩ判定確信度（confidence _410）が確信度判定値以上（判定確信度≧確信度判定値）の場合、ステップＳ５０に遷移させ、第１判定器２３の判定結果を出力し、特殊光ＡＩ判定確信度（confidence _410）が確信度判定値未満（判定確信度＜確信度判定値）の場合、ステップＳ６０に遷移させ、白色光画像１０２を入力する第２判定器２４の判定結果を出力する。
　これにより、特殊光画像及び白色光画像のうち、評価対象物に対する判定精度がより高くなる画像を使用した判定結果を選択して出力することができる。
　続いて、プロセッサ２２は、内視鏡画像による診断を終了させるか否かを、操作部２８でのユーザ操作等により判別する（ステップＳ７０）。診断を終了させないと判別すると、プロセッサ２２は、ステップＳ１０に遷移させ、ステップＳ１０からステップＳ７０の処理を繰り返し実行し、診断を終了させると判別すると、プロセッサ２２は、本処理を終了する。
　尚、ステップＳ５０又はステップＳ６０において出力される判定結果は、内視鏡画像とともに表示装置４０に表示され、これにより、ユーザによる内視鏡画像による診断を支援することができる。
　＜確信度判定値の算出方法＞
　次に、メモリ２７に記憶させる確信度判定値の算出方法について説明する。
　図７は、確信度判定値の算出方法の実施形態を示すフローチャートである。
　確信度判定値の算出方法は、本発明に係る画像処理装置の作動方法に含まれる方法であり、画像処理装置は、第３プロセッサと、第２メモリとを更に備える。
　第３プロセッサは、第１プロセッサとして機能するプロセッサ２２と同一であってもよいし、別のプロセッサでもよい。以下、プロセッサ２２が、第３プロセッサとして機能する場合について説明する。
　第２メモリは、第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、複数の第１評価用データセット及び第２評価用データセットを記憶するメモリであり、本例では、メモリ２７が、第２メモリとして機能する。
　メモリ２７に記憶された複数の第１評価用データセット及び第２評価用データセットは、第１判定器２３及び第２判定器２４の学習に使用した第１学習用データセット及び第２学習用データセットとは異なるデータセットであり、同一箇所を撮影した特殊光画像と白色光画像の２枚を１セットとするＭセットと、各セットに正解データが付与されたデータセットである。尚、第１評価用データセット及び第２評価用データセットとして、第１学習用データセット及び第２学習用データセットの一部を使用してもよい。
　図７において、第３プロセッサとして機能するプロセッサ２２は、確信度判定値を算出する場合、まず、第１評価用データセット及び第２評価用データセットのうちの１セットのデータセットを示すパラメータｉを１にセットする（ステップＳ１００）。
　続いて、プロセッサ２２は、パラメータｉに基づいてメモリ２７からｉ番目の特殊光画像と白色光画像の１セットの評価用データセットを取得する（ステップＳ１０２）。プロセッサ２２は、取得した評価用データセットのうちの特殊光画像を第１判定器２３に入力し、第１判定器２３から判定結果（第１判定結果）を取得し（ステップＳ１０４）、同様にセットの白色光画像を第２判定器２４に入力し、第２判定器２４から判定結果（第２判定結果）を取得する（ステップＳ１０６）。
　次に、プロセッサ２２は、ステップＳ１０４で取得した第１判定結果から第１判定精度（410nm-AI判定精度)を算出し（ステップＳ１０８）、ステップＳ１０６で取得した第２判定結果から第２判定精度（WLI-AI判定精度)を算出する（ステップＳ１１０）。
　ここで、ステップＳ１０８及びステップＳ１１０における第１判定精度及び第２判定精度の算出方法の一例について説明する。
　図８は、第１判定精度及び第２判定精度等の算出方法の一例に関する図である。
　図８には、第１評価用データセット及び第２評価用データセットの一部として、大腸の４箇所（a1,a2,b1,b2）で撮影された、特殊光画像（a1_410, a2_410, b1_410, b2_410）、及び白色光画像(a1_WLI, a2_WLI, b1_WLI, b2_WLI)の４セットが示されている。
　いま、ステップＳ１０８及びステップＳ１１０において、大腸の同一箇所(ｉ)で撮影した特殊光画像（i_410）と白色光画像(i_WLI)の２枚１セットの、第１判定器２３による第１判定結果及び第２判定器２４による第２判定結果として、図８に示すように特殊光画像の複数の領域（３×３分割された９つの領域）における炎症性疾患の「寛解」又は「非寛解」を示す複数の判定結果を取得する。９つの領域の各領域が、「寛解」か又は「非寛解」かの判定は、各領域の判定確率（0.0～1.0）が0.5以上か否かにより行うことができる。
　そして、ステップＳ１０８では、特殊光画像（i_410）の９つの領域における９つの判定結果（第１判定結果）が、正解データに対して、例えば全て正解の場合、特殊光画像（i_410）に対する第１判定精度（410nm-AI判定精度）として、accuracy_i_410＝9/9を算出する。同様に、ステップＳ１１０では、白色光画像（i_WLI）の９つの領域における９つの判定結果（第２判定結果）が、正解データに対して、例えば３つ正解の場合、白色光画像（i_WLI）に対する第２判定精度（WLI-AI判定精度）として、accuracy_i_WLI＝3/9を算出する。
　図７に戻って、プロセッサ２２は、ステップＳ１０４で取得した第１判定結果から第１判定確信度ｘiを、次式により算出する（ステップＳ１１２）。
Figure JPOXMLDOC01-appb-M000001
　［数２］式において、probability（寛解）は寛解の判定確率であり、probability（非寛解）は非寛解の判定確率である。また、９は、図８に示したように１枚の特殊光画像において、判定確率を求めた複数の領域の数である。即ち、ステップＳ１１２では、第１判定器２３の判定結果から、特殊光画像における９つの領域における、寛解の判定確率と非寛解の判定確率との差を算出し、算出した差の絶対値の９つの平均値を、第１判定確信度ｘiとして算出する。
　また、プロセッサ２２は、ステップＳ１０８及びステップＳ１１０で算出した第１判定精度である410nm-AI判定精度（accuracy_i_410）と第２判定精度であるWLI-AI判定精度（accuracy_i_WLI）との差である、判定精度差ｙiを、次式により算出する（ステップＳ１１４）。
［数３］
　ｙi＝accuracy_i_410－accuracy_i_WLI
　プロセッサ２２は、ステップＳ１１２で算出した第１判定確信度ｘiをｘ座標値、ステップＳ１１４で算出した判定精度差ｙiを座標値とする、点Ｐi(ｘi, ｙi)をメモリ２７に保存する（ステップＳ１１６）。
　続いて、プロセッサ２２は、パラメータｉがＭになったか否かを判別し（ステップＳ１１８）、ｉ≠Ｍの場合（「No」の場合）には、パラメータｉを１だけインクリメントし（ステップＳ１２０）、ステップＳ１０２に戻る。
　ｉ＝Ｍの場合（「Yes」の場合）には、ステップＳ１２２に遷移する。この場合、ステップＳ１０２からステップＳ１１８までの処理がＭ回（複数回）繰り返されているため、＊＊個の第１判定確信度ｘiが取得される。同様に、Ｍ個の第１判定結果からＭ個の第１判定精度（410nm-AI判定精度）が算出され、Ｍ個の第２判定結果からＭ個の第２判定精度（WLI-AI判定精度）が算出され、これらの第１判定精度と第２判定精度との差を示すＭ個の判定精度差ｙiが取得される。その結果、メモリ２７には、Ｍ個の点Ｐi(i＝1～Ｍ)が保存される。ステップＳ１２２は、Ｍプロットからなるグラフを形成する。
　図９は、確信度判定値の算出方法に関連するグラフである。
　図９は、Ｍ個の点がプロットされたグラフの一例を示す。潰瘍性大腸炎を対象とし、特殊光画像として410nm画像を用いて検討した結果、図９のグラフが得られた。
　図９において、横軸（ｘ軸）は、特殊光ＡＩ判定確信度であり、縦軸（ｙ軸）は、判定精度差である。
　図９から特殊光ＡＩ判定確信度が高いほど、WLI-AI判定精度に比べて410nm-AI判定精度が高く、特殊光ＡＩ判定確信度が低いほど、410nm-AI判定精度に比べてWLI-AI判定精度が高くなることが分かった。つまり、特殊光ＡＩ判定確信度に対し、判定精度差が線形となることを見出した。換言すると、WLI画像と410nm画像とは、それぞれ判定を得意とするシーンが異なり、410nm画像が判定を得意とするシーンではWLI画像は判定が苦手であり、一方、WLI画像が判定を得意とするシーンでは410nm画像は判定が苦手となる。
　これは潰瘍性大腸炎だけでなく、２つの光源が異なる波長構成をもち、捕捉できる特徴が異なる限り、どのような疾患であっても成り立つ。
　プロセッサ２２は、判定精度差と第１判定確信度との関係を線形近似し、線形近似した直線上で判定精度差の符号が逆転するときの第１判定確信度（線形近似した直線がｘ軸と交わる点のｘ座標値）を確信度判定値として算出し、メモリ２７に記憶させる（ステップＳ１２６）。
　例えば、上記のようにして算出し、メモリ２７に記憶させた確信度判定値が0.8の場合、第１判定器２３の特殊光画像の判定結果から算出した判定確信度が、0.8よりも小さくなると、第２判定器２４の白色光画像の判定結果の方が、判定精度が高くなるため、第１判定器２３の判定出力から第２判定器２４の判定出力に切り替えることが好ましい。
　つまり、図９に示すように特殊光ＡＩ判定確信度に対し、判定精度差が線形となることから、この線形関係を利用し、診断中に特殊光ＡＩ判定確信度を参照することで、今のシーンを判定するにはどの光源が適しているかセンシングすることができる。即ち、診断中に特殊光ＡＩ判定確信度を算出し、特殊光ＡＩ判定確信度が確信度判定値以上であれば410nm-AI判定精度の方が、WLI-AI判定精度よりも診断精度が高い（シーン適正が高い）と判断し、逆に特殊光ＡＩ判定確信度が確信度判定値未満であれば、WLI-AI判定精度の方が、410nm-AI判定精度よりも診断精度が高いと判断することができる。これにより、第１判定器２３の判定結果と第２判定器２４の判定結果とを適切に選択して出力することができる。
　＜光源ごとに判定に適するシーンが異なる理由＞
　［疾患種］
　炎症性疾患等の粘膜の赤味をもとに重症度を判断するにはWLI画像が向いており、腫瘍性疾患等のポリープの血管走行状態や粘膜の凹凸状態をもとに重症度を判断するには特殊光画像が向いている。
　［撮影条件］
　特殊光画像は表層の血管や粘膜の状態がWLI画像に比べてよくわかるため、これらの特徴量が明瞭に映る比較的近景の画像では特殊光画像での診断が向いている。しかし、特殊光画像はWLI画像よりも一般に暗いため、遠景の画像では、画像が明るいWLI画像の方が血管や粘膜の状態を視認しやすく診断に向いている。
　［重症度］
　例えば、炎症性疾患では、明らかな軽症では粘膜の赤味が弱く、明らかな重症では粘膜の赤味が弱い。このため、明らかな軽症や重症域を検出、鑑別する際には、粘膜の赤味が良くわかるWLI画像による診断が向いている。しかし、中等症域では、粘膜の赤味が一定でなく、粘膜の赤味よりも表層血管の形態や出血の程度の方が中等症域内での重症度と相関が良い。したがって、中等症域の検出や鑑別ではWLI画像より特殊光画像の方が向いている。
　図１０は、第１判定精度及び第２判定精度の算出方法の他の例に関する図である。
　図１０には、第１評価用データセット及び第２評価用データセットの一部として、大腸の４箇所（a1,a2,b1,b2）でそれぞれ複数回撮影された、複数枚ずつの特殊光画像（a1_410, a2_410, b1_410, b2_410）、及び複数枚ずつの白色光画像(a1_WLI, a2_WLI, b1_WLI, b2_WLI)の複数枚×４セットが示されている。複数枚としては、１秒間に撮影されるフレーム数とすることができる。
　この場合、大腸の同一箇所(ｉ)で撮影した複数枚の特殊光画像（i_410）について、それぞれ図８を用いて説明した第１判定精度accuracy_i_410を算出し、算出した複数の第１判定精度accuracy_i_410の平均値を、第１判定精度average(accuracy_i_410)とすることができる。
　同様に、複数枚の白色光画像（i_WLI）について、それぞれ図８を用いて説明した第２判定精度accuracy_i_WLIを算出し、算出した複数の第２判定精度accuracy_i_WLIの平均値を、第２判定精度average(accuracy_i_WLI)とすることができる。
　この場合、判定精度差ｙiは、第１判定精度average(accuracy_i_410)と第２判定精度average(accuracy_i_WLI)との差である平均判定精度差とする。
　一方、第１判定確信度ｘiは、［数２］式により複数枚分の第１判定確信度をそれぞれ算出し、算出した複数枚分の第１判定確信度を平均した平均判定確信度average(confidence_i_410)とすることができる。
　図８に示したように画像単位でなく、ロバスト性を上げるため連続する複数枚の画像の平均判定精度差、平均判定確信度を使って、図９に示したようなグラフを作成し、確信度判定値を求めることができる。
　また、図６のステップＳ３０において、判定確信度（特殊光ＡＩ判定確信度（confidence_410））は、［数１］式により算出したが、［数２］式により算出してもよいし、複数枚の平均判定確信度として算出するようにしてもよい。
　［画像処理装置の作動方法の第２実施形態］
　図１１は、本発明に係る画像処理装置の作動方法の第２実施形態を示すフローチャートである。
　尚、図１１において、図６に示した第１実施形態の画像処理装置の作動方法と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
　第２実施形態の画像処理装置の作動方法は、例えば、図３に示した第１判定器２３、第２判定器２４、第１プロセッサであるプロセッサ２２、及び第１メモリであるメモリ２７を備えた画像処理装置を作動させる方法であり、メモリ２７は、確信度判定値として第１確信度判定値と、この第１確信度判定値よりも小さい第２確信度判定値とを記憶している。
　図１１に示す第２実施形態の画像処理装置の作動方法は、図６に示したステップＳ４０の代わりに、ステップＳ４２及びステップＳ４４の処理を行う点で、第１実施形態の画像処理装置の作動方法と相違する。
　プロセッサ２２は、ステップＳ３０で算出した判定確信度（特殊光ＡＩ判定確信度（confidence_410））と、メモリ２７に記憶された第１確信度判定値とを比較し（ステップＳ４２）、特殊光ＡＩ判定確信度（confidence_410）が第１確信度判定値以上（判定確信度≧第１確信度判定値）の場合、ステップＳ５０に遷移させ、第１判定器２３の判定結果を出力し、特殊光ＡＩ判定確信度（confidence_410）が第１確信度判定値未満（判定確信度＜第１確信度判定値）の場合、ステップＳ４４に遷移させる。
　プロセッサ２２は、ステップＳ４４において、更に特殊光ＡＩ判定確信度（confidence_410））と、メモリ２７に記憶された第２確信度判定値とを比較し、特殊光ＡＩ判定確信度（confidence_410）が第２確信度判定値未満（判定確信度＜第２確信度判定値）の場合、ステップＳ６０に遷移させ、白色光画像１０２を入力する第２判定器２４の判定結果を出力する。
　一方、ステップＳ４４において、特殊光ＡＩ判定確信度（confidence_410）が第２確信度判定値以上（即ち、第２確信度判定値≦判定確信度＜第１確信度判定値）の場合には、第１判定器２３の判定結果、及び第２判定器２４の判定結果のいずれも出力せずに、ステップＳ７０に遷移させる。
　次に、第１確信度判定値及び第２確信度判定値について説明する。
　図１２は、第１確信度判定値及び第２確信度判定値の算出方法に関連するグラフである。
　図１２に示すグラフは、Ｍセットの第１評価用データセット及び第２評価用データセットに基づいて算出したＭ個の点がプロットされたグラフの他の例を示す図である。
　尚、Ｍ個の点Ｐi(ｘi, ｙi)(ｉ＝1～Ｍ)の算出方法は、図７を使用して説明した方法と同様にして行うことができる。
　プロセッサ２２は、図１２に示したグラフから線形近似線を算出するが、本例の線形近似線は、図１２上の点線で示すように、ｙ＝92.31ｘ－71.47となった。この場合、線形近似線がｘ軸と交差する点Ｂは、0.77であり、図７に示した確信度判定値の算出方法では、確信度判定値として、0.77をメモリ２７に記憶させている。
　第２実施形態の画像処理装置の作動方法は、図１２に示した点Ｂに示した確信度判定値の代わりに、点Ｂよりも大きい点Ｃの確信度判定値（第１確信度判定値）、及び点Ｂよりも小さい点Ａの確信度判定値（第２確信度判定値）をメモリ２７に記憶させ、これらの第１確信度判定値及び第２確信度判定値をそれぞれ閾値として使用する。
　点Ｃの第１確信度判定値は、図１２に示した正の点Ｐｉを囲む枠内における線形近似線の最大値ｙmaxのα％の値をとるｘ座標値とすることができ、点Ａの第２確信度判定値は、図１２に示した負の点Ｐｉを囲む枠内における線形近似線の最小値ｙminのβ％の値をとるｘ座標値とすることができ、同様に点Ｃの第２確信度判定値は、図１２に示した正の点Ｐｉを囲む枠内における線形近似線の最大値ｙmaxのβ％の値をとるｘ座標の値とすることができる。
　また、点Ｃの第１確信度判定値、及び点Ａの第２確信度判定値は、点Ｂの確信度判定値を基準にして、Ｂ点よりも第１設定値だけ大きい値、及びＢ点よりも第２設定値だけ小さい値とすることができる。
　尚、上記のα、β、あるいは第１設定値、第２設定値は、ユーザが適宜設定できることが好ましい。
　また、第２実施形態の画像処理装置の作動方法は、特殊光ＡＩ判定確信度が、第１確信度判定値と第２確信度判定値との間の場合には、第１判定器２３の判定結果、及び第２判定器２４の判定結果のいずれも出力させないようにしたが、これに限らず、例えば、第１判定器２３の判定結果の出力中に、特殊光ＡＩ判定確信度が第２確信度判定値未満になった場合に第２判定器２４の判定結果の出力に切り替え、第２判定器２４の判定結果の出力中に、特殊光ＡＩ判定確信度が第１確信度判定値以上になった場合に第１判定器２３の判定結果の出力に切り替えるようにしてもよい。
　また、図９及び図１２に示すグラフの横軸（ｘ軸）は、特殊光ＡＩ判定確信度としたが、これに限らず、白色光ＡＩ判定確信度としてよい。尚、白色光ＡＩ判定確信度は、特殊光ＡＩ判定確信度の算出方法と同様に、［数１］式、又は［数２］式により算出することができる。但し、［数１］式及び［数２］式におけるprobability（寛解）及びprobability（非寛解）は、第２判定器２４の判定結果から算出された寛解の判定確率と非寛解の判定確率である。
　更に、図９及び図１２に示すグラフの縦軸（ｙ軸）は、410nm-AI判定精度（accuracy_i_410）からWLI-AI判定精度（accuracy_i_WLI）を減算した判定精度差であるが、WLI-AI判定精度（accuracy_i_WLI）から410nm-AI判定精度（accuracy_i_410）を減算した判定精度差でもよい。
　図１３は、確信度判定値の算出方法に関連する他のグラフである。
　図１３において、右下のグラフは、図１２に示したグラフと同じであり、左下のグラフは、横軸（ｘ軸）が、特殊光ＡＩ判定確信度の代わりに白色光ＡＩ判定確信度を使用している点で、右下のグラフと異なる。
　左下のグラフから線形近似線を算出すると、ｙ＝-47.124ｘ+30.021となった。この場合、線形近似線がｘ軸と交差する点は、0.64であり、右下のグラフから算出した点Ｂ（図１２参照）の確信度判定値(0.77)とは異なる値をとる。
　そこで、図１３の上のグラフに示すように、判定確信度を、特殊光ＡＩ判定確信度と白色光ＡＩ判定確信度の２軸とし、診断中に算出した特殊光ＡＩ判定確信度と白色光ＡＩ判定確信度とから第１判定器２３及び第２判定器２４の判定結果のうちのいずれを出力するか、又は特殊光光源、白色光光源のいずれを選択するかを総合的に決定することが好ましい。
　例えば、特殊光ＡＩ判定確信度の確信度判定値と、白色光ＡＩ判定確信度の確信度判定値とをメモリ２７に記憶させ、診断中に特殊光ＡＩ判定確信度と白色光ＡＩ判定確信度とを算出し、算出した特殊光ＡＩ判定確信度と白色光ＡＩ判定確信度と、メモリ２７に記憶させた２つの確信度判定値とをそれぞれ比較して、第１判定器２３及び第２判定器２４の判定結果のうちのいずれを出力するか、又はいずれも出力しない等の決定を行うことができる。
［その他］
　本実施形態では、特殊光画像と白色光画像とを交互に連続して取得する場合について説明したが、これに限らず、第１光源又は第２光源のうちのいずれか一方を自動的に選択し、第１光源画像又は第２光源画像（特殊光画像、白色光画像）を選択的に取得するようにしてもよい。例えば、第１光源画像が選択されている場合には、第１光源画像を入力する第１判定器の判定結果から判定確信度を算出し、算出した判定確信度と第１メモリに記憶された確信度判定値とに基づいて第１判定器又は第２判定器のいずれを使用するか（第１光源又は第２光源のうちのいずれを選択するか）を決定し、また、第２光源画像が選択されている場合には、第２光源画像を入力する第２判定器の判定結果から判定確信度を算出し、算出した判定確信度と第１メモリに記憶された確信度判定値とに基づいて第１判定器又は第２判定器のいずれを使用するか（第１光源又は第２光源のうちのいずれを選択するか）を決定することができる。
　また、特殊光画像は、例えば、ＢＬＩ画像、ＬＣＩ画像のように２種類以上の異なる特殊光画像を含んでいてもよい。この場合、ＢＬＩ画像、及びＬＣＩ画像にそれぞれ対応する判定器、及び確信度判定値を準備する必要がある。
　本発明に係る画像処理装置の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　内視鏡システム
１０　内視鏡スコープ
１１　判定確信度算出部
２０　プロセッサ装置
２１　画像取得部
２２、２００　プロセッサ
２３　第１判定器
２３Ａ　第１学習モデル
２３Ｂ　第２学習モデル
２４　第２判定器
２４Ａ　第２学習モデル
２５　表示制御部
２６　入出力インターフェース
２７、２１０　メモリ
２８　操作部
３０　光源装置
４０　表示装置
１００　特殊光画像
１０２　白色光画像
１１０　画像取得部
１１２　判定確信度算出部
１１４　決定部
１１６　選択部
２１１　学習モデル
２１２　第１学習用データセット
２１３　第２学習用データセット
２１４　第１パラメータ群
２１５　第２パラメータ群
Ｓ１０～Ｓ７０、Ｓ１００～Ｓ１２６　ステップ

Claims (15)

  1. 　第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、第１学習用データセット及び第２学習用データセットを用いて、それぞれ学習された第１判定器及び第２判定器と、
    　第１プロセッサと、
    　確信度判定値を記憶する第１メモリと、を備え、
    　前記第１プロセッサは、
    　前記第１光源により照明された評価対象物を撮影することで得られる第１光源画像と、前記第２光源により照明された前記評価対象物を撮影することで得られる第２光源画像とを取得し、
    　前記第１光源画像を前記第１判定器に入力し、前記第１判定器の判定結果から判定確信度を算出し、
    　前記判定確信度と前記第１メモリに記憶された前記確信度判定値とに基づいて、前記第１判定器の判定結果を使用するか、又は前記第２判定器の判定結果を使用するかを決定する、
    　画像処理装置。
  2. 　前記第１プロセッサは、前記判定確信度が前記確信度判定値以上の場合には、前記第１判定器の判定結果を出力し、前記判定確信度が前記確信度判定値未満の場合には、前記第２判定器の判定結果を出力する、
    　請求項１に記載の画像処理装置。
  3. 　前記第１メモリは、前記確信度判定値として第１確信度判定値と前記第１確信度判定値よりも小さい第２確信度判定値とを記憶し、
    　前記第１プロセッサは、前記判定確信度が前記第１確信度判定値以上の場合に前記第１判定器の判定結果を出力し、前記判定確信度が前記第２確信度判定値未満の場合に前記第２判定器の判定結果を出力する、
    　請求項１に記載の画像処理装置。
  4. 　前記第１プロセッサは、
    　前記判定確信度が前記確信度判定値未満の場合には、前記第１光源画像に代えて前記第２光源画像を取得し、
    　前記第２光源画像を前記第２判定器に入力させ、前記第２判定器から判定結果を出力させる、
    　請求項１又は２に記載の画像処理装置。
  5. 　前記第１プロセッサは、
    　前記第１光源画像と前記第２光源画像とを交互に連続して取得し、
    　前記判定確信度と前記第１メモリに記憶された前記確信度判定値とに基づいて、前記第１光源画像を前記第１判定器に出力するか、又は前記第２光源画像を前記第２判定器に出力するかを選択する、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  6. 　前記第１判定器及び第２判定器は、それぞれ病変の有無、病変の分類、病変の重症度、又は炎症性疾患の寛解又は非寛解を示す判定結果を出力する、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  7. 　前記学習された第１判定器及び第２判定器は、それぞれ前記第１学習用データセット及び前記第２学習用データセットを用いて学習された学習済みの第１学習モデル及び第２学習モデルと、前記第１学習モデル及び前記第２学習モデルをそれぞれ実行する１つ又は２つの第２プロセッサと、からなる、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  8. 　前記第１プロセッサは、前記第１判定器から前記第１光源画像の複数の領域に対する複数の判定結果を取得し、前記複数の判定結果に基づいて前記判定確信度を算出する、
    　請求項１又は２に記載の画像処理装置。
  9. 　前記第１プロセッサは、前記第１光源画像を連続して入力する前記第１判定器から、連続する複数の前記第１光源画像に対する複数の判定結果を取得し、前記複数の判定結果に基づいて前記判定確信度を算出する、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  10. 　前記第１光源及び前記第２光源のうちの一方の光源の照明光は狭帯域の特殊光であり、他方の光源の照明光は白色光であり、
    　前記第１光源画像及び前記第２光源画像は、それぞれ内視鏡スコープにより撮影された内視鏡画像である、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  11. 　第１光源と第２光源のそれぞれで照明された対象物を撮影することで得られた、第１学習用データセット及び第２学習用データセットを用いて、それぞれ学習された第１判定器及び第２判定器と、第１プロセッサと、確信度判定値を記憶する第１メモリと、を備えた画像処理装置の作動方法であって、
    　前記第１プロセッサが、前記第１光源により照明された評価対象物を撮影することで得られる第１光源画像と、前記第２光源により照明された前記評価対象物を撮影することで得られる第２光源画像とを取得するステップと、
    　前記第１プロセッサが、前記第１光源画像を前記第１判定器に入力し、前記第１判定器の判定結果から判定確信度を算出するステップと、
    　前記第１プロセッサが、前記判定確信度と前記第１メモリに記憶された前記確信度判定値とに基づいて、前記第１判定器の判定結果を使用するか、又は前記第２判定器の判定結果を使用するかを決定するステップと、
    　を含む画像処理装置の作動方法。
  12. 　前記第１プロセッサが、前記判定確信度が前記確信度判定値以上の場合には、前記第１判定器の判定結果を出力し、前記判定確信度が前記確信度判定値未満の場合には、前記第２判定器の判定結果を出力するステップを含む、
    　請求項１１に記載の画像処理装置の作動方法。
  13. 　前記第１メモリは、前記確信度判定値として第１確信度判定値と前記第１確信度判定値よりも小さい第２確信度判定値とを記憶し、
    　前記第１プロセッサが、前記判定確信度が前記第１確信度判定値以上の場合に前記第１判定器の判定結果を出力し、前記第２確信度判定値未満の場合に前記第２判定器の判定結果を出力するステップを含む、
    　請求項１１に記載の画像処理装置の作動方法。
  14. 　第３プロセッサと、前記第１光源と前記第２光源のそれぞれで照明された対象物を撮影することで得られた、複数の第１評価用データセット及び第２評価用データセットを記憶する第２メモリと、を備え、
    　前記第３プロセッサが、前記第１評価用データセット及び前記第２評価用データセットをそれぞれ前記第１判定器及び前記第２判定器に入力し、前記第１判定器及び前記第２判定器から複数の第１判定結果及び複数の第２判定結果を取得するステップと、
    　前記第３プロセッサが、前記複数の第１判定結果から複数の第１判定確信度を算出するステップと、
    　前記第３プロセッサが、前記複数の第１判定結果及び前記複数の第２判定結果から複数の第１判定精度及び複数の第２判定精度をそれぞれ算出するステップと、
    　前記第３プロセッサが、前記対象物の同一箇所の前記第１判定精度と前記第２判定精度との差を示す判定精度差と、前記第１判定確信度との関係に基づいて、前記確信度判定値を算出するステップと、を含み、
    　前記第１メモリは、前記算出した前記確信度判定値を記憶する、
    　請求項１１から１３のいずれか１項に記載の画像処理装置の作動方法。
  15. 　前記第３プロセッサは、前記判定精度差と前記第１判定確信度との関係を線形近似し、前記線形近似した直線上で前記判定精度差の符号が逆転するときの前記第１判定確信度を前記確信度判定値として算出する、
    　請求項１４に記載の画像処理装置の作動方法。
PCT/JP2023/018906 2022-07-06 2023-05-22 画像処理装置及び画像処理装置の作動方法 Ceased WO2024009631A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024531941A JPWO2024009631A1 (ja) 2022-07-06 2023-05-22
US18/991,701 US20250120568A1 (en) 2022-07-06 2024-12-23 Image processing apparatus and actuation method of image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-108947 2022-07-06
JP2022108947 2022-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/991,701 Continuation US20250120568A1 (en) 2022-07-06 2024-12-23 Image processing apparatus and actuation method of image processing apparatus

Publications (1)

Publication Number Publication Date
WO2024009631A1 true WO2024009631A1 (ja) 2024-01-11

Family

ID=89453030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018906 Ceased WO2024009631A1 (ja) 2022-07-06 2023-05-22 画像処理装置及び画像処理装置の作動方法

Country Status (3)

Country Link
US (1) US20250120568A1 (ja)
JP (1) JPWO2024009631A1 (ja)
WO (1) WO2024009631A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
WO2020003991A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 医療画像学習装置、方法及びプログラム
WO2021079691A1 (ja) * 2019-10-23 2021-04-29 富士フイルム株式会社 画像処理装置及びその作動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
JP7065190B2 (ja) * 2018-07-10 2022-05-11 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法
JP7162670B2 (ja) * 2018-09-12 2022-10-28 富士フイルム株式会社 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
WO2020003991A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 医療画像学習装置、方法及びプログラム
WO2021079691A1 (ja) * 2019-10-23 2021-04-29 富士フイルム株式会社 画像処理装置及びその作動方法

Also Published As

Publication number Publication date
US20250120568A1 (en) 2025-04-17
JPWO2024009631A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
US12053145B2 (en) Medical image processing apparatus and method
CN112639865B (zh) 图像处理系统、学习完毕模型和图像处理方法
US11948080B2 (en) Image processing method and image processing apparatus
JP5094036B2 (ja) 内視鏡挿入方向検出装置
WO2022049901A1 (ja) 学習装置、学習方法、画像処理装置、内視鏡システム及びプログラム
JP7451680B2 (ja) 処理システム、画像処理方法、学習方法及び処理装置
JPWO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
CN113543694A (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
US12081858B2 (en) Imaging system for identifying a boundary between active and inactive portions of a digital image
US12249088B2 (en) Control device, image processing method, and storage medium
US20210186315A1 (en) Endoscope apparatus, endoscope processor, and method for operating endoscope apparatus
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP7557425B2 (ja) 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム
WO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
JP7788822B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
CN111784686A (zh) 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质
US20190117167A1 (en) Image processing apparatus, learning device, image processing method, method of creating classification criterion, learning method, and computer readable recording medium
CN114376491B (zh) 内窥镜成像装置及其方法、系统以及电子设备
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
US20230414066A1 (en) Endoscope image processing apparatus, endoscope image processing method, and endoscope image processing program
CN214231268U (zh) 内窥镜成像装置和电子设备
WO2022228396A1 (zh) 内窥镜多光谱图像处理系统及处理和训练方法
WO2024009631A1 (ja) 画像処理装置及び画像処理装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835167

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024531941

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23835167

Country of ref document: EP

Kind code of ref document: A1