[go: up one dir, main page]

WO2019146075A1 - 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法 - Google Patents

内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法 Download PDF

Info

Publication number
WO2019146075A1
WO2019146075A1 PCT/JP2018/002490 JP2018002490W WO2019146075A1 WO 2019146075 A1 WO2019146075 A1 WO 2019146075A1 JP 2018002490 W JP2018002490 W JP 2018002490W WO 2019146075 A1 WO2019146075 A1 WO 2019146075A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion candidate
discrimination
endoscopic image
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/002490
Other languages
English (en)
French (fr)
Inventor
明広 窪田
北村　誠
大和 神田
勝義 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2018/002490 priority Critical patent/WO2019146075A1/ja
Publication of WO2019146075A1 publication Critical patent/WO2019146075A1/ja
Priority to US16/936,503 priority patent/US20210012886A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscope image processing apparatus, an endoscope image processing program, and an endoscope image processing method.
  • an endoscope image processing apparatus that can indicate the location of a lesion candidate included in a medical image.
  • abnormal shadow candidates are detected from medical images captured by mammography or the like, and a malignant certainty factor indicating the degree of possibility of being a malignant shadow of abnormal shadow candidates is calculated.
  • An example of an abnormal shadow candidate detection processing system is disclosed, which displays a malignant certainty factor together with a marker for specifying the position, shape, and size of the abnormal shadow candidate.
  • an endoscopic image may be displayed as a moving image, and the endoscopic image displayed as a moving image may be discriminated as to position information of a lesion candidate such as a marker and the severity, etc.
  • a lesion candidate such as a marker and the severity, etc.
  • an endoscopic image processing apparatus an endoscopic image processing program, and an endoscopic image capable of displaying position information and discrimination information of a lesion candidate so that an endoscopic image is not difficult to see.
  • the purpose is to provide a treatment method.
  • the endoscopic image processing apparatus distinguishes an input unit for sequentially inputting an endoscopic image, a detection unit for detecting a lesion candidate of the endoscopic image, and discrimination information by discriminating the detected lesion candidate.
  • a lesion candidate selection unit for selecting a discrimination target lesion candidate to be discriminated when two or more lesion candidates are detected in the endoscopic image, and the discrimination target lesion together with the endoscopic image It has a display image output part which outputs a candidate's position information and the above-mentioned distinction information.
  • the endoscopic image processing program includes a code for detecting a lesion candidate in an endoscopic image, a code for discriminating the detected lesion candidate and outputting discrimination information, and 2 in the endoscopic image.
  • a code for selecting a discrimination target lesion candidate to be discriminated when three or more of the lesion candidates are detected, and a code for outputting position information of the discrimination target lesion candidate and the discrimination information together with the endoscopic image Make it run.
  • the input unit sequentially inputs endoscopic images
  • the detection unit detects a lesion candidate of the endoscopic image
  • the lesion candidate detected by the discrimination unit When discrimination is performed to output discrimination information and two or more lesion candidates are detected in the endoscopic image, the lesion candidate selection unit selects the discrimination target lesion candidate for discrimination target, and the display image output unit The position information of the discrimination target lesion candidate and the discrimination information are output together with the endoscopic image.
  • FIG. 1 is a block diagram showing an example of the configuration of an endoscope image processing apparatus 1 according to a first embodiment of the present invention.
  • the endoscope image processing apparatus 1 includes an image generation unit 2 and a diagnosis support information generation unit 3.
  • the image generation unit 2 is an apparatus in which an imaging unit at a tip (not shown) is inserted into a subject, illuminates the subject, and images the subject to generate an endoscopic image X.
  • the diagnosis support information generation unit 3 is a device that generates and outputs a display image Y including the discrimination target lesion candidate Ld and the discrimination information Cd based on the endoscopic image X.
  • the diagnosis support information generation unit 3 includes an input unit I, a detection unit 4, a discrimination unit 5, a lesion candidate selection unit 6, and a display image output unit 7.
  • the detection unit 4, the discrimination unit 5, the lesion candidate selection unit 6 and the display image output unit 7 are configured by circuits, but may be configured by processing units that are executed by the control unit 8.
  • the input unit I is connected to the image generation unit 2 and the detection unit 4, sequentially receives the endoscopic image X from the image generation unit 2, and outputs the endoscopic image X to the detection unit 4 and the display image output unit 7. It is a circuit.
  • the detection unit 4 detects a lesion candidate L of the endoscopic image X.
  • the discrimination unit 5 discriminates the detected lesion candidate L and outputs discrimination information C.
  • the lesion candidate selection unit 6 When the lesion candidate selection unit 6 detects two or more lesion candidates L in the endoscopic image X, the lesion candidate selection unit 6 selects the differentiation target lesion candidate Ld to be identified from the lesion candidates L, and selects the differentiation target lesion candidate Ld and The discrimination information Cd associated with the discrimination target lesion candidate Ld is output to the display image output unit 7.
  • the display image output unit 7 is a circuit that outputs a display image Y having positional information of the discrimination target lesion candidate Ld and the discrimination information Cd together with the endoscopic image X.
  • the control unit 8 is a circuit that controls each unit in the endoscope image processing apparatus 1.
  • the control unit 8 has a CPU 8a and a memory 8b.
  • the function of the control unit 8 is realized by the CPU 8a reading and executing programs and various information of various processing units stored in the memory 8b.
  • the endoscopic image processing device 1 does not make the endoscopic image X difficult to read, the positional information of the discrimination target lesion candidate Ld and the discrimination information Cd associated with the discrimination target lesion candidate Ld. It can be displayed.
  • FIG. 2 is a block diagram showing an example of the configuration of the endoscope apparatus Es according to the second embodiment of the present invention.
  • the description of the same configuration as that of the other embodiments and modifications is omitted.
  • the endoscope apparatus Es includes a light source device 11, an endoscope 21, a diagnosis support information generation unit 31, and a display unit 41.
  • the light source device 11 is connected to each of the endoscope 21 and the diagnosis support information generation unit 31.
  • the endoscope 21 is connected to the diagnosis support information generation unit 31.
  • the diagnosis support information generation unit 31 is connected to the display unit 41.
  • the endoscope 21 and the diagnosis support information generation unit 31 constitute an endoscope image processing apparatus 1.
  • the light source device 11 outputs illumination light to the illumination unit 23 provided at the tip of the scope 22 of the endoscope 21 under the control of the diagnosis support information generation unit 31.
  • the light source device 11 can also output narrow band light as well as white light under the control of the control unit 36 in accordance with a user's instruction via an operation unit (not shown).
  • the endoscope 21 is configured to be able to image the inside of a subject.
  • the endoscope 21 includes a scope 22, an illumination unit 23, an imager 24, a control unit 25, and an image processing unit 26.
  • the scope 22 is formed in an elongated shape so as to be inserted into a subject.
  • the scope 22 is interpolated with various pipelines and signal lines not shown.
  • the scope 22 can be bent according to the user's instruction input by the operation unit and the bending mechanism.
  • the illumination unit 23 is provided at the tip of the scope 22 and irradiates the subject with the illumination light input from the light source device 11.
  • the imager 24 is provided at the tip of the scope 22.
  • the imager 24 is configured by an imaging device such as a CCD, for example.
  • the imager 24 images the subject illuminated by the illumination unit 23 and outputs an imaging signal to the control unit 25.
  • the control unit 25 is provided at the proximal end of the scope 22 and is connected to the diagnosis support information generation unit 31.
  • the control unit 25 has an operation unit (not shown), and can switch the illumination light emitted from the illumination unit 23 and can input an instruction such as bending of the scope 22.
  • the image processing unit 26 is provided in the control unit 25.
  • the image processing unit 26 performs, for example, image processing such as gain adjustment, white balance adjustment, gamma correction, contour emphasis correction, enlargement / reduction adjustment, etc. on the imaging signal input from the imager 24 to generate an endoscopic image X And output to the diagnosis support information generation unit 31.
  • the imager 24 and the image processing unit 26 constitute an image generation unit 27. Note that part of the image processing performed by the image generation unit 27 may be performed in the diagnosis support information generation unit 31.
  • the diagnosis support information generation unit 31 is a device that generates and outputs a display image Y based on the endoscopic image X.
  • the diagnosis support information generation unit 31 includes an input unit I, a detection unit 32, a discrimination unit 33, a lesion candidate selection unit 34, a display image output unit 35, and a control unit 36.
  • the detection unit 32, the discrimination unit 33, the lesion candidate selection unit 34, and the display image output unit 35 are configured by circuits, but may be configured by a processing unit executed by the control unit 36.
  • the input unit I is connected to the image generation unit 27 and the detection unit 32, sequentially receives the endoscopic image X from the image generation unit 27, and outputs the endoscopic image X to the detection unit 32 and the display image output unit 35. It is a circuit.
  • the detection unit 32 detects a plurality of lesion candidates L from the endoscopic image X by a predetermined detection process.
  • the detection unit 32 detects one or a plurality of lesion candidates L from the endoscopic image X, and outputs the lesion candidate L to the discrimination unit 33.
  • a predetermined contour extraction process is performed based on the amount of change between adjacent pixels, and the lesion candidate L is extracted by matching the extracted contour with the model information read from the memory 38.
  • the predetermined detection process is not limited to this, and may be performed, for example, by calculating the color of the endoscopic image X, spatial frequency, or a lesion by an arithmetic device using artificial intelligence technology such as machine learning. It may be a process of detecting the candidate L. Further, the predetermined detection processing may be performed by analyzing color and spatial frequency by an arithmetic device using an artificial intelligence technology.
  • the lesion candidate L includes position information of the lesion candidate L.
  • the position information is, for example, the coordinates of the center position of the lesion candidate L in the endoscopic image X.
  • the discrimination unit 33 discriminates the lesion candidate L by predetermined discrimination processing, and outputs discrimination information C indicating the severity of the lesion candidate L.
  • the predetermined discrimination process generates discrimination information C based on the classification information of the NICE classification read from the memory 38, for example, so as to support the diagnosis of the user of the lesion candidate L.
  • the discrimination unit 33 extracts an image of the lesion candidate L, performs predetermined discrimination processing based on the extracted image, and associates the lesion candidate L and the lesion candidate L with each other.
  • the identified discrimination information C is output to the lesion candidate selection unit 34.
  • the predetermined discrimination process is not limited to this, and may be performed by an arithmetic device using artificial intelligence technology. Moreover, you may process collectively the process of the detection part 32 and the discrimination part 33.
  • FIG. When two or more lesion candidates L are included in the endoscopic image X, the lesion candidate selection unit 34 selects a differentiation target lesion candidate Ld to be identified.
  • the discrimination information C associated with the lesion candidate L and the lesion candidate L is input from the discrimination unit 33, the lesion candidate selection unit 34 selects the discrimination target lesion candidate Ld from the lesion candidates L according to a predetermined condition.
  • the discrimination information Cd associated with the discrimination target lesion candidate Ld and the discrimination target lesion candidate Ld is output to the display image output unit 35.
  • the predetermined condition is set, as an example, to select a lesion candidate L located closest to the center position of the endoscopic image X as a differentiation target lesion candidate Ld.
  • the lesion candidate selection unit 34 selects the discrimination target lesion candidate Ld based on the endoscopic image X. More specifically, the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld after the discrimination unit 33 outputs the discrimination information C. Further, the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the position information of the lesion candidate L.
  • the display image output unit 35 outputs a display image Y having positional information of the discrimination target lesion candidate Ld and the discrimination information Cd together with the endoscopic image X. More specifically, the display image output unit 35 superimposes position information of the discrimination target lesion candidate Ld on the endoscopic image X, and is associated with the discrimination target lesion candidate Ld at a position different from the endoscopic image X The display image Y on which the generated discrimination information Cd is superimposed is output.
  • the control unit 36 is a circuit that controls each unit in the endoscope apparatus Es.
  • the control unit 36 has a CPU 37 and a memory 38, and reads and executes programs and various information stored in the memory 38 by the CPU 37 to realize functions.
  • control unit 36 detects the amount of gain adjustment or the brightness of the endoscopic image X, outputs a control signal, and controls the light emission amount of the light source device 11.
  • the control unit 36 also outputs a control signal to control the light source mode of the light source device 11.
  • the memory 38 is configured of, for example, a readable and writable storage element such as a flash ROM.
  • the memory 38 stores, in addition to various data for controlling the endoscope apparatus Es or programs of various processing units, model information read by the detection unit 32 and classification information of NICE classification read by the discrimination unit 33. .
  • the memory 38 may be used as a working memory for temporarily storing information such as the endoscopic image X.
  • the display unit 41 is configured of, for example, a monitor capable of displaying a color image.
  • the display unit 41 is connected to the output terminal Vo by wire and displays the display image Y input from the output terminal Vo.
  • the display unit 41 may be connected to the diagnosis support information generation unit 31 by wireless communication via a wireless communication unit (not shown) of the diagnosis support information generation unit 31.
  • FIG. 3 is a flowchart showing an example of the image processing flow of the endoscope apparatus Es according to the second embodiment of the present invention.
  • FIG. 4 is a view showing an example of a display image Y of the endoscope apparatus Es according to the second embodiment of the present invention.
  • An endoscopic image X is acquired (S1).
  • the user inserts the scope 22 into the subject and drives the illumination unit 23 to irradiate the subject with illumination light.
  • the image generation unit 27 captures an image of the subject, performs image processing, and outputs the endoscopic image X to the diagnosis support information generation unit 31.
  • Lesion candidate L is detected (S2).
  • the detection unit 32 detects a lesion candidate L from the endoscopic image X by a predetermined detection process, and outputs the lesion candidate L to the discrimination unit 33.
  • the lesion candidate L is identified (S3).
  • the discrimination unit 33 discriminates the lesion candidate L detected in S2 by a predetermined discrimination process. Specifically, the discrimination unit 33 reads the classification information stored in advance in the memory 38. Classification information includes predetermined classification conditions of NICE classification and a reference image. The discrimination unit 33 detects a color tone based on the luminance value of the image, and detects a blood vessel pattern and a surface pattern by a predetermined contour extraction process. The discrimination unit 33 compares the detection result with the predetermined classification condition of the NICE classification and the reference image, calculates the relevance ratio of each of Type 1 to Type 3 as classification, and generates the discrimination information C. The discrimination unit 33 outputs discrimination information C correlated with the lesion candidate L and the lesion candidate L to the lesion candidate selection unit 34.
  • a differentiation target lesion candidate Ld is selected (S4).
  • the lesion candidate selection unit 34 selects a differentiation target lesion candidate Ld closer to the center position of the endoscopic image X from the plurality of lesion candidates L, and causes the display image output unit 35 to select The discrimination target lesion candidate Ld and the discrimination information Cd are output.
  • the display image Y is output (S5).
  • the display image output unit 35 superimposes position information of the discrimination target lesion candidate Ld on the display image Y. More specifically, the display image output unit 35 superimposes a position display image W indicating the position of the discrimination target lesion candidate Ld in the endoscopic image X.
  • the position display image W is a quadrangle image superimposed so as to surround the discrimination target lesion candidate Ld.
  • the display image output unit 35 superimposes the discrimination information Cd on the information display area Za different from the area on which the endoscopic image X is superimposed.
  • the discrimination information Cd is indicated as 20% for the accuracy rate of Type 1 of the NICE classification and 80% for the accuracy rate of Type 2.
  • the identification information Cd may be provided with an indicator Ci that is displayed in an increase or decrease according to the relevance ratio.
  • the endoscopic image X is sequentially input by the input unit I, the lesion candidate L of the endoscopic image X is detected by the detection unit 32, and the discrimination unit 33
  • the lesion candidate selection unit 34 discriminates the discrimination target lesion candidate for discrimination.
  • the Ld is selected, and the display image output unit 35 outputs the position information and the discrimination information Cd of the discrimination target lesion candidate Ld together with the endoscopic image X.
  • the endoscopic image processing apparatus 1 can select the discrimination target lesion candidate Ld located closest to the center position of the endoscopic image X from among the lesion candidates L.
  • the endoscopic image processing device 1 displays the position information of the discrimination target lesion candidate Ld on the endoscopic image X so that the endoscopic image X is not difficult to see, and the position different from the endoscopic image X
  • the discrimination information Cd is displayed on.
  • the endoscopic image processing apparatus 1 selects an endoscopic image X from among the lesion candidates L.
  • the position information of the discrimination target lesion candidate Ld closest to the central position of the image is displayed, and the discrimination information Cd is displayed at a position different from the endoscopic image X.
  • the endoscopic image processing apparatus 1 can display the positional information and the discrimination information Cd of the discrimination target lesion candidate Ld so that the endoscopic image X is not difficult to see.
  • the discrimination target lesion candidate Ld is selected according to the position information of the lesion candidate L, but the discrimination target lesion candidate Ld may be selected according to the information other than the position information.
  • FIG. 5 is a view for explaining an example of parameters of a lesion candidate L of the endoscope apparatus Es according to the third embodiment of the present invention.
  • “Xxx” in FIG. 5 indicates a parameter value.
  • Each of “lesion candidate 1” and “lesion candidate 2” in FIG. 5 indicates a plurality of detected lesion candidates L.
  • the description of the same configuration as that of the other embodiments and modifications is omitted.
  • the detection unit 32 includes the area, the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L, the focusing value, the exposure appropriateness, the light source, as well as the position information of each lesion candidate L.
  • Each parameter value of mode, color, shape, distance information between lesion candidate L and treatment tool, detection certainty factor is generated, and lesion candidate L including each parameter is output to the discrimination unit 33.
  • the area is calculated, for example, by extracting the contour of the lesion candidate L by a predetermined contour extraction process, and performing a predetermined calculation based on the extracted contour.
  • the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L is calculated by, for example, a predetermined calculation based on the luminance value of the pixel. As the distance between the imaging unit at the tip of the endoscope and the lesion candidate L decreases, the luminance value increases.
  • the pixel is preferably red, but is not limited thereto.
  • the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L may be calculated by a predetermined calculation based on the amount of gain adjustment acquired from the control unit 36.
  • the amount of gain adjustment is an amount for correcting the brightness of the endoscopic image X.
  • the amount of gain adjustment becomes small.
  • the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L is calculated by a predetermined calculation based on a triangular distance measurement method by mounting a stereo adapter at the tip of the scope 22 and acquiring a stereo image. You may
  • the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L extracts the contour of the blood vessel by a predetermined contour extraction process, detects the width of the blood vessel based on the extracted contour, and detects It may be calculated by a predetermined calculation based on the width.
  • the width of the blood vessel becomes large.
  • the focusing value is calculated by, for example, a predetermined calculation based on the spatial frequency of the endoscopic image X. The higher the spatial frequency, the higher the focus value.
  • the exposure appropriateness is calculated by, for example, a predetermined calculation based on the endoscopic image X and the imaging device sensitivity.
  • the exposure appropriateness degree may be calculated based on the degree of deviation from the appropriate exposure value by detecting the exposure value of the lesion candidate L.
  • the light source mode for example, an average luminance value of pixels of each color is calculated and detected based on the average luminance value.
  • the light source mode is detected as the white light source mode when the average luminance value is within the first predetermined range, and the narrowband light source is detected when the average luminance value is within the second predetermined range.
  • the mode is detected.
  • the detection unit 32 may be configured to acquire a parameter indicating the light source mode from the control unit 36 instead of the detection based on the average luminance value.
  • the color is detected by a predetermined operation based on, for example, the luminance value of the pixel of each color.
  • the shape is detected by a predetermined operation based on, for example, a predetermined contour extraction process.
  • the distance information between the lesion candidate L and the treatment tool is calculated, for example, by extracting a treatment tool image by a predetermined contour extraction process, and based on the extracted treatment tool image and the lesion candidate L by a predetermined calculation.
  • the detection certainty factor is calculated by, for example, a predetermined calculation based on the lesion candidate L and the model information.
  • the discrimination unit 33 calculates the severity calculation value by a predetermined calculation based on the discrimination information C, and outputs the lesion candidate L including the severity calculation value to the lesion candidate selection unit 34.
  • the severity calculation value is calculated based on the discrimination information C.
  • the lesion candidate selection unit 34 detects position information, area, distance information between the imaging unit at the tip of the endoscope and the lesion candidate L, focusing value, exposure appropriateness, light source detected or calculated by the detection unit 32 and the discrimination unit 33
  • the discrimination target lesion candidate Ld is selected according to each of the mode, color, shape, distance information from the treatment tool, detection certainty factor, and severity degree calculation value.
  • the lesion candidate selection unit 34 may preferentially select a lesion candidate L having a large area as the differentiation target lesion candidate Ld. Thereby, when the user operates the endoscope 21 so that the lesion candidate L in focus is displayed in a large size, the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld having a large area from among the lesion candidates L. Is selectable.
  • the lesion candidate selection unit 34 may preferentially select a lesion candidate L close in distance from the imaging unit at the tip of the endoscope as the differentiation target lesion candidate Ld based on the distance information.
  • the lesion candidate selecting unit 34 selects the imaging unit of the endoscope tip and the lesion candidate L from among the lesion candidates L. It is possible to select a differentiation target lesion candidate Ld whose distance between them is short.
  • the lesion candidate selection unit 34 may preferentially select the lesion candidate L in focus or exposure as the discrimination target lesion candidate Ld. Thereby, when the user focuses or exposes the focused lesion candidate L, the lesion candidate selection unit 34 can select the differentiation target lesion candidate Ld that is focused or exposed among the lesion candidates L. is there.
  • the lesion candidate selection unit 34 may be configured to exclude the lesion candidate L with residue and halation based on the light source mode and the color. For example, in the light source mode of white light, a strong white or yellow lesion candidate L is excluded from the differentiation target lesion candidate Ld.
  • the lesion candidate selection unit 34 may be configured to exclude the lesion candidate L with halation from the discrimination target lesion candidate Ld based on the detected shape.
  • the lesion candidate selection unit 34 may preferentially select the lesion candidate L having a more circular shape as the discrimination target lesion candidate Ld based on the detected shape. Thereby, when the user operates the endoscope 21 so as to image the front of the lesion candidate L in focus, the lesion candidate selection unit 34 identifies the discrimination target lesion candidate in which the front is imaged from among the lesion candidates L Ld can be selected.
  • the lesion candidate selection unit 34 may preferentially select the lesion candidate L close to the treatment tool as the differentiation target lesion candidate Ld.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld having a short distance between the treatment tool and the lesion candidate L from among the lesion candidates L. It is selectable.
  • the lesion candidate selection unit 34 may preferentially select a lesion candidate L with high detection certainty as a differentiation target lesion candidate Ld.
  • the lesion candidate selection unit 34 may preferentially select a lesion candidate L having a high degree of severity calculation value as the differentiation target lesion candidate Ld.
  • the lesion candidate selection unit 34 may include position information, area, distance information between the imaging unit at the tip of the endoscope and the lesion candidate L, focusing value, exposure appropriateness, light source mode, color, shape, treatment tool and lesion candidate
  • the evaluation value may be calculated by weighting each of the distance information between L, the detection certainty factor, and the severity degree calculation value, and the discrimination target lesion candidate Ld may be selected according to the evaluation value.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the size of the lesion candidate L. In addition, the lesion candidate selection unit 34 selects the discrimination target lesion candidate Ld based on the distance information between the imaging unit at the tip of the endoscope and the lesion candidate L. Further, the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the color of the lesion candidate L. The lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the shape of the lesion candidate L. The lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the distance information between the treatment tool and the lesion candidate L that appears in the endoscopic image X.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the detection certainty factor of the lesion candidate L.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld based on the severity calculation value calculated based on the discrimination information C.
  • the lesion candidate selection unit 34 calculates an evaluation value by weighting a plurality of parameters acquired from the lesion candidate L and the discrimination information C, and selects the differentiation target lesion candidate Ld based on the evaluation value.
  • the endoscopic image processing apparatus 1 can select the discrimination target lesion candidate Ld with a higher degree of attention of the user, and the discrimination target lesion candidate so that the endoscopic image X is not difficult to see.
  • the position information of Ld and the discrimination information Cd can be displayed.
  • the endoscopic image processing apparatus 1 displays the discrimination target lesion candidate Ld from among the lesion candidates L, and further notifies that a plurality of lesion candidates L have been detected. It may be configured to
  • FIG. 6 is a block diagram showing an example of the configuration of the endoscope apparatus Es according to the fourth embodiment of the present invention.
  • the description of the same configuration as that of the other embodiments and modifications is omitted.
  • the endoscopic image processing apparatus 1 includes a multiple lesion candidate detection unit 39.
  • the multiple lesion candidate detection unit 39 detects the presence of multiple lesion candidates L. When there are a plurality of lesion candidates L input from the discrimination unit 33, the multiple lesion candidate detection unit 39 outputs flag information indicating that a plurality of lesion candidates L exist in the lesion candidate selection unit 34.
  • the lesion candidate detection unit 39 is configured by a circuit, but may be configured by a processing unit executed by the control unit 36.
  • the display image output unit 35 displays a notification image F1 indicating that a non-displayed lesion candidate L is present in the display image Y. Is superimposed and output.
  • FIG. 7 is a flowchart showing an example of the image processing flow of the endoscope apparatus Es according to the fourth embodiment of the present invention.
  • FIG. 8 is a view showing an example of a display image Y of the endoscope apparatus Es according to the fourth embodiment of the present invention.
  • the multiple detection unit 39 determines whether or not multiple lesion candidates L have been input from the discrimination unit 33. When multiple lesion candidates L are input (S14a: YES), the process proceeds to S14b. On the other hand, when one of the plurality of lesion candidates L is input (S14a: NO), the process proceeds to S14c.
  • notification is given to the display image Y.
  • the multiple detection unit 39 instructs the display image output unit 35 to perform multiple notifications. As shown in FIG. 8, the display image output unit 35 superimposes a notification image F1 configured by a circular icon on the display image Y.
  • the endoscopic image processing apparatus 1 can notify the presence of the non-displayed lesion candidate L, and the position of the discrimination target lesion candidate Ld so that the endoscopic image X is not difficult to see.
  • Information and identification information Cd can be displayed.
  • FIG. 9 is a view showing an example of a display image Y of the endoscope apparatus Es according to the first modification of the fourth embodiment of the present invention.
  • the description of the same configuration as the other embodiments and the modification will be omitted.
  • the notification image F1 is configured by a circular icon, but as shown in FIG. 9, the notification image F2 reports the presence of the non-displayed lesion candidate L “with non-displayed lesion candidate”
  • the message may be composed of
  • FIG. 10 is a view showing an example of a display image Y of the endoscope apparatus Es according to the second modification of the fourth embodiment of the present invention.
  • the description of the same configuration as the other embodiments and the modification will be omitted.
  • the notification image F1 is configured by a circular icon, and the notification image F2 is configured by a message, but the notification image F3 is superimposed so as to surround the discrimination target lesion candidate Ld. It may be configured by an image.
  • the rectangular pattern position display image W is superimposed so as to surround the discrimination target lesion candidate Ld.
  • the position display image W is not displayed, and a notification image of a hexagonal pattern different from the position display image W so as to surround the discrimination target lesion candidate Ld. F3 is superimposed.
  • the notification image F3 may be changed to a color different from that of the position display image W.
  • FIG. 11 is a view showing an example of a display image Y of the endoscope apparatus Es according to the third modification of the fourth embodiment of the present invention.
  • the description of the same configuration as the other embodiments and the modification will be omitted.
  • the notification image F1 is configured by a circular icon
  • the notification image F2 is configured by a message
  • the notification image F3 is superimposed so as to surround the discrimination target lesion candidate Ld.
  • the notification image F4 is configured by an image, the number of non-displayed lesion candidates L may be superimposed and output.
  • the display image output unit 35 superimposes the number of non-displayed lesion candidates L on the display image Y.
  • FIG. 11 is an example of a notification image F4 indicating that there are two non-displayed lesion candidates L.
  • the display image Y when the endoscopic image X includes a non-displayed lesion candidate L other than the discrimination target lesion candidate Ld in the endoscopic image X, the display image Y
  • the notification images F1, F2, F3, and F4 are superimposed.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld from the lesion candidates L based on the endoscopic image X, but the user's instruction input
  • the discrimination target lesion candidate Ld may be selected based on
  • FIG. 12 is a block diagram showing an example of the configuration of the endoscope apparatus Es according to the fifth embodiment of the present invention.
  • FIG. 13 is a flowchart showing an example of the image processing flow of the endoscope apparatus Es according to the fifth embodiment of the present invention. In the present embodiment, the description of the same configuration as that of the other embodiments and modifications is omitted.
  • the endoscope 21 and the diagnosis support information generation unit 31 have an instruction input unit Op.
  • the instruction input unit Op has, for example, an operation switch.
  • the lesion candidate selection unit 34 selects the differentiation target lesion candidate Ld according to the instruction input of the instruction input unit Op (S24 c).
  • the endoscopic image processing apparatus 1 can select the discrimination target lesion candidate Ld by the user's instruction input, and the discrimination target lesion candidate Ld is selected so that the endoscopic image X is not difficult to see. Position information and discrimination information Cd can be displayed.
  • the processing proceeds in the order of the detection unit 32, the discrimination unit 33, and the lesion candidate selection unit 34, but in the order of the detection unit 32, the lesion candidate selection unit 34a, and the discrimination unit 33a.
  • the process may be configured to proceed.
  • FIG. 14 is a view showing an example of a display image Y of the endoscope apparatus Es according to the sixth embodiment of the present invention.
  • the description of the same configuration as that of the other embodiments and modifications is omitted.
  • the detection unit 32 performs a predetermined detection process and outputs the lesion candidate L to the lesion candidate selection unit 34a.
  • the lesion candidate selection unit 34a selects a differentiation target lesion candidate Ld from the lesion candidates L, and outputs it to the discrimination unit 33a.
  • the discrimination unit 33a generates discrimination information Cd indicating the severity of the discrimination target lesion candidate Ld by a predetermined discrimination process based on the discrimination target lesion candidate Ld, and outputs the discrimination information Cd to the display image output unit 35.
  • FIG. 15 is a flowchart showing an example of the image processing flow of the endoscope apparatus Es according to the sixth embodiment of the present invention.
  • a differentiation target lesion candidate Ld is selected (S33).
  • the lesion candidate selection unit 34a selects the discrimination target lesion candidate Ld, and outputs it to the discrimination unit 33a.
  • the discrimination target lesion candidate Ld is discriminated (S34).
  • the discrimination unit 33a discriminates the discrimination target lesion candidate Ld, and outputs the discrimination target lesion candidate Ld and the discrimination information Cd to the display image output unit 35.
  • the discrimination unit 33a After the discrimination unit 33a selects the discrimination target lesion candidate Ld by the lesion candidate selection unit 34a, the discrimination unit 33a outputs the discrimination information Cd of the discrimination target lesion candidate Ld by a predetermined discrimination process.
  • the endoscopic image processing apparatus 1 can select the discrimination target lesion candidate Ld and reduce the amount of calculation before the predetermined discrimination processing by the discrimination unit 33a is performed, and thus the endoscopic image X
  • the position information and the discrimination information Cd of the discrimination target lesion candidate Ld can be displayed so that it is not difficult to see.
  • the image generation units 2 and 27 and the diagnosis support information generation units 3 and 31 are separate but may be integrated.
  • the discrimination units 33 and 33a may output discrimination information C based on medical classification such as Hiroshima classification or JNET classification.
  • each “unit” in the present specification does not necessarily correspond one-to-one to a specific hardware or software routine. Therefore, in the present specification, the embodiments have been described assuming virtual circuit blocks (parts) having the respective functions of the embodiments. In addition, all or part of each “unit” in the present embodiment may be realized by software. Furthermore, each step of each procedure in the present embodiment may be changed in the execution order, performed simultaneously, or may be performed in different orders for each execution, as long as the nature of the steps is not violated.
  • the functions of the endoscope image processing apparatus 1 may be realized by the CPUs 8a and 37 executing codes stored in the memories 8b and 38.
  • the endoscopic image processing apparatus 1 discriminates a code for detecting a lesion candidate L of the endoscopic image X, a code for discriminating the detected lesion candidate L and outputting discrimination information C, and an endoscopic image X
  • a code for selecting discrimination target lesion candidate Ld to be discriminated a code for outputting positional information of discrimination target lesion candidate Ld together with endoscopic image X
  • discrimination information Cd an endoscopic image processing program for causing a computer to execute the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡画像処理装置１は、内視鏡画像Ｘを順次入力する入力部Ｉと、内視鏡画像Ｘの病変候補Ｌを検出する検出部３２と、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力する鑑別部３３と内視鏡画像Ｘ中に２つ以上の病変候Ｌを検出したとき、鑑別対象の鑑別対象病変候補Ｌｄを選択する病変候補選択部３４と内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを出力する。

Description

内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
　本発明は、内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法に関する。
　従来、医用画像に含まれる病変候補の箇所を示すことができる内視鏡画像処理装置がある。
　また、日本国特開２００４－１３５８６８号公報には、マンモグラフィ等によって撮像された医用画像から異常陰影候補を検出し、異常陰影候補の悪性陰影である可能性の程度を示す悪性確信度を算出し、異常陰影候補の位置や形、大きさを特定するためのマーカとともに悪性確信度を表示する、異常陰影候補検出処理システムの例が開示されている。
　しかし、従来の内視鏡画像処理装置では、内視鏡画像が動画表示されることがあり、動画表示された内視鏡画像にマーカ等の病変候補の位置情報と、重篤度等の鑑別情報が複数表示されると、内視鏡画像が見難くなることがある。
　そこで、本発明は、内視鏡画像が見難くならないように、病変候補の位置情報及び鑑別情報を表示することができる、内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法を提供することを目的とする。
　実施形態の内視鏡画像処理装置は、内視鏡画像を順次入力する入力部と、前記内視鏡画像の病変候補を検出する検出部と、検出された前記病変候補を鑑別して鑑別情報を出力する鑑別部と前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択する病変候補選択部と前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力する表示画像出力部と、を有する。
　実施形態の内視鏡画像処理プログラムは、内視鏡画像の病変候補を検出するコードと、検出された前記病変候補を鑑別して鑑別情報を出力するコードと、前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択するコードと、前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力するコードと、をコンピュータに実行させる。
　実施形態の内視鏡画像処理方法は、入力部によって内視鏡画像の順次入力を行い、検出部によって前記内視鏡画像の病変候補の検出を行い、鑑別部によって検出された前記病変候補を鑑別して鑑別情報の出力を行い前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、病変候補選択部によって鑑別対象の鑑別対象病変候補の選択を行い、表示画像出力部によって前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報の出力を行う。
本発明の第１実施形態に係わる、内視鏡画像処理装置の構成の一例を示すブロック図である。 本発明の第２実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第２実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第２実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第３実施形態に係わる、内視鏡装置の病変候補のパラメータの一例を説明する図である。 本発明の４実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第４実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第４実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例１に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例２に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例３に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第５実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第５実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第６実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第６実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。
　以下、図面を参照しながら、本発明の実施形態を説明する。
　（第１実施形態）
　図１は、本発明の第１実施形態に係わる、内視鏡画像処理装置１の構成の一例を示すブロック図である。
　内視鏡画像処理装置１は、画像生成部２と診断支援情報生成部３を有する。
　画像生成部２は、図示しない先端の撮像部が被検体内に挿入され、被検体を照明し、被検体を撮像して内視鏡画像Ｘを生成する装置である。
　診断支援情報生成部３は、内視鏡画像Ｘに基づいて、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを含む表示画像Ｙを生成して出力する装置である。診断支援情報生成部３は、入力部Ｉ、検出部４、鑑別部５、病変候補選択部６、表示画像出力部７を有する。検出部４、鑑別部５、病変候補選択部６及び表示画像出力部７は、回路によって構成されるが、制御部８によって実行される処理部によって構成されてもよい。
　入力部Ｉは、画像生成部２及び検出部４と接続され、画像生成部２から内視鏡画像Ｘを順次入力し、検出部４及び表示画像出力部７に内視鏡画像Ｘを出力する回路である。
　検出部４は、内視鏡画像Ｘの病変候補Ｌを検出する。
　鑑別部５は、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力する。
　病変候補選択部６は、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、病変候補Ｌの中から鑑別対象の鑑別対象病変候補Ｌｄを選択し、鑑別対象病変候補Ｌｄ及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示画像出力部７に出力する。
　表示画像出力部７は、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを有する表示画像Ｙを出力する回路である。
　制御部８は、内視鏡画像処理装置１内の各部を制御する回路である。制御部８は、ＣＰＵ８ａ及びメモリ８ｂを有する。制御部８の機能は、ＣＰＵ８ａがメモリ８ｂに格納された各種処理部のプログラムや各種情報を読み込み、実行することによって実現する。
　実施形態によれば、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示することができる。
　（第２実施形態）
　図２は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　内視鏡装置Ｅｓは、光源装置１１と、内視鏡２１と、診断支援情報生成部３１と、表示部４１と、を有する。光源装置１１は、内視鏡２１及び診断支援情報生成部３１の各々と接続される。内視鏡２１は、診断支援情報生成部３１と接続される。診断支援情報生成部３１は、表示部４１と接続される。
　内視鏡２１と診断支援情報生成部３１は、内視鏡画像処理装置１を構成する。
　光源装置１１は、診断支援情報生成部３１の制御の下、内視鏡２１のスコープ２２の先端部に設けられた照明部２３に照明光を出力する。光源装置１１は、制御部３６の制御の下、図示しない操作部を介したユーザの指示により、白色光の他、狭帯域光も出力可能である。
　内視鏡２１は、被検体内を撮像できるように構成される。内視鏡２１は、スコープ２２と、照明部２３と、イメージャ２４と、コントロールユニット２５と、画像処理部２６とを有する。
　スコープ２２は、被検体内に挿入できるように、細長状に形成される。スコープ２２は、図示しない各種の管路及び信号線が内挿される。また、スコープ２２は、操作部及び湾曲機構により、ユーザの指示入力に応じて湾曲可能である。
　照明部２３は、スコープ２２の先端部に設けられ、光源装置１１から入力された照明光を被検体に照射する。
　イメージャ２４は、スコープ２２の先端部に設けられる。イメージャ２４は、例えば、ＣＣＤ等の撮像素子によって構成される。イメージャ２４は、照明部２３によって照明された被検体を撮像し、撮像信号をコントロールユニット２５に出力する。
　コントロールユニット２５は、スコープ２２の基端部に設けられ、診断支援情報生成部３１と接続される。コントロールユニット２５は、図示しない操作部を有し、照明部２３から照射する照明光の切り替え、スコープ２２の湾曲等の指示入力が可能である。
　画像処理部２６は、コントロールユニット２５に設けられる。画像処理部２６は、イメージャ２４から入力された撮像信号に、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ｘを生成し、診断支援情報生成部３１に出力する。
　イメージャ２４と画像処理部２６は、画像生成部２７を構成する。なお、画像生成部２７によって行われる画像処理の一部は、診断支援情報生成部３１内において行われてもよい。
　診断支援情報生成部３１は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成して出力する装置である。診断支援情報生成部３１は、入力部Ｉ、検出部３２、鑑別部３３、病変候補選択部３４、表示画像出力部３５、制御部３６を有する。検出部３２、鑑別部３３、病変候補選択部３４及び表示画像出力部３５は、回路によって構成されるが、制御部３６によって実行される処理部によって構成されてもよい。
　入力部Ｉは、画像生成部２７及び検出部３２と接続され、画像生成部２７から内視鏡画像Ｘを順次入力し、検出部３２及び表示画像出力部３５に内視鏡画像Ｘを出力する回路である。
　検出部３２は、所定の検出処理によって内視鏡画像Ｘから複数の病変候補Ｌを検出する。検出部３２は、内視鏡画像Ｘから１又は複数の病変候補Ｌを検出し、病変候補Ｌを鑑別部３３に出力する。
　所定の検出処理は、例えば、互いに隣り合う画素との変化量から所定の輪郭抽出処理を行い、抽出した輪郭と、メモリ３８から読み込まれたモデル情報とのマッチングによって病変候補Ｌの抽出を行う。所定の検出処理は、これに限定されず、例えば、内視鏡画像Ｘの色、空間周波数の算出によって行われてもよいし、又は、機械学習等の人工知能技術を用いた演算装置によって病変候補Ｌを検出する処理であってもよい。また、所定の検出処理は、人工知能技術を用いた演算装置によって色や空間周波数を解析することによって行われてもよい。
　病変候補Ｌには、病変候補Ｌの位置情報が含まれる。位置情報は、例えば、内視鏡画像Ｘにおける、病変候補Ｌの中心位置の座標である。
　鑑別部３３は、所定の鑑別処理によって病変候補Ｌを鑑別し、病変候補Ｌの重篤度を示す鑑別情報Ｃを出力する。所定の鑑別処理は、病変候補Ｌのユーザの診断を支援できるように、例えば、メモリ３８から読み込まれたＮＩＣＥ分類の分類情報に基づいて、鑑別情報Ｃを生成する。検出部３２から病変候補Ｌが入力されると、鑑別部３３は、病変候補Ｌの画像を抽出し、抽出した画像に基づいて所定の鑑別処理を行い、病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃを病変候補選択部３４に出力する。所定の鑑別処理は、これに限定されず、人口知能技術を用いた演算装置によって行われてもよい。また、検出部３２と鑑別部３３の処理は、まとめて処理してもよい。　病変候補選択部３４は、内視鏡画像Ｘ中に２つ以上の病変候補Ｌが含まれるとき、鑑別対象の鑑別対象病変候補Ｌｄを選択する。鑑別部３３から病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃが入力されると、病変候補選択部３４は、病変候補Ｌの中から、所定の条件によって鑑別対象病変候補Ｌｄを選択し、鑑別対象病変候補Ｌｄ及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示画像出力部３５に出力する。
　所定の条件は、一例として、内視鏡画像Ｘの中心位置に最も近い位置にある病変候補Ｌを鑑別対象病変候補Ｌｄに選択するように設定される。
　すなわち、病変候補選択部３４は、内視鏡画像Ｘに基づいて、鑑別対象病変候補Ｌｄを選択する。より具体的には、病変候補選択部３４は、鑑別部３３によって鑑別情報Ｃを出力した後、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、病変候補Ｌの位置情報に基づいて、鑑別対象病変候補Ｌｄを選択する。
　表示画像出力部３５は、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを有する表示画像Ｙを出力する。より具体的に、表示画像出力部３５は、内視鏡画像Ｘに鑑別対象病変候補Ｌｄの位置情報を重畳し、内視鏡画像Ｘとは異なる位置に、鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを重畳した、表示画像Ｙを出力する。
　制御部３６は、内視鏡装置Ｅｓ内の各部を制御する回路である。制御部３６は、ＣＰＵ３７とメモリ３８を有し、ＣＰＵ３７によってメモリ３８に記憶されたプログラムや各種情報を読み込み、実行することよって機能を実現する。
　また、制御部３６は、ゲイン調整の量、又は、内視鏡画像Ｘの明るさを検出し、制御信号を出力し、光源装置１１の発光量を制御する。
　また、制御部３６は、制御信号を出力し、光源装置１１の光源モードを制御する。
　メモリ３８は、例えば、フラッシュＲＯＭ等の読み書き可能な記憶素子によって構成される。メモリ３８には、内視鏡装置Ｅｓを制御するための各種データ又は各種処理部のプログラムの他、検出部３２によって読み込まれるモデル情報、鑑別部３３によって読み込まれるＮＩＣＥ分類の分類情報も記憶される。また、メモリ３８は、内視鏡画像Ｘ等の情報を一時保存するワーキングメモリとして使用されてもよい。
　表示部４１は、例えば、カラー画像の表示をすることができるモニタによって構成される。表示部４１は、出力端子Ｖｏと有線によって接続され、出力端子Ｖｏから入力した表示画像Ｙを表示する。なお、表示部４１は、診断支援情報生成部３１の図示しない無線通信部を介し、無線通信によって診断支援情報生成部３１と接続されてもよい。
　次に、第２実施形態の内視鏡装置Ｅｓの動作について説明をする。
　図３は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。図４は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。
　内視鏡画像Ｘを取得する（Ｓ１）。ユーザは、スコープ２２を被検体に挿入し、照明部２３を駆動して照明光を被検体に照射する。画像生成部２７は、被検体を撮像し、画像処理を行って内視鏡画像Ｘを診断支援情報生成部３１に出力する。
　病変候補Ｌを検出する（Ｓ２）。検出部３２は、所定の検出処理によって内視鏡画像Ｘから病変候補Ｌを検出して鑑別部３３に出力する。
　病変候補Ｌを鑑別する（Ｓ３）。鑑別部３３は、所定の鑑別処理によってＳ２で検出された病変候補Ｌを鑑別する。具体的には、鑑別部３３は、メモリ３８に予め記憶された分類情報を読み込む。分類情報には、ＮＩＣＥ分類の所定の分類条件及び基準画像が含まれる。鑑別部３３は、画像の輝度値によって色調を検出し、所定の輪郭抽出処理によって血管模様及び表面模様を検出する。鑑別部３３は、検出した結果と、ＮＩＣＥ分類の所定の分類条件及び基準画像とを比較し、分類であるＴｙｐｅ１からＴｙｐｅ３の各々の適合率を算出し、鑑別情報Ｃを生成する。鑑別部３３は、病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃを病変候補選択部３４に出力する。
　鑑別対象病変候補Ｌｄを選択する（Ｓ４）。図４に示すように、病変候補選択部３４は、複数の病変候補Ｌの中からより内視鏡画像Ｘの中心位置に近い、鑑別対象病変候補Ｌｄを選択し、表示画像出力部３５に、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを出力する。
　表示画像Ｙを出力する（Ｓ５）。表示画像出力部３５は、表示画像Ｙに、鑑別対象病変候補Ｌｄの位置情報を重畳する。より具体的には、表示画像出力部３５は、内視鏡画像Ｘ内に鑑別対象病変候補Ｌｄの位置を示す位置表示画像Ｗを重畳する。図４の例では、位置表示画像Ｗは、鑑別対象病変候補Ｌｄを囲むように重畳される四角形画像である。
　また、表示画像出力部３５は、内視鏡画像Ｘが重畳される領域とは異なる情報表示領域Ｚａに、鑑別情報Ｃｄを重畳する。鑑別情報Ｃｄは、図４の例では、ＮＩＣＥ分類のＴｙｐｅ１の適合率が２０％、Ｔｙｐｅ２の適合率が８０％のように示される。鑑別情報Ｃｄには、適合率に応じて増減表示するインジケータＣｉが設けられてもよい。
　すなわち、実施形態の内視鏡画像処理方法は、入力部Ｉによって内視鏡画像Ｘの順次入力を行い、検出部３２によって内視鏡画像Ｘの病変候補Ｌの検出を行い、鑑別部３３によって検出された病変候補Ｌを鑑別して鑑別情報Ｃの出力を行い、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、病変候補選択部３４によって鑑別対象の鑑別対象病変候補Ｌｄの選択を行い、表示画像出力部３５によって内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄの出力を行う。
　これにより、内視鏡画像処理装置１は、病変候補Ｌの中から、内視鏡画像Ｘの中心位置に最も近い位置にある鑑別対象病変候補Ｌｄを選択できる。また、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、内視鏡画像Ｘに鑑別対象病変候補Ｌｄの位置情報を表示し、内視鏡画像Ｘとは異なる位置に鑑別情報Ｃｄを表示する。
　例えば、ユーザが、注目している病変候補Ｌが中心位置に表示されるように内視鏡２１を操作したとき、内視鏡画像処理装置１は、病変候補Ｌの中から内視鏡画像Ｘの中心位置に最も近い鑑別対象病変候補Ｌｄの位置情報を表示し、内視鏡画像Ｘとは異なる位置に鑑別情報Ｃｄを表示する。
　実施形態によれば、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。
　（第３実施形態）
　第１実施形態及び第２実施形態では、病変候補Ｌの位置情報に応じて鑑別対象病変候補Ｌｄを選択するが、位置情報以外の情報に応じて鑑別対象病変候補Ｌｄを選択してもよい。
　図５は、本発明の第３実施形態に係わる、内視鏡装置Ｅｓの病変候補Ｌのパラメータの一例を説明する図である。図５における「ｘｘｘ」は、パラメータ値を示す。図５における「病変候補１」「病変候補２」の各々は、検出された複数の病変候補Ｌを示す。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　図５に示すように、検出部３２は、病変候補Ｌの各々の位置情報の他、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、病変候補Ｌと処置具間の距離情報、検出確信度の各パラメータ値を生成し、各パラメータを含む病変候補Ｌを鑑別部３３に出力する。
　面積は、例えば、所定の輪郭抽出処理によって病変候補Ｌの輪郭を抽出し、抽出した輪郭に基づいて、所定の演算によって算出される。
　内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、例えば、画素の輝度値に基づいて、所定の演算によって算出される。内視鏡先端の撮像部と病変候補Ｌ間の距離が短くなると、輝度値は、大きくなる。画素は、赤色であることが望ましいがこれに限定されない。
　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、制御部３６から取得するゲイン調整の量に基づいて、所定の演算によって算出してもよい。ゲイン調整の量は、内視鏡画像Ｘの明るさを補正する量である。内視鏡先端の撮像部と病変候補Ｌ間の距離情報が短くなると、ゲイン調整の量は、小さくなる。
　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、スコープ２２の先端部にステレオアダプタを装着してステレオ画像を取得し、三角測距法に基づいて、所定の演算によって算出してもよい。
　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、所定の輪郭抽出処理によって血管の輪郭を抽出し、抽出した輪郭に基づいて、血管の幅を検出し、検出した血管の幅に基づいて、所定の演算によって算出してもよい。内視鏡２１と病変候補Ｌ間の距離情報が短くなると、血管の幅は、大きくなる。
　合焦値は、例えば、内視鏡画像Ｘの空間周波数に基づいて、所定の演算によって算出される。空間周波数が高くなると、合焦値は、高くなる。
　露出適正度は、例えば、内視鏡画像Ｘと撮像素子感度に基づいて、所定の演算によって算出される。露出適正度は、病変候補Ｌの露出値を検出し、適正露出値との乖離度に基づいて算出してもよい。
　光源モードは、例えば、各色の画素の平均輝度値を算出し、平均輝度値に基づいて、検出される。例えば、光源モードは、平均輝度値が第１所定範囲内の値であるとき、白色光源モードであると検出され、また、平均輝度値が第２所定範囲内の値であるとき、狭帯光源モードであると検出される。なお、検出部３２は、平均輝度値に基づいた検出ではなく、制御部３６から光源モードを示すパラメータを取得するように構成してもよい。
　色は、例えば、各色の画素の輝度値に基づいて、所定の演算によって検出される。
　形状は、例えば、所定の輪郭抽出処理に基づいて、所定の演算によって検出される。
　病変候補Ｌと処置具間の距離情報は、例えば、所定の輪郭抽出処理によって処置具画像を抽出し、抽出した処置具画像と病変候補Ｌに基づいて、所定の演算によって算出される。
　検出確信度は、例えば、病変候補Ｌとモデル情報とに基づいて、所定の演算によって算出される。
　鑑別部３３は、鑑別情報Ｃに基づいて、所定の演算によって重篤度算出値を算出し、重篤度算出値を含む病変候補Ｌを病変候補選択部３４に出力する。重篤度算出値は、鑑別情報Ｃに基づいて、算出される。
　病変候補選択部３４は、検出部３２及び鑑別部３３によって検出又は算出した、位置情報、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、処置具からの距離情報、検出確信度及び重篤度算出値の各々に応じ、鑑別対象病変候補Ｌｄを選択する。
　例えば、病変候補選択部３４は、面積の大きい病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌが大きく表示されるように内視鏡２１を操作したとき、病変候補選択部３４は、病変候補Ｌの中から面積の大きい鑑別対象病変候補Ｌｄを選択可能である。
　また、病変候補選択部３４は、距離情報に基づいて、内視鏡先端の撮像部から距離の近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌに内視鏡先端の撮像部を近付けたとき、病変候補選択部３４は、病変候補Ｌの中から内視鏡先端の撮像部と病変候補Ｌ間の距離の短い鑑別対象病変候補Ｌｄを選択可能である。
　また、病変候補選択部３４は、焦点又は露出の合った病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌに焦点又は露出を合わせたとき、病変候補選択部３４は、病変候補Ｌの中から焦点又は露出の合った鑑別対象病変候補Ｌｄを選択可能である。
　また、病変候補選択部３４は、光源モード及び色に基づいて、残渣及びハレーションのある病変候補Ｌを除外するように構成してもよい。例えば、白色光の光源モードであれば、白色又は黄色の強い病変候補Ｌを鑑別対象病変候補Ｌｄから除外する。なお、病変候補選択部３４は、検出した形状に基づいてハレーションのある病変候補Ｌを鑑別対象病変候補Ｌｄから除外するように構成してもよい。
　また、病変候補選択部３４は、検出した形状に基づいて、より円形に近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌの正面を撮像するように内視鏡２１を操作したとき、病変候補選択部３４は、病変候補Ｌの中から正面を撮像した鑑別対象病変候補Ｌｄを選択可能である。
　また、病変候補選択部３４は、処置具に近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが注目している病変候補Ｌに処置具を近付けたとき、病変候補選択部３４は、病変候補Ｌの中から処置具と病変候補Ｌ間の距離の短い鑑別対象病変候補Ｌｄを選択可能である。
　また、病変候補選択部３４は、検出確信度の高い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。
　また、病変候補選択部３４は、重篤度算出値の高い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。
　例えば、病変候補選択部３４は、位置情報、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、処置具と病変候補Ｌ間の距離情報、検出確信度及び重篤度算出値の各々について、重み付けを行うことによって評価値を算出し、評価値に応じて鑑別対象病変候補Ｌｄを選択してもよい。
　すなわち、病変候補選択部３４は、病変候補Ｌのサイズに基づいて、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、内視鏡先端の撮像部と病変候補Ｌ間の距離情報に基づいて、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、病変候補Ｌの色に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌの形状に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、内視鏡画像Ｘに表れた処置具と病変候補Ｌ間の距離情報に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌの検出確信度に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、鑑別情報Ｃに基づいて算出された重篤度算出値に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌ及び鑑別情報Ｃから取得される複数のパラメータの重み付けを行うことによって評価値を算出し、評価値に基づいて、鑑別対象病変候補Ｌｄを選択する。
　実施形態によれば、内視鏡画像処理装置１は、よりユーザの注目度の高い鑑別対象病変候補Ｌｄを選択することができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。
　（第４実施形態）
　第１実施形態から第３実施形態では、内視鏡画像処理装置１は、病変候補Ｌの中から鑑別対象病変候補Ｌｄを表示するが、さらに、複数の病変候補Ｌが検出されたことを報知するように構成してもよい。
　図６は、本発明の４実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　内視鏡画像処理装置１は、複数病変候補検出部３９を有する。
　複数病変候補検出部３９は、病変候補Ｌが複数存在することを検出する。複数病変候補検出部３９は、鑑別部３３から入力した病変候補Ｌが複数存在するとき、病変候補選択部３４に病変候補Ｌが複数存在することを示すフラグ情報を出力する。病変候補検出部３９は、回路によって構成されるが、制御部３６によって実行される処理部によって構成されてもよい。
　病変候補Ｌが複数存在するとき、鑑別対象病変候補Ｌｄ以外の病変候補Ｌは、非表示である。複数検出部３９から病変候補Ｌが複数存在することを示すフラグ情報が入力されると、表示画像出力部３５は、表示画像Ｙに、非表示の病変候補Ｌが存在することを示す報知画像Ｆ１を重畳して出力する。
　図７は、本発明の第４実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。図８は、本発明の第４実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。
　Ｓ１１からＳ１３は、Ｓ１からＳ３と同じであるため、説明を省略する。
　病変候補Ｌが複数検出されたか否かを判定する（Ｓ１４ａ）。複数検出部３９は、鑑別部３３から病変候補Ｌが複数入力されたか否かを判定する。病変候補Ｌが複数入力されているとき（Ｓ１４ａ：ＹＥＳ）、処理はＳ１４ｂに進む。一方、病変候補Ｌが複数以外の１つ入力されているとき（Ｓ１４ａ：ＮＯ）、処理はＳ１４ｃに進む。
　Ｓ１４ｂでは、表示画像Ｙに報知を行う。複数検出部３９は、表示画像出力部３５に複数報知の指示を行う。図８に示すように、表示画像出力部３５は、表示画像Ｙに、円形のアイコンによって構成された報知画像Ｆ１を重畳する。
　Ｓ１４ｃ及びＳ１５は、Ｓ４及びＳ５と同じであるため、説明を省略する。
　実施形態によれば、内視鏡画像処理装置１は、非表示の病変候補Ｌの存在の報知を行うことができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。
　（第４実施形態の変形例１）
　図９は、本発明の第４実施形態の変形例１に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　第４実施形態では、報知画像Ｆ１は、円形のアイコンによって構成されるが、図９に示すように、報知画像Ｆ２は、非表示の病変候補Ｌの存在を報知する「非表示病変候補あり」のメッセージによって構成してもよい。
　（第４実施形態の変形例２）
　図１０は、本発明の第４実施形態の変形例２に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　第４実施形態及びその変形例１では、報知画像Ｆ１が円形のアイコンによって構成され、報知画像Ｆ２がメッセージによって構成されるが、報知画像Ｆ３は、鑑別対象病変候補Ｌｄを囲むように重畳される画像によって構成されてもよい。
　非表示の病変候補Ｌが存在しないとき、鑑別対象病変候補Ｌｄを囲むように、四角形模様の位置表示画像Ｗが重畳される。図１０に示すように、非表示の病変候補Ｌが存在するとき、位置表示画像Ｗを非表示にし、鑑別対象病変候補Ｌｄを囲むように、位置表示画像Ｗとは異なる六角形模様の報知画像Ｆ３が重畳される。なお、報知画像Ｆ３は、位置表示画像Ｗと異なる色に変えてもよい。
　（第４実施形態の変形例３）
　図１１は、本発明の第４実施形態の変形例３に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　第４実施形態及びその変形例１と２では、報知画像Ｆ１が円形のアイコンによって構成され、報知画像Ｆ２がメッセージによって構成され、報知画像Ｆ３が、鑑別対象病変候補Ｌｄを囲むように重畳される画像によって構成されるが、報知画像Ｆ４は、非表示の病変候補Ｌの数を重畳して出力してもよい。
　すなわち、表示画像出力部３５は、内視鏡画像Ｘに、鑑別対象病変候補Ｌｄ以外の非表示の病変候補Ｌがあるとき、表示画像Ｙに、非表示の病変候補Ｌの数を重畳する。
　図１１は、非表示の病変候補Ｌが２つ存在することを示す報知画像Ｆ４の例である。
　第４実施形態及びその変形例１から３によれば、表示画像出力部３５は、内視鏡画像Ｘに、鑑別対象病変候補Ｌｄ以外の非表示の病変候補Ｌがあるとき、表示画像Ｙに、報知画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を重畳する。
　（第５実施形態）
　第１から第４の実施形態及びその変形例では、病変候補選択部３４は、内視鏡画像Ｘに基づいて、病変候補Ｌの中から鑑別対象病変候補Ｌｄを選択したが、ユーザの指示入力に基づいて、鑑別対象病変候補Ｌｄを選択してもよい。
　図１２は、本発明の第５実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。図１３は、本発明の第５実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　内視鏡２１及び診断支援情報生成部３１は、指示入力部Ｏｐを有する。指示入力部Ｏｐは、例えば、操作スイッチを有する。
　Ｓ２１からＳ２４ｂ及びＳ２５は、Ｓ１１からＳ１４ｂ及びＳ１５と同じであるため、説明を省略する。
　病変候補選択部３４は、指示入力部Ｏｐの指示入力に応じ、鑑別対象病変候補Ｌｄを選択する（Ｓ２４ｃ）。
　実施形態によれば、内視鏡画像処理装置１は、ユーザの指示入力によって鑑別対象病変候補Ｌｄを選択することができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。
　（第６実施形態）
　第１から第４の実施形態及びその変形例では、検出部３２、鑑別部３３及び病変候補選択部３４の順に、処理が進むが、検出部３２、病変候補選択部３４ａ及び鑑別部３３ａの順に処理が進むように構成してもよい。
　図１４は、本発明の第６実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
　図１４に示すように、検出部３２は、所定の検出処理を行って病変候補Ｌを病変候補選択部３４ａに出力する。病変候補選択部３４ａは、病変候補Ｌの中から鑑別対象病変候補Ｌｄを選択し、鑑別部３３ａに出力する。鑑別部３３ａは、鑑別対象病変候補Ｌｄに基づいて、所定の鑑別処理によって鑑別対象病変候補Ｌｄの重篤度を示す鑑別情報Ｃｄを生成し、表示画像出力部３５に出力する。
　図１５は、本発明の第６実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。
　Ｓ３１及びＳ３２は、Ｓ１及びＳ２と同じであるため、説明を省略する。
　鑑別対象病変候補Ｌｄを選択する（Ｓ３３）。病変候補選択部３４ａは、鑑別対象病変候補Ｌｄを選択し、鑑別部３３ａに出力する。
　鑑別対象病変候補Ｌｄを鑑別する（Ｓ３４）。鑑別部３３ａは、鑑別対象病変候補Ｌｄを鑑別し、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを表示画像出力部３５に出力する。
　Ｓ３５は、Ｓ５と同じであるため、説明を省略する。
　すなわち、鑑別部３３ａは、病変候補選択部３４ａによって鑑別対象病変候補Ｌｄを選択した後、所定の鑑別処理によって鑑別対象病変候補Ｌｄの鑑別情報Ｃｄを出力する。
　実施形態によれば、内視鏡画像処理装置１は、鑑別部３３ａによる所定の鑑別処理を行う前に鑑別対象病変候補Ｌｄを選択して演算量を減少させることができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。
　なお、実施形態及び変形例では、画像生成部２、２７と診断支援情報生成部３、３１は、別体であるが、一体化してもよい。
　なお、実施形態及び変形例では、一例として、鑑別部３３、３３ａがＮＩＣＥ分類に基づく鑑別情報Ｃ、Ｃｄを出力する例を説明したが、これに限定されない。例えば、鑑別部３３、３３ａが広島分類又はＪＮＥＴ分類等の医学的な分類に基づく鑑別情報Ｃを出力してもよい。
　本明細書における各「部」は、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各「部」の全て又は一部をソフトウェアによって実現してもよい。さらに、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　例えば、ＣＰＵ８ａ、３７がメモリ８ｂ、３８に記憶されたコードを実行することによって内視鏡画像処理装置１の機能を実現してもよい。
　すなわち、内視鏡画像処理装置１は、内視鏡画像Ｘの病変候補Ｌを検出するコードと、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力するコードと、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、鑑別対象の鑑別対象病変候補Ｌｄを選択するコードと、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを出力するコードと、をコンピュータに実行させるための内視鏡画像処理プログラムを有する。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (19)

  1. 　内視鏡画像を順次入力する入力部と、
    　前記内視鏡画像の病変候補を検出する検出部と
    　検出された前記病変候補を鑑別して鑑別情報を出力する鑑別部と、
    　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択する病変候補選択部と
    　前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力する表示画像出力部と、
    　を有する内視鏡画像処理装置。
  2. 　前記病変候補選択部は、前記内視鏡画像に基づいて、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
  3. 　前記検出部は、前記位置情報を検出し、
    　前記病変候補選択部は、前記位置情報に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  4. 　前記検出部は、前記病変候補のサイズを検出し、
    　前記病変候補選択部は、前記病変候補のサイズに基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  5. 　内視鏡を有し、
    　前記検出部は、前記内視鏡先端の撮像部と前記病変候補間の距離情報を算出し、
    　前記病変候補選択部は、前記内視鏡先端の撮像部と前記病変候補間の距離情報に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  6. 　前記検出部は、前記病変候補の色を検出し、
    　前記病変候補選択部は、前記病変候補の色に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  7. 　前記検出部は、前記病変候補の形状を検出し、
    　前記病変候補選択部は、前記病変候補の形状に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  8. 　処置具を有し、
    　前記検出部は、前記内視鏡画像に表れた前記処置具と前記病変候補間の距離情報を検出し、
    　前記病変候補選択部は、前記処置具と前記病変候補間の距離情報に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  9. 　前記検出部は、前記病変候補の検出確信度を算出し、
    　前記病変候補選択部は、前記病変候補の検出確信度に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  10. 　前記鑑別部は、前記鑑別情報に基づいて、重篤度算出値を算出し、
    　前記病変候補選択部は、前記重篤度算出値に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  11. 　前記病変候補選択部は、前記病変候補及び前記鑑別情報から取得される複数のパラメータの重み付けを行うことによって評価値を算出し、前記評価値に基づいて、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
  12. 　前記表示画像出力部は、前記内視鏡画像に、前記鑑別対象病変候補以外の非表示の病変候補があるとき、報知画像を出力する、請求項１に記載の内視鏡画像処理装置。
  13. 　前記表示画像出力部は、前記内視鏡画像に、前記鑑別対象病変候補以外の非表示の病変候補があるとき、前記非表示の病変候補の数を出力する、請求項１に記載の内視鏡画像処理装置。
  14. 　指示入力部を有し、
    　前記病変候補選択部は、前記指示入力部の指示入力に応じ、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
  15. 　指示入力部は、操作スイッチである、請求項１３に記載の内視鏡画像処理装置。
  16. 　前記病変候補選択部は、前記鑑別部によって前記鑑別情報を出力した後、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
  17. 　前記鑑別部は、前記病変候補選択部によって前記鑑別対象病変候補を選択した後、所定の鑑別処理によって前記鑑別対象病変候補の前記鑑別情報を出力する、請求項１に記載の内視鏡画像処理装置。
  18. 　内視鏡画像の病変候補を検出するコードと、
    　検出された前記病変候補を鑑別して鑑別情報を出力するコードと、
    　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択するコードと、
    　前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力するコードと、
    　をコンピュータに実行させるための内視鏡画像処理プログラム。
  19. 　入力部によって内視鏡画像の順次入力を行い、
    　検出部によって前記内視鏡画像の病変候補の検出を行い、
    　鑑別部によって検出された前記病変候補を鑑別して鑑別情報の出力を行い、
    　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、病変候補選択部によって鑑別対象の鑑別対象病変候補の選択を行い、
    　表示画像出力部によって前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報の出力を行う、
    　内視鏡画像処理方法。
PCT/JP2018/002490 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法 Ceased WO2019146075A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/002490 WO2019146075A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
US16/936,503 US20210012886A1 (en) 2018-01-26 2020-07-23 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002490 WO2019146075A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/936,503 Continuation US20210012886A1 (en) 2018-01-26 2020-07-23 Image processing apparatus, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019146075A1 true WO2019146075A1 (ja) 2019-08-01

Family

ID=67394749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002490 Ceased WO2019146075A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法

Country Status (2)

Country Link
US (1) US20210012886A1 (ja)
WO (1) WO2019146075A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054604A1 (ja) * 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2025098214A (ja) * 2022-11-16 2025-07-01 コニカミノルタ株式会社 プログラム、表示装置、表示システム及び表示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120212A1 (en) * 2020-12-04 2022-06-09 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Apparatus and method for detecting cervical cancer

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011193983A (ja) * 2010-03-18 2011-10-06 Olympus Corp 内視鏡システム、撮像装置及び制御方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011193983A (ja) * 2010-03-18 2011-10-06 Olympus Corp 内視鏡システム、撮像装置及び制御方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054604A1 (ja) * 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2020054604A1 (ja) * 2018-09-11 2021-08-30 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7232424B2 (ja) 2018-09-11 2023-03-03 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11957300B2 (en) 2018-09-11 2024-04-16 Nec Corporation Information processing apparatus, control method, and program
US12295545B2 (en) 2018-09-11 2025-05-13 Nec Corporation Information processing apparatus, control method, and program
JP2025098214A (ja) * 2022-11-16 2025-07-01 コニカミノルタ株式会社 プログラム、表示装置、表示システム及び表示方法

Also Published As

Publication number Publication date
US20210012886A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
EP4446983A1 (en) Image processing method, apparatus and device
JP5568196B1 (ja) 画像処理装置及び画像処理方法
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP7060536B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
JP5073564B2 (ja) 計測用内視鏡装置およびプログラム
WO2006123455A1 (ja) 画像表示装置
US20150130900A1 (en) Endoscope apparatus
JP7304951B2 (ja) コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
JPWO2017203560A1 (ja) 内視鏡画像処理装置
JP6552601B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JPWO2019220848A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
JPWO2019244255A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法およびプログラム
WO2019016912A1 (ja) 診断支援装置、診断支援方法及びプログラム
WO2019146075A1 (ja) 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
US20200126224A1 (en) Image processing device, recording medium, and image processing method
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
WO2019146077A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
WO2019146079A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP2006209698A (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
JP5602449B2 (ja) 内視鏡装置
EP4218563A1 (en) Endoscope system and endoscope system operation method
JP2009282379A (ja) 内視鏡装置およびプログラム
JP2024045237A (ja) 画像処理装置、画像処理方法およびプログラム
JP5014593B2 (ja) 眼科測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902022

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902022

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP