[go: up one dir, main page]

WO2020090002A1 - 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法 - Google Patents

内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2020090002A1
WO2020090002A1 PCT/JP2018/040315 JP2018040315W WO2020090002A1 WO 2020090002 A1 WO2020090002 A1 WO 2020090002A1 JP 2018040315 W JP2018040315 W JP 2018040315W WO 2020090002 A1 WO2020090002 A1 WO 2020090002A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
external
processing device
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/040315
Other languages
English (en)
French (fr)
Inventor
勝義 谷口
大和 神田
明広 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2018/040315 priority Critical patent/WO2020090002A1/ja
Priority to JP2020554641A priority patent/JP7138719B2/ja
Priority to CN201880099100.0A priority patent/CN112969402B/zh
Publication of WO2020090002A1 publication Critical patent/WO2020090002A1/ja
Priority to US17/239,802 priority patent/US12143755B2/en
Anticipated expiration legal-status Critical
Priority to US18/909,308 priority patent/US20250030819A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope system capable of performing cooperative processing with devices on a network, an image processing device used in the endoscope system, and an image processing method.
  • CAD computer diagnosis support
  • CAD has been announced that shows the position of a lesion candidate and displays the identification information in a moving image from an endoscope.
  • a huge amount of calculation is required to display the discrimination information in CAD. Therefore, for example, a system arranged in an operating room may not be able to perform a reliable diagnosis process by CAD from the viewpoint of computing capacity, or a huge amount of time may be required to perform a reliable diagnosis.
  • image information or the like is transmitted to an external device having high processing capability via a network, and the external device performs diagnostic processing or the like.
  • Patent Document 1 in a surveillance camera system including a plurality of cameras, the amount of data to be transmitted is reduced by encoding image information in order to reduce the image information transmitted to the system via a network. Techniques for doing so are disclosed.
  • Patent Document 1 Even if the proposal of Patent Document 1 is adopted and the information is compressed and transmitted, there is a problem that the transmission amount may not be sufficiently reduced.
  • the present invention is an endoscope system capable of sufficiently reducing the amount of transmission to an external device by selecting image information to be transmitted to an external device, and an image processing device and an image used in the endoscope system. It is intended to provide a processing method.
  • An image processing apparatus used for an endoscope system includes an internal image processing unit that performs image processing on an input image, and an image input to the external image processing apparatus connected to an external network.
  • a selection processing unit that performs a selection process for selecting and transmitting a part of the data.
  • An endoscope system includes an image processing device used in the endoscope system and the external image processing device.
  • An image processing method used in an endoscope system performs image processing on an input image and selects a part of the input image to an external image processing device connected to an external network. Then, a selection process for transmitting is performed.
  • FIG. 3 is a block diagram showing an example of a specific configuration of the internal image processing device 4.
  • the block diagram which shows an example of a concrete structure of the selection part 15 in FIG. 6 is a flowchart for explaining the operation of the first embodiment.
  • FIG. 1 is an explanatory diagram showing an endoscope system using an image processing apparatus according to the first embodiment of the present invention.
  • the endoscope system is composed of an internal image processing device arranged inside an external network and an external image processing device accessible by the internal image processing device via the external network.
  • an external image processing device connected to an external network has a higher processing capacity than an internal image processing device and is often easy to perform high-precision processing.
  • the processing device can perform processing as fast as the time required to access an external network and transmit data, and as a result, high-speed processing or real-time processing may be possible.
  • the transmission amount of the image information used in the processing is selectively transmitted to the external image processing apparatus to reduce the transmission amount.
  • the real-time property and the high-speed property are secured as needed, and detailed, reliable and reliable processing is enabled.
  • a moving image from an endoscope will be described as an example of an image to be image-processed, but the present embodiment is not limited to medical images such as an endoscopic image, and various moving images It is applicable to those that perform the processing of. Further, although an example will be described of an apparatus that employs a medical image as an image to be applied and performs a diagnostic process or the like as image processing, the type of image processing is not particularly limited and can be applied to various image processing. ..
  • an endoscope 1 has an elongated insertion portion (not shown) that is inserted into a body cavity, and an operation portion (not shown) operated by an operator is continuously provided at a proximal end portion of the insertion portion. ing.
  • the universal cord 2 is extended from this operation unit and connected to the central processor 3.
  • An illumination lens for illuminating an observation target is provided at the tip of the insertion portion of the endoscope 1, and the subject is irradiated with illumination light through the illumination lens.
  • the reflected light from the subject is taken into the insertion section through the objective lens provided at the tip of the insertion section, and is incident on the imaging section including the CCD and CMOS sensor provided in the endoscope 1.
  • the imaging unit outputs an imaging signal based on the subject optical image to the central processor 3 via the universal code 2.
  • the central processor 3 performs predetermined signal processing on the image pickup signal from the endoscope 1 to generate an endoscopic image in a format that can be displayed on the monitor 5.
  • the central processor 3 outputs the generated endoscopic image (medical image) to the internal image processing device 4.
  • images from a plurality of endoscopes and images from an ultrasonic endoscope are shown.
  • a plurality of types of medical images may be input.
  • the internal image processing device 4 is able to support diagnosis by image analysis of the input medical image.
  • the internal image processing device 4 can detect a lesion candidate based on a medical image.
  • the internal image processing device 4 may be configured to be able to discriminate benign or malignant from the detected lesion candidate.
  • the internal image processing device 4 may detect the lesion candidate or perform the discrimination by machine learning using AI.
  • the internal image processing device 4 generates an inference model for detecting and differentiating a lesion candidate from a medical image by deep learning using a large amount of learning images such as a lesion image and a non-lesion image. You may.
  • the internal image processing device 4 can output information on the probability of being a lesion candidate and the probability of discrimination.
  • R-CNN Regions with CNN features
  • FCN Full Convolutional Networks
  • CNN Convolution Neural Networks
  • the inference model may be acquired by adopting various known machine learning methods as well as deep learning.
  • the internal image processing device 4 may detect a lesion site candidate or distinguish it from a medical image by a method other than machine learning. For example, the internal image processing device 4 may detect a lesion site candidate or perform discrimination by determining each image portion with respect to a color, a shape of a protrusion, a surface shape, and the like by performing image analysis on a medical image.
  • the internal image processing device 4 can access the external network 6 and can exchange information with the external image processing device 7 connected to the external network 6.
  • the external network 6 may be a public network such as the Internet, or may be an in-hospital network or the like.
  • the external image processing device 7 has the same function as the internal image processing device 4, and can perform highly accurate processing in a relatively short time compared to the internal image processing device 4. For example, when the diagnostic function of the external image processing device 7 is realized by machine learning, the external image processing device 7 performs machine learning using a larger number of images, and has higher reliability than the internal image processing device 4. There is a possibility that highly accurate diagnosis can be performed.
  • the external image processing device 7 is not limited to the one that realizes the function by one computer, but may be the one that realizes the function by a plurality of computers that perform distributed processing, and various functions as a service on the Internet. It may be one that realizes the cloud computing provided.
  • the internal image processing device 4 can not only perform the diagnosis on its own, but also send image information and the like to the external image processing device 7 to request the diagnosis and the like.
  • the internal image processing device 4 selects the image information or the like to be provided to the external image processing device 7 from the input image information, and only some of the image information is processed by the external image processing. It is adapted to output to the device 7.
  • the external image processing device 7 can perform the diagnosis on the received image information according to the request of the internal image processing device 4 and can transmit the diagnosis result to the internal image processing device 4 via the external network 6. There is.
  • the internal image processing device 4 can output the medical image from the central processor 3 to the monitor 5. Further, the internal image processing device 4 can generate a monitor output for displaying the diagnosis result by itself and the diagnosis result of the external image processing device 7 and output the monitor output to the monitor 5. The internal image processing device 4 can superimpose the diagnosis result on the medical image from the central processor 3 and display it on the monitor 5.
  • the internal image processing device 4 selects image information to be supplied to the external image processing device 7 based on a selection signal from the outside.
  • a selection signal from the outside for example, a signal based on the operation of the endoscope 1 can be used.
  • the operation unit of the endoscope 1 is provided with a release switch for taking a still image and a freeze switch for displaying a still image.
  • the release switch and freeze switch are operated, for example, when the operator judges that careful observation should be performed. Therefore, when a release switch, a freeze switch, or the like is operated, an operation signal based on the operation may be given to the internal image processing device 4 as a selection signal of an output destination of image information.
  • the internal image processing device 4 supplies the still image designated by this operation to the external image processing device 7 via the external network 6.
  • the operation unit of the endoscope 1 is also provided with a switch for selecting between normal light observation and special light observation, and an operation signal based on the operation of this switch is internally used as a selection signal of an output destination of image information. It may be provided to the image processing device 4.
  • the internal image processing device 4 uses the image information input during the normal light observation by itself, and when the selection signal based on the operation designating the special light observation is input, the input image is output to the outside. It is supplied to the external image processing device 7 via the network 6.
  • the switching of the observation mode has been described as an example of the operation, but an operation of carefully watching the image such as an operation signal for enlarging the image may be adopted as the selection signal. Further, even when the image is stopped for a certain time or more, this may be detected and used as the selection signal.
  • the operation signal based on the operation of the endoscope 1 may be once supplied to the central processor 3 and then supplied from the central processor 3 to the internal image processing device 4 as a selection signal.
  • the image may be directly supplied from the mirror 1 to the internal image processing device 4.
  • various medical devices are arranged in the examination room.
  • a signal based on a switch operation for switching on and off of a medical device such as an electric knife and a foot switch is used as a selection signal in the internal image processing device 4. It is also possible to supply. In this case, for example, selection processing such as transferring image information when the foot switch is used to the external image processing device 7 is possible.
  • FIG. 2 is a block diagram showing an example of a specific configuration of such an internal image processing device 4.
  • the internal image processing device 4 is composed of a switch 11, an image diagnostic processing unit 12 and an interface 13.
  • a medical image or the like from the central processor 3 is input to the switch 11 as a selection processing unit, and the input medical image is output to the interface 13 or the image diagnostic processing unit 12 based on the selection signal.
  • the image diagnosis processing unit 12 as an internal image processing unit executes the diagnosis processing using the above-described machine learning or another method on the input medical image, and outputs the diagnosis result to the monitor 5 as a monitor output. It is like this.
  • the interface 13 is capable of exchanging information between the inside of the internal image processing device 4 and the external network 6, and transmits a medical image or the like from the switch 11 to the external image processing device 7 via the external network 6. The information from the external image processing device 7 can be received via the external network 6 and supplied to the image diagnostic processing unit 12.
  • the endoscope 1 is inserted into the subject and the endoscopic image is used to detect and discriminate a lesion in the subject.
  • the operator inserts an insertion part (not shown) into a subject (not shown).
  • the endoscope 1 outputs to the central processor 3 the imaging signal acquired by imaging the inside of the subject.
  • the central processor 3 generates an endoscopic image based on the image pickup signal from the endoscope 1 and outputs the endoscopic image to the internal image processing device 4.
  • the internal image processing device 4 gives the input endoscopic image to the image diagnostic processing unit 12 by, for example, the switch 11 of FIG.
  • the image diagnosis processing unit 12 can supply the input endoscopic image to the monitor 5 and display the endoscopic image on the display screen of the monitor 5. Further, the image diagnosis processing unit 12 performs a diagnosis process on the endoscopic image and supplies the diagnosis result to the monitor 5 as a monitor output. As a result, the diagnosis result by the image diagnosis processing unit 12 is displayed on the display screen of the monitor 5 together with the endoscopic image from the central processor 3.
  • the image diagnosis processing unit 12 may not be able to perform accurate and highly accurate diagnosis in real-time processing of an endoscopic image. Therefore, the image diagnosis processing unit 12 mainly only detects, for example, a lesion part candidate.
  • the image diagnosis processing unit 12 performs a diagnosis process using, for example, machine learning, and detects whether or not a lesion part candidate exists in the endoscopic image.
  • the image diagnosis processing unit 12 detects a lesion part candidate in the endoscopic image, it outputs the detection result to the monitor 5 as a monitor output.
  • a display indicating that the lesion candidate has been detected and a display indicating the position of the lesion candidate are displayed together with the endoscopic image on the endoscopic image.
  • the operator From the display on the monitor 5, the operator recognizes that the lesion candidate has been detected. Then, the operator operates, for example, a release switch while capturing the lesion candidate in the imaging range of the endoscope 1 for reliable detection and discrimination of the lesion. By this operation, the endoscope 1 outputs the image pickup signal of the still image to the central processor 3, and the central processor 3 outputs the still image to the internal image processing device 4. On the other hand, an operation signal based on the release switch operation is supplied to the switch 11 of the internal image processing device 4 as a selection signal. As a result, the switch 11 changes the output destination of the endoscope still image including the input lesion candidate position to the interface 13.
  • the endoscope still image including the lesion candidate position is output from the interface 13 to the external image processing device 7 via the external network 6.
  • the detection of the lesion candidate itself may be used as a trigger to send the image. ..
  • the external image processing device 7 executes a diagnostic process on the input endoscope still image.
  • the external image processing device 7 is capable of high-performance processing and may be able to perform accurate and highly accurate diagnosis.
  • the external image processing device 7 determines whether or not the lesion site candidate is a lesion site by diagnostic processing on a still image including the lesion site candidate, and if possible, distinguishes the lesion site.
  • the external image processing device 7 outputs the detection result and the discrimination result of the lesion portion to the internal image processing device 4 via the external network 6.
  • the interface 13 of the internal image processing apparatus 4 receives the diagnosis result from the external image processing apparatus 7 and gives it to the image diagnosis processing unit 12.
  • the image diagnosis processing unit 12 outputs a highly reliable diagnosis result by the external image processing device 7 to the monitor 5 as a monitor output.
  • the endoscopic image is displayed on the display screen of the monitor 5 and the presence or absence of a lesion in the endoscopic image is displayed and, if present, the position of the lesion.
  • the display is displayed.
  • a display regarding the discrimination result of the lesion portion is also displayed on the display screen of the monitor 5.
  • the diagnosis result transmitted from the external image processing device 7 is only the result of whether the target image is benign or malignant (1 or 0) and the numerical value of the probability of being malignant (a numerical value between 0 and 1). Instead, for example, display data such as a graphed diagnosis result may be transmitted.
  • the image diagnosis processing unit 12 may directly output the received diagnosis result to the monitor 5. It is also possible to directly supply the transmission data of the external image processing device 7 to the monitor 5 without going through the image diagnostic processing unit 12.
  • the image diagnosis processing unit 12 may change the color and shape of the frame indicating the lesion detection result based on the received information and display the frame on the monitor 5.
  • the internal image processing device 4 detects a lesion candidate during the examination using the endoscope, a display regarding the lesion candidate can be displayed on the display screen of the monitor 5.
  • the internal image processing device 4 is provided inside the external network 6, can receive image information in a short time, and executes a diagnostic process that can be processed in a relatively short time. The results can be displayed in real time, for example.
  • the operator confirms the display indicating that the lesion candidate exists during the examination, the operator performs some operation for transferring the endoscopic image to the external image processing apparatus 7.
  • the endoscopic image is transferred to the external image processing device 7 via the external network 6 by the switch 11, and a highly accurate (detailed) and highly reliable diagnosis result is obtained in the external image processing device 7. Be done.
  • This diagnosis result is supplied to the internal image processing device 4 via the external network 6 and displayed on the display screen of the monitor 5. In this way, the operator can recognize the detailed diagnostic result with high reliability from the display of the monitor 5 after a predetermined time has passed from the operation of the release switch or the like during the examination. Moreover, since only the necessary information is transmitted to the external image processing device 7, it is possible to reduce the amount of data to be transmitted.
  • the image information to be transmitted to the external image processing device is selected based on the selection signal according to the operation of the operator, and the amount of data to be transmitted to the external image processing device is reduced. It is possible to In addition, the destination of the image information is selected so that the internal image processing device performs a process that can be performed in a relatively short time, and the external image processing device is caused to perform a process that is relatively detailed and requires high reliability. As described above, it is possible to realize reliable and reliable diagnosis while ensuring real-time performance and high-speed performance as necessary.
  • FIG. 3 is a block diagram showing a second embodiment of the present invention.
  • FIG. 3 shows another specific example of the internal image processing apparatus 4, and the entire configuration of the endoscope system is the same as that in FIG.
  • the same components as those in FIG. 2 are designated by the same reference numerals and the description thereof will be omitted.
  • the present embodiment is an example in which the image information to be supplied to the external image processing device 7 is selected by the signal processing on the input image information.
  • the internal image processing device 4 according to the present embodiment is different from the first embodiment in that the selection unit 15 is adopted instead of the switch 11.
  • the selection unit 15 as a selection processing unit selects image information to be supplied to the external image processing device 7 based on the input image information.
  • FIG. 4 is a block diagram showing an example of a specific configuration of the selection unit 15 in FIG.
  • the selection unit 15 includes an input unit 15a, a control unit 15b, a determination unit 15c, and an output unit 15d.
  • the control unit 15b and the determination unit 15c may be configured by a processor using a CPU or the like and operate according to a program stored in a memory (not shown), or hardware such as FPGA (Field Programmable Gate Array).
  • the electronic circuit may realize some or all of the functions. Note that the entire selection unit 15 may be configured by FPGA or the like.
  • the input unit 15a is controlled by the control unit 15b to capture a medical image input via the central processor 3.
  • the output unit 15d outputs the medical image captured by the input unit 15a to the image diagnosis processing unit 12 or the interface 13 according to the determination result of the determination unit 15c.
  • the determination unit 15c outputs the input medical image to the image diagnostic processing unit 12 (internal processing) or the interface 13 (external processing) by signal processing of the medical image input from the input unit 15a. To judge. For example, the determination unit 15c determines the color, the brightness, the in-focus state, and the like of the input medical image, and determines the output destination of the medical image according to the determination result. For example, when the medical image includes an image portion outside the predetermined hue range, the determination unit 15c determines that the medical image is external processing and gives the medical image to the interface 13, and when the medical image has any other hue, the internal processing is performed. Then, the medical image is given to the image diagnosis processing unit 12.
  • the determination unit 15c may determine whether or not the image should be externally processed based on the brightness of the entire medical image, the partial brightness in the medical image, and the change thereof. Further, for example, the determination unit 15c may determine whether or not the image is to be externally processed based on the focused state of the entire medical image, the partially focused state in the medical image, and the change thereof. ..
  • the determination unit 15c determines whether a lesion candidate is likely to exist or not based on the color, brightness, focus state, etc. of the input medical image, and whether the image is difficult to diagnose. It is designed to judge such things. For example, the determination unit 15c outputs the medical image to the interface 13 as an image to be externally processed when determining that a lesion candidate is likely to exist due to color, brightness, focus state, or the like. May be. Further, the determination unit 15c determines that, for example, an image in which the brightness of the entire image is extremely low and diagnosis is difficult or the focus state is poor, the diagnosis cannot be performed using the input image.
  • the medical image may be output to the image diagnostic processing unit 12 as an image to be internally processed without transmitting it to the external image processing device 7.
  • the medical image may be output to the interface 13 as an image to be externally processed.
  • the determination unit 15c outputs the medical image to the interface 13 as an image to be externally processed when the black image is changed to a colored image or when warning information is sent from the central processor 3. You may be allowed to do so.
  • the selection unit 15 including the determination unit 15c does not perform a diagnostic process on a medical image, and whether the medical image should be internally processed by a relatively simple process of determining color, brightness, focus state, or the like. It is determined whether the image is a medical image to be processed, and can be configured by a processor having a relatively low processing capability.
  • FIG. 5 is a flowchart showing the control of the control unit 15b.
  • the medical image from the central processor 3 is supplied to the selection unit 15 of the internal image processing device 4.
  • the control unit 15b included in the selection unit 15 controls the input unit 15a to capture the input medical image (step S1).
  • the control unit 15b gives the captured medical image to the determination unit 15c and the output unit 15d.
  • the determination unit 15c determines the color, brightness, focus state, etc. of the medical image and determines whether the medical image should be processed internally or externally. For example, the determination unit 15c determines whether or not the brightness exceeds a predetermined threshold value in step S2. For example, step S2 may determine whether the brightness of the entire medical image is equal to or lower than a predetermined low brightness or equal to or higher than a predetermined high brightness, in which case the medical image is extremely dark or It is considered too bright to diagnose. In this case, the determination unit 15c outputs the medical image to the image diagnosis processing unit 12 for the internal processing in step S3.
  • the external image processing device 7 can perform accurate diagnosis, and in this case, the determination unit 15c executes the external process in step S4.
  • the medical image is output to the interface 13 for execution.
  • the determination unit 15c determines that the image should be internally processed when the brightness of the entire medical image is within the predetermined brightness range, and when the brightness of the entire medical image exceeds the predetermined brightness range. It may be determined that the image is to be externally processed.
  • the image information to be transmitted to the external image processing device is selected based on the signal processing for the medical image, and it is possible to reduce the amount of data to be transmitted to the external image processing device. is there.
  • the destination of the image information is selected so that the internal image processing device performs a process that can be performed in a relatively short time and the external image processing device performs a process that requires high reliability. Therefore, it is possible to realize reliable and reliable diagnosis while ensuring real-time performance and high-speed performance as necessary.
  • the image information to be transmitted to the external image processing apparatus is selected according to the image processing result in the central processor 3. May be. In this case, a switch similar to that shown in FIG. 2 may be used as the selection unit.
  • the switch 11 or the selection unit 15 selectively outputs the image information to one of the image diagnosis processing unit 12 or the interface 13 in the first and second embodiments, the interface 13 is described.
  • the image information supplied to the interface 13 may be given to the image diagnosis processing unit 12.
  • FIG. 6 is a block diagram showing a third embodiment of the present invention.
  • FIG. 6 shows another specific example of the internal image processing device 4, and the entire configuration of the endoscope system is the same as that in FIG.
  • the internal image processing device 4 includes an input unit 14a, a control unit 14b, a selection / image processing unit 14c, an output unit 14d, and an interface 14e.
  • the internal image processing device 4 in FIG. 6 has the same functions as the selection unit 15, the image diagnosis processing unit 12, and the interface 13 in FIG.
  • the input unit 14a, the control unit 14b, the output unit 14d and the interface 14e have the same functions as the input unit 15a, the control unit 15b, the output unit 15d and the interface 13 of FIG. 4, respectively, and the selection and image processing unit 14c It has the same function as the determination unit 15c and the image diagnosis processing unit 12.
  • the control unit 14b and the selection / image processing unit 14c may be configured by a processor using a CPU or the like and operate according to a program stored in a memory (not shown), or an electronic device such as an FPGA.
  • a circuit may realize some or all of the functions.
  • the entire internal image processing device 4 in FIG. 6 may be configured by an FPGA or the like.
  • the input unit 14a is controlled by the control unit 14b to capture a medical image input via the central processor 3.
  • the output unit 14d outputs the medical image captured by the input unit 14a to the interface 14e according to the selection result of the selection and image processing unit 14c.
  • the selection and image processing unit 14c uses the input medical image in the selection and image processing unit 14c by performing signal processing on the medical image input from the input unit 14a (internal Processing) or output to the interface 14e (external processing) is determined. Note that the selecting and determining method in the image processing unit 14c is the same as that in the determining unit 15c, and a description thereof will be omitted.
  • FIG. 7 is a block diagram showing a fourth embodiment of the present invention.
  • FIG. 7 shows another specific example of the internal image processing device 4, and the entire configuration of the endoscope system is the same as that in FIG.
  • the present embodiment is an example in which diagnosis is performed by image processing on input image information and image information to be supplied to the external image processing device 7 is selected according to the diagnosis result.
  • the internal image processing device 4 includes an image processing unit 22, a selection unit 23, and an interface 24.
  • the image processing unit 22 serving as an internal image processing unit and a selection processing unit makes a diagnosis by performing image processing on the input image information, and makes a determination for selecting image information to be supplied to the external image processing device 7 according to the diagnosis result. I do.
  • the selection unit 23 receives the image information from the image processing unit 22, and outputs to the interface 24 the image information determined to be externally processed according to the determination of the image processing unit 22.
  • the interface 24 has the same configuration as the interface 13, supplies the image information from the selection unit 23 to the external image processing apparatus 7 via the external network 6, and sends the information from the external image processing apparatus 7 to the external network 6. It is configured to be received via the above and supplied to the image processing unit 22.
  • FIG. 8 is a block diagram showing an example of a specific configuration of the image processing unit 22 in FIG.
  • the image processing unit 22 includes an input unit 22a, a control unit 22b, a diagnosis unit 22c, a selection determination unit 22d, and an output unit 22e.
  • the control unit 22b, the diagnosis unit 22c, and the selection determination unit 22d may be configured by a processor using a CPU or the like and operate according to a program stored in a memory (not shown), or a hardware such as an FPGA.
  • An electronic circuit may realize some or all of the functions.
  • the entire image processing unit 22 may be configured by FPGA or the like, and the entire internal image processing device 4 in FIG. 7 may be configured by FPGA or the like.
  • the input unit 22a is controlled by the control unit 22b to capture a medical image input via the central processor 3.
  • the output unit 22e is controlled by the control unit 22b to output the medical image captured by the input unit 22a to the monitor 5 as it is, and also output the medical image to which the diagnosis result of the diagnosis unit 22c is added to the monitor 5. You can do it.
  • the output unit 22e is controlled by the control unit 22b to output a part or all of the medical image captured by the input unit 22a to the selection unit 23.
  • the diagnostic unit 22c is capable of providing diagnostic support by image processing of the medical image input via the input unit 22a.
  • the diagnosis unit 22c can detect a lesion candidate based on the medical image.
  • the diagnosis unit 22c may be configured to be able to distinguish benign or malignant from the detected lesion candidate.
  • the diagnosis unit 22c can employ various known methods for detecting and distinguishing lesion candidates.
  • the diagnosis of the lesion part may be performed or the discrimination may be performed by machine learning using the diagnosis unit 22c and AI, and the color, the shape of the protrusion, the surface shape, and the like may be determined by image analysis on the medical image.
  • the lesion part candidate may be detected or differentiated by determining the image portion.
  • the selection determination unit 22d makes a selection for selectively transmitting a part of the medical images input by the input unit 22a to the external image processing device 7.
  • the selection determination unit 22d uses the diagnosis result of the diagnosis unit 22c to select the medical image to be transmitted to the external image processing device 7.
  • the external image processing device 7 has the same function as the diagnosis unit 22c and can perform highly accurate processing with higher reliability than the diagnosis unit 22c. Therefore, the selection determination unit 22d performs image selection determination so that a detailed and highly reliable diagnostic result is selected and transmitted to the external image processing device 7.
  • the selection determination unit 22d can detect a lesion candidate in the diagnosis unit 22c, but the lesion cannot be identified, or the lesion can be identified but the lesion is benign and malignant. When it is impossible, the selection is made for transmitting the lesion part candidate or the image portion including the identified lesion part to the external image processing device 7.
  • the selection determination unit 22d uses the external image processing device 7 to display an image in which the reliability of the detection result of the lesion site candidate detected by the diagnosis unit 22c is lower than a predetermined threshold value, or an image in which the lesion site candidate itself is difficult to detect.
  • the selection determination unit 22d may determine the size of the lesion candidate and generate a selection signal for supplying the image including the lesion candidate larger than the predetermined size to the external image processing device 7. This allows the external image processing apparatus 7 to reliably specify and discriminate a lesion part with respect to a lesion part candidate having a size that is likely to cause deterioration of the lesion.
  • the selection determination unit 22d may generate a selection signal for selecting a frame including a lesion candidate and a predetermined number of frames before and after the frame as an image to be transmitted to the external image processing device 7. As a result, by transmitting necessary and sufficient images, it is possible to perform reliable diagnosis in the external image processing device 7 and suppress the amount of data transmitted to the external image processing device 7.
  • the selection determination unit 22d for images that are extremely difficult to diagnose in the diagnosis unit 22c, such as dark images, out-of-focus images, blurred images, images whose colors and brightness are not suitable for diagnosis, The image may not be selected as an image to be transmitted to the external image processing device 7.
  • the selection determination unit 22d determines, for example, a dark image, an out-of-focus image, a blurred image, or a color, for an image to be diagnosed even if the diagnosis by the diagnosis unit 22c is extremely difficult. Even an image whose brightness is not suitable for diagnosis or the like may be selected as an image to be transmitted to the external image processing device 7.
  • the selection determination unit 22d outputs a selection signal for designating an image portion to be selected to the selection unit 23.
  • the selection unit 23 is configured to select only the image portion designated by the selection signal from the images supplied from the image processing unit 22 and output it to the interface 24.
  • the selection determination unit 22d may generate a selection signal for trimming and selecting only an image portion including a lesion candidate, for example, according to the selection signal. Thereby, it is possible to reduce the amount of data transmitted to the external image processing device 7.
  • FIG. 9 is a flowchart showing the control of the control unit 22b.
  • the endoscope 1 is inserted into the subject and the endoscopic image is used to detect and discriminate a lesion in the subject.
  • the operator inserts an insertion part (not shown) into a subject (not shown).
  • the endoscope 1 outputs an imaging signal obtained by imaging the inside of the subject to the central processor 3.
  • the central processor 3 generates an endoscopic image based on the image pickup signal from the endoscope 1 and outputs the endoscopic image to the internal image processing device 4.
  • the control unit 22b of FIG. 8 configuring the internal image processing device 4 captures the endoscopic image in step S1 of FIG. 9 and gives it to the diagnosis unit 22c.
  • the diagnosis unit 22c performs a diagnosis process on the endoscopic image and outputs the diagnosis result (step S11).
  • the output unit 22e outputs the endoscopic image from the central processor 3 and the diagnosis result obtained by the diagnosis unit 22c to the monitor 5 and displays it on the display screen.
  • the diagnosis unit 22c may not be able to perform accurate and highly accurate diagnosis in real-time processing of an endoscopic image. Therefore, the selection determination unit 22d determines whether or not more accurate diagnosis is necessary according to the diagnosis result of the diagnosis unit 22c (step S12), and if it is necessary, the image necessary for diagnosis is externally displayed. A selection signal for transmission to the image processing device 7 is generated.
  • the diagnosis unit 22c may only be able to detect lesion site candidates in real time.
  • the diagnosis unit 22c detects a lesion candidate in the endoscopic image, it outputs the detection result to the monitor 5 via the output unit 22e.
  • the display screen of the monitor 5 a display indicating that the lesion candidate has been detected and a display indicating the position of the lesion candidate are displayed together with the endoscopic image on the endoscopic image.
  • the selection determination unit 22d determines in step S12 that more accurate diagnosis is necessary, shifts the processing to step S4, and selects the lesion portion candidate. A selection signal is generated for selectively transmitting the included image portion.
  • This selection signal is supplied to the selection unit 23.
  • the selection unit 23 selects the image portion designated by the selection signal from the image from the image processing unit 22 and outputs it to the interface 24.
  • the endoscopic image including the lesion site candidate position is output from the interface 24 to the external image processing device 7 via the external network 6.
  • the external image processing device 7 performs a diagnostic process on the input endoscopic image (step S4).
  • the external image processing device 7 is capable of high-performance processing and may be able to perform accurate and highly accurate diagnosis.
  • the external image processing device 7 determines whether or not the lesion site candidate is the lesion site and performs the lesion site discrimination by the diagnostic process on the image including the lesion site candidate.
  • the external image processing device 7 outputs the detection result and the discrimination result of the lesion portion to the interface 24 via the external network 6.
  • the interface 24 receives the diagnosis result from the external image processing device 7 and gives it to the diagnosis unit 22c.
  • the diagnostic unit 22c outputs a highly reliable diagnostic result of the external image processing device 7 to the monitor 5 via the output unit 22e.
  • the endoscopic image is displayed on the display screen of the monitor 5 and the presence or absence of a lesion in the endoscopic image is displayed and, if present, the position of the lesion.
  • the display is displayed. Furthermore, when the external image processing device 7 obtains a discrimination result, a display regarding the discrimination result of the lesion portion is also displayed on the display screen of the monitor 5.
  • the diagnosis unit 22c detects the polyp in a short time by a relatively simple process. As a result, a portion having a possibility of polyp is displayed on the monitor 5 in substantially real time. Further, while the surgeon is performing an insertion operation in order to bring the insertion part close to the polyp in order to perform a detailed examination on the polyp, the image data is transferred to the external image processing device 7 and the precise diagnosis processing is performed. The type of polyp is discriminated, and the result is transmitted to the diagnosis unit 22c. Thereby, during the insertion operation, a display indicating whether the polyp portion is benign or malignant is displayed. That is, the internal image processing device 4 and the external image processing device 7 automatically perform diagnosis in cooperation with each other, which enables high-speed and reliable diagnosis.
  • step S12 when the selection determination unit 22d does not determine that a highly accurate diagnosis is necessary, a selection signal for selectively transmitting an image portion including a lesion candidate is not generated, and only internal processing is performed. Done. That is, in this case, only the diagnosis result by the diagnosis unit 22c is displayed on the display screen of the monitor 5.
  • the selection determination unit 22d determines whether or not the reliability of the detection result of the lesion candidate, the size of the lesion candidate, the frame of the image to be transmitted, and whether the image is extremely difficult to diagnose.
  • the selection signal may be generated in consideration of the trimming range.
  • the image to be transmitted to the external image processing device is determined based on the diagnosis result in the internal image processing device, and it is possible to reliably select the image to be diagnosed in the external image processing device. It is possible. For example, even when the internal image processing apparatus performs only the diagnosis with emphasis on real-time characteristics, it is possible to reliably perform detailed and highly reliable diagnosis in the external image processing apparatus, which is not performed in the internal image processing apparatus. .. As a result, it is possible to surely realize detailed and highly reliable diagnosis while ensuring real-time property and high-speed property as necessary.
  • FIG. 10 is a block diagram showing the fifth embodiment of the present invention. 10, the same components as those in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 10 shows an example of processing an image acquired by a capsule endoscope.
  • the capsule endoscope 31 is an endoscope in which an imaging device is provided in a capsule-shaped closed container (capsule), and an image is taken in the process of the capsule swallowed by the patient's mouth moving in the body.
  • the capsule endoscope 31 wirelessly transmits the endoscopic image acquired by photographing to the receiving device 32.
  • the receiving device 32 is composed of a wireless transceiver and has a receiving function of receiving an image from the capsule endoscope 31.
  • the receiving device 32 also includes a recording unit 32a, and receives the endoscopic image transmitted from the capsule endoscope 31 and records the endoscopic image in the recording unit 32a.
  • the recording unit 32a is composed of a recording medium (not shown), and records the endoscopic image captured by the capsule endoscope 31.
  • the cradle 33 is configured so that the receiving device 32 can be placed thereon, and the receiving device 32 can be charged.
  • the cradle 33 has an internal image processing unit, and in addition to the charging function of the receiving device 32, the function of reading and capturing the image recorded in the recording unit 32a, and the diagnosis for the captured image. It has a function, a function of selecting and transmitting an image to be transmitted to the external image processing device 7 from the captured image, a function of receiving a diagnostic result, and a function of outputting the captured image and the diagnostic result to the monitor 5.
  • the cradle 33 has the same configuration as the image processing unit 22, the selection unit 23, and the interface 24 of FIG. 7, and the image processing unit 22 among them includes the input unit 22a, the control unit 22b, and the diagnosis of FIG. It has the same configuration as the unit 22c, the selection determination unit 22d, and the output unit 22e.
  • the cradle 33 can take an image from the recording unit 32a and make a diagnosis.
  • the diagnosis by the cradle 33 may be as simple as the diagnosis by the diagnosis unit 22c, and may be, for example, a determination as to whether or not a lesion candidate exists.
  • the cradle 33 selects an image so that only the image in which the lesion candidate is captured is transmitted to the external image processing device 7.
  • the cradle 33 outputs only the selected image to the external image processing device 7 via the external network 6.
  • the number of images captured by the capsule endoscope 31 is enormous, and an image processing apparatus having an extremely high processing capacity is required to obtain detailed diagnostic results for all the data in a relatively short time. (Computer) is required, and it is often difficult to arrange such an image processing apparatus in an examination room or the like. Therefore, it is conceivable to transmit the image acquired by the capsule endoscope 31 to the external image processing device 7 having a high processing capability via the external network 6 to perform the diagnosis.
  • the external image processing device 7 having a high processing capability via the external network 6 to perform the diagnosis.
  • the cradle 33 may receive the diagnosis result from the external image processing device 7 via the external network 6 and display the diagnosis result together with the endoscopic image on the monitor 5.
  • the image to be transmitted to the external image processing device is determined based on the diagnosis result in the cradle, and should be diagnosed in the external image processing device. Only the image can be selected and transmitted, and the amount of data to be transmitted can be significantly reduced.
  • FIG. 11 is a block diagram showing a sixth embodiment of the present invention. 11, the same components as those in FIG. 10 are designated by the same reference numerals and the description thereof will be omitted.
  • the present embodiment differs from the fifth embodiment in that an image processing device 35, a selection unit 36 and an interface 37 are adopted instead of the cradle 33.
  • the receiving device 32 is provided with an interface 32b for transferring the image recorded in the recording unit 32a.
  • As the interface 32b for example, a USB (Universal Serial Bus) terminal or a wireless interface can be adopted.
  • the image processing device 35 includes an internal image processing unit 35a. The internal image processing unit 35a takes in the image recorded in the recording unit 32a via the interface 32b and makes a diagnosis.
  • the internal image processing unit 35a may be configured to perform detection and differentiation of lesion candidates by machine learning using AI, for example, by performing image analysis on a medical image, shapes of colors, protrusions, and the like,
  • the lesion candidate may be detected or differentiated by determining each image portion with respect to the surface shape or the like.
  • the image processing device 35 selects an image to be transmitted to the external image processing device 7 according to the diagnosis result of the internal image processing unit 35a. That is, the image processing device 35 has the same configuration as the selection determination unit 22d in FIG.
  • the image processing device 35 determines that a diagnosis with higher accuracy than that of the internal image processing unit 35a is necessary, for example, in the case of differentiating a lesion candidate detected by the internal image processing unit 35a, A selection signal for selectively transmitting the image portion including the lesion candidate is generated. This selection signal is supplied to the selection unit 36.
  • the selecting unit 36 selects the image portion designated by the selection signal from the image from the image processing device 35, and outputs it to the interface 37.
  • the interface 37 has the same configuration as the interface 24 of FIG. 7, transmits the image from the selection unit 36 to the external image processing apparatus 7 via the external network 6, and performs the diagnosis from the external image processing apparatus 7. The result is received via the external network 6 and output to the image processing device 35.
  • the endoscopic image including the lesion candidate position is output from the interface 37 to the external image processing device 7 via the external network 6, and the discrimination result by the external image processing device 7 is received by the interface 37 to be an image. It is supplied to the processing device 35.
  • the image processing device 35 can output the endoscopic image and one or both of the processing result of the internal image processing unit 35 a and the processing result received via the interface 37 to the monitor 5 for display. Further, the image processing device 35 may be configured to output the processing result to the receiving device 32. Further, the endoscopic image, the processing result of the internal image processing unit 35 a, and the processing result received via the interface 37. One or both of them may be transferred to an external server (not shown).
  • the present embodiment it is possible to select and transmit only the image to be diagnosed in the external image processing device, and the amount of data to be transmitted is significantly reduced. be able to. Further, in the present embodiment, the existing diagnostic device can be used, and the endoscope system can be constructed relatively easily.
  • the present invention is not limited to the above embodiments as they are, and can be embodied by modifying the constituent elements within a range not departing from the gist of the invention in an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in each of the above embodiments. For example, some of all the constituent elements shown in the embodiment may be deleted. Furthermore, the constituent elements of different embodiments may be combined appropriately. For example, as an image to be transmitted to the external image processing device 7, a frame including a lesion candidate and a predetermined number of frames before and after may be transmitted. As a result, by transmitting necessary and sufficient images, it is possible to perform reliable diagnosis in the external image processing device 7 and suppress the amount of data transmitted to the external image processing device 7.
  • many of the controls and functions described mainly in the flowcharts can be set by a program, and the computer can read and execute the programs to realize the above-described controls and functions. it can.
  • the program may be recorded or stored in whole or in part on a portable medium such as a flexible disk, a CD-ROM, a non-volatile memory or the like, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or a communication line. The user can easily realize the movement support system of the present embodiment by downloading the program through the communication network and installing it in the computer, or by installing it in the computer from the recording medium. ..

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

画像処理装置は、入力された画像に対する画像処理を行う内部画像処理部と、外部ネットワークに接続された外部画像処理装置に対して前記入力された画像の一部を選択して送信するための選択処理を行う選択処理部とを具備する。

Description

内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
　本発明は、ネットワーク上の装置との連携処理が可能な内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法に関する。
　従来、医療用画像に対する画像処理によって、定量的な判断尺度の提供・診断の際に着目すべき微細構造の特定・画像解析による病状の推定結果などの支援情報を提供するコンピュータ診断支援（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）が開発されている。ＣＡＤは、例えば、Ｘ線画像に対する診断等に利用されている。
　また、近年、内視鏡からの動画像に対して病変部候補の位置を示したり鑑別情報を表示したりするＣＡＤも発表されている。ＣＡＤにおいて鑑別情報を表示するためには、膨大な計算が必要である。このため、例えば手術室に配置されたシステムだけでは、演算能力等の点からＣＡＤによる確実な診断処理を行うことができないことがあったり、確実な診断を行うために膨大な時間を要する場合があったりする。そこで、ネットワークを介して処理能力が高い外部の機器に画像情報等を伝送して、外部機器において診断処理等を行う場合が考えられる。
　この場合には、伝送量の削減のために画像の符号化処理をおこなうことも考えられる。例えば、特許文献１においては、複数のカメラを備えた監視カメラシステムにおいて、ネットワークを介してシステムに流される画像情報を削減するために、画像情報を符号化することで、伝送するデータ量を削減する技術が開示されている。
　しかしながら、特許文献１の提案を採用して情報を圧縮して伝送したとしても、伝送量を十分に削減することができないことがあるという問題があった。
　本発明は、外部の機器に伝送する画像情報の選択を行うことにより、外部の機器への伝送量を十分に削減することができる内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法を提供することを目的とする。
　本発明の一態様の内視鏡システムに用いる画像処理装置は、入力された画像に対する画像処理を行う内部画像処理部と、外部ネットワークに接続された外部画像処理装置に対して前記入力された画像の一部を選択して送信するための選択処理を行う選択処理部とを具備する。
　本発明の一態様の内視鏡システムは、前記内視鏡システムに用いる画像処理装置と、前記外部画像処理装置とを具備する。
　本発明の一態様による内視鏡システムに用いる画像処理方法は、入力された画像に対する画像処理を行い、外部ネットワークに接続された外部画像処理装置に対して前記入力された画像の一部を選択して送信するための選択処理を行う。
本発明の第１の実施の形態に係る画像処理装置を用いた内視鏡システムを示す説明図。 内部画像処理装置４の具体的な構成の一例を示すブロック図。 本発明の第２の実施の形態を示すブロック図。 図３中の選択部１５の具体的な構成の一例を示すブロック図。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の第３の実施の形態を示すブロック図。 本発明の第４の実施の形態を示すブロック図。 図７中の画像処理部２２の具体的な構成の一例を示すブロック図。 第４の実施の形態の動作を説明するためのフローチャート。 本発明の第５の実施の形態を示すブロック図。 本発明の第６の実施の形態を示すブロック図。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る画像処理装置を用いた内視鏡システムを示す説明図である。
　本実施の形態の内視鏡システムは、外部ネットワークの内側に配置された内部画像処理装置と、内部画像処理装置により外部ネットワークを介してアクセス可能な外部画像処理装置とにより構成される。一般に、外部ネットワークに接続された外部画像処理装置は、内部画像処理装置に比べて処理能力が高く、高精度処理が容易である場合が多いのに対し、外部ネットワークの内側に配置される内部画像処理装置は、外部ネットワークへのアクセス及びデータ伝送に要する時間だけ早く処理を行うことができ、結果的に高速処理やリアルタイム処理が可能な場合がある。
　本実施の形態はこのような内部画像処理装置と外部画像処理装置との利点を考慮して、処理に用いる画像情報等の外部画像処理装置への伝送を選択的に行うことで、伝送量を削減すると同時に、リアルタイム性や高速性を必要に応じて確保しつつ、詳細で信頼性の高い確実な処理を可能にするものである。
　本実施の形態は、画像処理の対象となる画像として、内視鏡からの動画像を例に説明するが、本実施の形態は内視鏡画像等の医療画像に限らず、各種動画像についての処理を行うものに適用可能である。また、適用対象の画像として医療画像を採用し画像処理として診断処理等を行う装置を例に説明するが、画像処理の種類は特に限定されるものではなく、種々の画像処理に適用可能である。
　図１において、内視鏡１は、体腔内に挿入される図示しない細長い挿入部を有し、挿入部の基端部には操作者に操作される操作部（図示せず）が連設されている。この操作部からユニバーサルコード２が延出されてセントラルプロセッサ３に接続されている。内視鏡１の挿入部の先端部には、観察対象を照明するための照明レンズが配設されており、照明レンズを介して被写体に照明光が照射されるようになっている。被写体からの反射光は、挿入部の先端に設けられた対物レンズを介して挿入部に取り込まれ、内視鏡１に設けられたＣＣＤやＣＭＯＳセンサ等により構成される撮像部に入射する。撮像部は、被写体光学像に基づく撮像信号をユニバーサルコード２を介してセントラルプロセッサ３に出力する。
　セントラルプロセッサ３は、内視鏡１からの撮像信号に対して所定の信号処理を施して、モニタ５に表示可能な形式の内視鏡画像を生成する。セントラルプロセッサ３は生成した内視鏡画像（医療画像）を内部画像処理装置４に出力する。なお、内部画像処理装置４には内視鏡１により得られた内視鏡画像のみが入力される例を示しているが、複数の内視鏡からの画像や超音波内視鏡からの画像等、複数種類の医療画像が入力されるものであってもよい。
　内部画像処理装置４は、入力された医療画像に対する画像解析によって、診断支援を行うことができるようになっている。例えば、内部画像処理装置４は、医療画像に基づいて病変部候補を検出することができる。また、例えば、内部画像処理装置４は、検出した病変部候補について、良性か悪性か等の鑑別を行うことができるようになっていてもよい。
　内部画像処理装置４による病変部候補の検出や鑑別には、公知の各種手法を採用することができる。例えば、内部画像処理装置４は、ＡＩを用いた機械学習によって、病変部候補の検出や鑑別を行うようになっていてもよい。例えば、内部画像処理装置４は、病変部の画像や病変部でない画像等の大量の学習用画像を用いた深層学習によって、医療画像から病変部候補の検出や鑑別を行うための推論モデルを生成してもよい。この場合には、内部画像処理装置４は、病変部候補である確率や鑑別の確率の情報を出力することができる。
　なお、機械学習に採用するネットワークとしては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ－ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。
　また、内部画像処理装置４は、機械学習以外の手法によって、医療画像から病変部候補の検出や鑑別を行ってもよい。例えば、内部画像処理装置４は、医療画像に対する画像解析により、色、突起部等の形状、表面形状等について各像部分を判定することで、病変部候補の検出や鑑別を行ってもよい。
　内部画像処理装置４は、外部ネットワーク６にアクセス可能であり、外部ネットワーク６に接続されている外部画像処理装置７との間で情報の授受が可能である。なお、外部ネットワーク６は例えばインターネット等の公衆ネットワークであってもよく、院内ネットワーク等であってもよい。
　外部画像処理装置７は内部画像処理装置４と同様の機能を有し、内部画像処理装置４よりも高精度の処理を比較的短時間に行うことができる。例えば、外部画像処理装置７の診断機能を機械学習によって実現する場合には、外部画像処理装置７はより大量の画像を用いて機械学習を行っており、内部画像処理装置４よりも高い信頼度で高精度の診断を行うことができる可能性を有している。なお、外部画像処理装置７は、１台のコンピュータによって機能を実現するものだけに限らず、分散処理を行う複数のコンピュータによって機能を実現するものでもよく、また、インターネット上のサービスとして各種機能を提供するクラウドコンピューティングを実現するものであってもよい。
　内部画像処理装置４は、自機において診断を行うだけでなく、外部画像処理装置７に対して画像情報等を送信して診断等を依頼することができるようになっている。この場合において、本実施の形態においては、内部画像処理装置４は、入力される画像情報のうち外部画像処理装置７に提供する画像情報等を選択し、一部の画像情報のみを外部画像処理装置７に出力するようになっている。外部画像処理装置７は、内部画像処理装置４の請求に従って、受信した画像情報に対する診断を実施し、診断結果を外部ネットワーク６を介して内部画像処理装置４に送信することができるようになっている。
　内部画像処理装置４は、セントラルプロセッサ３からの医療画像をモニタ５に出力することができる。また、内部画像処理装置４は、自機による診断結果と外部画像処理装置７の診断結果とを表示するためのモニタ出力を発生してモニタ５に出力することができるようになっている。なお、内部画像処理装置４は、セントラルプロセッサ３からの医療画像に診断結果を重畳してモニタ５に表示させることが可能である。
　本実施の形態においては、内部画像処理装置４は、外部からの選択信号に基づいて、外部画像処理装置７に供給する画像情報の選択を行うようになっている。外部からの選択信号としては、例えば、内視鏡１の操作に基づく信号を用いることができる。
　例えば、内視鏡１の操作部には、静止画撮影のためのレリーズスイッチや静止画表示のためのフリーズスイッチ等が配設されている。レリーズスイッチやフリーズスイッチは、術者が例えば注意深く観察すべきと判断した場合に操作されることが考えられる。そこで、レリーズスイッチやフリーズスイッチ等が操作されると、当該操作に基づく操作信号を画像情報の出力先の選択信号として内部画像処理装置４に与えるようになっていてもよい。内部画像処理装置４は、レリーズスイッチやフリーズスイッチ等の操作に基づく選択信号が入力されると、この操作によって指定された静止画像を外部ネットワーク６を介して外部画像処理装置７に供給する。
　また、内視鏡１では、可視光を用いた通常光観察（白色光観察：White Light Imaging：ＷＬＩ）だけでなく、狭帯域光観察（Narrow Band Imaging：ＮＢＩ）や蛍光観察等の特殊光観察も可能である。内視鏡１の操作部には、通常光観察と特殊光観察との選択のためのスイッチも配設されており、このスイッチの操作に基づく操作信号を画像情報の出力先の選択信号として内部画像処理装置４に与えるようになっていてもよい。この場合には、内部画像処理装置４は、通常光観察時には入力された画像情報を自機で用い、特殊光観察を指定する操作に基づく選択信号が入力されると、入力された画像を外部ネットワーク６を介して外部画像処理装置７に供給する。
　また、観察モードの切換時を操作の一例として挙げたが、例えば、画像を拡大する操作信号等のように画像を注意深く見ようとする操作についても選択信号として採用してもよい。また、画像が一定時間以上停止した場合等についても、これを検出して選択信号としてもよい。
　なお、内視鏡１の操作に基づく操作信号は、一旦セントラルプロセッサ３に供給され、セントラルプロセッサ３から選択信号として内部画像処理装置４に供給されるようになっていてもよく、また、内視鏡１から内部画像処理装置４に直接供給されるようになっていてもよい。
　また、検査室内には、各種医療機器が配設されており、例えば、電気メスやフットスイッチ等の医療機器のオン，オフを切換えるスイッチ操作に基づく信号を選択信号として、内部画像処理装置４に供給することも可能である。この場合には、例えば、フットスイッチの使用時の画像情報を外部画像処理装置７に転送する等の選択処理が可能である。
　図２はこのような内部画像処理装置４の具体的な構成の一例を示すブロック図である。
　内部画像処理装置４は、スイッチ１１、画像診断処理部１２及びインタフェース１３によって構成されている。選択処理部としてのスイッチ１１にはセントラルプロセッサ３からの医療画像等が入力され、入力された医療画像を選択信号に基づいてインタフェース１３に出力するか又は画像診断処理部１２に出力するようになっている。内部画像処理部としての画像診断処理部１２は、入力された医療画像に対して、上述した機械学習や他の手法を採用した診断処理を実行し、診断結果をモニタ出力としてモニタ５に出力するようになっている。インタフェース１３は、内部画像処理装置４の内部と外部ネットワーク６との間で情報の授受が可能であり、スイッチ１１からの医療画像等を外部ネットワーク６を介して外部画像処理装置７に送信すると共に、外部画像処理装置７からの情報を外部ネットワーク６を介して受信して画像診断処理部１２に供給することができるようになっている。
　次に、このように構成された実施の形態の動作について説明する。
　いま、内視鏡１を被検体に挿入し、内視鏡画像を用いて被検体内の病変部の検出及び鑑別を行うものとする。術者は図示しない挿入部を図示しない被検体内に挿入する。内視鏡１は被検体内の撮影によって取得した撮像信号をセントラルプロセッサ３に出力する。セントラルプロセッサ３は、内視鏡１からの撮像信号に基づく内視鏡画像を生成して、内部画像処理装置４に出力する。
　内部画像処理装置４は、例えば図２のスイッチ１１によって、入力された内視鏡画像を画像診断処理部１２に与える。画像診断処理部１２は、入力された内視鏡画像をモニタ５に供給して、モニタ５の表示画面上に表示させることができる。また、画像診断処理部１２は、内視鏡画像に対する診断処理を実施し、診断結果をモニタ出力としてモニタ５に供給する。これにより、モニタ５の表示画面には、セントラルプロセッサ３からの内視鏡画像と共に画像診断処理部１２による診断結果が表示される。
　画像診断処理部１２は、処理性能の制限から、内視鏡画像に対するリアルタイム処理では、正確で且つ高精度の診断を実施できるとは限らない。そこで、画像診断処理部１２は、主に、例えば病変部候補の検出のみを行う。画像診断処理部１２は、例えば機械学習等を利用した診断処理を実施し、内視鏡画像中に病変部候補が存在するか否かを検出する。画像診断処理部１２は、内視鏡画像中に病変部候補を検出すると、検出結果をモニタ出力としてモニタ５に出力する。こうして、モニタ５の表示画面上には、内視鏡画像と共に、病変部候補が検出されたことを示す表示及び病変部候補の位置を示す表示が内視鏡画像に重ねて表示される。
　術者はモニタ５の表示から、病変部候補が検出されたことを認識する。すると、術者は、病変部の確実な検出や鑑別のために、当該病変部候補を内視鏡１の撮影範囲に捉えながら、例えばレリーズスイッチ操作する。この操作によって、内視鏡１は静止画像の撮像信号をセントラルプロセッサ３に出力し、セントラルプロセッサ３は静止画像を内部画像処理装置４に出力する。一方、レリーズスイッチ操作に基づく操作信号は選択信号として内部画像処理装置４のスイッチ１１に供給される。これにより、スイッチ１１は、入力された病変部候補位置を含む内視鏡静止画像の出力先をインタフェース１３に変更する。こうして、病変部候補位置を含む内視鏡静止画像は、インタフェース１３から外部ネットワーク６を介して外部画像処理装置７に出力される。
　なお、病変部候補が検出された後、ユーザーがレリーズスイッチを押すことで、画像を外部画像処理装置に送る例を説明したが、病変部候補の検出そのものをトリガーとして画像を送信しても良い。
　外部画像処理装置７は、入力された内視鏡静止画像に対する診断処理を実施する。外部画像処理装置７は、高性能処理が可能であり、正確で且つ高精度の診断を実施できる場合がある。外部画像処理装置７は、病変部候補を含む静止画像に対する診断処理によって、病変部候補が病変部であるか否かを判定すると共に、可能ならば、病変部の鑑別を行う。外部画像処理装置７は、病変部の検出結果及び鑑別結果を外部ネットワーク６を介して内部画像処理装置４に出力する。
　内部画像処理装置４のインタフェース１３は、外部画像処理装置７からの診断結果を受信して画像診断処理部１２に与える。画像診断処理部１２は、外部画像処理装置７による信頼度が高い診断結果をモニタ出力としてモニタ５に出力する。こうして、モニタ５の表示画面上には、内視鏡画像が表示されると共に、当該内視鏡画像中に病変部が存在するか否かの表示及び存在する場合には病変部の位置を示す表示が表示される。更に、外部画像処理装置７によって鑑別結果が得られた場合には、病変部の鑑別結果についての表示もモニタ５の表示画面上に表示される。
　なお、外部画像処理装置７から送信される診断結果としては、対象画像が良性か悪性かの結果（１か０）や、悪性である確率の数値（０～１の間の数値）の場合だけでなく、例えばグラフ化された診断結果等の表示データが送信される場合もある。この場合には、画像診断処理部１２は、受信した診断結果を直接モニタ５に出力するようになっていてもよい。また、画像診断処理部１２を介さずに外部画像処理装置７の送信データを直接モニタ５に供給することも可能である。また、画像診断処理部１２は、受信した情報に基づいて、病変の検出結果を示す枠の色や形状を変更してモニタ５に表示させるようになっていてもよい。
　このように、内視鏡を用いた検査中において、内部画像処理装置４が病変部候補を検出すると、病変部候補に関する表示をモニタ５の表示画面上に表示することができる。内部画像処理装置４は、外部ネットワーク６の内側に設けられており、短時間に画像情報を受信することができ、また、比較的短時間で処理が可能な診断処理を実行しており、診断結果を例えばリアルタイムで表示させることができる。術者は検査途中において病変部候補が存在することを示す表示を確認すると、内視鏡画像を外部画像処理装置７に転送させるための何からの操作を実施する。これにより、スイッチ１１によって内視鏡画像が外部ネットワーク６を介して外部画像処理装置７に転送されることになり、外部画像処理装置７において高精度（詳細）で信頼性の高い診断結果が得られる。この診断結果は外部ネットワーク６を介して内部画像処理装置４に供給されて、モニタ５の表示画面に表示される。こうして、術者は、例えば、検査途中において、レリーズスイッチ等の操作から所定時間後に、信頼度が高い詳細な診断結果をモニタ５の表示から認識することができる。また、外部画像処理装置７には必要な情報のみが伝送されるので、伝送するデータ量を削減することが可能である。
　このように本実施の形態においては、例えば術者の操作に応じた選択信号に基づいて、外部画像処理装置に送信する画像情報を選択しており、外部画像処理装置に送信するデータ量を削減することが可能である。また、画像情報の送信先の選択は、比較的短時間にできる処理を内部画像処理装置に実施させるように行われると共に比較的詳細で高い信頼性が必要な処理を外部画像処理装置に実施させるように行われており、リアルタイム性や高速性を必要に応じて確保しつつ、信頼性の高い確実な診断を実現することができる。
（第２の実施の形態）
　図３は本発明の第２の実施の形態を示すブロック図である。図３は内部画像処理装置４の他の具体例を示すものであり、内視鏡システムの全体構成は図１と同様である。図３において図２と同一の構成要素には同一符号を付して説明を省略する。
　第１の実施の形態においては、操作に基づく選択信号によって、外部画像処理装置７に供給する画像情報を選択する例について説明した。これに対し、本実施の形態は、入力される画像情報に対する信号処理によって、外部画像処理装置７に供給する画像情報を選択する例である。
　本実施の形態における内部画像処理装置４は、スイッチ１１に代えて選択部１５を採用した点が第１の実施の形態と異なる。選択処理部としての選択部１５は、入力された画像情報に基づいて、外部画像処理装置７に供給する画像情報を選択する。
　図４は図３中の選択部１５の具体的な構成の一例を示すブロック図である。
　図４において、選択部１５は、入力部１５ａ、制御部１５ｂ、判断部１５ｃ及び出力部１５ｄにより構成されている。制御部１５ｂ及び判断部１５ｃは、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作するものであってもよいし、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、選択部１５の全体がＦＰＧＡ等によって構成されていてもよい。
　入力部１５ａは、制御部１５ｂに制御されて、セントラルプロセッサ３を介して入力される医療画像を取り込む。出力部１５ｄは、入力部１５ａによって取り込まれた医療画像を、判断部１５ｃの判断結果に従って、画像診断処理部１２に出力するか又はインタフェース１３に出力する。
　判断部１５ｃは、入力部１５ａから入力された医療画像についての信号処理によって、入力された医療画像を画像診断処理部１２に出力するか（内部処理）又はインタフェース１３に出力するか（外部処理）を判断する。例えば、判断部１５ｃは、入力された医療画像について、色、輝度、合焦状態等の判断を行い、判断結果に従って医療画像の出力先を決定する。例えば、判断部１５ｃは、医療画像中に、所定の色相範囲外の画像部分が含まれる場合には外部処理と判断して医療画像をインタフェース１３に与え、それ以外の色相の場合には内部処理と判断して医療画像を画像診断処理部１２に与える。
　また、例えば、判断部１５ｃは、医療画像全体の輝度や、医療画像中の部分的な輝度やその変化に基づいて外部処理すべき画像であるか否かを判断してもよい。また、例えば、判断部１５ｃは、医療画像全体の合焦状態や、医療画像中の部分的な合焦状態やその変化に基づいて外部処理すべき画像であるか否かを判断してもよい。
　即ち、判断部１５ｃは、入力された医療画像についての色、輝度、合焦状態等によって、病変部候補が存在しそうであるか否かを判断したり、診断が困難な画像であるか否か等を判断したりするようになっている。例えば、判断部１５ｃは、色、輝度、合焦状態等によって、病変部候補が存在しそうであると判断した場合には、医療画像を外部処理すべき画像としてインタフェース１３に出力するようになっていてもよい。また、判断部１５ｃは、例えば、画像全体の輝度が極めて低く診断が困難であったり、合焦状態が不良であったりする画像については、入力画像を用いても診断は不能であるものと判定して、外部画像処理装置７への送信は行わずに、医療画像を内部処理すべき画像として画像診断処理部１２に出力するようになっていてもよい。また、逆に、必ず診断する必要がある医療画像の場合には、画像全体の輝度が極めて低く診断が困難な画像や、合焦状態が不良な画像について、長時間を要しても正確な診断を行うために、医療画像を外部処理すべき画像としてインタフェース１３に出力するようになっていてもよい。
　また、例えば、判断部１５ｃは、真っ黒な画像から色付きの画像に変わった場合や、セントラルプロセッサ３から警告情報が送られてきた場合等において、医療画像を外部処理すべき画像としてインタフェース１３に出力するようになっていてもよい。
　なお、判断部１５ｃを含む選択部１５は、医療画像に対する診断処理を行うわけではなく、色、輝度、合焦状態等を判定する比較的簡単な処理によって内部処理すべき医療画像であるか外部処理すべき医療画像であるかを判断しており、処理能力が比較的低いプロセッサによって構成可能である。
　次に、このように構成された実施の形態の動作について図５を参照して説明する。図５は制御部１５ｂの制御を示すフローチャートである。
　セントラルプロセッサ３からの医療画像は内部画像処理装置４の選択部１５に供給される。選択部１５を構成する制御部１５ｂは、入力部１５ａを制御して、入力された医療画像を取り込む（ステップＳ１）。制御部１５ｂは取り込んだ医療画像を判断部１５ｃ及び出力部１５ｄに与える。
　判断部１５ｃは、医療画像の色、輝度、合焦状態等を判定して、医療画像が内部処理すべきか外部処理すべきかを判断する。例えば、判断部１５ｃは、ステップＳ２において、輝度が所定の閾値を超えたか否かを判定する。例えば、ステップＳ２は、医療画像全体の輝度が所定の低輝度以下又は所定の高輝度以上の輝度であるかを判定するものであってもよく、これらの場合には医療画像は極めて暗いか又は明るすぎて、診断は不能であると考えられる。この場合には、判断部１５ｃは、ステップＳ３において内部処理を行うために医療画像を画像診断処理部１２に出力する。また、医療画像全体の輝度が所定の輝度範囲内にある場合には、外部画像処理装置７において正確な診断が可能であるので、この場合には、判断部１５ｃは、ステップＳ４において外部処理を行うために医療画像をインタフェース１３に出力する。なお、上述したように、判断部１５ｃは、医療画像全体の輝度が所定の輝度範囲内にある場合に内部処理すべき画像と判断し、医療画像全体の輝度が所定の輝度範囲を超えた場合に外部処理すべき画像と判断してもよい。
　他の作用は第１の実施の形態と同様である。
　このように本実施の形態においては、医療画像に対する信号処理に基づいて、外部画像処理装置に送信する画像情報を選択しており、外部画像処理装置に送信するデータ量を削減することが可能である。また、画像情報の送信先の選択は、比較的短時間にできる処理を内部画像処理装置に実施させるように行われると共に、高い信頼性が必要な処理を外部画像処理装置に実施させるように行われており、リアルタイム性や高速性を必要に応じて確保しつつ、信頼性の高い確実な診断を実現することができる。
　なお、選択部における画像処理によって外部画像処理装置に送信する画像情報を選択する例を説明したが、セントラルプロセッサ３における画像処理結果によって、外部画像処理装置に送信する画像情報を選択するようになっていてもよい。この場合には、選択部としては、図２と同様のスイッチを採用すればよい。
　なお、上記第１及び第２の実施の形態においては、スイッチ１１又は選択部１５は、画像情報を画像診断処理部１２又はインタフェース１３の一方に選択的に出力する例を説明したが、インタフェース１３に画像情報を出力する場合には、インタフェース１３に供給する画像情報を画像診断処理部１２にも与えるようにしてもよい。
（第３の実施の形態）
　図６は本発明の第３の実施の形態を示すブロック図である。図６は内部画像処理装置４の他の具体例を示すものであり、内視鏡システムの全体構成は図１と同様である。
　図６において、内部画像処理装置４は、入力部１４ａ、制御部１４ｂ、選択及び画像処理部１４ｃ、出力部１４ｄ並びにインタフェース１４ｅにより構成されている。図６の内部画像処理装置４は、図３の選択部１５、画像診断処理部１２及びインタフェース１３と同様の機能を有する。入力部１４ａ、制御部１４ｂ、出力部１４ｄ及びインタフェース１４ｅは、それぞれ図４の入力部１５ａ、制御部１５ｂ、出力部１５ｄ及びインタフェース１３と同様の機能を有し、選択及び画像処理部１４ｃは、判断部１５ｃ及び画像診断処理部１２と同様の機能を有する。
　制御部１４ｂと選択及び画像処理部１４ｃとは、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作するものであってもよいし、ＦＰＧＡ等のハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、図６の内部画像処理装置４全体がＦＰＧＡ等によって構成されていてもよい。
　入力部１４ａは、制御部１４ｂに制御されて、セントラルプロセッサ３を介して入力される医療画像を取り込む。出力部１４ｄは、入力部１４ａによって取り込まれた医療画像を、選択及び画像処理部１４ｃの判断結果に従って、インタフェース１４ｅに出力する。
　内部画像処理部及び選択処理部としての選択及び画像処理部１４ｃは、入力部１４ａから入力された医療画像についての信号処理によって、入力された医療画像を選択及び画像処理部１４ｃにおいて用いるか（内部処理）又はインタフェース１４ｅに出力するか（外部処理）を判断する。なお、選択及び画像処理部１４ｃにおける判断手法は判断部１５ｃと同様であり、説明を省略する。
　他の構成及び作用は、図３及び図４と同様である。
　このように本実施の形態においても、第２の実施の形態と同様の効果を得ることができる。
（第４の実施の形態）
　図７は本発明の第４の実施の形態を示すブロック図である。図７は内部画像処理装置４の他の具体例を示すものであり、内視鏡システムの全体構成は図１と同様である。
　第１の実施の形態においては、操作に基づく選択信号によって、外部画像処理装置７に供給する画像情報を選択する例について説明した。これに対し、本実施の形態は、入力される画像情報に対する画像処理によって診断を実施し、診断結果に従って外部画像処理装置７に供給する画像情報を選択する例である。
　図７において、内部画像処理装置４は、画像処理部２２、選択部２３及びインタフェース２４によって構成される。内部画像処理部及び選択処理部としての画像処理部２２は、入力された画像情報に対する画像処理によって診断を行うと共に、診断結果に従って、外部画像処理装置７に供給する画像情報を選択するための判断を行う。選択部２３は、画像処理部２２から画像情報が与えられており、画像処理部２２の判断に従って外部処理すべきと判断された画像情報をインタフェース２４に出力する。インタフェース２４は、インタフェース１３と同様の構成であり、選択部２３からの画像情報を外部ネットワーク６を介して外部画像処理装置７に供給すると共に、外部画像処理装置７からの情報を外部ネットワーク６を介して受信して画像処理部２２に供給するようになっている。
　図８は図７中の画像処理部２２の具体的な構成の一例を示すブロック図である。
　図８において、画像処理部２２は、入力部２２ａ、制御部２２ｂ、診断部２２ｃ、選択判断部２２ｄ及び出力部２２ｅにより構成されている。制御部２２ｂ、診断部２２ｃ及び選択判断部２２ｄは、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作するものであってもよいし、ＦＰＧＡ等のハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、画像処理部２２の全体がＦＰＧＡ等によって構成されていてもよく、図７の内部画像処理装置４の全体がＦＰＧＡ等によって構成されていてもよい。
　入力部２２ａは、制御部２２ｂに制御されて、セントラルプロセッサ３を介して入力される医療画像を取り込む。出力部２２ｅは、制御部２２ｂに制御されて、入力部２２ａによって取り込まれた医療画像をそのままモニタ５に出力すると共に、診断部２２ｃの診断結果を付加した医療画像をモニタ５に出力することもできるようになっている。また、出力部２２ｅは、制御部２２ｂに制御されて、入力部２２ａによって取り込まれた医療画像の一部又は全部を選択部２３に出力する。
　診断部２２ｃは、入力部２２ａを介して入力された医療画像に対する画像処理によって、診断支援を行うことができるようになっている。例えば、診断部２２ｃは、医療画像に基づいて病変部候補を検出することができる。また、例えば、診断部２２ｃは、検出した病変部候補について、良性か悪性か等の鑑別を行うことができるようになっていてもよい。
　診断部２２ｃは、病変部候補の検出や鑑別に、公知の各種手法を採用することができる。例えば、診断部２２ｃ、ＡＩを用いた機械学習によって病変部候補の検出や鑑別を行うようになっていてもよく、医療画像に対する画像解析により、色、突起部等の形状、表面形状等について各像部分を判定することで、病変部候補の検出や鑑別を行ってもよい。
　選択判断部２２ｄは、入力部２２ａによって入力された医療画像のうちの一部の画像を選択的に外部画像処理装置７に送信させるための選択を行う。本実施の形態においては、選択判断部２２ｄは、診断部２２ｃの診断結果を利用して、外部画像処理装置７に送信する医療画像を選択するようになっている。
　上述したように、外部画像処理装置７は診断部２２ｃと同様の機能を有し、診断部２２ｃよりも高精度の処理を高い信頼度で行うことができる。そこで、選択判断部２２ｄは、詳細で且つ高い信頼度の診断結果が必要な画像を選択して外部画像処理装置７に送信するように、画像選択の判断を行う。
　例えば、選択判断部２２ｄは、診断部２２ｃにおいて病変部候補の検出が可能であるが、病変部の特定が不能である場合、或いは病変部の特定は可能であるが病変部の良性悪性の鑑別が不能である場合等においては、当該病変部候補又は特定された病変部を含む画像部分を外部画像処理装置７に送信するための選択を行う。
　また、選択判断部２２ｄは、診断部２２ｃにおいて検出された病変部候補の検出結果の信頼度が所定の閾値よりも低い画像、又は病変部候補の検出自体が困難な画像を外部画像処理装置７に供給するための選択信号を発生してもよい。これにより、このような画像であっても、外部画像処理装置７において確実な病変部の検出が可能となる。また、選択判断部２２ｄは、病変部候補のサイズを判定し、所定のサイズよりも大きい病変部候補を含む画像を外部画像処理装置７に供給するための選択信号を発生してもよい。これにより、病変の悪化が懸念されるサイズの病変部候補については、外部画像処理装置７において確実に病変部の特定及び鑑別等が可能となる。
　更に、選択判断部２２ｄは、外部画像処理装置７に伝送する画像として、病変部候補を含むフレーム及び前後の所定数のフレームを選択するための選択信号を発生してもよい。これにより、必要十分な画像を伝送することで、外部画像処理装置７において確実な診断を可能にすると共に、外部画像処理装置７に伝送するデータ量を抑制することが可能である。
　また、選択判断部２２ｄは、診断部２２ｃにおける診断が著しく困難な画像、例えば、暗い画像、非合焦の画像、ブレが生じている画像、色や輝度が診断に適さない画像等については、外部画像処理装置７に伝送する画像として選択しないようにしてもよい。また、逆に、選択判断部２２ｄは、診断部２２ｃにおける診断が著しく困難な画像であっても診断すべき画像については、例え暗い画像、非合焦の画像、ブレが生じている画像、色や輝度が診断に適さない画像等であっても、外部画像処理装置７に伝送する画像として選択するようにしてもよい。
　選択判断部２２ｄは、選択すべき画像部分を指定するための選択信号を選択部２３に出力する。選択部２３は、画像処理部２２から与えられる画像のうち、選択信号によって指定された画像部分のみを選択してインタフェース２４に出力するようになっている。
　また、選択判断部２２ｄは、選択信号により、例えば病変部候補を含む画像部分のみをトリミングして選択するための選択信号を発生してもよい。これにより、外部画像処理装置７に伝送するデータ量を削減することが可能である。
　次に、このように構成された実施の形態の動作について図９を参照して説明する。図９は制御部２２ｂの制御を示すフローチャートである。
　いま、内視鏡１を被検体に挿入し、内視鏡画像を用いて被検体内の病変部の検出及び鑑別を行うものとする。術者は図示しない挿入部を図示しない被検体内に挿入する。内視鏡１は被検体内の撮影によって得た撮像信号をセントラルプロセッサ３に出力する。セントラルプロセッサ３は、内視鏡１からの撮像信号に基づく内視鏡画像を生成して、内部画像処理装置４に出力する。
　内部画像処理装置４を構成する図８の制御部２２ｂは、図９のステップＳ１において内視鏡画像を取り込み、診断部２２ｃに与える。診断部２２ｃは、内視鏡画像に対する診断処理を実施し、診断結果を出力する（ステップＳ１１）。出力部２２ｅは、セントラルプロセッサ３からの内視鏡画像と診断部２２ｃによる診断結果をモニタ５に出力して、表示画面上に表示させる。
　診断部２２ｃは、処理性能の制限から、内視鏡画像に対するリアルタイム処理では、正確で且つ高精度の診断を実施できるとは限らない。そこで、選択判断部２２ｄは、診断部２２ｃの診断結果に従って、より高精度の診断が必要であるか否かを判断し（ステップＳ１２）、必要である場合には、診断に必要な画像を外部画像処理装置７に送信するための選択信号を発生する。
　例えば、診断部２２ｃは、リアルタイムでは病変部候補の検出しかできない場合がある。診断部２２ｃは内視鏡画像中に病変部候補を検出すると、検出結果を出力部２２ｅを介してモニタ５に出力する。こうして、モニタ５の表示画面上には、内視鏡画像と共に、病変部候補が検出されたことを示す表示及び病変部候補の位置を示す表示が内視鏡画像に重ねて表示される。
　診断部２２ｃにおいて病変部についての鑑別が行われていないことから、選択判断部２２ｄは、ステップＳ１２において、より高精度の診断が必要と判断して処理をステップＳ４に移行し、病変部候補を含む画像部分を選択的に送信させるための選択信号を発生する。
　この選択信号は、選択部２３に供給される。選択部２３は、画像処理部２２からの画像のうち選択信号によって指定された画像部分を選択して、インタフェース２４に出力する。これにより、病変部候補位置を含む内視鏡画像は、インタフェース２４から外部ネットワーク６を介して外部画像処理装置７に出力される。
　外部画像処理装置７は、入力された内視鏡画像に対する診断処理を実施する（ステップＳ４）。外部画像処理装置７は、高性能処理が可能であり、正確で且つ高精度の診断を実施できる場合がある。外部画像処理装置７は、病変部候補を含む画像に対する診断処理によって、病変部候補が病変部であるか否かを判定すると共に、病変部の鑑別を行う。外部画像処理装置７は、病変部の検出結果及び鑑別結果を外部ネットワーク６を介してインタフェース２４に出力する。
　インタフェース２４は、外部画像処理装置７からの診断結果を受信して診断部２２ｃに与える。診断部２２ｃは、外部画像処理装置７による信頼度が高い診断結果を出力部２２ｅを介してモニタ５に出力する。こうして、モニタ５の表示画面上には、内視鏡画像が表示されると共に、当該内視鏡画像中に病変部が存在するか否かの表示及び存在する場合には病変部の位置を示す表示が表示される。更に、外部画像処理装置７によって鑑別結果が得られた場合には、病変部の鑑別結果についての表示もモニタ５の表示画面上に表示される。
　例えば、ポリープの検査を行うものとする。この場合には、診断部２２ｃは、比較的簡単な処理によって短時間にポリープを検出する。この結果、略リアルタイムで、モニタ５上にポリープの可能性のある部分の表示が行われる。更に、術者が当該ポリープについて詳細な検査を行うために挿入部をポリープ近傍に近づけようと挿入操作を行っている間に、画像データが外部画像処理装置７に転送され、精密な診断処理によってポリープの種類等の鑑別が行われて、その結果が診断部２２ｃに送信される。これにより、挿入操作の途中で、ポリープ部分が良性であるか悪性であるかを示す表示が行われる。即ち、内部画像処理装置４と外部画像処理装置７とで自動的に連携した診断が行われて、高速且つ確実な診断が可能となる。
　なお、ステップＳ１２において、選択判断部２２ｄにより高精度の診断が必要と判断されない場合には、病変部候補を含む画像部分を選択的に送信させるための選択信号は発生せず、内部処理のみが行われる。即ち、この場合には、モニタ５の表示画面上には、診断部２２ｃによる診断結果のみが表示される。
　なお、選択判断部２２ｄは、ステップＳ１２における選択の判断において、病変部候補の検出結果の信頼度、病変部候補のサイズ、伝送する画像のフレーム、診断が著しく困難な画像であるか否か、トリミングの範囲を考慮して、選択信号を生成してもよい。
　このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、外部画像処理装置に伝送する画像を、内部画像処理装置における診断結果に基づいて判定しており、外部画像処理装置において診断すべき画像を確実に選択することが可能である。例えば、内部画像処理装置においてリアルタイム性を重視した診断のみを行った場合でも、内部画像処理装置では行われていない詳細で信頼度の高い診断を外部画像処理装置において確実に行うことが可能となる。これにより、リアルタイム性や高速性を必要に応じて確保しつつ、詳細で信頼性の高い診断を確実に実現することができる。
（第５の実施の形態）
　図１０は本発明の第５の実施の形態を示すブロック図である。図１０において図１と同一の構成要素には同一符号を付して説明を省略する。
　上記各実施の形態においては、リアルタイムに入力される動画像に対して処理を行う装置の例を説明したが、本実施の形態は記録されている動画像に対して処理を行う装置の例である。その一例として、図１０はカプセル内視鏡によって取得された画像を処理する例を示している。
　カプセル内視鏡３１は、カプセル形状の密閉容器（カプセル）に撮像素子を設けて、患者が口から飲み込んだカプセルが体内を進行する過程において撮影を行う内視鏡である。カプセル内視鏡３１は、撮影により取得した内視鏡画像を無線により受信装置３２に送信する。
　受信装置３２は、無線送受信機により構成されており、カプセル内視鏡３１からの画像を受信する受信機能を備えている。また、受信装置３２は、記録部３２ａを備えており、カプセル内視鏡３１から送信された内視鏡画像を受信して、記録部３２ａに記録するようになっている。記録部３２ａは、図示しない記録媒体により構成されており、カプセル内視鏡３１によって撮像された内視鏡画像を記録する。クレードル３３は、受信装置３２を載置可能に構成されて、受信装置３２に対する充電が可能である。
　本実施の形態においては、クレードル３３は、内部画像処理部を有しており、受信装置３２の充電機能の他に、記録部３２ａに記録された画像を読出して取り込む機能、取り込んだ画像に対する診断機能、取り込んだ画像のうち外部画像処理装置７に送信する画像を選択して送信する機能、診断結果を受信する機能並びに取り込んだ画像及び診断結果をモニタ５に出力する機能を備える。
　例えば、クレードル３３は、図７の画像処理部２２、選択部２３及びインタフェース２４と同様の構成を有しており、そのうちの画像処理部２２は、図８の入力部２２ａ、制御部２２ｂ、診断部２２ｃ、選択判断部２２ｄ、出力部２２ｅと同様の構成を有している。
　即ち、クレードル３３は、記録部３２ａから画像を取り込み、診断を行うことができる。なお、クレードル３３による診断は、診断部２２ｃによる診断と同程度の比較的簡易なものであってもよく、例えば、病変部候補が存在するか否か等の判断を行うものであればよい。クレードル３３は、診断の結果、病変部候補が撮像されている画像のみについて、外部画像処理装置７に送信するように画像の選択を行う。クレードル３３は、選択した画像のみを外部ネットワーク６を介して外部画像処理装置７に出力する。
　他の構成及び作用は第４の実施の形態と同様である。
　一般的に、カプセル内視鏡３１によって撮影される画像数は膨大であり、その全てのデータに対して比較的短時間に詳細な診断結果を得るためには、極めて処理能力が高い画像処理装置（コンピュータ）が必要であり、このような画像処理装置は検査室等に配置困難な場合が多い。そこで、カプセル内視鏡３１によって取得された画像を外部ネットワーク６を介して高い処理能力を有する外部画像処理装置７に伝送して診断を実施することが考えられる。本実施の形態においては、この場合において、膨大な数の内視鏡画像のうち、病変部候補が存在する画像のみを外部画像処理装置７に伝送するようになっており、伝送するデータ量を著しく削減することが可能である。
　なお、クレードル３３は、外部画像処理装置７から外部ネットワーク６を介して診断結果を受信し、モニタ５に内視鏡画像と共に診断結果を表示するようになっていてもよい。
　このように本実施の形態においては、第４の実施の形態と同様に、外部画像処理装置に伝送する画像を、クレードルにおける診断結果に基づいて判定しており、外部画像処理装置において診断すべき画像のみを選択して伝送することが可能であり、伝送するデータ量を著しく削減することができる。
（第６の実施の形態）
　図１１は本発明の第６の実施の形態を示すブロック図である。図１１において図１０と同一の構成要素には同一符号を付して説明を省略する。
　本実施の形態はクレードル３３に代えて画像処理装置３５、選択部３６及びインタフェース３７を採用した点が第５の実施の形態と異なる。受信装置３２には記録部３２ａに記録された画像を転送するためのインタフェース３２ｂが設けられている。インタフェース３２ｂとしては例えばＵＳＢ（ユニバーサルシリアルバス）端子や無線インタフェース等を採用することができる。画像処理装置３５は、内部画像処理部３５ａを含む。内部画像処理部３５ａは、インタフェース３２ｂを介して記録部３２ａに記録されている画像を取り込んで、診断を行うようになっている。なお、内部画像処理部３５ａは、例えば、ＡＩを用いた機械学習によって病変部候補の検出や鑑別を行うようになっていてもよく、医療画像に対する画像解析により、色、突起部等の形状、表面形状等について各像部分を判定することで、病変部候補の検出や鑑別を行ってもよい。
　本実施の形態においては、画像処理装置３５は、内部画像処理部３５ａの診断結果に従って、外部画像処理装置７に送信する画像を選択するようになっている。即ち、画像処理装置３５は、図８の選択判断部２２ｄと同様の構成を有する。画像処理装置３５は、内部画像処理部３５ａの診断よりもより高精度の診断が必要と判断した場合、例えば、内部画像処理部３５ａにより検出された病変部候補の鑑別を行う場合等においては、病変部候補を含む画像部分を選択的に送信させるための選択信号を発生する。この選択信号は、選択部３６に供給される。
　選択部３６は、画像処理装置３５からの画像のうち選択信号によって指定された画像部分を選択して、インタフェース３７に出力する。インタフェース３７は、図７のインタフェース２４と同様の構成を有しており、選択部３６からの画像を外部ネットワーク６を介して外部画像処理装置７に送信すると共に、外部画像処理装置７からの診断結果を外部ネットワーク６を介して受信して画像処理装置３５に出力する。
　これにより、病変部候補位置を含む内視鏡画像は、インタフェース３７から外部ネットワーク６を介して外部画像処理装置７に出力され、外部画像処理装置７による鑑別結果は、インタフェース３７によって受信されて画像処理装置３５に供給される。
　画像処理装置３５は、内視鏡画像と内部画像処理部３５ａの処理結果及びインタフェース３７を介して受信した処理結果の一方又は両方とをモニタ５に出力して表示させることができる。また、画像処理装置３５は、処理結果を受信装置３２に出力するようになっていてもよく、また、内視鏡画像と内部画像処理部３５ａの処理結果及びインタフェース３７を介して受信した処理結果の一方又は両方とを図示しない外部サーバに転送するようになっていてもよい。
　他の構成及び作用は第５の実施の形態と同様である。
　このように本実施の形態においても、第５の実施の形態と同様に、外部画像処理装置において診断すべき画像のみを選択して伝送することが可能であり、伝送するデータ量を著しく削減することができる。また、本実施の形態においては、既存の診断装置を利用することができ、比較的容易に内視鏡システムを構築することができる。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　例えば、外部画像処理装置７に伝送する画像としては、病変部候補を含むフレーム及び前後の所定数のフレームを送信するようになっていてもよい。これにより、必要十分な画像を伝送することで、外部画像処理装置７において確実な診断を可能にすると共に、外部画像処理装置７に伝送するデータ量を抑制することが可能である。
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の移動支援システムを実現することができる。

Claims (21)

  1. 　入力された画像に対する画像処理を行う内部画像処理部と、
    　外部ネットワークに接続された外部画像処理装置に対して前記入力された画像の一部を選択して送信するための選択処理を行う選択処理部と
    を具備したことを特徴とする内視鏡システムに用いる画像処理装置。
  2. 　前記選択処理部は、操作信号に基づいて前記選択処理を行って、前記入力された画像を前記内部画像処理部に供給するか前記外部画像処理装置に送信するかを切換えるための画像の選択処理を行う
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  3. 　前記選択処理部は、前記入力された画像の信号処理に基づいて前記選択処理を行って、前記入力された画像を前記内部画像処理部に供給するか前記外部画像処理装置に送信するかを切換えるための画像の選択処理を行う
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  4. 　前記選択処理部は、前記内部画像処理部に入力された画像のうち前記外部画像処理装置に送信する画像を選択するための選択処理を行う
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  5. 　前記選択処理部は、前記内部画像処理部による画像処理の処理結果に基づいて、前記外部画像処理装置に送信する画像を選択するための選択処理を行う
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  6. 　前記内部画像処理部は、診断処理を実施する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  7. 　前記外部画像処理装置は、診断処理を実施する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  8. 　前記内部画像処理部及び外部画像処理装置は、診断処理を実施する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  9. 　前記内部画像処理部は、外部画像処理装置に比較して短時間で処理結果を出力する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  10. 　前記外部画像処理装置は、内部画像処理部に比較して詳細な処理結果を出力する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  11. 　前記内部画像処理部は、前記入力された画像に対する第１の診断を実施し、
    　前記選択処理部は、前記外部画像処理装置において前記第１の診断よりも詳細な第２の診断を行うための画像を、前記第１の診断の結果に基づいて選択する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  12. 　前記内部画像処理部は、前記入力された画像から病変部候補の検出を行い、
    　前記選択処理部は、前記外部画像処理装置に対して前記病変候補部の鑑別を行わせるために、前記病変部候補の画像部分を含む画像を選択的に送信するための画像の選択を行う
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  13. 　前記選択処理部は、前記病変部候補を含む画像部分をトリミングした画像を前記外部画像処理装置に送信するための選択処理を行う
    ことを特徴とする請求項１２に記載の内視鏡システムに用いる画像処理装置。
  14. 　前記選択処理部は、前記病変部候補の検出の信頼度が所定の閾値よりも低い画像を前記外部画像処理装置に送信するための選択処理を行う
    ことを特徴とする請求項１２に記載の内視鏡システムに用いる画像処理装置。
  15. 　前記選択処理部は、前記病変部候補の画像部分のサイズが所定のサイズよりも大きい画像を前記外部画像処理装置に送信するための選択処理を行う
    ことを特徴とする請求項１２に記載の内視鏡システムに用いる画像処理装置。
  16. 　前記選択処理部は、前記病変部候補のフレームを含む前後所定数のフレームの画像を前記外部画像処理装置に送信するための選択処理を行う
    ことを特徴とする請求項１２に記載の内視鏡システムに用いる画像処理装置。
  17. 　前記選択処理部は、前記入力された画像の輝度範囲、色範囲、合焦状態範囲の少なくとも１つの範囲が各閾値の範囲外にある場合には、前記入力された画像を前記外部画像処理装置に送信しないための選択処理を行う
    ことを特徴とする請求項１２に記載の内視鏡システムに用いる画像処理装置。
  18. 　前記外部画像処理装置の処理結果を受信するインタフェースを更に具備し、
    　前記内部画像処理部の処理結果及び前記外部画像処理装置の処理結果の少なくとも一方と前記入力された画像とを出力する
    ことを特徴とする請求項１に記載の内視鏡システムに用いる画像処理装置。
  19. 　前記内部画像処理部の処理結果及び前記外部画像処理装置の処理結果の少なくとも一方と前記入力された画像とをモニタに出力する
    ことを特徴とする請求項１８に記載の内視鏡システムに用いる画像処理装置。
  20. 　請求項１から１９のいずれか１つに記載の内視鏡システムに用いる画像処理装置と、
    　前記外部画像処理装置と
    を具備したことを特徴とする内視鏡システム。
  21. 　入力された画像に対する画像処理を行い、
    　外部ネットワークに接続された外部画像処理装置に対して前記入力された画像の一部を選択して送信するための選択処理を行う
    ことを特徴とする内視鏡システムに用いる画像処理方法。
PCT/JP2018/040315 2018-10-30 2018-10-30 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法 Ceased WO2020090002A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/040315 WO2020090002A1 (ja) 2018-10-30 2018-10-30 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
JP2020554641A JP7138719B2 (ja) 2018-10-30 2018-10-30 内視鏡システムに用いる画像処理装置、内視鏡システム及び内視鏡システムの作動方法
CN201880099100.0A CN112969402B (zh) 2018-10-30 2018-10-30 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
US17/239,802 US12143755B2 (en) 2018-10-30 2021-04-26 Endoscope system, and image processing apparatus and image processing method used in endoscope system
US18/909,308 US20250030819A1 (en) 2018-10-30 2024-10-08 Endoscope system, and image processing apparatus and image processing method used in endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040315 WO2020090002A1 (ja) 2018-10-30 2018-10-30 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/239,802 Continuation US12143755B2 (en) 2018-10-30 2021-04-26 Endoscope system, and image processing apparatus and image processing method used in endoscope system

Publications (1)

Publication Number Publication Date
WO2020090002A1 true WO2020090002A1 (ja) 2020-05-07

Family

ID=70462010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040315 Ceased WO2020090002A1 (ja) 2018-10-30 2018-10-30 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (2) US12143755B2 (ja)
JP (1) JP7138719B2 (ja)
CN (1) CN112969402B (ja)
WO (1) WO2020090002A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069737A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
CN114627045A (zh) * 2020-12-08 2022-06-14 富士胶片株式会社 医用图像处理系统、医用图像处理系统的工作方法
JP2023041458A (ja) * 2021-09-13 2023-03-24 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
WO2024190272A1 (ja) * 2023-03-15 2024-09-19 富士フイルム株式会社 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2025009124A1 (ja) * 2023-07-05 2025-01-09 オリンパスメディカルシステムズ株式会社 画像診断支援装置、画像診断支援システム、及び画像診断支援方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564701B (zh) * 2021-06-30 2024-05-17 深圳开立生物医疗科技股份有限公司 一种息肉检测装置、方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009178180A (ja) * 2008-01-29 2009-08-13 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡の動作制御方法
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012342B2 (ja) * 1990-01-19 2000-02-21 オリンパス光学工業株式会社 医療用画像表示装置
JP2003325444A (ja) * 2002-05-10 2003-11-18 Pentax Corp 電子内視鏡装置および映像信号処理装置
JP4437202B2 (ja) * 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
JP4914634B2 (ja) * 2006-04-19 2012-04-11 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
JP4211838B2 (ja) 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法
JP5155674B2 (ja) 2008-01-18 2013-03-06 オリンパス株式会社 画像記録装置、内視鏡検査システム、検査方法及びプログラム
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2014061554A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
KR101599129B1 (ko) * 2014-05-20 2016-03-02 박현준 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
US20180060512A1 (en) * 2016-08-29 2018-03-01 Jeffrey Sorenson System and method for medical imaging informatics peer review system
US20230293132A1 (en) * 2016-10-25 2023-09-21 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image acquisition
JP6270967B2 (ja) * 2016-11-17 2018-01-31 Hoya株式会社 画像処理装置及び内視鏡装置
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
JP7217893B2 (ja) * 2018-02-06 2023-02-06 ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン 光学組織像の分析及び遠隔読影のためのシステム及び方法
CN108682013A (zh) * 2018-05-30 2018-10-19 广州众健医疗科技有限公司 一种胃镜图像智能处理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009178180A (ja) * 2008-01-29 2009-08-13 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡の動作制御方法
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069737A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
JP7630952B2 (ja) 2020-10-26 2025-02-18 キヤノン株式会社 情報処理システム、情報端末、情報処理方法及びプログラム
CN114627045A (zh) * 2020-12-08 2022-06-14 富士胶片株式会社 医用图像处理系统、医用图像处理系统的工作方法
JP2022090759A (ja) * 2020-12-08 2022-06-20 富士フイルム株式会社 医用画像処理システム、医用画像処理システムの作動方法
JP7593796B2 (ja) 2020-12-08 2024-12-03 富士フイルム株式会社 医用画像処理システム、医用画像処理システムの作動方法
JP2023041458A (ja) * 2021-09-13 2023-03-24 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7788822B2 (ja) 2021-09-13 2025-12-19 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
WO2024190272A1 (ja) * 2023-03-15 2024-09-19 富士フイルム株式会社 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2025009124A1 (ja) * 2023-07-05 2025-01-09 オリンパスメディカルシステムズ株式会社 画像診断支援装置、画像診断支援システム、及び画像診断支援方法

Also Published As

Publication number Publication date
US20210241457A1 (en) 2021-08-05
US12143755B2 (en) 2024-11-12
CN112969402A (zh) 2021-06-15
JP7138719B2 (ja) 2022-09-16
CN112969402B (zh) 2024-05-28
US20250030819A1 (en) 2025-01-23
JPWO2020090002A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7138719B2 (ja) 内視鏡システムに用いる画像処理装置、内視鏡システム及び内視鏡システムの作動方法
JP2020171716A (ja) 出血検出ユニットを有する手術用のシステム及び方法
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
CN101170940A (zh) 图像显示装置
KR100751160B1 (ko) 의료용 화상 기록 시스템
JP7559240B2 (ja) 内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラム
JP4629143B2 (ja) インビボで内容物を検出するシステム
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
KR20150049585A (ko) 용종 검출 장치 및 그 동작방법
US9392230B2 (en) Endoscopic apparatus and measuring method
CN108992018A (zh) 内窥镜的控制装置、内窥镜的维护支持方法及内窥镜的维护支持程序
JP2023552032A (ja) 医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
CN105283114A (zh) 胶囊型内窥镜系统
JP6313913B2 (ja) 内視鏡画像観察支援システム
JP2021182950A (ja) 情報処理装置および方法
CN110772210B (zh) 一种诊断交互系统及方法
JP5242731B2 (ja) 画像表示システムおよび画像表示端末装置
JP2009198787A (ja) 内視鏡装置
WO2023148857A1 (ja) 情報出力方法および情報出力装置
JP7096713B2 (ja) 内視鏡システム
US20240358223A1 (en) Endoscope system, medical information processing method, and medical information processing program
JP7389823B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
CN114550866A (zh) 数据处理设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18938918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020554641

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18938918

Country of ref document: EP

Kind code of ref document: A1