[go: up one dir, main page]

WO2017212768A1 - 画像処理装置、内視鏡システム、画像処理方法およびプログラム - Google Patents

画像処理装置、内視鏡システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2017212768A1
WO2017212768A1 PCT/JP2017/014271 JP2017014271W WO2017212768A1 WO 2017212768 A1 WO2017212768 A1 WO 2017212768A1 JP 2017014271 W JP2017014271 W JP 2017014271W WO 2017212768 A1 WO2017212768 A1 WO 2017212768A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
observation
mask
electronic zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/014271
Other languages
English (en)
French (fr)
Inventor
裕仁 中川
祐二 久津間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017560644A priority Critical patent/JP6445721B2/ja
Priority to CN201780024948.2A priority patent/CN109068965B/zh
Priority to DE112017002855.8T priority patent/DE112017002855T5/de
Publication of WO2017212768A1 publication Critical patent/WO2017212768A1/ja
Priority to US16/167,648 priority patent/US10702133B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing

Definitions

  • the present invention relates to an image processing apparatus, an endoscope system, an image processing method, and a program for performing image processing on image data.
  • a shielding mask portion that shields the visual field region in the circumferential direction that cannot be captured by the side observation unit is superimposed on the composite image obtained by combining the side observation image in the circumferential direction of the direct-view observation image, and the composite image A chamfer mask is further superimposed on the four corners to form a rectangular shape and displayed on the display monitor.
  • Patent Document 1 described above since the shielding area of the mask portion is always constant regardless of the observation state, when performing normal observation, a part of the side observation image is shielded, and the observation field of view is narrow. There was a problem of becoming. Specifically, in Patent Document 1 described above, as shown in FIG. 6A, the chamfered areas of the mask part M1, the mask part M2, and the mask part M3 are always constant. Therefore, in the case of performing normal observation, when the composite image P1 obtained by combining the direct-view observation image F1 and the side-view observation image L1 is displayed on the display monitor in the display area D1, as shown in FIG. However, there is a problem that the image P2 in which a part K1 of the side observation image L1 is shielded becomes narrow and the observation field of view becomes narrow.
  • Patent Document 1 when performing magnified observation by electronic zoom, an unclear region such as a boundary line between a direct-view observation image and a side-view observation image or a step between the masking mask portion and the mask portion is an object of electronic zoom. There is a problem that it is difficult for the user to determine whether it is a lesion or a boundary when observing by moving from the vicinity of the center of the display area to the outer edge side in accordance with the zoom magnification. .
  • a synthesized image P3 obtained by synthesizing the direct-view observation image F1 and the side observation image L1 is used.
  • an unclear area such as a boundary line K3 between the direct-view observation image F1 and the side-view observation image L1 or a step K2 between the mask parts is located near the center of the display area D1 on the outer edge side
  • the image P4 is moved toward the image area P4, and it is difficult for the user to determine whether the image is a lesion or a boundary.
  • the present invention has been made in view of the above, and an image processing apparatus capable of preventing an observation field from being narrowed regardless of an observation state and shielding an unclear region during electronic zoom,
  • An object is to provide an endoscope system, an image processing method, and a program.
  • the image processing apparatus includes a side observation unit provided on a distal end side of an insertion unit of an endoscope to be inserted into a subject.
  • the insertion portion is inserted by an annular side observation image that is generated by imaging a lateral field of view in the circumferential direction and a direct-view observation portion that is provided closer to the distal end side of the insertion portion than the side observation portion.
  • An acquisition unit that acquires image data including a direct-view observation image that is generated by imaging a front visual field in a direction and that forms a circle formed from the center of the side-view image to an inner circle
  • an electronic zoom unit capable of executing an electronic zoom for enlarging to a predetermined magnification by performing a trimming process on an image corresponding to the image data acquired by the acquisition unit, and the electronic zoom unit includes the electronic zoom unit Normal observation place without zooming
  • magnification observation in which the electronic zoom unit performs the electronic zoom while generating the first mask portion that shields the outside from the outer periphery of the side observation image, the side observation image and the direct-view observation image
  • a mask generation unit that generates a second mask unit that shields the boundary of the display, and in the case of the normal observation, the first mask unit is combined with the image so as to correspond to the shape of the rectangular display region included in the display device. While generating the molded first display image, in the case of the magnified observation, the second mask portion is combined with the image
  • the second mask unit shields an area connecting two points where the direct-view observation image and the display area intersect.
  • the second mask portion shields a region formed by the straight line connecting two points where the direct-view observation image and the display region intersect with the display region. It is characterized by doing.
  • the image processing apparatus is characterized in that, in the above-mentioned invention, the second mask portion has an annular shape that shields the side observation image.
  • the mask generation unit changes a shielding area of the second mask unit based on a magnification by the electronic zoom unit.
  • the image generation unit outputs the first display image and the second display image to the display apparatus.
  • an endoscope system includes the image processing device according to the invention, the endoscope, and the display device.
  • the image processing method according to the present invention is an image processing method executed by an image processing apparatus, wherein the insertion is performed by a side observation unit provided on a distal end side of an insertion unit of an endoscope to be inserted into a subject.
  • a side observation unit provided on a distal end side of an insertion unit of an endoscope to be inserted into a subject.
  • the insertion portion by a circular side observation image generated by imaging a peripheral side field of view of the portion and a direct-view observation portion provided on the distal end side of the insertion portion with respect to the side observation portion.
  • an electronic zoom unit capable of executing an electronic zoom for enlarging to a predetermined magnification by performing a trimming process on the image corresponding to the image data acquired in the step and the acquiring step does not perform the electronic zoom Normal observation
  • the electronic zoom unit performs the electronic zoom while generating the first mask portion that shields the outside from the outer periphery of the side observation image
  • the side observation image and the direct-view observation image A mask generation step for generating a second mask portion that shields the boundary between the first mask portion and the normal mask for the normal observation so that the first mask portion is combined with the image so as to correspond to the shape of the rectangular display area of the display device.
  • the second mask portion is combined with the image magnified by the electronic zoom portion and shaped
  • the program according to the present invention images a lateral field of view in the circumferential direction of the insertion portion by the side observation unit provided on the distal end side of the insertion portion of the endoscope inserted into the subject in the image processing apparatus.
  • Generated by imaging the front visual field in the insertion direction of the insertion section by the side observation image formed in a ring shape and the direct-view observation section provided on the distal end side of the insertion section with respect to the side observation section A direct-view observation image that is a direct-view observation image that forms a circle formed from the center of the lateral observation image to an inner circle, and an acquisition step that acquires image data, and the acquisition step that is acquired in the acquisition step
  • the side observation image The outer circumference of A second mask portion that generates a first mask portion that shields the outside and shields
  • the first mask image is synthesized with the image to generate a first display image that is molded according to the shape of the rectangular display area of the display device.
  • the present invention it is possible to prevent the observation visual field from being narrowed regardless of the observation state, and to shield an unclear area during electronic zooming.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3A is a diagram schematically illustrating an example of an image corresponding to image data generated by the endoscope according to the first embodiment of the present invention.
  • FIG. 3B is a diagram schematically illustrating the shape of the mask unit generated by the mask generation unit of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3C is a diagram schematically illustrating a state where the output unit of the image processing apparatus according to the first embodiment of the present invention combines the mask unit with an image.
  • FIG. 3A is a diagram schematically illustrating an example of an image corresponding to image data generated by the endoscope according to the first embodiment of the present invention.
  • FIG. 3B is a diagram schematically illustrating the shape of the mask unit generated by
  • FIG. 3D is a diagram showing an example of an image displayed by the display device according to Embodiment 1 of the present invention.
  • FIG. 4A is a diagram schematically illustrating a state where the output unit of the image processing apparatus according to the first embodiment of the present invention combines the mask unit with an image during electronic zooming of the endoscope.
  • FIG. 4B is a diagram illustrating an example of an image displayed by the display device according to Embodiment 1 of the present invention during electronic zooming of the endoscope.
  • FIG. 5A is a diagram schematically illustrating a state in which the output unit of the image processing apparatus according to the modification of the embodiment of the present invention combines the mask unit with the image during electronic zooming of the endoscope system.
  • FIG. 4A is a diagram schematically illustrating a state where the output unit of the image processing apparatus according to the modification of the embodiment of the present invention combines the mask unit with the image during electronic zooming of the endoscope system.
  • FIG. 5B is a diagram illustrating an example of an image displayed by the display device according to the modification of the embodiment of the present invention during electronic zooming of the endoscope system.
  • FIG. 6A is a diagram illustrating an example of an image in which a mask unit is superimposed on an endoscope according to the related art.
  • FIG. 6B is a diagram illustrating an example of an image in which a mask monitor is superimposed on a display monitor according to the related art.
  • FIG. 7A is a diagram illustrating an example of an image obtained by synthesizing a mask portion during electronic zooming by an endoscope according to the related art.
  • FIG. 7B is a diagram illustrating an example of an image obtained by synthesizing the mask portion when the display monitor according to the related art performs the electronic zoom.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to an embodiment of the present invention.
  • An endoscope system 1 shown in FIG. 1 includes an endoscope 2 (endoscope scope) that captures an image of the inside of a subject and generates image data by being inserted into the subject, and an endoscope 2.
  • a light source device 3 that irradiates the subject with illumination light
  • an image processing device 4 that performs various processes on image data input from the endoscope 2
  • an image processing device 4 for performing various processes on image data input from the endoscope 2
  • an image processing device 4 for performing various processes on image data input from the endoscope 2
  • a display device 5 for displaying an image corresponding to the image data.
  • the endoscope 2 includes an optical system 20, an image sensor 21, an identification information recording unit 22, and an endoscope operation unit 23.
  • the optical system 20 is provided on the distal end side of the insertion portion that is inserted into the subject, and an image of a subject to be observed (hereinafter referred to as a “side observation image”) in a lateral field of view in the circumferential direction of the insertion portion.
  • the side observation optical system 201 that forms an image on the light receiving surface 21 and a subject image (hereinafter, referred to as an observation target in the front field of view in the insertion direction of the insertion unit) provided on the distal end side of the insertion unit with respect to the side observation optical system 201.
  • a direct-view observation optical system 202 that forms an image on the light-receiving surface of the image sensor 21.
  • the side observation image has an annular shape.
  • the direct-view observation image has a circular shape formed from the center of the side observation image to the inner circle.
  • the side observation optical system 201 functions as a side observation unit
  • the direct view observation optical system 202 functions as a direct view observation unit.
  • the image sensor 21 generates image data by receiving each of the lateral observation image and the direct observation image on the light receiving surface and performing photoelectric conversion.
  • the image sensor 21 is configured using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the identification information recording unit 22 records identification information for identifying the endoscope 2.
  • the identification information includes an endoscope ID for identifying the endoscope 2, an angle of view of the endoscope 2, a year type of the endoscope 2, type information indicating the type of the endoscope 2, Specification information of endoscope 2, transmission method of image data of endoscope 2, transmission rate of image data of endoscope 2, information regarding observation light of light source device 3 corresponding to endoscope 2, and endoscope 2 Is included in the type information of the image processing apparatus 4 that can handle this.
  • the identification information recording unit 22 is realized using, for example, a ROM (Reed Only Memory), a flash memory, or the like.
  • the endoscope operation unit 23 receives input of various operations related to the endoscope 2.
  • the endoscope operation unit 23 includes an instruction signal for switching observation light of the light source device 3, an instruction signal for instructing magnified observation by electronic zoom, and an instruction signal for instructing a freeze image (still image) by the endoscope 2.
  • An input is received, and the received instruction signal is output to the image processing apparatus 4.
  • the endoscope operation unit 23 is configured using a plurality of switches.
  • the configuration of the light source device 3 will be described. Under the control of the image processing device 4, the light source device 3 sequentially switches and emits a plurality of different illumination lights via the endoscope 2.
  • the light source device 3 is configured using a white LED (Light Emitting Diode) and a color filter that transmits each of red, green, and blue light.
  • the light source device 3 may be configured using a red LED, a green LED, and a blue LED.
  • the image processing device 4 includes an acquisition unit 41, an identification information acquisition unit 42, an operation unit 43, an image processing unit 44, a recording unit 45, and a control unit 46.
  • the acquisition unit 41 acquires image data from the endoscope 2 and outputs the acquired image data to the image processing unit 44.
  • the identification information acquisition unit 42 acquires the identification information of the endoscope 2 connected to the image processing device 4 from the identification information recording unit 22 of the endoscope 2, and outputs the acquired identification information to the control unit 46.
  • the operation unit 43 receives input of various operations related to the endoscope system 1. For example, the operation unit 43 accepts input of an instruction signal for switching observation light of the light source device 3, an instruction signal for instructing magnified observation by electronic zoom, an instruction signal for instructing a freeze image (still image) by the endoscope 2, and the like. The received instruction signal is output to the control unit 46.
  • the operation unit 43 is configured using a plurality of switches.
  • the recording unit 45 is realized using a ROM and records image data input from the endoscope 2 and data including various parameters necessary for the operation of the endoscope system 1.
  • the recording unit 45 includes a program recording unit 451 that records various programs executed by the endoscope system 1.
  • the image processing unit 44 is realized using an FPGA or the like, performs various image processing on the image data input from the acquisition unit 41, and outputs the processed image data to the display device 5.
  • the image processing unit 44 includes a signal processing unit 441, a mask generation unit 442, an electronic zoom unit 443, and an output unit 444.
  • the signal processing unit 441 performs predetermined signal processing on the image data.
  • the predetermined image processing includes synchronization processing, optical black reduction processing, white balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, edge enhancement processing, format conversion processing, and the like.
  • the mask generation unit 442 generates a mask unit that masks the four corners of the image corresponding to the image data subjected to the signal processing by the signal processing unit 441 under the control of the control unit 46. Specifically, the mask generation unit 442 generates a first mask unit that shields the outside from the outer periphery of the side observation image in the case of normal observation in which the electronic zoom unit 443 does not perform electronic zoom. In addition, in the case of magnified observation in which the electronic zoom unit 443 performs electronic zoom, the mask generation unit 442 generates a second mask unit that shields the boundary between the side observation image and the direct view observation image. For example, the mask generation unit 442 generates a second mask unit that shields a region connecting two points where the direct-view observation image and the display region of the display device 6 intersect each vertex of the display region of the display device 6.
  • the electronic zoom unit 443 performs the trimming process on the image corresponding to the image data subjected to the signal processing by the signal processing unit 441 under the control of the control unit 46, thereby expanding the electronic zoom unit to a predetermined magnification. Perform zooming.
  • the output unit 444 Under the control of the control unit 46, the output unit 444 combines the in-vivo image subjected to signal processing by the signal processing unit 441 with the mask unit generated by the mask generation unit 442 and has a rectangular shape smaller than the image included in the display device 5. A molded first display image corresponding to the shape of the shape display area is generated, and the generated first display image is output to the display device 5. In addition, when the endoscope 2 performs magnified observation using the electronic zoom, the output unit 444 displays an image magnified by the electronic zoom unit 443 using the electronic zoom under the control of the control unit 46.
  • a second mask image having a shielding area generated in accordance with the electronic zoom is synthesized to generate a second display image that is molded according to the shape of the display area of the display device 5, and the generated second display image is Output to the display device 5.
  • the output unit 444 functions as an image generation unit.
  • the control unit 46 is configured using a CPU (Central Processing Unit) or the like, and comprehensively controls each unit of the endoscope system 1.
  • the control unit 46 controls each unit of the endoscope system 1 according to an instruction signal input from the endoscope operation unit 23 or an instruction signal input from the operation unit 43.
  • the display device 5 displays an image subjected to image processing by the image processing device 4 and various information related to the endoscope system 1.
  • the display device 5 has a rectangular display area smaller than an image corresponding to image data generated by imaging by the endoscope 2.
  • the display device 5 is realized using a display monitor having liquid crystal, organic EL (Electro Luminescence), or the like.
  • FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus 4.
  • the identification information acquisition unit 42 acquires identification information from the endoscope 2 connected to the image processing device 4, and outputs the acquired identification information to the control unit 46 (step S101). .
  • the acquisition unit 41 acquires image data from the imaging element 21 of the endoscope 2 and outputs the acquired image data to the image processing unit 44 (step S102). Specifically, as illustrated in FIG. 3A, the acquisition unit 41 acquires an image corresponding to image data including the side observation image L ⁇ b> 1 and the direct observation image F ⁇ b> 1 from the imaging element 21 of the endoscope 2.
  • the mask generation unit 442 generates a mask unit corresponding to the identification information of the endoscope 2 under the control of the control unit 46 (step S103). Specifically, as illustrated in FIG. 3B, the mask generation unit 442 includes a shielding mask unit M1 that shields a visual field region in the circumferential direction that cannot be imaged by the side observation unit, and a circumferential direction of the side observation image L1. An annular mask portion M2 to be chamfered is generated. In the present embodiment, the mask part M2 functions as a first mask.
  • the output unit 444 combines the mask portion generated by the mask generation unit 442 with an image corresponding to the image data, and outputs it to the display device 5 (step S104). Specifically, as illustrated in FIG. 3C, the output unit 444 generates a shielding mask unit M1 generated by the mask generation unit 442 on an image P10 corresponding to image data including the side observation image L1 and the direct-view observation image F1. The mask portion M2 is combined, and a first display image formed (trimming process) corresponding to the shape of the rectangular display area D1 smaller than the image P10 of the display device 5 is output. Thereby, as shown in FIG.
  • the display device 5 can display the first display image P11 having the region K10 in which the side observation image L1 of the side field of view is not shielded by the mask portion M2. As a result, the observation visual field of the endoscope 2 can be maintained.
  • step S105: Yes when an instruction signal for instructing electronic zoom is input from the endoscope operation unit 23 or the operation unit 43 (step S105: Yes), the image processing apparatus 4 proceeds to step S106 described later.
  • step S105: No when the instruction signal for instructing the electronic zoom is not input from the endoscope operation unit 23 or the operation unit 43 (step S105: No), the image processing apparatus 4 proceeds to step S109 described later.
  • step S106 the electronic zoom unit 443 performs electronic zoom processing for enlarging the image data to a predetermined magnification by performing trimming processing.
  • the mask generation unit 442 generates a mask unit that chamfers the image by blocking the boundary between the side observation image and the direct view observation image according to the zoom magnification of the electronic zoom (step S107).
  • the output unit 444 combines the mask generated by the mask generating unit 442 with the image that has been electronically zoomed by the electronic zoom unit 443 and outputs the synthesized image to the display device 5 (step S108). Specifically, as illustrated in FIG. 4A, the output unit 444 combines the mask unit M3 generated by the mask generation unit 442 with an image P20 that has been electronically zoomed by the electronic zoom unit 443, and the display device 5 has. A second display image molded corresponding to the shape of the rectangular display area D1 smaller than the image P20 is generated and output.
  • the output unit 444 displays a region formed by the display region D1 and two points (point T1, point T2) where the direct-view observation image F1 generated by the mask generation unit 442 and the display region D1 intersect.
  • the masking part M3 (second masking part) that forms a shielding triangle is combined with each of the four corners of the display area D1.
  • the display device 5 displays the second display image P21 in which the unclear boundary region K20 between the side observation image L1 and the direct view observation image F1 is shielded by the mask portion M3. Can do.
  • the user observes it is possible to prevent the diagnosis from being determined in an unclear boundary region between the side observation image L1 and the direct view observation image F1.
  • step S109: Yes when an end signal instructing the end of observation is input from the endoscope operation unit 23 or the operation unit 43 (step S109: Yes), the image processing apparatus 4 ends the present process. On the other hand, when the end signal instructing the end of observation is not input from the endoscope operation unit 23 or the operation unit 43 (step S109: No), the image processing apparatus 4 proceeds to the above-described step S105. .
  • the mask unit M2 when the output unit 444 is for normal observation, the mask unit M2 is combined with the image P10 and molded according to the shape of the rectangular display area of the display device 5.
  • the mask portion M3 is combined with the image P20 magnified by the electronic zoom portion 443 and molded in accordance with the shape of the display area D1. Since the display image P21 is generated and output to the display device 5, it is possible to prevent the observation visual field from becoming narrow regardless of the observation state and to block an unclear area during electronic zooming.
  • the mask generation unit 442 blocks the four corners of the endoscopic image corresponding to the image data, thereby displaying the display image.
  • the shape is an octagon
  • an annular mask portion that shields all of the side field of view may be generated, combined, and output.
  • the output unit 444 combines the annular mask unit M10 generated by the mask generation unit 442 with the image P30 that has been electronically zoomed by the electronic zoom unit 443, and displays the display device. 5 is output. Thereby, as shown in FIG.
  • the display device 5 displays an image P31 in which an unclear boundary region K30 between the side observation image L1 and the direct view observation image F1 is shielded. Further, the side observation image L1 is entirely shielded by the mask portion M10. Thereby, when a user observes, it can prevent making a judgment of diagnosis in an unclear boundary region between the side observation image L1 and the direct-view observation image F1.
  • the image data is transmitted to the image processing apparatus via the transmission cable.
  • the image data need not be wired and may be wireless.
  • image data or the like may be transmitted to the image processing apparatus in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • wireless communication may be performed according to other wireless communication standards.
  • the image processing device and the light source device are separate from each other.
  • the present invention is not limited to this.
  • the image processing device and the light source device may be integrally formed.
  • a frame sequential endoscope has been described as an example, but a simultaneous endoscope can also be applied.
  • the endoscope is inserted into the subject.
  • the present invention can also be applied to, for example, a capsule endoscope or an imaging device that images the subject.
  • the present invention can include various embodiments not described herein, and various design changes can be made within the scope of the technical idea specified by the claims. It is.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供する。画像処理装置４は、通常観察の場合、第１マスク部を画像に合成して表示装置５が有する画像より小さい矩形状の表示領域の形状に対応させて成型した第１表示画像を表示装置５に出力する一方、拡大観察の場合、第２マスク部を電子ズーム部４４３によって拡大された画像に合成して表示領域の形状に対応させて成型した第２表示画像を表示装置５に出力する出力部４４４を備える。

Description

画像処理装置、内視鏡システム、画像処理方法およびプログラム
　本発明は、画像データに対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。
　近年、内視鏡において、被検体に挿入される挿入部の先端側に設けられた側方観察部によって挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、この側方観察部よりも挿入部の先端側に設けられた直視観察部によって挿入部の挿入方向の前方視野を撮像して生成された円形をなす直視観察像と、を取得する技術が知られている（特許文献１参照）。この技術では、直視観察像の周方向に側方観察像を合成した合成画像に、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部を重畳するとともに、合成画像の四隅に面取り用のマスク部をさらに重畳して矩形状に成形して表示モニタに表示する。
国際公開第２０１４／０８８０７６号
　しかしながら、上述した特許文献１では、観察状態に関わらず、マスク部の遮蔽領域が常に一定であるため、通常観察を行う場合、側方観察像の一部を遮蔽してしまい、観察視野が狭くなるという問題点があった。具体的には、上述した特許文献１では、図６Ａに示すように、マスク部Ｍ１、マスク部Ｍ２およびマスク部Ｍ３の各々の面取り領域が常に一定である。このため、通常観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ１を表示領域Ｄ１の表示モニタに表示させたとき、図６Ｂに示すように、マスク部Ｍ３が側方観察像Ｌ１の一部Ｋ１を遮蔽された画像Ｐ２となり、観察視野が狭くなるという問題点があった。
　さらに、上述した特許文献１では、電子ズームによって拡大観察を行う場合、直視観察像と側方観察像との境界線や遮蔽マスク部とマスク部との段差等の不明瞭な領域が電子ズームのズーム倍率に伴って表示モニタにおける表示領域の中心付近から外縁側に向けて移動することによって、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。具体的には、上述した特許文献１では、図７Ａおよび図７Ｂに示すように、電子ズームによって拡大観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ３を表示領域Ｄ１の表示モニタに表示させたとき、直視観察像Ｆ１と側方観察像Ｌ１との境界線Ｋ３やマスク部同士の段差Ｋ２等の不明瞭な領域が表示領域Ｄ１の中心付近から外縁側に向けて移動した画像Ｐ４となり、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。
　本発明は、上記に鑑みてなされたものであって、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、を備えたことを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明の画像処理装置と、前記内視鏡と、前記表示装置と、を備えたことを特徴とする。
　また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、画像処理装置に、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を実行させることを特徴とする。
　本発明によれば、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができるという効果を奏する。
図１は、本発明の一実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。 図２は、本発明の一実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３Ａは、本発明の一実施の形態１に係る内視鏡が生成した画像データに対応する画像の一例を模式的に示す図である。 図３Ｂは、本発明の一実施の形態１に係る画像処理装置のマスク生成部が生成するマスク部の形状を模式的に示す図である。 図３Ｃは、本発明の一実施の形態１に係る画像処理装置の出力部がマスク部を画像に合成した状態を模式的に示す図である。 図３Ｄは、本発明の一実施の形態１に係る表示装置が表示する画像の一例を示す図である。 図４Ａは、本発明の一実施の形態１に係る画像処理装置の出力部が内視鏡の電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。 図４Ｂは、本発明の一実施の形態１に係る表示装置が内視鏡の電子ズーム時に表示する画像の一例を示す図である。 図５Ａは、本発明の一実施の変形例に係る画像処理装置の出力部が内視鏡システムの電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。 図５Ｂは、本発明の一実施の形態の変形例に係る表示装置が内視鏡システムの電子ズーム時に表示する画像の一例を示す図である。 図６Ａは、従来技術に係る内視鏡がマスク部を重畳した画像の一例を示す図である。 図６Ｂは、従来技術に係る表示モニタがマスク部を重畳した画像の一例を示す図である。 図７Ａは、従来技術に係る内視鏡が電子ズーム時にマスク部を合成した画像の一例を示す図である。 図７Ｂは、従来技術に係る表示モニタが電子ズーム時にマスク部を合成した画像の一例を示す図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明に係る画像処理装置を含む内視鏡システムを一例に説明する。なお、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
　〔内視鏡システムの構成〕
　図１は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する内視鏡２（内視鏡スコープ）と、内視鏡２を介して被検体内に照明光を照射する光源装置３と、内視鏡２から入力された画像データに対して各種処理を行う画像処理装置４（プロセッサ）と、画像処理装置４から入力された画像データに対応する画像を表示する表示装置５と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の詳細な構成について説明する。
　内視鏡２は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する。内視鏡２は、光学系２０と、撮像素子２１と、識別情報記録部２２と、内視鏡操作部２３と、を有する。
　光学系２０は、被検体内に挿入される挿入部の先端側に設けられ、挿入部の周方向の側方視野の観察対象の被写体像（以下、「側方観察像」という）を撮像素子２１の受光面に結像する側方観察光学系２０１と、側方観察光学系２０１よりも挿入部の先端側に設けられ、挿入部の挿入方向の前方視野の観察対象の被写体像（以下、「直視観察像」という）を撮像素子２１の受光面に結像する直視観察光学系２０２と、を有する。側方観察像は、円環状をなす。また、直視観察像は、側方観察像の中心から内円までに形成された円形をなす。なお、本実施の形態１では側方観察光学系２０１が側方観察部として機能し、直視観察光学系２０２が直視観察部として機能する。
　撮像素子２１は、側方観察像および直視観察像の各々を受光面で受光して光電変換を行うことによって画像データを生成する。撮像素子２１は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像センサを用いて構成される。
　識別情報記録部２２は、内視鏡２を識別する識別情報を記録する。ここで、識別情報には、内視鏡２を識別するための内視鏡ＩＤ、内視鏡２の画角、内視鏡２の年式、内視鏡２の種別を示す種別情報、内視鏡２のスペック情報、内視鏡２の画像データの伝送方法、内視鏡２の画像データの伝送レート、内視鏡２に対応する光源装置３の観察光に関する情報、および内視鏡２が対応可能な画像処理装置４の種別情報が含まれる。識別情報記録部２２は、例えばＲＯＭ（Reaｄ　Only　Memory）やＦｌａｓｈメモリ等を用いて実現される。
　内視鏡操作部２３は、内視鏡２に関する各種操作の入力を受け付ける。例えば、内視鏡操作部２３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を画像処理装置４へ出力する。内視鏡操作部２３は、複数のスイッチを用いて構成される。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。
　光源装置３は、画像処理装置４の制御のもと、内視鏡２を介して、互いに異なる複数の照明光を順次切り替えて出射する。光源装置３は、白色ＬＥＤ（Light　Emitting　Diode）、赤色、緑色および青色の各々の光を透過するカラーフィルタを用いて構成される。なお、光源装置３は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成されてもよい。
　〔画像処理装置の構成〕
　次に、画像処理装置４の構成について説明する。
　画像処理装置４は、取得部４１と、識別情報取得部４２と、操作部４３と、画像処理部４４と、記録部４５と、制御部４６と、を備える。
　取得部４１は、内視鏡２から画像データを取得し、取得した画像データを画像処理部４４へ出力する。
　識別情報取得部４２は、画像処理装置４に接続される内視鏡２の識別情報を内視鏡２の識別情報記録部２２から取得し、取得した識別情報を制御部４６へ出力する。
　操作部４３は、内視鏡システム１に関する各種操作の入力を受け付ける。例えば、操作部４３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を制御部４６へ出力する。操作部４３は、複数のスイッチを用いて構成される。
　記録部４５は、ＲＯＭを用いて実現され、内視鏡２から入力された画像データおよび内視鏡システム１の動作に必要な各種パラメータ等を含むデータ等を記録する。また、記録部４５は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部４５１を有する。
　画像処理部４４は、ＦＰＧＡ等を用いて実現され、取得部４１から入力された画像データに対して、各種画像処理を行って表示装置５へ出力する。画像処理部４４は、信号処理部４４１と、マスク生成部４４２と、電子ズーム部４４３と、出力部４４４と、を有する。
　信号処理部４４１は、画像データに対して所定の信号処理を行う。ここで、所定の画像処理とは、同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等である。
　マスク生成部４４２は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像の四隅をマスクするマスク部を生成する。具体的には、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っていない通常観察の場合、側方観察像の外周から外側を遮蔽する第１マスク部を生成する。また、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っている拡大観察の場合、側方観察像と直視観察像との境界を遮蔽する第２マスク部を生成する。例えば、マスク生成部４４２は、直視観察像および表示装置６の表示領域が交差する２点と表示装置６の表示領域の各頂点とを結ぶ領域を遮蔽する第２マスク部を生成する。
　電子ズーム部４４３は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行する。
　出力部４４４は、制御部４６の制御のもと、信号処理部４４１が信号処理を施した体内画像に、マスク生成部４４２が生成したマスク部を合成して表示装置５が有する画像より小さい矩形状の表示領域の形状に対応させた成型した第１表示画像を生成し、この生成した第１表示画像を表示装置５へ出力する。また、出力部４４４は、内視鏡２が電子ズームによる拡大観察を行っている場合、制御部４６の制御のもと、電子ズーム部４４３が電子ズームによって拡大した画像に、マスク生成部４４２が電子ズームに応じて生成した遮蔽領域を有する第２マスク部を合成して表示装置５が有する表示領域の形状に対応させて成型した第２表示画像を生成し、この生成した第２表示画像を表示装置５へ出力する。なお、本実施の形態１では、出力部４４４が画像生成部として機能する。
　制御部４６は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、内視鏡システム１の各部を統括的に制御する。制御部４６は、内視鏡操作部２３から入力される指示信号または操作部４３から入力される指示信号に応じて、内視鏡システム１の各部を制御する。
　〔表示装置の構成〕
　次に、表示装置５の構成について説明する。
　表示装置５は、画像処理装置４によって画像処理が施された画像や内視鏡システム１に関する各種情報を表示する。表示装置５は、内視鏡２が撮像して生成した画像データに対応する画像より小さい矩形状の表示領域を有する。表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）等を有する表示モニタを用いて実現される。
　〔画像処理装置の処理〕
　次に、画像処理装置４が実行する処理について説明する。図２は、画像処理装置４が実行する処理の概要を示すフローチャートである。
　図２に示すように、まず、識別情報取得部４２は、画像処理装置４に接続された内視鏡２から識別情報を取得し、取得した識別情報を制御部４６へ出力する（ステップＳ１０１）。
　続いて、取得部４１は、内視鏡２の撮像素子２１から画像データを取得し、取得した画像データを画像処理部４４へ出力する（ステップＳ１０２）。具体的には、図３Ａに示すように、取得部４１は、内視鏡２の撮像素子２１から側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像を取得する。
　その後、マスク生成部４４２は、制御部４６の制御のもと、内視鏡２の識別情報に応じたマスク部を生成する（ステップＳ１０３）。具体的には、図３Ｂに示すように、マスク生成部４４２は、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部Ｍ１と、側方観察像Ｌ１の周方向を面取りする円環状のマスク部Ｍ２と、を生成する。なお、本実施の形態では、マスク部Ｍ２が第１マスクとして機能する。
　続いて、出力部４４４は、マスク生成部４４２が生成したマスク部を画像データに対応する画像に合成して表示装置５へ出力する（ステップＳ１０４）。具体的には、図３Ｃに示すように、出力部４４４は、側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像Ｐ１０に、マスク生成部４４２が生成した遮蔽マスク部Ｍ１およびマスク部Ｍ２を合成し、表示装置５が有する画像Ｐ１０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型（トリミング処理）した第１表示画像を出力する。これにより、図３Ｄに示すように、表示装置５は、側方視野の側方観察像Ｌ１がマスク部Ｍ２によって遮蔽されていない領域Ｋ１０を有する第１表示画像Ｐ１１を表示することができる。この結果、内視鏡２の観察視野を維持することができる。
　その後、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、画像処理装置４は、後述するステップＳ１０６へ移行する。これに対して、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、画像処理装置４は、後述するステップＳ１０９へ移行する。
　ステップＳ１０６において、電子ズーム部４４３は、画像データに対して、トリミング処理を行うことによって所定の倍率に拡大する電子ズーム処理を行う。
　続いて、マスク生成部４４２は、電子ズームのズーム倍率に応じた、側方観察像と前記直視観察像との境界を遮蔽して画像を面取りするマスク部を生成する（ステップＳ１０７）。
　その後、出力部４４４は、マスク生成部４４２が生成したマスク部を電子ズーム部４４３によって電子ズーム処理された画像に合成して表示装置５に出力する（ステップＳ１０８）。具体的には、図４Ａに示すように、出力部４４４は、マスク生成部４４２が生成したマスク部Ｍ３を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ２０に合成し、表示装置５が有する画像Ｐ２０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型した第２表示画像を生成して出力する。より具体的には、出力部４４４は、マスク生成部４４２によって生成された直視観察像Ｆ１および表示領域Ｄ１が交差する２点（点Ｔ１，点Ｔ２）と表示領域Ｄ１とによって形成された領域を遮蔽する三角形をなすマスク部Ｍ３（第２マスク部）を表示領域Ｄ１の四隅それぞれに合成する。これにより、図４Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ２０がマスク部Ｍ３によって遮蔽された第２表示画像Ｐ２１を表示することができる。この結果、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。
　続いて、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力された場合（ステップＳ１０９：Ｙｅｓ）、画像処理装置４は、本処理を終了する。これに対して、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力されていない場合（ステップＳ１０９：Ｎｏ）、画像処理装置４は、上述したステップＳ１０５へ移行する。
　以上説明した本発明の一実施の形態によれば、出力部４４４が通常観察の場合、マスク部Ｍ２を画像Ｐ１０に合成して表示装置５が有する矩形状の表示領域の形状に対応させて成型した第１表示画像Ｐ１１を生成して表示する一方、拡大観察の場合、マスク部Ｍ３を電子ズーム部４４３によって拡大された画像Ｐ２０に合成して表示領域Ｄ１の形状に対応させて成型した第２表示画像Ｐ２１を生成して表示装置５に出力するので、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる。
（変形例）
　次に、本発明の一実施の形態では、内視鏡システム１が電子ズームを行っている場合、マスク生成部４４２が画像データに対応する内視鏡画像の四隅を遮蔽することによって表示画像の形状が八角形をなしていたが、内視鏡システム１が電子ズームを行っている場合、側方視野の全てを遮蔽する円環状のマスク部を生成して合成して出力してもよい。具体的には、図５Ａに示すように、出力部４４４は、マスク生成部４４２が生成した円環状のマスク部Ｍ１０を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ３０に合成して表示装置５に出力する。これにより、図５Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ３０が遮蔽された画像Ｐ３１を表示する。さらに、側方観察像Ｌ１がマスク部Ｍ１０によって全て遮蔽される。これにより、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。
（その他の実施の形態）
　また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　また、本発明の実施の形態では、画像処理装置と光源装置とが別体であったが、これに限定されることなく、例えば画像処理装置と光源装置を一体的に形成してもよい。
　また、本発明の実施の形態では、面順次式の内視鏡を例に説明したが、同時式の内視鏡であっても適用することができる。
　また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
　１　内視鏡システム
　２　内視鏡
　３　光源装置
　４　画像処理装置
　５　表示装置
　２０　光学系
　２１　撮像素子
　２２　識別情報記録部
　２３　内視鏡操作部
　４１　取得部
　４２　識別情報取得部
　４３　操作部
　４４　画像処理部
　４５　記録部
　４６　制御部
　２０１　側方観察光学系
　２０２　直視観察光学系
　４４１　信号処理部
　４４２　マスク生成部
　４４３　電子ズーム部
　４４４　出力部
　４５１　プログラム記録部
　Ｆ１　　直視観察像
　Ｋ２０　境界領域
　Ｋ３０　境界領域
　Ｌ１　側方観察像
　Ｍ１　遮蔽マスク部
　Ｍ１０　マスク部
　Ｍ２　マスク部
　Ｍ３　マスク部

Claims (9)

  1. 　被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
    　前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、
    　前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、
    　前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、
    　を備えたことを特徴とする画像処理装置。
  2. 　前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項１または２に記載の画像処理装置。
  5. 　前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする請求項１～４のいずれか一つに記載の画像処理装置。
  6. 　前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。
  7. 　請求項１～６のいずれか一つに記載の画像処理装置と、
    　前記内視鏡と、
    　前記表示装置と、
    　を備えたことを特徴とする内視鏡システム。
  8. 　画像処理装置が実行する画像処理方法であって、
    　被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
    　前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、
    　前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
    　を含むことを特徴とする画像処理方法。
  9. 　画像処理装置に、
    　被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
    　前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、
    　前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2017/014271 2016-06-07 2017-04-05 画像処理装置、内視鏡システム、画像処理方法およびプログラム Ceased WO2017212768A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017560644A JP6445721B2 (ja) 2016-06-07 2017-04-05 画像処理装置、内視鏡システム、画像処理方法およびプログラム
CN201780024948.2A CN109068965B (zh) 2016-06-07 2017-04-05 图像处理装置、内窥镜系统、图像处理方法以及存储介质
DE112017002855.8T DE112017002855T5 (de) 2016-06-07 2017-04-05 Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Programm
US16/167,648 US10702133B2 (en) 2016-06-07 2018-10-23 Image processing device, endoscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-113455 2016-06-07
JP2016113455 2016-06-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/167,648 Continuation US10702133B2 (en) 2016-06-07 2018-10-23 Image processing device, endoscope system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2017212768A1 true WO2017212768A1 (ja) 2017-12-14

Family

ID=60577658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014271 Ceased WO2017212768A1 (ja) 2016-06-07 2017-04-05 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10702133B2 (ja)
JP (1) JP6445721B2 (ja)
CN (1) CN109068965B (ja)
DE (1) DE112017002855T5 (ja)
WO (1) WO2017212768A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021137130A (ja) * 2020-03-02 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01185239A (ja) * 1988-01-18 1989-07-24 Olympus Optical Co Ltd 電子式内視鏡装置
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
WO2014088076A1 (ja) * 2012-12-05 2014-06-12 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
WO2016084522A1 (ja) * 2014-11-25 2016-06-02 オリンパス株式会社 内視鏡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2497406B9 (en) * 2009-11-06 2018-08-08 Olympus Corporation Endoscope system
BR112014012599A8 (pt) * 2011-11-28 2017-06-20 Koninklijke Philips Nv aparelho de processamento de imagens para aplicação de uma máscara, estação de trabalho, aparelho de formação de imagens, método de aplicação de uma máscara a um objeto, e produto de programa de computador
EP3064983A4 (en) * 2013-10-30 2017-06-21 Olympus Corporation Image capture device
JP6540557B2 (ja) * 2016-03-07 2019-07-10 オムロン株式会社 画像計測システムおよびコントローラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01185239A (ja) * 1988-01-18 1989-07-24 Olympus Optical Co Ltd 電子式内視鏡装置
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
WO2014088076A1 (ja) * 2012-12-05 2014-06-12 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
WO2016084522A1 (ja) * 2014-11-25 2016-06-02 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP6445721B2 (ja) 2018-12-26
US10702133B2 (en) 2020-07-07
DE112017002855T5 (de) 2019-02-28
US20190053694A1 (en) 2019-02-21
CN109068965B (zh) 2021-01-26
CN109068965A (zh) 2018-12-21
JPWO2017212768A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
CN112770662B (zh) 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
WO2018131141A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
JPWO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN115361898B (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、非暂时性计算机可读介质
JP2017164021A (ja) 画像処理装置、内視鏡システム、画像処理方法、画像処理プログラム、及び記録媒体
JP2019037688A (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JPWO2017104192A1 (ja) 医用観察システム
CN112752535A (zh) 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
WO2020067100A1 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
US12430820B2 (en) Image processing apparatus
JP2016107003A (ja) 医用画像処理装置及びその作動方法
JP6445721B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5953454B1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2006115963A (ja) 電子内視鏡装置
JP6503522B1 (ja) 画像処理装置、画像処理システムおよび画像処理方法
WO2017149742A1 (ja) 内視鏡用画像処理装置
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2011000208A (ja) 撮像装置
WO2018154661A1 (ja) 内視鏡のための画像処理装置及び内視鏡システム
WO2016189622A1 (ja) 画像処理装置、医用観察システムおよび画像処理プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017560644

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17809951

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17809951

Country of ref document: EP

Kind code of ref document: A1