WO2017203866A1 - 画像信号処理装置、画像信号処理方法および画像信号処理プログラム - Google Patents
画像信号処理装置、画像信号処理方法および画像信号処理プログラム Download PDFInfo
- Publication number
- WO2017203866A1 WO2017203866A1 PCT/JP2017/014867 JP2017014867W WO2017203866A1 WO 2017203866 A1 WO2017203866 A1 WO 2017203866A1 JP 2017014867 W JP2017014867 W JP 2017014867W WO 2017203866 A1 WO2017203866 A1 WO 2017203866A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- signal
- component
- processing
- compression processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
- H04N5/58—Control of contrast or brightness in dependence upon ambient light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to an image signal processing apparatus, an image signal processing method, and an image signal processing program for performing signal processing on an input image signal.
- an endoscope system is used to observe an organ of a subject such as a patient.
- An endoscope system is provided with, for example, an imaging device at a distal end, and is connected to an endoscope having an insertion portion to be inserted into a body cavity of a subject, and a proximal end side of the insertion portion via a cable.
- a processing device that performs in-vivo image processing according to the generated imaging signal and displays the in-vivo image on a display unit or the like.
- Patent Document 1 performs an enhancement process on a predetermined color component, an in-vivo image having a color different from that of the in-vivo image generated without performing the enhancement process is generated.
- diagnostics different from diagnostics cultivated so far.
- the processing apparatus may perform gradation compression processing in accordance with the display mode of the display unit.
- the processing apparatus may perform gradation compression processing in accordance with the display mode of the display unit.
- the present invention has been made in view of the above, and an image signal that can generate an image having good visibility while suppressing a change in color tone even when gradation compression is performed. It is an object to provide a processing device, an image signal processing method, and an image signal processing program.
- an image signal processing device includes a mode setting unit that sets first and second modes for performing different signal processing on a video signal, For the video signal, a signal processing unit that performs gradation compression processing based on a preset parameter, a dividing unit that divides the video signal into a base component and a detail component, and the base component, The compression processing unit that performs gradation compression processing using the same parameters as the parameters used for the gradation compression processing performed by the signal processing unit, and the gradation compression processing performed by the detail component and the compression processing unit A synthesis unit that generates a synthesized image signal based on the base component; and when the first mode is set, the signal processing unit performs signal processing of the video signal. It is the line, if it is set to the second mode, characterized by comprising a control unit for executing the signal processing of the video signal by the division unit, the compression processing unit and the synthesis unit.
- the detail component is obtained by dividing the video signal by the base component.
- the video signal includes a red component, a green component, and a blue component
- the dividing unit divides the base component and the detail component for each color component.
- the compression processing unit performs gradation compression processing for each color component based on a set parameter.
- the image signal processing apparatus further includes an enhancement processing unit that performs an enhancement process on the detail component among the components divided by the division unit in the above invention, and the synthesis unit includes an enhancement process.
- the synthesized image signal is generated by synthesizing the detail component that has been subjected to and the base component that has been subjected to gradation compression processing by the compression processing unit.
- the image signal processing apparatus is characterized in that, in the above-mentioned invention, the compression processing unit and the signal processing unit are configured using a common CPU.
- the image signal processing method includes a signal processing step of performing gradation compression processing on a video signal based on a preset parameter when the first mode is set; A division step of dividing the video signal into a base component and a detail component when the second mode different from the first mode is set; and a step performed on the base component in the signal processing step.
- a signal processing step of performing gradation compression processing on a video signal based on a preset parameter when the first mode is set
- a division step of dividing the video signal into a base component and a detail component when the second mode different from the first mode is set
- a step performed on the base component in the signal processing step Based on the compression processing step for performing gradation compression processing using the same parameters as those used for the tone compression processing, the detail component, and the base component on which the gradation compression processing has been performed in the compression processing step
- a synthesis step for generating a synthesized image signal Based on the compression processing step for performing gradation compression processing using the same parameters as those used for the tone
- An image signal processing program includes a signal processing procedure for performing gradation compression processing on a video signal based on a preset parameter when the first mode is set; A division procedure for dividing the video signal into a base component and a detail component when the second mode different from the first mode is set, and a step performed on the base component in the signal processing procedure. Based on the compression processing procedure for performing gradation compression processing using the same parameters as those used for the tone compression processing, the detail component, and the base component on which gradation compression processing has been performed in the compression processing procedure And a synthesis procedure for generating a synthesized image signal.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 4 is a flowchart showing an image signal processing method performed by the processing apparatus according to the first embodiment of the present invention.
- FIG. 5 is a diagram for explaining an image signal processing method by the endoscope system according to the first embodiment of the present invention, and shows the relative intensity of the input image and the base component image at each pixel position on a certain pixel line.
- FIG. 6 is a diagram for explaining the image signal processing method by the endoscope system according to the first embodiment of the present invention, and is a diagram showing the relative intensity of the detail component image at each pixel position on a certain pixel line.
- FIG. 7 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment of the present invention.
- FIG. 8 is a flowchart showing an image signal processing method performed by the processing apparatus according to the second embodiment of the present invention.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
- 2 and 3 are block diagrams illustrating a schematic configuration of the endoscope system according to the first embodiment.
- solid arrows indicate transmission of electrical signals related to the image
- broken arrows indicate transmission of electrical signals related to control.
- FIG. 2 shows signal transmission in the emphasized compression mode to be described later.
- FIG. 3 shows signal transmission in the normal mode to be described later.
- An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting a tip portion into the subject, and illumination light emitted from the tip of the endoscope 2. And a processing device 3 that performs predetermined signal processing on the image signal captured by the endoscope 2 and controls the overall operation of the endoscope system 1. And a display device 4 for displaying the in-vivo image generated by the signal processing.
- the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that includes various cables that extend in a direction different from the direction in which 21 extends and are connected to the processing device 3 (including the light source unit 3a).
- the insertion unit 21 receives a light and performs photoelectric conversion to generate a signal to generate a signal.
- the insertion unit 21 includes an image pickup element 244 in which pixels are arranged in a two-dimensional shape, and a bendable portion formed by a plurality of bending pieces. And a long flexible tube portion 26 connected to the proximal end side of the bending portion 25 and having flexibility.
- the insertion part 21 is inserted into the body cavity of the subject, and the imaging element 244 images a subject such as a living tissue at a position where external light does not reach.
- the tip portion 24 is configured by using a glass fiber or the like, and forms a light guide path for light emitted from the light source portion 3a, an illumination lens 242 provided at the tip of the light guide 241, and condensing optics. And an image sensor 244 that is provided at an image forming position of the optical system 243, receives light collected by the optical system 243, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing.
- the optical system 243 is configured by using one or a plurality of lenses, and has an optical zoom function for changing the angle of view and a focus function for changing the focus.
- the image sensor 244 photoelectrically converts light from the optical system 243 to generate an electrical signal (imaging signal).
- an electrical signal imaging signal
- a plurality of pixels each having a photodiode that accumulates charges according to the amount of light, a capacitor that converts charges transferred from the photodiodes to voltage levels, and the like are arranged in a matrix
- a reading unit 244b for outputting as an imaging signal.
- the light receiving unit 244a is provided with a color filter, and each pixel receives light in one of the wavelength bands of the color components of red (R), green (G), and blue (B).
- the image sensor 244 controls various operations of the distal end portion 24 in accordance with the drive signal received from the processing device 3.
- the image sensor 244 is realized using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 222 that inserts a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the subject, and processing.
- a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the subject
- processing In addition to the device 3, it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
- the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
- the universal cord 23 includes at least a light guide 241 and a collective cable 245 in which one or a plurality of signal lines are collected.
- the collective cable 245 is a signal line for transmitting an image signal, a signal line for transmitting a drive signal for driving the image sensor 244, information including unique information about the endoscope 2 (image sensor 244), and the like.
- the processing device 3 includes an imaging signal acquisition unit 31, a division unit 32, a compression processing unit 33, a synthesis unit 34, a signal processing unit 35, a display image generation unit 36, an input unit 37, and a storage unit 38. And a control unit 39.
- the image signal processing apparatus according to the present invention is configured using at least a dividing unit 32, a compression processing unit 33, and a combining unit 34.
- the imaging signal acquisition unit 31 receives the imaging signal output from the imaging element 244 from the endoscope 2.
- the imaging signal acquisition unit 31 performs noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) for the acquired imaging signal. Apply signal processing.
- the imaging signal acquisition unit 31 generates an input image signal S C including an input image to which RGB color components are given by the signal processing described above.
- the imaging signal acquisition unit 31 inputs the generated input image signal S C to the dividing unit 32 and inputs to the storage unit 38 for storage.
- the imaging signal acquisition unit 31 has a specific function such as a general-purpose processor such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array) that is a programmable logic device capable of rewriting processing contents. It is configured using a dedicated processor such as various arithmetic circuits for executing the above.
- a general-purpose processor such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array) that is a programmable logic device capable of rewriting processing contents. It is configured using a dedicated processor such as various arithmetic circuits for executing the above.
- Dividing unit 32 to obtain an input image signal S C from the imaging signal acquisition unit 31, it divides the image components in the weak component and component having a strong visual correlation.
- An image component here is a component for producing
- the division process can be performed using, for example, the technique (Retinex theory) described in Lightness and retinex theory, EHLand, JJ McCann, Journal of the Optical Society of America, 61 (1), 1-11 (1971). .
- the visually weak component is a component corresponding to the illumination light component of the object.
- the visually weakly correlated component is generally called a base component.
- the visually strongly correlated component is a component corresponding to the reflectance component of the object.
- a visually strong component is generally called a detail component.
- the detail component is a component obtained by dividing the signal constituting the image by the base component.
- the detail component includes a contour component (edge) component of the object and a contrast component such as a texture component.
- the dividing unit 32 inputs a signal including the base component as a component signal (hereinafter referred to as “base component signal S B ”) to the compression processing unit 33 and also includes a signal including the detail component as a component signal (hereinafter referred to as “detail component signal S D”). Is input to the combining unit 34.
- the division unit 32 performs a division process on each color component signal. In the subsequent signal processing, the same processing is performed for each color component.
- the component division processing by the dividing unit 32 is performed using, for example, the edge-aware filtering technique described in Temporally Coherent Local Tone Mapping of HDR Video, TOAydin, et al., ACM Transactions on Graphics, Vol 33, November 2014. be able to. Further, the dividing unit 32 may divide the spatial frequency into a plurality of frequency bands.
- the dividing unit 32 is configured using a general-purpose processor such as a CPU, or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- Compression processing unit 33 among the divided component signal by dividing unit 32 performs compression processing on the base component signal S B.
- Compression processing unit 33 specifically, the base component signal S B, subjected to known grayscale compression processing of the non-linear processing.
- the compression processing unit 33 performs gradation compression processing using the same parameters as the gradation compression processing performed by the signal processing unit 35 described later.
- the “same” parameter includes not only those whose numerical values match, but also numerical values of several percent before and after the matching numerical values.
- the compression processing unit 33 inputs the base component signal S B ′ generated by performing the gradation compression processing to the synthesis unit 34.
- the compression processing unit 33 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- the synthesizer 34 synthesizes the detail component signal S D divided by the divider 32 and the base component signal S B ′ subjected to the gradation compression processing by the compression processor 33.
- the synthesizer 34 synthesizes the base component signal S B ′ and the detail component signal S D to generate a synthesized image signal S S.
- the synthesizer 34 inputs the generated synthesized image signal S S to the display image generator 36.
- the synthesizing unit 34 is configured by using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- the signal processing unit 35 acquires the input image signal S C from the imaging signal acquisition unit 31, and performs known image processing such as gradation compression processing on each color component signal. .
- the signal processing unit 35 uses the function stored in the storage unit 38 to perform tone compression processing on the signal of each color component by nonlinear processing.
- the signal processing unit 35 may perform gradation compression processing by linear processing, or a plurality of functions may be set in advance and selectable via the input unit 37.
- the function used at this time takes the luminance value of the input image signal S C as an input value, and outputs a compressed luminance value corresponding to this luminance value.
- the input image signal S C ′ subjected to tone correction while adjusting the white balance is generated.
- the signal processing unit 35 inputs the generated input image signal S C ′ to the display image generation unit 36.
- the signal processing unit 35 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- the display image generation unit 36 performs a process on the composite image signal S S or the input image signal S C ′ so as to be a signal in a form that can be displayed on the display device 4, and generates a display image signal ST . Generate. For example, the composite image signal of each color component of RGB is assigned to each channel of RGB. The display image generation unit 36 outputs the generated image signal ST to the display device 4.
- the input unit 37 is realized by using a keyboard, a mouse, a switch, and a touch panel, and receives input of various signals such as an operation instruction signal for instructing an operation of the endoscope system 1.
- the input unit 37 may include a portable terminal such as a switch provided in the operation unit 22 or an external tablet computer.
- the storage unit 38 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1. Further, the storage unit 38 stores identification information of the processing device 3.
- the identification information includes unique information (ID) of the processing device 3, model year, specification information, and the like.
- the storage unit 38 includes a signal processing information storage unit 381 that stores signal processing information such as a function used when the compression processing unit 33 performs gradation compression processing.
- the storage unit 38 stores various programs including an image signal processing program for executing the image signal processing method of the processing device 3.
- Various programs can be recorded on a computer-readable recording medium such as a hard disk, a flash memory, a CD-ROM, a DVD-ROM, or a flexible disk and widely distributed.
- the various programs described above can also be obtained by downloading via a communication network.
- the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and may be wired or wireless.
- the storage unit 38 having the above configuration is realized by using a ROM (Read Only Memory) in which various programs are installed in advance, a RAM (Random Access Memory) storing a calculation parameter and data of each process, a hard disk, and the like. Is done.
- ROM Read Only Memory
- RAM Random Access Memory
- the control unit 39 performs drive control of each component including the image sensor 244 and the light source unit 3a, input / output control of information with respect to each component, and the like.
- the control unit 39 refers to control information data (for example, readout timing) for imaging control stored in the storage unit 38, and uses the imaging element as a drive signal via a predetermined signal line included in the collective cable 245. To 244.
- the control unit 39 reads out a function stored in the signal processing information storage unit 381 and inputs the function to the compression processing unit 33 to execute gradation compression processing.
- the control unit 39 is configured using a general-purpose processor such as a CPU, or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- the control unit 39 includes a mode setting unit 391 that sets a mode.
- Mode setting unit 391 a normal mode for generating an image by the normal signal processing based on the captured signal, is subjected to only compression process in the divided base component signal S B by the division unit 32, an image that emphasizes the detail component
- the mode is set to one of the emphasized compression modes to be generated.
- the mode setting unit 391 sets the mode based on the instruction signal received via the input unit 37.
- the control unit 39 causes each block to execute signal processing according to the mode set by the mode setting unit 391.
- the mode setting unit 391 is described as being provided in the control unit 39, it may be provided separately from the control unit 39.
- the light source unit 3 a includes an illumination unit 301 and an illumination control unit 302. Under the control of the illumination control unit 302, the illumination unit 301 sequentially switches and emits illumination light with different exposure amounts to the subject (subject).
- the illumination unit 301 includes a light source 301a and a light source driver 301b.
- the light source 301a is configured using an LED light source that emits white light, one or a plurality of lenses, and the like, and emits light (illumination light) by driving the LED light source. Illumination light generated by the light source 301 a is emitted from the tip of the tip 24 toward the subject via the light guide 241.
- the light source 301a may be configured by using a red LED light source, a green LED light source, and a blue LED light source to emit illumination light.
- the light source 301a may be a laser light source or a lamp such as a xenon lamp or a halogen lamp.
- the light source driver 301b causes the light source 301a to emit illumination light by supplying a current to the light source 301a under the control of the illumination control unit 302.
- the illumination control unit 302 controls the amount of power supplied to the light source 301a and the drive timing of the light source 301a based on the control signal from the control unit 39.
- the display device 4 displays the display image corresponding to the image signal S T of the processing unit 3 via the video cable (display image generation unit 36) is generated.
- the display device 4 is configured using a monitor such as liquid crystal or organic EL (Electro Luminescence).
- the dividing unit 32 uses the imaging signal input to the processing device 3 to determine the components included in the imaging signal. divided into two component signals, the compression processing section 33 performs the gradation compression processing for the base component signal S B of the divided component signal, the combining unit 34, and the component signals after compression processing, the detail combines the component signals S D, the display image generating unit 36 generates an image signal S T which has been subjected to signal processing for display based on the combined signal, the display device 4, based on the image signal S T Display the display image.
- FIG. 4 is a flowchart showing an image signal processing method performed by the processing apparatus according to the first embodiment of the present invention. Hereinafter, description will be made assuming that each unit operates under the control of the control unit 39.
- step S101: Yes When the imaging signal acquisition unit 31 acquires an imaging signal from the endoscope 2 (step S101: Yes), the control unit 39 proceeds to step S102. On the other hand, when the imaging signal acquisition unit 31 has not received the input of the imaging signal from the endoscope 2 (step S101: No), the control unit 39 repeats the input confirmation of the imaging signal.
- step S102 the control unit 39 determines whether or not the set mode is the enhanced compression mode.
- the control unit 39 determines that the set mode is not the enhanced compression mode, that is, the normal mode (step S102: No)
- the control unit 39 proceeds to step S107.
- the control unit 39 determines that the set mode is the enhanced compression mode (step S102: Yes)
- the input image signal S C generated by the imaging signal acquisition unit 31 is input to the division unit 32. Then, the process proceeds to step S103.
- step S103 the dividing unit 32 divides the input image signal S C into the detail component signal S D and the base component signal S B (dividing step).
- Dividing section 32 inputs the base component signal S B produced by the above-mentioned division processing in the compression processing section 33, inputs the detail component signal S D to the combining unit 34.
- FIG. 5 is a diagram for explaining an image signal processing method by the endoscope system according to the first embodiment of the present invention, and shows the relative intensity of the input image and the base component image at each pixel position on a certain pixel line.
- FIG. FIG. 6 is a diagram for explaining the image signal processing method by the endoscope system according to the first embodiment of the present invention, and is a diagram showing the relative intensity of the detail component image at each pixel position on a certain pixel line.
- the input image is an image corresponding to the input image signal S C
- the base component image is an image corresponding to the base component signal S B.
- FIG. 5 and 6 are the same pixel line, and indicate the relative intensities at the positions of the 200th to 1000th pixels in the pixel line.
- FIG. 5 shows an example in which the maximum luminance value of the input image is normalized to 1.
- FIG. 6 shows an example in which the maximum luminance value of the detail component image is normalized to 1.
- the low frequency component is extracted as the base component from the luminance change of the input image.
- the detail component is a component that excludes the base component from the luminance change of the input image, and is a component that includes a large amount of the reflectance component (see FIG. 6). This corresponds to a visually strong component.
- the compression processing unit 33 among the divided component signal by dividing unit 32 performs gradation compression processing on the base component signal S B (step S104: compressing step).
- the gradation compression process at this time uses the same parameters as those used for the gradation compression process performed by the signal processing unit 35 in the normal mode.
- the compression processing unit 33 inputs the base component signal S B ′ after the gradation compression processing to the synthesis unit 34.
- the synthesizer 34 receives the base component signal S B ′ and the detail.
- the component signal S D is synthesized to generate a synthesized image signal S S (step S105: synthesis step).
- the synthesizer 34 inputs the generated synthesized image signal S S to the display image generator 36.
- the display image generating unit 36 When the synthesized image signal S S is input from the synthesizing unit 34, the display image generating unit 36 performs processing such that the synthesized image signal S S becomes a signal in a form that can be displayed on the display device 4, generating an image signal S T for display (step S106). The display image generation unit 36 outputs the generated image signal ST to the display device 4. Display device 4 displays an image corresponding to the image signal S T inputted.
- step S107 following step S102 the control unit 39 generates an image signal S T for display based on the imaging signal.
- the signal processing unit 35 performs image processing of the gradation compression processing for the input image signal S C, to generate an input image signal S C '(signal processing step).
- the display image generation unit 36 performs a process on the input image signal S C ′ generated by the signal processing unit 35 so as to be a signal that can be displayed on the display device 4, thereby displaying the image signal S for display.
- Generate T The display image generation unit 36 outputs the generated image signal ST to the display device 4.
- Display device 4 displays an image corresponding to the image signal S T inputted.
- the control unit 39 determines whether a new image signal is input (step S108). For example, the control unit 39 determines whether the imaging signal acquisition unit 31 has received an input of a new imaging signal. Here, when the control unit 39 determines that a new imaging signal is not input (step S108: No), the image signal processing ends.
- control unit 39 determines that a new imaging signal is input (step S108: Yes)
- the control unit 39 returns to step S102 and performs image signal generation processing for the new imaging signal.
- the dividing unit 32 acquires the input image signal S C from the imaging signal acquisition unit 31, and the base component and the signal S B, the base component signal S component signals other than B, in particular is divided into a detail component signal S D containing contrast components, the compression processing section 33, the tone of the base component signal S B Compression processing was applied.
- the parameters of the gradation compression processing performed by the compression processing unit 33 are the same as the parameters used for the gradation compression processing performed by the signal processing unit 35 in the normal mode.
- the compression processing unit 33 Since the compression processing unit 33 performs gradation compression processing using the same parameters as the gradation compression processing performed by the signal processing unit 35, gradation compression can be performed while maintaining the color of the normal image. Even when compression is applied, changes in color can be suppressed. Further, the compression processing unit 33 performs gradation compression processing only on the base component, and generates an image by synthesizing the detail components including the contrast component as they are, so that the contrast component is compressed by the gradation compression processing. And an image having good visibility can be generated.
- FIG. 7 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment.
- symbol is attached
- a solid arrow indicates transmission of an electric signal related to an image
- a broken arrow indicates transmission of an electric signal related to control.
- FIG. 7 shows the transmission of electrical signals in the enhanced compression mode.
- An endoscope system 1A according to the second embodiment includes a processing device 3A instead of the processing device 3 with respect to the configuration of the endoscope system 1 according to the first embodiment described above.
- the processing device 3A includes an enhancement processing unit 40 in addition to the configuration of the processing device 3 according to the first embodiment described above.
- the dividing unit 32 inputs the divided detail component signal SD to the enhancement processing unit 40.
- the enhancement processing unit 40 performs enhancement processing on the detail component signal SD among the component signals divided by the dividing unit 32.
- the enhancement processing unit 40 refers to the storage unit 38, obtains a preset function, and performs gain-up processing for increasing the signal value of each color component at each pixel position based on this function. Specifically, among the color component signals included in the detail component signal SD , the enhancement processing unit 40 sets the red component signal value to R Detail , the green component signal value to G Detail , and the blue component signal value. When B Detail is set, signal values of the respective color components are calculated as R Detail ⁇ , G Detail ⁇ , and B Detail ⁇ .
- ⁇ , ⁇ , and ⁇ are parameters set independently from each other, and are determined based on a preset function.
- the brightness function f (L) is set for each of the parameters ⁇ , ⁇ , and ⁇ , and the parameters ⁇ , ⁇ , and ⁇ are calculated according to the input brightness value L.
- This function f (L) may be a linear function or an exponential function.
- the enhancement processing unit 40 inputs the detail component signal S D ′ after the enhancement processing to the synthesis unit 34.
- the enhancement processing unit 40 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
- parameters ⁇ , ⁇ and ⁇ may be the same value, or may be set to arbitrary values.
- the parameters ⁇ , ⁇ , and ⁇ are set through the input unit 37, for example.
- the synthesizing unit 34 includes the detail component signal S D ′ subjected to the enhancement processing by the enhancement processing unit 40 and the base component signal S B ′ subjected to the gradation compression processing performed by the compression processing unit 33. And synthesize.
- the synthesizer 34 inputs the generated synthesized image signal S S to the display image generator 36.
- FIG. 8 is a flowchart showing an image signal processing method performed by the processing apparatus according to the second embodiment of the present invention. Hereinafter, description will be made assuming that each unit operates under the control of the control unit 39.
- step S201: Yes When the imaging signal acquisition unit 31 acquires the imaging signal from the endoscope 2 (step S201: Yes), the control unit 39 proceeds to step S202. On the other hand, the control part 39 repeats the input confirmation of an imaging signal, when the imaging signal acquisition part 31 has not received the input of the imaging signal from the endoscope 2 (step S201: No).
- step S202 the control unit 39 determines whether or not the set mode is the enhanced compression mode.
- the control unit 39 determines that the set mode is not the enhanced compression mode, that is, the normal mode (step S202: No)
- the control unit 39 proceeds to step S208.
- the control unit 39 determines that the set mode is the enhanced compression mode (step S202: Yes)
- the input image signal S C generated by the imaging signal acquisition unit 31 is input to the division unit 32. Then, the process proceeds to step S203.
- step S203 the dividing unit 32, the input image signal S C is input, divide the input image signal S C to the detail component signal and the base component signal (dividing step).
- Dividing section 32 inputs the detail component signal S D generated by the above-mentioned division processing to the enhancement processing unit 40, and inputs the base component signal S B to the compression processing unit 33.
- the compression processing section 33 performs compression processing on the base component signal S B (step S204: compressing step).
- the compression processing unit 33 inputs the base component signal S B ′ after the compression processing to the synthesis unit 34.
- step S205 After the gradation compression processing by the compression processing unit 33, the enhancement processing unit 40 performs enhancement processing on the input detail component signal SD (step S205).
- the enhancement processing unit 40 inputs the detail component signal S D ′ after the enhancement processing to the synthesis unit 34.
- step S204 and step S205 step S205 may be executed first or at the same time.
- the synthesis unit 34 receives the base component signal. S B ′ and detail component signal S D ′ are combined to generate a combined image signal S S (step S 206: combining step).
- the synthesizer 34 inputs the generated synthesized image signal S S to the display image generator 36.
- the display image generating unit 36 When the synthesized image signal S S is input from the synthesizing unit 34, the display image generating unit 36 performs signal processing so that the synthesized image signal S S becomes a signal that can be displayed on the display device 4. to generate an image signal S T for display (step S207).
- the display image generation unit 36 outputs the generated image signal ST to the display device 4. Display device 4 displays an image corresponding to the image signal S T inputted.
- step S208 following the step S202 the control unit 39 generates an image signal S T for display based on the imaging signal.
- the signal processing unit 35 performs image processing of the gradation compression processing for the input image signal S C, to generate an input image signal S C '.
- the display image generation unit 36 performs a process on the input image signal S C ′ generated by the signal processing unit 35 so as to be a signal that can be displayed on the display device 4, thereby displaying the image signal S for display.
- Generate T The display image generation unit 36 outputs the generated image signal ST to the display device 4.
- Display device 4 displays an image corresponding to the image signal S T inputted.
- the control unit 39 determines whether a new image signal is input (step S209). For example, the control unit 39 determines whether the imaging signal acquisition unit 31 has received an input of a new imaging signal. Here, when the control unit 39 determines that a new imaging signal has not been input (step S209: No), the image signal processing ends.
- control unit 39 determines that a new imaging signal is input (step S209: Yes)
- the control unit 39 returns to step S202 and performs image signal generation processing for the new imaging signal.
- the enhancement processing unit 40 performs the enhancement processing on the detail component signal SD .
- a visually strong component included in the detail component signal is emphasized, and an image having good visibility in which an object with low contrast is emphasized can be generated.
- enhancement processor 40 may be subjected to enhancement processing with respect to the base component signal S B.
- enhancement processing section 40 degree of enhancement of the base component signal S B is subjected to enhancement processing such that less than the degree of emphasis of the detail component signal S D.
- the enhancement processing unit 40 has been described as performing the enhancement processing of the detail component signal SD using the preset parameters ⁇ , ⁇ , and ⁇ .
- the values of ⁇ , ⁇ , and ⁇ may be set according to the region to be performed, the type of lesion, the observation mode, the observation site, the observation depth, the structure, etc., and the enhancement processing may be performed adaptively.
- the observation mode includes a normal observation mode in which an imaging signal is acquired by irradiating normal white light, and a special light observation mode in which an imaging signal is acquired by irradiating special light.
- the numerical values of the parameters ⁇ , ⁇ , and ⁇ may be determined according to the luminance value (average value, mode value, etc.) of a predetermined pixel area.
- the image obtained by imaging varies in brightness adjustment amount (gain map) for each image, and even with the same luminance value, the gain coefficient differs depending on the pixel position.
- iCAM06 A refind image appearance model for HDR image rendering, Jiangtao Kuang, et al, J. Vis.Commun.Image R, 18 (2007) 406-414 is known.
- An adjustment formula is set for each color component by raising ', ⁇ ' or ⁇ to the power.
- the enhancement processing unit 40 performs enhancement processing of the detail component signal using an adjustment formula set for each color component. Note that F in the equation is a function based on an image suitable for a low frequency region at each pixel position, and thus on a spatial change.
- the imaging signal acquisition unit 31 has been described as generating the input image signal S C including an image to which each color component of RGB is added.
- it may be one for generating an input image signal S C with YCbCr color space including the luminance (Y) component and color difference components, hue (hue), saturation (saturation chroma), lightness (Value lightness brightness) three or HSV color space of components, it is those using a L * a * b * color space or the like, to generate the input image signal S C with the ingredients separated into color and brightness using the three-dimensional space Also good.
- the compression processing unit 33 and the signal processing unit 35 has been described as being independent components, the signal processing unit 35 to the base component signal S B You may make it perform a gradation compression process. That is, the compression processing unit 33 and the signal processing unit 35 may be configured using a common CPU, and for example, the signal processing unit 35 may perform signal processing according to the mode. In this case, the endoscope system 1,1A be configured without the compression processing section 33, the base component signal S B divided by the dividing unit 32 is input to the signal processing unit 35. The signal processing unit 35 performs the gradation compression processing on the inputted base component signal S B, and inputs to the combining unit 34.
- white light is emitted from the light source unit 3a, and the light receiving unit 244a is described as a simultaneous illumination / imaging method in which light of each color component of RGB is received.
- the light source unit 3a may sequentially emit light in the wavelength bands of the RGB color components individually, and the light receiving unit 244a may receive the light of each color component.
- the light source unit 3a is described as being configured separately from the endoscope 2, but for example, a semiconductor light source is provided at the tip of the endoscope 2, etc.
- the structure which provided the light source device in the endoscope 2 may be sufficient.
- the function of the processing device 3 may be given to the endoscope 2.
- the light source unit 3a is described as being integral with the processing device 3, but the light source unit 3a and the processing device 3 are separate, for example, the processing device 3
- the illumination unit 301 and the illumination control unit 302 may be provided outside.
- the image signal processing apparatus divides the endoscope system 1 using the flexible endoscope 2 whose observation target is a living tissue or the like in the subject.
- the present invention can also be applied to an endoscope system using a camera head connected to an eyepiece of an optical endoscope such as an optical endoscope.
- the image signal processing apparatus according to the present invention can be applied to both inside and outside the body, and performs division processing, gradation compression processing, and synthesis processing on an image signal including an imaging signal and an image signal generated outside. Is.
- the endoscope system has been described as an example.
- the present invention can also be applied to a case where video is output to an EVF (Electronic View Finder) provided in a digital still camera, for example. is there.
- EVF Electronic View Finder
- each block may be mounted on one chip, or may be mounted on a plurality of chips.
- some chips may be arranged in another housing, and the functions mounted on some chips are arranged in the cloud server. Also good.
- the image signal processing device, the image signal processing method, and the image signal processing program according to the present invention provide good visibility while suppressing a change in color tone even when gradation compression is performed. Useful for generating images with
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本発明にかかる画像信号処理装置は、第1および第2のモードを設定するモード設定部と、映像信号に対して、階調圧縮処理を施す信号処理部と、映像信号を、ベース成分およびディテール成分に分割する分割部と、ベース成分に対して、信号処理部が行う階調圧縮処理に用いられるパラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理部と、ディテール成分およびベース成分をもとに合成画像信号を生成する合成部と、第1のモードに設定されている場合、信号処理部により映像信号の信号処理を実行させ、第2のモードに設定されている場合、分割部、圧縮処理部および合成部により映像信号の信号処理を実行させる制御部とを備えた。
Description
本発明は、入力画像信号に対して信号処理を施す画像信号処理装置、画像信号処理方法および画像信号処理プログラムに関する。
従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、被検体の体腔内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が生成した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置と、を備える。
体内画像を観察する際に、血管や粘膜構造等のコントラストの高い対象ではなく、胃粘膜の発赤や、平坦な病変等のコントラストの低い対象を観察したいという要望がある。この要望に対し、撮像により取得した画像に対し、所定の色成分の信号と、所定の色成分間の色差信号とに強調処理を施すことによって、コントラストの低い対象を強調した画像を取得する技術が開示されている(例えば、特許文献1を参照)。
しかしながら、特許文献1が開示する技術は、所定の色成分に強調処理を施すため、強調処理を施さずに生成した体内画像の色味と異なる色味の体内画像が生成されてしまう。色味が変化した体内画像を用いて病変の診断を行う場合、これまでに培われてきた診断学とは異なる診断学を確立させる必要があった。
また、体内画像を表示部に表示する際、処理装置では、表示部の表示態様に合わせて階調圧縮処理を施す場合がある。この際、一般に、表示用に生成した体内画像に対して階調圧縮処理を施すため、強調処理を施した部分も圧縮されてしまう。このため、特許文献1が開示する技術により強調処理を施したとしても、この強調部分のコントラストも低下してしまい、視認性の低い画像となってしまう。
本発明は、上記に鑑みてなされたものであって、階調圧縮を施した場合であっても、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができる画像信号処理装置、画像信号処理方法および画像信号処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像信号処理装置は、映像信号に対し、互いに異なる信号処理を施す第1および第2のモードを設定するモード設定部と、前記映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理部と、前記映像信号を、ベース成分およびディテール成分に分割する分割部と、前記ベース成分に対して、前記信号処理部が行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理部と、前記ディテール成分、および前記圧縮処理部により階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成部と、前記第1のモードに設定されている場合、前記信号処理部により前記映像信号の信号処理を実行させ、前記第2のモードに設定されている場合、前記分割部、前記圧縮処理部および前記合成部により前記映像信号の信号処理を実行させる制御部と、を備えたことを特徴とする。
また、本発明にかかる画像信号処理装置は、上記発明において、前記ディテール成分は、前記映像信号を前記ベース成分で除算して得られることを特徴とする。
また、本発明にかかる画像信号処理装置は、上記発明において、前記映像信号は、赤色成分、緑色成分および青色成分を含み、前記分割部は、色成分ごとに前記ベース成分および前記ディテール成分を分割し、前記圧縮処理部は、設定されているパラメータに基づき、色成分ごとに階調圧縮処理を施すことを特徴とする。
また、本発明にかかる画像信号処理装置は、上記発明において、前記分割部が分割した成分のうち、前記ディテール成分に対して強調処理を施す強調処理部をさらに備え、前記合成部は、強調処理が施された前記ディテール成分、および前記圧縮処理部により階調圧縮処理が施された前記ベース成分を合成することにより前記合成画像信号を生成することを特徴とする。
また、本発明にかかる画像信号処理装置は、上記発明において、前記圧縮処理部と前記信号処理部とは、共通のCPUを用いて構成されていることを特徴とする。
また、本発明にかかる画像信号処理方法は、第1のモードに設定されている場合に、映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理ステップと、前記第1のモードとは異なる第2のモードに設定されている場合に、前記映像信号を、ベース成分およびディテール成分に分割する分割ステップと、前記ベース成分に対して、前記信号処理ステップで行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理ステップと、前記ディテール成分、および前記圧縮処理ステップにおいて階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成ステップと、を含むことを特徴とする。
また、本発明にかかる画像信号処理プログラムは、第1のモードに設定されている場合に、映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理手順と、前記第1のモードとは異なる第2のモードに設定されている場合に、前記映像信号を、ベース成分およびディテール成分に分割する分割手順と、前記ベース成分に対して、前記信号処理手順で行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理手順と、前記ディテール成分、および前記圧縮処理手順において階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成手順と、をコンピュータに実行させることを特徴とする。
本発明によれば、階調圧縮を施した場合であっても、色味の変化を抑制しつつ良好な視認性を有する画像を生成することができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像信号処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2,3は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。なお、図2,3では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。図2は、後述する強調圧縮モードにおける信号の伝送を示している。図3は、後述する通常モードにおける信号の伝送を示している。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2,3は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。なお、図2,3では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。図2は、後述する強調圧縮モードにおける信号の伝送を示している。図3は、後述する通常モードにおける信号の伝送を示している。
図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された体内画像を表示する表示装置4と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像素子244によって撮像する。
先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244と、を有する。
光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子244は、光学系243からの光を光電変換して電気信号(撮像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部244bと、を有する。受光部244aには、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子244は、処理装置3から受信した駆動信号に従って先端部24の各種動作を制御する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
次に、処理装置3の構成について説明する。処理装置3は、撮像信号取得部31と、分割部32と、圧縮処理部33と、合成部34と、信号処理部35と、表示画像生成部36と、入力部37と、記憶部38と、制御部39と、を備える。なお、本発明にかかる画像信号処理装置は、少なくとも分割部32と、圧縮処理部33と、合成部34とを用いて構成される。
撮像信号取得部31は、内視鏡2から、撮像素子244が出力した撮像信号を受信する。撮像信号取得部31は、取得した撮像信号に対してノイズ除去やA/D変換、同時化処理(例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う)等の信号処理を施す。撮像信号取得部31は、上述した信号処理によりRGBの色成分が付与された入力画像を含む入力画像信号SCを生成する。撮像信号取得部31は、生成した入力画像信号SCを分割部32に入力するとともに、記憶部38に入力して格納させる。撮像信号取得部31は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)、処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
分割部32は、図2に示すように、入力画像信号SCを撮像信号取得部31から取得して、画像成分を視覚的に相関の弱い成分と強い成分とに分割する。ここでいう画像成分とは、画像を生成するための成分であって、後述するベース成分および/またはディテール成分からなる成分である。分割処理は、例えば、Lightness and retinex theory, E.H.Land, J.J.McCann, Journal of the Optical Society of America, 61(1), 1-11(1971)に記載された技術(Retinex理論)を用いて行うことができる。Retinex理論に基づく分割処理において、視覚的に相関の弱い成分は、物体の照明光成分に相当する成分である。視覚的に相関の弱い成分は、一般にベース成分と呼ばれている。一方、視覚的に相関の強い成分は、物体の反射率成分に相当する成分である。視覚的に相関の強い成分は、一般にディテール成分と呼ばれている。ディテール成分は、画像を構成する信号をベース成分で除算して得られる成分である。ディテール成分は、物体の輪郭(エッジ)成分や、テクスチャ成分等のコントラスト成分を含んでいる。分割部32は、ベース成分を成分信号として含む信号(以下「ベース成分信号SB」という)を圧縮処理部33に入力するとともに、ディテール成分を成分信号として含む信号(以下「ディテール成分信号SD」という)を合成部34に入力する。なお、分割部32は、RGBの各色成分の入力画像信号が入力された場合、各色成分の信号についてそれぞれ分割処理を行う。以降の信号処理においても、各色成分について同様の処理が施される。
分割部32による成分分割処理は、例えば、Temporally Coherent Local Tone Mapping of HDR Video, T.O.Aydin, et al., ACM Transactions on Graphics, Vol 33, November 2014に記載されたEdge-aware filtering技術を用いて行うことができる。また、分割部32は、空間周波数を複数の周波数帯域に分けて分割するようにしてもよい。分割部32は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
圧縮処理部33は、分割部32によって分割された成分信号のうち、ベース成分信号SBに対して圧縮処理を施す。圧縮処理部33は、具体的に、ベース成分信号SBに対して、非線形処理等の公知の階調圧縮処理を施す。圧縮処理部33は、後述する信号処理部35が行う階調圧縮処理と同じパラメータを用いて階調圧縮処理を行う。ここで、「同じ」パラメータとは、数値が一致するもののほか、この一致する数値の前後数%の数値までを含む。圧縮処理部33は、階調圧縮処理を施して生成したベース成分信号SB´を合成部34に入力する。圧縮処理部33は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
合成部34は、分割部32が分割したディテール成分信号SDと、圧縮処理部33により階調圧縮処理が施されたベース成分信号SB´とを合成する。合成部34は、ベース成分信号SB´とディテール成分信号SDとを合成することにより、合成画像信号SSを生成する。合成部34は、生成した合成画像信号SSを表示画像生成部36に入力する。合成部34は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
信号処理部35は、図3に示すように、入力画像信号SCを撮像信号取得部31から取得して、各色成分の信号に対して階調圧縮処理を施す等、公知の画像処理を施す。信号処理部35は、記憶部38に記憶されている関数を用いることよって、非線形処理により各色成分の信号に対して階調圧縮処理を施す。なお、信号処理部35は、線形処理による階調圧縮処理を行うようにしてもよいし、複数の関数を予め設定しておき、入力部37を介して選択可能としてもよい。この際に用いる関数は、入力画像信号SCの輝度値を入力値として、この輝度値に対応する圧縮後の輝度値を出力する。これにより、ホワイトバランスを調整しつつ、階調補正を施した入力画像信号SC´が生成される。信号処理部35は、生成した入力画像信号SC´を表示画像生成部36に入力する。信号処理部35は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
表示画像生成部36は、合成画像信号SSまたは入力画像信号SC’に対して、表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号STを生成する。例えば、RGBの各色成分の合成画像信号をRGBの各チャンネルに割り当てる。表示画像生成部36は、生成した画像信号STを表示装置4に出力する。
入力部37は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部37は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。
記憶部38は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部38は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。
記憶部38は、圧縮処理部33が階調圧縮処理を行なう際に用いる関数等の信号処理情報を記憶する信号処理情報記憶部381を有する。
また、記憶部38は、処理装置3の画像信号処理方法を実行するための画像信号処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)等によって実現されるものであり、有線、無線を問わない。
以上の構成を有する記憶部38は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)やハードディスク等を用いて実現される。
制御部39は、撮像素子244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部39は、記憶部38に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミング等)を参照し、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像素子244へ送信する。制御部39は、信号処理情報記憶部381に記憶されている関数を読み出して圧縮処理部33に入力し、階調圧縮処理を実行させる。制御部39は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
また、制御部39は、モードの設定を行うモード設定部391を有する。モード設定部391は、撮像信号に基づく通常の信号処理により画像を生成する通常モードと、分割部32により分割されたベース成分信号SBにのみ圧縮処理を施して、ディテール成分を強調した画像を生成する強調圧縮モードとのうちのいずれかのモードに設定する。モード設定部391は、例えば、入力部37を介して受け付けた指示信号に基づいてモードを設定する。制御部39は、各ブロックに対して、モード設定部391により設定されたモードに応じた信号処理を実行させる。なお、モード設定部391は、制御部39に設けられるものとして説明するが、制御部39とは別に設けてもよい。
続いて、光源部3aの構成について説明する。光源部3aは、照明部301と、照明制御部302と、を備える。照明部301は、照明制御部302の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部301は、光源301aと、光源ドライバ301bと、を有する。
光源301aは、白色光を出射するLED光源や、一または複数のレンズ等を用いて構成され、LED光源の駆動により光(照明光)を出射する。光源301aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。なお、光源301aは、赤色LED光源、緑色LED光源および青色LED光源を用いて構成し、照明光を出射するものであってもよい。また、光源301aは、レーザー光源や、キセノンランプ、ハロゲンランプ等のランプを用いるものであってもよい。
光源ドライバ301bは、照明制御部302の制御のもと、光源301aに対して電流を供給することにより、光源301aに照明光を出射させる。
照明制御部302は、制御部39からの制御信号に基づいて、光源301aに供給する電力量を制御するとともに、光源301aの駆動タイミングを制御する。
表示装置4は、映像ケーブルを介して処理装置3(表示画像生成部36)が生成した画像信号STに対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
以上説明した内視鏡システム1では、モード設定部391により強調圧縮モードに設定されると、処理装置3に入力された撮像信号をもとに、分割部32が、撮像信号に含まれる成分を二つの成分信号に分割し、圧縮処理部33が、分割された成分信号のうちベース成分信号SBに対して階調圧縮処理を施し、合成部34が、圧縮処理後の成分信号と、ディテール成分信号SDとを合成し、表示画像生成部36が、合成後の信号に基づいて表示用の信号処理を施した画像信号STを生成し、表示装置4が、画像信号STに基づく表示画像を表示する。
図4は、本発明の実施の形態1にかかる処理装置が行う画像信号処理方法を示すフローチャートである。以下、制御部39の制御のもと、各部が動作するものとして説明する。
制御部39は、撮像信号取得部31が、内視鏡2から撮像信号を取得すると(ステップS101:Yes)、ステップS102に移行する。一方、制御部39は、撮像信号取得部31が内視鏡2から撮像信号の入力を受け付けていない場合(ステップS101:No)、撮像信号の入力確認を繰り返す。
ステップS102において、制御部39は、設定されているモードが、強調圧縮モードであるか否かを判断する。制御部39は、設定されているモードが強調圧縮モードではない、すなわち通常モードであると判断した場合(ステップS102:No)、ステップS107に移行する。これに対し、制御部39は、設定されているモードが強調圧縮モードであると判断した場合(ステップS102:Yes)、撮像信号取得部31が生成した入力画像信号SCを分割部32に入力し、ステップS103に移行する。
ステップS103において、分割部32は、入力画像信号SCをディテール成分信号SDとベース成分信号SBとに分割する(分割ステップ)。分割部32は、上述した分割処理によって生成したベース成分信号SBを圧縮処理部33に入力するとともに、ディテール成分信号SDを合成部34に入力する。
図5は、本発明の実施の形態1にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の相対強度をそれぞれ示す図である。図6は、本発明の実施の形態1にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の相対強度を示す図である。入力画像は入力画像信号SCに応じた画像であり、ベース成分画像はベース成分信号SBに応じた画像である。図5,6に示す画素ラインは、同一の画素ラインであり、この画素ラインのうちの200番目から1000番目の画素の位置についての相対強度を示している。図5は、入力画像の輝度値の最大値を1に正規化した例を示している。図6は、ディテール成分画像の輝度値の最大値を1に正規化した例を示している。
図5に示すように、入力画像の輝度変化から低周波成分がベース成分として抽出されていることが分かる。これが視覚的に相関の弱い成分に相当する。一方、ディテール成分は、入力画像の輝度変化からベース成分を除外した成分であり、反射率成分を多く含む成分である(図6参照)。これが視覚的に相関の強い成分に相当する。
その後、圧縮処理部33が、分割部32によって分割された成分信号のうち、ベース成分信号SBに対して階調圧縮処理を施す(ステップS104:圧縮処理ステップ)。この際の階調圧縮処理は、通常モードにおいて信号処理部35が行う階調圧縮処理に用いられるパラメータと同じパラメータが用いられる。圧縮処理部33は、階調圧縮処理後のベース成分信号SB´を合成部34に入力する。
合成部34は、分割部32からディテール成分信号SDが入力され、圧縮処理部33から階調圧縮処理後のベース成分信号SB´が入力されると、該ベース成分信号SB´およびディテール成分信号SDを合成し、合成画像信号SSを生成する(ステップS105:合成ステップ)。合成部34は、生成した合成画像信号SSを表示画像生成部36に入力する。
表示画像生成部36は、合成部34から合成画像信号SSが入力されると、該合成画像信号SSに対して表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号STを生成する(ステップS106)。表示画像生成部36は、生成した画像信号STを表示装置4に出力する。表示装置4は、入力された画像信号STに応じた画像を表示する。
また、ステップS102に続くステップS107において、制御部39は、撮像信号に基づいて表示用の画像信号STを生成する。具体的には、信号処理部35が、入力画像信号SCに対して階調圧縮処理等の画像処理を施して、入力画像信号SC´を生成する(信号処理ステップ)。その後、表示画像生成部36が、信号処理部35が生成した入力画像信号SC´に対して表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号STを生成する。表示画像生成部36は、生成した画像信号STを表示装置4に出力する。表示装置4は、入力された画像信号STに応じた画像を表示する。
表示画像生成部36による画像信号STの生成後、制御部39は、新たな撮像信号が入力されているか否かを判断する(ステップS108)。制御部39は、例えば、撮像信号取得部31が、新たな撮像信号の入力を受け付けているか否かを判断する。ここで、制御部39は、新たな撮像信号が入力されていないと判断すると(ステップS108:No)、画像信号処理を終了する。
制御部39は、新たな撮像信号が入力されていると判断すると(ステップS108:Yes)、ステップS102に戻り、この新たな撮像信号について、画像信号の生成処理を行う。
上述した本発明の実施の形態1によれば、モード設定部391により強調圧縮モードに設定された場合、分割部32が、入力画像信号SCを撮像信号取得部31から取得して、ベース成分信号SBと、該ベース成分信号SB以外の成分信号、具体的にはコントラスト成分を含むディテール成分信号SDとに分割し、圧縮処理部33が、ベース成分信号SBに対して階調圧縮処理を施すようにした。この際、圧縮処理部33が行う階調圧縮処理のパラメータを、通常モードにおいて信号処理部35が行う階調圧縮処理に用いられるパラメータと同じパラメータにした。圧縮処理部33が、信号処理部35が行う階調圧縮処理と同じパラメータを用いて階調圧縮処理を行うことで、通常画像の色味を維持しつつ、階調圧縮を行えるため、階調圧縮を施した場合であっても、色味の変化を抑制することができる。また、圧縮処理部33は、ベース成分のみに階調圧縮処理を施し、コントラスト成分を含むディテール成分をそのままとして合成して画像が生成されるため、コントラスト成分が階調圧縮処理により圧縮されることがなく、良好な視認性を有する画像を生成することができる。
(実施の形態2)
本実施の形態2は、上述したベース成分信号SBに対する階調圧縮処理に加え、ディテール成分信号の強調処理を施す。図7は、本実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した実施の形態1にかかる内視鏡システム1の構成要素と同じ構成要素には、同一の符号が付してある。図7では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。図7は、強調圧縮モードにおける電気信号の伝送を示している。
本実施の形態2は、上述したベース成分信号SBに対する階調圧縮処理に加え、ディテール成分信号の強調処理を施す。図7は、本実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した実施の形態1にかかる内視鏡システム1の構成要素と同じ構成要素には、同一の符号が付してある。図7では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。図7は、強調圧縮モードにおける電気信号の伝送を示している。
本実施の形態2にかかる内視鏡システム1Aは、上述した実施の形態1にかかる内視鏡システム1の構成に対し、処理装置3に代えて処理装置3Aを備える。処理装置3Aは、上述した実施の形態1にかかる処理装置3の構成に加えて、強調処理部40を有する。本実施の形態2において、分割部32は、分割後のディテール成分信号SDを強調処理部40に入力する。
強調処理部40は、分割部32によって分割された成分信号のうち、ディテール成分信号SDに対して強調処理を施す。強調処理部40は、記憶部38を参照して、予め設定されている関数を取得して、この関数に基づいて各画素位置における各色成分の信号値を大きくするゲインアップ処理を行なう。具体的には、強調処理部40は、ディテール成分信号SDが含む色成分の信号のうち、赤色成分の信号値をRDetail、緑色成分の信号値をGDetail、および青色成分の信号値をBDetailとしたとき、RDetail
α、GDetail
β、BDetail
γとして、各色成分の信号値を算出する。ここで、本実施の形態2において、α、βおよびγは、互いに独立して設定されるパラメータであり、予め設定されている関数に基づき決定される。例えば、パラメータα、βおよびγについてそれぞれ輝度の関数f(L)を設定し、入力される輝度値Lに応じてパラメータα、βおよびγが算出される。この関数f(L)は、一次関数であってもよいし、指数関数であってもよい。強調処理部40は、強調処理後のディテール成分信号SD´を合成部34に入力する。強調処理部40は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
なお、パラメータα、βおよびγを同じ値にしてもよいし、各々任意の値に設定するようにしてもよい。パラメータα、βおよびγは、例えば、入力部37を介して設定される。
本実施の形態2において、合成部34は、強調処理部40により強調処理が施されたディテール成分信号SD´と、圧縮処理部33により階調圧縮処理が施されたベース成分信号SB´とを合成する。合成部34は、生成した合成画像信号SSを表示画像生成部36に入力する。
図8は、本発明の実施の形態2にかかる処理装置が行う画像信号処理方法を示すフローチャートである。以下、制御部39の制御のもと、各部が動作するものとして説明する。
制御部39は、撮像信号取得部31が、内視鏡2から撮像信号を取得すると(ステップS201:Yes)、ステップS202に移行する。一方、制御部39は、撮像信号取得部31が内視鏡2から撮像信号の入力を受け付けていない場合(ステップS201:No)、撮像信号の入力確認を繰り返す。
ステップS202において、制御部39は、設定されているモードが、強調圧縮モードであるか否かを判断する。制御部39は、設定されているモードが強調圧縮モードではない、すなわち通常モードであると判断した場合(ステップS202:No)、ステップS208に移行する。これに対し、制御部39は、設定されているモードが強調圧縮モードであると判断した場合(ステップS202:Yes)、撮像信号取得部31が生成した入力画像信号SCを分割部32に入力し、ステップS203に移行する。
ステップS203において、分割部32は、入力画像信号SCが入力されると、該入力画像信号SCをディテール成分信号とベース成分信号とに分割する(分割ステップ)。分割部32は、上述した分割処理によって生成したディテール成分信号SDを強調処理部40に入力するとともに、ベース成分信号SBを圧縮処理部33に入力する。
その後、圧縮処理部33が、ベース成分信号SBに対して圧縮処理を施す(ステップS204:圧縮処理ステップ)。圧縮処理部33は、圧縮処理後のベース成分信号SB´を合成部34に入力する。
圧縮処理部33による階調圧縮処理後、強調処理部40が、入力されたディテール成分信号SDに対して強調処理を施す(ステップS205)。強調処理部40は、強調処理後のディテール成分信号SD´を合成部34に入力する。なお、ステップS204およびステップS205は、ステップS205を先に実行するようにしてもよいし、同時に実行するようにしてもよい。
合成部34は、強調処理部40から強調処理後のディテール成分信号SD´が入力され、圧縮処理部33から階調圧縮後のベース成分信号SB´が入力されると、該ベース成分信号SB´およびディテール成分信号SD´を合成し、合成画像信号SSを生成する(ステップS206:合成ステップ)。合成部34は、生成した合成画像信号SSを表示画像生成部36に入力する。
表示画像生成部36は、合成部34から合成画像信号SSが入力されると、該合成画像信号SSに対して表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号STを生成する(ステップS207)。表示画像生成部36は、生成した画像信号STを表示装置4に出力する。表示装置4は、入力された画像信号STに応じた画像を表示する。
また、ステップS202に続くステップS208において、制御部39は、撮像信号に基づいて表示用の画像信号STを生成する。具体的には、信号処理部35が、入力画像信号SCに対して階調圧縮処理等の画像処理を施して、入力画像信号SC’を生成する。その後、表示画像生成部36が、信号処理部35が生成した入力画像信号SC’に対して表示装置4で表示可能な態様の信号となるような処理を施して、表示用の画像信号STを生成する。表示画像生成部36は、生成した画像信号STを表示装置4に出力する。表示装置4は、入力された画像信号STに応じた画像を表示する。
表示画像生成部36による画像信号STの生成後、制御部39は、新たな撮像信号が入力されているか否かを判断する(ステップS209)。制御部39は、例えば、撮像信号取得部31が、新たな撮像信号の入力を受け付けているか否かを判断する。ここで、制御部39は、新たな撮像信号が入力されていないと判断すると(ステップS209:No)、画像信号処理を終了する。
制御部39は、新たな撮像信号が入力されていると判断すると(ステップS209:Yes)、ステップS202に戻り、この新たな撮像信号について、画像信号の生成処理を行う。
以上説明した本発明の実施の形態2によれば、上述した実施の形態1と同様の効果を得ることができるとともに、強調処理部40が、ディテール成分信号SDに対して強調処理を施すようにしたので、ディテール成分信号に含まれる視覚的に相関の強い成分が強調され、コントラストの低い対象を強調した、良好な視認性を有する画像を生成することができる。
なお、上述した実施の形態2において、強調処理部40が、ベース成分信号SBに対しても強調処理を施すようにしてもよい。この場合、強調処理部40は、ベース成分信号SBの強調度合いが、ディテール成分信号SDの強調度合いよりも小さくなるような強調処理を施す。
また、上述した実施の形態2では、強調処理部40が、予め設定されているパラメータα、βおよびγを用いてディテール成分信号SDの強調処理を施すものとして説明したが、ベース成分と対応する領域や、病変の種類、観察モード、観察部位、観察深さ、構造等に応じてα、βおよびγの数値を設定し、適応的に強調処理を実施するようにしてもよい。観察モードとしては、通常の白色光を照射して撮像信号を取得する通常観察モードや、特殊光を照射して撮像信号を取得する特殊光観察モードが挙げられる。
また、所定の画素領域の輝度値(平均値や最頻値等)に応じてパラメータα、βおよびγの数値を決定してもよい。撮像して得られる画像は、画像ごとに明るさの調整量(ゲインマップ)が変化し、同じ輝度値であっても画素位置によりゲイン係数が異なる。このような調整量の差異に対して適応的に調整を行うための指標として、例えば、iCAM06: A refind image appearance model for HDR image rendering, Jiangtao Kuang, et al, J.Vis.Commun.Image R, 18(2007) 406-414に記載された手法が知られている。具体的には、この文献に記載されているディテール成分信号の調整式であるSD’=SD
(F+0.8)の指数部分(F+0.8)に、色成分ごとに決まるパラメータであるα’、β’またはγ’をべき乗することにより、色成分ごとに調整式を設定する。例えば、赤色成分の調整式はSD’=SD
(F+0.8)^α’である。強調処理部40は、色成分ごとに設定されている調整式を用いてディテール成分信号の強調処理を行う。なお、式中のFは、各画素位置における低周波数域に適した画像ひいては空間的変化に基づく関数である。
なお、上述した実施の形態1,2では、撮像信号取得部31が、RGBの各色成分が付与された画像を含む入力画像信号SCを生成するものとして説明したが、YCbCr色空間に基づいて輝度(Y)成分および色差成分を含むYCbCr色空間を有する入力画像信号SCを生成するものであってもよいし、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL*a*b*色空間等を用いて、色と輝度とに分けた成分を有する入力画像信号SCを生成するものであってもよい。
また、上述した実施の形態1,2では、圧縮処理部33と信号処理部35とが、それぞれ独立した構成要素であるものとして説明したが、信号処理部35がベース成分信号SBに対して階調圧縮処理を施すようにしてもよい。つまり、圧縮処理部33と信号処理部35とを共通のCPUを用いて構成し、例えば、信号処理部35が、モードに応じた信号処理を行うようにしてもよい。この場合、内視鏡システム1,1Aは圧縮処理部33を有しない構成となり、分割部32によって分割されたベース成分信号SBが信号処理部35に入力される。信号処理部35は、入力されたベース成分信号SBに対して階調圧縮処理を施し、合成部34に入力する。
また、上述した実施の形態1,2では、光源部3aから白色光が出射され、受光部244aがRGBの各色成分の光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、RGBの各色成分の波長帯域の光を個別に順次出射して、受光部244aが、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。
また、上述した実施の形態1,2では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設ける等、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。
また、上述した実施の形態1,2では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部301および照明制御部302が設けられているものであってもよい。
また、上述した実施の形態1,2では、本発明にかかる画像信号処理装置が、観察対象が被検体内の生体組織等である軟性の内視鏡2を用いた内視鏡システム1の分割部32、圧縮処理部33および合成部34として機能するものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。本発明にかかる画像信号処理装置は、体内、体外を問わず適用可能であり、外部で生成された撮像信号や画像信号を含む映像信号に対して分割処理、階調圧縮処理、合成処理を施すものである。
また、上述した実施の形態1,2では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるEVF(Electronic View Finder)に映像を出力する場合にも適用可能である。
また、上述した実施の形態1,2において、各ブロックの機能は一つのチップに実装してもよいし、複数のチップに分けて実装してもよい。また、各ブロックの機能を複数のチップに分けた場合、一部のチップが別の筐体に配置されていてもよいし、一部のチップに実装される機能がクラウドサーバに配置されていてもよい。
以上のように、本発明にかかる画像信号処理装置、画像信号処理方法および画像信号処理プログラムは、階調圧縮を施した場合であっても、色味の変化を抑制しつつ良好な視認性を有する画像を生成するのに有用である。
1,1A 内視鏡システム
2 内視鏡
3,3A 処理装置
3a 光源部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 撮像信号取得部
32 分割部
33 圧縮処理部
34 合成部
35 信号処理部
36 表示画像生成部
37 入力部
38 記憶部
39 制御部
40 強調処理部
301 照明部
302 照明制御部
381 信号処理情報記憶部
391 モード設定部
2 内視鏡
3,3A 処理装置
3a 光源部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 撮像信号取得部
32 分割部
33 圧縮処理部
34 合成部
35 信号処理部
36 表示画像生成部
37 入力部
38 記憶部
39 制御部
40 強調処理部
301 照明部
302 照明制御部
381 信号処理情報記憶部
391 モード設定部
Claims (7)
- 映像信号に対し、互いに異なる信号処理を施す第1および第2のモードを設定するモード設定部と、
前記映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理部と、
前記映像信号を、ベース成分およびディテール成分に分割する分割部と、
前記ベース成分に対して、前記信号処理部が行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理部と、
前記ディテール成分、および前記圧縮処理部により階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成部と、
前記第1のモードに設定されている場合、前記信号処理部により前記映像信号の信号処理を実行させ、前記第2のモードに設定されている場合、前記分割部、前記圧縮処理部および前記合成部により前記映像信号の信号処理を実行させる制御部と、
を備えたことを特徴とする画像信号処理装置。 - 前記ディテール成分は、前記映像信号を前記ベース成分で除算して得られる
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記映像信号は、赤色成分、緑色成分および青色成分を含み、
前記分割部は、色成分ごとに前記ベース成分および前記ディテール成分を分割し、
前記圧縮処理部は、設定されているパラメータに基づき、色成分ごとに階調圧縮処理を施す
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記分割部が分割した成分のうち、前記ディテール成分に対して強調処理を施す強調処理部をさらに備え、
前記合成部は、強調処理が施された前記ディテール成分、および前記圧縮処理部により階調圧縮処理が施された前記ベース成分を合成することにより前記合成画像信号を生成する
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記圧縮処理部と前記信号処理部とは、共通のCPUを用いて構成されている
ことを特徴とする請求項1に記載の画像信号処理装置。 - 第1のモードに設定されている場合に、映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理ステップと、
前記第1のモードとは異なる第2のモードに設定されている場合に、前記映像信号を、ベース成分およびディテール成分に分割する分割ステップと、
前記ベース成分に対して、前記信号処理ステップで行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理ステップと、
前記ディテール成分、および前記圧縮処理ステップにおいて階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成ステップと、
を含むことを特徴とする画像信号処理方法。 - 第1のモードに設定されている場合に、映像信号に対して、予め設定されたパラメータに基づいて階調圧縮処理を施す信号処理手順と、
前記第1のモードとは異なる第2のモードに設定されている場合に、前記映像信号を、ベース成分およびディテール成分に分割する分割手順と、
前記ベース成分に対して、前記信号処理手順で行う階調圧縮処理に用いられる前記パラメータと同じパラメータを用いて階調圧縮処理を施す圧縮処理手順と、
前記ディテール成分、および前記圧縮処理手順において階調圧縮処理が施された前記ベース成分をもとに合成画像信号を生成する合成手順と、
をコンピュータに実行させることを特徴とする画像信号処理プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112017002653.9T DE112017002653T5 (de) | 2016-05-24 | 2017-04-11 | Bildsignalverarbeitungsvorrichtung, Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsprogramm |
| JP2017561436A JP6463512B2 (ja) | 2016-05-24 | 2017-04-11 | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム |
| CN201780031649.1A CN109152520B (zh) | 2016-05-24 | 2017-04-11 | 图像信号处理装置、图像信号处理方法以及记录介质 |
| US16/167,684 US10574934B2 (en) | 2016-05-24 | 2018-10-23 | Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016103532 | 2016-05-24 | ||
| JP2016-103532 | 2016-05-24 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/167,684 Continuation US10574934B2 (en) | 2016-05-24 | 2018-10-23 | Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017203866A1 true WO2017203866A1 (ja) | 2017-11-30 |
Family
ID=60411741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/014867 Ceased WO2017203866A1 (ja) | 2016-05-24 | 2017-04-11 | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10574934B2 (ja) |
| JP (1) | JP6463512B2 (ja) |
| CN (1) | CN109152520B (ja) |
| DE (1) | DE112017002653T5 (ja) |
| WO (1) | WO2017203866A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019130834A1 (ja) * | 2017-12-26 | 2019-07-04 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
| WO2020075227A1 (ja) * | 2018-10-10 | 2020-04-16 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
| WO2025243998A1 (ja) * | 2024-05-23 | 2025-11-27 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2020066670A1 (ja) * | 2018-09-27 | 2021-06-10 | Hoya株式会社 | 電子内視鏡システム |
| KR20210050684A (ko) | 2019-10-29 | 2021-05-10 | 에스케이하이닉스 주식회사 | 이미지 처리 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232927A (ja) * | 1996-12-18 | 1998-09-02 | Fujitsu Ltd | 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ |
| WO2007129570A1 (ja) * | 2006-05-08 | 2007-11-15 | Olympus Medical Systems Corp. | 内視鏡用画像処理装置及び内視鏡装置 |
| JP2009100936A (ja) * | 2007-10-23 | 2009-05-14 | Fujinon Corp | 画像処理装置 |
| JP2012108898A (ja) * | 2010-10-29 | 2012-06-07 | Jvc Kenwood Corp | 画像処理装置、画像処理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4032461A (en) | 1974-09-06 | 1977-06-28 | The Lubrizol Corporation | Phosphorus and sulfur containing amides and thioamides as lubricating oil additives and lubricating oil compositions containing same |
| US6343158B1 (en) | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
| JP2007180718A (ja) * | 2005-12-27 | 2007-07-12 | Konica Minolta Holdings Inc | 撮像装置、撮像システムおよび撮像方法 |
| JP5609080B2 (ja) * | 2009-11-30 | 2014-10-22 | 富士通株式会社 | 画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法 |
| US8526736B2 (en) | 2010-10-29 | 2013-09-03 | JVC Kenwood Corporation | Image processing apparatus for correcting luminance and method thereof |
| JP5159904B2 (ja) | 2011-01-11 | 2013-03-13 | 富士フイルム株式会社 | 内視鏡診断装置 |
| US9412155B2 (en) * | 2012-12-31 | 2016-08-09 | Karl Storz Imaging, Inc. | Video system with dynamic contrast and detail enhancement |
| US20150374210A1 (en) * | 2013-03-13 | 2015-12-31 | Massachusetts Institute Of Technology | Photometric stereo endoscopy |
| CN103177429A (zh) * | 2013-04-16 | 2013-06-26 | 南京理工大学 | 基于fpga的红外图像细节增强系统及其方法 |
| CN103530896A (zh) * | 2013-09-25 | 2014-01-22 | 电子科技大学 | 一种红外图像的图像压缩和细节增强方法 |
| JP6119719B2 (ja) | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
| CN104021532B (zh) * | 2014-06-19 | 2017-06-16 | 电子科技大学 | 一种红外图像的图像细节增强方法 |
| CN105023256B (zh) * | 2015-08-13 | 2018-02-13 | 哈尔滨超凡视觉科技有限公司 | 一种图像去雾方法及系统 |
-
2017
- 2017-04-11 WO PCT/JP2017/014867 patent/WO2017203866A1/ja not_active Ceased
- 2017-04-11 JP JP2017561436A patent/JP6463512B2/ja active Active
- 2017-04-11 CN CN201780031649.1A patent/CN109152520B/zh active Active
- 2017-04-11 DE DE112017002653.9T patent/DE112017002653T5/de not_active Withdrawn
-
2018
- 2018-10-23 US US16/167,684 patent/US10574934B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232927A (ja) * | 1996-12-18 | 1998-09-02 | Fujitsu Ltd | 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ |
| WO2007129570A1 (ja) * | 2006-05-08 | 2007-11-15 | Olympus Medical Systems Corp. | 内視鏡用画像処理装置及び内視鏡装置 |
| JP2009100936A (ja) * | 2007-10-23 | 2009-05-14 | Fujinon Corp | 画像処理装置 |
| JP2012108898A (ja) * | 2010-10-29 | 2012-06-07 | Jvc Kenwood Corp | 画像処理装置、画像処理方法 |
Non-Patent Citations (2)
| Title |
|---|
| KAZUCHIKA SATO: "Ko Dynamic Range Gazo no Ko Contrast-ka Gazo Shori", KONICA MINOLTA TECHNOLOGY REPORT, 2007, pages 82 - 87 * |
| LAND EDWIN: "Lightness and Retinex Theory", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, vol. 61, no. 1, January 1971 (1971-01-01), pages 1 - 11, XP055441300 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019130834A1 (ja) * | 2017-12-26 | 2019-07-04 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
| CN111511263A (zh) * | 2017-12-26 | 2020-08-07 | 奥林巴斯株式会社 | 图像处理装置及图像处理方法 |
| JPWO2019130834A1 (ja) * | 2017-12-26 | 2020-11-19 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
| US11509834B2 (en) | 2017-12-26 | 2022-11-22 | Olympus Corporation | Image processing apparatus and image processing method |
| US12035052B2 (en) | 2017-12-26 | 2024-07-09 | Olympus Corporation | Image processing apparatus and image processing method |
| WO2020075227A1 (ja) * | 2018-10-10 | 2020-04-16 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
| CN112823373A (zh) * | 2018-10-10 | 2021-05-18 | 奥林巴斯株式会社 | 图像信号处理装置、图像信号处理方法、程序 |
| JPWO2020075227A1 (ja) * | 2018-10-10 | 2021-10-07 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
| JP7174064B2 (ja) | 2018-10-10 | 2022-11-17 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法、プログラム |
| US12022992B2 (en) | 2018-10-10 | 2024-07-02 | Olympus Corporation | Image signal processing device, image signal processing method, and program |
| WO2025243998A1 (ja) * | 2024-05-23 | 2025-11-27 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112017002653T5 (de) | 2019-03-21 |
| US20190058844A1 (en) | 2019-02-21 |
| CN109152520B (zh) | 2021-11-05 |
| CN109152520A (zh) | 2019-01-04 |
| US10574934B2 (en) | 2020-02-25 |
| JPWO2017203866A1 (ja) | 2018-06-07 |
| JP6463512B2 (ja) | 2019-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6463512B2 (ja) | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム | |
| JP6109456B1 (ja) | 画像処理装置および撮像システム | |
| WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
| JPWO2020178962A1 (ja) | 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置 | |
| WO2016104386A1 (ja) | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム | |
| JP6458205B1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| WO2017203996A1 (ja) | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム | |
| WO2016088628A1 (ja) | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム | |
| JP6242552B1 (ja) | 画像処理装置 | |
| US12035052B2 (en) | Image processing apparatus and image processing method | |
| JPWO2018105089A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20200037865A1 (en) | Image processing device, image processing system, and image processing method | |
| WO2025243998A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP6801990B2 (ja) | 画像処理システムおよび画像処理装置 | |
| WO2017022323A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
| JP2017221276A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2017561436 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17802466 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17802466 Country of ref document: EP Kind code of ref document: A1 |