WO2017086010A1 - 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム - Google Patents
検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム Download PDFInfo
- Publication number
- WO2017086010A1 WO2017086010A1 PCT/JP2016/077338 JP2016077338W WO2017086010A1 WO 2017086010 A1 WO2017086010 A1 WO 2017086010A1 JP 2016077338 W JP2016077338 W JP 2016077338W WO 2017086010 A1 WO2017086010 A1 WO 2017086010A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- correction
- horizontal line
- image data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00025—Operational features of endoscopes characterised by power management
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present invention relates to an inspection apparatus, an image processing apparatus, a correction value calculation method, an image processing method, an inspection program, and a correction for calculating a correction value for correcting transverse stripe noise included in image data generated by an image sensor that images a subject.
- a correction value calculation method for calculating a correction value for correcting transverse stripe noise included in image data generated by an image sensor that images a subject.
- imaging devices such as digital cameras are equipped with imaging elements such as CMOS (Complementary Metal Oxide Semiconductor) sensors and CCD (Charge Coupled Device) sensors.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- a horizontal streak noise correction method after calculating an offset value by subtracting a reference black level from an average value of an output signal of an OB pixel unit composed of a plurality of light-shielded photodiodes, the structure of the image sensor A technique is known in which a correction amount is calculated by multiplying a coefficient determined by ## EQU2 ## and a signal of an effective pixel portion including a plurality of photodiodes that are not shielded is corrected based on the correction amount (see Patent Document 1). .
- Patent Document 1 described above, different noises may be generated in the OB pixel unit and the effective pixel unit due to fluctuations in the power supply voltage. In such a case, the lateral stripe noise can be corrected with high accuracy. There was a problem that the image quality was degraded.
- the present invention has been made in view of the above, and corrects horizontal stripe noise with high accuracy even when different noises are generated in the OB pixel portion and the effective pixel portion due to fluctuations in the power supply voltage. It is an object to provide an inspection apparatus, an image processing apparatus, a correction value calculation method, an image processing method, an inspection program, and a correction program.
- the inspection apparatus is arranged in a two-dimensional matrix, receives light from the outside, and generates and outputs an imaging signal corresponding to the amount of received light.
- Imaging having a plurality of effective pixels and one or a plurality of correction pixels provided for each horizontal line in the arrangement of the plurality of effective pixels and generating and outputting a dummy signal used for correction processing of the imaging signal
- An acquisition unit acquired from an element and the plurality of dark image data acquired by the acquisition unit are added and divided by the number of frames of the dark image data to generate addition average image data And the addition average image data generated by the first generation unit from the image data corrected based on the degree of correlation between the plurality of correction pixels and the plurality of effective pixels for each horizontal line.
- a second generation unit that generates difference image data for each frame, a first calculation unit that calculates a statistical value of the difference image data for each frame generated by the second generation unit as a transverse noise index,
- a second calculation unit that calculates a plurality of the horizontal stripe noise indexes calculated for each frame by the first calculation unit for each degree of correlation, and a plurality of the horizontal stripe noises that the second calculation unit calculates for each degree of correlation.
- a third calculation unit that calculates the degree of correlation that is the minimum value among the exponents as the correction value, and the correction value calculated by the third calculation unit is recorded in a recording unit provided in the imaging element. Characterized by comprising a recording
- a fourth calculation that calculates a clamp value for each horizontal line for correcting the imaging signal of each of the plurality of effective pixels based on the degree of correlation.
- a clamp processing unit that performs a clamping process for subtracting the clamp value calculated by the fourth calculation unit from the imaging signal of each of the plurality of effective pixels for each horizontal line, and
- the generation unit generates the difference image data for each frame by subtracting the addition average image data generated by the first generation unit from the image data on which the clamp processing has been performed.
- the first calculation unit calculates an average value of the imaging signals for each horizontal line of the difference image corresponding to the difference image data generated by the second generation unit.
- the second calculation unit calculates a statistical value based on an average value of the imaging signals for each horizontal line calculated by the first calculation unit as the horizontal stripe noise index for each frame.
- the fourth calculation unit includes a dummy signal output by each of the correction pixels in the dark image corresponding to the dark image data acquired by the acquisition unit.
- a fifth calculation unit that calculates an average value for each frame; and a horizontal line to be corrected in a dark image corresponding to the dark image data acquired by the acquisition unit.
- a sixth calculator that calculates an average value of the dummy signals output by each of the correction pixels in the range of lines; n for the horizontal line to be corrected; m for the range; and each of the correction pixels in the dark image.
- the average value of the output dummy signal is AVE_ob
- the average value of the dummy signal output by each of the correction pixels in the range is CLP_temp (n, m)
- the coefficient indicating the degree of correlation is CLP_a (n)
- a seventh calculation unit that calculates CLP_a (n) according to the following equation (1) is provided.
- CLP_a (n) (CLP_temp (n, m) ⁇ AVE_ob) ⁇ k + AVE_ob (1)
- k satisfies 0 ⁇ k ⁇ 1.
- the fourth calculation unit includes a dummy signal output by each of the correction pixels in the dark image corresponding to the dark image data acquired by the acquisition unit.
- a fifth calculation unit that calculates an average value for each frame; and a horizontal line to be corrected in a dark image corresponding to the dark image data acquired by the acquisition unit.
- a sixth calculation unit that calculates an average value of the dummy signals output from each of the correction pixels in the range of lines; n for the horizontal line to be corrected; m1, m2 for the different ranges; and the correction for the dark image.
- AVE_ob is an average value of dummy signals output from each pixel
- CLP_temp1 (n) is an average value of dummy signals output from the correction pixels in the different ranges.
- a seventh calculating unit that calculates (n).
- CLP_a1 (n) (CLP_temp1 (n, m1) ⁇ AVE_ob) ⁇ k1 + (AVE_ob ⁇ 2)
- CLP_a2 (n) (CLP_temp2 (n, m1) ⁇ AVE_ob) ⁇ k2 + (AVE_ob ⁇ 2)
- CLP_a (n) CLP_a1 (n) + CLP_a2 (n) (4)
- k1 satisfies the condition of 0 ⁇ k1 ⁇ 1
- k2 satisfies the condition of 0 ⁇ k2 ⁇ 1.
- the degree of correlation is determined based on a dummy signal output from each of the plurality of correction pixels for each horizontal line and an imaging signal output from each of the plurality of effective pixels. It is the difference of these.
- the statistical value is a standard deviation.
- the correction pixel is a dummy pixel that generates a dummy signal corresponding to an OB pixel in which light is shielded.
- the correction pixel is an OB pixel in which light is shielded.
- the imaging element is disposed at a distal end of an insertion portion of an endoscope that images a subject, and the recording portion is continuous with the insertion portion.
- the image data is arranged in a connector portion connectable to a processor that performs image processing on the image data.
- the image processing device is arranged in a two-dimensional matrix, receives light from the outside, generates an imaging signal corresponding to the amount of received light, and outputs the effective pixels, and the plurality of pixels Included in the image data generated by the image sensor and an image sensor that is provided for each horizontal line in the arrangement and has one or more correction pixels that generate and output a dummy signal used for the correction process of the image signal
- An image processing apparatus connected to an imaging apparatus including a recording unit that records a correction value including a coefficient indicating a degree of correlation with the correction value and the imaging value.
- An acquisition unit that acquires each of the image data generated by the element, and an average value calculation unit that calculates an average value of the dummy signals output by each of the correction pixels in the image corresponding to the image data acquired by the acquisition unit And based on the average value of the dummy signal output by each of the correction pixels calculated by the average value calculation unit, the range of the horizontal line, and the coefficient, the imaging signal of each of the plurality of effective pixels is calculated.
- a clamp value calculation unit that calculates a clamp value for correction for each horizontal line, and the plurality of effective pixels in the horizontal line to be corrected based on the clamp value for each horizontal line calculated by the clamp value calculation unit And a correction unit that corrects each of the imaging signals.
- the correction value calculation method includes a plurality of effective pixels arranged in a two-dimensional matrix, receiving light from the outside, and generating and outputting an imaging signal corresponding to the amount of received light, and the plurality of pixels Horizontal streak noise included in image data generated by an image pickup device, which is provided for each horizontal line in the arrangement, and which generates and outputs a dummy signal used for correction processing of the image pickup signal.
- a correction value calculation method performed by an inspection apparatus that calculates a correction value to be used when correcting image data, wherein a plurality of dark-time image data generated by the image sensor in a state where the image sensor is shielded from light An acquisition step acquired from the above, and adding the plurality of dark image data acquired in the acquisition step and dividing by the number of frames of the dark image data
- a first generation step for generating image data and the addition average generated by the first generation step from the image data corrected based on a degree of correlation between the correction pixel and the plurality of effective pixels for each horizontal line.
- the image processing method is arranged in a two-dimensional matrix, receives light from the outside, generates an imaging signal corresponding to the amount of received light, and outputs the effective pixel; and the plurality of pixels Included in the image data generated by the image sensor and an image sensor that is provided for each horizontal line in the arrangement and has one or more correction pixels that generate and output a dummy signal used for the correction process of the image signal
- a recording unit that records a correction value including a coefficient indicating a degree of correlation with the image processing apparatus.
- An inspection program is arranged in a two-dimensional matrix, receives a light from the outside, generates a plurality of effective pixels according to the amount of received light, and outputs the effective pixels, and the arrangement of the plurality of pixels
- the horizontal streak noise included in the image data generated by the image sensor that includes one or a plurality of correction pixels that are provided for each horizontal line and that generates and outputs a dummy signal used for the correction processing of the imaging signal is corrected.
- the inspection apparatus In the acquisition step of acquiring a plurality of dark image data generated by the image sensor from the image sensor in a state where the image sensor is shielded from light, the inspection apparatus that calculates a correction value to be used in A first generation process for generating the addition average image data by adding the obtained plurality of dark image data and dividing by the number of frames of the dark image data. And the difference image obtained by subtracting the addition average image data generated by the first generation step from the image data corrected based on the degree of correlation between the correction pixel and the plurality of effective pixels for each horizontal line.
- a first calculation step of calculating a statistical value of the difference image data for each frame generated in the second generation step as a transverse stripe noise index and in the first calculation step A second calculation step of calculating a plurality of transverse stripe noise indices calculated for each frame for each degree of correlation; and a minimum value among the plurality of transverse stripe noise indices calculated for each degree of correlation in the second calculation step
- a recording control step of recording the calculated said correction value recording unit provided in the image pickup device characterized in that to the execution.
- the correction program according to the present invention is arranged in a two-dimensional matrix, receives light from the outside, generates an imaging signal corresponding to the amount of received light, and outputs the effective pixel, and the arrangement of the plurality of pixels Provided in each horizontal line, and having one or a plurality of correction pixels that generate and output a dummy signal used for correction processing of the imaging signal, and horizontal stripes included in image data generated by the imaging element
- a correction value used when correcting noise including a horizontal line to be corrected, a range of horizontal lines in the vertical direction with reference to the horizontal line, the correction pixel and the plurality of effective pixels for each horizontal line,
- a recording unit that records a correction value including a coefficient indicating the degree of correlation between the correction unit and the imaging element.
- a clamp value calculation step for calculating a clamp value for each horizontal line, and based on the clamp value for each horizontal line calculated in the clamp value calculation step, the plurality of effective pixels in the horizontal line to be corrected And a correction step of correcting each of the imaging signals.
- the present invention even when different noises are generated in the OB pixel portion and the effective pixel portion due to fluctuations in the power supply voltage, it is possible to accurately correct the horizontal stripe noise.
- FIG. 1 is a diagram schematically showing an overall configuration of an inspection system according to Embodiment 1 of the present invention.
- FIG. 2 is a block diagram showing functions of main parts of the inspection system according to Embodiment 1 of the present invention.
- FIG. 3 is a block diagram showing a detailed configuration of the first chip shown in FIG.
- FIG. 4 is a circuit diagram showing a configuration of the first chip.
- FIG. 5A is a circuit diagram illustrating a configuration of a reference voltage generation unit of the light receiving unit of the endoscope according to the first embodiment.
- FIG. 5B is a circuit diagram illustrating a configuration of a reference voltage generation unit of the light receiving unit of the endoscope according to the first embodiment.
- FIG. 5A is a circuit diagram illustrating a configuration of a reference voltage generation unit of the light receiving unit of the endoscope according to the first embodiment.
- FIG. 5B is a circuit diagram illustrating a configuration of a reference voltage generation unit of the light receiving unit of the endoscope according to
- FIG. 6A is a diagram schematically illustrating an outline of a conventional method for correcting horizontal stripe noise.
- FIG. 6B is a diagram illustrating an example of an image corrected by a conventional horizontal stripe noise correction method.
- FIG. 7A is a diagram schematically illustrating a case where the horizontal stripe noise cannot be corrected by a conventional horizontal stripe noise correction method.
- FIG. 7B is a diagram illustrating an example of an image when the horizontal stripe noise cannot be corrected by a conventional horizontal stripe noise correction method.
- FIG. 8A is a diagram schematically illustrating a dark image corresponding to dark image data generated by the imaging unit according to Embodiment 1 of the present invention.
- FIG. 8B is a diagram schematically showing a corrected image obtained by correcting the horizontal stripe noise included in the dark image data according to Embodiment 1 of the present invention.
- FIG. 8C is a diagram schematically illustrating an average value of pixel values for each row in the imaging unit according to Embodiment 1 of the present invention.
- FIG. 9A is a flowchart showing an overview of processing for calculating the eigenvalues of the imaging unit executed by the inspection apparatus according to Embodiment 1 of the present invention.
- FIG. 9B is a flowchart showing an overview of processing for calculating the eigenvalues of the imaging unit executed by the inspection apparatus according to Embodiment 1 of the present invention.
- FIG. 9A is a flowchart showing an overview of processing for calculating the eigenvalues of the imaging unit executed by the inspection apparatus according to Embodiment 1 of the present invention.
- FIG. 9B is a flowchart showing an overview of processing for calculating the eigenvalues of the imaging unit executed
- FIG. 10 is a diagram schematically illustrating a clamp value calculation method performed by the inspection apparatus according to the first embodiment of the present invention.
- FIG. 11 is a diagram schematically showing the overall configuration of the endoscope system according to Embodiment 1 of the present invention.
- FIG. 12 is a block diagram showing a functional configuration of the endoscope system according to Embodiment 1 of the present invention.
- FIG. 13 is a flowchart showing an outline of processing executed by the processor according to Embodiment 1 of the present invention.
- FIG. 14 is a flowchart showing an outline of the horizontal stripe noise correction processing of FIG.
- FIG. 15A is a flowchart showing an overview of processing for calculating eigenvalues of the imaging unit executed by the inspection apparatus according to Embodiment 2 of the present invention.
- FIG. 15B is a flowchart showing an overview of processing for calculating the eigenvalues of the imaging unit executed by the inspection apparatus according to Embodiment 2 of the present invention.
- FIG. 16 is a diagram schematically illustrating a calculation method for calculating the eigenvalue of the imaging unit executed by the inspection apparatus according to the second embodiment of the present invention.
- FIG. 17 is a flowchart showing an outline of the horizontal stripe noise correction process executed by the processor according to the second embodiment of the present invention.
- an inspection system and an endoscope system for inspecting an endoscope including an imaging element such as a CMOS or a CCD.
- an imaging element such as a CMOS or a CCD.
- the present invention is not limited by this embodiment.
- the same portions will be described with the same reference numerals.
- the drawings are schematic, and it should be noted that the relationship between the thickness and width of each member, the ratio of each member, and the like are different from the actual ones. Moreover, the part from which a mutual dimension and ratio differ also in between drawings.
- FIG. 1 is a diagram schematically showing an overall configuration of an inspection system according to Embodiment 1 of the present invention.
- An inspection system 1 shown in FIG. 1 includes an endoscope 2 and an inspection device 6.
- the endoscope 2 includes a transmission cable 3, an operation unit 4, and a connector unit 5.
- the endoscope 2 captures an in-vivo image of the subject by inserting the insertion portion 100 that is a part of the transmission cable 3 into the body cavity of the subject, and outputs an imaging signal (image data) to the inspection device 6 or described later. Output to the processor (image processing apparatus).
- the endoscope 2 is provided on one end side of the transmission cable 3 and on the distal end 101 side of the insertion unit 100 that is inserted into the body cavity of the subject, an imaging unit 20 (imaging device) that captures in-vivo images.
- an operation unit 4 On the proximal end 102 side of the insertion unit 100, an operation unit 4 that receives various operations on the endoscope 2 is provided.
- the imaging unit 20 is connected to the connector unit 5 via the operation unit 4 by the transmission cable 3.
- the image data captured by the imaging unit 20 is output to the connector unit 5 via the transmission cable 3 having a length of, for example, several meters.
- a light shielding cap A100 is detachably provided at the tip 101.
- the light shielding cap A100 is used when the endoscope 2 generates a dark image.
- the dark image is an image (image data) generated without an image sensor of the imaging unit 20 described later receiving light.
- the connector unit 5 is connected to the inspection device 6 or a processor to be described later, and performs predetermined signal processing on the imaging signal output from the imaging unit 20 and performs A / D conversion on the imaging signal from an analog signal to a digital signal. Output to device 6 or processor.
- the inspection apparatus 6 calculates a correction amount and a coefficient for correcting the transverse stripe noise included in the imaging signal generated by the endoscope 2 and records the calculation result in the endoscope 2.
- FIG. 2 is a block diagram showing functions of a main part of the inspection system 1. With reference to FIG. 2, the detail of each part structure of the test
- the endoscope 2 includes an imaging unit 20, a transmission cable 3, and a connector unit 5.
- the imaging unit 20 includes a first chip 21 (imaging device) and a second chip 22.
- the first chip 21 is arranged in a two-dimensional matrix in the matrix direction, receives light from the outside, generates a plurality of unit pixels 230 that outputs an imaging signal corresponding to the amount of received light, and an arrangement of the plurality of unit pixels 230.
- a light receiving unit 23 having a plurality of dummy pixels 247 that generates and outputs a dummy signal used for correction processing of an imaging signal, and an imaging signal and a dummy signal photoelectrically converted by the light receiving unit 23.
- a read unit 24 that reads data, and a timing generation unit 25 that generates a timing signal based on the reference clock signal and the synchronization signal input from the connector unit 5 and outputs them to the read unit 24.
- the second chip 22 includes a buffer 27 that functions as a transmission unit that transmits an imaging signal output from the first chip 21 to the inspection device 6 or a processor to be described later via the transmission cable 3 and the connector unit 5.
- the combination of the circuits mounted on the first chip 21 and the second chip 22 can be changed as appropriate according to the convenience of setting.
- the imaging unit 20 receives the power supply voltage VDD generated by the power supply unit 61 in the inspection apparatus 6 or the power supply unit of the processor described later together with the ground GND via the transmission cable 3.
- a power supply stabilizing capacitor C1 is provided between the power supply voltage VDD supplied to the imaging unit 20 and the ground GND.
- the connector unit 5 includes an analog front end unit 51 (hereinafter referred to as “AFE unit 51”), an imaging signal processing unit 52, a connector recording unit 53, and a drive signal generation unit 54.
- the connector unit 5 functions as a relay processing unit that electrically connects the endoscope 2 (imaging unit 20) and the processor 9 and relays an electrical signal.
- the connector unit 5 and the imaging unit 20 are connected by a transmission cable 3, and the connector unit 5 and the processor 9 are connected by, for example, a coil cable.
- the AFE unit 51 receives an imaging signal output from the imaging unit 20 via the transmission cable 3, performs impedance matching with a passive element such as a resistor, extracts an AC component with a capacitor, and operates with a voltage dividing resistor. To decide. Thereafter, the AFE unit 51 performs analog-to-digital (A / D) conversion on the analog imaging signal and sends the analog imaging signal to the imaging signal processing unit 52 as a digital imaging signal.
- a / D analog-to-digital
- the imaging signal processing unit 52 is configured by, for example, an FPGA (Field Programmable Gate Array), and a reference clock signal (for example, a 27 MHz clock signal) serving as a reference for the operation of each component of the endoscope 2 and the start of each frame
- a synchronization signal representing the position is generated and supplied to the timing generation unit 25, and predetermined signal processing such as noise removal is performed on the digital imaging signal input from the AFE unit 51 to perform the inspection apparatus 6 or described later.
- predetermined signal processing such as noise removal is performed on the digital imaging signal input from the AFE unit 51 to perform the inspection apparatus 6 or described later.
- the connector recording unit 53 is configured using a flash memory, a RAM (Random Access Memory), or the like, and temporarily records various information for driving the endoscope 2 and parameters being processed.
- the connector recording unit 53 includes an eigenvalue information recording unit 531 that records eigenvalues used when correcting lateral stripe noise calculated by the inspection apparatus 6 to be described later.
- the drive signal generation unit 54 is supplied from the inspection apparatus 6 and represents the start position of each frame based on a reference clock signal (for example, a 27 MHz clock signal) that serves as a reference for the operation of each component of the endoscope 2.
- a synchronization signal is generated and output to the timing generation unit 25 of the imaging unit 20 via the transmission cable 3 together with the reference clock signal.
- the synchronization signal generated by the drive signal generation unit 54 includes a horizontal synchronization signal and a vertical synchronization signal.
- the inspection device 6 includes a power supply unit 61, a clock generation unit 62, a recording unit 63, and an image processing unit 64.
- the power supply unit 61 generates a power supply voltage VDD, and supplies the generated power supply voltage VDD to the imaging unit 20 through the connector unit 5 and the transmission cable 3 together with the ground GND.
- the clock generation unit 62 generates a reference clock signal and outputs the generated reference clock signal to the drive signal generation unit 54.
- the recording unit 63 is configured using a flash memory, a RAM (Random Access Memory), or the like, and temporarily records various information for driving the inspection apparatus 6 and parameters being processed.
- the recording unit 63 sequentially records the imaging signals generated by the imaging unit 20 of the endoscope 2.
- the image processing unit 64 includes an acquisition unit 641, a first generation unit 642, a fourth calculation unit 643, a clamp processing unit 644, a second generation unit 645, a first calculation unit 646, and a second calculation unit 647.
- the acquisition unit 641 captures a plurality of dark image data generated by the imaging unit 20 of the endoscope 2 via the connector unit 5 of the endoscope 2 in a state where the imaging unit 20 (imaging element) is shielded from light. Get from 20.
- the first generation unit 642 generates the addition average image data by adding the plurality of dark image data acquired by the acquisition unit 641 and dividing by the number of frames of the dark image data. Specifically, the first generation unit 642 adds all of the plurality of dark image data acquired by the acquisition unit 641 and divides the added result by the number of frames of the dark image data, thereby adding and averaging Generate image data.
- the fourth calculation unit 643 horizontally sets a clamp value for correcting each imaging signal of the plurality of unit pixels 230 based on the degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line. Calculate for each line. Specifically, the fourth calculation unit 643 weights the plurality of dummy pixels 247 for each horizontal line based on the degree of correlation with the plurality of unit pixels 230, and calculates the imaging signals of the plurality of unit pixels 230. A clamp value for correction is calculated for each horizontal line.
- the fourth calculation unit 643 includes a fifth calculation unit 643a, a sixth calculation unit 643b, and a seventh calculation unit 643c.
- the fifth calculation unit 643a calculates the average value of the dummy signals output from each of the plurality of dummy pixels 247 in the dark image corresponding to the dark image data acquired by the acquisition unit 641 for each frame.
- the sixth calculation unit 643b includes a horizontal line to be corrected in the dark image corresponding to the dark image data acquired by the acquisition unit 641, and a plurality of dummy pixels in the range of the horizontal line in the vertical direction on the basis of the horizontal line. The average value of the dummy signals output by each of 247 is calculated.
- the seventh calculation unit 643c includes a horizontal line to be corrected, a range of the horizontal line, an average value of dummy signals output from each of the plurality of dummy pixels 247 in the dark image, and each of the plurality of dummy pixels 247 in the range of the horizontal line.
- the clamp value is calculated on the basis of the average value of the dummy signals output by the and the coefficient indicating the degree of correlation.
- the seventh calculation unit 643c includes the horizontal line to be corrected, the range of the horizontal line, the average value of the dummy signal output from each of the plurality of dummy pixels 247 in the dark image, and the plurality of values in the range of the horizontal line.
- a clamp value is calculated based on an average value of dummy signals output from each of the dummy pixels 247 and weighting by a coefficient indicating the degree of correlation.
- the clamp processing unit 644 performs a clamp process for subtracting the clamp value calculated by the fourth calculation unit 643 from each imaging signal of the plurality of unit pixels 230 for each horizontal line.
- the second generation unit 645 is an addition generated by the first generation unit 642 from image data corrected by weighting based on the degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line of the imaging unit 20. Difference image data obtained by subtracting the average image data is generated for each frame. Specifically, the second generation unit 645 subtracts the addition average image data generated by the first generation unit 642 from the image data that has been clamped by the clamp processing unit 644, thereby obtaining the difference image data for each frame. Generate.
- the degree of correlation is the difference between the dummy signal output from each of the plurality of dummy pixels 247 and the imaging signal output from each of the plurality of unit pixels 230 for each horizontal line.
- the first calculation unit 646 calculates a statistical value of the difference image data for each frame generated by the second generation unit 645 as a horizontal stripe noise index. Specifically, the first calculation unit 646 has an average value, a median value, a maximum value, a minimum value, and a mode of the imaging signal for each horizontal line of the difference image corresponding to the difference image data generated by the second generation unit 645. Calculate one of the values. In the following description, it is assumed that the first calculation unit 646 calculates the average value of the imaging signals for each horizontal line of the difference image corresponding to the difference image data generated by the second generation unit 645.
- the second calculation unit 647 calculates the plurality of horizontal stripe noise indexes calculated for each frame by the first calculation unit 646 for each degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line of the imaging unit 20. calculate. Specifically, the second calculation unit 647 calculates a statistical value based on the average value of the imaging signals for each horizontal line calculated by the first calculation unit 646 as a horizontal stripe noise index for each frame.
- the third calculation unit 648 is the minimum value among the plurality of transverse stripe noise indexes calculated by the second calculation unit 647 for each degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line of the imaging unit 20.
- the degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line of the imaging unit 20 is calculated as a correction value for correcting the horizontal stripe noise included in the image data.
- the recording control unit 649 records the correction value calculated by the third calculation unit 648 in the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2.
- the imaging control unit 650 controls the imaging operation of the endoscope 2 connected to the inspection device 6. Specifically, the imaging control unit 650 causes the endoscope 2 connected to the inspection apparatus 6 to start imaging at a predetermined frame rate.
- FIG. 3 is a block diagram showing a detailed configuration of the first chip shown in FIG.
- FIG. 4 is a circuit diagram showing a configuration of the first chip 21.
- the first chip 21 includes a light receiving unit 23, a reading unit 24 (drive unit), a timing generation unit 25, a hysteresis unit 28, and an output unit 31 (amplifier).
- a light receiving unit 23 a reading unit 24 (drive unit), a timing generation unit 25, a hysteresis unit 28, and an output unit 31 (amplifier).
- the hysteresis unit 28 performs waveform shaping of the reference clock signal and the synchronization signal input via the transmission cable 3, and outputs the reference clock signal and synchronization signal subjected to the waveform shaping to the timing generation unit 25.
- the timing generation unit 25 generates various drive signals based on the reference clock signal and the synchronization signal input from the hysteresis unit 28, and a vertical scanning unit 241 (row selection circuit) of the readout unit 24, which will be described later, and a noise removal unit. 243 and the horizontal scanning unit 245, respectively.
- the reading unit 24 transfers an imaging signal output from each of a plurality of pixels of the light receiving unit 23 described later and a reference signal output from the reference voltage generation unit 246 to the output unit 31.
- the reading unit 24 includes a vertical scanning unit 241 (row selection circuit), a constant current source 242, a noise removing unit 243 (noise removing circuit), a column source follower transistor 244, a horizontal scanning unit 245, and a reference voltage generating unit. 246.
- the noise removing unit 243 removes the output variation of each unit pixel 230 and the noise signal at the time of pixel reset, and outputs an imaging signal photoelectrically converted by each unit pixel 230. Details of the noise removing unit 243 will be described later.
- the horizontal transfer line 258 functions as a transfer unit that transfers an imaging signal output from each unit pixel 230.
- Each unit pixel 230 includes a photoelectric conversion element 231 (photodiode), a charge conversion unit 233, a transfer transistor 234 (first transfer unit), a pixel reset unit 236 (transistor), a pixel source follower transistor 237, Dummy pixels 247 (reference signal generation unit).
- a photoelectric conversion element 231 photodiode
- a charge conversion unit 233 charge conversion unit
- a transfer transistor 234 first transfer unit
- a pixel reset unit 236 transistor
- a pixel source follower transistor 237 Dummy pixels 247 (reference signal generation unit).
- one or a plurality of photoelectric conversion elements and a transfer transistor for transferring signal charges from the respective photoelectric conversion elements to the charge conversion unit 233 are referred to as a unit cell. That is, the unit cell includes a set of one or a plurality of photoelectric conversion elements and transfer transistors, and each unit pixel 230 includes one unit cell.
- the photoelectric conversion element 231 photoelectrically converts incident light into a signal charge amount corresponding to the amount of light and accumulates it.
- the photoelectric conversion element 231 has a cathode connected to one end of the transfer transistor 234 and an anode connected to the ground GND.
- the charge conversion unit 233 includes a floating diffusion capacitor (FD), and converts the charge accumulated in the photoelectric conversion element 231 into a voltage.
- FD floating diffusion capacitor
- the transfer transistor 234 transfers the signal charge from the photoelectric conversion element 231 to the charge conversion unit 233.
- a signal line to which a drive signal (row selection pulse) ⁇ R and a drive signal ⁇ T are supplied is connected to the gate of the transfer transistor 234, and the other end side is connected to the charge conversion unit 233.
- the transfer transistor 234 is turned on when the drive signal ⁇ R and the drive signal ⁇ T are supplied from the vertical scanning unit 241 via the signal line, and transfers the signal charge from the photoelectric conversion element 231 to the charge conversion unit 233.
- the pixel reset unit 236 resets the charge conversion unit 233 to a predetermined potential.
- the pixel reset unit 236 has one end connected to the power supply voltage VR, the other end connected to the charge conversion unit 233, and a gate connected to a signal line to which a drive signal ⁇ R is supplied.
- the drive signal ⁇ R is supplied from the vertical scanning unit 241 via the signal line, the pixel reset unit 236 is turned on, releases the signal charge accumulated in the charge conversion unit 233, and causes the charge conversion unit 233 to have a predetermined potential. Reset to.
- One end of the pixel source follower transistor 237 is connected to the power supply voltage VR, the other end is connected to the vertical transfer line 239, and a signal (imaging signal or reset signal) voltage-converted by the charge conversion unit 233 is connected to the gate. Entered.
- a drive signal ⁇ T is supplied to the gate of the transfer transistor 234 after the selection operation described later, the pixel source follower transistor 237 reads the charge from the photoelectric conversion element 231 and is converted into a voltage by the charge conversion unit 233. Later, it is transferred to the vertical transfer line 239.
- a plurality of dummy pixels 247 are provided for each horizontal line of the unit pixel 230.
- the dummy pixel 247 includes a pixel reset unit 236a and a pixel source follower transistor 237a. That is, the photoelectric conversion element 231 (photodiode), the charge conversion unit 233, and the transfer transistor 234 (first transfer unit) are omitted from the unit pixel 230.
- the pixel reset unit 236a fixes the gate of the pixel source follower transistor 237a at a predetermined potential.
- One end of the pixel reset unit 236a is connected to the power supply voltage VR, the other end is connected to the gate of the pixel source follower transistor 237a, and a signal line to which the drive signal ⁇ T and the drive signal ⁇ R are supplied is connected to the gate.
- the pixel reset unit 236a When the drive signal ⁇ R is supplied to the gate of the pixel reset unit 236a from the timing generation unit 25 via the signal line, the pixel reset unit 236a is turned on, and the gate of the pixel source follower transistor 237a is set to a predetermined potential (VR). Fixed.
- the pixel source follower transistor 237a has one end connected to the power supply voltage VR supplied from the reference voltage generation unit 246 (reference voltage generation unit 246a shown in FIG. 5A), the other end connected to the vertical transfer line 239, and the gate A predetermined potential (VR) is input.
- the pixel source follower transistor 237a configured as described above performs a selection operation described later, a dummy signal (corresponding to an OB signal) corresponding to the predetermined potential VR is transmitted to the vertical transfer line via the pixel source follower transistor 237a. 239.
- the power supply voltage VR is supplied to the gate of the pixel reset unit 236a when the power supply voltage VDD level (eg, 3.3V) and VR (eg, 2V) are input.
- VDD level eg, 3.3V
- VR eg, 2V
- the drive signal ⁇ R is supplied, the pixel source follower transistor 237a is turned on, and the dummy pixel 247 including the pixel reset unit 236a is selected (selection operation).
- the drive signal ⁇ R is supplied to the gate of the pixel reset unit 236a when the power supply voltage VR is input with a non-selection voltage level (for example, 1V) and VR (for example, 1V)
- the pixel source follower transistor 237a Is turned off, and the selection of the dummy pixel 247 including the pixel reset unit 236a is released (non-selection operation).
- the constant current source 242 has one end connected to the vertical transfer line 239, the other end connected to the ground GND, and a bias voltage Vbias1 applied to the gate.
- the constant current source 242 drives the unit pixel 230 with the constant current source 242 and reads the output of the unit pixel 230 to the vertical transfer line 239.
- the signal read to the vertical transfer line 239 is input to the noise removing unit 243.
- the noise removing unit 243 includes a transfer capacitor 252 (AC coupling capacitor) and a clamp switch 253 (transistor).
- the transfer capacitor 252 has one end connected to the vertical transfer line 239 and the other end connected to the column source follower transistor 244.
- the clamp switch 253 has one end connected to a signal line to which the clamp voltage Vclp is supplied from the reference voltage generator 246.
- the other end side of the clamp switch 253 is connected between the transfer capacitor 252 and the column source follower transistor 244, and the drive signal ⁇ VCL is input from the timing generation unit 25 to the gate.
- the imaging signal input to the noise removing unit 243 is an optical noise sum signal including a noise component.
- the transfer capacitor 252 is reset by the clamp voltage Vclp supplied from the reference voltage generator 246 when the drive signal ⁇ VCL is input from the timing generator 25 to the gate of the clamp switch 253 and the clamp switch 253 is turned on. .
- the imaging signal from which noise has been removed by the noise removing unit 243 is input to the gate of the column source follower transistor 244.
- the noise removing unit 243 does not require a sampling capacitor (sampling capacity)
- the capacity of the transfer capacity (AC coupling capacitor) 252 may be sufficient with respect to the input capacity of the column source follower transistor 244.
- the noise removing unit 243 can reduce the area occupied by the first chip 21 because of the absence of the sampling capacity.
- the column source follower transistor 244 has one end side connected to the power supply voltage VDD, the other end side connected to one end side of the column selection switch 254 (second transfer unit), and a gate in which noise is removed by the noise removing unit 243. A signal is input.
- the column selection switch 254 has one end connected to the other end of the column source follower transistor 244, the other end connected to the horizontal transfer line 258 (second transfer line), and a gate from the horizontal scanning unit 245 to the drive signal ⁇ HCLK.
- a signal line for supplying ⁇ M> is connected.
- the column selection switch 254 is turned on when the drive signal ⁇ HCLK ⁇ M> is supplied from the horizontal scanning unit 245 to the gate of the column selection switch 254 of the column ⁇ M>, and the signal of the vertical transfer line 239 of the column ⁇ M>.
- the image pickup signal from which noise has been removed by the noise removing unit 243 is transferred to the horizontal transfer line 258.
- the horizontal reset transistor 256 has one end connected to the ground GND, the other end connected to the horizontal transfer line 258, and a gate to which the drive signal ⁇ HCLR is input from the timing generator 25.
- the horizontal reset transistor 256 is turned on when the drive signal ⁇ HCLR is input from the timing generation unit 25 to the gate of the horizontal reset transistor 256 and resets the horizontal transfer line 258.
- the constant current source 257 has one end connected to the horizontal transfer line 258, the other end connected to the ground GND, and a bias voltage Vbias2 applied to the gate.
- the constant current source 257 reads the imaging signal from the vertical transfer line 239 to the horizontal transfer line 258.
- the imaging signal or dummy signal read to the horizontal transfer line 258 is input to the output unit 31.
- the output unit 31 amplifies and outputs the noise-removed imaging signal and the dummy signal (a reference signal that becomes a reference when correcting the horizontal line) as necessary (Vout).
- the readout of the imaging signal after noise removal from the vertical transfer line 239 and the reset of the horizontal transfer line 258 by the horizontal reset transistor 256 are performed alternately, thereby cross-talking the imaging signal in the column direction. Can be suppressed.
- the dummy signal and the imaging signal are transmitted to the connector unit 5 through the transmission cable 3.
- 5A and 5B are circuit diagrams showing the configuration of the reference voltage generation unit 246 of the light receiving unit 23 of the endoscope 2 according to the first embodiment.
- the reference voltage generation unit 246a illustrated in FIG. 5A includes a resistance voltage dividing circuit including two resistors 291 and 292, and a multiplexer 293 driven by a drive signal ⁇ VRSEL.
- the multiplexer 293 alternately generates the power supply voltage VDD (for example, 3.3 V) and the non-selection voltage Vfd_L (for example, 1 V) generated by the resistance voltage dividing circuit in accordance with the drive signal ⁇ VRSEL input from the timing generation unit 25. Switching is applied to all the pixels and the dummy pixel 247 as the power supply voltage VR.
- VDD for example, 3.3 V
- Vfd_L for example, 1 V
- the reference voltage generation unit 246b generates the clamp voltage Vclp of the noise removal unit 243 at the timing when the drive signal ⁇ VSH is driven by driving the switch 294.
- FIG. 6A is a diagram schematically illustrating an outline of a conventional method for correcting horizontal stripe noise.
- FIG. 6B is a diagram illustrating an example of an image corrected by a conventional horizontal stripe noise correction method.
- FIG. 7A is a diagram schematically illustrating a case where the horizontal stripe noise cannot be corrected by a conventional horizontal stripe noise correction method.
- FIG. 7B is a diagram illustrating an example of an image when the horizontal stripe noise cannot be corrected by a conventional horizontal stripe noise correction method.
- FIG. 7A it is assumed that the horizontal stripe noise is uniformly generated in the upper half of the image every line and the horizontal stripe noise is generated only in the OB pixel in the lower half of the image.
- the conventional correction method the average value of the respective signal values of a plurality of OB pixels P1 B and clamp value for each horizontal line, the clamp value, the same in the effective pixel region not shielded Subtraction is performed from the imaging signal output by the pixel P1 i on the horizontal line.
- the clamp value the same in the effective pixel region not shielded Subtraction is performed from the imaging signal output by the pixel P1 i on the horizontal line.
- the upper half can correct the horizontal stripe noise normally, but the lower half becomes an abnormal correction.
- a row as seen in the upper half and a row as seen in the lower half are randomly generated in one image.
- the inspection device 6 calculates a clamp value for each first chip 21 (imaging device), and records the calculated clamp value in the connector recording unit 53 of the endoscope 2.
- FIG. 8A is a diagram schematically illustrating a dark image corresponding to the dark image data generated by the imaging unit 20.
- FIG. 8B is a diagram schematically showing a corrected image obtained by correcting the horizontal stripe noise included in the dark image data.
- FIG. 8C is a diagram schematically illustrating an average value of pixel values for each row in the imaging unit 20.
- the inspection apparatus 6 corrects the horizontal stripe noise included in the image data generated by the imaging unit 20 based on the dark image data generated by the imaging unit 20.
- the correction value (fixed value) between the horizontal line range and the constant that is optimal for is calculated.
- the inspection device 6 increases the number of horizontal line ranges by expanding the calculation range vertically with respect to the horizontal line to be corrected.
- the average value of the pixel values of the dummy pixel P5 B is subtracted from the clamp value of each horizontal line, and a coefficient (for example, 0, 0.1, 0.2,.
- the average value of the pixel values of the dummy pixel P5 B is added again, thereby calculating a clamp value for correcting the pixel value of each row in the effective pixel P5 i (processing 1).
- the inspection device 6 corrects the horizontal stripe noise included in the image data of the effective pixel P5 i by subtracting the clamp value of the corresponding horizontal line from the pixel value of each row in the effective pixel P5 i of each row.
- a corrected image P5 ave (see FIG. 8B) is generated (processing 2).
- the inspection device 6 to the corrected image P5 ave, calculates an average value P5 clp pixel values in each horizontal line (see FIG. 8C) as a horizontal stripe noise figure (process 3).
- the inspection device 6 calculates a plurality of horizontal stripe noise indexes by sequentially performing the above-described processing 1 to processing 3 while changing the horizontal line including the horizontal line to be corrected and the range and coefficient of the horizontal line including the horizontal line to be corrected.
- the optimal horizontal line range and coefficient for correcting horizontal stripe noise included in the image data generated by the imaging unit 20 by calculating a statistical value based on the calculated plurality of horizontal stripe noise indices are eigenvalues (correction values). (Processing 4).
- the inspection apparatus 6 calculates a plurality of horizontal stripe noise indexes by sequentially performing the above-described processing 1 to processing 3 while changing the horizontal line including the horizontal line to be corrected and the range and coefficient of the horizontal line including the horizontal line to be corrected. Then, after calculating the standard deviation of the calculated horizontal stripe noise indexes, the horizontal line range (number of rows) and the coefficient that minimize the standard deviation are calculated as correction values (fixed values).
- the inspection apparatus 6 used the standard deviation as the statistical value, for example, any one of a weighted average value, a mode value, a median value, a maximum value, and a minimum value may be used.
- FIG. 9A and FIG. 9B are flowcharts showing an overview of processing for calculating the eigenvalue of the imaging unit 20 executed by the inspection device 6.
- the imaging control unit 650 causes the endoscope 2 to start imaging dark image data at a predetermined frame rate (for example, 30 fps) (step S101).
- the acquisition unit 641 acquires dark image data of all frames (for example, 256 frames) generated by the imaging unit 20 of the endoscope 2 from the endoscope 2 and records the acquired dark image data. 63 (step S102).
- the first generation unit 642 acquires the dark image data of all the frames recorded in the recording unit 63, adds the pixel values of the effective pixel area in the acquired dark image data of all the frames, and then adds the pixel values.
- the pixel value is divided by the number of frames to generate addition average value image data (step S103).
- the image processing unit 64 acquires dark image data corresponding to the frame number from the recording unit 63 (step S106), and sets the horizontal line to be corrected to the first line (step S107).
- the fifth calculation unit 643a extracts the pixel value of the dummy pixel of the dark image data acquired from the recording unit 63, and calculates the average value AVE_ob of the pixel value of the extracted dummy pixel (step S108). Specifically, as illustrated in FIG. 10, the fifth calculation unit 643a extracts all the extracted pixel values after extracting the pixel values of all the dummy pixels in the range B1 in the dark image P10 acquired from the recording unit 63.
- the average value AVE_ob is calculated by adding the pixel values of the dummy pixels and dividing the added pixel value by the number of strokes of all the dummy pixels.
- step S109: Yes when the clamp value calculation processing by the fourth calculation unit 643 is completed up to the final horizontal line (step S109: Yes), the inspection apparatus 6 proceeds to step S115 described later. On the other hand, when the calculation process of the clamp value by the fourth calculation unit 643 is not finished up to the final horizontal line (step S109: No), the inspection apparatus 6 proceeds to step S110 described later.
- step S110 the fourth calculation unit 643 sets the horizontal line range B2 so that the total number of horizontal lines is m around the horizontal line to be corrected.
- the sixth calculation unit 643b extracts the pixel values of the dummy pixels 247 in the horizontal line range (number of rows) set in step S110 from the dark image data acquired from the recording unit 63, and then extracts them.
- the clamp value CLP_temp (n, m) is calculated by adding the pixel values of the dummy pixels 247 in the horizontal line range and dividing the added pixel value by the number of pixels of the dummy pixels 247 in the horizontal line range (step S111). ).
- the sixth calculation unit 643b applies the pixel value of the dummy pixel 247 in the horizontal line range m set in step S110 to the dark image P10 acquired from the recording unit 63.
- the pixel value of the dummy pixel 247 in the extracted horizontal line range m is added, and the added pixel value is divided by the number of pixels of the dummy pixel 247 in the horizontal line range m to obtain the clamp value CLP_temp (n, m) is calculated. Note that n indicates the number of horizontal lines (target lines) to be corrected.
- the seventh calculation unit 643c calculates a clamp value CLP_a (n) (step S112). Specifically, the seventh calculator 643c sets the horizontal line to be corrected to n, the horizontal line range to m, the average value of the dummy signal output from each of one or a plurality of correction pixels in the dark image, AVE_ob, The average value of dummy signals output from each of one or a plurality of correction pixels in the horizontal line range m is CLP_temp (n, m), and the degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line
- the clamp value CLP_a (n) is calculated by the following equation (1).
- CLP_a (n) (CLP_temp (n, m) ⁇ AVE_ob) ⁇ k + AVE_ob (1)
- k satisfies 0 ⁇ k ⁇ 1.
- the clamp processing unit 644 subtracts the clamp value CLP_a (n) calculated by the seventh calculation unit 643c in step S112 from the pixel value of the unit pixel 230 in the horizontal line to be corrected (step S113). Specifically, as illustrated in FIG. 10, the clamp processing unit 644 performs the clamp value CLP_a (n) calculated by the seventh calculation unit 643c on the pixel value of the unit pixel 230 of the horizontal line A1 to be corrected. Is clamped, and the result of this clamping process is recorded in the recording unit 63.
- the fourth calculation unit 643 sets the horizontal line to be corrected to the next line (step S114), and returns to step S109 described above.
- step S115 the second generation unit 645 generates difference image data. Specifically, the second generation unit 645 subtracts the addition average value image data calculated by the first generation unit 642 in step S103 described above from the dark image data corresponding to the frame number, thereby obtaining difference image data. Is generated.
- the first calculation unit 646 calculates average value data of a horizontal line range in one frame (step S116). Specifically, the first calculation unit 646 calculates an average value for each horizontal line for the difference image data generated by the second generation unit 645 in step S115, and uses the calculated calculation result as the difference image data. By dividing by the number of horizontal lines (number of rows), average value data for the horizontal lines (number of rows) in one frame is calculated. The first calculation unit 646 calculates the average value data of the horizontal line range in one frame, but is not limited to this, for example, standard deviation, median value, mode value, weighted average value Any of a maximum value and a minimum value may be used.
- the second calculation unit 647 calculates the horizontal stripe noise index (step S117). Specifically, the second calculation unit 647 calculates the horizontal streak noise index based on the average value data of the horizontal line range calculated by the first calculation unit 646 in step S116 described above.
- the second calculation unit 647 is one of the standard deviation, median value, mode value, weighted average value, maximum value, and minimum value of the average value data in the horizontal line range calculated by the first calculation unit 646. Is calculated as the horizontal stripe noise index of the current frame.
- the second calculation unit 647 calculates the standard deviation of the average value data in the horizontal line range calculated by the first calculation unit 646 as the horizontal line noise index.
- the second calculation unit 647 records the calculation result calculated in step S117 in the recording unit 63 (step S118).
- step S120: Yes the inspection apparatus 6 proceeds to step S121 described later.
- step S120: No the inspection apparatus 6 returns to step S106 described above.
- the third calculation unit 648 calculates the transverse noise index A. Specifically, the third calculation unit 648 calculates the horizontal stripe noise index A based on the horizontal stripe noise of all frames. For example, the third calculation unit 648 calculates the average value of the horizontal stripe noise index of all frames and newly calculates the horizontal stripe noise index A (m, k) corresponding to the range m and the coefficient k.
- step S123: Yes the inspection apparatus 6 proceeds to step S124 described later.
- step S123: No the inspection apparatus 6 returns to step S106 described above.
- step S126: Yes the inspection apparatus 6 proceeds to step S127 described later.
- step S126: No the inspection apparatus 6 returns to step S106.
- step S127 the third calculation unit 648 calculates the minimum value from all the horizontal stripe noise indexes A corresponding to all the ranges m and coefficients k recorded by the recording unit 63.
- the recording control unit 649 uses the horizontal line range m including the horizontal line to be corrected corresponding to the minimum value calculated by the third calculation unit 648 and the coefficient k as intrinsic values (correction values) of the imaging unit 20. Recording is performed in the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2 (step S128). After step S128, the inspection apparatus 6 ends this process.
- the inspection device 6 calculates the correction value of the imaging unit 20 used for correcting the transverse stripe noise included in the image data generated by the imaging unit 20, and the calculated result is recorded in the connector recording in the endoscope 2. This is recorded in the eigenvalue information recording unit 531 of the unit 53.
- FIG. 11 is a diagram schematically illustrating the overall configuration of the endoscope system.
- FIG. 12 is a block diagram illustrating a functional configuration of the endoscope system.
- 11 and 12 includes the endoscope 2 described above, a display device 8, and a processor 9 (image processing device).
- the display device 8 displays an image corresponding to the image signal subjected to the image processing by the processor 9.
- the display device 8 displays various information related to the endoscope system 1a.
- the display device 8 is configured using a display panel such as liquid crystal or organic EL (Electro Luminescence).
- the processor 9 comprehensively controls the entire endoscope system 1 a and is configured by using, for example, a halogen lamp, a white LED (Light Emitting Diode), and the like, and is viewed through the connector unit 5 and the transmission cable 3. Illumination light is irradiated from the distal end side of the insertion portion 100 of the mirror 2 toward the subject.
- the processor 9 includes a power supply unit 61, a clock generation unit 62, and an image processing unit 91. A description of the illumination mechanism in the processor 9 is omitted.
- the image processing unit 91 performs synchronization processing, white balance (WB) adjustment processing, gain adjustment processing, gamma correction processing, digital analog (D) on the digital imaging signal subjected to signal processing by the imaging signal processing unit 52. / A) Image processing such as conversion processing and format conversion processing is performed to convert it into an image signal, and this image signal is output to the display device 8.
- the image processing unit 91 includes an acquisition unit 911, an average value calculation unit 912, a clamp value calculation unit 913, and a correction unit 914.
- the acquisition unit 911 includes a correction value for correcting lateral stripe noise from the connector recording unit 53 in the connector unit 5 of the endoscope 2 connected to the processor 9, and performs image processing on the image data generated by the imaging unit 20. Therefore, the eigenvalue information related to the parameters necessary for the acquisition and the image data generated by the imaging unit 20 are acquired.
- the correction value includes a horizontal line to be corrected, a horizontal line range m (number of rows) in the vertical direction with reference to the horizontal line, a plurality of dummy pixels 247 and a plurality of unit pixels for each horizontal line.
- 230 is a coefficient k indicating the degree of correlation with 230.
- the average value calculation unit 912 calculates the average value of the dummy signals output from each of the plurality of dummy pixels 247 in the image corresponding to the image data acquired by the acquisition unit 911.
- the clamp value calculation unit 913 includes the average value of the dummy signal output from each of the plurality of dummy pixels 247 calculated by the average value calculation unit 912, the horizontal line range m and the coefficient k of the correction value acquired by the acquisition unit 911. Based on the above, a clamp value for correcting each imaging signal of the plurality of unit pixels 230 is calculated for each horizontal line.
- the correction unit 914 corrects the imaging signal of each of the plurality of unit pixels 230 in the horizontal line to be corrected based on the clamp value for each horizontal line calculated by the clamp value calculation unit 913.
- FIG. 13 is a flowchart showing an outline of processing executed by the processor 9.
- the processor 9 instructs the connected endoscope 2 to start imaging at a predetermined frame rate (step S201).
- the processor 9 causes the light source unit (not shown) to emit illumination light toward the endoscope 2.
- the image processing unit 91 executes a horizontal stripe noise correction process for correcting the horizontal stripe noise included in the image data generated by the endoscope 2 (step S202).
- the details of the horizontal stripe noise correction processing will be described later.
- the image processing unit 91 performs predetermined image processing on the image data in which the horizontal stripe noise is corrected, and outputs the image data to the display device 8 (step S203).
- the image processing unit 91 performs addition processing for adding the offset value of the imaging unit 20, WB adjustment processing for adjusting white balance, gain adjustment processing for adjusting gain, and the like on the image data in which the horizontal stripe noise is corrected.
- the display device 8 receives the image data from the image data in which the horizontal stripe noise is corrected.
- step S204: Yes the processor 9 instructs the endoscope 2 to end imaging (step S205). This process is terminated.
- step S204 when the instruction signal for ending the observation of the subject is not input from the operation unit 4 (step S204: No), the processor 9 returns to step S202.
- FIG. 14 is a flowchart showing an outline of the horizontal stripe noise correction processing of FIG.
- the acquisition unit 911 first acquires a fixed value from the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2 (step S301), and corrects the horizontal line range m to be corrected and the coefficient.
- K is set to an eigenvalue (correction value) (step S302).
- the average value calculation unit 912 acquires RAW data generated by the endoscope 2 (Step S303), and calculates an average value AVE_ob based on the pixel values of the dummy pixels included in the acquired RAW data ( In step S304, the horizontal line to be corrected is set to the first line (step S305). Specifically, the average value calculation unit 912 calculates the average value AVE_ob by adding the pixel values of the dummy pixels included in the RAW data and dividing the added result by the number of pixels of the dummy pixels.
- step S306: Yes the processor 9 returns to the main routine of FIG.
- step S306: No the processor 9 moves to step S307.
- the clamp value calculation unit 913 sets the horizontal line range (row range) so that the total horizontal line range is m around the horizontal line to be corrected.
- the range of horizontal lines is set so that the total number of horizontal lines including the light-shielding area is m.
- the image processing unit 91 determines that the horizontal line to be corrected when the number of horizontal lines to be corrected in the effective pixel region of the imaging unit 20 is the first (first horizontal line).
- the horizontal line for obtaining the light-shielding region or the reference signal in the previous stage (upward) and the horizontal line (downward) next to the horizontal line to be corrected are set as the range of the horizontal line to be corrected.
- the clamp value calculation unit 913 calculates the average value of the pixel values of the dummy pixels in the horizontal line range set in step S307 based on the pixel values of the dummy pixels in the horizontal line range set in step S307. (Step S308). Specifically, the clamp value calculation unit 913 adds all the pixel values of the dummy pixels in the range of the horizontal line set in step S307, and divides the addition result by the number of pixels of the dummy pixels. Then, the average value of the pixel values of the dummy pixels in the horizontal line range set in step S307 is calculated.
- the clamp value calculation unit 913 calculates the clamp value CLP_a (step S309). Specifically, the clamp value calculation unit 913 uses the above-described equation (1), the average value calculated in step S308 described above, the coefficient k, and the average value AVE_ob calculated in step S304 described above to use the clamp value CLP_a. Is calculated.
- the correction unit 914 corrects the pixel value of the unit pixel 230 in the horizontal line to be corrected based on the clamp value calculated in step S309 (step S310). Specifically, the correction unit 914 subtracts the clamp value CLP_a from the pixel value output from each of the unit pixels 230 of the effective pixel area in the horizontal line to be corrected to thereby calculate the effective pixel area in the horizontal line to be corrected. Correct the image data.
- step S311 the image processing unit 91 sets the horizontal line to be corrected to the next line (step S311).
- step S311 the processor 9 returns to step S306 described above.
- the first calculation unit 646 calculates the statistical value of the difference image data for each frame generated by the second generation unit 645 as the horizontal stripe noise index
- the second calculation unit. 647 calculates a plurality of horizontal stripe noise indexes calculated for each frame by the first calculation unit 646 for each degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line
- a third calculation unit 648 calculates the third calculation unit 648.
- the OB pixel 247 that generates a dummy signal corresponding to the OB pixel in which light is shielded by using the dummy pixel 247 that generates a dummy signal corresponding to the OB pixel in which light is shielded, the OB pixel necessary for the calculation of the clamp value is set in the first chip 21. Even if it is not possible to arrange them in the horizontal direction, the horizontal streak noise can be accurately corrected for each first chip 21, so that the area of the first chip 21 can be reduced.
- the example of the dummy pixel 247 that generates the dummy signal corresponding to the OB pixel has been described as an example of the correction pixel that outputs the dummy signal. Can be applied.
- the average value calculation unit 912 calculates the average value of the dummy signals output from each of the plurality of dummy pixels 247 in the image corresponding to the image data acquired by the acquisition unit. Based on the average value of the dummy signal output from each of the plurality of dummy pixels 247 calculated by the average value calculation unit 912 by the clamp value calculation unit 913, and the range and coefficient of the horizontal line in the imaging unit 20, A clamp value for correcting each imaging signal of the unit pixel 230 is calculated for each horizontal line, and the correction unit 914 calculates the horizontal value to be corrected based on the clamp value for each horizontal line calculated by the clamp value calculation unit 913.
- the OB pixel unit and the effective pixel unit mutually change due to fluctuations in power supply voltage. Even when made noise is generated, it is possible to correct accurately horizontal streak noise every first chip 21.
- the second embodiment has the same configuration as that of the first embodiment described above, and the processing executed by the inspection apparatus and the horizontal stripe noise correction processing executed by the processor are different.
- processing executed by each of the inspection apparatus and the processor according to the second embodiment will be described.
- symbol is attached
- FIG. 15A and FIG. 15B are flowcharts showing an outline of processing for calculating the eigenvalue of the imaging unit 20 executed by the inspection apparatus 6 according to the second embodiment.
- FIG. 16 is a diagram schematically illustrating a calculation method for calculating the eigenvalue of the imaging unit 20 executed by the inspection apparatus 6 according to the second embodiment.
- the inspection apparatus 6 replaces step S104, step S110, step S111, step S112, step S113, and steps S121 to S127 of FIG.
- Step S104a, step S110a, step S111a, step S112a, step S113a, and steps S121a to S130a are executed. Further, in FIG. 15A, steps S112b to S112e are executed. Other than that, the process is the same as the process shown in FIG.
- step S104a the image processing unit 64 focuses on the dark image corresponding to the dark image data that is different from the range m1 and the range m1 indicating the vertical row including the focused row of the dark image corresponding to the dark image data.
- step S110a the fourth calculation unit 643 sets the horizontal line range m1 so that the total number of horizontal lines is m1, centering on the horizontal line to be corrected.
- the sixth calculation unit 643b extracts the pixel value of the dummy pixel 247 in the horizontal line range set in step S110 from the dark image data acquired from the recording unit 63, and then extracts the dummy in the extracted row range.
- the clamp value CLP_temp1 (n, m1) is calculated by adding the pixel values of the pixels 247 and dividing the added pixel values by the number of pixels of the dummy pixels 247 in the horizontal line range (step S111a). As illustrated in FIG. 16, the sixth calculation unit 643b extracts the pixel value of the dummy pixel 247 in the range B1 of the dark image P10 corresponding to the horizontal line range m1, and then extracts the dummy pixel 247 in the extracted horizontal line range.
- the clamp value CLP_temp1 (n, m1) is calculated by dividing the added pixel value by the number of dummy pixels 247 in the horizontal line range m1.
- the seventh calculation unit 643c calculates a temporary clamp value CLP_a1 (n, m1) (step S112a). Specifically, the seventh calculation unit 643c calculates the temporary clamp value CLP_a1 (n, m1) by the following equation (2).
- CLP_a1 (n, m1) (CLP_temp1 (n, m1) ⁇ AVE_ob) ⁇ k1 + (AVE_ob ⁇ 2) (2)
- k1 satisfies 0 ⁇ k1 ⁇ 1.
- the fourth calculation unit 643 sets the horizontal line range m2 so that the total number of horizontal lines is m2 centering on the horizontal line to be corrected (step S112b).
- the sixth calculation unit 643b extracts the pixel value of the dummy pixel 247 in the horizontal line range set in step S110 from the dark image acquired from the recording unit 63, and then extracts the dummy pixel 247 in the extracted row range.
- the clamp value CLP_temp2 (n, m2) is calculated by dividing the added pixel value by the number of pixels of the dummy pixels 247 in the horizontal line range (step S112c). Specifically, as shown in FIG. 16, the sixth calculator 643b extracts the pixel value of the dummy pixel 247 in the range B3 of the dark image P10 corresponding to the horizontal line range m2.
- the pixel value of the dummy pixel 247 in the extracted row range is added, and the added pixel value is divided by the number of pixels of the dummy pixel 247 in the horizontal line range m2, thereby calculating the clamp value CLP_temp2 (n, m2). .
- the seventh calculation unit 643c calculates a provisional clamp value CLP_a2 (n, m2) (step S112d). Specifically, the seventh calculator 643c calculates the temporary clamp value CLP_a2 (n) by the following equation (3).
- CLP_a2 (n, m2) (CLP_temp2 (n, m2) ⁇ AVE_ob) ⁇ k2 + (AVE_ob ⁇ 2) (3)
- k2 satisfies 0 ⁇ k2 ⁇ 1.
- the seventh calculation unit 643c calculates the clamp value CLP_a (n) (step S112e). Specifically, the seventh calculation unit 643c calculates the clamp value CLP_a (n) using the temporary clamp calculated in each of step S112a and step 112d. More specifically, the seventh calculator 643c calculates the clamp value CLP_a (n) by the following equation (4).
- CLP_a (n) CLP_a1 (n, m1) + CLP_a2 (n, m2) ... (4)
- the clamp processing unit 644 subtracts the clamp value CLP_a (n) calculated by the seventh calculation unit 643c in step S112e from the unit pixel 230 in the horizontal line to be corrected (step S113a). Specifically, as shown in FIG. 16, the clamp processing unit 644 subtracts the clamp value CLP_a (n) from each pixel value of the unit pixel 230 of the horizontal line A1 to be corrected, and the recording unit 63. To record.
- the third calculation unit 648 calculates the transverse noise index A. Specifically, the third calculation unit 648 calculates the horizontal stripe noise index A based on the horizontal stripe noise of all frames. For example, the third calculation unit 648 calculates the average value of the horizontal stripe noise of all frames, and newly adds a horizontal stripe noise index A (m1, m2, k1, k2) corresponding to the range m1, m2 and the coefficients: k1, k2. Calculate as
- k1 exceeds 1 (k1> 1) (step S124a: Yes)
- step S124a Yes
- step S125a the inspection apparatus 6 proceeds to step S125a described later.
- step S123a: No the inspection apparatus 6 proceeds to step S106 described above.
- step S126a: Yes when m1 exceeds 15 (m1> 15) (step S126a: Yes), the inspection apparatus 6 proceeds to step S127a described later. On the other hand, when m1 does not exceed 15 (step S126a: No), the inspection apparatus 6 proceeds to step S106 described above.
- step S128a: Yes when k2 exceeds 1 (k2> 1) (step S128a: Yes), the inspection apparatus 6 proceeds to step S129a described later. On the other hand, when k2 does not exceed 1 (step S128a: No), the inspection apparatus 6 proceeds to step S106 described above.
- step S106 the inspection apparatus 6 proceeds to step S106 described above.
- the value added to the ranges m1 and m2 described above can be changed as appropriate, and may be 1 or 3, for example.
- step S130a the third calculation unit 648 calculates a minimum value from all the transverse stripe noise indexes A corresponding to all the ranges m1 and m2 and the coefficients k1 and k2 recorded by the recording unit 63.
- the recording control unit 649 obtains the eigenvalues (correction) of the horizontal line ranges m1 and m2 including the horizontal line to be corrected corresponding to the minimum value calculated by the third calculation unit 648 and the coefficients k1 and k2. Value) is recorded in the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2 (step S131). After step S131, the inspection apparatus 6 ends this process.
- the inspection apparatus 6 calculates the correction value used for correcting the horizontal stripe noise included in the image data generated by the imaging unit 20 and stores the correction value in the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2. Record.
- FIG. 17 is a flowchart showing an outline of the horizontal stripe noise correction process executed by the processor 9. Steps 401 to S406 correspond to steps S301 to S306 in FIG. 14 described above, respectively.
- step S407 the image processing unit 91 sets the horizontal line range (number of rows) so that the total horizontal line range is m1, centering on the horizontal line to be corrected.
- the average value calculation unit 912 calculates the average value of the pixel values of the dummy pixels in the horizontal line range based on the pixel values of the dummy pixels in the horizontal line range set in step S407 (step S408). Specifically, the average value calculation unit 912 adds all the pixel values of the dummy pixels in the range of the horizontal line, and divides the added result by the number of pixels of the dummy pixels, thereby obtaining the range of the horizontal line. The average value of the pixel values of the dummy pixels at is calculated.
- the clamp value calculation unit 913 calculates a temporary clamp value CLP_a1 (step S409). Specifically, the clamp value calculation unit 913 uses the above-described equation (2), the average value calculated by the average value calculation unit 912 in step S408, the coefficient k1, and the average value AVE_ob calculated in step S404. The provisional clamp value CLP_a1 is calculated.
- the image processing unit 91 sets the horizontal line range so that the total number of horizontal lines is m2 around the horizontal line range (row range) to be corrected (step S410).
- the average value calculation unit 912 calculates the average value of the pixel values of the dummy pixels in the horizontal line range based on the pixel values of the dummy pixels in the horizontal line range set in step S410 (step S411). Specifically, the average value calculation unit 912 adds all the pixel values of the dummy pixels in the range of the horizontal line, and divides the added result by the number of pixels of the dummy pixels, thereby obtaining the range of the horizontal line. The average value of the pixel values of the dummy pixels at is calculated.
- the clamp value calculation unit 913 calculates a temporary clamp value CLP_a2 (step S412). Specifically, the clamp value calculation unit 913 uses the equation (3) described above, the average value calculated in step S411 described above, the coefficient k2, and the average value AVE_ob calculated in step S404 to calculate the temporary clamp value CLP_a2. calculate.
- Step S414 and Step S415 correspond to Step 310 and Step S311 of FIG. 14 described above, respectively.
- the first calculation unit 646 calculates the statistical value of the difference image data for each frame generated by the second generation unit 645 as the horizontal stripe noise index
- the second calculation unit. 647 calculates a plurality of horizontal stripe noise indexes calculated for each frame by the first calculation unit 646 for each degree of correlation between the plurality of dummy pixels 247 and the plurality of unit pixels 230 for each horizontal line
- the third calculation The unit 648 calculates, as a correction value for correcting the horizontal stripe noise included in the image data, the degree of correlation that is the minimum value among the plurality of horizontal stripe noise indexes calculated for each different degree of correlation by the second calculation unit 647.
- the recording control unit 649 records the correction value calculated by the third calculation unit 648 in the eigenvalue information recording unit 531 of the connector recording unit 53 in the endoscope 2. Therefore, even when different noises are generated in the OB pixel portion and the effective pixel portion due to fluctuations in the power supply voltage, the horizontal stripe noise is more accurate for each first chip 21 than in the first embodiment described above. Can be corrected.
- the OB pixel 247 that generates a dummy signal corresponding to the OB pixel in which light is shielded by using the dummy pixel 247 that generates a dummy signal corresponding to the OB pixel in which light is shielded, the OB pixel necessary for the calculation of the clamp value is set in the first chip 21. Even if it is not possible to arrange them in the horizontal direction, the horizontal streak noise can be accurately corrected for each first chip 21, so that the area of the first chip 21 can be reduced.
- an example of the dummy pixel 247 that generates a dummy signal corresponding to an OB pixel has been described as an example of a correction pixel that outputs a dummy signal. Can be applied.
- the average value calculation unit 912 calculates the average value of the dummy signals output from each of the plurality of dummy pixels 247 in the image corresponding to the image data acquired by the acquisition unit. Based on the average value of the dummy signal output from each of the plurality of dummy pixels 247 calculated by the average value calculation unit 912 by the clamp value calculation unit 913, and the range and coefficient of the horizontal line in the imaging unit 20, A clamp value for correcting each imaging signal of the unit pixel 230 is calculated for each horizontal line, and the correction unit 914 calculates the horizontal value to be corrected based on the clamp value for each horizontal line calculated by the clamp value calculation unit 913.
- the OB pixel unit and the effective pixel unit mutually change due to fluctuations in power supply voltage. Even when made noise is generated, compared with the first embodiment described above, it is possible to correct accurately horizontal streak noise by each first chip 21.
- the seventh calculation unit 643c does not require AVE_ob for the calculation of the clamp value CLP_a (n) under the condition (5) based on the above-described equation (7), all the dummy pixels 247 in the frame are used. It is not necessary to record the output (dummy signal) of (OB pixel) in the recording unit 63 or the like in advance. As a result, the memory capacity of the recording unit 63 can be saved and the output delay of the image data due to the correction process can be suppressed. Furthermore, since the image processing unit 64 can effectively reduce the number of parameters required for the correction process by one, the speed of the correction process can be increased.
- the image processing unit 64 is provided in the inspection apparatus 6, but may be provided in the connector unit 5 of the endoscope 2 or the operation unit 4 of the endoscope 2.
- the image processing unit 91 is provided in the processor 9, but may be provided in the connector unit 5 of the endoscope 2 or the operation unit 4 of the endoscope 2.
- the eigenvalue information recording unit 531 is provided in the connector unit 5 of the endoscope 2, but may be provided in the first chip 21 or provided in the operation unit 4. Also good.
- the endoscope is inserted into the subject.
- a capsule endoscope or an imaging device that images the subject can also be applied.
- the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができる検査装置を提供する。検査装置6は、撮像部20が生成した暗時画像データを取得する取得部641と、取得部641が取得した暗時画像データに基づいて、複数のダミー画素247の各々が出力したダミー信号の第1平均値を算出する第1算出部と、第2算出部と、第1算出部が算出した第1平均値および第2算出部が算出した第2平均値に基づいて、複数のダミー画素247の各々が出力するダミー信号と複数の画素の各々が出力する撮像信号との相関の度合いを算出する第3算出部648と、第3算出部648が算出した相関の度合いを撮像部20に設けられたコネクタ記録部53に記録させる記録制御部649と、を備える。
Description
本発明は、被検体を撮像する撮像素子によって生成された画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラムに関する。
近年、デジタルカメラ等の撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の撮像素子を備える。この撮像素子によって生成された画像データには、電源電圧の変動または高輝度の被写体の撮影等に起因して横筋ノイズが発生する。このような横筋ノイズ補正方法として、遮光された複数のフォトダイオードからなるOB画素部の出力信号の平均値から基準黒レベルを減算することによってオフセット値を算出後、このオフセット値に撮像素子の構造で定まる係数を乗算することによって補正量を算出し、この補正量に基づいて遮光されていない複数のフォトダイオードからなる有効画素部の信号を補正する技術が知られている(特許文献1参照)。
しかしながら、上述した特許文献1では、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生する場合があり、このような場合には、横筋ノイズを精度よく補正することができず、画質が低下するという問題点あった。
本発明は、上記に鑑みてなされたものであって、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができる検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る検査装置は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置であって、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得部と、前記取得部が取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成部と、水平ライン毎における前記複数の補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成部と、前記第2生成部が生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出部と、前記第1算出部がフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出部と、前記第2算出部が前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出部と、前記第3算出部が算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御部と、を備えたことを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記相関の度合いに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出する第4算出部と、前記複数の有効画素の各々の前記撮像信号から前記第4算出部によって算出された前記クランプ値を減算するクランプ処理を水平ライン毎に行うクランプ処理部と、をさらに備え、前記第2生成部は、前記クランプ処理部が前記クランプ処理を行った前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算することによって前記差画像データをフレーム毎に生成することを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記第1算出部は、前記第2生成部が生成した前記差画像データに対応する差画像の水平ライン毎における前記撮像信号の平均値を算出し、前記第2算出部は、前記第1算出部が算出した水平ライン毎の前記撮像信号の平均値に基づく統計値を前記横筋ノイズ指数としてフレーム毎に算出することを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記第4算出部は、前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、補正対象の水平ラインをn、前記範囲をm、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、前記相関の度合いを示す係数をk、前記クランプ値をCLP_a(n)とした場合、以下の式(1)によって、CLP_a(n)を算出する第7算出部と、を有することを特徴とする。
CLP_a(n)=(CLP_temp(n、m)-AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
CLP_a(n)=(CLP_temp(n、m)-AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
また、本発明に係る検査装置は、上記発明において、前記第4算出部は、前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、補正対象の水平ラインをn、互いに異なる前記範囲をm1、m2、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、互いに異なる前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp1(n、m1)、CLP_temp2(n、m2)、互いに異なる前記相関の度合いを示す係数をk1、k2、前記クランプ値をCLP_a(n)とした場合、以下の式(2)~(4)によって、CLP_a(n)を算出する第7算出部と、を有することを特徴とする。
CLP_a1(n)=(CLP_temp1(n、m1)-AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
CLP_a2(n)=(CLP_temp2(n、m1)-AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
CLP_a(n)=CLP_a1(n)+CLP_a2(n)・・・(4)
ここで、k1は、0≦k1≦1の条件を満たし、k2は、0≦k2≦1の条件を満たす。
CLP_a1(n)=(CLP_temp1(n、m1)-AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
CLP_a2(n)=(CLP_temp2(n、m1)-AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
CLP_a(n)=CLP_a1(n)+CLP_a2(n)・・・(4)
ここで、k1は、0≦k1≦1の条件を満たし、k2は、0≦k2≦1の条件を満たす。
また、本発明に係る検査装置は、上記発明において、前記k1およびk2は、以下の条件(5)を満たすことを特徴とする。
k1+k2=1 ・・・(5)
k1+k2=1 ・・・(5)
また、本発明に係る検査装置は、上記発明において、前記相関の度合いは、水平ライン毎における前記複数の補正画素の各々が出力するダミー信号と前記複数の有効画素の各々が出力する撮像信号との差であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記統計値は、標準偏差であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記補正画素は、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記補正画素は、光が遮光されたOB画素であることを特徴とする。
また、本発明に係る検査装置は、上記発明において、前記撮像素子は、被検体を撮像する内視鏡の挿入部の先端に配置されてなり、前記記録部は、前記挿入部と連なってなり、前記画像データに対して画像処理を行うプロセッサに接続可能なコネクタ部の内部に配置されてなることを特徴とする。
また、本発明に係る画像処理装置は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置であって、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得部と、前記取得部が取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出部と、前記平均値算出部が算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出部と、前記クランプ値算出部が算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正部と、を備えたことを特徴とする。
また、本発明に係る補正値算出方法は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置が実施する補正値算出方法であって、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出ステップと、前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、を含むことを特徴とする。
また、本発明に係る画像処理方法は、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置が実行する画像処理方法であって、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、を含むことを特徴とする。
また、本発明に係る検査プログラムは、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置に、前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合毎に算出する第2算出ステップと、前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、を実行させることを特徴とする。
また、本発明に係る補正プログラムは、二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置に、前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、を実行させることを特徴とする。
本発明によれば、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、精度よく横筋ノイズを補正することができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、CMOSやCCD等の撮像素子を備えた内視鏡(撮像装置)を検査する検査システムおよび内視鏡システムについて説明する。また、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
(実施の形態1)
〔検査システムの構成〕
図1は、本発明の実施の形態1に係る検査システムの全体構成を模式的に示す図である。図1に示す検査システム1は、内視鏡2と、検査装置6と、を備える。
〔検査システムの構成〕
図1は、本発明の実施の形態1に係る検査システムの全体構成を模式的に示す図である。図1に示す検査システム1は、内視鏡2と、検査装置6と、を備える。
内視鏡2は、伝送ケーブル3と、操作部4と、コネクタ部5と、を備える。内視鏡2は、伝送ケーブル3の一部である挿入部100を被検体の体腔内に挿入することによって被検体の体内画像を撮像して撮像信号(画像データ)を検査装置6または後述するプロセッサ(画像処理装置)へ出力する。また、内視鏡2は、伝送ケーブル3の一端側であり、被検体の体腔内に挿入される挿入部100の先端101側に、体内画像の撮像を行う撮像部20(撮像装置)が設けられ、挿入部100の基端102側に、内視鏡2に対する各種操作を受け付ける操作部4が設けられている。
撮像部20は、伝送ケーブル3により、操作部4を介してコネクタ部5に接続される。撮像部20が撮像した画像データは、例えば数mの長さを有する伝送ケーブル3を介してコネクタ部5に出力される。さらに、先端101には、遮光キャップA100が着脱可能に設けられている。遮光キャップA100は、内視鏡2が暗時画像を生成する際に用いられる。ここで、暗時画像とは、後述する撮像部20の撮像素子が光を受光することなく、生成した画像(画像データ)である。
コネクタ部5は、検査装置6または後述するプロセッサに接続され、撮像部20が出力する撮像信号に所定の信号処理を施すとともに、撮像信号をアナログ信号からデジタル信号にA/D変換を行って検査装置6またはプロセッサに出力する。
検査装置6は、内視鏡2が生成した撮像信号に含まれる横筋ノイズを補正するための補正量および係数を算出し、この算出結果を内視鏡2に記録する。
図2は、検査システム1の要部の機能を示すブロック図である。図2を参照して、検査システム1の各部構成の詳細および検査システム内の電気信号の経路を説明する。
〔内視鏡の構成〕
図2に示すように、内視鏡2は、撮像部20と、伝送ケーブル3と、コネクタ部5と、を備える。撮像部20は、第1チップ21(撮像素子)と、第2チップ22と、を備える。
図2に示すように、内視鏡2は、撮像部20と、伝送ケーブル3と、コネクタ部5と、を備える。撮像部20は、第1チップ21(撮像素子)と、第2チップ22と、を備える。
第1チップ21は、行列方向に2次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の単位画素230および複数の単位画素230の配置における縦ライン毎に設けられ、撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素247を有する受光部23と、受光部23で光電変換された撮像信号およびダミー信号を読み出す読み出し部24と、コネクタ部5から入力された基準クロック信号および同期信号に基づきタイミング信号を生成して読み出し部24に出力するタイミング生成部25と、を有する。なお、第1チップ21のより詳細な構成については、図3を参照して後述する。
第2チップ22は、伝送ケーブル3およびコネクタ部5を介して、第1チップ21から出力される撮像信号を検査装置6または後述するプロセッサへ送信する送信部として機能するバッファ27を有する。なお、第1チップ21と第2チップ22に搭載される回路の組み合わせは設定の都合に合わせて適宜変更可能である。
また、撮像部20は、伝送ケーブル3を介して検査装置6内の電源部61または後述するプロセッサの電源部で生成された電源電圧VDDをグランドGNDとともに受け取る。撮像部20に供給される電源電圧VDDとグランドGNDとの間には、電源安定用のコンデンサC1が設けられている。
コネクタ部5は、アナログ・フロント・エンド部51(以下、「AFE部51」という)と、撮像信号処理部52と、コネクタ記録部53と、駆動信号生成部54と、を有する。コネクタ部5は、内視鏡2(撮像部20)とプロセッサ9とを電気的に接続し、電気信号を中継する中継処理部として機能する。コネクタ部5と撮像部20とは、伝送ケーブル3で接続され、コネクタ部5とプロセッサ9とは、例えば、コイルケーブルにより接続される。
AFE部51は、伝送ケーブル3を介して撮像部20から出力された撮像信号を受信し、抵抗などの受動素子でインピーダンスマッチングを行った後、コンデンサで交流成分を取り出し、分圧抵抗で動作点を決定する。その後、AFE部51は、アナログの撮像信号を、アナログデジタル(A/D)変換して、デジタルの撮像信号として、撮像信号処理部52に送出する。
撮像信号処理部52は、例えば、FPGA(Field Programmable Gate Array)により構成され、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、27MHzのクロック信号)および各フレームのスタート位置を表す同期信号を生成して、タイミング生成部25に供給するとともに、AFE部51から入力されるデジタルの撮像信号に対してノイズ除去等の所定の信号処理を行って検査装置6または後述するプロセッサへ出力する。
コネクタ記録部53は、FlashメモリやRAM(Random Access Memory)等を用いて構成され、内視鏡2を駆動するための各種情報や処理中のパラメータを一時的に記録する。また、コネクタ記録部53は、後述する検査装置6が算出した横筋ノイズを補正する際に用いる固有値を記録する固有値情報記録部531を有する。
駆動信号生成部54は、検査装置6から供給され、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、27MHzのクロック信号)に基づいて、各フレームのスタート位置を表す同期信号を生成して、基準クロック信号とともに、伝送ケーブル3を介して撮像部20のタイミング生成部25へ出力する。ここで、駆動信号生成部54が生成する同期信号は、水平同期信号と垂直同期信号と、を含む。
〔検査装置の構成〕
次に、検査装置6の詳細な構成について説明する。検査装置6は、電源部61と、クロック生成部62と、記録部63と、画像処理部64と、を備える。
次に、検査装置6の詳細な構成について説明する。検査装置6は、電源部61と、クロック生成部62と、記録部63と、画像処理部64と、を備える。
電源部61は、電源電圧VDDを生成し、この生成した電源電圧VDDをグランドGNDとともに、コネクタ部5および伝送ケーブル3を介して、撮像部20に供給する。
クロック生成部62は、基準クロック信号を生成し、この生成した基準クロック信号を駆動信号生成部54に出力する。
記録部63は、FlashメモリやRAM(Random Access Memory)等を用いて構成され、検査装置6を駆動するための各種情報や処理中のパラメータを一時的に記録する。また、記録部63は、内視鏡2の撮像部20が生成した撮像信号を順次記録する。
画像処理部64は、取得部641と、第1生成部642と、第4算出部643と、クランプ処理部644と、第2生成部645と、第1算出部646と、第2算出部647と、第3算出部648と、記録制御部649と、撮像制御部650と、を有する。
取得部641は、撮像部20(撮像素子)が遮光された状態で、内視鏡2のコネクタ部5を介して内視鏡2の撮像部20が生成した複数の暗時画像データを撮像部20から取得する。
第1生成部642は、取得部641が取得した複数の暗時画像データを加算して暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する。具体的には、第1生成部642は、取得部641が取得した複数の暗時画像データの全てを加算し、この加算した加算結果を暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する。
第4算出部643は、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。具体的には、第4算出部643は、水平ライン毎における複数のダミー画素247を複数の単位画素230との相関の度合いに基づいて重み付けを行い、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。第4算出部643は、第5算出部643aと、第6算出部643bと、第7算出部643cと、を有する。
第5算出部643aは、取得部641が取得した暗時画像データに対応する暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値をフレーム毎に算出する。
第6算出部643bは、取得部641が取得した暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、この水平ラインを基準に上下方向の水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値を算出する。
第7算出部643cは、補正対象の水平ライン、水平ラインの範囲、暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値、水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値、相関の度合いを示す係数に基づいて、クランプ値を算出する。具体的には、第7算出部643cは、補正対象の水平ライン、水平ラインの範囲、暗時画像における複数のダミー画素247の各々が出力したダミー信号の平均値、水平ラインの範囲における複数のダミー画素247の各々が出力したダミー信号の平均値、相関の度合いを示す係数による重み付けに基づいて、クランプ値を算出する。
クランプ処理部644は、複数の単位画素230の各々の撮像信号から第4算出部643によって算出されたクランプ値を減算するクランプ処理を水平ライン毎に行う。
第2生成部645は、撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いに基づく重み付けにより補正した画像データから第1生成部642によって生成された加算平均画像データを減算した差画像データをフレーム毎に生成する。具体的には、第2生成部645は、クランプ処理部644がクランプ処理を行った画像データから第1生成部642によって生成された加算平均画像データを減算することによって差画像データをフレーム毎に生成する。ここで、相関の度合いとは、水平ライン毎における複数のダミー画素247の各々が出力したダミー信号と複数の単位画素230の各々が出力した撮像信号との差である。
第1算出部646は、第2生成部645が生成したフレーム毎の差画像データの統計値を横筋ノイズ指数として算出する。具体的には、第1算出部646は、第2生成部645が生成した差画像データに対応する差画像の水平ライン毎における撮像信号の平均値、中央値、最大値、最小値および最頻値のいずれか一つを算出する。なお、以下においては、第1算出部646は、第2生成部645が生成した差画像データに対応する差画像の水平ライン毎における撮像信号の平均値を算出するものとして説明する。
第2算出部647は、第1算出部646がフレーム毎に算出した複数の横筋ノイズ指数を撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出する。具体的には、第2算出部647は、第1算出部646が算出した水平ライン毎の撮像信号の平均値に基づく統計値を横筋ノイズ指数としてフレーム毎に算出する。
第3算出部648は、第2算出部647が撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出した複数の横筋ノイズ指数のうち最小値になる撮像部20の水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出する。
記録制御部649は、第3算出部648が算出した補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
撮像制御部650は、検査装置6に接続される内視鏡2の撮像動作を制御する。具体的には、撮像制御部650は、検査装置6に接続された内視鏡2に対して、所定のフレームレートで撮像を開始させる。
〔第1チップの構成〕
次に、上述した第1チップ21の詳細な構成について説明する。
図3は、図2に示す第1チップの詳細な構成を示すブロック図である。図4は、第1チップ21の構成を示す回路図である。
次に、上述した第1チップ21の詳細な構成について説明する。
図3は、図2に示す第1チップの詳細な構成を示すブロック図である。図4は、第1チップ21の構成を示す回路図である。
図3および図4に示すように、第1チップ21は、受光部23と、読み出し部24(駆動部)と、タイミング生成部25と、ヒステリシス部28と、出力部31(アンプ)と、を有する。
ヒステリシス部28は、伝送ケーブル3を介して入力された基準クロック信号および同期信号の波形整形を行い、この波形整形を行った基準クロック信号および同期信号をタイミング生成部25へ出力する。
タイミング生成部25は、ヒステリシス部28から入力された基準クロック信号および同期信号に基づいて、各種の駆動信号を生成し、後述する読み出し部24の垂直走査部241(行選択回路)、ノイズ除去部243および水平走査部245へそれぞれ出力する。
読み出し部24は、後述する受光部23の複数の画素の各々から出力される撮像信号および基準電圧生成部246から出力される基準信号それぞれを出力部31に転送する。
ここで、読み出し部24の詳細な構成について説明する。読み出し部24は、垂直走査部241(行選択回路)と、定電流源242と、ノイズ除去部243(ノイズ除去回路)と、列ソースフォロアトランジスタ244と、水平走査部245と、基準電圧生成部246と、を含む。
垂直走査部241は、タイミング生成部25から入力される駆動信号(φT,φR等)に基づいて、受光部23の選択された行(水平ライン)<M>(M=0,1,2…,m-1,m)に駆動信号φT<M>およびφR<M>を印加して、受光部23の各単位画素230およびダミー画素247を定電流源242で駆動することによって、撮像信号、ダミー信号および画素リセット時のノイズ信号を垂直転送線239(第1の転送線)に転送し、ノイズ除去部243に出力する。
ノイズ除去部243は、各単位画素230の出力ばらつきと、画素リセット時のノイズ信号とを除去し、各単位画素230で光電変換された撮像信号を出力する。なお、ノイズ除去部243の詳細は、後述する。
水平走査部245は、タイミング生成部25から供給される駆動信号(φHCLK)に基づいて、受光部23の選択された列(縦ライン)<N>(N=0,1,2…,n-1,n)に駆動信号φHCLK<N>を印加し、各単位画素230で光電変換された撮像信号を、ノイズ除去部243を介して水平転送線258(第2の転送線)に転送し、出力部31に出力する。なお、本実施の形態1では、水平転送線258が各単位画素230から出力される撮像信号を転送する転送部として機能する。
第1チップ21の受光部23には、多数の単位画素230が二次元マトリクス状に配列される。各単位画素230は、光電変換素子231(フォトダイオード)と、電荷変換部233と、転送トランジスタ234(第1の転送部)と、画素リセット部236(トランジスタ)と、画素ソースフォロアトランジスタ237と、ダミー画素247(基準信号生成部)と、を含む。なお、本明細書では、1または複数の光電変換素子と、それぞれの光電変換素子から信号電荷を電荷変換部233に転送するための転送トランジスタとを単位セルと呼ぶ。すなわち、単位セルには1または複数の光電変換素子と転送トランジスタの組が含まれ、各単位画素230には、1つの単位セルが含まれる。
光電変換素子231は、入射光をその光量に応じた信号電荷量に光電変換して蓄積する。光電変換素子231は、カソード側がそれぞれ転送トランジスタ234の一端側に接続され、アノード側がグランドGNDに接続される。電荷変換部233は、浮遊拡散容量(FD)からなり、光電変換素子231で蓄積された電荷を電圧に変換する。
転送トランジスタ234は、光電変換素子231から電荷変換部233に信号電荷を転送する。転送トランジスタ234のゲートには、駆動信号(行選択パルス)φRおよび駆動信号φTが供給される信号線が接続され、他端側には、電荷変換部233に接続される。転送トランジスタ234は、垂直走査部241から信号線を介して駆動信号φRおよび駆動信号φTが供給されると、オン状態となり、光電変換素子231から電荷変換部233に信号電荷を転送する。
画素リセット部236は、電荷変換部233を所定電位にリセットする。画素リセット部236は、一端側が電源電圧VRに接続され、他端側が電荷変換部233に接続され、ゲートには駆動信号φRが供給される信号線に接続される。画素リセット部236は、垂直走査部241から信号線を介して駆動信号φRが供給されると、オン状態となり、電荷変換部233に蓄積された信号電荷を放出させ、電荷変換部233を所定電位にリセットする。
画素ソースフォロアトランジスタ237は、一端側が電源電圧VRに接続され、他端側が垂直転送線239に接続され、ゲートには電荷変換部233で電圧変換された信号(撮像信号またはリセット時の信号)が入力される。画素ソースフォロアトランジスタ237は、後述する選択動作の後に、転送トランジスタ234のゲートに駆動信号φTが供給されると、光電変換素子231から電荷が読み出され、電荷変換部233にて電圧変換された後に、垂直転送線239に転送される。
ダミー画素247は、単位画素230の水平ライン毎に複数設けられる。なお、図4においては、説明を簡略化するため、各水平ラインにダミー画素247が一つ設けられた例を説明するが、これに限定されず、ダミー画素247の数は、適宜変更することができる。ダミー画素247は、画素リセット部236aと、画素ソースフォロアトランジスタ237aと、を含む。すなわち、単位画素230から光電変換素子231(フォトダイオード)と、電荷変換部233と、転送トランジスタ234(第1の転送部)と、を省略した構成である。
画素リセット部236aは、画素ソースフォロアトランジスタ237aのゲートを所定電位に固定する。画素リセット部236aは、一端側が電源電圧VRに接続され、他端側が画素ソースフォロアトランジスタ237aのゲートに接続され、ゲートには駆動信号φTおよび駆動信号φRが供給される信号線が接続される。
画素リセット部236aのゲートに、タイミング生成部25から信号線を介して駆動信号φRが供給されると、画素リセット部236aがオン状態となり、画素ソースフォロアトランジスタ237aのゲートが所定電位(VR)に固定される。
画素ソースフォロアトランジスタ237aは、一端側が基準電圧生成部246(図5Aに示す基準電圧生成部246a)から供給される電源電圧VRに接続され、他端側が垂直転送線239に接続され、ゲートには所定電位(VR)が入力される。このように構成された画素ソースフォロアトランジスタ237aは、後述する選択動作が行われると、所定電位VRに応じたダミー信号(OB信号に相当)が、画素ソースフォロアトランジスタ237aを介して、垂直転送線239に転送される。
通常の単位画素230と同様に、本実施の形態1では、電源電圧VRが電源電圧VDDレベル(例えば、3.3V)かつVR(例えば、2V)が入力された時に画素リセット部236aのゲートに駆動信号φRが供給されると、画素ソースフォロアトランジスタ237aがオン状態となり、当該画素リセット部236aを含むダミー画素247が選択される(選択動作)。また、電源電圧VRが非選択用電圧レベル(例えば、1V)かつVR(例えば、1V)が入力されたときに画素リセット部236aのゲートに駆動信号φRが供給されると、画素ソースフォロアトランジスタ237aがオフ状態となり、当該画素リセット部236aを含むダミー画素247の選択が解除される(非選択動作)。
定電流源242は、一端側が垂直転送線239に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias1が印加される。定電流源242は、単位画素230を定電流源242で駆動し、単位画素230の出力を垂直転送線239へ読み出す。垂直転送線239へ読み出された信号は、ノイズ除去部243に入力される。
ノイズ除去部243は、転送容量252(AC結合コンデンサ)と、クランプスイッチ253(トランジスタ)と、を含む。
転送容量252は、一端側が垂直転送線239に接続され、他端側が列ソースフォロアトランジスタ244に接続される。
クランプスイッチ253は、一端側が基準電圧生成部246からクランプ電圧Vclpが供給される信号線に接続される。クランプスイッチ253の他端側は、転送容量252と列ソースフォロアトランジスタ244間に接続され、ゲートには、タイミング生成部25から駆動信号φVCLが入力される。ノイズ除去部243に入力される撮像信号はノイズ成分を含んだ光ノイズ和信号である。
転送容量252は、タイミング生成部25から、駆動信号φVCLがクランプスイッチ253のゲートに入力されると、クランプスイッチ253がオン状態となり、基準電圧生成部246から供給されるクランプ電圧Vclpによりリセットされる。ノイズ除去部243でノイズ除去された撮像信号は、列ソースフォロアトランジスタ244のゲートに入力される。
ノイズ除去部243は、サンプリング用のコンデンサ(サンプリング容量)を必要としないため、転送容量(AC結合コンデンサ)252の容量は、列ソースフォロアトランジスタ244の入力容量に対する十分な容量であればよい。加えて、ノイズ除去部243は、サンプリング容量の無い分、第1チップ21における占有面積を小さくすることができる。
列ソースフォロアトランジスタ244は、一端側が電源電圧VDDに接続され、他端側が列選択スイッチ254(第2の転送部)の一端側に接続され、ゲートにはノイズ除去部243でノイズ除去された撮像信号が入力される。
列選択スイッチ254は、一端側が列ソースフォロアトランジスタ244の他端側に接続され、他端側が水平転送線258(第2の転送線)に接続され、ゲートには水平走査部245から駆動信号φHCLK<M>を供給するための信号線が接続される。列選択スイッチ254は、列<M>の列選択スイッチ254のゲートに水平走査部245から駆動信号φHCLK<M>が供給されると、オン状態となり、列<M>の垂直転送線239の信号(ノイズ除去部243でノイズ除去された撮像信号)を水平転送線258に転送する。
水平リセットトランジスタ256は、一端側がグランドGNDに接続され、他端側が水平転送線258に接続され、ゲートにはタイミング生成部25から駆動信号φHCLRが入力される。水平リセットトランジスタ256は、タイミング生成部25から駆動信号φHCLRが水平リセットトランジスタ256のゲートに入力されると、オン状態となり、水平転送線258をリセットする。
定電流源257は、一端側が水平転送線258に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias2が印加される。定電流源257は、撮像信号を垂直転送線239から水平転送線258へ読み出す。水平転送線258へ読み出された撮像信号またはダミー信号は、出力部31に入力される。
出力部31は、ノイズ除去された撮像信号とダミー信号(横ラインを補正する際に基準となる基準信号)とを必要に応じて信号増幅して出力する(Vout)。
本実施の形態1では、垂直転送線239からのノイズ除去後の撮像信号の読み出しと、水平リセットトランジスタ256による水平転送線258のリセットとを交互に行うことにより、列方向の撮像信号のクロストークを抑制することが可能となる。
第2チップ22では、ダミー信号および撮像信号を、伝送ケーブル3を介して、コネクタ部5に伝送する。
図5Aおよび図5Bは、本実施の形態1に係る内視鏡2の受光部23の基準電圧生成部246の構成を示す回路図である。
図5Aに示す基準電圧生成部246aは、2つの抵抗291および292からなる抵抗分圧回路と、駆動信号φVRSELで駆動されるマルチプレクサ293と、を含む。
マルチプレクサ293は、タイミング生成部25から入力される駆動信号φVRSELに従い、電源電圧VDD(例えば、3.3V)と抵抗分圧回路で生成された非選択用電圧Vfd_L(例えば、1V)とを交互に切り替えて電源電圧VRとして全画素およびダミー画素247に印加する。
図5Bに示す基準電圧生成部246bは、2つの抵抗291および292からなる抵抗分圧回路と、駆動信号φVSHで駆動されるスイッチ(トランジスタ)294と、を含む。基準電圧生成部246bは、スイッチ294の駆動により駆動信号φVSHが駆動するタイミングで、ノイズ除去部243のクランプ電圧Vclpを生成する。
〔従来の横筋ノイズの補正方法〕
次に、従来の横筋ノイズの補正方法について説明する。図6Aは、従来の横筋ノイズの補正方法の概要を模式的に示す図である。図6Bは、従来の横筋ノイズの補正方法によって補正された画像の一例を示す図である。図7Aは、従来の横筋ノイズの補正方法で横筋ノイズが補正できない場合を模式的に示す図である。図7Bは、従来の横筋ノイズの補正方法によって横筋ノイズが補正できない場合の画像の一例を示す図である。なお、図7Aでは、画像の上半分に横筋ノイズが1行毎にわたって均一に発生しているものとし、画像の下半分にOB画素にのみ横筋ノイズが発生しているものとする。
次に、従来の横筋ノイズの補正方法について説明する。図6Aは、従来の横筋ノイズの補正方法の概要を模式的に示す図である。図6Bは、従来の横筋ノイズの補正方法によって補正された画像の一例を示す図である。図7Aは、従来の横筋ノイズの補正方法で横筋ノイズが補正できない場合を模式的に示す図である。図7Bは、従来の横筋ノイズの補正方法によって横筋ノイズが補正できない場合の画像の一例を示す図である。なお、図7Aでは、画像の上半分に横筋ノイズが1行毎にわたって均一に発生しているものとし、画像の下半分にOB画素にのみ横筋ノイズが発生しているものとする。
図6Aに示すように、従来の補正方法は、水平ライン毎に複数のOB画素P1Bの各々の信号値の平均値をクランプ値とし、このクランプ値を、遮光されていない有効画素領域における同じ水平ラインの画素P1iが出力する撮像信号から減算する。これにより、図6Bに示すように、横筋ノイズが補正された高品質の画素P2を得ることができる。
これに対して、図7Aに示すように、従来の補正方法では、水平ライン毎に複数のOB画素P3Bの各々の信号値の平均値をクランプ値とし、このクランプ値を、遮光されていない有効画素領域における同じ水平ラインの画素P3iが出力する撮像信号から減算した場合、上半分が正常に横筋ノイズを補正することができるが、下半分が異常な補正になることで、図7Bに示す低品質の画像P4となる。実際に起こりうる状況は、図7Aに示すように上半分で見られるような行と、下半分で見られるような行が一つの画像内でランダムに発生する。さらに、下半分の状況は、横筋ノイズが、OB画素領域のみで発生している場合、有効画素領域の画素で発生している場合、またはOB画素領域および有効画素領域の画素の各々の一部で発生している場合も同じ状況としてあつかうことができる。即ち、一つの画像内(1フレーム内)で、図7Aに示す状況が発生している場合、従来の補正方法では、高品質な画像を得ることができない。そこで、本実施の形態1では、検査装置6が第1チップ21(撮像素子)毎に、クランプ値を算出し、この算出したクランプ値を内視鏡2のコネクタ記録部53に記録する。
〔横筋ノイズ補正処理の概要〕
図8Aは、撮像部20が生成した暗時画像データに対応する暗時画像を模式的に示す図である。図8Bは、暗時画像データに含まれる横筋ノイズを補正した補正画像を模式的に示す図である。図8Cは、撮像部20における行毎の画素値の平均値を模式的に示す図である。
図8Aは、撮像部20が生成した暗時画像データに対応する暗時画像を模式的に示す図である。図8Bは、暗時画像データに含まれる横筋ノイズを補正した補正画像を模式的に示す図である。図8Cは、撮像部20における行毎の画素値の平均値を模式的に示す図である。
図8Aに示すように、本実施の形態1では、検査装置6が撮像部20によって生成された暗時画像データに基づいて、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために最適な水平ラインの範囲と定数との補正値(固定値)を算出する。具体的には、検査装置6は、ダミー画素P5Bの画素値からクランプ値を算出する場合、補正対象の水平ラインに対して算出範囲を上下方向に拡大して水平ラインの範囲の数を増加させ、各水平ラインのクランプ値からダミー画素P5Bの画素値の平均値を減算し、この減算した算出結果に係数(例えば0、0.1、0.2、・・・、1.0)を乗算後、再度、ダミー画素P5Bの画素値の平均値を加算することによって、有効画素P5iにおける各行の画素値を補正するときのクランプ値を算出する(処理1)。
その後、検査装置6は、各行の有効画素P5iにおける各行の画素値に対して、対応する水平ラインのクランプ値を減算することによって、有効画素P5iの画像データに含まれる横筋ノイズを補正した補正画像P5ave(図8Bを参照)を生成する(処理2)。
続いて、検査装置6は、補正画像P5aveに対して、水平ライン毎に画素値の平均値P5clp(図8Cを参照)を横筋ノイズ指数として算出する(処理3)。
その後、検査装置6は、補正対象の水平ライン、補正対象の水平ラインを含む水平ラインの範囲および係数を変えながら上述した処理1~処理3を順次行うことによって、複数の横筋ノイズ指数を算出し、この算出した複数の横筋ノイズ指数に基づく統計値を算出することによって撮像部20が生成した画像データに含まれる横筋ノイズを補正するために最適な水平ラインの範囲と係数を固有値(補正値)として算出する(処理4)。例えば、検査装置6は、補正対象の水平ライン、補正対象の水平ラインを含む水平ラインの範囲および係数を変えながら上述した処理1~処理3を順次行うことによって、複数の横筋ノイズ指数を算出し、この算出した複数の横筋ノイズ指数の標準偏差を算出後、この標準偏差が最小となる水平ラインの範囲(行数)と係数を補正値(固定値)として算出する。なお、検査装置6は、統計値として標準偏差を用いていたが、例えば加重平均値、最頻値、中央値、最大値および最小値のいずれかを用いてもよい。
〔検査装置の処理〕
次に、検査装置6が実行する詳細な処理について説明する。図9Aおよび図9Bは、検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。
次に、検査装置6が実行する詳細な処理について説明する。図9Aおよび図9Bは、検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。
図9Aに示すように、まず、撮像制御部650は、内視鏡2に対して、所定のフレームレート(例えば30fps)で暗時画像データの撮像を開始させる(ステップS101)。
続いて、取得部641は、内視鏡2の撮像部20が生成した全フレーム(例えば256フレーム分)の暗時画像データを内視鏡2から取得し、取得した暗時画像データを記録部63に記録する(ステップS102)。
その後、第1生成部642は、記録部63に記録された全フレームの暗時画像データを取得し、取得した全フレームの暗時画像データにおける有効画素領域の画素値を加算後、この加算した画素値に対してフレーム数で除算して加算平均値画像データを生成する(ステップS103)。
続いて、画像処理部64は、暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲mおよび横筋ノイズを補正する際に用いる係数kを初期化(m=1、k=0)するとともに(ステップS104)、フレーム番号Fを1(F=1)に設定する(ステップS105)。
その後、画像処理部64は、フレーム番号に対応する暗時画像データを記録部63から取得するとともに(ステップS106)、補正対象の水平ラインを1行目に設定する(ステップS107)。
続いて、第5算出部643aは、記録部63から取得した暗時画像データのダミー画素の画素値を抽出し、抽出したダミー画素の画素値の平均値AVE_obを算出する(ステップS108)。具体的には、図10に示すように、第5算出部643aは、記録部63から取得した暗時画像P10における範囲B1の全てのダミー画素の各々の画素値を抽出後、抽出した全てのダミー画素の各々の画素値を加算し、この加算した画素値を全てのダミー画素の画数で除算することによって平均値AVE_obを算出する。
続いて、第4算出部643によるクランプ値の算出処理が最終水平ラインまで終了している場合(ステップS109:Yes)、検査装置6は、後述するステップS115へ移行する。これに対して、第4算出部643によるクランプ値の算出処理が最終水平ラインまで終了していない場合(ステップS109:No)、検査装置6は、後述するステップS110へ移行する。
ステップS110において、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がmとなるように水平ラインの範囲B2を設定する。
続いて、第6算出部643bは、記録部63から取得した暗時画像データに対して、ステップS110で設定した水平ラインの範囲(行数)のダミー画素247の画素値を抽出後、抽出した水平ラインの範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp(n、m)を算出する(ステップS111)。具体的には、図10に示すように、第6算出部643bは、記録部63から取得した暗時画像P10に対して、ステップS110において設定した水平ラインの範囲mにおけるダミー画素247の画素値を抽出後、抽出した水平ラインの範囲mにおけるダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲mにおけるダミー画素247の画素数で除算することによってクランプ値CLP_temp(n、m)を算出する。なお、nは、補正対象の水平ライン(着目行)の行数を示す。
その後、第7算出部643cは、クランプ値CLP_a(n)を算出する(ステップS112)。具体的には、第7算出部643cは、補正対象の水平ラインをn、水平ラインの範囲をm、暗時画像における1または複数の補正画素の各々が出力したダミー信号の平均値をAVE_ob、水平ラインの範囲mにおける1または複数の補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを示す係数をkとした場合、以下の式(1)によって、クランプ値CLP_a(n)を算出する。
CLP_a(n)=(CLP_temp(n、m)-AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
CLP_a(n)=(CLP_temp(n、m)-AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。
続いて、クランプ処理部644は、補正対象の水平ラインにおける単位画素230の画素値に対して、ステップS112において第7算出部643cが算出したクランプ値CLP_a(n)を減算する(ステップS113)。具体的には、図10に示すように、クランプ処理部644は、補正対象の水平ラインA1の単位画素230における画素値に対して、第7算出部643cによって算出されたクランプ値CLP_a(n)を減算するクランプ処理を行い、このクランプ処理を行った結果を記録部63に記録する。
その後、第4算出部643は、補正対象の水平ラインを次の行に設定し(ステップS114)、上述したステップS109へ戻る。
ステップS115において、第2生成部645は、差画像データを生成する。具体的には、第2生成部645は、フレーム番号に対応する暗時画像データから上述したステップS103において第1生成部642によって算出された加算平均値画像データを減算することによって、差画像データを生成する。
続いて、第1算出部646は、1フレーム内における水平ラインの範囲の平均値データを算出する(ステップS116)。具体的には、第1算出部646は、ステップS115において第2生成部645が生成した差画像データに対して、水平ライン毎に平均値を算出し、この算出した算出結果を差画像データの水平ラインの数(行数)で除算することによって、1フレーム内の水平ライン分(行数分)の平均値データを算出する。なお、第1算出部646は、1フレーム内における水平ラインの範囲の平均値データを算出しているが、これに限定されることなく、例えば標準偏差、中央値、最頻値、加重平均値、最大値および最小値のいずれでもあってもよい。
その後、第2算出部647は、横筋ノイズ指数を算出する(ステップS117)。具体的には、第2算出部647は、上述したステップS116において第1算出部646が算出した水平ラインの範囲の平均値データに基づいて、横筋ノイズ指数を算出する。例えば、第2算出部647は、第1算出部646が算出した水平ラインの範囲の平均値データの標準偏差、中央値、最頻値、加重平均値、最大値および最小値のいずれか一つを、現フレームの横筋ノイズ指数として算出する。なお、本実施の形態1では、第2算出部647は、第1算出部646が算出した水平ラインの範囲の平均値データの標準偏差を横筋ノイズ指数として算出する。
続いて、第2算出部647は、ステップS117で算出した算出結果を記録部63に記録する(ステップS118)。
その後、画像処理部64は、フレーム番号をインクリメント(F=F+1)する(ステップS119)。
その後、記録部63に記録された暗時画像データの全フレームが終了している場合(ステップS120:Yes)、検査装置6は、後述するステップS121へ移行する。これに対して、記録部63に記録された暗時画像データの全フレームが終了していない場合(ステップS120:No)、検査装置6は、上述したステップS106へ戻る。
ステップS121において、第3算出部648は、横筋ノイズ指数Aを算出する。具体的には、第3算出部648は、全フレームの横筋ノイズに基づいて、横筋ノイズ指数Aを算出する。例えば、第3算出部648は、全フレームの横筋ノイズ指数の平均値を算出し、新たに、範囲m、係数:kに対応する横筋ノイズ指数A(m,k)として算出する。
続いて、第3算出部648は、係数kに0.2を加算する(k=k+0.2)(ステップS122)。
その後、係数kが1を超えた(k>1)場合(ステップS123:Yes)、検査装置6は、後述するステップS124へ移行する。これに対して、係数kが1を超えていない場合(ステップS123:No)、検査装置6は、上述したステップS106へ戻る。
ステップS124において、第3算出部648は、係数kを初期化(k=0)する。
続いて、第3算出部648は、範囲mに2を加算(m=m+2)する(ステップS125)。なお、範囲mに加算する値は、適宜変更することができ、例えば1または3等であってもよい。
その後、範囲mが15を超えた(m>15)場合(ステップS126:Yes)、検査装置6は、後述するステップS127へ移行する。これに対して、範囲mが15を超えていない場合(ステップS126:No)、検査装置6は、ステップS106へ戻る。
ステップS127において、第3算出部648は、記録部63が記録する全ての範囲m、係数:kに対応する全ての横筋ノイズ指数Aの中から最小値を算出する。
続いて、記録制御部649は、第3算出部648が算出した最小値に対応する補正対象の水平ラインを含む水平ラインの範囲mと係数kとを撮像部20の固有値(補正値)として内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する(ステップS128)。ステップS128の後、検査装置6は、本処理を終了する。
このように、検査装置6は、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために用いる撮像部20の補正値を算出し、算出した算出結果を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
〔内視鏡システムの構成〕
次に、上述した内視鏡2を備えた内視鏡システムについて説明する。図11は、内視鏡システムの全体構成を模式的に示す図である。図12は、内視鏡システムの機能構成を示すブロック図である。
次に、上述した内視鏡2を備えた内視鏡システムについて説明する。図11は、内視鏡システムの全体構成を模式的に示す図である。図12は、内視鏡システムの機能構成を示すブロック図である。
図11および図12に示す内視鏡システム1aは、上述した内視鏡2と、表示装置8と、プロセッサ9(画像処理装置)と、を備える。
表示装置8は、プロセッサ9が画像処理を施した画像信号に対する画像を表示する。また、表示装置8は、内視鏡システム1aに関する各種情報を表示する。表示装置8は、液晶や有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
プロセッサ9は、内視鏡システム1aの全体を統括的に制御するとともに、例えばハロゲンランプや白色LED(Light Emitting Diode)等を用いて構成され、コネクタ部5、伝送ケーブル3を経由して内視鏡2の挿入部100の先端側から被検体へ向けて照明光を照射する。プロセッサ9は、電源部61と、クロック生成部62と、画像処理部91と、を備える。なお、プロセッサ9内における照明機構の説明は省略する。
画像処理部91は、撮像信号処理部52で信号処理が施されたデジタルの撮像信号に対して、同時化処理、ホワイトバランス(WB)調整処理、ゲイン調整処理、ガンマ補正処理、デジタルアナログ(D/A)変換処理、フォーマット変換処理等の画像処理を行って画像信号に変換し、この画像信号を表示装置8へ出力する。画像処理部91は、取得部911と、平均値算出部912と、クランプ値算出部913と、補正部914と、を有する。
取得部911は、プロセッサ9に接続された内視鏡2のコネクタ部5におけるコネクタ記録部53から横筋ノイズを補正する補正値を含み、撮像部20が生成した画像データに対して画像処理を施すために必要なパラメータに関する固有値情報および撮像部20が生成した画像データの各々を取得する。ここで、補正値とは、補正対象の水平ラインを含み、この水平ラインを基準に上下方向の水平ラインの範囲m(行数)と、水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合いを示す係数kである。
平均値算出部912は、取得部911が取得した画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出する。
クランプ値算出部913は、平均値算出部912が算出した複数のダミー画素247の各々が出力したダミー信号の平均値と、取得部911が取得した補正値の水平ラインの範囲mと係数kとに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出する。
補正部914は、クランプ値算出部913が算出した水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正する。
〔プロセッサの処理〕
次に、プロセッサ9の処理について説明する。図13は、プロセッサ9が実行する処理の概要を示すフローチャートである。
次に、プロセッサ9の処理について説明する。図13は、プロセッサ9が実行する処理の概要を示すフローチャートである。
図13に示すように、まず、プロセッサ9は、接続された内視鏡2に対して、所定のフレームレートで撮像の開始を指示する(ステップS201)。この場合、プロセッサ9は、内視鏡2に向けて図示しない光源部に照明光を出射させる。
続いて、画像処理部91は、内視鏡2が生成した画像データに含まれる横筋ノイズを補正する横筋ノイズ補正処理を実行する(ステップS202)。なお、横筋ノイズ補正処理の詳細は後述する。
その後、画像処理部91は、横筋ノイズを補正した画像データに対して、所定の画像処理を施して表示装置8へ出力する(ステップS203)。例えば、画像処理部91は、横筋ノイズを補正した画像データに対して、撮像部20のオフセット値を加算する加算処理、ホワイトバランスを調整するWB調整処理およびゲインを調整するゲイン調整処理等を行って表示装置8へ出力する。
続いて、操作部4から被検体の観察を終了する指示信号が入力された場合(ステップS204:Yes)、プロセッサ9は、内視鏡2に対して、撮像の終了を指示し(ステップS205)、本処理を終了する。
ステップS204において、操作部4から被検体の観察を終了する指示信号が入力されていない場合(ステップS204:No)、プロセッサ9は、ステップS202へ戻る。
〔横筋ノイズ補正処理〕
次に、図13のステップS202において説明した横筋ノイズ補正処理の概要について説明する。図14は、図13の横筋ノイズ補正処理の概要を示すフローチャートである。
次に、図13のステップS202において説明した横筋ノイズ補正処理の概要について説明する。図14は、図13の横筋ノイズ補正処理の概要を示すフローチャートである。
図14に示すように、まず、取得部911は、内視鏡2におけるコネクタ記録部53の固有値情報記録部531から固定値を取得し(ステップS301)、補正する水平ラインの範囲m、および係数:kを固有値(補正値)に設定する(ステップS302)。
続いて、平均値算出部912は、内視鏡2が生成したRAWデータを取得し(ステップS303)、取得したRAWデータに含まれるダミー画素の画素値に基づいて、平均値AVE_obを算出し(ステップS304)、補正対象の水平ラインを1行目に設定する(ステップS305)。具体的には、平均値算出部912は、RAWデータに含まれるダミー画素の画素値を加算し、この加算した結果をダミー画素の画素数で除算することによって平均値AVE_obを算出する。
その後、補正対象の水平ラインが撮像部20の最終水平ラインである場合(ステップS306:Yes)、プロセッサ9は、図13のメインルーチンへ戻る。これに対して、補正対象の水平ラインが撮像部20の最終水平ラインでない場合(ステップS306:No)、プロセッサ9は、ステップS307へ移行する。
ステップS307において、クランプ値算出部913は、補正対象の水平ラインを中心としてトータルの水平ラインの範囲がmとなるように水平ラインの範囲(行範囲)を設定する。この場合において、撮像部20の有効画素領域における水平ラインの行数が1番目のとき、遮光領域の行を含めてトータルの水平ラインの行数がmとなるように水平ラインの範囲を設定する。例えば、画像処理部91は、範囲mが3の場合において、撮像部20の有効画素領域における補正対象の水平ラインの行数が1番目(最初の水平ライン)のとき、補正対象の水平ラインの前段(上方向)における遮光領域または基準信号を得るための水平ラインと、補正対象の水平ラインの次の水平ライン(下方向)を補正対象の水平ラインの範囲として設定する。
続いて、クランプ値算出部913は、ステップS307で設定した水平ラインの範囲のダミー画素の画素値に基づいて、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の平均値を算出する(ステップS308)。具体的には、クランプ値算出部913は、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、ステップS307で設定した水平ラインの範囲のダミー画素の画素値の平均値を算出する。
その後、クランプ値算出部913は、クランプ値CLP_aを算出する(ステップS309)。具体的には、クランプ値算出部913は、上述した式(1)、上述したステップS308で算出した平均値、係数k、および上述したステップS304で算出した平均値AVE_obを用いて、クランプ値CLP_aを算出する。
続いて、補正部914は、ステップS309で算出したクランプ値に基づいて、補正対象の水平ラインにおける単位画素230の画素値を補正する(ステップS310)。具体的には、補正部914は、補正対象の水平ラインにおける有効画素領域の単位画素230の各々が出力した画素値からクランプ値CLP_aを減算することによって、補正対象の水平ラインにおける有効画素領域の画像データを補正する。
その後、画像処理部91は、補正対象の水平ラインを次の行に設定する(ステップS311)。ステップS311の後、プロセッサ9は、上述したステップS306へ戻る。
以上説明した本発明の実施の形態1によれば、第1算出部646が第2生成部645によって生成されたフレーム毎の差画像データの統計値を横筋ノイズ指数として算出し、第2算出部647が第1算出部646によってフレーム毎に算出された複数の横筋ノイズ指数を水平ライン毎における複数のダミー画素247と複数の単位画素230との相関の度合い毎に算出し、第3算出部648が第2算出部647によって相関の度合い毎に算出された複数の横筋ノイズ指数のうち最小値になる相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出し、記録制御部649が第3算出部648によって算出された補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録するので、電源電圧の変動によって、OB画素領域と有効画素領域とで互いに異なるノイズが発生した場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができる。
また、本発明の実施の形態1によれば、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素247を用いることで、クランプ値の計算に必要なOB画素を第1チップ21に配置できない場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができるので、第1チップ21の面積を小さくすることができる。なお、本実施の形態1では、ダミー信号を出力する補正画素の一例としてOB画素に相当するダミー信号を生成するダミー画素247の例を説明したが、光が遮光されたOB画素であっても適用することができる。
また、本発明の実施の形態1によれば、平均値算出部912が取得部によって取得された画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出し、クランプ値算出部913が平均値算出部912によって算出された複数のダミー画素247の各々が出力したダミー信号の平均値と、撮像部20における水平ラインの範囲と係数とに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出し、補正部914がクランプ値算出部913によって算出された水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2は、上述した実施の形態1と同様の構成を有し、検査装置が実行する処理およびプロセッサが実行する横筋ノイズ補正処理が異なる。以下においては、本実施の形態2に係る検査装置およびプロセッサの各々が実行する処理について説明する。なお、上述した実施の形態1に係る検査システム1および内視鏡システム1aの構成と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態2について説明する。本実施の形態2は、上述した実施の形態1と同様の構成を有し、検査装置が実行する処理およびプロセッサが実行する横筋ノイズ補正処理が異なる。以下においては、本実施の形態2に係る検査装置およびプロセッサの各々が実行する処理について説明する。なお、上述した実施の形態1に係る検査システム1および内視鏡システム1aの構成と同一の構成には同一の符号を付して説明を省略する。
〔検査装置の処理〕
まず、本実施の形態2に係る検査装置6が実行する処理について説明する。図15Aおよび図15Bは、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。図16は、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する算出方法を模式的に示す図である。図15において、本実施の形態2では、検査装置6は、上述した実施の形態1における図9のステップS104、ステップS110、ステップS111、ステップS112、ステップS113、およびステップS121~S127に替えて、ステップS104a、ステップS110a、ステップS111a、ステップS112a、ステップS113a、ステップS121a~S130aを実行する。さらに、図15Aにおいては、ステップS112b~ステップS112eを実行する。それ以外は、上述した図9の処理と同様のため、説明を省略する。
まず、本実施の形態2に係る検査装置6が実行する処理について説明する。図15Aおよび図15Bは、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する処理の概要を示すフローチャートである。図16は、本実施の形態2に係る検査装置6が実行する撮像部20の固有値を算出する算出方法を模式的に示す図である。図15において、本実施の形態2では、検査装置6は、上述した実施の形態1における図9のステップS104、ステップS110、ステップS111、ステップS112、ステップS113、およびステップS121~S127に替えて、ステップS104a、ステップS110a、ステップS111a、ステップS112a、ステップS113a、ステップS121a~S130aを実行する。さらに、図15Aにおいては、ステップS112b~ステップS112eを実行する。それ以外は、上述した図9の処理と同様のため、説明を省略する。
ステップS104aにおいて、画像処理部64は、暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲m1、範囲m1と異なる暗時画像データに対応する暗時画像の着目行を含む上下方向の行を示す範囲m2、横筋ノイズを補正する際に用いる係数k1,k2を初期化(m1=1、m2=1、k1=0、k2=0)する。
ステップS110aにおいて、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がm1となるように水平ラインの範囲m1を設定する。
続いて、第6算出部643bは、記録部63から取得した暗時画像データに対して、ステップS110で設定した水平ラインの範囲のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp1(n、m1)を算出する(ステップS111a)。図16に示すように、第6算出部643bは、水平ラインの範囲m1に対応する暗時画像P10の範囲B1のダミー画素247の画素値を抽出後、抽出した水平ラインの範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲m1のダミー画素247の画素数で除算することによってクランプ値CLP_temp1(n、m1)を算出する。
その後、第7算出部643cは、暫定クランプ値CLP_a1(n,m1)を算出する(ステップS112a)。具体的には、第7算出部643cは、以下の式(2)によって、暫定クランプ値CLP_a1(n,m1)を算出する。
CLP_a1(n,m1)=(CLP_temp1(n、m1)-AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
ここで、k1は、0≦k1≦1を満たす。
CLP_a1(n,m1)=(CLP_temp1(n、m1)-AVE_ob)×k1+(AVE_ob÷2) ・・・(2)
ここで、k1は、0≦k1≦1を満たす。
続いて、第4算出部643は、補正対象の水平ラインを中心としてトータル水平ラインの数がm2となるように水平ラインの範囲m2を設定する(ステップS112b)。
その後、第6算出部643bは、記録部63から取得した暗時画像に対して、ステップS110で設定した水平ラインの範囲のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲のダミー画素247の画素数で除算することによってクランプ値CLP_temp2(n、m2)を算出する(ステップS112c)。具体的には、第6算出部643bは、図16に示すように、第6算出部643bは、水平ラインの範囲m2に対応する暗時画像P10の範囲B3のダミー画素247の画素値を抽出後、抽出した行範囲のダミー画素247の画素値を加算し、加算した画素値を水平ラインの範囲m2のダミー画素247の画素数で除算することによってクランプ値CLP_temp2(n、m2)を算出する。
続いて、第7算出部643cは、暫定クランプ値CLP_a2(n,m2)を算出する(ステップS112d)。具体的には、第7算出部643cは、以下の式(3)によって、暫定クランプ値CLP_a2(n)を算出する。
CLP_a2(n,m2)=(CLP_temp2(n、m2)-AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
ここで、k2は、0≦k2≦1を満たす。
CLP_a2(n,m2)=(CLP_temp2(n、m2)-AVE_ob)×k2+(AVE_ob÷2) ・・・(3)
ここで、k2は、0≦k2≦1を満たす。
その後、第7算出部643cは、クランプ値CLP_a(n)を算出する(ステップS112e)。具体的には、第7算出部643cは、ステップS112aおよびステップ112dの各々で算出した暫定クランプを用いてクランプ値CLP_a(n)を算出する。より具体的には、第7算出部643cは、以下の式(4)によって、クランプ値CLP_a(n)を算出する。
CLP_a(n)=CLP_a1(n,m1)+CLP_a2(n,m2)
・・・(4)
CLP_a(n)=CLP_a1(n,m1)+CLP_a2(n,m2)
・・・(4)
続いて、クランプ処理部644は、補正対象の水平ラインにおける単位画素230に対して、ステップS112eで第7算出部643cが算出したクランプ値CLP_a(n)を減算する(ステップS113a)。具体的には、図16に示すように、クランプ処理部644は、補正対象の水平ラインA1の単位画素230の各々の画素値に対して、クランプ値CLP_a(n)を減算して記録部63に記録する。
ステップ121aにおいて、第3算出部648は、横筋ノイズ指数Aを算出する。具体的には、第3算出部648は、全フレームの横筋ノイズに基づいて、横筋ノイズ指数Aを算出する。例えば、第3算出部648は、全フレームの横筋ノイズの平均値を算出し、新たに、範囲m1,m2、係数:k1,k2に対応する横筋ノイズ指数A(m1,m2,k1,k2)として算出する。
続いて、係数k1が1である(k1=1)場合、かつ、係数k2が1である(k2=1)場合、かつ、範囲m1が15である(m1=15)場合、かつ、範囲m2が15である(m2=15)場合(ステップS122a:Yes)、検査装置6は、横筋ノイズ指数の算出・記録を中断してステップS130aへ移行する。これに対して、いずれかの条件が成り立たない場合(ステップS122a:No)、検査装置6は、後述するステップS123aに移行する。
第3算出部648は、係数k1に0.2を加算(k1=k1+0.2)する(ステップS123a)。その結果、k1が1を超えた(k1>1)場合(ステップS124a:Yes)、検査装置6は、後述するステップS125aに移行する。これに対して、k1が1を超えていない場合(ステップS123a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS125aにおいて、第3算出部648は、係数k1を0とし(k1=0)、範囲m1に2を加算(m1=m1+2)する。
続いて、m1が15を超えた(m1>15)場合(ステップS126a:Yes)、検査装置6は、後述するステップS127aに移行する。これに対して、m1が15を超えていない場合(ステップS126a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS127aにおいて、第3算出部648は、範囲m1を1とし(m1=1)、係数k2に0.2を加算(k2=k2+0.2)する。
続いて、k2が1を超えた(k2>1)場合(ステップS128a:Yes)、検査装置6は、後述するステップS129aに移行する。これに対して、k2が1を超えていない場合(ステップS128a:No)、検査装置6は、上述したステップS106へ移行する。
ステップS129aにおいて、第3算出部648は、係数k2を0とし(k2=0)、範囲m2に2を加算(m2=m2+2)する。ステップS129aの後、検査装置6は、上述したステップS106へ移行する。なお、上述した範囲m1,m2に加算する値は、適宜変更することができ、例えば1または3等であってもよい。
ステップS130aにおいて、第3算出部648は、記録部63が記録する全ての範囲m1,m2、係数:k1、k2に対応する全ての横筋ノイズ指数Aの中から最小値を算出する。
続いて、記録制御部649は、第3算出部648が算出した最小値に対応する補正対象の水平ラインを含む水平ラインの範囲m1,m2と係数k1,k2とを撮像部20の固有値(補正値)として内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する(ステップS131)。ステップS131の後、検査装置6は、本処理を終了する。
このように、検査装置6は、撮像部20が生成した画像データに含まれる横筋ノイズを補正するために用いる補正値を算出して内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録する。
〔横筋ノイズ補正処理〕
次に、プロセッサ9が実行する横筋ノイズ補正処理について説明する。図17は、プロセッサ9が実行する横筋ノイズ補正処理の概要を示すフローチャートである。ステップ401~ステップS406は、上述した図14のステップS301~ステップS306にそれぞれ対応する。
次に、プロセッサ9が実行する横筋ノイズ補正処理について説明する。図17は、プロセッサ9が実行する横筋ノイズ補正処理の概要を示すフローチャートである。ステップ401~ステップS406は、上述した図14のステップS301~ステップS306にそれぞれ対応する。
ステップS407において、画像処理部91は、補正対象の水平ラインを中心としてトータルの水平ラインの範囲がm1となるように水平ラインの範囲(行数)を設定する。
続いて、平均値算出部912は、ステップS407において設定した水平ラインの範囲におけるダミー画素の画素値に基づいて、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する(ステップS408)。具体的には、平均値算出部912は、水平ラインの範囲におけるダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する。
その後、クランプ値算出部913は、暫定クランプ値CLP_a1を算出する(ステップS409)。具体的には、クランプ値算出部913は、上述した式(2)、上述したステップS408において平均値算出部912が算出した平均値、係数k1、およびステップS404において算出した平均値AVE_obを用いて、暫定クランプ値CLP_a1を算出する。
続いて、画像処理部91は、補正対象の水平ラインの範囲(行範囲)を中心としてトータルの水平ラインの数がm2となるように水平ラインの範囲を設定する(ステップS410)。
その後、平均値算出部912は、ステップS410において設定した水平ラインの範囲のダミー画素の画素値に基づいて、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する(ステップS411)。具体的には、平均値算出部912は、水平ラインの範囲におけるダミー画素の画素値の全てを加算し、この加算した結果に対してダミー画素の画素数で除算することによって、水平ラインの範囲におけるダミー画素の画素値の平均値を算出する。
続いて、クランプ値算出部913は、暫定クランプ値CLP_a2を算出する(ステップS412)。具体的には、クランプ値算出部913は、上述した式(3)、上述したステップS411で算出した平均値、係数k2、およびステップS404で算出した平均値AVE_obを用いて、暫定クランプ値CLP_a2を算出する。
その後、クランプ値算出部913は、クランプ値CLP_aを算出する(ステップS413)。具体的には、クランプ値算出部913は、ステップS409において算出した暫定クランプ値CLP_a1およびステップS412において算出した暫定クランプ値CLP_a2を加算することによってクランプ値CLP_aを算出する(CLP_a=CLP_a1+CLP_a2)。
ステップS414およびステップS415は、上述した図14のステップ310およびステップS311にそれぞれ対応する。
以上説明した本発明の実施の形態2によれば、第1算出部646が第2生成部645によって生成されたフレーム毎の差画像データの統計値を横筋ノイズ指数として算出し、第2算出部647が第1算出部646によってフレーム毎に算出された複数の横筋ノイズ指数を水平ライン毎における複数のダミー画素247と複数の単位画素230との互いに異なる相関の度合い毎に算出し、第3算出部648が第2算出部647によって互いに異なる相関の度合い毎に算出された複数の横筋ノイズ指数のうち最小値になる相関の度合いを画像データに含まれる横筋ノイズを補正する補正値として算出し、記録制御部649が第3算出部648によって算出された補正値を内視鏡2におけるコネクタ記録部53の固有値情報記録部531に記録するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、上述した実施の形態1に比して、第1チップ21毎により精度よく横筋ノイズを補正することができる。
また、本発明の実施の形態2によれば、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素247を用いることで、クランプ値の計算に必要なOB画素を第1チップ21に配置できない場合であっても、第1チップ21毎に精度よく横筋ノイズを補正することができるので、第1チップ21の面積を小さくすることができる。なお、本実施の形態2では、ダミー信号を出力する補正画素の一例としてOB画素に相当するダミー信号を生成するダミー画素247の例を説明したが、光が遮光されたOB画素であっても適用することができる。
また、本発明の実施の形態2によれば、平均値算出部912が取得部によって取得された画像データに対応する画像における複数のダミー画素247の各々が出力したダミー信号の平均値を算出し、クランプ値算出部913が平均値算出部912によって算出された複数のダミー画素247の各々が出力したダミー信号の平均値と、撮像部20における水平ラインの範囲と係数とに基づいて、複数の単位画素230の各々の撮像信号を補正するためのクランプ値を水平ライン毎に算出し、補正部914がクランプ値算出部913によって算出された水平ライン毎のクランプ値に基づいて、補正対象の水平ラインにおける複数の単位画素230の各々の撮像信号を補正するので、電源電圧の変動によって、OB画素部と有効画素部とで互いに異なるノイズが発生した場合であっても、上述した実施の形態1に比して、第1チップ21毎により精度よく横筋ノイズを補正することができる。
(実施の形態2の変形例)
本発明の実施の形態2では、横筋ノイズを補正する際に用いる係数k1が0≦k1≦1の条件を満たし、k2が0≦k2≦1の条件を満たしていたが、以下の条件(5)であってもよい。
k1+k2=1 ・・・(5)
この場合、第7算出部643cは、上述した式(2)~式(4)より、以下の式(6)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×k2
・・・(6)
従って、上述した条件(5)より、以下の式(7)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×(1-k1)
・・・(7)
本発明の実施の形態2では、横筋ノイズを補正する際に用いる係数k1が0≦k1≦1の条件を満たし、k2が0≦k2≦1の条件を満たしていたが、以下の条件(5)であってもよい。
k1+k2=1 ・・・(5)
この場合、第7算出部643cは、上述した式(2)~式(4)より、以下の式(6)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×k2
・・・(6)
従って、上述した条件(5)より、以下の式(7)が成り立つ。
CLP_a(n)=(CLP_temp1(n、m1))×k1
+(CLP_temp2(n、m2))×(1-k1)
・・・(7)
このように、第7算出部643cは、上述した式(7)より、条件(5)であれば、クランプ値CLP_a(n)の計算にAVE_obを必要としないため、フレーム内の全ダミー画素247(OB画素)の出力(ダミー信号)を予め記録部63等に記録させておく必要がない。この結果、記録部63のメモリ容量の節約や、補正処理にともなう画像データの出力遅延を抑制することができる。さらに、画像処理部64は、実施的に、補正処理に必要なパラメータの数を1つ削減することができるので、補正処理の高速化を行うことができる。
以上説明した本発明の実施の形態2の変形例によれば、1フレーム分の画像データを蓄える必要がないので、補正処理にともなう画像データの出力遅延を抑制することができる。
(その他の実施の形態)
なお、本実施の形態では、画像処理部64が検査装置6内に設けられていたが、内視鏡2のコネクタ部5または内視鏡2の操作部4に設けても良い。
なお、本実施の形態では、画像処理部64が検査装置6内に設けられていたが、内視鏡2のコネクタ部5または内視鏡2の操作部4に設けても良い。
また、本実施の形態では、画像処理部91がプロセッサ9内に設けられていたが、内視鏡2のコネクタ部5または内視鏡2の操作部4に設けても良い。
また、本実施の形態では、固有値情報記録部531が内視鏡2のコネクタ部5内に設けられていたが、第1チップ21内に設けてもよいし、操作部4の内部に設けてもよい。
なお、本実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1 検査システム
1a 内視鏡システム
2 内視鏡
3 伝送ケーブル
4 操作部
5 コネクタ部
6 検査装置
7 光源装置
8 表示装置
9 プロセッサ
20 撮像部
21 第1チップ
22 第2チップ
23 受光部
24 読み出し部
25 タイミング生成部
27 バッファ
28 ヒステリシス部
31 出力部
51 AFE部
52 撮像信号処理部
53 コネクタ記録部
54 駆動信号生成部
61 電源部
62 クロック生成部
63 記録部
64 画像処理部
91 画像処理部
100 挿入部
101 先端
102 基端
230 単位画素
231 光電変換素子
233 電荷変換部
234 転送トランジスタ
236,236a 画素リセット部
237,237a 画素ソースフォロアトランジスタ
239 垂直転送線
241 垂直走査部
242,257 定電流源
243 ノイズ除去部
244 列ソースフォロアトランジスタ
245 水平走査部
246,246a,246b 基準電圧生成部
247 ダミー画素
252 転送容量
253 クランプスイッチ
254 列選択スイッチ
256 水平リセットトランジスタ
258 水平転送線
291,292 抵抗
293 マルチプレクサ
294 スイッチ
531 固有値情報記録部
641 取得部
642 第1生成部
643 第4算出部
643a 第5算出部
643b 第6算出部
643c 第7算出部
644 クランプ処理部
645 第2生成部
646 第1算出部
647 第2算出部
648 第3算出部
649 記録制御部
650 撮像制御部
911 取得部
912 平均値算出部
913 クランプ値算出部
914 補正部
A100 遮光キャップ
C1 コンデンサ
1a 内視鏡システム
2 内視鏡
3 伝送ケーブル
4 操作部
5 コネクタ部
6 検査装置
7 光源装置
8 表示装置
9 プロセッサ
20 撮像部
21 第1チップ
22 第2チップ
23 受光部
24 読み出し部
25 タイミング生成部
27 バッファ
28 ヒステリシス部
31 出力部
51 AFE部
52 撮像信号処理部
53 コネクタ記録部
54 駆動信号生成部
61 電源部
62 クロック生成部
63 記録部
64 画像処理部
91 画像処理部
100 挿入部
101 先端
102 基端
230 単位画素
231 光電変換素子
233 電荷変換部
234 転送トランジスタ
236,236a 画素リセット部
237,237a 画素ソースフォロアトランジスタ
239 垂直転送線
241 垂直走査部
242,257 定電流源
243 ノイズ除去部
244 列ソースフォロアトランジスタ
245 水平走査部
246,246a,246b 基準電圧生成部
247 ダミー画素
252 転送容量
253 クランプスイッチ
254 列選択スイッチ
256 水平リセットトランジスタ
258 水平転送線
291,292 抵抗
293 マルチプレクサ
294 スイッチ
531 固有値情報記録部
641 取得部
642 第1生成部
643 第4算出部
643a 第5算出部
643b 第6算出部
643c 第7算出部
644 クランプ処理部
645 第2生成部
646 第1算出部
647 第2算出部
648 第3算出部
649 記録制御部
650 撮像制御部
911 取得部
912 平均値算出部
913 クランプ値算出部
914 補正部
A100 遮光キャップ
C1 コンデンサ
Claims (16)
- 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する補正値を算出する検査装置であって、
前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得部と、
前記取得部が取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成部と、
水平ライン毎における前記複数の補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成部と、
前記第2生成部が生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出部と、
前記第1算出部がフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出部と、
前記第2算出部が前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出部と、
前記第3算出部が算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御部と、
を備えたことを特徴とする検査装置。 - 前記相関の度合いに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出する第4算出部と、
前記複数の有効画素の各々の前記撮像信号から前記第4算出部によって算出された前記クランプ値を減算するクランプ処理を水平ライン毎に行うクランプ処理部と、
をさらに備え、
前記第2生成部は、前記クランプ処理部が前記クランプ処理を行った前記画像データから前記第1生成部によって生成された前記加算平均画像データを減算することによって前記差画像データをフレーム毎に生成することを特徴とする請求項1に記載の検査装置。 - 前記第1算出部は、前記第2生成部が生成した前記差画像データに対応する差画像の水平ライン毎における前記撮像信号の平均値を算出し、
前記第2算出部は、前記第1算出部が算出した水平ライン毎の前記撮像信号の平均値に基づく統計値を前記横筋ノイズ指数としてフレーム毎に算出することを特徴とする請求項2に記載の検査装置。 - 前記第4算出部は、
前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、
前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、
補正対象の水平ラインをn、前記範囲をm、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp(n、m)、前記相関の度合いを示す係数をk、前記クランプ値をCLP_a(n)とした場合、以下の式(1)によって、CLP_a(n)を算出する第7算出部と、
を有することを特徴とする請求項2または3に記載の検査装置。
CLP_a(n)=(CLP_temp(n、m)-AVE_ob)×k
+AVE_ob ・・・(1)
ここで、kは、0≦k≦1を満たす。 - 前記第4算出部は、
前記取得部が取得した前記暗時画像データに対応する暗時画像における前記補正画素の各々が出力したダミー信号の平均値をフレーム毎に算出する第5算出部と、
前記取得部が取得した前記暗時画像データに対応する暗時画像における補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲における前記補正画素の各々が出力したダミー信号の平均値を算出する第6算出部と、
補正対象の水平ラインをn、互いに異なる前記範囲をm1、m2、前記暗時画像における前記補正画素の各々が出力したダミー信号の平均値をAVE_ob、互いに異なる前記範囲における前記補正画素の各々が出力したダミー信号の平均値をCLP_temp1(n、m1)、CLP_temp2(n、m2)、互いに異なる前記相関の度合いを示す係数をk1、k2、前記クランプ値をCLP_a(n)とした場合、以下の式(2)~(4)によって、CLP_a(n)を算出する第7算出部と、
を有することを特徴とする請求項2または3に記載の検査装置。
CLP_a1(n)=(CLP_temp1(n、m1)-AVE_ob)×k1
+(AVE_ob÷2) ・・・(2)
CLP_a2(n)=(CLP_temp2(n、m2)-AVE_ob)×k2
+(AVE_ob÷2) ・・・(3)
CLP_a(n)=CLP_a1(n)+CLP_a2(n) ・・・(4)
ここで、k1は、0≦k1≦1の条件を満たし、k2は、0≦k2≦1の条件を満たす。 - 前記k1およびk2は、以下の条件(5)を満たすことを特徴とする請求項5に記載の検査装置。
k1+k2=1 ・・・(5) - 前記相関の度合いは、水平ライン毎における前記複数の補正画素の各々が出力するダミー信号と前記複数の有効画素の各々が出力する撮像信号との差であることを特徴とする請求項1~6のいずれか一つに記載の検査装置。
- 前記統計値は、標準偏差であることを特徴とする請求項1~7のいずれか一つに記載の検査装置。
- 前記補正画素は、光が遮光されたOB画素に相当するダミー信号を生成するダミー画素であることを特徴とする請求項1~8のいずれか一つに記載の検査装置。
- 前記補正画素は、光が遮光されたOB画素であることを特徴とする請求項1~9のいずれか一つに記載の検査装置。
- 前記撮像素子は、被検体を撮像する内視鏡の挿入部の先端に配置されてなり、
前記記録部は、前記挿入部と連なってなり、前記画像データに対して画像処理を行うプロセッサに接続可能なコネクタ部の内部に配置されてなることを特徴とする請求項1~10のいずれか一つに記載の検査装置。 - 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置であって、
前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得部と、
前記取得部が取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出部と、
前記平均値算出部が算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出部と、
前記クランプ値算出部が算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正部と、
を備えたことを特徴とする画像処理装置。 - 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置が実施する補正値算出方法であって、
前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、
水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、
前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、
前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合い毎に算出する第2算出ステップと、
前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、
前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、
を含むことを特徴とする補正値算出方法。 - 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置が実行する画像処理方法であって、
前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、
前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、
前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、
を含むことを特徴とする画像処理方法。 - 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を備えた撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値を算出する検査装置に、
前記撮像素子が遮光された状態で、前記撮像素子が生成した複数の暗時画像データを前記撮像素子から取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の暗時画像データを加算して該暗時画像データのフレーム数によって除算することによって加算平均画像データを生成する第1生成ステップと、
水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いに基づいて補正した前記画像データから前記第1生成ステップによって生成された前記加算平均画像データを減算した差画像データをフレーム毎に生成する第2生成ステップと、
前記第2生成ステップにおいて生成したフレーム毎の前記差画像データの統計値を横筋ノイズ指数として算出する第1算出ステップと、
前記第1算出ステップにおいてフレーム毎に算出した複数の前記横筋ノイズ指数を前記相関の度合毎に算出する第2算出ステップと、
前記第2算出ステップにおいて前記相関の度合い毎に算出した複数の前記横筋ノイズ指数のうち最小値になる前記相関の度合いを前記補正値として算出する第3算出ステップと、
前記第3算出ステップにおいて算出した前記補正値を前記撮像素子に設けられた記録部に記録する記録制御ステップと、
を実行させることを特徴とする検査プログラム。 - 二次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置における水平ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する1または複数の補正画素と、を有する撮像素子と、撮像素子が生成した画像データに含まれる横筋ノイズを補正する際に用いる補正値であって、補正対象の水平ラインを含み、該水平ラインを基準に上下方向の水平ラインの範囲と、水平ライン毎における前記補正画素と前記複数の有効画素との相関の度合いを示す係数と、を含む補正値を記録する記録部と、を備えた撮像装置が接続される画像処理装置に、
前記記録部から前記補正値および前記撮像素子が生成した前記画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対応する画像における前記補正画素の各々が出力したダミー信号の平均値を算出する平均値算出ステップと、
前記平均値算出ステップにおいて算出した前記補正画素の各々が出力したダミー信号の平均値と、前記水平ラインの範囲と前記係数とに基づいて、前記複数の有効画素の各々の前記撮像信号を補正するためのクランプ値を水平ライン毎に算出するクランプ値算出ステップと、
前記クランプ値算出ステップにおいて算出した前記水平ライン毎の前記クランプ値に基づいて、補正対象の水平ラインにおける前記複数の有効画素の各々の前記撮像信号を補正する補正ステップと、
を実行させることを特徴とする補正プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201680061724.4A CN108141551B (zh) | 2015-11-19 | 2016-09-15 | 检查装置、图像处理装置、校正值计算方法、图像处理方法以及存储介质 |
| EP16866013.2A EP3379823A4 (en) | 2015-11-19 | 2016-09-15 | TEST DEVICE, IMAGE PROCESSING DEVICE, METHOD OF CORRECTION TESTING, IMAGE PROCESSING, TEST PROGRAM AND CORRECTION PROGRAM |
| JP2017551750A JP6261841B2 (ja) | 2015-11-19 | 2016-09-15 | 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム |
| US15/972,713 US10735681B2 (en) | 2015-11-19 | 2018-05-07 | Inspection device, image processing device, correction value calculating method, image processing method and computer readable recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015226806 | 2015-11-19 | ||
| JP2015-226806 | 2015-11-19 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US15/972,713 Continuation US10735681B2 (en) | 2015-11-19 | 2018-05-07 | Inspection device, image processing device, correction value calculating method, image processing method and computer readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017086010A1 true WO2017086010A1 (ja) | 2017-05-26 |
Family
ID=58718652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/077338 Ceased WO2017086010A1 (ja) | 2015-11-19 | 2016-09-15 | 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10735681B2 (ja) |
| EP (1) | EP3379823A4 (ja) |
| JP (1) | JP6261841B2 (ja) |
| CN (1) | CN108141551B (ja) |
| WO (1) | WO2017086010A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109963095A (zh) * | 2017-12-22 | 2019-07-02 | 豪威科技股份有限公司 | 快速稳定输出线电路、快速稳定方法和成像系统 |
| WO2021201269A1 (ja) * | 2020-04-02 | 2021-10-07 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10290673B1 (en) * | 2017-12-22 | 2019-05-14 | Omnivision Technologies, Inc. | Bitline settling improvement and FPN reduction by floating bitline during charge transfer |
| CN115131540A (zh) * | 2022-07-20 | 2022-09-30 | 重庆金山医疗技术研究院有限公司 | 一种图像传感装置及胶囊式内窥镜 |
| CN117017188A (zh) * | 2023-08-24 | 2023-11-10 | 华伦医疗用品(深圳)有限公司 | 一种宫腔内窥镜的成像系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008067060A (ja) | 2006-09-07 | 2008-03-21 | Canon Inc | 撮像装置 |
| JP2013017040A (ja) * | 2011-07-04 | 2013-01-24 | Toshiba Corp | 画像処理装置及び固体撮像装置 |
| JP2013150144A (ja) * | 2012-01-19 | 2013-08-01 | Hitachi Kokusai Electric Inc | 撮像方法および撮像装置 |
| WO2015045486A1 (ja) * | 2013-09-30 | 2015-04-02 | 株式会社日立国際電気 | 撮像装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4262253B2 (ja) * | 2006-02-08 | 2009-05-13 | キヤノン株式会社 | 画像信号処理装置を有する撮像装置、及び同装置を用いたカメラ |
| US7787036B2 (en) * | 2006-09-07 | 2010-08-31 | Canon Kabushiki Kaisha | Imaging apparatus configured to correct noise |
| US7760258B2 (en) * | 2007-03-07 | 2010-07-20 | Altasens, Inc. | Apparatus and method for stabilizing image sensor black level |
| JP4385060B2 (ja) * | 2007-05-16 | 2009-12-16 | シャープ株式会社 | 固体撮像装置および電子情報機器 |
| JP5366619B2 (ja) * | 2008-08-12 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
| JP5534997B2 (ja) * | 2010-08-03 | 2014-07-02 | 富士フイルム株式会社 | 電子内視鏡システム |
| JP2012090051A (ja) * | 2010-10-19 | 2012-05-10 | Sony Corp | 撮像装置及び撮像方法 |
-
2016
- 2016-09-15 EP EP16866013.2A patent/EP3379823A4/en not_active Withdrawn
- 2016-09-15 JP JP2017551750A patent/JP6261841B2/ja active Active
- 2016-09-15 CN CN201680061724.4A patent/CN108141551B/zh active Active
- 2016-09-15 WO PCT/JP2016/077338 patent/WO2017086010A1/ja not_active Ceased
-
2018
- 2018-05-07 US US15/972,713 patent/US10735681B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008067060A (ja) | 2006-09-07 | 2008-03-21 | Canon Inc | 撮像装置 |
| JP2013017040A (ja) * | 2011-07-04 | 2013-01-24 | Toshiba Corp | 画像処理装置及び固体撮像装置 |
| JP2013150144A (ja) * | 2012-01-19 | 2013-08-01 | Hitachi Kokusai Electric Inc | 撮像方法および撮像装置 |
| WO2015045486A1 (ja) * | 2013-09-30 | 2015-04-02 | 株式会社日立国際電気 | 撮像装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3379823A4 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109963095A (zh) * | 2017-12-22 | 2019-07-02 | 豪威科技股份有限公司 | 快速稳定输出线电路、快速稳定方法和成像系统 |
| WO2021201269A1 (ja) * | 2020-04-02 | 2021-10-07 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
| JPWO2021201269A1 (ja) * | 2020-04-02 | 2021-10-07 | ||
| US12250469B2 (en) | 2020-04-02 | 2025-03-11 | Koito Manufacturing Co., Ltd. | Gating camera, sensing system for vehicle, and lighting unit for vehicle |
| JP7695230B2 (ja) | 2020-04-02 | 2025-06-18 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10735681B2 (en) | 2020-08-04 |
| CN108141551B (zh) | 2020-08-11 |
| EP3379823A1 (en) | 2018-09-26 |
| EP3379823A4 (en) | 2019-08-07 |
| US20180255258A1 (en) | 2018-09-06 |
| JPWO2017086010A1 (ja) | 2018-02-15 |
| CN108141551A (zh) | 2018-06-08 |
| JP6261841B2 (ja) | 2018-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5596888B1 (ja) | 撮像装置、内視鏡システム及びノイズ除去方法 | |
| JP5826968B2 (ja) | 撮像素子、撮像装置、内視鏡および内視鏡システム | |
| JP6261841B2 (ja) | 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム | |
| JP5861012B1 (ja) | 撮像素子、撮像装置、内視鏡、内視鏡システム | |
| US10511791B2 (en) | Image capturing apparatus capable of performing readout from a plurality of divided areas of a pixel area and control method therefor | |
| JP5826969B2 (ja) | 撮像素子、撮像装置、内視鏡、内視鏡システムおよび撮像素子の駆動方法 | |
| CN105009569B (zh) | 摄像元件、摄像装置以及内窥镜系统 | |
| JP5932182B1 (ja) | 撮像素子、撮像装置、内視鏡および内視鏡システム | |
| JP6064097B2 (ja) | 内視鏡および内視鏡システム | |
| JP6832250B2 (ja) | 内視鏡、制御装置、補正方法およびプログラム | |
| US9876997B2 (en) | Endoscope | |
| WO2014175006A1 (ja) | 撮像素子、撮像装置、内視鏡、内視鏡システムおよび撮像素子の駆動方法 | |
| US20250204764A1 (en) | Imaging system, endoscope, endoscope system, and imaging method | |
| JP2017123971A (ja) | 内視鏡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16866013 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2017551750 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2016866013 Country of ref document: EP |