[go: up one dir, main page]

WO2016203966A1 - 撮像装置、撮像方法、並びにプログラム - Google Patents

撮像装置、撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2016203966A1
WO2016203966A1 PCT/JP2016/066347 JP2016066347W WO2016203966A1 WO 2016203966 A1 WO2016203966 A1 WO 2016203966A1 JP 2016066347 W JP2016066347 W JP 2016066347W WO 2016203966 A1 WO2016203966 A1 WO 2016203966A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
unit
image
information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/066347
Other languages
English (en)
French (fr)
Inventor
田中　寛之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2016203966A1 publication Critical patent/WO2016203966A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • the present technology relates to an imaging device, an imaging method, and a program.
  • the present invention relates to an imaging apparatus, an imaging method, and a program that can suppress the occurrence of false colors.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • CMOS image sensor as a method of expanding the dynamic range, a method of adjusting the exposure time by turning the electronic shutter at a high speed, a method of photographing a plurality of frames at a high speed, and a photoelectric conversion of the light receiving unit A method of making the characteristic logarithmic response is known.
  • the method of releasing the electronic shutter at a high speed does not allow a sufficient exposure time particularly in a dark place, that is, a low-light scene. N deteriorates and the image quality deteriorates.
  • the method of capturing and overlaying multiple frames at high speed can improve the S / N by superimposing images compared to the method of simply releasing the electronic shutter, but the readout noise accumulates as much as multiple readouts. As a result, the S / N deteriorates at low illumination.
  • a technique in which a plurality of images having different exposure times are continuously photographed and combined. That is, a long-exposure image and a short-exposure image are taken individually and continuously, a long-exposure image is used for dark image areas, and a bright image area that is overexposed for long-exposure images.
  • This is a technique for generating one image by a synthesis process using a short-time exposure image. In this way, by combining a plurality of different exposure images, an image having a wide dynamic range without overexposure, that is, a wide dynamic range image (HDR image) can be obtained.
  • HDR image wide dynamic range image
  • Patent Document 1 discloses a configuration in which two images set with a plurality of different exposure times are taken, and these images are combined to obtain an image with a wide dynamic range.
  • Patent Document 1 needs to perform processing for individually capturing and combining a long exposure image and a short exposure image.
  • a wide dynamic range image (HDR image) can be generated by using a plurality of images with different exposure times.
  • the present technology has been made in view of such a situation, and makes it possible to perform shooting with an expanded dynamic range without generating false colors or the like.
  • An imaging apparatus includes an image composition unit that generates an output image by performing composition processing of a long-exposure image and a short-exposure image, and a brightness state at a predetermined time during the long-exposure time
  • a generation unit that generates information representing the image, a determination unit that determines whether or not artifacts may occur from the long-time exposure image, the short-time exposure image, and the information, and a determination by the determination unit
  • a correction unit that corrects the output image based on the result.
  • the information generated by the generation unit may be a flag indicating whether or not the information is in a bright state.
  • the information generated by the generation unit may be a flag indicating whether or not a charge amount exceeding a potential at an intermediate saturation level of the photoelectric conversion element has been accumulated in the photoelectric conversion element.
  • the generation unit performs A / D conversion on the amount of charge accumulated in the photoelectric conversion element at a predetermined time point during the long exposure time, and whether the signal value after A / D conversion is greater than a predetermined threshold value By determining whether or not, the information can be generated.
  • the generation unit may generate the information at a plurality of predetermined time points during the long exposure period.
  • the determination unit includes a first region that mainly combines the long-time exposure image, a second region that mainly uses a sum of the long-time exposure image and the short-time exposure image, and the short-time image. It is possible to determine which of a third area mainly composed of exposure images and a fourth area belonging to the middle of the second area and the third area. .
  • the determination unit may determine whether or not the artifact is generated based on a combination of a determination result of which region of the first to fourth regions belongs to the information. .
  • the determination unit determines that the information indicating the brightness state is a dark state and determines that the information belongs to the third region or the fourth region, the artifact is generated. It can be determined that there is.
  • the determination unit determines that the information indicating the brightness state is a bright state and determines that the information belongs to the first region or the second region, the artifact is generated. It can be determined that there is.
  • the determination unit determines that the information indicating the brightness state is a dark state and determines that the information belongs to the third region or the fourth region, the determination unit changes from a dark state to a bright state. Therefore, it is possible to determine that an artifact that occurs due to the occurrence occurs.
  • the determination unit determines that the information indicating the brightness state is a bright state and determines that the information belongs to the first region or the second region, the determination unit changes from a bright state to a dark state. Therefore, it is possible to determine that an artifact that occurs due to the occurrence occurs.
  • the generation unit may set a predetermined number of pixels as one unit, generate the information for each unit, and generate the information for each color included in the unit.
  • the generation unit can generate the information in a pixel at a predetermined position in one line.
  • the circuit unit includes a photoelectric conversion element and a circuit unit that processes a signal from the photoelectric conversion element, and the circuit unit includes at least one of the image synthesis unit, the generation unit, the determination unit, and the correction unit.
  • the substrate on which the photoelectric conversion element is arranged and the substrate on which the circuit unit is arranged can be stacked.
  • An imaging method generates an output image by executing a process of combining a long-exposure image and a short-exposure image, and displays information indicating a brightness state at a predetermined time point during the long-exposure time. Generating, determining from the long-time exposure image, the short-time exposure image, and the information whether or not there is a possibility of artifacts, and correcting the output image based on the determination result including.
  • a program generates an output image by executing a composition process of a long-exposure image and a short-exposure image, and generates information indicating a brightness state at a predetermined time point during the long-exposure time. Determining whether or not artifacts may occur from the long exposure image, the short exposure image, and the information, and correcting the output image based on the determination result. Causes the computer to execute the processing that includes it.
  • a combination of a long-exposure image and a short-exposure image is executed to generate an output image, and brightness at a predetermined time point during the long-exposure time Is generated, and it is determined from the long-exposure image, the short-exposure image, and the information whether or not there is a possibility of artifacts, and the output image is corrected based on the determination result.
  • FIG. 1 is a diagram illustrating a configuration of an embodiment of an imaging apparatus to which the present technology is applied.
  • An imaging apparatus 100 shown in FIG. 1 is an apparatus that images a subject and outputs an image of the subject as an electrical signal.
  • the imaging apparatus 100 includes an optical unit 111, a CMOS (Complementary Metal Oxide Semiconductor) image sensor 112, an A / D (Analog / Digital) conversion unit 113, an operation unit 114, a control unit 115, and an image processing unit. 116, a display unit 117, a codec processing unit 118, and a recording unit 119.
  • CMOS Complementary Metal Oxide Semiconductor
  • a / D Analog / Digital
  • the optical unit 111 includes a lens that adjusts the focal point to the subject and collects light from the focused position, an aperture that adjusts exposure, a shutter that controls the timing of imaging, and the like.
  • the optical unit 111 transmits light (incident light) from the subject and supplies the light to the CMOS image sensor 112.
  • the CMOS image sensor 112 photoelectrically converts incident light and supplies a signal (pixel signal) for each pixel to the A / D converter 113.
  • the A / D conversion unit 113 converts the pixel signal supplied from the CMOS image sensor 112 at a predetermined timing into digital data (image data), and sequentially supplies the digital data (image data) to the image processing unit 116 at the predetermined timing.
  • the operation unit 114 includes, for example, a key, a button, a touch panel, or the like, receives an operation input by the user, and supplies a signal corresponding to the operation input to the control unit 115.
  • the control unit 115 is based on the optical unit 111, the CMOS image sensor 112, the A / D conversion unit 113, the image processing unit 116, the display unit 117, the codec.
  • the driving of the processing unit 118 and the recording unit 119 is controlled to cause each unit to perform processing related to imaging.
  • the image processing unit 116 performs, for example, color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, and YC conversion on the image data supplied from the A / D conversion unit 113. Various image processing is performed.
  • the image processing unit 116 supplies the image data subjected to the image processing to the display unit 117 and the codec processing unit 118.
  • the display unit 117 is configured as a liquid crystal display, for example, and displays an image of the subject based on the image data supplied from the image processing unit 116.
  • the codec processing unit 118 performs a predetermined encoding process on the image data supplied from the image processing unit 116, and supplies the obtained encoded data to the recording unit 119.
  • the recording unit 119 records the encoded data from the codec processing unit 118.
  • the encoded data recorded in the recording unit 119 is read out and decoded by the image processing unit 116 as necessary.
  • the image data obtained by the decoding process is supplied to the display unit 117, and a corresponding image is displayed.
  • the present technology described below can be applied as a processing unit including the CMOS image sensor 112 and the A / D conversion unit 113 of the imaging apparatus 100 as described above. That is, the CMOS image sensor 112 described below is used as a processing unit including the CMOS image sensor 112 and the A / D conversion unit 113. As a result, the processing unit including the CMOS image sensor 112 and the A / D conversion unit 113 has a wide dynamic range, and can perform shooting in which deterioration of image quality such as false colors is suppressed. Can be obtained.
  • the imaging apparatus to which the present technology is applied is not limited to the configuration described above, and may have another configuration.
  • a CCD image sensor to which the present technology is applied may be used instead of the CMOS image sensor 112.
  • an electronic device such as an information processing apparatus having an imaging function such as a mobile phone, a smart phone, a tablet device, and a personal computer may be used.
  • it may be a camera module used by being mounted on another information processing apparatus (or mounted as an embedded device).
  • FIG. 2 is a system configuration diagram illustrating a configuration example of the CMOS image sensor 112.
  • unit pixels hereinafter may be simply referred to as “pixels” 220 including photoelectric conversion elements are two-dimensionally arranged in a matrix (matrix).
  • the pixel array unit 211 is arranged, and as a peripheral circuit of the pixel array unit 211, a row selection circuit 212, a preceding selection circuit 213, a logic circuit 214, a driver circuit 215, a controller unit 216, a voltage supply circuit 217, a column
  • the circuit 218 and the horizontal scanning circuit 219 are included.
  • vertical signal lines 251 are wired for each column with respect to the matrix arrangement of the unit pixels 220, and drive control lines such as a transfer control line 252, a reset control line 253, and selection control are provided for each row.
  • a line 254 is wired.
  • FIG. 3 shows an example of the configuration of the unit pixel 220.
  • the unit pixel 220 according to this circuit example has a pixel configuration including four transistors, for example, a transfer transistor 222, a reset transistor 223, an amplification transistor 224, and a selection transistor 225 in addition to a photoelectric conversion element, for example, a photodiode 221.
  • a transfer transistor 222 for example, a transfer transistor 222, a reset transistor 223, an amplification transistor 224, and a selection transistor 225 in addition to a photoelectric conversion element, for example, a photodiode 221.
  • NMOS transistors are used as the transistors 222 to 225.
  • the transfer transistor 222 is connected between the cathode electrode of the photodiode 221 and an FD (floating diffusion) section 226 that is a charge-voltage conversion section, and is photoelectrically converted by the photodiode 221 and accumulated in the signal charge (here, , Electrons) is transferred to the FD unit 226 when a transfer pulse TRG is applied to the gate electrode (control electrode).
  • FD floating diffusion
  • the reset transistor 223 has a drain electrode connected to the pixel power supply VDD and a source electrode connected to the FD unit 226, and a reset pulse RST is applied to the gate electrode prior to transfer of signal charges from the photodiode 221 to the FD unit 226. As a result, the potential of the FD portion 226 is reset to a predetermined potential.
  • the amplification transistor 224 has a gate electrode connected to the FD unit 226 and a drain electrode connected to the pixel power supply VDD, and outputs the potential of the FD unit 226 after being reset by the reset transistor 223 as a reset level.
  • the potential of the FD portion 226 after the signal charge is transferred is output as a signal level.
  • the drain electrode is connected to the source electrode of the amplification transistor 224, the source electrode is connected to the vertical signal line 251, and the selection pulse SEL is applied to the gate electrode, so that the pixel 220 is selected.
  • the signal output from the amplification transistor 224 is output to the vertical signal line 251.
  • the selection transistor 225 may be configured to be connected between the pixel power supply VDD and the drain electrode of the amplification transistor 224.
  • the pixel circuit is not limited to the four-transistor configuration described above, and the selection transistor 225 is omitted, and the three transistors that also use the amplification transistor 224 as the selection transistor 225 or the amplification transistor 224 between a plurality of unit pixels. It may be a configuration shared with each other.
  • the row selection circuit 212 includes a shift register, an address decoder, or the like, and appropriately generates pixel drive pulses such as a transfer pulse TRG, a reset pulse RST, and a selection pulse SEL under the control of the controller unit 216. Based on the generated pulse, the electronic shutter row and the readout row of each pixel 220 of the pixel array unit 211 are selected while scanning in the vertical direction (vertical direction) in units of rows. In addition, an electronic shutter operation for sweeping out the signals of the pixels 220 in the row is performed, and a readout operation for reading out the signals of the pixels 220 in the row is performed on the readout row.
  • the row selection circuit 212 performs a read operation for reading a signal of each pixel 220 in the read row while sequentially scanning the pixels 220 in units of rows, and the read operation.
  • An electronic shutter scanning system for performing an electronic shutter operation on the same row is preceded by a time corresponding to the shutter speed before the readout scanning by the scanning system.
  • the period from the timing when the unnecessary charge of the photodiode 221 is reset by the electronic shutter operation by the electronic shutter scanning system to the timing when the signal of the pixel 220 is read by the reading operation by the readout scanning system is the signal charge in the pixel 220.
  • the preceding selection circuit 213 is configured by a plurality of row selection circuits, for example, two row selection circuits 213A and 213B, and a plurality of rows (in this example, 2 rows) at equal intervals preceding the readout row to be selectively scanned by the row selection circuit 212. Line).
  • the row selection circuits 213A and 213B are configured by a shift register, an address decoder, or the like, and appropriately generate a transfer pulse TRG in synchronization with the selection scanning of the row selection circuit 212 under the control of the controller unit 216. Two rows are selectively scanned at equal intervals prior to the readout row that is selectively scanned by the selection circuit 212. In this selective scanning, an operation of transferring the signal charge accumulated in the photodiode 221 to the FD unit 226 is performed based on the transfer pulse TRG.
  • the logic circuit 214 controls the transfer pulse TRG, reset pulse RST, and reset pulse RST output for row selection from the two row selection circuits 213A and 213B of the row selection circuit 212 and the preceding selection circuit 213, respectively, under the control of the controller unit 216.
  • the selection pulse SEL is supplied to the transfer control line 252, the reset control line 253, and the selection control line 254 of the pixel array unit 211 through the driver circuit 215, and a signal for selecting the voltage value of the transfer pulse TRG is supplied to the driver circuit 215. give.
  • the driver circuit 215 outputs a voltage transfer pulse TRG, a reset pulse RST, and a selection pulse SEL for turning on / off the transistors 222, 223, and 225 of the pixel 220 in synchronization with the selection scanning by the row selection circuit 212. And an intermediate potential (hereinafter referred to as “intermediate potential”) for turning on / off the transistors 222, 223, and 225 of the pixel 220 in synchronization with the selective scanning by the row selection circuits 213A and 213B.
  • the transfer pulse TRG (described below) is supplied to the pixel 220.
  • the column circuit 218 is composed of a set of unit circuits arranged for each pixel column of the pixel array unit 211, for example, with a one-to-one correspondence with the pixel column, and includes a row selection circuit 212 and row selection circuits 213A and 213B. Predetermined signal processing is performed on the signal output from each pixel 220 of the readout row selected by the above through the vertical signal line 251 and the pixel signal after the signal processing is temporarily held.
  • the column circuit 218 includes a circuit configuration including a sample and hold circuit that samples and holds a signal output through the vertical signal line 251 and a sample and hold circuit, and performs CDS (Correlated Double Sampling) processing.
  • a circuit configuration including a noise removal circuit that removes fixed pattern noise unique to a pixel such as reset noise and threshold value variation of the amplification transistor 224 is used.
  • the column circuit 218 may have an A / D (analog / digital) conversion function and a signal level may be output as a digital signal.
  • the horizontal scanning circuit 219 is configured by a shift register, an address decoder, or the like, and temporarily scans each unit circuit of the column circuit 218 for each pixel column of the pixel array unit 211 in order while temporarily scanning each unit circuit of the column circuit 218.
  • the held pixel signals are sequentially output.
  • FIG. 4 is a diagram illustrating a change over time in the amount of charge of the photoelectric conversion element (photodiode 221) when a high luminance signal is received.
  • the horizontal axis represents time
  • the vertical axis represents the charge amount.
  • TL represents the long exposure time
  • TS represents the short exposure time.
  • the charge accumulation amount with time elapses rapidly and a reset operation or the like must be performed. For example, at a certain time, the saturation level is reached at time t1 in FIG. 4, and thereafter, the saturation level is reached.
  • the accumulated charge in the photodiode 221 is once swept out.
  • the charge sweeping is performed not to all charges accumulated in the photodiode 221 but to an intermediate potential holding level controlled in the photodiode 221.
  • short-time exposure with exposure time TS (from time t2 to time t3) is executed again.
  • a charge accumulation amount Sa is obtained by this short-time exposure, and a gradation level of the pixel is determined based on an electric signal obtained based on the charge accumulation amount Sa.
  • time t3 exposure is performed until time t4, and charges are accumulated in the photodiode 221.
  • the time from time t0 to time t4 corresponds to the long exposure time TL, and the exposure is continued until the long exposure time TL ends.
  • the charge accumulation amount Sa accumulated during the short exposure time TS is used as the charge amount of the pixel.
  • the charge amount that will be obtained when the exposure is performed for the long exposure time TL is estimated, and the estimated charge accumulation amount or the electric signal output value corresponding to the estimated charge accumulation amount is calculated. Based on this, the pixel value level is determined.
  • the exposure ratio set by the long exposure time TL and the short exposure time TS is defined as EGain, and the exposure ratio EGain is multiplied by the charge accumulation amount Sa accumulated during the short exposure time TS, An estimated charge accumulation amount (referred to as an estimated charge accumulation amount WL) is calculated.
  • Exposure ratio EGain Long exposure time TL / Short exposure time TS
  • Estimated charge accumulation amount WL charge accumulation amount Sa ⁇ exposure ratio EGain
  • the sweeping operation performed at time t2 or the short-time exposure is not performed, and the charge amount obtained during the long-time exposure time TL is used. Since the amount of charge that has been reached is used, whiteout occurs and image quality deteriorates. However, as described above, the sweeping operation performed at time t2 is performed, and by using the charge amount obtained in the short exposure time TS, a signal that is not saturated can be obtained, It is possible to prevent the image quality from deteriorating.
  • One or more intermediate potentials are applied to the transfer transistor 222 of the pixel 220 during the exposure period from when the electronic shutter is turned off (after the exposure is started) until the transfer transistor 222 of the pixel 220 is turned on and the accumulated charge is read out.
  • a reset operation for transferring a plurality of times using a plurality of intermediate potentials and resetting the FD unit 226 to a predetermined potential (for example, the power supply potential VDD) without reading one or more times, specifically, a reset transistor 223.
  • a reset operation by the reset means including the row selection circuits 213A and 213B for applying the reset pulse RST to the reset transistor 223, the threshold variation of the transfer transistor 222 of the pixel 220 can be effectively canceled.
  • the medium luminance is luminance between high luminance and low luminance, and is luminance that can accumulate a charge amount exceeding the intermediate potential during the sweeping operation performed at time t2.
  • the charge accumulated in the photodiode 221 is once swept out. Since the charge sweeping is up to the intermediate potential holding level controlled in the photodiode 221, the portion exceeding the intermediate potential is swept out at this time.
  • a short exposure with an exposure time TS (from time t2 to time t3) is executed.
  • Short-time exposure is performed for a period from the short-time exposure start time t2 to the short-time exposure end time t3 shown in the figure, and a charge accumulation amount Sc is obtained by this short-time exposure, and obtained based on this charge accumulation amount Sc.
  • the gradation level of the pixel is determined.
  • a charge amount obtained by adding the charge amount accumulated from time t3 to time t4 and the charge amount up to the intermediate potential is defined as a charge accumulation amount Sd.
  • the charge amount determined by using the charge accumulation amount Sc accumulated during the short exposure time TS and the charge accumulation amount Se accumulated during the long exposure time TL. Is used as the charge amount of the pixel. For example, the charge amount that will be obtained when the exposure is performed for the long exposure time TL is estimated, and the estimated charge accumulation amount or the electric signal output value corresponding to the estimated charge accumulation amount is calculated. Based on this, the pixel value level is determined.
  • the amount of charge that will be obtained when exposed for the long exposure time TL is the charge accumulation amount Se in FIG. As indicated by the dotted line in FIG. 5, this charge accumulation amount Se is accumulated at time t4 (end time of the long exposure time TL) if the charge accumulation is continued without reading at time t3. This is the amount of charge that is estimated to have been generated.
  • the charge accumulation amount Se is calculated by adding the charge accumulation amount Sc and the charge accumulation amount Sd.
  • Charge accumulation amount Se charge accumulation amount Sc + charge accumulation amount Sd
  • low luminance is luminance that can accumulate a charge amount that does not exceed the intermediate potential during the sweeping operation performed at time t2.
  • the photodiode 221 When the amount of light received by the photodiode 221 is low, the amount of charge accumulated over time rises slowly without reaching the saturation level. At time t2, the charge accumulated in the photodiode 221 is once swept out. The charge sweeping is up to the intermediate potential holding level controlled by the photodiode 221, but in this case, since there is no amount exceeding the intermediate potential, no charge is swept out even if the sweeping operation is performed.
  • a short exposure with an exposure time TS (from time t2 to time t3) is executed.
  • the process is equivalent to the fact that charge accumulation in the photodiode 221 is continued.
  • time t3 exposure is performed until time t4, and charges are accumulated in the photodiode 221.
  • the time from time t0 to time t4 corresponds to the long exposure time TL, and the exposure is continued until the long exposure time TL ends.
  • the charge accumulation amount Sf obtained in the long exposure time TL is the accumulated charge amount in the pixel.
  • Accumulated charge amount charge accumulation amount Sf
  • the composition process of the long exposure image and the short exposure image fails, an artifact may occur.
  • the brightness may change abruptly. For example, when a person crosses the front of the light, the situation is bright when the light from the light is captured, and when the person is in front of the light and the light from the light is blocked, the situation is dark. . When such a situation is imaged, there is a possibility that the brightness changes rapidly during the long exposure time TL.
  • FIG. 7 a change in the amount of charge of the photodiode 221 when changing from a dark state to a bright state will be described.
  • the upper diagram in FIG. 7 shows the change in the brightness of the subject to be imaged
  • the lower diagram in FIG. 7 shows the change in the charge amount of the photodiode 221.
  • the brightness B1 is from time t0 to time t11, and the brightness is changed to brightness B2 at the time t11. Assume that brightness B2 is brighter than brightness B1.
  • the charge amount of the photodiode 221 changes as shown in the lower diagram of FIG.
  • the horizontal axis represents time
  • the vertical axis represents the accumulated charge amount.
  • the amount of charge increases relatively slowly from time t0 to time t11.
  • the charge accumulation amount increases rapidly with the change, and reaches a saturation level at a certain time.
  • charge is swept up to the intermediate potential holding level, and short-time exposure is started.
  • the amount of charge accumulated during the short exposure time TS is defined as a charge accumulation amount Sg.
  • the amount of charge accumulated during the exposure from time t3 to time t4 and the amount of charge accumulated during that time and the amount of charge up to the intermediate potential is defined as a charge accumulation amount Sh.
  • Such processing is processing when the high luminance signal described in FIG. 4 is handled. Therefore, in this case, the charge accumulation amount Sg accumulated during the short exposure time TS is used, and the estimated charge accumulation amount or the electric signal output value corresponding to the estimated charge accumulation amount is calculated. Based on this, the pixel value level is determined.
  • a color filter is disposed on the photodiode 221, and one photodiode 221 is configured to receive light transmitted through the disposed color filter.
  • FIG. 8 is a diagram showing an example of the color arrangement of the color filter. Arrangement of R (Red), G (Green), and B (Blue) is repeated in 2 ⁇ 2 units of length ⁇ width.
  • R pixel the upper left is R (hereinafter referred to as R pixel)
  • G pixel the right adjacent to the R pixel
  • G pixel the lower side of the R pixel
  • G pixel the lower side of the R pixel
  • B pixel is diagonally right
  • the lower side is arranged to be B (hereinafter referred to as B pixel).
  • the R pixel, the G pixel, and the B pixel are arranged, and the photodiode 221 is arranged in each pixel.
  • the photodiode 221 disposed in the R pixel receives light transmitted through the red color filter
  • the photodiode 221 disposed in the G pixel receives light transmitted through the green color filter, and receives the B pixel.
  • the photodiode 221 arranged at the position receives light transmitted through the blue color filter.
  • RGB pixels are arranged, but a configuration including W (White) pixels is also possible.
  • W White pixels
  • present technology can be applied to a combination of cyan, magenta, and yellow instead of RGB.
  • the R pixel, G pixel, and B pixel are arranged as shown in FIG. 8, all of the R pixel, G pixel, and B pixel are not the same sensitivity but have different sensitivities. In order to absorb such a difference in sensitivity, adjustment such as white balance adjustment is performed. In general, the sensitivity of the G pixel is high, and the sensitivity of the R pixel and the B pixel is lower than that of the G pixel. For example, the pixel values of the R pixel and the B pixel are multiplied by a predetermined gain to perform adjustment so as to match the sensitivity with the G pixel.
  • an R pixel or a B pixel having a lower sensitivity than the G pixel accumulates a charge amount.
  • the charge amount of the photodiode 221 increases gradually from time t0 to time t11 when the dark state is imaged.
  • the charge amount also changes in accordance with the change.
  • the short exposure time TS is started. However, since charges of the intermediate potential or higher are not accumulated, accumulation of charges is performed at time t4 (long exposure time TL without any charges being swept out. Until the end). In this case, the pixel value level is determined based on the charge accumulation amount Si accumulated during the long exposure time TL.
  • Such processing is processing when the low luminance signal described in FIG. 6 is handled.
  • a gain defined by the long exposure time TL and the short exposure time TS is added to the charge amount obtained in the short exposure time TS, for example, Multiply by (long exposure time TL) / (short exposure time TS).
  • the long exposure time TL and the short exposure time TS are changed.
  • a value obtained by multiplying the gain defined in is higher than the correct value (assumed to be a true value) originally desired.
  • the pixel value level obtained from the highly sensitive pixel may be a value including an error.
  • the pixel value level obtained with a low-sensitivity pixel is likely to be a true value.
  • a true image value level and a pixel value level including an error are combined, there is a high possibility that the combined result also includes an error.
  • Such an error causes a false color (artifact).
  • an artifact that may occur due to a sudden change from a dark state to a bright state is referred to as a dark artifact.
  • FIG. 10 is a diagram for explaining a change in the amount of accumulated charge in a pixel with high sensitivity. 10 is similar to FIG. 7, the upper diagram in FIG. 10 shows the change in the brightness of the subject to be imaged, and the lower diagram in FIG. 10 shows the change in the charge amount of the photodiode 221. As shown in the upper diagram of FIG. 10, the brightness is B3 from time t0 to time t11, and the brightness is changed to brightness B4 at time t11. Assume that brightness B4 is darker than brightness B3.
  • the amount of charge of the photodiode 221 changes as shown in FIG. Referring to the lower diagram of FIG. 10, the charge amount is accumulated up to the saturation level between time t0 and time t11. At time t11, the brightness changes from brightness B3 to brightness B4, but since the saturation level has been reached, the charge accumulation amount does not change.
  • charge is swept up to the intermediate potential holding level, and short-time exposure is started.
  • the amount of charge accumulated during the short exposure time TS is defined as a charge accumulation amount Sj.
  • the amount of charge obtained by adding the amount of charge accumulated during the exposure from time t3 to time t4 and the amount of charge corresponding to the intermediate potential is defined as a charge accumulation amount Sk.
  • Such processing is processing when the medium luminance signal described in FIG. 5 is handled. Therefore, in this case, the charge accumulation amount Sj accumulated during the short exposure time TS and the charge accumulation amount Sk accumulated during the long exposure time TL are used, and the estimated charge accumulation amount or the estimated charge accumulation is used. An electrical signal output value corresponding to the quantity is calculated, and a pixel value level is determined based on the calculated result.
  • the charge accumulation amount Sk is a value close to the intermediate potential.
  • charge is swept up to the intermediate potential holding level, and short-time exposure is started.
  • the amount of charge accumulated during the short exposure time TS is defined as a charge accumulation amount S1.
  • the amount of charge obtained by adding the amount of charge accumulated during the exposure from time t3 to time t4 and the amount of charge corresponding to the intermediate potential is defined as a charge accumulation amount Sm.
  • Such processing is processing when the medium luminance signal described in FIG. 5 is handled. Therefore, in this case, the charge accumulation amount S1 accumulated during the short exposure time TS and the charge accumulation amount Sm accumulated during the long exposure time TL are used, and the estimated charge accumulation amount or the estimated charge accumulation is used. An electrical signal output value corresponding to the quantity is calculated, and a pixel value level is determined based on the calculated result.
  • the charge accumulation amount Sm is a value close to the intermediate potential.
  • both the high-sensitivity pixel and the low pixel are processed when the medium luminance signal described in FIG. 5 is handled. .
  • the processing for handling the low luminance signal described with reference to FIG. 6 is executed, and the charge accumulation amount obtained in the long exposure time TL is used to obtain the pixel value level. Is calculated as a true value, and as described above, for example, the charge amount obtained by adding the charge accumulation amount S1 and the charge accumulation amount Sm may be higher than the true value.
  • the charge amount when the image is taken in the dark state, the charge amount should be smaller than the charge amount corresponding to the intermediate potential.
  • ⁇ Using a charge amount that may include such an error may cause false colors (artifacts).
  • an artifact that may occur due to a sudden change from a bright state to a dark state is described as a light-dark artifact.
  • FIG. 12 is a diagram showing a change in the charge amount of the photodiode 221 when the dark state shown in FIG. 7 changes to the bright state.
  • the change in the charge amount will be described by taking a case similar to that shown in the lower diagram of FIG. 7 as an example, and the description of the change in the charge amount will be omitted.
  • the charge amount accumulated in the photodiode 221 is the charge accumulation amount Sn.
  • the charge amount accumulated in the photodiode 221 is swept out, and it is determined whether or not the accumulated charge amount is equal to or greater than the charge amount corresponding to the intermediate potential.
  • the sweep-out operation performed at time t21 is performed in order to reset the charge at a predetermined timing during exposure in order to prevent the linearity characteristic of the pixel value from being lost due to leakage into adjacent pixels.
  • the sweeping operation performed in order to prevent such leakage to adjacent pixels can be configured to be performed a plurality of times during the long exposure time TL.
  • the sweeping operation performed to prevent leakage to adjacent pixels does not need to measure the amount of charge accumulated during the sweeping operation, but the amount of charge swept out in the sweeping operation performed at time t21 is measured. Is done.
  • This sweep operation is not the entire charge accumulated in the photodiode 221 but the intermediate potential held in the photodiode 221 as in the sweep operation performed at the time t2 when the short exposure time TS is started. Up to level.
  • a sweep-out operation is performed, and it is determined whether or not the accumulated charge amount is equal to or higher than the intermediate potential. This determination is performed by A / D converting the swept charge amount and converting it into a digital signal, and determining whether the signal value is equal to or greater than a predetermined threshold value.
  • the predetermined threshold value can be set to an intermediate potential in comparison with the accumulated charge amount.
  • the potential may be higher than the intermediate potential.
  • the predetermined threshold is set to 0 when noise is not taken into consideration, and the noise is reduced. When considered, a value larger than 0 is set.
  • the flag is set to 1 when the signal value of the swept out charge amount is equal to or greater than a predetermined threshold, and the flag is set to 0 when not greater than the predetermined threshold.
  • the description is continued assuming that the flag is set to 1 if it is greater than or equal to the predetermined threshold value, and the flag is set to 0 if it is not greater than or equal to the predetermined threshold value. It is also possible to configure so that the flag is set to 1 when it is set to 0 and not greater than or equal to a predetermined threshold.
  • the charge amount of the photodiode 221 is equal to or lower than the intermediate potential at the time t21 when the sweep operation is performed, the charge amount swept out by the sweep operation is 0.
  • the corresponding signal value is also 0, does not exceed the predetermined threshold, and the flag is set to 0.
  • the set flag is held in the memory in the image sensor until time t4 (at the time when the long exposure time TL ends), and the subsequent processing is performed together with the image of the long exposure time TL and the image of the short exposure time TS. To the output.
  • FIG. 13 is a diagram showing a change in the amount of charge of the photodiode 221 when the dark state shown in FIG. 10 changes to the bright state.
  • the change in the charge amount will be described by taking a case similar to that shown in the lower diagram of FIG. 10 as an example, and thus the description of the change in the charge amount is omitted.
  • the charge amount accumulated in the photodiode 221 is the charge accumulation amount So.
  • the operation of sweeping out the charge amount accumulated in the photodiode 221 is performed, and it is determined whether or not the signal value of the sweeped-out charge amount is equal to or greater than a predetermined threshold value.
  • the flag is set to 1.
  • the set flag is held in the memory in the image sensor until time t4 (at the time when the long exposure time TL ends), and the subsequent processing is performed together with the image of the long exposure time TL and the image of the short exposure time TS. To the output.
  • the brightness state at a predetermined time point during the exposure time is determined, and the determination result is held as a flag.
  • this flag it is possible to recognize whether it is a bright state or a dark state at a predetermined time point during the exposure time.
  • the sweep-out operation can be set to be performed a plurality of times during the long exposure time TL.
  • a plurality of sweeping operations it is determined each time whether or not the signal value of the amount of charges swept out is equal to or greater than a predetermined threshold, and a flag may be set.
  • a plurality of flags are set, but an average value of the plurality of flags may be calculated and the average value may be set as a final flag.
  • the average value is rounded off, and the value set to 0 or 1 is used as the final flag.
  • the flags may be arranged in time series, and the flags arranged in the time series may be used for subsequent processing. Since it is possible to determine at which point the amount of charge exceeding the intermediate potential has been accumulated by using the chronologically arranged flags, the subsequent correction unit 305 (FIG. 16) is also used using such a determination result. ) May be performed.
  • the description will be continued assuming that the brightness state at a predetermined time point during the long exposure time TL is expressed by using a flag represented by a binary value of 0 or 1.
  • a flag represented by a binary value of 0 or 1. For example, when it is not necessary to reduce the capacity, information representing the brightness state may be used more finely.
  • data obtained by A / D conversion of the amount of charge swept out during the sweeping operation may be used.
  • the correction performed by the correction unit 305 (FIG. 16) may be performed.
  • the flag set in this way it is possible to determine the brightness state at a predetermined time point during the exposure time, but it is possible to determine whether or not a light / dark artifact or a situation where a dark / light artifact occurs. It cannot be judged. Accordingly, the concept of the area described with reference to FIG. 14 is adopted, and it is also determined whether or not the situation exists in the area, thereby determining whether or not the situation is a light / dark artifact or a situation where a dark / light artifact occurs. It can be so.
  • the vertical axis represents the amount of charge accumulated during the short exposure time TS (signal value of the charge amount) Ds
  • the horizontal axis represents the signal value of the short exposure time TS and the long time.
  • the signal value Da is obtained by adding the signal values of the exposure time TL.
  • Area A is a low-luminance area A, and as described with reference to FIG. 6, the pixel value (long-time exposure image) at the time of the long-time exposure time TL is mainly used in the synthesis.
  • the area B is the medium luminance area B, and as described with reference to FIG. 5, the pixel value (long exposure image) at the time of the long exposure time TL and the pixel value of the short exposure time TS ( The sum of the short-time exposure images) is an area used mainly.
  • the region D is the high-intensity region D, and as described with reference to FIG. 4, the pixel value (exhibition hall exposure image) during the short exposure time TS is mainly used in the synthesis.
  • Area C is a transition area C, and is an area belonging to the middle between the medium luminance area B and the high luminance area D.
  • the transition area C is an area centered on the dotted line 291 and sandwiched between the dotted line 292 and the dotted line 293. This transition area C is an area where it is difficult to determine whether it belongs to the medium luminance area B or the high luminance area D.
  • the combinations of the areas A to D and the flags are classified into eight states of states 1 to 8.
  • State 1 is a state in which the flag is 0 and the region R belongs to the low luminance region A.
  • the state in the sweeping operation (hereinafter simply referred to as the sweeping operation) performed at a predetermined timing during the exposure time, the state is a dark state, and the processing when the low luminance signal is processed is executed.
  • State 1 is a dark state in which low-luminance signal processing is executed, so that it can be determined that there is no sudden change from the dark state to the bright state, and it can be determined that no artifact is generated. is there.
  • State 2 is a state in which the flag is 0 and the region R belongs to the medium luminance region B.
  • the state is a dark state, and the processing when the medium luminance signal is processed is performed.
  • State 2 is a state in which it is determined that there is no sudden change from the dark state to the bright state, and no artifact is generated, because the processing of the medium luminance signal is executed in the dark state. is there.
  • State 3 is a state in which the flag is 0 and the region R belongs to the transition region C.
  • the state is a dark state, but the state when the middle luminance signal or the high luminance signal is processed is executed.
  • State 3 is a state in which there is a change from the dark state to the bright state, and as a result, it can be determined that the processing of the medium luminance signal or the processing of the high luminance signal is executed, and there is a possibility that dark artifacts may occur. It can be judged.
  • State 4 is a state in which the flag is 0 and the region R belongs to the high luminance region D. In the case of the state 4, at the time of the sweeping-out operation, it is a dark state, but is a state in which processing when a high luminance signal is processed is executed. State 4 is a state in which there is a change from the dark state to the bright state, and as a result, it can be determined that processing of the high-intensity signal is executed, and in this state, it can be determined that there is a possibility that dark artifacts will occur.
  • State 5 is a state in which the flag is 1 and the region R belongs to the low luminance region A. In the case of the state 5, in the sweeping operation, it is in a bright state but is a state in which processing when a low luminance signal is processed is executed. State 5 is a state in which there is a change from a bright state to a dark state, and as a result, it can be determined that low-luminance signal processing is executed, and a state in which it is possible to determine that a light-dark artifact may occur.
  • State 6 is a state in which the flag is 1 and the region R belongs to the medium luminance region B. In the state 6, in the sweeping operation, it is in a bright state, but is a state in which processing when a medium luminance signal is processed is executed. State 6 is a state in which there is a change from the bright state to the dark state, and as a result, it can be determined that the processing of the medium luminance signal is executed, and it is a state in which it can be determined that there is a possibility of occurrence of light and dark artifacts.
  • State 7 is a state in which the flag is 1 and the region R belongs to the transition region C. In the case of the state 7, at the time of the sweeping-out operation, it is in a bright state and is a state in which processing when a medium luminance signal or a high luminance signal is processed is executed. State 7 is a bright state, and processing of a medium luminance signal or a high luminance signal is executed. Therefore, it can be determined that there is no sudden change from the bright state to the dark state, and no artifact is generated. It can be judged.
  • State 8 is a state in which the flag is 1 and the region R belongs to the high luminance region D. In the case of the state 8, at the time of the sweeping-out operation, the light state is set, and the processing when the high luminance signal is processed is executed. State 8 is a bright state where high luminance signal processing is executed, so that it can be determined that there is no sudden change from the bright state to the dark state, and it can be determined that there is no artifact. is there.
  • a region is described, and the description will be continued assuming that the region belongs to.
  • a table for determining a region as shown in FIG. The state may be determined by referring to the table.
  • a state in which a long exposure image is mainly used a state in which a short exposure image is mainly used, a state in which a sum of a long exposure image and a short exposure image is mainly used, or a long time You may make it determine whether it is an intermediate state between the state which mainly uses an exposure image, and the state which mainly uses the sum of a long time exposure image and a short time exposure image.
  • FIG. 16 is a diagram illustrating a configuration of an embodiment of a system that performs the above-described processing.
  • the system illustrated in FIG. 16 includes an imaging device 301, a generation unit 302, an image composition unit 303, a moving subject detection information generation unit 304, and a correction unit 305.
  • the imaging device 301 is configured to include the CMOS image sensor 112 (FIG. 2) and captures an image of a subject.
  • the captured subject signal is supplied to the generation unit 302.
  • the generation unit 302 generates a TS image obtained during the short exposure time TS, a TL image obtained during the long exposure time TL, and a flag.
  • the image composition unit 303 performs a composition process of the TS image and the TL image generated by the generation unit 302 to generate a composite image.
  • the moving subject detection information generation unit 304 refers to the TS image, the TL image, and the flag, determines whether or not an artifact occurs as described with reference to FIG. 15, and determines the determination result. Output as moving subject detection information.
  • the correction unit 305 corrects the synthesized image supplied from the image synthesis unit 303 with reference to the moving subject detection information supplied from the moving subject detection information generation unit 304.
  • the correction unit 305 performs correction for reducing the influence of the artifact on an area (pixel) where it is determined that the artifact is generated on the composite image.
  • the exposure start time is different for each line or a plurality of lines, and the exposure end time is different.
  • the exposure start time of the first line is time t0
  • the exposure end time of the long exposure time TL is time t4.
  • a sweeping out operation for generating a flag is performed.
  • the exposure of the first line is started from time t0, and at time t21, the sweep-out operation is performed, and the generation unit 302 generates a flag. This flag is held in a memory (not shown).
  • the TS image of the first line obtained by the short exposure time TS performed between time t2 and time t3 is read to a line memory (not shown) at time t3 and temporarily stored.
  • the TL image of the first line obtained by the long exposure time TL is read into the line memory at time t4 and temporarily stored.
  • the image composition unit 303 synthesizes the TS image and the TL image stored in the line memory.
  • the moving subject detection information generation unit 304 uses the TS image, the TL image, and the flag to belong to any of the states 1 to 8 shown in FIG. 15, in other words, whether or not there is a possibility that an artifact may occur. Determine whether. Based on this determination, correction is performed.
  • a pixel that is determined to have the possibility of occurrence of an artifact is a pixel that should be processed as a high luminance signal but processed as a low luminance signal. Instead of correction, correction is performed such that the pixel is processed as a high luminance signal.
  • correction may be any correction that can reduce the influence of the artifact (the influence of the moving subject).
  • FIG. 16 can be configured as a stacked image sensor.
  • the stacked image sensor will be described with reference to FIG. 18A shows the configuration of a non-stacked image sensor, and FIG. 18B shows the configuration of a stacked image sensor.
  • a pixel 402 and a circuit portion 403 are arranged around the pixel 402 on a first layer substrate 401, and a support substrate 404 is stacked on the substrate. . Therefore, the first-layer substrate 401 needs an area for arranging the pixel 402 and the circuit portion 403. The area of the support substrate 404 needs to be about the same as that of the substrate 401.
  • the pixel 422 is disposed on the first substrate 421
  • the circuit unit 423 is disposed on the second substrate 424
  • the substrate 421 and the substrate 424 are stacked.
  • a circuit portion 423 is provided and stacked in a portion that is the support substrate 404 of the image sensor that is not the stacked type illustrated in FIG.
  • the first layer substrate 421 only needs to have an area for arranging the pixel 422, and at least as much as the circuit portion 403. The area can be reduced. Further, the area of the second layer substrate 424 may be the same as that of the first layer substrate 421, and a large-scale logic circuit is mounted while the chip size is limited to the size of the pixel surface of the image sensor. It is also possible to do.
  • a memory that temporarily holds a flag indicating whether it is in a bright state or a dark state at a predetermined time of the long exposure time TL is required. Can be reduced. Therefore, even if a memory for holding the flag is added to the circuit portion 423, the capacity of the memory can be reduced. Therefore, the added memory increases the area of the circuit portion 423. There is no such thing.
  • the system shown in FIG. 16 is a stacked image sensor, as shown in FIG. 19, a part including the imaging device 301 is a sensor unit 451, and a pixel 422 on the first layer substrate 421 (B in FIG. 18). Place as. Further, the generation unit 302, the image composition unit 303, and the moving subject detection information generation unit 304 are arranged as a logic circuit unit 452, and as a circuit unit 423 of the second layer substrate 424 (B in FIG. 18). As described above, the system shown in FIG. 16 can also be configured as a stacked image sensor, and the stacked image sensor can be downsized.
  • the circuit unit 423 of the second-layer substrate 424 (B in FIG. 18) is configured to include at least one of the generation unit 302, the image synthesis unit 303, and the moving subject detection information generation unit 304. You can also In addition, the number of substrates to be stacked may be any number of layers. For example, the generation unit 302, the image synthesis unit 303, and the moving subject detection information generation unit 304 are distributed in the second and third layers. May be.
  • the left diagram of FIG. 20 is a diagram showing an example of the color arrangement of the color filter, as in FIG.
  • the color arrangement of the color filter shown in FIG. 20 is also an example in which the arrangement of R (Red), G (Green), and B (Blue) is repeated in units of 2 ⁇ 2 in the vertical and horizontal directions as in FIG. I will give you a description.
  • FIG. 20 exemplifies vertical ⁇ horizontal 8 ⁇ 16 pixels that constitute a part of the pixel array unit 211 (FIG. 2).
  • the 8 ⁇ 16 pixels are divided into 2 ⁇ 8 ⁇ 8 meshes.
  • the left mesh is the mesh 501
  • the right mesh is the mesh 502.
  • the mesh includes 64 pixels of 8 ⁇ 8. Note that, here, one mesh is described as including 8 ⁇ 8 pixels, but the number of pixels in the mesh is an example, not a limitation indicating 8 ⁇ 8.
  • ⁇ Generate a flag for each mesh. Since the flag is generated for each color, a flag related to the R pixel, a flag related to the G pixel, and a flag related to the B pixel are generated per mesh.
  • the example shown in FIG. 20 shows an example in which the flag for the R pixel in the mesh 501 is 1, the flag for the G pixel is 1, and the flag for the B pixel is 0.
  • the mesh 502 also shows an example in which a similar flag is generated.
  • a flag is generated for each pixel, and when a flag is generated for all the pixels in the mesh, an average value (majority decision) of the flag for each color in the mesh is calculated. Generated.
  • the generated flag for each mesh is read from the memory and output in accordance with the image data read timing described with reference to FIG.
  • the flag information in the mesh may be output after being expanded.
  • all the flag information in the mesh is the same color and the same.
  • the flag information is generated by performing A / D conversion on a signal exceeding the intermediate potential and determining a threshold value.
  • a / D conversion units and comparison units for the number of horizontal pixels are required.
  • Pixels in the vicinity of the pixels affected by the brightness change due to the moving subject during exposure are also considered to be affected by the brightness change, so A / D while suppressing the performance degradation by thinning out the flag information to some extent It is possible to reduce the number of conversion units and comparison units.
  • a decimation flag is generated.
  • 21A and FIG. 21B are diagrams for explaining the generation of the flag of the column N
  • FIG. 21C and FIG. 21D are diagrams for explaining the generation of the flag of the column N + 1.
  • 21A and 21C are diagrams for explaining the case where the flag is generated for all pixels
  • FIGS. 21B and 21D are the cases where the flag is generated by the thinning flag method. It is a figure for demonstrating.
  • the pixels arranged in the 1st to 16th columns are arranged in the 1, 2, 9, 10th columns.
  • a / D conversion is performed on the pixel, and a threshold is determined to generate a flag.
  • an A / D conversion unit for performing A / D conversion and a comparison unit for performing threshold determination are required for 16 pixels.
  • the A / D conversion unit and the comparison unit can be reduced according to the thinning flag generation method. In this way, the necessary circuit scale can be reduced to about 1/4 by thinning out and generating the flag.
  • flag information can be reduced to 1/8 in the column direction by generating a flag every 8 columns like columns N, N + 1, 8N, 8N + 1,. At this time, the flag information is 4 bits with an 8 ⁇ 8 mesh.
  • the same flag information amount (8 ⁇ 8) as described with reference to FIG. 21 it is possible to reduce the required A / D conversion unit and comparison unit to 1/4 while suppressing to 3 bits RGB).
  • flags may be generated from pixels in different columns.
  • FIG. 21 an example in which flags are generated from the pixels arranged in the first, second, ninth, and tenth columns in both the column N and the column N + 1 is illustrated. , 2, 9, 10, and a flag is generated from the pixels arranged in columns 3, 4, 11, and 12 in column N + 1.
  • flags may be generated from different columns.
  • the present technology it is possible to suppress generation of false colors and noise in a system that obtains an image with a wide dynamic range by combining images captured at different exposure times by an image sensor.
  • the required memory capacity does not depend on the bit accuracy of the image data or the exposure ratio. Therefore, as the required bit accuracy and exposure ratio of the image data increases, the effect of reducing the memory cost obtained by applying the present technology increases.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 605 is further connected to the bus 604.
  • An input unit 606, an output unit 607, a storage unit 608, a communication unit 609, and a drive 610 are connected to the input / output interface 605.
  • the input unit 606 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 607 includes a display, a speaker, and the like.
  • the storage unit 608 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 609 includes a network interface or the like.
  • the drive 610 drives a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 601 loads the program stored in the storage unit 608 into the RAM 603 via the input / output interface 605 and the bus 604 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 601) can be provided by being recorded on a removable medium 611 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 608 via the input / output interface 605 by attaching the removable medium 611 to the drive 610. Further, the program can be received by the communication unit 609 via a wired or wireless transmission medium and installed in the storage unit 608. In addition, the program can be installed in advance in the ROM 602 or the storage unit 608.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • FIG. 23 is a diagram illustrating a usage example in which the above-described imaging device and the electronic device including the imaging device are used.
  • the imaging device described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • system represents the entire apparatus composed of a plurality of apparatuses.
  • this technology can also take the following structures.
  • An image compositing unit that generates an output image by executing a compositing process of the long exposure image and the short exposure image;
  • a generating unit that generates information representing a brightness state at a predetermined time point during the long exposure time;
  • a determination unit that determines whether or not artifacts may occur from the long-time exposure image, the short-time exposure image, and the information;
  • An imaging apparatus comprising: a correction unit that corrects the output image based on a determination result by the determination unit.
  • the information generated by the generation unit is a flag indicating whether or not a charge amount exceeding an intermediate potential of a saturation level of the photoelectric conversion element is accumulated in the photoelectric conversion element.
  • Imaging according to (1) apparatus (4) The generation unit performs A / D conversion on the amount of charge accumulated in the photoelectric conversion element at a predetermined time point during the long exposure time, and whether the signal value after A / D conversion is greater than a predetermined threshold value The imaging apparatus according to (1), wherein the information is generated by determining whether or not.
  • the imaging device according to any one of (1) to (4), wherein the generation unit generates the information at a plurality of predetermined time points during the long exposure period.
  • the determination unit includes a first region that mainly combines the long-time exposure image, a second region that mainly uses a sum of the long-time exposure image and the short-time exposure image, and the short-time image. It is determined which one of the third region mainly composed of the exposure image and the fourth region belonging to the middle of the second region and the third region belongs to the above (1) to ( 5)
  • the imaging device according to any one of (7)
  • the determination unit determines whether or not the artifact is generated based on a combination of a determination result of which region of the first to fourth regions belongs and the information. Imaging device.
  • the determination unit determines that the information indicating the brightness state is a dark state and determines that the information belongs to the third region or the fourth region, the artifact is generated.
  • the imaging device according to (6) which is determined to be present.
  • the determination unit determines that the information indicating the brightness state is a bright state and determines that the information belongs to the first region or the second region
  • the artifact is generated.
  • the imaging device according to (6) or (8) which is determined to be present.
  • the determination unit determines that the information indicating the brightness state is a dark state and determines that the information belongs to the third region or the fourth region, the determination unit changes from a dark state to a bright state.
  • the imaging device according to (6) wherein the state is determined to be a state in which an artifact generated due to the occurrence has occurred.
  • the determination unit determines that the information indicating the brightness state is a bright state and determines that the information belongs to the first region or the second region, the determination unit changes from a bright state to a dark state.
  • the generation unit sets a predetermined number of pixels as one unit, generates the information for each unit, and generates the information for each color included in the unit. (1) to (11) The imaging device described. (13) The imaging device according to any one of (1) to (12), wherein the generation unit generates the information in a pixel at a predetermined position in one line.
  • the imaging device is composed of a photoelectric conversion element and a circuit unit for processing a signal from the photoelectric conversion element,
  • the circuit unit includes at least one of the image synthesis unit, the generation unit, the determination unit, and the correction unit,
  • the imaging device according to any one of (1) to (13), wherein a substrate on which the photoelectric conversion element is arranged and a substrate on which the circuit unit is arranged are stacked.
  • a program for causing a computer to execute processing including a step of correcting the output image based on the result of the determination.
  • Imaging device 111 optical unit, 112 CMOS image sensor, 113 A / D conversion unit, 114 operation unit, 115 control unit, 116 image processing unit, 117 display unit, 118 codec processing unit, 119 recording unit, 211 pixel array unit , 212, 213A, 213B row selection circuit, 213 preceding selection circuit, 214 logic circuit, 215 driver circuit, 216 controller unit, 217 voltage supply circuit, 218 column circuit, 219 horizontal scanning circuit, 220 unit pixel, 221 photodiode, 222 Transfer transistor, 223 reset transistor, 224 amplification transistor, 225 selection transistor, 226 FD section, 301 imaging device, 302 generation section, 303 Image composition unit, 304 Moving subject detection information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、アーチファクトの発生を抑制することができるようにする撮像装置、撮像方法、並びにプログラムに関する。 長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、長時間露光画像、短時間露光画像、および情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、判定部による判定結果に基づいて、出力画像を補正する補正部とを備える。生成部で生成される情報は、明るい状態であるか否かを表すフラグである。本技術は、撮像装置に適用できる。

Description

撮像装置、撮像方法、並びにプログラム
　本技術は、撮像装置、撮像方法、並びにプログラムに関する。詳しくは、偽色の発生などを抑制することができる撮像装置、撮像方法、並びにプログラムに関する。
　近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にＣＣＤイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。
　ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、電子シャッタを高速に切ることで露光時間を調整する方法や、高速に複数のフレームを撮影し重ね合わせる方法や、受光部の光電変換特性を対数応答にする方法などが知られている。
　しかしながら、明るいところと暗いところが混在するようなコントラストの高い撮影シーンに対して、電子シャッタを高速に切る方法では、特に暗いところ、即ち低照度シーンで十分な露光時間がとれないために、Ｓ／Ｎが劣化し画質が落ちる。高速に複数のフレームを撮影し重ね合わせる方法は、単純に電子シャッタを切る方法と比べて、画像の重ね合わせによりＳ／Ｎを改善することができるが、読み出しのノイズが複数読み出した分だけ累積されるために、やはり低照度なところではＳ／Ｎが劣化する。
　対数応答特性によってダイナミックレンジを拡大する方法は効果的であるが、サブスレッショルド領域で動作するトランジスタの閾値のばらつきによる固定パターンノイズが特に低照度領域で顕著となる。例えば、室内から窓際の人物を撮影するとき、感度を人物に合わせると窓の景色が白く飽和してしまい再現できない。感度を窓の景色に合わせると、人物が暗く撮影され、信号レベルを十分に確保できないために、Ｓ／Ｎが下がり、撮影後に増幅しても高い画質を得ることはできない。
　すなわち、ある撮影において、イメージセンサ上での入射光が少ない画素では長い露光時間で高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避した広ダイナミックレンジ化が必要である。
　そこで、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
　例えば特許文献１は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。
特開２０００－５０１５１号公報
　特許文献１に記載された構成は、長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能である。
　しかしながら長時間露光時間中に、急激な明暗の変化などが発生した場合、偽色などが発生し、画質が劣化してしまう可能性があった。
　本技術は、このような状況に鑑みてなされたものであり、偽色などが発生することなく、ダイナミックレンジを拡大した撮影を行えるようにすることができるようにするものである。
　本技術の一側面の撮像装置は、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、前記判定部による判定結果に基づいて、前記出力画像を補正する補正部とを備える。
　前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグであるようにすることができる。
　前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグであるようにすることができる。
　前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成するようにすることができる。
　前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成するようにすることができる。
　前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定するようにすることができる。
　前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定するようにすることができる。
　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定するようにすることができる。
　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定するようにすることができる。
　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定するようにすることができる。
　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定するようにすることができる。
　前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成するようにすることができる。
　前記生成部は、１ライン内の所定の位置の画素において前記情報を生成するようにすることができる。
　光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されているようにすることができる。
　本技術の一側面の撮像方法は、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、前記判定の結果に基づいて、前記出力画像を補正するステップを含む。
　本技術の一側面のプログラムは、長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、前記判定の結果に基づいて、前記出力画像を補正するステップを含む処理をコンピュータに実行させる。
　本技術の一側面の撮像装置、撮像方法、並びにプログラムにおいては、長時間露光画像と短時間露光画像の合成処理が実行され出力画像が生成され、長時間露光時間中の所定の時点における明るさの状態を表す情報が生成され、長時間露光画像、短時間露光画像、および情報から、アーチファクトが発生する可能性があるか否かが判定され、判定の結果に基づいて、出力画像が補正される。
　本技術の一側面によれば、偽色などが発生することなく、ダイナミックレンジを拡大した撮影を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の一実施の形態の構成を示す図である。 CMOSイメージセンサの構成を示す図である。 単位画素の構成を示す図である。 高輝度信号の処理について説明するための図である。 中輝度信号の処理について説明するための図である。 低輝度信号の処理について説明するための図である。 暗明アーチファクトについて説明するための図である。 カラーフィルタの色配置について説明するための図である。 暗明アーチファクトについて説明するための図である。 明暗アーチファクトについて説明するための図である。 明暗アーチファクトについて説明するための図である。 フラグの算出について説明するための図である。 フラグの算出について説明するための図である。 アーチファクトの発生する条件について説明するための図である。 アーチファクトの発生する条件について説明するための図である。 アーチファクトの発生を検知するシステムの構成を示す図である。 アーチファクトの発生を検知するシステムの動作について説明するための図である。 積層型イメージセンサについて説明するための図である。 積層型イメージセンサについて説明するための図である。 メモリ容量の削減について説明するための図である。 メモリ容量の削減について説明するための図である。 記録媒体について説明するための図である。 撮像装置の使用例について説明するための図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
　１．撮像装置の構成
　２．撮像に係わる動作
　３．アーチファクトについて
　４．アーチファクトの発生を軽減する処理
　５．システムの構成
　６．積層型イメージセンサ
　７．メモリ容量の削減
　８．記録媒体について
　９．撮像装置の使用例
　＜撮像装置の構成＞
　図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
　図１に示されるように撮像装置１００は、光学部１１１、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ１１２、A/D（Analog/Digital）変換部１１３、操作部１１４、制御部１１５、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９を有する。
　光学部１１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部１１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ１１２に供給する。
　CMOSイメージセンサ１１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換部１１３に供給する。A/D変換部１１３は、CMOSイメージセンサ１１２から、所定のタイミングで供給された画素信号を、デジタルデータ（画像データ）に変換し、所定のタイミングで順次、画像処理部１１６に供給する。
　操作部１１４は、例えば、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部１１５に供給する。
　制御部１１５は、操作部１１４により入力されたユーザの操作入力に対応する信号に基づいて、光学部１１１、CMOSイメージセンサ１１２、A/D変換部１１３、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９の駆動を制御し、各部に撮像に関する処理を行わせる。
　画像処理部１１６は、A/D変換部１１３から供給された画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部１１６は、画像処理を施した画像データを表示部１１７およびコーデック処理部１１８に供給する。
　表示部１１７は、例えば、液晶ディスプレイ等として構成され、画像処理部１１６から供給された画像データに基づいて、被写体の画像を表示する。
　コーデック処理部１１８は、画像処理部１１６から供給された画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記録部１１９に供給する。記録部１１９は、コーデック処理部１１８からの符号化データを記録する。記録部１１９に記録された符号化データは、必要に応じて画像処理部１１６に読み出されて復号される。復号処理により得られた画像データは、表示部１１７に供給され、対応する画像が表示される。
　以上のような撮像装置１００のCMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部として、以下に説明する本技術を適用することが可能である。すなわち、CMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部として、以下に説明するCMOSイメージセンサ１１２が用いられる。これにより、CMOSイメージセンサ１１２およびA/D変換部１１３を含む処理部は、広いダイナミックレンジを有し、偽色などの画質の劣化が抑制された撮影を行えるようになり、より高画質な画像を得ることができる。
　なお、本技術が適用される撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、CMOSイメージセンサ１１２の代わりに、本技術を適用したCCDイメージセンサを用いるようにしてもよい。また、例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置などの電子機器であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
　＜CMOSイメージセンサの構成＞
　図２は、CMOSイメージセンサ１１２の構成例を示すシステム構成図である。図２に示すように、本実施の形態に係るCMOSイメージセンサ１１２は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２２０が行列状（マトリクス状）に２次元配置されてなる画素アレイ部２１１を有するとともに、当該画素アレイ部２１１の周辺回路として、行選択回路２１２、先行選択回路２１３、論理回路２１４、ドライバ回路２１５、コントローラユニット２１６、電圧供給回路２１７、カラム回路２１８および水平走査回路２１９を有する構成となっている。
　画素アレイ部２１１には、単位画素２２０の行列状の配列に対して、列毎に垂直信号線２５１が配線され、行毎に駆動制御線、例えば転送制御線２５２、リセット制御線２５３および選択制御線２５４が配線されている。
　図３に、単位画素２２０の構成の一例を示す。本回路例に係る単位画素２２０は、光電変換素子、例えばフォトダイオード２２１に加えて、例えば転送トランジスタ２２２、リセットトランジスタ２２３、増幅トランジスタ２２４および選択トランジスタ２２５の４つのトランジスタを有する画素構成となっている。ここでは、これらトランジスタ２２２乃至２２５として、例えばＮＭＯＳトランジスタを用いている。
　転送トランジスタ２２２は、フォトダイオード２２１のカソード電極と電荷電圧変換部であるＦＤ（フローティングディフュージョン）部２２６との間に接続され、フォトダイオード２２１で光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲート電極（制御電極）に転送パルスＴＲＧが与えられることによってＦＤ部２２６に転送する。
　リセットトランジスタ２２３は、画素電源VDDにドレイン電極が、ＦＤ部２２６にソース電極がそれぞれ接続され、フォトダイオード２２１からＦＤ部２２６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部２２６の電位を所定電位にリセットする。
　増幅トランジスタ２２４は、ＦＤ部２２６にゲート電極が、画素電源VDDにドレイン電極がそれぞれ接続され、リセットトランジスタ２２３によってリセットされた後のＦＤ部２２６の電位をリセットレベルとして出力し、さらに転送トランジスタ２２２によって信号電荷が転送された後のＦＤ部２２６の電位を信号レベルとして出力する。
　選択トランジスタ２２５は、例えば、ドレイン電極が増幅トランジスタ２２４のソース電極に、ソース電極が垂直信号線２５１にそれぞれ接続され、ゲート電極に選択パルスＳＥＬが与えられることによってオン状態となり、画素２２０を選択状態として増幅トランジスタ２２４から出力される信号を垂直信号線２５１に出力する。
　なお、選択トランジスタ２２５については、画素電源VDDと増幅トランジスタ２２４のドレイン電極との間に接続した構成を採ることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ２２５を省略し、増幅トランジスタ２２４を選択トランジスタ２２５として兼用する３トランジスタや、増幅トランジスタ２２４を複数の単位画素間で共有する構成などであってもよい。
　（行選択回路）
　行選択回路２１２は、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット２１６による制御の下に、転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬ等の画素駆動パルスを適宜発生する。発生されたパルスに基づき、画素アレイ部２１１の各画素２２０の電子シャッタ行と読み出し行の、それぞれについて、行単位で垂直方向（上下方向）に走査しつつ選択され、電子シャッタ行に対しては、その行の画素２２０の信号掃き捨てを行うための電子シャッタ動作が行われるとともに、読み出し行に対しては、その行の画素２２０の信号読み出しを行うための読み出し動作が行われる。
　ここでは、図示を省略するが、行選択回路２１２は、画素２２０を行単位で順に選択走査しつつ、読み出し行の各画素２２０の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ先行して同じ行（電子シャッタ行）に対して電子シャッタ動作を行うための電子シャッタ走査系とを有する構成となっている。
　そして、電子シャッタ走査系による電子シャッタ動作によってフォトダイオード２２１の不要な電荷がリセットされたタイミングから、読み出し走査系による読み出し動作によって画素２２０の信号が読み出されるタイミングまでの期間が、画素２２０における信号電荷の蓄積期間となる。すなわち、電子シャッタ動作とは、フォトダイオード２２１に蓄積された信号電荷のリセット（掃き捨て）を行い、そのリセット後から新たに信号電荷の蓄積を開始する動作である。
　（先行選択回路）
　先行選択回路２１３は、複数の行選択回路、例えば２つの行選択回路２１３Ａ，２１３Ｂによって構成され、行選択回路２１２が選択走査する読み出し行に先行して等間隔に複数行（本例では、２行）を選択走査する。
　行選択回路２１３Ａ，２１３Ｂは、シフトレジスタあるいはアドレスデコーダ等によって構成され、コントローラユニット２１６による制御の下に、行選択回路２１２の選択走査に同期して、転送パルスＴＲＧを適宜発生することにより、行選択回路２１２によって選択走査される読み出し行に先行して等間隔に２つの行を選択走査する。この選択走査では、転送パルスＴＲＧに基づいて、フォトダイオード２２１に蓄積された信号電荷をＦＤ部２２６に転送する動作が行われる。
　（論理回路）
　論理回路２１４は、コントローラユニット２１６による制御の下に、行選択回路２１２および先行選択回路２１３の２つの行選択回路２１３Ａ，２１３Ｂからそれぞれ行選択のために出力される転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを、ドライバ回路２１５を通して画素アレイ部２１１の転送制御線２５２、リセット制御線２５３および選択制御線２５４に供給するとともに、転送パルスＴＲＧの電圧値を選択するための信号をドライバ回路２１５に与える。
　（ドライバ回路）
　ドライバ回路２１５は、行選択回路２１２による選択走査に同期して、画素２２０の各トランジスタ２２２，２２３，２２５をＯＮ／ＯＦＦするための電圧の転送パルスＴＲＧ、リセットパルスＲＳＴおよび選択パルスＳＥＬを画素２２０に供給するとともに、行選択回路２１３Ａ，２１３Ｂによる選択走査に同期して、画素２２０の各トランジスタ２２２，２２３，２２５をＯＮ／ＯＦＦするための電圧の中間的な電位（以下、「中間電位」と記述する）の転送パルスＴＲＧを画素２２０に供給する。
　（カラム回路）
　カラム回路２１８は、画素アレイ部２１１の例えば画素列ごとに、即ち画素列に対して１対１の対応関係をもって配置された単位回路の集合からなり、行選択回路２１２および行選択回路２１３Ａ，２１３Ｂによって選択された読み出し行の各画素２２０から垂直信号線２５１を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　このカラム回路２１８としては、垂直信号線２５１を通して出力される信号をサンプルホールドするサンプルホールド回路からなる回路構成のものや、サンプルホールド回路を含み、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理により、リセットノイズや増幅トランジスタ２２４の閾値ばらつき等、画素固有の固定パターンノイズを除去するノイズ除去回路からなる回路構成のものなどが用いられる。
　ただし、カラム回路２１８の上記構成については一例に過ぎず、これに限定されるものではない。例えば、カラム回路２１８にＡ／Ｄ（アナログ／デジタル）変換機能を持たせ、信号レベルをデジタル信号で出力する構成を採ることも可能である。
　（水平走査回路）
　水平走査回路２１９は、シフトレジスタあるいはアドレスデコーダ等によって構成され、画素アレイ部２１１の画素列ごとにカラム回路２１８の各単位回路を順に水平走査しつつ、カラム回路２１８の各単位回路に一時的に保持されている画素の信号を順次出力する。
　＜撮像に係わる動作＞
　図４乃至６を参照し、CMOSイメージセンサ１１２における撮像方法と撮像された画像の合成方法について説明する。
　図４は、高輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化を表す図である。図４乃至６に示すグラフにおいて、横軸は、時間を表し、縦軸は、電荷量を表す。また、図４乃至６に示すグラフにおいて、ＴＬは、長時間露光時間を表し、ＴＳは、短時間露光時間を表す。
　フォトダイオード２２１の受光量が多い、すなわち明るい被写体に対応する場合、図４に示す高輝度領域２７１に示すように、時間経過に伴う電荷蓄積量は急激に上昇し、リセット動作などが行われなければ、ある時点、図４では時刻ｔ１で飽和レベルに達し、その後は、飽和レベルで推移する。
　時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１に蓄積された全ての電荷ではなく、フォトダイオード２２１において制御される中間電位保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。
　すなわち、図に示す短時間露光開始時刻ｔ２から短時間露光終了時刻ｔ３までの期間の短時間露光が行われる。この短時間露光によって電荷蓄積量Ｓａが得られ、この電荷蓄積量Ｓａに基づいて得られる電気信号に基づいて、画素の階調レベルが決定される。
　さらに、時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。
　このように、明るい被写体を撮像しているために、フォトダイオード２２１の受光量が多い場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓａが、その画素の電荷量として用いられる。例えば、長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量が推定され、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。
　例えば、長時間露光時間ＴＬと短時間露光時間ＴＳで設定される露光比をＥGainとし、その露光比ＥGainを、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓａに乗算することで、推定電荷蓄積量（推定電荷蓄積量ＷＬとする）が算出される。
　　露光比ＥGain＝長時間露光時間ＴＬ／短時間露光時間ＴＳ
　　推定電荷蓄積量ＷＬ＝電荷蓄積量Ｓａ×露光比ＥGain
　仮に、フォトダイオード２２１の受光量が多い場合に、時刻ｔ２で行われた掃き出し動作や、短時間露光が行われず、長時間露光時間ＴＬに得られた電荷量が用いられた場合、飽和レベルに達している電荷量が用いられてしまうため、白飛びの原因となり、画質が劣化してしまう。しかしながら、上記したように、時刻ｔ２で行われた掃き出し動作が行われ、短時間露光時間ＴＳで得られた電荷量が用いられるようにすることで、飽和していない信号を得ることができ、画質が劣化してしまうようなことを防ぐことができる。
　また、時刻ｔ２で掃き出し動作が行われるが、掃き出し動作を行うことで、以下のような効果を得ることができる。
　電子シャッタを切ってから(露光を開始してから)画素２２０の転送トランジスタ２２２をＯＮにして蓄積電荷を読み出すまでの露光期間中に、１つ又は複数の中間電位を画素２２０の転送トランジスタ２２２に印加して読み出すことで、低照度領域で高いＳ／Ｎを確保したまま高照度領域の情報も取得することができる。
　また、複数の中間電位を用いて複数回転送し、そのうち１回あるいは複数回読み出さずにＦＤ部２２６を所定電位（例えば、電源電位VDD）にリセットするリセット動作、具体的には、リセットトランジスタ２２３と当該リセットトランジスタ２２３にリセットパルスＲＳＴを与える行選択回路２１３Ａ，２１３Ｂとからなるリセット手段によるリセット動作を実行することで、画素２２０の転送トランジスタ２２２の閾値ばらつきを効果的にキャンセルすることができる。
　次に図５を参照し、中輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化について説明する。なお中輝度とは、高輝度と低輝度の間の輝度であり、時刻ｔ２において行われる掃き出し動作時に、中間電位を超える電荷量を蓄積することができる輝度であるとする。
　フォトダイオード２２１の受光量が中程度の場合、時間経過に伴う電荷蓄積量は飽和レベルに達することなく上昇する。時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１において制御される中間電位保持レベルまでであるため、この時点で、中間電位を超えている分は、掃き出される。
　電荷掃き出し処理の後、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。図に示す短時間露光開始時刻ｔ２から短時間露光終了時刻ｔ３までの期間の短時間露光が行われ、この短時間露光によって電荷蓄積量Ｓｃが得られ、この電荷蓄積量Ｓｃに基づいて得られる電気信号に基づいて、画素の階調レベルが決定される。
　さらに、時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。時刻ｔ３から時刻ｔ４までに蓄積された電荷量と中間電位までの電荷量を加算した電荷量を電荷蓄積量Ｓｄとする。
　中輝度信号が処理される場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｃと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｅが用いられて決定される電荷量が、その画素の電荷量として用いられる。例えば、長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量が推定され、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。
　長時間露光時間ＴＬだけ露光されたときに得られるであろう電荷量は、図５では、電荷蓄積量Ｓｅである。この電荷蓄積量Ｓｅは、図５において点線で示したように、仮に、時刻ｔ３で読み出しを行わず、電荷の蓄積を継続した場合に、時刻ｔ４（長時間露光時間ＴＬの終了時刻）で蓄積されていると推定される電荷量である。
　この場合、電荷蓄積量Ｓｃと電荷蓄積量Ｓｄが加算されることで、電荷蓄積量Ｓｅが算出される。
　　電荷蓄積量Ｓｅ＝電荷蓄積量Ｓｃ＋電荷蓄積量Ｓｄ
　このように、中程度の輝度信号が扱われる場合も、白とびのないダイナミックレンジの広い画像を得ることができる。
　次に図６を参照し、低輝度信号を受光したときの光電変換素子（フォトダイオード２２１）の電荷量の時間変化について説明する。なお低輝度とは、時刻ｔ２において行われる掃き出し動作時に、中間電位を超えない電荷量を蓄積することができる輝度であるとする。
　フォトダイオード２２１の受光量が低い場合、時間経過に伴う電荷蓄積量は飽和レベルに達することなく緩やかに上昇する。時刻ｔ２において、一旦、フォトダイオード２２１の蓄積電荷が掃き出される。電荷掃き出しは、フォトダイオード２２１において制御される中間電位保持レベルまでであるが、この場合、中間電位を超えている分はないため、掃き出し動作が行われても、掃き出される電荷はない。
　電荷掃き出し処理の後、露光時間ＴＳ（時刻ｔ２から時刻ｔ３）とした短時間露光が実行される。この場合、フォトダイオード２２１における電荷の蓄積が継続されて行われていることと、同等の処理となる。
　さらに時刻ｔ３後、時刻ｔ４まで露光され、フォトダイオード２２１に電荷が蓄積される。時刻ｔ０から時刻ｔ４までの時間は、長時間露光時間ＴＬに該当し、長時間露光時間ＴＬが終了するまで露光は継続される。
　低輝度信号の場合、長時間露光時間ＴＬで得られた電荷蓄積量Ｓｆが、その画素での蓄積電荷量となる。
　　蓄積電荷量＝電荷蓄積量Ｓf
　このように、低輝度信号が扱われる場合も、白とびのないダイナミックレンジの広い画像を得ることができる。
　このように、短時間露光時間ＴＳで得られる短時間露光画像と、長時間露光時間ＴＬで得られる長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
　＜アーチファクトについて＞
　上記したように、長時間露光時間ＴＬと短時間露光時間ＴＳを用いることで、白とびのないダイナミックレンジの広い画像を得ることができるが、アーチファクト（偽色）が発生する可能性がある。ここで、アーチファクトが発生する可能性ある状況や、アーチファクトが発生する原理について説明する。
　動被写体が存在し、長時間露光画像と短時間露光画像の合成処理が破綻してしまうと、アーチファクトが発生する可能性がある。動被写体が存在すると、例えば、明るさが急激に変化する可能性がある。例えば、照明の前を人が横切ったときなど、照明からの光を撮像しているときには明るく、照明の前に人が居て、照明からの光が遮られているときには暗いという状況が発生する。このような状況を撮像している場合、長時間露光時間ＴＬの間に、明暗が急激に変化する可能性がある。
　まず、図７を参照し、暗い状態から明るい状態に変化したときの、フォトダイオード２２１の電荷量の変化について説明する。図７の上図は、撮像対象とされている被写体の明るさの変化を示し、図７の下図は、フォトダイオード２２１の電荷量の変化を表す。図７の上図に示すように、時刻ｔ０から時刻ｔ１１までは、明るさＢ１であり、時刻ｔ１１の時点で明るさが明るさＢ２に変化した。明るさＢ１よりも明るさＢ２の方が明るいとする。
　このような明るさの変化があった場合、図７の下図に示すように、フォトダイオード２２１の電荷量は変化する。図７の下図は、図４乃至６と同じく、横軸が時間を表し、縦軸が蓄積電荷量を表す。図７の下図を参照するに、時刻ｔ０から時刻ｔ１１までは比較的緩やかに電荷量が増えていく。時刻ｔ１１で明るさが明るさＢ１から明るさＢ２に変化すると、その変化にともない、電荷蓄積量も急激に増加し、ある時点で、飽和レベルに達する。
　時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｇとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位までの電荷量を足し合わせた電荷量を、電荷蓄積量Ｓｈとする。
　このような処理は、図４で説明した高輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｇが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。
　図７の下図は、感度が他の画素よりも高い画素であるとした場合、他の画素においては、異なる電荷量の変化となる。ここで、画素毎の感度について説明を加える。一般的に、フォトダイオード２２１上には、カラーフィルタが配置され、１個のフォトダイオード２２１は、配置されているカラーフィルタを透過した光を受光するように構成されている。
　図８は、カラーフィルタの色配置の一例を示す図である。縦×横の２×２単位で、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の配置が繰り返される。図８に示した例では、左上がＲ（以下、Ｒ画素とする）、そのＲ画素の右隣がＧ（以下、Ｇ画素とする）、Ｒ画素の下側がＧ画素、Ｒ画素の右斜め下側がＢ（以下、Ｂ画素とする）となる配置とされている。
　このように、Ｒ画素、Ｇ画素、およびＢ画素が配置され、それぞれの画素にフォトダイオード２２１が配置されている。Ｒ画素に配置されているフォトダイオード２２１は、赤色のカラーフィルタを透過した光を受光し、Ｇ画素に配置されているフォトダイオード２２１は、緑色のカラーフィルタを透過した光を受光し、Ｂ画素に配置されているフォトダイオード２２１は、青色のカラーフィルタを透過した光を受光する。
　なおここでは、ＲＧＢの画素が配置されている例を挙げて説明を続けるが、Ｗ（White）画素を含む構成とすることも可能である。また、ＲＧＢではなく、シアン、マゼンタ、イエローの組み合わせに対しても本技術を適用することはできる。
　Ｒ画素、Ｇ画素、Ｂ画素が、図８に示すように配置されている場合、Ｒ画素、Ｇ画素、Ｂ画素の全てが同一の感度ではなく、異なる感度を有している。そのような感度の違いを吸収するために、ホワイトバランス調整といったような調整が行われる。一般的に、Ｇ画素は感度が高く、Ｒ画素とＢ画素は、Ｇ画素よりも感度が低い。例えば、Ｒ画素とＢ画素の画素値に、所定のゲインを乗算することで、Ｇ画素と感度が合うような調整が行われる。
　図７を再度参照し、図７の上図に示したような輝度変化を伴う光を受光した場合、Ｒ画素、Ｇ画素、およびＢ画素の全てが、図７の下図に示したように電荷量を蓄積するのではなく、例えば、感度の高いＧ画素が、図７の下図に示したように電荷量を蓄積し、Ｒ画素やＢ画素は、異なる電荷量を蓄積する。
　例えば、図９に示すように、Ｇ画素よりも感度が低いＲ画素またはＢ画素（以下、Ｒ画素を例に挙げて説明を続ける）は、電荷量を蓄積する。図９を参照するに、暗い状態を撮像している時刻ｔ０から時刻ｔ１１まで、フォトダイオード２２１の電荷量は緩やかに増加する。時刻ｔ１１において、明るさが暗い状態から明るい状態に急変すると、電荷量も、その変化に合わせて変化する。
　時刻ｔ２の時点で、短時間露光時間ＴＳが開始されるが、中間電位以上の電荷は蓄積されていないため、掃き出される電荷はないまま、電荷の蓄積が、時刻ｔ４（長時間露光時間ＴＬの終了）まで継続される。この場合、長時間露光時間ＴＬの間に蓄積された、電荷蓄積量Ｓｉに基づき画素値レベルが決定される。
　このような処理は、図６で説明した低輝度信号を扱うときの処理となる。
　このことは、図７の上図に示したような明るさの変化を伴う信号を受光したにもかかわらず、感度の高い画素では、図７の下図に示したように電荷が蓄積され、高輝度信号を扱うときの処理が実行されるのに対し、感度の低い画素では、図９に示したように電荷が蓄積され、低輝度信号を扱う処理が実行される可能性があることを意味している。
　図４を参照して説明したように、高輝度信号を扱う場合、短時間露光時間ＴＳで得られた電荷量に、長時間露光時間ＴＬと短時間露光時間ＴＳで定義されるゲイン、例えば、（長時間露光時間ＴＬ）／（短時間露光時間ＴＳ）が乗算される。
　図７の上図に示したように、長時間露光時間ＴＬの途中の時点である時刻ｔ１１において、明るさが、暗い状態から明るい状態に変化したため、長時間露光時間ＴＬと短時間露光時間ＴＳで定義されるゲインを乗算した値は、本来得たい正しい値（真値とする）よりも高い値となる可能性がある。この場合、感度の高い画素から得られる画素値レベルは、誤差を含む値となる可能性がある。
　一方で、感度の低い画素で得られた画素値レベルは、真値である可能性が高い。このような真値である画像値レベルと、誤差を含む画素値レベルが合成されると、その合成結果も誤差を含んでしまう可能性が高い。このような誤差は、偽色（アーチファクト）の原因となる。以下、暗い状態から明るい状態に急変したことにより発生する可能性のあるアーチファクトを、暗明アーチファクトと記述する。
　後述する本技術を適用することで、暗明アーチファクトが発生することを抑制することが可能となる。
　上記した例は、暗状態から明状態に変化する場合であったが、次に、明状態から暗状態に変化する場合について説明する。
　図１０は、感度が高い画素における電荷の蓄積量の変化について説明するための図である。図１０は、図７と同じく、図１０の上図は、撮像対象とされている被写体の明るさの変化を示し、図１０の下図は、フォトダイオード２２１の電荷量の変化を表す。図１０の上図に示すように、時刻ｔ０から時刻ｔ１１までは、明るさＢ３であり、時刻ｔ１１の時点で明るさが明るさＢ４に変化した。明るさＢ３よりも明るさＢ４の方が暗いとする。
　このような明るさの変化があった場合、図１０に示すように、フォトダイオード２２１の電荷量は変化する。図１０の下図を参照するに、時刻ｔ０から時刻ｔ１１までの間に、電荷量は、飽和レベルまで蓄積されている。時刻ｔ１１で明るさが明るさＢ３から明るさＢ４に変化するが、飽和レベルに達しているため、電荷蓄積量は変化しない。
　時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｊとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位に相当する電荷量を加算した電荷量を、電荷蓄積量Ｓｋとする。
　このような処理は、図５で説明した中輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｊと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｋが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。
　この場合、短時間露光時間ＴＳのときは、暗い状態を撮像している状態なので、蓄積される電荷量は少なく、電荷蓄積量Ｓｊは、０に近い値となる。また、時刻ｔ３から時刻ｔ４の間に蓄積される電荷量は、０に近い値となるため、電荷蓄積量Ｓｋは、中間電位に近い値となる。
　感度の低い画素においても、同様なことが起こる。図１１を参照して、感度が低い画素における電荷量の変化について説明する。図１１を参照するに、時刻ｔ０から時刻ｔ１１までの間に、電荷量は、飽和レベルまで蓄積されている。時刻ｔ１１で明るさが明るさＢ３から明るさＢ４に変化するが、飽和レベルに達しているため、電荷蓄積量は変化しない。
　時刻ｔ２において、中間電位保持レベルまで、電荷の掃き出しが行われ、短時間露光が開始される。短時間露光時間ＴＳの間に蓄積された電荷量を、電荷蓄積量Ｓｌとする。時刻ｔ３から時刻ｔ４の間も露光され、その間に蓄積された電荷量と中間電位に相当する電荷量を加算した電荷量を、電荷蓄積量Ｓｍとする。
　このような処理は、図５で説明した中輝度信号を扱うときの処理となる。よって、この場合、短時間露光時間ＴＳの間に蓄積された電荷蓄積量Ｓｌと、長時間露光時間ＴＬの間に蓄積された電荷蓄積量Ｓｍが用いられ、推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値が算出され、算出された結果に基づいて画素値レベルが決定される。
　この場合、短時間露光時間ＴＳのときは、暗い状態を撮像している状態なので、蓄積される電荷量は少なく、電荷蓄積量Ｓｌは、０に近い値となる。また、時刻ｔ３から時刻ｔ４の間に蓄積される電荷量は、０に近い値となるため、電荷蓄積量Ｓｍは、中間電位に近い値となる。
　長時間露光時間ＴＬ中に、明状態から暗状態に急激に変化するような状況の場合、感度の高い画素と低い画素の両方とも、図５で説明した中輝度信号を扱うときの処理となる。
　しかしながら、暗状態のときの撮像なので、図６を参照して説明した低輝度信号を扱うときの処理が実行され、長時間露光時間ＴＬで得られた電荷蓄積量が用いられて、画素値レベルが算出されるのが真値であり、上記したように、例えば、電荷蓄積量Ｓｌと電荷蓄積量Ｓｍが加算された電荷量は、真値よりも高い値になってしまう可能性がある。
　すなわち、暗状態で撮影された場合、中間電位に該当する電荷量よりも小さい電荷量となるはずであるが、上記したように、例えば、電荷蓄積量Ｓｌと電荷蓄積量Ｓｍが加算された電荷量となるため、中間電位に該当する電荷量よりも大きな電荷量となる。
　このような誤差を含む可能性のある電荷量を用いることで、偽色（アーチファクト）が発生する可能性がある。以下、明るい状態から暗い状態に急変したことにより発生する可能性のあるアーチファクトを、明暗アーチファクトと記述する。
　＜アーチファクトの発生を軽減する処理＞
　このような、暗明アーチファクトや明暗アーチファクトが発生しないようにするための処理について説明する。
　図１２は、図７に示した暗状態から明状態に変化したときの、フォトダイオード２２１の電荷量の変化を表す図である。電荷量の変化は、図７の下図に示した場合と同様である場合を例に挙げて説明するため、電荷量の変化については説明を省略する。
　時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量は、電荷蓄積量Ｓｎであるとする。この時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量の掃き出し動作が行われ、蓄積された電荷量が、中間電位に相当する電荷量以上であるか否かが判定される。
　時刻ｔ２１において行われる掃き出し動作は、隣接した画素への漏れ込みにより、画素値のリニアリティ特性が崩れるのを防ぐために、露光中の所定のタイミングで電荷をリセットするために行われる。このような隣接した画素への漏れ込みを防ぐために行われる掃き出し動作は、長時間露光時間ＴＬ中に、複数回行うように構成することも可能である。
　ここでは、長時間露光時間ＴＬのほぼ中央時点の時刻ｔ２１において、１回の掃き出し動作が行われるとして説明を続ける。
　隣接した画素への漏れ込みを防ぐために行われる掃き出し動作は、掃き出し動作時に蓄積されている電荷量を測定する必要はないが、時刻ｔ２１において実行される掃き出し動作において掃き出された電荷量は測定される。
　この掃き出し動作は、短時間露光時間ＴＳが開始される時刻ｔ２のときに実行される掃き出し動作と同じく、フォトダイオード２２１に蓄積された全ての電荷ではなく、フォトダイオード２２１において制御される中間電位保持レベルまでとする。
　時刻ｔ２１において掃き出し動作が実行され、蓄積された電荷量が中間電位以上であるか否かが判定される。この判定は、掃き出された電荷量が、A/D変換され、デジタル信号に変換され、その信号値が、所定の閾値以上であるか否かが判定されることで行われる。
　この所定の閾値は、蓄積された電荷量との比較においては、中間電位とすることができる。また、ノイズの影響を考慮し、中間電位よりも大きい電位としても良い。また、掃き出された電荷量との比較においては、中間電位以上の電荷が蓄積されているときに掃き出される電荷があるため、所定の閾値は、ノイズを考慮しない場合、０とし、ノイズを考慮した場合、０より大きい値が設定される。
　掃き出された電荷量の信号値が、所定の閾値以上である場合、フラグが１に設定され、所定の閾値以上ではない場合、フラグが０に設定される。なおここでは、所定の閾値以上である場合、フラグが１に設定され、所定の閾値以上ではない場合、フラグが０に設定されるとして説明を続けるが、所定の閾値以上である場合、フラグが０に設定され、所定の閾値以上ではない場合、フラグが１に設定されるように構成することも可能である。
　図１２を参照するに、掃き出し動作が行われる時刻ｔ２１のとき、フォトダイオード２２１の電荷量が、中間電位以下である場合、掃き出し動作により掃き出される電荷量は０であるため、その電荷量に相当する信号値も０となり、所定の閾値以上とはならず、フラグは０に設定される。設定されたフラグは、時刻ｔ４（長時間露光時間ＴＬが終了する時点）まで、イメージセンサ内のメモリに保持され、長時間露光時間ＴＬの画像、短時間露光時間ＴＳの画像と共に、後段の処理部に出力される。
　図１３は、図１０に示した暗状態から明状態に変化したときの、フォトダイオード２２１の電荷量の変化を表す図である。電荷量の変化は、図１０の下図に示した場合と同様である場合を例に挙げて説明するため、電荷量の変化については説明を省略する。
　時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量は、電荷蓄積量Ｓｏであるとする。この時刻ｔ２１において、フォトダイオード２２１に蓄積されている電荷量の掃き出し動作が行われ、掃き出された電荷量の信号値が、所定の閾値以上であるか否かが判定される。
　図１３を参照するに、掃き出し動作が行われる時刻ｔ２１のとき、フォトダイオード２２１の電荷量が、中間電位以上である場合、掃き出し動作により掃き出される電荷量は所定の値を有しており、そのようなときには、フラグは１に設定される。設定されたフラグは、時刻ｔ４（長時間露光時間ＴＬが終了する時点）まで、イメージセンサ内のメモリに保持され、長時間露光時間ＴＬの画像、短時間露光時間ＴＳの画像と共に、後段の処理部に出力される。
　このように、露光時間中の所定の時点における明るさの状態が判定され、その判定結果は、フラグとして保持される。このフラグを参照することで、露光時間中の所定の時点において明状態であったか、暗状態であったかを認識することができる。
　上記したように、掃き出し動作は、長時間露光時間ＴＬに複数回行うように設定することも可能である。複数回の掃き出し動作を行うようにした場合、その都度、掃き出された電荷量の信号値が、所定の閾値以上であるか否かが判定され、フラグが設定されるようにしても良い。
　このようにした場合、複数個のフラグが設定されるが、複数個のフラグの平均値が算出され、その平均値が最終的なフラグとして設定されるようにしても良い。このようにした場合、平均値を四捨五入などし、０または１にした値が最終的なフラグとして用いられる。
　また、複数個のフラグが設定されるようにした場合、それらのフラグを時系列に並べ、その時系列に並べられたフラグが、後段の処理に用いられるようにしても良い。時系列に並べたフラグを用いることで、どの時点で、中間電位を超える電荷量が蓄積されたかを判定できるようになるため、そのような判定結果も用いて、後段の補正部３０５（図１６）で行われる補正が行われるようにしても良い。
　なおここでは、上記したように、長時間露光時間ＴＬ中の所定の時点における明るさの状態を、０または１の２値で表されるフラグを用いて表すとして説明を続けるが、後述するメモリの容量を削減する必要が無い場合などには、より細かく明るさの状態を表す情報が用いられるようにしても良い。
　例えば、掃き出し動作のときに掃き出された電荷量をA/D変換したデータが用いられるようにしても良い。このようにした場合、所定の時点で、単に明るい状態であったか否かだけでなく、どの程度の明るさであったかを判定することができようになるため、このような判定結果も用いて、後段の補正部３０５（図１６）で行われる補正が行われるようにしても良い。
　このように設定されたフラグを参照することで、露光時間中の所定の時点における明るさの状態を判定することはできるが、明暗アーチファクト、または暗明アーチファクトが発生する状況であるか否かまで判定することはできない。そこで、図１４を参照して説明する領域の概念を取り入れ、領域内に存在する状況であるか否かも判定することで、明暗アーチファクト、または暗明アーチファクトが発生する状況であるか否かが判定できるようにする。
　図１４に示したグラフにおいて、縦軸は、短時間露光時間ＴＳ時に蓄積された電荷量（その電荷量の信号値）Ｄｓを表し、横軸は、短時間露光時間ＴＳの信号値と長時間露光時間ＴＬの信号値を加算した信号値Ｄａを表す。
　領域Ａは、低輝度領域Ａであり、図６を参照して説明したように、合成において、長時間露光時間ＴＬ時の画素値（長時間露光画像）が主に用いられる領域である。領域Ｂは、中輝度領域Ｂであり、図５を参照して説明したように、合成において、長時間露光時間ＴＬ時の画素値（長時間露光画像）と短時間露光時間ＴＳの画素値（短時間露光画像）の和が主に用いられる領域である。領域Ｄは、高輝度領域Ｄであり、図４を参照して説明したように、合成において、短時間露光時間ＴＳ時の画素値（展示館露光画像）が主に用いられる領域である。
　領域Ｃは、遷移領域Ｃであり、中輝度領域Ｂと高輝度領域Ｄとの中間に属する領域である。図中、点線２９１は、Ｄｓ＝Ｄａ／Ｇ（Ｇは、長時間露光時間ＴＬ／短時間露光時間ＴＳ）を表す線であり、点線２９２は、Ｄｓ＝Ｄａ／Ｇ＋Ａ（Ａは、所定の値）を表す線であり、点線２９３は、Ｄｓ＝Ｄａ／Ｇ－Ａを表す線である。遷移領域Ｃは、点線２９１を中心とし、点線２９２と点線２９３で挟まれる領域である。この遷移領域Ｃは、中輝度領域Ｂに属するか、高輝度領域Ｄに属するか判定しづらい領域である。
　これらの領域Ａ乃至Ｄとフラグとを組み合わせることにより、明暗アーチファクトまたは暗明アーチファクトが発生するか否かが判定される。この判定は、例えば、図１５に示す表に基づいて行われる。
　図１５に示すように、領域Ａ乃至Ｄとフラグとの組み合わせを、状態１乃至８の８つの状態に分類する。
　状態１は、フラグが０であり、領域Ｒが低輝度領域Ａに属する状態である。状態１の場合、露光時間中の所定のタイミングで行われる掃き出し動作（以下、単に掃き出し動作と記述する）時には、暗状態であり、低輝度信号を処理したときの処理が実行される状態である。状態１は、暗状態で、低輝度信号の処理が実行されるため、暗状態から明状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。
　状態２は、フラグが０であり、領域Ｒが中輝度領域Ｂに属する状態である。状態２の場合、掃き出し動作時には、暗状態であり、中輝度信号を処理したときの処理が実行される状態である。状態２は、暗状態で、中輝度信号の処理が実行されるため、暗状態から明状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。
　状態３は、フラグが０であり、領域Ｒが遷移領域Ｃに属する状態である。状態３の場合、掃き出し動作時には、暗状態であるが、中輝度信号または高輝度信号を処理したときの処理が実行される状態である。状態３は、暗状態から明状態に変化があり、その結果、中輝度信号の処理または高輝度信号の処理が実行されると判定できる状態であり、暗明アーチファクトが発生する可能性があると判定できる状態である。
　状態４は、フラグが０であり、領域Ｒが高輝度領域Ｄに属する状態である。状態４の場合、掃き出し動作時には、暗状態であるが、高輝度信号を処理したときの処理が実行される状態である。状態４は、暗状態から明状態に変化があり、その結果、高輝度信号の処理が実行されると判定できる状態であり、暗明アーチファクトが発生する可能性があると判定できる状態である。
　状態５は、フラグが１であり、領域Ｒが低輝度領域Ａに属する状態である。状態５の場合、掃き出し動作時には、明状態であるが、低輝度信号を処理したときの処理が実行される状態である。状態５は、明状態から暗状態に変化があり、その結果、低輝度信号の処理が実行されると判定できる状態であり、明暗アーチファクトが発生する可能性があると判定できる状態である。
　状態６は、フラグが１であり、領域Ｒが中輝度領域Ｂに属する状態である。状態６の場合、掃き出し動作時には、明状態であるが、中輝度信号を処理したときの処理が実行される状態である。状態６は、明状態から暗状態に変化があり、その結果、中輝度信号の処理が実行されると判定できる状態であり、明暗アーチファクトが発生する可能性があると判定できる状態である。
　状態７は、フラグが１であり、領域Ｒが遷移領域Ｃに属する状態である。状態７の場合、掃き出し動作時には、明状態であり、中輝度信号または高輝度信号を処理したときの処理が実行される状態である。状態７は、明状態で、中輝度信号または高輝度信号の処理が実行されるため、明状態から暗状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。
　状態８は、フラグが１であり、領域Ｒが高輝度領域Ｄに属する状態である。状態８の場合、掃き出し動作時には、明状態であり、高輝度信号を処理したときの処理が実行される状態である。状態８は、明状態で、高輝度信号の処理が実行されるため、明状態から暗状態への急激な変化はないと判定でき、アーチファクトが発生することは無い状態であると判定できる状態である。
　なおここでは、説明のため領域との記載をし、どの領域に属する状態であるかが判定されるとして説明を続けるが、図１４に示すような領域を判定するためのテーブルを有し、そのテーブルが参照されて、状態が判定されるようにしても良い。
　また、合成処理時に、長時間露光画像を主に用いる状態か、短時間露光画像を主に用いる状態か、長時間露光画像と短時間露光画像の和を主に用いる状態か、または、長時間露光画像を主に用いる状態と、長時間露光画像と短時間露光画像の和を主に用いる状態との中間的な状態か、いずれかの状態であるかが判定されるようにしても良い。
　このように、フラグと領域を組み合わせることで、アーチファクトが発生する状態であるか否かを判定することができる。よって、アーチファクトが発生する可能性がある場合には、アーチファクトによる影響を軽減する処理を行うなど、アーチファクトに対する対応をとることができる。よって、アーチファクトにより画質が劣化するようなことを防ぐことが可能となる。
　また本実施の形態によれば、明状態から暗状態に変化したために明暗アーチファクトが発生するのか、暗状態から明状態に変化したために暗明アーチファクトが発生するのかまで判定することができるため、その判定結果により、より細かなアーチファクトに対する処理を実行することが可能となる。
　＜システムの構成＞
　図１６は、上記した処理を行うシステムの一実施の形態の構成を示す図である。図１６に示したシステムは、撮像デバイス３０１、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４、および補正部３０５を含む構成とされている。
　撮像デバイス３０１は、ＣＭＯＳイメージセンサ１１２（図２）を含む構成とされ、被写体の画像を撮像する。撮像された被写体の信号は、生成部３０２に供給される。生成部３０２は、短時間露光時間ＴＳに得られたＴＳ画像、長時間露光時間ＴＬに得られたＴＬ画像、およびフラグを生成する。
　画像合成部３０３は、生成部３０２により生成されたＴＳ画像とＴＬ画像の合成処理を行い、合成画像を生成する。動被写体検出情報生成部３０４は、ＴＳ画像、ＴＬ画像、およびフラグを参照し、図１５を参照して説明したように、アーチファクトが発生する状況であるか否かを判定し、その判定結果を動被写体検出情報として出力する。
　補正部３０５は、画像合成部３０３から供給される合成画像に対して、動被写体検出情報生成部３０４から供給される動被写体検出情報を参照した補正を行う。補正部３０５は、合成画像に対して、アーチファクトが発生すると判定されている領域（画素）に対して、アーチファクトによる影響が軽減されるための補正を施す。
　図１７を参照し、図１６に示したシステムの動作について説明を加える。ローリングシャッターの場合、図１７の左側に示すように、１ラインまたは複数ライン毎に露光開始時刻が異なり、露光終了時刻が異なる。
　１ライン目の露光開始時刻を時刻ｔ０とし、長時間露光時間ＴＬの露光終了時刻を時刻ｔ４とする。短時間露光時間ＴＳの露光開始時刻を時刻ｔ２とし、終了時刻を時刻ｔ３とする。また時刻ｔ２１において、フラグを生成するための掃き出し動作が行われる。
　時刻ｔ０から１ライン目の露光が開始され、時刻ｔ２１になると、掃き出し動作が行われ、生成部３０２によりフラグが生成される。このフラグは、図示していないメモリに保持される。時刻ｔ２から時刻ｔ３の間に行われた短時間露光時間ＴＳにより得られた１ライン目のＴＳ画像は、時刻ｔ３においてラインメモリ（不図示）に読み出され、一旦記憶される。
　また、長時間露光時間ＴＬにより得られた１ライン目のＴＬ画像は、時刻ｔ４においてラインメモリに読み出され、一旦記憶される。画像合成部３０３は、ラインメモリに蓄積されたＴＳ画像とＴＬ画像を合成する。動被写体検出情報生成部３０４は、ＴＳ画像、ＴＬ画像、フラグを用いて、図１５に示した状態１乃至８のどの状態に属するか、換言すれば、アーチファクトが発生する可能性があるか否かを判定する。この判定に基づき、補正が行われる。
　アーチファクトが発生する可能性があるとの判定がされる画素は、例えば、高輝度信号として処理すべき画素であるのに、低輝度信号として処理された場合などであるため、低輝度信号として処理するのではなく、高輝度信号として処理する画素に変更するといった補正が行われる。
　なお補正は、アーチファクトにより影響（動被写体による影響）を軽減できる補正であれば良い。
　＜積層型イメージセンサ＞
　図１６に示したシステムを、積層型のイメージセンサとして構成することも可能である。積層型イメージセンサについて、図１８を参照して説明する。図１８のＡは、積層型ではないイメージセンサの構成を示し、図１８のＢは、積層型のイメージセンサの構成を示す。
　図１８のＡを参照するに、積層型ではないイメージセンサは、１層目の基板４０１に、画素４０２と画素４０２の周りに回路部４０３が配置され、その基板に支持基板４０４が積層される。よって、１層目の基板４０１は、画素４０２と回路部４０３を配置するための面積が必要である。支持基板４０４の面積は、基板４０１と同程度の面積が必要である。
　図１８のＢを参照するに、積層型のイメージセンサは、１層目の基板４２１に画素４２２が配置され、２層目の基板４２４に回路部４２３が配置され、基板４２１と基板４２４が積層されている。積層型のイメージセンサでは、図１８のＡに示した積層型ではないイメージセンサの支持基板４０４であった部分に回路部４２３が設けられ、積層化されている。
　このように、支持基板であった２層目に回路部４２３を配置することで、１層目の基板４２１は、画素４２２を配置するための面積があれば良く、少なくとも回路部４０３の分だけ面積を小さくすることができる。また、２層目の基板４２４の面積も、１層目の基板４２１と同程度の面積であれば良くなり、チップサイズをイメージセンサの画素面のサイズに抑えつつも、大規模論理回路を搭載することも可能となる。
　また、上記したように、長時間露光時間ＴＬの所定の時点において明状態であったか暗状態であったかを表すフラグを一時的に保持するメモリが必要となるが、以下に説明するようにメモリの容量を小さくすることも可能である。よって、フラグを保持するためのメモリが回路部４２３に追加されたとしても、そのメモリの容量は小規模とすることが可能であるため、追加されたメモリにより回路部４２３の面積が大きくなるといったようなことはない。
　図１６に示したシステムを積層型イメージセンサにした場合、図１９に示すように、撮像デバイス３０１を含む部分をセンサ部４５１とし、第１層目の基板４２１（図１８のＢ）の画素４２２として配置する。また生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４を、論理回路部４５２とし、第２層目の基板４２４（図１８のＢ）の回路部４２３として配置する。このように、図１６に示したシステムも、積層型イメージセンサとして構成することができ、積層型イメージセンサとすることで、小型化することが可能となる。
　なお、第２層目の基板４２４（図１８のＢ）の回路部４２３には、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４のいずれか１つが少なくとも含まれるように構成することもできる。また、積層される基板の枚数は何層でもよく、例えば、第２層目と第３層目に、生成部３０２、画像合成部３０３、動被写体検出情報生成部３０４が分散配置されるようにしても良い。
　＜メモリ容量の削減＞
　次に、上記したフラグを保持するメモリの容量の削減について説明する。図２０の左図は、図８と同じく、カラーフィルタの色配置の一例を示す図である。図２０に示したカラーフィルタの色配置も、図８と同じく、縦×横の２×２単位で、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の配置が繰り返されている例を挙げて説明する。
　図２０では、画素アレイ部２１１（図２）の一部を構成する縦×横の８×１６の画素を例示している。この８×１６の画素を、８×８の２メッシュにわける。ここでは、左側のメッシュをメッシュ５０１とし、右側のメッシュをメッシュ５０２とする。メッシュは、８×８の６４個の画素を含む。なおここでは、１メッシュは８×８個の画素を含むとして説明するが、メッシュ内の画素数は、８×８個に限定を示す記載ではなく、一例である。
　このメッシュ単位でフラグを生成する。フラグは、色毎に生成されるため、１メッシュあたり、Ｒ画素に関するフラグ、Ｇ画素に関するフラグ、およびＢ画素に関するフラグが生成される。図２０に示した例ではメッシュ５０１内のＲ画素に関するフラグは１、Ｇ画素に関するフラグは１、およびＢ画素に関するフラグは０と生成された例を示している。メッシュ５０２も同様のフラグが生成されている例を示している。
　まず画素毎にフラグが生成され、メッシュ内の全ての画素に対してフラグが生成されると、メッシュ内の色毎のフラグの平均値（多数決）が算出されることで、メッシュ毎にフラグが生成される。生成されたメッシュ毎のフラグは、図１７を参照して説明した画像データの読み出しタイミングに合わせて、メモリ内から読み出され、出力される。
　出力されるときには、メッシュ内のフラグ情報は、伸張して出力されるようにしても良い。この場合、メッシュ内のフラグ情報は、同色で全て同じとなる。
　仮に、画素毎にフラグを生成し、保持するとした場合、１画素あたり１ビットのメモリを必要とするため、図２０の左図に示したような８×１６個の画素に関するフラグを保持するためには、８×１６ビットの容量が必要となる。
　しかしながら、上記したように、８×８画素のメッシュ単位でフラグを生成し、保持するようにした場合、１メッシュあたり３ビットのメモリを必要とするため、図２０の右図に示したような２メッシュのフラグを保持するためには、３×２ビットの容量で良くなる。この場合、１２８（＝８×１６）ビットが６（＝３×２）ビットに削減されたことになる。
　このように、メッシュ単位でフラグを生成するようにすることで、フラグを生成してから長時間露光画像と短時間露光画像の読み出しまでのフラグを保持しておくためのメモリの容量を削減することが可能となる。
　さらにメモリの削減について説明を加える。上記したように、フラグ情報は、中間電位を越えた信号を、A/D変換して閾値判定することで生成される。撮像デバイスの画素を列並列でフラグ生成する場合、水平画素数分のA/D変換部と比較部が必要となる。
　露光中に動被写体による明るさ変化の影響を受けた画素の近傍の画素もまた、明るさ変化の影響を受けると考えられるため、フラグ情報を、ある程度間引くことで性能劣化を抑えつつA/D変換部と比較部の数を減らすことが可能である。
　例えば、図２１に示すように、間引きフラグ生成を行うようにする。図２１のＡ、図２１のＢは、カラムＮのフラグの生成について説明するための図であり、図２１のＣ、図２１のＤは、カラムＮ＋１のフラグの生成について説明するための図である。また、図２１のＡ、図２１のＣは、全画素でフラグを生成した場合について説明するための図であり、図２１のＢ、図２１のＤは、間引きフラグ方式でフラグを生成した場合について説明するための図である。
　図２１のＡを参照するに、全画素でフラグを生成する場合、カラムＮにおいて、１乃至１６列目に配置されている画素の全てに対して、A/D変換が施され、閾値判定が行われることで、フラグが生成される。
　図２１のＢを参照するに、間引き方式でフラグを生成する場合、カラムＮにおいて、１乃至１６列目に配置されている画素のうち、１，２，９，１０列目に配置されている画素に対して、A/D変換が施され、閾値判定が行われることで、フラグが生成される。
　このように、全画素を対照した場合、１６個の画素に対して、A/D変換を行うためのA/D変換部と、閾値判定を行うための比較部が必要となるが、間引きフラグ生成方式の場合、１６個の画素のうちの４個の画素に対して、A/D変換を行うためのA/D変換部と、閾値判定を行うための比較部比較部があれば良くなる。
　同様に、図２１のＣ、図２１のＤに示したように、カラムＮ＋１においても、間引きフラグ生成方式によれば、A/D変換部と比較部を削減することが可能となる。このように、間引いてフラグを生成することで、必要な回路規模を約1/4に削減することができる。
　さらに、カラムＮ，Ｎ＋１, ８Ｎ，８Ｎ＋１, … のように８カラム毎にフラグ生成することにより、フラグ情報を、カラム方向に１／８に削減することができる。この時、フラグ情報は、８×８のメッシュで４bitになる。特に、図２１に示したようなベイヤー配列（Bayer配列）におけるGr/Gb画素のフラグ情報をまとめて１bitとして扱うことで、図２０を参照して説明した場合と同じフラグ情報量（８×８のメッシュでＲＧＢ３bit）に抑えつつ、必要なA/D変換部と比較部を１/４に削減することが可能になる。
　なお、図２１を参照して説明した間引きの仕方は、１例であり、限定を示す記載ではない。例えば、カラムＮとカラムＮ＋１とでは、異なる列の画素からフラグが生成されるようにしても良い。例えば、図２１に示した例では、カラムＮとカラムＮ＋１の両方とも、１，２，９，１０列目に配置されている画素からフラグが生成される例を示したが、カラムＮの１，２，９，１０列目に配置されている画素からフラグが生成され、カラムＮ＋１の３，４，１１，１２列目に配置されている画素からフラグが生成されるといったように、カラム毎に異なる列からフラグが生成されるようにしても良い。
　本技術によれば、イメージセンサにより異なる露光時間で撮像した画像を合成して広ダイナミックレンジの画像を得るシステムにおいて、偽色やノイズ発生を抑制することが可能となる。また、偽色やノイズ発生の原因となる動被写体検出に必要な画像情報量を適切に削減して保持することで、必要なメモリ量を削減することが可能になる。
　本技術によれば、露光中の中間状態をフラグとして保持するため、必要なメモリ容量は画像データのビット精度や露光比によらない。よって、必要な画像データのビット精度や露光比が大きいほど、本技術を適用することによって得られるメモリコストの低減効果は大きくなる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３は、バス６０４により相互に接続されている。バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
　入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ＲＯＭ６０２や記憶部６０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜撮像装置の使用例＞
　図２３は、上述の撮像素子や撮像素子を含む電子機器を使用する使用例を示す図である。
　上述した撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、
　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、
　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、
　前記判定部による判定結果に基づいて、前記出力画像を補正する補正部と
　を備える撮像装置。
（２）
　前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグである
　前記（１）に記載の撮像装置。
（３）
　前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグである
　前記（１）に記載の撮像装置。
（４）
　前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成する
　前記（１）に記載の撮像装置。
（５）
　前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成する
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定する
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定する
　前記（６）に記載の撮像装置。
（８）
　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
　前記（６）に記載の撮像装置。
（９）
　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
　前記（６）または（８）に記載の撮像装置。
（１０）
　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定する
　前記（６）に記載の撮像装置。
（１１）
　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定する
　前記（６）または（１０）に記載の撮像装置。
（１２）
　前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成する
　前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
　前記生成部は、１ライン内の所定の位置の画素において前記情報を生成する
　前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
　光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、
　前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、
　前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されている
　前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
　前記判定の結果に基づいて、前記出力画像を補正する
　ステップを含む撮像方法。
（１６）
　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
　前記判定の結果に基づいて、前記出力画像を補正する
　ステップを含む処理をコンピュータに実行させるためのプログラム。
　１００　撮像装置，１１１　光学部，　１１２　CMOSイメージセンサ，　１１３　A/D変換部，　１１４　操作部，　１１５　制御部，　１１６　画像処理部，　１１７　表示部，　１１８　コーデック処理部，　１１９　記録部，　２１１　画素アレイ部，　２１２，２１３Ａ，２１３Ｂ　行選択回路，　２１３　先行選択回路，　２１４　論理回路，　２１５　ドライバ回路，　２１６　コントローラユニット，　２１７　電圧供給回路，　２１８　カラム回路，　２１９　水平走査回路，　２２０　単位画素，　２２１　フォトダイオード，　２２２　転送トランジスタ，　２２３　リセットトランジスタ，　２２４　増幅トランジスタ，　２２５　選択トランジスタ，　２２６　ＦＤ部，　３０１　撮像デバイス，　３０２　生成部，　３０３　画像合成部，　３０４　動被写体検出情報生成部

Claims (16)

  1. 　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成する画像合成部と、
    　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成する生成部と、
    　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定する判定部と、
    　前記判定部による判定結果に基づいて、前記出力画像を補正する補正部と
    　を備える撮像装置。
  2. 　前記生成部で生成される前記情報は、明るい状態であるか否かを表すフラグである
    　請求項１に記載の撮像装置。
  3. 　前記生成部で生成される前記情報は、光電変換素子の飽和レベル中間の電位を超える電荷量が、前記光電変換素子に蓄積されていたか否かを表すフラグである
    　請求項１に記載の撮像装置。
  4. 　前記生成部は、前記長時間露光時間中の所定の時点で、光電変換素子に蓄積されている電荷量をA/D変換し、A/D変換後の信号値が、所定の閾値より大きいか否かを判定することで、前記情報を生成する
    　請求項１に記載の撮像装置。
  5. 　前記生成部は、前記長時間露光期間中の複数の所定の時点で、前記情報を生成する
    　請求項１に記載の撮像装置。
  6. 　前記判定部は、前記合成処理において、前記長時間露光画像を主に合成する第１の領域、前記長時間露光画像と前記短時間露光画像の和を主に用いる第２の領域、前記短時間露光画像を主に合成する第３の領域、および前記第２の領域と前記第３の領域の中間に属する第４の領域のうちの、どの領域に属するかを判定する
    　請求項１に記載の撮像装置。
  7. 　前記判定部は、前記第１乃至第４の領域のうちの、どの領域に属するかの判定結果と前記情報との組み合わせにより、前記アーチファクトが発生するか否かを判定する
    　請求項６に記載の撮像装置。
  8. 　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
    　請求項６に記載の撮像装置。
  9. 　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、前記アーチファクトが発生する状態であると判定する
    　請求項６に記載の撮像装置。
  10. 　前記判定部は、前記明るさの状態を表す情報が、暗い状態であるとの情報であり、前記第３の領域または前記第４の領域に属すると判定した場合、暗い状態から明るい状態に変化したために発生するアーチファクトが発生する状態であると判定する
    　請求項６に記載の撮像装置。
  11. 　前記判定部は、前記明るさの状態を表す情報が、明るい状態であるとの情報であり、前記第１の領域または前記第２の領域に属すると判定した場合、明るい状態から暗い状態に変化したために発生するアーチファクトが発生する状態であると判定する
    　請求項６に記載の撮像装置。
  12. 　前記生成部は、所定数の画素を１単位とし、前記単位毎に前記情報を生成し、前記１単位に含まれる色毎に前記情報を生成する
    　請求項１に記載の撮像装置。
  13. 　前記生成部は、１ライン内の所定の位置の画素において前記情報を生成する
    　請求項１に記載の撮像装置。
  14. 　光電変換素子と、前記光電変換素子からの信号を処理する回路部とから構成され、
    　前記回路部は、前記画像合成部、前記生成部、前記判定部、前記補正部のうち少なくとも１つを含み、
    　前記光電変換素子が配置された基板と前記回路部が配置された基板は積層されている
    　請求項１に記載の撮像装置。
  15. 　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
    　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
    　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
    　前記判定の結果に基づいて、前記出力画像を補正する
    　ステップを含む撮像方法。
  16. 　長時間露光画像と短時間露光画像の合成処理を実行して出力画像を生成し、
    　長時間露光時間中の所定の時点における明るさの状態を表す情報を生成し、
    　前記長時間露光画像、前記短時間露光画像、および前記情報から、アーチファクトが発生する可能性があるか否かを判定し、
    　前記判定の結果に基づいて、前記出力画像を補正する
    　ステップを含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2016/066347 2015-06-15 2016-06-02 撮像装置、撮像方法、並びにプログラム Ceased WO2016203966A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015120315A JP2017005612A (ja) 2015-06-15 2015-06-15 撮像装置、撮像方法、並びにプログラム
JP2015-120315 2015-06-15

Publications (1)

Publication Number Publication Date
WO2016203966A1 true WO2016203966A1 (ja) 2016-12-22

Family

ID=57545199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066347 Ceased WO2016203966A1 (ja) 2015-06-15 2016-06-02 撮像装置、撮像方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2017005612A (ja)
WO (1) WO2016203966A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119359570A (zh) * 2024-12-24 2025-01-24 捷仪科技(北京)有限公司 一种菌落图像增强方法、装置、存储介质及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020009A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
JP7686438B2 (ja) * 2020-05-07 2025-06-02 キヤノン株式会社 撮像素子、撮像装置、監視装置、および撮像素子の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
JP2015041984A (ja) * 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
JP2015041984A (ja) * 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119359570A (zh) * 2024-12-24 2025-01-24 捷仪科技(北京)有限公司 一种菌落图像增强方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP2017005612A (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
JP4862473B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US10110827B2 (en) Imaging apparatus, signal processing method, and program
JP4973115B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
CN101998066B (zh) 固体摄像装置、其驱动方法以及电子设备
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP5085140B2 (ja) 固体撮像装置
JP4325703B2 (ja) 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
JP5223953B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US11075234B2 (en) Multiplexed exposure sensor for HDR imaging
KR101939402B1 (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
WO2017169885A1 (ja) 撮像装置、駆動方法、および、電子機器
JPWO2015012121A1 (ja) 撮像素子、撮像方法、並びにプログラム
JP2014175734A (ja) 撮像装置及びその制御方法
JP2011244309A (ja) 画像処理装置、画像処理方法及びプログラム
JP2004282552A (ja) 固体撮像素子および固体撮像装置
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
JP2016192707A (ja) 撮像素子、撮像方法、並びにプログラム
JP2006014117A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2016208402A (ja) 固体撮像素子およびその駆動方法、並びに電子機器
JP5168319B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP2011244351A (ja) 撮像装置及び固体撮像素子の駆動制御方法
JP4916095B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP6733159B2 (ja) 撮像素子、及び撮像装置
US10924693B2 (en) Image sensor and image capturing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16811441

Country of ref document: EP

Kind code of ref document: A1