[go: up one dir, main page]

WO2020170565A1 - 信号処理方法および撮像装置 - Google Patents

信号処理方法および撮像装置 Download PDF

Info

Publication number
WO2020170565A1
WO2020170565A1 PCT/JP2019/048497 JP2019048497W WO2020170565A1 WO 2020170565 A1 WO2020170565 A1 WO 2020170565A1 JP 2019048497 W JP2019048497 W JP 2019048497W WO 2020170565 A1 WO2020170565 A1 WO 2020170565A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
pixel group
data
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/048497
Other languages
English (en)
French (fr)
Inventor
拓磨 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021501600A priority Critical patent/JP7520804B2/ja
Priority to US17/429,765 priority patent/US11778333B2/en
Priority to EP19916223.1A priority patent/EP3930310B1/en
Priority to KR1020217025404A priority patent/KR102838760B1/ko
Priority to CN202211396691.2A priority patent/CN115767292A/zh
Priority to CN201980088889.4A priority patent/CN113316929B/zh
Publication of WO2020170565A1 publication Critical patent/WO2020170565A1/ja
Anticipated expiration legal-status Critical
Priority to US18/453,433 priority patent/US12167144B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to a signal processing method and an imaging device.
  • An imaging device that generates an HDR (High Dynamic Range) image having a wider dynamic range than an image obtained by proper exposure is known (for example, see Patent Document 1).
  • the imaging device includes a plurality of pixels each including a photoelectric conversion element and arranged in a matrix on the light receiving surface, and one pixel for each of the plurality of pixels in the plurality of pixels. It is provided with a plurality of light receiving lenses and a control unit that controls the exposure time of a plurality of pixels.
  • the control unit sets the exposure times of at least two pixels of the plurality of pixels corresponding to the light receiving lenses to be the same, and the exposure times of at least two pixels of the plurality of pixels corresponding to the light receiving lenses to each other.
  • the exposure time of a plurality of pixels is controlled to be different.
  • the imaging device which is the first aspect of the present disclosure
  • at least two pixels of the plurality of pixels corresponding to the light receiving lenses have the same exposure time, and at least the plurality of pixels corresponding to the respective light receiving lenses are at least exposed.
  • the exposure times of the plurality of pixels are controlled so that the exposure times of the two pixels are different from each other.
  • the phase difference data is generated for each exposure time, and the phase difference data having different exposure times and the plurality of image data having different exposure times are generated.
  • HDR High Dynamic Range
  • a plurality of pixels each including a photoelectric conversion element and arranged in a matrix on the light receiving surface, and one pixel for each of the plurality of pixels in the plurality of pixels are provided.
  • a method for processing a signal in an image pickup apparatus including a plurality of light receiving lenses including the following two. (1) Of the plurality of pixels corresponding to each light receiving lens, at least two pixels have the same exposure time, and at least two pixels of the plurality of pixels corresponding to each light receiving lens have different exposure times. As described above, the exposure time of a plurality of pixels is controlled (2) Phase difference data is generated for each exposure time from the image data obtained by the control of the exposure time, Generating an HDR image from multiple image data with different exposure times
  • the signal processing method according to the second aspect of the present disclosure, among the plurality of pixels corresponding to the light receiving lens, at least two pixels have the same exposure time, and among the plurality of pixels corresponding to each light receiving lens, The exposure times of the plurality of pixels are controlled so that the exposure times of at least two pixels are different from each other.
  • the phase difference data is generated for each exposure time from the image data obtained by the exposure control, and the HDR image is generated from the plurality of phase difference data having different exposure times and the plurality of image data having different exposure times. can do.
  • FIG. 3 is a diagram illustrating an example of an HDR image generation procedure in the image pickup apparatus in FIG. 1. It is a figure showing an example of the imaging procedure in the imaging device of FIG. FIG.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 13 is a diagram illustrating an example of a wiring layout of the pixel array section in FIG. 12. It is a figure showing an example of the direction of the phase difference detectable in the pixel array part of FIG.
  • FIG. 13 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 12.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 17 is a diagram illustrating an example of an HDR image generation procedure in an image pickup apparatus including the pixel array unit in FIG. 16.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 19 is a diagram illustrating an example of a procedure of generating an HDR image in an imaging device including the pixel array unit of FIG. 18.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 21 is a diagram illustrating an example of an HDR image generation procedure in an image pickup apparatus including the pixel array unit of FIG. 20.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 23 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 22.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2. It is a figure showing an example of the wiring layout of the pixel array part of FIG. It is a figure showing an example of the direction of the phase difference which can be detected by the pixel array part of FIG.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 28 is a diagram illustrating an example of a wiring layout of the pixel array unit in FIG. 27.
  • FIG. 29 is a diagram illustrating an example of a procedure of generating an HDR image in an imaging device including the pixel array unit of FIGS.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2. It is a figure showing an example of the wiring layout of the pixel array part of FIG. It is a figure showing an example of the direction of the phase difference detectable by the pixel array part of FIG.
  • FIG. 31 is a diagram illustrating an example of a procedure of generating an HDR image in an imaging device including the pixel array unit of FIG. 30.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 35 is a diagram illustrating an example of a wiring layout of the pixel array unit in FIG. 34.
  • FIG. 35 is a diagram illustrating an example of directions of phase differences that can be detected by the pixel array unit in FIG. 34.
  • FIG. 35 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 34.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 39 is a diagram illustrating an example of a wiring layout of the pixel array unit in FIG. 38.
  • FIG. 39 is a diagram illustrating an example of directions of phase differences that can be detected by the pixel array unit in FIG. 38.
  • FIG. 39 is a diagram illustrating an example of directions of phase differences that can be detected by the pixel array unit in FIG. 38.
  • FIG. 39 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 38.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 43 is a diagram illustrating an example of a wiring layout of the pixel array unit in FIG. 42.
  • FIG. 43 is a diagram illustrating an example of directions of phase differences that can be detected by the pixel array unit in FIG. 42.
  • FIG. 43 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 42.
  • FIG. 9 is a diagram illustrating a modified example of the configuration of the pixel array unit in FIG. 2.
  • FIG. 47 is a diagram illustrating an example of a wiring layout of the pixel array unit in FIG. 46.
  • FIG. 47 is a diagram illustrating an example of directions of phase differences that can be detected by the pixel array unit in FIG. 46.
  • FIG. 47 is a diagram illustrating an example of an HDR image generation procedure in an imaging device including the pixel array unit in FIG. 46.
  • It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part. It is a figure which shows an example of a schematic structure of an endoscopic surgery system. It is a block diagram showing an example of functional composition of a camera head and CCU.
  • Embodiment imaging device... FIGS. 1 to 9
  • Modification imaging device... FIGS. 10 to 49
  • Example of application Example of application to mobile unit... Figs. 50 and 51
  • FIG. 1 illustrates an example of a schematic configuration of the image pickup apparatus 1.
  • the imaging device 1 is an electronic device such as a digital still camera, a video camera, a smart phone, or a tablet terminal.
  • the image pickup apparatus 1 includes an image pickup device 10, a calculation unit 20, a frame memory 30, a display unit 40, a storage unit 50, an operation unit 60, a power supply unit 70, and an optical system 80.
  • the image sensor 10, the calculation unit 20, the frame memory 30, the display unit 40, the storage unit 50, the operation unit 60, and the power supply unit 70 are connected to each other via a bus line L.
  • the optical system 80 is configured to have one or more lenses, guides light (incident light) from a subject to the image sensor 10, and forms an image on the light receiving surface of the image sensor 10.
  • the image sensor 10 outputs a pixel signal (image data) corresponding to the light imaged on the light receiving surface via the optical system 80.
  • the image sensor 10 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the internal configuration of the image sensor 10 will be described in detail later.
  • the arithmetic unit 20 is a signal processing circuit that processes pixel signals (image data) output from the image sensor 10.
  • the calculation unit 20 generates an HDR image based on the pixel signal (image data). The signal processing procedure in the arithmetic unit 20 will be described in detail later.
  • the frame memory 30 temporarily holds image data (for example, HDR image data) obtained by signal processing by the arithmetic unit 20 in units of frames.
  • the display unit 40 includes, for example, a panel-type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays a moving image or a still image captured by the image sensor 10.
  • the storage unit 50 records image data of a moving image or a still image captured by the image sensor 10 in a recording medium such as a semiconductor memory or a hard disk.
  • the operation unit 60 issues operation commands for various functions of the image pickup apparatus 1 in accordance with an operation by the user.
  • the operation unit 60 drives the image pickup device 10 by outputting a drive signal for controlling the transfer operation of the image pickup device 10 in accordance with an image pickup instruction from the user, for example.
  • the power supply unit 70 appropriately supplies various power supplies serving as operating power supplies of the image sensor 10, the arithmetic unit 20, the frame memory 30, the display unit 40, the storage unit 50, and the operation unit 60 to these supply targets.
  • FIG. 2 illustrates an example of a schematic configuration of the image sensor 10.
  • the image sensor 10 includes a pixel array unit 110 in which a plurality of sensor pixels 111 including photoelectric conversion elements are two-dimensionally arranged in a matrix (matrix).
  • the sensor pixel 111 includes, for example, as shown in FIG. 3, a pixel circuit 112 that performs photoelectric conversion and a readout circuit 113 that outputs a pixel signal based on the charges output from the pixel circuit 112.
  • the pixel circuit 112 includes, for example, a photodiode PD, a transfer transistor TR electrically connected to the photodiode PD, and a floating diffusion FD that temporarily holds charges output from the photodiode PD via the transfer transistor TR. And have.
  • the photodiode PD performs photoelectric conversion to generate electric charges according to the amount of received light.
  • the cathode of the photodiode PD is connected to the source of the transfer transistor TR, and the anode of the photodiode PD is connected to a reference potential line (eg ground).
  • the drain of the transfer transistor TR is connected to the floating diffusion FD, and the gate of the transfer transistor TR is connected to the pixel drive line ctl1.
  • each pixel circuit 112 the floating diffusion FD is connected to the input terminal of the corresponding readout circuit 113.
  • the read circuit 113 has, for example, a reset transistor RST, a selection transistor SEL, and an amplification transistor AMP.
  • the source of the reset transistor RST (the input end of the read circuit 113) is connected to the floating diffusion FD, and the drain of the reset transistor RST is connected to the power supply line VDD and the drain of the amplification transistor AMP.
  • the gate of the reset transistor RST is connected to the pixel drive line ctl2.
  • the source of the amplification transistor AMP is connected to the drain of the selection transistor SEL, and the gate of the amplification transistor AMP is connected to the source of the reset transistor RST.
  • the source of the selection transistor SEL (the output terminal of the read circuit 113) is connected to the vertical signal line vsl, and the gate of the selection transistor SEL is connected to the pixel drive line ctl3.
  • the transfer transistor TR transfers the charge of the photodiode PD to the floating diffusion FD when the transfer transistor TR is turned on.
  • the reset transistor RST resets the potential of the floating diffusion FD to a predetermined potential.
  • the selection transistor SEL controls the output timing of the pixel signal from the reading circuit 113.
  • the amplification transistor AMP generates, as a pixel signal, a signal having a voltage corresponding to the level of the charge held in the floating diffusion FD. That is, the amplification transistor AMP generates, as a pixel signal, a signal having a voltage according to the amount of light received by the sensor pixel 111.
  • the amplification transistor AMP constitutes a source follower type amplifier, and outputs a pixel signal having a voltage corresponding to the level of the charge generated in the photodiode PD.
  • the selection transistor SEL is turned on, the amplification transistor AMP amplifies the potential of the floating diffusion FD and outputs a voltage corresponding to the potential to the column signal processing circuit 122 (described later) via the vertical signal line vsl. ..
  • the selection transistor SEL may be provided between the power supply line VDD and the amplification transistor AMP.
  • the drain of the reset transistor RST is connected to the power line VDD and the drain of the selection transistor SEL.
  • the source of the selection transistor SEL is connected to the drain of the amplification transistor AMP, and the gate of the selection transistor SEL is connected to the pixel drive line ctl3.
  • the source of the amplification transistor AMP (the output terminal of the read circuit 113) is connected to the vertical signal line vsl, and the gate of the amplification transistor AMP is connected to the source of the reset transistor RST.
  • the image sensor 10 further includes a logic circuit 120 that processes pixel signals.
  • the logic circuit 120 has, for example, a vertical drive circuit 121, a column signal processing circuit 122, a horizontal drive circuit 123, and a system control circuit 124.
  • the logic circuit 120 outputs a digital value for each sensor pixel 111 to the outside.
  • the system control circuit 124 Based on the master clock, the system control circuit 124 generates a clock signal, a control signal, or the like that serves as a reference for operations of the vertical drive circuit 121, the column signal processing circuit 122, the horizontal drive circuit 123, etc., and the vertical drive circuit 121, the column It is given to the signal processing circuit 122, the horizontal drive circuit 123, and the like.
  • the vertical drive circuit 121 is configured by, for example, a shift register, and a plurality of pixel drive lines ctl (for example, ctl1, ctl2, ctl3, ctlM (described later), ctlL (described later), ctlS (described later))
  • the row scanning of the sensor pixel 111 is controlled.
  • the column signal processing circuit 122 performs correlated double sampling (CDS) processing on the pixel signal output from each sensor pixel 111 in the row selected by the vertical drive circuit 121.
  • the column signal processing circuit 122 extracts the signal level of the pixel signal by performing CDS processing, for example, and holds pixel data according to the amount of light received by each sensor pixel 111.
  • the column signal processing circuit 122 has, for example, a plurality of ADCs (analog-digital conversion circuits) provided one for each vertical signal line vsl.
  • the ADC converts, for example, an analog pixel signal output from each sensor pixel 111 for each column into a digital signal and outputs the digital signal.
  • the ADC converts the potential (analog signal) of the vertical signal line vsl into a digital signal by changing the ramp waveform voltage (ramp voltage) and the counter value in a one-to-one correspondence, for example.
  • the ADC converts, for example, a change in lamp voltage into a change in time, and converts the time into a digital value by counting the time in a certain cycle (clock).
  • the horizontal drive circuit 123 is composed of a shift register or the like, and controls the column address and column scan of the ADC in the column signal processing circuit 122. Under the control of the horizontal drive circuit 123, the N-bit digital signal AD-converted by each of the ADCs is sequentially read out to the horizontal output line and output as imaging data via the horizontal output line.
  • FIG. 4 shows a configuration example of the pixel array unit 110.
  • the pixel array section 110 has a plurality of color filters CF and a plurality of light receiving lenses OCL on the light receiving surface 110A.
  • the plurality of color filters CF are provided one for each of the sensor pixels 111 (photodiodes PD) of 2 rows ⁇ 2 columns (that is, four).
  • the plurality of light receiving lenses OCL are provided one for each color filter CF. That is, the plurality of light receiving lenses OCL are also provided for each of the sensor pixels 111 of 2 rows ⁇ 2 columns (that is, four).
  • the light incident on each light receiving lens OCL is condensed by the light receiving lens OCL, passes through the corresponding color filter CF, and then enters the corresponding sensor pixel 111 of 2 rows ⁇ 2 columns.
  • the sensor pixels 111 of 2 rows ⁇ 2 columns corresponding to the light receiving lens OCL are referred to as a monochrome sensor pixel group P1.
  • the plurality of color filters CF include a plurality of color filters CFr that transmits light in a red wavelength range, a plurality of color filters CFg that transmit light in a green wavelength range, and a plurality of color filters that transmit light in a blue wavelength range. It is composed of a color filter CFb.
  • the plurality of color filters CF have a Bayer array on the light receiving surface. Since the plurality of color filters CF are arranged in the Bayer array on the light receiving surface, the phase difference data can be periodically acquired in the row direction and the column direction.
  • the color filter CFr, the color filter CFg, and the color filter CFb are arranged on the light receiving surface 110A at a ratio of 1:2:1.
  • the 2-row ⁇ 2-column monochromatic sensor pixel group P1 in the Bayer array is referred to as a 3-color sensor pixel group P2.
  • each sensor pixel 111 (photodiode PD) is controlled by the system control circuit 124.
  • FIG. 4 shows an example of the exposure time of each sensor pixel 111 when controlled by the system control circuit 124.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) is set to “Middle” and the remaining two sensor pixels 111 (photodiodes PD) are One exposure time is set to "Short", and the remaining one exposure time is set to "Long”.
  • the monochromatic sensor pixel group P1 includes three types of sensor pixels 111 (photodiodes PD) having different exposure times, and further includes two sensor pixels 111 (photodiodes PD) having the same exposure times. ..
  • the system control circuit 124 causes the exposure times of the three sensor pixels 111 (photodiodes PD) of the single-color sensor pixel group P1 to be different from each other and the exposure times of the two sensor pixels 111 (photodiode PD) to be mutually different.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group P1 the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the upward-sloping direction is set to “Middle” as shown in FIG. That is, in each monochromatic sensor pixel group P1, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the upward-sloping direction are set to be equal to each other. Further, in each monochromatic sensor pixel group P1, the exposure time of the lower right sensor pixel 111 (photodiode PD) is set to "Short” as shown in FIG. Further, in each monochromatic sensor pixel group P1, the exposure time of the upper left sensor pixel 111 (photodiode PD) is set to "long” as shown in FIG.
  • the pixel drive line ctlM is connected to the sensor pixel 111 whose exposure time is set to “Middle”. That is, of the two pixel drive lines ctlM assigned to the monochrome sensor pixel group P1, one pixel drive line ctlM is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group P1 and the other pixel drive line ctlM. Is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group P1. A pixel drive line ctlS is connected to each sensor pixel 111 whose exposure time is set to “short”.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlL is connected to the sensor pixel 111 whose exposure time is set to “long”. That is, the pixel drive line ctlL is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group P1. Further, the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at locations corresponding to the lower stages of the respective monochrome sensor pixel groups P1.
  • the system control circuit 124 outputs a control signal to the pixel drive line ctlM so that the exposure time is “Middle”, so that the exposure time of each sensor pixel 111 connected to the pixel drive line ctlM. Control to “Middle”.
  • the system control circuit 124 outputs a control signal to the pixel drive line ctlS so that the exposure time is “short”, whereby the exposure time of each sensor pixel 111 connected to the pixel drive line ctlS. Is controlled to be “Short”.
  • the system control circuit 124 outputs a control signal to the pixel drive line ctlL so that the exposure time becomes “long”, so that the exposure time of each sensor pixel 111 connected to the pixel drive line ctlL. Is controlled to “Long”. In this way, the system control circuit 124 controls the exposure time for each sensor pixel 111.
  • the image sensor 10 outputs the image data Ia obtained under such control.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 includes two sensor pixels whose exposure time is set to “Middle”. Two pixel data Sig1 corresponding to 111, one pixel data Sig2 corresponding to the sensor pixel 111 whose exposure time is set to “Short”, and an exposure time set to “Long”
  • One pixel data Sig3 corresponding to the sensor pixel 111 is included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each single color sensor pixel group P1 includes two pixel data Sig1 having the same exposure time. .. Further, in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 among the pixel data Sig of X rows ⁇ Y columns, the difference between two pixel data Sig1 having the same exposure time is obtained. It is possible to obtain a phase difference in the upward rising direction on the light receiving surface 110A. From the above, it can be seen that the pixel array section 110 is configured to obtain phase difference data in one direction (in the direction of rising to the right) from each monochromatic sensor pixel group P1.
  • each monochromatic sensor pixel group P1 the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the downward-sloping direction is set to “Middle” as shown in FIG. May be. That is, in each monochromatic sensor pixel group P1, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the downward-sloping direction may be set to be equal to each other.
  • the pixel drive line ctlM is connected to the sensor pixel 111 whose exposure time is set to “Middle”. That is, of the two pixel drive lines ctlM assigned to the monochrome sensor pixel group P1, one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group P1 and the other pixel drive line ctlM. Is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group P1. A pixel drive line ctlS is connected to each sensor pixel 111 whose exposure time is set to “short”.
  • the pixel drive line ctlS is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlL is connected to the sensor pixel 111 whose exposure time is set to “long”. That is, the pixel drive line ctlL is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group P1.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlL at a position corresponding to the upper stage of each monochrome sensor pixel group P1. Further, the pixel array section 110 has a pixel drive line ctlS and a pixel drive line ctlM at a position corresponding to the lower stage of each monochrome sensor pixel group P1.
  • the difference between two pixel data Sig1 having the same exposure time is calculated.
  • the pixel array unit 110 is configured to obtain the phase difference data in one direction (downward to the right) from each monochrome sensor pixel group P1.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the left-right direction may be set to “Middle” as shown in FIG. .. That is, in each monochromatic sensor pixel group P1, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the left-right direction may be set to be equal to each other.
  • the exposure time of the upper two sensor pixels 111 (photodiodes PD) is set to “Middle”, and the lower two sensor pixels 111 (photodiode PD) are set. 2), one of the exposure times is set to “Short” and the other exposure time is set to “Long”.
  • the pixel drive line ctlM is connected to the sensor pixel 111 whose exposure time is set to “Middle”. That is, of the two pixel drive lines ctlM assigned to the monochrome sensor pixel group P1, one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group P1 and the other pixel drive line ctlM. Is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group P1. A pixel drive line ctlS is connected to each sensor pixel 111 whose exposure time is set to “short”.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlL is connected to the sensor pixel 111 whose exposure time is set to “long”. That is, the pixel drive line ctlL is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel array section 110 has two pixel drive lines ctlM at locations corresponding to the upper stages of the respective monochrome sensor pixel groups P1.
  • the pixel array unit 110 has a pixel drive line ctlL and a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group P1.
  • the difference between two pixel data Sig1 having the same exposure time is calculated.
  • the pixel array unit 110 is configured to obtain phase difference data in one direction (left-right direction) from each monochrome sensor pixel group P1.
  • the exposure time of the two lower sensor pixels 111 may be set to “Middle”.
  • the exposure time of one of the upper two sensor pixels 111 is set to “Short” and the exposure time of the other is “Long”. Is set to.
  • the pixel array section 110 has two pixel drive lines ctlM at locations corresponding to the lower tiers of each monochrome sensor pixel group P1. Further, the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlS at a position corresponding to the upper stage of each monochrome sensor pixel group P1.
  • the difference between two pixel data Sig1 having the same exposure time is calculated.
  • the pixel array unit 110 is configured to obtain phase difference data in one direction (left-right direction) from each monochrome sensor pixel group P1.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the vertical direction may be set to “Middle” as shown in FIG. .. That is, in each monochromatic sensor pixel group P1, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the vertical direction may be set equal to each other.
  • the exposure time of the two photodiodes PD on the left side is set to “Middle”, and one of the two sensor pixels 111 (photodiode PD) on the right side is exposed.
  • An example is shown in which the time is set to “Short” and the other exposure time is set to “Long”.
  • each monochromatic sensor pixel group P1 the upper exposure time of the two right sensor pixels 111 (photodiodes PD) is set to “Long” and the lower exposure time is set to “Short”.
  • the two pixel drive lines ctlM assigned to the monochrome sensor pixel group P1 one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group P1 and the other pixel drive line ctlM.
  • ctlM is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlL is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group P1.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlL at a position corresponding to the upper stage of each monochrome sensor pixel group P1. Further, the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at locations corresponding to the lower stages of the respective monochrome sensor pixel groups P1.
  • the upper exposure time of the two sensor pixels 111 (photodiodes PD) on the right side is set to “Short”, and the lower exposure time is “Long”. Is set to.
  • one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group P1 and the other pixel drive line ctlM.
  • ctlM is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel drive line ctlS is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group P1.
  • the pixel drive line ctlL is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group P1.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at a position corresponding to the upper stage of each monochrome sensor pixel group P1, and a pixel drive line is provided at a position corresponding to the lower stage of each monochrome sensor pixel group P1. It has a ctlM and a pixel drive line ctlL.
  • the difference between two pixel data Sig1 having the same exposure time is calculated.
  • the pixel array section 110 is configured to obtain phase difference data in one direction (vertical direction) from each monochromatic sensor pixel group P1.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) on the right side may be set to “Middle”.
  • the exposure time of one of the left two sensor pixels 111 (photodiodes PD) is set to “Short” and the exposure time of the other is “Long”. Is set to.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 among the pixel data Sig of X rows ⁇ Y columns the difference between two pixel data Sig1 having the same exposure time is calculated.
  • the pixel array section 110 is configured to obtain phase difference data in one direction (vertical direction) from each single color sensor pixel group P1.
  • FIG. 8 shows an example of a signal processing procedure in the arithmetic circuit 20.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S101). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd1 based on the image data Im (step S102). Specifically, the arithmetic circuit 20 derives the difference value of the two pixel data Sig1 corresponding to each single color sensor pixel group P1 in the image data Im, and generates the phase difference data Pd1 from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd2 based on the image data Il and Im (step S102). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”.
  • the difference value from the data Im′ is derived, and the phase difference data Pd2 is generated from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd3 based on the image data Im and Is (step S102). Specifically, the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”. The difference value is derived, and the phase difference data Pd3 is generated from the derived difference value.
  • the arithmetic circuit 20 converts the phase difference data Pd1 into the level data Da regarding the phase difference (step S103).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, a numerical value below a predetermined range in the phase difference data Pd1 into a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd1 into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20, for example, in the phase difference data Pd1 converts a numerical value within a predetermined range into a value within a range of 1 bit to 127 bits according to the size of the numerical value.
  • the arithmetic circuit 20 converts the phase difference data Pd2 and Pd3 into level data Db for the moving body (step S104).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data of the image sensor 10 (noise data) and the phase difference data Pd2 and Pd3.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S105). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S106). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S107). In this way, the HDR image data Ib is generated.
  • FIG. 9 shows an example of a flowchart of the image pickup operation in the image pickup apparatus 1.
  • the user operates the operation unit 60 to instruct the imaging device 1 to start imaging (step S201). Then, the operation unit 60 transmits an image pickup command to the image pickup element 10 (step S202).
  • the image pickup device 10 (specifically, the system control circuit 124) receives the image pickup command, the image pickup device 10 executes image pickup by a predetermined image pickup method (step S203).
  • the system control circuit 124 performs exposure control for each sensor pixel 111 connected to the pixel drive line ctlM so that the exposure time is “Middle”. For example, the system control circuit 124 further performs exposure control for each sensor pixel 111 connected to the pixel drive line ctlS so that the exposure time becomes “short”. For example, the system control circuit 124 further performs exposure control on each sensor pixel 111 connected to the pixel drive line ctlL so that the exposure time becomes “long”. In this way, the system control circuit 124 controls the exposure time for each sensor pixel 111.
  • the image sensor 10 outputs the image data Ia having the number of pixels of X rows and Y columns, which is obtained under such control, to the arithmetic circuit 20.
  • the arithmetic circuit 20 performs predetermined signal processing (for example, generation of HDR image data Ib) based on the image data Ia input from the image sensor 10 (step S204).
  • the arithmetic circuit 20 holds the image data (for example, HDR image data Ib) obtained by predetermined signal processing in the frame memory 30, and the frame memory 30 stores the held image data (for example, HDR image data Ib) in the storage unit 50. (Step S205). In this way, the image pickup by the image pickup apparatus 1 is performed.
  • the image sensor 10 is configured so as to obtain phase difference data in one direction (upward rightward direction, downward rightward direction, left-right direction, or up-down direction). Thereby, the presence/absence of a phase difference and the presence/absence of a moving object can be determined in one direction.
  • the pixel array section 110 is configured to obtain phase difference data in one direction from each monochromatic sensor pixel group P1.
  • the pixel array section 110 may be configured to obtain phase difference data in two directions from each of the three-color sensor pixel groups P2.
  • FIG. 10 shows a configuration example of the pixel array section 110 according to this modification.
  • the pixel array unit 110 is configured to obtain phase difference data in the upward-rightward and downward-rightward directions from each of the three-color sensor pixel groups P2.
  • the single-color sensor pixel group P1 corresponding to the color filters CFr and CFb has the same configuration as the single-color sensor pixel group P1 according to the above embodiment.
  • the single-color sensor pixel group P1 (hereinafter, referred to as “single-color sensor pixel group Pa”) corresponding to one color filter CFg is also the single-color sensor pixel group P1 according to the above-described embodiment. It has the same configuration.
  • the single-color sensor pixel group P1 (hereinafter, referred to as “single-color sensor pixel group Pb”) corresponding to the other color filter CFg is the single-color sensor pixel group according to the above-described embodiment. It has a different configuration from P1
  • each monochromatic sensor pixel group Pa the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the direction of rising to the right is “Middle” as shown in FIG. Is set to. That is, in each monochromatic sensor pixel group Pa, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the upward-sloping direction are set to be equal to each other. Further, in each monochromatic sensor pixel group Pa, the exposure time of the sensor pixel 111 (photodiode PD) at the lower right is set to "Short” as shown in FIG. In each monochrome sensor pixel group Pa, the exposure time of the upper left sensor pixel 111 (photodiode PD) is set to "long" as shown in FIG.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the downward-sloping direction is “Middle” as shown in FIG. Is set to. That is, in each monochromatic sensor pixel group Pb, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the downward-sloping direction are set to be equal to each other. In each monochrome sensor pixel group Pb, the exposure time of the lower left sensor pixel 111 (photodiode PD) is set to "Short" as shown in FIG.
  • each monochromatic sensor pixel group Pb the exposure time of the sensor pixel 111 (photodiode PD) on the upper right is set to "long" as shown in FIG.
  • the system control circuit 124 makes the exposure times of the three sensor pixels 111 (photodiodes PD) of each monochrome sensor pixel group Pb different from each other and the exposure times of the two sensor pixels 111 (photodiode PD).
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that they are the same.
  • one pixel drive line ctlM is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pa, and the other pixel drive line ctlM is It is connected to the lower left sensor pixel 111 of the single color sensor pixel group Pa.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pa.
  • the pixel drive line ctlL is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group Pa.
  • one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the single color sensor pixel group Pb, and the other pixel drive line ctlM is It is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pb.
  • the pixel drive line ctlS is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group Pb.
  • the pixel drive line ctlL is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pb.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group P1. Further, the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at locations corresponding to the lower stages of the respective monochrome sensor pixel groups P1. As a result, it is possible to discriminate the presence/absence of a phase difference and the presence/absence of a moving body in two directions (a direction in which the shoulder rises upward and a direction in which the shoulder falls downward).
  • the single-color sensor pixel group Pa may be arranged in the upper right and the single-color sensor pixel group Pb may be arranged in the lower left. Further, in each of the three-color sensor pixel groups P2, the single-color sensor pixel group Pa may be arranged at the lower left and the single-color sensor pixel group Pb may be arranged at the upper right. Further, the plurality of single color sensor pixel groups Pa and the plurality of single color sensor pixel groups Pb may be alternately arranged in two directions within the light-receiving surface 110A (in the upward rightward direction and the downward rightward direction). ..
  • the pixel array unit 110 may be configured to obtain phase difference data in the left-right direction and the vertical direction from each three-color sensor pixel group P2, as shown in FIG. 11, for example. ..
  • the pixel array unit 110 is in the left-right direction from the single color sensor pixel group P1 (hereinafter, referred to as “single color sensor pixel group Pc”) corresponding to one color filter CFg in each three color sensor pixel group P2.
  • the phase difference data may be obtained.
  • the pixel array section 110 is positioned vertically from the single-color sensor pixel group P1 (hereinafter, referred to as “single-color sensor pixel group Pd”) corresponding to the other color filter CFg. It may be configured to obtain phase difference data.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the upper stage is set to “Middle” as shown in FIG. That is, in each monochromatic sensor pixel group Pc, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the upper row are set to be equal to each other. Further, in each monochromatic sensor pixel group Pc, as shown in FIG. 11, the exposure time of one sensor pixel 111 (photodiode PD) of the two sensor pixels 111 (photodiode PD) arranged in the lower stage is " The exposure time of the other sensor pixel 111 (photodiode PD) is set to "Long".
  • each monochromatic sensor pixel group Pd the exposure time of the two sensor pixels 111 (photodiodes PD) arranged on the left side is set to “Middle” as shown in FIG. That is, in each monochromatic sensor pixel group Pd, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged on the left side are set to be equal to each other. Further, in each monochromatic sensor pixel group Pd, as shown in FIG. 11, the exposure time of the sensor pixel 111 (photodiode PD) arranged in the upper right is set to “long”, and the sensor pixel in the lower right is The exposure time of 111 (photodiode PD) is set to "Short".
  • one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochromatic sensor pixel group Pc, and the other pixel drive line ctlM is It is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pc.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pc.
  • the pixel drive line ctlL is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group Pc.
  • one pixel drive line ctlM is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group Pd, and the other pixel drive line ctlM is It is connected to the lower left sensor pixel 111 of the single color sensor pixel group Pd.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pd.
  • the pixel drive line ctlL is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pd.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the lower stage may be set to “Middle”. That is, in each monochromatic sensor pixel group Pc, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the lower stage may be set to be equal to each other. Further, in each monochromatic sensor pixel group Pd, the exposure time of the two sensor pixels 111 (photodiodes PD) arranged on the right side may be set to “Middle”. That is, in each monochromatic sensor pixel group Pd, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged on the right side may be set to be equal to each other.
  • each monochromatic sensor pixel group Pc when the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the upper stage is set to “Middle”, the pixel array unit 110 determines that each monochromatic Two pixel drive lines ctlM are provided at locations corresponding to the upper stage of the sensor pixel group Pc, and pixel drive lines ctlS and ctlL are provided at locations corresponding to the lower stage of each monochromatic sensor pixel group Pc. There is.
  • each monochromatic sensor pixel group Pc when the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the lower stage is set to “Middle”, the pixel array unit 110 There are two pixel drive lines ctlM at the locations corresponding to the bottom of each monochrome sensor pixel group Pc, and pixel drive lines ctlS and ctlL are provided at the locations corresponding to the top of each monochrome sensor pixel group Pc. doing.
  • each monochromatic sensor pixel group Pd when the exposure time of the two sensor pixels 111 (photodiodes PD) arranged on the left side is set to “Middle”, the pixel array unit 110 determines that each monochromatic One pixel drive line ctlM is provided at the location corresponding to the upper stage of the sensor pixel group Pd, and one pixel drive line ctlM is provided at the location corresponding to the lower stage of each single color sensor pixel group Pd.
  • each monochromatic sensor pixel group Pd when the exposure time of the two sensor pixels 111 (photodiodes PD) arranged on the right side is set to “Middle”, the pixel array unit 110 determines that each monochromatic One pixel drive line ctlM is provided at the location corresponding to the upper stage of the sensor pixel group Pd, and one pixel drive line ctlM is provided at the location corresponding to the lower stage of each single color sensor pixel group Pd.
  • the image sensor 10 is configured to obtain phase difference data in two directions (left and right and up and down). This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in two directions.
  • the pixel array section 110 is configured such that phase difference data in two directions can be obtained from each of the three-color sensor pixel groups P2.
  • the pixel array unit 110 outputs phase difference data in three directions from the two-row ⁇ two-column three-color sensor pixel group P2 (hereinafter, referred to as “three-color sensor pixel group P3”). It may be configured to be obtained.
  • FIG. 12 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 13 shows an example of a wiring layout of the pixel array section 110 of FIG.
  • FIG. 14 shows an example of the direction of the phase difference that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 is configured to obtain phase difference data in the upward-sloping direction, the vertical direction, and the horizontal direction from each three-color sensor pixel group P3.
  • the single-color sensor pixel group P1 corresponding to the color filters CFr and CFb (hereinafter, referred to as “single-color sensor pixel group Ph”) is the single-color sensor pixel according to the above-described embodiment. It has the same configuration as the group P1.
  • the single color sensor pixel group P1 (hereinafter, also referred to as “single color sensor pixel group Pe”) corresponding to each color filter CFg.
  • the configuration is the same as that of the monochromatic sensor pixel group P1 according to the above embodiment.
  • the single-color sensor pixel group P1 (hereinafter, referred to as “single-color sensor pixel group Pf”) corresponding to each color filter CFg.
  • the configuration is different from that of the monochromatic sensor pixel group P1 according to the above embodiment.
  • the single-color sensor pixel group P1 (hereinafter, referred to as “single-color sensor pixel group Pg”) corresponding to each color filter CFg.
  • the configuration is different from that of the monochromatic sensor pixel group P1 according to the above embodiment.
  • the exposure time of the two sensor pixels 111 is set to “Short”, and the remaining two sensor pixels 111 (photodiodes PD) are Exposure time is set to “Middle”, and the remaining one exposure time is set to “Long”. That is, the monochromatic sensor pixel group Pf includes three types of sensor pixels 111 (photodiodes PD) having different exposure times, and further includes two sensor pixels 111 (photodiodes PD) having the same exposure times. ..
  • the system control circuit 124 makes the exposure times of the three sensor pixels 111 (photodiodes PD) of the monochromatic sensor pixel group Pf different from each other and the exposure times of the two sensor pixels 111 (photodiode PD) mutually.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group Pf the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the lower left and right directions is set to “Short” as shown in FIG. That is, in each monochromatic sensor pixel group Pf, the exposure times of the two sensor pixels 111 (photodiodes PD) arranged in the lower left and right directions are set to be equal to each other. Further, in each monochromatic sensor pixel group Pf, the exposure time of the upper right sensor pixel 111 (photodiode PD) is set to “Middle” as shown in FIG. Further, in each monochrome sensor pixel group Pf, the exposure time of the upper left sensor pixel 111 (photodiode PD) is set to "long” as shown in FIG.
  • one pixel drive line ctlS is connected to the lower left sensor pixel 111 of the monochromatic sensor pixel group Pf, and the other pixel drive line ctlS is It is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pf.
  • the pixel drive line ctlM is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pf.
  • the pixel drive line ctlL is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group Pf.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group Pf. Further, the pixel array section 110 has two pixel drive lines ctlS at locations corresponding to the lower stages of the respective monochrome sensor pixel groups Pf.
  • each monochrome sensor pixel group Pf one sensor pixel 111 (photodiode PD) whose exposure time is set to “Middle” is arranged at the upper left, and the exposure time is set to “Long”.
  • One sensor pixel 111 (photodiode PD) may be arranged at the upper right.
  • two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Short” may be arranged in the upper stage and arranged in the left-right direction. ..
  • the exposure time of one of the lower two sensor pixels 111 is set to “Middle”, and the exposure time of the other is “Long”. Is set to.
  • the pixel array section 110 has two pixel drive lines ctlS at locations corresponding to the upper stages of the respective monochromatic sensor pixel groups Pf.
  • the pixel array unit 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the lower stage of each monochrome sensor pixel group Pf.
  • the exposure time of the two sensor pixels 111 is set to “long”, and one of the remaining two sensor pixels 111 (photodiodes PD) is set.
  • the exposure time is set to “Middle” and the remaining one exposure time is set to “Short”. That is, the monochromatic sensor pixel group Pg includes three types of sensor pixels 111 (photodiodes PD) having different exposure times, and further includes two sensor pixels 111 (photodiodes PD) having the same exposure times. ..
  • the system control circuit 124 makes the exposure times of the three sensor pixels 111 (photodiodes PD) of the single color sensor pixel group Pg different from each other and the exposure times of the two sensor pixels 111 (photodiode PD) to each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group Pg the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Long” are arranged on the left side as shown in FIG. 12, and It is arranged vertically. That is, in each monochromatic sensor pixel group Pg, two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged on the left side and are arranged in the vertical direction, as shown in FIG. 12, for example. .. Further, in each monochromatic sensor pixel group Pg, one sensor pixel 111 (photodiode PD) whose exposure time is set to “Middle” is arranged at the upper right as shown in FIG. 12, for example. .. Further, in each monochromatic sensor pixel group Pg, one sensor pixel 111 (photodiode PD) whose exposure time is set to “Short” is arranged at the lower right as shown in FIG. 12, for example. It
  • one pixel drive line ctlL is connected to the upper left sensor pixel 111 of the monochromatic sensor pixel group Pg, and the other pixel drive line ctlL is It is connected to the lower left sensor pixel 111 of the monochrome sensor pixel group Pg.
  • the pixel drive line ctlM is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pg.
  • the pixel drive line ctlS is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pg.
  • the pixel array unit 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group Pg.
  • the pixel array unit 110 has a pixel drive line ctlL and a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group Pf.
  • each monochromatic sensor pixel group Pg one sensor pixel 111 (photodiode PD) whose exposure time is set to “Middle” is arranged at the lower right, and the exposure time is set to “Short”.
  • One set sensor pixel 111 (photodiode PD) may be arranged at the upper right.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlS at a position corresponding to the upper stage of each monochrome sensor pixel group Pg.
  • the pixel array unit 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the lower stage of each monochrome sensor pixel group Pf.
  • the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “long” may be arranged on the right side and arranged vertically. ..
  • the exposure time of one of the left two sensor pixels 111 (photodiodes PD) is set to “Middle” and the exposure time of the other is “Short”. Is set to.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Ph has two sensor pixels 111 whose exposure time is set to “Middle”. Of the sensor pixel 111 whose exposure time is set to “Short” and one pixel data Sig2 of which the exposure time is set to “Long”.
  • One pixel data Sig3 corresponding to the pixel 111 is included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochromatic sensor pixel group Pe has two sensors whose exposure time is set to “Middle”. Two pixel data Sig1 corresponding to the pixel 111, one pixel data Sig2 corresponding to the sensor pixel 111 whose exposure time is set to “Short”, and an exposure time set to “Long” One pixel data Sig3 corresponding to the sensor pixel 111 is included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group Pf includes two sensors whose exposure time is set to “Short”. Two pieces of pixel data Sig2 corresponding to the pixel 111, one piece of pixel data Sig1 corresponding to the sensor pixel 111 whose exposure time is set to “Middle”, and an exposure time set to “Long” One pixel data Sig3 corresponding to the sensor pixel 111 is included. Further, among the pixel data Sig of X rows ⁇ Y columns, the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Pg includes two sensors whose exposure time is set to “Long”.
  • One pixel data Sig2 corresponding to the sensor pixel 111 is included.
  • FIG. 15 shows an example of a signal processing procedure in the arithmetic circuit 20 in the present modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S301). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd11 based on the image data Im (step S302). Specifically, the arithmetic circuit 20 derives the difference value between the two pixel data Sig1 corresponding to each monochromatic sensor pixel group Pe in the image data Im, and from the derived difference value, the first direction ( Phase difference data Pd11 in the upward rising direction) is generated. Further, the phase difference data Pd12 is generated based on the image data Is (step S302).
  • the arithmetic circuit 20 derives a difference value between the two pixel data Sig2 corresponding to each monochromatic sensor pixel group Pf in the image data Is, and from the derived difference value, the second direction (in the light receiving surface 110A) ( Phase difference data Pd12 in the horizontal direction) is generated. Further, the phase difference data Pd13 is generated based on the image data Il (step S302). Specifically, the arithmetic circuit 20 derives a difference value between the two pixel data Sig3 corresponding to each single color sensor pixel group Pg in the image data Il, and from the derived difference value, the third direction (in the light receiving surface 110A). Phase difference data Pd13 in the horizontal direction) is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd14 based on the image data Il and Im (step S302). Specifically, the arithmetic circuit 20 obtains an image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value with respect to the data Im′ is derived, and the phase difference data Pd14 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd15 based on the image data Im and Is (step S302).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd15 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd11, Pd12, Pd13 (step S303).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd11, Pd12, and Pd13, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd11, Pd12, and Pd13, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd11, Pd12, Pd13 into a value within a range of 1 bit to 127 bits according to the size of the numerical value.
  • the arithmetic circuit 20 converts the phase difference data Pd14 and Pd15 into level data Db for the moving body (step S104).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd14 and Pd15.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S305). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S306). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S307). In this way, the HDR image data Ib is generated.
  • the image sensor 10 receives phase difference data in three directions from the three-color sensor pixel group P2 (hereinafter, referred to as “three-color sensor pixel group P3”) of 2 rows ⁇ 2 columns. Is configured to be obtained. This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in the three directions.
  • the pixel array section 110 is configured to obtain the phase difference data in one direction from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group P1.
  • the pixel array section 110 is configured to obtain phase difference data in two directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochromatic sensor pixel group P1. May be.
  • FIG. 16 illustrates a configuration example of the pixel array unit 110 according to this modification.
  • the pixel array unit 110 is configured to obtain phase difference data in the upward-rightward and downward-rightward directions from each of the three-color sensor pixel groups P2.
  • the monochromatic sensor pixel group P1 (monochromatic sensor pixel group Ph) corresponding to the color filters CFr and CFb has the same configuration as the monochromatic sensor pixel group P1 according to the above-described embodiment. Has become.
  • the single-color sensor pixel group P1 (single-color sensor pixel groups Pa and Pb) corresponding to each color filter CFg has a different configuration from the single-color sensor pixel group P1 according to the above-described embodiment. There is.
  • the exposure time of the two sensor pixels 111 is set to “Short”, and the remaining two sensor pixels 111 (photodiodes PD) have the same exposure time.
  • the exposure time is set to "Middle”.
  • the system control circuit 124 makes the exposure times of the two sensor pixels 111 (photodiodes PD) of the monochromatic sensor pixel group Pb different from each other and the exposure times of the two sensor pixels 111 (photodiode PD) to each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group Pb the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “short” are, for example, as shown in FIG. Arranged in. That is, in each monochromatic sensor pixel group Pb, the two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged in a downward-sloping direction as shown in FIG. 16, for example. Further, in each monochromatic sensor pixel group Pb, the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Middle” are arrayed in a sloping upward direction as shown in FIG. 16, for example. To be done. That is, in each monochromatic sensor pixel group Pb, the two sensor pixels 111 (photodiodes PD) having the same exposure time are also arranged in the upward-sloping direction as shown in FIG. 16, for example.
  • one pixel drive line ctlS is connected to the upper left sensor pixel 111 of the monochromatic sensor pixel group Pb, and the other pixel drive line ctlS is It is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pb.
  • one pixel drive line ctlM is connected to the lower left sensor pixel 111 of the monochromatic sensor pixel group Pb, and the other pixel drive line ctlM is It is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pb.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at a position corresponding to the upper stage of each monochrome sensor pixel group Pb.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group Pb.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper stage of the single color sensor pixel group Ph arranged on the right or left side of the single color sensor pixel group Pb is set to “Long”.
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the upper stage of each monochrome sensor pixel group Pb.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower stage of the single color sensor pixel group Ph arranged on the right or left side of the single color sensor pixel group Pb is set to “long”.
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the lower stage of each monochrome sensor pixel group Pb.
  • the exposure time of the two sensor pixels 111 is set to “long”, and the exposure time of the remaining two sensor pixels 111 (photodiode PD) is set. Set to “Middle”.
  • the system control circuit 124 makes the exposure times of the two sensor pixels 111 (photodiodes PD) of the monochrome sensor pixel group Pa different from each other, and makes the exposure times of the two sensor pixels 111 (photodiode PD) mutually different.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Long” are, for example, as shown in FIG. Arranged in. That is, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged in a downward-sloping direction as shown in FIG. 16, for example. Further, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Middle” are arranged in an upward slope as shown in FIG. 16, for example. To be done. That is, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) having the same exposure time are also arrayed in the upward-sloping direction as shown in FIG. 16, for example.
  • one pixel drive line ctlL is connected to the upper left sensor pixel 111 of the monochrome sensor pixel group Pa, and the other pixel drive line ctlL is It is connected to the lower right sensor pixel 111 of the single color sensor pixel group Pa.
  • one pixel drive line ctlM is connected to the lower left sensor pixel 111 of the monochromatic sensor pixel group Pa, and the other pixel drive line ctlM is It is connected to the sensor pixel 111 on the upper right of the monochromatic sensor pixel group Pa.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group Pa. Further, the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlL at locations corresponding to the lower stages of the respective monochrome sensor pixel groups Pa.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the monochromatic sensor pixel group Ph arranged on the right side or the left side of the monochromatic sensor pixel group Pa is set to “Short”.
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group Pa.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the monochromatic sensor pixel group Ph arranged on the right or left of the monochromatic sensor pixel group Pa is set to “short”.
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the upper stage of each monochromatic sensor pixel group Pa.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Ph has two sensor pixels 111 whose exposure time is set to “Middle”. Of the sensor pixel 111 whose exposure time is set to “Short” and one pixel data Sig2 of which the exposure time is set to “Long”.
  • One pixel data Sig3 corresponding to the pixel 111 is included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Pa includes two sensors whose exposure time is set to “Middle”. Two pieces of pixel data Sig1 corresponding to the pixel 111 and two pieces of pixel data Sig2 corresponding to the two sensor pixels 111 whose exposure time is set to “short” are included.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group Pb includes two sensors whose exposure time is set to “Middle”.
  • the two pixel data Sig1 corresponding to the pixel 111 and the two pixel data Sig3 corresponding to the two sensor pixels 111 whose exposure time is set to “long” are included.
  • FIG. 17 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S401). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd21 based on the image data Im (step S402). Specifically, the arithmetic circuit 20 derives the difference value between the two pixel data Sig1 corresponding to each of the monochrome sensor pixel groups Pa and Pb in the image data Im, and based on the derived difference value, the first difference on the light receiving surface 110A. The phase difference data Pd21 in the direction (upward direction) is generated. Further, the phase difference data Pd22 is generated based on the image data Is (step S402).
  • the arithmetic circuit 20 derives the difference value of the two pixel data Sig2 corresponding to each monochromatic sensor pixel group Pa in the image data Is, and from the derived difference value, the second direction (in the second direction on the light receiving surface 110A).
  • the phase difference data Pd22 in the downward-sloping direction) is generated.
  • the phase difference data Pd23 is generated based on the image data Il (step S402).
  • the arithmetic circuit 20 derives the difference value of the two pixel data Sig3 corresponding to each monochromatic sensor pixel group Pb in the image data Il, and from the derived difference value, the second direction on the light receiving surface 110A ( The phase difference data Pd23 in the downward-sloping direction) is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd24 based on the image data Il and Im (step S402). Specifically, the arithmetic circuit 20 obtains an image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd24 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd25 based on the image data Im and Is (step S402).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd25 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da regarding the phase difference based on the phase difference data Pd21, Pd22, Pd23 (step S403).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd21, Pd22, and Pd23, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd21, Pd22, Pd23 into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20 converts the phase difference data Pd24 and Pd25 into level data Db for the moving body (step S404).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data of the image sensor 10 (noise data) and the phase difference data Pd24 and Pd25.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S405). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S406). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S407). In this way, the HDR image data Ib is generated.
  • the image sensor 10 is configured to obtain phase difference data in two directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochromatic sensor pixel group P1. This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in two directions.
  • the pixel array unit 110 is configured to obtain one phase difference data in one direction from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group P1. It was However, in the above-described embodiment and its modified example, the pixel array unit 110 is configured to obtain two phase difference data in one direction from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group P1. It may be configured.
  • FIG. 18 shows a configuration example of the pixel array section 110 according to this modification.
  • the pixel array section 110 is configured so that phase difference data in the vertical direction and the horizontal direction can be obtained from each of the three-color sensor pixel groups P2.
  • the monochromatic sensor pixel group P1 (monochromatic sensor pixel group Ph) corresponding to the color filters CFr and CFb has the same configuration as the monochromatic sensor pixel group P1 according to the above-described embodiment. Has become.
  • the single-color sensor pixel group P1 (single-color sensor pixel groups Pa and Pb) corresponding to each color filter CFg has a different configuration from the single-color sensor pixel group P1 according to the above-described embodiment. There is.
  • the exposure time of the two sensor pixels 111 is set to “Short”, and the remaining two sensor pixels 111 (photodiodes PD) have the same exposure time.
  • the exposure time is set to "Middle”.
  • the system control circuit 124 makes the exposure times of the two sensor pixels 111 (photodiodes PD) of the monochromatic sensor pixel group Pb different from each other and the exposure times of the two sensor pixels 111 (photodiode PD) to each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group Pb the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “short” are arranged in the upper stage as shown in FIG. 18, for example. And they are arranged in the left-right direction. That is, in each monochromatic sensor pixel group Pb, two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged in the upper stage and arranged in the left-right direction, as shown in FIG. 18, for example. Further, in each monochromatic sensor pixel group Pb, the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Middle” are arranged in the lower stage as shown in FIG. 18, for example.
  • each monochromatic sensor pixel group Pb two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged in the lower stage and arranged in the left-right direction, as shown in FIG. 18, for example.
  • one pixel drive line ctlS is connected to the upper left sensor pixel 111 of the monochromatic sensor pixel group Pb, and the other pixel drive line ctlS is It is connected to the sensor pixel 111 on the upper right of the monochrome sensor pixel group Pb.
  • one pixel drive line ctlM is connected to the lower left sensor pixel 111 of the monochromatic sensor pixel group Pb, and the other pixel drive line ctlM is It is connected to the lower right sensor pixel 111 of the monochrome sensor pixel group Pb.
  • the pixel array section 110 has two pixel drive lines ctlS at a position corresponding to the upper stage of each monochromatic sensor pixel group Pb, and two pixel drive lines ctlS at a position corresponding to the lower stage of each monochromatic sensor pixel group Pb.
  • Pixel drive line ctlM the exposure time of one sensor pixel 111 (photodiode PD) included in the upper stage of the single color sensor pixel group Ph arranged on the right or left side of the single color sensor pixel group Pb is set to “Long”.
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the upper stage of each monochrome sensor pixel group Pb.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower stage of the single color sensor pixel group Ph arranged on the right or left side of the single color sensor pixel group Pb is set to “long”.
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the lower stage of each monochrome sensor pixel group Pb.
  • the exposure time of the lower two sensor pixels 111 is set to “Short”, and the upper two sensor pixels 111 (photodiode PD) are exposed.
  • the time may be set to "Middle”.
  • the exposure time of the two sensor pixels 111 is set to “long”, and the exposure time of the remaining two sensor pixels 111 (photodiode PD) is set. Set to “Middle”.
  • the system control circuit 124 makes the exposure times of the two sensor pixels 111 (photodiodes PD) of the monochrome sensor pixel group Pa different from each other, and makes the exposure times of the two sensor pixels 111 (photodiode PD) mutually different.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled to be the same.
  • each monochromatic sensor pixel group Pa the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “long” are arranged on the left side as shown in FIG. 18, for example. And they are arranged vertically. That is, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged on the left side and are arranged vertically as shown in FIG. 18, for example. Further, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) whose exposure time is set to “Middle” are arranged on the right side, as shown in FIG. And they are arranged vertically. That is, in each monochromatic sensor pixel group Pa, the two sensor pixels 111 (photodiodes PD) having the same exposure time are arranged on the right side and arranged in the vertical direction as shown in FIG. 18, for example.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochrome sensor pixel group Pa. Further, the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the lower stage of each monochrome sensor pixel group Pa.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the monochromatic sensor pixel group Ph arranged on the right side or the left side of the monochromatic sensor pixel group Pa is set to “Short”.
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group Pa.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the monochromatic sensor pixel group Ph arranged on the right or left of the monochromatic sensor pixel group Pa is set to “short”.
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the upper stage of each monochromatic sensor pixel group Pa.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) on the right side is set to “long”, and the exposure of the two sensor pixels 111 (photodiode PD) on the left side is performed.
  • the time may be set to "Middle”.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Ph has two sensor pixels 111 whose exposure time is set to “Middle”. Of the sensor pixel 111 whose exposure time is set to “Short” and one pixel data Sig2 of which the exposure time is set to “Long”.
  • One pixel data Sig3 corresponding to the pixel 111 is included.
  • the two sensors whose exposure time is set to “Middle” Two pieces of pixel data Sig1 corresponding to the pixel 111 and one piece of pixel data Sig2 corresponding to the two sensor pixels 111 whose exposure time is set to “short” are included.
  • the pixel data Sig of 2 rows ⁇ Y columns the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group Pb includes two sensors whose exposure time is set to “Middle”. Two pieces of pixel data Sig1 corresponding to the pixel 111 and one piece of pixel data Sig3 corresponding to the two sensor pixels 111 whose exposure time is set to “long” are included.
  • FIG. 19 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S501). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd31 and Pd32 based on the image data Im (step S502). Specifically, the arithmetic circuit 20 derives the difference value between the two pixel data Sig1 corresponding to each monochrome sensor pixel group Pa in the image data Im, and from the derived difference value, the first direction ( Phase difference data Pd31 in the horizontal direction) is generated. Further, the arithmetic circuit 20 derives the difference value of the two pixel data Sig1 corresponding to each monochromatic sensor pixel group Pb in the image data Im, and from the derived difference value, the second direction (vertical direction) on the light receiving surface 110A. The phase difference data Pd32 is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd33 based on the image data Is (step S502). Specifically, the arithmetic circuit 20 derives the difference value of the two pixel data Sig2 corresponding to each monochromatic sensor pixel group Pa in the image data Is, and from the derived difference value, the first direction on the light receiving surface 110A ( Phase difference data Pd33 in the horizontal direction) is generated. Further, the phase difference data Pd34 is generated based on the image data Il (step S502).
  • the arithmetic circuit 20 derives the difference value of the two pixel data Sig3 corresponding to each monochromatic sensor pixel group Pb in the image data Il, and from the derived difference value, the second direction on the light receiving surface 110A ( Phase difference data Pd34 in the vertical direction) is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd35 based on the image data Il and Im (step S502). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd35 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd36 based on the image data Im and Is (step S502).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd36 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd31, Pd32, Pd33, Pd34 (step S503).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd31, Pd32, Pd33, Pd34, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd31, Pd32, Pd33, Pd34, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd31, Pd32, Pd33, Pd34 into a value within a range of 1 bit to 127 bits according to the size of the numerical value. ..
  • the arithmetic circuit 20 converts the phase difference data Pd35 and Pd36 into level data Db for the moving body (step S504).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd35 and Pd36.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S505). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S506). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving body (step S507). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured such that two pieces of phase difference data in the first direction are obtained from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the monochrome sensor pixel group Pa. Two pieces of phase difference data in the second direction are obtained from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the group Pb. This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in two directions.
  • the pixel array unit 110 is configured to obtain phase difference data in four directions from the pixel data Sig of 8 rows ⁇ 8 columns corresponding to each three-color sensor pixel group P3.
  • the pixel array unit 110 calculates the phase difference data in four directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to one single color sensor pixel group Pa of each of the three color sensor pixel groups P3. May be obtained.
  • FIG. 20 shows a configuration example of the pixel array section 110 according to this modification.
  • the pixel array unit 110 includes pixel data Sig of 2 rows ⁇ 2 columns corresponding to one monochromatic sensor pixel group P1 (hereinafter, “monochromatic sensor pixel group Pi”) of the three color sensor pixel groups P3. From, the phase difference data in the direction of rising to the right, the direction of falling to the right, the left-right direction, and the up-down direction can be obtained.
  • the monochromatic sensor pixel group Pi is the monochromatic sensor pixel group P1 corresponding to the color filter CFg.
  • each single-color sensor pixel group P1 excluding the single-color sensor pixel group Pi has the same configuration as the single-color sensor pixel group P1 according to the above-described embodiment.
  • each monochromatic sensor pixel group Pi has a different configuration from the monochromatic sensor pixel group P1 according to the above embodiment. Specifically, in each monochrome sensor pixel group Pi, the exposure time of the four sensor pixels 111 (photodiodes PD) is set to "Middle".
  • the system control circuit 124 causes the sensor pixels 111 (photodiodes PD) in the single-color sensor pixel group Pi included in each of the three-color sensor pixel groups P3 to have the same exposure time.
  • the exposure time of 111 (photodiode PD) is controlled.
  • one pixel drive line ctlM is connected to the two sensor pixels 111 in the upper stage of the monochromatic sensor pixel group Pi, and the other pixel drive line ctlM. Are connected to the two lower sensor pixels 111 of the monochrome sensor pixel group Pi.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper stage of the single color sensor pixel group P1 arranged on the right or left side of the single color sensor pixel group Pi is set to "Long".
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the upper stage of each monochromatic sensor pixel group Pi.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper stage of the monochromatic sensor pixel group P1 arranged on the right side or the left side of the monochromatic sensor pixel group Pi is set to "Short".
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the upper stage of each monochrome sensor pixel group Pi.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower stage of the single color sensor pixel group P1 arranged on the right or left side of the single color sensor pixel group Pi is set to "Short".
  • the pixel array section 110 further has a pixel drive line ctlS at a position corresponding to the lower stage of each monochrome sensor pixel group Pi.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower stage of the monochromatic sensor pixel group P1 arranged on the right side or the left side of the monochromatic sensor pixel group Pi is set to "Long".
  • the pixel array section 110 further has a pixel drive line ctlL at a position corresponding to the lower stage of each monochromatic sensor pixel group Pi.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the exposure time is “Middle” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 excluding the monochromatic sensor pixel group Pd.
  • Two pixel data Sig1 corresponding to the set two sensor pixels 111, one pixel data Sig2 corresponding to the sensor pixel 111 whose exposure time is set to “Short”, and an exposure time “long ( One pixel data Sig3 corresponding to the sensor pixel 111 set to “Long)” is included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the single color sensor pixel group Pd has four sensors whose exposure time is set to “Middle”. Four pieces of pixel data Sig1 corresponding to the pixel 111 are included.
  • FIG. 21 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S601). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd41, Pd42, Pd43, Pd44 based on the image data Im (step S602). Specifically, the arithmetic circuit 20 calculates the difference between the two pixel data Sig1 corresponding to each monochromatic sensor pixel group Pi in the image data Im, and the two pixel data Sig1 arranged in the direction of rising to the right. The value is derived, and the phase difference data Pd41 in the first direction (the direction of rising to the right) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig1 corresponding to each monochrome sensor pixel group Pi in the image data Im, and two pixel data Sig1 arranged in a downward sloping direction. Then, the phase difference data Pd42 in the second direction (downward-sloping direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 has two pixel data Sig1 corresponding to each monochrome sensor pixel group Pi, and a difference value between two pixel data Sig1 in the upper row arranged in the left-right direction and the left-right direction.
  • the difference value between the arranged two lower pixel data Sig1 is derived, and the phase difference data Pd43 in the third direction (left-right direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 determines, in the image data Im, two pixel data Sig1 corresponding to each single color sensor pixel group Pi and a difference value between two pixel data Sig1 on the left side arranged in the vertical direction, The difference value between the right two pixel data Sig1 arranged in the direction is derived, and the phase difference data Pd44 in the fourth direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd45 based on the image data Il and Im (step S602). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd45 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd46 based on the image data Im and Is (step S602).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd46 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd41, Pd42, Pd43, Pd44 (step S603).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd41, Pd42, Pd43, Pd44, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd41, Pd42, Pd43, Pd44, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20 converts, for example, a numerical value within a predetermined range in the phase difference data Pd41, Pd42, Pd43, Pd44 into a value within a range of 1 bit to 127 bits according to the magnitude of the numerical value. ..
  • the arithmetic circuit 20 converts the phase difference data Pd45 and Pd46 into level data Db for the moving body (step S604).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd45 and Pd46.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S605). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S606). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S607). In this way, the HDR image data Ib is generated.
  • the pixel array section 110 obtains phase difference data in four directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to one single color sensor pixel group Pa of each of the three color sensor pixel groups P3. Is configured. As a result, the presence/absence of a phase difference and the presence/absence of a moving object can be determined in the four directions.
  • the pixel array unit 110 obtains phase difference data in four directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to one single color sensor pixel group Pa of each of the three color sensor pixel groups P3. It was configured to be. However, in the modified example E, the pixel array unit 110 determines the phase difference in four directions from the pixel data Sig of 4 rows ⁇ 4 columns corresponding to one 3 color sensor pixel group P 2 of each 3 color sensor pixel group P 3. It may be configured to obtain data.
  • FIG. 22 shows a configuration example of the pixel array section 110 according to this modification.
  • the pixel array unit 110 includes pixels of 4 rows ⁇ 4 columns corresponding to one 3 color sensor pixel group P 2 (hereinafter, “3 color sensor pixel group Pj”) of each 3 color sensor pixel group P 3.
  • the data Sig is configured to obtain phase difference data in the upward-sloping direction, the downward-sloping direction, the horizontal direction, and the vertical direction.
  • each single-color sensor pixel group P1 included in each three-color sensor pixel group P2 excluding the three-color sensor pixel group Pj has the same configuration as the single-color sensor pixel group P1 according to the above-described embodiment. Has become.
  • each three-color sensor pixel group Pj has a different configuration from the three-color sensor pixel group P2 according to the above embodiment. Specifically, in each single color sensor pixel group P1 of each three color sensor pixel group Pj, the exposure time of the four sensor pixels 111 (photodiodes PD) is set to "Middle". In other words, the system control circuit 124 sets the same exposure time for each sensor pixel 111 (photodiode PD) in each single-color sensor pixel group P1 of the three-color sensor pixel group Pj included in each three-color sensor pixel group P3. Therefore, the exposure time of the plurality of sensor pixels 111 (photodiodes PD) is controlled.
  • one pixel drive line ctlM is connected to the upper two sensor pixels 111 of the single color sensor pixel group P1.
  • the other pixel drive line ctlM is connected to the lower two sensor pixels 111 of the monochrome sensor pixel group P1.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the single color sensor pixel group P1 arranged on the right side or the left side of the upper row of the three-color sensor pixel group Pj is “Long”.
  • the pixel array unit 110 further includes a pixel at a position corresponding to the upper sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has a drive line ctlL.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the single color sensor pixel group P1 arranged on the right side or the left side of the upper row of the three-color sensor pixel group Pj is “short”.
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the upper sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has the line ctlS.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the single color sensor pixel group P1 arranged on the right side or the left side of the upper row of the three-color sensor pixel group Pj is "Long".
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the lower sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has a line ctlL.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the single color sensor pixel group P1 arranged on the right side or the left side of the upper row of the three-color sensor pixel group Pj is "short".
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the lower sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has the line ctlS.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the single color sensor pixel group P1 arranged on the right side or the left side of the lower row of the three-color sensor pixel group Pj is “long”.
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the upper sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has a line ctlL.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the upper row of the single color sensor pixel group P1 arranged on the right side or the left side of the lower side of the three-color sensor pixel group Pj is “short”.
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the upper sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has the line ctlS.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the single color sensor pixel group P1 arranged on the right side or the left side of the lower row of the three-color sensor pixel group Pj is “Long”.
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the lower sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has a line ctlL.
  • the exposure time of one sensor pixel 111 (photodiode PD) included in the lower row of the single color sensor pixel group P1 arranged on the right side or the left side of the lower row of the three-color sensor pixel group Pj is "short".
  • the pixel array unit 110 further drives the pixel drive to a position corresponding to the lower sensor pixel 111 (photodiode PD) of the single color sensor pixel group P1 of each three color sensor pixel group Pj. It has the line ctlS.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 4 rows ⁇ 4 columns corresponding to each monochromatic sensor pixel group P1 included in each of the three color sensor pixel groups P2 excluding the three color sensor pixel group Pe is , Two pixel data Sig1 corresponding to two sensor pixels 111 whose exposure time is set to “Middle” and one pixel data Sig1 corresponding to the sensor pixels 111 whose exposure time is set to “Short”.
  • Pixel data Sig2 and one pixel data Sig3 corresponding to the sensor pixel 111 whose exposure time is set to “long” are included.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 included in the 3-color sensor pixel group Pe is represented by the exposure time “medium ( Four pixel data Sig1 corresponding to the four sensor pixels 111 set to “Middle)” are included.
  • FIG. 23 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S701). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd51, Pd52, Pd53, Pd54 based on the image data Im (step S702).
  • the arithmetic circuit 20 is two pieces of pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group Pe in the image data Im, and is arranged in the direction of rising right.
  • the difference value between the generated two pixel data Sig1 is derived, and from the derived difference value, the phase difference data Pd51 in the first direction (in the upward rising direction) on the light receiving surface 110A is generated.
  • the arithmetic circuit 20 is the two pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group Pe in the image data Im, and is arranged in the downward sloping direction 2.
  • the difference value of the one pixel data Sig1 is derived, and from the derived difference value, the phase difference data Pd52 in the second direction (downward to the right) on the light receiving surface 110A is generated.
  • the arithmetic circuit 20 includes two pieces of pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group Pe in the image data Im, and two upper row data arranged in the left-right direction.
  • the difference value of the pixel data Sig1 and the difference value of the lower two pixel data Sig1 arranged in the left-right direction are derived, and the phase difference data in the third direction (left-right direction) on the light-receiving surface 110A is derived from the derived difference value.
  • the arithmetic circuit 20 includes two pieces of pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group Pe in the image data Im, and two left-side pixel data Sig1 arranged vertically.
  • the difference value of the pixel data Sig1 and the difference value of the two right-side pixel data Sig1 arranged in the vertical direction are derived, and the phase difference data in the fourth direction (vertical direction) on the light receiving surface 110A is derived from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd55 based on the image data Il and Im (step S702). Specifically, the arithmetic circuit 20 obtains an image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd55 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd56 based on the image data Im and Is (step S702).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd56 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd51, Pd52, Pd53, Pd54 (step S703).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd51, Pd52, Pd53, Pd54, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd51, Pd52, Pd53, Pd54 into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20 converts, for example, a numerical value within a predetermined range in the phase difference data Pd51, Pd52, Pd53, Pd54 into a value within a range of 1 bit to 127 bits according to the magnitude of the numerical value. ..
  • the arithmetic circuit 20 converts the phase difference data Pd55 and Pd56 into level data Db for the moving body (step S704).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd55 and Pd56.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S705). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S706). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S707). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 obtains phase difference data in four directions from the pixel data Sig of 4 rows ⁇ 4 columns corresponding to one 3 color sensor pixel group P 2 of each 3 color sensor pixel group P 3. It is configured to be. As a result, the presence/absence of a phase difference and the presence/absence of a moving object can be determined in the four directions.
  • the pixel array unit 110 obtains phase difference data in four directions from pixel data Sig of 4 rows ⁇ 4 columns corresponding to one 3 color sensor pixel group P 2 of each 3 color sensor pixel group P 3. Was configured to be obtained.
  • the pixel array unit 110 may be configured to obtain phase difference data in four directions from the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochrome sensor pixel group P1. Good.
  • FIG. 24 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 25 shows an example of the wiring layout of the pixel array section 110 of FIG.
  • FIG. 26 shows an example of the direction of the phase difference that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 outputs phase difference data in the upward rising direction, the vertical direction, and the horizontal direction from each single color sensor pixel group P1 for every n frames (n is an integer of 2 or more), for example. Is configured to be obtained.
  • the exposure time of the four sensor pixels 111 (photodiodes PD) is set to “Middle”.
  • the system control circuit 124 causes the exposure time of the plurality of sensor pixels 111 (photodiodes PD) to be the same in each sensor pixel 111 (photodiode PD) in each monochrome sensor pixel group P1. To control.
  • the pixel array unit 110 further includes pixel data of three types of exposure times in each frame other than n ⁇ k frames (n is an integer of 2 or more and k is an integer of 1 or more), for example.
  • the image data Ia is obtained.
  • the pixel array unit 110 further includes, for example, as shown in FIG. 27, the pixel according to the above-described embodiment in each frame other than n ⁇ k frames (n is an integer of 2 or more and k is an integer of 1 or more). It has the same configuration as the array unit 110.
  • the exposure time of the two sensor pixels 111 is set to “Middle”, and the remaining two sensor pixels 111 (photodiodes PD) are set.
  • One exposure time is set to "Short” and the remaining one exposure time is set to "Long”.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each single color sensor pixel group P1, as shown in FIGS. 25 and 28, for example. .. Further, the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at locations corresponding to the lower stages of the respective monochrome sensor pixel groups P1.
  • the system control circuit 124 when obtaining the image data Ia for each n frames, has the pixel drive line ctlL and the pixel drive line ctlL provided at a position corresponding to the upper stage of each monochrome sensor pixel group P1.
  • ctlM is used to perform exposure control for setting the exposure time of the sensor pixel 111 (photodiode PD) at the upper stage of each monochrome sensor pixel group P1 to “Middle”.
  • the system control circuit 124 when obtaining the image data Ia for every n frames, is provided with a pixel drive line ctlM and a pixel drive line ctlM provided at a position corresponding to the lower stage of each monochrome sensor pixel group P1.
  • ctlS is used to perform exposure control for setting the exposure time of the sensor pixel 111 (photodiode PD) in the lower stage of each monochrome sensor pixel group P1 to “Middle”.
  • the image data Ia1 obtained for every n frames includes the pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 4 rows ⁇ 4 columns corresponding to each monochrome sensor pixel group P1 has four sensor pixels whose exposure time is set to “Middle”. Four pieces of pixel data Sig1 corresponding to 111 are included.
  • the image data Ia2 obtained in each frame other than n ⁇ k frames includes X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixel 111 is included.
  • the pixel data Sig of 4 rows ⁇ 4 columns corresponding to each monochromatic sensor pixel group P1 has two exposure times set to “Middle”, for example.
  • One pixel data Sig3 corresponding to the generated sensor pixel 111 is included.
  • FIG. 29 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates the HDR image data Ib based on the image data Ia1 and Ia2 obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the obtained image data Ia2 for each exposure time (step S801). Specifically, the arithmetic circuit 20 defines the image data Ia2 as data having an exposure time of “Middle” (image data Im2) and data having an exposure time of “Long” (image data Il2). , The exposure time is “short” data (image data Is2).
  • the arithmetic circuit 20 decomposes the obtained image data Ia1 for each exposure time (step S801). Specifically, the arithmetic circuit 20 defines the image data Ia1 as data having an exposure time of “Middle” (image data Im1) and data having an exposure time of “Long” (image data Il1). , The exposure time is “short” data (image data Is1).
  • the arithmetic circuit 20 generates the phase difference data Pd61, Pd62, Pd63, Pd64 based on the image data Im1 (step S802). Specifically, the arithmetic circuit 20 calculates the difference between the two pixel data Sig1 corresponding to each monochrome sensor pixel group P1 in the image data Im1 and the two pixel data Sig1 arranged in the upward rising direction. The value is derived, and the phase difference data Pd61 in the first direction (direction of rising to the right) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig1 corresponding to each monochrome sensor pixel group P1 in the image data Im1, and two pixel data Sig1 arranged in a downward sloping direction. Then, the phase difference data Pd62 in the second direction (downward to the right) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 includes two pixel data Sig1 corresponding to each monochrome sensor pixel group P1 in the image data Im1, and a difference value between two pixel data Sig1 in the upper row arranged in the left-right direction and the left and right.
  • the difference value between the lower two pixel data Sig1 arranged in the direction is derived, and the phase difference data Pd63 in the third direction (left-right direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 determines, in the image data Im1, two pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 and a difference value between two pixel data Sig1 on the left side arranged in the vertical direction, The difference value between the right two pixel data Sig1 arranged in the direction is derived, and the phase difference data Pd64 in the fourth direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd65 based on the image data Il1 and Im1 (step S802). Specifically, the arithmetic circuit 20 obtains the image data Il1 and an image obtained by multiplying the image data Im1 by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im1′ is derived, and the phase difference data Pd65 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd66 based on the image data Im1 and Is1 (step S802).
  • the arithmetic circuit 20 calculates the image data Im1 and the image data Is1′ obtained by multiplying the image data Is1 by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd66 is generated from the derived difference value.
  • the arithmetic operation circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd61, Pd62, Pd63, Pd64 (step S803).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd61, Pd62, Pd63, Pd64, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd61, Pd62, Pd63, Pd64, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20 converts the phase difference data Pd65 and Pd66 into the level data Db for the moving body (step S804).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data of the image sensor 10 (noise data) and the phase difference data Pd65 and Pd66.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S805). Furthermore, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S806). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im2, Il2, Is2, the presence/absence of a phase difference, and the presence/absence of a moving object (step S807). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data in four directions from each monochrome sensor pixel group P1 for every n frames, for example.
  • the HDR image Ib is further generated based on the image data Ia1 obtained every n frames and the image data Ia1 obtained in each frame other than n ⁇ k frames.
  • the pixel array section 110 is configured to obtain the phase difference data based on the monochromatic image data.
  • the pixel array unit 110 may be configured to obtain the phase difference data for each color based on the image data of all colors.
  • FIG. 30 illustrates a configuration example of the pixel array unit 110 according to this modification.
  • FIG. 31 shows an example of a wiring layout of the pixel array section 110 of FIG.
  • FIG. 32 shows an example of directions of phase differences that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 includes two three-color sensor pixel groups P2 arranged in the row direction (hereinafter, referred to as “three-color sensor pixel group P4”), and a phase difference in two directions for each color. It is configured to obtain data. Specifically, the pixel array unit 110 is configured to obtain the phase difference data in the upward-sloping direction and the downward-sloping direction for each color from the three-color sensor pixel group P4. At this time, in one of the three-color sensor image groups P2 included in each of the three-color sensor pixel groups P4, each single-color sensor pixel group P1 is configured to obtain phase difference data in the upward rising direction. In the other three-color sensor image group P2 included in each three-color sensor pixel group P4, each single-color sensor pixel group P1 is configured to obtain phase difference data in the downward sloping direction.
  • each single color sensor pixel group P1 of one three color sensor image group P2 included in each three color sensor pixel group P4 two sensor pixels 111 (photodiode PD ) Exposure time is set to "Middle" as shown in FIG. 30 shows the exposure time of the lower right sensor pixel 111 (photodiode PD) in each single color sensor pixel group P1 of the one three color sensor image group P2 included in each three color sensor pixel group P4. Is set to “Short”.
  • the exposure time of the upper left sensor pixel 111 (photodiode PD) is as shown in FIG.
  • the system control circuit 124 causes the exposure time of the two sensor pixels 111 (photodiodes PD) of the single color sensor pixel group P1 of the one three color sensor image group P2 included in each three color sensor pixel group P4.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the two sensor pixels 111 (photodiode PD) are the same.
  • each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P4 the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the downward-sloping direction. , As shown in FIG. 30, it is set to “Middle”. Further, in each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P4, the exposure time of the lower left sensor pixel 111 (photodiode PD) is as shown in FIG. Is set to “Short”.
  • each single color sensor pixel group P1 of the other three color sensor image group P2 included in each three color sensor pixel group P4 the exposure time of the sensor pixel 111 (photodiode PD) on the upper right is as shown in FIG. Is set to “Long”.
  • the system control circuit 124 causes the exposure time of the two sensor pixels 111 (photodiode PD) of each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P4.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the two sensor pixels 111 (photodiodes PD) are the same.
  • the pixel array section 110 has a pixel drive line ctlL and a pixel drive line ctlM at a position corresponding to the upper stage of each monochromatic sensor pixel group P1 included in each three-color sensor pixel group P4.
  • the pixel array section 110 has a pixel drive line ctlM and a pixel drive line ctlS at a position corresponding to the lower stage of each monochromatic sensor pixel group P1 included in each three-color sensor pixel group P4.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of X rows ⁇ Y columns the pixel data Sig of 4 rows ⁇ 4 columns corresponding to each monochromatic sensor pixel group P1 has two sensor pixels whose exposure time is set to “Middle”. Two pixel data Sig1 corresponding to 111, one pixel data Sig2 corresponding to the sensor pixel 111 whose exposure time is set to “Short”, and an exposure time set to “Long”
  • One pixel data Sig3 corresponding to the sensor pixel 111 is included.
  • FIG. 33 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S901). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd71 and Pd72 based on the image data Im (step S902). Specifically, the arithmetic circuit 20 calculates the difference between two pixel data Sig1 corresponding to each single color sensor pixel group P1 of one three color sensor image group P2 included in each three color sensor pixel group P4 in the image data Im. The value is derived, and the phase difference data Pd71 in the first direction (the direction of rising to the right) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives the difference value of each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P4 in the image data Im, and from the derived difference value, Phase difference data Pd72 in the second direction (downward to the right) on the light receiving surface 110A is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd73 based on the image data Il and Im (step S902). Specifically, the arithmetic circuit 20 obtains an image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd73 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd74 based on the image data Im and Is (step S902).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd74 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da regarding the phase difference based on the phase difference data Pd71 and Pd72 (step S903).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, a numerical value of the phase difference data Pd71 and Pd72 that falls below a predetermined range into a lower limit value (for example, 0 bit). For example, the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd71 and Pd72 into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd71 and Pd72 into a value within a range of 1 bit to 127 bits according to the size of the numerical value.
  • the arithmetic circuit 20 converts the phase difference data Pd73 and Pd74 into level data Db for the moving body (step S904).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd73 and Pd74.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S905). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S906). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving body (step S907). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data for each color based on image data of all colors. This makes it possible to determine the presence or absence of a phase difference and the presence or absence of a moving object for each color.
  • the pixel array section 110 is configured to obtain phase difference data in two directions (upward to the right and downward to the right) for each color.
  • the pixel array section 110 may be configured to obtain phase difference data in two directions (horizontal direction, vertical direction) for each color.
  • FIG. 34 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 35 shows an example of a wiring layout of the pixel array section 110 of FIG.
  • FIG. 36 shows an example of directions of phase differences detectable by the pixel array section 110 of FIG.
  • the pixel array unit 110 includes two three-color sensor pixel groups P2 arranged in the column direction (hereinafter, referred to as “three-color sensor pixel group P5”), and a phase difference in two directions for each color. It is configured to obtain data. Specifically, the pixel array unit 110 is configured to obtain phase difference data in the horizontal direction and the vertical direction for each color from the three-color sensor pixel group P5. At this time, in the one three-color sensor image group P2 included in each three-color sensor pixel group P5, each single-color sensor pixel group P1 is configured to obtain the phase difference data in the vertical direction. In the other three-color sensor image group P2 included in each three-color sensor pixel group P5, each single-color sensor pixel group P1 is configured to obtain phase difference data in the left-right direction.
  • each single color sensor pixel group P1 of the one three color sensor image group P2 included in each three color sensor pixel group P5 the two sensor pixels 111 whose exposure time is set to “Middle”
  • the (photodiode PD) is arranged on the left side and vertically arranged.
  • one sensor pixel 111 (photodiode) whose exposure time is set to “Short” is set.
  • PD is arranged at the lower right of the monochrome sensor pixel group P1.
  • each single-color sensor pixel group P1 of one three-color sensor image group P2 included in each three-color sensor pixel group P5 one sensor pixel 111 (photodiode) whose exposure time is set to “long” PD) is arranged on the upper right of the single color sensor pixel group P1.
  • the system control circuit 124 causes the exposure time of the three sensor pixels 111 (photodiodes PD) of the single color sensor pixel group P1 of the one three color sensor image group P2 included in each three color sensor pixel group P5.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the two sensor pixels 111 (photodiodes PD) are the same.
  • each single color sensor pixel group P1 of the other three color sensor image group P2 included in each three color sensor pixel group P5 the exposure time of the upper two sensor pixels 111 (photodiode PD) is as shown in FIG. Is set to “Middle”. Further, in each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P5, the exposure time of the lower right sensor pixel 111 (photodiode PD) is shown in FIG. Is set to “Short”.
  • each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P5 the exposure time of the lower left sensor pixel 111 (photodiode PD) is as shown in FIG. Is set to “Long”.
  • the system control circuit 124 causes the exposure time of the three sensor pixels 111 (photodiode PD) of each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P5.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the two sensor pixels 111 (photodiodes PD) are the same.
  • the pixel drive line ctlM and the pixel drive line are provided at a position corresponding to the upper stage of each single color sensor pixel group P1 of the one three color sensor image group P2 included in each three color sensor pixel group P5. It has ctlL.
  • the pixel array section 110 includes a pixel drive line ctlM and a pixel drive line ctlS at a position corresponding to a lower stage of each single color sensor pixel group P1 of one three color sensor image group P2 included in each three color sensor pixel group P5. have.
  • the pixel array section 110 has two pixel drive lines ctlM at locations corresponding to the upper stages of the respective monochromatic sensor pixel groups P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P5. doing.
  • the pixel array unit 110 includes the pixel drive line ctlL and the pixel drive line ctlS at a position corresponding to the lower stage of each single color sensor pixel group P1 of the other three color sensor image group P2 included in each three color sensor pixel group P5. have.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the pixel data Sig of 2 rows ⁇ 2 columns corresponding to each monochromatic sensor pixel group P1 includes two sensor pixels whose exposure time is set to “Middle”. Two pixel data Sig1 corresponding to 111, one pixel data Sig2 corresponding to the sensor pixel 111 whose exposure time is set to “Short”, and an exposure time set to “Long”
  • One pixel data Sig3 corresponding to the sensor pixel 111 is included.
  • FIG. 37 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S1001). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd81 and Pd82 based on the image data Im (step S1002). Specifically, the arithmetic circuit 20 calculates the difference between two pixel data Sig1 corresponding to each single color sensor pixel group P1 of one three color sensor image group P2 included in each three color sensor pixel group P5 in the image data Im. The value is derived, and the phase difference data Pd81 in the first direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives the difference value of each monochromatic sensor pixel group P1 of the other three-color sensor image group P2 included in each three-color sensor pixel group P5 in the image data Im, and from the derived difference value, Phase difference data Pd82 in the second direction (horizontal direction) on the light receiving surface 110A is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd83 based on the image data Il and Im (step S1002). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd83 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd84 based on the image data Im and Is (step S1002).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd84 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da regarding the phase difference based on the phase difference data Pd81 and Pd82 (step S1003).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd81 and Pd82, a numerical value below a predetermined range to a lower limit value (for example, 0 bit). For example, the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd81 and Pd82 into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd81 and Pd82 into a value within a range of 1 bit to 127 bits according to the size of the numerical value.
  • the arithmetic circuit 20 converts the phase difference data Pd83 and Pd84 into level data Db for the moving body (step S1004).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd83 and Pd84.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S1005). Furthermore, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S1006). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving body (step S1007). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data in two directions (horizontal direction, vertical direction) for each color based on image data of all colors. Accordingly, it is possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in two directions for each color.
  • the pixel array unit 110 is configured to obtain phase difference data in two directions for each color.
  • the pixel array section 110 may be configured to obtain phase difference data in three directions for each color.
  • FIG. 38 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 39 shows an example of a wiring layout of the pixel array section 110 of FIG.
  • FIG. 40 shows an example of directions of phase differences that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 is configured so that phase difference data in three directions can be obtained for each color from the three-color sensor pixel group P3.
  • the pixel array unit 110 is configured to obtain, from the three-color sensor pixel group P3, phase difference data in the downward sloping direction, the horizontal direction, and the vertical direction for each color.
  • each single-color sensor pixel group P1 is in the downward-sloping direction. The phase difference data is obtained.
  • each single-color sensor pixel group P1 is configured to obtain phase difference data in the left-right direction. Further, in the upper right three-color sensor image group P2 included in each three-color sensor pixel group P3, each single-color sensor pixel group P1 is configured to obtain the phase difference data in the vertical direction.
  • the downward-sloping direction The exposure time of the two sensor pixels 111 (photodiodes PD) arranged is set to "Middle” as shown in FIG. Further, in each of the single color sensor pixel groups P1 in the upper left three color sensor image group P2 and the lower right three color sensor image group P2 included in each three color sensor pixel group P3, the lower right sensor pixel 111 (photodiode The exposure time of PD) is set to "Short" as shown in FIG.
  • the upper left sensor pixel 111 (photodiode PD ) Exposure time is set to "Long" as shown in FIG.
  • the system control circuit 124 sets 3 of the single color sensor pixel groups P1 in the upper left 3 color sensor image group P2 and the lower right 3 color sensor image group P2 included in each 3 color sensor pixel group P3.
  • Exposure of a plurality of sensor pixels 111 is performed so that the exposure times of two sensor pixels 111 (photodiode PD) are different from each other and the exposure times of two sensor pixels 111 (photodiode PD) are the same. Control the time.
  • each single color sensor pixel group P1 in the lower left three color sensor image group P2 included in each three color sensor pixel group P3 the exposure time of the two sensor pixels 111 (photodiode PD) arranged in the left and right direction in the lower row. Is set to "Short” as shown in FIG.
  • one sensor pixel 111 (photodiode PD) in the upper stage The exposure time is set to “long”, and the exposure time of the other sensor pixel 111 (photodiode PD) in the upper row is set to “middle”.
  • the system control circuit 124 causes the exposure time of the three sensor pixels 111 (photodiode PD) of each monochromatic sensor pixel group P1 in the lower left three-color sensor image group P2 included in each three-color sensor pixel group P3.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the two sensor pixels 111 (photodiode PD) are the same.
  • each single color sensor pixel group P1 in the upper right three color sensor image group P2 included in each three color sensor pixel group P3 the exposure time of the two sensor pixels 111 (photodiode PD) arranged vertically on the left side. Is set to "Long” as shown in FIG.
  • one sensor pixel 111 (photodiode PD) on the right side The exposure time is set to “Middle” and the exposure time of the other sensor pixel 111 (photodiode PD) on the right side is set to “Short”.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged vertically on the right side in each single-color sensor pixel group P1 in the upper-right three-color sensor image group P2 included in each three-color sensor pixel group P3. May be set to “Long”.
  • the exposure times of the three sensor pixels 111 (photodiodes PD) of each single color sensor pixel group P1 in the upper right three color sensor image group P2 included in each three color sensor pixel group P3 are different from each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the one sensor pixel 111 (photodiode PD) are the same.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the upper stage. It has the line ctlM.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the lower row in each of the uppermost and second uppermost single color sensor pixel groups P1 included in each three-color sensor pixel group P3. It has a ctlM and a pixel drive line ctlS.
  • the pixel array section 110 includes the pixel drive line ctlL and the pixel drive line at locations corresponding to the upper row in each of the third color color sensor pixel group P1 from the top and the bottommost single color sensor pixel group P1 included in each three color sensor pixel group P3. It has ctlM.
  • the pixel array section 110 includes the pixel drive line ctlS and the pixel drive line at locations corresponding to the lower row in the third color sensor pixel group P1 and the single color sensor pixel group P1 in the third row and the bottom row included in each three color sensor pixel group P3. It has ctlM.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the exposure time is set to “Middle” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper left and lower right three-color sensor pixel groups P2.
  • One pixel data Sig3 corresponding to the sensor pixel 111 set to “” is included.
  • the exposure time is set to “Short” for the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the lower left three-color sensor pixel group P2.
  • the exposure time is set to “Long” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper right three-color sensor pixel group P2.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S1101). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates phase difference data Pd91, Pd92, Pd93 based on the image data Im (step S1102). Specifically, the arithmetic circuit 20 sets two pixel data corresponding to each single color sensor pixel group P1 included in the upper left and lower right three color sensor pixel groups P2 of each three color sensor pixel group P3 in the image data Im. The difference value of Sig1 is derived, and the phase difference data Pd91 in the first direction (downward to the right) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig2 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group P2 at the lower left of each three-color sensor pixel group P3 in the image data Is. Then, the phase difference data Pd92 in the second direction (left-right direction) on the light receiving surface 110A is generated from the derived difference value. Further, the arithmetic circuit 20 derives a difference value between two pixel data Sig3 corresponding to each monochromatic sensor pixel group P1 included in the three color sensor pixel group P2 on the upper right of each three color sensor pixel group P3 in the image data Il. Then, the phase difference data Pd93 in the third direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd94 based on the image data Il and Im (step S1102). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd94 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd95 based on the image data Im and Is (step S1102).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd95 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd91, Pd92, Pd93 (step S1103).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd91, Pd92, and Pd93, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts a numerical value exceeding a predetermined range in the phase difference data Pd91, Pd92, and Pd93 into an upper limit value (for example, 128 bits).
  • the arithmetic circuit 20 converts the phase difference data Pd94 and Pd95 into level data Db for the moving body (step S1104).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data of the image sensor 10 (noise data) and the phase difference data Pd94 and Pd95.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S1105). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S1106). Finally, the arithmetic circuit 20 generates HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S1107). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data in three directions for each color. Accordingly, it is possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in three directions for each color.
  • the pixel array unit 110 is configured to obtain the phase difference data based on the monochromatic image data.
  • the pixel array unit 110 may be configured to obtain the phase difference data for each color based on the image data of all colors.
  • FIG. 42 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 43 shows an example of the wiring layout of the pixel array section 110 of FIG.
  • FIG. 44 shows an example of the direction of the phase difference that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 is configured so that phase difference data in two directions can be obtained for each color from the three-color sensor pixel group P3. Specifically, the pixel array unit 110 is configured to obtain phase difference data in the upward-sloping direction and the downward-sloping direction for each color from the three-color sensor pixel group P3. At this time, in the upper left three-color sensor image group P2 and the lower right three-color sensor image group P2 included in each three-color sensor pixel group P3, each single-color sensor pixel group P1 is related to the above embodiment. It has the same configuration as the single color sensor pixel group P1.
  • each single-color sensor pixel group P1 is provided with phase difference data in the direction of rising right and down. It is configured.
  • each single-color sensor pixel group P1 is configured to obtain phase difference data in the upward-sloping direction and the downward-sloping direction. It is configured.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged is set to "Middle” as shown in FIG.
  • the lower right sensor pixel 111 (photodiode The exposure time of PD) is set to "Short" as shown in FIG.
  • the exposure time is set to "Long" as shown in FIG.
  • each single-color sensor pixel group P1 in the lower-left three-color sensor image group P2 included in each three-color sensor pixel group P3 the exposure of the two sensor pixels 111 (photodiode PD) arranged in the direction of rising to the right.
  • the time is set to "Middle” as shown in FIG.
  • the time is set to "Short" as shown in FIG.
  • the exposure time of the two sensor pixels 111 (photodiode PD) of each monochromatic sensor pixel group P1 in the lower left three-color sensor image group P2 included in each three-color sensor pixel group P3 is different from each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the one sensor pixel 111 (photodiode PD) are the same.
  • each single-color sensor pixel group P1 in the upper-right three-color sensor image group P2 included in each three-color sensor pixel group P3 the exposure of the two sensor pixels 111 (photodiode PD) arranged in the direction of rising to the right.
  • the time is set to "Middle” as shown in FIG.
  • the time is set to "Long" as shown in FIG.
  • the exposure times of the two sensor pixels 111 (photodiodes PD) of the single-color sensor pixel group P1 in the upper-right three-color sensor image group P2 included in the three-color sensor pixel groups P3 are different from each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the one sensor pixel 111 (photodiode PD) are the same.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the upper stage. It has the line ctlM.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the lower row in each of the uppermost and second uppermost single color sensor pixel groups P1 included in each three-color sensor pixel group P3. It has a ctlM and a pixel drive line ctlS.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the upper row. It has a ctlM and a pixel drive line ctlS.
  • the pixel array section 110 includes the pixel drive line ctlS and the pixel drive line at locations corresponding to the lower row in the third color sensor pixel group P1 and the single color sensor pixel group P1 in the third row and the bottom row included in each three color sensor pixel group P3. It has ctlM.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the exposure time is set to “Middle” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper left and lower right three-color sensor pixel groups P2.
  • One pixel data Sig3 corresponding to the sensor pixel 111 set to “” is included.
  • the exposure time is set to “short” for the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the lower left three-color sensor pixel group P2.
  • Two pixel data Sig2 corresponding to the two sensor pixels 111 and two pixel data Sig1 corresponding to the two sensor pixels 111 whose exposure time is set to “Middle” are included.
  • the exposure time is set to “Long” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper right three-color sensor pixel group P2.
  • Two pixel data Sig3 corresponding to the two sensor pixels 111 and two pixel data Sig1 corresponding to the two sensor pixels 111 whose exposure time is set to “Middle” are included.
  • FIG. 45 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S1201). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd101, Pd102, Pd103 based on the image data Im (step S1202). Specifically, the arithmetic circuit 20 sets two pixel data Sig1 corresponding to each single color sensor pixel group P1 included in the lower left and upper right three color sensor pixel groups P2 of each three color sensor pixel group P3 in the image data Im. Of the phase difference data Pd101 in the first direction (in the upward rising direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig2 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group P2 at the lower left of each three-color sensor pixel group P3 in the image data Is. Then, from the derived difference value, the phase difference data Pd102 in the second direction (downward-rightward direction) on the light receiving surface 110A is generated. Further, the arithmetic circuit 20 derives a difference value between two pixel data Sig3 corresponding to each monochromatic sensor pixel group P1 included in the three color sensor pixel group P2 on the upper right of each three color sensor pixel group P3 in the image data Il. Then, from the derived difference value, the phase difference data Pd103 in the first direction (in the upward rising direction) on the light receiving surface 110A is generated.
  • the arithmetic circuit 20 also generates the phase difference data Pd104 based on the image data Il and Im (step S1202). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd104 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd105 based on the image data Im and Is (step S1202).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd105 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd101, Pd102, Pd103 (step S1203).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd101, Pd102, Pd103, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd101, Pd102, Pd103, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd101, Pd102, Pd103 into a value within a range of 1 bit to 127 bits according to the size of the numerical value.
  • the arithmetic circuit 20 converts the phase difference data Pd104 and Pd105 into level data Db for the moving body (step S1204).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd104 and Pd105.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S1205). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S1206). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S1207). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data in two directions for each color. This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in each of the two directions for each color.
  • the pixel array unit 110 is configured to obtain phase difference data in two directions (upward rightward direction, downward rightward direction) for each color based on image data of a single color. It had been. However, in the modified example K, the pixel array unit 110 may be configured to obtain phase difference data in two directions (horizontal direction, vertical direction) for each color based on image data of a single color. Good.
  • FIG. 46 shows a configuration example of the pixel array section 110 according to this modification.
  • FIG. 47 shows an example of a wiring layout of the pixel array section 110 of FIG.
  • FIG. 48 shows an example of directions of phase differences that can be detected by the pixel array section 110 of FIG.
  • the pixel array unit 110 is configured so that phase difference data in two directions can be obtained for each color from the three-color sensor pixel group P3. Specifically, the pixel array unit 110 is configured to obtain phase difference data in the horizontal direction and the vertical direction for each color from the three-color sensor pixel group P3. At this time, in the upper left three-color sensor image group P2 and the lower right three-color sensor image group P2 included in each three-color sensor pixel group P3, each single-color sensor pixel group P1 is related to the above embodiment. It has the same configuration as the single color sensor pixel group P1.
  • each single-color sensor pixel group P1 is configured to obtain phase difference data in the left-right direction. Further, in the upper right three-color sensor image group P2 included in each three-color sensor pixel group P3, each single-color sensor pixel group P1 is configured to obtain the phase difference data in the vertical direction.
  • the exposure time of the two arrayed sensor pixels 111 (photodiodes PD) is set to "Middle” as shown in FIG.
  • the lower right sensor pixel 111 photodiode The exposure time of PD) is set to "Short" as shown in FIG.
  • the upper left sensor pixel 111 (photodiode PD ) Exposure time is set to "Long" as shown in FIG.
  • each single color sensor pixel group P1 in the lower left three color sensor image group P2 included in each three color sensor pixel group P3 the exposure time of the two sensor pixels 111 (photodiode PD) arranged in the left and right direction in the upper row. Is set to "Short” as shown in FIG.
  • the exposure time of the two sensor pixels 111 (photodiodes PD) arranged in the left-right direction in the lower row Is set to "Middle" as shown in FIG.
  • the exposure time of the two sensor pixels 111 (photodiode PD) of each monochromatic sensor pixel group P1 in the lower left three-color sensor image group P2 included in each three-color sensor pixel group P3 is different from each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the one sensor pixel 111 (photodiode PD) are the same.
  • each single color sensor pixel group P1 in the upper right three color sensor image group P2 included in each three color sensor pixel group P3 the exposure time of the two sensor pixels 111 (photodiode PD) arranged vertically on the left side. Is set to "Long” as shown in FIG. Further, in each single color sensor pixel group P1 in the upper right three color sensor image group P2 included in each three color sensor pixel group P3, the exposure time of the two sensor pixels 111 (photodiode PD) arranged vertically on the right side. Is set to "Middle" as shown in FIG.
  • the exposure times of the two sensor pixels 111 (photodiodes PD) of the single-color sensor pixel group P1 in the upper-right three-color sensor image group P2 included in the three-color sensor pixel groups P3 are different from each other.
  • the exposure times of the plurality of sensor pixels 111 (photodiodes PD) are controlled so that the exposure times of the one sensor pixel 111 (photodiode PD) are the same.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the upper stage. It has the line ctlM.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the lower row in each of the uppermost and second uppermost single color sensor pixel groups P1 included in each three-color sensor pixel group P3. It has a ctlM and a pixel drive line ctlS.
  • the pixel drive line ctlL and the pixel drive line are provided at locations corresponding to the upper row. It has a ctlM and a pixel drive line ctlS.
  • the pixel array section 110 includes the pixel drive line ctlS and the pixel drive line at locations corresponding to the lower row in the third color sensor pixel group P1 and the single color sensor pixel group P1 in the third row and the bottom row included in each three color sensor pixel group P3. It has ctlM.
  • the image data Ia includes pixel data Sig of X rows ⁇ Y columns corresponding to the sensor pixels 111 of X rows ⁇ Y columns in the pixel array unit 110.
  • the exposure time is set to “Middle” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper left and lower right three-color sensor pixel groups P2.
  • One pixel data Sig3 corresponding to the sensor pixel 111 set to “” is included.
  • the exposure time is set to “short” for the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the lower left three-color sensor pixel group P2.
  • Two pixel data Sig2 corresponding to the two sensor pixels 111 and two pixel data Sig1 corresponding to the two sensor pixels 111 whose exposure time is set to “Middle” are included.
  • the exposure time is set to “Long” in the pixel data Sig of 2 rows ⁇ 2 columns corresponding to the upper right three-color sensor pixel group P2.
  • Two pixel data Sig3 corresponding to the two sensor pixels 111 and two pixel data Sig1 corresponding to the two sensor pixels 111 whose exposure time is set to “Middle” are included.
  • FIG. 49 shows an example of a signal processing procedure in the arithmetic circuit 20 in this modification.
  • the arithmetic circuit 20 generates HDR image data Ib based on the image data Ia obtained by the image sensor 10.
  • the arithmetic circuit 20 first decomposes the image data Ia for each exposure time (step S1301). Specifically, the arithmetic circuit 20 determines the image data Ia as data having an exposure time of “Middle” (image data Im) and data having an exposure time of “Long” (image data Il). , The exposure time is “short” data (image data Is).
  • the arithmetic circuit 20 generates the phase difference data Pd111, Pd112, Pd113, Pd114 based on the image data Im (step S1302). Specifically, the arithmetic circuit 20 causes the difference between two pixel data Sig1 corresponding to each single color sensor pixel group P1 included in the lower left three color sensor pixel group P2 of each three color sensor pixel group P3 in the image data Im. The value is derived, and the phase difference data Pd111 in the first direction (left-right direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig1 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group P2 at the upper right of each three-color sensor pixel group P3 in the image data Im. Then, the phase difference data Pd112 in the second direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value. Further, the arithmetic circuit 20 derives a difference value between two pixel data Sig2 corresponding to each monochromatic sensor pixel group P1 included in the three-color sensor pixel group P2 at the lower left of each three-color sensor pixel group P3 in the image data Is.
  • phase difference data Pd113 in the first direction (left-right direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 derives a difference value between two pixel data Sig3 corresponding to each monochromatic sensor pixel group P1 included in the three color sensor pixel group P2 on the upper right of each three color sensor pixel group P3 in the image data Il.
  • the phase difference data Pd114 in the second direction (vertical direction) on the light receiving surface 110A is generated from the derived difference value.
  • the arithmetic circuit 20 also generates the phase difference data Pd115 based on the image data Il and Im (step S1302). Specifically, the arithmetic circuit 20 obtains the image data Il and an image obtained by multiplying the image data Im by the exposure time ratio of the exposure time “Long” and the exposure time “Middle”. The difference value from the data Im′ is derived, and the phase difference data Pd115 is generated from the derived difference value. The arithmetic circuit 20 also generates the phase difference data Pd116 based on the image data Im and Is (step S1302).
  • the arithmetic circuit 20 stores the image data Im and the image data Is′ obtained by multiplying the image data Is by the exposure time ratio of the exposure time “Middle” and the exposure time “Short”.
  • the difference value is derived, and the phase difference data Pd116 is generated from the derived difference value.
  • the arithmetic circuit 20 generates the level data Da for the phase difference based on the phase difference data Pd111, Pd112, Pd113, Pd114 (step S1303).
  • the level data Da is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd111, Pd112, Pd113, and Pd114, a numerical value below a predetermined range to a lower limit value (for example, 0 bit).
  • the arithmetic circuit 20 converts, for example, in the phase difference data Pd111, Pd112, Pd113, Pd114, a numerical value exceeding a predetermined range into an upper limit value (for example, 128 bits). For example, the arithmetic circuit 20 converts a numerical value within a predetermined range in the phase difference data Pd111, Pd112, Pd113, and Pd114 into a value within a range of 1 bit to 127 bits according to the size of the numerical value. ..
  • the arithmetic circuit 20 converts the phase difference data Pd115 and Pd116 into level data Db for the moving body (step S1304).
  • the level data Db is, for example, data represented by a value within a range from a lower limit value (for example, 0 bit) to an upper limit value (for example, 128 bit).
  • the arithmetic circuit 20 generates level data Db based on the noise level data (noise data) of the image sensor 10 and the phase difference data Pd115 and Pd116.
  • the arithmetic circuit 20 detects a portion having a large phase difference from the obtained level data Da (step S1305). Further, the arithmetic circuit 20 detects the presence or absence of a moving body from the obtained level data Db (step S1306). Finally, the arithmetic circuit 20 generates the HDR image data Ib from the image data Im, Il, Is, the presence/absence of a phase difference, and the presence/absence of a moving object (step S1307). In this way, the HDR image data Ib is generated.
  • the pixel array unit 110 is configured to obtain phase difference data in two directions for each color. This makes it possible to determine the presence/absence of a phase difference and the presence/absence of a moving body in each of the two directions for each color.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 50 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as the functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjustment and a control device such as a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the information inside or outside the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes a function of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 51 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper portion of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire images in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the front images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 51 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which travels in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as a preceding vehicle by determining it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for collision avoidance by outputting an alarm to the driver and by performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera and a pattern matching process on a series of feature points indicating the contour of an object are performed to determine whether the pedestrian is a pedestrian. Is performed by the procedure for determining.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon indicating a pedestrian or the like at a desired position.
  • the above has described an example of the mobile control system to which the technology according to the present disclosure can be applied.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the image pickup device 1 according to the above-described embodiment and its modification can be applied to the image pickup unit 12031.
  • the technique according to the present disclosure to the image capturing unit 12031, a high-definition captured image with less noise can be obtained, and thus a highly accurate control using the captured image can be performed in the mobile body control system.
  • FIG. 52 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure (the present technology) can be applied.
  • FIG. 52 illustrates a situation in which an operator (doctor) 11131 is operating on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as a pneumoperitoneum tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 is composed of a lens barrel 11101 into which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having the rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. It is irradiated toward the observation target in the body cavity of the patient 11132 via the lens.
  • the endoscope 11100 may be a direct-viewing endoscope, or may be a perspective or side-viewing endoscope.
  • An optical system and an image pickup device are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is condensed on the image pickup device by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to the camera control unit (CCU: Camera Control Unit) 11201 as RAW data.
  • the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 11100 and the display device 11202 in a centralized manner. Further, the CCU 11201 receives the image signal from the camera head 11102, and performs various image processing such as development processing (demosaic processing) on the image signal for displaying an image based on the image signal.
  • image processing such as development processing (demosaic processing)
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various kinds of information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for cauterization of tissue, incision, sealing of blood vessel, or the like.
  • the pneumoperitoneum device 11206 is used to inflate the body cavity of the patient 11132 through the pneumoperitoneum tube 11111 in order to inflate the body cavity of the patient 11132 for the purpose of securing the visual field by the endoscope 11100 and the working space of the operator.
  • the recorder 11207 is a device capable of recording various information regarding surgery.
  • the printer 11208 is a device that can print various types of information regarding surgery in various formats such as text, images, or graphs.
  • the light source device 11203 that supplies the endoscope 11100 with irradiation light when imaging a surgical site can be configured by, for example, an LED, a laser light source, or a white light source configured by a combination thereof.
  • a white light source is formed by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is time-divisionally irradiated to the observation target, and the drive of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing to correspond to each of RGB. It is also possible to take the captured image in a time division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronism with the timing of changing the intensity of the light to acquire an image in a time-division manner and synthesizing the images, a high dynamic image without so-called blackout and overexposure Images of the range can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of absorption of light in body tissues, by irradiating a narrow band of light as compared with irradiation light (that is, white light) in normal observation, the mucosal surface layer
  • the so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation in which an image is obtained by the fluorescence generated by irradiating the excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected.
  • the excitation light corresponding to the fluorescence wavelength of the reagent can be irradiated to obtain a fluorescence image or the like.
  • the light source device 11203 may be configured to be able to supply the narrow band light and/or the excitation light corresponding to such special light observation.
  • FIG. 53 is a block diagram showing an example of the functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at the connecting portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 includes an image pickup element.
  • the number of image pickup elements forming the image pickup unit 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
  • image signals corresponding to R, G, and B may be generated by the respective image pickup elements, and these may be combined to obtain a color image.
  • the image capturing unit 11402 may be configured to have a pair of image capturing elements for respectively acquiring the image signals for the right eye and the left eye corresponding to 3D (Dimensional) display.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the operation site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the image pickup unit 11402 does not necessarily have to be provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Accordingly, the magnification and focus of the image captured by the image capturing unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting/receiving various information to/from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the driving of the camera head 11102 from the CCU 11201, and supplies it to the camera head control unit 11405.
  • the control signal includes, for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of capturing, and/or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the image capturing conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Auto Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls the driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives the image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal that is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls regarding imaging of a surgical site or the like by the endoscope 11100 and display of a captured image obtained by imaging the surgical site or the like. For example, the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
  • the control unit 11413 also causes the display device 11202 to display a captured image of the surgical site or the like based on the image signal subjected to the image processing by the image processing unit 11412. At this time, the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects a surgical instrument such as forceps, a specific body part, bleeding, and a mist when the energy treatment instrument 11112 is used by detecting the shape and color of the edge of the object included in the captured image. Can be recognized. When displaying the captured image on the display device 11202, the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operation unit. By displaying the surgery support information in a superimposed manner and presenting it to the operator 11131, the burden on the operator 11131 can be reduced, and the operator 11131 can reliably proceed with the surgery.
  • a surgical instrument such as forceps, a specific body part, bleeding, and a mist when
  • the transmission cable 11400 that connects the camera head 11102 and the CCU 11201 is an electric signal cable compatible with electric signal communication, an optical fiber compatible with optical communication, or a composite cable of these.
  • wired communication is performed using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the example of the endoscopic surgery system to which the technology according to the present disclosure can be applied has been described above.
  • the technology according to the present disclosure can be suitably applied to the imaging unit 11402 provided in the camera head 11102 of the endoscope 11100 among the configurations described above.
  • the image capturing unit 11402 can be downsized or high-definition, and thus a compact or high-definition endoscope 11100 can be provided.
  • a plurality of pixels each including a photoelectric conversion element, arranged in a matrix on the light receiving surface, A plurality of light receiving lenses provided one for each of the plurality of pixels in the plurality of pixels;
  • a control unit that controls the exposure time of the plurality of pixels, Of the plurality of pixels corresponding to each of the light receiving lenses, at least two of the pixels have the same exposure time, and at least two of the plurality of pixels of each of the plurality of pixels corresponding to each of the light receiving lenses.
  • An imaging device that controls the exposure times of the plurality of pixels such that the exposure times of the pixels are different from each other.
  • the image pickup according to (1) further including a plurality of Bayer array color filters provided for each of the first pixel groups when the plurality of pixels corresponding to each of the light receiving lenses are a first pixel group. apparatus.
  • the control unit has the same exposure time of two pixels, and the three pixels of the plurality of pixels of each of the plurality of pixels corresponding to each of the light receiving lenses.
  • the image pickup apparatus according to (2) wherein the exposure times of the plurality of pixels are controlled so that the exposure times of the pixels are different.
  • the control unit exposes the two pixels on the light-receiving surface, which are arranged in an upward right direction, a downward right direction, a horizontal direction, or a vertical direction.
  • the imaging device according to (3) wherein the exposure times of the plurality of pixels are controlled so that the times are the same.
  • the controller is configured to operate in the first direction in the first first pixel group included in each of the second pixel groups. And the exposure times of the two pixels arranged in the second direction in the second first pixel group included in each of the second pixel groups are the same.
  • the image pickup apparatus wherein the exposure times of the plurality of pixels are controlled so that the same values are obtained.
  • (6) When the plurality of first pixel groups of 2 rows ⁇ 2 columns are the second pixel groups and the second pixel groups of 2 rows ⁇ 2 columns are the third pixel groups, each of the three In the first second pixel group included in the pixel group, the exposure times of the two pixels arranged in the first direction are the same, and the second second pixel included in each of the third pixel groups. In the group, the exposure times of the two pixels arranged in the second direction are the same, and further, the third second pixel groups included in each of the third pixel groups are arranged in the third direction.
  • the controller is configured to operate in the first direction in the first first pixel group included in each of the second pixel groups.
  • the two pixels arranged in the same direction have the same exposure time
  • the two pixels arranged in the second direction have the same exposure time
  • the second pixels included in each of the second pixel groups have the same exposure time.
  • the two pixels arranged in the first direction have the same exposure time
  • the two pixels arranged in the second direction have the same exposure time.
  • the imaging device wherein the exposure time of the plurality of pixels is controlled.
  • the controller is configured to operate in the first direction in the first first pixel group included in each of the second pixel groups.
  • the two pixels arranged in the same direction have the same exposure time, and the two pixels arranged in the first direction and different from the two pixels arranged in the first direction have the same exposure time.
  • the exposure times of the two pixels arranged in the second direction become the same, and the pixels are arranged in the second direction.
  • the image pickup apparatus wherein the exposure times of the plurality of pixels are controlled so that the exposure times of the two pixels different from the two pixels arranged in the second direction are the same.
  • the plurality of first pixel groups of 2 rows ⁇ 2 columns are the second pixel groups and the second pixel groups of 2 rows ⁇ 2 columns are the third pixel groups, each of the three
  • the exposure times of the plurality of pixels are controlled so that the exposure times of the pixels are the same in one of the first pixel groups included in the pixel group.
  • each of the three The imaging device according to (2) wherein the exposure times of the plurality of pixels are controlled so that the exposure times of the respective pixels are the same in one second pixel group included in the pixel group.
  • (11) When the plurality of first pixel groups of 2 rows ⁇ 2 columns are the second pixel groups and the second pixel groups of 2 rows ⁇ 2 columns are the third pixel groups, each of the three The imaging device according to (2), wherein in each of the second pixel groups included in the pixel group, the exposure times of the plurality of pixels are controlled so that the exposure times of the pixels are the same.
  • the exposure time of the plurality of pixels is controlled so that the exposure times of the two pixels arranged in the second direction are the same.
  • each of the first pixel groups in the second pixel group the exposure time of the plurality of pixels is controlled so that the exposure times of the two pixels arranged in the third direction are the same.
  • Imaging device When the plurality of first pixel groups of 2 rows ⁇ 2 columns are the second pixel groups and the second pixel groups of 2 rows ⁇ 2 columns are the third pixel groups, each of the three In each of the first pixel groups in the first second pixel group included in the pixel group, the exposure times of the two pixels arranged in the first direction are the same, and the two pixels arranged in the second direction are the same.
  • the exposure times of the pixels are the same, and the exposure times of the two pixels arranged in the first direction in each of the first pixel groups in the second of the second pixel groups included in each of the third pixel groups
  • the exposure time of the plurality of pixels is controlled so that the exposure times of the two pixels arrayed in the second direction become the same as each other.
  • the exposure times of the two pixels different from the two pixels arranged in the first direction are the same, and further, the exposure times of the second second pixel groups included in the third pixel groups are the same.
  • the two pixels arranged in the second direction have the same exposure time and are different from the two pixels arranged in the second direction and arranged in the second direction.
  • the imaging device according to (2) wherein the exposure times of the plurality of pixels are controlled so that the exposure times of the two pixels are the same.
  • an imaging device including a plurality of pixels each including a photoelectric conversion element and arranged in a matrix on a light-receiving surface, and a plurality of light-receiving lenses provided for each of the plurality of pixels in the plurality of pixels
  • a signal processing method Of the plurality of pixels corresponding to each of the light receiving lenses, at least two of the pixels have the same exposure time, and at least two of the pixels of the plurality of pixels of each of the light receiving lenses have an exposure time. Controlling the exposure time of the plurality of pixels so that From the image data obtained by controlling the exposure time, phase difference data is generated for each exposure time, and HDR (High) is calculated from the plurality of phase difference data having different exposure times and the plurality of image data having different exposure times. Dynamic Range) Signal processing method including generating an image.
  • the phase difference data is obtained for each exposure time from the image data obtained by the exposure control by the control unit. Since it is possible to generate an HDR image from a plurality of phase difference data having different exposure times and a plurality of image data having different exposure times, it is possible to generate an image quality such as color loss, coloring, and double contour. It is possible to suppress deterioration. As a result, it is possible to suppress image quality deterioration of the HDR image. Note that the effect of the present technology is not necessarily limited to the effect described here, and may be any effect described in the present specification.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本開示の一実施の形態に係る撮像装置は、各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、複数の画素における複数の画素ごとに１つずつ設けられた複数の受光レンズと、複数の画素の露光時間を制御する制御部とを備えている。制御部は、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間を制御する。

Description

信号処理方法および撮像装置
　本開示は、信号処理方法および撮像装置に関する。
　適正露出により得られる画像よりもダイナミックレンジの広いＨＤＲ（High Dynamic Range）画像を生成する撮像装置が知られている（例えば特許文献１参照）。
特開２０１５－２０１８３４号公報
　ところで、ＨＤＲ画像では、色抜けや、色付き、二重輪郭などの画質劣化が生じることがある。従って、ＨＤＲ画像の画質劣化を抑制することの可能な信号処理方法および撮像装置を提供することが望ましい。
　本開示の第１の側面である撮像装置は、各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、複数の画素における複数の画素ごとに１つずつ設けられた複数の受光レンズと、複数の画素の露光時間を制御する制御部とを備えている。制御部は、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間を制御する。
　本開示の第１の側面である撮像装置では、受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間が制御される。これにより、例えば、制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することができる。
　本開示の第２の側面である信号処理方法は、各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、複数の画素における複数の画素ごとに１つずつ設けられた複数の受光レンズとを備えた撮像装置における信号処理方法であって、以下の２つを含む。
（１）各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間を制御すること
（２）露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成すること
　本開示の第２の側面である信号処理方法では、受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が同じになるとともに、各受光レンズに対応する複数の画素のうち、少なくとも２つの画素の露光時間が互いに異なるように、複数の画素の露光時間が制御される。これにより、露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成することができる。
本開示の一実施の形態に係る撮像装置の概略構成の一例を表す図である。 図１の撮像素子の概略構成の一例を表す図である。 図１のセンサ画素の回路構成一例を表す図である。 図２の画素アレイ部の構成例を表す図である。 図２の画素アレイ部の構成例を表す図である。 図２の画素アレイ部の構成例を表す図である。 図２の画素アレイ部の構成例を表す図である。 図１の撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図１の撮像装置における撮像手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図１２の画素アレイ部の配線レイアウトの一例を表す図である。 図１２の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図１２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図１６の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図１８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２０の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２４の画素アレイ部の配線レイアウトの一例を表す図である。 図２４の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図２７の画素アレイ部の配線レイアウトの一例を表す図である。 図２４～図２８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図３０の画素アレイ部の配線レイアウトの一例を表す図である。 図３０の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図３０の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図３４の画素アレイ部の配線レイアウトの一例を表す図である。 図３４の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図３４の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図３８の画素アレイ部の配線レイアウトの一例を表す図である。 図３８の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図３８の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図４２の画素アレイ部の配線レイアウトの一例を表す図である。 図４２の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図４２の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 図２の画素アレイ部の構成の一変形例を表す図である。 図４６の画素アレイ部の配線レイアウトの一例を表す図である。 図４６の画素アレイ部で検出可能な位相差の方向の一例を表す図である。 図４６の画素アレイ部を備えた撮像装置におけるＨＤＲ画像の生成手順の一例を表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（撮像装置）…図１～図９
２．変形例（撮像装置）…図１０～図４９
３．応用例
　　　　移動体への応用例…図５０、図５１
　　　　内視鏡手術システムへの応用例…図５２、図５３
＜１．実施の形態＞
[構成]
　本開示の一実施の形態に係る撮像装置１について説明する。図１は、撮像装置１の概略構成の一例を表したものである。撮像装置１は、例えば、デジタルスチルカメラや、ビデオカメラ、スマートフォン、タブレット型端末等の電子機器である。撮像装置１は、撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０、操作部６０、電源部７０および光学系８０を備えている。撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０、操作部６０および電源部７０は、バスラインＬを介して相互に接続されている。
　光学系８０は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を撮像素子１０に導き、撮像素子１０の受光面に結像させる。撮像素子１０は、光学系８０を介して受光面に結像される光に応じた画素信号（画像データ）を出力する。撮像素子１０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０の内部構成については、後に詳述する。演算部２０は、撮像素子１０から出力される画素信号（画像データ）を処理する信号処理回路である。演算部２０は、画素信号（画像データ）に基づいて、ＨＤＲ画像を生成する。演算部２０における信号処理手順については、後に詳述する。
　フレームメモリ３０は、演算部２０による信号処理によって得られた画像データ（例えば、ＨＤＲ画像データ）を、フレーム単位で一時的に保持する。表示部４０は、例えば、液晶パネルや有機EL（Electro Luminescence）パネル等のパネル型表示装置からなり、撮像素子１０で撮像された動画又は静止画を表示する。記憶部５０は、撮像素子１０で撮像された動画又は静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。操作部６０は、ユーザによる操作に従い、撮像装置１が有する各種の機能についての操作指令を発する。操作部６０は、例えば、ユーザによる撮像指示に従い、撮像素子１０の転送動作を制御する駆動信号を出力して、撮像素子１０を駆動する。電源部７０は、撮像素子１０、演算部２０、フレームメモリ３０、表示部４０、記憶部５０および操作部６０の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　次に、撮像素子１０について説明する。図２は、撮像素子１０の概略構成の一例を表したものである。撮像素子１０は、光電変換素子を含む複数のセンサ画素１１１が行列状（マトリックス状）に２次元配置されてなる画素アレイ部１１０を備えている。センサ画素１１１は、例えば、図３に示したように、光電変換を行う画素回路１１２と、画素回路１１２から出力された電荷に基づく画素信号を出力する読み出し回路１１３とによって構成されている。
　画素回路１１２は、例えば、フォトダイオードＰＤと、フォトダイオードＰＤと電気的に接続された転送トランジスタＴＲと、転送トランジスタＴＲを介してフォトダイオードＰＤから出力された電荷を一時的に保持するフローティングディフュージョンＦＤとを有している。フォトダイオードＰＤは、光電変換を行って受光量に応じた電荷を発生する。フォトダイオードＰＤのカソードが転送トランジスタＴＲのソースに接続されており、フォトダイオードＰＤのアノードが基準電位線（例えばグラウンド）に接続されている。転送トランジスタＴＲのドレインがフローティングディフュージョンＦＤに接続され、転送トランジスタＴＲのゲートは画素駆動線ｃｔｌ１に接続されている。
　各画素回路１１２において、フローティングディフュージョンＦＤは、対応する読み出し回路１１３の入力端に接続されている。読み出し回路１１３は、例えば、リセットトランジスタＲＳＴと、選択トランジスタＳＥＬと、増幅トランジスタＡＭＰとを有している。リセットトランジスタＲＳＴのソース（読み出し回路１１３の入力端）がフローティングディフュージョンＦＤに接続されており、リセットトランジスタＲＳＴのドレインが電源線ＶＤＤおよび増幅トランジスタＡＭＰのドレインに接続されている。リセットトランジスタＲＳＴのゲートは画素駆動線ｃｔｌ２に接続されている。増幅トランジスタＡＭＰのソースが選択トランジスタＳＥＬのドレインに接続されており、増幅トランジスタＡＭＰのゲートがリセットトランジスタＲＳＴのソースに接続されている。選択トランジスタＳＥＬのソース（読み出し回路１１３の出力端）が垂直信号線ｖｓｌに接続されており、選択トランジスタＳＥＬのゲートが画素駆動線ｃｔｌ３に接続されている。
　転送トランジスタＴＲは、転送トランジスタＴＲがオン状態となると、フォトダイオードＰＤの電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤの電位を所定の電位にリセットする。リセットトランジスタＲＳＴがオン状態となると、フローティングディフュージョンＦＤの電位を電源線ＶＤＤの電位にリセットする。選択トランジスタＳＥＬは、読み出し回路１１３からの画素信号の出力タイミングを制御する。増幅トランジスタＡＭＰは、画素信号として、フローティングディフュージョンＦＤに保持された電荷のレベルに応じた電圧の信号を生成する。つまり、増幅トランジスタＡＭＰは、画素信号として、センサ画素１１１における受光量の応じた電圧の信号を生成する。増幅トランジスタＡＭＰは、ソースフォロア型のアンプを構成しており、フォトダイオードＰＤで発生した電荷のレベルに応じた電圧の画素信号を出力する。増幅トランジスタＡＭＰは、選択トランジスタＳＥＬがオン状態となると、フローティングディフュージョンＦＤの電位を増幅して、その電位に応じた電圧を、垂直信号線ｖｓｌを介してカラム信号処理回路１２２（後述）に出力する。
　なお、選択トランジスタＳＥＬが、電源線ＶＤＤと増幅トランジスタＡＭＰとの間に設けられていてもよい。この場合、リセットトランジスタＲＳＴのドレインが電源線ＶＤＤおよび選択トランジスタＳＥＬのドレインに接続されている。選択トランジスタＳＥＬのソースが増幅トランジスタＡＭＰのドレインに接続されており、選択トランジスタＳＥＬのゲートが画素駆動線ｃｔｌ３に接続されている。増幅トランジスタＡＭＰのソース（読み出し回路１１３の出力端）が垂直信号線ｖｓｌに接続されており、増幅トランジスタＡＭＰのゲートがリセットトランジスタＲＳＴのソースに接続されている。
　撮像素子１０は、さらに、画素信号を処理するロジック回路１２０を備えている。ロジック回路１２０は、例えば、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３およびシステム制御回路１２４を有している。ロジック回路１２０は、センサ画素１１１ごとのデジタル値を外部に出力する。
　システム制御回路１２４は、マスタークロックに基づいて、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３などの動作の基準となるクロック信号や制御信号などを生成し、垂直駆動回路１２１、カラム信号処理回路１２２、水平駆動回路１２３などに対して与える。垂直駆動回路１２１は、例えば、シフトレジスタなどによって構成され、複数の画素駆動線ｃｔｌ（例えば、ｃｔｌ１，ｃｔｌ２，ｃｔｌ３，ｃｔｌＭ（後述），ｃｔｌＬ（後述），ｃｔｌＳ（後述））を介して、複数のセンサ画素１１１の行走査の制御を行う。
　カラム信号処理回路１２２は、例えば、垂直駆動回路１２１によって選択された行の各センサ画素１１１から出力される画素信号に対して、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）処理を施す。カラム信号処理回路１２２は、例えば、ＣＤＳ処理を施すことにより、画素信号の信号レベルを抽出し、各センサ画素１１１の受光量に応じた画素データを保持する。カラム信号処理回路１２２は、例えば、垂直信号線ｖｓｌ毎に１つずつ設けられた複数のＡＤＣ（アナログ－デジタル変換回路）を有している。ＡＤＣは、例えば、各センサ画素１１１から列毎に出力されるアナログの画素信号をデジタル信号に変換して出力する。ＡＤＣは、例えば、ランプ波形の電圧（ランプ電圧）とカウンタ値が一対一の対応を取りながら変化することで垂直信号線ｖｓｌの電位（アナログ信号）をデジタル信号に変換する。ＡＤＣは、例えば、ランプ電圧の変化を時間の変化に変換するものであり、その時間をある周期（クロック）で数えることでデジタル値に変換する。
　水平駆動回路１２３は、シフトレジスタなどによって構成され、カラム信号処理回路１２２におけるＡＤＣの列アドレスや列走査の制御を行う。この水平駆動回路１２３による制御の下に、ＡＤＣの各々でＡＤ変換されたＮビットのデジタル信号は順に水平出力線に読み出され、当該水平出力線を経由して撮像データとして出力される。
　次に、画素アレイ部１１０について説明する。
　図４は、画素アレイ部１１０の構成例を表したものである。画素アレイ部１１０は、受光面１１０Ａに複数のカラーフィルタＣＦおよび複数の受光レンズＯＣＬを有している。複数のカラーフィルタＣＦは、２行×２列（つまり４つ）のセンサ画素１１１（フォトダイオードＰＤ）ごとに１つずつ設けられている。複数の受光レンズＯＣＬは、カラーフィルタＣＦごとに１つずつ設けられている。つまり、複数の受光レンズＯＣＬも、２行×２列（つまり４つ）のセンサ画素１１１ごとに１つずつ設けられている。これにより、各受光レンズＯＣＬに入射した光は、受光レンズＯＣＬによって集光され、対応するカラーフィルタＣＦを透過した後、対応する２行×２列のセンサ画素１１１に入射する。なお、以下では、受光レンズＯＣＬに対応する２行×２列のセンサ画素１１１を、単色センサ画素群Ｐ１と称する。
　複数のカラーフィルタＣＦは、赤色の波長域の光を透過する複数のカラーフィルタＣＦｒと、緑色の波長域の光を透過する複数のカラーフィルタＣＦｇと、青色の波長域の光を透過する複数のカラーフィルタＣＦｂとにより構成されている。複数のカラーフィルタＣＦは、受光面においてベイヤー配列となっている。複数のカラーフィルタＣＦが受光面においてベイヤー配列となっていることにより、位相差データを行方向および列方向において周期的に取得することが可能となる。カラーフィルタＣＦｒ、カラーフィルタＣＦｇ、カラーフィルタＣＦｂが、１：２：１の比率で受光面１１０Ａに配置されている。なお、以下では、ベイヤー配列における２行×２列の単色センサ画素群Ｐ１を３色センサ画素群Ｐ２と称する。
　各センサ画素１１１（フォトダイオードＰＤ）の露光時間は、システム制御回路１２４によって制御される。図４には、システム制御回路１２４によって制御されたときの各センサ画素１１１の露光時間の一例が示されている。図４によると、単色センサ画素群Ｐ１において、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“短(Short)”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。つまり、単色センサ画素群Ｐ１には、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４に示したように“長(Long)”に設定される。
　また、例えば、図４に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。
　システム制御回路１２４は、画素駆動線ｃｔｌＭに対して、露光時間が“中（Middle）”となるように制御信号を出力することにより、画素駆動線ｃｔｌＭに接続された各センサ画素１１１の露光時間を“中（Middle）”に制御する。システム制御回路１２４は、画素駆動線ｃｔｌＳに対して、露光時間が“短(Short)”となるように制御信号を出力することにより、画素駆動線ｃｔｌＳに接続された各センサ画素１１１の露光時間を“短(Short)”に制御する。システム制御回路１２４は、画素駆動線ｃｔｌＬに対して、露光時間が“長(Long)”となるように制御信号を出力することにより、画素駆動線ｃｔｌＬに接続された各センサ画素１１１の露光時間を“長(Long)”に制御する。このように、システム制御回路１２４は、センサ画素１１１ごとに露光時間の制御を行う。撮像素子１０は、そのような制御の下で得られた画像データＩａを出力する。
　画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　従って、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が互いに同じ２つの画素データＳｉｇ１が含まれている。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて右肩上がりの方向の位相差を得ることが可能である。以上のことから、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（右肩上がりの方向）の位相差データが得られるように構成されていることがわかる。
　なお、各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図５に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。
　このとき、例えば、図５に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。
　この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて右肩下がりの方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（右肩下がりの方向）の位相差データが得られるように構成されていることがわかる。
　また、各単色センサ画素群Ｐ１において、左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図６に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。図６には、各単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される場合が例示されている。
　このとき、例えば、図６に示したように、露光時間が“中（Middle）”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＭが接続される。つまり、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。露光時間が“短(Short)”に設定される各センサ画素１１１には画素駆動線ｃｔｌＳが接続される。つまり、画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。露光時間が“長(Long)”に設定されるセンサ画素１１１には画素駆動線ｃｔｌＬが接続される。つまり、画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。
　この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて左右方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（左右方向）の位相差データが得られるように構成されていることがわかる。
　なお、単色センサ画素群Ｐ１において、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されていてもよい。この場合、単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。
　この場合にも、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて左右方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（左右方向）の位相差データが得られるように構成されていることがわかる。
　また、各単色センサ画素群Ｐ１において、上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図７に示したように“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐ１において、上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。図７には、単色センサ画素群Ｐ１において、左側の２つのフォトダイオードＰＤの露光時間が“中（Middle）”に設定され、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される場合が例示されている。
　各単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち上段の露光時間が“長(Long)”に設定され、下段の露光時間が“短(Short)”に設定されるとする。この場合、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。
　また、各単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち上段の露光時間が“短(Short)”に設定され、下段の露光時間が“長(Long)”に設定されるとする。この場合、単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐ１の右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐ１の右下のセンサ画素１１１に接続される。画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有し、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。
　この場合、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて上下方向の位相差を得ることが可能である。この場合、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（上下方向）の位相差データが得られるように構成されていることがわかる。
　なお、単色センサ画素群Ｐ１において、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。この場合、単色センサ画素群Ｐ１において、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“短(Short)”に設定され、他方の露光時間が“長(Long)”に設定される。この場合にも、Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇにおいて、露光時間が互いに同じ２つの画素データＳｉｇ１の差分を取ることにより、受光面１１０Ａにおいて上下方向の位相差を得ることが可能である。この場合にも、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向（上下方向）の位相差データが得られるように構成されていることがわかる。
　次に、演算回路２０について説明する。
　図８は、演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から位相差データＰｄ１を生成する。また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ２を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ２を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ３を生成する（ステップＳ１０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ３を生成する。
　次に、演算回路２０は、位相差データＰｄ１を位相差についてのレベルデータＤａに変換する（ステップＳ１０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ２，Ｐｄ３を動体についてのレベルデータＤｂに変換する（ステップＳ１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ２，Ｐｄ３とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　次に、撮像装置１における撮像手順について説明する。
　図９は、撮像装置１における撮像動作のフローチャートの一例を表す。ユーザは、操作部６０を操作することにより、撮像装置１に対して撮像開始を指示する（ステップＳ２０１）。すると、操作部６０は、撮像指令を撮像素子１０に送信する（ステップＳ２０２）。撮像素子１０（具体的にはシステム制御回路１２４）は、撮像指令を受けると、所定の撮像方式での撮像を実行する（ステップＳ２０３）。
　システム制御回路１２４は、例えば、画素駆動線ｃｔｌＭに接続された各センサ画素１１１に対して、露光時間が“中（Middle）”となるように露光制御を行う。システム制御回路１２４は、例えば、さらに、画素駆動線ｃｔｌＳに接続された各センサ画素１１１に対して、露光時間が“短(Short)”となるように露光制御を行う。システム制御回路１２４は、例えば、さらに、画素駆動線ｃｔｌＬに接続された各センサ画素１１１に対して、露光時間が“長(Long)” となるように露光制御を行う。このように、システム制御回路１２４は、センサ画素１１１ごとに露光時間の制御を行う。撮像素子１０は、そのような制御の下で得られた、画素数がＸ行×Ｙ列の画像データＩａを演算回路２０に出力する。
　演算回路２０は、撮像素子１０から入力された画像データＩａに基づいて所定の信号処理（例えばＨＤＲ画像データＩｂの生成など）を行う（ステップＳ２０４）。演算回路２０は、所定の信号処理により得られた画像データ（例えばＨＤＲ画像データＩｂ）をフレームメモリ３０に保持し、フレームメモリ３０は、保持した画像データ（例えばＨＤＲ画像データＩｂ）を記憶部５０に記録する（ステップＳ２０５）。このようにして、撮像装置１における撮像が行われる。
[効果]
　次に、本実施の形態に係る撮像装置１の効果について説明する。
　本実施の形態では、撮像素子１０は、一方向（右肩上がりの方向、右肩下がりの方向、左右方向、または、上下方向）の位相差データが得られるように構成されている。これにより、一方向において、位相差の有無と、動体の有無とを判別することができる。
＜２．変形例＞
　以下に、上記実施の形態に係る撮像素子１の変形例について説明する。
[[変形例Ａ]]
　上記実施の形態では、画素アレイ部１１０は、各単色センサ画素群Ｐ１から、一方向の位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、二方向の位相差データが得られるように構成されていてもよい。
　図１０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、一方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐａ」と称する。）も、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐ２において、他方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｂ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている
　具体的には、各単色センサ画素群Ｐａにおいて、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐａにおいて、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐａにおいて、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐａにおいて、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“長(Long)”に設定される。
　具体的には、各単色センサ画素群Ｐｂにおいて、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｂにおいて、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｂにおいて、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“短(Short)”に設定される。また、各単色センサ画素群Ｐｂにおいて、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１０に示したように“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各単色センサ画素群Ｐｂのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの右上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐａの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの左上のセンサ画素１１１に接続される。
　単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。
　ここで、画素アレイ部１１０は、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。これにより、二方向（右肩上がりの方向および右肩下がりの方向）において、位相差の有無と、動体の有無とを判別することができる。
　なお、各３色センサ画素群Ｐ２において、単色センサ画素群Ｐａが右上に配置され、単色センサ画素群Ｐｂが左下に配置されてもよい。また、各３色センサ画素群Ｐ２において、単色センサ画素群Ｐａが左下に配置され、単色センサ画素群Ｐｂが右上に配置されてもよい。また、複数の単色センサ画素群Ｐａと、複数の単色センサ画素群Ｐｂとが、受光面１１０Ａ内の二方向（右肩上がりの方向および右肩下がりの方向）において、交互に配置されてもよい。
　本変形例において、画素アレイ部１１０は、例えば、図１１に示したように、各３色センサ画素群Ｐ２から、左右方向および上下方向の位相差データが得られるように構成されていてもよい。このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ２において、一方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｃ」と称する。）から、左右方向の位相差データが得られるように構成されていてもよい。さらに、画素アレイ部１１０は、各３色センサ画素群Ｐ２において、他方のカラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｄ」と称する。）から、上下方向の位相差データが得られるように構成されていてもよい。
　ここで、各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１１に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｃにおいて、図１１に示したように、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される。
　また、各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１１に示したように“中（Middle）”に設定される。つまり、各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｄにおいて、図１１に示したように、右上に配置されるセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される。
　単色センサ画素群Ｐｃに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｃの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｃの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｃの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｃの左下のセンサ画素１１１に接続される。
　単色センサ画素群Ｐｄに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｄの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｄの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｄの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｄの右上のセンサ画素１１１に接続される。
　なお、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。また、各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。つまり、各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定されてもよい。
　各単色センサ画素群Ｐｃにおいて、上段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｃの上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有し、各単色センサ画素群Ｐｃの下段に対応する箇所に、画素駆動線ｃｔｌＳおよびを画素駆動線ｃｔｌＬ有している。一方、各単色センサ画素群Ｐｃにおいて、下段に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｃの下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有し、各単色センサ画素群Ｐｃの上段に対応する箇所に、画素駆動線ｃｔｌＳおよびを画素駆動線ｃｔｌＬ有している。
　各単色センサ画素群Ｐｄにおいて、左側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｄの上段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有するとともに、各単色センサ画素群Ｐｄの下段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有している。各単色センサ画素群Ｐｄにおいて、右側に配置される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｄの上段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有するとともに、各単色センサ画素群Ｐｄの下段に対応する箇所に、１本の画素駆動線ｃｔｌＭを有している。
　このように、本変形例では、撮像素子１０は、二方向（左右方向および上下方向）の位相差データが得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｂ]]
　上記変形例Ａでは、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、二方向の位相差データが得られるように構成されていた。しかし、上記変形例Ａにおいて、画素アレイ部１１０は、２行×２列の３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ３」と称する。）から、三方向の位相差データが得られるように構成されていてもよい。
　図１２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図１３は、図１２の画素アレイ部１１０の配線レイアウトの一例を表したものである。図１４は、図１２の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３から、右肩上がりの方向、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｈ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ３に含まれる左上および右下の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｅ」と称する。）も、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｆ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。さらに、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｇ」と称する。）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。
　具体的には、単色センサ画素群Ｐｆにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“中（Middle）”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。つまり、単色センサ画素群Ｐｆには、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｆのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　各単色センサ画素群Ｐｆにおいて、下段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“短(Short)”に設定される。つまり、各単色センサ画素群Ｐｆにおいて、下段に左右方向に配列された２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、互いに等しく設定される。また、各単色センサ画素群Ｐｆにおいて、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“中（Middle）”に設定される。また、各単色センサ画素群Ｐｆにおいて、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図１２に示したように、“長(Long)”に設定される。
　単色センサ画素群Ｐｆに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｆの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｆの右下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｆの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｆの左上のセンサ画素１１１に接続される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｆの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有している。
　なお、各単色センサ画素群Ｐｆにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が左上に配置され、露光時間が“長(Long)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右上に配置されてもよい。また、各単色センサ画素群Ｐｆにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）が、上段に配置され、かつ、左右方向に配列されてもよい。この場合、単色センサ画素群Ｐｆにおいて、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“中（Middle）”に設定され、他方の露光時間が“長(Long)”に設定される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｆの上段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。
　また、単色センサ画素群Ｐｇにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“中（Middle）”に設定され、残りの１つの露光時間が、“短(Short)”に設定される。つまり、単色センサ画素群Ｐｇには、露光時間の互いに異なる３種類のセンサ画素１１１（フォトダイオードＰＤ）が含まれ、さらに、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）が含まれる。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｇのうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　各単色センサ画素群Ｐｇにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、左側に配置され、かつ、上下方向に配列される。つまり、各単色センサ画素群Ｐｇにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、左側に配置され、かつ、上下方向に配列される。また、各単色センサ画素群Ｐｇにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、右上に配置される。また、各単色センサ画素群Ｐｇにおいて、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１２に示したように、右下に配置される。
　単色センサ画素群Ｐｇに割り当てられた２本の画素駆動線ｃｔｌＬのうち、一方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｇの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐｇの左下のセンサ画素１１１に接続される。画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｇの右上のセンサ画素１１１に接続される。画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｇの右下のセンサ画素１１１に接続される。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｇの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。
　なお、各単色センサ画素群Ｐｇにおいて、露光時間が“中（Middle）”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右下に配置され、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が右上に配置されてもよい。このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｇの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｆの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、各単色センサ画素群Ｐｇにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）が、右側に配置され、かつ、上下方向に配列されてもよい。この場合、単色センサ画素群Ｐｇにおいて、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）のうち一方の露光時間が“中（Middle）”に設定され、他方の露光時間が“短(Short)”に設定される。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｅに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｆに対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｇに対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図１５は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ３０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１１を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｅに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１１を生成する。また、画像データＩｓに基づいて位相差データＰｄ１２を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐｆに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ１２を生成する。また、画像データＩｌに基づいて位相差データＰｄ１３を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｇに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ１３を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１４を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１５を生成する（ステップＳ３０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１５を生成する。
　次に、演算回路２０は、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ３０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１，Ｐｄ１２，Ｐｄ１３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ１４，Ｐｄ１５を動体についてのレベルデータＤｂに変換する（ステップＳ１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１４，Ｐｄ１５とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ３０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ３０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ３０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　このように、本変形例では、撮像素子１０は、２行×２列の３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ３」と称する。）から、三方向の位相差データが得られるように構成されている。これにより、三方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｃ]]
　上記実施の形態およびその変形例では、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから一方向の位相差データが得られるように構成されていた。しかし、上記実施の形態およびその変形例において、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、二方向の位相差データが得られるように構成されていてもよい。
　図１６は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐｈ）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐａ，Ｐｂ）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。
　具体的には、各単色センサ画素群Ｐｂにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｂのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐｂにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。また、各単色センサ画素群Ｐｂにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりに配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりの方向にも配列される。
　単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。
　このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。ここで、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。
　また、各単色センサ画素群Ｐａにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐａのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐａにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩下がりの方向に配列される。また、各単色センサ画素群Ｐａにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりに配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１６に示したように、右肩上がりの方向にも配列される。
　単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＬのうち、一方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＬは、単色センサ画素群Ｐａの右下のセンサ画素１１１に接続される。単色センサ画素群Ｐａに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐａの右上のセンサ画素１１１に接続される。
　このとき、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。ここで、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図１７は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ４０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ２１を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐａ，Ｐｂに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ２１を生成する。また、画像データＩｓに基づいて位相差データＰｄ２２を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ２２を生成する。また、画像データＩｌに基づいて位相差データＰｄ２３を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ２３を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ２４を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ２４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ２５を生成する（ステップＳ４０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ２５を生成する。
　次に、演算回路２０は、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ４０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ２１，Ｐｄ２２，Ｐｄ２３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ２４，Ｐｄ２５を動体についてのレベルデータＤｂに変換する（ステップＳ４０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ２４，Ｐｄ２５とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ４０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ４０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ４０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、撮像素子１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、二方向の位相差データが得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｄ]]
　上記実施の形態およびその変形例では、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから一方向の位相差データが１つ得られるように構成されていた。しかし、上記実施の形態およびその変形例において、画素アレイ部１１０は、単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、一方向の位相差データが２つ得られるように構成されていてもよい。
　図１８は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ２から、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ２において、カラーフィルタＣＦｒ，ＣＦｂに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐｈ）は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。各３色センサ画素群Ｐ２において、各カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１（単色センサ画素群Ｐａ，Ｐｂ）は、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。
　具体的には、各単色センサ画素群Ｐｂにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐｂのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐｂにおいて、露光時間が“短(Short)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、上段に配置され、かつ左右方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、上段に配置され、かつ左右方向に配列される。また、各単色センサ画素群Ｐｂにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、下段に配置され、かつ左右方向に配列される。つまり、各単色センサ画素群Ｐｂにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、下段に配置され、かつ左右方向に配列される。
　単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＳのうち、一方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの左上のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＳは、単色センサ画素群Ｐｂの右上のセンサ画素１１１に接続される。単色センサ画素群Ｐｂに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの左下のセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｂの右下のセンサ画素１１１に接続される。
　このとき、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、２本の画素駆動線ｃｔｌＳを有し、各単色センサ画素群Ｐｂの下段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。ここで、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｂの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｂの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。
　なお、各単色センサ画素群Ｐｂにおいて、下段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定され、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。
　また、各単色センサ画素群Ｐａにおいて、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、単色センサ画素群Ｐａのうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。また、各単色センサ画素群Ｐａにおいて、露光時間が“長(Long)”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、左側に配置され、かつ上下方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、左側に配置され、かつ上下方向に配列される。また、各単色センサ画素群Ｐａにおいて、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、右側に配置され、かつ上下方向に配列される。つまり、各単色センサ画素群Ｐａにおいて、露光時間が互いに同じ２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図１８に示したように、右側に配置され、かつ上下方向に配列される。
　このとき、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。ここで、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐａの右隣または左隣りに配置される単色センサ画素群Ｐｈの上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐａの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　なお、各単色センサ画素群Ｐａにおいて、右側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、左側の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定されてもよい。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｈに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図１９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ５０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ３１，Ｐｄ３２を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ３１を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ３２を生成する。
　また、演算回路２０は、画像データＩｓに基づいて位相差データＰｄ３３を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｓにおいて、各単色センサ画素群Ｐａに対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ３３を生成する。また、画像データＩｌに基づいて位相差データＰｄ３４を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｌにおいて、各単色センサ画素群Ｐｂに対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ３４を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ３５を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ３５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ３６を生成する（ステップＳ５０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ３６を生成する。
　次に、演算回路２０は、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ５０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ３１，Ｐｄ３２，Ｐｄ３３，Ｐｄ３４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ３５，Ｐｄ３６を動体についてのレベルデータＤｂに変換する（ステップＳ５０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ３５，Ｐｄ３６とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ５０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ５０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ５０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、第１方向の位相差データが２つ得られるように構成され、単色センサ画素群Ｐｂに対応する２行×２列の画素データＳｉｇから、第２方向の位相差データが２つ得られるように構成されている。これにより、二方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｅ]]
　上記変形例Ｂでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３に対応する８行×８列の画素データＳｉｇから四方向の位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。
　図２０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐ１（以下、「単色センサ画素群Ｐｉ」）に対応する２行×２列の画素データＳｉｇから、右肩上がりの方向、右肩下がりの方向、左右方向および上下方向の位相差データが得られるように構成されている。単色センサ画素群Ｐｉは、カラーフィルタＣＦｇに対応する単色センサ画素群Ｐ１である。このとき、各３色センサ画素群Ｐ３において、単色センサ画素群Ｐｉを除く各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各単色センサ画素群Ｐｉは、上記実施の形態に係る単色センサ画素群Ｐ１とは異なる構成となっている。具体的には、各単色センサ画素群Ｐｉにおいて、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる単色センサ画素群Ｐｉにおいて、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　単色センサ画素群Ｐｉに割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｉの上段の２つのセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐｉの下段の２つのセンサ画素１１１に接続される。
　ここで、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの上段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。また、単色センサ画素群Ｐｉの右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各単色センサ画素群Ｐｉの下段に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｄを除く各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、単色センサ画素群Ｐｄに対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。
　次に、本変形例における演算回路２０について説明する。
　図２１は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ６０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ４１を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ４２を生成する。
　演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ４３を生成する。また、演算回路２０は、画像データＩｍにおいて、各単色センサ画素群Ｐｉに対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ４４を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ４５を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ４５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ４６を生成する（ステップＳ６０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ４６を生成する。
　次に、演算回路２０は、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ６０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ４１，Ｐｄ４２，Ｐｄ４３，Ｐｄ４４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ４５，Ｐｄ４６を動体についてのレベルデータＤｂに変換する（ステップＳ６０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ４５，Ｐｄ４６とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ６０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ６０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ６０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されている。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｆ]]
　上記変形例Ｅでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの単色センサ画素群Ｐａに対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｅにおいて、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。
　図２２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐｊ」）に対応する４行×４列の画素データＳｉｇから、右肩上がりの方向，右肩下がりの方向，左右方向および上下方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ３において、３色センサ画素群Ｐｊを除く各３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同一の構成となっている。一方、各３色センサ画素群Ｐｊは、上記実施の形態に係る３色センサ画素群Ｐ２とは異なる構成となっている。具体的には、各３色センサ画素群Ｐｊの各単色センサ画素群Ｐ１において、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる３色センサ画素群Ｐｊの各単色センサ画素群Ｐ１において、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１に割り当てられた２本の画素駆動線ｃｔｌＭのうち、一方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の上段の２つのセンサ画素１１１に接続され、他方の画素駆動線ｃｔｌＭは、単色センサ画素群Ｐ１の下段の２つのセンサ画素１１１に接続される。
　ここで、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの上段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の上段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの下段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＬを有している。また、３色センサ画素群Ｐｊの下段の右隣または左隣りに配置される単色センサ画素群Ｐ１の下段に含まれる１つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される場合には、画素アレイ部１１０は、各３色センサ画素群Ｐｊの上段の単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）に対応する箇所に、さらに、画素駆動線ｃｔｌＳを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、３色センサ画素群Ｐｅを除く各３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。
　次に、本変形例における演算回路２０について説明する。
　図２３は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ７０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ５１を生成する。また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ５２を生成する。
　また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ５３を生成する。また、演算回路２０は、画像データＩｍにおいて、３色センサ画素群Ｐｅに含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ５４を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ５５を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ５５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ５６を生成する（ステップＳ７０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ５６を生成する。
　次に、演算回路２０は、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ７０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ５１，Ｐｄ５２，Ｐｄ５３，Ｐｄ５４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ５５，Ｐｄ５６を動体についてのレベルデータＤｂに変換する（ステップＳ７０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ５５，Ｐｄ５６とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ７０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ７０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ７０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されている。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｇ]]
　上記変形例Ｆでは、画素アレイ部１１０は、各３色センサ画素群Ｐ３のうち１つの３色センサ画素群Ｐ２に対応する４行×４列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｆにおいて、画素アレイ部１１０は、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇから、四方向の位相差データが得られるように構成されていてもよい。
　図２４は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図２５は、図２４の画素アレイ部１１０の配線レイアウトの一例を表したものである。図２６は、図２４の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、例えば、ｎフレーム（ｎは２以上の整数）ごとに、各単色センサ画素群Ｐ１から、右肩上がりの方向、上下方向および左右方向の位相差データが得られるように構成されている。このとき、各単色センサ画素群Ｐ１において、４つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が “中（Middle）”に設定される。言い換えると、システム制御回路１２４は、各単色センサ画素群Ｐ１において、各センサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　本変形例では、画素アレイ部１１０は、さらに、例えば、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームにおいて、３種類の露光時間の画素データを含む画像データＩａが得られるように構成されている。画素アレイ部１１０は、さらに、例えば、図２７に示したように、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームにおいて、上記実施の形態に係る画素アレイ部１１０と同様の構成となっている。このとき、各単色センサ画素群Ｐ１において、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、残りの２つのセンサ画素１１１（フォトダイオードＰＤ）のうちの１つの露光時間が、“短(Short)”に設定され、残りの１つの露光時間が、“長(Long)”に設定される。
　このとき、画素アレイ部１１０は、例えば、図２５、図２８に示したように、各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。
　なお、本変形例では、システム制御回路１２４は、ｎフレームごとの画像データＩａを得る際には、各単色センサ画素群Ｐ１の上段に対応する箇所に設けられた画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを、各単色センサ画素群Ｐ１の上段のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を“中（Middle）”に設定する露光制御を行うために用いる。また、本変形例では、システム制御回路１２４は、ｎフレームごとの画像データＩａを得る際には、各単色センサ画素群Ｐ１の下段に対応する箇所に設けられた画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを、各単色センサ画素群Ｐ１の下段のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を“中（Middle）”に設定する露光制御を行うために用いる。
　本変形例では、ｎフレームごとに得られる画像データＩａ１には、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された４つのセンサ画素１１１に対応する４つの画素データＳｉｇ１が含まれる。
　さらに、本変形例では、ｎ×ｋフレーム（ｎは２以上の整数、ｋは１以上の整数）以外の各フレームで得られる画像データＩａ２には、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、例えば、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図２９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａ１，Ｉａ２に基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、得られた画像データＩａ２を露光時間ごとに分解する（ステップＳ８０１）。具体的には、演算回路２０は、画像データＩａ２を、露光時間が“中（Middle）”のデータ（画像データＩｍ２）と、露光時間が“長(Long)”のデータ（画像データＩｌ２）と、露光時間が“短(Short)”のデータ（画像データＩｓ２）とに分解する。続いて、演算回路２０は、得られた画像データＩａ１を露光時間ごとに分解する（ステップＳ８０１）。具体的には、演算回路２０は、画像データＩａ１を、露光時間が“中（Middle）”のデータ（画像データＩｍ１）と、露光時間が“長(Long)”のデータ（画像データＩｌ１）と、露光時間が“短(Short)”のデータ（画像データＩｓ１）とに分解する。
　次に、演算回路２０は、画像データＩｍ１に基づいて位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩上がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ６１を生成する。また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ右肩下がりの方向に配列された２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ６２を生成する。
　また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ左右方向に配列された上段の２つの画素データＳｉｇ１の差分値と、左右方向に配列された下段の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第３方向（左右方向）の位相差データＰｄ６３を生成する。また、演算回路２０は、画像データＩｍ１において、各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１であって、かつ上下方向に配列された左側の２つの画素データＳｉｇ１の差分値と、上下方向に配列された右側の２つの画素データＳｉｇ１の差分値とを導出し、導出した差分値から、受光面１１０Ａにおける第４方向（上下方向）の位相差データＰｄ６４を生成する。
　また、演算回路２０は、画像データＩｌ１，Ｉｍ１に基づいて位相差データＰｄ６５を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｌ１と、画像データＩｍ１に露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ１’との差分値を導出し、導出した差分値から位相差データＰｄ６５を生成する。また、演算回路２０は、画像データＩｍ１，Ｉｓ１に基づいて位相差データＰｄ６６を生成する（ステップＳ８０２）。具体的には、演算回路２０は、画像データＩｍ１と、画像データＩｓ１に露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ１’との差分値を導出し、導出した差分値から位相差データＰｄ６６を生成する。
　次に、演算回路２０は、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ８０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ６１，Ｐｄ６２，Ｐｄ６３，Ｐｄ６４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ６５，Ｐｄ６６を動体についてのレベルデータＤｂに変換する（ステップＳ８０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ６５，Ｐｄ６６とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ８０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ８０６）。最後に、演算回路２０は、画像データＩｍ２，Ｉｌ２，Ｉｓ２と、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ８０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、例えば、ｎフレームごとに、各単色センサ画素群Ｐ１から、四方向の位相差データが得られるように構成されている。本変形例では、さらに、ｎフレームごとに得られた画像データＩａ１と、ｎ×ｋフレーム以外の各フレームで得られた画像データＩａ１とに基づいてＨＤＲ画像Ｉｂが生成される。これにより、四方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｈ]]
　上記変形例Ａ，Ｂ，Ｃ，Ｄ，Ｅでは、画素アレイ部１１０は、単色の画像データに基づいて位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されていてもよい。
　図３０は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３１は、図３０の画素アレイ部１１０の配線レイアウトの一例を表したものである。図３２は、図３０の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、行方向に配列された２つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ４」と称する。）から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ４から、色ごとに、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩下がりの方向の位相差データが得られるように構成されている。
　具体的には、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３０に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　このとき、素アレイ部１１０は、各３色センサ画素群Ｐ４に含まれる各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ４に含まれる各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する４行×４列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図３３は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ９０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ７１，Ｐｄ７２を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ４に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ７１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ４に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ７２を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ７３を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ７３を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ７４を生成する（ステップＳ９０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ７４を生成する。
　次に、演算回路２０は、位相差データＰｄ７１，Ｐｄ７２に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ９０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ７１，Ｐｄ７２において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ７３，Ｐｄ７４を動体についてのレベルデータＤｂに変換する（ステップＳ９０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ７３，Ｐｄ７４とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ９０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ９０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ９０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されている。これにより、色ごとに、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｉ]]
　上記変形例Ｈでは、画素アレイ部１１０は、色ごとに二方向（右肩上がりの方向、右肩下がりの方向）の位相差データが得られるように構成されていた。しかし、上記変形例Ｈにおいて、画素アレイ部１１０は、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されていてもよい。
　図３４は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３５は、図３４の画素アレイ部１１０の配線レイアウトの一例を表したものである。図３６は、図３４の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、列方向に配列された２つの３色センサ画素群Ｐ２（以下、「３色センサ画素群Ｐ５」と称する。）から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ５から、色ごとに、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。
　具体的には、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“中（Middle）”に設定される２つのセンサ画素１１１（フォトダイオードＰＤ）は、例えば、図３４に示したように、左側に配置され、かつ上下方向に配列される。また、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“短(Short)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が単色センサ画素群Ｐ１の右下に配置される。また、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、露光時間が“長(Long)”に設定される１つのセンサ画素１１１（フォトダイオードＰＤ）が単色センサ画素群Ｐ１の右上に配置される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、上段の２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１において、左下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３４に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の上段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＬを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の上段に対応する箇所に、２本の画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の下段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＳを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、各単色センサ画素群Ｐ１に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図３７は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１００１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ８１，Ｐｄ８２を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ５に含まれる一方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（上下方向）の位相差データＰｄ８１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ５に含まれる他方の３色センサ画像群Ｐ２の各単色センサ画素群Ｐ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ８２を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ８３を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ８３を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ８４を生成する（ステップＳ１００２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ８４を生成する。
　次に、演算回路２０は、位相差データＰｄ８１，Ｐｄ８２に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１００３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ８１，Ｐｄ８２において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ８３，Ｐｄ８４を動体についてのレベルデータＤｂに変換する（ステップＳ１００４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ８３，Ｐｄ８４とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１００５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１００６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１００７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されている。これにより、色ごとに、二方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｊ]]
　上記変形例Ｈ，Ｉでは、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されていた。しかし、上記変形例Ｈ，Ｉにおいて、画素アレイ部１１０は、色ごとに三方向の位相差データが得られるように構成されていてもよい。
　図３８は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図３９は、図３８の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４０は、図３８の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに三方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、右肩下がりの方向、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、右肩下がりの方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。
　具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“長(Long)”に設定される。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、図３８に示したように、上段の一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“長(Long)”に設定され、上段の他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定される。なお、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段に左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“短(Short)”に設定されてもよい。言い換えると、システム制御回路１２４は、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側に上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図３８に示したように、“長(Long)”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、図３８に示したように、右側の一方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“中（Middle）”に設定され、右側の他方のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が“短(Short)”に設定される。なお、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側に上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“長(Long)”に設定されてもよい。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、３つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図４１は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１１０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左上および右下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩下がりの方向）の位相差データＰｄ９１を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（左右方向）の位相差データＰｄ９２を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第３方向（上下方向）の位相差データＰｄ９３を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ９４を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ９４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ９５を生成する（ステップＳ１１０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ９５を生成する。
　次に、演算回路２０は、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１１０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ９１，Ｐｄ９２，Ｐｄ９３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ９４，Ｐｄ９５を動体についてのレベルデータＤｂに変換する（ステップＳ１１０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ９４，Ｐｄ９５とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１１０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１１０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１１０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、色ごとに三方向の位相差データが得られるように構成されている。これにより、色ごとに三方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｋ]]
　上記変形例Ａ，Ｂ，Ｃ，Ｄ，Ｅでは、画素アレイ部１１０は、単色の画像データに基づいて位相差データが得られるように構成されていた。しかし、上記実施の形態において、画素アレイ部１１０は、全色の画像データに基づいて、色ごとに位相差データが得られるように構成されていてもよい。
　図４２は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図４３は、図４２の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４４は、図４２の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同様の構成となっている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、右肩上がりの方向および右肩下がりの方向の位相差データが得られるように構成されている。
　具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“長(Long)”に設定される。
　また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“短(Short)”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右肩下がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“長(Long)”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図４５は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１２０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左下および右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１０１を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（右肩下がりの方向）の位相差データＰｄ１０２を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（右肩上がりの方向）の位相差データＰｄ１０３を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１０４を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１０４を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１０５を生成する（ステップＳ１２０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１０５を生成する。
　次に、演算回路２０は、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１２０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１０１，Ｐｄ１０２，Ｐｄ１０３において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ１０４，Ｐｄ１０５を動体についてのレベルデータＤｂに変換する（ステップＳ１２０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１０４，Ｐｄ１０５とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１２０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１２０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１２０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されている。これにより、色ごとに二方向において、位相差の有無と、動体の有無とを判別することができる。
[[変形例Ｌ]]
　上記変形例Ｋでは、画素アレイ部１１０は、単全色の画像データに基づいて、色ごとに二方向（右肩上がりの方向、右肩下がりの方向）の位相差データが得られるように構成されていた。しかし、上記変形例Ｋにおいて、画素アレイ部１１０は、単全色の画像データに基づいて、色ごとに二方向（左右方向、上下方向）の位相差データが得られるように構成されていてもよい。
　図４６は、本変形例に係る画素アレイ部１１０の構成例を表したものである。図４７は、図４６の画素アレイ部１１０の配線レイアウトの一例を表したものである。図４８は、図４６の画素アレイ部１１０で検出可能な位相差の方向の一例を表したものである。
　本変形例では、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに二方向の位相差データが得られるように構成されている。具体的には、画素アレイ部１１０は、３色センサ画素群Ｐ３から、色ごとに、左右方向および上下方向の位相差データが得られるように構成されている。このとき、各３色センサ画素群Ｐ３に含まれる、左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおいて、各単色センサ画素群Ｐ１は、上記実施の形態に係る単色センサ画素群Ｐ１と同様の構成となっている。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、左右方向の位相差データが得られるように構成されている。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２において、各単色センサ画素群Ｐ１は、上下方向の位相差データが得られるように構成されている。
　具体的には、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右肩上がりの方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“中（Middle）”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、右下のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左上の３色センサ画像群Ｐ２と、右下の３色センサ画像群Ｐ２とにおける各単色センサ画素群Ｐ１において、左上のセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“長(Long)”に設定される。
　また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“短(Short)”に設定される。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“中（Middle）”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　なお、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、上段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。また、各３色センサ画素群Ｐ３に含まれる左下の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、下段で左右方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“短(Short)”に設定されてもよい。
　また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４６に示したように、“長(Long)”に設定される。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、図４２に示したように、“中（Middle）”に設定される。言い換えると、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１のうち、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに異なるとともに、２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が互いに同じになるように、複数のセンサ画素１１１（フォトダイオードＰＤ）の露光時間を制御する。
　なお、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、左側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“中（Middle）”に設定されてもよい。また、各３色センサ画素群Ｐ３に含まれる右上の３色センサ画像群Ｐ２における各単色センサ画素群Ｐ１において、右側で上下方向に配列される２つのセンサ画素１１１（フォトダイオードＰＤ）の露光時間が、“長(Long)”に設定されてもよい。
　このとき、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬおよび画素駆動線ｃｔｌＭを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる最上段および上から２段目の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、上段に対応する箇所に、画素駆動線ｃｔｌＬ、画素駆動線ｃｔｌＭおよび画素駆動線ｃｔｌＳを有している。また、画素アレイ部１１０は、各３色センサ画素群Ｐ３に含まれる上から３段目および最下段の各単色センサ画素群Ｐ１において、下段に対応する箇所に、画素駆動線ｃｔｌＳおよび画素駆動線ｃｔｌＭを有している。
　本変形例では、画像データＩａには、画素アレイ部１１０におけるＸ行×Ｙ列のセンサ画素１１１に対応するＸ行×Ｙ列の画素データＳｉｇが含まれる。Ｘ行×Ｙ列の画素データＳｉｇのうち、左上および右下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１と、露光時間が“短(Short)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ２と、露光時間が“長(Long)”に設定されたセンサ画素１１１に対応する１つの画素データＳｉｇ３とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、左下の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“短(Short)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ２と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。また、Ｘ行×Ｙ列の画素データＳｉｇのうち、右上の３色センサ画素群Ｐ２に対応する２行×２列の画素データＳｉｇには、露光時間が“長(Long)”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ３と、露光時間が“中（Middle）”に設定された２つのセンサ画素１１１に対応する２つの画素データＳｉｇ１とが含まれる。
　次に、本変形例における演算回路２０について説明する。
　図４９は、本変形例における演算回路２０における信号処理手順の一例を表す。演算回路２０は、撮像素子１０で得られた画像データＩａに基づいてＨＤＲ画像データＩｂを生成する。演算回路２０は、まず、画像データＩａを、露光時間ごとに分解する（ステップＳ１３０１）。具体的には、演算回路２０は、画像データＩａを、露光時間が“中（Middle）”のデータ（画像データＩｍ）と、露光時間が“長(Long)”のデータ（画像データＩｌ）と、露光時間が“短(Short)”のデータ（画像データＩｓ）とに分解する。
　次に、演算回路２０は、画像データＩｍに基づいて位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ１１１を生成する。また、演算回路２０は、画像データＩｍにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ１の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ１１２を生成する。また、演算回路２０は、画像データＩｓにおいて、各３色センサ画素群Ｐ３の左下の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ２の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第１方向（左右方向）の位相差データＰｄ１１３を生成する。また、演算回路２０は、画像データＩｌにおいて、各３色センサ画素群Ｐ３の右上の３色センサ画素群Ｐ２に含まれる各単色センサ画素群Ｐ１に対応する２つの画素データＳｉｇ３の差分値を導出し、導出した差分値から、受光面１１０Ａにおける第２方向（上下方向）の位相差データＰｄ１１４を生成する。
　また、演算回路２０は、画像データＩｌ，Ｉｍに基づいて位相差データＰｄ１１５を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｌと、画像データＩｍに露光時間“長(Long)”と露光時間“中（Middle）”との露光時間比を乗算することにより得られた画像データＩｍ’との差分値を導出し、導出した差分値から位相差データＰｄ１１５を生成する。また、演算回路２０は、画像データＩｍ，Ｉｓに基づいて位相差データＰｄ１１６を生成する（ステップＳ１３０２）。具体的には、演算回路２０は、画像データＩｍと、画像データＩｓに露光時間“中（Middle）”と露光時間“短(Short)”との露光時間比を乗算した画像データＩｓ’との差分値を導出し、導出した差分値から位相差データＰｄ１１６を生成する。
　次に、演算回路２０は、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４に基づいて、位相差についてのレベルデータＤａを生成する（ステップＳ１３０３）。レベルデータＤａは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲を下回る数値を下限値（例えば０ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲を上回る数値を上限値（例えば１２８ビット）に変換する。演算回路２０は、例えば、位相差データＰｄ１１１，Ｐｄ１１２，Ｐｄ１１３，Ｐｄ１１４において、所定の範囲内にある数値を、その数値の大きさに応じた、１ビットから１２７ビットの範囲内の値に変換する。
　次に、演算回路２０は、位相差データＰｄ１１５，Ｐｄ１１６を動体についてのレベルデータＤｂに変換する（ステップＳ１３０４）。レベルデータＤｂは、例えば、下限値（例えば０ビット）から上限値（例えば１２８ビット）までの範囲内の値で表されるデータである。具体的には、演算回路２０は、撮像素子１０のノイズレベルについてのデータ（ノイズデータ）と、位相差データＰｄ１１５，Ｐｄ１１６とに基づいてレベルデータＤｂを生成する。
　次に、演算回路２０は、得られたレベルデータＤａから、位相差の大きな箇所を検出する（ステップＳ１３０５）。さらに、演算回路２０は、得られたレベルデータＤｂから、動体の有無を検出する（ステップＳ１３０６）。最後に、演算回路２０は、画像データＩｍ，Ｉｌ，Ｉｓと、位相差の有無と、動体の有無とから、ＨＤＲ画像データＩｂを生成する（ステップＳ１３０７）。このようにして、ＨＤＲ画像データＩｂが生成される。
　本変形例では、画素アレイ部１１０は、色ごとに二方向の位相差データが得られるように構成されている。これにより、色ごとに二方向において、位相差の有無と、動体の有無とを判別することができる。
　＜３．応用例＞
[応用例１]
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図５０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図５１は、撮像部１２０３１の設置位置の例を示す図である。
　図５１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図５１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、上記実施の形態およびその変形例に係る撮像素子１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、ノイズの少ない高精細な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
[応用例２]
　図５２は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図５２では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：　Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図５３は、図５２に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡１１１００のカメラヘッド１１１０２に設けられた撮像部１１４０２に好適に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、撮像部１１４０２を小型化もしくは高精細化することができるので、小型もしくは高精細な内視鏡１１１００を提供することができる。
　以上、実施の形態およびその変形例、適用例ならびに応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、本開示は、以下のような構成を取ることも可能である。
（１）
　各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、
　前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズと、
　前記複数の画素の露光時間を制御する制御部と
　を備え、
　前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御する
　撮像装置。
（２）
　各前記受光レンズに対応する前記複数の画素を第１画素群としたときに、前記第１画素群ごとに設けられた、ベイヤー配列の複数のカラーフィルタを更に備えた
　（１）に記載の撮像装置。
（３）
　前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、３つの前記画素の露光時間が異なるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（４）
　前記制御部は、各前記受光レンズに対応する前記複数の画素において、前記受光面における、右肩上がりの方向、右肩下がりの方向、左右方向または上下方向に配列される２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（３）に記載の撮像装置。
（５）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（６）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（７）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（８）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（９）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第１画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１０）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第２画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１１）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる各前記第２画素群において、各前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１２）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、１行×２列の前記第２画素群を第４画素群としたときに、各前記第４画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第４画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１３）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×１列の前記第２画素群を第５画素群としたときに、各前記第５画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第５画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１４）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群における各前記第１画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１５）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１６）
　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
　（２）に記載の撮像装置。
（１７）
　前記制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成する
　請求項２に記載の撮像装置。
（１８）
　各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズとを備えた撮像装置における信号処理方法であって、
　各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御することと、
　前記露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することと
　を含む
　信号処理方法。
　本開示の第１の側面である撮像装置、および本開示の第２の側面である信号処理方法によれば、制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ画像を生成することができるようにしたので、色抜けや、色付き、二重輪郭などの画質劣化が生じることを抑制することができる。その結果、ＨＤＲ画像の画質劣化を抑制することができる。なお、本技術の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。
　本出願は、日本国特許庁において２０１９年２月１９日に出願された日本特許出願番号第２０１９－０２７４７９号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (18)

  1. 　各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、
    　前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズと、
    　前記複数の画素の露光時間を制御する制御部と
    　を備え、
    　前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御する
    　撮像装置。
  2. 　各前記受光レンズに対応する前記複数の画素を第１画素群としたときに、前記第１画素群ごとに設けられた、ベイヤー配列の複数のカラーフィルタを更に備えた
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、各前記受光レンズに対応する前記複数の画素のうち、２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、３つの前記画素の露光時間が異なるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  4. 　前記制御部は、各前記受光レンズに対応する前記複数の画素において、前記受光面における、右肩上がりの方向、右肩下がりの方向、左右方向または上下方向に配列される２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項３に記載の撮像装置。
  5. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  6. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  7. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  8. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群としたときに、各前記第２画素群に含まれる第１の前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第２画素群に含まれる第２の前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  9. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第１画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  10. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる１つの前記第２画素群において、各前記画素の露光時間が互いに同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  11. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる各前記第２画素群において、各前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  12. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、１行×２列の前記第２画素群を第４画素群としたときに、各前記第４画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第４画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  13. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×１列の前記第２画素群を第５画素群としたときに、各前記第５画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第５画素群に含まれる第２の前記第２画素群における各第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  14. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第３の前記第２画素群における各前記第１画素群において、第３方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  15. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、第２方向に配列された２つの前記画素の露光時間が同じになり、各前記第３画素群に含まれる第２の前記第２画素群における各第１画素群において、前記第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  16. 　前記制御部は、２行×２列の複数の前記第１画素群を第２画素群とし、２行×２列の前記第２画素群を第３画素群としたときに、各前記第３画素群に含まれる第１の前記第２画素群における各前記第１画素群において、第１方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第１方向に配列された、前記第１方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになり、さらに、各前記第３画素群に含まれる第２の前記第２画素群における各前記第１画素群において、第２方向に配列された２つの前記画素の露光時間が同じになるとともに、前記第２方向に配列された、前記第２方向に配列された２つの前記画素とは異なる２つの前記画素の露光時間が同じになるように、前記複数の画素の露光時間を制御する
    　請求項２に記載の撮像装置。
  17. 　前記制御部による露光制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成する
    　請求項２に記載の撮像装置。
  18. 　各々が光電変換素子を含み、受光面に行列状に配置された複数の画素と、前記複数の画素における前記複数の画素ごとに１つずつ設けられた複数の受光レンズとを備えた撮像装置における信号処理方法であって、
    　各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が同じになるとともに、各前記受光レンズに対応する前記複数の画素のうち、少なくとも２つの前記画素の露光時間が互いに異なるように、前記複数の画素の露光時間を制御することと、
    　前記露光時間の制御によって得られた画像データから、露光時間ごとに位相差データを生成し、露光時間の異なる複数の前記位相差データと、露光時間の異なる複数の画像データとから、ＨＤＲ（High Dynamic Range）画像を生成することと
    　を含む
    　信号処理方法。
PCT/JP2019/048497 2019-02-19 2019-12-11 信号処理方法および撮像装置 Ceased WO2020170565A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2021501600A JP7520804B2 (ja) 2019-02-19 2019-12-11 信号処理方法および撮像装置
US17/429,765 US11778333B2 (en) 2019-02-19 2019-12-11 Signal processing method and imaging apparatus
EP19916223.1A EP3930310B1 (en) 2019-02-19 2019-12-11 Signal processing method and imaging device
KR1020217025404A KR102838760B1 (ko) 2019-02-19 2019-12-11 신호 처리 방법 및 촬상 장치
CN202211396691.2A CN115767292A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置
CN201980088889.4A CN113316929B (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置
US18/453,433 US12167144B2 (en) 2019-02-19 2023-08-22 Signal processing method and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019027479 2019-02-19
JP2019-027479 2019-02-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/429,765 A-371-Of-International US11778333B2 (en) 2019-02-19 2019-12-11 Signal processing method and imaging apparatus
US18/453,433 Continuation US12167144B2 (en) 2019-02-19 2023-08-22 Signal processing method and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020170565A1 true WO2020170565A1 (ja) 2020-08-27

Family

ID=72145051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048497 Ceased WO2020170565A1 (ja) 2019-02-19 2019-12-11 信号処理方法および撮像装置

Country Status (7)

Country Link
US (2) US11778333B2 (ja)
EP (1) EP3930310B1 (ja)
JP (1) JP7520804B2 (ja)
KR (1) KR102838760B1 (ja)
CN (2) CN113316929B (ja)
TW (1) TWI840483B (ja)
WO (1) WO2020170565A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021774A1 (ja) * 2021-08-17 2023-02-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置を備える電子機器
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
EP4270934A4 (en) * 2021-02-10 2024-06-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE COMPRISING AN IMAGE SENSOR AND ITS OPERATING METHOD

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653101B2 (en) * 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
CN115861473B (zh) * 2022-07-19 2023-10-24 北京中关村科金技术有限公司 实时绘制分贝检测走势图的模型训练方法、装置及介质
JP7444958B1 (ja) * 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US20250220315A1 (en) * 2023-12-27 2025-07-03 Varjo Technologies Oy High-dynamic range imaging using partial polarisation mask

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151794A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器
JP2015181213A (ja) * 2014-03-05 2015-10-15 ソニー株式会社 撮像装置
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
WO2019026718A1 (en) * 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE
JP2019027479A (ja) 2017-07-27 2019-02-21 日立オートモティブシステムズ株式会社 緩衝器およびカバー部材

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087644A (ko) 2008-02-13 2009-08-18 삼성전자주식회사 따른 픽셀 회로 어레이
JP5901614B6 (ja) * 2011-04-08 2018-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置および画像処理方法
FR2976121A1 (fr) * 2011-05-31 2012-12-07 St Microelectronics Sa Dispositif d'imagerie matriciel comprenant au moins un ensemble de photosites a multiples temps d'integration.
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013055499A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9143708B2 (en) * 2013-12-11 2015-09-22 Himax Imaging, Inc. Dual low voltage levels for control of transfer switch device in pixel array
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
KR102796731B1 (ko) * 2016-02-19 2025-04-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6762766B2 (ja) * 2016-06-01 2020-09-30 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2018019296A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
US10574872B2 (en) * 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP6944846B2 (ja) * 2017-10-04 2021-10-06 オリンパス株式会社 撮像装置、撮像装置の制御方法
CN108462841A (zh) * 2018-03-21 2018-08-28 上海晔芯电子科技有限公司 像素阵列及图像传感器
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN108683863B (zh) * 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181213A (ja) * 2014-03-05 2015-10-15 ソニー株式会社 撮像装置
WO2015151794A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器
JP2015201834A (ja) 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP2019027479A (ja) 2017-07-27 2019-02-21 日立オートモティブシステムズ株式会社 緩衝器およびカバー部材
WO2019026718A1 (en) * 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4270934A4 (en) * 2021-02-10 2024-06-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE COMPRISING AN IMAGE SENSOR AND ITS OPERATING METHOD
US12464234B2 (en) 2021-02-10 2025-11-04 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof
WO2023021774A1 (ja) * 2021-08-17 2023-02-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置を備える電子機器
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
EP3930310B1 (en) 2025-09-17
JP7520804B2 (ja) 2024-07-23
US20230421913A1 (en) 2023-12-28
EP3930310A1 (en) 2021-12-29
KR20210128395A (ko) 2021-10-26
US12167144B2 (en) 2024-12-10
JPWO2020170565A1 (ja) 2021-12-16
US11778333B2 (en) 2023-10-03
KR102838760B1 (ko) 2025-07-24
CN113316929B (zh) 2024-08-16
CN115767292A (zh) 2023-03-07
EP3930310A4 (en) 2022-04-13
CN113316929A (zh) 2021-08-27
TWI840483B (zh) 2024-05-01
TW202105994A (zh) 2021-02-01
US20220132014A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP7199371B2 (ja) 固体撮像素子および電子機器
JP7520804B2 (ja) 信号処理方法および撮像装置
JP7600129B2 (ja) 撮像装置
JP7284171B2 (ja) 固体撮像装置
JP7341141B2 (ja) 撮像装置および電子機器
US12342640B2 (en) Solid-state imaging element and imaging apparatus
KR102878752B1 (ko) 고체 촬상 장치 및 그 구동 방법, 및 전자기기
JP2019192802A (ja) 撮像素子および撮像素子の製造方法
WO2020179302A1 (ja) 撮像装置
US20230005993A1 (en) Solid-state imaging element
WO2019171947A1 (ja) 撮像素子、電子機器
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器
CN116325782A (zh) 摄像装置
KR20250166200A (ko) 광 검출 장치 및 전자 기기
JP2023069798A (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916223

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501600

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019916223

Country of ref document: EP

Effective date: 20210920

WWG Wipo information: grant in national office

Ref document number: 2019916223

Country of ref document: EP