[go: up one dir, main page]

WO2006075463A1 - 撮像装置及び撮像結果の処理方法 - Google Patents

撮像装置及び撮像結果の処理方法 Download PDF

Info

Publication number
WO2006075463A1
WO2006075463A1 PCT/JP2005/022603 JP2005022603W WO2006075463A1 WO 2006075463 A1 WO2006075463 A1 WO 2006075463A1 JP 2005022603 W JP2005022603 W JP 2005022603W WO 2006075463 A1 WO2006075463 A1 WO 2006075463A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
block
result
motion
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/022603
Other languages
English (en)
French (fr)
Inventor
Seiji Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to MX2007008426A priority Critical patent/MX2007008426A/es
Priority to CA002593719A priority patent/CA2593719A1/en
Priority to KR1020137026191A priority patent/KR101362604B1/ko
Priority to AU2005324643A priority patent/AU2005324643B2/en
Priority to KR1020127031162A priority patent/KR20120137443A/ko
Priority to BRPI0519834-8A priority patent/BRPI0519834A2/pt
Priority to EP05814419.7A priority patent/EP1838088B1/en
Priority to US11/794,996 priority patent/US8345108B2/en
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2006075463A1 publication Critical patent/WO2006075463A1/ja
Anticipated expiration legal-status Critical
Priority to US13/690,999 priority patent/US8687069B2/en
Priority to US14/159,616 priority patent/US9185304B2/en
Priority to US14/750,088 priority patent/US20150296113A1/en
Priority to US15/047,467 priority patent/US9729764B2/en
Priority to US15/590,909 priority patent/US10057515B2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8027—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/811—Interconnections

Definitions

  • the present invention relates to an imaging apparatus and a method of processing imaging results, and can be applied to an imaging apparatus using, for example, a CMOS solid-state imaging device.
  • the present invention divides one screen into a plurality of blocks, detects the movement for each block, and controls the exposure time, thereby further improving the image quality compared to the conventional technology with respect to the control of the exposure time by the electronic shutter. To be able to improve. Background art
  • an imaging device is configured to control the exposure time by controlling the charge accumulation time of the image sensor with a so-called electronic shutter, so that even when shooting a fast-moving subject, an imaging result without blurring can be obtained.
  • a so-called electronic shutter for example, in Japanese Patent Laid-Open No. 6-165 047 and Japanese Patent Laid-Open No. 6-2 6 1 2 5 6, the movement of a subject is detected by a system controller, A method has been proposed in which the exposure time is controlled based on the motion detection result, and gain control of AGC (Auto Gain Control) and control by ALC (Auto Light Control) are executed.
  • control of exposure time using a conventional electronic shutter is the same as the background when the exposure time is varied by moving part of the screen by varying the exposure time for all the pixels that make up one screen. Control is also performed so that the exposure time is shortened for the stationary part. As a result, in such a case, there was a problem that the S / N ratio deteriorates for such a stationary part, and the image quality deteriorates accordingly.
  • the present invention has been made in consideration of the above points, and intends to propose an imaging apparatus and an imaging result processing method capable of further improving the image quality as compared with the related art with regard to the control of the exposure time by the electronic shutter. Is.
  • the present invention is applied to an imaging device, an imaging unit is formed by arranging pixels in a matrix shape, and an imaging result of an optical image formed on the imaging surface is output.
  • the motion detection unit detects the amount of motion in the imaging result, and the motion is large based on the detection result by the motion detection unit.
  • the control means for controlling the exposure time of the image pickup means for each block so that the exposure time becomes shorter for each block, and the signal level of the image pickup result that changes by the control of the exposure time for each block.
  • Signal level correction means for correcting and outputting the bell is provided.
  • the imaging device is applied to an imaging device, pixels are arranged in a matrix shape, an imaging surface is formed, and an imaging result of an optical image formed on the imaging surface is output, and the imaging For each block obtained by dividing the surface in the horizontal direction and / or vertical direction, a motion detection unit that detects a motion amount in the imaging result, and a block with a larger motion based on a detection result by the motion detection unit, exposure time If the control means for controlling the exposure time of the imaging means is provided for each block, the exposure time can be controlled in accordance with the movement for each block, thereby As for the background, the exposure time can be lengthened to prevent the deterioration of the SZN ratio, while the moving part can be shortened to prevent blurring.
  • the exposure time is controlled for each block in this way by providing, for each block, signal level correction means for correcting and outputting the signal level of the imaging result that changes by controlling the exposure time. Therefore, it is possible to prevent the signal level from changing between the blocks that change.
  • the present invention is applied to a method of processing an imaging result, and the imaging surface of the imaging unit is
  • the imaging means for each block A control step for controlling the exposure time, and a signal level correction step for correcting and outputting the signal level of the imaging result that changes due to the control of the exposure time for each block.
  • the configuration of the present invention it is possible to provide a method of processing an imaging result that can further improve the image quality as compared with the related art with respect to the control of the exposure time by the electronic shutter.
  • the image quality can be further improved as compared with the related art with regard to the control of the exposure time by the electronic shutter.
  • FIG. 1 is a block diagram showing the overall configuration of an integrated circuit according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view of a sensor chip of the integrated circuit of FIG.
  • FIG. 3 is a side view for explaining the laminated structure of the sensor chip and the logic chip.
  • FIG. 4 is a block diagram showing a detailed configuration of the integrated circuit of FIG.
  • FIG. 5 is a timing chart for explaining the operation of the pixel block of FIG.
  • FIG. 6 is a timing chart for explaining the control of the exposure time of each pixel.
  • FIG. 7 is a conceptual diagram for explaining the control of the exposure time of each block.
  • FIG. 8 is a block diagram showing an image pickup apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a block diagram showing an image pickup apparatus according to Embodiment 3 of the present invention.
  • BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
  • FIG. 1 is a block diagram showing an integrated circuit applied to the image pickup apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus according to this embodiment forms a desired optical image on the imaging surface of the integrated circuit 1 by automatic aperture control and automatic focus control by a controller using a lens (not shown), and outputs an imaging result of this optical image. To do.
  • the integrated circuit 1 is an integrated circuit using an image sensor, and is formed by packaging a stacked body of the sensor chip 2 and the logic chip 3.
  • the sensor chip 2 is a semiconductor chip of an imaging element that outputs an imaging result by the XY addressing method.
  • a CMOS solid-state imaging element is applied to this imaging element.
  • the sensor chip 2 is formed by an imaging unit 4 and a control unit 5 that controls the operation of the imaging unit 4.
  • the imaging unit 4 arranges pixels in a matrix form to form an imaging surface, and outputs an imaging result of an optical image formed on the imaging surface.
  • the imaging unit 4 is formed by equally dividing the pixels arranged in the matrix shape in the horizontal direction and the vertical direction, and thereby dividing the imaging surface into a plurality of pixel blocks 6.
  • Each pixel block 6 is provided with peripheral circuits related to the pixels belonging to each pixel block 6 and is configured to output an imaging result.
  • the sensor chip 2 captures images using the plurality of pixel blocks 6. Output results in parallel.
  • the sensor chip 2 has an element layer 12 formed of a silicon (S i) layer having a thickness of about 10 to 20 [m].
  • the light receiving element 13 is formed.
  • the lenses 18 are stacked, thereby forming the pixels 19.
  • the peripheral circuit of each pixel block 6, the control unit 5, and the wiring layer 20 for wiring them are formed in the lower layer of the element layer 12, and the substrate that holds the whole on the lower layer side of the wiring layer 20. Support material 21 is provided.
  • the wiring layer 20 is formed so as to eliminate various restrictions in the case of providing the wiring layer 20 on the imaging surface side and to greatly improve the degree of freedom of wiring.
  • the sensor chip 2 has the wiring layer 20 formed on the side opposite to the imaging surface in this manner, so that a thin semiconductor substrate is processed from the wiring layer 20 side to receive the light receiving element 1 3 and peripheral circuits.
  • the wiring layer 20 and the substrate support material 21 are sequentially formed on this semiconductor substrate, and then the semiconductor substrate is turned over and polished by CMP to complete the element layer 12, and the light shielding film 15.
  • SiN silicon nitride film
  • color filter 17 and microlens 18 sequentially.
  • the sensor chip 2 has a logic chip 3 assigned to the substrate support material 21, and is formed on the fine protruding electrode 3 1 formed on the wiring layer 20 side and the logic chip 3.
  • the fine projecting electrodes 32 are electrically connected to the logic chip 3 and held.
  • the fine protruding electrode 32 is hereinafter referred to as a micro bump. .
  • the logic chip 3 is an integrated circuit including a signal processing circuit that processes the imaging result of the sensor chip 2, and in this embodiment, the signal processing circuit determines the exposure time of the imaging unit 4 provided in the sensor chip 2.
  • the pulse generation unit 4 1 includes each pixel block 6 of the sensor chip 2.
  • the pulse generation block 4 3 is provided corresponding to each of the pulse generation blocks 4 3, and each pulse generation block 4 3 is connected to the corresponding pixel block 6 by the micro bumps 3 1 and 3 2, respectively. Control each time.
  • the integrated circuit 1 is formed so as to simultaneously output the imaging results of the plurality of pixel blocks 6 in parallel, and the exposure time of each pixel block 6 can be individually controlled by each pulse generation block 43. Formed as follows.
  • FIG. 4 is a block diagram showing the pixel block 6 and the pulse generation block 43.
  • the pixels 19 A and 19 B that are continuous in the horizontal direction are connected to the reset control circuit 52 by a common gate line, and the pixels in the vertical direction are also connected.
  • the continuous pixels 19 A and 19 B are connected by a common signal line and connected to the horizontal drive control circuit 53.
  • Each pixel 19A, 19B photoelectrically converts the incident light to accumulate the accumulated charge, and discharges the accumulated charge by the reset pulses RS Tl and RST2 output from the reset control circuit 52, and the reset control circuit 52 Readout pulses output from the ROUT 1 and ROUT 2 convert the accumulated charge to voltage and output it to the signal line.
  • the pixel block 6 changes the exposure time by varying the charge accumulation time under the control of the reset control circuit 52, and outputs the imaging result to the horizontal drive control circuit 53 in line units.
  • the reset control circuit 52 resets the operation with the vertical synchronization signal VD output from the control unit 5, and then outputs the reset control circuit 52 from the pulse generation block 43.
  • the reset pulse RST 1 is raised at the rising timing of the shatter pulse SHT (Fig. 5 (B) and Fig. 6 (B)) (Fig. 5 (C 1) and Fig. 6 (C 1)).
  • the readout pulse ROUT 1 is raised at the timing of the falling edge of the shatter pulse SHT (Fig. 5 (D1) and Fig. 6 (D1)).
  • the reset control circuit 52 outputs a reset pulse R ST 1 and a readout pulse ROUT 1 based on the shirt pulse SHT to the pixel 19 A on the first line.
  • the reset pulse RST 1 and the readout pulse ROUT 1 are sequentially delayed by a delay time ⁇ t corresponding to the number of lines forming the pixel block 6 to sequentially reset the reset pulses RST related to the pixels 19 B,. 2, ..., RSTn and readout pulse ROUT 2, ..., ROUTn are generated sequentially (Fig. 5 (C 2), (D 2) and Fig. 6 (C 2), (D 2), (C n), (Dn)), these reset pulse RST 2 and readout pulse ROUT 2,... are output to pixels 19 B,.
  • the reset control circuit 52 sets the period T 1 and T 2 until the falling after the shot tap pulse SHT rises to be the exposure time of the pixels 19A and 19B, and each pixel 19A, 1 9 A, 1 so that the accumulated charge accumulated in 9 B (Fig. 5 (E 1) and (E 2)) is output to the signal line in line units as the imaging result at the end of the exposure time.
  • the reset control circuit 52 outputs the gain control signal G of the amplifier circuit 54 in accordance with the exposure time by the shatter pulse SHT, thereby changing the imaging result signal by controlling the exposure time by the shatter pulse SHT. Correct the level.
  • the imaging results of the pixels 19 A, 19 B,... Consecutive in the vertical direction are sequentially output to each signal line by time division (FIG. 6 (E)).
  • the horizontal drive control circuit 53 outputs the imaging results output from the pixels 19 A and 19 B to the signal lines in a line unit in a time-division multiplexed manner (FIG. 6 (F)).
  • the amplification circuit 54 varies the gain by the gain control signal G output from the reset control circuit 52, and amplifies and outputs the imaging result output from the horizontal drive control circuit 53.
  • the integrated circuit 1 corrects and outputs the signal level of the imaging result that changes by controlling the exposure time.
  • the analog-digital conversion circuit (ADC) 55 performs analog-digital conversion processing on the output signal of the amplification circuit 54, and outputs image data OU T as a result of the processing to the corresponding pulse generation block 43 of the logic chip 3. Accordingly, in this embodiment, the reset control circuit 52, the horizontal drive control circuit 53, the amplifier circuit 54, and the analog digital conversion circuit 55 can be used to surround the pixels 19A and 19B belonging to each pixel block 6. A circuit is formed.
  • the integrated circuit 1 outputs the imaging result OUT of each pixel 19 A, 19 B from each pixel block 6 in the order of raster scanning, and simultaneously outputs the imaging result from each pixel block 6 in parallel.
  • OUT is output, and the exposure time by the electronic shutter is individually varied in each pixel block 6 by the control of the corresponding pulse generation block 43, and the signal level at the imaging result OUT by varying the speed of this exposure time It is configured so that each pixel block 6 individually corrects the change of.
  • the pulse generation block 43 detects the motion amount of the imaging result output from the corresponding pixel block 6 by the motion amount detection circuit 61, and varies the shutter pulse SHT according to the motion amount detection result. Output.
  • the averaging circuit 6 2 The imaging results output from Block 6 are averaged in units of frames. That is, the averaging circuit 62 cumulatively adds the imaging results output from the corresponding pixel block 6 by the adder circuit 63 and the delay circuit 64, and controls the switch circuit 65 provided in the output stage of the adder circuit 63. Thus, the addition result is initialized by outputting the addition result to the frame difference calculation circuit 66 for each frame. As a result, the motion detection circuit 61 calculates the average value of the imaging results of each pixel block 6 by accumulatively adding the imaging results in units of frames.
  • the frame difference calculation circuit 66 delays the output value of the averaging circuit 62 by a delay circuit (1 V delay) 67 for one frame period.
  • the frame difference calculation circuit 66 subtracts the output value of the delay circuit 67 from the output value of the averaging circuit 62 by the subtraction circuit 68, thereby calculating the inter-frame difference value ⁇ S.
  • the motion amount detection circuit 61 approximately calculates the motion amount based on the inter-frame difference value AS.
  • the shutter pulse generation circuit 69 generates a shatter pulse SHT according to the motion amount detection result by the motion amount detection circuit 6 1 obtained in this way.
  • the shutter pulse generation circuit 69 increases the inter-frame difference value ⁇ S output from the motion amount detection circuit 61 so that the period during which the shotta pulse SHT rises is shortened accordingly. Generate pulse SHT. If the movement increases as a result of this, a shirt pulse SHT is generated so that the exposure time is reduced accordingly.
  • the shotta pulse generation circuit 69 delays the rise timing of the shottapulse SHT, and this rise The timing of the fall of the shirt tapulse SHT is advanced by the amount of delay of the timing of.
  • the shatter pulse generation circuit 69 is set so as not to change at the center timing of the exposure time in each pixel block 6.
  • the reset control circuit 52 generates the reset pulse RST 1 and the read pulse ROUT 1 by the shatter pulse SHT, and the reset pulse RST 1 and the read pulse.
  • the pulse ROUT 1 is sequentially delayed to generate reset pulses R ST 2,... And read pulses ROUT 2,..., And these reset pulses are generated according to the first half and the second half of the vertical synchronization period. It is configured to output RST 1, RST 2,... And read pulse ROUT 1, ROUT 2,.
  • the integrated circuit 1 accumulates the imaging results OUT output from the pixel blocks 6 in parallel in this way in the image memory provided in the sensor chip 2, and multiplexes them in the order of raster scanning. Output by one system.
  • each of the pixels 19 A, 19 B, the reset control circuit 52, and the horizontal drive control circuit 53 constitute an imaging unit that outputs the imaging result of the optical image formed on the imaging surface
  • the motion amount detection circuit 61 constitutes motion detection means for detecting the motion amount in the imaging result for each block obtained by dividing the imaging surface in the horizontal direction and / or the vertical direction.
  • the shirt pulse generation circuit 69 constitutes a control means for controlling the exposure time of the imaging means for each block so that the exposure time is shortened for the block with the larger motion based on the detection result by the motion detection means.
  • the reset control circuit 52 and the amplification circuit 54 constitute signal level correction means that corrects and outputs the signal level of the imaging result that changes by controlling the exposure time for each block.
  • this imaging apparatus In the above configuration, in this imaging apparatus (FIG. 1), an optical image is formed on the imaging surface of the integrated circuit 1 via the lens, and the imaging result of this optical image is acquired by the integrated circuit 1. Is output.
  • the pixels 19A and 19B by the light receiving elements 13 are arranged in a matrix to form an imaging surface.
  • the imaging result OUT is obtained by the pixel block 6 equally divided in the vertical and vertical directions.
  • each pixel block 6 read pulses ROUT 1, ROUT 2,... Are sequentially output from the reset control circuit 52 on each line, and each pixel 19 is output by this read pulse ROUT 1, ROUT 2,.
  • the imaging results out 1, out 2,... By A and 19B are input to the horizontal drive control circuit 53 in line units, where they are time-division multiplexed. Further, after the signal level of the imaging result is corrected by the subsequent amplifier circuit 54, it is converted into a digital signal by the analog-digital conversion circuit 55 and output. As a result, an imaging result OUT is acquired for each pixel block 6 obtained by dividing the imaging surface, and the imaging result OUT is output simultaneously in parallel.
  • the imaging results OUT of each pixel block 6 are input to the corresponding pulse generation block 43, where the amount of motion ⁇ S of each pixel block 6 is detected, and the pixel block with the larger motion is detected by this amount of motion AS.
  • the charge storage time of the corresponding pixel block 6 is controlled so as to shorten the exposure time.
  • the exposure time can be controlled according to the movement for each block that divides one screen, and for stationary backgrounds, the exposure time is lengthened to prevent deterioration of the SZN ratio.
  • the exposure time can be shortened to prevent blurring.
  • by detecting the movement for each block it is possible to detect the movement of even a small object, thereby preventing the blur of such a small object.
  • time control the image quality is further improved compared to the conventional method.
  • the exposure time is controlled in this way, and the gain of the amplification circuit 54 is increased and the signal level of the imaging result OUT is corrected by the amount corresponding to the shortened exposure time.
  • the exposure time is controlled for each pixel block, and this imaging apparatus acquires the imaging result OUT for each pixel block 6 and outputs it simultaneously in parallel.
  • the pulse generation block 43 that detects the movement amount ⁇ S of each pixel block 6 controls the exposure time.
  • the imaging device can control the exposure time for each block by simultaneous parallel processing in a plurality of blocks independently of each block. Be improved.
  • the sensor chip 2 and the logic chip 3 are connected and stacked by the microphone opening bumps 3 1 and 3 2, and the imaging result OUT is acquired by the sensor chip 2, and the logic chip 3 performs exposure.
  • the sensor chip is configured to control the exposure time for each block by simultaneous parallel processing in a plurality of blocks as described above. By applying it to the laminated structure of 2 and logic chip 3, the overall configuration can be simplified.
  • peripheral circuits such as a reset control circuit 52 and a horizontal drive control circuit 53 are arranged on the opposite side of the imaging surface, and the logic chip 3 is laminated on the opposite side.
  • a reset control circuit 52 and a horizontal drive control circuit 53 are arranged on the opposite side of the imaging surface, and the logic chip 3 is laminated on the opposite side.
  • the motion detection is performed to control the exposure time
  • the averaging circuit 62 accumulates the imaging result OUT in units of frames and performs imaging in each frame.
  • the frame difference calculation circuit 66 calculates the interframe difference of the average value to obtain the motion amount ⁇ S.
  • the shutter pulse SHT is generated by the shatter pulse generation circuit 69 based on the amount of movement AS, and the reset pulse RST 1, RST 2,... Is generated by the reset control circuit 52 by the shot pulse SHT. reading
  • the exposure time is varied by changing the timing of the output pulses ROUT 1, ROUT 2,.
  • the amount of movement ⁇ S is calculated by a simple process for obtaining a frame difference, and the exposure control process is executed, and accordingly, the exposure control process is executed for each block by a simple configuration. It becomes possible.
  • one screen is divided into a plurality of blocks, the motion is detected for each block, and the exposure time is controlled.
  • the image quality can be further improved.
  • the imaging results of each block are output simultaneously in parallel, and the imaging results of each block are processed separately, and the amount of motion is detected for each block.
  • the exposure time can be controlled by independent and parallel processing for each block, and the image quality can be further improved compared to the conventional method with regard to the exposure time control by the electronic shutter. Can do.
  • the pixels that are the imaging means, the peripheral circuits of the pixels, and the configuration of the motion detection means are formed on different semiconductor chips and connected by micro bumps, so that the entire configuration is integrated to simplify the configuration. Therefore, it is possible to prevent the aperture ratio of the pixel from being lowered and to ensure a sufficient degree of design freedom.
  • the imaging apparatus 71 is provided with an encoding means 72 and a recording means 73 in addition to the configuration of the integrated circuit 1 described above for the embodiment 1.
  • the imaging result OUT is encoded by the encoding means 7 2 and the recording means 7 3 and recorded on the recording medium.
  • the imaging apparatus 71 according to the present embodiment forms the imaging system 74 by the integrated circuit 1 described above for the first embodiment, and after multiplexing the imaging result OUT output from the imaging system 74, The luminance signal and the color difference signal are converted and input to the encoding unit 72, and the data encoded by the encoding unit 72 is recorded. 7 Record on the recording medium according to 3.
  • the encoding means 72 is an encoding means related to data compression using a motion vector.
  • the imaging result OUT is subjected to an encoding process by the method of H.264.
  • the number of pixels constituting the pixel block 6 is set so as to correspond to the macroblock used for detection of the motion vector by the encoding means 72.
  • the pixel block may be set so as to correspond to either the luminance signal or the color difference signal, and in H. 2 6 4 motion detection is performed using a plurality of types of macro blocks of different sizes. Accordingly, the pixel block may be set so as to correspond to any macro block of the plurality of types of macro blocks.
  • the imaging system 74 sets the pixel block 6 in this way, and outputs the motion amount ⁇ S detected by each pixel block 6 to the sign means 72.
  • the encoding means 72 determines the presence or absence of motion by determining the amount of motion ⁇ S based on a predetermined threshold value. If it is determined that there is motion based on this determination result, the motion vector is detected by normal processing and the imaging result OUT is encoded. On the other hand, if it is determined that there is no motion based on this determination result, the motion vector detection is stopped, the motion vector is set to 0, and the imaging result OU T is encoded.
  • the motion detection is performed for each block and the exposure time is controlled, and the motion detection result used for the control of the exposure time is used for the encoding process. Reduce the burden.
  • the imaging result is blocked according to the size corresponding to the motion vector detection unit in the encoding process, the motion is detected for each block, and the exposure time is controlled.
  • the image pickup apparatus 81 includes a motion detection circuit 61 (see FIG. 4) of the image pickup system 74 described above for the second embodiment.
  • the amount of motion is detected by detecting the motion vector. That is, the motion vector V is detected, the motion vector is converted into an absolute value, the length of the motion vector V is detected, and the magnitude of the motion is detected based on the length of the motion vector V.
  • various detection methods such as a block matching method and a gradient method can be applied.
  • the encoding means 82 stops the motion vector detection process when detecting the motion vector V for the block having a size corresponding to the pixel block 6, and detects the motion detected by the motion detection circuit 61. Encodes using vector V.
  • the imaging device 81 according to this embodiment is configured in the same manner as the imaging device 71 described above with respect to the second embodiment except for the configuration related to the motion vector V.
  • the exposure time is controlled by varying the timing of both the reset pulse and the readout pulse.
  • the present invention is not limited to this, and exposure is performed by varying the timing of only the reset pulse. You may make it control time.
  • the present invention is not limited to this, and the imaging results for one screen are output together. Then, this imaging result may be classified and processed for each pixel block, and the exposure time may be controlled for each pixel block. In this way, with respect to the output of the imaging results, even when using a conventional imaging device that outputs the imaging results in the order of raster scanning, the exposure time by the electronic shutter is the same as in the above-described embodiment. With this control, the image quality can be further improved compared to the conventional method.
  • the case where the sensor chip is configured by the CMOS solid-state image sensor has been described.
  • the present invention is not limited to this, and the case where the sensor chip is configured by various solid-state image sensors based on the XY address system.
  • it can be widely applied to the case where a sensor chip is constituted by a CCD solid-state imaging device.
  • the case where the pixel block is formed by dividing the imaging surface in the horizontal direction and the vertical direction has been described.
  • the present invention is not limited to this, and only one of the horizontal direction and the vertical direction is described.
  • the imaging surface may be divided into pixel blocks.
  • the present invention is not limited to this, and the front surface side of the sensor chip 2
  • the present invention can be widely applied to the case where the peripheral circuit of each pixel is provided, and the logic chip is formed separately.
  • the present invention can be applied to, for example, an imaging apparatus using a CMOS solid state imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　本発明は、例えばＣＭＯＳ固体撮像素子による撮像装置に適用して、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御する。

Description

明細書
撮像装置及び撮像結果の処理方法 発明の背景
技術分野
本発明は、 撮像装置及ぴ撮像結果の処理方法に関し、 例えば CMO S固体撮像 素子による撮像装置に適用することができる。 本発明は、 1つの画面を複数のブ ロックに分割し、 各プロック毎に動き検出してそれぞれ露光時間を制御すること により、 電子シャッターによる露光時間の制御に関して、 従来に比して一段と画 質を向上することができるようにする。 背景技術
従来、 撮像装置は、 いわゆる電子シャッターにより撮像素子の電荷蓄積時間を 制御することにより露光時間を制御し、 これにより動きの速い被写体を撮影する 場合でも、 ぶれの無い撮像結果を取得できるように構成されている。 このような 電子シャッターによる制御に関して、 例えば日本特開平 6— 1 6 5 0 4 7号公報 、 日本特開平 6— 2 6 1 2 5 6号公報には、 システムコントローラにより被写体 の動きを検出し、 この動き検出結果により露光時間を制御し、 併せて A G C (Aut o Gain Control ) の利得制御、 A L C (Auto Light Control) による制御を実行 する方法が提案されている。
しかしながら従来の電子シャッターによる露光時間の制御は、 1つの画面を構 成する全画素で同一に露光時間を可変することにより、 画面の一部の動きにより 露光時間を可変する場合に、 背景等の静止している部分についても、 露光時間が 短くなるように制御される。 これによりこのような場合には、 このような静止し た部分について S /N比が劣化し、 その分画質が劣化する問題があった。
またこれとは逆に、 小さな物体については動きを検出できない場合があり、 こ の場合には、 適切に露光時間を制御することが困難なことにより、 この小さな物 体がぶれて撮像され、 これによりこの場合も、 画質が劣化する問題がある。 発明の開示
本発明は以上の点を考慮してなされたもので、 電子シャッターによる露光時間 の制御に関して、 従来に比して一段と画質を向上することができる撮像装置及び 撮像結果の処理方法を提案しようとするものである。
かかる課題を解決するため本発明は、 撮像装置に適用して、 画素をマトリック ス状に配置して撮像面が形成され、 前記撮像面に形成された光学像の撮像結果を 出力する撮像手段と、 前記撮像面を水平方向及び又は垂直方向に分割した各プロ ック毎に、 前記撮像結果における動き量を検出する動き検出手段と、 前記動き検 出手段による検出結果に基づいて、 動きが大きいブロック程、 露光時間が短くな るように、 前記ブロック毎に前記撮像手段の露光時間を制御する制御手段と、 前 記各プロック毎に、 前記露光時間の制御により変化する前記撮像結果の信号レべ ルを補正して出力する信号レベル補正手段とを備えるようにする。
本発明の構成により、 撮像装置に適用して、 画素をマトリ ックス状に配置して 撮像面が形成され、 前記撮像面に形成された光学像の撮像結果を出力する撮像手 段と、 前記撮像面を水平方向及び又は垂直方向に分割した各ブロック毎に、 前記 撮像結果における動き量を検出する動き検出手段と、 前記動き検出手段による検 出結果に基づいて、 動きが大きいブロック程、 露光時間が短くなるように、 前記 プロック毎に前記撮像手段の露光時間を制御する制御手段を備えるようにすれば 、 各ブロック毎に、 動きに応じて露光時間を制御することができ、 これにより静 止した背景については、 露光時間を長くして S ZN比の劣化を防止しつつ、 動き のある部分については、 露光時間を短くしてボケを防止することができる。 また プロック毎に動きを検出することにより、 小さな物体についても動きを検出する ことができ、 このような小さな物体のついてもボケを防止することができ、 これ らにより電子シャッターによる露光時間の制御に関して、 従来に比して一段と画 質を向上することができる。 またさらに前記各ブロック毎に、 前記露光時間の制 御により変化する前記撮像結果の信号レベルを補正して出力する信号レベル補正 手段とを備えることにより、 このようにプロック毎に露光時間を制御して変化す るブロック間の信号レベルの変化を防止することができる。
また本発明は、 撮像結果の処理方法に適用して、 撮像手段の撮像面を水平方向 及び又は垂直方向に分割した各プロック毎に、 前記撮像手段の撮像結果における 動き量を検出する動き検出のステップと、 前記動き検出のステップによる検出結 果に基づいて、 前記プロック毎に前記撮像手段の露光時間を制御する制御のステ ップと、 前記各ブロック毎に、 前記露光時間の制御により変化する前記撮像結果 の信号レベルを補正して出力する信号レベル補正のステップとを有するようにす る。
これにより本発明の構成によれば、 電子シャッターによる露光時間の制御に関 して、 従来に比して一段と画質を向上することができる撮像結果の処理方法を提 供することができる。 本発明によれば、 電子シャッターによる露光時間の制御に関して、 従来に比し て一段と画質を向上することができる。 図面の簡単な説明
第 1図は、 本発明の実施例に係る集積回路の全体構成を示すブロック図である 第 2図は、 第 1図の集積回路のセンサチップの断面図である。
第 3図は、 センサチップとロジックチップの積層構造の説明に供する側面図で ある。
第 4図は、 第 1図の集積回路の詳細構成を示すブロック図である。
第 5図は、 第 4図の画素ブロックの動作の説明に供するタイミングチャートで ある。
第 6図は、 各画素の露光時間の制御の説明に供するタイミングチヤ一トである 第 7図は、 各プロックの露光時間の制御の説明に供する概念図である
第 8図は、 本発明の実施例 2に係る撮像装置を示すプロック図である
第 9図は、 本発明の実施例 3に係る撮像装置を示すプロック図である 発明を実施するための最良の形態 以下、 適宜図面を参照しながら本発明の実施例を詳述する。
( 1 ) 実施例 1の構成
第 1図は、 本発明の実施例 1に係る撮像装置に適用される集積回路を示すプロ ック図である。 この実施例に係る撮像装置は、 図示しないレンズを用いたコント ローラによる自動絞り制御、 自動フォーカス制御によりこの集積回路 1の撮像面 に所望の光学像を形成し、 この光学像の撮像結果を出力する。
ここでこの集積回路 1は、 撮像素子による集積回路であり、 センサチップ 2と ロジックチップ 3との積層体をパッケージングして形成される。
ここでセンサチップ 2は、 X Yァドレス方式により撮像結果を出力する撮像素 子の半導体チップであり、 この実施例ではこの撮像素子に C MO S固体撮像素子 が適用される。 センサチップ 2は、 撮像部 4、 この撮像部 4の動作を制御する制 御部 5により形成される。
ここで撮像部 4は、 マトリックス状に画素を配置して撮像面が形成され、 この 撮像面に形成された光学像の撮像結果を出力する。 撮像部 4は、 このマトリック ス状に配置された画素が水平方向及び垂直方向に等分割され、 これにより撮像面 が複数の画素プロック 6に分割されて形成される。 各画素プロック 6は、 各画素 ブロック 6に属する画素に係る周辺回路がそれぞれ設けられ、 それぞれ撮像結果 を出力するように形成され、 これによりこのセンサチップ 2は、 これら複数の画 素プロック 6による撮像結果を同時並列的に出力する。
センサチップ 2は、 第 2図に一部断面を示すように、 1 0〜2 0 〔 m〕 程度 の厚さのシリコン （S i ) 層により素子層 1 2が形成され、 この素子層 1 2に受 光素子 1 3が形成される。 またこの受光素子 1 3に係る部位の上層に、 順次、 シ リコン酸化 （S i 02 ) 膜 1 4、 遮光膜 1 5、 シリコン窒化膜 （S i N) 1 6、 色フィルタ 1 7、 マイクロレンズ 1 8が積層され、 これにより画素 1 9が形成さ れる。 またこの素子層 1 2の下層に、 各画素ブロック 6の周辺回路、 制御部 5、 これらを配線する配線層 2 0が形成され、 この配線層 2 0の下層側に、 全体を保 持する基板支持材 2 1が設けられる。 これによりセンサチップ 2は、 撮像面とは 逆側に配線層 2 0が配置されて、 周辺回路、 制御部 5等が設けられ、 これらによ り各画素プロック 6にそれぞれ周辺回路等を設ける場合であっても開口率の低下 を有効に回避することができるように構成される。 また配線層 2 0を撮像面側に 設ける場合の種々の制約を解消して配線の自由度を格段に向上することができる ように形成される。
なおセンサチップ 2は、 このように撮像面とは逆側に配線層 2 0が形成される ことにより、 厚さの薄い半導体基板を配線層 2 0側より処理して受光素子 1 3、 周辺回路の回路素子を形成した後、 この半導体基板に配線層 2 0、 基板支持材 2 1を順次形成し、 その後、 この半導体基板を裏返して C M Pにより研磨して素子 層 1 2が完成し、 遮光膜 1 5、 シリコン窒化膜 （S i N) 1 6、 色フィルタ 1 7 、 マイクロレンズ 1 8を順次形成して作成される。
センサチップ 2は、 第 3図に示すように、 この基板支持材 2 1にロジックチッ プ 3が割り当てられ、 配線層 2 0側に形成された微細突起状電極 3 1と、 ロジッ クチップ 3に形成された微細突起状電極 3 2とによりロジックチップ 3に電気的 に接続されて保持される。 上記微細突起状電極 3 2は以下マイクロバンプと称す る。 .
ここでロジックチップ 3は、 センサチップ 2による撮像結果を処理する信号処 理回路による集積回路であり、 この実施例では、 この信号処理回路がセンサチッ プ 2に設けられた撮像部 4の露光時間を制御するパルス生成部 4 1と、 このパル ス生成部 4 1に各種のタイミング信号を出力する制御部 4 2とにより構成される ここでパルス生成部 4 1は、 センサチップ 2の各画素ブロック 6に対応してパ ルス生成ブロック 4 3がそれぞれ設けられ、 各パルス生成ブロック 4 3がそれぞ れマイクロバンプ 3 1、 3 2により対応する画素プロック 6に接続されて、 対応 する画素プロック 6の露光時間をそれぞれ制御する。 これによりこの集積回路 1 は、 複数の画素プロック 6による撮像結果を同時並列的に出力するように形成さ れて、 各画素プロック 6の露光時間を各パルス生成ブロック 4 3によりそれぞれ 個別に制御できるように形成される。
第 4図は、 この画素ブロック 6とパルス生成ブロック 4 3とを示すプロック図 である。 ここで画素ブロック 6は、 水平方向に連続する画素 1 9 A、 1 9 Bがそ れぞれ共通のゲート線によりリセット制御回路 5 2に接続され、 また垂直方向に 連続する画素 1 9 A、 1 9 Bがそれぞれ共通の信号線により接続されて水平駆動 制御回路 5 3に接続される。 各画素 1 9A、 1 9 Bは、 入射光を光電変換処理し て蓄積電荷を蓄積し、 リセット制御回路 52から出力されるリセットパルス R S Tl、 RST2により蓄積電荷を放電させ、 リセッ ト制御回路 52から出力され る読み出しパルス ROUT 1、 ROUT 2により蓄積電荷を電圧に変換して信号 線に出力する。 これらにより画素ブロック 6は、 リセット制御回路 52の制御に より、 電荷蓄積時間を可変して露光時間が変化し、 ライン単位で撮像結果を水平 駆動制御回路 53に出力する。
リセッ ト制御回路 52は、 第 5図 （A) 及び第 6図 （A) に示すように、 制御 部 5から出力される垂直同期信号 VDにより動作をリセットした後、 パルス生成 ブロック 43から出力されるシャツタパルス SHT (第 5図 （B) 及び第 6図 （ B) ) の立ち上がりのタイミングによりリセッ トパルス RST 1を立ち上げ （第 5図 （C 1) 及ぴ第 6図 （C 1) ) 、 シャツタパルス SHTの立ち下がりのタイ ミングにより読み出しパルス ROUT 1を立ち上げる （第 5図 （D 1) 及び第 6 図 （D 1) ) 。
リセッ ト制御回路 52は、 このシャツタパルス SHTを基準にしたリセッ トパ ルス R ST 1及び読み出しパルス ROUT 1を、 先頭ラインの画素 1 9 Aに出力 する。 また画素プロック 6を形成するライン数に応じた遅延時間 Δ tだけ、 この リセットパルス RST 1及び読み出しパルス ROUT 1を順次遅延させて残りの 各ラインの画素 1 9 B、 ……に係るリセットパルス RST 2、 ……、 RSTn及 び読み出しパルス ROUT 2、 ……、 ROUTnを順次生成し （第 5図 （C 2) 、 (D 2) 及び第 6図 （C 2) 、 (D 2) 、 (C n) 、 (Dn) ) 、 これらリセ ットパルス R S T 2及び読み出しパルス ROUT 2、 ……を各ラインの画素 1 9 B、 ……に出力する。
これによりリセット制御回路 52は、 シャツタパルス SHTが立ち上がった後 、 立ち下がるまでの期間 T 1、 T 2が画素 19A、 1 9 Bの露光時間となるよう に設定して、 各画素 1 9A、 1 9 Bに蓄積された蓄積電荷 （第 5図 （E 1) 及び (E 2) ) を露光時間の終了のタイミングで撮像結果としてライン単位で信号線 に出力するように画素 1 9 A、 1 9 Bの動作を制御する （第 5図 （F 1) 及び （ F 2) ) 。
またリセット制御回路 5 2は、 シャツタパルス SHTによる露光時間に応じて 、 増幅回路 54の利得制御信号 Gを出力し、 これによりシャツタパルス SHTに よる露光時間の制御により変化する撮像結果の信号レベルを補正する。
これにより各信号線には、 垂直方向に連続する各画素 1 9 A、 1 9 B、 ……の 撮像結果が時分割により順次出力されることになる （第 6図 （E) ) 。 水平駆動 制御回路 5 3は、 このようにしてライン単位により各画素 1 9 A、 1 9 Bから信 号線に出力される撮像結果を時分割多重化して出力する （第 6図 （F) ) 。
増幅回路 54は、 リセット制御回路 5 2から出力される利得制御信号 Gにより 利得を可変し、 水平駆動制御回路 5 3から出力される撮像結果を増幅して出力す る。 これによりこの集積回路 1は、 露光時間の制御により変化する撮像結果の信 号レベルを補正して出力する。
アナログディジタル変換回路 （ADC) 5 5は、 この増幅回路 5 4の出力信号 をアナログディジタル変換処理し、 その処理結果による画像データ O U Tをロジ ックチップ 3の対応するパルス生成ブロック 4 3に出力する。 これらによりこの 実施例では、 リセット制御回路 5 2、 水平駆動制御回路 5 3、 増幅回路 54、 了 ナログディジタル変換回路 5 5により、 各画素ブロック 6に属する画素 1 9 A及 び 1 9 Bの周辺回路が形成される。
これらによりこの集積回路 1は、 ラスタ走査の順序により各画素 1 9 A、 1 9 Bによる撮像結果 OUTを各画素ブロック 6から出力するようにして、 各画素ブ ロック 6より同時並列的に撮像結果 OUTを出力し、 対応するパルス生成プロッ ク 4 3の制御により各画素ブロック 6でそれぞれ電子シャッターによる露光時間 を個別に可変すると共に、 この露光時間の速度の可変による撮像結果 OUTにお ける信号レベルの変化を各画素プロック 6でそれぞれ個別に補正するように構成 される。
パルス生成ブロック 4 3は、 動き量検出回路 6 1により、 対応する画素プロッ ク 6から出力される撮像結果の動き量を検出し、 この動き量検出結果に応じてシ ャッタパルス S HTを可変して出力する。
すなわちこの動き検出回路 6 1において、 平均値化回路 6 2は、 対応する画素 プロック 6から出力される撮像結果をフレーム単位で平均値化する。 すなわち平 均値化回路 62は、 加算回路 63と遅延回路 64とにより対応する画素プロック 6から出力される撮像結果を累積加算し、 加算回路 63の出力段に設けられたス ィツチ回路 65の制御により、 フレーム毎にフレーム差分計算回路 66にこの加 算結果を出力して加算値を初期化する。 これにより動き検出回路 6 1は、 撮像結 果をフレーム単位で累積加算して各画素プロック 6による撮像結果の平均値を計 算する。
フレーム差分計算回路 66は、 この平均値化回路 62の出力値を遅延回路 （1 V遅延） 67により 1フレームの期間だけ遅延させる。 またフレーム差分計算回 路 66は、 減算回路 68により、 平均値化回路 62の出力値から遅延回路 67の 出力値を減算し、 これによりフレーム間差分値 Δ Sを計算する。 これらにより動 き量検出回路 61は、 フレーム間差分値 A Sにより近似的に動き量を計算する。 シャッタパルス生成回路 69は、 このようにして得られる動き量検出回路 6 1 による動き量検出結果に応じてシャツタパルス SHTを生成する。 すなわちシャ ッタパルス生成回路 69は、 動き量検出回路 6 1から出力されるフレーム間差分 値厶 Sが増大すると、 その分、 シャツタパルス SHTが立ち上がつている期間が 短くなるように、 シャツタパルス SHTを生成する。 これにより動きが大きくな ると、 その分、 露光時間が短くなるようにシャツタパルス SHTを生成する。 この処理においてシャツタパルス生成回路 69は、 動き量検出回路 6 1から出 力されるフレーム間差分値 Δ Sが増大すると、 その分、 シャツタパルス SHTの 立ち上がりのタイミングを遅延させ、 またこの立ち上がりのタイミングを遅延さ せた分、 シャツタパルス SHTの立ち下がりのタイミングを早くする。 これによ りシャツタパルス生成回路 69は、 シャッター速度を可変した場合でも、 各画素 ブロック 6における露光時間の中央のタイミングにあっては、 変化しないように 設定し、 これにより画素プロック 6間でシャツタパルス SHTの位相が大きく変 ィ匕しないようにする。 なおこれによりシャツタパルス SHTの立ち上がりから次 の立ち上がりまでの時間は、 最短で、 垂直同期期間の半分になる。 従ってリセッ ト制御回路 52は、 このシャツタパルス SHTによりリセットパルス RST 1及 び読み出しパルス ROUT 1を生成し、 このリセットパルス RST 1及び読み出 しパルス ROUT 1を順次遅延させて各ラインのリセットパルス R ST 2、 …… 及び読み出しパルス ROUT 2、 ……を生成するようにして、 この垂直同期期間 の前半及び後半の期間により、 これらリセットパルス RST 1、 RST 2、 …… 及び読み出しパルス ROUT 1、 ROUT 2、 ……をそれぞれ出力するように構 成される。
これらによりこの集積回路 1では、 第 7図に示すように、 センサチップ 2によ り得られる連続する撮像結果 OUT (F l) 、 OUT (F 2) 、 OUT (F 3) について、 この撮像結果 OUT (F l) 、 OUT (F 2) 、 OUT (F 3) のフ レーム間差分値 Δ Sにより、 動きが検出された箇所についてのみ、 シャッター速 度を短くし、 これにより静止した部分における S/N比の劣化を有効に回避して 、 動きのある被写体のボケを防止する。 また動きのある被写体が小さな物体であ る場合でも、 確実に、 この物体に係る部位について、 シャッター速度を短くして ボケを防止する。 なおこの第 7図においては、 何ら露光時間を短くしない場合を 基準にした各画素プロックの露光時間を、 分数により表す。
しかしてこの集積回路 1は、 このようにして各画素ブロック 6より同時並列的 に出力される撮像結果 OUTを、 センサチップ 2に設けられた画像メモリに蓄積 し、 ラスタ走査の順序により多重化して 1系統により出力する。
これらによりこの実施例において、 各画素 1 9 A、 1 9 B、 リセット制御回路 52、 水平駆動制御回路 53は、 撮像面に形成された光学像の撮像結果を出力す る撮像手段を構成し、 動き量検出回路 6 1は、 この撮像面を水平方向及び又は垂 直方向に分割した各プロック毎に、 撮像結果における動き量を検出する動き検出 手段を構成する。 またシャツタパルス生成回路 69は、 動き検出手段による検出 結果に基^いて、 動きが大きいブロック程、 露光時間が短くなるように、 ブロッ ク毎に撮像手段の露光時間を制御する制御手段を構成し、 リセット制御回路 52 、 増幅回路 54は、 各ブロック毎に、 露光時間の制御により変化する撮像結果の 信号レベルを補正して出力する信号レベル補正手段を構成する。
(2) 実施例 1の動作
以上の構成において、 この撮像装置では （第 1図） 、 レンズを介して集積回路 1の撮像面に光学像が形成され、 この光学像の撮像結果が集積回路 1により取得 されて出力される。 この集積回路 1における処理において、 この集積回路 1では (第 2図及び第 4図） 、 受光素子 13による画素 19A、 19 Bがマトリックス 状に配置されて撮像面が形成され、 この撮像面を水平方向及び垂直方向に等分割 した画素プロック 6によりそれぞれ撮像結果 OUTが得られる。
すなわち各画素ブロック 6では、 リセット制御回路 52から各ラインで順次タ イミングがシフトした読み出しパルス ROUT 1、 ROUT 2、 ……が出力され 、 この読み出しパルス ROUT 1、 ROUT 2、 ……により各画素 19 A、 19 Bによる撮像結果 o u t 1、 o u t 2、 ……が、 ライン単位で水平駆動制御回路 53に入力され、 ここで時分割多重化処理される。 また続く増幅回路 54により 撮像結果の信号レベルが補正された後、 アナログディジタル変換回路 55により ディジタル信号に変換されて出力される。 これにより撮像面を分割した各画素ブ ロック 6毎に撮像結果 OUTが取得され、 この撮像結果 OUTが同時並列的に出 力される。
またこれら各画素プロック 6の撮像結果 OUTがそれぞれ対応するパルス生成 ブロック 43に入力され、 ここで各画素ブロック 6の動き量 Δ Sが検出され、 こ の動き量 A Sにより、 動きが大きい画素ブロック程、 露光時間が短くなるように 対応する画素プロック 6の電荷蓄積時間が制御される。
これによりこの撮像装置では、 1つの画面を分割するブロック毎に、 動きに応 じて露光時間を制御することができ、 静止した背景については、 露光時間を長く して SZN比の劣化を防止しつつ、 動きのある部分については、 露光時間を短く してボケを防止することができる。 またプロック毎に動きを検出することにより 、 小さな物体についても動きを検出することができ、 これによりこのような小さ な物体のついてもボケを防止することができ、 これらにより電子シャッターによ る露光時間の制御に関して、 従来に比して一段と画質が向上される。
またこの撮像装置では、 このようにして露光時間を制御するようにして、 露光 時間が短くなった分、 増幅回路 54の利得を増大して撮像結果 OUTの信号レべ ルを補正し、 これによりこのようにプロック毎に露光時間を制御して、 各ブロッ ク間における信号レベルの変化を防止することができ、 これにより画質劣化が防 止される。 このようにして各画素プロック毎に露光時間を制御するようにして、 この撮像 装置では、 画素プロック 6毎に撮像結果 O U Tを取得して同時並列的に出力し、 また各画素プロック 6にそれぞれ対応するパルス生成ブロック 4 3により、 それ ぞれ各画素プロック 6の動き量 Δ Sを検出して露光時間を制御する。 これにより 撮像装置では、 各ブロック毎に独立して、 複数ブロックにおける同時並列的な処 理によりプロック毎に露光時間を制御することができ、 これにより簡易な処理に より従来に比して画質が向上される。
特に、 この撮像装置では、 このセンサチップ 2とロジックチップ 3とをマイク 口バンプ 3 1、 3 2により接続して積層し、 このセンサチップ 2により撮像結果 O U Tを取得すると共に、 ロジックチップ 3により露光時間を制御することによ り、 このように各ブロック毎に独立して、 複数ブロックにおける同時並列的な処 理によりプロック毎に露光時間を制御する構成にあっては、 このようなセンサチ ップ 2とロジックチップ 3との積層構造に適用して、 全体構成を簡略化すること ができる。
またセンサチップ 2にあっては、 撮像面とは逆側にリセット制御回路 5 2、 水 平駆動制御回路 5 3等の周辺回路を配置し、 この逆側の面でロジックチップ 3と 積層されることにより、 各画素 1 9 A、 1 9 Bの開口率の低下を有効に回避する ことができ、 またさらには隣接画素 1 9 A、 1 9 B間のクロストーク等を低減す ることができる。 また撮像面における画素 1 9 A、 1 9 Bの占有面積を十分に確 保することができ、 これにより画素の微細化を容易としてこの撮像装置の製造を 容易なものとすることができる。 また続くロジックチップ 3への接続の自由度を 格段的に向上することができ、 その分、 設計の自由度を向上することができる。 このようにして動き検出して露光時間を制御するようにして、 パルス生成プロ ック 4 3では、 平均値化回路 6 2において、 撮像結果 O U Tをフレーム単位で累 積加算して各フレームにおける撮像結果 O U Tの平均値が求められ、 続くフレー ム差分計算回路 6 6によりこの平均値のフレーム間差分が求められて動き量 Δ S が求められる。 またこの動き量 A Sによりシャツタパルス生成回路 6 9によりシ ャッタパルス S H Tが生成され、 このシャツタパルス S H Tにより リセッ ト制御 回路 5 2でリセッ トパルス R S T 1、 R S T 2、 ……が生成されると共に、 読み 出しパルス R O U T 1、 R O U T 2、 ……のタイミングが変更されて露光時間が 可変される。 これによりこの撮像装置では、 フレーム差分を求める簡易な処理に より動き量 Δ Sが計算されて露光制御の処理が実行され、 その分、 簡易な構成に よりプロック毎に露光制御の処理を実行することが可能となる。
( 3 ) 実施例 1の効果
以上の構成によれば、 1つの画面を複数のブロックに分割し、 各プロック毎に 動き検出してそれぞれ露光時間を制御することにより、 電子シャッターによる露 光時間の制御に関して、 従来に比して一段と画質を向上することができる。
またこのとき、 各ブロックの撮像結果を同時並列的に出力し、 さらに各ブロッ クの撮像結果をそれぞれ処理して、 各ブロック毎に動き量を検出することにより
、 各ブロック毎の独立した同時並列的な処理により露光時間を制御することがで き、 その分、 簡易な処理により電子シャッターによる露光時間の制御に関して、 従来に比して一段と画質を向上することができる。
またフレーム単位で、 各ブロック毎に、 撮像結果をそれぞれ累積加算して平均 値を計算し、 各ブロック毎に、 この平均値のフレーム間差分値を計算して動き量 を検出することにより、 簡易な構成により動き量を検出することができ、 その分 、 全体構成を簡略化することができる。
また少なくとも撮像手段である画素、 画素の周辺回路と、 動き検出手段の構成 とを、 異なる半導体チップに形成してマイクロバンプにより接続することにより 、 全体を集積回路化して構成を簡略化するようにして、 画素における開口率の低 下を防止し、 さらには設計の自由度を十分に確保することができる。
( 4 ) 実施例 2
第 8図に示すように、 この実施例に係る撮像装置 7 1は、 実施例 1について上 述した集積回路 1の構成に加えて、 符号化手段 7 2、 記録手段 7 3が設けられ、 これら符号化手段 7 2、 記録手段 7 3により撮像結果 O U Tを符号化処理して記 録媒体に記録する。 このためこの実施例に係る撮像装置 7 1は、 実施例 1につい て上述した集積回路 1により撮像系 7 4が形成され、 この撮像系 7 4から出力さ れる撮像結果 O U Tを多重化した後、 輝度信号及び色差信号に変換して符号化手 段 7 2に入力し、 この符号化手段 7 2により符号化処理されたデータを記録手段 7 3により記録媒体に記録する。
ここでこの符号化手段 7 2は、 動きべクトルを用いたデータ圧縮に係る符号化 手段であり、 例えば H. 2 6 4の手法により撮像結果 O U Tを符号ィ匕処理する。 これに対して撮像系 7 4は、 この符号化手段 7 2で動きべクトルの検出に供す るマクロブロックに対応するように、 画素プロック 6を構成する画素数が設定さ れる。 なおこの場合、 輝度信号、 色差信号の何れのマクロブロックに対応するよ うに、 画素ブロックを設定してもよく、 また H. 2 6 4では大きさの異なる複数種 類のマクロブロックにより動き検出することにより、 この複数種類のマクロプロ ックの何れのマクロプロックに対応するように、 画素ブロックを設定してもよい 。
また撮像系 7 4は、 このようにして画素ブロック 6を設定して、 各画素ブロッ ク 6で検出される動き量 Δ Sを符号ィヒ手段 7 2に出力する。
符号化手段 7 2は、 この動き量 Δ Sを所定のしきい値により判定することによ り、 動きの有無を判定する。 またこの判定結果により動きがあると判定された場 合には、 通常の処理により動きベクトルを検出して撮像結果 O U Tを符号化処理 する。 これに対してこの判定結果により動きが無いと判定した場合には、 動きべ クトルの検出を中止すると共に、 動きべクトルを値 0に設定して撮像結果 O U T を符号化処理する。
これによりこの実施例では、 プロック毎に動き検出して露光時間を制御するよ うにして、 この露光時間の制御に使用した動き検出結果を符号化処理に利用し、 その分、 符号化処理における負担を軽減する。
この実施例によれば、 符号化処理における動きべクトルの検出単位に対応する 大きさにより撮像結果をブロック化して、 各ブロック毎に動き検出してそれぞれ 露光時間を制御すると共に、 この動き検出結果を符号化処理に利用することによ り、 電子シャッターによる露光時間の制御に関して、 従来に比して一段と画質を 向上するようにして、 符号化処理に供する負担を軽減することができる。
( 5 ) 実施例 3
第 8図との対比により第 9図に示すように、 この実施例に係る撮像装置 8 1は 、 実施例 2について上述した撮像系 7 4の動き検出回路 6 1 (第 4図参照） にお けるフレーム間差分による動き量の検出に代えて、 動きべクトルの検出により動 き量を検出する。 すなわち動きベクトル Vを検出し、 またこの動きベクトルを絶 対値化して動きべク トル Vの長さを検出し、 さらにこの動きべクトル Vの長さに より動きの大きさを検出する。 なおこの動きベクトル Vの検出においては、 プロ ックマッチング法、 勾配法等、 種々の検出手法を適用することができる。
また符号化手段 8 2は、 画素ブロック 6に対応する大きさのブロックについて の動きベクトル Vの検出にあっては、 動きベクトルの検出処理を中止し、 この動 き検出回路 6 1で検出した動きべクトル Vを用いて符号化処理を実行する。 なお この実施例に係る撮像装置 8 1は、 これら動きべクトル Vに係る構成を除いて、 実施例 2について上述した撮像装置 7 1と同一に構成される。
この実施例によれば、 動きべクトルにより動き検出してブロック毎に露光時間 を制御するようにしても、 実施例 2と同様の効果を得ることができる。
( 6 ) 他の実施例
なお上述の実施例においては、 リセットパルス及び読み出しパルスの双方のタ イミングを可変して露光時間を制御する場合について述べたが、 本発明はこれに 限らず、 リセットパルスだけのタイミングの可変により露光時間を制御するよう にしてもよい。
また上述の実施例においては、 各画素プロック毎に、 それぞれ撮像結果を出力 して処理する場合について述べたが、 本発明はこれに限らず、 1画面分の撮像結 果をまとめて出力するようにして、 この撮像結果を画素ブロック毎に分類、 処理 してそれぞれ各画素ブロック毎に露光時間を制御するようにしてもよい。 このよ うにすれば、 撮像結果の出力に関して、 ラスタ走査の順序により撮像結果を出力 する従来構成の撮像素子を使用する場合にあっても、 上述の実施例と同様に、 電 子シャッターによる露光時間の制御に関して、 従来に比して一段と画質を向上す ることができる。
また上述の実施例においては、 C MO S固体撮像素子によりセンサチップを構 成する場合について述べたが、 本発明はこれに限らず、 X Yアドレス方式による 各種固体撮像素子によりセンサチップを構成する場合、 さらには C C D固体撮像 素子によりセンサチップを構成する場合等に広く適用することができる。 また上述の実施例においては、 撮像面を水平方向及ぴ垂直方向に分割して画素 ブロックを形成する場合について述べたが、 本発明はこれに限らず、 水平方向及 び垂直方向の一方についてのみ撮像面を分割して画素ブロックとしてもよい。 また上述の実施例においては、 センサチップ 2の裏面側に各画素の周辺回路を 設け、 さらにはロジックチップと積層する場合について述べたが、 本発明はこれ に限らず、 センサチップ 2の表面側に各画素の周辺回路を設ける場合、 さらには ロジックチップを別体に構成する場合等にも広く適用することができる。 産業上の利用可能性
本発明は、 例えば C M O S固体撮像素子による撮像装置に適用することができ る。

Claims

請求の範囲
1 . 画素をマトリ ックス状に配置して撮像面が形成され、 前記撮像面に形成され た光学像の撮像結果を出力する撮像手段と、
前記撮像面を水平方向及び又は垂直方向に分割した各プロック毎に、 前記撮像 結果における動き量を検出する動き検出手段と、
前記動き検出手段による検出結果に基づいて、 前記プロック毎に前記撮像手段 の露光時間を制御する制御手段と、
前記各プロック毎に、 前記露光時間の制御により変化する前記撮像結果の信号 レベルを補正して出力する信号レベル補正手段と
を備えることを特徴とする撮像装置。
2 . 前記制御手段は、
前記動き検出手段による検出結果に基づいて、 動きが大きいブロック程、 露光 時間が短くなるように、 前記プロック毎に前記撮像手段の露光時間を制御する ことを特徴とする請求の範囲第 1項に記載の撮像装置。
3 . 前記撮像手段は、
前記各プロックの撮像結果を同時並列的に出力して、 前記光学像の撮像結果を 出力し、
前記動き検出手段は、
前記撮像手段から出力される各プロックの撮像結果をそれぞれ処理して、 前記 各ブロック毎に動き量を検出する
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
4 . 前記動き検出手段は、
フレーム単位で、 前記各ブロック毎に、 前記撮像結果をそれぞれ累積加算して 平均値を計算する平均値計算回路と、
前記各プロック毎に、 前記平均値計算回路で計算される平均値のフレーム間差 分値を計算し、 前記フレーム間差分値により前記動き量を検出するフレーム差分 計算回路とを有する
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
5 . 少なくとも前記撮像手段及び前記動き検出手段が、 異なる半導体チップに形 成されてマイクロバンプにより接続された
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
6 . 前記動き検出手段による検出結果に基づいて、 マクロブロックにより前記撮 像結果を符号化処理する符号化手段を有し、
前記動き検出手段に係る前記プロックが、 前記符号化手段の前記マクロプロッ クに対応する大きさに設定された
ことを特徴とする請求の範囲第 1項に記載の撮像装置。
7 . 撮像手段の撮像面を水平方向及び又は垂直方向に分割した各プロック毎に、 前記撮像手段の撮像結果における動き量を検出する動き検出のステップと、 前記動き検出のステップによる検出結果に基づいて、 前記プロック毎に前記撮 像手段の露光時間を制御する制御のステップと、
前記各プロック毎に、 前記露光時間の制御により変化する前記撮像結果の信号 レベルを補正して出力する信号レベル捕正のステップとを有する
ことを特徴とする撮像結果の処理方法。
PCT/JP2005/022603 2005-01-13 2005-12-02 撮像装置及び撮像結果の処理方法 Ceased WO2006075463A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
US11/794,996 US8345108B2 (en) 2005-01-13 2005-12-02 Image pickup apparatus and processing method for result of image pickup
CA002593719A CA2593719A1 (en) 2005-01-13 2005-12-02 Image pickup device and image pickup result processing method
KR1020137026191A KR101362604B1 (ko) 2005-01-13 2005-12-02 촬상 장치 및 촬상 결과의 처리 방법
AU2005324643A AU2005324643B2 (en) 2005-01-13 2005-12-02 Image pickup device and image pickup result processing method
KR1020127031162A KR20120137443A (ko) 2005-01-13 2005-12-02 촬상 장치 및 촬상 결과의 처리 방법
BRPI0519834-8A BRPI0519834A2 (pt) 2005-01-13 2005-12-02 aparelho de captação de imagem, e, método de processamento para um resultado de captação de imagem
EP05814419.7A EP1838088B1 (en) 2005-01-13 2005-12-02 Image pickup device and image pickup result processing method
MX2007008426A MX2007008426A (es) 2005-01-13 2005-12-02 Dispositivo de recuperacion de imagenes y metodo de procesamiento de resultado de recuperacion de imagenes.
US13/690,999 US8687069B2 (en) 2005-01-13 2012-11-30 Image pickup apparatus and processing method for result of image pickup
US14/159,616 US9185304B2 (en) 2005-01-13 2014-01-21 Image pickup apparatus and processing method for result of image pickup
US14/750,088 US20150296113A1 (en) 2005-01-13 2015-06-25 Image pickup apparatus and processing method for result of image pickup
US15/047,467 US9729764B2 (en) 2005-01-13 2016-02-18 Image pickup apparatus and processing method for result of image pickup
US15/590,909 US10057515B2 (en) 2005-01-13 2017-05-09 Image pickup apparatus and processing method for result of image pickup

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005006178A JP4277216B2 (ja) 2005-01-13 2005-01-13 撮像装置及び撮像結果の処理方法
JP2005-006178 2005-03-03

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/794,996 A-371-Of-International US8345108B2 (en) 2005-01-13 2005-12-02 Image pickup apparatus and processing method for result of image pickup
US13/690,999 Division US8687069B2 (en) 2005-01-13 2012-11-30 Image pickup apparatus and processing method for result of image pickup

Publications (1)

Publication Number Publication Date
WO2006075463A1 true WO2006075463A1 (ja) 2006-07-20

Family

ID=36677495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022603 Ceased WO2006075463A1 (ja) 2005-01-13 2005-12-02 撮像装置及び撮像結果の処理方法

Country Status (11)

Country Link
US (6) US8345108B2 (ja)
EP (1) EP1838088B1 (ja)
JP (1) JP4277216B2 (ja)
KR (3) KR101362604B1 (ja)
CN (1) CN101099381A (ja)
AU (1) AU2005324643B2 (ja)
BR (1) BRPI0519834A2 (ja)
CA (1) CA2593719A1 (ja)
MX (1) MX2007008426A (ja)
RU (1) RU2343644C1 (ja)
WO (1) WO2006075463A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023805B2 (ja) 2007-05-16 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
EP2063630A1 (en) * 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
JP5247397B2 (ja) * 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
ATE543215T1 (de) * 2009-03-24 2012-02-15 Sony Corp Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung
CA2757571A1 (en) * 2009-04-13 2010-10-21 Showscan Digital Llc Method and apparatus for photographing and projecting moving images
JP5218309B2 (ja) * 2009-07-14 2013-06-26 ソニー株式会社 固体撮像素子およびその制御方法、並びにカメラシステム
JP5521721B2 (ja) * 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
JP5737921B2 (ja) * 2010-12-13 2015-06-17 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
JP5622648B2 (ja) 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
US9013615B2 (en) * 2011-09-21 2015-04-21 Semiconductor Components Industries, Llc Image sensor with flexible interconnect capabilities
RU2478241C1 (ru) * 2011-10-03 2013-03-27 Открытое акционерное общество "Научно-исследовательский институт телевидения" Устройство формирования видеосигнала от кмоп-матрицы
IN2014DN08388A (ja) 2012-03-30 2015-05-08 Nikon Corp
CN110177227B (zh) 2012-03-30 2022-04-05 株式会社尼康 拍摄单元、拍摄装置及拍摄控制程序
RU2649967C2 (ru) 2012-05-02 2018-04-06 Никон Корпорейшн Устройство формирования изображений
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
CN110086980B (zh) * 2013-05-31 2022-06-24 株式会社尼康 电子设备
WO2015001646A1 (ja) * 2013-07-04 2015-01-08 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP6231869B2 (ja) * 2013-12-12 2017-11-15 キヤノン株式会社 撮像装置、通信機器およびそれらの制御方法、プログラム
CN103744322B (zh) * 2013-12-13 2016-08-17 青岛歌尔声学科技有限公司 一种控制信号生成电路
JP6245474B2 (ja) 2014-04-21 2017-12-13 ソニー株式会社 固体撮像素子、固体撮像素子の製造方法、並びに、電子機器
JP2016019076A (ja) 2014-07-07 2016-02-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに再生装置
US10284771B2 (en) 2014-12-03 2019-05-07 Nikon Corporation Image-capturing apparatus, electronic device, and program
JP2016192605A (ja) * 2015-03-30 2016-11-10 株式会社ニコン 電子機器、記録媒体およびプログラム
JP6604384B2 (ja) 2015-09-30 2019-11-13 株式会社ニコン 撮像装置
JP6516014B2 (ja) * 2015-09-30 2019-05-22 株式会社ニコン 撮像装置および画像処理装置
US10810716B2 (en) 2015-09-30 2020-10-20 Nikon Corporation Image capturing device, image processing device and display device for setting different exposure conditions
WO2017170723A1 (ja) 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、画像処理装置、および電子機器
JPWO2017170724A1 (ja) * 2016-03-31 2019-02-14 株式会社ニコン 撮像装置、レンズ調節装置、および電子機器
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
KR102647268B1 (ko) * 2016-09-16 2024-03-12 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
JP6715463B2 (ja) * 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
CN106412454B (zh) * 2016-10-18 2019-06-04 南京大学 暗场景下基于ccd传感器实时获取清晰图像的装置和方法
US11044411B2 (en) * 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus
JP6580111B2 (ja) * 2017-02-10 2019-09-25 キヤノン株式会社 撮像素子および撮像装置
JP2020096211A (ja) * 2017-03-31 2020-06-18 株式会社ニコン 電子機器
JP2020098943A (ja) * 2017-03-31 2020-06-25 株式会社ニコン 電子機器
JP6755405B2 (ja) * 2017-08-18 2020-09-16 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
EP3462731B1 (en) * 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body
WO2019082831A1 (ja) 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP7286294B2 (ja) 2017-10-27 2023-06-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
TW202406328A (zh) * 2018-03-15 2024-02-01 日商尼康股份有限公司 感測器以及具備其之攝像裝置
JP7299680B2 (ja) * 2018-08-23 2023-06-28 キヤノン株式会社 撮像装置及び撮像システム
JP7281897B2 (ja) * 2018-12-12 2023-05-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
JP7516031B2 (ja) 2019-11-19 2024-07-16 キヤノン株式会社 撮像装置及び撮像システム
JP2020074596A (ja) 2020-01-23 2020-05-14 株式会社ニコン 撮像装置
JP7458819B2 (ja) * 2020-02-21 2024-04-01 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP7468632B2 (ja) * 2020-04-15 2024-04-16 株式会社ニコン 撮像素子、撮像装置及び装置
JP7562306B2 (ja) * 2020-06-23 2024-10-07 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
JP7803283B2 (ja) 2020-11-20 2026-01-21 株式会社ニコン 撮像装置および撮像方法
JP2023031696A (ja) * 2021-08-25 2023-03-09 株式会社ニコン 撮像素子および撮像装置
US20240381005A1 (en) * 2021-08-25 2024-11-14 Nikon Corporation Imaging element and imaging device
JP7786077B2 (ja) * 2021-08-25 2025-12-16 株式会社ニコン 撮像素子および撮像装置
KR102826195B1 (ko) * 2023-09-08 2025-06-26 아주대학교산학협력단 움직임 및 움직임 경로 감지 장치 및 방법과 이를 구비하는 비전 센서

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738803A (ja) * 1993-07-20 1995-02-07 Mitsubishi Electric Corp ビデオカメラ
JPH07284006A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
JPH1188763A (ja) * 1997-06-20 1999-03-30 Samsung Electron Co Ltd デジタルスチルカメラのシャッター速度制御装置及び方法
JP2000013690A (ja) * 1998-06-19 2000-01-14 Toshiba Corp 画像撮影装置及びその方法
JP2000278595A (ja) * 1999-03-26 2000-10-06 Minolta Co Ltd デジタルカメラ及び撮像方法
US20030020827A1 (en) 2001-07-25 2003-01-30 Bean Heather Noel Image capturing device capable of single pixel exposure duration control
US20030174772A1 (en) 2001-09-12 2003-09-18 Transchip, Inc. Systems and methods for utilizing activity detection information in relation to image processing

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1003383A1 (ru) * 1981-10-28 1983-03-07 Предприятие П/Я В-8450 Фотоприемник движущихс изображений (его варианты)
JP3642793B2 (ja) 1992-11-25 2005-04-27 ソニー株式会社 固体撮像装置及び撮像装置の制御方法
JPH06261256A (ja) 1993-03-04 1994-09-16 Fuji Photo Optical Co Ltd 固体撮像素子を用いた撮像装置
DE69739272D1 (de) * 1996-11-05 2009-04-02 Bae Systems Information Vorrichtung zur elektro-optischen fernerkundung mit bewegungskompensation
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
GB2332800B (en) * 1997-12-18 2000-09-27 Simage Oy Device for imaging radiation
US6665010B1 (en) * 1998-07-21 2003-12-16 Intel Corporation Controlling integration times of pixel sensors
US6303923B1 (en) * 1998-12-18 2001-10-16 California Institute Of Technology Fabricating a hybrid imaging device having non-destructive sense nodes
WO2000055810A1 (en) * 1999-03-16 2000-09-21 Hamamatsu Photonics K. K. High-speed vision sensor
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP3430994B2 (ja) * 1999-09-28 2003-07-28 ミノルタ株式会社 カメラ
US6995800B2 (en) * 2000-01-27 2006-02-07 Canon Kabushiki Kaisha Image pickup apparatus utilizing a plurality of converging lenses
US6765619B1 (en) * 2000-04-04 2004-07-20 Pixim, Inc. Method and apparatus for optimizing exposure time in image acquisitions
JP2001298175A (ja) * 2000-04-12 2001-10-26 Toshiba Corp 撮像システム
US6809769B1 (en) * 2000-06-22 2004-10-26 Pixim, Inc. Designs of digital pixel sensors
US7139028B2 (en) * 2000-10-17 2006-11-21 Canon Kabushiki Kaisha Image pickup apparatus
JP2002231918A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 固体撮像装置及びその製造方法
JP3794942B2 (ja) * 2001-07-09 2006-07-12 松下電器産業株式会社 マルチチップモジュール及びその接続テスト方法
JP3759435B2 (ja) * 2001-07-11 2006-03-22 ソニー株式会社 Ｘ−ｙアドレス型固体撮像素子
RU2235443C2 (ru) * 2001-08-16 2004-08-27 Федеральное государственное унитарное предприятие "Научно-исследовательский институт промышленного телевидения "Растр" Телевизионная камера на матрице приборов с зарядовой связью
JP3833088B2 (ja) * 2001-09-05 2006-10-11 独立行政法人科学技術振興機構 画像検出処理装置
US7158180B2 (en) * 2001-12-31 2007-01-02 Texas Instruments Incorporated System and method for varying exposure time for different parts of a field of view while acquiring an image
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP3709873B2 (ja) * 2003-02-19 2005-10-26 ソニー株式会社 固体撮像装置及び撮像カメラ
US6989589B2 (en) * 2003-07-21 2006-01-24 Motorola, Inc. Programmable sensor array
JP2005056998A (ja) * 2003-08-01 2005-03-03 Fuji Photo Film Co Ltd 固体撮像装置およびその製造方法
US7091469B2 (en) * 2004-05-20 2006-08-15 St Assembly Test Services Ltd. Packaging for optoelectronic devices
US7583305B2 (en) * 2004-07-07 2009-09-01 Eastman Kodak Company Extended dynamic range imaging system
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738803A (ja) * 1993-07-20 1995-02-07 Mitsubishi Electric Corp ビデオカメラ
JPH07284006A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
JPH1188763A (ja) * 1997-06-20 1999-03-30 Samsung Electron Co Ltd デジタルスチルカメラのシャッター速度制御装置及び方法
JP2000013690A (ja) * 1998-06-19 2000-01-14 Toshiba Corp 画像撮影装置及びその方法
JP2000278595A (ja) * 1999-03-26 2000-10-06 Minolta Co Ltd デジタルカメラ及び撮像方法
US20030020827A1 (en) 2001-07-25 2003-01-30 Bean Heather Noel Image capturing device capable of single pixel exposure duration control
US20030174772A1 (en) 2001-09-12 2003-09-18 Transchip, Inc. Systems and methods for utilizing activity detection information in relation to image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1838088A4

Also Published As

Publication number Publication date
US20080284871A1 (en) 2008-11-20
US9729764B2 (en) 2017-08-08
MX2007008426A (es) 2007-09-06
AU2005324643B2 (en) 2010-10-07
KR20120137443A (ko) 2012-12-20
KR101362604B1 (ko) 2014-02-12
EP1838088A4 (en) 2009-12-09
CN101099381A (zh) 2008-01-02
JP4277216B2 (ja) 2009-06-10
AU2005324643A1 (en) 2006-07-20
US10057515B2 (en) 2018-08-21
US20140132785A1 (en) 2014-05-15
EP1838088A1 (en) 2007-09-26
US8687069B2 (en) 2014-04-01
US20160165100A1 (en) 2016-06-09
US20150296113A1 (en) 2015-10-15
EP1838088B1 (en) 2020-07-15
US20170244913A1 (en) 2017-08-24
KR20130114760A (ko) 2013-10-17
CA2593719A1 (en) 2006-07-20
US8345108B2 (en) 2013-01-01
US20130088608A1 (en) 2013-04-11
RU2343644C1 (ru) 2009-01-10
KR20070102678A (ko) 2007-10-19
JP2006197192A (ja) 2006-07-27
BRPI0519834A2 (pt) 2009-03-17
US9185304B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
JP4277216B2 (ja) 撮像装置及び撮像結果の処理方法
JP4290066B2 (ja) 固体撮像装置および撮像システム
CN108028898B (zh) 图像传感器和摄像设备
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
US10397502B2 (en) Method and apparatus for imaging an object
WO2018198766A1 (ja) 固体撮像装置および電子機器
JP2010147785A (ja) 固体撮像素子及び撮像装置並びにその画像補正方法
JP4266726B2 (ja) 撮像装置
US8026965B2 (en) Image pickup apparatus and method for controlling the same
JP2009284328A (ja) 撮像装置
US11252354B2 (en) Image sensor, control method thereof, and image capturing apparatus
JP7661099B2 (ja) 信号処理装置、光電変換装置、撮像システム及び信号処理装置の制御方法
JP2012235363A (ja) 撮像装置
JP2007143067A (ja) 撮像装置及び撮像システム
JP2010166159A (ja) カメラ、カメラのぶれ補正方法
JP5664010B2 (ja) 撮像装置
JP2011101170A (ja) Ｃｃｄ型固体撮像素子のスミア補正方法及び撮像装置
JP2007336333A (ja) 撮像装置
JP2013258652A (ja) 固体撮像素子及びこれを用いた撮像装置
JP2015231157A (ja) 撮像装置及びその駆動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005324643

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2593719

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2005814419

Country of ref document: EP

Ref document number: 5184/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1020077015722

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: MX/a/2007/008426

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2007126682

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 200580046564.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2005324643

Country of ref document: AU

Date of ref document: 20051202

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2005324643

Country of ref document: AU

WWP Wipo information: published in national office

Ref document number: 2005814419

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11794996

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0519834

Country of ref document: BR

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 1020127031162

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020137026191

Country of ref document: KR