WO2025192018A1 - 半導体チップ、評価測定システム、半導体チップの制御方法、および、評価測定システムの制御方法 - Google Patents
半導体チップ、評価測定システム、半導体チップの制御方法、および、評価測定システムの制御方法Info
- Publication number
- WO2025192018A1 WO2025192018A1 PCT/JP2025/001093 JP2025001093W WO2025192018A1 WO 2025192018 A1 WO2025192018 A1 WO 2025192018A1 JP 2025001093 W JP2025001093 W JP 2025001093W WO 2025192018 A1 WO2025192018 A1 WO 2025192018A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- regression
- unit
- clamp
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Definitions
- This technology relates to semiconductor chips. More specifically, it relates to semiconductor chips that capture image data, evaluation and measurement systems, semiconductor chip control methods, and evaluation and measurement system control methods.
- semiconductor chips such as solid-state imaging devices use clamping to adjust the black level of pixel signals.
- this clamping process for example, pixel signals are read from the light-shielded VOPB area, the average value of these pixel signals is calculated for each column as a clamp value, and the clamp value is subtracted from the pixel signals of pixels that are not light-shielded.
- the clamp value can fluctuate if imaging conditions such as exposure time and gain or the chip change. Therefore, a solid-state imaging device has been proposed that uses machine learning to determine control data for controlling clamping for each imaging condition and chip (see, for example, Patent Document 1).
- the above-mentioned conventional technology aims to improve the correction accuracy of clamping by using machine learning to determine control data for each imaging condition and chip.
- image data in other words, a frame
- the above-mentioned semiconductor chip needs to read pixel signals from the VOPB area and perform clamping. Reducing the readout period of the VOPB area would improve the frame rate accordingly, but this is undesirable because it would no longer be possible to perform clamping, resulting in a decrease in image quality. As such, it is difficult to improve the frame rate with the above-mentioned conventional technology.
- This technology was developed in light of these circumstances, and aims to improve frame rates in semiconductor chips that perform clamping processing.
- This technology has been developed to solve the above-mentioned problems, and its first aspect is a semiconductor chip and control method comprising: a pixel array section in which a predetermined number of unshaded light-sensitive pixels are arranged in a two-dimensional grid; a regression coefficient storage section that stores, as regression coefficients, coefficients of a regression equation for determining a clamp value, which is a statistical quantity of the pixel signals of the shaded light-shielded pixels, from predetermined explanatory variables; and a signal processing section that performs a clamp value calculation process that calculates the clamp value from the explanatory variables using the regression coefficients, and a clamp process that subtracts the clamp value from the pixel signals of the light-sensitive pixels. This has the effect of improving the frame rate.
- the pixel array unit may further include a predetermined number of the light-shielding pixels arranged for each column of the light-sensitive pixels, and the regression coefficient storage unit may store the regression coefficient for each column. This results in the effect of calculating a clamp value for each column.
- a second aspect of this technology is an evaluation measurement system and control method comprising a semiconductor chip that generates pixel signals from shaded pixels as shaded pixel signals, and an evaluation measurement device that calculates coefficients of a regression equation for determining clamp values, which are statistics of the shaded pixel signals, from predetermined explanatory variables. This has the effect of improving the frame rate.
- the evaluation and measurement device may include a regression coefficient calculation unit that calculates the regression coefficients, and a regression coefficient search unit that accesses a database that stores the regression coefficients for each of a predetermined number of the semiconductor chips and searches for the regression coefficient to be applied to the semiconductor chip being configured. This provides the effect of improving versatility.
- 1 is a diagram illustrating an example of the configuration of an evaluation measurement system and an imaging system according to a first embodiment of the present technology
- 1 is a block diagram showing a configuration example of a sensor chip according to a first embodiment of the present technology
- FIG. 2 is a block diagram showing a configuration example of a signal processing unit according to the first embodiment of the present technology.
- 1 is a block diagram showing an example of the configuration of an evaluation measurement device according to a first embodiment of the present technology
- FIG. 2 is a diagram illustrating an example of explanatory variables and a response variable according to the first embodiment of the present technology
- 1 is a graph illustrating an example of a relationship between a response variable and an explanatory variable according to the first embodiment of the present technology.
- FIG. 3 is a diagram illustrating an example of data stored in an OTP memory according to the first embodiment of the present technology
- FIG. FIG. 10 is a diagram illustrating an example of a pixel array unit to which a HOPB region is added according to the first embodiment of the present technology.
- 3 is a flowchart showing an example of the operation of the evaluation measurement device according to the first embodiment of the present technology.
- 10 is a flowchart showing an example of an operation of the sensor chip according to the first embodiment of the present technology.
- 10 is a timing chart showing an example of the operation of the sensor chip according to the comparative example and the first embodiment of the present technology.
- FIG. 10 is a block diagram showing an example configuration of an evaluation measurement device according to a second embodiment of the present technology.
- FIG. 10 is a diagram illustrating an example of the configuration of an evaluation and measurement system according to a second embodiment of the present technology.
- 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
- FIG. 2 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit.
- First embodiment [Configuration example of evaluation measurement system and imaging system] 1 is a diagram showing an example of the configuration of an evaluation measurement system 100 and an imaging system 150 according to a first embodiment of the present technology.
- “a” shows an example of the evaluation measurement system 100
- “b” shows an example of the imaging system 150.
- the evaluation measurement system 100 is a system that measures the temperature and other parameters for each sensor chip and for each imaging condition prior to mass production, and calculates the regression coefficients of a regression equation for calculating clamp values from explanatory variables.
- This evaluation measurement system 100 comprises multiple sensor chips, a tester 110, and an evaluation measurement device 120. These sensor chips may be, for example, CIS (CMOS Image Sensors).
- the sensor chip is an example of a semiconductor chip as defined in the claims.
- Sensor chips are classified into chips to be measured and chips to be set.
- Sensor chips 201, 202, and 203 are examples of chips to be measured, and sensor chips 201-1 and 201-2 are examples of chips to be set.
- Each of the chips to be measured is manufactured using a different process, and is used to measure each chip (in other words, each process) before mass production.
- chips to be set are chips that are mass-produced using the same process as any of the chips to be measured.
- sensor chips 201-1 and 201-2 are manufactured using the same process as sensor chip 201.
- the tester 110 measures process-dependent parameters (such as the threshold voltage Vth of a transistor) for each chip to be measured, and supplies the measured values to the evaluation measurement device 120.
- the threshold voltage Vth includes at least one of the threshold voltage Vth n of an nMOS (n-channel Metal Oxide Semiconductor) transistor and the threshold voltage Vth p of a pMOS (p-channel MOS) transistor.
- a chip to be measured such as the sensor chip 201, captures images under various conditions under the control of the evaluation measurement device 120, and supplies pixel signals of light-shielded pixels to the evaluation measurement device 120 as light-shielded pixel signals.
- the imaging conditions are specified, for example, by a combination of the respective values or ranges of exposure time, gain, and temperature. If the imaging conditions include a temperature condition, the sensor chip measures the temperature and supplies it to the evaluation measurement device 120 along with the light-shielded pixel signals.
- the evaluation measurement device 120 acquires the light-shielded pixel signals and temperatures for each imaging condition for each chip, and calculates regression coefficients. This evaluation measurement device 120 calculates the statistical quantity (average, etc.) of the light-shielded pixel signals as a clamp value. Then, the evaluation measurement device 120 uses the imaging condition variables (exposure time, gain, temperature, etc.) and the process-dependent threshold voltage Vth as explanatory variables, and the clamp value as a response variable, and calculates the regression coefficients of a regression equation for finding the response variable from the explanatory variables.
- the evaluation measurement device 120 stores the calculated regression coefficients and sets the regression coefficients of the sensor chip 201 with the same process to the target sensor chip 201-1.
- the imaging system 150 is an example of a system to which the sensor chip 201-1, for which regression coefficients have been set in the evaluation measurement system 100, is applied.
- the imaging system 150 includes the sensor chip 201-1 and a DSP (Digital Signal Processing) circuit 160.
- DSP Digital Signal Processing
- the sensor chip 201-1 captures image data (in other words, frames) and supplies them to the DSP circuit 160.
- the DSP circuit 160 performs various signal processing on the frames, such as HDR (High-Dynamic-Range) synthesis and image recognition.
- HDR High-Dynamic-Range
- the functions of the tester 110 performed by the evaluation measurement device 120.
- the tester 110 is eliminated, and the evaluation measurement device 120 measures the threshold voltage.
- FIG. 2 is a block diagram showing an example configuration of a sensor chip 201 according to the first embodiment of the present technology.
- the sensor chip 201 includes a vertical scanning unit 211, a system control unit 212, a pixel array unit 220, a readout circuit unit 213, an AD (Analog to Digital) conversion unit 214, and a horizontal scanning unit 215.
- the sensor chip 201 also includes a one-time programmable (OTP) memory 216, a thermometer 217, a selector 218, a signal processing unit 250, and a communication interface 219.
- OTP one-time programmable
- the configurations of the sensor chips 202 and 203 other than the sensor chip 201 are the same as those of the sensor chip 201, except that they are manufactured using different processes.
- the pixel array section 220 includes a VOPB region 230 and a photosensitive region 240.
- the photosensitive region 240 is not light-shielded, and photosensitive pixels 241 are arranged in a two-dimensional grid pattern.
- the VOPB region 230 is light-shielded, and within this region, a predetermined number of light-shielded pixels 231 are arranged in the column direction for each column of the photosensitive region 240.
- the rows in the VOPB area 230 will be referred to as “shaded rows,” and the rows in the photosensitive area 240 will be referred to as “sensitive rows.”
- the pixel signals generated by the photosensitive pixels 231 through photoelectric conversion will be referred to as “photosensitive pixel signals,” and the pixel signals generated by the photosensitive pixels 241 will be referred to as “shaded pixel signals.”
- the sensor chip 201 is set to either measurement mode or normal mode by the mode signal MODEa.
- the measurement mode is the mode set by the aforementioned evaluation measurement system 100
- the normal mode is the mode set by the aforementioned imaging system 150.
- the system control unit 212 controls the operation timing of the vertical scanning unit 211, readout circuit unit 213, AD conversion unit 214, and horizontal scanning unit 215 in accordance with control signals from the communication interface 219. These control signals include a vertical synchronization signal and setting values for exposure time and gain.
- the gain is, for example, an analog gain for an analog signal, and is used in the AD conversion unit 214, etc.
- a load MOS current source (not shown) is arranged for each column in the readout circuit unit 213.
- the OTP memory 216 stores regression coefficients for each value or range condition of explanatory variables, such as exposure time, gain, and temperature.
- the regression coefficients received by the communication interface 219 from the evaluation measurement device 120 are written into this OTP memory 216.
- the OTP memory 216 is an example of a regression coefficient storage unit described in the claims.
- the signal processing unit 250 performs various signal processing operations on pixel signals.
- the signal processing unit 250 transmits each of the light-shielded pixel signals to the evaluation measurement device 120 via the communication interface 219.
- the signal processing unit 250 performs clamp value calculation processing to calculate a clamp value from the explanatory variables using the regression coefficients, and clamp processing to subtract the clamp value from the light-sensitive pixel signal.
- the signal processing unit 250 then transmits a frame in which the processed pixel signals are arranged to the DSP circuit 160 via the communication interface 219.
- the communication interface 121 sends and receives data between the tester 110 and the sensor chip.
- the imaging control unit 122 controls the imaging operation of the sensor chip 201, etc. In measurement mode, the imaging control unit 122 generates a control signal including exposure time and gain setting values, and transmits it to the sensor chip to be measured via the communication interface 121. The imaging control unit 122 also supplies the exposure time and gain setting values to the regression coefficient calculation unit 125.
- the measurement data storage unit 123 stores measurement data received from the tester 110 and the sensor chip via the communication interface 121.
- This measurement data includes, for example, the threshold voltage measured by the tester 110, and the temperature and light-shielded pixel signal measured by the sensor chip.
- the clamp value calculation unit 124 reads out the light-shielded pixel signals from the measurement data storage unit 123 and calculates the statistical quantity (average value, etc.) of the light-shielded pixel signals for each column as a clamp value. This clamp value calculation unit 124 supplies the clamp value for each column to the regression coefficient calculation unit 125.
- the regression coefficient setting unit 127 sets regression coefficients for the sensor chips 201-1 and 201-2 to be set. This regression coefficient setting unit 127 reads the regression coefficient corresponding to the threshold voltage of the chip to be set from the regression coefficient storage unit 126. The regression coefficient setting unit 127 then supplies the regression coefficients to the sensor chips 201-1 and 201-2 via the communication interface 121 and writes them into their OTP memories 216. The same regression coefficient value is written to sensor chips that have undergone the same process.
- the threshold voltage is a chip-specific value that depends on the process, and unlike temperature and exposure time, it hardly fluctuates. Therefore, if the measured value of the threshold voltage is Vth and the corresponding regression coefficient is a4 , the regression coefficient setting unit 127 can calculate the regression coefficient a4 ' using the following formula and set it instead of the regression coefficients a4 and a5 .
- a4 ' a4 *Vth+ a5 ...Formula 2
- "*" indicates multiplication.
- FIG. 5 is a diagram showing an example of explanatory variables and objective variables in the first embodiment of the present technology.
- the evaluation measurement device 120 receives light-shielded pixel signals from the sensor chip being measured, and calculates the average value of those light-shielded pixel signals as a clamp value for each column.
- the light-shielded pixel signal for the first row and first column is OPB(1,1)
- the light-shielded pixel signal for the first row and second column is OPB(1,2).
- the light-shielded pixel signal for the second row and first column is OPB(2,1)
- the light-shielded pixel signal for the second row and second column is OPB(2,2).
- the evaluation measurement device 120 calculates the average value of OPB(1,1), OPB(2,1), etc. for the first column as clamp value CLP1, and calculates the average value of OPB(1,2), OPB(2,2), etc. for the second column as clamp value CLP2.
- the data in which the clamp values for each column are arranged is called clamp data.
- the evaluation measurement device 120 uses the threshold voltage, temperature, exposure time, and gain as explanatory variables, assigns identification information to each value or range condition of these, and acquires clamp data.
- identification information ID1 is assigned to the condition where the threshold voltage is Vth1, the temperature is in the range from T1 to T2, the exposure time is ES1, and the gain is G1, and clamp data CLPD1 corresponding to this identification information ID1 is acquired.
- the evaluation measurement device 120 then calculates a regression coefficient for each identification information and for each column.
- the evaluation measurement device 120 calculates the clamp value
- the sensor chip can also calculate the clamp value instead of the evaluation measurement device 120 and send it to the evaluation measurement device 120.
- Figure 6 is a graph showing an example of the relationship between the objective variable and the explanatory variables in the first embodiment of the present technology.
- the vertical axis represents the objective variable
- the horizontal axis represents the explanatory variables.
- the black circles represent plots of measured values.
- FIG. 7 is a diagram showing an example of data stored in the OTP memory 216 in the first embodiment of the present technology.
- the OTP memory 216 stores a set of regression coefficients for each piece of identification information.
- a set of regression coefficients GR1 is stored in association with identification information ID1
- a set of regression coefficients GR2 is stored in association with identification information ID2.
- Identification information is assigned for each value or range condition of the explanatory variable.
- Each set of regression variables includes a set of coefficients for each column.
- the set of regression coefficients GR2 includes a set of coefficients for each column, such as the set of coefficients A1 for the first column and the set of coefficients A2 for the second column.
- the set of coefficients A1 includes regression coefficients a1_1, a1_2, a1_3, etc.
- the set of coefficients A2 includes regression coefficients a2_1, a2_2, a2_3, etc.
- N N is an integer
- M M is an integer
- P P is an integer
- the signal processing unit 250 in the sensor chip 201-1 determines identification information corresponding to the values of explanatory variables (exposure time and gain) during image capture. The signal processing unit 250 then reads the regression coefficients corresponding to that identification information from the OTP memory 216, and uses those regression coefficients to calculate clamp values for each column using Equation 1.
- Patent Document 1 which does not store regression coefficients, but instead reads out light-shielded pixel signals, calculates clamp values for each column, and performs clamp processing.
- the number of light-shielded rows is often small, and even when taking into account variations in the lot and process, the number of light-shielded pixel signals obtained from the image data is small.
- the learning performance of the comparative example is reduced.
- the detection target area may not actually be optimal.
- the evaluation and measurement device 120 can learn regression coefficients not only from the chip itself but also from the light-shielded pixel signals of similar chips in various processes, learning performance can be improved compared to the comparative example.
- a HOPB region 235 can also be provided within the pixel array section 220.
- a predetermined number of light-shielding pixels are arranged in the row direction for each light-sensitive row.
- the evaluation measurement device 120 calculates clamp values for each row and column, and calculates regression coefficients for each row and column and sets them on the sensor chip.
- Example of operation of evaluation measurement device 9 is a flowchart showing an example of the operation of the evaluation measurement device 120 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application is executed in the evaluation measurement device 120.
- the evaluation measurement device 120 determines whether measurement mode has been set (step S910). If measurement mode has been set (step S910: Yes), the evaluation measurement device 120 receives the measured threshold voltage value from the tester 110 (step S911). The evaluation measurement device 120 also sets the exposure time and gain, and transmits these settings to the sensor chip being measured (step S912). The evaluation measurement device 120 then receives the light-shielded pixel signal and temperature measurement value from the sensor chip (step S913).
- the evaluation measurement device 120 calculates the clamp value for each column (step S914) and determines whether or not to end the measurement (step S915). If the measurement is not to be ended (step S915: No), the evaluation measurement device 120 changes conditions such as the chip and exposure time, and repeats steps S911 and onward.
- step S915 If the measurement is to be terminated (step S915: Yes), the evaluation measurement device 120 calculates the regression coefficient for each value or range condition of the explanatory variable (step S916) and stores it (step S917).
- step S910 If the setting mode is set (step S910: No), the evaluation measurement device 120 sets the corresponding regression coefficient to the sensor chip to be set (step S919) and ends the process.
- Example of sensor chip operation 10 is a flowchart showing an example of the operation of the sensor chip according to the first embodiment of the present technology. This operation is started when a predetermined application is executed.
- the sensor chip determines whether measurement mode has been set (step S950). If measurement mode has been set (step S950: Yes), the sensor chip reads out the light-shielded rows in order (step S951) and transmits the light-shielded pixel signals for each row to the evaluation measurement device 120 (step S952). The sensor chip then receives regression coefficients from the evaluation measurement device 120 (step S953) and stores them in the OTP memory 216 (step S954). After step S954, the sensor chip returns to step S950.
- step S950 If normal mode is set (step S950: No), the sensor chip reads the photosensitive rows in order (step S955) and reads the regression coefficients corresponding to the values or range conditions of the explanatory variables (step S956). The sensor chip then calculates clamp values for each column using the regression coefficients (step S957) and performs clamp processing to generate a frame (step S958). After step S958, the sensor chip ends its imaging operation.
- steps S955 to S958 are repeatedly executed in synchronization with the vertical synchronization signal.
- FIG. 11 is a timing chart showing an example of the operation of a sensor chip in a comparative example and in the first embodiment of the present technology.
- “a” shows an example of the operation of a sensor chip in a comparative example that does not retain regression coefficients
- "b" shows an example of the operation of a sensor chip in the first embodiment.
- the system control unit 212 supplies the horizontal synchronization signal XHS, which is obtained by multiplying the vertical synchronization signal XVS, to the vertical scanning unit 211.
- the vertical scanning unit 211 reads out a predetermined number of light-shielded rows in synchronization with the horizontal synchronization signal XHS, and the signal processing unit 250 holds the light-shielded pixel signals of those rows and calculates a clamp value for each column. Once the reading of the light-shielded rows is complete, the vertical scanning unit 211 reads out the light-sensitive rows in sequence, and the signal processing unit 250 performs clamping processing.
- the vertical scanning unit 211 does not read out the shaded rows, but reads out only the exposed rows in synchronization with the horizontal synchronization signal XHS.
- the signal processing unit 250 calculates a clamp value for each column from the explanatory variables using Equation 1 and performs clamping processing.
- the period of the vertical synchronization signal XVS can be made shorter than in the comparative example. In other words, the frame rate can be improved.
- the sensor chip in the first embodiment does not read out the light-shielded rows, it can also read out the light-shielded rows when calibrating the regression coefficients. For example, errors may occur in the clamp values calculated using the regression coefficients due to product variations or deterioration over time.
- the AD conversion unit 214 in the sensor chip reads out the light-shielded rows at a predetermined timing, such as at the time of shipment or after a certain period of time has passed.
- the signal processing unit 250 then calculates the clamp values from the light-shielded pixel signals and also calculates the clamp values using the regression coefficients, and determines the difference between them as the error.
- the signal processing unit 250 then calibrates the regression coefficients to reduce the error.
- a rewritable non-volatile memory is used instead of the OTP memory 216.
- the sensor chip stores the regression coefficients and uses them to calculate the clamp value from the explanatory variables, eliminating the need to read out the light-blocking rows. This allows for a higher frame rate than the comparative example.
- the evaluation measurement device 120 sets regression coefficients for the sensor chip 201-1, etc., that is in the same process as the sensor chip 201 that measured the temperature, etc. However, the process of any of the measured chips may differ from that of the target chip.
- the evaluation measurement device 120 in this second embodiment differs from the first embodiment in that it searches for regression coefficients for chips that are similar in process to the target chip.
- FIG. 12 is a block diagram showing an example configuration of an evaluation measurement device 120 according to a second embodiment of the present technology.
- the evaluation measurement device 120 according to the second embodiment differs from the first embodiment in that it includes a database 128 and a regression coefficient search unit 129.
- the regression coefficient calculation unit 125 stores a set of regression coefficients for each threshold voltage (in other words, each chip) and each imaging condition (such as exposure time or gain) in the database 128. Note that while the database 128 is located within the evaluation measurement device 120, it is not limited to this configuration and can also be located outside the evaluation measurement device 120.
- the regression coefficient search unit 129 can also search the database 128 in accordance with user operations. For example, consider a case where the sensor chip 205-1 to be configured is the same as the sensor chip 201 to be measured, with only minor changes to the internal circuitry and processes, or the same as the sensor chip 201 without any changes. In this case, the user can search the database 128 for regression coefficients corresponding to the sensor chip 201 and apply them to the sensor chip 205-1.
- the evaluation measurement device 120 reads applicable regression coefficients from the database and sets them in the sensor chip 205-1, etc. This improves the versatility of the evaluation measurement system 100.
- the sensor chips 205-1 and other target chips can also read out shaded rows when calibrating the regression coefficients. However, if calibration is not performed, these chips will not read out shaded rows, so the VOPB area 230 itself can be reduced.
- the evaluation measurement device 120 reads applicable regression coefficients from the database and sets them in the sensor chip 205-1, etc., thereby improving the versatility of the evaluation measurement system 100.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, or a robot.
- Figure 14 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
- the vehicle control system 12000 includes multiple electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- the functional configuration of the integrated control unit 12050 also includes a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (Interface) 12053.
- the drivetrain control unit 12010 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
- the drivetrain control unit 12010 functions as a control device for a driveforce generating device such as an internal combustion engine or drive motor that generates vehicle driveforce, a driveforce transmission mechanism that transmits driveforce to the wheels, a steering mechanism that adjusts the vehicle's steering angle, and a braking device that generates vehicle braking force.
- the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
- radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 12020.
- the body system control unit 12020 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
- the outside vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the outside vehicle information detection unit 12030 is connected to an imaging unit 12031.
- the outside vehicle information detection unit 12030 causes the imaging unit 12031 to capture images outside the vehicle and receives the captured images.
- the outside vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
- the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects information inside the vehicle. Connected to the in-vehicle information detection unit 12040 is, for example, a driver state detection unit 12041 that detects the driver's state.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
- the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
- the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the vehicle's surroundings acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby enabling cooperative control aimed at autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
- the microcomputer 12051 can output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
- the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the vehicle exterior information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
- the audio/video output unit 12052 transmits at least one audio and/or video output signal to an output device capable of visually or audibly notifying vehicle occupants or the outside of the vehicle of information.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- Figure 15 shows an example of the installation position of the imaging unit 12031.
- the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
- the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 12100.
- the imaging units 12102 and 12103 provided on the side mirrors mainly capture images of the sides of the vehicle 12100.
- the imaging unit 12104 provided on the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
- the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
- Imaging range 12111 indicates the imaging range of imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate the imaging ranges of imaging units 12102 and 12103 provided on the side mirrors, respectively
- imaging range 12114 indicates the imaging range of imaging unit 12104 provided on the rear bumper or back door.
- At least one of the image capturing units 12101 to 12104 may have a function for acquiring distance information.
- at least one of the image capturing units 12101 to 12104 may be a stereo camera consisting of multiple image capturing elements, or an image capturing element having pixels for phase difference detection.
- the microcomputer 12051 can calculate the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100), thereby extracting as a preceding vehicle the three-dimensional object that is the closest three-dimensional object on the path of the vehicle 12100 and traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or higher). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 can classify and extract three-dimensional object data regarding three-dimensional objects into categories such as motorcycles, standard vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, and use this data for automatic obstacle avoidance. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see.
- the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and a collision is possible, it can provide driving assistance to avoid a collision by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or evasive steering via the drivetrain control unit 12010.
- At least one of the image capturing units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize pedestrians by determining whether or not a pedestrian is present in the images captured by the image capturing units 12101 to 12104. Such pedestrian recognition is performed, for example, by extracting feature points in the images captured by the image capturing units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points that indicate the outline of an object to determine whether or not the object is a pedestrian.
- the audio/video output unit 12052 controls the display unit 12062 to superimpose a rectangular outline on the recognized pedestrian for emphasis.
- the audio/video output unit 12052 may also control the display unit 12062 to display an icon or the like indicating the pedestrian in a desired position.
- the technology disclosed herein can be applied to, for example, the imaging unit 12031.
- imaging system 150 shown in FIG. 1b can be applied to the imaging unit 12031.
- the present technology can also be configured as follows. (1) a pixel array section in which a predetermined number of unshielded light-sensitive pixels are arranged in a two-dimensional lattice pattern; a regression coefficient storage unit that stores, as regression coefficients, coefficients of a regression equation for determining a clamp value, which is a statistical quantity of pixel signals of light-shielded pixels, from predetermined explanatory variables; a signal processing unit that performs a clamp value calculation process that calculates the clamp value from the explanatory variables using the regression coefficients, and a clamp process that subtracts the clamp value from the pixel signal of the photosensitive pixel.
- a predetermined number of the light-shielding pixels are further arranged in the pixel array unit for each column of the light-sensitive pixels;
- the explanatory variables include at least one of temperature, threshold voltage, exposure time, and gain.
- the regression coefficient storage unit stores the regression coefficient for each condition of the value or range of the explanatory variable.
- the evaluation and measurement device is a regression coefficient calculation unit that calculates the regression coefficients; 7.
- the evaluation and measurement system further comprising a regression coefficient search unit that accesses a database that holds the regression coefficients for each of a predetermined number of the semiconductor chips and searches for the regression coefficient to be applied to the semiconductor chip to be set.
- a regression coefficient search unit accesses a database that holds the regression coefficients for each of a predetermined number of the semiconductor chips and searches for the regression coefficient to be applied to the semiconductor chip to be set.
- calculating a clamp value which is a statistical quantity of pixel signals of light-shielded pixels, from predetermined explanatory variables using coefficients of a regression equation for determining the clamp value from the explanatory variables; and a step of subtracting the clamp value from pixel signals of light-sensitive pixels that are not shaded.
- Evaluation measurement system 110 Tester 120 Evaluation measurement device 121, 219 Communication interface 122 Imaging control unit 123 Measurement data storage unit 124 Clamp value calculation unit 125 Regression coefficient calculation unit 126 Regression coefficient storage unit 127 Regression coefficient setting unit 128 Database 129 Regression coefficient search unit 150 Imaging system 160 DSP circuit 201, 201-1, 201-2, 202, 203, 205-1, 205-2 Sensor chip 211 Vertical scanning unit 212 System control unit 213 Readout circuit unit 214 AD conversion unit 215 Horizontal scanning unit 216 OTP memory 217 Thermometer 218 Selector 220 Pixel array unit 230 VOPB area 231 Light-shielded pixel 235 HOPB region 240 Photosensitive region 241 Photosensitive pixel 250 Signal processing unit 251 Clamp value calculation unit 252 Clamp processing unit 253 Post-processing unit 254 Multiplexer 12031 Imaging unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
クランプ処理を行う半導体チップにおいてフレームレートを向上させる。 半導体チップは、画素アレイ部と、回帰係数保持部と、信号処理部とを具備する。画素アレイ部には、遮光されていない所定数の感光画素が二次元格子状に配列される。回帰係数保持部は、遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を回帰係数として保持する。信号処理部は、回帰係数を用いて説明変数からクランプ値を演算するクランプ値演算処理と感光画素の画素信号からクランプ値を減算するクランプ処理とを行う。
Description
本技術は、半導体チップに関する。詳しくは、画像データを撮像する半導体チップ、評価測定システム、半導体チップの制御方法、および、評価測定システムの制御方法に関する。
従来より、固体撮像素子などの半導体チップにおいては、画素信号の黒レベルを調整するためにクランプ処理が行われている。このクランプ処理においては、例えば、遮光されたVOPB領域から画素信号が読み出され、その画素信号の平均値が列ごとにクランプ値として演算され、遮光されていない画素の画素信号からクランプ値が減算される。ただし、露光時間やゲインなどの撮像条件や、チップが変わると、クランプ値が変動することがある。そこで、撮像条件ごとチップごとに、機械学習により、クランプ処理を制御するための制御データを求める固体撮像素子が提案されている(例えば、特許文献1参照。)。
上述の従来技術では、機械学習により撮像条件やチップごとに制御データを求めることにより、クランプ処理の補正精度の向上を図っている。しかしながら、上述の半導体チップは、画像データ(言い換えれば、フレーム)を撮像する際に、VOPB領域から画素信号を読み出してクランプ処理を行う必要がある。VOPB領域の読出し期間を削減すれば、その分だけフレームレートを向上させることができるが、クランプ処理を実行することができなくなって画質が低下するため、好ましくない。このように、上述の従来技術では、フレームレートの向上が困難である。
本技術はこのような状況に鑑みて生み出されたものであり、クランプ処理を行う半導体チップにおいてフレームレートを向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、遮光されていない所定数の感光画素が二次元格子状に配列された画素アレイ部と、遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を回帰係数として保持する回帰係数保持部と、上記回帰係数を用いて上記説明変数から上記クランプ値を演算するクランプ値演算処理と上記感光画素の画素信号から上記クランプ値を減算するクランプ処理とを行う信号処理部とを具備する半導体チップ、および、その制御方法である。これにより、フレームレートが向上するという作用をもたらす。
また、この第1の側面において、画素アレイ部には、上記感光画素の列ごとに所定数の上記遮光画素がさらに配列され、上記回帰係数保持部は、上記列ごとに上記回帰係数を保持してもよい。これにより、列ごとにクランプ値が演算されるという作用をもたらす。
また、この第1の側面において、上記説明変数は、温度、閾値電圧、露光時間、および、ゲインのうち少なくとも1つを含んでもよい。これにより、温度、閾値電圧、露光時間やゲインからクランプ値が演算されるという作用をもたらす。
また、この第1の側面において、上記回帰係数保持部は、上記説明変数の値または範囲の条件ごとに上記回帰係数を保持してもよい。これにより、条件に応じたクランプ値が演算されるという作用をもたらす。
また、この第1の側面において、上記信号処理部は、所定の測定モードが設定された場合には上記遮光画素の画素信号を出力し、上記測定モードが設定されていない場合には上記クランプ値演算処理および上記クランプ処理を行ってもよい。これにより、測定モードが設定されていない場合にフレームレートが向上するという作用をもたらす。
また、本技術の第2の側面は、遮光された遮光画素の画素信号を遮光画素信号として生成する半導体チップと、上記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する評価測定装置とを具備する評価測定システム、および、その制御方法である。これにより、フレームレートが向上するという作用をもたらす。
また、この第2の側面において、上記評価測定装置は、上記回帰係数を演算する回帰係数演算部と、所定数の上記半導体チップのそれぞれの上記回帰係数を保持するデータベースにアクセスして設定対象の半導体チップに適用する上記回帰係数を検索する回帰係数検索部とを備えてもよい。これにより、汎用性が向上するという作用をもたらす。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(回帰係数を用いてクランプ値を演算する例)
2.第2の実施の形態(プロセスの異なるチップの回帰係数を用いてクランプ値を演算する例)
3.移動体への応用例
1.第1の実施の形態(回帰係数を用いてクランプ値を演算する例)
2.第2の実施の形態(プロセスの異なるチップの回帰係数を用いてクランプ値を演算する例)
3.移動体への応用例
<1.第1の実施の形態>
[評価測定システムおよび撮像システムの構成例]
図1は、本技術の第1の実施の形態における評価測定システム100および撮像システム150の一構成例を示す図である。同図におけるaは、評価測定システム100の一例を示し、同図におけるbは、撮像システム150の一例を示す。
[評価測定システムおよび撮像システムの構成例]
図1は、本技術の第1の実施の形態における評価測定システム100および撮像システム150の一構成例を示す図である。同図におけるaは、評価測定システム100の一例を示し、同図におけるbは、撮像システム150の一例を示す。
評価測定システム100は、センサーチップのマスプロダクション前において、チップごと、撮像条件ごとに温度などを測定し、説明変数からクランプ値を演算するための回帰式の係数を回帰係数として算出するシステムである。この評価測定システム100は、複数のセンサーチップと、テスター110と、評価測定装置120とを備える。これらのセンサーチップとして、例えば、CIS(CMOS Image Sensors)が想定される。なお、センサーチップは、特許請求の範囲に記載の半導体チップの一例である。
センサーチップは、測定対象のチップと、設定対象のチップとに分類される。センサーチップ201、202および203などは測定対象のチップの一例であり、センサーチップ201-1および201-2は、設定対象のチップの一例である。測定対象のチップのそれぞれは、製造時のプロセスが異なり、マスプロダクション前にチップごと(言い換えれば、プロセスごと)の測定を行うために用いられる。一方、設定対象のチップは、測定対象のチップのいずれかと同一のプロセスにより量産されるチップである。例えば、センサーチップ201と同一のプロセスによりセンサーチップ201-1や201-2が製造される。
テスター110は、測定対象のチップごとに、プロセスに依存するパラメータ(トランジスタの閾値電圧Vthなど)を測定し、その値を評価測定装置120に供給するものである。閾値電圧Vthは、nMOS(n-channel Metal Oxide Semiconductor)トランジスタの閾値電圧Vthnと、pMOS(p-channel MOS)トランジスタの閾値電圧Vthpとの少なくとも一方を含む。
センサーチップ201などの測定対象のチップは、評価測定装置120の制御に従って、各種の条件下で撮像を行い、遮光された画素の画素信号を遮光画素信号として評価測定装置120に供給する。撮像条件は、例えば、露光時間、ゲインや温度のそれぞれの値または範囲の組み合わせにより指定される。撮像条件が温度の条件を含む場合、センサーチップは、温度を測定し、遮光画素信号とともに評価測定装置120に供給する。
評価測定装置120は、チップごと撮像条件ごとに遮光画素信号や温度を取得し、回帰係数を算出するものである。この評価測定装置120は、遮光画素信号の統計量(平均など)をクランプ値として演算する。そして、評価測定装置120は、撮像条件の変数(露光時間、ゲイン、温度など)や、プロセスに依存する閾値電圧Vthを説明変数とし、クランプ値を目的変数として、説明変数から目的変数を求めるための回帰式の回帰係数を演算する。
評価測定装置120は、演算した回帰係数を保持し、設定対象のセンサーチップ201-1に、プロセスが同一のセンサーチップ201の回帰係数を設定する。
撮像システム150は、評価測定システム100で回帰係数が設定されたセンサーチップ201-1の適用先のシステムの一例である。例えば、撮像システム150は、センサーチップ201-1およびDSP(Digital Signal Processing)回路160を備える。
センサーチップ201-1は、画像データ(言い換えれば、フレーム)を撮像し、DSP回路160に供給する。DSP回路160は、フレームに対して、HDR(High-Dynamic-Range)合成や画像認識などの各種の信号処理を行うものである。
なお、テスター110の機能を評価測定装置120に持たせることもできる。この場合は、テスター110が削減され、評価測定装置120が閾値電圧を測定する。
[センサーチップの構成例]
図2は、本技術の第1の実施の形態におけるセンサーチップ201の一構成例を示すブロック図である。このセンサーチップ201は、垂直走査部211、システム制御部212、画素アレイ部220、読出し回路部213、AD(Analog to Digital)変換部214および水平走査部215を備える。また、センサーチップ201は、OTP(One Time Programmable)メモリ216、温度計217、セレクタ218、信号処理部250および通信インターフェース219をさらに備える。センサーチップ201以外のセンサーチップ202や203の構成は、プロセスが異なる点以外は、センサーチップ201と同様である。
図2は、本技術の第1の実施の形態におけるセンサーチップ201の一構成例を示すブロック図である。このセンサーチップ201は、垂直走査部211、システム制御部212、画素アレイ部220、読出し回路部213、AD(Analog to Digital)変換部214および水平走査部215を備える。また、センサーチップ201は、OTP(One Time Programmable)メモリ216、温度計217、セレクタ218、信号処理部250および通信インターフェース219をさらに備える。センサーチップ201以外のセンサーチップ202や203の構成は、プロセスが異なる点以外は、センサーチップ201と同様である。
画素アレイ部220は、VOPB領域230と感光領域240とを含む。感光領域240は遮光されておらず、感光画素241が二次元格子状に配列される。VOPB領域230は遮光されており、この領域内には感光領域240の列ごとに、所定数の遮光画素231が列方向に配列される。
以下、VOPB領域230の行を「遮光行」と称し、感光領域240内の行を「感光行」と称する。また、遮光画素231が光電変換により生成する画素信号を「感光画素信号」と称し、感光画素241が生成する画素信号を「遮光画素信号」と称する。
また、センサーチップ201には、モード信号MODEaにより、測定モードおよび通常モードのいずれかが設定される。測定モードは、前述の評価測定システム100で設定されるモードであり、通常モードは、前述の撮像システム150で設定されるモードである。
システム制御部212は、通信インターフェース219からの制御信号に従って、垂直走査部211、読出し回路部213、AD変換部214および水平走査部215のそれぞれの動作タイミングを制御するものである。この制御信号には、垂直同期信号と、露光時間やゲインの設定値とが含まれる。ゲインは、例えば、アナログ信号に対するアナログゲインであり、AD変換部214などで用いられる。
垂直走査部211は、感光領域240を露光させ、露光終了時に画素アレイ部220内の行を順に走査して、画素信号を出力させるものである。露光の際には、例えば、行を順に選択して露光を開始させ、順に露光を終了させるローリングシャッター方式が用いられる。なお、ローリングシャッター方式の代わりに、全行で同時に露光を開始させ、同時に終了させるグローバルシャッター方式を用いることもできる。
測定モードが設定された場合に垂直走査部211は、VOPB領域230内の遮光行を順に走査し、遮光画素信号をAD変換部214に出力させる。一方、通常モードが設定された場合に垂直走査部211は、感光領域240内の感光行を順に走査し、感光画素信号をAD変換部214に出力させる。
読出し回路部213には、列ごとに、負荷MOS電流源(不図示)が配置される。
AD変換部214は、列ごとに画素信号に対してAD変換を行うものである。このAD変換部214には、列ごとにADC(Analog to Digital Converter)が配列される。ADCは、対応する列の画素信号に対してAD変換を行い、水平走査部215の制御に従って、変換後の画素信号を信号処理部250に供給する。
水平走査部215は、列を順に走査して画素信号を出力させるものである。
OTPメモリ216は、露光時間、ゲインや温度などを説明変数として、その説明変数の値または範囲の条件ごとに回帰係数を保持するものである。このOTPメモリ216には、通信インターフェース219が評価測定装置120から受信した回帰係数が書き込まれる。なお、OTPメモリ216は、特許請求の範囲に記載の回帰係数保持部の一例である。
温度計217は、温度を測定し、セレクタ218に供給するものである。
セレクタ218は、測定された温度のデータの出力先をモード信号MODEaに従って切り替えるものである。測定モードが設定された場合にセレクタ218は、温度のデータを評価測定装置120に通信インターフェース219を介して送信する。一方、通常モードが設定された場合にセレクタ218は、温度のデータを信号処理部250に供給する。
信号処理部250は、画素信号に対して各種の信号処理を行うものである。測定モードが設定された場合に信号処理部250は、遮光画素信号のそれぞれを評価測定装置120に通信インターフェース219を介して送信する。一方、通常モードが設定された場合に信号処理部250は、回帰係数を用いて説明変数からクランプ値を演算するクランプ値演算処理と、感光画素信号からクランプ値を減算するクランプ処理とを行う。そして、信号処理部250は、処理後の画素信号を配列したフレームをDSP回路160に通信インターフェース219を介して送信する。
通信インターフェース219は、評価測定装置120やDSP回路160との間でデータを送受信するものである。
[信号処理部の構成例]
図3は、本技術の第1の実施の形態における信号処理部250の一構成例を示すブロック図である。この信号処理部250は、クランプ値演算部251、クランプ処理部252、後段処理部253およびマルチプレクサ254を備える。
図3は、本技術の第1の実施の形態における信号処理部250の一構成例を示すブロック図である。この信号処理部250は、クランプ値演算部251、クランプ処理部252、後段処理部253およびマルチプレクサ254を備える。
クランプ値演算部251は、回帰係数を用いて説明変数からクランプ値を演算するものである。このクランプ値演算部251には、通信インターフェース219からの制御信号と、セレクタ218からの温度とが入力される。制御信号は、露光時間やゲインの設定値を含むものとする。
クランプ値演算部251は、露光時間、ゲインや温度の値または範囲の条件に対応する回帰係数をOTPメモリ216から読み出す。そして、クランプ値演算部251は、読み出した回帰係数を用いて列ごとにクランプ値を演算し、クランプ処理部252に供給する。
クランプ処理部252は、感光画素信号から、その信号の列に対応するクランプ値を減算するクランプ処理を行うものである。このクランプ処理部252は、処理後の画素信号を後段処理部253に供給する。
後段処理部253は、クランプ処理部252からの画素信号に対し、ホワイトバランス補正などの各種の画像処理を行うものである。後段処理部253は、処理後の画素信号を配列したフレームをマルチプレクサ254に供給する。
マルチプレクサ254は、モード信号MODEaに従って、フレームおよび遮光画素信号のいずれかを選択するものである。測定モードが設定された場合にマルチプレクサ254は、遮光画素信号を選択して通信インターフェース219に供給する。一方、通常モードが設定された場合にマルチプレクサ254は、フレームを選択して通信インターフェース219に供給する。
[評価測定装置の構成例]
図4は、本技術の第1の実施の形態における評価測定装置120の一構成例を示すブロック図である。この評価測定装置120は、通信インターフェース121、撮像制御部122、測定データ保持部123、クランプ値演算部124、回帰係数演算部125、回帰係数保持部126および回帰係数設定部127を備える。
図4は、本技術の第1の実施の形態における評価測定装置120の一構成例を示すブロック図である。この評価測定装置120は、通信インターフェース121、撮像制御部122、測定データ保持部123、クランプ値演算部124、回帰係数演算部125、回帰係数保持部126および回帰係数設定部127を備える。
ここで、評価測定装置120には、モード信号MODEbにより、測定モードおよび設定モードのいずれかが設定される。測定モードは、測定対象のチップについて温度などの測定を行うモードである。設定モードは、設定対象のチップに回帰係数を設定するモードである。
通信インターフェース121は、テスター110やセンサーチップとの間でデータを送受信するものである。
撮像制御部122は、センサーチップ201等の撮像動作を制御するものである。測定モードにおいて撮像制御部122は、露光時間やゲインの設定値を含む制御信号を生成し、通信インターフェース121を介して測定対象のセンサーチップに送信する。また、撮像制御部122は、露光時間やゲインの設定値を回帰係数演算部125に供給する。
測定データ保持部123は、通信インターフェース121を介してテスター110やセンサーチップから受信した測定データを保持するものである。この測定データは、例えば、テスター110で測定された閾値電圧と、センサーチップで測定された温度および遮光画素信号とを含む。
クランプ値演算部124は、測定データ保持部123から遮光画素信号を読み出し、列ごとに遮光画素信号の統計量(平均値など)をクランプ値として演算するものである。このクランプ値演算部124は、列ごとのクランプ値を回帰係数演算部125に供給する。
回帰係数演算部125は、回帰係数を演算するものである。この回帰係数演算部125は、測定データ保持部123から温度および閾値電圧を読み出し、撮像制御部122から露光時間およびゲインを受け取り、これらを機械学習の説明変数とする。また、回帰係数演算部125は、クランプ値演算部124からのクランプ値を受け取り、機械学習の目的変数とする。
そして、回帰係数演算部125は、説明変数(閾値電圧など)から目的変数(すなわち、クランプ値)を求めるための回帰式の回帰変数を機械学習により演算し、回帰係数保持部126に供給する。例えば、露光時間、ゲイン、温度、および、閾値電圧の4つを説明変数とし、これらをX1、X2、X3およびX4とする。また、ある列のクランプ値をYとし、回帰係数をa1、a2、a3、a4およびa5とする。この場合に、例えば、次の多項式が回帰式として用いられる。
Y=a1*X1+a2*X2+a3*X3+a4*X4+a5・・・式1
上式において、「*」は乗算を示す。
Y=a1*X1+a2*X2+a3*X3+a4*X4+a5・・・式1
上式において、「*」は乗算を示す。
機械学習においては、各種の説明変数の値または範囲の条件ごとに、回帰分析により回帰係数a1からa5が演算される。クランプ値は、列ごとに演算されるため、回帰係数a1からa5も列ごとに演算される。
なお、露光時間、ゲイン、温度、および、閾値電圧を説明変数としているが、クランプ値に関連する変数であれば、これらに限定されない。また、説明変数の個数は、4つに限定されず、3つ以下や、5つ以上であってもよい。
回帰係数保持部126は、説明変数の値または範囲の条件ごとに、回帰係数を保持するものである。
回帰係数設定部127は、設定対象のセンサーチップ201-1や201-2に回帰係数を設定するものである。この回帰係数設定部127は、回帰係数保持部126から、設定対象のチップの閾値電圧に対応する回帰係数を読み出す。そして、回帰係数設定部127は、通信インターフェース121を介して、回帰係数をセンサーチップ201-1等に供給し、そのOTPメモリ216に書き込む。プロセスが同一のセンサーチップには、同一の値の回帰係数が書き込まれる。
ここで、閾値電圧は、プロセスに依存するチップ固有の値であり、温度や露光時間と異なり、殆ど変動しない。このため、閾値電圧の測定値をVthとし、対応する回帰係数をa4とすると、回帰係数設定部127は、次の式により回帰係数a4'を演算し、回帰係数a4およびa5の代わりに設定することができる。
a4'=a4*Vth+a5 ・・・式2
上式において、「*」は乗算を示す。
a4'=a4*Vth+a5 ・・・式2
上式において、「*」は乗算を示す。
なお、回帰係数設定部127は、式2を用いず、回帰係数a1からa5と、閾値電圧との両方をOTPメモリ216に保持させることもできる。
図5は、本技術の第1の実施の形態における説明変数および目的変数の一例を示す図である。評価測定装置120は、測定対象のセンサーチップから遮光画素信号を受信し、その遮光画素信号の平均値を列ごとにクランプ値として演算する。
例えば、第1行、第1列の遮光画素信号をOPB(1,1)とし、第1行、第2列の遮光画素信号をOPB(1,2)とする。第2行、第1列の遮光画素信号をOPB(2,1)とし、第2行、第2列の遮光画素信号をOPB(2,2)とする。この場合に、評価測定装置120は、第1列のOPB(1,1)、OPB(2,1)などの平均値をクランプ値CLP1として算出し、第2列のOPB(1,2)、OPB(2,2)などの平均値をクランプ値CLP2として算出する。列ごとのクランプ値を配列したデータをクランプデータとする。
また、評価測定装置120は、閾値電圧、温度、露光時間やゲインを説明変数とし、それらの値または範囲の条件ごとに、識別情報を割り当て、クランプデータを取得する。例えば、閾値電圧がVth1で、温度がT1からT2の範囲で、露光時間がES1で、ゲインがG1の条件に識別情報ID1が割り当てられ、この識別情報ID1に対応するクランプデータCLPD1が取得される。そして、評価測定装置120は、識別情報ごと、列ごとに回帰係数を算出する。
なお、評価測定装置120がクランプ値を演算しているが、測定モードにおいてセンサーチップが評価測定装置120の代わりにクランプ値を演算して評価測定装置120に送信することもできる。
図6は、本技術の第1の実施の形態における目的変数と説明変数との間の関係の一例を示すグラフである。同図における縦軸は、目的変数を示し、横軸は説明変数を示す。黒丸は、測定値をプロットしたものを示す。
同図においては、例えば、説明変数を1つのみ(例えば、温度のみ)としている。この場合、回帰式として例えば、線形式が用いられる。同図における斜めの直線は、回帰式を示す。
図7は、本技術の第1の実施の形態におけるOTPメモリ216に保持されるデータの一例を示す図である。同図に例示するように、OTPメモリ216は、識別情報ごとに回帰係数群を保持する。例えば、識別情報ID1に対応付けて回帰係数群GR1が保持され、識別情報ID2に対応付けて回帰係数群GR2が保持される。識別情報は、説明変数のそれぞれの値または範囲の条件ごとに割り当てられたものである。
回帰変数群のそれぞれは、列ごとの係数群を含む。例えば、回帰係数群GR2は、第1列の係数群A1や、第2列の係数群A2などの各列の係数群を含む。係数群A1は、回帰係数a1_1、a1_2、a1_3などを含み、係数群A2は、回帰係数a2_1、a2_2、a2_3などを含む。識別情報(言い換えれば、撮像条件)の個数をN(Nは、整数)とし、列数をM(Mは、整数)とし、説明変数の個数をP(Pは、整数)とすると、N×M×P個の回帰係数がOTPメモリ216内に格納される。
センサーチップ201-1内の信号処理部250は、撮像時の説明変数(露光時間やゲイン)の値に対応する識別情報を求める。そして、信号処理部250は、その識別情報に対応する回帰係数群をOTPメモリ216から読み出し、それらの回帰係数を用いて式1によりクランプ値を列ごとに演算する。
ここで、回帰係数を保持せず、遮光画素信号を読み出してクランプ値を列ごとに演算し、クランプ処理を行う特許文献1のチップを比較例として想定する。
近年、高速センシングに利用されるラインセンサでは、出力行数を極小として、より高フレームレートでセンシングを行うことが要求される。その場合、比較例では、クランプ処理のために所定数の遮光行を読み出す時間を確保する必要があり、その分、高速化が困難となる。
また、ラインセンサに限れば、遮光行の行数も少なくなることが多く、その撮像データでは、ロットやプロセスのばらつきを含めても、得られる遮光画素信号自体が少ない。このため、比較例では、学習性能が低下してしまう。あるいは、比較例では、学習結果によっては、検波対象領域が実際には最適といえない状態になる可能性が高くなる。
これに対して、図7に例示したようにOTPメモリ216に回帰係数を保持するセンサーチップ201-1では、通常モードで撮像する際に、遮光行の読出しが不要になるため、フレームレートを向上させることができる。
また、そのチップ自体に限らず、評価測定装置120側で、様々なプロセスの類似のチップの遮光画素信号から回帰係数を学習することができるため、比較例よりも学習性能を向上させることができる。
なお、図8に例示するように、画素アレイ部220内にHOPB領域235をさらに設けることもできる。HOPB領域235内には、感光行ごとに、行方向に所定数の遮光画素が配列される。HOPB領域235を設けた場合、評価測定装置120は、行ごと、列ごとにクランプ値を演算し、行ごと、列ごとに回帰係数を演算してセンサーチップに設定する。
[評価測定装置の動作例]
図9は、本技術の第1の実施の形態における評価測定装置120の動作の一例を示すフローチャートである。この動作は、例えば、評価測定装置120において所定のアプリケーションが実行されたときに開始される。
図9は、本技術の第1の実施の形態における評価測定装置120の動作の一例を示すフローチャートである。この動作は、例えば、評価測定装置120において所定のアプリケーションが実行されたときに開始される。
評価測定装置120は、測定モードが設定されたか否かを判断する(ステップS910)。測定モードが設定された場合(ステップS910:Yes)、評価測定装置120は、テスター110から閾値電圧の測定値を受信する(ステップS911)。また、評価測定装置120は、露光時間やゲインを設定し、その設定値を測定対象のセンサーチップに送信する(ステップS912)。そして、評価測定装置120は、センサーチップから遮光画素信号および温度の測定値を受信する(ステップS913)。
評価測定装置120は、列ごとにクランプ値を演算し(ステップS914)、測定を終了するか否かを判断する(ステップS915)。測定を終了しない場合(ステップS915:No)、評価測定装置120は、チップや露光時間などの条件を変えて、ステップS911以降を繰り返す。
測定を終了する場合(ステップS915:Yes)、評価測定装置120は、説明変数の値または範囲の条件ごとに、回帰係数を演算し(ステップS916)、保持する(ステップS917)。
設定モードが設定された場合(ステップS910:No)、評価測定装置120は、対応する回帰係数を設定対象のセンサーチップに設定し(ステップS919)、処理を終了する。
[センサーチップの動作例]
図10は、本技術の第1の実施の形態におけるセンサーチップの動作の一例を示すフローチャートである。この動作は、所定のアプリケーションが実行されたときに開始される。
図10は、本技術の第1の実施の形態におけるセンサーチップの動作の一例を示すフローチャートである。この動作は、所定のアプリケーションが実行されたときに開始される。
センサーチップは、測定モードが設定されたか否かを判断する(ステップS950)。測定モードが設定された場合(ステップS950:Yes)、センサーチップは、遮光行を順に読み出し(ステップS951)、行ごとの遮光画素信号を評価測定装置120に送信する(ステップS952)。そして、センサーチップは、評価測定装置120から回帰係数を受信し(ステップS953)、OTPメモリ216内に保持する(ステップS954)。ステップS954の後にセンサーチップは、ステップS950に戻る。
通常モードが設定された場合(ステップS950:No)、センサーチップは、感光行を順に読み出し(ステップS955)、説明変数の値または範囲の条件に対応する回帰係数を読み出す(ステップS956)。そして、センサーチップは、回帰係数を用いてクランプ値を列ごとに演算し(ステップS957)、クランプ処理を行ってフレームを生成する(ステップS958)。ステップS958の後にセンサーチップは、撮像のための動作を終了する。
なお、垂直同期信号に同期して複数枚のフレームを連続して撮像する場合、ステップS955からS958が垂直同期信号に同期して繰り返し実行される。
図11は、比較例と本技術の第1の実施の形態とにおけるセンサーチップの動作の一例を示すタイミングチャートである。同図におけるaは、回帰係数を保持しない比較例におけるセンサーチップの動作の一例を示し、同図におけるbは、第1の実施の形態におけるセンサーチップの動作の一例を示す。
同図におけるaに例示するように、比較例においてシステム制御部212は、垂直同期信号XVSを逓倍した水平同期信号XHSを垂直走査部211に供給する。垂直走査部211は、水平同期信号XHSに同期して所定数の遮光行を読み出し、信号処理部250は、それらの行の遮光画素信号を保持し、列ごとにクランプ値を演算する。遮光行の読出しが完了すると垂直走査部211は、感光行を順に読み出し、信号処理部250は、クランプ処理を行う。
一方、同図におけるbに例示するように第1の実施の形態では、垂直走査部211は、遮光行を読み出さずに感光行のみを水平同期信号XHSに同期して読み出す。信号処理部250は、列ごとに説明変数からクランプ値を式1により演算し、クランプ処理を行う。
同図におけるbに例示したように、説明変数からクランプ値を演算することにより、遮光行の読出しが不要になる。このため、第1の実施の形態では、垂直同期信号XVSの周期を比較例よりも短くすることができる。すなわち、フレームレートを向上させることができる。
なお、第1の実施の形態のセンサーチップは、遮光行を読み出していないが、回帰係数のキャリブレーションの際に遮光行を読み出すこともできる。例えば、製品ばらつきや経年劣化により、回帰係数を用いて演算したクランプ値に誤差が生じることがある。センサーチップ内のAD変換部214は、出荷時や、一定時間の経過時などの所定のタイミングで遮光行を読み出す。そして、信号処理部250は、遮光画素信号からクランプ値を演算するとともに、回帰係数を用いてクランプ値を演算し、それらの差分を誤差として求める。そして、信号処理部250は、誤差が低減するように、回帰係数のキャリブレーションを行う。キャリブレーションを行う場合、OTPメモリ216の代わりに、書き換え可能な不揮発性メモリが用いられる。
このように、第1の実施の形態によれば、センサーチップが回帰係数を保持し、その回帰係数を用いて説明変数からクランプ値を演算するため、遮光行の読出しが不要になる。これにより、比較例よりもフレームレートを向上させることができる。
<2.第2の実施の形態>
上述の第1の実施の形態では、評価測定装置120は、温度等を測定したセンサーチップ201と同一プロセスのセンサーチップ201-1等に回帰係数を設定していた。しかし、測定したチップのいずれのプロセスも、設定対象のチップのものと異なることがある。この第2の実施の形態における評価測定装置120は、設定対象のチップとプロセスが類似するチップの回帰係数を検索する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、評価測定装置120は、温度等を測定したセンサーチップ201と同一プロセスのセンサーチップ201-1等に回帰係数を設定していた。しかし、測定したチップのいずれのプロセスも、設定対象のチップのものと異なることがある。この第2の実施の形態における評価測定装置120は、設定対象のチップとプロセスが類似するチップの回帰係数を検索する点において第1の実施の形態と異なる。
図12は、本技術の第2の実施の形態における評価測定装置120の一構成例を示すブロック図である。この第2の実施の形態における評価測定装置120は、データベース128および回帰係数検索部129を備える点において第1の実施の形態と異なる。
回帰係数演算部125は、閾値電圧(言い換えれば、チップ)ごと、撮像条件(露光時間やゲインなど)ごとに回帰係数群をデータベース128に格納する。なお、データベース128を評価測定装置120内に配置しているが、この構成に限定されず、評価測定装置120の外部に配置することもできる。
回帰係数検索部129は、データベース128にアクセスして、設定対象のセンサーチップに適用する回帰係数を検索するものである。この回帰係数検索部129は、例えば、設定対象のセンサーチップの閾値電圧との間の差分が所定の許容値以内である閾値電圧に対応する回帰係数群をデータベース128から読み出す。そして、回帰係数検索部129は、読み出した回帰係数群を回帰係数設定部127に供給する。
また、回帰係数検索部129は、ユーザの操作に従ってデータベース128を検索することもできる。例えば、設定対象のセンサーチップ205-1が、測定対象のセンサーチップ201の内部回路やプロセスを小規模のみ変更、あるいは、変更なく踏襲したものである場合を考える。この場合、ユーザは、センサーチップ201に対応する回帰係数をデータベース128から検索し、センサーチップ205-1に適用することができる。
図13は、本技術の第2の実施の形態における評価測定システム100の一構成例を示す図である。第2の実施の形態においては、センサーチップ205-1や205-2が設定対象となる。これらのセンサーチップ205-1等は、センサーチップ201、202、203などの測定対象のチップのいずれともプロセスが異なる。
評価測定装置120は、適用可能な回帰係数をデータベースから読み出してセンサーチップ205-1などに設定する。これにより、評価測定システム100の汎用性が向上する。
なお、設定対象のセンサーチップ205-1等は、回帰係数のキャリブレーションの際に遮光行を読み出すこともできる。ただし、キャリブレーションを行わない場合は、これらのチップで遮光行を読み出すことは無いため、VOPB領域230自体を削減することもできる。
このように、本技術の第2の実施の形態によれば、評価測定装置120は、適用可能な回帰係数をデータベースから読み出してセンサーチップ205-1等に設定するため、評価測定システム100の汎用性を向上させることができる。
<3.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図14は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図14に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図14の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図15は、撮像部12031の設置位置の例を示す図である。
図15では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図15には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、図1におけるbの撮像システム150は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、フレームレートを向上させることが可能になる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)遮光されていない所定数の感光画素が二次元格子状に配列された画素アレイ部と、
遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を回帰係数として保持する回帰係数保持部と、
前記回帰係数を用いて前記説明変数から前記クランプ値を演算するクランプ値演算処理と前記感光画素の画素信号から前記クランプ値を減算するクランプ処理とを行う信号処理部と
を具備する半導体チップ。
(2)画素アレイ部には、前記感光画素の列ごとに所定数の前記遮光画素がさらに配列され、
前記回帰係数保持部は、前記列ごとに前記回帰係数を保持する
前記(1)記載の半導体チップ。
(3)前記説明変数は、温度、閾値電圧、露光時間、および、ゲインのうち少なくとも1つを含む前記(1)または(2)に記載の半導体チップ。
(4)前記回帰係数保持部は、前記説明変数の値または範囲の条件ごとに前記回帰係数を保持する前記(1)から(3)のいずれかに記載の半導体チップ。
(5)前記信号処理部は、所定の測定モードが設定された場合には前記遮光画素の画素信号を出力し、前記測定モードが設定されていない場合には前記クランプ値演算処理および前記クランプ処理を行う
前記(1)から(4)のいずれかに記載の半導体チップ。
(6)遮光された遮光画素の画素信号を遮光画素信号として生成する半導体チップと、
前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する評価測定装置と
を具備する評価測定システム。
(7)前記評価測定装置は、
前記回帰係数を演算する回帰係数演算部と、
所定数の前記半導体チップのそれぞれの前記回帰係数を保持するデータベースにアクセスして設定対象の半導体チップに適用する前記回帰係数を検索する回帰係数検索部と
を備える請求項6記載の評価測定システム。
(8)遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を用いて前記説明変数から前記クランプ値を演算する手順と、
遮光されていない感光画素の画素信号から前記クランプ値を減算する手順と
を具備する半導体チップの制御方法。
(9)半導体チップが、遮光された遮光画素の画素信号を遮光画素信号として生成する手順と、
評価測定装置が、前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する手順と
を具備する評価測定システムの制御方法。
(1)遮光されていない所定数の感光画素が二次元格子状に配列された画素アレイ部と、
遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を回帰係数として保持する回帰係数保持部と、
前記回帰係数を用いて前記説明変数から前記クランプ値を演算するクランプ値演算処理と前記感光画素の画素信号から前記クランプ値を減算するクランプ処理とを行う信号処理部と
を具備する半導体チップ。
(2)画素アレイ部には、前記感光画素の列ごとに所定数の前記遮光画素がさらに配列され、
前記回帰係数保持部は、前記列ごとに前記回帰係数を保持する
前記(1)記載の半導体チップ。
(3)前記説明変数は、温度、閾値電圧、露光時間、および、ゲインのうち少なくとも1つを含む前記(1)または(2)に記載の半導体チップ。
(4)前記回帰係数保持部は、前記説明変数の値または範囲の条件ごとに前記回帰係数を保持する前記(1)から(3)のいずれかに記載の半導体チップ。
(5)前記信号処理部は、所定の測定モードが設定された場合には前記遮光画素の画素信号を出力し、前記測定モードが設定されていない場合には前記クランプ値演算処理および前記クランプ処理を行う
前記(1)から(4)のいずれかに記載の半導体チップ。
(6)遮光された遮光画素の画素信号を遮光画素信号として生成する半導体チップと、
前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する評価測定装置と
を具備する評価測定システム。
(7)前記評価測定装置は、
前記回帰係数を演算する回帰係数演算部と、
所定数の前記半導体チップのそれぞれの前記回帰係数を保持するデータベースにアクセスして設定対象の半導体チップに適用する前記回帰係数を検索する回帰係数検索部と
を備える請求項6記載の評価測定システム。
(8)遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を用いて前記説明変数から前記クランプ値を演算する手順と、
遮光されていない感光画素の画素信号から前記クランプ値を減算する手順と
を具備する半導体チップの制御方法。
(9)半導体チップが、遮光された遮光画素の画素信号を遮光画素信号として生成する手順と、
評価測定装置が、前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する手順と
を具備する評価測定システムの制御方法。
100 評価測定システム
110 テスター
120 評価測定装置
121、219 通信インターフェース
122 撮像制御部
123 測定データ保持部
124 クランプ値演算部
125 回帰係数演算部
126 回帰係数保持部
127 回帰係数設定部
128 データベース
129 回帰係数検索部
150 撮像システム
160 DSP回路
201、201-1、201-2、202、203、205-1、205-2 センサーチップ
211 垂直走査部
212 システム制御部
213 読出し回路部
214 AD変換部
215 水平走査部
216 OTPメモリ
217 温度計
218 セレクタ
220 画素アレイ部
230 VOPB領域
231 遮光画素
235 HOPB領域
240 感光領域
241 感光画素
250 信号処理部
251 クランプ値演算部
252 クランプ処理部
253 後段処理部
254 マルチプレクサ
12031 撮像部
110 テスター
120 評価測定装置
121、219 通信インターフェース
122 撮像制御部
123 測定データ保持部
124 クランプ値演算部
125 回帰係数演算部
126 回帰係数保持部
127 回帰係数設定部
128 データベース
129 回帰係数検索部
150 撮像システム
160 DSP回路
201、201-1、201-2、202、203、205-1、205-2 センサーチップ
211 垂直走査部
212 システム制御部
213 読出し回路部
214 AD変換部
215 水平走査部
216 OTPメモリ
217 温度計
218 セレクタ
220 画素アレイ部
230 VOPB領域
231 遮光画素
235 HOPB領域
240 感光領域
241 感光画素
250 信号処理部
251 クランプ値演算部
252 クランプ処理部
253 後段処理部
254 マルチプレクサ
12031 撮像部
Claims (9)
- 遮光されていない所定数の感光画素が二次元格子状に配列された画素アレイ部と、
遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を回帰係数として保持する回帰係数保持部と、
前記回帰係数を用いて前記説明変数から前記クランプ値を演算するクランプ値演算処理と前記感光画素の画素信号から前記クランプ値を減算するクランプ処理とを行う信号処理部と
を具備する半導体チップ。 - 画素アレイ部には、前記感光画素の列ごとに所定数の前記遮光画素がさらに配列され、
前記回帰係数保持部は、前記列ごとに前記回帰係数を保持する
請求項1記載の半導体チップ。 - 前記説明変数は、温度、閾値電圧、露光時間、および、ゲインのうち少なくとも1つを含む請求項1記載の半導体チップ。
- 前記回帰係数保持部は、前記説明変数の値または範囲の条件ごとに前記回帰係数を保持する請求項1記載の半導体チップ。
- 前記信号処理部は、所定の測定モードが設定された場合には前記遮光画素の画素信号を出力し、前記測定モードが設定されていない場合には前記クランプ値演算処理および前記クランプ処理を行う
請求項1記載の半導体チップ。 - 遮光された遮光画素の画素信号を遮光画素信号として生成する半導体チップと、
前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する評価測定装置と
を具備する評価測定システム。 - 前記評価測定装置は、
前記回帰係数を演算する回帰係数演算部と、
所定数の前記半導体チップのそれぞれの前記回帰係数を保持するデータベースにアクセスして設定対象の半導体チップに適用する前記回帰係数を検索する回帰係数検索部と
を備える請求項6記載の評価測定システム。 - 遮光された遮光画素の画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を用いて前記説明変数から前記クランプ値を演算する手順と、
遮光されていない感光画素の画素信号から前記クランプ値を減算する手順と
を具備する半導体チップの制御方法。 - 半導体チップが、遮光された遮光画素の画素信号を遮光画素信号として生成する手順と、
評価測定装置が、前記遮光画素信号の統計量であるクランプ値を所定の説明変数から求めるための回帰式の係数を演算する手順と
を具備する評価測定システムの制御方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024037747 | 2024-03-12 | ||
| JP2024-037747 | 2024-03-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025192018A1 true WO2025192018A1 (ja) | 2025-09-18 |
Family
ID=97063131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/001093 Pending WO2025192018A1 (ja) | 2024-03-12 | 2025-01-16 | 半導体チップ、評価測定システム、半導体チップの制御方法、および、評価測定システムの制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025192018A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006246208A (ja) * | 2005-03-04 | 2006-09-14 | Canon Inc | 撮像装置および補正方法 |
| JP4619375B2 (ja) * | 2007-02-21 | 2011-01-26 | ソニー株式会社 | 固体撮像装置および撮像装置 |
| JP2018137624A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社リコー | 画像信号処理装置および撮像装置 |
-
2025
- 2025-01-16 WO PCT/JP2025/001093 patent/WO2025192018A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006246208A (ja) * | 2005-03-04 | 2006-09-14 | Canon Inc | 撮像装置および補正方法 |
| JP4619375B2 (ja) * | 2007-02-21 | 2011-01-26 | ソニー株式会社 | 固体撮像装置および撮像装置 |
| JP2018137624A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社リコー | 画像信号処理装置および撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12177592B2 (en) | Solid-state imaging element, imaging device, and control method of solid-state imaging element | |
| EP3890311B1 (en) | Solid-state imaging element and imaging device | |
| JP7245178B2 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| CN113170065B (zh) | 固态成像元件和成像装置 | |
| US11394913B2 (en) | Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element | |
| WO2020066803A1 (ja) | 固体撮像素子、および、撮像装置 | |
| US12192657B2 (en) | Solid-state image sensor and imaging device | |
| WO2020153261A1 (ja) | 受光装置および測距装置 | |
| JP2021170691A (ja) | 撮像素子、制御方法、および電子機器 | |
| WO2025192018A1 (ja) | 半導体チップ、評価測定システム、半導体チップの制御方法、および、評価測定システムの制御方法 | |
| CN115336012A (zh) | 感测装置和电子装置 | |
| JP7477464B2 (ja) | 撮像装置およびキャリブレーション方法 | |
| WO2024080226A1 (ja) | 光検出素子及び電子機器 | |
| CN112997475B (zh) | 电子电路、固态成像元件以及制造电子电路的方法 | |
| WO2020100399A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| WO2020021826A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| WO2025173536A1 (ja) | 測距システム、イメージセンサ、および、測距システムの制御方法 | |
| WO2025028018A1 (ja) | 欠陥検出装置、撮像装置、および、欠陥検出方法 | |
| WO2025197775A1 (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25771601 Country of ref document: EP Kind code of ref document: A1 |