[go: up one dir, main page]

WO2014207992A1 - 測距撮像装置及びその測距方法 - Google Patents

測距撮像装置及びその測距方法 Download PDF

Info

Publication number
WO2014207992A1
WO2014207992A1 PCT/JP2014/002714 JP2014002714W WO2014207992A1 WO 2014207992 A1 WO2014207992 A1 WO 2014207992A1 JP 2014002714 W JP2014002714 W JP 2014002714W WO 2014207992 A1 WO2014207992 A1 WO 2014207992A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
signal
light emission
period
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/002714
Other languages
English (en)
French (fr)
Inventor
充彦 大谷
藤井　俊哉
順士 徳本
遥 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015523835A priority Critical patent/JP6435513B2/ja
Publication of WO2014207992A1 publication Critical patent/WO2014207992A1/ja
Priority to US14/965,901 priority patent/US10073164B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/15—Charge-coupled device [CCD] image sensors
    • H10F39/153—Two-dimensional or three-dimensional array CCD image sensors
    • H10F39/1534—Interline transfer

Definitions

  • the present invention relates to a ranging imaging device and a ranging method thereof.
  • a TOF (time of flight) method in which distance measurement is performed using a flight time in which light travels back and forth to a subject.
  • Patent Document 1 discloses a conventional technique for calculating a distance measurement value based on the amount of light obtained in a light reception signal period of three to four different phases shorter than the light emission signal time. .
  • Patent Document 1 has a problem that the S / N of the received light signal is low and the ranging accuracy is poor.
  • an object of the present invention is to provide a ranging imaging apparatus having a high S / N and high ranging accuracy and a ranging method thereof.
  • a distance measurement imaging apparatus includes a signal generation unit that generates a light emission signal that instructs light irradiation and an exposure signal that instructs exposure of reflected light, and the light emission signal. Based on the exposure amount, a light source unit that performs the light irradiation by receiving the light source, an imaging unit that performs the exposure by receiving the exposure signal and acquires the exposure amount of the reflected light, and A first calculating unit for calculating and outputting, wherein the imaging unit receives the exposure signal through a first delay time with respect to the reception timing of the emission signal, and performs the exposure.
  • the first exposure amount corresponding to the exposure is acquired, the exposure signal is received through a second delay time different from the first delay time with respect to the reception timing of the light emission signal, and the exposure is performed.
  • the second exposure amount corresponding to the exposure is acquired, and the calculation unit repeats at least one of the light emission signal and the exposure signal in the first light emission exposure period, and the second The distance information from the first exposure amount and the second exposure amount obtained by varying at least one of the number of repetitions of the light emission signal and the exposure signal in the light emission exposure period. Is calculated.
  • At least one of the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period and the number of repetitions of at least one of the light emission signal and the exposure signal in the second light emission exposure period is possible to achieve high ranging accuracy with high S / N without depending on the emission intensity and the distance of the object. Furthermore, low power consumption can be realized by suppressing the emission intensity.
  • the range-finding imaging apparatus further includes a total sum of the first exposure amounts obtained by repeating the exposure in the first light emission exposure period, and the second light emission exposure.
  • a control unit is provided, and the calculation unit calculates and outputs the distance information based on the correction signal.
  • the maximum received light amount of the sum of the first exposure amount and the sum of the second exposure amount is always increased, so that high ranging accuracy can be realized with high S / N.
  • the signal generation unit repeats the light emission signal and the exposure signal in the light emission exposure period with the smaller number of repetitions of the first light emission exposure period and the second light emission exposure period.
  • the generation timing is reduced and output on the light emission exposure period side with the larger number of times.
  • the signal generation unit generates a first exposure signal in the first light emission exposure period, and an output timing for the light emission signal is different from the first exposure signal in the second light emission exposure period.
  • a second exposure signal is generated, and the output period of the first exposure signal includes the start point of the reflected light, and the output period of the second exposure signal includes an end point of the reflected light.
  • the end point timing of the first exposure signal is the same as the start point timing of the second exposure signal or is temporally ahead of the start point timing of the second exposure signal.
  • the output period of the first exposure signal and the output period of the second exposure signal are divided in time.
  • the end point timing of the first exposure signal is before the start point timing of the second exposure signal
  • the first exposure period, the second exposure period, and the insensitive period Divided into three.
  • the signal generating unit generates the light emission signal a plurality of times and the first exposure signal a plurality of times in the first light emission exposure period, and a plurality of times in the second light emission exposure period.
  • the light emission signal and a plurality of times of the second exposure signal are generated.
  • the imaging unit includes a CCD type solid-state imaging device.
  • a plurality of packets already configured in the vertical transfer unit can be used as means for accumulating signals obtained in a plurality of different exposure periods. Therefore, it is not necessary to form additional signal accumulating means, and if the area is the same, the photodiode can be formed larger, the saturation sensitivity can be increased, the maximum received light amount is increased, and high-precision ranging is achieved. realizable.
  • an operation of collectively resetting a plurality of photodiodes, so-called global reset can be performed, and further accurate ranging can be realized.
  • the present invention can be realized not only as a distance measuring and imaging apparatus having such a characteristic configuration but also as a distance measuring method of the distance measuring and imaging apparatus.
  • the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period, and the repetition of at least one of the light emission signal and the exposure signal in the second light emission exposure period Since at least one of the number of times is variable, it is possible to achieve high ranging accuracy with high S / N.
  • FIG. 2 is a functional block diagram illustrating a schematic configuration of a distance measurement imaging apparatus according to the first embodiment. It is a functional block diagram of a CCD type solid-state imaging device.
  • FIG. 6 is a diagram for explaining timing for detecting an exposure amount of the distance measurement imaging apparatus according to the first embodiment. It is a timing chart of the light emission signal and exposure signal in a general TOF system. It is a figure explaining the timing which detects the exposure amount in a general TOF system. It is a figure which shows the relationship of the exposure amount in 1 screen of a general TOF system.
  • FIG. 6 is a diagram illustrating an example of a relationship between exposure amounts on one screen of the ranging imaging apparatus according to the first embodiment.
  • FIG. 6 is a functional block diagram illustrating a schematic configuration of a distance measurement imaging apparatus according to a second embodiment.
  • 10 is a timing chart of a light emission signal and an exposure signal of a distance measuring device according to a first modification of the second embodiment.
  • 10 is a timing chart of a light emission signal and an exposure signal of a distance measurement imaging apparatus according to a second modification of the second embodiment.
  • FIG. 1 is a functional block diagram showing a schematic configuration of a distance measuring and imaging apparatus 1 according to the first embodiment.
  • the ranging image pickup apparatus 1 includes an imaging unit 10, a light source unit 20, a signal generation unit 30, and an imaging TOF calculation unit (calculation unit) 40.
  • the light source unit 20 includes a drive circuit, a capacitor, and a light emitting element, and emits light by supplying the charge held in the capacitor to the light emitting diode.
  • the light emitting element other light emitting elements such as a laser diode and a light emitting diode (LED) may be used.
  • the signal generator 30 generates a light emission signal instructing light irradiation to the target object and an exposure signal instructing exposure of reflected light from the target object.
  • the light source unit 20 irradiates the target object with light according to the timing of receiving the light emission signal generated by the signal generation unit 30.
  • the imaging unit 10 performs multiple exposures on the region including the target object in accordance with the timing indicated by the exposure signal generated by the signal generation unit 30, and RAW data (imaging information) corresponding to the sum of the multiple exposure amounts. Get.
  • the imaging unit 10 includes a circuit that creates and outputs RAW data such as a camera lens, a solid-state imaging device, and an A / D converter.
  • the TOF calculation unit (calculation unit) 40 calculates and outputs a TOF signal (distance signal) that is distance information to the target object based on the RAW data received from the imaging unit 10.
  • the imaging unit 10 of the distance measurement imaging apparatus 1 is used as a CCD (Charge Coupled Device) type solid-state imaging device.
  • CCD Charge Coupled Device
  • FIG. 2 is a functional configuration diagram of a CCD type solid-state imaging device.
  • the CCD solid-state imaging device includes a photodiode 101, a vertical transfer unit 102, a horizontal transfer unit 103, and a signal charge detection unit 104.
  • the photodiode 101 converts the received light into electric charges.
  • the vertical transfer unit 102 includes a plurality of gates, and sequentially transfers charges read from the photodiode 101 in the vertical direction.
  • the horizontal transfer unit 103 sequentially transfers the charges received from the vertical transfer unit 102 as packets by a plurality of gates configured by a plurality of gates.
  • the signal charge detection unit 104 sequentially detects the charges received from the horizontal transfer unit, converts them into voltage signals, and outputs them.
  • the substrate voltage is controlled according to the exposure signal, the photodiode 101 is exposed during the period when the exposure signal is Low, and the charge generated by the exposure is accumulated in the vertical transfer unit 102.
  • FIG. 3 is a diagram for explaining the timing for detecting the exposure amount of the ranging image pickup apparatus according to the first embodiment.
  • 3 represents the timing at which the signal generating unit 30 outputs the light emission signal and the exposure signal
  • the lower left of FIG. 3 represents the detection timing of the exposure amount S0 in the first light emission exposure period.
  • the detection timing of exposure amount S1 in a 2nd light emission exposure period is represented.
  • the photodiode 101 is exposed while the first exposure signal is Low, and charges generated by the exposure are accumulated in the vertical transfer unit 102. .
  • the gate of the vertical transfer unit 102 is controlled to transfer the charge to a packet having no readout gate.
  • the first light emission exposure period is a period in which exposure is performed by receiving an exposure signal after a first delay time with respect to the timing at which the imaging unit 10 receives a light emission signal.
  • the first delay time is set to zero.
  • the photodiode 101 is exposed while the second exposure signal is Low, and the charge generated by the exposure is transferred to the vertical transfer unit. Accumulate in 102.
  • the gate of the vertical transfer unit 102 is controlled to transfer the charge to a packet having no readout gate.
  • the second light emission exposure period is a period in which the exposure signal is received and exposed through a second delay time different from the first delay time with respect to the timing at which the imaging unit 10 receives the light emission signal. .
  • the second delay time is set to a period during which the light emission signal is transmitted (high level).
  • the photodiode 101 is exposed while the exposure signal is Low, and charges generated by the exposure are accumulated in the vertical transfer unit 102.
  • the gate of the vertical transfer unit 102 is controlled so that the charge exposed by the first exposure signal is transferred so as to come to the packet in which the readout gate is present.
  • the transfer of the vertical transfer unit 102 and the transfer of the horizontal transfer unit 103 are sequentially repeated, and the charge is converted into a voltage signal by the signal charge detection unit 104 and output.
  • a plurality of units already configured in the vertical transfer unit 102 as means for accumulating signals obtained in a plurality of exposure periods with different timings of exposure signals for receiving reflected light from the measurement object with respect to the emission signals. Packets can be used. Therefore, it is not necessary to form additional signal storage means. If the area is the same, the photodiode 101 can be formed larger, the saturation sensitivity can be increased, the maximum received light amount is increased, and high-precision distance measurement is possible. Can be realized.
  • CMOS image sensor CMOS solid-state imaging device
  • the solid-state imaging device used in the present embodiment is not limited to the CCD image sensor, and a CMOS image sensor (CMOS solid-state imaging device) or the like is considered in consideration of other requirements as a range-finding imaging device. Even when other solid-state imaging devices (image sensors) are used, the same effect (an improvement in distance measurement accuracy by S / N improvement, etc.) can be obtained.
  • FIG. 4 is a timing chart of a light emission signal and an exposure signal in a general TOF method.
  • the reflected light from the object to be measured is two patterns with different timings of the first exposure signal and the second exposure signal with respect to the light emission signal.
  • a general method is to calculate the distance to the measurement object based on the ratio of the amount of light generated by the exposure of the two patterns. For example, the exposure is performed so as to include all of the reflected light from the measurement object by the first exposure signal. On the other hand, exposure is performed such that the exposure amount increases as the reflected light from the measurement object is delayed with respect to the light emission timing by the second exposure signal.
  • the light emission signal is stopped and exposure is performed under the same conditions as the first exposure signal and the second exposure signal.
  • the distance L can be calculated by performing the calculation of the following expression 1.
  • FIG. 5 is a diagram for explaining the timing for detecting the exposure amount in the general TOF method.
  • the upper part of FIG. 5 represents the timing of outputting the light emission signal and the exposure signal
  • the lower left part of FIG. 5 represents the detection timing of the exposure amount s0 in the first light emission exposure period
  • the lower part of the center of FIG. Represents the detection timing of the total exposure amount s1 during the light emission exposure period.
  • the light emission signal and the first exposure signal are repeatedly output a plurality of times, and then the light emission signal and the second exposure signal are repeatedly output the same number of times, and then the light emission signal is stopped to stop the first exposure signal and the second exposure signal.
  • An exposure signal having the same conditions as the exposure signal is repeatedly output the same number of times. This series of timings is set as one set, and after a plurality of sets are repeatedly output, the accumulated exposure signal is output.
  • ranging accuracy depends on the signal S / N (signal / noise ratio).
  • S / N signal / noise ratio
  • Optical shot noise is dominant in the TOF type noise, and therefore the S / N of the signal is proportional to the square root of the maximum received light amount.
  • the first exposure signal is exposed to include all of the reflected light from the measurement object, and the second exposure signal is such that the reflected light from the measurement object is delayed with respect to the emission timing. Exposure is performed so that the exposure amount increases.
  • the sum S1 of the second exposure amount s1 obtained by repeating the second exposure signal a plurality of times is necessarily smaller than the sum S0 of the first exposure amount s0 of the first exposure signal repeated the same number of times.
  • the maximum received light amount is small, the S / N is lowered, and the ranging accuracy is lowered.
  • FIG. 6 is a diagram showing the relationship between the exposure amount of the light emission signal and the exposure signal in one screen of a general TOF system.
  • the signal storage capacity is 800
  • the exposure amount when the light emission signal and the first exposure signal are repeated 16 times is 400
  • An example in which the amount is 100 is shown.
  • the total exposure amount of the first exposure signal becomes 800, which is a signal storage capacity.
  • the total exposure amount of the second exposure signal at this time is 200. That is, in the above example in the general TOF method, the maximum received light amount remains at 200, and the S / N decreases.
  • the photoelectron holding part in any light reception signal period is always saturated first. Therefore, if the light emission intensity or the number of repetitions of light reception is adjusted so that the photoelectron holding part in the light receiving signal period is close to saturation, the maximum light receiving amount in other light receiving signal periods cannot use the saturation amount of the photoelectron holding part. , S / N is lowered, and ranging accuracy is lowered.
  • the distance measurement imaging apparatus can solve the above-described characteristic deterioration. Details will be described below.
  • the lower part of FIG. 3 shows details of the operation of the ranging image pickup apparatus 1 according to the present embodiment, and specifically shows an example of the timing relationship between the light emission signal generated by the signal generation unit 30 and the exposure signal.
  • the signal generator 30 outputs a first exposure signal and a second exposure signal that are different in timing for receiving reflected light from the measurement object with respect to the light emission signal.
  • the imaging unit 10 performs exposure so as to include all of the reflected light from the measurement object by the first exposure signal, acquires a first exposure amount corresponding to the exposure, and by the second exposure signal, The exposure is performed such that the second exposure amount increases as the reflected light from the measurement object is delayed with respect to the light emission timing. Further, in order to detect an offset component such as background light, the light emission signal is stopped and exposure is performed under the same conditions as the first exposure signal and the second exposure signal.
  • FIG. 3 shows an example of the timing relationship in one screen of the light emission signal, the first exposure signal, and the second exposure signal.
  • the first light emission exposure period the first exposure signal is repeatedly output m times, and the light emission signal is repeatedly output y times.
  • the second light emission exposure period the light emission signal is repeatedly output m times, and the second exposure signal is repeatedly output m times.
  • the non-emission exposure period the light emission signal is stopped and an exposure signal having the same condition as the first exposure signal and the second exposure signal is repeatedly output m times.
  • This series of timings is set as one set, and this is repeatedly output N times, and then the accumulated exposure signal is output.
  • the distance L can be calculated by performing the calculation of the following expression 2.
  • the range-finding imaging apparatus 1 is configured such that the total exposure amount by the first exposure signal when the light emission signal is repeated y ⁇ N times, and the light emission signal is m (independent of y). ) X and m are selected so that the total amount of exposure by the second exposure signal when it is repeated N times is close to the maximum signal storage capacity.
  • the distance measuring and imaging apparatus 1 can set a large maximum light receiving amount of both the sum of the exposure amounts by the first exposure signal and the sum of the exposure amounts by the second exposure signal. Accuracy can be realized.
  • FIG. 7 is a diagram showing an example of the relationship between the exposure amounts on one screen of the distance measuring and imaging apparatus according to the first embodiment.
  • the signal storage capacity is 800
  • the exposure amount when the light emission signal and the first exposure signal are repeated 16 times is 400
  • An example in which the amount is 100 is shown.
  • the repetition of the light emission signal in the first light emission exposure period is set to 4 times which is 1/4 of the above 16 times
  • the exposure amount in the first light emission exposure period is 1/4 of 400. Which is 100.
  • the sum of the exposure amount of the first exposure signal and the sum of the exposure amount of the second exposure signal are both 800, which is a signal storage capacity.
  • the distance L is the number of repetitions of the light emission signal in the first light emission exposure period is 1 ⁇ 4 of the number of repetitions of the light emission signal in the second light emission exposure period
  • the following equation 3 is calculated. It can be calculated by
  • FIG. 8 is a diagram illustrating an example of the relationship between the exposure amounts on one screen of the distance measuring apparatus according to the first modification of the first embodiment.
  • the example shown in the figure has the same exposure amount and signal repetition count as in FIG.
  • the distance L can be calculated by performing the calculation of Equation 3 above.
  • the difference from the example of FIG. 7 is that the output timing of the light emission signal which is 1/4 (4 times) of the number of repetitions of the first exposure signal (16 times) in the first light emission exposure period, That is, it is output in the light emission exposure period side.
  • the signal generation unit 30 outputs the light emission signal and the exposure signal in the light emission exposure period with the smaller number of repetitions among the first light emission exposure period and the second light emission exposure period, and the light emission exposure period with the larger number of repetitions. Outputs the occurrence timing close to the side.
  • both the sum of the exposure amounts of the first exposure signal and the sum of the exposure amounts of the second exposure signal are 800, which is a signal storage capacity, and the maximum received light amount increases, and the high S / N ratio is high. Can achieve high ranging accuracy. Furthermore, since the time difference between the first light emission exposure period and the second light emission exposure period is short, highly accurate distance measurement can be realized even for a distance measuring object that moves quickly.
  • FIG. 9 is a diagram illustrating an example of the relationship between the exposure amounts on one screen of the distance measurement imaging apparatus according to the second modification of the first embodiment.
  • the example shown in the figure has the same exposure amount and signal repetition count as in FIG.
  • the difference from the example of FIG. 7 is that in the first light emission exposure period, not only the light emission signal but also the number of repetitions of the first exposure signal is set to 1/4 (four times), and both the light emission signal and the first exposure signal are used. Is output at the second light emission exposure period side.
  • both the sum of the exposure amounts of the first exposure signal and the sum of the exposure amounts of the second exposure signal are 800, which is a signal storage capacity, and the maximum received light amount increases, and the high S / N ratio is high. Can achieve high ranging accuracy.
  • the number of repetitions of the light emission signal in the first light emission exposure period is 1/4 of the number of repetitions of the light emission signal in the second light emission exposure period, and the total amount of exposure of the background light is no light emission. Since the exposure period is 1 ⁇ 4, the distance L can be calculated by performing the calculation of Equation 4 below.
  • the time of the first light emission exposure period is shortened to 1 ⁇ 4, the output frame rate of the TOF signal is improved, and high-precision distance measurement with high follow-up ability even for a distance-measuring object that moves quickly. Can be realized.
  • FIG. 10 is a diagram illustrating an example of the relationship between the exposure amounts on one screen of the distance measurement imaging apparatus according to the third modification of the first embodiment.
  • the example shown in the figure has the same exposure amount and signal repetition count as in FIG.
  • the difference from the example of FIG. 7 is that in the first light emission exposure period, not only the light emission signal but also the number of repetitions of the first exposure signal is set to 1/4 (four times), and both the light emission signal and the first exposure signal are used. Is output at the second light emission exposure period side.
  • both the sum of the exposure amounts of the first exposure signal and the sum of the exposure amounts of the second exposure signal are 800, which is a signal storage capacity, and the maximum received light amount increases, and the high S / N ratio is high. Can achieve high ranging accuracy.
  • the number of repetitions of the non-light-emitting exposure period is also set to 1/4 (four times), similarly to the number of repetitions of the first exposure signal.
  • the distance L can be calculated by performing the calculation of Equation 5 below.
  • the output frame rate of the TOF signal is further improved, and the object to be quickly measured is tracked. Further, the power consumption associated with the generation of the exposure signal can be reduced, so that the temperature rise can be reduced and high-precision distance measurement can be realized.
  • the distance measuring and imaging apparatus As described above, according to the distance measuring and imaging apparatus according to the first embodiment and the modification thereof, the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period, and the light emission signal in the second light emission exposure period.
  • the number of repetitions of at least one of the exposure signal and the exposure signal is varied, it is possible to achieve high ranging accuracy with high S / N without depending on the light emission intensity and the distance of the object. Furthermore, low power consumption can be realized by suppressing the emission intensity.
  • the imaging unit 10 includes a CCD type solid-state imaging device, high ranging accuracy can be realized with high S / N without depending on the cell size, and the solid-state imaging device can be miniaturized to measure the distance. It is possible to reduce the size of the imaging device.
  • FIG. 11 is a functional block diagram showing a schematic configuration of the ranging image pickup apparatus according to the second embodiment.
  • the distance measuring and imaging apparatus 2 includes an imaging unit 10, a light source unit 20, a signal generation unit 30, a TOF calculation unit 40, and a control unit 50.
  • the signal generator 30 generates a light emission signal and an exposure signal according to the control of the controller 50.
  • the light source unit 20 performs light irradiation according to the timing indicated by the light emission signal generated by the signal generation unit 30.
  • the imaging unit 10 performs exposure a plurality of times according to the timing indicated by the exposure signal generated by the signal generation unit 30 on the region including the target object, and obtains RAW data from the sum of the exposure amounts of the plurality of times.
  • the TOF calculation unit 40 outputs a TOF signal obtained based on the RAW data received from the imaging unit 10 and the correction signal received from the control unit 50.
  • the control unit 50 detects the signal amount of the RAW data received from the imaging unit 10, and varies the number of repetitions of at least one of the light emission signal and the exposure signal generated by the signal generation unit 30 based on the detected signal amount. Control is performed and a correction signal based on the number of repetitions is output.
  • control unit 50 receives the RAW data signal received from the light receiving unit independently of a plurality of exposure periods in which the timing of the exposure signal for receiving the reflected light from the measurement object with respect to the light emission signal is different. Control is performed to vary the number of repetitions of at least one of the light emission signal and the exposure signal based on the amount, and a correction signal based on the number of repetitions is output. That is, even when the light emission intensity and the distance of the object to be measured change every moment, as shown in FIG.
  • the total exposure amount by the first exposure signal when the light emission signal is repeated y ⁇ N times the total exposure amount by the first exposure signal when the light emission signal is repeated y ⁇ N times,
  • the light emission signal is repeated m (independent of y) ⁇ N times, at least one of y and m is such that the total amount of exposure by the second exposure signal is near the maximum signal storage capacity. Can be changed in real time.
  • control unit 50 calculates the total amount S0 of the first exposure amount obtained by repeating the exposure in the first light emission exposure period and the second value obtained by repeating the exposure in the second light emission exposure period. At least one of the number of repetitions in the first light emission exposure period and the number of repetitions in the second light emission exposure period so that each of the total exposure amounts S1 approaches the maximum exposure capacity of the imaging unit 10. Variable control is performed, and a correction signal for correcting the distance information is output to the TOF calculation unit 40 based on the number of repetitions subjected to the variable control.
  • the maximum received light amount of the total exposure amount by the first exposure signal and the total exposure amount by the second exposure signal is always increased, and high ranging accuracy can be realized with high S / N.
  • FIG. 12 is a timing chart of the light emission signal and the exposure signal of the distance measurement imaging apparatus according to the first modification of the second embodiment.
  • the light emission signal and the exposure signal generated by the signal generator 30 are the first exposure signal and the second exposure signal that have different relative phase timings for receiving the reflected light from the measurement object with respect to the light emission signal. It consists of two.
  • the output period of the first exposure signal includes the start point of the reflected light
  • the output period of the second exposure signal includes the end point of the reflected light.
  • the timing of the end point of the first exposure signal with respect to the light emission signal is the same as the timing of the start point of the second exposure signal with respect to the light emission signal.
  • the relative phase timings of the light emission period T0 and the first exposure period are matched, the relative phase timings of the end of the light emission period and the start of the second exposure period are matched, and the second exposure period length Is also set to T0.
  • the total exposure signal for one light emission pulse is equivalently divided into the first exposure signal and the second exposure signal for exposure.
  • the signal generator 30 generates a plurality of light emission signals and a plurality of first exposure signals in the first light emission exposure period, and a plurality of light emission signals and a plurality of times in the second light emission exposure period.
  • the second exposure signal is generated.
  • the noise component due to the background light is also included in the signal value, so that the exposure in the T0 period when the light emission by the light source unit 20 is stopped is also time-division.
  • the BG signal is also obtained from the imaging unit 10.
  • the TOF calculation unit 40 subtracts the noise component due to the background light and calculates the distance L from the true total exposure signal (S0 ⁇ BG) + (S1 ⁇ BG) and the true reflection delay signal (S1 ⁇ BG). To do.
  • the distance L is as follows: It is calculated by performing the calculation of Equation 6.
  • each exposure period is shortened, and distance measurement with improved distance measurement accuracy and improved background light resistance An imaging device can be realized.
  • FIG. 13 is a timing chart of the light emission signal and the exposure signal of the distance measuring imaging apparatus according to the second modification of the second embodiment.
  • the light emission signal and the exposure signal generated by the signal generator 30 are the first exposure signal and the second exposure signal that have different relative phase timings for receiving the reflected light from the measurement object with respect to the light emission signal. It consists of two.
  • the output period of the first exposure signal includes the start point of the reflected light
  • the output period of the second exposure signal includes the end point of the reflected light.
  • the timing of the end point of the first exposure signal with respect to the light emission signal exists temporally before the timing of the start point of the second exposure signal with respect to the light emission signal.
  • the second exposure period length is set to T1 (T0> T1).
  • the insensitive timing is set in one light emission pulse, and the period before and after that is divided into the first exposure signal and the second exposure signal for exposure.
  • the signal generator 30 generates a plurality of light emission signals and a plurality of first exposure signals in the first light emission exposure period, and a plurality of light emission signals and a plurality of times in the second light emission exposure period.
  • the second exposure signal is generated.
  • the TOF calculation unit 40 subtracts the noise component due to the background light, and calculates the distance L from the total exposure signal amount (S0 ⁇ BG) + (S1 ⁇ BG) and the true reflection delay signal (S1 ⁇ BG).
  • the distance L is expressed by the above equation (6). It is calculated by performing the operation.
  • the distance L is calculated by performing the calculation of Equation 7 above.
  • the total exposure signal is divided into the first exposure period, the second exposure period, and the insensitive period, thereby further reducing each exposure period and further improving background light resistance.
  • a distance imaging apparatus can be realized.
  • the range-finding imaging apparatus As described above, according to the range-finding imaging apparatus according to Embodiment 2 and the modification thereof, the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period, and the light emission signal in the second light emission exposure period.
  • the number of repetitions of at least one of the exposure signal and the exposure signal is varied, it is possible to achieve high ranging accuracy with high S / N without depending on the light emission intensity and the distance of the object.
  • low power consumption can be realized by suppressing the emission intensity.
  • the imaging unit 10 includes a CCD type solid-state imaging device, high ranging accuracy can be realized with high S / N without depending on the cell size, and the solid-state imaging device can be miniaturized to measure the distance. It is possible to reduce the size of the imaging device.
  • the ranging imaging device of this indication has been explained based on the above-mentioned embodiment, the ranging imaging device of this indication is not limited to the above-mentioned embodiment.
  • the present invention can be realized not only as a distance measuring and imaging apparatus having the above-described characteristic configuration but also as a distance measuring method of the distance measuring and imaging apparatus.
  • the distance measuring method of the distance image pickup device is a distance measuring method of the distance image pickup device that measures the distance by irradiating light and exposing the reflected light, and emitting light that instructs light irradiation.
  • a first exposure amount corresponding to the exposure is set.
  • a second exposure amount acquisition step for acquiring a second exposure amount corresponding to the exposure; and a distance calculation step for calculating and outputting distance information based on the first exposure amount and the second exposure amount.
  • the first exposure amount acquisition step and the second exposure amount acquisition step the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period, and the light emission signal and exposure in the second light emission exposure period.
  • the first exposure amount and the second exposure amount are obtained by varying at least one of the number of repetitions of at least one of the signals.
  • At least one of the number of repetitions of at least one of the light emission signal and the exposure signal in the first light emission exposure period and the number of repetitions of at least one of the light emission signal and the exposure signal in the second light emission exposure period can be varied. Therefore, high ranging accuracy can be realized with high S / N without depending on the light emission intensity and the distance of the object. Furthermore, low power consumption can be realized by suppressing the emission intensity.
  • the ranging imaging device has been described.
  • the configuration of the ranging imaging device according to the present disclosure is not limited to the ranging imaging device that measures the distance based on the distance information, and other physical quantities (eg, shape)
  • the present invention can also be applied to a physical quantity detection device that accurately detects (measures) temperature, radiation concentration, and the like, and an imaging device that accurately describes captured data.
  • the distance measuring and imaging apparatus can realize highly accurate three-dimensional measurement of an object to be measured without depending on the surrounding environment, and is useful for, for example, three-dimensional measurement of a person, a building, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

　高Ｓ／Ｎで高い測距精度を有する測距撮像装置を提供する。測距撮像装置は、発光信号と露光信号とを発生する信号発生部と、発光信号を受信することにより光照射を行う光源部と、露光信号を受信することにより露光を行い、反射光の露光量を取得する撮像部と、当該露光量に基づいて距離情報を演算して出力する演算部とを備え、撮像部は、発光信号の受信タイミングと同時に露光信号を受信し露光を行う第一の発光露光期間において当該露光に対応した第一の露光量を取得し、発光信号の受信タイミングに対して遅延時間を経て露光信号を受信し露光を行う第二の発光露光期間において当該露光に対応した第二の露光量を取得し、演算部は、第一の発光露光期間における発光信号の繰り返し回数を可変することにより取得された第一の露光量と第二の露光量とから距離情報を演算する。

Description

測距撮像装置及びその測距方法
　本発明は、測距撮像装置及びその測距方法に関する。
　物体を検知する複数の方式の中で、被写体まで光が往復する飛行時間を利用して測距を行うＴＯＦ（ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）方式が知られている。
　特許文献１には、受光信号時間を、当該発光信号時間よりも短い３つないし４つの異なる位相の受光信号期間で得られた光量に基づいて測距値を算出する従来技術を開示している。
特開２０１２－２１５４８０号公報
　しかしながら、特許文献１に開示された従来技術では、受光信号のＳ／Ｎが低く、測距精度が悪いという課題を有している。
　上記課題に鑑み、本発明は、高Ｓ／Ｎで高い測距精度を有する測距撮像装置及びその測距方法を提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る測距撮像装置は、光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、前記発光信号を受信することにより前記光照射を行う光源部と、前記露光信号を受信することにより前記露光を行い、前記反射光の露光量を取得する撮像部と、前記露光量に基づいて、距離情報を演算して出力する演算部とを備え、前記撮像部は、前記発光信号の受信タイミングに対して第一の遅延時間を経て前記露光信号を受信し前記露光を行う第一の発光露光期間において、当該露光に対応した第一の前記露光量を取得し、前記発光信号の受信タイミングに対して前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を受信し前記露光を行う第二の発光露光期間において、当該露光に対応した第二の前記露光量を取得し、前記演算部は、前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより取得された前記第一の露光量と前記第二の露光量とから、前記距離情報を演算することを特徴とする。
　上記構成によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。
　また、本発明の一態様に係る測距撮像装置は、さらに、前記第一の発光露光期間において前記露光を繰り返して得られた前記第一の露光量の総和、及び、前記第二の発光露光期間において前記露光を繰り返して得られた前記第二の露光量の総和のそれぞれが、前記撮像部の最大露光容量へと近づくように、前記第一の発光露光期間における前記繰り返し回数、及び、前記第二の発光露光期間における前記繰り返し回数のうち、少なくともいずれかを可変制御し、当該可変制御された前記繰り返し回数に基づいて、前記距離情報を補正するための補正信号を前記演算部に出力する制御部を備え、前記演算部は、前記補正信号に基づいて、前記距離情報を演算して出力することを特徴とする。
　これにより、第一の露光量の総和及び第二の露光量の総和の最大受光量が常に大きくなるので、高Ｓ／Ｎで高い測距精度を実現できる。
　また、例えば、前記信号発生部は、前記第一の発光露光期間及び前記第二の発光露光期間のうち、前記繰り返し回数が少ない方の発光露光期間における前記発光信号及び前記露光信号を、前記繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する。
　これにより、第一の発光露光期間と第二の発光露光期間との時間差が短いので、動きの早い測距対象物体に対しても高精度な測距を実現できる。
　また、例えば、前記信号発生部は、前記第一の発光露光期間において第一の露光信号を発生し、前記第二の発光露光期間において前記発光信号に対する出力タイミングが前記第一の露光信号と異なる第二の露光信号を発生し、前記第一の露光信号の出力期間には、前記反射光の開始点が含まれ、前記第二の露光信号の出力期間には、前記反射光の終了点が含まれ、前記第一の露光信号の終点タイミングは、前記第二の露光信号の始点タイミングと同一、または、前記第二の露光信号の始点タイミングよりも時間的に前にある。
　第一の露光信号の終点タイミングと第二の露光信号の始点タイミングとが同一の場合には、第一の露光信号の出力期間と第二の露光信号の出力期間とが、時間的に分割される。これにより、各露光期間の短縮を実現し、測距精度の向上及び背景光耐性を向上した測距撮像装置を実現することが可能となる。また、第一の露光信号の終点タイミングが第二の露光信号の始点タイミングよりも時間的に前にある場合には、さらに、第一の露光期間と第二の露光期間と無感度期間とに３分割される。これにより、各露光期間の短縮、測距精度の向上及び背景光耐性の向上が加速される。
　また、例えば、前記信号発生部は、前記第一の発光露光期間において、複数回の前記発光信号と複数回の前記第一の露光信号を発生し、前記第二の発光露光期間において、複数回の前記発光信号と複数回の前記第二の露光信号を発生する。
　また、例えば、前記撮像部は、ＣＣＤ型の固体撮像素子を備える。
　これにより、異なる複数の露光期間で得られる信号を蓄積する手段として、垂直転送部に既に構成されている複数パケットを利用することができる。よって、追加で信号蓄積手段を形成することが不要となり、同じ面積であればフォトダイオードを大きく形成でき、飽和感度を大きくすることが可能となり、最大受光量が大きくなり、高精度な測距を実現できる。また、複数のフォトダイオードを一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現することが出来る。
　なお、本発明は、このような特徴的な構成を備える測距撮像装置として実現することができるだけでなく、当該測距撮像装置の測距方法として実現することができる。
　本発明に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、高Ｓ／Ｎで高い測距精度を実現することが可能となる。
実施の形態１に係る測距撮像装置の概略構成を示す機能ブロック図である。 ＣＣＤ型の固体撮像素子の機能構成図である。 実施の形態１に係る測距撮像装置の露光量を検出するタイミングを説明する図である。 一般的なＴＯＦ方式における発光信号及び露光信号のタイミングチャートである。 一般的なＴＯＦ方式における露光量を検出するタイミングを説明する図である。 一般的なＴＯＦ方式の１画面における露光量の関係を示す図である。 実施の形態１に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第１の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第２の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第３の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態２に係る測距撮像装置の概略構成を示す機能ブロック図である。 実施の形態２の第１の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。 実施の形態２の第２の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。
　以下、本開示の実施の形態に係る測距撮像装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定するものではない。
　（実施の形態１）
　図１は、実施の形態１に係る測距撮像装置１の概略構成を示す機能ブロック図である。同図に示すように、測距撮像装置１は、撮像部１０と、光源部２０と、信号発生部３０と、撮ＴＯＦ演算部（演算部）４０とを備える。
　光源部２０は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。
　信号発生部３０は、対象物体への光照射を指示する発光信号と、当該対象物体からの反射光の露光を指示する露光信号とを発生する。
　光源部２０は、信号発生部３０で発生する発光信号を受信するタイミングに従って対象物体に対して光照射を行う。
　撮像部１０は、対象物体を含む領域に対して、信号発生部３０で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応したＲＡＷデータ（撮像情報）を得る。撮像部１０は、カメラレンズ、固体撮像素子、及びＡ／Ｄコンバータ等のＲＡＷデータを作成し出力する回路を有する。
　ＴＯＦ演算部（演算部）４０は、撮像部１０から受けたＲＡＷデータに基づいて、対象物体までの距離情報であるＴＯＦ信号（距離信号）を演算して出力する。
　次に、本実施の形態に係る測距撮像装置１の撮像部１０を、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型の固体撮像素子として用いた場合について説明する。
　図２は、ＣＣＤ型の固体撮像素子の機能構成図である。同図に示すように、ＣＣＤ型固体撮像素子は、フォトダイオード１０１と、垂直転送部１０２と、水平転送部１０３と、信号電荷検出部１０４とを備える。
　フォトダイオード１０１は、受光した光を電荷に変換する。
　垂直転送部１０２は、複数のゲートから構成され、フォトダイオード１０１から読み出した電荷を順次垂直方向に転送する。
　水平転送部１０３は、複数のゲートから構成されている複数のゲートがパケットとして垂直転送部１０２から受けた電荷を順次水平方向に転送する。
　信号電荷検出部１０４は、水平転送部から受けた電荷を順次検出して電圧信号に変換して出力する。
　ここで、読み出しゲートは開いた状態で、露光信号に従って基板電圧を制御し、露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。
　図３は、実施の形態１に係る測距撮像装置の露光量を検出するタイミングを説明する図である。図３の上では、信号発生部３０が発光信号と露光信号とを出力するタイミングを表し、図３の左下では、第一の発光露光期間における露光量Ｓ０の検出タイミングを表し、図３の中央下では、第二の発光露光期間における露光量Ｓ１の検出タイミングを表す。図３の上及び左下に示すように、第一の発光露光期間では、第一の露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。第一の発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。ここで、第一の発光露光期間とは、撮像部１０が発光信号を受信するタイミングに対して第一の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態の場合、第一の遅延時間は０に設定されている。
　続いて、図３の上及び中央下に示すように、第二の発光露光期間では、第二の露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。第二の発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。ここで、第二の発光露光期間とは、撮像部１０が発光信号を受信するタイミングに対して第一の遅延時間と異なる第二の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態の場合、第二の遅延時間は、発光信号が送信されている（ハイレベルである）期間に設定されている。
　続いて、図３の上に示すように、無発光露光期間では、露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。無発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、第一の露光信号によって露光した電荷が、読出しゲートが存在するパケットに来るように転送する。その後、この一連の動作をＮ回繰り返した後、垂直転送部１０２の転送と水平転送部１０３の転送とを順次繰り返して、上記電荷を信号電荷検出部１０４で電圧信号に変換して出力する。
　これにより、発光信号に対して測定対象物からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる信号を蓄積する手段として、垂直転送部１０２に既に構成されている複数パケットを利用することができる。よって、追加で信号蓄積手段を形成することが不要となり、同じ面積であればフォトダイオード１０１を大きく形成でき、飽和感度を大きくすることが可能となり、最大受光量が大きくなり、高精度な測距を実現できる。
　なお、図２では、ＣＣＤイメージセンサ（ＣＣＤ型固体撮像素子）を用いたことにより複数のフォトダイオード１０１を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現することが出来る。しかし、本実施の形態に用いられる固体撮像素子は、ＣＣＤイメージセンサに限定されるものではなく、測距撮像装置として他の要求を考慮して、ＣＭＯＳイメージセンサ（ＣＭＯＳ型固体撮像素子）などのその他の固体撮像素子（イメージセンサ）を用いても同様の効果（Ｓ／Ｎ改善による測距精度向上、等）を得ることが可能となる。
　ここで、本開示の測距撮像装置の理解を容易とするため、図４～図６を用いて、一般的な測距撮像装置を説明する。
　図４は、一般的なＴＯＦ方式における発光信号及び露光信号のタイミングチャートである。同図より、ＴＯＦ方式を用いて測定対象物の測距を行う場合、発光信号に対して、測定対象物からの反射光を第一の露光信号及び第二の露光信号の異なるタイミングの２パターンで露光する。上記２パターンの露光により発生した光量の比に基づいて測定対象物までの距離を算出する方法が一般的である。例えば、第一の露光信号により、測定対象物からの反射光の全てを含むように露光を行う。一方、第二の露光信号により、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号および第二の露光信号と同じ条件の露光を行う。
　ここで、第一の露光信号による第一の露光量ｓ０の総和をＳ０、第二の露光信号による第二の露光量ｓ１の総和をＳ１、背景光の露光量の総和をＢＧ、照射する直接光の発光信号幅をＴ０、光速（２９９，７９２，４５８ｍ／ｓ）をｃ、とすると、以下の式１の演算を行うことにより、距離Ｌを算出できる。
Figure JPOXMLDOC01-appb-M000001
　図５は、一般的なＴＯＦ方式における露光量を検出するタイミングを説明する図である。図５の上では、発光信号と露光信号とを出力するタイミングを表し、図５の左下では、第一の発光露光期間における露光量ｓ０の検出タイミングを表し、図５の中央下では、第二の発光露光期間における総露光量ｓ１の検出タイミングを表す。発光信号と第一の露光信号とを複数回繰り返し出力し、その後発光信号と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光信号を出力する。
　また、測距精度は信号のＳ／Ｎ（信号／ノイズ比）に依存する。ＴＯＦ方式のノイズは光ショットノイズが支配的であり、従って信号のＳ／Ｎは、最大受光量の平方根に比例する。
　しかしながら、第一の露光信号は、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号は、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。これより、第二の露光信号を複数回繰り返した第二の露光量ｓ１の総和Ｓ１は、同じ回数繰り返した第一の露光信号の第一の露光量ｓ０の総和Ｓ０よりも必ず小さくなるので、最大受光量が小さくＳ／Ｎが低下し、測距精度が低下する。
　図６は、一般的なＴＯＦ方式の１画面における発光信号及び露光信号の露光量の関係を示す図である。同図には、信号蓄積の容量が８００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が４００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が１００である場合の例を示している。一連のタイミングによる第一の発光露光、第二の発光露光及び無発光露光というセットを２セット繰り返すことにより、第一の露光信号の露光量の総和は、信号蓄積の容量である８００となる。一方、このときの第二の露光信号の露光量の総和は２００となる。つまり、一般的なＴＯＦ方式における上記例では、最大受光量は２００に留まってしまい、Ｓ／Ｎが低下してしまう。
　さらに、一般的な測距撮像装置では、いずれかの受光信号期間の光電子保持部が必ず先に飽和する。よって、受光信号期間の光電子保持部が飽和近傍となるように発光強度ないし受光の繰り返し回数を調整すると、他の受光信号期間の最大受光量は光電子保持部の飽和量を全て使うことが出来ず、Ｓ／Ｎが低下し、測距精度が低下する。
　このことは、発光強度が小さい場合や、第二の露光信号による露光量が小さくなる（測定対象物までの距離が近い）場合や、背景光が多い場合や、撮像部を構成する固体撮像素子のセルサイズ（受光部の面積、等）が小さい場合に顕著となる。
　これに対して、本実施の形態に係る測距撮像装置では、上述した特性劣化を解決することが可能となる。以下、その詳細を説明する。
　図３の下では、本実施の形態に係る測距撮像装置１の動作の詳細を表し、具体的には、信号発生部３０で発生する発光信号と露光信号とのタイミング関係の例を示している。信号発生部３０は、発光信号に対して測定対象物からの反射光を受光するタイミングが異なる第一の露光信号及び第二の露光信号を出力する。撮像部１０は、第一の露光信号により、測定対象物からの反射光の全てを含むように露光を行い、当該露光に対応した第一の露光量を取得し、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、第二の露光量が増加するような露光を行う。また、背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。
　一方、図３の上では、発光信号、第一の露光信号及び第二の露光信号の１画面におけるタイミング関係の例を示している。第一の発光露光期間では、第一の露光信号をｍ回繰り返し出力し、発光信号をｙ回繰り返し出力する。その後、第二の発光露光期間では、発光信号をｍ回繰り返し出力し、第二の露光信号をｍ回繰り返し出力する。その後、無発光露光期間では、発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号をｍ回だけ繰り返し出力する。この一連のタイミングを１セットとし、これをＮ回セット繰り返し出力した後、蓄積された露光信号を出力する。
　ここで、第一の露光信号による露光量ｓ０の総和をＳ０、第二の露光信号による露光量ｓ１の総和をＳ１、背景光の露光量の総和をＢＧ、照射する直接光の発光信号幅をＴ０、光速（２９９，７９２，４５８ｍ／ｓ）をｃ、とすると、以下の式２の演算を行うことにより、距離Ｌを算出できる。
Figure JPOXMLDOC01-appb-M000002
　ここで、本実施の形態に係る測距撮像装置１は、発光信号がｙ×Ｎ回繰り返された場合の第一の露光信号による露光量の総和、及び、発光信号がｍ（ｙとは独立）×Ｎ回繰り返された場合の第二の露光信号による露光量の総和が、ともに信号蓄積の最大容量近傍になるようにｙ及びｍを選択する。これにより測距撮像装置１は、第一の露光信号による露光量の総和及び第二の露光信号による露光量の総和の双方の最大受光量を大きく設定できるので、高Ｓ／Ｎで高い測距精度を実現することが可能となる。
　図７は、実施の形態１に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図には、信号蓄積の容量が８００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が４００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が１００である場合の例を示している。ここで、第一の発光露光期間における発光信号の繰り返しを、上記１６回の１／４である４回に設定しているので、第一の発光露光期間における露光量は、４００の１／４である１００となる。これら一連のタイミングを８セット繰り返すことで第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和は、ともに信号蓄積の容量である８００となる。この場合、距離Ｌは、第一の発光露光期間における発光信号の繰り返し回数が、第二の発光露光期間における発光信号の繰り返し回数の１／４であるので、以下の式３の演算を行うことで算出できる。
Figure JPOXMLDOC01-appb-M000003
　（実施の形態１の第１の変形例）
　図８は、実施の形態１の第１の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。本変形例の場合も、距離Ｌは、上記式３の演算を行うことで算出できる。図７の例との違いは、第一の発光露光期間において、第一の露光信号の繰り返し回数（１６回）の１／４（４回）にしている発光信号の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。つまり、信号発生部３０は、第一の発光露光期間及び第二の発光露光期間のうち、繰り返し回数が少ない方の発光露光期間における発光信号及び露光信号を、繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する。
　この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。更に、第一の発光露光期間と第二の発光露光期間との時間差が短いので、動きの早い測距対象物体に対しても高精度な測距を実現できる。
　（実施の形態１の第２の変形例）
　図９は、実施の形態１の第２の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。図７の例との違いは、第一の発光露光期間において、発光信号だけでなく第一の露光信号の繰り返し回数も１／４（４回）にし、発光信号及び第一の露光信号の双方の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。本変形例の場合、第一の発光露光期間における発光信号の繰り返し回数が第二の発光露光期間における発光信号の繰り返し回数の１／４であり、さらに、背景光の露光量の総和が無発光露光期間の１／４となるので、距離Ｌは、以下の式４の演算を行うことで算出できる。
Figure JPOXMLDOC01-appb-M000004
　更に、第一の発光露光期間の時間が１／４と短くなるので、ＴＯＦ信号の出力フレームレートが向上し、動きの早い測距対象物体に対しても追従性の高い、高精度な測距を実現することが可能となる。
　（実施の形態１の第３の変形例）
　図１０は、実施の形態１の第３の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。図７の例との違いは、第一の発光露光期間において、発光信号だけでなく第一の露光信号の繰り返し回数も１／４（４回）にし、発光信号及び第一の露光信号の双方の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。更に本変形例の場合は、無発光露光期間の繰り返し回数も、第一の露光信号の繰り返し回数と同様に１／４（４回）にしていることである。本変形例の場合、第一の発光露光期間における発光信号の繰り返し回数が第二の発光露光期間における発光信号の繰り返し回数の１／４であり、さらに、第二の発光露光期間における背景光の露光量の総和が無発光露光期間の４倍となるので、距離Ｌは、以下の式５の演算を行うことで算出できる。
Figure JPOXMLDOC01-appb-M000005
　更に、第一の発光露光期間の時間だけでなく、無発光露光期間も１／４と短くなるので、ＴＯＦ信号の出力フレームレートが更に向上し、動きの早い測距対象物体に対しても追従性のより高くなり、更に露光信号生成に係る消費電力が削減できるので温度上昇を低減し、高精度な測距を実現することが可能となる。
　以上、実施の形態１及びその変形例に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。
　また、撮像部１０がＣＣＤ型の固体撮像素子を備えることにより、セルサイズに依存せず、高Ｓ／Ｎで高い測距精度を実現することができ、固体撮像素子を小型化できることで測距撮像装置の小型化を実現することが可能となる。
　（実施の形態２）
　以下、実施の形態２に係る測距撮像装置の構成及び動作について、実施の形態１との相違点を中心に説明する。
　図１１は、実施の形態２に係る測距撮像装置の概略構成を示す機能ブロック図である。同図に示すように、測距撮像装置２は、撮像部１０と、光源部２０と、信号発生部３０と、ＴＯＦ演算部４０と、制御部５０とを備える。
　信号発生部３０は、制御部５０の制御に従って発光信号と露光信号とを発生する。
　光源部２０は、信号発生部３０で発生する発光信号が示すタイミングに従って光の照射を行う。
　撮像部１０は、対象物体を含む領域に対して、信号発生部３０で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和からＲＡＷデータを得る。
　ＴＯＦ演算部４０は、撮像部１０から受けたＲＡＷデータと制御部５０から受けた補正信号とに基づいて得られるＴＯＦ信号を出力する。
　制御部５０は、撮像部１０から受けたＲＡＷデータの信号量を検出し、検出された信号量に基づいて、信号発生部３０で発生する発光信号及び露光信号の少なくとも一方の繰り返し回数を可変する制御を行い、また、当該繰り返し回数に基づく補正信号を出力する。
　具体的には、制御部５０は、発光信号に対して測定対象物からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間とは独立に、受光部から受けたＲＡＷデータの信号量に基づいて発光信号及び露光信号の少なくとも一方の繰り返し回数を可変する制御を行い、また、当該繰り返し回数に基づく補正信号を出力する。つまり、発光強度や測距対象物体の距離が刻々と変化する中でも、図３に示されたように、発光信号がｙ×Ｎ回繰り返された場合の第一の露光信号による露光量の総和、及び、発光信号がｍ（ｙとは独立）×Ｎ回繰り返された場合の第二の露光信号による露光量の総和が、ともに信号蓄積の最大容量近傍になるようにｙ及びｍの少なくとも１つをリアルタイムに可変する。
　言い換えれば、制御部５０は、第一の発光露光期間において露光を繰り返して得られた第一の露光量の総和Ｓ０、及び、第二の発光露光期間において露光を繰り返して得られた第二の露光量の総和Ｓ１のそれぞれが、撮像部１０の最大露光容量へと近づくように、第一の発光露光期間における繰り返し回数、及び、第二の発光露光期間における繰り返し回数のうち、少なくともいずれかを可変制御し、当該可変制御された繰り返し回数に基づいて、距離情報を補正するための補正信号をＴＯＦ演算部４０に出力する。
　これにより、第一の露光信号による露光量の総和及び第二の露光信号による露光量の総和の最大受光量が常に大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。
　（実施の形態２の第１の変形例）
　図１２は、実施の形態２の第１の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。同図より、信号発生部３０で発生する発光信号と露光信号とは、発光信号に対して測定対象物からの反射光を受光する相対位相タイミングが異なる第一の露光信号及び第二の露光信号の２つで構成される。第一の露光信号の出力期間には反射光の開始点が含まれ、第二の露光信号の出力期間には反射光の終了点が含まれる。さらに、発光信号に対する第一の露光信号の終点のタイミングは、発光信号に対する第二の露光信号の始点のタイミングと同一である。さらに具体的には、発光期間Ｔ０と第一の露光期間との相対位相タイミングを合致させ、発光期間の終了と第二の露光期間の開始の相対位相タイミングを合致させ、第二の露光期間長もＴ０に設定する。これにより、発光パルス１回分の総露光信号を等価的に第一の露光信号と第二の露光信号とに分割して露光することになる。また、信号発生部３０は、第一の発光露光期間において、複数回の発光信号と複数回の第一の露光信号を発生し、第二の発光露光期間において、複数回の発光信号と複数回の第二の露光信号を発生する。
　この場合、第一の露光信号と第二の露光信号との双方において、背景光によるノイズ成分も信号値に含まれるため、光源部２０による発光を停止しただけのＴ０期間の露光も時分割に実施され、ＢＧ信号も撮像部１０より得る。
　ＴＯＦ演算部４０では、背景光によるノイズ成分を減算して、真の総露光信号（Ｓ０－ＢＧ）＋（Ｓ１－ＢＧ）と、真の反射遅延信号（Ｓ１－ＢＧ）とから距離Ｌを算出する。
　ここで、発光パルスの回数のみを制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数の比が１：ｎであるとすると、距離Ｌは、以下の式６の演算を行うことで算出される。
Figure JPOXMLDOC01-appb-M000006
　また、発光パルスの回数及び露光回数の両方を制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎであるとすると、距離Ｌは、以下の式７の演算を行うことで算出される。
Figure JPOXMLDOC01-appb-M000007
　上述したように、総露光信号を第一の露光期間と第二の露光期間とに分割することにより、各露光期間の短縮を実現し、測距精度の向上及び背景光耐性を向上した測距撮像装置を実現することが可能となる。
　（実施の形態２の第２の変形例）
　図１３は、実施の形態２の第２の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。同図より、信号発生部３０で発生する発光信号と露光信号とは、発光信号に対して測定対象物からの反射光を受光する相対位相タイミングが異なる第一の露光信号及び第二の露光信号の２つで構成される。第一の露光信号の出力期間には反射光の開始点が含まれ、第二の露光信号の出力期間には反射光の終了点が含まれる。さらに、発光信号に対する第一の露光信号の終点のタイミングは、発光信号に対する第二の露光信号の始点のタイミングよりも時間的に前に存在する。さらに具体的には、発光期間Ｔ０と第一の露光期間の開始との相対位相タイミングを一致させ、発光期間の終了と第二の露光期間の開始との相対位相タイミングを合致させ、第一及び第二の露光期間長をＴ１（Ｔ０＞Ｔ１）に設定する。これにより、発光パルス１回分の中に無感度タイミングを設定し、その前後の期間を第一の露光信号と第二の露光信号とに分割して露光することになる。また、信号発生部３０は、第一の発光露光期間において、複数回の発光信号と複数回の第一の露光信号を発生し、第二の発光露光期間において、複数回の発光信号と複数回の第二の露光信号を発生する。
　この場合、第一の露光信号及び第二の露光信号の双方において背景光によるノイズ成分も信号値に含まれるため、光源部２０による発光を停止しただけのＴ１期間の露光も時分割に実施し、ＢＧ信号も撮像部１０より得る。
　ＴＯＦ演算部４０では、背景光によるノイズ成分を減算して、露光信号の総量（Ｓ０－ＢＧ）＋（Ｓ１－ＢＧ）と、真の反射遅延信号（Ｓ１－ＢＧ）から距離Ｌを算出する。
　この時発光パルスの回数のみを制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎあるとすると、距離Ｌは、上記式６の演算を行うことで算出される。
　ここで、発光パルスの回数及び露光回数の両方を制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎであるとすると、距離Ｌは、上記式７の演算を行うことで算出される。
　上述したように、総露光信号を第一の露光期間と第二の露光期間と無感度期間とに３分割することにより、各露光期間のさらなる短縮を実現し、さらなる背景光耐性を向上した測距撮像装置を実現することが可能となる。
　以上、実施の形態２及びその変形例に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。また、背景光に依存しない、高Ｓ／Ｎで高い測距精度を実現することが可能となる。
　また、撮像部１０がＣＣＤ型の固体撮像素子を備えることにより、セルサイズに依存せず、高Ｓ／Ｎで高い測距精度を実現することができ、固体撮像素子を小型化できることで測距撮像装置の小型化を実現することが可能となる。
　以上、本開示の測距撮像装置について、上記実施の形態に基づいて説明してきたが、本開示の測距撮像装置は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の測距撮像装置を内蔵した各種機器も本発明に含まれる。
　なお、本発明は、上述した特徴的な構成を備える測距撮像装置として実現することができるだけでなく、当該測距撮像装置の測距方法として実現することができる。
　つまり、本発明に係る測距撮像装置の測距方法は、光照射を行い、反射光を露光することにより距離を測定する測距撮像装置の測距方法であって、光照射を指示する発光信号の出力タイミングに対し、第一の遅延時間を経て反射光の露光を指示する露光信号を出力することにより露光を行う第一の発光露光期間において、当該露光に対応した第一の露光量を取得する第一露光量取得ステップと、発光信号の出力タイミングに対し、第一の遅延時間と異なる第二の遅延時間を経て露光信号を出力することにより露光を行う第二の発光露光期間において、当該露光に対応した第二の露光量を取得する第二露光量取得ステップと、第一の露光量と第二の露光量に基づいて、距離情報を演算して出力する距離演算ステップとを含む。ここで、第一露光量取得ステップ及び第二露光量取得ステップでは、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより、第一の露光量と前記第二の露光量とを取得する。
　これにより、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。
　なお、上記実施の形態では、測距撮像装置について説明したが、本開示の測距撮像装置の構成は、距離情報により距離を測定する測距撮像装置に留まらず、その他の物理量（例：形状、温度、放射線濃度など）を精度よく検知（測定）する物理量検知装置や、撮像したデータを精度良く描写させる撮像装置にも適用することが可能である。
　本発明に係る測距撮像装置は、周辺環境に依存することなく、測定対象物の高精度な３次元測定が実現できるため、例えば、人物、建物などの３次元測定に有用である。
　１，２　　測距撮像装置
　１０　　撮像部
　２０　　光源部
　３０　　信号発生部
　４０　　ＴＯＦ演算部（演算部）
　５０　　制御部
　１０１　　フォトダイオード
　１０２　　垂直転送部
　１０３　　水平転送部
　１０４　　信号電荷検出部

Claims (7)

  1. 　光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、
    　前記発光信号を受信することにより前記光照射を行う光源部と、
    　前記露光信号を受信することにより前記露光を行い、前記反射光の露光量を取得する撮像部と、
    　前記露光量に基づいて、距離情報を演算して出力する演算部とを備え、
    　前記撮像部は、前記発光信号の受信タイミングに対して第一の遅延時間を経て前記露光信号を受信し前記露光を行う第一の発光露光期間において、当該露光に対応した第一の前記露光量を取得し、前記発光信号の受信タイミングに対して前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を受信し前記露光を行う第二の発光露光期間において、当該露光に対応した第二の前記露光量を取得し、
    　前記演算部は、前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより取得された前記第一の露光量と前記第二の露光量とから、前記距離情報を演算する
    　測距撮像装置。
  2. 　さらに、
    　前記第一の発光露光期間において前記露光を繰り返して得られた前記第一の露光量の総和、及び、前記第二の発光露光期間において前記露光を繰り返して得られた前記第二の露光量の総和のそれぞれが、前記撮像部の最大露光容量へと近づくように、前記第一の発光露光期間における前記繰り返し回数、及び、前記第二の発光露光期間における前記繰り返し回数のうち、少なくともいずれかを可変制御し、当該可変制御された前記繰り返し回数に基づいて、前記距離情報を補正するための補正信号を前記演算部に出力する制御部を備え、
    　前記演算部は、前記補正信号に基づいて、前記距離情報を演算して出力する
    　請求項１に記載の測距撮像装置。
  3. 　前記信号発生部は、前記第一の発光露光期間及び前記第二の発光露光期間のうち、前記繰り返し回数が少ない方の発光露光期間における前記発光信号及び前記露光信号を、前記繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する
    　請求項１または２に記載の測距撮像装置。
  4. 　前記信号発生部は、前記第一の発光露光期間において第一の露光信号を発生し、前記第二の発光露光期間において前記発光信号に対する出力タイミングが前記第一の露光信号と異なる第二の露光信号を発生し、
    　前記第一の露光信号の出力期間には、前記反射光の開始点が含まれ、
    　前記第二の露光信号の出力期間には、前記反射光の終了点が含まれ、
    　前記第一の露光信号の終点タイミングは、前記第二の露光信号の始点タイミングと同一、または、前記第二の露光信号の始点タイミングよりも時間的に前にある
    　請求項１に記載の測距撮像装置。
  5. 　前記信号発生部は、前記第一の発光露光期間において、複数回の前記発光信号と複数回の前記第一の露光信号を発生し、前記第二の発光露光期間において、複数回の前記発光信号と複数回の前記第二の露光信号を発生する
    　請求項４に記載の測距撮像装置。
  6. 　前記撮像部は、ＣＣＤ型の固体撮像素子を備える
    　請求項１～５のいずれか１項に記載の測距撮像装置。
  7. 　光照射を行い、反射光を露光することにより距離を測定する測距撮像装置の測距方法であって、
    　光照射を指示する発光信号の出力タイミングに対し、第一の遅延時間を経て前記反射光の露光を指示する露光信号を出力することにより前記露光を行う第一の発光露光期間において、当該露光に対応した第一の露光量を取得する第一露光量取得ステップと、
    　前記発光信号の出力タイミングに対し、前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を出力することにより前記露光を行う第二の発光露光期間において、当該露光に対応した第二の露光量を取得する第二露光量取得ステップと、
    　前記第一の露光量と前記第二の露光量に基づいて、距離情報を演算して出力する距離演算ステップとを含み、
    　第一露光量取得ステップ及び前記第二露光量取得ステップでは、前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより、前記第一の露光量と前記第二の露光量とを取得する
    　測距撮像装置の測距方法。
PCT/JP2014/002714 2013-06-26 2014-05-23 測距撮像装置及びその測距方法 Ceased WO2014207992A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015523835A JP6435513B2 (ja) 2013-06-26 2014-05-23 測距撮像装置及びその測距方法、固体撮像素子
US14/965,901 US10073164B2 (en) 2013-06-26 2015-12-11 Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-134315 2013-06-26
JP2013134315 2013-06-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/965,901 Continuation US10073164B2 (en) 2013-06-26 2015-12-11 Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element

Publications (1)

Publication Number Publication Date
WO2014207992A1 true WO2014207992A1 (ja) 2014-12-31

Family

ID=52141368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002714 Ceased WO2014207992A1 (ja) 2013-06-26 2014-05-23 測距撮像装置及びその測距方法

Country Status (3)

Country Link
US (1) US10073164B2 (ja)
JP (1) JP6435513B2 (ja)
WO (1) WO2014207992A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
CN107040727A (zh) * 2017-05-11 2017-08-11 成都希格玛光电科技有限公司 摄像机曝光方法及装置
WO2018030318A1 (ja) * 2016-08-10 2018-02-15 パナソニックＩｐマネジメント株式会社 投光撮像装置および投光撮像方法
CN107850669A (zh) * 2015-07-31 2018-03-27 松下知识产权经营株式会社 测距摄像装置及固体摄像装置
JP2018077143A (ja) * 2016-11-10 2018-05-17 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
CN108139482A (zh) * 2015-10-09 2018-06-08 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
WO2018181250A1 (ja) * 2017-03-30 2018-10-04 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
EP3882656A1 (en) 2020-03-19 2021-09-22 Ricoh Company, Ltd. Image capture device, range finding device, and method
CN115219988A (zh) * 2021-04-19 2022-10-21 日立乐金光科技株式会社 测距装置及其控制方法
US12276760B2 (en) 2020-01-17 2025-04-15 Panasonic Intellectual Property Management Co., Ltd. Distance-measuring device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014207788A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 固体撮像素子及び測距撮像装置
JP6846708B2 (ja) * 2017-03-30 2021-03-24 パナソニックＩｐマネジメント株式会社 画像認識装置および距離画像生成方法
CN112513671B (zh) * 2018-08-02 2024-09-06 新唐科技日本株式会社 摄像装置、在该摄像装置中使用的固体摄像元件及摄像方法
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックＩｐマネジメント株式会社 距離測定装置
TWI830306B (zh) * 2022-07-27 2024-01-21 茂達電子股份有限公司 具有感測順序調變機制的光感測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148867A (ja) * 1999-11-19 2001-05-29 Asahi Optical Co Ltd ３次元画像検出装置
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP2012215480A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1040366B1 (de) * 1997-12-23 2003-10-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
JP3962546B2 (ja) * 2000-01-19 2007-08-22 フジノン株式会社 測距装置
DE102006029025A1 (de) * 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
JP6296401B2 (ja) * 2013-06-27 2018-03-20 パナソニックＩｐマネジメント株式会社 距離測定装置および固体撮像素子

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148867A (ja) * 1999-11-19 2001-05-29 Asahi Optical Co Ltd ３次元画像検出装置
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP2012215480A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
CN107850669A (zh) * 2015-07-31 2018-03-27 松下知识产权经营株式会社 测距摄像装置及固体摄像装置
US10545239B2 (en) 2015-07-31 2020-01-28 Panasonic Intellectual Property Management Co., Ltd. Distance-measuring imaging device and solid-state imaging device
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
EP3361283A4 (en) * 2015-10-09 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and solid-state image element used for same
CN108139482A (zh) * 2015-10-09 2018-06-08 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
US20180259647A1 (en) * 2015-11-16 2018-09-13 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
JPWO2018030318A1 (ja) * 2016-08-10 2019-06-13 パナソニックＩｐマネジメント株式会社 投光撮像装置および投光撮像方法
JP7054823B2 (ja) 2016-08-10 2022-04-15 パナソニックＩｐマネジメント株式会社 投光撮像装置および投光撮像方法
WO2018030318A1 (ja) * 2016-08-10 2018-02-15 パナソニックＩｐマネジメント株式会社 投光撮像装置および投光撮像方法
JP2018077143A (ja) * 2016-11-10 2018-05-17 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
WO2018181250A1 (ja) * 2017-03-30 2018-10-04 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
JPWO2018181250A1 (ja) * 2017-03-30 2020-02-06 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
CN107040727B (zh) * 2017-05-11 2020-09-04 成都希格玛光电科技有限公司 摄像机曝光方法及装置
CN107040727A (zh) * 2017-05-11 2017-08-11 成都希格玛光电科技有限公司 摄像机曝光方法及装置
US12276760B2 (en) 2020-01-17 2025-04-15 Panasonic Intellectual Property Management Co., Ltd. Distance-measuring device
EP3882656A1 (en) 2020-03-19 2021-09-22 Ricoh Company, Ltd. Image capture device, range finding device, and method
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
CN115219988A (zh) * 2021-04-19 2022-10-21 日立乐金光科技株式会社 测距装置及其控制方法

Also Published As

Publication number Publication date
US20160097841A1 (en) 2016-04-07
US10073164B2 (en) 2018-09-11
JP6435513B2 (ja) 2018-12-12
JPWO2014207992A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP6701199B2 (ja) 測距撮像装置
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
JP6741680B2 (ja) 撮像装置、およびそれに用いられる固体撮像素子
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
JP6241793B2 (ja) ３次元測定装置および３次元測定方法
CN105164550B (zh) 测距装置以及测距方法
JPWO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
KR20160092137A (ko) 티오에프 방식의 거리 측정 장치에서 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817417

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015523835

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14817417

Country of ref document: EP

Kind code of ref document: A1