[go: up one dir, main page]

WO2015190015A1 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
WO2015190015A1
WO2015190015A1 PCT/JP2015/000384 JP2015000384W WO2015190015A1 WO 2015190015 A1 WO2015190015 A1 WO 2015190015A1 JP 2015000384 W JP2015000384 W JP 2015000384W WO 2015190015 A1 WO2015190015 A1 WO 2015190015A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
signal
distance measuring
specific
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/000384
Other languages
English (en)
French (fr)
Inventor
翔馬 高橋
遥 高野
朋彦 金光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201580030264.4A priority Critical patent/CN106461763B/zh
Priority to JP2016527611A priority patent/JP6424338B2/ja
Publication of WO2015190015A1 publication Critical patent/WO2015190015A1/ja
Priority to US15/358,230 priority patent/US10281565B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Definitions

  • the present invention relates to a distance measuring device.
  • TOF time of flight
  • Patent Document 1 discloses whether a pulse from another TOF ranging system comes within a designated interference detection time in a state where a ranging sensor that causes interference is clarified in advance. The system which can judge interference and detect and avoid interference is determined.
  • a distance measuring device is a distance measuring device using a TOF (Time of Flight) method, and a light source unit that performs light irradiation according to a light emission signal and a light emission signal that instructs light irradiation on an object. And a first exposure signal for instructing exposure of reflected light from the object in synchronization with the light emission signal, and the reflected light from the object at a timing different from the first exposure signal in synchronization with the light emission signal.
  • TOF Time of Flight
  • a control unit for generating a second exposure signal for instructing exposure and a third exposure signal for instructing exposure of background light in the absence of reflected light; and a first exposure process in accordance with the first exposure signal;
  • a light receiving unit that performs a second exposure process according to the second exposure signal and a third exposure process according to the third exposure signal, and the first, second, and third exposure processes in the first, second, and third exposure processes.
  • a third exposure amount is calculated, and the first, second and third A calculation unit that obtains the distance to the object by the TOF method using the amount of light, and the control unit generates the first, second, and third exposure signals for each predetermined period, and the first, first, A specific exposure signal that is one of the second and third exposure signals is generated again, and the light receiving unit performs the first, second, and third exposure processes in a predetermined period, and the first, Of the second and third exposure processes, the specific exposure process corresponding to the specific exposure signal is performed again, and the computing unit calculates the exposure amount obtained by the first specific exposure process in the predetermined period and the second exposure process. Based on the difference from the exposure amount obtained by the specific exposure process, it is determined whether or not the light irradiation by another distance measuring device interferes with the light irradiation by the distance measuring device.
  • the specific exposure signal may be the first exposure signal
  • the specific exposure process may be the first exposure process
  • the specific exposure signal may be the second exposure signal
  • the specific exposure process may be the second exposure process
  • the specific exposure signal may be a third exposure signal
  • the specific exposure process may be a third exposure process
  • the light emission signal has a plurality of pulses, and the generation timing of the plurality of pulses in the first specific exposure process is different from the generation timing of the plurality of pulses in the second specific exposure process. There may be.
  • the difference between the first exposure amount and the second exposure amount when there is interference is easily generated, and interference detection can be facilitated.
  • the calculation unit performs the second specific exposure process. You may compare with the exposure amount obtained by.
  • the exposure amount that is too small and the exposure amount that is too large can be excluded from the comparison target, and the influence of shot noise can be avoided.
  • the light receiving unit is a solid-state imaging device having a plurality of pixels arranged two-dimensionally, and the arithmetic unit is configured to calculate the exposure amount obtained by the first specific exposure process and the second specific exposure. The difference may be calculated by comparing the exposure amount obtained by the processing for each corresponding pixel.
  • the possibility of interference can be determined for each pixel.
  • the calculation unit calculates the difference between the exposure amount obtained in the first specific exposure process and the exposure amount obtained in the second specific exposure process for each pixel, and the calculated difference is predetermined. It is determined whether the difference is greater than the value, the number of pixels determined to have a difference greater than the predetermined value is counted, and when the count value is greater than a predetermined number, You may validate the interference signal which shows that the light irradiation of this distance measuring device is interfering.
  • the calculation unit may validate the interference signal when the number of consecutive pixels determined to have a difference larger than a predetermined value is larger than a predetermined number.
  • the calculation unit may determine a predetermined number as a random number.
  • interference from an unknown TOF distance measuring system that has not been identified can be dynamically detected in the distance measuring apparatus using the TOF method.
  • FIG. 1 is a block diagram of a configuration example of the distance measuring apparatus according to the first embodiment.
  • FIG. 2 is a timing chart showing a light emission signal and an exposure signal in the pulse TOF method.
  • FIG. 3 is a diagram illustrating a light emission sine wave of the light source unit and reflected light reaching the light receiving unit.
  • FIG. 4 is a time chart in which light projection from another distance measuring system is mixed with the time chart of FIG.
  • FIG. 5 is a time chart in which light projection from another distance measuring system is mixed with the light emission sine wave and reflected wave of FIG. 3 showing the phase difference TOF operation.
  • FIG. 6 is a time chart showing timings of various exposure processes in the distance measuring apparatus of FIG.
  • FIG. 7 is a flowchart illustrating an operation example of interference detection.
  • FIG. 1 is a block diagram of a configuration example of the distance measuring apparatus according to the first embodiment.
  • FIG. 2 is a timing chart showing a light emission signal and an exposure signal in the pulse TOF method.
  • FIG. 8 is a diagram showing one set of exposure processing including acquisition of the exposure amount S0 twice in the present embodiment.
  • FIG. 9 is a diagram showing one set of exposure processing when interference from another occurs.
  • FIG. 10 is a diagram schematically illustrating the TOF calculation, the distance image, and the timing of the interference detection signal when there is no interference.
  • FIG. 11 is a diagram schematically illustrating the TOF calculation, the distance image, and the timing of the interference detection signal when there is interference.
  • FIG. 12 is a schematic diagram illustrating the timing of exposure and transfer of a captured image when two distance measuring devices continuously interfere with each other.
  • FIG. 13 is a schematic diagram showing the light emission and exposure timings when the light emission and exposure timings are modulated in the two distance measuring devices.
  • FIG. 14 is a diagram illustrating a pixel array of a solid-state imaging device which is a light receiving unit.
  • FIG. 15 is a conceptual diagram of light emission and reading with different conditions for even lines and odd lines.
  • Patent Document 1 detects interference from the presence or absence of a projection pulse from another pulse TOF ranging system other than the ranging section, and projects light from another TOF ranging system in the ranging section. Before the pulse interferes, the timing of the light projection pulse of a predetermined system is changed so that the influence of the interference does not occur.
  • Patent Document 1 has a problem in that it is identified and numbered in advance, and is compatible only with a system with the same start timing, and cannot be applied to an unsynchronized system. Yes.
  • This disclosure provides a ranging device that dynamically detects interference from an unknown TOF ranging system that has not been identified.
  • FIG. 1 is a block diagram illustrating a configuration example of a distance measuring device (ranging imaging device) according to the first embodiment.
  • the distance measuring device 10 includes a light source unit 1, a light receiving unit (solid-state imaging device) 2, a calculation unit (TOF calculation unit) 3, and a control unit 4.
  • FIG. 2 is a timing chart showing light emission signals and exposure signals in the TOF method.
  • first exposure a case where exposure is performed by a first exposure signal
  • second exposure a case where exposure is performed by a second exposure signal
  • the TOF method when measuring the object, the reflected light from the object is different between the first exposure signal and the second exposure signal with respect to the pulse of the light emission signal. Exposure is performed with two timing patterns, and the distance to the measurement object is calculated based on the ratio of the respective light amounts.
  • the first exposure is performed so as to include all of the reflected light from the measurement object by the pulse of the first exposure signal.
  • the second exposure is performed such that the exposure amount increases as the reflected light from the measurement object is delayed with respect to the light emission timing by the pulse of the second exposure signal.
  • the light emission signal is stopped and the third exposure is performed under the same conditions as the first and second exposure signals.
  • the exposure amount by the first exposure is S0
  • the exposure amount by the second exposure is S1
  • the exposure amount of the background light by the third exposure is BG
  • the pulse width of the direct light to be irradiated is T0
  • the light velocity (299, 792, 458 m / s) is c
  • the distance L to the measurement object is expressed by (Formula 1).
  • phase difference TOF method according to the present embodiment will be described with reference to FIG.
  • FIG. 3 is a diagram showing a light-emitting sine wave of the light source unit 1 and reflected light reaching the light-receiving unit 2.
  • the distance L to the measurement object is calculated from (Equation 2) from the phase difference ⁇ between the light-emitting sine wave in FIG.
  • the frequency of the sine wave is fm, that is, the period of the sine wave is 1 / fm.
  • FIG. 4 is a time chart in which light from another ranging system is mixed with the time chart of FIG.
  • the exposure amounts in the light receiving unit 2 mixed from another distance measuring system are A and B, respectively.
  • a received light signal for example, an IR (InfraRed) signal
  • the IR component interferes and an error occurs in the measurement distance.
  • Expression 3 is an arithmetic expression for obtaining the distance at that time. Since the exposure amounts A and B mixed from others ride on regardless of the ratio of the exposure amounts S0 and S1 to be measured, an error occurs in the measurement distance as a result.
  • FIG. 5 is a time chart in which light projection from another distance measuring system is mixed with the light emission sine wave and reflected wave of FIG. 3 showing the phase difference TOF operation.
  • the phase difference TOF operation as shown in FIG. 5, if there is an interference wave from another phase difference TOF distance measuring system, the reflected light (solid sine wave in the figure) becomes a composite wave and the original phase (see FIG. 5). A shift of ⁇ d occurs with respect to the broken dashed sine wave.
  • the arithmetic expression for obtaining the distance also has a problem that an error occurs as in (Expression 4).
  • the present disclosure provides a distance measuring apparatus that dynamically detects interference from an unknown TOF distance measuring system that has not been identified.
  • FIG. 6 is a time chart showing timings of various exposure processes in the distance measuring apparatus of FIG.
  • the light source unit 1 performs light irradiation according to a light emission signal from the control unit 4.
  • the control unit 4 generates a light emission signal for instructing light irradiation to the object and first to third exposure signals.
  • the first exposure signal instructs exposure of reflected light from the object in synchronization with the light emission signal.
  • the pulse of the first exposure signal becomes active at the same time as the pulse of the light emission signal becomes active, and the pulse of the light emission signal becomes inactive. It becomes inactive after a certain time. That is, the pulse of the first exposure signal becomes active simultaneously with the light emission signal and is longer than the pulse width of the light emission signal. This makes it possible to expose all of the reflected light from the object.
  • the second exposure signal instructs the exposure of the reflected light from the previous object in synchronization with the light emission signal and at a timing different from that of the first exposure signal.
  • the second exposure signal becomes active at the same time as the pulse of the light emission signal becomes inactive, and becomes inactive after a certain time.
  • the pulse of the second exposure signal is set so that the exposure amount increases as the reflected light from the object is delayed with respect to the light emission timing.
  • the third exposure signal instructs the exposure of the background light while there is no reflected light.
  • the light receiving unit 2 is, for example, a solid-state imaging device having a plurality of pixels arranged two-dimensionally, and a first exposure process P0 according to the first exposure signal and a second exposure process P1 according to the second exposure signal. And a third exposure process PBG according to the third exposure signal.
  • the calculation unit 3 calculates the first exposure amount S0, the second exposure amount S1, and the third exposure amount BG in the first exposure process P0, the second exposure process P1, and the third exposure process PBG. Then, the distance to the object is obtained by the TOF method using the first exposure amount S0, the second exposure amount S1, and the third exposure amount BG.
  • the first exposure amount S0, the second exposure amount S1, and the third exposure amount BG are values integrated by a plurality of exposure signals, respectively.
  • the first exposure process P0 is performed twice at different timings under the same conditions. That is, in FIG. 6, the first exposure process P0 is performed twice, ie, the first exposure process P01 for the first time and the first exposure process P02 for the second time.
  • the control unit 4 generates a third exposure signal from the first exposure signal and again outputs a specific exposure signal that is one of the third exposure signals from the first exposure signal in a predetermined period. appear.
  • FIG. 6 shows an example in which the specific exposure signal is the first exposure signal.
  • the light receiving unit 2 performs a third exposure process from the first exposure process to a specific exposure process corresponding to a specific exposure signal from the first exposure process to the third exposure process in a predetermined period. Try again.
  • FIG. 6 shows an example in which the specific exposure process is the first exposure process.
  • the calculation unit 3 calculates light from other distance measuring devices based on the difference between the exposure amount obtained by the first specific exposure process in the predetermined period and the exposure amount obtained by the second specific exposure process. It is determined whether the irradiation and the light irradiation by the distance measuring device interfere with each other.
  • the control unit 4 performs the light emission signal and the exposure signal as shown in FIG. 2 and FIG. 6B (referred to as first to third exposure signals according to the exposure process for convenience of explanation).
  • the light source unit 1 emits light when the light emission control signal is H.
  • the first exposure process is performed twice in a predetermined period (one set period). That is, by performing the first exposure process P01, the second exposure process P1, the first exposure process P02, and the third exposure process PBG in one set period, the exposure amount S01, the exposure amount S02, and the exposure amount BG Then, control is performed so as to obtain four signals of the exposure amount S1.
  • light emission and exposure are performed a plurality of times in each of the first exposure process P01, the second exposure process P1, and the first exposure process P02. .
  • the exposure is performed a plurality of times, but it may be performed at least once.
  • the exposure amount S01, the exposure amount S1, the exposure amount S02, and the exposure amount BG may be integrated values obtained by a plurality of exposures.
  • the light receiving unit 2 exposes the reflected light, which is the light reflected from the control object, only during the period when the exposure signal is L, and outputs the total exposure amount during the L period.
  • the light receiving unit 2 is, for example, a solid-state imaging device (area sensor) having a plurality of pixels arranged in a two-dimensional manner.
  • the reflected light is photoelectrically converted and an output of about 20000 ele per pixel is converted into 0 by 12-bit AD conversion. Converted to ⁇ 4095 and output as RAW data.
  • the TOF calculation unit 3 calculates the distance of each pixel from the RAW data using (Equation 5) and outputs a distance image and an interference detection signal.
  • FIG. 7 is a flowchart showing an operation example of interference detection.
  • the calculation unit 3 receives the RAW data from the light receiving unit 2 during a predetermined period (one set period), thereby performing the first exposure process P01, the second exposure process P1, the first exposure process P02, and the third exposure process P02.
  • the captured images obtained by the respective exposure processing PBGs are stored.
  • the captured image obtained by the first exposure process P01 represents the exposure amount S01 for each pixel.
  • the captured image obtained by the second exposure process P1 represents the exposure amount S1 for each pixel.
  • the captured image obtained by the first exposure process P02 represents the exposure amount S02 for each pixel.
  • the captured image obtained by the third exposure process PBG represents the exposure amount BG for each pixel.
  • These captured images are updated every predetermined period.
  • the computing unit 3 stores four captured images obtained in the previous set, and performs the process shown in FIG. 7 on the four captured images.
  • the calculation unit 3 selects four pixels corresponding to the four captured images (that is, at the same position) (S70). Note that the pixel indicating the exposure amount S1 may not be selected because it is not used in the interference detection operation. It is determined whether or not the difference between the exposure amount S01 and the exposure amount BG in the selected four pixels is smaller than a certain value (S71). If (exposure amount S01 ⁇ exposure amount BG) is equal to or smaller than a certain value (50 in this embodiment), a point where there is almost no reflection signal, that is, a point at infinity is compared. Since this comparison does not make sense, the next four corresponding pixels are selected (S76). The fixed value is 50 out of 4096 gradations and about 1.2% of the maximum gradation, but may be several%.
  • the exposure amount S0 is within a specified range (in this embodiment, the first threshold value 500- Whether it is within the second threshold value 2500) is confirmed (S72). If it is not within the designated range, the next four corresponding pixels are selected.
  • the first threshold value and the second threshold value may be about 10% and about 60% of the maximum gradation.
  • the jig noise refers to noise when the exposure amount is a small signal. Since the original signal amount is small, the jig noise includes relatively large noise caused by hardware.
  • the exposure amount S01 in the captured image obtained in the first exposure process P01 and the exposure amount S02 in the captured image obtained in the second exposure process P02 are compared to determine the shot noise. Considering the influence, if the difference is within 7%, it is determined that there is no interference, and if it is more than that, it is determined that there is a suspicion of interference (S73).
  • the interference detection count is counted up (S74), and when this value becomes a predetermined number (for example, 100) or more (S75: YES), in this set (also called a frame) It is determined that interference has occurred, and the interference detection signal is set to H (valid) (S78).
  • the arithmetic unit 3 completes the operation of interference detection after performing the above-described processing up to the final pixel (S77).
  • FIG. 8 shows one set of exposure processing including acquisition of the exposure dose S0 twice in the present embodiment. Since the timing conditions of the first exposure process P01 and the second exposure process P02 for obtaining the exposure amount S01 are the same, the exposure amounts S01 and S02 indicated by the corresponding pixels are substantially the same when there is no interference. It becomes.
  • FIG. 9 shows one set of exposure processing when interference from another occurs.
  • the distance measuring device A and the distance measuring device B are operating simultaneously as shown in FIG.
  • 60% of the reflected light of the first exposure process P01 of the distance measuring apparatus B affects the first exposure process P01 of the distance measuring apparatus A in FIG. Shall be given.
  • 40% of the reflected light of the second exposure process P1 of the distance measuring apparatus B and 50% of the first exposure process P02 affect the first exposure process P02 of the distance measuring apparatus A.
  • the exposure amount S01 in the first exposure process P01 and the exposure amount S02 in the first exposure process P02 in the distance measuring apparatus A are expressed by the following equations, for example.
  • AS01 indicates the exposure amount by light emission of the distance measuring device A in the first exposure process P01 of the distance measuring device A.
  • AS02 indicates the exposure amount by light emission of the distance measuring device A in the first exposure process P02 of the distance measuring device A.
  • BS01 indicates the exposure amount in the first exposure process P01 of the distance measuring apparatus A due to the light emission in the first exposure process P01 of the distance measuring apparatus B.
  • BS1 indicates an exposure amount in the first exposure process P02 of the distance measuring apparatus A due to light emission in the second exposure process P1 of the distance measuring apparatus B.
  • BS02 indicates the exposure amount in the first exposure process P02 of the distance measuring apparatus A due to the light emission in the first exposure process P02 of the distance measuring apparatus B.
  • the exposure amount acquired a plurality of times in one set period is not limited to the exposure amount S0, and may be the exposure amount S1 or the exposure amount BG.
  • FIG. 10 is a diagram schematically showing the timing of the TOF calculation, the distance image, and the interference detection signal when there is no interference.
  • FIG. 11 is a diagram schematically illustrating the TOF calculation, the distance image, and the timing of the interference detection signal when there is interference. The frames in FIGS. 10 and 11 correspond to one set period of FIG.
  • FIG. 10 shows a case where there is no interference, and the N + 1 frame TOF calculation is performed while the N frame distance image is displayed, and the distance image is output with a delay of one frame.
  • the interference detection signal is set to H (that is, valid) to notify that the interference is occurring.
  • the exposure amount S01 and the exposure amount S02 are acquired twice as the exposure amount S0 that is the largest in signal amount and is affected by shot noise, and the average ((S01 + S02) / 2 is obtained as the exposure amount S0. ) Is used to reduce the variation to half while performing interference detection.
  • FIG. 12 is a schematic diagram showing the timing of exposure and transfer of captured images when two distance measuring devices continuously interfere with each other. As shown in FIG. 12, when interference detection signals are output continuously, it is possible to delay the next light emission by twice the exposure period, assuming that interference that cannot be avoided has occurred. As a result, a plurality of distance measuring devices that operate at the same timing can emit light at a timing without interference.
  • the exposure time is delayed at the same time. It is possible to prevent an infinite loop where interference occurs again at that timing.
  • FIG. 13 is a schematic diagram showing the light emission and exposure timings when the light emission and exposure timings are modulated in the two distance measuring devices.
  • the light emission pulse and the readout pulse that is, the exposure pulse
  • modulation is performed at non-uniform intervals, for example, FIG.
  • the output difference from the distance measuring apparatus B entering the first exposure process P01 and the first exposure process P02 of the distance measuring apparatus A can be further increased.
  • the exposure amount S0 is acquired twice within a predetermined period (one set or one frame period) to obtain exposure amounts S01 and S02.
  • the exposure amount S1 is acquired twice.
  • the exposure amount S11 and the exposure amount S12 may be used, or the exposure amount BG may be set twice as BG1 and the exposure amount BG2, and the type of the signal is not limited.
  • the distance measuring device in the above description, when the distance of the measurement object is measured, the reflected light from the measurement object is converted into the first exposure signal and the second light with respect to the emission pulse.
  • the method of calculating the distance to the measurement object based on the ratio of the amount of light exposed with two patterns with different timings of the exposure signal, that is, the so-called pulse TOF method has been described.
  • the present invention is not limited to this, and other TOF methods are used. (As an example, a method of measuring a phase difference of reflected light, a so-called phase difference TOF or the like) can also be used.
  • Embodiment 2 has a feature in the exposure method of the light receiving unit (solid-state imaging device), and performs measurement by changing the light emission and exposure conditions for even lines and odd lines. Thereby, the dynamic range can be extended.
  • FIG. 14 is a diagram showing a pixel arrangement of a solid-state imaging device as a light receiving unit.
  • the solid-state imaging device includes a plurality of pixels that receive light. Further, imaging for distance measurement between even lines and odd lines is performed in a time-sharing manner with different exposure conditions, and obtained by imaging under two conditions. Perform pixel transfer. The measured values of the even line imaged under the condition with the first number of exposures and the odd line imaged with the condition of the second number of exposures less than each other are interpolated to obtain the first value at all pixels.
  • the exposure amounts S0, S1, and BG under the above conditions and the exposure amounts S0, S1, and BG under the second condition can be obtained.
  • FIG. 15 is a conceptual diagram of light emission and reading with different conditions for even lines and odd lines.
  • the exposure amount BG1 representing the background light obtained by the third exposure processing PBG1 for the even lines and the exposure amount BG2 representing the background light obtained by the third exposure processing PBG2 for the odd lines are equal in exposure time. Therefore, if there is no interference, the output is comparable. By integrating and comparing the two exposure amounts BG1 and BG2, it is possible to detect interference.
  • the exposure conditions BG1 and BG2 representing the background light are used while expanding the dynamic range by performing the measurement while changing the exposure condition for each line. Interference detection can be performed. Further, unlike the first embodiment, since the number of signal types can be reduced to three, the memory area required for holding can be saved to three, and the saturation per signal can be increased. .
  • the comparison of the exposure amounts BG1 and BG2 is not limited to integral comparison, and may be pixel-by-pixel comparison (for example, FIG. 7) or line-by-line comparison.
  • the signal to be compared is not limited to the exposure amounts BG1 and BG2, but may be a comparison of the exposure amounts S01 and S02. Even if the exposure amounts S11 and S12 are compared, the output per unit time is calculated from the exposure time. Then, interference may be detected by comparing them.
  • the distance measuring device can be used for distance measurement of an object, for example, distance measurement of a person, a building, or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

 未知のTOF測距システムからの干渉を動的に検出する測距装置を提供する。 測距装置(10)において、制御部(4)は、所定期間において、第1の露光信号~第3の露光信号を発生し、かつ、第1の露光信号~第3の露光信号のうちの1つである特定の露光信号を再度発生する。受光部(2)は、所定期間において、第1の露光処理~第3の露光処理を行い、かつ、第1の露光処理~第3の露光処理のうち特定の露光信号に対応する特定の露光処理を再度行い、演算部(3)は、所定期間における1回目の特定の露光処理で得られた露光量と、2回目の特定の露光処理で得られた露光量との差異に基づいて、他の測距装置による光照射と本測距装置による光照射とが干渉しているか否かを判断する。

Description

測距装置
 本発明は、測距装置に関する。
 光のパルスを送信し、物体で反射して戻ってきたパルスの受信までの飛行時間(TOF:time of flight)が距離に依存する事を利用して3次元測定を行う事ができる方式(以下、TOF方式)を用いて距離測定(以下、測距)を行う場合、測定範囲内に別のTOF測距システムがあると、投光パルスの干渉が発生し、それによる測距結果の誤差によって測距精度が低下するという課題がある。
 この干渉を動的に検出する方法として、特許文献1では、干渉を起こす測距センサが予め明らかになった状態で、指定した干渉検出時間内に別のTOF測距システムからのパルスが来るかどうかで干渉を判断し、干渉の検出および回避を行うことが出来るシステムを構成している。
特開2013-235390号公報
 本開示の一態様における測距装置は、TOF(Time of Flight)方式を用いた測距装置であって、発光信号に従って光照射を行う光源部と、対象物への光照射を指示する発光信号と、発光信号に同期して対象物からの反射光の露光を指示する第1の露光信号と、発光信号に同期してかつ第1の露光信号とは異なるタイミングで対象物からの反射光の露光を指示する第2の露光信号と、反射光が存在しない間の背景光の露光を指示する第3の露光信号とを発生する制御部と、第1の露光信号に従う第1の露光処理と、第2の露光信号に従う第2の露光処理と、第3の露光信号に従う第3の露光処理とを行う受光部と、第1、第2および第3の露光処理における第1、第2および第3の露光量を算出し、第1、第2および第3の露光量を用いてTOF方式により対象物までの距離を求める演算部とを備え、制御部は、所定期間毎に、第1、第2および第3の露光信号を発生し、かつ、第1、第2および第3の露光信号のうちの1つである特定の露光信号を再度発生し、受光部は、所定期間において、第1、第2および第3の露光処理を行い、かつ、第1、第2および第3の露光処理のうち特定の露光信号に対応する特定の露光処理を再度行い、演算部は、所定期間における1回目の特定の露光処理で得られた露光量と、2回目の特定の露光処理で得られた露光量との差異に基づいて、他の測距装置による光照射と本測距装置による光照射とが干渉しているか否かを判断する。
 これによれば、TOF方式を用いた測距装置において、識別されていない未知のTOF測距システムからの干渉を動的に検出することができる。
 ここで、特定の露光信号は第1の露光信号であり、特定の露光処理は第1の露光処理であってもよい。
 ここで、特定の露光信号は第2の露光信号であり、特定の露光処理は第2の露光処理であってもよい。
 ここで、特定の露光信号は第3の露光信号であり、特定の露光処理は第3の露光処理であってもよい。
 ここで、発光信号は複数のパルスを有し、1回目の特定の露光処理における複数のパルスの発生タイミングは、2回目の特定の露光処理における複数のパルスの発生タイミングと異なる不均一な間隔であってもよい。
 これによれば、干渉がある場合の1回目の露光量と2回目の露光量との差を生じやすくし、干渉検出を容易にすることができる。
 ここで、演算部は、1回目の特定の露光処理で得られた露光量が第1のしきい値以上でありかつ第2のしきい値以下である場合に、2回目の特定の露光処理で得られた露光量と比較してもよい。
 これによれば、小さすぎる露光量と大きすぎる露光量とを比較対象から除外し、ショットノイズの影響を避けることができる。
 ここで、受光部は、2次元状に配置された複数の画素を有する固体撮像素子であり、演算部は、1回目の特定の露光処理で得られた露光量と、2回目の特定の露光処理で得られた露光量とを、対応する画素毎に比較することにより、差異を算出してもよい。
 これによれば、画素毎に干渉の可能性を判定することができる。
 ここで、演算部は、1回目の特定の露光処理で得られた露光量と、2回目の特定の露光処理で得られた露光量との差分を画素毎に算出し、算出した差分が所定値より大きいか否かを判定し、差分が所定値より大きいと判定された画素の数をカウントし、カウント値が予め定められた数よりも多い場合に、他の測距装置の光照射と本測距装置の光照射とが干渉していることを示す干渉信号を有効にしてもよい。
 これによれば、干渉の可能性がある画素の数が予め定められた数より多い場合に、干渉があると判定するので、判定の精度を高めることができる。
 ここで、演算部は、差分が所定値より大きいと判定された画素の連続する数が予め定められた数よりも多い場合に、干渉信号を有効にしてもよい。
 これによれば、干渉の可能性がある画素の数が予め定められた数より多く、かつ、連続している場合に干渉があると判定するので、判定の精度を高めることができる。
 ここで、演算部は、予め定められた数を乱数として決定してもよい。
 これによれば、同じ型の他の測距装置が近くで動作している場合でも、干渉を容易に検出することができる。
 本開示における測距装置によれば、TOF方式を用いた測距装置において、識別されていない未知のTOF測距システムからの干渉を動的に検出することができる。
図1は、実施の形態1にかかる測距装置の構成例を示すブロック図である。 図2は、パルスTOF方式における発光信号及び露光信号を示すタイミングチャートである。 図3は、光源部の発光正弦波と、受光部に届いた反射光とを示す図である。 図4は、図2のタイムチャートに対して別の測距システムからの投光が混入したタイムチャートである。 図5は、位相差TOF動作を示す図3の発光正弦波および反射波に対して別の測距システムからの投光が混入したタイムチャートである。 図6は、図1の測距装置における各種露光処理のタイミングを示すタイムチャートである。 図7は、干渉検出の動作例を示すフローチャートである。 図8は、本実施の形態における2回の露光量S0の取得を含む1セットの露光処理を示す図である。 図9は、他からの干渉が発生している場合の1セットの露光処理を示す図である。 図10は、干渉がない場合の、TOF演算と距離画像、干渉検出信号のタイミングを模式的に示す図である。 図11は、干渉がある場合のTOF演算と距離画像、干渉検出信号のタイミングを模式的に示す図である。 図12は、2つの測距装置が連続して干渉する場合の露光および撮像画像の転送のタイミングを示す模式図である。 図13は、2つの測距装置において発光および露光のタイミングに変調をかけている場合の発光および露光のタイミングを示す模式図である。 図14は、受光部である固体撮像素子の画素配列を示す図である。 図15は、偶数ラインと奇数ラインとで条件を変えた発光と読出の概念図である。
 まず、従来技術における課題について述べる。
 特許文献1で開示された従来技術は、測距区間以外で別のパルスTOF測距システムからの投光パルスの有無から干渉検出を行い、測距区間で別のTOF測距システムからの投光パルスが干渉する前に、所定のシステムの投光パルスのタイミングを変更し、干渉の影響が出ないようにしている。
 しかし、特許文献1では、予め識別されナンバリングされており、スタートのタイミングを揃えたシステムのみに対応しており、同期の取れていないシステムに対しては対応することができないという課題を有している。
 本開示では、識別されていない未知のTOF測距システムからの干渉を動的に検出する測距装置を提供する。
 以下、本開示の実施の形態に係る測距装置(測距撮像装置)について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定するものではない。
 (実施の形態1)
 図1は、実施の形態1に係る測距装置(測距撮像装置)の構成例を示すブロック図である。
 測距装置10は、光源部1と受光部(固体撮像素子)2と演算部(TOF演算部)3と制御部4より構成される。
 はじめに、本実施形態の測距装置10の基本的なTOF動作原理について簡単に説明する。
 図2は、TOF方式における発光信号及び露光信号を示すタイミングチャートである。同図では、説明の便宜上、本来タイミングが異なる2つのケース、すなわち、第1の露光信号により露光するケース(第1の露光という)と、第2の露光信号により露光するケース(第2の露光という)とを併記している。TOF方式(いわゆる、パルスTOF方式)では、測定対象物の測距を行う場合、発光信号のパルスに対して、測定対象物からの反射光を第1の露光信号と第2の露光信号の異なるタイミングの2パターンで露光し、それぞれの光量の比に基づいて測定対象物までの距離を算出する。
 図2において、第1の露光信号のパルスによって、測定対象物からの反射光の全てを含むように第1の露光を行う。また、第2の露光信号のパルスによって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような第2の露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第1および第2の露光信号と同じ条件で第3の露光を行う。
 ここで、第1の露光による露光量をS0、第2の露光による露光量をS1、第3の露光による背景光の露光量をBG、照射する直接光のパルス幅をT0、光速(299,792,458m/s)をc、とすると、測定対象物までの距離Lは、(式1)で表わされる。
Figure JPOXMLDOC01-appb-M000001
 次に、図3を用いて、本実施の形態に係る位相差TOF方式について説明する。
 図3は、光源部1の発光正弦波と、受光部2に届いた反射光とを示す図である。位相差TOF方式では、同図における発光正弦波と、物体にあたって帰ってきた反射光との位相差Δφから、(式2)で測定対象物までの距離Lを算出する。ここで、正弦波の周波数をfm、つまり正弦波の周期を1/fmとする。
Figure JPOXMLDOC01-appb-M000002
 次に、本開示の理解を容易とするため、パルスTOF動作、及び位相差TOF動作と干渉との関係、つまり測定誤差が生じる原理について説明する。
 図4は、図2のタイムチャートに対して別の測距システムからの投光が混入したタイムチャートである。
 図4中、別の測距システムから混入した受光部2における露光量をA、Bとする。パルスTOF動作では、図4に示すように、測定範囲内に別のTOF測距システムからの投光が存在すると、受光信号(例えば、IR(InfraRed)信号)に別のTOF測距システムからのIR成分が干渉してしまい、測定距離に誤差が発生する問題がある。(式3)がその時の距離を求める演算式である。他から混入した露光量A、Bは、測定すべき露光量S0、S1の比とは無関係に乗ってしまうので、結果として測定距離に誤差が生じてしまう。
Figure JPOXMLDOC01-appb-M000003
 また、図5は、位相差TOF動作を示す図3の発光正弦波および反射波に対して別の測距システムからの投光が混入したタイムチャートである。位相差TOF動作では、図5に示すように、別の位相差TOF測距システムからの干渉波があると、反射光(図中の実線の正弦波)はその合成波となり本来の位相(図中の破線の正弦波)に対してΔφdのズレが発生してしまう。距離を求める演算式も(式4)のように誤差を生じる問題がある。
Figure JPOXMLDOC01-appb-M000004
 以上から、TOF方式の測距において、別のTOF測距システムからの干渉というのは、距離演算に誤差をもたらすという大きな問題となる。
 そこで、本開示は上記問題を解決するため、識別されていない未知のTOF測距システムからの干渉を動的に検出する測距装置を提供する。
 以下、実施の形態1における測距装置について図1および図6を用いて詳細に説明する。
 図6は、図1の測距装置における各種露光処理のタイミングを示すタイムチャートである。
 図1において、光源部1は、制御部4からの発光信号に従って光照射を行う。
 制御部4は、対象物への光照射を指示する発光信号と、第1~第3の露光信号とを発生する。
 第1の露光信号は、発光信号に同期して対象物からの反射光の露光を指示する。例えば図2および図6の(b)に示したように、第1の露光信号のパルスは、発光信号のパルスがアクティブになるのと同時にアクティブになり、発光信号のパルスがインアクティブになってから一定時間後にインアクティブになる。つまり、第1の露光信号のパルスは、発光信号と同時にアクティブになり、発光信号のパルス幅よりも長い。これにより、対象物からの反射光の全部を露光可能にしている。
 第2の露光信号は、発光信号に同期してかつ第1の露光信号とは異なるタイミングで前対象物からの反射光の露光を指示する。例えば、図2および図6の(c)に示したように、第2の露光信号は、発光信号のパルスがインアクティブになるのと同時にアクティブになり、一定時間後にインアクティブになる。これにより、第2の露光信号のパルスは、対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するように設定されている。
 第3の露光信号は、反射光が存在しない間の背景光の露光を指示する。
 受光部2は、例えば2次元状に配置された複数の画素を有する固体撮像素子であり、第1の露光信号に従う第1の露光処理P0と、第2の露光信号に従う第2の露光処理P1と、第3の露光信号に従う第3の露光処理PBGとを行う。
 演算部3は、第1の露光処理P0、第2の露光処理P1、および第3の露光処理PBGにおける第1の露光量S0、第2の露光量S1、および第3の露光量BGを算出し、第1の露光量S0、第2の露光量S1、および第3の露光量BGを用いてTOF方式により対象物までの距離を求める。第1の露光量S0、第2の露光量S1、および第3の露光量BGは、図6の例では、それぞれ複数回の露光信号により積算された値とする。また、図6の所定期間(図6の1セットの期間)では、第1の露光処理P0は、同じ条件で異なるタイミングで2回行われる。すなわち、図6では第1の露光処理P0は、1回目の第1の露光処理P01と2回目の第1の露光処理P02の2回行われる。
 制御部4は、所定期間において、第1の露光信号から第3の露光信号を発生し、かつ、第1の露光信号から第3の露光信号のうちの1つである特定の露光信号を再度発生する。図6では、特定の露光信号が第1の露光信号である例を示している。
 受光部2は、所定期間において、第1の露光処理から第3の露光処理を行い、かつ、第1の露光処理から第3の露光処理のうち特定の露光信号に対応する特定の露光処理を再度行う。図6では、特定の露光処理が第1の露光処理である例を示している。
 演算部3は、所定期間における1回目の特定の露光処理で得られた露光量と、2回目の特定の露光処理で得られた露光量との差異に基づいて、他の測距装置による光照射と本測距装置による光照射とが干渉しているか否かを判断する。
 より詳細を説明すると、制御部4は、図2および図6の(b)に示すような発光信号と露光信号(説明の便宜上、露光処理に応じて第1~第3の露光信号と呼ぶ)を出力し、光源部1は、発光制御信号がHの時に光を照射する。本実施の形態では図6の(a)に示すように、所定期間(1セットの期間)に第1の露光処理を2度行う。つまり、1セットの期間に第1の露光処理P01、第2の露光処理P1、第1の露光処理P02、第3の露光処理PBGを行うことによって、露光量S01、露光量S02、露光量BG、露光量S1の4信号を取得するよう制御を行う。
 なお、図6の(a)で第1の露光処理P01、第2の露光処理P1、第1の露光処理P02のそれぞれにおいて、発光および露光を複数回行っているが、少なくとも1回行えばよい。第3の露光処理PBGでも複数回の露光を行っているが、少なくとも1回行えばよい。また、各露光処理において複数回の露光を行っている場合の、露光量S01、露光量S1、露光量S02、露光量BGは複数回の露光による積算値でよい。
 また、受光部2は、光が対照物体に反射した光である反射光を露光信号がLの期間のみ露光を行い、そのL期間の露光量の総和を出力する。受光部2は、例えば、2次元状に配置された複数の画素を有する固体撮像素子(エリアセンサ)であり、反射光を光電変換し1画素当たり最大20000ele程度の出力を12bitのAD変換で0~4095に変換してRAWデータとして出力する。TOF演算部3は、RAWデータから(式5)によって各画素の距離を算出として距離画像と干渉検出信号を出力する。
Figure JPOXMLDOC01-appb-M000005
 次に、図7を用いて、1セット分の露光処理が完了後の干渉検出の動作例について説明する。
 図7は、干渉検出の動作例を示すフローチャートである。演算部3は、受光部2から所定期間(1セットの期間)にRAWデータを受信することにより、第1の露光処理P01、第2の露光処理P1、第1の露光処理P02、および第3の露光処理PBGのそれぞれによる撮像画像を記憶する。第1の露光処理P01による撮像画像は、画素毎の露光量S01を表す。同様に、第2の露光処理P1による撮像画像は、画素毎の露光量S1を表す。第1の露光処理P02による撮像画像は、画素毎の露光量S02を表す。第3の露光処理PBGによる撮像画像は、画素毎の露光量BGを表す。これらの撮像画像は所定の期間毎に更新される。演算部3は、1つ前のセットで得られた4つの撮像画像を記憶し、この4つの撮像画像に対して図7に示す処理を行う。
 演算部3は、4つの撮像画像の対応する(つまり、同じ位置の)4つの画素を選択する(S70)。なお、露光量S1を示す画素は干渉検出動作では使用しないので選択しなくてもよい。選択された4画素中の露光量S01と露光量BGとの差が一定の値より小さいかどうかを判定する(S71)。(露光量S01-露光量BG)がある一定の値以下(本実施の形態では50)であることは、反射信号がほぼない、つまり無限遠の点を比較していることになり、この画素の比較は意味を成さないので次の対応する4つの画素を選択する(S76)。なお、上記の一定の値は、4096階調のうちの50であって最大階調の約1.2%程度としているが、数%としてもよい。
 また、露光量があまりに小さい画素、大きすぎる画素を比較すると治具ノイズや、ショットノイズの影響を受けてしまうので、露光量S0が指定範囲(本実施の形態では第1のしきい値500~第2のしきい値2500)内であるか否かを確認し(S72)、指定範囲内でない場合は次の対応する4つの画素を選択する。ここで、第1のしきい値、第2のしきい値は、最大階調の約10%、約60%程度でよい。また、治具ノイズとは、露光量が小信号である時のノイズをいい、元々の信号量が小さいため相対的にハード起因のノイズを大きく含んでいる。
 指定範囲内である場合は、第1の露光処理P01で得られた撮像画像における露光量S01と、第2の露光処理P02で得られた撮像画像における露光量S02との比較を行いショットノイズの影響も考え、その差が7%以内であれば干渉なしと判断し、それ以上であれば干渉の疑いありとする(S73)。干渉の疑いが検出さたら、干渉検出カウントをカウントアップし(S74)、その値が予め定められた数(例えば100)以上になった時(S75:YES)、このセット(フレームとも呼ぶ)では干渉発生と判断して、干渉検出信号をH(有効)にする(S78)。
 また、演算部3は、上記の処理を最終画素まで行った後、干渉検出の動作を終了する(S77)。
 次に、干渉検出の動作についての詳細を説明する。
 図8は、本実施の形態における2回の露光量S0の取得を含む1セットの露光処理を示す。露光量S01を取得する第1の露光処理P01と第2の露光処理P02とはタイミング条件が同一であるため、干渉がない場合、対応する画素が示す露光量S01、S02はほぼ同程度の出力となる。
 これに対して、図9は、他からの干渉が発生している場合の1セットの露光処理を示す。図9のように測距装置Aと測距装置Bとが同時に動作しているものとする。ただし、干渉の仕方はケースバイケースであるが、同図では、測距装置Bの第1の露光処理P01の反射光の60%が、測距装置Aの第1の露光処理P01に影響を与えるものとする。また、測距装置Bの第2の露光処理P1の反射光の40%と、第1の露光処理P02の50%とが、測距装置Aの第1の露光処理P02に影響を与えるものとする。この場合、測距装置Aにおける第1の露光処理P01における露光量S01、第1の露光処理P02における露光量S02は、例えば、次式のようになる。
 S01=AS01+BS01×0.6
 S02=AS02+BS1×0.4+BS02×0.5
 ここで、AS01は、測距装置Aの第1の露光処理P01における測距装置Aの発光による露光量を示す。AS02は、測距装置Aの第1の露光処理P02における測距装置Aの発光による露光量を示す。BS01は、測距装置Bの第1の露光処理P01での発光による、測距装置Aの第1の露光処理P01における露光量を示す。BS1は、測距装置Bの第2の露光処理P1での発光による、測距装置Aの第1の露光処理P02における露光量を示す。BS02は、測距装置Bの第1の露光処理P02での発光による、測距装置Aの第1の露光処理P02における露光量を示す。
 上式のように、他の測距装置からの干渉がある場合には、同じ条件で測定した第1の露光処理P01および第1の露光処理P02による露光量S01と露光量S02に差が発生する。そのため、図7の干渉検出動作のように、露光量S01と露光量S02との差異を検出することによって、干渉の有無を検出することが可能となる。なお、1セットの期間において複数回取得する露光量は露光量S0に制限するものではなく露光量S1でも露光量BGでも良い。
 次に、TOF演算と距離画像、干渉検出のタイミングについて説明する。
 図10は、干渉がない場合の、TOF演算と距離画像、干渉検出信号のタイミングを模式的に示す図である。図11は、干渉がある場合のTOF演算と距離画像、干渉検出信号のタイミングを模式的に示す図である。図10、図11中のフレームは、図6の1セットの期間に相当する。
 図10は干渉がない場合で、Nフレーム目の距離画像を表示している間にN+1フレーム目のTOF演算を行い、1フレーム遅れで距離画像を出力している。図11において干渉がN+2フレームに発生した場合で、干渉が疑われるフレームが表示される間は干渉検出信号をH(つまり有効)にして、干渉が発生していることを伝える。
 以上のように、実施の形態1によれば、TOF方式の測距装置が複数存在している場合に、その干渉を動的に検出することが可能となる。
 また、本実施の形態では最も信号量が大きく、ショットノイズの影響を受ける露光量S0として露光量S01と露光量S02を2度取得した上で、露光量S0としてその平均((S01+S02)/2)を使用することで、干渉検出を行いながら、バラツキを半分に抑えている。
 また、図12は、2つの測距装置が連続して干渉する場合の露光および撮像画像の転送のタイミングを示す模式図である。図12のように、連続で干渉検出信号が出力された場合、回避できない干渉が発生しているとして、次の発光を露光期間の2倍だけ遅延させてもよい。これにより、同じタイミングで動作する複数の測距装置であれば、干渉のないタイミングで発光することが可能となる。
 また、この検出回数(図7のステップS75における予め定められた数)を固定ではなく乱数で決定することで、同じ制御を行う測距装置が複数ある場合に、お互いが同時に露光時間を遅延させ、そのタイミングで再度干渉が発生してしまう無限ループになってしまうことを防ぐ事が可能となる。
 また、この干渉検出を更に強調する手法として、発光および露光のタイミングに変調をかける(つまり、発光および露光のタイミングを一定間隔ではなく不均一な間隔にする)ことも出来る。
 図13は、2つの測距装置において発光および露光のタイミングに変調をかけている場合の発光および露光のタイミングを示す模式図である。同図のように、各信号の露光処理の期間において、発光パルスおよび読出パルス(つまり露光パルス)を均等に発生させるのではなく、不均一な間隔にする変調をかけることで、例えば、図13のように測距装置Aの第1の露光処理P01と第1の露光処理P02に入ってくる測距装置Bからの出力差をより大きく出来る可能性がある。
 なお、本実施の形態では、所定期間(1セットまたは1フレームの期間)内に露光量S0を2回取得して露光量S01、S02としているが、その代わりに、露光量S1を2回取得し露光量S11、露光量S12としてもよいし、露光量BGを2回BG1、露光量BG2としてもよく、その信号の種類を制限するものではない。
 また、本実施の形態に係る測距装置は、上述した説明では測定対象物の測距を行う場合、発光パルスに対して、測定対象物からの反射光を第1の露光信号と第2の露光信号の異なるタイミングの2パターンで露光した光量の比に基づいて測定対象物までの距離を算出する方式、いわゆるパルスTOF方式を用いて説明したが、それに限定されるものではなくその他のTOF方式(一例として、反射光の位相差を測定する方式、いわゆる位相差TOF等)を用いることもできる。
 (実施の形態2)
 以下、図面を参照しながら、実施の形態2に係る測距装置(測距撮像装置)の構成及び動作について、実施の形態1との相違点を中心に説明する。
 実施の形態2は、受光部(固体撮像素子)の露光方法に特徴があり、偶数ラインと奇数ラインで発光と露光の条件を変えて測定を行うものである。これにより、ダイナミックレンジを拡張することが可能となる。
 図14は受光部である固体撮像素子の画素配列を示す図である。
 固体撮像素子は、光を受光する複数の画素を備え、また、偶数ラインと奇数ラインでの距離測定のための撮像を露光条件変えて時分割で行い、2つの条件での撮像によって得られた画素の転送を行う。第一の露光回数が多い条件で撮像された偶数ラインと、第二の露光回数が少ない条件で撮像された奇数ラインの測定値は、それぞれを補間しあうことにより、全ての画素での第一の条件での露光量S0、S1、BGと、第二の条件による露光量S0、S1、BGを得ることができる。
 図15は、偶数ラインと奇数ラインとで条件を変えた発光と読出の概念図である。偶数ラインではより光量を稼ぐため、発光回数を多くして、奇数ラインでは光量を少なくするため読出回数はそのままに、露光回数を減らしている。ここで、偶数ラインの第3の露光処理PBG1で得られる背景光を表す露光量BG1と、奇数ラインの第3の露光処理PBG2で得られる背景光を表す露光量BG2とは、露光時間が等しいため、干渉が発生していなければ同程度の出力になる。この2つの露光量BG1と露光量BG2とを積分比較することによって、干渉の検出を行うことが可能となる。
 以上のように、実施の形態2によればライン毎に露光の条件を変えて測定を行うことで、ダイナミックレンジの拡張を行いつつ、背景光を表す露光量BG1、BG2を利用することで、干渉検出を行うことが可能となる。また、第1の実施形態と異なり、信号の種類を3種類に抑えられるため、保持に必要となるメモリ領域を3つに節約することができ、1信号あたりの飽和を増やすことが可能となる。
 なお、露光量BG1、BG2の比較は積分比較に制限するわけではなく、画素毎の比較(例えば図7)でもラインごとの比較でも良い。
 なお、比較を行う信号は露光量BG1、BG2に制限するものではなく、露光量S01、S02の比較でもよく、露光量S11、S12の比較であっても露光時間から単位時間あたりの出力を算出し、それを比較することで干渉を検出してもよい。
 本開示に係る測距装置は、対象物の測距、例えば、人物、建物などの測距に利用可能である。
1 光源部
2 受光部
3 演算部
4 制御部
10 測距装置

Claims (10)

  1.  TOF(Time of Flight)方式を用いた測距装置であって、
     対象物への光照射を指示する発光信号に従って光照射を行う光源部と、
     前記発光信号と、前記発光信号に同期して前記対象物からの反射光の露光を指示する第1の露光信号と、前記発光信号に同期しかつ前記第1の露光信号とは異なるタイミングで前記対象物からの反射光の露光を指示する第2の露光信号と、前記反射光が存在しない間の背景光の露光を指示する第3の露光信号とを発生する制御部と、
     前記第1の露光信号に従う第1の露光処理と、前記第2の露光信号に従う第2の露光処理と、前記第3の露光信号に従う第3の露光処理とを行う受光部と、
     前記第1、前記第2及び前記第3の露光処理における第1、第2及び第3の露光量を算出し、前記第1、前記第2及び前記第3の露光量を用いて前記TOF方式により前記対象物までの距離を求める演算部とを備え、
     前記制御部は、所定期間毎に、前記第1、前記第2及び前記第3の露光信号を発生し、かつ、前記第1、前記第2及び第3の露光信号のうちの1つである特定の露光信号を再度発生し、
     前記受光部は、前記所定期間において、前記第1、前記第2及び前記第3の露光処理を行い、かつ、前記第1、前記第2及び前記第3の露光処理のうち前記特定の露光信号に対応する特定の露光処理を再度行い、
     前記演算部は、前記所定期間における1回目の前記特定の露光処理で得られた露光量と、2回目の前記特定の露光処理で得られた露光量との差異に基づいて、他の測距装置による光照射と本測距装置による光照射とが干渉しているか否かを判断する、
     測距装置。
  2.  前記特定の露光信号は前記第1の露光信号であり、
     前記特定の露光処理は前記第1の露光処理である、
     請求項1に記載の測距装置。
  3.  前記特定の露光信号は前記第2の露光信号であり、
     前記特定の露光処理は前記第2の露光処理である、
     請求項1に記載の測距装置。
  4.  前記特定の露光信号は前記第3の露光信号であり、
     前記特定の露光処理は前記第3の露光処理である、
     請求項1に記載の測距装置。
  5.  前記発光信号は複数のパルスを有し、
     前記1回目の前記特定の露光処理における複数のパルスの発生タイミングは、前記2回目の前記特定の露光処理における複数のパルスの発生タイミングと異なる不均一な間隔である、
     請求項1~4のいずれか1項に記載の測距装置。
  6.  前記演算部は、前記1回目の前記特定の露光処理で得られた露光量が第1のしきい値以上でありかつ第2のしきい値以下である場合に、前記2回目の前記特定の露光処理で得られた露光量と比較する、
     請求項1~5のいずれか1項に記載の測距装置。
  7.  前記受光部は、2次元状に配置された複数の画素を有する固体撮像素子であり、
     前記演算部は、前記1回目の前記特定の露光処理で得られた露光量と、前記2回目の前記特定の露光処理で得られた露光量とを、対応する画素毎に比較することにより、前記差異を算出する、
     請求項1~6のいずれか1項に記載の測距装置。
  8.  前記演算部は、前記1回目の前記特定の露光処理で得られた露光量と、前記2回目の前記特定の露光処理で得られた露光量との差分を画素毎に算出し、算出した差分が所定値より大きいか否かを判定し、前記差分が所定値より大きいと判定された画素の数をカウントし、カウント値が予め定められた数よりも多い場合に、他の測距装置の光照射と本測距装置の光照射とが干渉していることを示す干渉信号を有効にする、
     請求項7に記載の測距装置。
  9.  前記演算部は、前記差分が所定値より大きいと判定された画素の連続する数が前記予め定められた数よりも多い場合に、前記干渉信号を有効にする、
     請求項8に記載の測距装置。
  10.  前記演算部は、前記予め定められた数を乱数として決定する、
     請求項8または9に記載の測距装置。
PCT/JP2015/000384 2014-06-09 2015-01-29 測距装置 Ceased WO2015190015A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580030264.4A CN106461763B (zh) 2014-06-09 2015-01-29 测距装置以及该测距装置中使用的固体摄像元件
JP2016527611A JP6424338B2 (ja) 2014-06-09 2015-01-29 測距装置
US15/358,230 US10281565B2 (en) 2014-06-09 2016-11-22 Distance measuring device and solid-state image sensor used therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014119128 2014-06-09
JP2014-119128 2014-06-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/358,230 Continuation US10281565B2 (en) 2014-06-09 2016-11-22 Distance measuring device and solid-state image sensor used therein

Publications (1)

Publication Number Publication Date
WO2015190015A1 true WO2015190015A1 (ja) 2015-12-17

Family

ID=54833135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000384 Ceased WO2015190015A1 (ja) 2014-06-09 2015-01-29 測距装置

Country Status (4)

Country Link
US (1) US10281565B2 (ja)
JP (1) JP6424338B2 (ja)
CN (1) CN106461763B (ja)
WO (1) WO2015190015A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN109073754A (zh) * 2016-04-19 2018-12-21 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
TWI719630B (zh) * 2018-10-09 2021-02-21 美商豪威科技股份有限公司 藉由使用基於電容之比較器之閥值檢測的光子感測
JP2022024252A (ja) * 2020-07-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
US11782155B2 (en) 2019-10-04 2023-10-10 Hitachi-Lg Data Storage, Inc. Distance measurement device and distance measurement system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10451713B2 (en) 2016-09-16 2019-10-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
CN109398731B (zh) 2017-08-18 2020-09-08 深圳市道通智能航空技术有限公司 一种提升3d图像深度信息的方法、装置及无人机
EP3514574A1 (en) * 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
CN112470458B (zh) * 2018-07-23 2023-02-28 新唐科技日本株式会社 距离测定装置及可靠性判定方法
CN112601979B (zh) * 2018-09-03 2024-07-23 松下知识产权经营株式会社 距离测定装置
JP7356440B2 (ja) * 2018-09-11 2023-10-04 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置、及び固体撮像素子
JP7154924B2 (ja) * 2018-10-03 2022-10-18 株式会社日立エルジーデータストレージ 測距撮像装置
CN112470035B (zh) 2018-12-06 2024-09-24 松下知识产权经营株式会社 距离信息取得装置、距离信息取得方法及程序
JP2022020871A (ja) * 2018-12-06 2022-02-02 パナソニックIpマネジメント株式会社 物体認識装置、物体認識方法、およびプログラム
JP6912449B2 (ja) * 2018-12-19 2021-08-04 ファナック株式会社 測距装置を有する物体監視システム
JP2020122774A (ja) * 2019-01-29 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020158378A1 (ja) 2019-01-29 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020166572A1 (ja) * 2019-02-15 2020-08-20 パナソニックセミコンダクターソリューションズ株式会社 撮像装置及び距離情報算出方法
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
CN110456370B (zh) * 2019-07-30 2021-11-05 炬佑智能科技(苏州)有限公司 飞行时间传感系统及其测距方法
CN114545358A (zh) * 2020-11-26 2022-05-27 新唐科技日本株式会社 多路径检测装置及多路径检测方法
JP7431193B2 (ja) * 2021-04-19 2024-02-14 株式会社日立エルジーデータストレージ 測距装置及びその制御方法
CN115480258B (zh) * 2021-05-31 2024-11-05 宁波飞芯电子科技有限公司 一种探测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815415A (ja) * 1994-06-28 1996-01-19 Mitsubishi Electric Corp 距離測定装置
JP2005241743A (ja) * 2004-02-24 2005-09-08 Daiichikosho Co Ltd 歌唱録音作品寄託システムを備えたカラオケ装置
WO2006118286A1 (ja) * 2005-05-02 2006-11-09 Matsushita Electric Works, Ltd. 空間情報検出装置および同装置を用いた空間情報検出システム
US20130208257A1 (en) * 2012-02-14 2013-08-15 Intersil Americas Inc. Optical proximity sensors using echo cancellation techniques to detect one or more objects
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法,プログラム
JP4855749B2 (ja) * 2005-09-30 2012-01-18 株式会社トプコン 距離測定装置
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
JP2008241695A (ja) * 2007-02-27 2008-10-09 Fujifilm Corp 測距装置及び測距方法
JP5180501B2 (ja) * 2007-03-23 2013-04-10 富士フイルム株式会社 測距装置及び測距方法
JP4895304B2 (ja) * 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及/或能提高移動偵測效率的時差測距系統及其方法
JP2013175951A (ja) * 2012-02-27 2013-09-05 Honda Motor Co Ltd 画素駆動装置及び画素駆動方法
JP5970230B2 (ja) * 2012-05-08 2016-08-17 アツミ電氣株式会社 測距型防犯センサ
GB2504291A (en) * 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815415A (ja) * 1994-06-28 1996-01-19 Mitsubishi Electric Corp 距離測定装置
JP2005241743A (ja) * 2004-02-24 2005-09-08 Daiichikosho Co Ltd 歌唱録音作品寄託システムを備えたカラオケ装置
WO2006118286A1 (ja) * 2005-05-02 2006-11-09 Matsushita Electric Works, Ltd. 空間情報検出装置および同装置を用いた空間情報検出システム
US20130208257A1 (en) * 2012-02-14 2013-08-15 Intersil Americas Inc. Optical proximity sensors using echo cancellation techniques to detect one or more objects
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
CN108474849A (zh) * 2016-02-17 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN109073754A (zh) * 2016-04-19 2018-12-21 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JPWO2020027221A1 (ja) * 2018-08-02 2021-08-02 ヌヴォトンテクノロジージャパン株式会社 撮像装置、それに用いられる固体撮像素子及び撮像方法
US11184567B2 (en) 2018-08-02 2021-11-23 Nuvoton Technology Corporation Japan Imaging device and solid-state imaging element and imaging method used therein
JP7426339B2 (ja) 2018-08-02 2024-02-01 ヌヴォトンテクノロジージャパン株式会社 撮像装置、それに用いられる固体撮像素子及び撮像方法
TWI719630B (zh) * 2018-10-09 2021-02-21 美商豪威科技股份有限公司 藉由使用基於電容之比較器之閥值檢測的光子感測
US11782155B2 (en) 2019-10-04 2023-10-10 Hitachi-Lg Data Storage, Inc. Distance measurement device and distance measurement system
JP2022024252A (ja) * 2020-07-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20170074976A1 (en) 2017-03-16
US10281565B2 (en) 2019-05-07
CN106461763B (zh) 2019-04-30
JP6424338B2 (ja) 2018-11-21
JPWO2015190015A1 (ja) 2017-04-20
CN106461763A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
WO2015190015A1 (ja) 測距装置
JP4895304B2 (ja) 測距方法および装置
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
KR102869766B1 (ko) ToF(time-of-flight) 깊이 측정 방법 및 이를 수행하는 ToF 카메라
JP6698655B2 (ja) 測距装置
US20180149750A1 (en) Distance-measuring imaging device and solid-state imaging device
JP6296401B2 (ja) 距離測定装置および固体撮像素子
US10509126B2 (en) Method for driving a time-of-flight system
JP6241793B2 (ja) 3次元測定装置および3次元測定方法
US20180120423A1 (en) Distance measuring device and distance image synthesizing method
US10928518B2 (en) Range image generation apparatus and range image generation method
JP6304567B2 (ja) 測距装置及び測距方法
CN105182357B (zh) 具有位置传感器系统的飞行时间相机
US20160232684A1 (en) Motion compensation method and apparatus for depth images
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
JP6328966B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
JP2016008875A (ja) 距離測定装置
CN106125086A (zh) 用于使用单次曝光的渡越时间测量的系统和方法
JP5669071B2 (ja) 時間相関カメラ
JP2017201760A (ja) 撮像装置および測距装置
JP7198507B2 (ja) 距離画像測定装置及び距離画像測定方法
US20130176550A1 (en) Image sensor, image sensing method, and image photographing apparatus including the image sensor
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15805761

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016527611

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15805761

Country of ref document: EP

Kind code of ref document: A1