[go: up one dir, main page]

WO2025069699A1 - 光検出システム、および、光検出システムの制御方法 - Google Patents

光検出システム、および、光検出システムの制御方法 Download PDF

Info

Publication number
WO2025069699A1
WO2025069699A1 PCT/JP2024/027285 JP2024027285W WO2025069699A1 WO 2025069699 A1 WO2025069699 A1 WO 2025069699A1 JP 2024027285 W JP2024027285 W JP 2024027285W WO 2025069699 A1 WO2025069699 A1 WO 2025069699A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
event
period
detection
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/027285
Other languages
English (en)
French (fr)
Inventor
インディカ ボーゴダ
翔汰 穂積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025069699A1 publication Critical patent/WO2025069699A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This technology relates to a light detection system. More specifically, it relates to a light detection system that detects when a change in luminance exceeds a threshold, and a method for controlling the light detection system.
  • sensors that detect changes in luminance that exceed a threshold as an address event have been used in various fields such as transportation and entertainment.
  • Such sensors are called EVS (Event-based Vision Sensors) or DVS (Dynamic Vision Sensors).
  • EVS Event-based Vision Sensors
  • DVS Dynamic Vision Sensors
  • an eye tracking system has been proposed in which multiple light sources project a certain light pattern onto the pupil as glint, and an event camera equipped with an EVS detects address events as glints (see, for example, Patent Document 1).
  • the above-mentioned conventional technology attempts to track the gaze direction by detecting glint.
  • the event camera cannot detect glint when the eyeball is not moving, resulting in a problem of reduced glint detection accuracy.
  • This technology was developed in light of these circumstances, and aims to improve the detection accuracy in systems that detect address events.
  • This technology has been made to solve the problems mentioned above, and its first aspect is a light detection system and control method comprising a light detection device in which a predetermined number of pixels are arranged, which detects, as an address event, in synchronization with a predetermined vertical synchronization signal, that the absolute value of the amount of change in luminance of incident light, including reflected light, relative to the light emitted from the light-emitting unit exceeds a predetermined threshold, and a light emission control unit which controls the luminance of the emitted light in synchronization with an external synchronization signal synchronized with the vertical synchronization signal, and this has the effect of improving the accuracy of glint detection.
  • the threshold value may include an upper threshold value and a lower threshold value
  • the address event may include an ON event indicating that the amount of change has exceeded the upper threshold value and an OFF event indicating that the amount of change has fallen below the lower threshold value.
  • a predetermined detection period may be set each time a period of the vertical synchronization signal elapses, and the pixel may detect the on-event or the off-event within the detection period. This provides the effect of detecting an on-event or an off-event within the detection period.
  • an on-event detection period and an off-event detection period may be set each time a period of the vertical synchronization signal elapses, and the pixel may detect the on-event within the on-event detection period and detect the off-event within the off-event detection period. This provides the effect of detecting on-events and off-events in a time-division manner.
  • the light emission control unit may control the state of the light emitting unit to one of on and off within a predetermined pulse period, and control the state of the light emitting unit to the other of on and off outside the pulse period. This provides the effect of causing the light emitting unit to flash.
  • the pulse period may include the on-event detection period
  • the light emission control unit may turn on the light-emitting unit during the pulse period and turn off the light-emitting unit outside the pulse period
  • the light detection device may detect, as a double event, that both the on-event and the off-event have been detected within the cycle. This provides the effect of further improving the accuracy of glint detection.
  • the on event detection period includes a first on event detection period and a second on event detection period
  • the off event detection period includes a first off event detection period and a second off event detection period
  • the first on event detection period and the first off event detection period and the second on event detection period and the second off event detection period are set alternately every time a period of the vertical synchronization signal elapses
  • the pulse period may include one of the first on event detection period and the first off event detection period.
  • the pulse period may include only the first off event detection period out of the first on event detection period and the first off event detection period, and the light emission control unit may turn off the light emitting unit during the pulse period and turn on the light emitting unit outside the pulse period.
  • the pulse period may include only the first on-event detection period out of the first on-event detection period and the first off-event detection period, and the light emission control unit may turn on the light-emitting unit during the pulse period and turn off the light-emitting unit outside the pulse period. This provides the effect of reducing power consumption.
  • the light-emitting unit may include first and second light-emitting diodes
  • the light-emitting control unit may transmit different pulse signals to the first and second light-emitting diodes
  • the light detection device may detect an address event corresponding to the first light-emitting diode and an address event corresponding to the second light-emitting diode separately. This provides the effect of removing noise.
  • the light emission control unit may blink the light emitting unit within a predetermined modulation period and continuously light the light emitting unit outside the modulation period. This provides the effect of causing the light emitting unit to blink or light continuously.
  • a signal processing circuit may be further provided that processes data indicating the detection result of the address event and causes the light detection device and the light emission control unit to operate in synchronization. This provides the effect of causing the light detection device and the light emission control unit to operate in synchronization.
  • the light detection device may operate the light emission control unit in synchronization with the light detection device. This provides the effect that the light detection device and the light emission control unit operate in synchronization.
  • the light emission control unit may operate the light detection device in synchronization with the light emission control unit. This provides the effect of the light detection device and the light emission control unit operating in synchronization.
  • the second aspect of this technology is a light detection system including a light detection device in which a plurality of pixels are arranged to detect, as an address event, that the absolute value of the amount of change in the luminance of incident light exceeds a predetermined threshold, and a light emission control unit that alternately controls the luminance of the irradiated light to a predetermined value within a pulse period having a length between the delay time from a predetermined timing until the pixels are initialized and the delay time from the above timing until the absolute value of the amount of change exceeds the threshold, and controls the luminance of the irradiated light to a value different from the predetermined value outside the above pulse period.
  • This has the effect of improving the accuracy of glint detection when using the arbiter method.
  • FIG. 1 is a block diagram showing a configuration example of a light detection system according to a first embodiment of the present technology
  • 1 is a block diagram showing a configuration example of an EVS camera according to a first embodiment of the present technology
  • 1 is a block diagram showing a configuration example of a pixel according to a first embodiment of the present technology
  • 2 is a circuit diagram showing a configuration example of a logarithmic response unit, a buffer, a difference detector, and a comparator according to the first embodiment of the present technology.
  • FIG. 4 is a timing chart showing an example of an operation of the light detection system according to the first embodiment of the present technology.
  • 11 is a timing chart showing an example of an operation of the light detection system when a waveform of a pulse signal is inverted according to the first embodiment of the present technology.
  • 4 is a timing chart showing an example of a waveform of a pulse signal according to the first embodiment of the present technology.
  • 10 is a timing chart showing an example of an operation of a light detection system in a comparative example.
  • FIG. 1 is a block diagram showing a configuration example of a light detection system according to a first modified example of a first embodiment of the present technology
  • 1 is a block diagram showing a configuration example of a light detection system according to a second modified example of the first embodiment of the present technology
  • 13 is a circuit diagram showing a configuration example of a logarithmic response unit, a buffer, a differential detector, and a comparator according to a second embodiment of the present technology.
  • FIG. 13 is a timing chart showing an example of an operation of the light detection system according to the second embodiment of the present technology.
  • FIG. 11 is a diagram showing an example of EVS data according to the second embodiment of the present technology.
  • FIG. 13 is a timing chart showing an example of an operation of a light detection system according to a modified example of the second embodiment of the present technology.
  • 13 is a timing chart showing an example of an operation of the light detection system according to the third embodiment of the present technology.
  • FIG. 13 is a circuit diagram showing a configuration example of a signal processing unit in an EVS camera according to a third embodiment of the present technology.
  • 13A and 13B are diagrams illustrating an example of EVS data when a pseudo eyeball in a comparative example is stationary and when it is moving.
  • 13A to 13C are diagrams illustrating an example of EVS data when a pseudo eyeball according to a second embodiment of the present technology is stationary and when it is moving.
  • FIG. 13A to 13C are diagrams illustrating an example of EVS data when a pseudo eyeball according to a third embodiment of the present technology is stationary and when it is moving.
  • 13A to 13C are diagrams illustrating an example of EVS data showing different glint patterns when the pseudo eyeball is stationary and when it is moving in the third embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a light detection system according to a fourth embodiment of the present technology. 13 is a timing chart showing an example of an operation of a light detection system according to a fourth embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a light detection system according to a fifth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the fifth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the fifth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the fifth embodiment of the present technology.
  • FIG. 23 is a block diagram showing a configuration example of a light detection system according to a sixth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the sixth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the sixth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the sixth embodiment of the present technology.
  • FIG. 23 is a block diagram showing another example of a light detection system according to the sixth embodiment of the present technology.
  • 23 is a timing chart showing an example of an operation of a light detection system according to the seventh embodiment of the present technology.
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit.
  • First embodiment (example of controlling the luminance of irradiated light in synchronization with a synchronization signal) 2.
  • Second embodiment (example of controlling the luminance of irradiated light in synchronization with a synchronization signal and detecting address events in a time-division manner) 3.
  • Third embodiment (example of controlling the luminance of irradiated light in synchronization with a synchronization signal and detecting Bose events) 4.
  • Fourth embodiment (example of controlling the luminance of irradiated light in synchronization with a synchronization signal and associating identification information with a detection signal) 5.
  • First embodiment is a block diagram showing an example of a configuration of a light detection system 100 according to a first embodiment of the present technology.
  • the light detection system 100 is a system used for eye tracking or the like, and includes a signal processing circuit 110, an LED (Light-Emitting Diode) driver 120, a light emitting unit 130, and an EVS camera 200.
  • a signal processing circuit 110 includes a signal processing circuit 110, an LED (Light-Emitting Diode) driver 120, a light emitting unit 130, and an EVS camera 200.
  • LED Light-Emitting Diode
  • the signal processing circuit 110 performs a predetermined signal processing on the EVS data from the EVS camera 200.
  • the EVS data includes the glint detection results, and the signal processing circuit 110 performs processing to detect the gaze direction and the open/closed state of the pupils based on the detection results.
  • an integrated circuit such as an FPGA (Field-Programmable Gate Array) is used as the signal processing circuit 110.
  • the signal processing circuit 110 also transmits an external synchronization signal ESYNC to the LED driver 120 via signal line 118, and transmits a vertical synchronization signal VSYNC to the EVS camera 200 via signal line 119.
  • the external synchronization signal ESYNC is a signal synchronized with the vertical synchronization signal VSYNC, and these synchronization signals allow the signal processing circuit 110, as a master device, to operate the LED driver 120 and the EVS camera 200 in synchronization.
  • the light-emitting unit 130 emits a certain pattern of light onto the human eye, etc.
  • IR Infra-Red
  • a certain number of LEDs are arranged inside the light-emitting unit 130. The light pattern emitted by these LEDs corresponds to the aforementioned "glint.”
  • the LED driver 120 controls the brightness of the light (such as IR light) emitted from the light-emitting unit 130 in synchronization with the external synchronization signal ESYNC.
  • the LED driver 120 generates a pulse signal PLS synchronized with the external synchronization signal ESYNC and supplies it to the light-emitting unit 130 via a signal line 129.
  • This pulse signal PLS is used in common by all the LEDs in the light-emitting unit 130. For example, each of the LEDs turns on when the pulse signal PLS is at a high level and turns off when it is at a low level. As will be described later, the LED driver 120 can also turn on the LEDs at a lower illuminance than during the high level period without turning them off during the low level period.
  • the LED driver 120 is also an example of a light-emitting control unit as described in the claims.
  • the EVS camera 200 detects address events.
  • a number of pixels are arranged in the EVS camera 200. These pixels receive incident light, including reflected light from the light emitted from the light-emitting unit 130 and other ambient light.
  • the EVS camera 200 may use a visible light cut filter or a filter that cuts out light other than that from the light-emitting unit 130.
  • Each pixel detects, in synchronization with the vertical synchronization signal VSYNC, an address event when the absolute value of the change in luminance of the incident light exceeds a threshold.
  • This address event includes an on event, which indicates that the change in luminance has exceeded an upper threshold, and an off event, which indicates that the change in luminance has fallen below a lower threshold. On events and off events are also called positive events and negative events.
  • the EVS camera 200 detects glints based on the detection results of address events, and generates data that arranges the glint detection results for each pixel as EVS data.
  • the EVS data is supplied to the signal processing circuit 110 via the signal line 209.
  • the EVS camera 200 is an example of a light detection device described in the claims.
  • FIG. 2 is a block diagram showing an example of a configuration of an EVS camera 200 according to the first embodiment of the present technology.
  • the EVS camera 200 includes a drive unit 210, a signal processing unit 220, a pixel array unit 230, a signal generation unit 240, a readout region selection unit 250, and a timing control unit 260.
  • a predetermined number of pixels 300 are arranged in a two-dimensional lattice in the pixel array unit 230.
  • the EVS camera 200 also includes an optical system, a communication circuit, a memory for storing EVS data, etc., but these are omitted in the figure.
  • the driving unit 210 drives each of the pixels 300 to output a detection signal indicating the detection result of an address event to the signal processing unit 220.
  • the detection signal includes, for example, one bit indicating the detection result of an on-event and one bit indicating the detection result of an off-event.
  • the driving unit 210 scans the rows in sequence and causes each pixel in the row to output a detection signal. This method of scanning the rows in sequence is called the scan method.
  • the readout area selection unit 250 selects at least a portion of the pixel array unit 230 as a readout area. Only the pixels 300 in the selected readout area output a detection signal.
  • the signal generating unit 240 generates address information and polarity information (e.g., (X, Y, P)) of a pixel in which an address event is detected, and outputs it to the signal processing unit 220.
  • the signal generating unit 240 can output not only address information and timestamp information, but also frame-format information (e.g., (0, 0, 1, 0, ...)) indicating the presence or absence of an address event for each frame.
  • the signal generating unit 240 also outputs for the entire pixel array unit 230 or for all pixels within a selected range. If an address event has not occurred, the signal generating unit 240 also outputs a message to that effect.
  • the signal generating unit 240 also assigns one timestamp to the entire frame.
  • the signal processing unit 220 performs various signal processing on the detection signal for each pixel. For example, the signal processing unit 220 performs processing to detect glint for each pixel, and supplies EVS data indicating the detection results to the signal processing circuit 110.
  • some or all of the processing of the signal processing unit 220 in the EVS camera 200 can be performed by an external signal processing circuit 110 instead of the signal processing unit 220.
  • the timing control unit 260 controls the operation timing of the drive unit 210, the signal processing unit 220, the signal generation unit 240, and the readout area selection unit 250 in synchronization with the vertical synchronization signal VSYNC.
  • FIG. 3 is a block diagram showing an example of a configuration of a pixel 300 according to the first embodiment of the present technology.
  • the pixel 300 includes a photoelectric conversion element 310, a logarithmic response unit 320, a buffer 330, a difference detector 340, a comparator 350, and an output circuit 360.
  • the photoelectric conversion element 310 generates a photocurrent by photoelectric conversion of the incident light.
  • the logarithmic response unit 320 converts the photocurrent into a logarithmic voltage and supplies it to the differential detector 340 via the buffer 330.
  • Differential detector 340 detects the difference between the logarithmic voltage and the signal during auto-zero and outputs it to comparator 350.
  • Comparator 350 compares this difference with an upper threshold and a lower threshold. This comparator 350 supplies detection signals VCO+, which indicates the result of the comparison with the upper threshold, and VCO-, which indicates the result of the comparison with the lower threshold, to output circuit 360.
  • the output circuit 360 holds the detection signals VCO+ and VCO-, and outputs them to the signal processing unit 220 and the signal generating unit 240 under the control of the driving unit 210 and the readout area selection unit 250. In addition, when an on-event or off-event is detected, the output circuit 360 initializes the difference detector 340 using the control signal AZ.
  • FIG. 4 is a circuit diagram showing an example configuration of the logarithmic response unit 320, the buffer 330, the difference detector 340, and the comparator 350 in the first embodiment of the present technology.
  • the logarithmic response unit 320 includes nMOS (n-channel Metal Oxide Semiconductor) transistors 321, 322, 323, and 324, and a current source transistor 325.
  • nMOS n-channel Metal Oxide Semiconductor
  • current source transistor 325 for example, a pMOS (p-channel MOS) transistor is used.
  • nMOS transistors 321 and 322 are inserted in series between the power supply voltage and photoelectric conversion element 310.
  • Current source transistor 325 and nMOS transistors 323 and 324 are connected in series between the power supply voltage and a reference voltage (such as a ground voltage).
  • nMOS transistor 322 is connected to the connection node of nMOS transistors 323 and 324, and the gate of nMOS transistor 324 is connected to the connection node of nMOS transistor 322 and photoelectric conversion element 310.
  • the gate of nMOS transistor 321 is connected to the connection node of current source transistor 325 and nMOS transistor 323, and the gate of nMOS transistor 323 is connected to the connection node of nMOS transistors 321 and 322.
  • the connection node of current source transistor 325 and nMOS transistor 323 is connected to buffer 330.
  • a predetermined bias voltage V blog is applied to the gate of current source transistor 325.
  • the above-described circuit configuration converts the photocurrent generated by the photoelectric conversion element 310 into a logarithmic voltage VLOG.
  • Buffer 330 includes nMOS transistors 331 and 332. These transistors are connected in series between a power supply voltage and a reference voltage (such as a ground voltage), with nMOS transistor 331 acting as the power supply. A logarithmic voltage VLOG is input to the gate of nMOS transistor 331, and a predetermined bias voltage Vbsf is input to the gate of nMOS transistor 332. The connection node between nMOS transistors 331 and 332 is connected to difference detector 340.
  • the buffer 330 supplies the voltage VSF corresponding to the logarithmic voltage VLOG to the difference detector 340.
  • Differential detector 340 includes capacitors 341 and 343, nMOS transistors 342 and 345, and pMOS transistor 344.
  • the pMOS transistor 344 and the nMOS transistor 345 are connected in series between a power supply voltage and a reference voltage. These function as an inverter that inverts an input signal, with the gate of the pMOS transistor 344 as an input terminal and the connection node of the pMOS transistor 344 and the nMOS transistor 345 as an output terminal. The output terminal of this inverter is connected to the comparator 350. A predetermined bias voltage Vbdiff is applied to the gate of the nMOS transistor 345.
  • One end of the capacitor 341 is connected to the output terminal of the buffer 330, and the other end is connected to the input terminal of the inverter (i.e., the gate of the pMOS transistor 344).
  • the capacitor 343 is connected in parallel to the inverter.
  • the nMOS transistor 342 opens and closes the path connecting both ends of the capacitor 343 in accordance with a control signal AZ from the output circuit 360.
  • the difference V diff is generated from the voltage VSF corresponding to the logarithmic voltage.
  • Comparator 350 includes pMOS transistors 351 and 353 and nMOS transistors 352 and 354.
  • pMOS transistor 351 and nMOS transistor 352 are connected in series between the power supply voltage and the reference voltage.
  • pMOS transistor 353 and nMOS transistor 354 are also connected in series between the power supply voltage and the reference voltage.
  • the gates of pMOS transistors 351 and 353 are connected to the output terminal of difference detector 340.
  • a bias voltage Vth+ indicating the upper threshold is applied to the gate of nMOS transistor 352, and a bias voltage Vth- indicating the lower threshold is applied to the gate of nMOS transistor 354.
  • connection node between pMOS transistor 351 and nMOS transistor 352 is connected to output circuit 360, and the voltage at this connection node is output as detection signal VCO+ indicating the presence or absence of an on-event.
  • the connection node between pMOS transistor 353 and nMOS transistor 354 is also connected to output circuit 360, and the voltage at this connection node is output as detection signal VCO- indicating the presence or absence of an off-event.
  • the comparator 350 outputs a high-level detection signal VCO+ when the difference V diff exceeds the upper threshold, and outputs a low-level detection signal VCO- when the difference V diff falls below the lower threshold.
  • Example of operation of the optical detection system is a timing chart showing an example of the operation of the light detection system 100 according to the first embodiment of the present technology.
  • the eyeball is assumed to be in a stationary state. The same applies to the subsequent timing charts.
  • the signal processing circuit 110 supplies the vertical synchronization signal VSYNC, which rises at timings T1, T3, T5, T7, etc., to the EVS camera 200.
  • the EVS camera 200 detects address events in synchronization with the vertical synchronization signal VSYNC. For example, during the detection period from timing T10 to T11 immediately after timing T1, all pixels detect an on event or an off event and retain these detection results. Thereafter, an address event is detected every time a period of the vertical synchronization signal VSYNC elapses.
  • the output circuit 360 in the pixel initializes the difference detector 340 using the control signal AZ. On the other hand, if no address event is detected, the difference detector 340 is not initialized.
  • the driving unit 210 scans the rows in sequence and outputs a detection signal.
  • the signal processing circuit 110 also supplies the external synchronization signal ESYNC, which rises at timings T0, T4, etc., to the LED driver 120.
  • the LED driver 120 turns off the LED by setting the pulse signal PLS to VOFF during the off-pulse period from timing T0 to T2.
  • This off-pulse period includes a period for detecting an address event.
  • the pulse width of the off-pulse period is adjusted to a value such that an address event occurs only in pixels that receive a glint.
  • the LED driver 120 makes the pulse signal PLS higher than VOFF during the period from timing T2 to timing T4 at the start of the next off-pulse period to turn on the LED.
  • VLOG1 shows the logarithmic voltage of a pixel that receives reflected light (in other words, glint) from the LED irradiating a certain pattern of light
  • VLOG2 shows the logarithmic voltage of a pixel that does not receive that glint.
  • the frequency of the external synchronization signal ESYNC is set to half that of the vertical synchronization signal VSYNC. Therefore, the LED driver 120 turns off the LED for an off-pulse period, and then after the off-pulse period has elapsed, repeats the control of turning on the LED for nearly two periods of the vertical synchronization signal VSYNC.
  • the off-pulse period during which the LED is turned off is shorter than the period during which the LED is turned on, so only the differential value of the output of the logarithmic response unit 320, which has a faster response speed, crosses the threshold. For this reason, only the pixels that receive the glint react during the off-pulse period, and an off-event occurs. Then, in the next detection period, the LED is not turned off, so the logarithmic voltage VLOG1 returns to its original state and an on-event occurs in the pixel that received the glint.
  • the response speed of the logarithmic voltage VLOG2 due to LED modulation is slow, so an address event due to LED modulation is not detected. In other words, a global event, which will be described later, does not occur.
  • the downstream signal processing unit 220 detects the coordinates of the pixel where the address event occurred as the coordinates of the glint.
  • the waveform of the pulse signal PLS can also be inverted.
  • the LED driver 120 turns on the LED for an on-pulse period, such as from timing T0 to T2, and then repeats the control of turning off the LED for nearly two periods of the vertical synchronization signal VSYNC after the on-pulse period has elapsed.
  • the on-pulse period during which the LED is on is shorter than the period during which it is off, so power consumption can be reduced.
  • the logarithmic response unit 320 since the logarithmic response unit 320 operates in a narrow band region, this has an advantageous effect when performing eye tracking using only glint.
  • the LED driver 120 controls the state of the light-emitting unit 130 to either on or off within a specified pulse period, and controls the state of the light-emitting unit 130 to the other of on or off outside that pulse period.
  • the LED driver 120 can control the brightness of the LED in synchronization with the vertical synchronization signal VSYNC while keeping the LED lit rather than turned off.
  • the LED driver 120 controls the level of the pulse signal PLS to VON_H , which is higher than VOFF , during a pulse period such as from timing T0 to T2, and controls the level of the pulse signal PLS to VON_L , which is between VOFF and VON_H , outside that period.
  • VON_L is a value equal to or higher than a level required for pupil detection. This control increases the luminance of the LED during the pulse period, and decreases the luminance of the LED outside that pulse period. By lowering the illuminance to a level required for pupil detection without turning off the LED, the logarithmic response unit 320 can be operated in a wider band.
  • the LED driver 120 can also control the level of the pulse signal PLS to V ON_L within the pulse period and to V ON_H outside that period.
  • the LED driver 120 causes the LED to emit DC (Direct Current) light by a pulse signal PLS having a constant level higher than V OFF .
  • the first problem is that the logarithmic voltage VLOG1 hardly changes even in pixels that receive glint, and the pixels cannot detect an address event.
  • the second reason is that because the size of the glint itself is small, the size of the glint's edges is also small, and the number of events corresponding to the glint's edges is also smaller than that of the pupil, making it difficult to detect the glint.
  • the third problem is that address events caused by glints are rare, so their detection results disappear when noise processing is performed.
  • the fourth problem is that when detecting address events or accumulating or storing frames, it is necessary to distinguish between address events caused by glint and address events caused by the pupil, which makes the processing difficult.
  • the fifth problem is that when the eye is stationary, no address events are generated at the pixels that receive the glint, making eye tracking impossible.
  • the sixth reason is that the LED driver 120 drives the LED to emit light using DC current, which consumes more power than if the LED were to blink.
  • the seventh point is that eye tracking could be performed by alternating between a pair of LEDs to avoid global events, which are address events that occur across the entire eye regardless of edges such as glint, but this would double the number of LEDs and increase costs.
  • gaze detection is performed using both pupil detection using pupil edge detection and glint detection using glint edge detection.
  • two adjacent LEDs are turned on and off alternately, only the corresponding Glint will generate an event locally, but if the entire eye is viewed, the illuminance does not change and no global event will be generated.
  • the eighth reason is that when a pair of LEDs are alternately illuminated, the number of address events caused by glint increases, making it necessary to take complex measures such as masking to prevent this from affecting the calculation accuracy of the algorithm for detecting the pupil.
  • the LED driver 120 controls the brightness of the LEDs in synchronization with the external synchronization signal ESYNC, which is synchronized with the vertical synchronization signal VSYNC, so the logarithmic voltage VLOG1 changes in the pixel that receives the glint.
  • ESYNC external synchronization signal
  • VLOG1 logarithmic voltage
  • the irradiated light is modulated, the band of the logarithmic voltage of pixels that do not receive glint is narrow, and the response speed is slow. For this reason, when the LED is turned on and off at high speed, the output of the logarithmic response unit 320 of that pixel cannot keep up, and no address event due to modulation occurs. As a result, no global event occurs.
  • the LED driver 120 controls the brightness of the LEDs in synchronization with the external synchronization signal ESYNC, which is synchronized with the vertical synchronization signal VSYNC, thereby improving the accuracy of glint detection.
  • the signal processing circuit 110 generates the external synchronization signal ESYNC and supplies it to the LED driver 120, but this configuration is not limited to this.
  • the light detection system 100 in the first modified example of the first embodiment differs from the first embodiment in that the EVS camera 200 generates the external synchronization signal ESYNC and supplies it to the LED driver 120.
  • FIG. 9 is a block diagram showing an example configuration of the light detection system 100 in a first modified example of the first embodiment of the present technology.
  • the signal processing circuit 110 does not generate the external synchronization signal ESYNC.
  • the EVS camera 200 generates the external synchronization signal ESYNC in synchronization with the vertical synchronization signal VSYNC and supplies it to the LED driver 120.
  • the timing control unit 260 in FIG. 2 generates the external synchronization signal ESYNC.
  • the EVS camera 200 generates the external synchronization signal ESYNC in synchronization with the vertical synchronization signal VSYNC, so the signal processing circuit 110 does not need to generate the external synchronization signal ESYNC.
  • the signal processing circuit 110 generates the vertical synchronization signal VSYNC and supplies it to the EVS camera 200, but this configuration is not limited to this.
  • the light detection system 100 in the second modified example of the first embodiment differs from the first embodiment in that the LED driver 120 generates the vertical synchronization signal VSYNC and supplies it to the EVS camera 200.
  • FIG. 10 is a block diagram showing an example configuration of a light detection system 100 in a second modified example of the first embodiment of the present technology.
  • the signal processing circuit 110 does not generate a vertical synchronization signal VSYNC.
  • the LED driver 120 generates a vertical synchronization signal VSYNC in synchronization with an external synchronization signal ESYNC and supplies it to the EVS camera 200.
  • the LED driver 120 generates the vertical synchronization signal VSYNC in synchronization with the external synchronization signal ESYNC, eliminating the need for the signal processing circuit 110 to generate the vertical synchronization signal VSYNC.
  • the EVS camera 200 detects either an ON event or an OFF event within a detection period, but it can also detect these in sequence in a time-division manner.
  • the EVS camera 200 in this second embodiment differs from the first embodiment in that it detects ON events and OFF events in sequence in a time-division manner.
  • FIG. 11 is a circuit diagram showing an example of the configuration of the logarithmic response unit 320, buffer 330, difference detector 340, and comparator 350 in the second embodiment of the present technology.
  • the difference detector 340 in the second embodiment differs from the first embodiment in that it does not include a capacitor 343 and further includes a selector 346.
  • the comparator 350 does not include a pMOS transistor 353 and an nMOS transistor 354, and a predetermined bias voltage Vth is applied to the gate of the nMOS transistor 352.
  • Selector 346 selects one of bias voltages VAZ, Vth+, and Vth- in accordance with a control signal SW from drive unit 210, and supplies it to the gate of nMOS transistor 345.
  • Bias voltage VAZ is a voltage that is selected during the conditional reset period. During this conditional reset period, a predetermined reference value is held in capacitor 341.
  • the driving unit 210 sets the detection period for each on-event and off-event every time a period of the vertical synchronization signal VSYNC elapses.
  • the driving unit 210 controls the selector 346 to select the bias voltage Vth+.
  • the difference detector 340 determines whether the difference exceeds the upper threshold, and the comparator 350 outputs the on-event detection signal VCO+.
  • the driving unit 210 controls the selector 346 to select the bias voltage Vth-.
  • the difference detector 340 determines whether the difference is below the lower threshold, and the comparator 350 outputs the off-event detection signal VCO-.
  • time-division method The method of detecting ON events and OFF events in sequence in a time-division manner using the circuit configuration illustrated in the figure is hereafter referred to as the "time-division method.”
  • FIG. 12 is a timing chart showing an example of the operation of the light detection system 100 in the second embodiment of the present technology.
  • An on-event detection period is set from timing T10 to T11 immediately after timing T1 of the rising edge of the vertical synchronization signal VSYNC, and during this period the pixel detects an on-event.
  • a conditional reset period is set from timing T11 to T2, and when an on-event is detected, the difference detector 340 is initialized during this period. The rows are scanned in sequence between timing T2 and T20.
  • an off-event detection period is set from timing T20 to T21, during which the pixels detect an off-event.
  • a conditional reset period is set from timing T21 to T3, and when an off-event is detected, the difference detector 340 is initialized during this period. After timing T3, the rows are scanned in sequence.
  • the LED driver 120 turns off the LED with the pulse signal PLS during the off-pulse period from timing T2 to T3.
  • This off-pulse period includes only the off-event detection period of the on-event detection period and the off-event detection period immediately following timing T1. Since the logarithmic voltage VLOG1 drops during the off-pulse period, the pixel corresponding to the glint detects an off-event during the off-event detection period.
  • the LED driver 120 turns on the LED with the pulse signal PLS during the period from timing T3 to T6.
  • This period includes an on-event detection period and an off-event detection period immediately after timing T4, and an on-event detection period immediately after timing T5. Because the logarithmic voltage VLOG1 rises, the pixel corresponding to the glint detects an on-event during the on-event detection period immediately after timing T4.
  • timing T5 After timing T5, the control from timing T1 to just before T5 is repeatedly executed.
  • the on-event detection period and off-event detection period immediately after timing T1 are an example of a first on-event detection period and a first off-event detection period as described in the claims.
  • the on-event detection period and off-event detection period immediately after timing T4 are an example of a second on-event detection period and a second off-event detection period as described in the claims.
  • the LED driver 120 turns off the LED during an off-pulse period that includes only the off-event detection period, and turns on the LED outside of that pulse period.
  • pixels that receive glint detect on-events and off-events alternately.
  • no address event occurs due to the LED turning on and off.
  • an address event occurs at an edge such as the edge of the pupil, as usual.
  • the downstream signal processing unit 220 detects the coordinates of pixels where on-events and off-events alternate as the coordinates of the glint.
  • the rising edge of the pulse signal PLS is set to coincide with timing T2, but it may occur before timing T2. Even in this case, timings T10 to T11 are the on-event detection period, and the LED is turned off by the falling edge of the pulse signal PLS, so no on-event occurs. Also, the falling edge of the pulse signal PLS is set to coincide with timing T3, but it may occur after timing T3, as long as the logarithmic voltage VLOG1 exceeds the upper threshold by the on-event detection period immediately after timing T4.
  • FIG. 13 is a diagram showing an example of EVS data in the second embodiment of the present technology.
  • a shows an example of EVS data when the pseudo eyeball is stationary
  • b shows an example of EVS data when the pseudo eyeball is moving.
  • the LED in the light-emitting unit 130 irradiates the pseudo eyeball with a certain pattern of irradiation light (such as IR light), and the EVS camera 200 receives the reflected light as glint.
  • a certain pattern of irradiation light such as IR light
  • the EVS camera 200 receives the reflected light as glint.
  • the response speed of a pixel that receives a glint is faster than that of a pixel that does not receive a glint.
  • a glint consisting of four points is used. These four pixels have a fast response speed, and on-events and off-events are detected alternately. On the other hand, pixels that do not receive the glint have a slow response speed, and so address events are hardly detected. Therefore, no global events occur, and the EVS camera 200 can detect only the glint with high accuracy, and the light detection system 100 can perform eye tracking using the detection results.
  • pixels corresponding to glint have a higher event density, making it easier to distinguish between the edges of the pupil and events. Note that because pixels corresponding to glint have a higher event density than pixels corresponding to the edges of the pupil, there is concern about interference between them, but there is less interference than when LEDs that emit IR light are used in pairs.
  • first and second variants of the first embodiment can be applied to the second embodiment.
  • the LED driver 120 turns off the LED during the off-pulse period that includes the off-event detection period, so that the light detection system 100 can detect glints with high accuracy when using the time division method.
  • the LED driver 120 turns off the LED during the off-pulse period, but it is preferable to further reduce power consumption.
  • the LED driver 120 in this modified example of the second embodiment differs from the second embodiment in that the waveform of the pulse signal PLS is inverted.
  • FIG. 14 is a timing chart showing an example of the operation of the light detection system 100 in a modified example of the second embodiment of the present technology.
  • the LED driver 120 turns on the LED for an on-pulse period such as from timing T2 to T3, and after the on-pulse period has elapsed, repeats control to turn off the LED for nearly two periods of the vertical synchronization signal VSYNC. Also, immediately after the rising edge of the vertical synchronization signal such as timing T1, an off-event detection period is set first, and then an on-event detection period is set.
  • the on-pulse period includes only the on-event detection period out of these detection periods.
  • the on-pulse period during which the LED is on is shorter than the period during which the LED is off, so power consumption can be reduced compared to the second embodiment.
  • the pulse signal PLS rises simultaneously with timing T2, but it may also be before timing T2. Even in this case, timings T10 to T11 are the off-event detection period, and the LED is turned on by the rising edge of the pulse signal PLS, so no off-event occurs. Also, the pulse signal PLS falls simultaneously with timing T3, but it may also be after timing T3, as long as the logarithmic voltage VLOG1 falls below the lower threshold by the time of the off-event detection period immediately after timing T4.
  • first and second variants of the first embodiment can be applied to the variant of the second embodiment.
  • the LED driver 120 turns on the LED during the on-pulse period that includes the on-event detection period, thereby reducing power consumption.
  • each pixel alternately detects an on-event and an off-event, but it is preferable to further improve the accuracy of glint detection.
  • the light detection system 100 in this third embodiment differs from the second embodiment in that it detects, as a bi-event, the fact that both an on-event and an off-event have been detected within the period of the vertical synchronization signal VSYNC.
  • FIG. 15 is a timing chart showing an example of the operation of the light detection system 100 in the third embodiment of the present technology.
  • the LED driver 120 blinks the LED every time a period of the vertical synchronization signal VSYNC elapses.
  • an on-event detection period and an off-event detection period are set in that order.
  • the LED driver 120 turns off the LED during the period from timing T2 to T4, which includes only the off-event detection period.
  • an on-event detection period and an off-event detection period are set in sequence.
  • the LED driver 120 turns on the LED during the on-pulse period from timing T4 to T6, which includes only the on-event detection period. From timing T6 onwards, the same control is repeatedly executed.
  • a pixel that receives a glint detects an off event because the logarithmic voltage VLOG1 drops during the period when the LED is off.
  • the pixel also detects an on event because the logarithmic voltage VLOG1 rises during the on-pulse period when the LED is on.
  • a pixel that receives a glint detects both an on event and an off event within the period of the vertical synchronization signal VSYNC.
  • a pixel that does not receive a glint hardly detects an address event because there is little change in the logarithmic voltage VLOG2.
  • the LED lighting period is shorter than in the second embodiment, which reduces power consumption.
  • FIG. 16 is a circuit diagram showing an example of the configuration of a signal processing unit 220 in an EVS camera 200 in a third embodiment of the present technology.
  • This signal processing unit 220 includes a switching control unit 221, a selector 222, a flip-flop 223, an inverter 224, an AND (logical product) gate 225, and a post-processing unit 226.
  • the selector 222, the flip-flop 223, the inverter 224, and the AND gate 225 are each arranged for each column of the pixel array unit 230, but for ease of description, only one column is shown in the figure.
  • the switching control unit 221 controls the selector 222 in synchronization with the vertical synchronization signal VSYNC to switch the output destination.
  • the detection signals VCO+ and VCO- from the pixels 300 in the corresponding column are input to the selector 222 in sequence.
  • the switching control unit 221 controls the selector 222 to output the signal to the flip-flop 223.
  • the switching control unit 221 controls the selector 222 to output the signal to the inverter 224.
  • the flip-flop 223 holds the detection signal VCO+ in synchronization with the vertical synchronization signal VSYNC and outputs the signal to the AND gate 225.
  • the inverter 224 inverts the detection signal VCO- and outputs it to the AND gate 225.
  • the AND gate 225 outputs the logical product of the detection signal VCO+ and the inverted signal of the detection signal VCO- as the detection signal VCOb to the subsequent processing unit 226.
  • the detection of an on event or an off event within the period of the vertical synchronization signal VSYNC is referred to as a "bose event.”
  • the detection signal VCOb goes high when a bose event is detected, and goes low when no bose event is detected.
  • the post-processing unit 226 detects the coordinates of the pixel where the bose event occurred as the coordinates of the glint, and generates EVS data that indicates the glint detection results.
  • the EVS data is transmitted to the signal processing circuit 110 outside the EVS camera 200.
  • the signal processing unit 220 is not limited to the configuration illustrated in the figure, as long as it is capable of detecting Bose events.
  • Bose events are detected by the signal processing unit 220 in the EVS camera 200, Bose events can alternatively be detected by the signal processing circuit 110 external to the EVS camera 200.
  • FIG. 17 shows an example of EVS data when the pseudo eyeball in the comparative example is stationary and when it is moving.
  • a and b show EVS data when the pseudo eyeball in the comparative example in which the LED emits DC light is stationary
  • c and d show EVS data when the pseudo eyeball in the comparative example is moving.
  • a glint consisting of four points is used.
  • a and c gray indicates an on-event
  • black indicates an off-event.
  • FIG. 18 is a diagram showing an example of EVS data when the pseudo eyeball in the second embodiment of the present technology is stationary and when it is moving.
  • a and b show EVS data when the pseudo eyeball in the second embodiment is stationary
  • c and d show EVS data when the pseudo eyeball in the second embodiment is moving.
  • a glint consisting of four points is used.
  • a and c gray show on-events, and black show off-events.
  • FIG. 19 is a diagram showing an example of EVS data when the pseudo eyeball in the third embodiment of the present technology is stationary and when it is moving.
  • a and b show EVS data when the eyeball in the third embodiment is stationary
  • c and d show EVS data when the eyeball in the third embodiment is moving.
  • a glint consisting of four points is used.
  • a and c gray indicate on-events
  • black indicate off-events.
  • b and d black indicate bose events.
  • on-events and off-events occur at the pixels at the edge of the pupil. Therefore, it is possible to detect the pupil in the same way as in the comparative example and the second embodiment.
  • On-events and off-events also occur at the pixels at the edge of the glint, but they can be easily masked and deleted using the coordinates of the bose event, improving the accuracy of pupil detection.
  • bose events occur at almost all pixels where glint is detected, so the number of events is large and the density is high. Therefore, it is possible to detect glint with high accuracy without integrating or storing frames.
  • the glint appears as a bose event, it does not interfere with the edge of the pupil, which appears as an on-event or off-event, and the accuracy of pupil detection is improved. Furthermore, although the LED is turned on and off, a global event does not occur because a pulse signal PLS synchronized with the vertical synchronization signal VSYNC is used.
  • FIG. 20 is a diagram showing an example of EVS data with different glint patterns when the pseudo eyeball in the third embodiment of the present technology is stationary and when it is moving.
  • a and b are examples of EVS data when the pseudo eyeball in the third embodiment is stationary
  • c and d are examples of EVS data when the pseudo eyeball in the third embodiment is moving.
  • a glint consisting of eight points is used.
  • a and c gray indicate on-events
  • black indicate off-events.
  • b and d black indicate both events.
  • the light detection system can detect glints without any problems even in high-illumination situations.
  • first and second variants of the first embodiment can be applied to the third embodiment.
  • the EVS camera 200 detects bose events, which can further improve the accuracy of glint detection.
  • the LED driver 120 transmits the same pulse signal PLS to the multiple LEDs in the light-emitting unit 130, but this configuration makes it difficult to distinguish between the reflected light of each LED.
  • the LED driver 120 in this fourth embodiment differs from the first embodiment in that it transmits a pulse signal with a different waveform to each LED.
  • FIG. 21 is a block diagram showing a configuration example of a light detection system 100 according to a fourth embodiment of the present technology.
  • a plurality of LEDs such as LEDs 131 and 132, are arranged in a light-emitting unit 130.
  • the LED driver 120 generates and transmits pulse signals having different waveforms for each LED. For example, a pulse signal PLS 1 is transmitted to the LED 131, and a pulse signal PLS 2 is transmitted to the LED 132.
  • N is an integer
  • PLS n a pulse signal transmitted to the n-th LED (n is an integer from 1 to N) is denoted by PLS n .
  • the light emission patterns of the N LEDs are different. A modulation period and a DC light emission period are set for each LED, but the start and end timings of the periods are different.
  • the white parts indicate DC light emission periods
  • the gray parts indicate modulation periods.
  • the pulse signal PLS 1 has a modulation period set from timing T1 to T3, and a DC light emission period set from timing T3 to T5.
  • the pulse signal PLS 2 has a modulation period set from timing T1 to T4, and a DC light emission period set from timing T4 to T6.
  • the pulse signal PLS N has a DC light emission period set from timing T1 to T2, and a modulation period set from timing T2 to T7.
  • the LED driver 120 modulates the pulse signal in synchronization with the vertical synchronization signal VSYNC during the modulation period, and keeps the pulse signal at a high level continuously during the DC light emission period.
  • the EVS camera 200 detects an address event for each LED individually based on the light emission pattern of each LED. For example, during the period from timing T1 to T2, the Nth LED emits DC light while the first and second LEDs blink. Therefore, the EVS camera 200 can determine that for a pixel in which an address event is detected during that period, it has received reflected light corresponding to the first and second LEDs.
  • a pulse period (on-pulse period or on-pulse period) is set in the pulse signal PLS 1 in odd frames, and a pulse period is set in the pulse signal PLS 2 in even frames.
  • the EVS camera can determine that a pixel in which an off-event is detected in an odd frame has received reflected light corresponding to the first LED. Also, a pixel in which an off-event is detected in an even frame is determined to have received reflected light corresponding to the second LED.
  • the EVS camera 200 generates EVS data in which the identification information of the LEDs and the detection signal are associated with each other, and transmits the data to the signal processing circuit 110.
  • the LED driver 120 transmits a pulse signal with a different waveform for each LED, allowing the EVS camera 200 to associate the LED identification information with the detection signal. This makes it possible to remove specific noise.
  • the identification information of the four LEDs is L1 to L4.
  • the EVS camera 200 determines whether the arrangement pattern of the address events corresponding to each of L1 to L4 matches the pattern of the glint emitted by the light-emitting unit 130. This makes it possible to remove noise other than the glint. Note that this process can also be performed by the signal processing circuit 110 instead of the EVS camera 200.
  • the light detection system 100 can normally perform eye tracking by DC emitting light from the LEDs, thereby realizing control that temporarily emphasizes only the glint. Note that this control can also be realized when the same pulse signal is sent to all LEDs.
  • the optical detection system 100 can change the tracking method according to the movement of the eye. For example, when the pupil is stationary (or moves slowly), the modulation period is set, and when the pupil is moving (or moves quickly), the DC light emission period is set. Note that this control can be achieved even when the same pulse signal is sent to all LEDs.
  • first and second variations of the first embodiment, the second embodiment, the variation of the second embodiment, and the third embodiment can each be applied to the fourth embodiment.
  • the LED driver 120 transmits a pulse signal with a different waveform for each LED, so that the EVS camera 200 can detect an address event for each LED in association with its identification information.
  • the signal processing circuit 110 serves as a master to synchronize the LED driver 120 and the EVS camera 200, but the master may be something other than the signal processing circuit 110.
  • the light detection system 100 in this fifth embodiment differs from the first embodiment in that the EVS camera 200 serves as a master to synchronize the LED driver 120 with itself.
  • FIG. 23 is a block diagram showing an example of a configuration of a light detection system 100 in a fifth embodiment of the present technology.
  • the EVS camera 200 becomes a master instead of the signal processing circuit 110 and synchronizes the LED driver 120 with itself.
  • the timing control unit 260 in the EVS camera 200 generates an external synchronization signal ESYNC in synchronization with the vertical synchronization signal VSYNC and supplies it to the LED driver 120. This eliminates the need for the signal processing circuit 110 to generate the vertical synchronization signal VSYNC and the external synchronization signal ESYNC.
  • the EVS camera 200 can also generate a clock signal CLK in synchronization with the vertical synchronization signal VSYNC and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 processes the EVS data in synchronization with the clock signal CLK.
  • the EVS camera 200 can further generate a clock signal CLK in synchronization with the vertical synchronization signal VSYNC and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 can also generate an external synchronization signal ESYNC in synchronization with the clock signal CLK and supply it to the LED driver 120.
  • the LED driver 120 can further generate a clock signal CLK in synchronization with the external synchronization signal ESYNC and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 can also process the EVS data in synchronization with the clock signal CLK.
  • the second embodiment, the modified example of the second embodiment, the third embodiment, and the fourth embodiment can each be applied to the fifth embodiment.
  • the EVS camera 200 becomes the master and synchronizes the LED driver 120 with itself, so the signal processing circuit 110 does not need to generate the vertical synchronization signal VSYNC and the external synchronization signal ESYNC.
  • the signal processing circuit 110 serves as a master to synchronize the LED driver 120 and the EVS camera 200, but the master may be something other than the signal processing circuit 110.
  • the light detection system 100 in this fifth embodiment differs from the first embodiment in that the LED driver 120 serves as a master to synchronize the EVS camera 200 with itself.
  • FIG. 27 is a block diagram showing an example of a configuration of a light detection system 100 in a sixth embodiment of the present technology.
  • the LED driver 120 becomes a master instead of the signal processing circuit 110 and synchronizes the EVS camera 200 with itself.
  • the LED driver 120 generates a vertical synchronization signal VSYNC and supplies it to the EVS camera 200. This eliminates the need for the signal processing circuit 110 to generate the vertical synchronization signal VSYNC and the external synchronization signal ESYNC.
  • the LED driver 120 can also generate a clock signal CLK and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 processes the EVS data in synchronization with the clock signal CLK.
  • the LED driver 120 can generate a clock signal CLK and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 can generate a vertical synchronization signal VSYNC in synchronization with the clock signal CLK and supply it to the EVS camera 200.
  • the EVS camera 200 can further generate a clock signal CLK in synchronization with the vertical synchronization signal VSYNC and supply it to the signal processing circuit 110.
  • the signal processing circuit 110 can also process the EVS data in synchronization with the clock signal CLK.
  • the second embodiment, the modified example of the second embodiment, the third embodiment, and the fourth embodiment can each be applied to the sixth embodiment.
  • the LED driver 120 becomes the master and synchronizes the EVS camera 200 with itself, so the signal processing circuit 110 does not need to generate the vertical synchronization signal VSYNC and the external synchronization signal ESYNC.
  • the EVS camera 200 outputs a detection signal by a scan method, but an arbiter method can be used instead of the scan method.
  • the arbiter method is a method in which an arbiter arbitrates requests from pixels.
  • the light detection system 100 in the seventh embodiment differs from the first embodiment in that the EVS camera 200 uses the arbiter method.
  • FIG. 31 is a block diagram showing an example of the configuration of an EVS camera 200 in a seventh embodiment of the present technology.
  • the EVS camera 200 in this seventh embodiment differs from the first embodiment in that it does not include a readout area selection unit 250 and a timing control unit 260, but further includes an arbiter 270.
  • the signal generation unit 240 may generate address information, polarity information, and timestamp information (e.g., (X, Y, P, T)) of a pixel in which an address event is detected, and output the information to the signal processing unit 220.
  • the driving unit 210 also drives all the pixels 300 simultaneously. Each of the pixels 300 transmits a request to the arbiter 270 when it detects an address event. The arbiter 270 arbitrates the requests of each of the pixels 300 and returns a response based on the arbitration result. The pixel 300 that receives the response supplies a detection signal to the signal processing unit 220 and the driving unit 210. The driving unit 210 initializes the pixel 300 that transmitted the detection signal.
  • FIG. 32 is a timing chart showing an example of the operation of the optical detection system 100 in the seventh embodiment of the present technology.
  • the LED driver 120 turns off the LED with the pulse signal PLS during an off-pulse period, such as from timing T1 to T2.
  • the LED driver 120 then turns on the LED during the period up to timing T3, when the next off-pulse period begins. Thereafter, the same control is repeatedly executed in synchronization with the external synchronization signal ESYNC.
  • the pulse width of the off-pulse period is set to a value that satisfies, for example, the following formula.
  • tIg is the time from when the LED is turned off until the amount of change in luminance of the pixel receiving the glint falls below the lower threshold.
  • tdr is the time from when the amount of change in luminance of the pixel falls below the lower threshold until the pixel is initialized.
  • tIO is the time until the amount of change in luminance of the pixel not receiving the glint falls below the lower threshold.
  • the pulse width is set to the value between the time from when the LED is turned off to when the pixels receiving the glint are initialized (t Ig +t dr ) and the time from when the LED is turned off to when the change in brightness of other pixels (that do not receive the glint) falls below the lower threshold (t IO ).
  • the above-mentioned pulse width allows the pixel corresponding to the glint to detect an off-event within the off-pulse period, and to detect an on-event after the off-pulse period has elapsed.
  • the black parts indicate the detection period of an off-event
  • the white parts indicate the detection period of an on-event.
  • the waveform of the pulse signal PLS can also be inverted.
  • the pulse width is set to the value between the time from when the LED turns on until the pixels that receive the glint are initialized, and the time from when the LED turns on until the amount of change in luminance of other pixels (that do not receive glint) exceeds the upper threshold.
  • the LED driver 120 also turns off the LED during the off-pulse period, but it can also reduce the brightness compared to outside of that period without completely turning it off. When inverting the waveform of the pulse signal PLS, it is sufficient to make the brightness higher during the on-pulse period than outside of that period.
  • first and second variations of the first embodiment, the third embodiment, the fourth embodiment, and the fifth embodiment can each be applied to the seventh embodiment.
  • the pulse width is set to a value between the time from the timing of turning off the light until the pixel that receives the glint is initialized and the time until the amount of change in luminance of the other pixels (that do not receive the glint) falls below the lower threshold. This allows the light detection system 100 to detect glints when using the arbiter method.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
  • FIG. 33 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside-vehicle information detection unit 12030 or the inside-vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 can also perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on the driver's operation, by controlling the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040.
  • the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 34 shows an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 34 shows an example of the imaging ranges of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
  • an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
  • the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or avoidance steering via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the image captured by the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the image captured by the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
  • the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
  • the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology disclosed herein can be applied to, for example, the in-vehicle information detection unit 12040.
  • the optical detection system 100 of FIG. 1 can be applied to the in-vehicle information detection unit 12040.
  • eye tracking can be performed to detect the driver's looking away, improving the safety of the system.
  • the present technology can also be configured as follows. (1) a photodetector having an array of a predetermined number of pixels that detects, as an address event, in synchronization with a predetermined vertical synchronization signal, that an absolute value of a change in luminance of incident light, including reflected light, relative to illumination light from a light-emitting unit, exceeds a predetermined threshold; a light emission control unit that controls the luminance of the irradiated light in synchronization with an external synchronization signal that is synchronized with the vertical synchronization signal.
  • the threshold value includes an upper threshold value and a lower threshold value
  • the address event includes an on-event indicating that the amount of change has exceeded the upper threshold and an off-event indicating that the amount of change has fallen below the lower threshold.
  • a predetermined detection period is set every time a period of the vertical synchronization signal elapses; The optical detection system according to (2), wherein the pixel detects the on-event or the off-event within the detection period.
  • an on-event detection period and an off-event detection period are set every time a period of the vertical synchronization signal elapses;
  • the pulse period includes the on-event detection period, the light emission control unit turns on the light emitting unit during the pulse period and turns off the light emitting unit outside the pulse period;
  • the optical detection system according to (5) wherein the optical detection device detects, as a Bose event, the fact that both the ON event and the OFF event have been detected within the period.
  • the on-event detection period includes a first on-event detection period and a second on-event detection period
  • the off-event detection period includes a first off-event detection period and a second off-event detection period, the first on-event detection period and the first off-event detection period, and the second on-event detection period and the second off-event detection period are alternately set every time a period of the vertical synchronization signal elapses;
  • the pulse period includes only the first off event detection period of the first on event detection period and the first off event detection period;
  • the pulse period includes only the first on-event detection period of the first on-event detection period and the first off-event detection period;
  • the light detection system according to (7), wherein the light emission control unit turns on the light emitting unit within the pulse period and turns off the light emitting unit outside the pulse period.
  • the light emitting unit includes first and second light emitting diodes, the light emission control unit transmits different pulse signals to the first and second light emitting diodes,
  • the optical detection system according to any one of (1) to (9), wherein the optical detection device individually detects an address event corresponding to the first light-emitting diode and an address event corresponding to the second light-emitting diode.
  • the light emission control unit blinks the light emitting unit within a predetermined modulation period and continuously lights the light emitting unit outside the modulation period.
  • the optical detection system according to any one of (1) to (11), further comprising a signal processing circuit that processes data indicating the detection result of the address event and operates the optical detection device and the light emission control unit in synchronization.
  • a signal processing circuit that processes data indicating the detection result of the address event and operates the optical detection device and the light emission control unit in synchronization.
  • the light detection device operates the light emission control unit in synchronization with the light detection device.
  • the light emission control unit operates the light detection device in synchronization with the light emission control unit.
  • a photodetector having a plurality of pixels arranged therein, the photodetector detecting, as an address event, that an absolute value of a change in luminance of incident light exceeds a predetermined threshold; a light emission control unit that alternately controls the luminance of the irradiated light to a predetermined value within a pulse period that is between a delay time from a predetermined timing until a pixel is initialized and a delay time from the predetermined timing until an absolute value of the amount of change exceeds the threshold value, and controls the luminance of the irradiated light to a value different from the predetermined value outside the pulse period.
  • a photodetection step in which each of a predetermined number of pixels in the photodetection device detects, as an address event, in synchronization with a predetermined vertical synchronization signal, that an absolute value of a change in luminance of incident light, including reflected light, relative to irradiation light from a light-emitting unit, has exceeded a predetermined threshold; a light emission control procedure in which a light emission control unit controls the luminance of the irradiated light in synchronization with an external synchronization signal that is synchronized with the vertical synchronization signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

アドレスイベントを検出するシステムにおいて、検出精度を向上させる。　光検出システムは、光検出装置と、発光制御部とを具備する。この光検出システムにおいて、光検出装置には、発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する所定数の画素が配列される。発光制御部は、垂直同期信号に同期した外部同期信号に同期して照射光の輝度を制御する。

Description

光検出システム、および、光検出システムの制御方法
　本技術は、光検出システムに関する。詳しくは、輝度の変化量が閾値を超えた旨を検出する光検出システム、および、光検出システムの制御方法に関する。
　従来より、輝度の変化量が閾値を超えた旨をアドレスイベントとして検出するセンサーが交通やエンターテインメントなどの様々な分野で利用されている。このようなセンサーは、ＥＶＳ（Event-based Vision Sensor）またはＤＶＳ（Dynamic Vision Sensor）と呼ばれる。例えば、複数の光源が一定の光パターンをグリントとして瞳に照射し、ＥＶＳを備えるイベントカメラが、アドレスイベントをグリントとして検出するアイトラッキングシステムが提案されている（例えば、特許文献１参照。）。
特表２０２０－５３６３０９号公報
　上述の従来技術では、グリントの検出により、視線方向の追跡を図っている。しかしながら、上述のシステムでは、眼球が動いていない場合などに、イベントカメラがグリントを検出できないことがあり、グリントの検出精度が低下するという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出するシステムにおいて、検出精度を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する所定数の画素が配列された光検出装置と、上記垂直同期信号に同期した外部同期信号に同期して上記照射光の輝度を制御する発光制御部とを具備する光検出システム、および、その制御方法である。これにより、グリントの検出精度が向上するという作用をもたらす。
　また、この第１の側面において、上記閾値は、上限閾値および下限閾値を含み、上記アドレスイベントは、上記変化量が上記上限閾値を上回った旨を示すオンイベントと上記変化量が上記下限閾値を下回った旨を示すオフイベントとを含むものであってもよい。これにより、オンイベントおよびオフイベントが検出されるという作用をもたらす。
　また、この第１の側面において、上記垂直同期信号の周期が経過するたびに所定の検出期間が設定され、上記画素は、上記検出期間内に上記オンイベントまたは上記オフイベントを検出してもよい。これにより、検出期間内にオンイベントまたはオフイベントが検出されるという作用をもたらす。
　また、この第１の側面において、上記垂直同期信号の周期が経過するたびにオンイベント検出期間およびオフイベント検出期間が設定され、上記画素は、上記オンイベント検出期間内に上記オンイベントを検出し、上記オフイベント検出期間内に上記オフイベントを検出してもよい。これにより、オンイベントおよびオフイベントが時分割で検出されるという作用をもたらす。
　また、この第１の側面において、上記発光制御部は、所定のパルス期間内に上記発光部の状態を点灯または消灯の一方に制御し、上記パルス期間外に上記発光部の状態を点灯または消灯の他方に制御してもよい。これにより、発光部が点滅するという作用をもたらす。
　また、この第１の側面において、上記パルス期間は、上記オンイベント検出期間を含み、上記発光制御部は、上記パルス期間内に上記発光部を点灯させ、上記パルス期間外に上記発光部を消灯させ、上記光検出装置は、上記周期内に上記オンイベントおよび上記オフイベントの両方が検出された旨をボースイベントとして検出してもよい。これにより、グリントの検出精度がさらに向上するという作用をもたらす。
　また、この第１の側面において、上記オンイベント検出期間は、第１オンイベント検出期間および第２オンイベント検出期間を含み、上記オフイベント検出期間は、第１オフイベント検出期間および第２オフイベント検出期間を含み、上記垂直同期信号の周期が経過するたびに上記第１オンイベント検出期間および上記第１オフイベント検出期間と上記第２オンイベント検出期間および上記第２オフイベント検出期間とが交互に設定され、上記パルス期間は、上記第１オンイベント検出期間および上記第１オフイベント検出期間の一方を含むものであってもよい。これにより、時分割方式の場合にグリントの検出精度が向上するという作用をもたらす。
　また、この第１の側面において、上記パルス期間は、上記第１オンイベント検出期間および上記第１オフイベント検出期間のうち上記第１オフイベント検出期間のみを含み、上記発光制御部は、上記パルス期間内に上記発光部を消灯させ、上記パルス期間外に上記発光部を点灯させてもよい。これにより、時分割方式の場合にグリントの検出精度が向上するという作用をもたらす。
　また、この第１の側面において、上記パルス期間は、上記第１オンイベント検出期間および上記第１オフイベント検出期間のうち上記第１オンイベント検出期間のみを含み、上記発光制御部は、上記パルス期間内に上記発光部を点灯させ、上記パルス期間外に上記発光部を消灯させてもよい。これにより、消費電力が低減するという作用をもたらす。
　また、この第１の側面において、上記発光部は、第１および第２の発光ダイオードを含み、上記発光制御部は、上記第１および第２の発光ダイオードのそれぞれに異なるパルス信号を送信し、上記光検出装置は、上記第１の発光ダイオードに対応するアドレスイベントと上記第２の発光ダイオードに対応するアドレスイベントとを個別に検出してもよい。これにより、ノイズが除去されるという作用をもたらす。
　また、この第１の側面において、上記発光制御部は、所定の変調期間内に上記発光部を点滅させ、上記変調期間外に上記発光部を連続して点灯させてもよい。これにより、発光部が点滅または連続点灯するという作用をもたらす。
　また、この第１の側面において、上記アドレスイベントの検出結果を示すデータを処理するとともに上記光検出装置と上記発光制御部とを同期して動作させる信号処理回路をさらに具備してもよい。これにより、光検出装置および発光制御部が同期して動作するという作用をもたらす。
　また、この第１の側面において、上記光検出装置は、上記光検出装置と同期して上記発光制御部を動作させてもよい。これにより、光検出装置および発光制御部が同期して動作するという作用をもたらす。
　また、この第１の側面において、上記発光制御部は、上記発光制御部と同期して上記光検出装置を動作させてもよい。これにより、光検出装置および発光制御部が同期して動作するという作用をもたらす。
　また、本技術の第２の側面は、入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして検出する複数の画素が配列された光検出装置と、所定のタイミングから画素が初期化されるまでの遅延時間と上記タイミングから上記変化量の絶対値が上記閾値を超えるまでの遅延時間との間の長さのパルス期間内に上記照射光の輝度を所定値にする制御と、上記パルス期間外に上記照射光の輝度を上記所定値と異なる値にする制御とを交互に行う発光制御部とを具備する光検出システムである。これにより、アービタ方式を用いる際にグリントの検出精度が向上するという作用をもたらす。
本技術の第１の実施の形態における光検出システムの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＥＶＳカメラの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示すブロック図である。 本技術の第１の実施の形態における対数応答部、バッファ、差分検出器および比較器の一構成例を示す回路図である。 本技術の第１の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるパルス信号の波形を反転させた際の光検出システムの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるパルス信号の波形の一例を示すタイミングチャートである。 比較例における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態の第１の変形例における光検出システムの一構成例を示すブロック図である。 本技術の第１の実施の形態第２の変形例における光検出システムの一構成例を示すブロック図である。 本技術の第２の実施の形態における対数応答部、バッファ、差分検出器および比較器の一構成例を示す回路図である。 本技術の第２の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態におけるＥＶＳデータの一例を示す図である。 本技術の第２の実施の形態の変形例における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第３の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第３の実施の形態におけるＥＶＳカメラ内の信号処理部の一構成例を示す回路図である。 比較例における疑似眼球が静止しているときと動いているときとのＥＶＳデータの一例を示す図である。 本技術の第２の実施の形態における疑似眼球が停止しているときと動いているときとのＥＶＳデータの一例を示す図である。 本技術の第３の実施の形態における疑似眼球が静止しているときと動いているときとのＥＶＳデータの一例を示す図である。 本技術の第３の実施の形態における疑似眼球が静止しているときと動いているときとのグリントのパターンの異なるＥＶＳデータの一例を示す図である。 本技術の第４の実施の形態における光検出システムの一構成例を示すブロック図である。 本技術の第４の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における光検出システムの一構成例を示すブロック図である。 本技術の第５の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第５の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第５の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第６の実施の形態における光検出システムの一構成例を示すブロック図である。 本技術の第６の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第６の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第６の実施の形態における光検出システムの別の例を示すブロック図である。 本技術の第７の実施の形態におけるＥＶＳカメラの一構成例を示すブロック図である。 本技術の第７の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（同期信号に同期して照射光の輝度を制御する例）
　２．第２の実施の形態（同期信号に同期して照射光の輝度を制御し、時分割でアドレスイベントを検出する例）
　３．第３の実施の形態（同期信号に同期して照射光の輝度を制御し、ボースイベントを検出する例）
　４．第４の実施の形態（同期信号に同期して照射光の輝度を制御し、識別情報と検出信号とを対応付ける例）
　５．第５の実施の形態（同期信号に同期して照射光の輝度を制御するドライバをカメラが同期させる例）
　６．第６の実施の形態（ドライバが同期信号に同期して照射光の輝度を制御し、カメラを同期させる例）
　７．第７の実施の形態（同期信号に同期して照射光の輝度を制御し、アービタ方式を用いる例）
　８．移動体への応用例
　＜１．第１の実施の形態＞
　［光検出システムの構成例］
　図１は、本技術の第１の実施の形態における光検出システム１００の一構成例を示すブロック図である。この光検出システム１００は、アイトラッキングなどに利用されるシステムであり、信号処理回路１１０、ＬＥＤ（Light-Emitting Diode）ドライバ１２０、発光部１３０およびＥＶＳカメラ２００を備える。
　信号処理回路１１０は、ＥＶＳカメラ２００からのＥＶＳデータに対して所定の信号処理を行うものである。例えば、ＥＶＳデータはグリントの検出結果を含み、信号処理回路１１０は、その検出結果に基づいて、視線方向や瞳の開閉状態などを検出するための処理を行う。信号処理回路１１０として、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などの集積回路が用いられる。
　また、信号処理回路１１０は、外部同期信号ＥＳＹＮＣをＬＥＤドライバ１２０に信号線１１８を介して送信するとともに、垂直同期信号ＶＳＹＮＣをＥＶＳカメラ２００に信号線１１９を介して送信する。外部同期信号ＥＳＹＮＣは、垂直同期信号ＶＳＹＮＣに同期した信号であり、これらの同期信号により信号処理回路１１０は、マスターデバイスとして、ＬＥＤドライバ１２０およびＥＶＳカメラ２００を同期して動作させる。
　発光部１３０は、一定のパターンの照射光を人間の瞳などに照射するものである。照射光として、ＩＲ（Infra-Red）光などが用いられる。この発光部１３０内には、所定数のＬＥＤ（不図示）が配置される。これらのＬＥＤが照射する光パターンが前述の「グリント」に該当する。
　ＬＥＤドライバ１２０は、外部同期信号ＥＳＹＮＣに同期して発光部１３０からの照射光（ＩＲ光など）の輝度を制御するものである。このＬＥＤドライバ１２０は、外部同期信号ＥＳＹＮＣに同期したパルス信号ＰＬＳを生成し、発光部１３０に信号線１２９を介して供給する。このパルス信号ＰＬＳは、発光部１３０内の全てのＬＥＤで共通に用いられる。ＬＥＤのそれぞれは、例えば、パルス信号ＰＬＳがハイレベルの期間に点灯し、ローレベルの期間に消灯する。なお、後述するように、ＬＥＤドライバ１２０は、ローレベルの期間内にＬＥＤを消灯せず、ハイレベルの期間よりも低い照度で点灯させることもできる。また、ＬＥＤドライバ１２０は、特許請求の範囲に記載の発光制御部の一例である。
　ＥＶＳカメラ２００は、アドレスイベントを検出するものである。このＥＶＳカメラ２００には、複数の画素が配列される。これらの画素は、発光部１３０からの照射光に対する反射光や、それ以外の環境光を含む入射光を受光する。なお、ＥＶＳカメラ２００は、可視光カットフィルタや、発光部１３０からの光以外をカットするフィルタを用いてもよい。そして、各画素は、垂直同期信号ＶＳＹＮＣに同期して、入射光の輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出する。このアドレスイベントは、輝度の変化量が上限閾値を上回った旨を示すオンイベントと、輝度の変化量が下限閾値を下回った旨を示すオフイベントとを含む。オンイベントおよびオフイベントは、ポシティブイベントおよびネガティブイベントとも呼ばれる。
　ＥＶＳカメラ２００は、アドレスイベントの検出結果に基づいてグリントを検出し、画素ごとのグリントの検出結果を配列したデータをＥＶＳデータとして生成する。ＥＶＳデータは、信号処理回路１１０に信号線２０９を介して供給される。
　なお、ＥＶＳカメラ２００は、特許請求の範囲に記載の光検出装置の一例である。
　［ＥＶＳカメラの構成例］
　図２は、本技術の第１の実施の形態におけるＥＶＳカメラ２００の一構成例を示すブロック図である。このＥＶＳカメラ２００は、駆動部２１０、信号処理部２２０、画素アレイ部２３０、信号生成部２４０、読出し領域選択部２５０およびタイミング制御部２６０を備える。画素アレイ部２３０には、二次元格子状に所定数の画素３００が配列される。
　なお、ＥＶＳカメラ２００は、光学系や、通信回路、ＥＶＳデータを保持するメモリなどをさらに備えるが、同図において、これらは省略されている。
　駆動部２１０は、画素３００のそれぞれを駆動して、アドレスイベントの検出結果を示す検出信号を信号処理部２２０に出力させるものである。検出信号は、例えば、オンイベントの検出結果を示す１ビットとオフイベントの検出結果を示す１ビットとを含む。駆動部２１０は、行を順に走査し、その行内の画素のそれぞれに検出信号を出力させる。このように、行を順に走査する方式は、スキャン方式と呼ばれる。
　読出し領域選択部２５０は、画素アレイ部２３０の少なくとも一部を読出し領域として選択するものである。選択された読出し領域内の画素３００のみが検出信号を出力する。
　信号生成部２４０は、アドレスイベントを検出した画素のアドレス情報および極性情報（例えば、（Ｘ，Ｙ，Ｐ））を生成し、信号処理部２２０に出力するものである。なお、信号生成部２４０は、アドレス情報およびタイムスタンプ情報だけでなく、アドレスイベントの有無をフレームごとに示すフレーム形式の情報（例えば、（０，０，１，０，・・・））をさらに出力することもできる。また、信号生成部２４０は、画素アレイ部２３０全体、または、選択された範囲内の全画素について出力を行う。アドレスイベントが発生していない場合、信号生成部２４０は、その旨の出力も行う。例えば、一画素に対して２ビットを割り当て、「００」をイベント発生なしとし、「０１」をオンイベントとし、「１０」をオフイベントとし、「１１」を後述のボースイベントとする。また、信号生成部２４０は、フレーム全体に対して一つのタイムスタンプを付ける。
　信号処理部２２０は、画素ごとの検出信号に対して各種の信号処理を行うものである。例えば、信号処理部２２０は、画素ごとにグリントを検出する処理を行い、その検出結果を示すＥＶＳデータを信号処理回路１１０に供給する。
　なお、ＥＶＳカメラ２００内の信号処理部２２０の処理の一部または全てを信号処理部２２０の代わりに、外部の信号処理回路１１０で行うこともできる。
　タイミング制御部２６０は、垂直同期信号ＶＳＹＮＣに同期して、駆動部２１０、信号処理部２２０、信号生成部２４０および読出し領域選択部２５０のそれぞれの動作タイミングを制御するものである。
　［画素の構成例］
　図３は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、光電変換素子３１０、対数応答部３２０、バッファ３３０、差分検出器３４０、比較器３５０および出力回路３６０を備える。
　光電変換素子３１０は、入射光に対する光電変換により光電流を生成するものである。対数応答部３２０は、光電流を対数電圧に変換し、バッファ３３０を介して差分検出器３４０に供給するものである。
　差分検出器３４０は、対数電圧とオートゼロ時の信号との差分を検出して、比較器３５０に出力するものである。比較器３５０は、その差分と、上限閾値および下限閾値とを比較するものである。この比較器３５０は、上限閾値との比較結果を示す検出信号ＶＣＯ＋と、下限閾値との比較結果を示すＶＣＯ－とのそれぞれを出力回路３６０に供給する。
　出力回路３６０は、検出信号ＶＣＯ＋およびＶＣＯ－を保持し、駆動部２１０および読出し領域選択部２５０の制御に従って信号処理部２２０および信号生成部２４０に出力するものである。また、出力回路３６０は、オンイベントまたはオフイベントが検出された場合には、制御信号ＡＺにより差分検出器３４０を初期化する。
　図４は、本技術の第１の実施の形態における対数応答部３２０、バッファ３３０、差分検出器３４０および比較器３５０の一構成例を示す回路図である。
　対数応答部３２０は、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタ３２１、３２２、３２３および３２４と、電流源トランジスタ３２５とを備える。電流源トランジスタ３２５として、例えば、ｐＭＯＳ（p-channel MOS）トランジスタが用いられる。
　ｎＭＯＳトランジスタ３２１および３２２は、電源電圧と光電変換素子３１０との間に直列に挿入される。また、電流源トランジスタ３２５と、ｎＭＯＳトランジスタ３２３および３２４とは、電源電圧と、基準電圧（接地電圧など）との間において直列に接続される。
　また、ｎＭＯＳトランジスタ３２２のゲートは、ｎＭＯＳトランジスタ３２３および３２４の接続ノードに接続され、ｎＭＯＳトランジスタ３２４のゲートは、ｎＭＯＳトランジスタ３２２および光電変換素子３１０の接続ノードに接続される。ｎＭＯＳトランジスタ３２１のゲートは、電流源トランジスタ３２５およびｎＭＯＳトランジスタ３２３の接続ノードに接続され、ｎＭＯＳトランジスタ３２３のゲートは、ｎＭＯＳトランジスタ３２１および３２２の接続ノードに接続される。また、電流源トランジスタ３２５およびｎＭＯＳトランジスタ３２３の接続ノードは、バッファ３３０に接続される。電流源トランジスタ３２５のゲートには、所定のバイアス電圧Ｖｂｌｏｇが印加される。
　上述した回路構成により、光電変換素子３１０で生じた光電流は、対数電圧ＶＬＯＧに変換される。
　なお、ｎＭＯＳトランジスタ３２１および３２３からなるループ回路と、ｎＭＯＳトランジスタ３２２および３２４からなるループ回路との一方を削減し、ループ回路を１段にすることもできる。また、ループ回路を３段以上にすることもできる。
　バッファ３３０は、ｎＭＯＳトランジスタ３３１および３３２を備える。これらのトランジスタは、ｎＭＯＳトランジスタ３３１を電源側として、電源電圧と基準電圧（接地電圧など）との間において直列に接続される。ｎＭＯＳトランジスタ３３１のゲートには、対数電圧ＶＬＯＧが入力され、ｎＭＯＳトランジスタ３３２のゲートには、所定のバイアス電圧Ｖｂｓｆが入力される。ｎＭＯＳトランジスタ３３１および３３２の接続ノードは、差分検出器３４０に接続される。
　上述した回路構成により、バッファ３３０は、対数電圧ＶＬＯＧに応じた電圧ＶＳＦを差分検出器３４０に供給する。
　差分検出器３４０は、キャパシタ３４１および３４３と、ｎＭＯＳトランジスタ３４２および３４５と、ｐＭＯＳトランジスタ３４４とを備える。
　ｐＭＯＳトランジスタ３４４およびｎＭＯＳトランジスタ３４５は、電源電圧と基準電圧との間に直列に接続される。これらは、ｐＭＯＳトランジスタ３４４のゲートを入力端子とし、ｐＭＯＳトランジスタ３４４およびｎＭＯＳトランジスタ３４５の接続ノードを出力端子として、入力信号を反転するインバータとして機能する。このインバータの出力端子は、比較器３５０に接続される。ｎＭＯＳトランジスタ３４５のゲートには、所定のバイアス電圧Ｖｂｄｉｆｆが印加される。
　キャパシタ３４１の一端は、バッファ３３０の出力端子に接続され、他端は、インバータの入力端子（すなわち、ｐＭＯＳトランジスタ３４４のゲート）に接続される。キャパシタ３４３は、インバータに並列に接続される。ｎＭＯＳトランジスタ３４２は、キャパシタ３４３の両端を接続する経路を、出力回路３６０からの制御信号ＡＺに従って開閉するものである。
　上述の回路構成により、対数電圧に応じた電圧ＶＳＦから差分Ｖｄｉｆｆが生成される。
　比較器３５０は、ｐＭＯＳトランジスタ３５１および３５３とｎＭＯＳトランジスタ３５２および３５４とを備える。
　ｐＭＯＳトランジスタ３５１およびｎＭＯＳトランジスタ３５２は、電源電圧と基準電圧との間において直列に接続される。ｐＭＯＳトランジスタ３５３およびｎＭＯＳトランジスタ３５４も、電源電圧と基準電圧との間において直列に接続される。また、ｐＭＯＳトランジスタ３５１および３５３のゲートは、差分検出器３４０の出力端子に接続される。ｎＭＯＳトランジスタ３５２のゲートには上限閾値を示すバイアス電圧Ｖｔｈ＋が印加され、ｎＭＯＳトランジスタ３５４のゲートには下限閾値を示すバイアス電圧Ｖｔｈ－が印加される。
　ｐＭＯＳトランジスタ３５１およびｎＭＯＳトランジスタ３５２の接続ノードは、出力回路３６０に接続され、この接続ノードの電圧が、オンイベントの有無を示す検出信号ＶＣＯ＋として出力される。ｐＭＯＳトランジスタ３５３およびｎＭＯＳトランジスタ３５４の接続ノードも、出力回路３６０に接続され、この接続ノードの電圧が、オフイベントの有無を示す検出信号ＶＣＯ－として出力される。
　上述の回路構成により、差分Ｖｄｉｆｆが上限閾値を超えた場合に比較器３５０は、ハイレベルの検出信号ＶＣＯ＋を出力し、差分Ｖｄｉｆｆが下限閾値を下回った場合にローレベルの検出信号ＶＣＯ－を出力する。
　［光検出システムの動作例］
　図５は、本技術の第１の実施の形態における光検出システム１００の動作の一例を示すタイミングチャートである。眼球は、静止状態であるものとする。以降のタイミングチャートについても同様である。信号処理回路１１０は、タイミングＴ１、Ｔ３、Ｔ５およびＴ７などで立ち上がる垂直同期信号ＶＳＹＮＣをＥＶＳカメラ２００に供給する。
　ＥＶＳカメラ２００は、垂直同期信号ＶＳＹＮＣに同期して、アドレスイベントを検出する。例えば、タイミングＴ１の直後のタイミングＴ１０からＴ１１までの検出期間内に全画素は、オンイベントまたはオフイベントを検出し、それらの検出結果を保持する。以降においても、垂直同期信号ＶＳＹＮＣの周期が経過するたびにアドレスイベントが検出される。
　タイミングＴ１１からＴ２までの条件付きリセット期間内に、アドレスイベントが検出された場合には、画素内の出力回路３６０が制御信号ＡＺにより差分検出器３４０を初期化する。一方、アドレスイベントが検出されなかった場合、差分検出器３４０は初期化されない。
　そして、タイミングＴ２からＴ２１までの読出し期間内に駆動部２１０は、行を順に走査し、検出信号を出力させる。
　また、信号処理回路１１０は、タイミングＴ０、Ｔ４などで立ち上がる外部同期信号ＥＳＹＮＣをＬＥＤドライバ１２０に供給する。
　ＬＥＤドライバ１２０は、タイミングＴ０からＴ２までのオフパルス期間内に、パルス信号ＰＬＳをＶＯＦＦにしてＬＥＤを消灯する。このオフパルス期間は、アドレスイベントの検出期間を含む。また、オフパルス期間のパルス幅は、グリントを受光した画素のみでアドレスイベントが生じるような値に調整される。
　そして、ＬＥＤドライバ１２０は、タイミングＴ２から、次のオフパルス期間の開始時のタイミングＴ４までの期間内にパルス信号ＰＬＳをＶＯＦＦより高くしてＬＥＤを点灯させる。
　同図において、ＶＬＯＧ１は、ＬＥＤからの一定パターンの照射光に対する反射光（言い換えれば、グリント）を受光した画素の対数電圧を示し、ＶＬＯＧ２は、そのグリントを受光しない画素の対数電圧を示す。
　タイミングＴ１以降にＬＥＤが消灯するため、対数電圧ＶＬＯＧ１は低下し、タイミングＴ２以降にＬＥＤが点灯するため、対数電圧ＶＬＯＧ１が上昇する。一方、対数電圧ＶＬＯＧ２は、レベルの変化が乏しい。
　対数電圧ＶＬＯＧ１の変化量が下限閾値を下回ると、グリントを受光した画素でタイミングＴ１の直後の検出期間内にオフイベントが検出される。
　また、タイミングＴ２以降において対数電圧ＶＬＯＧ１の変化量が上限閾値を上回ると、グリントを受光した画素でタイミングＴ３の直後の検出期間内にオンイベントが検出される。同図において、丸印は、オンイベントまたはオフイベントの検出タイミングを示す。
　同図に例示したように外部同期信号ＥＳＹＮＣの周波数は、垂直同期信号ＶＳＹＮＣの半分に設定される。このため、ＬＥＤドライバ１２０は、オフパルス期間に亘ってＬＥＤを消灯させ、そのオフパルス期間経過後に垂直同期信号ＶＳＹＮＣの２周期近くに亘ってＬＥＤを点灯させる制御を繰り返す。
　ここで、グリントを受光した画素内の光電変換素子３１０には、グリントを受光していない画素よりも多くの電流が流れる。したがって、その後段の対数応答部３２０にも多くの電流が流れて帯域が広くなり、電流の変化に対する対数電圧ＶＬＯＧ１の反応速度が速くなる。同図の制御では、ＬＥＤが点灯する期間よりも消灯するオフパルス期間の方が短いため、反応速度の速い対数応答部３２０の出力の微分値のみが閾値を跨ぐ。このため、オフパルス期間内に、グリントを受光した画素のみが反応し、オフイベントが生じる。そして、次の検出期間ではＬＥＤが消灯されないため、対数電圧ＶＬＯＧ１が元に戻り、グリントを受光した画素ではオンイベントが生じる。
　一方、グリントを受光していない画素では、ＬＥＤの変調による対数電圧ＶＬＯＧ２の反応速度が遅いため、ＬＥＤの変調によるアドレスイベントが検出されない。言い換えると後述のグローバルイベントは発生しない。しかし、眼球が動くと、瞳孔のエッジの画素が従来通りアドレスイベントを発生させる。後段の信号処理部２２０は、アドレスイベントに生じた画素の座標をグリントの座標として検出する。
　なお、図６に例示するように、パルス信号ＰＬＳの波形を反転させることもできる。この場合、ＬＥＤドライバ１２０は、タイミングＴ０からＴ２などのオンパルス期間に亘ってＬＥＤを点灯させ、そのオンパルス期間経過後に垂直同期信号ＶＳＹＮＣの２周期近くに亘ってＬＥＤを消灯させる制御を繰り返す。
　同図の制御によれば、ＬＥＤが消灯する期間よりも点灯するオンパルス期間の方が短くなるため、消費電力を低減することができる。また、対数応答部３２０が帯域の狭い領域で動作するため、グリントのみを用いたアイトラッキングを行う場合に有利な効果をもたらす。
　図５および図６に例示したように、ＬＥＤドライバ１２０は、所定のパルス期間内に発光部１３０の状態を点灯または消灯の一方に制御し、そのパルス期間外に発光部１３０の状態を点灯または消灯の他方に制御する。
　また、図７に例示するように、ＬＥＤドライバ１２０は、ＬＥＤを消灯せずに点灯させた状態で、その輝度を垂直同期信号ＶＳＹＮＣに同期して制御することもできる。
　例えば、ＬＥＤドライバ１２０は、タイミングＴ０からＴ２までなどのパルス期間内に、パルス信号ＰＬＳのレベルをＶＯＦＦより高いＶＯＮ＿Ｈに制御し、その期間外にパルス信号ＰＬＳのレベルをＶＯＦＦとＶＯＮ＿Ｈとの間のＶＯＮ＿Ｌに制御する。ＶＯＮ＿Ｌは、瞳孔検出に必要なレベル以上の値であるものとする。この制御により、パルス期間内に、ＬＥＤの輝度が高くなり、そのパルス期間外にＬＥＤの輝度が低くなる。ＬＥＤを消灯せずに、瞳孔検出に必要なレベルまで照度を下げることにより、対数応答部３２０を、より広い帯域で動作させることができる。
　なお、ＬＥＤドライバ１２０は、パルス期間内にパルス信号ＰＬＳのレベルをＶＯＮ＿Ｌに制御し、その期間外にＶＯＮ＿Ｈに制御することもできる。
　ここで、発光部１３０内のＬＥＤが一定の輝度で点灯し続ける構成を比較例として想定する。
　図８は、比較例における光検出システムの動作の一例を示すタイミングチャートである。比較例においてＬＥＤドライバ１２０は、ＶＯＦＦより高い一定レベルのパルス信号ＰＬＳにより、ＬＥＤをＤＣ（Direct Current）発光させる。
　この比較例では、次の問題がある。１つ目は、グリントを受光した画素においても対数電圧ＶＬＯＧ１が殆ど変化せず、画素はアドレスイベントを検出することができないことである。
　２つ目は、グリント自体の大きさが小さいため、グリントのエッジの大きさも小さく、グリントのエッジに相当するイベント数も瞳孔に比べ少なくなり、その結果、グリントの検出が困難なことである。
　３つ目は、グリントによるアドレスイベントの発生が少ないため、ノイズ処理を行う際に、その検出結果が消えてしまうことである。
　４つ目は、アドレスイベント検出、または、フレームの積算や蓄積を行う場合、グリントによるアドレスイベントか、瞳孔によるアドレスイベントかを区別しなければならず、そのための処理が困難なことである。
　５つ目は、眼球が静止している場合、グリントを受光した画素でアドレスイベントが生じず、アイトラッキングができなくなることである。
　６つ目は、ＬＥＤドライバ１２０がＬＥＤをＤＣ発光させているため、点滅させる場合と比較して消費電力が多くなることである。
　７つ目は、グリント等のエッジに関係なく、全面的に発生するアドレスイベントであるグローバルイベントが生じないように、一対のＬＥＤを交互に発光させてアイトラッキングを行うことも考えられるが、ＬＥＤの個数が２倍となりコストが高くなることである。例えば、一般的なアイトラッキングでは、瞳孔のエッジ検出を用いた瞳孔検出とグリントのエッジ検出を用いたグリントの検出との両方使って視線検出を行っている。このようなシステムで、隣接に置かれた二つのＬＥＤを交互にオンオフすると、それぞれに対応したＧｌｉｎｔだけがローカルにイベントを発生するが、眼の全体を見ると照度が変わらないのでグローバルイベントが発生しなくなる。
　８つ目は、一対のＬＥＤを交互に発光させる場合、グリントによるアドレスイベントが多くなるため、瞳孔を検出するアルゴリズムの計算精度に影響しないように、マスク処理などの複雑な対策が必要なことである。
　これに対して、図５から図７に例示した制御では、ＬＥＤドライバ１２０が、垂直同期信号ＶＳＹＮＣに同期した外部同期信号ＥＳＹＮＣに同期してＬＥＤの輝度を制御するため、グリントを受光した画素において対数電圧ＶＬＯＧ１が変化する。これにより、眼球が動かなくてもＥＶＳカメラ２００はグリントを検出することができ、グリントの検出精度を向上させることができる。
　また、ＬＥＤドライバ１２０がＬＥＤを点滅させるため、比較例よりも消費電力が低減する。
　さらに、照射光を変調しているが、グリントを受光しない画素の対数電圧の帯域が狭く、反応速度が遅い。このため、ＬＥＤを高速でオンオフする際に、その画素の対数応答部３２０の出力が付いていけず、変調によるアドレスイベントが生じなくなる。これにより、グローバルイベントが発生しなくなる。
　したがって、１つ目から８つ目までの課題を全て解決することができる。
　このように、本技術の第１の実施の形態によれば、ＬＥＤドライバ１２０が、垂直同期信号ＶＳＹＮＣに同期した外部同期信号ＥＳＹＮＣに同期してＬＥＤの輝度を制御するため、グリントの検出精度を向上させることができる。
　［第１の変形例］
　上述の第１の実施の形態では、信号処理回路１１０が外部同期信号ＥＳＹＮＣを生成してＬＥＤドライバ１２０に供給していたが、この構成に限定されない。この第１の実施の形態の第１の変形例における光検出システム１００は、ＥＶＳカメラ２００が外部同期信号ＥＳＹＮＣを生成してＬＥＤドライバ１２０に供給する点において第１の実施の形態と異なる。
　図９は、本技術の第１の実施の形態の第１の変形例における光検出システム１００の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例において信号処理回路１１０は、外部同期信号ＥＳＹＮＣを生成しない。その代わりにＥＶＳカメラ２００が、垂直同期信号ＶＳＹＮＣに同期して外部同期信号ＥＳＹＮＣを生成し、ＬＥＤドライバ１２０に供給する。例えば、図２におけるタイミング制御部２６０が、外部同期信号ＥＳＹＮＣを生成する。
　このように、本技術の第１の実施の形態の第１の変形例によれば、ＥＶＳカメラ２００が、垂直同期信号ＶＳＹＮＣに同期して外部同期信号ＥＳＹＮＣを生成するため、信号処理回路１１０は、外部同期信号ＥＳＹＮＣを生成する必要が無くなる。
　［第２の変形例］
　上述の第１の実施の形態では、信号処理回路１１０が垂直同期信号ＶＳＹＮＣを生成してＥＶＳカメラ２００に供給していたが、この構成に限定されない。この第１の実施の形態の第２の変形例における光検出システム１００は、ＬＥＤドライバ１２０が垂直同期信号ＶＳＹＮＣを生成してＥＶＳカメラ２００に供給する点において第１の実施の形態と異なる。
　図１０は、本技術の第１の実施の形態の第２の変形例における光検出システム１００の一構成例を示すブロック図である。この第１の実施の形態の第２の変形例において信号処理回路１１０は、垂直同期信号ＶＳＹＮＣを生成しない。その代わりにＬＥＤドライバ１２０が、外部同期信号ＥＳＹＮＣに同期して垂直同期信号ＶＳＹＮＣを生成し、ＥＶＳカメラ２００に供給する。
　このように、本技術の第１の実施の形態の第２の変形例によれば、ＬＥＤドライバ１２０が、外部同期信号ＥＳＹＮＣに同期して垂直同期信号ＶＳＹＮＣを生成するため、信号処理回路１１０が垂直同期信号ＶＳＹＮＣを生成する必要が無くなる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、ＥＶＳカメラ２００は、検出期間内にオンイベントおよびオフイベントの一方を検出していたが、これらを時分割で順番に検出することもできる。この第２の実施の形態におけるＥＶＳカメラ２００は、オンイベントおよびオフイベントを時分割で順番に検出する点において第１の実施の形態と異なる。
　図１１は、本技術の第２の実施の形態における対数応答部３２０、バッファ３３０、差分検出器３４０および比較器３５０の一構成例を示す回路図である。第２の実施の形態における差分検出器３４０は、キャパシタ３４３を備えず、セレクタ３４６をさらに備える点において第１の実施の形態と異なる。また、比較器３５０は、ｐＭＯＳトランジスタ３５３およびｎＭＯＳトランジスタ３５４を備えず、ｎＭＯＳトランジスタ３５２のゲートには所定のバイアス電圧Ｖｔｈが印加される。
　セレクタ３４６は、駆動部２１０からの制御信号ＳＷに従って、バイアス電圧ＶＡＺ、Ｖｔｈ＋およびＶｔｈ－のいずれかを選択し、ｎＭＯＳトランジスタ３４５のゲートに供給するものである。バイアス電圧ＶＡＺは、条件付きリセット期間内に選択される電圧である。この条件付きリセット期間内に、キャパシタ３４１に、所定の基準値が保持される。
　また、バイアス電圧Ｖｔｈ＋は上限閾値を示し、バイアス電圧Ｖｔｈ－は下限閾値を示す。駆動部２１０は、垂直同期信号ＶＳＹＮＣの周期が経過するたびにオンイベントおよびオフイベントのそれぞれの検出期間を設定する。
　オンイベントの検出期間内に駆動部２１０はセレクタ３４６を制御してバイアス電圧Ｖｔｈ＋を選択させる。これにより、差分検出器３４０は、差分が上限閾値を上回るか否かを判定し、比較器３５０は、オンイベントの検出信号ＶＣＯ＋を出力する。
　また、オフイベントの検出期間内に駆動部２１０はセレクタ３４６を制御してバイアス電圧Ｖｔｈ－を選択させる。これにより、差分検出器３４０は、差分が下限閾値を下回るか否かを判定し、比較器３５０は、オフイベントの検出信号ＶＣＯ－を出力する。
　同図に例示した回路構成により、オンイベントおよびオフイベントを時分割で順番に検出する方式を以下、「時分割方式」と称する。
　図１２は、本技術の第２の実施の形態における光検出システム１００の動作の一例を示すタイミングチャートである。垂直同期信号ＶＳＹＮＣの立上りのタイミングＴ１の直後のタイミングＴ１０からＴ１１までにオンイベント検出期間が設定され、この期間内に画素は、オンイベントを検出する。タイミングＴ１１からＴ２までに条件付きリセット期間が設定され、オンイベントが検出されると、その期間内に差分検出器３４０が初期化される。タイミングＴ２からＴ２０までの間に行が順に走査される。
　そして、タイミングＴ２０からＴ２１までにオフイベント検出期間が設定され、この期間内に画素は、オフイベントを検出する。タイミングＴ２１からＴ３までに条件付きリセット期間が設定され、オフイベントが検出されると、その期間内に差分検出器３４０が初期化される。タイミングＴ３以降に行が順に走査される。
　ＬＥＤドライバ１２０は、タイミングＴ２からＴ３までのオフパルス期間内にパルス信号ＰＬＳによりＬＥＤを消灯させる。このオフパルス期間は、タイミングＴ１の直後のオンイベント検出期間およびオフイベント検出期間のうちオフイベント検出期間のみを含む。オフパルス期間内に対数電圧ＶＬＯＧ１が低下するため、オフイベント検出期間内に、グリントに対応する画素は、オフイベントを検出する。
　そして、ＬＥＤドライバ１２０は、タイミングＴ３からＴ６までの期間内にパルス信号ＰＬＳによりＬＥＤを点灯させる。この期間は、タイミングＴ４の直後のオンイベント検出期間およびオフイベント検出期間と、タイミングＴ５の直後のオンイベント検出期間とを含む。対数電圧ＶＬＯＧ１が上昇するため、タイミングＴ４の直後のオンイベント検出期間内に、グリントに対応する画素は、オンイベントを検出する。
　タイミングＴ５以降は、タイミングＴ１からＴ５の直前までの制御が繰り返し実行される。
　なお、タイミングＴ１直後のオンイベント検出期間およびオフイベント検出期間は、特許請求の範囲に記載の第１オンイベント検出期間および第１オフイベント検出期間の一例である。タイミングＴ４直後のオンイベント検出期間およびオフイベント検出期間は、特許請求の範囲に記載の第２オンイベント検出期間および第２オフイベント検出期間の一例である。
　同図に例示するように、ＬＥＤドライバ１２０は、オフイベント検出期間のみを含むオフパルス期間内にＬＥＤを消灯させ、そのパルス期間外にＬＥＤを点灯させる。この制御により、グリントを受光する画素は、オンイベントおよびオフイベントを交互に検出する。一方で、グリントを受光しない画素では、ＬＥＤのオンオフによるアドレスイベントは発生しない。但し、もし、眼球が動いた場合、通常通り、瞳孔のエッジ等のエッジの箇所ではアドレスイベントが発生する。後段の信号処理部２２０は、オンイベントおよびオフイベントが交互に生じた画素の座標をグリントの座標として検出する。
　なお、同図では、パルス信号ＰＬＳの立上りをタイミングＴ２と同時にしているが、このタイミングＴ２より前であってもよい。この場合であっても、タイミングＴ１０からＴ１１は、オンイベントの検出期間であり、パルス信号ＰＬＳの立下りによりＬＥＤが消灯するため、オンイベントは発生しない。また、パルス信号ＰＬＳの立下りをタイミングＴ３と同時にしているが、タイミングＴ４直後のオンイベント検出期間までに対数電圧ＶＬＯＧ１が上限閾値を上回ればよいため、タイミングＴ３の後であってもよい。
　図１３は、本技術の第２の実施の形態におけるＥＶＳデータの一例を示す図である。同図におけるａは、疑似眼球が静止している場合のＥＶＳデータの一例を示し、同図におけるｂは、疑似眼球が動いている場合のＥＶＳデータの一例を示す。
　疑似眼球に対して発光部１３０内のＬＥＤが一定パターンの照射光（ＩＲ光など）を照射し、その反射光をグリントとしてＥＶＳカメラ２００が受光したものとする。疑似眼球に照射光を照射すると、反射光（グリント）になる点が、それ以外の箇所よりも明るくなる。したがって、その疑似眼球をＥＶＳカメラ２００で撮影すると、グリントを受光する画素の光量が、グリントを受光しない画素よりも多くなる。
　光量が増大するとグリントを受光する画素内の光電変換素子３１０に流れる電流が多くなり、その後段の対数応答部３２０に流れる電流も多くなる。電流が多いほど、対数応答部３２０の帯域が広くなり、応答速度も速くなる。このため、グリントを受光する画素の応答速度は、グリントを受光しない画素よりも早くなる。
　例えば、同図におけるａに例示するように、４点からなるグリントが用いられる。これらの４点の画素で応答速度が速くなり、オンイベントおよびオフイベントが交互に検出される。一方、グリントを受光しない画素では、応答速度が遅いため、アドレスイベントが殆ど検出されない。したがって、グローバルイベントが生じず、ＥＶＳカメラ２００は、グリントのみを高精度で検出することができ、光検出システム１００は、その検出結果を用いてアイトラッキングを行うことができる。
　また、同図におけるｂに例示するように、疑似眼球が動いている場合も、グローバルイベントは生じず、グリントに対応する４点でオンイベントおよびオフイベントが交互に検出される。そして、瞳孔のエッジでも従来通りイベントが発生しており、そのエッジの画素で検出することができる。このため、ＥＶＳカメラ２００は、アドレスイベントの検出信号に基づいてグリントを高精度で検出することができる。グリントのエッジに対応する画素でなく、グリント自体に対応する画素がアドレスイベントを発生させるため、イベント密度が高くなり、信号処理回路１１０は、フレーム積算しなくてもアイトラッキングを行うことができる。
　また、瞳孔のエッジに対応する画素と比較して、グリントに対応する画素ではイベント密度が高いため、瞳孔のエッジとイベントとを区別しやすくなる。なお、瞳孔のエッジに対応する画素よりも、グリントに対応する画素のイベント密度が高いため、それらの干渉が懸念されるが、IＲ光を照射するＬＥＤをペアで使用する場合よりは干渉が少なくなる。
　なお、第２の実施の形態に、第１の実施の形態の第１、第２の変形例を適用することができる。
　このように、本技術の第２の実施の形態によれば、ＬＥＤドライバ１２０が、オフイベント検出期間を含むオフパルス期間内にＬＥＤを消灯させるため、時分割方式を用いる場合に光検出システム１００は、グリントを高精度で検出することができる。
　［変形例］
　上述の第２の実施の形態では、ＬＥＤドライバ１２０は、オフパルス期間内にＬＥＤを消灯させていたが、消費電力をさらに低減することが好ましい。この第２の実施の形態の変形例におけるＬＥＤドライバ１２０は、パルス信号ＰＬＳの波形を反転させた点において第２の実施の形態と異なる。
　図１４は、本技術の第２の実施の形態の変形例における光検出システム１００の動作の一例を示すタイミングチャートである。この第２の実施の形態の変形例において、ＬＥＤドライバ１２０は、タイミングＴ２からＴ３などのオンパルス期間に亘ってＬＥＤを点灯させ、そのオンパルス期間経過後に垂直同期信号ＶＳＹＮＣの２周期近くに亘ってＬＥＤを消灯させる制御を繰り返す。また、タイミングＴ１などの垂直同期信号の立上りの直後に、最初にオフイベント検出期間が設定され、次にオンイベント検出期間が設定される。オンパルス期間は、これらの検出期間のうちオンイベント検出期間のみを含む。
　同図の制御によれば、ＬＥＤが消灯する期間よりも点灯するオンパルス期間の方が短くなるため、第２の実施の形態と比較して消費電力を低減することができる。
　同図では、パルス信号ＰＬＳの立上りをタイミングＴ２と同時にしているが、このタイミングＴ２より前であってもよい。この場合であっても、タイミングＴ１０からＴ１１は、オフイベントの検出期間であり、パルス信号ＰＬＳの立上りによりＬＥＤが点灯するため、オフイベントは発生しない。また、パルス信号ＰＬＳの立下りをタイミングＴ３と同時にしているが、タイミングＴ４直後のオフイベント検出期間までに対数電圧ＶＬＯＧ１が下限閾値を下回ればよいため、タイミングＴ３の後であってもよい。
　なお、第２の実施の形態の変形例に、第１の実施の形態の第１、第２の変形例を適用することができる。
　このように、本技術の第２の実施の形態の変形例によれば、ＬＥＤドライバ１２０が、オンイベント検出期間を含むオンパルス期間内にＬＥＤを点灯させるため、消費電力を低減することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、画素のそれぞれは、オンイベントおよびオフイベントを交互に検出していたが、グリントの検出精度をさらに向上させることが好ましい。この第３の実施の形態における光検出システム１００は、垂直同期信号ＶＳＹＮＣの周期内にオンイベントおよびオフイベントの両方が検出された旨をボースイベントとして検出する点において第２の実施の形態と異なる。
　図１５は、本技術の第３の実施の形態における光検出システム１００の動作の一例を示すタイミングチャートである。この第３の実施の形態において、ＬＥＤドライバ１２０は、垂直同期信号ＶＳＹＮＣの周期が経過するたびにＬＥＤを点滅させる。
　例えば、垂直同期信号ＶＳＹＮＣの立上りのタイミングＴ１の直後に、オンイベント検出期間およびオフイベント検出期間が順に設定される。それらの検出期間のうちオフイベント検出期間のみを含むタイミングＴ２からＴ４までの期間内にＬＥＤドライバ１２０はＬＥＤを消灯させる。
　そして、次の垂直同期信号ＶＳＹＮＣの立上りのタイミングＴ５の直後に、オンイベント検出期間およびオフイベント検出期間が順に設定される。それらの検出期間のうちオンイベント検出期間のみを含むタイミングＴ４からＴ６までのオンパルス期間内にＬＥＤドライバ１２０はＬＥＤを点灯させる。タイミングＴ６以降において、同様の制御が繰り返し実行される。
　グリントを受光する画素は、ＬＥＤが消灯する期間内に対数電圧ＶＬＯＧ１が低下するため、オフイベントを検出する。また、その画素は、ＬＥＤが点灯するオンパルス期間内に対数電圧ＶＬＯＧ１が上昇するため、オンイベントを検出する。このように、グリントを受光する画素では、垂直同期信号ＶＳＹＮＣの周期内にオンイベントおよびオフイベントの両方が検出される。一方、グリントを受光しない画素では、対数電圧ＶＬＯＧ２の変化が乏しいため、アドレスイベントが殆ど検出されない。
　また、同図に例示した制御では、第２の実施の形態と比較してＬＥＤの点灯期間が短いため、消費電力を低減することができる。
　図１６は、本技術の第３の実施の形態におけるＥＶＳカメラ２００内の信号処理部２２０の一構成例を示す回路図である。この信号処理部２２０は、切替制御部２２１、セレクタ２２２、フリップフロップ２２３、インバータ２２４、ＡＮＤ（論理積）ゲート２２５および後段処理部２２６を備える。これらのうち、セレクタ２２２、フリップフロップ２２３、インバータ２２４およびＡＮＤゲート２２５のそれぞれは、画素アレイ部２３０の列ごとに配置されるが、記載の便宜上、同図では、１列分のみ表記している。
　切替制御部２２１は、垂直同期信号ＶＳＹＮＣに同期してセレクタ２２２を制御し、その出力先を切り替えるものである。セレクタ２２２には、対応する列の画素３００からの検出信号ＶＣＯ＋およびＶＣＯ－が順に入力される。検出信号ＶＣＯ＋が入力される期間内に切替制御部２２１は、セレクタ２２２を制御して、その信号をフリップフロップ２２３に出力させる。また、検出信号ＶＣＯ－が入力される期間内に切替制御部２２１は、セレクタ２２２を制御して、その信号をインバータ２２４に出力させる。
　フリップフロップ２２３は、垂直同期信号ＶＳＹＮＣに同期して、検出信号ＶＣＯ＋を保持し、その信号をＡＮＤゲート２２５に出力するものである。インバータ２２４は、検出信号ＶＣＯ－を反転し、ＡＮＤゲート２２５に出力するものである。ＡＮＤゲート２２５は、検出信号ＶＣＯ＋と、検出信号ＶＣＯ－の反転信号との論理積を検出信号ＶＣＯｂとして後段処理部２２６に出力するものである。
　ここで、垂直同期信号ＶＳＹＮＣの周期内にオンイベントおよびオフイベントが検出された旨を「ボースイベント」と称する。検出信号ＶＣＯｂは、ボースイベントが検出された場合にハイレベルとなり、ボースイベントが検出されない場合にローレベルとなる。
　後段処理部２２６は、ボースイベントが生じた画素の座標をグリントの座標として検出し、グリントの検出結果を示すＥＶＳデータを生成するものである。ＥＶＳデータは、ＥＶＳカメラ２００の外部の信号処理回路１１０へ送信される。
　なお、信号処理部２２０は、ボースイベントを検出することができるものであれば、同図に例示した構成に限定されない。
　また、ＥＶＳカメラ２００内の信号処理部２２０でボースイベントを検出しているが、その代わりに、ＥＶＳカメラ２００の外部の信号処理回路１１０がボースイベントを検出することもできる。
　図１７は、比較例における疑似眼球が静止しているときと動いているときとのＥＶＳデータの一例を示す図である。同図におけるａおよびｂは、ＬＥＤがＤＣ発光する比較例における疑似眼球が静止しているときのＥＶＳデータを示し、同図におけるｃおよびｄは、比較例における疑似眼球が動いているときのＥＶＳデータを示す。例えば、４点からなるグリントが用いられるものとする。同図におけるａおよびｃにおいて、灰色はオンイベントを示し、黒色はオフイベントを示す。
　同図におけるａに例示するように、比較例では、疑似眼球が静止している場合、瞳孔のエッジの画素においてオンイベントおよびオフイベントが発生しないため、瞳孔の検出が不可能である。また、グリントを受光した画素、または、エッジの画素において、オンイベントおよびオフイベントが発生しないため、グリントの検出が不可能である。また、同図におけるｂに例示するように比較例では、疑似眼球が静止しているときにボースイベントが発生しない。また、ＬＥＤをＤＣ電流で駆動させているため、グローバルイベントは発生しない。
　同図におけるｃに例示するように、比較例では、疑似眼球が動いている場合、瞳孔のエッジの画素でオンイベントおよびオフイベントが発生する。このため、瞳孔の検出が可能である。また、グリントのエッジの画素においてもアドレスイベントが発生し、そのイベント数は少なく、密度も低い。このため、グリントの検出が可能であるものの、検出精度を上げるためにはフレームの積算や蓄積が必要となる。同図におけるｄに例示するように比較例では、疑似眼球が動いていてもボースイベントは発生しない。また、ＬＥＤをＤＣ電流で駆動させているため、グローバルイベントは発生しない。
　図１８は、本技術の第２の実施の形態における疑似眼球が静止しているときと動いているときとのＥＶＳデータの一例を示す図である。同図におけるａおよびｂは、第２の実施の形態における疑似眼球が静止しているときのＥＶＳデータを示し、同図におけるｃおよびｄは、第２の実施の形態における疑似眼球が動いているときのＥＶＳデータを示す。例えば、４点からなるグリントが用いられるものとする。同図におけるａおよびｃにおいて、灰色はオンイベントを示し、黒色はオフイベントを示す。
　同図におけるａに例示するように、第２の実施の形態では、眼球が静止している場合、瞳孔のエッジの画素でオンイベントおよびオフイベントが発生しないため、比較例と同様に瞳孔の検出が不可能である。また、グリントを検出した、ほぼ全ての画素でオンイベントまたはオフイベントが発生するため、イベント数が多く、密度は高い。このため、フレームの積算や蓄積を行わなくても、高精度なグリントの検出が可能である。また、同図におけるｂに例示するように、第２の実施の形態では、疑似眼球が静止しているときにボースイベントは発生しない。また、ＬＥＤを点灯、消灯させているが、垂直同期信号ＶＳＹＮＣに同期したパルス信号ＰＬＳを用いているため、グローバルイベントは発生しない。
　同図におけるｃに例示するように、第２の実施の形態では、疑似眼球が動いている場合、瞳孔のエッジの画素でオンイベントおよびオフイベントが発生する。このため、比較例と同様に瞳孔の検出が可能である。また、グリントを検出した、ほぼ全ての画素でオンイベントまたはオフイベントが発生するため、イベント数が多く、密度は高い。このため、フレームの積算や蓄積を行わなくても、高精度なグリントの検出が可能である。また、同図におけるｄに例示するように、第２の実施の形態では、疑似眼球が動いていてもボースイベントは発生しない。また、ＬＥＤを点灯、消灯させているが、垂直同期信号ＶＳＹＮＣに同期したパルス信号ＰＬＳを用いているため、グローバルイベントは発生しない。
　図１９は、本技術の第３の実施の形態における疑似眼球が静止しているときと動いているときとのＥＶＳデータの一例を示す図である。同図におけるａおよびｂは、第３の実施の形態における眼球が静止しているときのＥＶＳデータを示し、同図におけるｃおよびｄは、第３の実施の形態における眼球が動いているときのＥＶＳデータを示す。例えば、４点からなるグリントが用いられるものとする。同図におけるａおよびｃにおいて、灰色はオンイベントを示し、黒色はオフイベントを示す。同図におけるｂおよびｄにおいて、黒色はボースイベントを示す。
　同図におけるａに例示するように、第３の実施の形態では、眼球が静止している場合、瞳孔のエッジの画素でオンイベントおよびオフイベントが発生しないため、比較例や第２の実施の形態と同様に瞳孔の検出が不可能である。一方、同図におけるｂに例示するように、グリントを検出した、ほぼ全ての画素でボースイベントが発生するため、イベント数が多く、密度は高い。このため、フレームの積算や蓄積を行わなくても、高精度なグリントの検出が可能である。また、ＬＥＤを点灯、消灯させているが、垂直同期信号ＶＳＹＮＣに同期したパルス信号ＰＬＳを用いているため、グローバルイベントは発生しない。
　同図におけるｃに例示するように、第３の実施の形態では、眼球が動いている場合、瞳孔のエッジの画素でオンイベントおよびオフイベントが発生する。このため、比較例や第２の実施の形態と同様に瞳孔の検出が可能である。また、グリントのエッジの画素でもオンイベントおよびオフイベントが発生しているが、ボースイベントの座標を用いて、簡単にマスキングおよび削除が可能であるため、瞳孔の検出精度が向上する。また、同図におけるｄに例示するように、眼球が動いている場合、グリントを検出した、ほぼ全ての画素でボースイベントが発生するため、イベント数が多く、密度は高い。このため、フレームの積算や蓄積を行わなくても、高精度なグリントの検出が可能である。また、グリントはボースイベントとして現れるため、オンイベントやオフイベントとして現れる瞳孔のエッジと干渉せず、瞳孔の検出精度が向上する。また、ＬＥＤを点灯、消灯させているが、垂直同期信号ＶＳＹＮＣに同期したパルス信号ＰＬＳを用いているため、グローバルイベントは発生しない。
　図２０は、本技術の第３の実施の形態における疑似眼球が静止しているときと動いているときとのグリントのパターンの異なるＥＶＳデータの一例を示す図である。同図におけるａおよびｂは、第３の実施の形態における疑似眼球が静止しているときのＥＶＳデータの一例であり、同図におけるｃおよびｄは、第３の実施の形態における疑似眼球が動いているときのＥＶＳデータの一例である。例えば、８点からなるグリントが用いられるものとする。同図におけるａおよびｃにおいて、灰色はオンイベントを示し、黒色はオフイベントを示す。同図におけるｂおよびｄにおいて、黒色はボースイベントを示す。
　図２０に例示するように、グリントを８点とした際においても同様の結果が得られる。光検出システムは、照度が高い状況でも問題なく、グリントを検出することができる。
　なお、第３の実施の形態に、第１の実施の形態の第１、第２の変形例を適用することができる。
　このように、本技術の第３の実施の形態によれば、ＥＶＳカメラ２００がボースイベントを検出するため、グリントの検出精度をさらに向上させることができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、ＬＥＤドライバ１２０は、発光部１３０内の複数のＬＥＤに同一のパルス信号ＰＬＳを送信していたが、この構成では、ＬＥＤのそれぞれの反射光を区別することが困難である。この第４の実施の形態におけるＬＥＤドライバ１２０は、ＬＥＤごとに異なる波形のパルス信号を送信する点において第１の実施の形態と異なる。
　図２１は、本技術の第４の実施の形態における光検出システム１００の一構成例を示すブロック図である。この第４の実施の形態において、発光部１３０内には、ＬＥＤ１３１および１３２などの複数のＬＥＤが配置される。ＬＥＤドライバ１２０は、ＬＥＤごとに異なる波形のパルス信号を生成して送信する。例えば、ＬＥＤ１３１にはパルス信号ＰＬＳ１が送信され、ＬＥＤ１３２にはパルス信号ＰＬＳ２が送信される。
　図２２は、本技術の第４の実施の形態における光検出システムの動作の一例を示すタイミングチャートである。Ｎ（Ｎは、整数）個のＬＥＤが配置されるものとし、ｎ（ｎは、１からＮの整数）個目のＬＥＤに送信されるパルス信号をＰＬＳｎとする。
　Ｎ個のＬＥＤのそれぞれの発光パターンは異なる。ＬＥＤごとに、変調期間およびＤＣ発光期間が設定されるが、それらの開始や終了のタイミングが異なる。同図において白抜きの部分は、ＤＣ発光期間を示し、灰色の部分は変調期間を示す。例えば、パルス信号ＰＬＳ１には、タイミングＴ１からＴ３までに変調期間が設定され、タイミングＴ３からＴ５までにＤＣ発光期間が設定される。パルス信号ＰＬＳ２には、タイミングＴ１からＴ４までに変調期間が設定され、タイミングＴ４からＴ６までにＤＣ発光期間が設定される。パルス信号ＰＬＳＮには、タイミングＴ１からＴ２までにＤＣ発光期間が設定され、タイミングＴ２からＴ７までに変調期間が設定される。
　ＬＥＤドライバ１２０は、変調期間内に垂直同期信号ＶＳＹＮＣに同期してパルス信号を変調し、ＤＣ発光期間内に継続してパルス信号をハイレベルにする。
　ＥＶＳカメラ２００は、ＬＥＤごとの発光パターンに基づいて、ＬＥＤごとにアドレスイベントを個別に検出する。例えば、タイミングＴ１からＴ２の期間は、Ｎ個目のＬＥＤがＤＣ発光するのに対し、１個目および２個目のＬＥＤは点滅する。このため、ＥＶＳカメラ２００は、その期間内にアドレスイベントが検出される画素について、１個目および２個目のＬＥＤに対応する反射光を受光したものと判断することができる。
　パルス信号ＰＬＳ１およびＰＬＳ２は変調期間がオーバーラップしているため、これらを区別する必要がある。例えば、パルス信号ＰＬＳ１には奇数フレームにパルス期間（オンパルス期間やオンパルス期間）が設定され、パルス信号ＰＬＳ２には、偶数フレームにパルス期間が設定されるものとする。オフパルス期間が設定された場合、ＥＶＳカメラは、奇数フレームでオフイベントが検出された画素について１個目のＬＥＤに対応する反射光を受光したものと判断することができる。また、偶数フレームでオフイベントが検出された画素については、２個目のＬＥＤに対応する反射光を受光したものと判断される。ＥＶＳカメラ２００は、ＬＥＤの識別情報と検出信号とを対応付けたＥＶＳデータを生成し、信号処理回路１１０に送信する。
　上述したように、ＬＥＤドライバ１２０がＬＥＤごとに異なる波形のパルス信号を送信することにより、ＥＶＳカメラ２００は、ＬＥＤの識別情報と検出信号とを対応付けることができる。これにより、特定ノイズを除去することができる。
　例えば、グリントを４点とし、４個のＬＥＤの識別情報をＬ１からＬ４とする。ＥＶＳカメラ２００は、Ｌ１からＬ４のそれぞれに対応するアドレスイベントの配置パターンが、発光部１３０の照射したグリントのパターンと一致しているか否かを判断する。これにより、グリント以外のノイズを除去することができる。なお、この処理をＥＶＳカメラ２００の代わりに信号処理回路１１０が行うこともできる。
　また、変調期間とＤＣ発光期間とを設定することにより、光検出システム１００が通常はＬＥＤをＤＣ発光させてアイトラッキングを行い、一時的にグリントのみを強調する制御を実現することができる。なお、全ＬＥＤに同一のパルス信号を送信する場合であっても、この制御は実現することができる。
　また、変調期間とＤＣ発光期間とを設定することにより、光検出システム１００は、目の動きに合わせてトラッキング方法を変更することができる。例えば、瞳孔が静止している（または、動きが遅い）場合は変調期間が設定され、瞳孔が動いている（または、動きが速い）場合はＤＣ発光期間が設定される。なお、全ＬＥＤに同一のパルス信号を送信する場合であっても、この制御は実現することができる。
　なお、第４の実施の形態に、第１の実施の形態の第１、第２の変形例、第２の実施の形態、第２の実施の形態の変形例、および、第３の実施の形態のそれぞれを適用することができる。
　このように、本技術の第４の実施の形態によれば、ＬＥＤドライバ１２０が、ＬＥＤごとに異なる波形のパルス信号を送信するため、ＥＶＳカメラ２００は、ＬＥＤごとに、その識別情報に対応付けてアドレスイベントを検出することができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、信号処理回路１１０がマスターとして、ＬＥＤドライバ１２０およびＥＶＳカメラ２００を同期させていたが、信号処理回路１１０以外をマスターとすることもできる。この第５の実施の形態における光検出システム１００は、ＥＶＳカメラ２００がマスターとして、ＬＥＤドライバ１２０を自身と同期させる点において第１の実施の形態と異なる。
　図２３は、本技術の第５の実施の形態における光検出システム１００の一構成例を示すブロック図である。この第５の実施の形態において、ＥＶＳカメラ２００は、信号処理回路１１０の代わりにマスターとなり、ＬＥＤドライバ１２０を自身と同期させる。例えば、ＥＶＳカメラ２００内のタイミング制御部２６０は、垂直同期信号ＶＳＹＮＣに同期して外部同期信号ＥＳＹＮＣを生成し、ＬＥＤドライバ１２０に供給する。これにより、信号処理回路１１０は、垂直同期信号ＶＳＹＮＣおよび外部同期信号ＥＳＹＮＣを生成する必要が無くなる。
　なお、図２４に例示するように、ＥＶＳカメラ２００は、垂直同期信号ＶＳＹＮＣに同期してクロック信号ＣＬＫをさらに生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、クロック信号ＣＬＫに同期してＥＶＳデータを処理する。
　また、図２５に例示するように、ＥＶＳカメラ２００は、垂直同期信号ＶＳＹＮＣに同期してクロック信号ＣＬＫをさらに生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、そのクロック信号ＣＬＫに同期して外部同期信号ＥＳＹＮＣを生成し、ＬＥＤドライバ１２０に供給することもできる。
　また、図２６に例示するように、ＬＥＤドライバ１２０は、外部同期信号ＥＳＹＮＣに同期してクロック信号ＣＬＫをさらに生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、そのクロック信号ＣＬＫに同期して、ＥＶＳデータを処理することもできる。
　また、第５の実施の形態に、第２の実施の形態、第２の実施の形態の変形例、第３の実施の形態、および、第４の実施の形態のそれぞれを適用することができる。
　このように、本技術の第５の実施の形態によれば、ＥＶＳカメラ２００がマスターとなり、ＬＥＤドライバ１２０を自身と同期させるため、信号処理回路１１０は、垂直同期信号ＶＳＹＮＣおよび外部同期信号ＥＳＹＮＣを生成する必要が無くなる。
　＜６．第６の実施の形態＞
　上述の第１の実施の形態では、信号処理回路１１０がマスターとして、ＬＥＤドライバ１２０およびＥＶＳカメラ２００を同期させていたが、信号処理回路１１０以外をマスターとすることもできる。この第５の実施の形態における光検出システム１００は、ＬＥＤドライバ１２０がマスターとして、ＥＶＳカメラ２００を自身と同期させる点において第１の実施の形態と異なる。
　図２７は、本技術の第６の実施の形態における光検出システム１００の一構成例を示すブロック図である。この第６の実施の形態において、ＬＥＤドライバ１２０は、信号処理回路１１０の代わりにマスターとなり、ＥＶＳカメラ２００を自身と同期させる。例えば、ＬＥＤドライバ１２０は、垂直同期信号ＶＳＹＮＣを生成し、ＥＶＳカメラ２００に供給する。これにより、信号処理回路１１０は、垂直同期信号ＶＳＹＮＣおよび外部同期信号ＥＳＹＮＣを生成する必要が無くなる。
　なお、図２８に例示するように、ＬＥＤドライバ１２０は、クロック信号ＣＬＫをさらに生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、クロック信号ＣＬＫに同期してＥＶＳデータを処理する。
　また、図２９に例示するように、ＬＥＤドライバ１２０は、クロック信号ＣＬＫを生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、そのクロック信号ＣＬＫに同期して垂直同期信号ＶＳＹＮＣを生成し、ＥＶＳカメラ２００に供給することもできる。
　また、図３０に例示するように、ＥＶＳカメラ２００は、垂直同期信号ＶＳＹＮＣに同期してクロック信号ＣＬＫをさらに生成し、信号処理回路１１０に供給することもできる。信号処理回路１１０は、そのクロック信号ＣＬＫに同期してＥＶＳデータを処理することもできる。
　また、第６の実施の形態に、第２の実施の形態、第２の実施の形態の変形例、第３の実施の形態、および、第４の実施の形態のそれぞれを適用することができる。
　このように、本技術の第６の実施の形態によれば、ＬＥＤドライバ１２０がマスターとなり、ＥＶＳカメラ２００を自身と同期させるため、信号処理回路１１０は、垂直同期信号ＶＳＹＮＣおよび外部同期信号ＥＳＹＮＣを生成する必要が無くなる。
　＜７．第７の実施の形態＞
　上述の第１の実施の形態では、ＥＶＳカメラ２００は、スキャン方式により検出信号を出力していたが、スキャン方式の代わりにアービタ方式を用いることができる。アービタ方式は、アービタが画素からのリクエストを調停する方式である。この第７の実施の形態における光検出システム１００は、ＥＶＳカメラ２００がアービタ方式を用いる点において第１の実施の形態と異なる。
　図３１は、本技術の第７の実施の形態におけるＥＶＳカメラ２００の一構成例を示すブロック図である。この第７の実施の形態におけるＥＶＳカメラ２００は、読出し領域選択部２５０およびタイミング制御部２６０を備えず、アービタ２７０をさらに備える点において第１の実施の形態と異なる。この場合、信号生成部２４０は、アドレスイベントを検出した画素のアドレス情報、極性情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｐ，Ｔ））を生成し、信号処理部２２０に出力しても良い。
　また、駆動部２１０は、全ての画素３００を同時に駆動する。画素３００のそれぞれは、アドレスイベントを検出した際にリクエストをアービタ２７０に送信する。アービタ２７０は、画素３００のそれぞれのリクエストを調停し、調停結果に基づいて応答を返す。応答を受け取った画素３００は、検出信号を信号処理部２２０および駆動部２１０に供給する。駆動部２１０は、検出信号を送信した画素３００を初期化する。
　図３２は、本技術の第７の実施の形態における光検出システム１００の動作の一例を示すタイミングチャートである。
　第７の実施の形態においてＬＥＤドライバ１２０は、タイミングＴ１からＴ２などのオフパルス期間内にパルス信号ＰＬＳによりＬＥＤを消灯させる。そして、ＬＥＤドライバ１２０は、次のオフパルス期間の開始するタイミングＴ３までの期間内にＬＥＤを点灯させる。以降は同様の制御が外部同期信号ＥＳＹＮＣに同期して繰り返し実行される。
　アービタ方式を用いる場合、オフパルス期間のパルス幅には、例えば、次の式を満たす値が設定される。
　　ｔＩｇ＋ｔｄｒ＜パルス幅＜ｔＩＯ
上式において、ｔＩｇは、ＬＥＤが消灯してから、グリントを受光する画素の輝度の変化量が下限閾値を下回るまでの時間である。ｔｄｒは、その画素の輝度の変化量が下限閾値を下回ってから、その画素が初期化されるまでの時間である。ｔＩＯは、グリントを受光しない画素の輝度の変化量が下限閾値を下回るまでの時間である。これらの時間は、ＥＶＳカメラや眼の特徴など、環境に応じて、キャリブレーションや評価などにより、予め適切な値に調整される。
　言い換えると、ＬＥＤの消灯のタイミングから、グリントを受光する画素が初期化されるまでの時間（ｔＩｇ＋ｔｄｒ）と、消灯のタイミングから、その他の（グリントを受光しない）画素の輝度の変化量が下限閾値を下回るまでの時間（ｔＩＯ）との間の値が、パルス幅に設定される。
　上述のパルス幅により、グリントに対応する画素は、オフパルス期間内にオフイベントを検出し、オフパルス期間の経過後にオンイベントを検出することができる。同図において、黒色の部分は、オフイベントの検出期間を示し、白色の部分は、オンイベントの検出期間を示す。
　なお、パルス信号ＰＬＳの波形を反転させることもできる。この場合は、ＬＥＤの点灯のタイミングから、グリントを受光する画素が初期化されるまでの時間と、点灯のタイミングから、その他の（グリントを受光しない）画素の輝度の変化量が上限閾値を上回るまでの時間との間の値が、パルス幅に設定される。
　また、ＬＥＤドライバ１２０は、オフパルス期間内にＬＥＤを消灯しているが、完全に消灯せずに、その期間外よりも輝度を低下させることもできる。パルス信号ＰＬＳの波形を反転させる場合、オンパルス期間において、その期間外よりも輝度を高くすればよい。
　なお、第７の実施の形態に、第１の実施の形態の第１、第２の変形例、第３の実施の形態、第４の実施の形態、および、第５の実施の形態のそれぞれを適用することができる。
　このように、本技術の第７の実施の形態によれば、消灯のタイミングから、グリントを受光する画素が初期化されるまでの時間と、その他の（グリントを受光しない）画素の輝度の変化量が下限閾値を下回るまでの時間との間の値がパルス幅に設定される。これにより、アービタ方式を用いる際に、光検出システム１００は、グリントを検出することができる。
　＜８．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３４は、撮像部１２０３１の設置位置の例を示す図である。
　図３４では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。　
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、車内情報検出ユニット１２０４０に適用され得る。具体的には、図１の光検出システム１００は、車内情報検出ユニット１２０４０に適用することができる。車内情報検出ユニット１２０４０に本開示に係る技術を適用することにより、アイトラッキングを行ってドライバーのよそ見などを検出し、システムの安全性を向上させることが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する所定数の画素が配列された光検出装置と、
　前記垂直同期信号に同期した外部同期信号に同期して前記照射光の輝度を制御する発光制御部と
を具備する光検出システム。
（２）前記閾値は、上限閾値および下限閾値を含み、
　前記アドレスイベントは、前記変化量が前記上限閾値を上回った旨を示すオンイベントと前記変化量が前記下限閾値を下回った旨を示すオフイベントとを含む
前記（１）記載の光検出システム。
（３）前記垂直同期信号の周期が経過するたびに所定の検出期間が設定され、
　前記画素は、前記検出期間内に前記オンイベントまたは前記オフイベントを検出する
前記（２）記載の光検出システム。
（４）前記垂直同期信号の周期が経過するたびにオンイベント検出期間およびオフイベント検出期間が設定され、
　前記画素は、前記オンイベント検出期間内に前記オンイベントを検出し、前記オフイベント検出期間内に前記オフイベントを検出する
前記（２）または（３）に記載の光検出システム。
（５）前記発光制御部は、所定のパルス期間内に前記発光部の状態を点灯または消灯の一方に制御し、前記パルス期間外に前記発光部の状態を点灯または消灯の他方に制御する
前記（４）記載の光検出システム。
（６）前記パルス期間は、前記オンイベント検出期間を含み、
　前記発光制御部は、前記パルス期間内に前記発光部を点灯させ、前記パルス期間外に前記発光部を消灯させ、
　前記光検出装置は、前記周期内に前記オンイベントおよび前記オフイベントの両方が検出された旨をボースイベントとして検出する
前記（５）記載の光検出システム。
（７）前記オンイベント検出期間は、第１オンイベント検出期間および第２オンイベント検出期間を含み、
　前記オフイベント検出期間は、第１オフイベント検出期間および第２オフイベント検出期間を含み、
　前記垂直同期信号の周期が経過するたびに前記第１オンイベント検出期間および前記第１オフイベント検出期間と前記第２オンイベント検出期間および前記第２オフイベント検出期間とが交互に設定され、
　前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間の一方を含む
前記（５）記載の光検出システム。
（８）前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間のうち前記第１オフイベント検出期間のみを含み、
　前記発光制御部は、前記パルス期間内に前記発光部を消灯させ、前記パルス期間外に前記発光部を点灯させる
前記（７）記載の光検出システム。
（９）前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間のうち前記第１オンイベント検出期間のみを含み、
　前記発光制御部は、前記パルス期間内に前記発光部を点灯させ、前記パルス期間外に前記発光部を消灯させる
前記（７）記載の光検出システム。
（１０）前記発光部は、第１および第２の発光ダイオードを含み、
　前記発光制御部は、前記第１および第２の発光ダイオードのそれぞれに異なるパルス信号を送信し、
　前記光検出装置は、前記第１の発光ダイオードに対応するアドレスイベントと前記第２の発光ダイオードに対応するアドレスイベントとを個別に検出する
前記（１）から（９）のいずれかに記載の光検出システム。
（１１）前記発光制御部は、所定の変調期間内に前記発光部を点滅させ、前記変調期間外に前記発光部を連続して点灯させる
前記（１）から（１０）のいずれかに記載の光検出システム。
（１２）前記アドレスイベントの検出結果を示すデータを処理するとともに前記光検出装置と前記発光制御部とを同期して動作させる信号処理回路をさらに具備する
前記（１）から（１１）のいずれかに記載の光検出システム。
（１３）前記光検出装置は、前記光検出装置と同期して前記発光制御部を動作させる
前記（１）から（１１）のいずれかに記載の光検出システム。
（１４）前記発光制御部は、前記発光制御部と同期して前記光検出装置を動作させる
前記（１）から（１１）のいずれかに記載の光検出システム。
（１５）入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして検出する複数の画素が配列された光検出装置と、
　所定のタイミングから画素が初期化されるまでの遅延時間と前記タイミングから前記変化量の絶対値が前記閾値を超えるまでの遅延時間との間の長さのパルス期間内に前記照射光の輝度を所定値にする制御と、前記パルス期間外に前記照射光の輝度を前記所定値と異なる値にする制御とを交互に行う発光制御部と
を具備する光検出システム。
（１６）光検出装置内の所定数の画素のそれぞれが、発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する光検出手順と、
　発光制御部が、前記垂直同期信号に同期した外部同期信号に同期して前記照射光の輝度を制御する発光制御手順と
を具備する光検出システムの制御方法。
　１００　光検出システム
　１１０　信号処理回路
　１２０　ＬＥＤドライバ
　１３０　発光部
　１３１、１３２　ＬＥＤ
　２００　ＥＶＳカメラ
　２１０　駆動部
　２２０　信号処理部
　２２１　切替制御部
　２２２、３４６　セレクタ
　２２３　フリップフロップ
　２２４　インバータ
　２２５　ＡＮＤゲート
　２２６　後段処理部
　２３０　画素アレイ部
　２４０　信号生成部
　２５０　読出し領域選択部
　２６０　タイミング制御部
　２７０　アービタ
　３００　画素
　３１０　光電変換素子
　３２０　対数応答部
　３２１～３２４、３３１、３３２、３４２、３４５、３５２、３５４　ｎＭＯＳトランジスタ
　３２５　電流源トランジスタ
　３３０　バッファ
　３４０　差分検出器
　３４１、３４３　キャパシタ
　３４４、３５１、３５３　ｐＭＯＳトランジスタ
　３５０　比較器
　３６０　出力回路
　１２０４０　車内情報検出ユニット

Claims (16)

  1. 　発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する所定数の画素が配列された光検出装置と、
    　前記垂直同期信号に同期した外部同期信号に同期して前記照射光の輝度を制御する発光制御部と
    を具備する光検出システム。
  2. 　前記閾値は、上限閾値および下限閾値を含み、
    　前記アドレスイベントは、前記変化量が前記上限閾値を上回った旨を示すオンイベントと前記変化量が前記下限閾値を下回った旨を示すオフイベントとを含む
    請求項１記載の光検出システム。
  3. 　前記垂直同期信号の周期が経過するたびに所定の検出期間が設定され、
    　前記画素は、前記検出期間内に前記オンイベントまたは前記オフイベントを検出する
    請求項２記載の光検出システム。
  4. 　前記垂直同期信号の周期が経過するたびにオンイベント検出期間およびオフイベント検出期間が設定され、
    　前記画素は、前記オンイベント検出期間内に前記オンイベントを検出し、前記オフイベント検出期間内に前記オフイベントを検出する
    請求項２記載の光検出システム。
  5. 　前記発光制御部は、所定のパルス期間内に前記発光部の状態を点灯または消灯の一方に制御し、前記パルス期間外に前記発光部の状態を点灯または消灯の他方に制御する
    請求項４記載の光検出システム。
  6. 　前記パルス期間は、前記オンイベント検出期間を含み、
    　前記発光制御部は、前記パルス期間内に前記発光部を点灯させ、前記パルス期間外に前記発光部を消灯させ、
    　前記光検出装置は、前記周期内に前記オンイベントおよび前記オフイベントの両方が検出された旨をボースイベントとして検出する
    請求項５記載の光検出システム。
  7. 　前記オンイベント検出期間は、第１オンイベント検出期間および第２オンイベント検出期間を含み、
    　前記オフイベント検出期間は、第１オフイベント検出期間および第２オフイベント検出期間を含み、
    　前記垂直同期信号の周期が経過するたびに前記第１オンイベント検出期間および前記第１オフイベント検出期間と前記第２オンイベント検出期間および前記第２オフイベント検出期間とが交互に設定され、
    　前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間の一方を含む
    請求項５記載の光検出システム。
  8. 　前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間のうち前記第１オフイベント検出期間のみを含み、
    　前記発光制御部は、前記パルス期間内に前記発光部を消灯させ、前記パルス期間外に前記発光部を点灯させる
    請求項７記載の光検出システム。
  9. 　前記パルス期間は、前記第１オンイベント検出期間および前記第１オフイベント検出期間のうち前記第１オンイベント検出期間のみを含み、
    　前記発光制御部は、前記パルス期間内に前記発光部を点灯させ、前記パルス期間外に前記発光部を消灯させる
    請求項７記載の光検出システム。
  10. 　前記発光部は、第１および第２の発光ダイオードを含み、
    　前記発光制御部は、前記第１および第２の発光ダイオードのそれぞれに異なるパルス信号を送信し、
    　前記光検出装置は、前記第１の発光ダイオードに対応するアドレスイベントと前記第２の発光ダイオードに対応するアドレスイベントとを個別に検出する
    請求項１記載の光検出システム。
  11. 　前記発光制御部は、所定の変調期間内に前記発光部を点滅させ、前記変調期間外に前記発光部を連続して点灯させる
    請求項１記載の光検出システム。
  12. 　前記アドレスイベントの検出結果を示すデータを処理するとともに前記光検出装置と前記発光制御部とを同期して動作させる信号処理回路をさらに具備する
    請求項１記載の光検出システム。
  13. 　前記光検出装置は、前記光検出装置と同期して前記発光制御部を動作させる
    請求項１記載の光検出システム。
  14. 　前記発光制御部は、前記発光制御部と同期して前記光検出装置を動作させる
    請求項１記載の光検出システム。
  15. 　入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして検出する複数の画素が配列された光検出装置と、
    　所定のタイミングから画素が初期化されるまでの遅延時間と前記タイミングから前記変化量の絶対値が前記閾値を超えるまでの遅延時間との間の長さのパルス期間内に前記照射光の輝度を所定値にする制御と、前記パルス期間外に前記照射光の輝度を前記所定値と異なる値にする制御とを交互に行う発光制御部と
    を具備する光検出システム。
  16. 　光検出装置内の所定数の画素のそれぞれが、発光部からの照射光に対する反射光を含む入射光の輝度の変化量の絶対値が所定の閾値を超えた旨をアドレスイベントとして所定の垂直同期信号に同期して検出する光検出手順と、
    　発光制御部が、前記垂直同期信号に同期した外部同期信号に同期して前記照射光の輝度を制御する発光制御手順と
    を具備する光検出システムの制御方法。
PCT/JP2024/027285 2023-09-25 2024-07-31 光検出システム、および、光検出システムの制御方法 Pending WO2025069699A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023160229 2023-09-25
JP2023-160229 2023-09-25

Publications (1)

Publication Number Publication Date
WO2025069699A1 true WO2025069699A1 (ja) 2025-04-03

Family

ID=95203589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/027285 Pending WO2025069699A1 (ja) 2023-09-25 2024-07-31 光検出システム、および、光検出システムの制御方法

Country Status (1)

Country Link
WO (1) WO2025069699A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208380A (ja) * 2015-04-27 2016-12-08 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2020536309A (ja) * 2017-09-28 2020-12-10 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． イベントカメラデータを使用するアイトラッキングの方法及び装置
WO2021053946A1 (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
WO2022254782A1 (ja) * 2021-06-02 2022-12-08 ソニーグループ株式会社 視線検出装置、表示装置、視線検出システム、及び視線検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208380A (ja) * 2015-04-27 2016-12-08 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2020536309A (ja) * 2017-09-28 2020-12-10 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． イベントカメラデータを使用するアイトラッキングの方法及び装置
WO2021053946A1 (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
WO2022254782A1 (ja) * 2021-06-02 2022-12-08 ソニーグループ株式会社 視線検出装置、表示装置、視線検出システム、及び視線検出方法

Similar Documents

Publication Publication Date Title
CN113396579B (zh) 事件信号检测传感器和控制方法
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2019150786A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US12422549B2 (en) Distance measurement sensor
KR20220139933A (ko) 자동차의 주변 모니터링 시스템
CN110832346B (zh) 电子装置和电子装置的控制方法
US20210084288A1 (en) Solid-state image sensor, imaging apparatus, and method for controlling solid-state image sensor
WO2020255855A1 (ja) 測距装置および測距方法
WO2020195769A1 (ja) 物体検出装置、物体検出システム及び物体検出方法
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
JP7562570B2 (ja) 受光装置および測距装置
JP2021081290A (ja) 測距装置及び測距方法
CN114502977A (zh) 光接收装置、测距装置和光接收电路
JP7491897B2 (ja) 計測装置、測距装置、電子機器および計測方法
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
JP2021085822A (ja) 測距センサ、測距システム、および、電子機器
WO2025069699A1 (ja) 光検出システム、および、光検出システムの制御方法
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US20220268890A1 (en) Measuring device and distance measuring device
US20220224830A1 (en) Imaging device and imaging method
EP3876522A1 (en) Electronic circuit, solid-state imaging element, and method for manufacturing electronic circuit
JP2025010983A (ja) 測距システム、発光装置および受光装置
WO2025004532A1 (ja) 異常検出回路、異常検出方法、および撮像システム
KR20240168357A (ko) 측거 장치 및 측거 방법
WO2025057566A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24871501

Country of ref document: EP

Kind code of ref document: A1