[go: up one dir, main page]

WO2019230306A1 - 識別装置および識別方法 - Google Patents

識別装置および識別方法 Download PDF

Info

Publication number
WO2019230306A1
WO2019230306A1 PCT/JP2019/018315 JP2019018315W WO2019230306A1 WO 2019230306 A1 WO2019230306 A1 WO 2019230306A1 JP 2019018315 W JP2019018315 W JP 2019018315W WO 2019230306 A1 WO2019230306 A1 WO 2019230306A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
light
signal
image sensor
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/018315
Other languages
English (en)
French (fr)
Inventor
貴真 安藤
是永　継博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020521814A priority Critical patent/JP7542192B2/ja
Priority to CN201980022548.7A priority patent/CN111970971B/zh
Priority to CN202411134478.3A priority patent/CN119097305A/zh
Publication of WO2019230306A1 publication Critical patent/WO2019230306A1/ja
Priority to US17/088,653 priority patent/US12158931B2/en
Anticipated expiration legal-status Critical
Priority to US18/486,821 priority patent/US20240054203A1/en
Priority to JP2024130062A priority patent/JP2024156912A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1341—Sensing with light passing through the finger
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Definitions

  • This disclosure relates to an identification device and an identification method.
  • biometric authentication In the field of personal identification, authentication has shifted from password authentication to biometric authentication.
  • password authentication authentication is performed based on a password input by a user.
  • biometric authentication authentication is performed based on information related to human physical characteristics. Biometric authentication has the advantage of low risk of forgetting, leaking or brute force attacks.
  • biometric authentication for example, personal identification information is acquired by irradiating a part of a user's body with light and observing reflected light.
  • Patent Document 1 discloses a method for improving the accuracy of user biometric authentication.
  • biometric authentication of a user is performed by combining fingerprint authentication and vein authentication. Specifically, the surface of the user's finger is irradiated with 900 nm wavelength light for fingerprint authentication and 750 nm light for vein authentication. User authentication is performed based on the reflected light.
  • This disclosure provides a technology that can further improve the authentication accuracy.
  • the identification device includes a light source, an image sensor, a memory storing biometric data indicating the characteristics of the user's body, and a processor.
  • the processor causes the light source to emit pulsed light with a pulse width of 0.2 ns or more and 1 ⁇ s or less irradiated to the user, and causes the image sensor to detect at least a part of the reflected pulsed light returned from the user.
  • the user is identified by outputting a signal according to a two-dimensional distribution of the intensity of the at least a part of the reflected pulsed light, and collating the signal with the biological data.
  • biometric authentication with higher accuracy becomes possible.
  • FIG. 1A is a diagram schematically illustrating an example of an identification device according to the present embodiment.
  • FIG. 1B is a diagram illustrating an example of a temporal change in the intensity of light reaching the image sensor.
  • FIG. 1C is a diagram in which the horizontal axis represents the width of the input pulse light and the vertical axis represents the detected light quantity of the sensor.
  • FIG. 1D is a diagram illustrating an example of a schematic configuration of one pixel of the image sensor.
  • FIG. 1E is a diagram illustrating an example of the configuration of the image sensor.
  • FIG. 1F is a diagram illustrating an example of an operation within one frame.
  • FIG. 1G is a flowchart showing an outline of the operation of the control circuit.
  • FIG. 1G is a flowchart showing an outline of the operation of the control circuit.
  • FIG. 2A is a diagram illustrating an example of an optical signal in which rectangular pulse light is emitted from a light source and light returned from a user reaches an image sensor.
  • FIG. 2B is a diagram illustrating another example of an optical signal in which rectangular pulse light is emitted from the light source and light returned from the user reaches the image sensor.
  • FIG. 3A is a diagram illustrating an example of a timing chart when a surface reflection component is detected.
  • FIG. 3B is a diagram illustrating an example of a timing chart for detecting an internal scattering component.
  • FIG. 4A is a diagram schematically illustrating an example of a distribution of two-dimensional pattern light projected from a light source to a user.
  • FIG. 4B is a diagram schematically illustrating another example of the distribution of the two-dimensional pattern light projected from the light source to the user.
  • FIG. 4C is a diagram schematically illustrating still another example of the distribution of the two-dimensional pattern light projected from the light source to the user.
  • FIG. 5A is a diagram schematically illustrating a state where a user is photographed by a general camera.
  • FIG. 5B is a diagram schematically illustrating an example of shooting by the user using the surface reflection component in the present embodiment.
  • FIG. 5C is a diagram schematically illustrating an example of shooting by a user using an internal scattering component in the present embodiment.
  • FIG. 6 is a diagram for explaining the principle of measuring the round trip time of pulsed light by the indirect TOF method.
  • FIG. 5A is a diagram schematically illustrating a state where a user is photographed by a general camera.
  • FIG. 5B is a diagram schematically illustrating an example of shooting by the user using the surface reflection component in the present embodiment.
  • FIG. 7 is a diagram schematically illustrating an example of user shooting by the TOF method in the present embodiment.
  • FIG. 8 is a flowchart illustrating an example of processing executed by the control circuit.
  • FIG. 9 is a diagram schematically illustrating an example in which the identification device according to the present embodiment is mounted in a vehicle cabin.
  • FIG. 10 is a diagram schematically illustrating an example in which the identification device according to the present embodiment is applied to a mobile terminal.
  • all or part of a circuit, unit, device, member, or part, or all or part of a functional block in a block diagram is a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). It may be performed by one or more electronic circuits that contain it.
  • the LSI or IC may be integrated on a single chip, or may be configured by combining a plurality of chips.
  • the functional blocks other than the memory element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array (FPGA), which is programmed after the manufacture of the LSI, or a reconfigurable logic device that can reconfigure the connection relationship inside the LSI or set up the circuit partition inside the LSI can be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • the software is recorded on a non-transitory recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and is specified by the software when the software is executed by a processor. Functions are performed by the processor and peripheral devices.
  • the system or apparatus may include one or more non-transitory recording media on which software is recorded, a processor, and required hardware devices, such as an interface.
  • FIG. 1A is a diagram schematically illustrating an example of an identification device 100 according to the present embodiment.
  • the identification device 100 includes a light source 10, an image sensor 20, a memory 25, a control circuit 30, and a signal processing circuit 40.
  • the image sensor 20 includes a plurality of photoelectric conversion elements 22 and a plurality of charge storage units 24.
  • the control circuit 30 and the signal processing circuit 40 may be collectively referred to as a “processor”.
  • the light source 10 emits pulsed light applied to the head of the user 1.
  • the image sensor 20 detects at least a part of the pulsed light that has returned from the head of the user 1.
  • the control circuit 30 controls the light source 10 and the image sensor 20.
  • the signal processing circuit 40 processes a signal output from the image sensor 20.
  • control circuit 30 includes a light source control unit 32 that controls the light source 10 and a sensor control unit 34 that controls the image sensor 20.
  • the light source control unit 32 controls the intensity, pulse width, emission timing, and / or wavelength of the pulsed light emitted from the light source 10.
  • the sensor control unit 34 controls signal accumulation timing in each pixel of the image sensor 20.
  • the light source 10 irradiates light on the head of the user 1, for example, the forehead.
  • the light emitted from the light source 10 and reaching the user 1 is divided into a surface reflection component I1 reflected from the surface of the user 1 and an internal scattering component I2 scattered inside the user 1.
  • the internal scattering component I2 is a component that is reflected or scattered once or multiple scattered inside the living body.
  • the internal scattering component I2 refers to a component that reaches the back of the forehead from about 8 mm to 16 mm, for example, the brain and returns to the identification device 100 again.
  • the surface reflection component I1 includes three components: a direct reflection component, a diffuse reflection component, and a scattering reflection component.
  • the direct reflection component is a reflection component having the same incident angle and reflection angle.
  • the diffuse reflection component is a component that is diffused and reflected by the uneven shape of the surface.
  • the scattering reflection component is a component that is scattered and reflected by the internal tissue in the vicinity of the surface. When the forehead of the user 1 is irradiated with light, the scattering reflection component is a component that is scattered and reflected inside the epidermis.
  • the surface reflection component I1 reflected on the surface of the user 1 is assumed to include these three components.
  • the surface reflection component I1 and the internal scattering component I2 change their traveling directions due to reflection or scattering, and part of them reach the image sensor 20.
  • the light source 10 repeatedly generates pulsed light at a predetermined time interval or at a predetermined timing in accordance with an instruction from the control circuit 30.
  • the pulsed light generated by the light source 10 can be, for example, a rectangular wave whose falling period is close to zero.
  • the falling period is a period from when the intensity of pulsed light starts to decrease until the decrease ends.
  • the component in the falling period of the pulsed light is also referred to as the trailing end of the pulsed light.
  • light incident on the user 1 propagates through the user 1 through various paths and is emitted from the surface of the user 1 with a time difference. For this reason, the rear end of the internal scattering component I2 of the pulsed light has a spread.
  • the spread of the rear end of the internal scattering component I2 is about 4 ns.
  • the falling period of the pulsed light can be set to 2 ns or less, for example, half or less.
  • the fall time may be 1 ns or less, which is half of that.
  • the component in the rising period of the pulsed light can be used for detecting the surface reflection component I1.
  • the rising period is a period from when the intensity of pulsed light starts to increase until the increase ends.
  • the component in the rising period of the pulsed light is also referred to as the front end of the pulsed light.
  • the light source 10 may be formed by a combination of a light source such as a laser such as an LD and a diffusion plate.
  • a laser By using a laser, it is possible to output light with high time response.
  • the light output with high time response has a sharp rising characteristic or falling characteristic waveform.
  • the rising characteristics and the falling characteristics are also called Tr characteristics and Tf characteristics, respectively.
  • the wavelength of light emitted from the light source 10 can be any wavelength included in the wavelength range of, for example, 650 nm to 950 nm. This wavelength range is included in the wavelength range from red to near infrared.
  • the term “light” is used not only for visible light but also for infrared rays.
  • the above wavelength range is called a “biological window” and has a property that it is relatively hardly absorbed by moisture and skin in the living body. When a living body is a detection target, detection sensitivity can be increased by using light in the above-described wavelength range.
  • the light source 10 designed in consideration of the influence on the retina can be used to measure the user 1 in a non-contact manner.
  • a light source 10 that satisfies class 1 of the laser safety standard established in each country may be used.
  • Class 1 the user 1 is irradiated with light with low illuminance such that the exposure limit (AEL) is less than 1 mW.
  • the light source 10 itself does not have to satisfy Class 1.
  • the laser safety standard class 1 may be satisfied by installing a diffusion plate or an ND filter in front of the light source 10 to diffuse or attenuate light.
  • a streak camera has been used to distinguish and detect information such as absorption coefficient or scattering coefficient at different locations in the depth direction inside the living body.
  • Japanese Patent Laid-Open No. 4-189349 discloses an example of such a streak camera.
  • ultrashort pulse light having a pulse width of femtosecond or picosecond is used for measurement with a desired spatial resolution.
  • pulse width means the full width at half maximum of a pulse.
  • the identification device 100 in the present embodiment can distinguish and detect the surface reflection component I1 and the internal scattering component I2. Therefore, the pulsed light emitted from the light source 10 does not have to be ultrashort pulsed light, and the pulse width can be arbitrarily selected.
  • the light quantity of the internal scattering component I2 can be a very small value on the order of several thousandths to several ten thousandths of the light quantity of the surface reflection component I1. Furthermore, in consideration of laser safety standards, the amount of light that can be irradiated becomes extremely small, and detection of the internal scattering component I2 becomes very difficult. Even in such a case, if the light source 10 generates pulsed light having a relatively large pulse width, the integrated amount of the internal scattering component I2 with a time delay can be increased. Thereby, the detected light quantity can be increased and the SN ratio can be improved.
  • the light source 10 emits pulsed light having a pulse width of 3 ns or more, for example.
  • the temporal spread of light scattered in a living tissue such as the brain is about 4 ns.
  • FIG. 1B shows an example of a temporal change in the amount of light reaching the image sensor 20 when the width of the input pulse light is 0 ns, 3 ns, and 10 ns.
  • FIG. 1B shows that as the width of the pulsed light from the light source 10 is increased, the amount of the internal scattering component I2 that appears at the rear end of the pulsed light returned from the user 1 increases.
  • FIG. 1C is a diagram in which the horizontal axis represents the width of input pulse light and the vertical axis represents the amount of light detected by the image sensor 20.
  • the image sensor 20 includes an electronic shutter.
  • the result of FIG. 1C was obtained under the condition that the electronic shutter was opened after 1 ns had elapsed from the time when the rear end of the pulsed light was reflected by the surface of the user 1 and reached the image sensor 20.
  • the reason for selecting this condition is that the ratio of the surface reflection component I1 to the internal scattering component I2 is high immediately after the trailing edge of the pulsed light arrives.
  • the pulse width of the pulsed light emitted from the light source 10 is 3 ns or more, the amount of light detected by the image sensor 20 can be maximized.
  • the resolution of timing control by the light source 10 and the electronic shutter drive circuit is about 0.2 ns. Therefore, the pulse width of the light source 10 is set to 0.2 ns or more, for example.
  • the light source 10 may emit pulsed light having a pulse width of 5 ns or more, and further 10 ns or more. On the other hand, even if the pulse width is too large, light that is not used increases and is wasted. Therefore, the light source 10 generates pulsed light having a pulse width of 50 ns or less, for example. Alternatively, the light source 10 may emit pulsed light having a pulse width of 30 ns or less, and further 20 ns or less.
  • the irradiation pattern of the light source 10 may be a uniform intensity distribution in the irradiation region. This is due to the following reason.
  • the surface reflection component I1 is separated and reduced over time. Thereby, the internal scattering component I2 can be detected also at the Null point immediately below the irradiation point on the user 1. Therefore, in the identification device 100 according to the present embodiment, the measurement resolution can be increased by irradiating the test portion of the user 1 over a wide spatial range.
  • the image sensor 20 receives light emitted from the light source 10 and reflected or scattered by the user 1.
  • the image sensor 20 has a plurality of light detection cells arranged two-dimensionally, and acquires the two-dimensional information of the user 1 at a time. Thereby, the two-dimensional information of the user 1 can be acquired in a relatively short time as compared with the line sensor that slides and detects the test part of the user 1.
  • the light detection cell is also referred to as a “pixel”.
  • the image sensor 20 is an arbitrary image sensor such as a CCD image sensor or a CMOS image sensor.
  • the image sensor 20 has an electronic shutter.
  • the electronic shutter is a circuit that controls imaging timing.
  • the sensor control unit 34 in the control circuit 30 has a function of an electronic shutter.
  • the electronic shutter controls a signal accumulation period in which received light is converted into an effective electrical signal and accumulated, and a period in which signal accumulation is stopped.
  • the signal accumulation period can also be referred to as an “exposure period”.
  • the width of the exposure period may be referred to as “shutter width”.
  • the time from the end of one exposure period to the start of the next exposure period may be referred to as a “non-exposure period”.
  • the exposure state may be referred to as “OPEN”, and the exposure stop state may be referred to as “CLOSE”.
  • the image sensor 20 can adjust the exposure period and the non-exposure period in a sub-nanosecond range, for example, in the range of 30 ps to 1 ns by an electronic shutter.
  • a conventional TOF (Time Of Flight) camera intended for distance measurement detects all of the light emitted from the light source 10 and reflected by the subject and returned in order to correct the influence of the brightness of the subject. Therefore, in the conventional TOF camera, the shutter width needs to be larger than the pulse width of light.
  • the identification device 100 of the present embodiment it is not necessary to correct the light amount of the subject. For this reason, the shutter width need not be larger than the pulse width. Therefore, the shutter width can be set to a value of 1 ns to 30 ns, for example. According to the identification device 100 of the present embodiment, since the shutter width can be reduced, the influence of the dark current included in the detection signal can be reduced.
  • the internal light attenuation rate is very large.
  • the emitted light can be attenuated to about 1 / 1,000,000 with respect to the incident light.
  • the amount of light may be insufficient with only one pulse irradiation.
  • the amount of light is particularly weak in laser safety standard class 1 irradiation.
  • the light source 10 emits the pulsed light a plurality of times, and the image sensor 20 is also exposed a plurality of times by the electronic shutter, whereby the detection signals can be integrated to improve the sensitivity.
  • the image sensor 20 may include a plurality of pixels arranged two-dimensionally on the imaging surface.
  • Each pixel may include a photoelectric conversion element such as a photodiode and one or a plurality of charge storage units.
  • each pixel generates a signal charge corresponding to the amount of received light by photoelectric conversion, a charge accumulation unit that accumulates a signal charge generated by the surface reflection component I1 of the pulsed light, and an internal scattering component of the pulsed light
  • the control circuit 30 causes the image sensor 20 to detect the surface reflection component I1 by detecting the part of the pulsed light returned from the head of the user 1 before the start of falling.
  • the control circuit 30 also causes the image sensor 20 to detect the internal scattering component I2 by detecting the portion of the pulsed light returned from the head of the user 1 after the start of falling.
  • the light source 10 emits light of two types of wavelengths, for example.
  • FIG. 1D is a diagram illustrating an example of a schematic configuration of one pixel 201 of the image sensor 20.
  • FIG. 1D schematically shows the configuration of one pixel 201 and does not necessarily reflect the actual structure.
  • the pixel 201 in this example includes a photodiode 203 that performs photoelectric conversion, a first floating diffusion layer (floating diffusion) 204 that is a charge accumulation unit, a second floating diffusion layer 205, a third floating diffusion layer 206, and A fourth floating diffusion layer 207 and a drain 202 for discharging signal charges are included.
  • the photons that have entered each pixel due to the emission of one pulsed light are converted by the photodiode 203 into signal electrons that are signal charges.
  • the converted signal electrons are discharged to the drain 202 in accordance with a control signal input from the control circuit 30, or the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, And the fourth floating diffusion layer 207.
  • Emission of pulsed light from the light source 10 accumulation of signal charges in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207,
  • the discharge of the signal charge to the drain 202 is repeatedly performed in this order. This repetitive operation is fast, and can be repeated, for example, tens of thousands to hundreds of millions of times within one frame time. The time for one frame is, for example, about 1/30 second.
  • the pixel 201 finally has four pixels based on the signal charges accumulated in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207. Generate and output an image signal.
  • the control circuit 30 in this example causes the light source 10 to repeatedly and sequentially emit the first pulsed light having the first wavelength and the second pulsed light having the second wavelength.
  • the state of the user 1 can be analyzed.
  • the control circuit 30 first causes the light source 10 to emit the first pulsed light.
  • the control circuit 30 accumulates signal charges in the first floating diffusion layer 204 during the first period in which the surface reflection component I1 of the first pulsed light is incident on the photodiode 203.
  • the control circuit 30 accumulates signal charges in the second floating diffusion layer 205 in the second period in which the internal scattering component I2 of the first pulsed light is incident on the photodiode 203.
  • the control circuit 30 causes the light source 10 to emit the second pulsed light.
  • the control circuit 30 accumulates signal charges in the third floating diffusion layer 206 during the third period in which the surface reflection component I1 of the second pulsed light is incident on the photodiode 203.
  • the control circuit 30 accumulates signal charges in the fourth floating diffusion layer 207 in the fourth period in which the internal scattering component I2 of the second pulsed light is incident on the photodiode 203.
  • the control circuit 30 After starting the emission of the first pulsed light, the control circuit 30 leaves a predetermined time difference from the photodiode 203 to the first floating diffusion layer 204 and the second floating diffusion layer 205. Signal charges are accumulated sequentially. Thereafter, after starting the emission of the second pulse light, the control circuit 30 leaves the predetermined time difference and sends the signal from the photodiode 203 to the third floating diffusion layer 206 and the fourth floating diffusion layer 207. Charge is sequentially accumulated. The above operation is repeated several times. In order to estimate the amount of disturbance light and ambient light, a period in which signal charges are accumulated in another floating diffusion layer (not shown) with the light source 10 turned off may be provided.
  • the signal charge of the other floating diffusion layer is determined. By subtracting the amount, a signal from which disturbance light and ambient light components are removed can be obtained.
  • the number of charge storage units for each pixel is four, but it may be designed to an arbitrary number of 1 or more depending on the purpose. For example, when only one type of wavelength is used, the number of charge storage units may be two. In addition, in the application in which only one type of wavelength is used and only the surface reflection component I1 or only the internal scattering component I2 is detected, the number of charge storage units per pixel may be one. Even when two or more wavelengths are used, the number of charge accumulation units may be one when imaging using each wavelength is performed in different frames. As will be described later, when the detection of the surface reflection component I1 and the detection of the internal scattering component I2 are performed in different frames, the number of charge storage units may be one.
  • FIG. 1E is a diagram illustrating an example of the configuration of the image sensor 20.
  • a region surrounded by a two-dot chain line corresponds to one pixel 201.
  • the pixel 201 includes one photodiode. Although only four pixels arranged in 2 rows and 2 columns are shown in FIG. 1E, a larger number of pixels may actually be arranged.
  • the pixel 201 includes a first floating diffusion layer 204, a second floating diffusion layer 205, a third floating diffusion layer 206, and a fourth floating diffusion layer 207.
  • the signals accumulated in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are as if the four pixels of a general CMOS image sensor. It is handled like a signal and output from the image sensor 20.
  • Each pixel 201 has four signal detection circuits.
  • Each signal detection circuit includes a source follower transistor 309, a row selection transistor 308, and a reset transistor 310.
  • the reset transistor 310 corresponds to the drain 202 shown in FIG. 1D
  • the pulse input to the gate of the reset transistor 310 corresponds to the drain discharge pulse.
  • Each transistor is, for example, a field effect transistor formed on a semiconductor substrate, but is not limited thereto. As illustrated, one of the input terminal and the output terminal of the source follower transistor 309 and one of the input terminal and the output terminal of the row selection transistor 308 are connected. One of the input terminal and the output terminal of the source follower transistor 309 is typically a source.
  • One of the input terminal and the output terminal of the row selection transistor 308 is typically a drain.
  • a gate which is a control terminal of the source follower transistor 309 is connected to the photodiode 203.
  • the signal charge generated by the photodiode 203 is accumulated in a floating diffusion layer that is a charge accumulation unit between the photodiode 203 and the source follower transistor 309.
  • the signal charge is a hole or an electron.
  • the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are connected to the photodiode 203.
  • a switch can be provided between the photodiode 203 and the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207. In response to the signal accumulation pulse from the control circuit 30, this switch is connected to the photodiode 203, the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion. The conduction state between each of the layers 207 is switched.
  • the electronic shutter in this embodiment has a mechanism for such exposure control.
  • the signal charges accumulated in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are transferred to the row selection transistor 308 by the row selection circuit 302. Reading is performed by turning on the gate. At this time, a source follower transistor from the source follower power supply 305 is selected in accordance with the signal potentials of the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207.
  • the current flowing into 309 and the source follower load 306 is amplified.
  • An analog signal by this current read from the vertical signal line 304 is converted into digital signal data by an analog-digital (AD) conversion circuit 307 connected for each column.
  • AD analog-digital
  • the digital signal data is read for each column by the column selection circuit 303 and output from the image sensor 20.
  • the row selection circuit 302 and the column selection circuit 303 read out one row, then read out the next row, and similarly read signal charge information of floating diffusion layers in all rows.
  • the control circuit 30 turns on the gate of the reset transistor 310 to reset all the floating diffusion layers. Thereby, the imaging of one frame is completed. Similarly, by repeating high-speed imaging of frames, imaging of a series of frames by the image sensor 20 is completed.
  • CMOS type image sensor 20 may be another type of image sensor.
  • the image sensor 20 may be, for example, a CCD type, a single photon counting type element, or an amplification type image sensor such as EMCCD or ICCD.
  • FIG. 1F is a diagram illustrating an example of an operation within one frame in the present embodiment.
  • the emission of the first pulsed light and the emission of the second pulsed light may be alternately switched a plurality of times within one frame. In this way, the time difference between the detection timings of the detected images with the two types of wavelengths can be reduced, and even the user 1 who is moving can shoot with the first and second pulse lights almost simultaneously.
  • the memory 25 stores biometric data indicating the body characteristics of the user 1 acquired and registered in advance. This biometric data is referred to as a template.
  • the memory 25 may be built in the identification device 100 or may be provided outside.
  • the memory 25 can be, for example, one or more ROMs, optical disks, or hard disk drives.
  • the biometric data stored in the memory 25 may be, for example, the image of the user 1 or data that characterizes the image.
  • the data characterizing the image includes, for example, information indicating the texture of the skin surface of the user 1, information indicating the distribution of the blood vessels of the user 1, or information indicating the unevenness of the characteristic portion of the user 1.
  • “Information indicating the texture of the skin surface of the user 1” is, for example, 2 of frequency components obtained by Fourier transforming a pixel value of a two-dimensional distribution of wrinkles or minute irregularities on a part of the skin surface of the user 1. It can be a dimensional distribution. This conversion is effective when a wrinkle or minute unevenness indicates a similar two-dimensional pattern repetition.
  • “Information indicating the distribution of the blood vessels of the user 1” is, for example, image information indicating the distribution of the veins of the user 1.
  • the “information indicating the unevenness of the characteristic part of the user 1” is, for example, a two-dimensional distribution of the distance indicating the unevenness in at least one of the user's orbit, nose, cheek, cheekbone, mouth, chin, and ears.
  • Image information By storing data that characterizes the image of the user 1, not only can extra information be removed and recognition accuracy can be improved, but also the amount of data to be stored can be reduced.
  • the control circuit 30 causes the light source 10 to emit pulsed light that is irradiated to the user 1.
  • the control circuit 30 causes the image sensor 20 to detect at least a part of the reflected pulsed light returned from the user 1.
  • the control circuit 30 adjusts the time difference between the pulsed light emission timing of the light source 10 and the shutter timing of the image sensor 20.
  • the time difference may be referred to as “phase” or “phase delay”.
  • the “light emission timing” of the light source 10 is a timing at which the pulsed light emitted from the light source 10 starts to rise.
  • “Shutter timing” is a timing at which exposure is started.
  • the control circuit 30 may adjust the phase by changing the light emission timing, or may adjust the phase by changing the shutter timing.
  • the control circuit 30 causes the image sensor 20 to output a signal indicating a two-dimensional image of the user 1 according to the detected light intensity distribution.
  • the control circuit 30 causes the signal processing circuit 40 to process the signal output from the image sensor 20.
  • the control circuit 30 may be configured to remove the offset component from the signal detected by each pixel of the image sensor 20.
  • the offset component is a signal component due to ambient light such as sunlight or a fluorescent lamp, or disturbance light.
  • the image sensor 20 detects a signal to estimate an offset component due to ambient light and disturbance light.
  • the control circuit 30 can be an integrated circuit such as a combination of a processor and a memory, or a microcontroller incorporating the processor and the memory.
  • the control circuit 30 adjusts the light emission timing and the shutter timing, estimates the offset component, removes the offset component, and the like, for example, when the processor executes a program recorded in the memory.
  • the signal processing circuit 40 is a circuit that processes the image signal output from the image sensor 20.
  • the signal processing circuit 40 performs arithmetic processing such as image processing.
  • the signal processing circuit 40 includes, for example, a digital logic processor (DSP), a programmable logic device (PLD) such as a field programmable gate array (FPGA), a central processing unit (CPU) or an arithmetic processor for image processing (GPU), and a computer program. It can be realized by a combination.
  • the control circuit 30 and the signal processing circuit 40 may be a single integrated circuit, or may be separate individual circuits.
  • the signal processing circuit 40 may be a component of an external device such as a server provided in a remote place. In this case, an external device such as a server includes a communication unit, and exchanges data with the light source 10, the image sensor 20, and the control circuit 30.
  • FIG. 1G is a flowchart showing an outline of the operation by the control circuit 30.
  • the control circuit 30 schematically performs the operation shown in FIG. 1G.
  • the control circuit 30 causes the light source 10 to emit pulsed light for a predetermined time (step S101).
  • the electronic shutter of the image sensor 20 is in a state where charge accumulation is stopped.
  • the control circuit 30 causes the electronic shutter to stop accumulating until a period in which a part of the pulsed light is reflected by the surface of the user 1 and reaches the image sensor 20 is completed.
  • control circuit 30 causes the electronic shutter to start accumulating charges at a timing when another part of the pulsed light is scattered inside the user 1 and reaches the image sensor 20 (step S102). After a predetermined time has elapsed, the control circuit 30 causes the electronic shutter to stop charge accumulation (step S103). Subsequently, the control circuit 30 determines whether or not the number of executions of the charge accumulation has reached a predetermined number (step S104). The predetermined number of times may be, for example, 1,000 times or more and 100,000 times or less. If it determines with No in step S104, the control circuit 30 will repeat step S101 to S103 until it determines with Yes. If it is determined Yes in step S104, the control circuit 30 causes the image sensor 20 to generate and output a signal indicating a two-dimensional distribution image based on the total amount of signal charges accumulated in each floating diffusion layer for each pixel (step S104). S105).
  • the light component scattered inside the measurement object can be detected with high sensitivity. Note that multiple times of light emission and exposure are not essential, and are performed as necessary. Note that the operations in steps S101 to S105 shown in FIG. 1G can also be applied when only detecting the surface reflection component I1.
  • the control circuit 30 authenticates the user 1 by comparing the signal output from the image sensor 20 with the biometric data stored in the memory 25.
  • the operation of the control circuit 30 is as follows.
  • the control circuit 30 causes the signal processing circuit 40 to generate image data from information obtained by the image sensor 20.
  • the control circuit 30 compares the image data with the biometric data stored in the memory 25.
  • the signal processing circuit 40 extracts data characterizing the image from the generated user 1 image, and the control circuit 30 characterizes the user 1 image. Compare data.
  • the control circuit 30 may simply compare the correlation between the information acquired by the image sensor 20 and information registered in advance.
  • the control circuit 30 may authenticate the user 1 based on the user characteristics acquired by machine learning such as deep learning or a support vector machine.
  • the identification device 100 may include an imaging optical system that forms a two-dimensional image of the user 1 on the light receiving surface of the image sensor 20.
  • the optical axis of the imaging optical system is substantially orthogonal to the light receiving surface of the image sensor 20.
  • the imaging optical system may include a zoom lens. When the position of the zoom lens changes, the magnification rate of the two-dimensional image of the user 1 changes, and the resolution of the two-dimensional image on the image sensor 20 changes. Therefore, even if the distance to the user 1 is far, it is possible to enlarge and observe in detail the area to be measured.
  • the identification device 100 may include a band-pass filter that allows only a wavelength band emitted from the light source 10 or light in the vicinity thereof to pass between the user 1 and the image sensor 20. Thereby, the influence of disturbance components, such as environmental light, can be reduced.
  • the band pass filter is constituted by a multilayer filter or an absorption filter. Considering the temperature of the light source 10 and the band shift associated with the oblique incidence on the filter, the bandwidth of the band pass filter may have a width of about 20 to 100 nm.
  • the identification device 100 may include a polarizing plate between the light source 10 and the user 1 and between the image sensor 20 and the user 1.
  • the polarization direction of the polarizing plate arranged on the light source 10 side and the polarizing plate arranged on the image sensor side has a relationship of orthogonal Nicols.
  • the identification device 100 can distinguish and detect the surface reflection component I1 and the internal scattering component I2 by time-resolved imaging.
  • a surface reflection component I1 and an internal scattering component I2 are generated. Part of the surface reflection component I1 and the internal scattering component I2 reaches the image sensor 20.
  • the internal scattering component I2 is emitted from the light source 10 and passes through the user 1 before reaching the image sensor 20. That is, the optical path length of the internal scattering component I2 is longer than the optical path length of the surface reflection component I1. Accordingly, the internal scattering component I2 reaches the image sensor 20 on the average with respect to the surface reflection component I1.
  • the surface reflection component I1 is acquired by the following operation.
  • FIG. 2A is a diagram illustrating an example of an optical signal in which rectangular pulse light is emitted from the light source 10 and light returned from the user 1 reaches the image sensor 20.
  • the horizontal axis represents time (t) in signals (a) to (d), the vertical axis represents intensity in signals (a) to (c), and the state of OPEN or CLOSE of the electronic shutter in signal (d).
  • the signal (a) indicates the surface reflection component I1.
  • Signal (b) shows the internal scattering component I2.
  • the signal (c) indicates the sum component of the surface reflection component I1 (a) and the internal scattering component I2 (b).
  • the signal (d) is a diagram illustrating an electronic shutter timing for acquiring the surface reflection component I1 of the user 1.
  • the components that arrive early among the reflected light that has returned to the image sensor 20 can be efficiently collected by turning off the shutter.
  • the component that arrives early means less scattering by the user 1 and includes the surface information of the user 1.
  • the time during which light is substantially accumulated is a short time at the front end of the pulse wave, but the shutter is not necessarily limited to that period.
  • the shutter may be opened at an earlier stage than the front end of the pulse wave reaches the image sensor 20 as long as charges are accumulated immediately before CLOSE. This eliminates the need for an expensive, high-time-resolution imaging device with a picosecond order.
  • the identification device 100 in the present embodiment can be configured by an inexpensive image sensor 20.
  • the control circuit 30 causes the image sensor 20 to detect at least a part of the rising period of the reflected pulsed light, and the two-dimensional image of the user 1. Is output.
  • the signal output from the image sensor 20 may include a signal acquired from at least a part of the rising period of the reflected pulse light.
  • the light source 10 emits a rectangular pulse wave.
  • the pulse width need not be on the order of ps but may be several ns. Therefore, an inexpensive light source can be used. If the Tr characteristic at the front end of the pulse wave is abrupt, it is possible to reduce as much as possible that unnecessary internal scattering component I2 with a time delay is mixed into the acquired image when only the front end is captured by shutter imaging.
  • the internal scattering component I2 is acquired by the following operation.
  • FIG. 2B is a diagram illustrating another example of an optical signal in which rectangular pulse light is emitted from the light source 10 and light returned from the user 1 reaches the image sensor 20.
  • Signals (a) to (c) in FIG. 2B show the same time changes as signals (a) to (c) in FIG. 2A, respectively.
  • a signal (d) in FIG. 2B is a diagram illustrating an electronic shutter timing for obtaining the internal scattering component I2.
  • the surface reflection component I1 remains rectangular.
  • the internal scattering component I2 is the sum of the light that has passed through various optical path lengths, and thus exhibits a characteristic that has a tail at the rear end of the pulsed light. That is, the falling period is longer than that of the surface reflection component I1.
  • the electronic shutter is charged after the rear end of the surface reflection component I1, as shown in the signal (d) in FIG. 2B. Start accumulation.
  • the term “after the rear end of the surface reflection component I1” refers to the time when the surface reflection component I1 falls or after. This shutter timing is adjusted by the control circuit 30.
  • the identification device 100 distinguishes and detects the surface reflection component I1 and the internal scattering component I2 reaching the deep part of the user 1, and therefore the pulse light width and the shutter width are arbitrary. Therefore, unlike the method using a conventional streak camera, acquisition of the internal scattering component I2 can be realized with a simple configuration, and the cost can be significantly reduced.
  • the control circuit 30 causes the image sensor 20 to detect at least a part of the falling period of the reflected pulse light, and the two-dimensional user 1 A signal indicating an image is output.
  • the signal output from the image sensor 20 may include a signal acquired from at least a part of the falling period of the reflected pulse light.
  • the rear end of the surface reflection component I1 falls vertically. In other words, the time from the start of falling of the surface reflection component I1 to the end thereof is zero.
  • the pulse light itself emitted from the light source 10 is not completely vertical, the surface of the user 1 has fine irregularities, or the back end of the surface reflection component I1 is vertical due to scattering in the epidermis. May not fall.
  • the surface reflection component I1 since the user 1 is an opaque object, the surface reflection component I1 has a much larger amount of light than the internal scattering component I2. Therefore, even when the rear end of the surface reflection component I1 slightly protrudes from the vertical falling position, the internal scattering component I2 may be buried.
  • the control circuit 30 may slightly delay the shutter timing of the electronic shutter immediately after the fall of the surface reflection component I1. For example, it may be delayed by about 0.5 ns to 5 ns.
  • the control circuit 30 may adjust the light emission timing of the light source 10. The control circuit 30 adjusts the time difference between the shutter timing of the electronic shutter and the light emission timing of the light source 10. If the shutter timing is delayed too much, the originally small internal scattering component I2 is further reduced. Therefore, the shutter timing may be kept near the rear end of the surface reflection component I1. Since the time delay due to the scattering of the user 1 assumed from the sensor sensitivity is 4 ns, the maximum delay amount of the shut timing is about 4 ns.
  • the light amount of the internal scattering component I2 may be amplified by causing the light source 10 to emit pulsed light a plurality of times and exposing each pulsed light a plurality of times at the same phase shutter timing.
  • the control circuit 30 takes an image with the same exposure time without causing the light source 10 to emit light, thereby offset component. May be estimated.
  • the estimated offset component is difference-removed from the signal detected at each pixel of the image sensor 20. Thereby, dark current components and / or disturbance light generated on the image sensor 20 can be removed.
  • FIG. 3A shows an example of a timing chart when the surface reflection component I1 is detected.
  • the shutter is opened before the pulsed light reaches the image sensor 20, and the shutter is closed before the trailing edge of the pulsed light reaches. It may be.
  • the shutter CLOSE timing may be set immediately after the light reaches the image sensor 20. Thereby, it is possible to detect a signal with an increased ratio of the surface reflection component I1 having a relatively short optical path length.
  • the image sensor 20 may acquire the entire pulsed light, or may be detected by irradiating continuous light from the light source 10.
  • FIG. 3B shows an example of a timing chart when the internal scattering component I2 is detected.
  • time-division imaging with the same camera or the same sensor is performed as in this embodiment, temporal and spatial shifts are unlikely to occur.
  • the components acquired for each frame may be switched as shown in FIGS. 3A and 3B.
  • components acquired at high speed within one frame may be alternately switched. In that case, the detection time difference between the surface reflection component I1 and the internal scattering component I2 can be reduced.
  • the respective signals of the surface reflection component I1 and the internal scattering component I2 may be acquired using light of two wavelengths.
  • a method of switching four types of charge accumulation at high speed within one frame is used as described with reference to FIGS. 1D to 1F, for example. Can be done. By such a method, the time lag of the detection signal can be reduced.
  • Each of the surface reflection component I1 and the internal scattering component I2 can be acquired not only by the time-resolved imaging described above but also by spatially-resolved imaging.
  • FIGS. 4A to 4C are diagrams schematically showing an example of the distribution of the two-dimensional pattern light projected from the light source 10 onto the user 1.
  • the white portion represents a bright portion where light exists
  • the black portion represents a dark portion where no light exists.
  • FIG. 4A shows a checker pattern in which a plurality of bright portions and a plurality of dark portions are periodically distributed.
  • FIG. 4B shows a dot pattern in which a plurality of dark portions are randomly distributed in the bright portion.
  • FIG. 4C shows a dot pattern in which a plurality of bright portions are randomly distributed in the dark portion.
  • the control circuit 30 causes the light source 10 to emit two-dimensional pattern light that projects a two-dimensional pattern onto the user 1.
  • the two-dimensional pattern light includes at least one bright part and at least one dark part.
  • the two-dimensional pattern light is obtained, for example, by arranging a light shielding mask having a two-dimensional distribution in front of the light source 10.
  • the two-dimensional pattern light may be formed using a digital micromirror device (DMD) or a spatial light modulator (SLM).
  • DMD digital micromirror device
  • SLM spatial light modulator
  • the two-dimensional pattern light may be continuous light or pulsed light.
  • a light source 10 emits a two-dimensional pattern light having a spatially modulated intensity such as a checker pattern or a dot pattern.
  • a two-dimensional pattern light having a spatially modulated intensity such as a checker pattern or a dot pattern.
  • the reflected light returned from the dark part includes an internal scattering component I2 scattered inside the user 1, and hardly includes the surface reflection component I1.
  • the control circuit 30 causes the image sensor 20 to project at least a part of the reflected light returned from at least one dark part of the user 1 projected with the two-dimensional pattern light. And a signal corresponding to the intensity distribution of at least a part of the detected reflected light is output.
  • the signal output from the image sensor 20 may include the signal acquired from at least one dark part.
  • the reflected light returned from the bright part includes both the surface reflection component I1 and the internal scattering component I2. Therefore, the surface reflection component I1 can be calculated by subtracting the detection data in the nearby dark part from the detection data in the bright part. In this case, the spatial resolution is lowered.
  • the control circuit 30 In order to detect the surface reflection component I1 by the two-dimensional pattern light, the control circuit 30 causes the image sensor 20 to project at least a part of the reflected light returned from at least one dark portion of the user 1 projected with the two-dimensional pattern light. And at least part of the reflected light returned from at least one bright part.
  • the control circuit 30 sends to the image sensor 20 a signal corresponding to the intensity distribution of at least part of the reflected light returned from at least one dark part and at least part of the reflected light returned from at least one bright part.
  • a signal corresponding to the intensity distribution is output.
  • the control circuit 30 causes the signal processing circuit 40 to calculate the surface reflection component I1 by subtracting the signal acquired from at least one dark part from the signal acquired from at least one bright part.
  • the signal output from the image sensor 20 may include the signal acquired from at least one bright portion in addition to the signal acquired from at least one dark portion.
  • Each of the surface reflection component I1 and the internal scattering component I2 may be acquired by combining spatially resolved imaging and time resolved imaging.
  • the surface reflection component I1 may be acquired by detecting at least a part of the rising period of the reflected pulsed light returned from at least one bright part.
  • the internal scattering component I2 may be acquired by detecting at least a part of the falling period of the reflected pulse light returned from at least one bright part or at least one dark part.
  • Biometric authentication using surface reflection component I1 and biometric authentication using internal scattering component I2 A specific example of biometric authentication by the identification device 100 of the present embodiment will be described in comparison with a method using a general camera.
  • FIG. 5A is a diagram schematically showing a state where the user 1 is photographed by a general camera 90.
  • the light that irradiates the user 1 also enters a few millimeters inside the surface of the user 1. Therefore, in the conventional camera 90, both the surface reflection component I1 and the internal scattering component I2 included in the reflected light returned from the user 1 are detected.
  • An image in which both the surface reflection component I1 and the internal scattering component I2 are mixed may be slightly blurred. Therefore, in the face authentication by the general camera 90, there is a possibility that the acceptance rate of others is increased or the rejection rate of the person is increased.
  • FIG. 5B is a diagram schematically illustrating an example of photographing of the user 1 by the surface reflection component I1 in the present embodiment.
  • the identification device 100 can detect the surface reflection component I1 by time-resolved imaging or spatially-resolved imaging. Thereby, the texture of the user's 1 skin surface, such as a wrinkle or a micro unevenness
  • the authentication accuracy can be increased. As a result, the rejection rate of others or the acceptance rate of others is reduced.
  • FIG. 5C is a diagram schematically illustrating an example of photographing of the user 1 by the internal scattering component I2 in the present embodiment.
  • the internal scattering component I2 can be detected by time-resolved imaging or spatially-resolved imaging. Thereby, the distribution of blood vessels such as the veins of the user 1 can be detected more clearly.
  • the authentication accuracy can be increased. As a result, the rejection rate of others or the acceptance rate of others is reduced.
  • the authentication by the surface reflection component I1 and the authentication by the internal scattering component I2 may be combined. For example, depending on the application, both may be authenticated and authentication may be successful for the first time, or only one of the two may be authenticated.
  • the internal scattering component I2 is used for vein authentication, near infrared light that is more easily transmitted through the living body can be used.
  • the surface reflection component I1 is used for facial pattern authentication, light having a short wavelength such as a blue region that is difficult to transmit through a living body can be used. In this way, light of different wavelengths may be used for detection of the surface reflection component I1 and the internal scattering component I2.
  • the internal scattering component I2 includes biological information in a deeper part of the user 1 than the surface reflection component I1. Therefore, information different from the surface reflection component I1 such as vein information or internal cells can be acquired. Therefore, it is possible to carry out different types of authentication such as authentication mainly using the facial pattern for the surface reflection component I1, and authentication mainly using the vein for the internal scattering component I2. Even if one authentication fails, the other authentication can compensate for the authentication failure. This leads to stable and highly accurate authentication and secures high security. Further, when another person impersonates the user 1, it is necessary to forge both authentications, which makes it extremely difficult to tamper with. Thus, the identification apparatus 100 according to the present embodiment can realize an authentication system that is more difficult to forge or tamper.
  • authentication may be performed by machine learning using data obtained by integrating the surface reflection component I1 and the internal scattering component I2. By including different features in the data, the amount of information increases, and the accuracy rate of recognition by machine learning can be improved.
  • the user 1 may be authenticated by the TOF method that calculates the distance of the object from the round trip time of the pulsed light.
  • the TOF method calculates the distance of the object from the round trip time of the pulsed light.
  • a two-dimensional distribution of the distance between the image sensor 20 and the surface of the user 1 can be acquired.
  • the two-dimensional distribution of the distance between the image sensor 20 and the surface of the user 1 can also be referred to as the three-dimensional distribution of the surface of the user 1.
  • the distance d to the object is calculated by directly measuring the round-trip time ⁇ of light.
  • high-speed imaging having time resolution in picoseconds is used for distance resolution in millimeters.
  • the distance d to the object is calculated by measuring the round-trip time ⁇ of the pulsed light from the phase difference of the reflected pulsed light.
  • the phase difference of the reflected pulse light corresponds to a time lag between the outgoing pulse light and the reflected pulse light.
  • the measurement accuracy does not increase as the pulse width ⁇ t is shorter.
  • the light intensity of emitted light is generally modulated by a rectangular wave or a sine wave.
  • FIG. 6 is a diagram for explaining the principle of measuring the round-trip time ⁇ of pulsed light by the indirect TOF method.
  • the signal a) in FIG. 6 shows the time change of the light intensity of the outgoing pulse light
  • the signal (b) and the signal (c) in FIG. 6 show the time change of the intensity of the reflected pulse light.
  • the light intensity of the outgoing pulse light is modulated by a rectangular wave.
  • the light intensity of the outgoing pulse light is basically modulated at a speed on the order of the same order as the round-trip time ⁇ of the light.
  • the phase difference of the optical pulse can be detected by measuring the intensity with the electronic shutter set to OPEN.
  • the image sensor 20 starts the detection of the reflected pulse light by setting the electronic shutter to OPEN after time t 0 after emitting the pulse light.
  • the start time t 0 is longer than the pulse width ⁇ t of the pulsed light and shorter than the round-trip time ⁇ of the light. That is, ⁇ t ⁇ t 0 ⁇ .
  • the image sensor 20 accumulates signal charges corresponding to the amount of reflected pulse every time ⁇ t after the electronic shutter is set to OPEN.
  • the reflected pulse light returns to the image sensor 20 before the emission pulse light has been emitted. That is, ⁇ ⁇ t.
  • the image sensor 20 sets the electronic shutter to OPEN simultaneously with the emission of the pulsed light from the light source 10, and accumulates signal charges corresponding to the amount of reflected pulse light every time ⁇ t.
  • the control circuit 30 causes the image sensor 20 to detect at least part of the reflected pulsed light and output a signal indicating the three-dimensional distribution of the surface of the user 1.
  • the signal output from the image sensor 20 may include a signal indicating a three-dimensional distribution of the surface of the user 1.
  • the surface reflection component I1 included in at least a part of the reflected pulse light is used in the TOF method, the three-dimensional distribution of the surface of the user 1 including wrinkles or minute unevenness is clearer than in the conventional TOF method. Can be detected.
  • the distance of the object can be calculated by detecting the surface reflection component I1 included in the rising period of the reflected pulse light.
  • the distance from the front end to the rear end of the reflected pulse light is detected as shown in signal b) and signal (c) in FIG. 6, and the distance of the object is calculated. If spatially resolved imaging is used, a portion from the front end to the rear end of the surface reflection component I1 can be separated from the reflected pulse light.
  • a portion from the front end to the rear end of the internal scattering component I2 can be acquired from the reflected pulse light. If the portion from the front end to the rear end of the internal scattering component I2 is used for the indirect TOF method, a two-dimensional distribution of the distance between the image sensor 20 and the blood vessel of the user 1, that is, a three-dimensional distribution of the blood vessel of the user 1 is obtained. It is also possible to do.
  • FIG. 7 is a diagram schematically showing an example of photographing of the user 1 by the TOF method in the present embodiment.
  • the three-dimensional distribution of the surface of the user 1 is calculated from the surface reflection component I1.
  • the authentication accuracy can be improved. .
  • the rejection rate of others or the acceptance rate of others is reduced.
  • the three-dimensional distribution of the surface of the user 1 may be calculated from the reflected pulse light including both the surface reflection component I1 and the internal scattering component I2.
  • FIG. 8 is a flowchart showing an example of processing executed by the control circuit 30.
  • step S201 the control circuit 30 causes the light source 10 to irradiate the user 1 with light.
  • the light In the case of time-resolved imaging, the light is pulsed light, and in the case of spatially-resolved imaging, the light is two-dimensional pattern light. In the case of a combination of time-resolved imaging and spatially-resolved imaging, the light is two-dimensional pattern light and pulsed light.
  • step S202 the control circuit 30 causes the image sensor 20 to detect at least a part of the reflected light returned from the user 1 and output a signal indicating a two-dimensional image of the user 1 according to the detected light intensity distribution.
  • the reflected light is pulsed light
  • at least a part of the reflected light is, for example, a rising period component or a falling period component of the pulsed light.
  • the surface reflection component I1 is acquired from the rising period component
  • the internal scattering component I2 is acquired from the falling period component.
  • the portion of the reflected pulse light from the front end to the rear end of the surface reflection component I1 or the combined component of the surface reflection component I1 and the internal scattering component I2 A portion from the front end to the rear end is detected.
  • step S203 the control circuit 30 causes the signal processing circuit 40 to generate an image of the user 1 from the output signal, and takes out data characterizing the image.
  • the data characterizing the image generated from the surface reflection component I1 includes information indicating the texture of the skin surface of the user 1.
  • the data characterizing the image generated from the internal scattering component I2 includes information indicating the blood vessel distribution of the user 1.
  • the data that characterizes the image generated from the surface reflection component I1 or the image generated from the composite component of the surface reflection component I1 and the internal scattering component I2 is a three-dimensional distribution of the surface of the user 1, that is, The information which shows the unevenness
  • step S204 the control circuit 30 compares the data characterizing the image extracted from the generated user 1 image with the data characterizing the user 1 image stored in the memory.
  • step S205 the control circuit 30 determines whether the difference between the two data to be compared is equal to or less than a reference value. For example, when comparing the information of the three-dimensional distribution of the surface of the user 1 acquired by the TOF method and the information indicating the unevenness of the characteristic portion of the user 1 included in the biological data, an example of the determination criterion is as follows. is there. The control circuit 30 evaluates whether or not the difference between the two data is equal to or less than a reference value at all measurement points on the surface of the user 1 or measurement points at a certain ratio such as 80% or more.
  • step S206 the control circuit 30 determines that the user 1 is the user. If the difference is not less than the reference value, in step S207, the control circuit 30 determines that the user 1 is a different person.
  • the biometric authentication of the user 1 can be realized without contact by the identification device 100 according to the present embodiment. Therefore, the burden on the user 1 at the time of authentication is small.
  • the surface reflection component I1 may be acquired from a fingerprint
  • the internal scattering component I2 may be acquired from a finger vein.
  • a fingerprint or vein unique to an individual is likely to appear clearly, and the recognition accuracy is improved.
  • body movement may be suppressed by placing the hand on the glass. At this time, if there is a space between the glass and the identification device 100, there is an advantage that the camera can be focused.
  • the S / N ratio of the detection signal on the image sensor 20 can be improved by emitting a light amount exceeding Class 1 from the light source 10.
  • FIG. 9 is a diagram schematically illustrating an example in which the identification device 100 according to the present embodiment is mounted in a vehicle cabin.
  • the driver that is, the user 1 may be identified by the identification device 100 provided in the passenger compartment.
  • the identification device 100 may identify the user 1 and start the car.
  • a passenger may be identified by the identification device 100 during automatic driving, and the identification result may be fed back to automatic driving customized according to the passenger.
  • the feedback is, for example, a gentle brake if the passenger is elderly, or a refreshing driving if the passenger likes driving. As a result, automatic driving suitable for an individual becomes possible.
  • FIG. 10 is a diagram schematically illustrating an example in which the identification device 100 according to the present embodiment is applied to a mobile terminal.
  • the mobile terminal is, for example, a smartphone, a tablet, or a personal computer.
  • As the image sensor 20 in the identification device 100 an image sensor built in a mobile terminal may be used.
  • the identification device 100 may be applied to, for example, an ATM installed in a bank or a convenience store, or a front door of a house other than a car or a mobile terminal.
  • the identification device 100 according to the present embodiment enables highly accurate authentication by combining two or more authentications.
  • the identification device 100 according to the present embodiment can be used for security authentication using a terminal in addition to authentication for login to the terminal.
  • Security authentication using a terminal includes, for example, authentication of login to a bank account or login to an account of various services after login to the terminal.
  • Conventional password authentication may be used in combination, and the authentication according to the present disclosure may be a system for additional authentication. As a result, compared to a conventional system in which only password authentication is performed, the risk of hacking can be reduced and higher security can be ensured.
  • the present disclosure also includes a method including operations performed by the control circuit 30 and the signal processing circuit 40.
  • the present disclosure includes the identification device and the identification method described in the following items.
  • the identification device includes a light source, an image sensor, a memory storing biometric data indicating the characteristics of the user's body, and a processor.
  • the processor causes the light source to emit pulsed light with a pulse width of 0.2 ns or more and 1 ⁇ s or less irradiated to the user, and causes the image sensor to detect at least a part of the reflected pulsed light returned from the user.
  • the user is identified by outputting a signal according to a two-dimensional distribution of the intensity of the at least a part of the reflected pulsed light, and collating the signal with the biological data.
  • the pulse width of the pulsed light may be not less than 3 ns and not more than 50 ns.
  • the image sensor includes a plurality of pixels, and the processor causes the image sensor to receive at least a part of the reflected pulsed light for each of the plurality of pixels.
  • the charge corresponding to the intensity may be repeatedly accumulated 1000 times or more and 100,000 times or less, and the signal may indicate a two-dimensional distribution of the total amount of charges accumulated in the plurality of pixels.
  • the biological data may include first information indicating a texture of the skin surface of the user.
  • the processor includes a rising period that is a period from when the intensity of the reflected pulse light of the reflected pulse light starts to increase until the increase ends.
  • the first signal obtained by detecting at least a part of the first signal is output, and the user is identified by comparing the information acquired from the first signal with the first information. Good.
  • the biological data may include second information indicating a blood vessel distribution of the user.
  • the processor causes the image sensor to fall during a period from when the intensity of the reflected pulse light of the reflected pulse light starts to decrease until the decrease ends.
  • the second signal obtained by detecting at least a part of the period is output, and the user is identified by comparing the information acquired from the second signal with the second information. Also good.
  • the biological data may include third information indicating the unevenness of the feature portion of the user.
  • the biological data may include fourth information indicating a shape of the feature portion of the user.
  • the biometric data may include fifth information indicating a position of the feature portion of the user.
  • the processor causes the image sensor to output a third signal indicating a two-dimensional distribution of the distance between the image sensor and the surface of the user, and The user may be identified by comparing information acquired from the signal with the third information.
  • the processor includes a rising period that is a period from when the intensity of the reflected pulse light of the reflected pulse light starts to increase until the increase ends. May be detected, and the two-dimensional distribution of the distance may be calculated from the components.
  • An identification device includes a light source, an image sensor, a memory storing biometric data indicating the characteristics of the user's body, and a processor.
  • the biometric data includes first information indicating a texture of the skin surface of the user.
  • the processor causes the light source to emit irradiation light that projects a two-dimensional pattern including at least one bright part and at least one dark part onto the user, and causes the image sensor to output at least one of reflected light returned from the user.
  • the user is detected, the signal corresponding to the two-dimensional distribution of the intensity of at least a part of the reflected light is output, and the user is collated with the biological data stored in the memory, Identify.
  • the biological data may further include second information indicating a blood vessel distribution of the user.
  • the processor detects at least a part of the first reflected light returned from the at least one dark part of the user projected with the two-dimensional pattern on the image sensor. And outputting a first signal corresponding to a two-dimensional distribution of the intensity of at least a part of the first reflected light, and collating the information acquired from the first signal with the second information May identify the user.
  • the processor receives at least a part of the second reflected light returned from the at least one bright portion of the user projected with the two-dimensional pattern on the image sensor. Obtained by detecting, outputting a second signal corresponding to a two-dimensional distribution of the intensity of at least a portion of the second reflected light, and subtracting the first signal from the second signal.
  • the user may be identified by collating information with the first information.
  • the processor detects at least a part of the first reflected light returned from the at least one dark part of the user projected with the two-dimensional pattern on the image sensor. And detecting at least a part of the second reflected light returned from the at least one bright part, and outputting a first signal corresponding to a two-dimensional distribution of the intensity of the at least a part of the first reflected light. Information obtained by outputting a second signal corresponding to a two-dimensional distribution of the intensity of the at least part of the second reflected light and subtracting the first signal from the second signal. The user may be identified by comparing the first information.
  • the irradiation light may be pulsed light.
  • the pulse width of the pulsed light may be not less than 3 ns and not more than 50 ns.
  • the image sensor includes a plurality of pixels, and the processor causes the image sensor to receive the at least part of the reflected light for each of the plurality of pixels.
  • the electric charge according to the intensity may be repeatedly accumulated 1000 times or more and 100,000 times or less, and the signal may indicate a two-dimensional distribution of the total amount of electric charges accumulated in the plurality of pixels.
  • the biometric data may further include third information indicating unevenness of the characteristic portion of the user.
  • the processor may receive at least a part of the first reflected pulsed light returned from the at least one dark part of the user projected with the two-dimensional pattern on the image sensor. Detecting at least a part of the second reflected pulsed light returned from the at least one bright part, and detecting a first one according to a two-dimensional distribution of the intensity of the at least part of the first reflected pulsed light. By outputting a signal, outputting a second signal corresponding to a two-dimensional distribution of the intensity of the at least part of the second reflected pulsed light, and subtracting the first signal from the second signal The user may be identified by collating the acquired information with the third information.
  • the biological data may further include second information indicating a distribution of the blood vessels of the user.
  • the processor reduces the intensity of the first reflected pulsed light returned from the at least one dark part of the user projected the two-dimensional pattern on the image sensor.
  • the processor According to the two-dimensional distribution of the intensity of the at least part of the falling period of the first reflected pulsed light, detecting at least part of the falling period that is a period from the start to the end of the decrease
  • the user may be identified by outputting a first signal and comparing the information acquired from the first signal with the second information.
  • the processor has a second reflection returned from the at least one bright portion of the user onto which the two-dimensional pattern is projected onto the image sensor. At least part of the rising period, which is a period from when the intensity of the pulsed light starts to increase to when the increase ends, is detected, and 2 of the intensity of the at least part of the rising period of the second reflected pulsed light is detected.
  • the user may be identified by outputting a second signal corresponding to the dimensional distribution and collating information acquired from the second signal with the first information.
  • An identification method is an identification method using an identification device including a light source and an image sensor, and a pulsed light having a pulse width of 0.2 ns or more and 1 ⁇ s or less irradiated to a user on the light source. And causing the image sensor to detect at least part of the reflected pulsed light returned from the user and output a signal corresponding to a two-dimensional distribution of the intensity of the at least part of the reflected pulsed light. And identifying the user by comparing the signal with biometric data indicative of a physical feature of the user.
  • An identification method is an identification method using an identification device including a light source and an image sensor, wherein the light source has a two-dimensional pattern including at least one bright part and at least one dark part.
  • identifying the user by comparing the signal with biometric data indicating the texture of the user's skin surface.
  • the identification device according to the present disclosure is useful for a camera or an authentication device that personally identifies a user without contact.
  • the identification device can be applied to security services.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本開示のある実施形態における識別装置は、光源と、イメージセンサと、ユーザの身体の特徴を示す生体データが格納されたメモリと、プロセッサと、を備える。前記プロセッサは、前記光源に、前記ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させ、前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させ、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、前記信号と、前記生体データとを照合することにより、前記ユーザを識別する。

Description

識別装置および識別方法
　本開示は、識別装置および識別方法に関する。
　個人識別の分野では、認証は、パスワード認証から生体認証へと遷移している。パスワード認証では、ユーザが入力したパスワードに基づいて認証が行われる。一方、生体認証では、人間の身体的特徴に関する情報に基づいて認証が行われる。生体認証には、忘却、漏洩、または総当り攻撃のリスクが少ないという利点がある。生体認証では、例えば、ユーザの体の一部を光で照射し、反射光を観察することにより、個人識別の情報が取得される。
　特許文献１は、ユーザの生体認証の精度を向上させる方法を開示している。特許文献１に記載の方法では、指紋認証と静脈認証とを組み合わせて、ユーザの生体認証が行われる。具体的には、ユーザの指の表面が、指紋認証用の９００ｎｍの波長の光と、静脈認証用の７５０ｎｍの光とで照射される。それらの反射光に基づいてユーザの認証が行われる。
特開２００８―０２０９４２号公報
　本開示は、より認証精度を向上させ得る技術を提供する。
　本開示の一態様に係る識別装置は、光源と、イメージセンサと、ユーザの身体の特徴を示す生体データが格納されたメモリと、プロセッサと、を備える。前記プロセッサは、前記光源に、前記ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させ、前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させ、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、前記信号と、前記生体データとを照合することにより、前記ユーザを識別する。
　本開示の技術によれば、より精度の高い生体認証が可能となる。
図１Ａは、本実施形態における識別装置の一例を模式的に示す図である。 図１Ｂは、イメージセンサに到達する光の強度の時間変化の一例を示す図である。 図１Ｃは、入力パルス光の幅を横軸に、センサ検出光量を縦軸に表した図である。 図１Ｄは、イメージセンサの１つの画素の概略的な構成の一例を示す図である。 図１Ｅは、イメージセンサの構成の一例を示す図である。 図１Ｆは、１フレーム内の動作の一例を示す図である。 図１Ｇは、制御回路による動作の概略を示すフローチャートである。 図２Ａは、光源から矩形パルス光が発せられてユーザから戻ってきた光がイメージセンサに到達する光信号の一例を表す図である。 図２Ｂは、光源から矩形パルス光が発せられてユーザから戻ってきた光がイメージセンサに到達する光信号の他の例を表す図である。 図３Ａは、表面反射成分を検出する場合のタイミングチャートの一例を示す図である。 図３Ｂは、内部散乱成分を検出する場合のタイミングチャートの一例を示す図である。 図４Ａは、光源からユーザに投影される２次元パターン光の分布の一例を模式的に示す図である。 図４Ｂは、光源からユーザに投影される２次元パターン光の分布の他の例を模式的に示す図である。 図４Ｃは、光源からユーザに投影される２次元パターン光の分布のさらに他の例を模式的に示す図である。 図５Ａは、一般的なカメラによってユーザを撮影している様子を模式的に示す図である。 図５Ｂは、本実施形態における表面反射成分によるユーザの撮影の一例を模式的に示す図である。 図５Ｃは、本実施形態における内部散乱成分によるユーザの撮影の一例を模式的に示す図である。 図６は、間接ＴＯＦ法によってパルス光の往復時間を計測する原理を説明する図である。 図７は、本実施形態におけるＴＯＦ法によるユーザの撮影の一例を模式的に示す図である。 図８は、制御回路が実行する処理の一例を示すフローチャートである。 図９は、本実施形態における識別装置を自動車の車室内に搭載した一例を模式的に示す図である。 図１０は、本実施形態における識別装置をモバイル端末に適用した一例を模式的に示す図である。
　以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　（実施の形態）
　［１．識別装置］
　まず、本開示の実施形態における識別装置１００の構成について、図１Ａから図１Ｇを用いて説明する。
　図１Ａは、本実施形態における識別装置１００の一例を模式的に示す図である。識別装置１００は、光源１０と、イメージセンサ２０と、メモリ２５と、制御回路３０と、信号処理回路４０とを備える。イメージセンサ２０は、複数の光電変換素子２２および複数の電荷蓄積部２４を含む。本明細書において、制御回路３０および信号処理回路４０をまとめて、「プロセッサ」と称することがある。
　光源１０は、ユーザ１の頭部に照射されるパルス光を出射する。イメージセンサ２０は、ユーザ１の頭部から戻ってきたパルス光の少なくとも一部を検出する。制御回路３０は、光源１０およびイメージセンサ２０を制御する。信号処理回路４０は、イメージセンサ２０から出力された信号を処理する。
　本実施形態では、制御回路３０は、光源１０を制御する光源制御部３２と、イメージセンサ２０を制御するセンサ制御部３４とを含む。光源制御部３２は、光源１０から出射されるパルス光の強度、パルス幅、出射タイミング、および／または波長を制御する。センサ制御部３４は、イメージセンサ２０の各画素における信号蓄積のタイミングを制御する。
　以下、各構成要素をより詳細に説明する。
　［１－１．光源１０］
　光源１０は、ユーザ１の頭部、例えば額に光を照射する。光源１０から出射されてユーザ１に到達した光は、ユーザ１の表面で反射される表面反射成分Ｉ１と、ユーザ１の内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱する成分である。ユーザ１の額を光で照射する場合、内部散乱成分Ｉ２は、額の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び識別装置１００に戻る成分を指す。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザ１の額を光で照射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、ユーザ１の表面で反射する表面反射成分Ｉ１は、これら３つの成分を含むものとする。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ２０に到達する。
　光源１０は、制御回路３０からの指示に従い、パルス光を所定の時間間隔または所定のタイミングで複数回繰り返し発生させる。光源１０が発生させるパルス光は、例えば立ち下り期間がゼロに近い矩形波であり得る。立ち下り期間とは、パルス光の強度が減少を開始してから減少が終了するまでの期間である。パルス光の立ち下り期間における成分を、パルス光の後端とも称する。一般に、ユーザ１に入射した光は、様々な経路でユーザ１内を伝搬し、時間差を伴ってユーザ１の表面から出射する。このため、パルス光の内部散乱成分Ｉ２の後端は広がりを有する。被検部が額である場合、内部散乱成分Ｉ２の後端の広がりは、４ｎｓ程度である。このことを考慮すると、パルス光の立ち下り期間は、例えばその半分以下である２ｎｓ以下に設定され得る。立ち下り時間は、さらにその半分の１ｎｓ以下であってもよい。一方、パルス光の立ち上り期間における成分は、表面反射成分Ｉ１の検出に用いられ得る。立ち上り期間とは、パルス光の強度が増加を開始してから増加が終了するまでの期間である。パルス光の立ち上り期間における成分を、パルス光の前端とも称する。
　光源１０は、ＬＤなどのレーザなどの光源と、拡散板との組み合わせによって形成してもよい。レーザを用いることにより、時間応答性が高い光出力が可能になる。時間応答性が高い光出力は、鋭い立ち上り特性、または立ち下り特性の波形を有する。立ち上り特性および立ち下り特性は、それぞれ、Ｔｒ特性およびＴｆ特性とも呼ばれる。拡散板を光源１０の前に設置することにより、ユーザ１を２次元的に光で照射することもできる。
　光源１０が発する光の波長は、例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。
　本実施形態の識別装置１００では、非接触でユーザ１を測定するため、網膜への影響を考慮して設計された光源１０が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス１を満足する光源１０が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光がユーザ１に照射される。なお、光源１０自体はクラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタなどが光源１０の前に設置されて光が拡散あるいは減衰されることによってレーザ安全基準のクラス１が満たされていてもよい。
　従来、生体内部の深さ方向において異なる場所における吸収係数または散乱係数などの情報を区別して検出するために、ストリークカメラが使用されていた。例えば、特開平４－１８９３４９は、そのようなストリークカメラの一例を開示している。これらのストリークカメラでは、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。なお、本明細書において「パルス幅」とは、パルスの半値全幅を意味する。従来のストリークカメラを使用した方法に対し、本実施形態における識別装置１００は、表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。したがって、光源１０が発するパルス光は、極超短パルス光である必要はなく、パルス幅を任意に選択できる。
　額を光で照射する場合、内部散乱成分Ｉ２の光量は、表面反射成分Ｉ１の光量の数千分の１から数万分の１程度の非常に小さい値になり得る。さらに、レーザの安全基準を考慮すると、照射できる光の光量が極めて小さくなり、内部散乱成分Ｉ２の検出は非常に難しくなる。その場合でも、光源１０が、比較的パルス幅の大きいパルス光を発生させれば、時間遅れを伴う内部散乱成分Ｉ２の積算量を増加させることができる。それにより、検出光量を増やし、ＳＮ比を向上させることができる。
　光源１０は、例えばパルス幅が３ｎｓ以上のパルス光を発する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは４ｎｓ程度である。図１Ｂは、入力パルス光の幅が０ｎｓ、３ｎｓ、および１０ｎｓのそれぞれの場合において、イメージセンサ２０に到達する光量の時間変化の一例を示している。図１Ｂに示すように、光源１０からのパルス光の幅を広げるにつれて、ユーザ１から戻ったパルス光の後端に現れる内部散乱成分Ｉ２の光量が増加する。図１Ｃは、入力パルス光の幅を横軸に、イメージセンサ２０で検出される光の光量を縦軸に表した図である。イメージセンサ２０は、電子シャッタを備える。図１Ｃの結果は、パルス光の後端がユーザ１の表面で反射されてイメージセンサ２０に到達した時刻から１ｎｓ経過した後に電子シャッタを開いた条件で得られた。この条件を選択した理由は、パルス光の後端が到達した直後は、内部散乱成分Ｉ２に対する表面反射成分Ｉ１の比率が高いためである。図１Ｃに示すように、光源１０が発するパルス光のパルス幅を３ｎｓ以上にすると、イメージセンサ２０で検出される光の光量を最大化することができる。
　また、光源１０および電子シャッタの駆動回路によるタイミング制御の分解能は、０．２ｎｓ程度である。そのため、光源１０のパルス幅は、例えば０．２ｎｓ以上に設定される。
　光源１０は、パルス幅５ｎｓ以上、さらには１０ｎｓ以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となる。よって、光源１０は、例えば、パルス幅５０ｎｓ以下のパルス光を発生させる。あるいは、光源１０は、パルス幅３０ｎｓ以下、さらには２０ｎｓ以下のパルス光を発光してもよい。
　なお、光源１０の照射パターンとしては、照射領域内において、均一な強度分布であってよい。これは以下の理由による。本実施形態における識別装置１００では、時間的に表面反射成分Ｉ１が分離・低減される。これにより、ユーザ１上の照射点直下であるＮｕｌｌ点においても内部散乱成分Ｉ２を検出することができる。したがって、本実施形態における識別装置１００では、ユーザ１の被検部を空間的に広い範囲にわたって照射することにより、測定解像度を高めることができる。
　［１－２．イメージセンサ２０］
　イメージセンサ２０は、光源１０から出射され、ユーザ１で反射または散乱した光を受光する。イメージセンサ２０は、２次元に配置された複数の光検出セルを有し、ユーザ１の２次元情報を一度に取得する。これにより、ユーザ１の被検部をスライドして検出するラインセンサと比較して、比較的短時間でユーザ１の２次元情報を取得することができる。本明細書において、光検出セルを「画素」とも称する。イメージセンサ２０は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの任意の撮像素子である。
　イメージセンサ２０は、電子シャッタを有する。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路３０におけるセンサ制御部３４が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」と称することもできる。以下の説明において、露光期間の幅を、「シャッタ幅」と称することがある。１回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「ＯＰＥＮ」、露光を停止している状態を「ＣＬＯＳＥ」と称することがある。
　イメージセンサ２０は、電子シャッタによって露光期間および非露光期間をサブナノ秒、例えば、３０ｐｓから１ｎｓの範囲で調整できる。距離測定を目的としている従来のＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラは、被写体の明るさの影響を補正するため、光源１０から出射され被写体で反射されて戻った光の全てを検出する。したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の識別装置１００では、被写体の光量を補正する必要がない。このため、シャッタ幅がパルス幅よりも大きい必要はない。よって、シャッタ幅を、例えば、１ｎｓ以上３０ｎｓ以下の値に設定できる。本実施形態の識別装置１００によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流の影響を低減することができる。
　ユーザ１の額を光で照射する場合、内部での光の減衰率が非常に大きい。例えば、入射光に対して出射光が、１００万分の１程度にまで減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス１での照射では特に光量が微弱である。この場合、光源１０がパルス光を複数回発光し、それに応じてイメージセンサ２０も電子シャッタによって複数回露光することによって検出信号を積算して感度を向上することができる。
　以下、イメージセンサ２０の構成例を説明する。
　イメージセンサ２０は、撮像面上に２次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子と、１つまたは複数の電荷蓄積部とを備え得る。以下、各画素が、光電変換によって受光量に応じた信号電荷を発生させる光電変換素子と、パルス光の表面反射成分Ｉ１によって生じた信号電荷を蓄積する電荷蓄積部と、パルス光の内部散乱成分Ｉ２によって生じた信号電荷を蓄積する電荷蓄積部とを備える例を説明する。以下の例では、制御回路３０は、イメージセンサ２０に、ユーザ１の頭部から戻ったパルス光中の立ち下り開始前の部分を検出させることにより、表面反射成分Ｉ１を検出させる。制御回路３０はまた、イメージセンサ２０に、ユーザ１の頭部から戻ったパルス光中の立ち下り開始後の部分を検出させることにより、内部散乱成分Ｉ２を検出させる。光源１０は、例えば２種類の波長の光を出射する。
　図１Ｄは、イメージセンサ２０の１つの画素２０１の概略的な構成の一例を示す図である。なお、図１Ｄは、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。この例における画素２０１は、光電変換を行うフォトダイオード２０３と、電荷蓄積部である第１の浮遊拡散層（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７と、信号電荷を排出するドレイン２０２とを含む。
　１回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路３０から入力される制御信号に従って、ドレイン２０２に排出されるか、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７のいずれかに振り分けられる。
　光源１０からのパルス光の出射と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７への信号電荷の蓄積と、ドレイン２０２への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば１フレームの時間内に、例えば数万回から数億回繰り返され得る。１フレームの時間は、例えば約１／３０秒である。画素２０１は、最終的に、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積された信号電荷に基づく４つの画像信号を生成して出力する。
　この例における制御回路３０は、光源１０に、第１の波長をもつ第１のパルス光と、第２の波長をもつ第２のパルス光とを、順に繰り返し出射させる。第１の波長および第２の波長として、ユーザ１の内部組織に対する吸収率が異なる２波長を選択することにより、ユーザ１の状態を分析することができる。
　制御回路３０は、まず、光源１０に、第１のパルス光を出射させる。制御回路３０は、第１のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第１の期間に、第１の浮遊拡散層２０４に信号電荷を蓄積させる。続いて、制御回路３０は、第１のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第２の期間に、第２の浮遊拡散層２０５に信号電荷を蓄積させる。次に、制御回路３０は、光源１０に、第２のパルス光を出射させる。制御回路３０は、第２のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第３の期間に、第３の浮遊拡散層２０６に信号電荷を蓄積させる。続いて、制御回路３０は、第２のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第４の期間に、第４の浮遊拡散層２０７に信号電荷を蓄積させる。
　このように、制御回路３０は、第１のパルス光の発光を開始した後、所定の時間差を空けて、第１の浮遊拡散層２０４および第２の浮遊拡散層２０５に、フォトダイオード２０３からの信号電荷を順次蓄積させる。その後、制御回路３０は、第２のパルス光の発光を開始した後、上記所定の時間差を空けて、第３の浮遊拡散層２０６および第４の浮遊拡散層２０７に、フォトダイオード２０３からの信号電荷を順次蓄積させる。以上の動作を複数回繰り返す。外乱光および環境光の光量を推定するために、光源１０を消灯した状態で不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積された信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことにより、外乱光および環境光成分を除去した信号を得ることができる。
　なお、本実施形態では、画素ごとの電荷蓄積部の数を４としているが、目的に応じて１以上の任意の数に設計してよい。例えば、１種類の波長のみを用いる場合には、電荷蓄積部の数は２であってよい。また、使用する波長が１種類で、表面反射成分Ｉ１のみ、または内部散乱成分Ｉ２のみを検出する用途では、画素ごとの電荷蓄積部の数は１であってもよい。また、２種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行う場合には、電荷蓄積部の数は１であってもよい。後述するように、表面反射成分Ｉ１の検出と内部散乱成分Ｉ２の検出とをそれぞれ別のフレームで行う場合には、電荷蓄積部の数は１であってもよい。
　図１Ｅは、イメージセンサ２０の構成の一例を示す図である。図１Ｅにおいて、二点鎖線の枠で囲まれた領域が１つの画素２０１に相当する。画素２０１には１つのフォトダイオードが含まれる。図１Ｅでは２行２列に配列された４画素のみを示しているが、実際にはさらに多数の画素が配置され得る。画素２０１は、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７を含む。第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、イメージセンサ２０から出力される。
　各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ３０９と、行選択トランジスタ３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が図１Ｄに示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスがドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方と、行選択トランジスタ３０８の入力端子および出力端子のうちの一方とが接続されている。ソースフォロワトランジスタ３０９の入力端子および出力端子の一方は、典型的にはソースである。行選択トランジスタ３０８の入力端子および出力端子のうちの一方は、典型的にはドレインである。ソースフォロワトランジスタ３０９の制御端子であるゲートは、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された信号電荷は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。当該信号電荷は、正孔または電子である。
　図１Ｅには示されていないが、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７はフォトダイオード２０３に接続される。フォトダイオード２０３と第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７との間には、スイッチが設けられ得る。このスイッチは、制御回路３０からの信号蓄積パルスに応じて、フォトダイオード２０３と第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の各々との間の導通状態を切り替える。これにより、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
　第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートがＯＮにされることにより、読み出される。この際、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ－デジタル（ＡＤ）変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、イメージセンサ２０から出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路３０は、全ての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることにより、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ２０による一連のフレームの撮像が完結する。
　本実施の形態では、ＣＭＯＳ型のイメージセンサ２０の例を説明したが、イメージセンサ２０は他の種類の撮像素子であってもよい。イメージセンサ２０は、例えば、ＣＣＤ型であっても、単一光子計数型素子であっても、ＥＭＣＣＤまたはＩＣＣＤなどの増幅型イメージセンサであっても構わない。
　図１Ｆは、本実施形態における１フレーム内の動作の一例を示す図である。図１Ｆに示すように、１フレーム内で、第１のパルス光の発光と第２のパルス光の発光とを交互に複数回切り替えてもよい。このようにすると、２種類の波長による検出画像の取得タイミングの時間差を低減でき、動きがあるユーザ１であっても、ほぼ同時に第１および第２のパルス光での撮影が可能である。
　［１－３．メモリ２５］
　メモリ２５には、事前に取得および登録されたユーザ１の身体の特徴を示す生体データが格納されている。この生体データをテンプレートと称する。メモリ２５は、識別装置１００に内蔵されてもよいし、外部に設けられてもよい。メモリ２５は、例えば、１つまたは複数のＲＯＭ、光学ディスク、またはハードディスクドライブであり得る。
　メモリ２５に格納されている生体データは、例えば、ユーザ１の画像そのもの、または、その画像を特徴付けるデータであり得る。画像を特徴付けるデータは、例えば、ユーザ１の皮膚表面のテクスチャを示す情報、ユーザ１の血管の分布を示す情報、または、ユーザ１の特徴部分の凹凸を示す情報を含む。「ユーザ１の皮膚表面のテクスチャを示す情報」は、例えば、ユーザ１の皮膚表面のある箇所におけるしわ、または微小な凹凸の２次元分布の画素値をフーリエ変換することによって得られる周波数成分の２次元分布であり得る。この変換は、しわ、または微小な凹凸が、似たような２次元パターンの繰り返しを示す場合に有効である。「ユーザ１の血管の分布を示す情報」は、例えば、ユーザ１の静脈の分布を示す画像情報である。「ユーザ１の特徴部分の凹凸を示す情報」は、例えば、ユーザ１の眼窩、鼻、頬、頬骨、口、顎、および耳下のうちの少なくとも１つにおける凹凸を示す距離の２次元分布の画像情報である。ユーザ１の画像を特徴付けるデータを格納することにより、余分な情報を除去し、認識精度を高められるだけでなく、格納するデータ量を少なくすることができる。
　［１－４．制御回路３０および信号処理回路４０］
　制御回路３０は、光源１０に、ユーザ１に照射されるパルス光を出射させる。制御回路３０は、イメージセンサ２０に、ユーザ１から戻った反射パルス光の少なくとも一部を検出させる。制御回路３０は、光源１０のパルス光発光タイミングと、イメージセンサ２０のシャッタタイミングとの時間差を調整する。以下、当該時間差を「位相」または「位相遅れ」と称することがある。光源１０の「発光タイミング」とは、光源１０が発光するパルス光が立ち上りを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路３０は、発光タイミングを変化させて位相を調整しても良いし、シャッタタイミングを変化させて位相を調整しても良い。
　制御回路３０は、イメージセンサ２０に、検出した光の強度分布に応じたユーザ１の２次元像を示す信号を出力させる。制御回路３０は、信号処理回路４０に、イメージセンサ２０から出力された信号を処理させる。制御回路３０は、イメージセンサ２０の各画素で検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。光源１０が発光しない状態、つまり光源１０の駆動をＯＦＦにした状態で、イメージセンサ２０が信号を検出することによって環境光、外乱光によるオフセット成分が見積もられる。
　制御回路３０は、例えばプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路３０は、例えばプロセッサがメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、およびオフセット成分の除去等を行う。
　信号処理回路４０は、イメージセンサ２０から出力された画像信号を処理する回路である。信号処理回路４０は、画像処理等の演算処理を行う。信号処理回路４０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路３０および信号処理回路４０は、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。また、信号処理回路４０は、例えば遠隔地に設けられたサーバーなどの外部の装置の構成要素であってもよい。この場合、サーバーなどの外部の装置は通信手段を備え、光源１０、イメージセンサ２０、および制御回路３０と相互にデータの送受信を行う。
　図１Ｇは、制御回路３０による動作の概略を示すフローチャートである。制御回路３０は、概略的には図１Ｇに示す動作を実行する。なお、ここでは、一例として、内部散乱成分Ｉ２の検出のみを行う場合の動作を説明する。制御回路３０は、まず、光源１０に所定時間だけパルス光を発光させる（ステップＳ１０１）。このとき、イメージセンサ２０の電子シャッタは電荷蓄積を停止した状態にある。制御回路３０は、パルス光の一部がユーザ１の表面で反射されてイメージセンサ２０に到達する期間が完了するまで、電子シャッタに電荷蓄積を停止させる。次に、制御回路３０は、当該パルス光の他の一部がユーザ１の内部で散乱されてイメージセンサ２０に到達するタイミングで、電子シャッタに電荷蓄積を開始させる（ステップＳ１０２）。所定時間経過後、制御回路３０は、電子シャッタに電荷蓄積を停止させる（ステップＳ１０３）。続いて、制御回路３０は、上記の電荷蓄積を実行した回数が所定の回数に達したか否かを判定する（ステップＳ１０４）。所定の回数は、例えば、千回以上１０万回以下であり得る。ステップＳ１０４においてＮｏと判定すると、制御回路３０は、Ｙｅｓと判定するまで、ステップＳ１０１からＳ１０３を繰り返す。ステップＳ１０４においてＹｅｓと判定すると、制御回路３０は、画素ごとの各浮遊拡散層に蓄積された信号電荷の総量に基づく２次元分布の画像を示す信号をイメージセンサ２０に生成させて出力させる（ステップＳ１０５）。
　以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。なお、図１Ｇに示すステップＳ１０１から１０５の動作は、表面反射成分Ｉ１の検出のみを行う場合にも適用できる。
　制御回路３０は、イメージセンサ２０から出力された信号と、メモリ２５に格納された生体データとを照合することにより、ユーザ１を認証する。制御回路３０の動作は以下の通りである。制御回路３０は、信号処理回路４０に、イメージセンサ２０によって得られた情報から画像データを生成させる。制御回路３０は、その画像データと、メモリ２５に格納された生体データとを比較する。メモリ２５にユーザ１の画像を特徴付けるデータが格納されている場合、信号処理回路４０は、生成したユーザ１の画像から、その画像を特徴付けるデータを取り出し、制御回路３０は、ユーザ１の画像を特徴付けるデータ同士を比較する。その他、制御回路３０は、イメージセンサ２０によって取得された情報と、事前に登録された情報との相関を単純に比較してもよい。また、制御回路３０は、ディープラーニング、またはサポートベクターマシーンなどの機械学習によって取得したユーザの特徴に基づいてユーザ１を認証してもよい。
　［１－５．光学系］
　識別装置１００は、ユーザ１の２次元像をイメージセンサ２０の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ２０の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザ１の２次元像の拡大率が変更し、イメージセンサ２０上の２次元像の解像度が変化する。したがって、ユーザ１までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
　また、識別装置１００は、ユーザ１とイメージセンサ２０との間に光源１０から発する波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源１０の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は２０から１００ｎｍ程度の幅を持たせてもよい。
　また、識別装置１００は、光源１０とユーザ１との間、およびイメージセンサ２０とユーザ１との間にそれぞれ偏光板を備えてもよい。この場合、光源１０側に配置される偏光板とイメージセンサ側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、ユーザ１の表面反射成分Ｉ１のうち正反射成分、すなわち入射角と反射角が同じ成分がイメージセンサ２０に到達することを防ぐことができる。つまり、表面反射成分Ｉ１がイメージセンサ２０に到達する光量を低減させることができる。
　［２．時間分解撮像の動作］
　本実施形態における識別装置１００は、時間分解撮像により、表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。
　以下、本実施の形態における識別装置１００の動作の例を説明する。
　図１Ａに示すように、光源１０がユーザ１にパルス光を照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１および内部散乱成分Ｉ２の一部が、イメージセンサ２０に到達する。内部散乱成分Ｉ２は、光源１０から発せられてイメージセンサ２０に到達するまでにユーザ１の内部を通過する。すなわち、内部散乱成分Ｉ２の光路長は、表面反射成分Ｉ１の光路長に比べて長くなる。したがって、内部散乱成分Ｉ２は、イメージセンサ２０に到達する時間が表面反射成分Ｉ１に対して平均的に遅れる。
　時間分解撮像において、表面反射成分Ｉ１は、以下の動作によって取得される。
　図２Ａは、光源１０から矩形パルス光が発せられてユーザ１から戻ってきた光がイメージセンサ２０に到達する光信号の一例を表す図である。横軸は信号（ａ）から（ｄ）においていずれも時間（ｔ）を表し、縦軸は信号（ａ）から（ｃ）においては強度、信号（ｄ）においては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表す。信号（ａ）は、表面反射成分Ｉ１を示す。信号（ｂ）は、内部散乱成分Ｉ２を示す。信号（ｃ）は、表面反射成分Ｉ１（ａ）と内部散乱成分Ｉ２（ｂ）との合算成分を示す。信号（ｄ）は、ユーザ１の表面反射成分Ｉ１を取得するための電子シャッタタイミングを示す図である。
　図２Ａにおける信号（ｄ）に示すように、シャッタを切ることにより、イメージセンサ２０上への戻った反射光のうち早く到達する成分を効率的に収集することができる。早く到達する成分はユーザ１での散乱が少ないことを意味し、ユーザ１の表面情報を含む。実質的に光が蓄積される時間はパルス波の前端のわずかな時間であるが、シャッタは必ずしもその期間だけである必要はない。図２Ａにおける信号（ｄ）に示すように、ＣＬＯＳＥ直前において電荷が蓄積されれば、パルス波の前端がイメージセンサ２０に到達するよりも早い段階でシャッタをＯＰＥＮしてもよい。これにより、ピコセカンドオーダの高価な高時間分解撮像装置は不要である。本実施形態における識別装置１００は、安価なイメージセンサ２０によって構成され得る。
　図２Ａにおける信号（ｄ）に示す動作を実行するために、制御回路３０は、イメージセンサ２０に、反射パルス光のうち、立ち上り期間の少なくとも一部の成分を検出させ、ユーザ１の２次元像を示す信号を出力させる。本実施形態において、イメージセンサ２０から出力される信号とは、反射パルス光のうち、立ち上り期間の少なくとも一部の成分から取得された信号を含み得る。
　光源１０は、矩形パルス波を照射する。このとき、パルス幅はｐｓオーダである必要はなく数ｎｓでよい。したがって、安価な光源を用いることができる。パルス波の前端におけるＴｒ特性が急進であれば、前端のみをシャッタ撮像した場合において、時間遅れを伴う不要な内部散乱成分Ｉ２が取得画像へ混入することを極力低減することができる。
　時間分解撮像において、内部散乱成分Ｉ２は、以下の動作によって取得される。
　図２Ｂは、光源１０から矩形パルス光が発せられてユーザ１から戻ってきた光がイメージセンサ２０に到達する光信号の他の例を表す図である。図２Ｂにおける信号（ａ）から（ｃ）は、それぞれ図２Ａにおける信号（ａ）から（ｃ）と同様の時間変化を示している。図２Ｂにおける信号（ｄ）は、内部散乱成分Ｉ２を取得するための電子シャッタタイミングを示す図である。
　図２Ｂにおける信号（ａ）に示すように、表面反射成分Ｉ１は矩形を維持する。一方、図２Ｂにおける信号（ｂ）に示すように、内部散乱成分Ｉ２はさまざまな光路長を経た光の合算であるため、パルス光の後端で尾を引いたような特性を示す。すなわち、表面反射成分Ｉ１よりも立ち下り期間が長くなる。図２Ｂにおける信号（ｃ）の光信号から内部散乱成分Ｉ２の割合を高めて抽出するために、図２Ｂにおける信号（ｄ）に示すように、表面反射成分Ｉ１の後端以降に電子シャッタが電荷蓄積を開始する。表面反射成分Ｉ１の後端以降とは、表面反射成分Ｉ１が立ち下がった時またはその後である。このシャッタタイミングは、制御回路３０によって調整される。前述した通り、本実施形態における識別装置１００は表面反射成分Ｉ１とユーザ１の深部に到達した内部散乱成分Ｉ２とを区別して検出するため、パルス光幅およびシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり、簡便な構成によって内部散乱成分Ｉ２の取得を実現でき、コストを大幅に低下させることができる。
　図２Ｂにおける信号（ｄ）に示す動作を実行するために、制御回路３０は、イメージセンサ２０に、反射パルス光のうち、立ち下り期間の少なくとも一部の成分を検出させ、ユーザ１の２次元像を示す信号を出力させる。本実施形態において、イメージセンサ２０から出力される信号とは、反射パルス光のうち、立ち下り期間の少なくとも一部の成分から取得された信号を含み得る。
　図２Ｂにおける信号（ａ）では、表面反射成分Ｉ１の後端が垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立ち下りを開始してから終了するまでの時間がゼロである。しかし、現実的には光源１０が照射するパルス光自体が完全な垂直でなかったり、ユーザ１の表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分Ｉ１の後端が垂直に立ち下がらないことがある。また、ユーザ１は不透明な物体であることから、表面反射成分Ｉ１は内部散乱成分Ｉ２よりも非常に光量が大きくなる。したがって、表面反射成分Ｉ１の後端が垂直な立ち下り位置からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が埋もれてしまう可能性がある。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図２Ｂにおける信号（ｄ）に示すような理想的なバイナリな読み出しが実現できないことがある。したがって、制御回路３０は電子シャッタのシャッタタイミングを表面反射成分Ｉ１の立ち下り直後よりやや遅らせてもよい。例えば、０．５ｎｓから５ｎｓ程度遅らせてもよい。なお、電子シャッタのシャッタタイミングを調整する代わりに、制御回路３０は光源１０の発光タイミングを調整してもよい。制御回路３０は、電子シャッタのシャッタタイミングと光源１０の発光タイミングとの時間差を調整する。あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまう。このため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。センサ感度から想定されるユーザ１の散乱による時間遅れが４ｎｓであるため、シャッタイミングの最大の遅らせ量は４ｎｓ程度である。
　光源１０がパルス光を複数回発光し、各パルス光に対して同じ位相のシャッタタイミングで複数回露光することにより、内部散乱成分Ｉ２の検出光量を増幅しても良い。
　なお、ユーザ１とイメージセンサ２０との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路３０が、光源１０を発光させない状態で同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ２０の各画素で検出された信号から差分除去される。これによってイメージセンサ２０上で発生する暗電流成分および／または外乱光を除去することができる。
　次に、１フレーム当たりの表面反射成分Ｉ１および内部散乱成分Ｉ２の検出方法の例を説明する。
　図３Ａは、表面反射成分Ｉ１を検出する場合のタイミングチャートの一例を示している。表面反射成分Ｉ１の検出のために、例えば、図３Ａに示すように、パルス光がイメージセンサ２０に到達する前にシャッタをＯＰＥＮにし、パルス光の後端が到達するよりも前にシャッタをＣＬＯＳＥにしてもよい。このようにシャッタを制御することにより、内部散乱成分Ｉ２の混入を少なくすることができる。ユーザ１の表面近傍を通過した光の割合を大きくすることができる。特に、シャッタＣＬＯＳＥのタイミングを、イメージセンサ２０への光の到達直後にしてもよい。これにより、光路長が比較的短い表面反射成分Ｉ１の割合を高めた信号検出が可能となる。他の表面反射成分Ｉ１の取得方法として、イメージセンサ２０がパルス光全体を取得したり、光源１０から連続光を照射して検出したりしてもよい。
　図３Ｂは、内部散乱成分Ｉ２を検出する場合のタイミングチャートの一例を示している。パルスの後端部分がイメージセンサ２０に到達する期間にシャッタをＯＰＥＮにすることにより、内部散乱成分Ｉ２の信号を取得することができる。
　本実施形態のように、同一カメラまたは同一センサによる時分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のセンサで表面反射成分Ｉ１および内部散乱成分Ｉ２の両方の信号を取得する場合、図３Ａおよび図３Ｂに示すように、１フレームごとに取得する成分を切り替えてもよい。あるいは、図１Ｄから図１Ｆを参照して説明したように、１フレーム内で高速に取得する成分を交互に切り替えてもよい。その場合、表面反射成分Ｉ１と内部散乱成分Ｉ２の検出時間差を低減できる。
　さらに、表面反射成分Ｉ１と内部散乱成分Ｉ２のそれぞれの信号を、２つの波長の光を用いて取得してもよい。表面反射成分Ｉ１と内部散乱成分Ｉ２を、それぞれ２波長で取得する場合、例えば図１Ｄから図１Ｆを参照して説明したように、４種類の電荷蓄積を１フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減できる。
　［３．空間分解撮像の動作］
　表面反射成分Ｉ１および内部散乱成分Ｉ２の各々は、前述した時間分解撮像の他に、空間分解撮像によっても取得することもできる。
　図４Ａから図４Ｃは、光源１０からユーザ１に投影される２次元パターン光の分布の例を模式的に示す図である。図４Ａから図４Ｃに示す例では、白部は光が存在する明部を表し、黒部は光が存在しない暗部を表す。図４Ａでは、複数の明部および複数の暗部が周期的に分布するチェッカパターンが示されている。図４Ｂでは、明部の中に、複数の暗部がランダムに分布するドットパターンが示されている。図４Ｃでは、暗部の中に、複数の明部がランダムに分布するドットパターンが示されている。
　制御回路３０は、光源１０に、ユーザ１に２次元パターンを投影する２次元パターン光を出射させる。図４Ａから図４Ｃに示すように、２次元パターン光は、少なくとも１つの明部および少なくとも１つの暗部を含む。２次元パターン光は、例えば、２次元的な分布を有する遮光マスクを光源１０の前に配置することによって得られる。あるいは、２次元パターン光は、デジタル・マイクロミラー・デバイス（ＤＭＤ）、または空間光変調器（ＳＬＭ）を用いて形成されてもよい。２次元パターン光は、連続光であってもよいし、パルス光であってもよい。
　図４Ａから図４Ｃに示すように、光源１０から、チェッカパターン、またはドットパターンといった空間的に強度を変調させた２次元パターン光が出射される。２次元パターン光をユーザ１に投影すると、多くの光は明部から戻り、僅かな光が暗部から戻る。暗部から戻った反射光は、ユーザ１の内部において散乱された内部散乱成分Ｉ２を含み、表面反射成分Ｉ１を殆ど含まない。
　２次元パターン光によって内部散乱成分Ｉ２を検出するために、制御回路３０は、イメージセンサ２０に、２次元パターン光を投影されたユーザ１の、少なくとも１つの暗部から戻った反射光の少なくとも一部を検出させ、検出した反射光の上記の少なくとも一部の強度分布に応じた信号を出力させる。これにより、２次元パターン光がパルス光であれば、図２Ａまたは図２Ｂにおける信号（ｂ）に示す、内部散乱成分Ｉ２の前端から後端までの部分を取得することができる。本実施形態において、イメージセンサ２０から出力される信号は、少なくとも１つの暗部から取得された上記信号を含み得る。
　一方、明部から戻った反射光は、表面反射成分Ｉ１および内部散乱成分Ｉ２の両方を含む。したがって、表面反射成分Ｉ１は、明部における検出データから、近傍の暗部における検出データを差し引くことによって算出することが可能である。この場合、空間解像度が低下する。その対策として、シングルショットで信号を取得するのではなく、例えば、２次元パターン光の分布をシフトさせたり、２次元パターン光の分布自体を変えたりして複数回信号を取得することが考えられる。これにより、空間解像度を低減させることなく、表面反射成分Ｉ１を取得することが可能になる。
　２次元パターン光によって表面反射成分Ｉ１を検出するために、制御回路３０は、イメージセンサ２０に、２次元パターン光を投影されたユーザ１の、少なくとも１つの暗部から戻った反射光の少なくとも一部と、少なくとも１つの明部から戻った反射光の少なくとも一部とを検出させる。制御回路３０は、イメージセンサ２０に、少なくとも１つの暗部から戻った反射光の上記の少なくとも一部の強度分布に応じた信号と、少なくとも１つの明部から戻った反射光の上記の少なくとも一部の強度分布に応じた信号とを出力させる。制御回路３０は、信号処理回路４０に、少なくとも１つの明部から取得された上記信号から、少なくとも１つの暗部から取得された上記信号を減算することにより、表面反射成分Ｉ１を算出させる。これにより、２次元パターン光がパルス光であれば、図２Ａまたは図２Ｂにおける信号（ａ）に示す、表面反射成分Ｉ１の前端から後端までの部分を取得することができる。本実施形態において、イメージセンサ２０から出力される信号は、少なくとも１つの暗部から取得された上記信号の他に、少なくとも１つの明部から取得された上記信号を含み得る。
　空間分解撮像と時間分解撮像とを組み合わせて、表面反射成分Ｉ１および内部散乱成分Ｉ２の各々を取得してもよい。
　２次元パターン光がパルス光である場合、少なくとも１つの明部から戻った反射パルス光の立ち上り期間の少なくとも一部を検出することにより、表面反射成分Ｉ１を取得してもよい。同様に、少なくとも１つの明部、または少なくとも１つの暗部から戻った反射パルス光の立ち下り期間の少なくとも一部を検出することにより、内部散乱成分Ｉ２を取得してもよい。反射パルス光の立ち上り期間の成分、および立ち下り期間の成分を検出する際における制御回路３０および信号処理回路４０の動作は、前述した通りである。
　［４．表面反射成分Ｉ１による生体認証、および内部散乱成分Ｉ２による生体認証］
　本実施形態の識別装置１００による生体認証の具体例を、一般的なカメラを使用した方法と比較して説明する。
　図５Ａは、一般的なカメラ９０によってユーザ１を撮影している様子を模式的に示す図である。ユーザ１を照射する光は、ユーザ１の表面の数ミリメートル内部にも進入する。そのため、従来のカメラ９０では、ユーザ１から戻った反射光に含まれる表面反射成分Ｉ１および内部散乱成分Ｉ２の両方が検出される。表面反射成分Ｉ１および内部散乱成分Ｉ２の両方が混在した画像は、若干ぼやける可能性がある。そのため、一般的なカメラ９０による顔認証では、他人受入率が増加したり、本人拒否率が増加したりするおそれがある。例えば、双子の兄弟を本人であると誤認したり、髪型を変更した場合に本人ではないと誤認したりする可能性がある。すなわち、一般的なカメラ９０を用いた方法では、顔認証の精度が悪化し得る。
　図５Ｂは、本実施形態における表面反射成分Ｉ１によるユーザ１の撮影の一例を模式的に示す図である。本実施形態における識別装置１００では、前述したように、時間分解撮像または空間分解撮像により、表面反射成分Ｉ１を検出することができる。これにより、しわ、または微小な凹凸などのユーザ１の皮膚表面のテクスチャを、より鮮明に検出することができる。表面反射成分Ｉ１から取得された情報と、メモリ２５の生体データに含まれるユーザ１の皮膚表面のテクスチャを示す情報とを照合した結果を用いることにより、認証精度を高めることができる。その結果、本人拒否率、または他人受入率が低減される。
　図５Ｃは、本実施形態における内部散乱成分Ｉ２によるユーザ１の撮影の一例を模式的に示す図である。本実施形態における識別装置１００では、前述したように、時間分解撮像または空間分解撮像により、内部散乱成分Ｉ２を検出することができる。これにより、ユーザ１の静脈などの血管の分布を、より鮮明に検出することができる。内部散乱成分Ｉ２から取得された情報と、メモリ２５の生体データに含まれるユーザ１の血管の分布を示す情報とを照合した結果を用いることにより、認証精度を高めることができる。その結果、本人拒否率、または他人受入率が低減される。
　表面反射成分Ｉ１による認証と、内部散乱成分Ｉ２による認証とを組み合わせてもよい。例えば、用途に応じて、２つとも認証して、初めて認証成功としてもよいし、２つのうちの一方のみ認証すれば認証成功としてもよい。内部散乱成分Ｉ２を静脈認証とする場合、生体をより透過しやすい近赤外光が用いられ得る。一方、表面反射成分Ｉ１を顔紋認証とする場合、生体を透過しにくい青色域などの短波長の光が用いられ得る。このように、表面反射成分Ｉ１と内部散乱成分Ｉ２との検出に異種の波長の光を用いてもよい。
　内部散乱成分Ｉ２は、表面反射成分Ｉ１よりも、ユーザ１のより深部における生体情報を含む。そのため、静脈情報または内部細胞などの、表面反射成分Ｉ１とは異なる情報を取得することができる。したがって、表面反射成分Ｉ１では主として顔紋による認証をし、内部散乱成分Ｉ２では主として静脈による認証をするといった異なる複数種類の認証を実施することが可能になる。一方の認証に失敗しても、他方の認証によって認証の失敗を補うことができる。これは、安定して高精度な認証につながり、高いセキュリティを確保できる。また、他人がユーザ１に成りすます場合、両方の認証の偽造が必要であり、改ざんが極めて困難になる。このように、本実施形態における識別装置１００により、偽造または改ざんがより困難な認証システムを実現することができる。
　また、複数種類の認証を独立して実施する以外にも、表面反射成分Ｉ１と内部散乱成分Ｉ２とを統合したデータを用いて、機械学習によって認証してもよい。異なる特徴をデータに含むことによって情報量が多くなり、機械学習による認識の正解率を向上させることができる。
　上記の他に、パルス光の往復時間から物体の距離を算出するＴＯＦ法により、ユーザ１を認証してもよい。ＴＯＦ法により、イメージセンサ２０とユーザ１の表面との間の距離の２次元分布を取得することができる。イメージセンサ２０とユーザ１の表面との間の距離の２次元分布は、ユーザ１の表面の３次元分布とも言い得る。
　イメージセンサ２０とユーザ１の表面との間の距離は、以下のようにして算出される。光源１０から出射されたパルス光がユーザ１の表面で反射され、イメージセンサ２０によって検出されるまでの往復時間をτとし、空気中の光速をｃとする。そのとき、イメージセンサ２０とユーザ１の表面との間の距離ｄは、ｄ＝ｃτ／２である。
　往復時間τを取得する方法として、直接ＴＯＦ法と間接ＴＯＦ法とがある。
　直接ＴＯＦ法では、光の往復時間τを直接計測することにより、物体までの距離ｄが算出される。直接ＴＯＦ法では、Δｄ＝１ｍｍの距離分解能を実現するための時間分解能は、Δτ＝２Δｄ／ｃ≒６．６ピコ秒である。このように、直接ＴＯＦ法では、ミリ単位の距離分解能のために、ピコ秒単位の時間分解能を有する高速撮像が用いられる。
　一方、実用上よく用いられる間接ＴＯＦ法では、反射パルス光の位相差からパルス光の往復時間τを計測することにより、物体までの距離ｄが算出される。反射パルス光の位相差は、出射パルス光と反射パルス光との時間のずれに相当する。間接ＴＯＦ法では、パルス幅Δｔが短いほど計測精度が高くなるわけではない。間接ＴＯＦ法では、位相差を検出するために、出射光の光強度を矩形波または正弦波によって変調することが一般的である。
　図６は、間接ＴＯＦ法によってパルス光の往復時間τを計測する原理を説明する図である。図６における信号ａ）は、出射パルス光の光強度の時間変化を示し、図６における信号（ｂ）および信号（ｃ）は、反射パルス光の強度の時間変化を示している。
　図６における信号（ａ）に示す例では、出射パルス光の光強度は、矩形波によって変調されている。位相差を精度よく測定するために、基本的には、出射パルス光の光強度は、光の往復時間τと同程度のオーダの速さで変調される。
　イメージセンサ２０において電子シャッタをＯＰＥＮにして強度を測定することにより、光パルスの位相差を検出することができる。図６における信号（ｂ）に示す例では、イメージセンサ２０は、パルス光を出射してから時間ｔ０後に電子シャッタをＯＰＥＮにして、反射パルス光の検出を開始する。開始時間ｔ０はパルス光のパルス幅Δｔより長く、光の往復時間τよりも短い。すなわち、Δｔ＜ｔ０＜τである。イメージセンサ２０は、電子シャッタをＯＰＥＮにしてから、時間Δｔごとに反射パルス光量に応じた信号電荷を蓄積する。最初の時間Δｔの間に蓄積された信号電荷量をＳ１とし、その次の時間Δｔの間に蓄積された信号電荷の量をＳ２とする。光の往復時間τと開始時間ｔ０との差は、［Ｓ２／（Ｓ１＋Ｓ２）］Δｔに等しい。したがって、光の往復時間は、τ＝ｔ０＋［Ｓ２／（Ｓ１＋Ｓ２）］Δｔである。蓄積された信号電荷量Ｓ１、Ｓ２から間接的に得られた光の往復時間τから、物体までの距離ｄが算出される。
　図６における信号（ｃ）に示す例では、反射パルス光は、出射パルス光が出射し終える前に、イメージセンサ２０に戻ってくる。すなわち、τ＜Δｔである。この場合、イメージセンサ２０は、光源１０からのパルス光の出射と同時に電子シャッタをＯＰＥＮにして、時間Δｔごとに反射パルス光量に応じた信号電荷を蓄積する。光の往復時間は、τ＝［Ｓ２／（Ｓ１＋Ｓ２）］Δｔである。
　ＴＯＦ法では、制御回路３０は、イメージセンサ２０に、反射パルス光の少なくとも一部を検出させ、ユーザ１の表面の３次元分布を示す信号を出力させる。本実施形態において、イメージセンサ２０から出力される信号とは、ユーザ１の表面の３次元分布を示す信号を含み得る。
　反射パルス光の少なくとも一部に含まれる表面反射成分Ｉ１をＴＯＦ法に用いれば、従来のＴＯＦ法と比較して、しわ、または微小な凹凸も含めたユーザ１の表面の３次元分布をより鮮明に検出することができる。
　直接ＴＯＦ法では、反射パルス光の立ち上がり期間に含まれる表面反射成分Ｉ１を検出することにより、物体の距離を算出することができる。間接ＴＯＦ法では、図６における信号ｂ）および信号（ｃ）に示すように反射パルス光の前端から後端までの部分を検出して、物体の距離が算出される。空間分解撮像を用いれば、反射パルス光から、表面反射成分Ｉ１の前端から後端までの部分を分離することができる。
　また、空間分解撮像を用いれば、反射パルス光から、内部散乱成分Ｉ２の前端から後端までの部分を取得することもできる。内部散乱成分Ｉ２の前端から後端までの部分を間接ＴＯＦ法に用いれば、イメージセンサ２０とユーザ１の血管との間の距離の２次元分布、すなわち、ユーザ１の血管の３次元分布を取得することも可能である。
　図７は、本実施形態におけるＴＯＦ法によるユーザ１の撮影の一例を模式的に示す図である。図７に示す例では、表面反射成分Ｉ１から、ユーザ１の表面の３次元分布が算出される。ユーザ１の表面の３次元分布から取得された情報と、メモリ２５の生体データに含まれるユーザ１の特徴部分の凹凸を示す情報とを照合した結果を用いることにより、認証精度を高めることができる。その結果、本人拒否率、または他人受入率が低減される。なお、表面反射成分Ｉ１および内部散乱成分Ｉ２の両方を含む反射パルス光から、ユーザ１の表面の３次元分布を算出してもよい。
　次に、本実施形態における識別装置１００を用いたユーザ１の生体認証の一連の処理を説明する。
　図８は、制御回路３０が実行する処理の一例を示すフローチャートである。
　ステップＳ２０１において、制御回路３０は、光源１０に、ユーザ１を光で照射させる。時間分解撮像であれば、当該光はパルス光であり、空間分解撮像であれば、当該光は２次元パターン光である。時間分解撮像と空間分解撮像との組み合わせであれば、当該光は、２次元パターン光であり、かつ、パルス光である。
　ステップＳ２０２において、制御回路３０は、イメージセンサ２０に、ユーザ１から戻った反射光の少なくとも一部を検出させ、検出した光の強度分布に応じたユーザ１の２次元像を示す信号を出力させる。反射光がパルス光であれば、反射光の少なくとも一部は、例えば、パルス光の立ち上り期間の成分、または立ち下り期間の成分である。立ち上り期間の成分から表面反射成分Ｉ１が取得され、立ち下り期間の成分から内部散乱成分Ｉ２が取得される。間接ＴＯＦ法によってユーザ１の表面の３次元分布を取得する場合、反射パルス光のうち、表面反射成分Ｉ１の前端から後端までの部分、または表面反射成分Ｉ１および内部散乱成分Ｉ２の合成成分の前端から後端までの部分が検出される。
　ステップＳ２０３において、制御回路３０は、信号処理回路４０に、出力した信号からユーザ１の画像を生成させ、その画像を特徴付けるデータを取り出す。表面反射成分Ｉ１から生成された画像を特徴付けるデータは、ユーザ１の皮膚表面のテクスチャを示す情報を含む。内部散乱成分Ｉ２から生成された画像を特徴付けるデータは、ユーザ１の血管の分布を示す情報を含む。ＴＯＦ法であれば、表面反射成分Ｉ１から生成された画像、または表面反射成分Ｉ１と内部散乱成分Ｉ２との合成成分から生成された画像を特徴付けるデータは、ユーザ１の表面の３次元分布、すなわちユーザ１の特徴部分の凹凸を示す情報を含む。
　ステップＳ２０４において、制御回路３０は、生成したユーザ１の画像から取り出したその画像を特徴付けるデータと、メモリに格納されたユーザ１の画像を特徴付けるデータとを比較する。
　ステップＳ２０５において、制御回路３０は、比較される上記の２つのデータの差が基準値以下かどうかを判断する。例えば、ＴＯＦ法によって取得されたユーザ１の表面の３次元分布の情報と、生体データに含まれるユーザ１の特徴部分の凹凸を示す情報とを比較する場合、判断基準の例は以下の通りである。制御回路３０は、ユーザ１の表面の全ての計測点、または８０％など一定の割合以上の計測点において、上記の２つのデータの差が基準値以下かどうかを評価する。
　上記の差が基準値以下であれば、ステップＳ２０６において、制御回路３０は、ユーザ１が本人であると判断する。上記の差が基準値以下でなければ、ステップＳ２０７において、制御回路３０は、ユーザ１が別人であると判断する。
　本実施形態における識別装置１００により、ユーザ１の生体認証を非接触で実現することができる。したがって、認証時にユーザ１にかかる負担は少ない。
　ユーザ１の体の一部のうち、顔以外にも、手など他の部位を用いてもよい。例えば、指紋から表面反射成分Ｉ１を取得してもよいし、指の静脈から内部散乱成分Ｉ２を取得してもよい。手には、個人特有の指紋、または静脈が明瞭に現れやすく、認識精度が向上する。手をユーザ１の被検部とする場合、ガラスの上に手を置くことによって体動を抑えてもよい。このとき、ガラスと識別装置１００との間に空間があると、カメラの焦点を合わすことができる利点がある。また、手認証の場合、クラス１を超える光量を光源１０から出射することにより、イメージセンサ２０上の検出信号のＳＮ比を向上させることができる。
　次に、本実施形態における識別装置１００の応用例を説明する。
　図９は、本実施形態における識別装置１００を自動車の車室内に搭載した一例を模式的に示す図である。図９に示すように、車室内に設けられた識別装置１００により、運転者、すなわちユーザ１を識別してもよい。車のキーの代わりに、識別装置１００によってユーザ１を識別して、車を始動させてもよい。自動運転時に識別装置１００によって乗客を識別し、その識別結果を、乗客に応じてカスタマイズされた自動運転にフィードバックしてもよい。フィードバックとは、例えば、乗客が高齢者であればブレーキをやさしくする、ドライブ好きの乗客であれば爽快な走りのドライビングにするなどである。これにより、個人に適合した自動運転が可能になる。
　図１０は、本実施形態における識別装置１００をモバイル端末に適用した一例を模式的に示す図である。モバイル端末は、例えば、スマートフォン、タブレット、またはパーソナルコンピュータである。識別装置１００におけるイメージセンサ２０として、モバイル端末に内蔵されているイメージセンサを用いてもよい。
　本実施形態における識別装置１００は、自動車またはモバイル端末以外にも、例えば、銀行もしくはコンビニエンスストアに設置されているＡＴＭ、または住宅の玄関に適用してもよい。
　本実施形態における識別装置１００は、２つ以上の認証の組み合わせによる高精度な認証を可能にする。本実施形態における識別装置１００は、端末へのログインの認証の他、端末を用いたセキュリティ認証にも用いることが可能である。端末を用いたセキュリティ認証は、例えば、端末へのログイン後における、銀行口座へのログイン、または各種サービスのアカウントへのログインの認証を含む。従来のパスワード認証も併用し、本開示における認証を追加認証とするシステムにしてもよい。これにより、従来のパスワード認証のみが行われるシステムと比較して、ハッキングのリスクを低減し、さらに高いセキュリティを確保することができる。
　本開示は、制御回路３０および信号処理回路４０が実行する動作を含む方法も含む。
　以上のように、本開示は、以下の項目に記載の識別装置、および識別方法を含む。
　［項目１］
　第１の項目に係る識別装置は、光源と、イメージセンサと、ユーザの身体の特徴を示す生体データが格納されたメモリと、プロセッサと、を備える。前記プロセッサは、前記光源に、前記ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させ、前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させ、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、前記信号と、前記生体データとを照合することにより、前記ユーザを識別する。
　［項目２］
　第１の項目に係る識別装置において、前記パルス光の前記パルス幅は、３ｎｓ以上５０ｎｓ以下であってもよい。
　［項目３］
　第１または第２の項目に係る識別装置において、前記イメージセンサは複数の画素を含み、前記プロセッサは、前記イメージセンサに、前記複数の画素の各々について、前記反射パルス光の前記少なくとも一部の前記強度に応じた電荷を、千回以上１０万回以下繰り返して蓄積させ、前記信号は、前記複数の画素に蓄積された電荷の総量の２次元分布を示してもよい。
　［項目４］
　第１から第３の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの皮膚表面のテクスチャを示す第１情報を含んでいてもよい。
　［項目５］
　第４の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部の成分を検出することによって得た第１の信号を出力させ、前記第１の信号から取得された情報と、前記第１情報とを照合することにより前記ユーザを識別してもよい。
　［項目６］
　第１から第５の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの血管の分布を示す第２情報を含んでいてもよい。
　［項目７］
　第６の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が減少を開始してから減少が終了するまでの期間である立ち下り期間の少なくとも一部の成分を検出することによって得た第２の信号を出力させ、前記第２の信号から取得された情報と、前記第２情報とを照合することにより前記ユーザを識別してもよい。
　［項目８］
　第１から第７の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの特徴部分の凹凸を示す第３情報を含んでいてもよい。
　第１から第７の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの特徴部分の形状を示す第４情報を含んでいてもよい。
　第１から第７の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの特徴部分の位置を示す第５情報を含んでいてもよい。
　［項目９］
　第８の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記イメージセンサと前記ユーザの表面との間の距離の２次元分布を示す第３の信号を出力させ、前記第３の信号から取得された情報と、前記第３情報とを照合することにより前記ユーザを識別してもよい。
　［項目１０］
　第９の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部の成分を検出させ、前記成分から、前記距離の前記２次元分布を算出してもよい。
　［項目１１］
　第１１の項目に係る識別装置は、光源と、イメージセンサと、ユーザの身体の特徴を示す生体データが格納されたメモリと、プロセッサと、を備える。前記生体データは、前記ユーザの皮膚表面のテクスチャを示す第１情報を含む。前記プロセッサは、前記光源に、少なくとも１つの明部および少なくとも１つの暗部を含む２次元パターンを前記ユーザに投影する照射光を出射させ、前記イメージセンサに、前記ユーザから戻った反射光の少なくとも一部を検出させ、前記反射光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、前記信号と、前記メモリに格納された前記生体データとを照合することにより、前記ユーザを識別する。
　［項目１２］
　第１１の項目に係る識別装置において、前記生体データは、前記ユーザの血管の分布を示す第２情報をさらに含んでいてもよい。
　［項目１３］
　第１２の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射光の少なくとも一部を検出させ、前記第１の反射光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第１の信号から取得した情報と、前記第２情報とを照合することにより、前記ユーザを識別してもよい。
　［項目１４］
　第１３の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの明部から戻った第２の反射光の少なくとも一部を検出させ、前記第２の反射光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第１情報とを照合することにより、前記ユーザを識別してもよい。
　［項目１５］
　第１５の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射光の少なくとも一部を検出させ、前記少なくとも１つの明部から戻った第２の反射光の少なくとも一部を検出させ、前記第１の反射光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第２の反射光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第１情報とを照合することにより、前記ユーザを識別してもよい。
　［項目１６］
　第１１の項目に係る識別装置において、前記照射光は、パルス光であってもよい。
　［項目１７］
　第１６の項目に係る識別装置において、前記パルス光のパルス幅は、３ｎｓ以上５０ｎｓ以下であってもよい。
　［項目１８］
　第１６または第１７の項目に係る識別装置において、前記イメージセンサは複数の画素を含み、前記プロセッサは、前記イメージセンサに、前記複数の画素の各々について、前記反射光の前記少なくとも一部の前記強度に応じた電荷を、千回以上１０万回以下繰り返して蓄積させ、前記信号は、前記複数の画素に蓄積された電荷の総量の２次元分布を示していてもよい。
　［項目１９］
　第１６から第１８の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの特徴部分の凹凸を示す第３情報をさらに含んでいてもよい。
　［項目２０］
　第１９の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射パルス光の少なくとも一部を検出させ、前記少なくとも１つの明部から戻った第２の反射パルス光の少なくとも一部を検出させ、前記第１の反射パルス光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第２の反射パルス光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第３情報とを照合することにより、前記ユーザを識別してもよい。
　［項目２１］
　第１６から第１８の項目のいずれかに係る識別装置において、前記生体データは、前記ユーザの血管の分布を示す第２情報をさらに含んでいてもよい。
　［項目２２］
　第２１の項目に係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射パルス光の強度が減少を開始してから減少が終了するまでの期間である立ち下り期間の少なくとも一部を検出させ、前記第１の反射パルス光の前記立ち下り期間の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第１の信号から取得した情報と、前記第２情報とを照合することにより、前記ユーザを識別してもよい。
　［項目２３］
　第１６から第１８の項目のいずれかに係る識別装置において、前記プロセッサは、前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの明部から戻った第２の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部を検出させ、前記第２の反射パルス光の前記立ち上り期間の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、前記第２の信号から取得した情報と、前記第１情報とを照合することにより、前記ユーザを識別してもよい。
　［項目２４］
　第２４の項目に係る識別方法は、光源と、イメージセンサとを備える識別装置を用いた識別方法であって、前記光源に、ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させることと、前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させて、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させることと、前記信号と、前記ユーザの身体の特徴を示す生体データとを照合することにより、前記ユーザを識別することと、を含む。
　［項目２５］
　第２５の項目に係る識別方法は、光源と、イメージセンサとを備える識別装置を用いた識別方法であって、前記光源に、少なくとも１つの明部および少なくとも１つの暗部を含む２次元パターンを前記ユーザに投影する照射光を出射させることと、前記イメージセンサに、前記ユーザから戻った反射光の少なくとも一部を検出させ、前記反射光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させることと、前記信号と、前記ユーザの皮膚表面のテクスチャを示す生体データとを照合することにより、前記ユーザを識別することと、を含む。
　本開示における識別装置は、非接触でユーザを個人識別するカメラ、または認証機器に有用である。識別装置は、セキュリティサービスに応用できる。
　１　　　　ユーザ
　１０　　　光源
　２０　　　イメージセンサ
　２２　　　光電変換部
　２４　　　電荷蓄積部
　２５　　　メモリ
　３０　　　制御回路
　３２　　　光源制御部
　３４　　　センサ制御部
　４０　　　信号処理回路
　１００　　識別装置
　Ｉ１　　　表面反射成分
　Ｉ２　　　内部散乱成分

Claims (25)

  1. 　光源と、
    　イメージセンサと、
    　ユーザの身体の特徴を示す生体データが格納されたメモリと、
    　プロセッサと、
    を備え、
    　前記プロセッサは、
    　　前記光源に、前記ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させ、
    　　前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させ、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、
    　　前記信号と、前記生体データとを照合することにより、前記ユーザを識別する、
    識別装置。
  2. 　前記パルス光の前記パルス幅は、３ｎｓ以上５０ｎｓ以下である、
    請求項１に記載の識別装置。
  3. 　前記イメージセンサは複数の画素を含み、
    　前記プロセッサは、前記イメージセンサに、前記複数の画素の各々について、前記反射パルス光の前記少なくとも一部の前記強度に応じた電荷を、千回以上１０万回以下繰り返して蓄積させ、
    　前記信号は、前記複数の画素に蓄積された電荷の総量の２次元分布を示す、
    請求項１または２に記載の識別装置。
  4. 　前記生体データは、前記ユーザの皮膚表面のテクスチャを示す第１情報を含む、
    請求項１から３のいずれかに記載の識別装置。
  5. 　前記プロセッサは、
    　　前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部の成分を検出することによって得た第１の信号を出力させ、
    　　前記第１の信号から取得された情報と、前記第１情報とを照合することにより前記ユーザを識別する、
    請求項４に記載の識別装置。
  6. 　前記生体データは、前記ユーザの血管の分布を示す第２情報を含む、
    請求項１から５のいずれかに記載の識別装置。
  7. 　前記プロセッサは、
    　　前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が減少を開始してから減少が終了するまでの期間である立ち下り期間の少なくとも一部の成分を検出することによって得た第２の信号を出力させ、
    　　前記第２の信号から取得された情報と、前記第２情報とを照合することにより前記ユーザを識別する、
    請求項６に記載の識別装置。
  8. 　前記生体データは、前記ユーザの特徴部分の凹凸を示す第３情報を含む、
    請求項１から７のいずれかに記載の識別装置。
  9. 　前記プロセッサは、
    　　前記イメージセンサに、前記イメージセンサと前記ユーザの表面との間の距離の２次元分布を示す第３の信号を出力させ、
    　　前記第３の信号から取得された情報と、前記第３情報とを照合することにより前記ユーザを識別する、
    請求項８に記載の識別装置。
  10. 　前記プロセッサは、
    　　前記イメージセンサに、前記反射パルス光のうち、前記反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部の成分を検出させ、
    　　前記成分から、前記距離の前記２次元分布を算出する、
    請求項９に記載の識別装置。
  11. 　光源と、
    　イメージセンサと、
    　ユーザの身体の特徴を示す生体データが格納されたメモリと、
    　プロセッサと、
    を備え、
    　前記生体データは、前記ユーザの皮膚表面のテクスチャを示す第１情報を含み、
    　前記プロセッサは、
    　　前記光源に、少なくとも１つの明部および少なくとも１つの暗部を含む２次元パターンを前記ユーザに投影する照射光を出射させ、
    　　前記イメージセンサに、前記ユーザから戻った反射光の少なくとも一部を検出させ、前記反射光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させ、
    　　前記信号と、前記メモリに格納された前記生体データとを照合することにより、前記ユーザを識別する、
    識別装置。
  12. 　前記生体データは、前記ユーザの血管の分布を示す第２情報をさらに含む、
    請求項１１に記載の識別装置。
  13. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射光の少なくとも一部を検出させ、前記第１の反射光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、
    　　前記第１の信号から取得した情報と、前記第２情報とを照合することにより、前記ユーザを識別する、
    請求項１２に記載の識別装置。
  14. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの明部から戻った第２の反射光の少なくとも一部を検出させ、前記第２の反射光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、
    　　前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第１情報とを照合することにより、前記ユーザを識別する、
    請求項１３に記載の識別装置。
  15. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射光の少なくとも一部を検出させ、前記少なくとも１つの明部から戻った第２の反射光の少なくとも一部を検出させ、前記第１の反射光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第２の反射光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、
    　　前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第１情報と、を照合することにより、前記ユーザを識別する、
    請求項１１に記載の識別装置。
  16. 　前記照射光は、パルス光である、
    請求項１１に記載の識別装置。
  17. 　前記パルス光のパルス幅は、３ｎｓ以上５０ｎｓ以下である、
    請求項１６に記載の識別装置。
  18. 　前記イメージセンサは複数の画素を含み、
    　前記プロセッサは、前記イメージセンサに、前記複数の画素の各々について、前記反射光の前記少なくとも一部の前記強度に応じた電荷を、千回以上１０万回以下繰り返して蓄積させ、
    　前記信号は、前記複数の画素に蓄積された電荷の総量の２次元分布を示す、
    請求項１６または１７に記載の識別装置。
  19. 　前記生体データは、前記ユーザの特徴部分の凹凸を示す第３情報をさらに含む、
    請求項１６から１８のいずれかに記載の識別装置。
  20. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射パルス光の少なくとも一部を検出させ、前記少なくとも１つの明部から戻った第２の反射パルス光の少なくとも一部を検出させ、前記第１の反射パルス光の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、前記第２の反射パルス光の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、
    　　前記第２の信号から前記第１の信号を減算することによって取得された情報と、前記第３情報とを照合することにより、前記ユーザを識別する、
    請求項１９に記載の識別装置。
  21. 　前記生体データは、前記ユーザの血管の分布を示す第２情報をさらに含む、
    請求項１６から１８のいずれかに記載の識別装置。
  22. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの暗部から戻った第１の反射パルス光の強度が減少を開始してから減少が終了するまでの期間である立ち下り期間の少なくとも一部を検出させ、前記第１の反射パルス光の前記立ち下り期間の前記少なくとも一部の強度の２次元分布に応じた第１の信号を出力させ、
    　　前記第１の信号から取得した情報と、前記第２情報とを照合することにより、前記ユーザを識別する、
    請求項２１に記載の識別装置。
  23. 　前記プロセッサは、
    　　前記イメージセンサに、前記２次元パターンを投影された前記ユーザの、前記少なくとも１つの明部から戻った第２の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上り期間の少なくとも一部を検出させ、前記第２の反射パルス光の前記立ち上り期間の前記少なくとも一部の強度の２次元分布に応じた第２の信号を出力させ、
    　　前記第２の信号から取得した情報と、前記第１情報とを照合することにより、前記ユーザを識別する、
    請求項１６から１８のいずれかに記載の識別装置。
  24. 　光源と、イメージセンサとを備える識別装置を用いた識別方法であって、
    　前記光源に、ユーザに照射されるパルス幅が０．２ｎｓ以上１μｓ以下のパルス光を出射させることと、
    　前記イメージセンサに、前記ユーザから戻った反射パルス光の少なくとも一部を検出させて、前記反射パルス光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させることと、
    　前記信号と、前記ユーザの身体の特徴を示す生体データとを照合することにより、前記ユーザを識別することと、
    を含む、
    識別方法。
  25. 　光源と、イメージセンサとを備える識別装置を用いた識別方法であって、
    　前記光源に、少なくとも１つの明部および少なくとも１つの暗部を含む２次元パターンを前記ユーザに投影する照射光を出射させることと、
    　前記イメージセンサに、前記ユーザから戻った反射光の少なくとも一部を検出させ、前記反射光の前記少なくとも一部の強度の２次元分布に応じた信号を出力させることと、
    　前記信号と、前記ユーザの皮膚表面のテクスチャを示す生体データとを照合することにより、前記ユーザを識別することと、
    を含む、
    識別方法。
PCT/JP2019/018315 2018-05-30 2019-05-08 識別装置および識別方法 Ceased WO2019230306A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020521814A JP7542192B2 (ja) 2018-05-30 2019-05-08 識別装置および識別方法
CN201980022548.7A CN111970971B (zh) 2018-05-30 2019-05-08 识别装置及识别方法
CN202411134478.3A CN119097305A (zh) 2018-05-30 2019-05-08 识别装置及识别方法
US17/088,653 US12158931B2 (en) 2018-05-30 2020-11-04 Identifying device and identifying method using reflected light from a body of a user irradiated by pulsed light
US18/486,821 US20240054203A1 (en) 2018-05-30 2023-10-13 Identifying device and identifying method using reflected light from a body of a user irradiated by pulsed light
JP2024130062A JP2024156912A (ja) 2018-05-30 2024-08-06 識別装置、識別方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018103301 2018-05-30
JP2018-103301 2018-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/088,653 Continuation US12158931B2 (en) 2018-05-30 2020-11-04 Identifying device and identifying method using reflected light from a body of a user irradiated by pulsed light

Publications (1)

Publication Number Publication Date
WO2019230306A1 true WO2019230306A1 (ja) 2019-12-05

Family

ID=68696700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018315 Ceased WO2019230306A1 (ja) 2018-05-30 2019-05-08 識別装置および識別方法

Country Status (4)

Country Link
US (2) US12158931B2 (ja)
JP (2) JP7542192B2 (ja)
CN (2) CN111970971B (ja)
WO (1) WO2019230306A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157439A1 (ja) * 2020-02-03 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
WO2024014250A1 (ja) * 2022-07-15 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
EP3832407B1 (fr) * 2019-12-06 2024-03-27 Tissot S.A. Procédé de connexion sécurisée d'une montre à un serveur distant
CN113569595B (zh) * 2020-04-28 2024-03-22 富泰华工业（深圳）有限公司 身份辨识装置以及身份辨识方法
US11809546B2 (en) * 2021-03-01 2023-11-07 Rovi Guides, Inc. Adaptive biometric authentication
US20230367010A1 (en) * 2022-01-24 2023-11-16 Sensortek Technology Corp. Light sensor and control method thereof
FR3154812A1 (fr) * 2023-10-27 2025-05-02 Valeo Comfort And Driving Assistance Procédé de détermination de la phase mesurée par un dispositif de mesure par temps de vol, dispositif associé et système de photopléthysmographie à distance associé

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312887A (ja) * 2004-04-01 2005-11-10 Sony Corp 撮像装置及び情報処理システム
JP2015514965A (ja) * 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
JP2017091186A (ja) * 2015-11-10 2017-05-25 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置
US9971948B1 (en) * 2015-11-12 2018-05-15 Apple Inc. Vein imaging using detection of pulsed radiation

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4053228A (en) * 1975-12-12 1977-10-11 Michael Schiller Finger identification
JPH09154832A (ja) * 1995-12-12 1997-06-17 Kao Corp 皮膚表面形態判定方法及び装置
JP3592487B2 (ja) * 1997-07-02 2004-11-24 日本電信電話株式会社 指紋認識集積回路
JPH11213164A (ja) * 1998-01-29 1999-08-06 Fuji Xerox Co Ltd 個人識別装置
JP3426565B2 (ja) * 1999-06-10 2003-07-14 日本電信電話株式会社 表面形状認識装置
EP1059602B1 (en) 1999-06-10 2006-12-13 Nippon Telegraph and Telephone Corporation Surface shape recognition apparatus
JP4578109B2 (ja) * 2004-01-16 2010-11-10 三菱電機株式会社 指紋読取装置及び指紋照合装置
US7876929B2 (en) * 2004-10-04 2011-01-25 Hitachi, Ltd. Personal identification device
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP4500207B2 (ja) * 2005-05-13 2010-07-14 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2008020942A (ja) 2006-07-10 2008-01-31 Rohm Co Ltd 個人識別装置及びこれを用いた電子機器
JP2008123312A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 静脈画像照合装置、およびこれを用いた個人認証装置、個人認証システム
CN101641049A (zh) * 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
US20100061598A1 (en) * 2007-05-07 2010-03-11 Innozest Inc. Apparatus and method for recognizing subcutaneous vein pattern
JP2009098017A (ja) * 2007-10-17 2009-05-07 Olympus Corp 血管内可視化方法および血管内可視化装置
JP4788744B2 (ja) * 2008-07-28 2011-10-05 株式会社日立製作所 個人認証装置および血管画像抽出装置
JP5056662B2 (ja) * 2008-08-07 2012-10-24 ソニー株式会社 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート
JP2010146095A (ja) * 2008-12-16 2010-07-01 Toyota Motor Corp 生体認証システム
JP2010146533A (ja) * 2008-12-18 2010-07-01 Fit Design System Co Ltd 生体認証装置
CN103370727A (zh) * 2011-04-22 2013-10-23 株式会社日立制作所 血管图像摄影装置及生物体认证装置
JP2013130958A (ja) * 2011-12-20 2013-07-04 Hitachi Maxell Ltd 撮像装置および生体認証装置
CN103826530B (zh) * 2012-07-25 2015-12-30 松下电器产业株式会社 摄像系统
WO2014208018A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距システム
WO2015191913A2 (en) 2014-06-11 2015-12-17 Hoyos Labs Corp. System and method for facilitating user access to vehicles based on biometric information
JP6593743B2 (ja) * 2015-05-13 2019-10-23 パナソニックＩｐマネジメント株式会社 粉塵検出装置および粉塵検出システム
CN106236060B (zh) 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
CN106257915B (zh) * 2015-06-17 2021-02-26 松下知识产权经营株式会社 摄像装置
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
CN105678255B (zh) * 2016-01-04 2019-01-08 京东方科技集团股份有限公司 一种光学式指纹识别显示屏及显示装置
CN107088071B (zh) * 2016-02-17 2021-10-15 松下知识产权经营株式会社 生物体信息检测装置
JP6707943B2 (ja) * 2016-03-25 2020-06-10 富士通株式会社 生体画像処理装置及び生体画像処理方法
JP2017187471A (ja) * 2016-03-31 2017-10-12 パナソニックＩｐマネジメント株式会社 撮像装置
JP6814967B2 (ja) * 2016-06-17 2021-01-20 パナソニックＩｐマネジメント株式会社 撮像装置
CN106462756B (zh) * 2016-09-17 2019-08-23 深圳市汇顶科技股份有限公司 指纹采集装置及方法、终端设备及屏幕亮灭的控制方法
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN116269262A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
CN108209867B (zh) * 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
CN106778707B (zh) * 2017-02-09 2020-09-11 Oppo广东移动通信有限公司 指纹识别方法、显示屏以及移动终端
CN107452029A (zh) * 2017-07-31 2017-12-08 中国医学科学院生物医学工程研究所 一种光学微血管血流成像方法
EP3726197B1 (en) * 2017-12-13 2023-01-25 Panasonic Intellectual Property Management Co., Ltd. Optical sensing device
EP3759646A4 (en) * 2018-03-02 2021-03-17 Visa International Service Association DYNAMIC LIGHTING FOR IMAGE-BASED REVIEW PROCESSING
EP3608813B1 (en) * 2018-05-29 2025-12-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Verification system and verification method
WO2020044854A1 (ja) * 2018-08-30 2020-03-05 パナソニックＩｐマネジメント株式会社 生体計測装置、及び生体計測方法
JP7386438B2 (ja) * 2018-12-20 2023-11-27 パナソニックＩｐマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
US11010585B2 (en) * 2019-06-28 2021-05-18 Synaptics Incorporated Sequenced illumination of nearby object with cue marks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312887A (ja) * 2004-04-01 2005-11-10 Sony Corp 撮像装置及び情報処理システム
JP2015514965A (ja) * 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
JP2017091186A (ja) * 2015-11-10 2017-05-25 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
US9971948B1 (en) * 2015-11-12 2018-05-15 Apple Inc. Vein imaging using detection of pulsed radiation
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157439A1 (ja) * 2020-02-03 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
JP2021124307A (ja) * 2020-02-03 2021-08-30 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
JP7241710B2 (ja) 2020-02-03 2023-03-17 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
WO2024014250A1 (ja) * 2022-07-15 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理システム

Also Published As

Publication number Publication date
CN111970971B (zh) 2024-08-27
JPWO2019230306A1 (ja) 2021-07-15
US20210049252A1 (en) 2021-02-18
JP7542192B2 (ja) 2024-08-30
US20240054203A1 (en) 2024-02-15
US12158931B2 (en) 2024-12-03
CN111970971A (zh) 2020-11-20
JP2024156912A (ja) 2024-11-06
CN119097305A (zh) 2024-12-10

Similar Documents

Publication Publication Date Title
JP7542192B2 (ja) 識別装置および識別方法
US11212512B2 (en) System and method of imaging using multiple illumination pulses
KR102233419B1 (ko) 확률적 tof 이미징
CN112969031B (zh) 摄像装置
US10582178B2 (en) Systems and methods for active depth imager with background subtract
US10397496B2 (en) Imaging device provided with light source, image sensor including first accumulator and second accumulator, and controller
US12493105B2 (en) Reducing interference in an active illumination environment
US20180168454A1 (en) Device including light source emitting pulsed light, light detector, and processor
US11272162B2 (en) Method and system for reducing returns from retro-reflections in active illumination system
US20170289468A1 (en) Image pickup apparatus including light source, image sensor, and control circuit
US11108957B1 (en) Low power operation of differential image sensor pixels
CN112188866B (zh) 生物体计测装置及生物体计测方法
WO2019102444A1 (en) System and method of reducing ambient background light in a pulse-illuminated image
ES2924090T3 (es) Sistemas y métodos fotónicos
WO2020137276A1 (ja) 撮像装置
US11559205B2 (en) Biological measuring device and head mounted display apparatus
US12276760B2 (en) Distance-measuring device
WO2023090188A1 (ja) 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム
Kirmani Computational time-resolved imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811152

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521814

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19811152

Country of ref document: EP

Kind code of ref document: A1