[go: up one dir, main page]

JP2018036102A - 測距装置、および、測距装置の制御方法 - Google Patents

測距装置、および、測距装置の制御方法 Download PDF

Info

Publication number
JP2018036102A
JP2018036102A JP2016168252A JP2016168252A JP2018036102A JP 2018036102 A JP2018036102 A JP 2018036102A JP 2016168252 A JP2016168252 A JP 2016168252A JP 2016168252 A JP2016168252 A JP 2016168252A JP 2018036102 A JP2018036102 A JP 2018036102A
Authority
JP
Japan
Prior art keywords
image data
depth map
resolution
continuous light
charge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016168252A
Other languages
English (en)
Inventor
大木　光晴
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016168252A priority Critical patent/JP2018036102A/ja
Priority to CN201780003409.0A priority patent/CN108139484B/zh
Priority to US15/766,467 priority patent/US10641606B2/en
Priority to PCT/JP2017/025072 priority patent/WO2018042887A1/ja
Publication of JP2018036102A publication Critical patent/JP2018036102A/ja
Priority to US16/802,282 priority patent/US11310411B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】間欠光を受光する測距装置においてデプスマップの画質を向上させる。
【解決手段】画素アレイ部には、所定の間欠光を受光する複数の画素が二次元格子状に配列される。連続光画像データ生成部は、複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する。デプスマップ生成部は、複数の画素のそれぞれに対応する距離情報を配列したデプスマップを受光データおよび連続光画像データから生成する。
【選択図】図６

Description

本技術は、測距装置、および、測距装置の制御方法に関する。詳しくは、光の位相差から距離を測定する測距装置、および、測距装置の制御方法に関する。
従来より、測距機能を持つ電子装置において、ＴｏＦ（Time of Flight）方式と呼ばれる測距方式がよく用いられている。このＴｏＦ方式は、サイン波や矩形波などの間欠光を装置が物体に照射し、その照射光に対する反射光を受光して、照射光と反射光との位相差から距離を測定する方式である。
このＴｏＦ方式において、複数の画素をアレイ状に配列したＴｏＦセンサで反射光を受光すれば、装置は、画素毎に距離を測定してデプスマップを生成することができる。このデプスマップの画質を向上させる目的で、間欠光でなく連続光を受光して画像データを撮像する固体撮像素子をさらに追加したシステムが提案されている（例えば、非特許文献１参照。）。このシステムでは、ＴｏＦセンサの受光データと固体撮像素子が撮像した画像データとをクロスバイラテラルフィルタに入力してデプスマップを生成している。このクロスバイラテラルフィルタは、ガウス関数を用いたフィルタであり、ノイズの除去やアップサンプリングなどに用いられる。
D.Chan et al., A Noise-Aware Filter for Real-Time Depth Upsampling, ECCV Workshops 2008.
上述の従来技術では、クロスバイラテラルフィルタを用いて、ＴｏＦセンサのみの場合よりも画質の向上したデプスマップを生成することができる。しかしながら、ＴｏＦセンサに加えて固体撮像素子を実装する必要があるため、装置のコストやサイズが大きくなってしまうという問題がある。ＴｏＦセンサからの間欠光の受光データのみでもデプスマップを生成することができるが、固体撮像素子を追加した場合よりもデプスマップの画質が低下してしまう。このように、間欠光の受光データのみでは、デプスマップの画質を向上させることができないという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、光の位相差から距離を測定する測距装置においてデプスマップの画質を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、上記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを上記受光データおよび上記連続光画像データから生成するデプスマップ生成部とを具備する測距装置、および、その制御方法である。これにより、間欠光を受光する複数の画素のそれぞれの受光データに基づいて連続光画像データが生成されるという作用をもたらす。
また、この第１の側面において、上記受光データのそれぞれは、複数の電荷信号を含み、上記連続光画像データ生成部は、上記複数の画素のそれぞれについて上記複数の電荷信号を積分する処理により上記連続光画像データを生成してもよい。これにより、複数の電荷信号を積分する処理により連続光画像データが生成されるという作用をもたらす。
また、この第１の側面において、上記デプスマップ生成部は、上記複数の電荷信号と上記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から上記デプスマップを生成してもよい。これにより、所定の関数が最小になるときの電荷信号からデプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記デプスマップ生成部は、所定のフィルタを用いて上記デプスマップを生成してもよい。これにより、所定のフィルタを用いることによってデプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、複数の画素ブロックに分割され、上記デプスマップ生成部は、上記受光データに対する画素加算により上記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、上記複数の画素ブロックのそれぞれについて上記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、上記低解像度電荷信号に基づいて上記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、上記連続光画像データと上記低解像度連続光画像データと上記低解像度デプスマップとを上記所定のフィルタに入力して上記デプスマップを生成する高解像度デプスマップ生成部とを備えてもよい。これにより、連続光画像データと低解像度連続光画像データと低解像度デプスマップとを所定のフィルタに入力することによってデプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、複数の画素ブロックに分割され、上記デプスマップ生成部は、上記受光データに対する画素加算により上記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、上記複数の画素ブロックのそれぞれについて上記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、上記連続光画像データと上記低解像度連続光画像データと上記低解像度電荷信号とを上記所定のフィルタに入力して上記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、上記高解像度電荷信号を上記距離情報に変換するデプス変換部とを備えてもよい。これにより、連続光画像データと低解像度連続光画像データと低解像度電荷信号とを所定のフィルタに入力することによって高解像度電荷信号が生成されるという作用をもたらす。
また、この第１の側面において、上記デプスマップ生成部は、上記複数の電荷信号とを上記距離情報に変換するデプス変換部と、上記距離情報と上記連続光画像データとを上記所定のフィルタに入力して上記距離情報のノイズを除去するデプスマップノイズ除去部とを備えてもよい。これにより、距離情報と連続光画像データとを所定のフィルタに入力することによって距離情報のノイズが除去されるという作用をもたらす。
また、この第１の側面において、上記デプスマップ生成部は、上記連続光画像データと上記複数の電荷信号とを上記所定のフィルタに入力して上記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、上記ノイズが除去された上記複数の電荷信号を上記距離情報に変換するデプス変換部とを備えてもよい。これにより、連続光画像データと複数の電荷信号とを所定のフィルタに入力することによって複数の電荷信号のノイズが除去されるという作用をもたらす。
また、この第１の側面において、上記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、上記所定のフィルタは、上記第１および第２の電荷信号の和と上記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタであってもよい。これにより、第１および第２の電荷信号の和と第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタによってデプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、上記所定のフィルタは、上記第１および第２の電荷信号の差の二乗と上記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタであってもよい。これにより、第１および第２の電荷信号の差の二乗と第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタによって、デプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記所定のフィルタは、ノイズを除する前の上記間欠光の位相とノイズを除去した後の上記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含んでもよい。これにより、ノイズを除する前の間欠光の位相とノイズを除去した後の間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む所定のフィルタによってデプスマップが生成されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、所定の期間内に上記所定の間欠光を受光し、上記所定の期間と異なる連続光受光期間内に上記所定の連続光を受光し、上記連続光画像データ生成部は、上記連続光受光期間内の上記受光データから上記連続光画像データを生成してもよい。これにより、連続光受光期間内の受光データから連続光画像データが生成されるという作用をもたらす。
本技術によれば、光の位相差から距離を測定する測距装置においてデプスマップの画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における測距モジュールの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＴｏＦセンサの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の回路の一例を示す回路図である。 本技術の第１の実施の形態における固体撮像素子のＱ１Ｑ２生成期間の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子のＱ３Ｑ４生成期間の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における測距演算部の一構成例を示すブロック図である。 本技術の第１の実施の形態における電荷信号および低解像度電荷信号の一例を示す図である。 本技術の第１の実施の形態における赤外線画像データおよび低解像度赤外線画像データの一例を示す図である。 本技術の第１の実施の形態における低解像度デプスマップおよび高解像度デプスマップの一例を示す図である。 本技術の第１の実施の形態における測距モジュールの動作の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例における発光制御部の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態の変形例における測距演算部の一構成例を示すブロック図である。 本技術の第２の実施の形態における測距演算部の一構成例を示すブロック図である。 本技術の第２の実施の形態における測距モジュールの動作の一例を示すフローチャートである。 本技術の第３の実施の形態における測距演算部の一構成例を示すブロック図である。 本技術の第３の実施の形態における関数ｈ（）の一例を示すグラフである。 本技術の第３の実施の形態における位相平面上の長さＺと関数ｍ（）との一例を示す図である。 本技術の第３の実施の形態における関数ｇ（）および関数Ｗu,u'の一例を示す図である。 本技術の第３の実施の形態における測距モジュールの動作の一例を示すフローチャートである。 本技術の第４の実施の形態における測距演算部の一構成例を示すブロック図である。 本技術の第４の実施の形態における測距モジュールの動作の一例を示すフローチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（赤外線画像を生成し、デプスマップをアップサンプリングする例）
２．第２の実施の形態（赤外線画像を生成し、電荷信号をアップサンプリングする例）
３．第３の実施の形態（赤外線画像を生成し、電荷信号のノイズを除去する例）
４．第４の実施の形態（赤外線画像を生成し、デプスマップのノイズを除去する例）
＜１．第１の実施の形態＞
［測距モジュールの構成例］
図１は、本技術の実施の形態における測距モジュール１００の一構成例を示すブロック図である。この測距モジュール１００は、ＴｏＦ方式により距離を測定するものであり、発光部１１０、発光制御部１２０、ＴｏＦセンサ２００および測距演算部３００を備える。なお、測距モジュール１００は、特許請求の範囲に記載の測距装置の一例である。
発光部１１０は、間欠的に照射光を発して物体に照射するものである。この発光部１１０は、例えば、矩形波の発光制御信号ＣＬＫｐに同期して照射光を発生する。また、例えば、発光部１１０として発光ダイオードが用いられ、照射光として近赤外光などが用いられる。なお、発光制御信号ＣＬＫｐは、周期信号であれば、矩形波に限定されない。例えば、発光制御信号ＣＬＫｐは、サイン波であってもよい。また、照射光は、近赤外光に限定されず、可視光などであってもよい。
発光制御部１２０は、発光部１１０を制御するものである。この発光制御部１２０は、発光制御信号ＣＬＫｐを生成して発光部１１０およびＴｏＦセンサ２００に供給する。この発光制御信号ＣＬＫｐの周波数は、例えば、２０メガヘルツ（ＭＨｚ）である。なお、発光制御信号ＣＬＫｐの周波数は、２０メガヘルツ（ＭＨｚ）に限定されず、５メガヘルツ（ＭＨｚ）などであってもよい。
ＴｏＦセンサ２００は、間欠的な照射光に対する反射光を受光して、垂直同期信号ＶＳＹＮＣの周期が経過するたびに、その周期内の受光量を示す電荷信号を生成するものである。例えば、６０ヘルツ（Ｈｚ）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。また、ＴｏＦセンサ２００には、複数の画素が二次元格子状に配置される。ＴｏＦセンサ２００は、これらの画素が生成した電荷信号を測距演算部３００に供給する。なお、垂直同期信号ＶＳＹＮＣの周波数は、６０ヘルツ（Ｈｚ）に限定されず、３０ヘルツ（Ｈｚ）や１２０ヘルツ（Ｈｚ）であってもよい。
測距演算部３００は、ＴｏＦセンサ２００からの電荷信号に基づいて物体までの距離（言い換えれば、デプス）をＴｏＦ方式で測定するものである。この測距演算部３００は、複数の画素のそれぞれの距離情報を配列したデプスマップを生成する。このデプスマップは、例えば、距離に応じた度合いのぼかし処理を行う画像処理や、距離に応じてフォーカスレンズの合焦点を求めるＡＦ（Auto Focus）処理などに用いられる。
［ＴｏＦセンサ２００の構成例］
図２は、第１の実施の形態におけるＴｏＦセンサ２００の一構成例を示すブロック図である。このＴｏＦセンサ２００は、行走査回路２１０と、画素アレイ部２２０と、タイミング制御部２４０と、複数のＡＤ（Analog to Digital）変換部２５０と、列走査回路２６０と信号処理部２７０とを備える。画素アレイ部２２０には、二次元格子状に複数の画素２３０が配置される。以下、所定の方向に配列された画素２３０の集合を「行」と称し、行に垂直な方向に配列された画素２３０の集合を「列」と称する。前述のＡＤ変換部２５０は、列ごとに設けられる。
タイミング制御部２４０は、垂直同期信号ＶＳＹＮＣに同期して行走査回路２１０、ＡＤ変換部２５０および列走査回路２６０を制御するものである。
行走査回路２１０は、全行を同時に露光させ、露光終了後に行を順に選択して画素信号を出力させるものである。画素２３０は、行走査回路２１０の制御に従って反射光を受光し、受光量に応じた電荷信号を出力するものである。
ＡＤ変換部２５０は、対応する列からの電荷信号をＡＤ変換するものである。このＡＤ変換部２５０は、列走査回路２６０の制御に従って、ＡＤ変換した電荷信号を信号処理部２７０に出力する。列走査回路２６０は、ＡＤ変換部２５０を順に選択して電荷信号を出力させるものである。
信号処理部２７０は、電荷信号に対して、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部２７０は、信号処理後の電荷信号を測距演算部３００に供給する。
なお、ＴｏＦセンサ２００には、実際には反射光を集光するためのレンズがさらに設けられるが、このレンズは図２において、記載の便宜上、省略されている。
［画素の構成例］
図３は、第１の実施の形態における画素２３０の回路の一例を示すブロック図である。この画素２３０は、受光素子２３１と、転送スイッチ２３２と、電荷蓄積部２３３および２３４と、選択スイッチ２３５および２３６とを備える。
受光素子２３１は、光を光電変換して電荷を生成するものである。この受光素子２３１として、例えば、フォトダイオードが用いられる。
転送スイッチ２３２は、行走査回路２１０の制御に従って受光素子２３１を電荷蓄積部２３３、電荷蓄積部２３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ２３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。リセット電源Ｖｒｓｔに接続された際において、ＭＯＳトランジスタのドレインから出力された電荷は破棄され、受光素子２３１の電荷が初期化される。
電荷蓄積部２３３および２３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部２３３および２３４として、例えば、浮遊拡散層が用いられる。
選択スイッチ２３５は、行走査回路２１０の制御に従って、電荷蓄積部２３３とＡＤ変換部２５０との間の線路を開閉するものである。選択スイッチ２３６は、行走査回路２１０の制御に従って、電荷蓄積部２３４とＡＤ変換部２５０との間の線路を開閉するものである。例えば、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ２３５が閉状態に遷移し、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ２３６が閉状態に遷移する。これらの選択スイッチ２３５および２３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
図４は、第１の実施の形態におけるＱ１Ｑ２生成期間内の画素の露光制御の一例を示すタイミングチャートである。間欠光の照射が開始されると画素２３０は、電荷信号Ｑ１およびＱ２の生成と、電荷信号Ｑ３およびＱ４の生成とを交互に繰り返し行う。以下、電荷信号Ｑ１およびＱ２の生成期間を「Ｑ１Ｑ２生成期間」と称し、電荷信号Ｑ３およびＱ４の生成期間を「Ｑ３Ｑ４生成期間」と称する。Ｑ１Ｑ２生成期間およびＱ３Ｑ４生成期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。
ここで、電荷信号Ｑ１は、間欠光の発光制御信号ＣＬＫｐの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｐ１をＱ１Ｑ２生成期間に亘って累積したものである。発光制御信号ＣＬＫｐの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量は非常に少なく、検出が困難である。このため、画素２３０は、発光制御信号ＣＬＫｐの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２生成期間に亘って、受光量ｐ１のそれぞれを累積し、その総量を示す信号を電荷信号Ｑ１として生成する。また、電荷信号Ｑ２は、１８０度から３６０度までの反射光の受光量ｐ２をＱ１Ｑ２生成期間に亘って累積したものである。
また、電荷信号Ｑ３は、９０度から２７０度までの反射光の受光量ｐ３をＱ３Ｑ４生成期間に亘って累積したものである。また、電荷信号Ｑ４は、２７０度から９０度までの反射光の受光量ｐ４をＱ３Ｑ４生成期間に亘って累積したものである。
これらの電荷信号Ｑ１、Ｑ２、Ｑ３およびＱ４から、測距モジュール１００は、物体までの距離Ｄを画素毎に算出することができる。
例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２生成期間において、その期間の電荷信号Ｑ１およびＱ２が検出される。まず、行走査回路２１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部２３３および２３４の電荷蓄積量が初期化される。また、行走査回路２１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子２３１の電荷を初期化する。
そして、行走査回路２１０は、Ｑ１Ｑ２生成期間において、発光制御信号ＣＬＫｐの周期内の０度から１８０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｐ１が蓄積される。
また、行走査回路２１０は、Ｑ１Ｑ２生成期間において、発光制御信号ＣＬＫｐの周期内の１８０度から３６０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ２が蓄積される。
そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ１およびＱ２が読み出される。次に、行走査回路２１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して電荷信号を読み出す。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
このように、Ｑ１Ｑ２生成期間において画素２３０のそれぞれは、０度から１８０度までの電荷信号Ｑ１と、１８０度から３６０度までの電荷信号Ｑ２とを生成する。
図５は、第１の実施の形態におけるＱ３Ｑ４生成期間内の画素２３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４生成期間において、その期間の電荷信号Ｑ３およびＱ４が生成される。まず、行走査回路２１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積部２３３および２３４の電荷蓄積量を初期化する。また、行走査回路２１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子２３１の電荷を初期化する。
そして、行走査回路２１０は、最初の０度から９０度において、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ４が蓄積される。以降において行走査回路２１０は、発光制御信号ＣＬＫｐの周期内の９０度から２７０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｐ３が蓄積される。
また、行走査回路２１０は、Ｑ３Ｑ４生成期間において、発光制御信号ＣＬＫｐの周期内の２７０度から９０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ４が蓄積される。
そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ３およびＱ４が読み出される。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
このように、Ｑ３Ｑ４生成期間において画素２３０のそれぞれは、９０度から２７０度までの電荷信号Ｑ３と、２７０度か９０度までの電荷信号Ｑ４とを生成する。
［測距演算部の構成例］
図６は、本技術の第１の実施の形態における測距演算部３００の一構成例を示すブロック図である。この測距演算部３００は、赤外線画像生成部３１０とデプスマップ生成部３２０とを備える。また、デプスマップ生成部３２０は、低解像度電荷信号生成部３２１、低解像度デプスマップ生成部３２２、低解像度赤外線画像生成部３２３および高解像度デプスマップ生成部３２４とを備える。
赤外線画像生成部３１０は、電荷信号Ｑ１乃至Ｑ４のそれぞれから、赤外線画像データを生成するものである。ここで、赤外線画像データは、連続した赤外光（言い換えれば、連続光）の輝度ＩＲを示す複数の画素データを二次元格子状に配列した画像データである。この赤外線画像生成部３１０は、例えば、画素２３０のそれぞれについて、次の式により輝度ＩＲを演算する。
ＩＲ＝（Ｑ１＋Ｑ２＋Ｑ３＋Ｑ４）／２
赤外線画像生成部３１０は、演算した赤外線画像データを高解像度デプスマップ生成部３２４に出力する。なお、赤外線画像生成部３１０は、特許請求の範囲に記載の連続光画像データ生成部の一例である。
低解像度電荷信号生成部３２１は、画素ブロックごとに、その画素ブロック内の電荷信号を加算（言い換えれば、画素加算）するものである。ここで、画素ブロックは、複数の画素からなる領域であり、画素アレイ部２２０は、例えば、３×３画素の複数の画素ブロックにより分割される。また、画素毎に電荷信号Ｑ１乃至Ｑ４が生成されるため、行数をＭ（Ｍは整数）個、列数をＮ（Ｎは整数）個とすると、Ｍ×Ｎ個の電荷信号Ｑ１が生成される。同様に、電荷信号Ｑ２乃至Ｑ４もＭ×Ｎ個ずつ生成される。
そして、画素ブロックのサイズを３×３画素とすると、画素ブロックのそれぞれにおいて、その画素ブロック内の９個の電荷信号Ｑ１を加算平均した信号が低解像度電荷信号ｑ１として算出される。画像全体では、（Ｍ×Ｎ）／９個の低解像度電荷信号ｑ１が算出される。同様に、電荷信号Ｑ２、Ｑ３およびＱ４の加算平均により、低解像度電荷信号ｑ２、ｑ３およびｑ４が算出される。低解像度電荷信号生成部３２１は、これらの低解像度電荷信号を低解像度デプスマップ生成部３２２および低解像度赤外線画像生成部３２３に供給する。低解像度電荷信号生成部３２１が画素加算を行うことにより、電荷信号のノイズを低減することができる。ただし、画素加算した電荷信号により生成されるデプスマップの解像度は、画素加算前よりも低下する。
低解像度デプスマップ生成部３２２は、画素ブロックごとに、距離を測定するものである。低解像度デプスマップ生成部３２２は、低解像度電荷信号ｑ１乃至ｑ４を次の式に代入することにより、画素ブロックに対応する物体までの距離ｄを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
ｄ＝（ｃ／４πｆ）×ｔａｎ−１｛（ｑ３−ｑ４）／（ｑ１−ｑ２）｝
＝（ｃ／４πｆ）×Ｒ
上式において距離ｄの単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ−１（）は、正接関数の逆関数を示す。Ｒは位相を示し、単位は、例えば、「度」である。
低解像度デプスマップ生成部３２２は、画素ブロックのそれぞれの距離ｄの情報を配列したデータを低解像度デプスマップとして生成し、高解像度デプスマップ生成部３２４に供給する。
低解像度赤外線画像生成部３２３は、画素ブロックごとに、その画素ブロック内の低解像度電荷信号ｑ１乃至ｑ４を積分して、赤外光（連続光）の輝度ｉｒを演算するものである。輝度ｉｒは、例えば、次の式により求められる。
ｉｒ＝（ｑ１＋ｑ２＋ｑ３＋ｑ４）／２
低解像度赤外線画像生成部３２３は、画素ブロックのそれぞれの輝度ｉｒを配列した画像データを低解像度赤外線画像データとして高解像度デプスマップ生成部３２４に供給する。なお、低解像度赤外線画像生成部３２３は、特許請求の範囲に記載の低解像度連続光画像データ生成部の一例である。
高解像度デプスマップ生成部３２４は、赤外線画像データと、低解像度赤外線画像データと、低解像度デプスマップとから、画素ごとに距離（デプス）を測定するものである。この高解像度セぷスマップ生成部３３４は、低解像度デプスマップの距離ｄ（ｖ）と、低解像度赤外線画像データの輝度ｉｒ（ｖ）との関係を用いて、ＴｏＦセンサ２００の画素の座標ｕにおける赤外線画像データの輝度ＩＲ（ｕ）に対応する距離Ｄ（ｕ）を求める。この処理は、例えば、次の式に示すクロスバイラテラルフィルタにより行われる。このクロスバイラテラルフィルタについては、例えば、「J. Kopf and M. Uyttendaele, Joint bilateral upsampling, Transactions on Graphics (TOG), 26(3), 2007」に記載されている。
Figure 2018036102
Figure 2018036102
ここで、集合Ωｕは、座標ｕの近傍を表している。すなわち、式１の右辺の総和演算は、求めたい距離Ｄの座標ｕの近傍にある「低解像度の座標ｖ」を対象とする。また、ｆ（）およびｇ（）はガウス関数である。式１の左辺が、最終的に出力される距離である。
高解像度デプスマップ生成部３２４は、全画素の距離Ｄを算出して、それらを配列したデータを高解像度デプスマップとして出力する。
このように、低解像度デプスマップをクロスバイラテラルフィルタによりアップサンプリングすることにより、ノイズが低減した、高解像度のデプスマップを生成することができる。これにより、デプスマップの画質を向上させることができる。
なお、高解像度デプスマップ生成部３２４は、クロスバイラテラルフィルタを用いているが、アップサンプリングを行うことができるフィルタであれば、用いるフィルタは、クロスバイラテラルフィルタに限定されない。
図７は、本技術の第１の実施の形態における電荷信号および低解像度電荷信号の一例を示す図である。同図におけるａは、画素毎の電荷信号の一例を示す図である。同図におけるｂは、画素毎の低解像度電荷信号の一例を示す図である。
例えば、座標（０，０）の画素００において、電荷信号Ｑ１00乃至Ｑ４00が生成され、座標（０，１）の画素０１において、電荷信号Ｑ１01乃至Ｑ４01が生成される。そして、３×３画素の画素ブロックの単位で画素加算が行われる。例えば、中心座標が（１，１）の画素ブロック１１において、９組の電荷信号Ｑ１乃至Ｑ４が加算平均され、１組の低解像度電荷信号ｑ１11乃至ｑ４11が生成される。
図８は、本技術の第１の実施の形態における赤外線画像データおよび低解像度赤外線画像データの一例を示す図である。同図におけるａは、赤外線画像データの一例を示し、同図におけるｂは、低解像度画像データの一例を示す。
画素毎に、電荷信号Ｑ１乃至Ｑ４が積分されて輝度ＩＲが算出される。例えば、画素００の電荷信号Ｑ１00乃至Ｑ４00の積分により、その画素００の輝度ＩＲ00が算出され、画素０１の電荷信号Ｑ１01乃至Ｑ４01の積分により、その画素０１の輝度ＩＲ01が算出される。また、画素ブロックの中心位置のそれぞれについて低解像度電荷信号ｑ１乃至ｑ４が積分されて、輝度ｉｒが算出される。例えば、画素１１の電荷信号Ｑ１11乃至Ｑ４11の積分により、その画素１１の輝度ＩＲ11が算出される。
図９は、本技術の第１の実施の形態における低解像度デプスマップおよび高解像度デプスマップの一例を示す図である。同図におけるａは、低解像度デプスマップの一例を示し、同図におけるｂは、高解像度デプスマップの一例を示す。
画素ブロックの中心毎に、低解像度電荷信号ｑ１乃至ｑ４から距離ｄが演算される。例えば、画素１１の低解像度電荷信号ｑ１11乃至ｑ４11から、その画素１１に対応する距離ｄ11が算出される。
そして、低解像度赤外線画像データと、赤外線画像データと、低解像度デプスマップとがクロスバイラテラルフィルタに入力され、高解像度デプスマップが生成される。
［測距モジュールの動作例］
図１０は、本技術の第１の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。この動作は、例えば、測距を開始させるための操作が行われたときに開始される。
測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成する（ステップＳ９０１）。そして、測距モジュール１００は、画素加算により画素ブロックごとに低解像度電荷信号ｑ１乃至ｑ４を生成する（ステップＳ９０２）。次いで、測距モジュール１００は、低解像度電荷信号ｑ１乃至ｑ４から低解像度デプスマップを生成する（ステップＳ９０３）。
また、測距モジュール１００は、電荷信号Ｑ１乃至Ｑ４から赤外線画像データを生成し（ステップＳ９０４）、低解像度電荷信号ｑ１乃至ｑ４から低解像度赤外線画像データを生成する（ステップＳ９０５）。そして、測距モジュール１００は、低解像度デプスマップと、赤外線画像データと、低解像度赤外線画像データとをクロスバイラテラルフィルタに入力して高解像度デプスマップを生成する（ステップＳ９０６）。
そして、測距モジュール１００は、測距を終了させるための操作などにより測距が終了したか否かを判断する（ステップＳ９０７）。測距が終了していない場合に（ステップＳ９０７：Ｎｏ）測距モジュール１００は、ステップＳ９０１以降を繰り返し実行する。一方、測距が終了した場合に（ステップＳ９０７：Ｙｅｓ）測距モジュール１００は、デプスマップを生成する動作を終了する。
このように、本技術の第１の実施の形態によれば、測距モジュール１００は、電荷信号から赤外線画像データを生成して、その赤外線画像データと電荷信号とから高解像度デプスマップを生成するため、デプスマップの画質を向上させることができる。また、この赤外線画像データは、ＴｏＦセンサ２００が出力した電荷信号から生成されるため、赤外線画像データを撮像する固体撮像素子を追加する必要は無い。このため、固体撮像素子をさらに設ける構成と比較して、測距モジュール１００のコストやサイズの増大を抑制することができる。さらに、固体撮像素子を追加する構成では、ＴｏＦセンサと固体撮像素子とを同じ位置に配置することは物理的に不可能であるため、これらに微小な位置ずれが生じて、その位置ずれの補正が必要となってしまう。これに対して、ＴｏＦセンサのみを用いる構成では、そのような補正が不要となる。
［変形例］
上述の第１の実施の形態では、測距モジュール１００は、電荷信号の積分により、赤外線画像データを生成していたが、ＴｏＦセンサ２００が時分割で、電荷信号の生成と、赤外線画像データの撮像とを行ってもよい。この第１の実施の形態の変形例の測距モジュール１００は、ＴｏＦセンサ２００が時分割で、電荷信号の生成と赤外線画像データの撮像とを行う点において第１の実施の形態と異なる。
図１１は、本技術の第１の実施の形態の変形例における発光制御部１２０の動作の一例を示すタイミングチャートである。第１の実施の形態の変形例において、垂直同期信号ＶＳＹＮＣの周波数ｆＶＳＹＮＣの逆数である１Ｖ間隔は、ＴｏＦ駆動期間と画像撮像期間とに分割される。発光制御部１２０は、ＴｏＦ駆動期間において発光制御信号ＣＬＫｐを生成し、その信号に同期して発光部１１０は間欠的に発光する。一方、画像撮像期間において、発光制御部１２０は、発光制御信号ＣＬＫｐを停止し、発光部１１０は、発光を停止する。発光制御信号ＣＬＫｐが停止するため、図３に例示した画素２３０において、転送スイッチ２３２の切り替えは行われず、電荷蓄積部２３３および２３４の一方のみに電荷が蓄積される。
また、ＴｏＦセンサ２００は、ＴｏＦ駆動期間において間欠光を受光して電荷信号Ｑ１乃至Ｑ４を生成し、画像撮像期間において連続的な赤外光を受光して赤外線画像データを生成する。
図１２は、本技術の第１の実施の形態の変形例における測距演算部３００の一構成例を示すブロック図である。この第１の実施の形態の変形例の測距演算部３００は、赤外線画像生成部３１０の代わりに、赤外線画像出力部３１１を備え、スイッチ３１５および切替え制御部３１６をさらに備える点において第１の実施の形態と異なる。
切替え制御部３１６は、ＴｏＦセンサ２００からのデータの出力先を切り替えるものである。この切替え制御部３１６は、ＴｏＦ駆動期間においてＴｏＦセンサ２００からの電荷信号Ｑ１乃至Ｑ４の出力先をデプスマップ生成部３２０に切り替える。一方、画像撮像期間において切替え制御部３１６は、ＴｏＦセンサ２００からの赤外線画像データの出力先を赤外線画像生成部３１１および外部へ切り替える。
赤外線画像出力部３１１は、ＴｏＦセンサ２００からの赤外線画像データに対して必要に応じて各種の画像処理を行い、高解像度デプスマップ生成部３２４に出力するものである。
このように、本技術の第１の実施の形態の第１の変形例によれば、ＴｏＦセンサ２００が、電荷信号の生成と赤外線画像データの撮像とを時分割で行うため、電荷信号を積分せずに赤外線画像データを生成することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、低解像度デプスマップをクロスバイラテラルフィルタによりアップサンプリングしていたが、その代わりに低解像度電荷信号をアップサンプリングすることもできる。この第２の実施の形態の測距モジュール１００は、低解像度電荷信号をアップサンプリングする点において第１の実施の形態と異なる。
図１３は、本技術の第２の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第２の実施の形態の測距演算部３００は、デプスマップ生成部３２０の代わりにデプスマップ生成部３３０を備える。このデプスマップ生成部３３０は、低解像度電荷信号生成部３３１、低解像度赤外線画像生成部３３２、高解像度電荷信号生成部３３３およびデプス変換部３３４を備える。
低解像度電荷信号生成部３３１および低解像度赤外線画像生成部３３２の構成は、第１の実施の形態の低解像度電荷信号生成部３２１および低解像度赤外線画像生成部３２３と同様である。
高解像度電荷信号生成部３３３は、低解像度電荷信号ｑ１乃至ｑ４と、低解像度赤外線画像データと、低赤外線画像データとから、画素毎に新たな電荷信号Ｑ１ｒ乃至Ｑ４ｒを高解像度電荷信号として生成するものである。高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒは、例えば次の式に示すクロスバイラテラルフィルタにより演算される。
Figure 2018036102
Figure 2018036102
Figure 2018036102
Figure 2018036102
 上式においてｑ１（ｖ）乃至ｑ４（ｖ）は、座標ｖの低解像度電荷信号である。また、Ｑ１ｒ（ｕ）乃至Ｑ４ｒ（ｕ）は、座標ｕの高解像度電荷信号である。高解像度電荷信号生成部３３３は、演算した高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒをデプス変換部３３４に供給する。
上述のように、第１の実施の形態では、低解像度デプスマップがクロスバイラテラルフィルタによりアップサンプリングされたのに対し、第２の実施の形態では、低解像度電荷信号がクロスバイラテラルフィルタによりアップサンプリングされている。
デプス変換部３３４は、画素ごとに、その画素の高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを距離Ｄ（デプス）に変換するものである。このデプス変換部３３４は、例えば、次の式により距離Ｄを演算する。そしてデプス変換部３３４は、演算した距離Ｄを配列したデプスマップを外部に出力する。
Ｄ＝（ｃ／４πｆ）
×ｔａｎ−１｛（Ｑ３ｒ−Ｑ４ｒ）／（Ｑ１ｒ−Ｑ２ｒ）｝
上式において添字の（ｕ）は省略されている。
なお、高解像度電荷信号生成部３３３は、式３乃至６により高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを演算していたが、これらの式の代わりに次の式により演算してもよい。
Figure 2018036102
Figure 2018036102
後段のデプス変換部３３４では、上述したようにＱ１ｒ（ｕ）―Ｑ２ｒ（ｕ）とＱ３ｒ（ｕ）―Ｑ４ｒ（ｕ）とを用いるため、高解像度電荷信号生成部３３３は、上式の演算結果をそのままデプス変換部３３４に供給すればよい。式７および式８を用いることにより、式３乃至式６を用いる場合よりも、計算量を削減することができる。
図１４は、本技術の第２の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、画素ブロックごとに低解像度電荷信号ｑ１乃至ｑ４を生成する（ステップＳ９０２）。そして、測距モジュール１００は、赤外線画像データを生成し（ステップＳ９０４）、低解像度赤外線画像データを生成する（ステップＳ９０５）。
続いて測距モジュール１００は、低解像度電荷信号ｑ１乃至ｑ４と低解像度赤外線画像データと赤外線画像データとをクロスバイラテラルフィルタに入力して高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを生成する（ステップＳ９１１）。そして、測距モジュール１００は、高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを距離Ｄに変換してデプスマップを生成して出力する（ステップＳ９１２）。ステップＳ９１２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
このように、本技術の第２の実施の形態によれば、低解像度電荷信号をクロスバイラテラルフィルタに入力して高解像度電荷信号を生成するため、それらの高解像度電荷信号から高解像度デプスマップを生成することができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、測距モジュール１００は、画素加算によりノイズ除去を行っていたが、画素加算の代わりに、クロスバイラテラルフィルタによりノイズ除去を行うこともできる。この第３の実施の形態の測距モジュール１００は、クロスバイラテラルフィルタによりノイズ除去を行う点において第１の実施の形態と異なる。
図１５は、本技術の第３の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第３の実施の形態の測距演算部３００は、デプスマップ生成部３２０の代わりにデプスマップ生成部３４０を備える点において第１の実施の形態と異なる。
デプスマップ生成部３４０は、電荷信号ノイズ除去部３４１およびデプス変換部３４２を備える。デプス変換部３４２の構成は、第２の実施の形態のデプス変換部３３４と同様である。
電荷信号ノイズ除去部３４１は、赤外線画像データをガイダンス画像として、電荷信号Ｑ１乃至Ｑ４とともにクロスバイラテラルフィルタに入力し、電荷信号Ｑ１乃至Ｑ４のノイズを除去するものである。電荷信号ノイズ除去部３４１は、ノイズ除去後の電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒをデプス変換部３４２に供給する。これらの電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒは、例えば、次の式に示すクロスバイラテラルフィルタにより演算される。
Figure 2018036102
Figure 2018036102
Figure 2018036102
Figure 2018036102
Figure 2018036102
上式において、ｕは、ノイズ除去後の電荷信号（Ｑ１ｎｒ乃至Ｑ４ｎｒ）が出力される画素の座標である。また、ｕ'は、座標ｕの近傍の画素の座標である。１つの座標ｕに必要な座標ｕ'の個数（フィルタサイズ）は、適宜設定される。例えば、座標ｕを中心とする３×３画素のそれぞれの座標ｕ'が入力される。
また、ＩＲ（ｕ）は、座標ｕの輝度であり、ＩＲ（ｕ'）は、座標ｕ'の輝度である。ｈ（）は、電荷信号Ｑ１およびＱ２の和と電荷信号Ｑ３およびＱ４の和との差分絶対値が小さいほど大きな重み係数を返す関数である。ｍ（）は、電荷信号Ｑ１（ｕ'）およびＱ２（ｕ'）の差の二乗と電荷信号Ｑ３（ｕ'）およびＱ４（ｕ'）の差の二乗との和の平方根が大きいほど大きな重み係数を返す関数である。
式９乃至式１３に示すクロスバイラテラルフィルタにより、電荷信号Ｑ１乃至Ｑ４のノイズが除去される。このように、第１の実施の形態では、アップサンプリングにクロスバイラテラルフィルタが用いられたのに対し、第３の実施の形態では、ノイズ除去にクロスバイラテラルフィルタが用いられている。なお、式９乃至式１３においてｈ（）およびｍ（）を乗算しているが、これらの少なくとも一方を「１」に設定してもよい。
また、式９乃至式１２においてガウス関数ｇ（）は次の式により表される。
Figure 2018036102
上式においてＷu,u'は、次の式により表される位相差ｄＲが大きいほど小さな重み係数を返す関数である。この位相差ｄＲは、座標ｕに対応する電荷信号Ｑ１（ｕ）乃至Ｑ４（ｕ）から得られる位相と、座標ｕ'に対応する電荷信号Ｑ１（ｕ'）乃至Ｑ４（ｕ'）から得られる位相との差である。位相差ｄＲは、例えば、次の式により表される。
ｄＲ＝||Ｒ−Ｒ'||
Ｒ＝ｔａｎ−１（Ｑ３（ｕ）−Ｑ４（ｕ））／（Ｑ１（ｕ）−Ｑ２（ｕ））
Ｒ'＝ｔａｎ−１（Ｑ３（ｕ'）−Ｑ４（ｕ'））／（Ｑ１（ｕ'）−Ｑ２（ｕ'））
なお、式１４は、関数Ｗu,uを標準偏差に乗算したガウス関数であるが、Ｗu,u'の代わりに「１」を設定した一般的なガウス関数をｇ（）として用いてもよい。
また、電荷信号ノイズ除去部３４１は、式９乃至１２により電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒを演算していたが、これらの式の代わりに次の式により演算してもよい。
Figure 2018036102
Figure 2018036102
式１５および式１６を用いることにより、式９乃至式１２を用いる場合よりも、計算量を削減することができる。
また、電荷信号ノイズ除去部３４１は、クロスバイラテラルフィルタにより電荷信号のノイズを除去しているが、フィルタ処理以外の処理によりノイズを除去することもできる。例えば、電荷信号ノイズ除去部３４１は、エネルギー最小化問題を解くことにより、ノイズを除去してもよい。この場合には、次の式に示す条件が設定される。
Figure 2018036102
上式において、「ｆｏｒ」以下は、座標ｕが、画素アレイ部２２０の全画素の座標の集合のいずれかであることを示す。式１７の条件下において、次の式を解くことにより、電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒが求められる。
Figure 2018036102
上式におけるＡは、所定の係数である。また、ｄＴｅｒｍは、データ項であり、ｒＴｅｒｍは、スムーズ項である。これらの項は、次の式により表される。
Figure 2018036102
Figure 2018036102
Figure 2018036102
式２１におけるｎ（ｕ）は、赤外線画像データの座標ｕにおける勾配の方向を示す単位ベクトルであり、ｍ（ｕ）は、ｎ（ｕ）に直交する単位ベクトルである。また、関数Ｔ１／２は、非等方性拡散テンソルである。この非等方性拡散テンソルについては、「D. Ferstl, Image Guided Depth Upsampling Using Anisotropic Total Generalized Variation, ICCV 2013」に記載されている。Ａ、Ｂおよびｒは、所望の定数である。
図１６は、本技術の第３の実施の形態における関数ｈ（）の一例を示すグラフである。同図における横軸は、電荷信号Ｑ１およびＱ２の和と電荷信号Ｑ３およびＱ４の和との差分絶対値ｄＱを示し、縦軸は、差分絶対値ごとの関数ｈ（）の値を示す。
ここで、ノイズが生じていない理想的な状況下では、差分絶対値ｄＱは「０」となる。このため、この差分絶対値ｄＱが大きいほど電荷信号Ｑ１（ｕ'）乃至Ｑ４（ｕ'）の信頼性は低いものと考えられる。したがって、関数（ｈ）は、差分絶対値ｄＱが「０」のときに「１」の係数を返し、差分絶対値が大きいほど小さな係数を返す。この重み係数をフィルタで用いることにより、信頼性の低い電荷信号の寄与率を低下させることができる。
図１７は、本技術の第３の実施の形態における位相平面上の長さＺと関数ｍ（）との一例を示す図である。同図におけるａは、位相空間を示す。同図におけるａの縦軸は、電荷信号Ｑ３（ｕ'）およびＱ４（ｕ'）の差であり、横軸は電荷信号Ｑ１（ｕ'）およびＱ２（ｕ'）の差である。この位相空間において、実線の矢印は、原点から、計測された電荷信号に対応する点までの方向を示すベクトルである。このベクトルと横軸とがなす角度Ｒが、照射光と反射光との位相差を示す。また、点線の矢印は、真の位相差に対応するベクトルである。実線の矢印と、点線の矢印とのなす角度は、真値からの誤差を示す。同図に例示するように、実線の矢印の長さＺが短いほど、誤差が大きくなる傾向がある。長さＺは、例えば、次の式により表される。
Ｚ＝｛（Ｑ１（ｕ'）―Ｑ２（ｕ'））2＋（Ｑ３（ｕ'）―Ｑ４（ｕ'））2｝1/2
図１７におけるｂは、関数ｍ（）の一例を示す。同図における横軸は長さＺであり、縦軸は、Ｚに対応する関数ｍ（）の値を示す。前述したように、長さＺが短いほど、誤差が大きくなり、信頼性が低下するため、関数（）は、Ｚが大きなほど大きな重み係数を返す。この重み係数をフィルタで用いることにより、信頼性の低い電荷信号の寄与率を低下させることができる。
図１８は、本技術の第３の実施の形態における関数ｇ（）および関数Ｗu,u'の一例を示す図である。同図におけるａは、式１４で表される関数ｇ（）の一例を示す。同図における横軸は、輝度ＩＲ（ｕ）と輝度ＩＲ（ｕ'）との差分絶対値であり、縦軸は、関数ｇ（）の値である。また、実線の曲線は、Ｗu,u'が「１」以外のときの関数ｇ（）の軌跡を示し、点線の曲線は、Ｗu,u'が「１」のときの関数ｇ（）、すなわち一般的なガウス関数の軌跡を示す。同図に例示するように、Ｗu,u'により、関数ｇ（）の分散を変更することができる。
図１８におけるｂは、関数Ｗu,u'の一例を示す図である。同図におけるａの横軸は、位相差ｄＲを示し、縦軸は、位相差ｄＲごとの関数Ｗu,u'の値を示す。距離（デプス）と位相Ｒは比例関係にあるため、ノイズ除去後の座標ｕに対応する位相と、ノイズ除去前の座標ｕ'に対応する位相との位相差ｄＲが小さいほど、データの信頼性が高いと考えられる。したがって、位相差ｄＲが「０」のときに関数Ｗu,u'は「１」の係数を返し、位相差ｄＲが大きくなるほど小さな係数を返す。この係数を関数ｇ（）に適用することにより、関数ｇ（）の分散を大きくして信頼性の低いデータの寄与率を小さくすることができる。
図１９は、本技術の第３の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、赤外線画像データを生成する（ステップＳ９０４）。そして、測距モジュール１００は、クロスバイラテラルフィルタに赤外線画像データと電荷信号Ｑ１乃至Ｑ４とを入力して、電荷信号のノイズを除去する（ステップＳ９２１）。測距モジュールは、ノイズ除去後の電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒを距離Ｄに変換して出力する（ステップＳ９２２）。ステップＳ９２２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
このように、本技術の第３の実施の形態によれば、測距モジュール１００は、クロスバイラテラルフィルタにより電荷信号のノイズ除去を行うため、ノイズ除去後の電荷信号から画質の高いデプスマップを生成することができる。
＜４．第４の実施の形態＞
上述の第３の実施の形態では、測距モジュール１００は、クロスバイラテラルフィルタにより電荷信号のノイズを除去していたが、電荷信号の代わりにデプスマップのノイズを除去することもできる。この第４の実施の形態の測距モジュール１００は、クロスバイラテラルフィルタによりデプスマップのノイズを除去する点において第３の実施の形態と異なる。
図２０は、本技術の第４の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第４の実施の形態の測距演算部３００は、デプスマップ生成部３４０の代わりにデプスマップ生成部３５０を備える点において第３の実施の形態と異なる。
デプスマップ生成部３５０は、デプス変換部３５１およびデプスマップノイズ除去部３５２を備える。デプス変換部３５１の構成は、第３の実施の形態のデプス変換部３４２と同様である。
デプスマップノイズ除去部３５２は、デプスマップと赤外線画像データとをクロスバイラテラルフィルタに入力してデプスマップのノイズを除去するものである。デプスマップノイズ除去部３５２は、ノイズ除去後の距離Ｄｎｒ（デプス）の情報を配列したデプスマップを外部に出力する。この距離Ｄｎｒは、次の式に示すクロスバイラテラルフィルタにより演算される。
Figure 2018036102
Figure 2018036102
上述のように、第３の実施の形態ではクロスバイラテラルフィルタにより電荷信号のノイズが除去されていたのに対し、第４の実施の形態ではクロスバイラテラルフィルタによりデプスマップのノイズが除去されている。
図２１は、本技術の第４の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、赤外線画像データを生成する（ステップＳ９０４）。そして、測距モジュール１００は、電荷信号Ｑ１乃至Ｑ４を距離Ｄに変換する（ステップＳ９３１）。測距モジュール１００は、デプスマップおよび赤外線画像データをクロスバイラテラルフィルタに入力して、デプスマップのノイズを除去し、出力する（ステップＳ９３２）。ステップＳ９３２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
このように、本技術の第４の実施の形態によれば、クロスバイラテラルフィルタによりデプスマップのノイズ除去を行うため、デプスマップの画質を向上させることができる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークI/F(interface)１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２３は、撮像部１２０３１の設置位置の例を示す図である。
図２３では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２３０３１に適用され得る。具体的には、図１における測距モジュール１００は、図２２の撮像部１２３０３１に適用するすることができる。撮像部１２３０３１に本開示に係る技術を適用することにより、画質の高いデプスマップを得ることができるため、そのデプスマップを用いて車両を正確に制御することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、
前記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成部と
を具備する測距装置。
（２）前記受光データのそれぞれは、複数の電荷信号を含み、
前記連続光画像データ生成部は、前記複数の画素のそれぞれについて前記複数の電荷信号を積分する処理により前記連続光画像データを生成する
前記（１）記載の測距装置。
（３）前記デプスマップ生成部は、前記複数の電荷信号と前記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から前記デプスマップを生成する
前記（１）記載の測距装置。
（４）前記デプスマップ生成部は、所定のフィルタを用いて前記デプスマップを生成する
前記（１）記載の測距装置。
（５）前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記低解像度電荷信号に基づいて前記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度デプスマップとを前記所定のフィルタに入力して前記デプスマップを生成する高解像度デプスマップ生成部と
を備える前記（４）記載の測距装置。
（６）前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度電荷信号とを前記所定のフィルタに入力して前記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、
前記高解像度電荷信号を前記距離情報に変換するデプス変換部と
を備える前記（４）記載の測距装置。
（７）前記デプスマップ生成部は、
前記複数の電荷信号とを前記距離情報に変換するデプス変換部と、
前記距離情報と前記連続光画像データとを前記所定のフィルタに入力して前記距離情報のノイズを除去するデプスマップノイズ除去部と
を備える前記（４）記載の測距装置。
（８）前記デプスマップ生成部は、
前記連続光画像データと前記複数の電荷信号とを前記所定のフィルタに入力して前記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、
前記ノイズが除去された前記複数の電荷信号を前記距離情報に変換するデプス変換部と
を備える前記（４）記載の測距装置。
（９）前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の和と前記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタである
前記（８）記載の測距装置。
（１０）前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の差の二乗と前記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタである
前記（８）または（９）に記載の測距装置。
（１１）前記所定のフィルタは、ノイズを除する前の前記間欠光の位相とノイズを除去した後の前記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む
前記（８）から（１０）のいずれかに記載の測距装置。
（１２）前記画素アレイ部は、所定の期間内に前記所定の間欠光を受光し、前記所定の期間と異なる連続光受光期間内に前記所定の連続光を受光し、
前記連続光画像データ生成部は、前記連続光受光期間内の前記受光データから前記連続光画像データを生成する
前記（１）記載の測距装置。
（１３）所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部内の前記複数の画素のそれぞれの受光データに基づいて所定の連続光の受光量を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成手順と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成手順と
を具備する測距装置の制御方法。
１００ 測距モジュール
１１０ 発光部
１２０ 発光制御部
２００ ＴｏＦセンサ
２１０ 行走査回路
２２０ 画素アレイ部
２３０ 画素
２３１ 受光素子
２３２ 転送スイッチ
２３３、２３４ 電荷蓄積部
２３５、２３６ 選択スイッチ
２４０ タイミング制御部
２５０ ＡＤ変換部
２６０ 列走査回路
２７０ 信号処理部
３００ 測距演算部
３１０、３１１ 赤外線画像生成部
３１５ スイッチ
３１６ 切替え制御部
３２０、３３０、３４０、３５０ デプスマップ生成部
３２１、３３１ 低解像度電荷信号生成部
３２２ 低解像度デプスマップ生成部
３２３、３３２ 低解像度赤外線画像生成部
３２４ 高解像度デプスマップ生成部
３３３ 高解像度電荷信号生成部
３３４、３４２、３５１ デプス変換部
３４１ 電荷信号ノイズ除去部
３５２ デプスマップノイズ除去部
１２０３１ 撮像部

Claims (13)

  1. 所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、
    前記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、
    前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成部と
    を具備する測距装置。
  2. 前記受光データのそれぞれは、複数の電荷信号を含み、
    前記連続光画像データ生成部は、前記複数の画素のそれぞれについて前記複数の電荷信号を積分する処理により前記連続光画像データを生成する
    請求項１記載の測距装置。
  3. 前記デプスマップ生成部は、前記複数の電荷信号と前記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から前記デプスマップを生成する
    請求項１記載の測距装置。
  4. 前記デプスマップ生成部は、所定のフィルタを用いて前記デプスマップを生成する
    請求項１記載の測距装置。
  5. 前記画素アレイ部は、複数の画素ブロックに分割され、
    前記デプスマップ生成部は、
    前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
    前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
    前記低解像度電荷信号に基づいて前記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、
    前記連続光画像データと前記低解像度連続光画像データと前記低解像度デプスマップとを前記所定のフィルタに入力して前記デプスマップを生成する高解像度デプスマップ生成部と
    を備える請求項４記載の測距装置。
  6. 前記画素アレイ部は、複数の画素ブロックに分割され、
    前記デプスマップ生成部は、
    前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
    前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
    前記連続光画像データと前記低解像度連続光画像データと前記低解像度電荷信号とを前記所定のフィルタに入力して前記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、
    前記高解像度電荷信号を前記距離情報に変換するデプス変換部と
    を備える請求項４記載の測距装置。
  7. 前記デプスマップ生成部は、
    前記複数の電荷信号とを前記距離情報に変換するデプス変換部と、
    前記距離情報と前記連続光画像データとを前記所定のフィルタに入力して前記距離情報のノイズを除去するデプスマップノイズ除去部と
    を備える請求項４記載の測距装置。
  8. 前記デプスマップ生成部は、
    前記連続光画像データと前記複数の電荷信号とを前記所定のフィルタに入力して前記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、
    前記ノイズが除去された前記複数の電荷信号を前記距離情報に変換するデプス変換部と
    を備える請求項４記載の測距装置。
  9. 前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
    前記所定のフィルタは、前記第１および第２の電荷信号の和と前記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタである
    請求項８記載の測距装置。
  10. 前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
    前記所定のフィルタは、前記第１および第２の電荷信号の差の二乗と前記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタである
    請求項８記載の測距装置。
  11. 前記所定のフィルタは、ノイズを除する前の前記間欠光の位相とノイズを除去した後の前記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む
    請求項８記載の測距装置。
  12. 前記画素アレイ部は、所定の期間内に前記所定の間欠光を受光し、前記所定の期間と異なる連続光受光期間内に前記所定の連続光を受光し、
    前記連続光画像データ生成部は、前記連続光受光期間内の前記受光データから前記連続光画像データを生成する
    請求項１記載の測距装置。
  13. 所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部内の前記複数の画素のそれぞれの受光データに基づいて所定の連続光の受光量を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成手順と、
    前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成手順と
    を具備する測距装置の制御方法。
JP2016168252A 2016-08-30 2016-08-30 測距装置、および、測距装置の制御方法 Pending JP2018036102A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016168252A JP2018036102A (ja) 2016-08-30 2016-08-30 測距装置、および、測距装置の制御方法
CN201780003409.0A CN108139484B (zh) 2016-08-30 2017-07-10 测距装置和测距装置的控制方法
US15/766,467 US10641606B2 (en) 2016-08-30 2017-07-10 Distance measuring device and method of controlling distance measuring device
PCT/JP2017/025072 WO2018042887A1 (ja) 2016-08-30 2017-07-10 測距装置、および、測距装置の制御方法
US16/802,282 US11310411B2 (en) 2016-08-30 2020-02-26 Distance measuring device and method of controlling distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168252A JP2018036102A (ja) 2016-08-30 2016-08-30 測距装置、および、測距装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018036102A true JP2018036102A (ja) 2018-03-08

Family

ID=61300559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168252A Pending JP2018036102A (ja) 2016-08-30 2016-08-30 測距装置、および、測距装置の制御方法

Country Status (4)

Country Link
US (2) US10641606B2 (ja)
JP (1) JP2018036102A (ja)
CN (1) CN108139484B (ja)
WO (1) WO2018042887A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JPWO2020255598A1 (ja) * 2019-06-20 2020-12-24
JPWO2021005659A1 (ja) * 2019-07-05 2021-01-14
US11454723B2 (en) * 2016-10-21 2022-09-27 Sony Semiconductor Solutions Corporation Distance measuring device and distance measuring device control method

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP6904261B2 (ja) 2016-05-23 2021-07-14 ソニーグループ株式会社 電子装置、電子装置の制御方法、および、プログラム
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
WO2018195857A1 (zh) * 2017-04-27 2018-11-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
JP2018207446A (ja) * 2017-06-09 2018-12-27 オリンパス株式会社 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
JP6773724B2 (ja) * 2018-06-13 2020-10-21 ファナック株式会社 精度情報を出力する測距装置
US10623728B2 (en) * 2018-07-06 2020-04-14 Stmicroelectronics (Grenoble 2) Sas Image sensors for advanced driver assistance systems utilizing safety pixels to detect malfunctions
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US11356654B2 (en) 2018-08-01 2022-06-07 Stmicroelectronics Asia Pacific Pte Ltd Image sensors for advanced driver assistance systems utilizing regulator voltage verification circuitry to detect malfunctions
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110031823B (zh) * 2019-04-22 2020-03-24 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
US20230307473A1 (en) * 2020-07-17 2023-09-28 Sony Semiconductor Solutions Corporation Light receiving element, manufacturing method for same, and electronic device
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社SensAI 撮像システム
CN114727085B (zh) * 2021-01-05 2025-01-28 浙江舜宇智能光学技术有限公司 深度图像成像方法及其装置
CN115704887A (zh) * 2021-08-16 2023-02-17 上海禾赛科技有限公司 提高激光雷达分辨率的方法及装置、激光雷达
US12361647B2 (en) * 2021-10-28 2025-07-15 Samsung Electronics Co., Ltd. System and method for depth and scene reconstruction for augmented reality or extended reality devices
EP4621707A1 (en) * 2024-03-21 2025-09-24 Beijing Xiaomi Mobile Software Co., Ltd. Method for bilateral upsampling of an image

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7157685B2 (en) * 2004-04-12 2007-01-02 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US7881554B2 (en) * 2006-06-05 2011-02-01 Stmicroelectronics S.R.L. Method for correcting a digital image
JP4807253B2 (ja) * 2006-12-28 2011-11-02 株式会社デンソー 画像データ生成装置及び受光デバイス
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5589585B2 (ja) 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
US9456152B2 (en) * 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
JP2013090139A (ja) * 2011-10-18 2013-05-13 Sony Corp 撮像素子およびカメラシステム
US20140375762A1 (en) 2012-02-17 2014-12-25 Sony Corporation Information processing apparatus and method, image processing apparatus and method, and program
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
JP6367827B2 (ja) * 2012-12-28 2018-08-01 ノキア テクノロジーズ オサケユイチア 距離センサ・カメラからのデータをノイズ除去する方法および装置
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
KR102056904B1 (ko) * 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
WO2015047225A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
JP6312420B2 (ja) * 2013-12-20 2018-04-18 スタンレー電気株式会社 距離画像生成装置
JP6328966B2 (ja) * 2014-03-17 2018-05-23 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
JP2016102697A (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP6904261B2 (ja) 2016-05-23 2021-07-14 ソニーグループ株式会社 電子装置、電子装置の制御方法、および、プログラム
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
WO2018080946A1 (en) * 2016-10-24 2018-05-03 Invisage Technologies, Inc. Image sensor with phase-sensitive pixels

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454723B2 (en) * 2016-10-21 2022-09-27 Sony Semiconductor Solutions Corporation Distance measuring device and distance measuring device control method
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JP7259525B2 (ja) 2019-04-26 2023-04-18 株式会社デンソー 光測距装置およびその方法
JPWO2020255598A1 (ja) * 2019-06-20 2020-12-24
WO2020255598A1 (ja) * 2019-06-20 2020-12-24 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
JP7411656B2 (ja) 2019-06-20 2024-01-11 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
JPWO2021005659A1 (ja) * 2019-07-05 2021-01-14
WO2021005659A1 (ja) * 2019-07-05 2021-01-14 パナソニックセミコンダクターソリューションズ株式会社 情報処理システム、センサシステム、情報処理方法及びプログラム
JP7372970B2 (ja) 2019-07-05 2023-11-01 ヌヴォトンテクノロジージャパン株式会社 情報処理システム、センサシステム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US10641606B2 (en) 2020-05-05
US20180292206A1 (en) 2018-10-11
WO2018042887A1 (ja) 2018-03-08
US11310411B2 (en) 2022-04-19
CN108139484B (zh) 2023-03-31
CN108139484A (zh) 2018-06-08
US20200191565A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US11310411B2 (en) Distance measuring device and method of controlling distance measuring device
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
JP7245178B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6761534B2 (ja) 固体撮像装置、電子装置および固体撮像装置の制御方法
JP6817780B2 (ja) 測距装置、および、測距装置の制御方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN110832346B (zh) 电子装置和电子装置的控制方法
JP2020088480A (ja) 固体撮像素子、および、撮像装置
US10880509B2 (en) Solid-state imaging element, electronic device, and method for correcting uneven luminance
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP2021081290A (ja) 測距装置及び測距方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2022004441A1 (ja) 測距装置および測距方法
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2020158378A1 (ja) 測距装置、測距方法、並びにプログラム
WO2021166344A1 (ja) センシングシステム、および、測距システム
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2025173536A1 (ja) 測距システム、イメージセンサ、および、測距システムの制御方法