[go: up one dir, main page]

CN114945837A - 光接收装置、用于光接收装置的信号处理方法以及距离测量装置 - Google Patents

光接收装置、用于光接收装置的信号处理方法以及距离测量装置 Download PDF

Info

Publication number
CN114945837A
CN114945837A CN202080092350.9A CN202080092350A CN114945837A CN 114945837 A CN114945837 A CN 114945837A CN 202080092350 A CN202080092350 A CN 202080092350A CN 114945837 A CN114945837 A CN 114945837A
Authority
CN
China
Prior art keywords
value
logarithmic
light
light receiving
approximation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080092350.9A
Other languages
English (en)
Other versions
CN114945837B (zh
Inventor
坂口浩章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114945837A publication Critical patent/CN114945837A/zh
Application granted granted Critical
Publication of CN114945837B publication Critical patent/CN114945837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

根据本公开的光接收装置包括:光接收单元,包括多个用于从对象接收光的光子计数型光接收元件的阵列;加法单元,用于在预定时间将所述多个光接收元件的值相加以获得像素值,以及对数变换处理单元,用于将所述像素值变换成对数值或其近似值以获得对数表示数据。所述光接收装置接收从对象反射的脉冲光,所述脉冲光为基于用于接收从光源单元发射并且从对象反射的光的光子计数型光接收元件。

Description

光接收装置、用于光接收装置的信号处理方法以及距离测量 装置
技术领域
本公开涉及光接收装置、用于光接收装置的信号处理方法以及距离测量装置。
背景技术
光接收装置包括响应于光子光接收而生成信号的元件作为光接收元件。在这种类型的光接收装置中,作为用于测量至待测对象的距离的测量方法,飞行时间(ToF)方法用于测量直到从光源单元朝向待测对象发射的脉冲光被待测对象反射并返回的时间量。
响应于光子光接收生成信号的元件的实例包括具有布置在平面中的多个单光子雪崩二极管(SPAD)元件的光电检测器(例如,参见专利文献1)。在这种类型的距离测量装置中,多个SPAD元件的值被加在一起以用作像素值;然而,为了在从光源单元激光发射之后通过采样像素值来捕获反射光,像素值被加到具有与采样时间对应的组数(BIN)的直方图。
来自待测对象的反射光被漫射,并且其强度与距离的平方成反比。因此,通过基于多次激光发射累积(相加)反射光的直方图来改善S/N,并且可以辨别来自待测量的更远对象的弱反射光。
引用列表
专利文献
专利文献1:日本专利申请公开号2018-169384
发明内容
本发明要解决的问题
如上所述,在基于多次发射的脉冲激光累积反射光的直方图的情况下,来自相对靠近的测量对象的强烈反射光的像素值较大,并且每当累积直方图时,与直方图的近距离对应的组数的动态范围增大。另一方面,来自相对远的测量对象的反射光与距离的平方成反比地弱,并且与直方图的远距离对应的组数的动态范围小。因此,在所有组数被存储为固定长度位深度表示的直方图的情况下,用于存储基于多次发射的脉冲激光的反射光的直方图的存储器的容量增加。
本公开的目的是提供一种能够提高累积时的直方图的动态范围或减小存储器容量的光接收装置及其信号处理方法、以及包括该光接收装置的距离测量装置。
问题的解决方案
用于实现上述目的的本公开的光接收装置,
包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;以及
对数变换处理单元,被配置为将作为通过所述加法单元的相加的结果获得的像素值变换成对数值或者其近似值,以使用所得值作为用于测距计算的对数表示数据;其中,
基于由光源单元施加的脉冲光,接收来自待测对象的反射光。
此外,用于实现上述目的的本公开的光接收装置的信号处理方法,所述光接收装置包括,
光接收单元,所述光接收单元具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;并且所述光接收装置基于由光源单元施加的脉冲光接收来自待测对象的反射光,所述信号处理方法包括:
在所述光接收装置上的信号处理中,
将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;并且
接下来,将像素值转换成对数值或其近似值,以使用所得值作为用于测距计算的对数表示数据。
此外,用于实现上述目的的本发明的距离测量装置,
包括:
光源单元,被配置为将脉冲光施加至待测对象;和
光接收装置,被配置为基于由所述光源单元施加的脉冲光,接收来自待测对象的反射光;其中,
光接收装置,
包括,
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值,以及
对数变换处理单元,被配置为将作为通过所述加法单元的加法结果获得的所述像素值变换成对数值或其近似值,以使用所得值作为用于测距计算的对数表示数据。
附图说明
图1为示出作为本公开的前提的光接收装置和距离测量装置的配置的实例的框图。
图2是光接收装置中的加法单元的处理的说明图。
图3A、图3B和图3C是在第一激光发射时的反射光的直方图的说明图。
图4A、图4B和图4C是第二激光发射时的反射光的直方图的说明图。
图5A、图5B和图5C是在第三激光发射时的反射光的直方图的说明图。
图6是示出线性表示的累积直方图的图(编号1),图6A示出一次加法的情况下的累积直方图,并且图6B示出四次加法的情况下的累积直方图。
图7是示出线性表示的累积直方图的示图(编号2),图7A示出在16次加法的情况下的累积直方图,以及图7B示出在16次加法的情况下的平滑直方图。
图8A和图8B是正态分布的随机数和固定值的说明图。
图9A是示出了在传统技术的情况下直方图的累积的对数和直方图的累积的对数的波形图,图9B是示出了在传统技术的情况下通过减去环境光算术平均值获得的值的直方图的累积的对数以及通过减去环境光算术平均值获得的值的直方图的累积的对数表示的波形图。
图10是示出在根据本公开的技术的情况下直方图的累加的对数和对数表示中的像素值的直方图的累加的对数的波形图。
图11是示出在根据本公开的技术的情况下通过减去环境光算术平均值获得的值的直方图的累加的对数以及通过减去环境光算术平均值获得的值的对数表示的像素值的直方图的累积的对数的波形图。
图12是示出根据本公开的第一实施方式的实例1的光接收装置和距离测量装置的配置实例的框图。
图13是描述根据实例1的光接收装置中的信号处理方法的流程的流程图。
图14是示出根据实例1的光接收装置中的光接收单元的示意性配置实例的框图。
图15是示出光接收单元的SPAD阵列单元的示意性配置实例的示意图。
图16是示出光接收单元的像素的电路的配置实例的电路图。
图17是示出根据实例1的光接收装置中的加法单元的配置实例的框图。
图18是示出根据实例1的光接收装置中的对数变换处理单元的配置实例的框图。
图19是示出根据实例1的光接收装置中的对数表示的环境光估计处理单元的配置实例的框图。
图20是环境光估计处理单元中的计算处理的说明图。
图21是示出根据实例1的光接收装置中的对数表示的直方图加法处理单元的配置实例的框图。
图22是对数变换和逆变换的说明图。
图23是示出以硬件语言VerilogHDL描述的对数变换和逆变换电路的源代码的示图。
图24是根据实例1的光接收装置中的每个单元的波形图(编号1),图24A示出了加数的输出波形,以及图24B示出了对数变换单元的输出波形。
图25是根据实例1的光接收装置中的每个单元的波形图(编号2),图25A示出了直方图加法处理单元的输出波形,以及图25B示出了平滑滤波器的输出波形。
图26是根据实例1的光接收装置中的每个单元的波形图(编号3),并且示出了对数变换单元的输出波形。
图27是示出针对不从像素值中减去环境光算术平均值的情况的对数表示的累积直方图的图(编号1),图27A示出在一次相加的情况下的累积直方图,以及图27B示出在四次相加的情况下的累积直方图。
图28是示出了对于不从像素值中减去环境光算术平均值的情况的对数表示的累积直方图的图(编号2),图28A示出了在16次相加的情况下的累积直方图,并且图28B示出了在16次相加的情况下的平滑直方图。
图29是示出针对从像素值中减去环境光算术平均值的情况的对数表示的累积直方图的图(编号1),图29A示出在一次相加的情况下的累积直方图,并且图29B示出在四次相加的情况下的累积直方图。
图30是示出从像素值中减去环境光算术平均值的情况的对数表示的累积直方图的图(编号2),图30A示出了在16次相加的情况下的累积直方图,并且图30B示出了在16次相加的情况下的平滑直方图。
图31是示出根据本公开第一实施方式的实例2的光接收装置和距离测量装置的配置实例的框图。
图32A是示出根据实例2的光接收装置中的对数变换处理单元的配置实例的框图,图32B是通过根据实例2的光接收装置中的几何平均值示出环境光估计处理单元的配置实例的框图。
图33是示出根据实例2的光接收装置中的对数表示的直方图加法处理单元的配置实例的框图。
图34是示出根据本公开第一实施方式的实例3的光接收装置和距离测量装置的配置实例的框图。
图35是示出根据实例3的环境光估计处理单元中计算环境光强度估计和对数表示的变化的电路部分的第一电路实例的框图。
图36是示出根据实例3的环境光估计处理单元中计算环境光强度估计和对数表示的变化的电路部分的第二电路实例的框图。
图37是示出根据实例4的对数变换单元的电路实例的框图,图37A示出根据第一具体实例的电路配置,以及图37B示出根据第二具体实例的电路配置。
图38为示出通过以对数表示的像素值的直方图的累积值减去最小值而获得的值的对数的示图(编号1),图38A示出了在一次加法的情况下的对数,并且图38B示出了在四次加法的情况下的对数。
图39为示出通过以对数表示的像素值的直方图的累积值减去最小值而获得的值的对数的示图(编号2),图39A示出了在16次加法的情况下的对数,并且图39B示出了在32次加法的情况下的对数。
图40是示出通过从通过减去环境光算术平均值而获得的值的对数表示的像素值的直方图的累积值中减去最小值而获得的值的对数的示图(编号1),图40A示出在一次相加的情况下的对数,图40B示出在四次相加的情况下的对数。
图41是示出了在通过减去环境光算术平均值而获得的值的对数表示的情况下通过从像素值的直方图的累积值中减去最小值而获得的值的对数的示图(编号2),图41A示出了在16次相加的情况下的对数,并且图41B示出了在32次相加的情况下的对数。
图42是示出根据实例5的对数表示的直方图加法处理单元的配置实例的框图。
图43是示出对数表示的累积直方图的差分编码的流程的示图。
图44A是示出2048个组数的直方图存储在SRAM中而没有被压缩的情况下的数据大小的示图,图44B是示出执行差分编码的情况下的数据大小的示图。
图45是示出编码电路的配置实例的框图。
图46是示出解码电路的配置实例的框图。
图47是示出了在不减去环境光几何平均值的情况下进行16次加法的情况下的对数表示的累积直方图的示图。
图48是示出在扣除环境光几何平均值的16次加法的情况下的对数表示的累积直方图的示图。
图49A为示出在通过同步相加求噪声的平均值的情况下的几何平均值与算术平均值之间的差值的示图,并且图49B为示出了数据值的直方图的示图。
图50A为示出在时间方向上取平均值的情况下的几何平均值与算术平均值之间的差值的示图,图50B为示出数据值的直方图的示图。
图51是示出根据本公开第二实施方式的距离测量装置的示意性配置实例的示意图。
图52是示出了车辆控制系统的示意性配置的实例的框图,车辆控制系统作为可以应用根据本公开内容的技术的移动物体控制系统的实例。
图53是表示成像部和车外信息检测部的安装位置的一例的图。
具体实施方式
在下文中,将参考附图详细描述用于执行根据本公开的技术的模式(在下文中,称为“实施方式”)。根据本公开的技术不限于实施方式,并且实施方式中的各种数值等是实例。在以下描述中,相同的参考标号用于相同的元件或具有相同功能的元件,并且省略冗余的描述。注意,按照以下顺序给出描述。
1.关于本公开的光接收装置、用于光接收装置的信号处理方法和距离测量装置的描述
2.作为本公开的前提的光接收装置和距离测量装置
2-1.系统的配置实例
2-2.通过ToF传感器的距离测量的原理
2-3.光源单元的配置实例
2-4.光接收装置的配置实例
2-5.常规技术的问题
3.本公开的第一实施方式(称为闪光类型的距离测量装置的实例)
3-1.实例1(在从像素值中减去预定值之后获得对数表示数据的实例)
3-1-1.系统的配置实例
3-1-2.光接收单元的示意性配置实例
3-1-2-1.SPAD阵列单元的示意性配置实例
3-1-2-2.SPAD像素的电路配置实例
3-1-2-3.SPAD像素的示意性操作实例
3-1-3.加法单元的配置实例
3-1-4.对数变换处理单元的配置实例
3-1-5.对数表示的环境光估计处理单元的配置实例
3-1-6.对数表示的直方图加法处理单元的配置实例
3-2.实例2(通过将像素值转换成对数值或其近似值并且然后在对数表示中减去预定值来获得对数表示数据的实例)
3-2-1.系统的配置实例
3-2-2.对数变换处理单元的配置实例
3-2-3.对数表示的环境光估计处理单元的配置实例
3-2-4.对数表示的直方图加法处理单元的配置实例
3-3.实例3(以对数表示计算环境光估计处理的算术平均值和方差的实例)
3-3-1.系统的配置实例
3-3-2.用于对数表示计算环境光的算术平均值和方差的方法的实例
3-3-3.用于对数表示计算环境光的算术平均值和方差的电路实例
3-4.实例4(在根据实例1/2的光接收装置中的对数变换单元的具体实例)
3-4-1.第一电路实例
3-4-2.第二电路实例
3-5.实例5(通过压缩对数表示的累积直方图上的数据来降低存储器容量的实例)
3-5-1.系统的配置实例
3-5-2.编码电路的配置实例
3-5-3.解码电路的配置实例
3-6.第一实施方式的功能效果
4.本公开的第二实施方式(称为扫描型的距离测量装置的实例)
4-1.距离测量装置的系统配置实例
4-2.第二实施方式的功能效果
5.根据本公开的技术的应用实例
5-1.移动对象的实例
6.本公开可采用的配置
<关于光接收装置、用于光接收装置的信号处理方法和距离测量装置的描述>
在本公开的光接收装置、其信号处理方法以及距离测量装置中,对数变换处理单元将通过从像素值中减去预定值而获得的值变换成对数值或其近似值,以使用所得值作为用于测距计算的对数表示数据,并且在预定值大于像素值的情况下,对数变换处理单元以作为减法的结果而获得的值为零(0)进行变换处理。
在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,假设预定值是通过将预定加数与通过将环境光的算术平均值乘以预定乘数而获得的值相加而获得的环境光强度估计值,包括环境光估计处理单元,该环境光估计处理单元被配置为基于像素值以对数表示计算环境光的算术平均值以估计环境光强度。然后,对数变换处理单元从像素值中减去由环境光估计处理单元估计的环境光强度,以将结果用作用于测距计算的对数表示数据。
可替代地,在包括上述优选配置的本公开的光接收装置、其信号处理方法以及距离测量装置中,对数变换处理单元从作为从像素值变换成对数值或其近似值的结果而获得的数据中减去作为从预定值变换成对数值或其近似值的结果而获得的数据,并且使用所得数据作为用于测距计算的对数表示数据。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,假设预定值是通过将预定加数与通过将环境光的几何平均值乘以预定乘数而获得的值相加而获得的环境光强度估计值,包括环境光估计处理单元,该环境光估计处理单元被配置为基于像素值以对数表示计算环境光的几何平均值以估计环境光强度。然后,对数变换处理单元将由环境光估计处理单元估计的环境光强度变换成对数值或其近似值。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,包括直方图加法处理单元,所述直方图加法处理单元被配置为将从由光源单元施加的脉冲光的发射到反射光的返回的飞行时间与直方图的组数关联,并且将基于在每个时间采样的像素值计算的对数表示数据存储为对应于所述时间的组数的计数值。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,直方图加法处理单元将基于由光源单元多次施加的脉冲光的发射的来自待测对象的反射的光的各时间上的对数表示数据与对应于时间的组数的计数值相加并更新直方图。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,直方图加法处理单元生成通过累积计数值而获得的直方图,该计数值通过接收基于由光源单元多次施加的脉冲光的发射的反射光而获得的像素值来计算,或者,可选地,所述直方图加法处理单元将使用在预定测量周期中多个时间上进行采样而得的像素值计算出的值作为所述预定值从所述像素值中减去,以及将通过减法计算出的对数表示数据作为所述直方图的所述组数的所述计数值相加。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法以及距离测量装置中,包括反射光检测单元,该反射光检测单元被配置为通过在使用对数表示的直方图的计数值之间进行幅度比较来检测每个反射光的峰值并且基于与峰值的上升开始时的组数对应的时间计算距离。
此外,在包括上述优选配置的本公开的光接收装置及其信号处理方法和距离测量装置中,环境光估计处理单元被配置为如下。具体地,环境光估计处理单元在保持对数表示数据LogD的对数表示的同时,计算像素值的总和的对数值的近似值S,其中,对数表示数据LogD通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而获得。接下来,环境光估计处理单元根据通过从近似值S中减去采样数N的对数值或其近似值而获得的值来计算算术平均值的近似值μ。接下来,环境光估计处理单元计算通过对像素值进行平方而获得的总和的对数值的近似值SS,同时保持通过使用预定的近似表达式将对数表示数据LogD加倍而获得的值的对数表示。接下来,环境光估计处理单元计算通过从近似值SS中减去采样数N的对数值或其近似值而获得的值MM。接下来,环境光估计处理单元通过使用算术平均值的近似值μ和值MM来计算环境光的方差的近似值V。然后,环境光估计处理单元输出通过将预定加数加到通过将算术平均值的近似值M乘以预定乘数而获得的值上所获得的环境光强度估计值以及根据方差的近似值V所计算出的环境光的标准偏差的近似值。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法以及距离测量装置中,环境光估计处理单元将通过对在预定测量周期中多个时间上进行采样而得的像素值进行求和而获得的总和变换为对数值或其近似值,并且输出其中变换的对数表示数据被用作像素值的图像。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,环境光估计处理单元在保持对数表示数据的对数表示的同时,计算像素值的总和的对数值的近似值,并且输出近似值被用作像素值的图像,所述对数表示数据通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而获得。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法和距离测量装置中,包括被配置为进一步对数变换和压缩对数表示的累积直方图的对数变换单元,或者可替换地,包括被配置为在与累积直方图的最小值相减之后进一步对数变换和压缩对数表示的累积直方图的对数变换单元。
此外,在包括上述优选配置的本公开的光接收装置及其信号处理方法和距离测量装置中,直方图加法处理单元在存储对数表示数据的存储器前后具有通过差分编码的数据压缩/解压缩功能。
此外,在包括上述优选配置的本公开的光接收装置、其信号处理方法以及距离测量装置中,光接收元件包括以盖革模式操作的雪崩光电二极管。
<作为本公开的前提的光接收装置和距离测量装置>
图1为示出作为本公开的前提的光接收装置和距离测量装置的配置的实例的框图。在此,作为本公开的前提的光接收装置和距离测量装置意指在应用稍后描述的根据本公开的技术之前的光接收装置和距离测量装置。在下文中,作为本公开的前提的光接收装置和距离测量装置被描述为根据常规技术的光接收装置和距离测量装置。
[系统的配置实例]
根据传统技术的距离测量装置1包括:光源单元20,将光施加至待测对象10;光接收装置30,基于由光源单元20施加的脉冲光从待测对象10接收反射光;以及主机40。
光源单元20包括例如发射在红外波长区域具有峰值波长的脉冲激光的激光源。
光接收装置30是ToF传感器,该ToF传感器采用ToF方法作为用于测量距被测量对象10的距离d的测量方法,测量从光源单元20发射脉冲激光时到由被测量对象10反射的脉冲激光返回时的飞行时间,并且基于飞行时间获得距离d。
[ToF方式传感器的测距原理]
假设t[秒]是从光源单元20朝向待测对象10发射脉冲激光时至待测对象10反射的激光返回至光接收装置30时的往返时间,则光速C是C≈3亿米/秒,使得可以如在以下等式中估计待测对象10与距离测量装置1之间的距离d。
d=C×(t/2)
例如,当以1千兆赫(GHz)对反射光进行采样时,直方图的一个组数(BIN)是其中在1纳秒的周期内检测到光的每个像素的SPAD元件的数量。然后,距离测量分辨率为15cm/bin。
例如,在距离测量装置1安装在汽车等上并且被使用的情况下,主机40可以是安装在汽车等上的发动机控制单元(ECU)。此外,在距离测量装置1安装在自主移动机器人(例如,家用宠物机器人)或自主移动物体(例如,机器人吸尘器、无人驾驶飞机或跟随运输机器人)上并且被使用的情况下,主机40可以是控制自主移动物体的控制装置等。
[光源单元的配置实例]
光源单元20包括例如一个或多个半导体激光二极管,并且以预定发光周期发射具有预定时间宽度的脉冲激光L1。光源单元20至少朝向等于或大于光接收装置30的光接收表面的视角的角度范围发射脉冲激光L1。此外,光源单元20以例如I千兆赫(GHz)的周期发射具有1纳秒的时间宽度的激光L1。例如,在待测对象10存在于距离测量范围内的情况下,从光源单元20发射的激光L1被待测对象10反射并且作为反射光L2入射到光接收装置30的光接收表面。
[光接收装置的配置实例]
作为ToF传感器的光接收装置30包括控制单元31、光接收单元32、加法单元33、直方图加法处理单元34、环境光估计处理单元35、平滑滤波器36、反射光检测单元37和外部输出接口(I/F)38。
例如,控制单元31由诸如中央处理单元(CPU)的信息处理装置实现,并且控制光接收装置30中的每个功能单元。
尽管稍后描述了细节,例如,光接收单元32包括从物体接收光的光子计数型光接收元件,例如,单光子雪崩二极管(SPAD)阵列单元,其中,各自包括作为光接收元件的SPAD元件的像素(在下文中,称为“SPAD像素”)以矩阵(晶格)二维布置,其中光接收元件是以盖革模式操作的雪崩光电二极管的示例。SPAD阵列单元中的多个SPAD像素被分组为多个像素,每个像素包括一个或多个SPAD像素。
一个分组像素对应于距离测量图像中的一个像素。因此,确定构成一个像素的SPAD像素的数量(SPAD元件的数量)和区域的形状确定整个光接收装置30的像素的数量,并且因此,确定测距图像的分辨率。
在光源单元20发射脉冲激光之后,光接收单元32输出关于检测光子的入射的SPAD元件的数量(在下文中,称为“检测数量”)的信息(例如,对应于稍后描述的检测信号的数量)。例如,光接收单元32针对光源单元20的一次发光以预定采样周期检测光子的入射,并且针对每个像素输出入射在相同像素区域中的检测光子的数量。
加法单元33为多个SPAD元件(例如,对应于一个或多个像素)中的每个SPAD元件将由光接收单元32输出的检测光子的数量相加,并且将相加值作为像素值输出至直方图加法处理单元34和环境光估计处理单元35。
这里,一个SPAD元件的值(SPAD值)是具有值{0,1}的1位数据。在加法单元33中,如图2所示,二维布置的多个SPAD像素50针对每个p_h×p_w被分组以形成一个像素60,并且像素60中的SPAD值的总和由ceil(log2(p_h·p_w))位的二进制数表示(此处,ceil()表示十进制向上取整)并且被用作像素的像素值。
如图2中所示,加法单元33为每个像素60并行布置,同时计算所有像素60的像素值,并且将像素值输出给直方图加法处理单元34和环境光估计处理单元35。图2示出了二维SPAD阵列,其中,针对每个p_h×p_w对多个SPAD像素50进行分组以形成一个像素60。
直方图加法处理单元34创建直方图,其中,所述直方图中,水平轴为飞行时间(例如,指示采样顺序的编号(在下文中,称为“采样编号”))并且垂直轴为基于为一个或多个像素60中的每一个获得的像素值的累积像素值。例如,在直方图加法处理单元34中的存储器(未示出)中创建直方图。存储器可以是例如静态随机存取存储器(SRAM)等。然而,存储器不限于SRAM并且可以是诸如动态RAM(DRAM)的各种存储器。
同时,除了由待测对象反射并返回的反射光L2之外,由对象、大气等反射和散射的环境光L0也入射在光接收单元32上。环境光估计处理单元35基于加法单元33的加法结果在算术平均值的基础上来估计与反射光L2一起入射到光接收单元32上的环境光L0,并且将环境光强度估计提供给直方图加法处理单元34。直方图加法处理单元34执行减去由环境光估计处理单元35给出的环境光强度估计值并将所得结果加到直方图的处理。
这里,参考图3、图4和图5具体描述直方图加法处理。
图3A示出了第一激光发射的反射光的直方图。如图3B所示,第一反射光的像素值被存储在对应于采样时间的组数的存储器地址中。图3C示出了环境光强度估计值被减去并被加到直方图的情况。
图4A示出了第二激光发射的反射光的直方图。如图4B所示,第二反射光的像素值被加到存储在与采样时间对应的组数的存储器地址中的值。图4C示出了环境光强度估计值被减去并被加到直方图的情况。
图5A示出了第三激光发射的反射光的直方图。如图5B所示,第三反射光的像素值被加到存储在与采样时间对应的组数的存储器地址中的值。图5C示出了环境光强度估计值被减去并被加到直方图的情况。
在如上所述生成的反射光的直方图中,通过重复执行直方图的计数值之间的大小比较和与阈值的大小比较(诸如峰值检测)来识别捕捉反射光的组数。
平滑滤波器36通过使用例如有限脉冲响应(FIR;有限长度脉冲响应)滤波器等来配置,以减少散粒噪声,减少直方图上的不必要峰值的数量,并且执行平滑处理以便容易地检测反射光的峰值。
反射光检测单元37通过重复直方图的相邻组数的计数值之间的大小比较来检测山的峰,使用具有大峰值的多个山作为候选来获得每个山的上升沿的区间,并且基于反射光的飞行时间来计算到待测量的对象的距离。此时,可检测多个山;然而,由于主机40参考外围像素的信息计算最终测量距离值,所以多个反射光候选的测量距离值经由外部输出接口38传输至主机40。
外部输出接口38可以是移动行业处理器接口(MIPI)、串行外围接口(SPI)等。
这里,描述线性表示的直方图的累积。在累积数量增加的情况下,环境光的方差与累积数量的平方根成比例;然而,反射光与累积数量成比例,使得可以改善S/N。
反射光的强度与距离的平方成反比;然而,环境光的强度被假定为高斯分布N(μ,σ2),而不管距离如何。图6A示出了在一次相加的情况下的累积直方图(累积直方图)。在此,为了容易理解,示出了反射光返回至箱5、100、200、...、和900的情况的实例。图6B示出在四次加法的情况下的累积直方图,并且图7A示出在16次加法的情况下的累积直方图。图7B是在16次加法的情况下在通过平滑滤波器36进行平滑之后的平滑直方图。
在环境光强度的变化大并且标准偏差大的情况下,难以将环境光与反射光区分开。该标准偏差可以用作环境光和反射光是否能够以高可靠性彼此区分的指示符。图8A示出了μ=50和σ=5正态分布的随机数和固定值,并且图8B示出了μ=50和σ=15正态分布的随机数和固定值。μ和σ分别是用于生成正态分布的随机数的环境光的算术平均值和标准偏差的参数值。
如上所述,在使用例如SPAD元件作为光接收元件并且通过ToF方法执行距离测量的用作ToF传感器的光接收装置30中,多个SPAD元件的值被加在一起以用作像素值;然而,为了在脉冲激光发射之后通过对像素值进行采样来捕获反射光,像素值被加到具有与采样时间对应的组数的直方图。反射光在行进时二维地扩展,并且其强度与距离的平方成反比;因此,通过累积多次脉冲激光发射的反射光的直方图,以通过同步相加的噪声平均来提高S/N,使得可以辨别来自要测量的更远对象的弱反射光。
[现有技术的问题]
然而,在基于多次激光发射累积反射光的直方图的情况下,来自要相对接近的测量对象的强反射光的像素值较大,并且每当累积直方图时,直方图的动态范围增大。因此,这增加了存储基于多次激光发射的反射光的直方图的存储器的容量。特别地,在阳光充足的白天,环境光变得更强,并且大部分像素值变成大的值;因此,为了累积更多的直方图,需要更多的直方图计数值的位深度。
此外,如上所述,优选使用标准偏差来区分反射光和环境光;然而,由于需要与像素数相对应的乘数和平方根算术单元,这也引起电路尺寸和功耗增大的问题。另外,由于直方图的数据过大,因此难以实时传送至外部装置。为了解决这样的问题,可以对直方图的计数值进行对数变换,并且将结果存储在存储器中以用于压缩动态范围的目的;然而,需要对对数变换的值进行逆变换,并且在像素值的累积之后再次执行对数变换,这增加了功耗。
图9A示出了说明在常规技术的情况下直方图(由虚线表示)的累加的对数和对数表示中的像素值的直方图(由实线表示)的累加的对数的波形图。此外,图9B示出了说明在常规技术的情况下通过减去环境光的算术平均值μ而获得的值(由虚线表示)的直方图的累积的对数以及通过减去环境光的算术平均值μ而获得的值(由实线表示)的对数表示的像素值的直方图的累积的对数的波形图。
<本发明的第一实施方式>
在根据本公开的技术中,在包括具有多个光接收元件(例如,SPAD元件)的光接收单元的光接收装置中,并且基于由光源单元施加的脉冲光从待测量物体接收反射光,以及距离测量装置,包括光接收装置,将多个SPAD元件在预定时间的值相加在一起以用作像素值D,并且将像素值D变换成对数值或者其近似值以获得对数表示数据LogD。
在对数表示中累积像素值的直方图相当于计算与几何平均值成比例的量。通过使用此,对像素值D执行对数变换并且按照原样执行计算。即,在对数表示中执行对数变换之后的信号处理,并且执行用于测量到待测对象10的距离d的距离测量。
在对数变换之后的信号处理中,可以通过以对数表示累积像素值的直方图来压缩直方图的动态范围,这可以减小存储器容量。此外,在对数变换之后的信号处理中,通过使用对数表示的算术平均值等于几何平均值的对数表示的事实来简化算术处理。
图10示出了说明在根据本公开的技术的情况下直方图的累积(由虚线表示)的对数和对数表示的像素值的直方图的累积(由实线表示)的波形图。此外,图11示出了说明在根据本公开的技术的情况下通过减去环境光的算术平均值μ而获得的值(由虚线表示)的直方图的累积的对数以及通过减去环境光的算术平均值μ而获得的值(由实线表示)的对数表示的像素值的直方图的累积的对数的波形图。
在下文中,描述根据本公开的第一实施方式的光接收装置和距离测量装置的具体实例。根据第一实施方式的距离测量装置是所谓的闪光式距离测量装置,其中,包括SPAD元件的像素二维地布置成矩阵并且一次获取广角距离测量图像。
<<实施例1>>
实例1是在从像素值D减去预定值M之后获得对数表示数据的实例。例如,作为预定值M,可以示例环境光的算术平均值μ。图12是示出根据本公开的第一实施方式的实例1的光接收装置和距离测量装置的配置实例的框图。
在实例1中,将通过从像素值D中减去预定值M而获得的值(D-M)变换成对数值或其近似值,以获得对数表示数据Log(D-M)。然后,对数表示数据Log(D-M)被存储和计算以执行距离测量。然而,在D<M的情况下,以D-M为0执行对数值或其近似值的变换。
LogD=log2(1+Max(D-M,0))
在此处,参照图13的流程图,描述在根据实例1的光接收装置中的信号处理方法(本公开的信号处理方法)的流程。例如,假设在由信息处理设备(例如,CPU)实现的控制单元31的控制下执行信号处理。
控制单元31从加法单元33获取像素值D(步骤S11),然后从像素值D中减去预定值M(步骤S12),并将减法结果(D-M)变换成对数值或其近似值以获得对数表示数据Log(D-M)(步骤S13)。接下来,控制单元31存储并计算对数表示数据Log(D-M)(步骤S14),然后执行使用ToF方法测量到待测对象10的距离d的距离测量(步骤S15)。
这里,预定值M是通过将统计值U乘以预定乘数AMP并且将预定被加数OFFSET加到结果而获得的环境光强度估计(AMP·U+OFFSET)。统计值U可以是环境光采集周期中像素值的算术平均值、像素值的几何平均值、像素值的最大值、像素值的最小值、像素值的中值等。在实例1中,仅举例说明算术平均值和几何平均值;然而,最大值、最小值、中值等可以用于在类似部分在类似周期中计算统计值。此外,另一配置是可能的,其中,在预定乘数AMP是1并且预定被加数OFFSET是0的情况下,统计值U本身被用作预定值M。
[系统的配置实例]
根据实例1的距离测量装置1包括:光源单元20,将光施加至待测量(对象)的对象10;光接收装置30,基于由光源单元20施加的脉冲光从待测对象10接收反射光;以及主机40。光源单元20包括例如发射在红外波长区域具有峰值波长的激光的激光光源。
光接收装置30是使用ToF方法作为用于测量距待测对象10的距离d的测量方法的ToF传感器,并且包括对数变换处理单元61,对数表示的环境光估计处理单元62、对数表示的直方图加法处理单元63、对数表示的平滑滤波器64、对数变换单元65,以及对数表示的反射光检测单元66,除了控制单元31、光接收单元32、加法单元33和外部输出接口38之外。
[光接收单元的示意性配置实例]
图14是示出根据实例1的光接收装置30中的光接收单元32的示意性配置实例的框图。光接收单元32的示意性配置实例在后面描述的每个实例中相似。
如图2所示,光接收单元32包括定时控制电路321、驱动单元322、SPAD阵列单元323和输出单元324。
SPAD阵列单元323包括二维布置成矩阵的多个SPAD像素50。像素驱动线LD(图中的行方向)针对每个像素行连接至多个SPAD像素50,并且输出信号线LS(图中的列方向)针对每个像素列连接至多个SPAD像素50。像素驱动线LD的一端连接到对应于驱动单元322的每一行的输出端,并且输出信号线LS的一端连接到对应于输出单元324的每一列的输入端。
驱动单元322包括移位寄存器和地址解码器,并且以像素列为单位等针对所有像素同时驱动SPAD阵列单元323的每个像素50。具体地,驱动单元322至少包括将稍后描述的淬灭电压VQCH施加至SPAD阵列单元323中的所选列中的每个像素50的电路单元和将稍后描述的选择控制电压VSEL施加至所选列中的每个像素50的电路单元。然后,驱动电路322将选择控制电压VSEL施加至与待读出的像素列对应的像素驱动线LD;从而以像素列为单位选择用于检测光子的入射的SPAD像素50。
从由驱动电路322选择性地扫描的像素列的每个SPAD像素50输出的信号(在下文中,称为“检测信号”)VOUT通过输出信号线LS中的每一个被供应至输出单元324。输出单元324将从每个SPAD像素50供应的检测信号VOUT输出至包括一个或多个SPAD像素50并且为上述每个像素60设置的加法单元33(参见图13)。
定时控制单元321包括生成各种定时信号等的定时发生器,并且基于由定时发生器生成的各种定时信号来控制驱动单元322和输出单元324。
(SPAD阵列单元的示意性配置实例)
图15是示出了根据实例1的光接收装置30的光接收单元32中的SPAD阵列单元323的示意性配置实例的示意图。SPAD阵列单元323的示意性配置实例在后面描述的每个实例中相似。
如图15所示,SPAD阵列单元323包括例如以矩阵二维布置的多个SPAD像素50。多个SPAD像素50被分组为由布置在行方向和/或列方向上的预定数量的SPAD像素50构成的多个像素60。通过位于每个像素60的最外周边处的SPAD像素50的外边缘连接的区域的形状是预定形状(例如,矩形)。该形状可以是以像素为单位的二维布置,其中,像素沿行方向布置,并且在这种情况下,以行为单位选择和读出一行。
(SPAD像素的电路配置实例)
图16是示出根据实例1的光接收装置30的SPAD阵列单元323中的像素50的电路配置实例的电路图。SPAD像素50的电路配置示例的示意性配置示例在稍后描述的每个示例中是相似的。
如图16所示,SPAD像素50包括作为光接收元件的示例的SPAD元件51和检测SPAD元件51上的光子的入射的读出电路52。当在等于或高于击穿电压的反向偏置电压VSPAD被施加在阳极电极与阴极电极之间的状态下入射光子时,SPAD元件51产生雪崩电流。
读出电路52包括淬灭电阻器53、选择晶体管54、数字转换器55、反相器56和缓冲器57。
例如,淬灭电阻器53是N型金属氧化物半导体场效应晶体管(MOSFET)。(在下文中,称为“NMOS晶体管”)。构成淬灭电阻器53的NMOS晶体管具有连接至SPAD元件51的阳极电极的漏电极并且具有经由选择晶体管54接地的源电极。此外,经由像素驱动线LD从图14中的驱动单元322向NMOS晶体管的栅极电极施加预先设定的用于使构成淬灭电阻器53的NMOS晶体管充当淬灭电阻器的淬灭电压VQCH
SPAD元件51是雪崩光电二极管,该雪崩光电二极管响应于等于或高于施加在阳极电极与阴极电极之间的击穿电压的反向偏置电压以盖革模式操作并且可以检测一个光子的入射。
选择晶体管54例如由NMOS晶体管构成,其漏电极连接到构成淬灭电阻器53的NMOS晶体管的源电极,并且源电极接地。在选择控制电压VSEL经由像素驱动线LD从图14的驱动单元322施加至选择晶体管54的栅电极的情况下,选择晶体管54从断开状态变为导通状态。
数字转换器55包括电阻元件551和NMOS晶体管552。NMOS晶体管552具有经由电阻元件551连接到电源电压VDD的节点的漏极电极,并且具有接地的源极电极。此外,NMOS晶体管552的栅极电极连接至SPAD元件51的阳极电极与淬灭电阻器53之间的连接节点N1
反相器56具有包括P型MOSFET(在下文中,称为“PMOS晶体管”)561和NMOS晶体管562的CMOS反相器的配置。PMOS晶体管561的漏极连接到电源电压VDD的节点,PMOS晶体管561的源极连接到NMOS晶体管562的漏极。NMOS晶体管562的漏电极连接到PMOS晶体管561的源电极,并且源电极接地。PMOS晶体管561的栅电极和NMOS晶体管562的栅电极共同连接到电阻元件551和NMOS晶体管552的漏电极之间的连接节点N2。反相器56的输出端子连接至缓冲器57的输入端子。
缓冲器57是用于阻抗变换的电路,并且缓冲器57响应于从反相器56输入的输出信号来变换如此输入的输出信号的阻抗,并且输出结果作为检测信号VOUT
(SPAD像素的示意性操作实例)
例如,图16中所示的读出电路52操作如下。即,首先,在选择控制电压VSEL从图14的驱动单元322施加至选择晶体管54的栅电极并且选择晶体管24处于导通状态的周期期间,等于或高于击穿电压的反向偏置电压VSPAD被施加至SPAD元件51。因此,允许SPAD元件51的操作。
另一方面,在选择控制电压VSEL没有从图14的驱动单元322施加至选择晶体管54并且选择晶体管54处于断开状态的时间段内,反向偏置电压VSPAD没有施加至SPAD元件51。因此,SPAD元件51的操作被禁止。
当选择晶体管54处于导通状态时光子入射在SPAD元件51上时,在SPAD元件51中生成雪崩电流。因此,雪崩电流流过淬灭电阻器53以增加连接节点N1的电压。然后,如果连接节点N1的电压变得高于NMOS晶体管552的导通电压,则NMOS晶体管552导通,并且连接节点N2的电压从电源电压VDD变为0V。
然后,如果连接节点N2的电压从电源电压VDD变为0V,则PMOS晶体管561从断开状态变为导通状态,NMOS晶体管562从接通状态变为断开状态,并且连接节点N3的电压从0V变为电源电压VDD。结果,从缓冲器77输出高电平检测信号VOUT
此后,如果连接节点N1的电压继续增加,则施加在SPAD元件51的阳极电极与阴极电极之间的电压变得小于击穿电压。这停止雪崩电流以降低连接节点N1的电压。然后,如果连接点N1的电压变得低于NMOS晶体管552的导通电压,则NMOS晶体管552截止,并且停止从缓冲器57的检测信号VOUT的输出。即,检测信号VOUT变为低电平。
如上所述,在从光子进入SPAD元件51以生成雪崩电流并且然后导通NMOS晶体管552的定时到雪崩电流停止以关断NMOS晶体管552的定时的时间段期间,读出电路52输出高电平检测信号VOUT
从读出电路52输出的检测信号VOUT经由图14中的输出单元324输入到每个像素60的加法单元33(见图14)。因此,对于每个像素60,在构成一个像素60的多个SPAD像素50之中检测到光子入射的SPAD像素50的数量(检测数量)的检测信号VOUT被输入到加法单元33。
[加法单元的配置实例]
图17是示出根据实例1的光接收装置30中的加法单元33的配置实例的框图。如图17所示,加法单元33包括例如脉冲整形单元331和光接收数量计数单元332。在后面描述的每个实例中,加法单元33的配置实例相似。
脉冲整形单元331根据加法单元33的工作时钟,将经由输出单元324从图14中示出的SPAD阵列单元322中供应的检测信号VOUT的脉冲波形整形为具有时间宽度的脉冲波形。
光接收数量计数单元332针对每个采样周期对从相应像素60输入的检测信号VOUT进行计数;由此针对每个采样周期对其中检测到光子的入射的像素50的数量(检测数量)进行计数,并且输出计数值作为像素60的像素值D。
应注意,在图17中的像素值D[i][8:0]中,[i]是用于识别每个SPAD像素50的标识符,并且在该示例中,是从“0”至“R-1”的值(参见图15)。此外,[8:0]指示像素值D[i]的位深度。
图17示出了加法单元33基于从由标识符i标识的像素60输入的检测信号VOUT生成可以采用值“0”至“511”的9位像素值D。
这里,采样周期是测量从光源单元20发射激光L1时到光接收装置30的光接收单元32检测光子的入射时的时间(飞行时间)的周期。作为采样周期,设置比光源单元20的发光周期短的周期。例如,进一步缩短采样周期,这使得可以以更高的时间分辨率估计或计算从光源单元20发射且由待测对象10反射的光子的飞行时间。这意味着至物体90的距离可以通过增加采样频率而以更高的距离测量分辨率来估计或计算。
例如,假设从当光源单元20发射激光L1时至当激光L1被待测对象10反射并且反射光L2进入光接收单元32时的飞行时间由t表示,由于光速C是恒定的(C≈3亿米/秒),因此可以根据上述等式(d=C×(t/2))估计或计算至待测对象10的距离d。
鉴于此,假设采样频率为1GHz,则采样周期为1纳秒。在这种情况下,一个采样周期对应于15cm。这表示针对采样频率被设置为1GHz的情况,距离测量分辨率为15cm。此外,假设采样频率是2千兆赫,其是1千兆赫的两倍,则采样周期是0.5纳秒,因此一个采样周期对应于7.5cm。这指示对于采样频率加倍的情况,可以将距离测量分辨率降低至1/2。如上所述,通过增加采样频率和缩短采样周期,可以更精确地估计或计算到待测对象10的距离。
[对数变换处理单元的配置实例]
图18是示出根据实例1的光接收装置30中的对数变换处理单元61的配置实例的框图。
对数变换处理单元61经由D触发器(FF)71从加法单元33接收像素值D的输入。D触发器71在直方图被更新的时间段期间和在获取作为预定值M的环境光强度估计的时间段期间被启用。
如图18所示,对数变换处理单元61包括减法器611、削波电路612、对数变换单元613、选择器614、对数/线性表示设置单元615和D触发器616。
减法器611以对数表示从从环境光估计处理单元62中的加法单元33输入的像素值D中减去预定值M(估计的环境光强度估计)。减法器611的减法结果(D-M)经由削波电路612被供应至对数变换单元613并且用作选择器614的一个输入。
对数变换单元613将通过从像素值D中减去预定值M而获得的减法结果(D-M)变换为对数值或对数值的近似值,以获得对数表示数据Log(D-M)。然而,在D<M的情况下,以D-M为0执行对数值或其近似值的变换。对数表示数据Log(D-M)用作选择器614的另一个输入。
选择器614基于来自对数/线性表示设置单元615的设置信息lsel选择两个输入中的一个。对数/线性表示设置单元615输出对数表示中的逻辑“0”和线性表示中的逻辑“1”的设置信息lsel。
因此,选择器614基于设置信息lsel选择线性表示的对数表示数据Log(D-M)或像素值D。即,包括根据该实例的对数变换处理单元61的光接收装置30具有通过处理(存储和计算)将像素值D变换成对数值或其近似值获得的对数表示数据LogD来进行距离测量的模式,以及通过处理(存储和计算)像素值来进行距离测量作为线性表示的模式,并且光接收装置30被配置为在模式之间切换。
经由D触发器616将由选择器614选择的线性表示的对数表示数据Log(D-M)或像素值D供应至下一级对数表示的直方图加法处理单元63。D触发器616在直方图被更新的时间段期间被启用。
[对数表示的环境光估计处理单元的配置实例]
图19是示出根据实例1的光接收装置30中的对数表示的环境光估计处理单元62的配置实例的框图。要注意的是,对数表示的环境光估计处理单元62不是根据实例1的光接收装置30的必要组成元件。即,在不从像素值D中减去预定值M(环境光强度估计)的情况下,可以省略对数表示的环境光估计处理单元62。
对数表示的环境光估计处理单元62经由D触发器71从加法单元33接收像素值D的输入。D触发器71在直方图被更新的时间段期间和在获取环境光强度估计的时间段期间被启用。
如图19所示,对数表示的环境光估计处理单元62包括对数变换单元6201、选择器6202、算术/几何平均值设置单元6203、加法器6204、D触发器6205、除法器6206以及D触发器6207。环境光估计处理单元62还包括选择器6208、参数设置单元6209、加法器6210、参数设置单元6211、D触发器6212、逆变换单元6213、1位左移位电路6214和选择器6215。
通过对数变换单元6201将加法单元33输入的像素值D变换成对数值或其近似值,并且将其用作选择器6202的一个输入并且直接用作选择器6202的另一个输入。
选择器6202基于来自算术/几何平均值设置单元6203的设置信息msel选择两个输入中的一个。算术/几何平均值设置单元6203输出算术平均值为逻辑“0”且几何平均值为逻辑“1”的设置信息msel。由此,选择器6202基于设置信息msel选择像素值D或对数表示数据LogD。
由选择器6202选择的像素值D或对数表示数据LogD被输入到加法器6204。加法器6204将像素值D或者对数表示数据LogD与下一级的D触发器6205的锁存数据相加。仅在环境光的统计值的测量周期期间启用D触发器6205。
除法器6206通过将D触发器6205的锁存器数据除以数据的数量N来获得环境光的统计值。D触发器6207在环境光的统计值的每个测量周期结束时仅启用一个周期,并且锁存环境光的统计值,该统计值是由除法器6206获得的几何平均值或算术平均值。
作为由D触发器6207锁存的几何平均值或算术平均值的统计值U是具有0作为一个输入的选择器6208的另一输入。选择器6208基于由参数设置单元6209设置的预定乘数AMP选择两个输入中的一个,并且将所选择的输入用作加数6210的输入。加数6210基于由参数设置单元6211设置的预定被加数OFFSET,以与乘数AMP的位深度相同的次数重复由选择器6208选择的数据和1位移位电路6214的输出数据的加法处理。
环境光统计值的测量周期结束,统计值U锁存后,D触发器6212在与乘数AMP和加数OFFSET的位深相同的周期内使能,计算AMP×U+OFFSET。图20以对数表示示出了环境光估计处理单元62中的计算处理的说明图,即,AMP×U+OFFSET的计算处理。
D触发器6212的锁存数据被逆变换单元6213逆变换(经受逆对数变换)以变成选择器6215的一个输入并且直接变成选择器6215的另一输入。
选择器6215基于来自算术/几何平均值设置单元6203的设置信息msel选择两个输入中的一个。具体地,当设置信息msel是逻辑“0”时,选择器6215选择D触发器6212的锁存数据,并且当设置信息msel是逻辑“1”时,选择器6215选择逆变换单元6213的输出数据,并将选择的输出数据输出到对数变换处理单元61。
[对数表示中的直方图加法处理单元的配置实例]
直方图加法处理单元63将从来自光源单元20的激光的发射到反射光的返回的飞行时间作为直方图的bin进行相关,并且将基于在每个时间采样的像素值计算的对数表示数据存储在存储器中作为对应于时间的bin的计数值。
假设关于直方图加法处理单元63,通过将基于多次进行的激光发射的来自待测对象的反射光的每次的对数表示数据LogD添加到与时间对应的bin的计数值来更新直方图。然后,使用通过累积计数值而获得的直方图来执行距离测量计算,该计数值基于通过基于多次执行的激光发射接收反射光而获得的像素值来计算。
利用该配置,可以减小存储直方图的存储器的位深度或者扩大累积时的直方图的动态范围。此外,可以计算几何平均值的对数值。执行对数量化减小了由于大噪声引起的变化。在下文中,具体描述直方图加法处理单元63的配置。
图21是示出根据实例1的光接收装置30中的对数表示的直方图加法处理单元63的配置实例的框图。如图21所示,直方图加法处理单元63包括加数631、D触发器632、SRAM633、D触发器634、加数(+1)635、D触发器636和D触发器637。
此处,输入读取地址READ_ADDR(RA)的SRAM 633和输入写入地址WRITE_ADDR(WA)的SRAM 633是相同的SRAM(存储器)。后一SRAM 633在直方图被更新的时间段期间被启用。
直方图加法处理单元63从对数变换处理单元61接收对数表示数据Log(D-M)或线性表示的像素值D的输入。加数631将来自SRAM 633的读数据READ_DATA(RD)加到输入的对数表示数据Log(D-M)或线性表示的输入的像素值D。
D触发器632在直方图被更新的时间段期间被启用,并且锁存加数631的加法结果。然后,D触发器632将锁存的数据提供至SRAM 633,写入地址WA被输入到SRAM 633作为写入数据WRITE_DATA(WD)。
在直方图被更新的时间段期间和直方图数据HIST_DATA的传输时间段期间,启用D触发器632。D触发器632然后将锁存的数据提供给SRAM633作为读取地址READ_ADDR。加数634通过将1加到D触发器632的锁存数据来增加组数(BIN)。
从SRAM 633读出的读取数据READ_DATA作为直方图数据HIST_DATA被输出。D触发器636在直方图被更新的时间段期间被启用,并且锁存D触发器634的锁存数据。在直方图被更新的时间段期间,D触发器637被启用,并且锁存D触发器636的锁存数据。D触发器637的锁存数据被输出为直方图组数HIST_BIN。
图22是对数变换和逆变换的说明图。使用折线近似执行对数变换和指数变换。在对数表示由定点数u3.3(u是舍入误差的最小单位)表示并且逆变换的线性表示由定点数u8.0表示的情况下,可以简单地实现它类似于图23中所示的硬件语言VerilogHDL代码。
log21+x:u8.0→u3.3(LOG2)
2x-1:u3.3→u8.0(EXP2)
描述返回图13。在图13中,平滑滤波器64对从直方图加法处理单元63输出的对数表示的累积直方图进行对数表示的平滑处理。具体地,平滑滤波器64减少散粒噪声,减少直方图上的峰值数量,并且执行平滑处理,使得容易检测反射光的峰值。
对数变换单元65进一步对数变换和压缩由平滑滤波器64平滑的对数表示的累积直方图。稍后描述对数变换单元65的处理的细节。
反射光检测单元66通过重复对数表示的直方图的邻近组数的计数值之间的大小比较来检测山的峰。然后,使用具有大峰值的多个山作为候选,获得每个山的上升边缘的区间,并且基于反射光的飞行时间计算与待测对象的距离。
此外,反射光检测单元66比较直方图的计数值与从对数表示通过逆对数变换(变换成指数函数、通过二次幂返回线性表示的值或其近似值)获得的值之间的大小,以检测各个反射光的峰值。然后,可基于与峰值上升开始时的组数对应的时间计算距离。
图24A示出了加数33的输出波形,图24B示出了对数变换处理单元61的输出波形,图25A示出了对数表示的直方图加法处理单元63的输出波形,图25B示出了对数表示的平滑滤波器64的输出波形,以及图26示出了对数变换单元65的输出波形。
这里,对于未从像素值D中减去预定值M的情况(即,环境光强度估计是算术平均值的情况),描述继续对数表示的像素值的直方图的累积,以及在从像素值D中减去预定值M的情况下,描述对数表示的像素值的直方图的累积。
(不从像素值D中减去环境光的算术平均值的情况)
图27A示出了一次加法的情况下的累积直方图,图27B示出了四次加法的情况下的累积直方图,并且图28A示出了16次加法的情况下的累积直方图。此外,图28B示出了在16次加法的情况下在对数表示中通过平滑滤波器64进行平滑之后的平滑直方图。
(从像素值D中减去环境光的算术平均值的情况)
图29A示出了一次加法的情况下的累积直方图,图29B示出了四次加法的情况下的累积直方图,图30A示出了16次加法的情况下的累积直方图。此外,图30B示出了在16次加法的情况下在对数表示中通过平滑滤波器64进行平滑之后的平滑直方图。
<<实施例2>>
实例2是通过将像素值D转换成对数值或其近似值,然后以对数表示减去预定值M来获得对数表示数据的实例)图31是示出根据本公开第一实施方式的实例2的光接收装置和距离测量装置的配置实例的框图。
在实例2中,通过从通过将像素值D变换成对数值或其近似值获得的对数表示数据LogD2减去通过将预定值M(例如,环境光的算术平均值)变换成对数值或其近似值获得的对数表示数据LogM来获得值。这意味着计算归一化的对数,使得M被计算为1。然后,存储并计算对数表示数据LogD(=LogD2-LogM)以进行距离测量。
LogD2=log2(1+D2)
LogM=log2(1+M)
LogD=log2(1+D2)-log2(1+M)
[系统的配置实例]
根据实例2的距离测量装置1还包括:光源单元20,将光施加至待测对象(对象)10;光接收装置30,基于由光源单元20施加的脉冲光从待测对象10接收反射光;以及主机40。
对于作为采用ToF法的ToF传感器的光接收装置30,在示例1中,对数表示的环境光估计处理单元62与对数变换处理单元61并行布置,并且在从像素值D减去预定值M(例如,环境光的算术平均值)之后执行对数变换,而在示例2中,基于几何平均值的环境光估计处理单元67被布置在对数变换处理单元61的后级。
对数变换处理单元61生成通过将从加法单元33输入的像素值D变换成对数值或其近似值而获得的对数表示数据LogD2。基于几何平均值的环境光估计处理单元67生成通过将预定值M(例如,环境光的算术平均值)变换成对数值或其近似值而获得的对数表示数据LogM。然后,对数表示的直方图加法处理单元63从对数表示数据LogD2减去对数表示数据LogM,生成对数表示数据LogD(=LogD2-LogM)。
除了对数变换处理单元61、基于几何平均值的环境光估计处理单元67、以及对数表示的直方图加法处理单元63之外的配置与在实例1的情况下的配置相同。在实例2中,由于以对数表示执行减法(LogD2-LogM)并且当返回至线性时执行除法,所以执行归一化使得环境光的算术平均值变为1。
仅考虑通过对数压缩来减小输入范围,可以预期,后续阶段的处理的功能和效果类似于实例1的情况下的功能和效果。然而,在实例2的情况下,对数变换和逆变换的固定点数表示的分数部分的比特深度比实例1的情况需要更多。
[对数变换处理单元的配置实例]
图32A是示出根据实例2的光接收装置30中的对数变换处理单元61的配置实例的框图。
在根据实例2的光接收装置30中,由于对数变换处理单元61不执行从像素值D中减去预定值M的处理,因此对数变换处理单元61不包括图18中的减法器611和削波电路612;然而,如图32A所示,包括对数变换单元613、选择器614、对数/线性表示设置单元615和D触发器616。
对数变换单元613、选择器614、对数/线性表示设置单元615和D触发器616的功能等基本上与实例1的情况下的功能相同。D触发器616在直方图被更新的时间段期间被启用,锁存由选择器614选择的对数表示数据LogD或线性表示的像素值D,并输出锁存数据(LogD或D)作为对数变换处理单元61的输出。
[基于几何平均值的环境光估计处理单元的配置实例]
图32B是示出了根据实例2的光接收装置30中的基于几何平均值的环境光估计处理单元67的配置实例的框图。要注意的是,对数表示的环境光估计处理单元62不是根据实例2的光接收装置30的必要组成元件。即,在不从像素值D中减去环境光强度估计的情况下,可以省略对数表示的环境光估计处理单元62。
如图32B所示,根据实例2的基于光接收装置30中的几何平均值的环境光估计处理单元67包括加法器6204、D触发器6205、除法器6206以及D触发器6207。环境光估计处理单元67还包括选择器6208、参数设置单元6209、加法器6210、参数设置单元6211、D触发器6212和1位左移位电路6214。
环境光估计处理单元67从对数变换处理单元61接收像素值D或对数表示数据LogD的输入。加法器6204将从对数变换处理单元61输入的像素值D或对数表示数据LogD与下一级的D触发器6205的锁存数据相加。仅在环境光的统计值的测量周期期间启用D触发器6205。
除法器6206通过将D触发器6205的锁存器数据除以数据的数量N来获得环境光的统计值。在环境光的统计值的测量周期完成之后,D触发器6207仅被启用一个周期,并且锁存除法器6206所获得的环境光的统计值。环境光的统计值(其是D触发器6207的输出)是在先前(第1-1个)直方图相加时的几何平均值的对数。选择器6208和随后的部件以图19中所示的对数表示基本上与环境光估计处理单元62的情况相似。
[对数表示中的直方图加法处理单元的配置实例]
图33是示出根据实例2的光接收装置30中的对数表示的直方图加法处理单元63的配置实例的框图。
在根据实例2的光接收装置30中,由于对数表示的直方图加法处理单元63执行环境光强度估计的减法处理,因此直方图加法处理单元63除了实例1的直方图加法处理单元63的组成元件之外还包括减法器638和削波电路639。
此处,输入读取地址READ_ADDR(RA)的SRAM 633和输入写入地址WRITE_ADDR(WA)的SRAM 633是相同的SRAM(存储器)。后一SRAM 633在直方图被更新的时间段期间被启用。
直方图加法处理单元63从对数变换处理单元61接收对数表示数据LogD或线性表示的像素值D的输入。加法器631将来自SRAM 633的读数据READ_DATA(RD)加到输入的对数表示数据LogD或线性表示的输入的像素值D。
减法器638从加法器631的加法结果中减去由环境光估计处理单元67估计的环境光强度估计。减法器638的减法结果经由削波电路639被提供给D触发器632。D触发器632在环境光的统计值的每个测量周期结束时仅被启用一个周期,并且锁存通过从像素值的对数表示中减去环境光强度估计而获得的值。通过从像素值的对数表示中减去环境光强度估计所获得的值是通过几何平均值对像素值进行标准化所获得的值的对数表示,并且作为写入数据WRITE_DATA(WD)被供应至写入地址WA所输入至的SRAM 633。
其他构成元件(即,SRAM 633、D触发器634、加法器635、D触发器636和D触发器637)的功能和操作基本上与实例1的情况下的功能和操作相同。
<<实施例3>>
示例3是以对数表示计算环境光估计处理的算术平均值和方差的示例。图34是示出根据本公开第一实施方式的实例3的光接收装置和距离测量装置的配置实例的框图。
[系统的配置实例]
根据实例3的距离测量装置1还包括:光源单元20,将光施加至待测对象(对象)10;光接收装置30,基于由光源单元20施加的脉冲光从待测对象10接收反射光;以及主机40。
在作为使用ToF方式的ToF传感器的光接收装置30中,从加法单元33输出的像素值D以对数表示被直接输入到直方图加法处理单元34和环境光估计处理单元62,并且环境光估计处理单元62以对数表示计算环境光估计处理的算术平均值和方差。
对数表示的环境光估计处理单元62可以在预定测量周期中在多个时间t对像素值D进行采样,并且输出图像,在该图像中通过将采样的像素值Dt的总和SUM变换成对数值或其近似值而获得的对数表示数据LogSUM被用作像素值。换言之,根据实例3的光接收装置30是不仅能够输出距离测量信息而且能够输出由对数变换的像素值构成的图像的ToF传感器。
[用于计算对数表示的环境光的算术平均值和方差的方法的实例]
首先,关于环境光的算术平均值μ,计算如下:
[数学公式1]
作为,
Figure BDA0003737646610000441
依次近似计算该总和SUM的对数的近似值S,并从log2(1+μ)=S-log2N进行逆变换(2x-1)得到环境光的算术平均值μ。在此,N是采样数,并且log2N是采样数N的对数值或者其近似值。
假定环境光的强度估计基于环境光的算术平均值μ使用预定乘数AMP和预定加数OFFSET计算为AMP·μ+OFFSET,并且可以通过乘数AMP和加数OFFSET来调整环境光的强度估计。
关于方差σ2,首先,
[数学公式2]
作为
Figure BDA0003737646610000451
SS被依次近似地计算。
接下来,作为
[数学公式3]
Figure BDA0003737646610000452
[数学公式4]
Figure BDA0003737646610000453
在对数表示上通过加法/减法和移位获得2(S-log2N)和SS-log2N(=MM)。
至于方差σ2
因为[数学公式5]
Figure BDA0003737646610000461
成立,所以方差σ2的近似值V通过取2(S-log2N)和通过将SS-log2N逆变换为2x获得的值的差值来获得。
由于标准偏差σ是方差σ2的平方根,所以通过执行对数变换、将结果除以2、并且对结果执行逆变换而获得的值(如以下公式(6)和(7))被用作近似值。
[数学公式6]
Figure BDA0003737646610000462
[数学公式7]
Figure BDA0003737646610000463
[用于计算对数表示的环境光的算术平均值和方差的第一电路实例]
图35是示出根据实例3的环境光估计处理单元62中的对数表示计算环境光的算术平均值和方差的电路部分的第一电路实例的框图。
环境光估计处理单元62包括作为用于计算环境光强度估计的电路系统的D触发器6251、对数变换单元6252、D触发器6253、近似值计算单元6254、D触发器6255、减法器6256、log2N设置单元6257、D触发器6258、加法器6259、log2AMP设置单元6260、对数逆变换单元6261、加法器6262、OFFSET-AMP+1设置单元6263和D触发器6264。
在获取环境光的算术平均值和方差的时间段期间,启用D触发器6251、D触发器6253和D触发器6255。D触发器6258和D触发器6264中的每个被启用一个周期,从而使得在获取环境光的算术平均值和方差时流水线在该时间段结束时流动一次。
D触发器6251接收通过在预定测量周期中的多个时间t对像素值D进行采样而获得的像素值Dt的输入。当启用时,D触发器6251锁存像素值Dt。对数变换单元6252对由D触发器6251锁存的像素值Dt执行log2(1+x)的对数变换。当启用时,D触发器6253累积地将对数变换单元6252的变换结果log2(1+Dt)相加。
近似值计算单元6254基于D触发器6253的输出和D触发器6255的输出执行近似值计算。D触发器6255输出公式(1)的S(即,对数表示数据LogSUM的近似值)作为显示图像的像素值。D触发器6255的输出S也被输入到减法器6252。减法器6252从D触发器6255的输出S减去log2N。
当启用时,D触发器6258锁存减法器6252的减法结果。加法器6259将log2AMP与D触发器6258的输出相加。对数逆变换单元6261对加法器6259的加法结果执行2x-1逆对数变换。加法器6262将OFFSET-AMP+1与对数逆变换单元6261的逆变换结果相加。当启用时,D触发器6264将加法器6262的相加结果锁存并且输出结果作为环境光强度估计。
环境光估计处理单元62包括作为用于计算标准偏差的近似值的电路系统的1位左移位电路6265、近似值计算单元6266、D-触发器6267、减法器6268、D-触发器6269、对数逆变换单元6270、减法器6271、1位左移位电路6272、对数逆变换单元6273、D-触发器6274、对数变换单元6275、1位右移位电路6276、对数逆变换单元6277和D-触发器6278。
在获取环境光的算术平均值和方差的时间段内启用D触发器6267。D-触发器6269和D-触发器6274中的每一个被启用一个周期,从而使得在获取环境光的算术平均值和方差的周期结束时,流水线流动一次。
D触发器6253的输出经由1位左移位电路6265被提供给近似值计算单元6266。近似值计算单元6266基于由1位左移位电路6265向左移位一位的D触发器6203的输出和D触发器6267的输出来执行近似值计算。D触发器6267输出公式(2)的SS。
减法器6268从D触发器6267的输出SS中减去log2N。当启用时,D触发器6269锁存减法器6268的减法结果。对数逆变换单元6270对D触发器6269的输出执行2x逆对数变换。对数逆变换单元6271对由1位左移位电路6272向左移位一位的D触发器6208的输出执行2x逆对数变换。
减法器6273在对数逆变换单元6270的逆变换结果和对数逆变换单元6271的逆变换结果之间进行减法。当启用时,D-触发器6274锁存减法器6273的减法结果并且输出结果作为环境光的方差σ2。对数变换单元6275对D-触发器6274的输出(即,方差σ2)执行log2(x)的对数变换。
1位右移位电路6276将对数变换单元6275的变换结果仅向右移位一位。对数逆变换单元6277对1比特右移位电路6276执行2x逆对数变换。D-触发器6278锁存对数逆变换单元6277的逆变换结果,并将结果输出为标准偏差的近似值。
[用于对数表示计算环境光的算术平均值和方差的第二电路实例]
图36是示出根据实例3的环境光估计处理单元62中的对数表示的计算环境光的算术平均值和方差的电路部分的第二电路实例的框图。
在第一电路实例中,输出作为D触发器6255的输出S的对数表示数据LogSUM的近似值作为显示图像的像素值。另一方面,在第二电路实例中,根据由D触发器6251锁存的像素值Dt来计算对数表示数据LogSUM,并且将该对数表示数据LogSUM输出为显示图像的像素值。
具体地,如图36所示,环境光估计处理单元62包括加法器6279、D触发器6280和对数变换单元6281作为计算对数表示数据LogSUM的电路系统。
在获取环境光的算术平均值和方差期间,D触发器6280被启用。加法器6279和D触发器6280执行像素值Dt的累积加法。对数变换单元6281对像素值Dt的累积加法结果执行log2(1+x)的对数变换,并输出作为变换结果的对数表示数据LogSUM作为显示图像的像素值。
同时,在第一电路实例和第二电路实例中,近似值计算单元6024和近似值计算单元6016的近似值计算LogAdd(a,b)使用以下公式(8)的近似表达式计算:
[数学公式8]
f(x)=log2(1+x)≈x…(8)
如在以下公式(9)中,在对数中加入对数的内容的计算是用一个固定点的数字进行的。
[数学公式9]
log2(1+a+1+b)≈LogAdd(a,b)=max(f(a),f(b))+2-d…(9)
在此,让
[数学公式10]
d=|f(b)-f(a)|…(10)
令f(x)为在小数点之后具有w位的固定点的数字,2-ldl可由以下公式(11)近似。
[数学公式11]
Figure BDA0003737646610000501
LogAdd(a,b)是小数点后具有w位的固定点的数字,表示如下:
[数学公式12]
LogAdd(a,b)≈max(f(a),f(b))+rshift(1.0,d)…(12)
并且可以通过比较器、移位电路和加法器来实现。
<<实施例4>>
实施例4是根据实例1或实例2的光接收装置30中的对数变换单元65(见图13或31)的具体实例。
[第一具体示例]
第一具体实例是对数表示的像素值的累积直方图进一步经历对数变换和压缩的实例。这是直方图的累积值经历对数变换和压缩的实例。图37A是示出根据实施例4的对数变换单元65的第一具体实例的框图。
如图37A所示,根据第一具体实例的对数变换单元65包括对数变换器651、削波电路652和D触发器653,并被配置为对对数表示的像素值的直方图的累积值执行对数变换以压缩结果。
对数变换单元65接收在图13或图31中示出的对数表示中通过平滑滤波器64平滑的直方图数据的输入,例如,约10比特到16比特的数据。
对数变换器651对经平滑的直方图数据执行log2(1+x)的对数变换。对于对数变换器651的变换结果,削波电路652饱和值为7或更多至7。D触发器653锁存削波电路652的输出,以输出结果作为具有0至7的值的3位数据。
[第二具体示例]
第二具体例子是对数表示的像素值的累计直方图进一步进行对数变换,在减去最小值后进行压缩的例子。图37B是示出根据实例4的对数变换单元65的第二具体实例的框图。
如图37B所示,除了对数变换器651、削波电路652和D触发器653之外,根据第二具体示例的对数变换单元65还包括对数变换器651的前级的减法器654,并且被配置为对数表示的累积直方图进一步执行对数变换,以利用累积直方图的最小值压缩减法之后的结果。
对数变换单元65接收在图13或图31中示出的对数表示中通过平滑滤波器64平滑的直方图数据的输入,例如,约10比特到16比特的数据。
减法器654从经平滑的直方图数据中减去经平滑的直方图数据的最小值。对数变换器651对减法器654的减法结果执行log2(1+x)的对数变换。对于对数变换器651的变换结果,削波电路652饱和7或更多至7。D触发器653锁存削波电路652的输出,以输出结果作为具有0至7的值的3位数据。
根据具有上述配置的根据第二具体实例的对数变换单元65,在从10比特压缩到3比特的情况下,压缩可减小到30%。此外,在从16位压缩到3位的情况下,压缩可减小到19%。
关于通过从对数表示的像素值的直方图的累积值中减去最小值而获得的值的对数,图38A示出了一次相加的情况下的对数,图38B示出了四次相加的情况下的对数,图39A示出了16次相加的情况下的对数,并且图39B示出了32次相加的情况下的对数。
此外,关于通过从通过减去环境光算术平均值而获得的值的对数表示的像素值的直方图的累积值中减去最小值而获得的值的对数,图40A示出了一次相加的情况下的对数,图40B示出了四次相加的情况下的对数,图41A示出了16次相加的情况下的对数,并且图41B示出了32次相加的情况下的对数。
<<实施例5>>
实例5是通过对数表示的像素值的累积直方图的数据压缩减小存储器容量的实例,并且是在根据实例1的光接收装置中的对数表示的直方图加法处理单元63的另一个配置实例。
[系统的配置实例]
图42是示出根据实例5的对数表示的直方图加法处理单元63的配置实例的框图。根据实例5的直方图加法处理单元63具有其中通过以顺序数据的差的形式执行的差分编码的数据压缩/解压缩功能被安装在SRAM 633之前和之后的配置,SRAM 633是存储对数表示数据的存储器的实例。
具体而言,如图42中所示,编码电路641安装在SRAM 633的输入级上,在输入写入地址WRITE_ADDR(WA)和写入数据WRITE_DATA(WD)的一侧,并且解码电路642安装在SRAM633的输出级上,在输入读取地址READ_ADDR(RA)的一侧。图43示出了对数表示的累积直方图的差分编码的流程。
如上所述,通过在SRAM 633之前和之后安装通过差分编码的数据压缩/解压缩功能,可以减小SRAM 633的存储器容量。作为实例,图44A示出了在不被压缩的情况下将048个组数的直方图存储在SRAM 633中的情况下的数据大小,并且图44B示出了在执行差分编码的情况下的数据大小。
例如,假设转义次数为256以下,SRAM 633的转义存储器6331(见图45)的容量减小。在256逸出的情况下,可执行压缩至50.0%[=(3×2048+8×256)/(8×2048)],并且在64逸出的情况下,可执行压缩至40.6%[=(3×2048+8×64)/(8×2048)]。
[编码电路的配置实例]
图45是示出编码电路641的配置实例的框图。同时,SRAM 633包括代码存储器6331和转义存储器6332。从直方图加法处理单元63中的D触发器637输入的写入地址WAt被写入代码存储器6331中。
如图45所示,编码电路641包括D触发器6411、减法器6412、代码分配处理单元6413、加法器(+1)6414和D触发器6415。
D触发器6411将从D触发器632输入的写入数据WDt锁存在直方图相加处理单元63中。减法器6412从由D触发器632输入的写入数据WDt中减去D触发器6411的锁存数据WDt-1
代码分配处理单元6413基于从D触发器632输入的写入数据WDt和减法器6412的减法结果(WDt-WDt-1),将写入数据SingWDt、Abst提供给代码存储器6331,并将写入数据EscapeWDt提供给转义存储器6332。
每当可以生成转义码时,加法器6414和D触发器6415对转义存储器6332的写入地址EscapeWA向上计数(递增)。
[解码电路的配置实例]
图46是示出解码电路642的配置实例的框图。如图46中所示,解码电路642包括乘法器6421、加法器6422、D触发器6423、选择器6424、转义确定单元6425、加法器(+1)6426和D触发器6427。
乘法器6421将从代码存储器6331输入的读取数据SingWDt乘以读取数据Abst。加法器6422将D触发器6423的锁存器数据RDt-1与乘法器6421的乘法结果(SingWDt×Abst)相加。D触发器6423对从选择器6424输出的读取数据RDt进行锁存。
选择器6424接收加法器6422的相加结果和从转义存储器6332读出的读取数据EscapeRDt的两个输入,基于转义确定单元6425的确定结果选择两个输入中的任何一个,并且将所选择的一个作为读取数据RDt输出。转义确定单元6425基于从代码存储器6331输入的读取数据Abst执行转义确定。
每当读出转义码时,加法器6426和D触发器6427对转义存储器6332的写入地址EscapeWA递增计数(递增)。
<<第一实施方式的功能效果>>
根据第一实施例,可以获得以下功能效果。
(动态范围的改善或存储器容量的减少)
虽然直方图的动态范围与存储器大小之间存在折衷关系,但对于相同的存储器大小,动态范围大于常规方法中的动态范围。因此,即使为了提高S/N而增加激光发射的次数,直方图也不饱和,使得不劣化反射光的位置确定的精度。
在相同动态范围的情况下,由于存储器尺寸可以减小,电路尺寸可以减小。
(功耗的降低)
通过在对数表示中减小位深度(例如,从线性表示的12位到对数表示的8位的减小),D触发器(FF)和存储器的位深度减小,使得可以减小直方图处理时的功耗。
对于方差计算,不需要和平方根算术单元,并且相反,可以使用加法器/减法器和用于对数变换和逆变换的简单电路,导致功耗的减少。
[基于几何平均值的环境光估计处理的功能效果]
它较不可能受到环境光的临时大波动的影响。
即使对于包括反射光的样品,也可以计算接近环境光的平均值的值。
(通过对数累积的进一步对数变换获得的直方图的有损压缩的功能效果)
压缩数据使得可以减少必要的数据传输带、缩短传输时间并且减少LSI的引脚数目。
(对数表示的差分编码的功能效应)
由于比特深度通过对数表示而减小,所以转义码的比特深度可以减小,并且转义SRAM的存储容量可以减小。此外,由于2位码SRAM和逃逸SRAM就足够了,所以可以减小SRAM的存储容量,并且可以通过减小ECC电路的位深度来减小电路尺寸和功耗。
(对数累积的效果)
当2k-1≤a≤2k+1-1时,k=0、1、...保持,
[数学公式13]
Figure BDA0003737646610000571
可通过折线来近似。
[数学公式14]
Figure BDA0003737646610000572
其中,s(≥0)是已与反射光反应的SPAD元件的数量,L个相互独立的随机变量Xi的对数log2(1+Xi)的总和的期望值μsl由以下给出:
[数学公式15]
Figure BDA0003737646610000581
并且方差σsl 2是由以下给出的,
[数学公式16]
Figure BDA0003737646610000582
这里,假设l=k,
[数学公式17]
Figure BDA0003737646610000591
保持。
当2k-1≤μe/(1+s)≤2k+1-1时,2k-1≤ei/(1+s)≤2k+1-1,并且k=0、1、...保持,预期值μs1可以近似为Llog2(1+s+μe),并且标准偏差σs1可以近似为{√L/(1+s)2ke
如上所述,期望值μsl与L成比例;然而,标准偏差σsl与√L成比例,这与线性表示中的那些相似。此外,标准偏差σsl与信号电平的幅度s成反比,并且当信号电平的幅度s小时,标准偏差σsl与噪声范围2k成反比。
图47示出了在不扣除环境光几何平均值的情况下进行16次加法的情况下的对数表示的累积直方图。信号电平越大,对数累加的标准偏差越小。
图48示出在具有环境光几何平均值的减法的16次加法的情况下的对数表示的累积直方图。在减去环境光几何平均值的情况下,由于没有反射光的部分的信号电平的大小小,所以不存在减小对数累加的标准偏差的效果;但是,反射光的信号电平的大小不那么小。
(通过对同步相加中的噪声进行平均来减少的影响)
几何平均值变得小于算术平均值,并且当存在大的离群值时,算术平均值与分布峰的位置不匹配,但是几何平均值趋于匹配。
当2k-1≤μe/(1+s)≤2k+1-1时,2k-1≤ei/(1+s)≤2k+1-1,k=0、1、...保持,预期值μs1可以近似为Llog2(1+s+μe)。L乘以log2(1+xi)的算术平均值是
[数学公式18]
Figure BDA0003737646610000601
并且是1+xi的几何平均值的对数的期望值μgeo,因此,通过将几何平均值的对数的期望值μgeo乘以L获得L乘以log2(1+xi)的累积。
在分布包括大值的情况下,算术平均值倾向于大于中值。在这种情况下,几何平均值具有不那么大的特征。由于log2(1+xi)的累加执行L次也具有该特征,因此,例如,在本公开的距离测量装置安装在车辆控制系统上并使用的情况下,即使由于迎面车辆的前灯等在L次执行的激光发射中意外地将大值混合几次,也几乎不会影响该累积。
图49A示出了针对通过同步相加求噪声平均的情况的几何平均值与算术平均值之间的差,并且图49B示出了数据值(SPAD元件的输出值)的直方图。
(时间方向上的平均化的效果)
与通过同步相加进行噪声平均的情况一样,几何平均值变得小于算术平均值,并且当存在大的异常值时,算术平均值与分布峰值的位置不匹配,但是几何平均值趋于匹配。
在环境光强度估计的估计中,当在反射光被混合的状态下取几何平均值时,该值变得接近环境光的算术平均值的算术平均值,而不受反射光的大幅影响。图50A示出了在时间方向上进行平均的情况下的几何平均值与算术平均值之间的差值,并且图50B示出了数据值(像素值)的直方图。
<本公开的第二实施方式>
在第一实施例中,作为例子描述了被称为闪光类型的距离测量装置。与此相对,在第二实施例中,以称作扫描型的距离测量装置为例进行说明。另外,在以下的说明中,对与第1实施方式相同的结构标注相同标号并省略重复说明。
[距离测量装置的系统配置实例]
图51是示出根据本公开第二实施方式的距离测量装置的示意性配置实例的示意图。如图51所示,除了光源单元20和光接收装置30之外,根据第二实施方式的距离测量装置包括控制设备200、聚光透镜201、半反射镜202、微反射镜203、光接收透镜204和扫描仪单元205。
微反射镜203和扫描器单元205构成扫描入射在光接收装置30的光接收单元32上的光的扫描单元。注意,除了微反射镜203和扫描器单元205之外,扫描单元可以包括聚光透镜201、半反射镜202和光接收透镜204中的至少一个。
如同第一实施方式的情况,光源单元20包括例如一个或多个半导体激光二极管,并且以预定发光周期发射具有预定时间宽度的脉冲激光L1。此外,光源单元20以例如I千兆赫(GHz)的周期发射具有1纳秒的时间宽度的激光L1
聚光透镜201会聚从光源单元20发射的激光L1。例如,聚光透镜201会聚激光L1,使得激光L1的扩展与光接收装置30的光接收表面的视角大约相同。
半透半反镜202将入射激光L1的至少一部分朝向微反射镜203反射。注意,代替半透半反镜202,还可以使用反射一部分光并透射另一部分光的光学元件,例如偏光镜。
微反射镜203附接至扫描器单元205,使得角度能够以反射表面的中心作为轴而改变。例如,扫描器单元205使微反射镜203在水平方向上摆动或振动,使得由微反射镜203反射的激光L1的图像SA在预定扫描区域AR中水平地往复运动。例如,扫描器单元205使微反射镜203在水平方向上摆动或振动,使得激光L1的图像SA在一毫秒内在预定扫描区域AR中往复运动。注意,步进电机、压电元件等可用于使微反射镜203摆动或振动。
由存在于距离测量范围中的物体90反射的激光L1的反射光L2从与激光L1相反的方向入射在微反射镜203上,其中,与激光L1的发射轴相同的光轴作为入射轴。入射在微反射镜203上的反射光L2沿着与激光L1相同的光轴进入半透半反镜202,并且其一部分穿过半透半反镜202。
通过半透半反镜202的反射光L2的图像通过光接收透镜204形成在光接收装置30的光接收单元32中的像素列上。
光接收装置30可具有与在第一实施方式中举例说明的光接收装置(具体地,根据第一实施方式的每个实例的光接收装置)的配置相似的配置。其他配置和操作可以与第一实施例的配置和操作类似。因此,在此省略详细描述。
在光接收装置30中,光接收单元32具有例如其中在第一实施方式中示例的像素60被布置在垂直方向(对应于行方向)上的结构。即,光接收单元32可以通过例如图15中示出的SPAD阵列单元323的一些行(一行或几行)来配置。
控制装置200例如由诸如中央处理单元(CPU)的信息处理装置来实现,并且控制光源单元20、光接收装置30和扫描器单元205等。
<<第二实施方式的功能效果>>
如上所述,根据本公开的技术不仅可应用于闪光式距离测量装置,而且可应用于扫描式距离测量装置。而且,在扫描型距离测量装置中,通过使用第一实施例的各例的光接收装置作为光接收装置30,能够得到与第一实施例的情况相同的功能效果。
虽然上面已经描述了本公开的实施方式,但是本公开的技术范围不限于其本身的上述实施方式,并且在不背离本公开的主旨的情况下可以做出各种修改。此外,可适当地组合不同的实施例和变形例的组成元件。
此外,在本说明书中描述的实施方式中的效果仅是示例而不是限制性的,并且可以存在其他效果。
<根据本公开的技术的应用实例>
根据本公开的技术可以应用于各种产品。在下文中,描述更具体的应用实例。例如,根据本公开的技术可实现为安装在任何类型的移动对象上的距离测量装置,如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动性、飞机、无人机、船舶、机器人、建筑机械、农业机械(牵引车)等。
[移动体]
图52是描绘作为可应用根据本公开的实施方式的技术的移动体控制系统的实例的车辆控制系统7000的示意性配置的实例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图52所示的实例中,车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车载信息检测单元7500和集成控制单元7600。例如,将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络,诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)等。
每个控制单元包括:微型计算机,根据各种程序进行算术运算处理;存储部,存储由微型计算机执行的程序、用于各种操作的参数等;以及驱动电路,其驱动各种控制对象设备。每个控制单元进一步包括:网络接口(I/F),用于经由通信网络7010与其他控制单元执行通信;以及通信I/F,用于通过有线通信或无线通信与车辆内部和外部的装置、传感器等进行通信。图52所示的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其他控制单元类似地包括微计算机、通信I/F、存储部等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如,驱动系统控制单元7100用作用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。
驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车体的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮的转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号进行运算处理,对内燃机、驱动电动机、电动动力转向装置、制动装置等进行控制。
车身系统控制单元7200根据各种程序来控制设置于车身的各种设备的操作。例如,车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后备灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下,从移动装置发射的无线电波作为按键或者各种开关的信号的替代物可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号,并且控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序控制作为用于驱动电机的电源的二次电池7310。例如,从包括二次电池7310的电池设备向电池控制单元7300供应关于电池温度、电池输出电压、电池中剩余电荷量等的信息。电池控制单元7300使用这些信号执行算术运算处理,并且执行用于调节二次电池7310的温度的控制或控制提供给电池设备等的冷却设备。
车外信息检测单元7400检测包含车辆控制系统7000的车外的信息。例如,车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。例如,车外信息检测部7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测在包括车辆控制系统7000的车辆的外围的其他车辆、障碍物、行人等的外围信息检测传感器中的至少一个。
例如,环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器、以及检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声波传感器、雷达装置以及LIDAR(光检测和距离测量装置,或激光成像检测和测距)装置中的至少一个。成像部7410和车外信息检测部7420中的每一个可被设置为独立的传感器或装置,或者可被设置为其中多个传感器或装置被集成的装置。
在此,图53示出了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部中的挡风玻璃的上部上的位置中的至少一个。设置在车辆内部的前鼻部的成像部7910和设置在挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。设置于侧视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部内的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及,图53示出相应成像部7910、7912、7914和7916的成像范围的实例。成像范围a表示设置到前鼻子的成像部7910的成像范围。成像范围b和c分别表示提供给侧视镜的成像部7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部7916的成像范围。例如,通过叠加由成像部7910、7912、7914和7916成像的图像数据,能够获得从上方观看的车辆7900的鸟瞰图像。
设置于车辆7900的前方、后方、侧方、角落和车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达装置。设置于车辆7900的前鼻子、后保险杠、车辆7900的后门、车室内的挡风玻璃的上部的车外信息检测部7920、7926、7930例如也可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测先行车、行人、障碍物等。
返回图52,将继续描述。车外信息检测单元7400使成像部7410拍摄车外的图像,接收拍摄图像数据。另外,车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置、LIDAR装置的情况下,车外信息检测单元7400发送超声波、电磁波等,并且接收接收到的反射波的信息。车外信息检测单元7400基于接收到的信息,可以进行对人类、车辆、障碍物、标志、路面上的文字等物体进行检测的处理、或者与物体之间的距离进行检测的处理。另外,车外信息检测单元7400也可以基于接收到的信息进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。
另外,车外信息检测单元7400可以基于接收到的图像数据来进行对人类、车辆、障碍物、标志、路面上的文字等进行识别的图像识别处理或者检测距其距离的处理。车外信息检测单元7400可以将所接收的图像数据进行诸如失真校正、对准等的处理,并且将通过多个不同的成像部7410成像的图像数据组合以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由成像部7410拍摄到的图像数据来进行视点变换处理,该成像部7410包括互不相同的拍摄部。
车载信息检测单元7500检测关于车辆内部的信息。例如,车载信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员成像的照相机、检测驾驶员的生物信息的生物传感器、收集车辆内部内的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中,并检测坐在座椅上的乘客或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息,车载信息检测单元7500可以计算驾驶员的疲劳度或驾驶员的集中度,或者可以确定驾驶员是否打瞌睡。车载信息检测单元7500可以使通过收集声音获得的音频信号经受诸如噪声消除处理等的处理。
综合控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。综合控制单元7600与输入部7800连接。输入部7800由触摸面板、按钮、麦克风、开关、杆等能够由乘员进行输入操作的装置实现。集成控制单元7600可以被供应通过对通过麦克风输入的语音的语音识别而获得的数据。输入部分7800可以例如是使用红外线或其他无线电波的远程控制设备,或者支持车辆控制系统7000的操作的外部连接设备,诸如移动电话、个人数字助理(PDA)等。输入部7800可以是例如照相机,并且在这种情况下,乘坐者可以通过手势输入信息。替代地,可以输入通过检测乘员穿戴的可穿戴装置的运动而获得的数据。此外,输入部7800可以例如包括输入控制电路等,该输入控制电路等基于乘员等使用上述输入部7800输入的信息来生成输入信号,并将所生成的输入信号输出至综合控制单元7600。乘员等通过操作输入部7800,向车辆控制系统7000输入各种数据或者指示处理操作。
存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外,存储部7690可以通过诸如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。
通用通信I/F7620是被广泛使用的通信I/F,该通信I/F调解与存在于外部环境7750中的各种设备的通信。通用通信I/F7620可以实现蜂窝通信协议,诸如全球移动通信系统(GSM)(注册商标)、全球微波接入互操作性(WiMAX)、长期演进(LTE))、高级LTE(LTE-A)等,或者诸如无线LAN(也称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等的另一无线通信协议。例如,通用通信I/F7620可以经由基站或接入点连接到存在于外部网络(例如,互联网、云网络或公司特定网络)上的装置(例如,应用服务器或控制服务器)。此外,例如,通用通信I/F 7620可以使用对等(P2P)技术连接至存在于车辆附近的终端(该终端例如是驾驶员的终端、行人或商店、或机器型通信(MTC)终端)。
专用通信I/F 7630是支持开发用于在车辆中使用的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议,例如,如车辆环境中的无线接入(WAVE)(其是作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE 1609的组合)、专用短程通信(DSRC)、或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为包括以下各项中的一项或多项的概念:车辆与车辆(车辆到车辆)之间的通信、道路与车辆(车辆到基础设施)之间的通信、车辆与家庭(车辆到家庭)之间的通信、以及行人与车辆(车辆到行人)之间的通信。
定位部7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如,来自全球定位系统(GPS)卫星的GPS信号)来执行定位,并且生成包括车辆的纬度、经度和海拔的位置信息。顺便提及,定位部7640可以通过与无线接入点交换信号来识别当前位置,或者可以从诸如移动电话、个人手持式电话系统(PHS)或具有定位功能的智能电话之类的终端获得位置信息。
例如,信标接收部7650接收从安装在道路等上的无线电站发射的无线电波或电磁波,并且由此获得有关当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及,信标接收部7650的功能可以被包括在上述专用通信I/F7630中。
车载装置I/F7660是调解微型计算机7610和车辆内存在的各种车载装置7760之间的连接的通信接口。车载装置I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。此外,车载装置I/F 7660可以经由未在图中示出的连接端子(以及线缆,如果必要的话)通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链路(MHL)等建立有线连接。车载装置7760可以例如包括乘员拥有的移动装置和可穿戴装置以及被携带或附接至车辆的信息装置中的至少一个。车载装置7760还可以包括搜索到任意目的地的路径的导航装置。车载装置I/F 7660与这些车载装置7760交换控制信号或数据信号。
车载网络I/F 7680是对微型计算机7610与通信网络7010的通信进行中介的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车载装置I/F 7660以及车载网络I/F 7680中的至少一个获得的信息,根据各种程序控制车辆控制系统7000。例如,微型计算机7610可以基于所获得的关于车辆内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值,并且向驱动系统控制单元7100输出控制命令。例如,微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制,该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。另外,微型计算机7610可以通过基于所获得的与车辆的周围有关的信息控制驱动力生成装置、转向机构、制动装置等,来执行用于自动驾驶的协作控制,这使得车辆不依赖于驾驶员的操作等而自主行驶。
微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆和诸如周围结构、人等的对象之间的三维距离信息,并且生成包括关于车辆的当前位置的周围的信息的局部地图信息。此外,微型计算机7610可基于获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等的危险,并产生警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。
声音/图像输出部7670将声音或图像中的至少一个的输出信号发送到输出装置,该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图52的实例中,音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。例如,显示部7720可以包括板载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出设备可以是不同于这些设备,并且可以是诸如耳机的另一设备、诸如由乘客等佩戴的眼镜型显示器的可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下,显示设备以各种形式(诸如文本、图像、表格、图形等)可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。此外,在输出装置是音频输出装置的情况下,音频输出装置将由再现的音频数据或声音数据等组成的音频信号转换成模拟信号,并且在听觉上输出模拟信号。
顺便提及,经由图52所示的实例中的通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替代地,每个单独的控制单元可以包括多个控制单元。此外,车辆控制系统7000可包括未在图中示出的另一个控制单元。另外,由以上描述中的控制单元之一执行的功能的部分或全部可以被分配给另一控制单元。也就是说,只要经由通信网络7010发送和接收信息,就可以由任何控制单元执行预定算术处理。类似地,连接到控制单元中的一个的传感器或装置可以连接到另一控制单元,并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的实例。在根据本公开的技术中,例如,在成像部7410包括上述组成元件中的ToF相机(ToF传感器)的情况下,具体地,根据上述第一实施方式或第二实施方式的光接收装置可被用作ToF相机。例如,通过将光接收装置作为距离测量装置的ToF方式照相机安装,能够构成能够高精度地检测测量对象的车辆控制系统。
<本公开可以采取的配置>
应注意,本公开还可具有以下配置。
<<A.光接收装置>>
[A-1]一种光接收装置,
包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;以及
对数变换处理单元,被配置为将作为通过所述加法单元的相加的结果获得的像素值变换成对数值或者其近似值,以使用所得值作为用于测距计算的对数表示数据;其中,
基于由光源单元施加的脉冲光,接收来自待测对象的反射光。
[A-2]根据上述[A-1]所述的光接收装置,其中,
所述对数变换处理单元将通过从所述像素值中减去预定值而获得的值变换成对数值或其近似值,以将所得值用作用于测距计算的所述对数表示数据。
[A-3]根据上述[A-2]所述的光接收装置,其中,
在所述预定值大于所述像素值的情况下,所述对数变换处理单元以作为减法的结果而获得的值为零(0)进行变换处理。
[A-4]根据上述[A-3]所述的光接收装置,进一步包括,
假定所述预定值是通过将预定加数加到通过将环境光的算术平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,被配置为基于所述像素值以对数表示计算所述环境光的算术平均值以估计环境光强度;其中,
所述对数变换处理单元从所述像素值中减去由所述环境光估计处理单元估计的所述环境光强度。
[A-5]根据上述[A-1]所述的光接收装置,其中,
所述对数变换处理单元从作为从所述像素值变换成对数值或其近似值的结果而获得的数据中减去作为从预定值变换成对数值或其近似值的结果而获得的数据,并且使用所得数据作为用于测距计算的所述对数表示数据。
[A-6]根据上述[A-5]所述的光接收装置,进一步包括,
假定所述预定值是通过将预定加数加到通过将环境光的几何平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,所述环境光估计处理单元被配置为基于所述像素值以对数表示计算所述环境光的所述几何平均值以估计环境光强度;其中,
所述环境光估计处理单元将由所述环境光估计处理单元估计的所述环境光强度转换成对数值或其近似值。
[A-7]根据上述[A-2]至[A-6]中任一项所述的光接收装置,进一步包括:
直方图加法处理单元,所述直方图加法处理单元被配置为将从由所述光源单元施加的脉冲光的发射到反射光的返回的飞行时间与直方图的组数关联,并且将基于在每个时间采样的像素值计算的对数表示数据存储为对应于所述时间的组数的计数值。
[A-8]根据上述[A-7]所述的光接收装置,其中,
所述直方图加法处理单元将基于由所述光源单元多次施加的所述脉冲光的发射的来自所述待测对象的所述反射的光的各时间上的对数表示数据与对应于所述时间的所述组数的所述计数值相加并更新所述直方图。
[A-9]根据上述[A-8]所述的光接收装置,其中,
所述直方图加法处理单元生成直方图,所述直方图通过累积根据通过接收基于由所述光源单元多次施加的所述脉冲光的发射的所述反射光而获得的像素值计算出的计数值来获得。
[A-10]根据上述[A-8]所述的光接收装置,其中,
所述直方图加法处理单元将使用在预定测量周期中多个时间上进行采样而得的像素值计算出的值作为所述预定值从所述像素值中减去,并且将通过减法计算出的对数表示数据作为所述直方图的所述组数的所述计数值相加。
[A-11]根据上述[A-1]至中任一项所述的光接收装置,进一步包括:
反射光检测单元,被配置为通过在使用对数表示的直方图的计数值之间进行幅度比较来检测每个反射光的峰值,并基于与峰值的上升开始时的组数对应的时间计算距离。
[A-12]根据上述[A-1]至中任一项所述的光接收装置,其中,
环境光估计处理单元,
在保持对数表示数据LogD的对数表示的同时,计算像素值的总和的对数值的近似值S,其中,所述对数表示数据LogD通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而得到;
根据通过从近似值S中减去采样数N的对数值或者其近似值获得的值计算算术平均值的近似值μ;
计算通过对像素值进行平方而获得的总和的对数值的近似值SS,同时保持通过使用预定的近似表达式将对数表示数据LogD加倍而获得的值的对数表示;
计算通过从近似值SS中减去采样数N的对数值或其近似值而获得的值MM;
通过使用算术平均值的近似值μ和值MM计算环境光的方差的近似值V;并且
输出通过将预定加数加到通过将所述算术平均值的近似值μ乘以预定乘数而获得的值上获得的环境光强度估计值以及根据方差的近似值V计算出的环境光的标准偏差的近似值。
[A-13]根据上述[A-1]至中任一项所述的光接收装置,其中,
环境光估计处理单元将通过对在预定测量周期中多个时间上进行采样而得的像素值进行求和而获得的总和变换为对数值或其近似值,并输出其中变换的对数表示数据被用作像素值的图像。
[A-14]根据上述[A-1]至中任一项所述的光接收装置,其中,
环境光估计处理单元在保持对数表示数据的对数表示的同时,计算像素值的总和的对数值的近似值,并输出近似值被用作像素值的图像,所述对数表示数据是通过使用预定近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而获得的。
[A-15]根据上述[A-1]至中任一项所述的光接收装置,进一步包括:
对数变换单元,其经配置以进一步对数变换且压缩对数表示的累积直方图。
[A-16]根据上述[A-1]至中任一项所述的光接收装置,进一步包括:
对数变换单元,其经配置在与累积直方图的最小值相减后以进一步对数变换并压缩对数表示的累积直方图。
[A-17]根据上述[A-1]至中任一项所述的光接收装置,其中,
直方图加法处理单元在存储所述对数表示数据的存储器前后具有通过差分编码的数据压缩/解压缩功能。
[A-18]根据上述[A-1]至中任一项所述的光接收装置,其中,
所述光接收元件包括以盖革模式操作的雪崩光电二极管。
<<B.光接收装置的信号处理方法>>
[B-1]一种用于光接收装置的信号处理方法,
所述光接收装置包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;并且
所述光接收装置基于由光源单元施加的脉冲光接收来自待测对象的反射光,所述信号处理方法包括:
在所述光接收装置上的信号处理中,
将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;并且
接下来,将像素值转换成对数值或其近似值,以将结果用作用于测距计算的对数表示数据。
<<C.距离测量装置>>
[C-1]一种距离测量装置,
包括:
光源单元,被配置为将脉冲光施加至待测对象;和
光接收装置,被配置为基于由所述光源单元施加的脉冲光,接收来自待测对象的反射光;其中,
所述光接收装置包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;以及
对数变换处理单元,被配置为将作为通过所述加法单元的相加的结果获得的所述像素值变换成对数值或其近似值,以使用所得值作为用于测距计算的对数表示数据。
[C-2]根据上述[C-1]所述的距离测量装置,其中,
所述对数变换处理单元将通过从所述像素值中减去预定值而获得的值变换成对数值或其近似值,以将所得值用作用于测距计算的所述对数表示数据。
[C-3]根据上述[C-2]所述的距离测量装置,其中,
在所述预定值大于所述像素值的情况下,所述对数变换处理单元以作为减法的结果而获得的值为零(0)进行变换处理。
[C-4]根据上述[C-3]所述的测距设备,进一步包括:
假定所述预定值是通过将预定加数加到通过将环境光的算术平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,被配置为基于所述像素值以对数表示计算所述环境光的算术平均值以估计环境光强度;其中,
所述对数变换处理单元从所述像素值中减去由所述环境光估计处理单元估计的所述环境光强度。
[C-5]根据上述[C-1]所述的距离测量装置,其中,
所述对数变换处理单元从作为从所述像素值变换成对数值或其近似值的结果而获得的数据中减去作为从预定值变换成对数值或其近似值的结果而获得的数据,并且使用所得数据作为用于测距计算的所述对数表示数据。
[C-6]根据上述[C-5]所述的测距设备,进一步包括:
假定所述预定值是通过将预定加数加到通过将环境光的几何平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,所述环境光估计处理单元被配置为基于所述像素值以对数表示计算所述环境光的所述几何平均值以估计环境光强度;其中,
所述环境光估计处理单元将由所述环境光估计处理单元估计的所述环境光强度变换成对数值或其近似值。
[C-7]根据上述[C-2]至[C-6]中任一项所述的距离测量装置,进一步包括:
直方图加法处理单元,所述直方图加法处理单元被配置为将从由所述光源单元施加的脉冲光的发射到反射光的返回的飞行时间与直方图的组数关联并且基于在每个时间采样的像素值计算的对数表示数据存储为对应于所述时间的组数的计数值。
[C-8]根据上述[C-7]所述的距离测量装置,其中,
所述直方图加法处理单元将基于由所述光源单元多次施加的所述脉冲光的发射的来自所述待测对象的所述反射的光的各时间上的对数表示数据与对应于所述时间的所述组数的所述计数值相加并更新所述直方图。
[C-9]根据上述[C-8]所述的距离测量装置,其中,
所述直方图加法处理单元生成直方图,所述直方图通过累积根据通过接收基于由所述光源单元多次施加的所述脉冲光的发射的所述反射光而获得的像素值计算出的计数值来获得。
[C-10]根据上述[C-8]所述的距离测量装置,其中,
所述直方图加法处理单元将使用在预定测量周期中多个时间上进行采样而得的像素值计算出的值作为所述预定值从所述像素值中减去,并且将通过减法计算出的对数表示数据作为所述直方图的所述组数的所述计数值相加。
[C-11]根据上述[C-1]至中任一项所述的距离测量装置,进一步包括:
反射光检测单元,被配置为通过在使用对数表示的直方图的计数值之间进行幅度比较来检测每个反射光的峰值,并基于与峰值的上升开始时的组数对应的时间计算距离。
[C-12]根据上述[C-1]至中任一项所述的距离测量装置,其中,
环境光估计处理单元,
在保持对数表示数据LogD的对数表示的同时,计算像素值的总和的对数值的近似值S,其中,所述对数表示数据LogD通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而得到;
根据通过从近似值S中减去采样数N的对数值或者其近似值获得的值计算算术平均值的近似值μ;
计算通过对像素值进行平方而获得的总和的对数值的近似值SS,同时保持通过使用预定的近似表达式将对数表示数据LogD加倍而获得的值的对数表示;
计算通过从近似值SS中减去采样数N的对数值或其近似值而获得的值MM;
通过使用算术平均值的近似值μ和值MM计算环境光的方差的近似值V;并且
输出通过将预定加数加到通过将所述算术平均值的近似值μ乘以预定乘数而获得的值上获得的环境光强度估计值以及基于方差的近似值V计算出的环境光的标准偏差的近似值。
[C-13]根据上述[C-1]至中任一项所述的距离测量装置,其中,
环境光估计处理单元将通过对在预定测量周期中多个时间上进行采样而得的像素值进行求和而获得的总和变换为对数值或其近似值,并输出其中变换的对数表示数据被用作像素值的图像。
[C-14]根据上述[C-1]至中任一项所述的距离测量装置,其中,
环境光估计处理单元在保持对数表示数据的对数表示的同时,计算像素值的总和的对数值的近似值,并输出近似值被用作像素值的图像,所述对数表示数据是通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或对数值的近似值而获得的。
[C-15]根据上述[C-1]至中任一项所述的距离测量装置,进一步包括:
对数变换单元,其经配置以进一步对数变换且压缩对数表示的累积直方图。
[C-16]根据上述[C-1]至中任一项所述的距离测量装置,进一步包括:
对数变换单元,其经配置在与累积直方图的最小值相减后以进一步对数变换并压缩对数表示的累积直方图。
[C-17]根据上述[C-1]至中任一项所述的距离测量装置,其中,
直方图加法处理单元在存储所述对数表示数据的存储器前后具有通过差分编码的数据压缩/解压缩功能。
[C-18]根据上述[C-1]至中任一项所述的距离测量装置,其中,
所述光接收元件包括以盖革模式操作的雪崩光电二极管。
附图标号列表
1 距离测量装置
10 待测对象
20 光源单元
30 光接收装置
31 控制单元
32 光接收单元
33 加法单元
34 直方图加法处理单元
35 环境光估计处理单元
36 平滑滤波器
37 反射光检测单元
38 外部输出接口(I/F)
40 主机
50 SPAD像素
60 像素
61 对数变换处理单元
62 对数表示的环境光估计处理单元
63 对数表示的直方图加法处理单元
64 对数表示的平滑滤波器
65 对数变换单元
66 对数表示的反射光检测单元
70 像素群。

Claims (20)

1.一种光接收装置,包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;以及
对数变换处理单元,被配置为将作为通过所述加法单元的相加的结果获得的所述像素值变换成对数值或者其近似值,以使用所得值作为用于测距计算的对数表示数据;其中,
基于由光源单元施加的脉冲光,接收来自待测对象的反射光。
2.根据权利要求1所述的光接收装置,其中,
所述对数变换处理单元将通过从所述像素值中减去预定值而获得的值变换成对数值或其近似值,以使用所得值作为用于测距计算的所述对数表示数据。
3.根据权利要求2所述的光接收装置,其中,
在所述预定值大于所述像素值的情况下,所述对数变换处理单元以作为减法的结果而获得的值为零(0)进行变换处理。
4.根据权利要求3所述的光接收装置,进一步包括,
假定所述预定值是通过将预定加数加到通过将环境光的算术平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,被配置为基于所述像素值以对数表示计算所述环境光的所述算术平均值以估计环境光强度;其中,
所述对数变换处理单元从所述像素值中减去由所述环境光估计处理单元估计的所述环境光强度。
5.根据权利要求1所述的光接收装置,其中,
所述对数变换处理单元从作为从所述像素值变换成对数值或其近似值的结果而获得的数据中减去作为从预定值变换成对数值或其近似值的结果而获得的数据,并且使用所得数据作为用于测距计算的所述对数表示数据。
6.根据权利要求5所述的光接收装置,进一步包括,
假定所述预定值是通过将预定加数加到通过将环境光的几何平均值乘以预定乘数而获得的值上而获得的环境光强度估计值;
环境光估计处理单元,被配置为基于所述像素值以对数表示计算所述环境光的所述几何平均值以估计环境光强度;其中,
所述环境光估计处理单元将由所述环境光估计处理单元估计的所述环境光强度变换成对数值或其近似值。
7.根据权利要求2所述的光接收装置,进一步包括:
直方图加法处理单元,被配置为将从由所述光源单元施加的脉冲光的发射到反射光的返回的飞行时间与直方图的组数关联,并且将基于在每个时间采样的像素值计算的对数表示数据存储为对应于所述时间的组数的计数值。
8.根据权利要求7所述的光接收装置,其中,
所述直方图加法处理单元将基于由所述光源单元多次施加的所述脉冲光的发射的来自所述待测对象的所述反射光的各时间上的对数表示数据与对应于所述时间的所述组数的所述计数值相加并更新所述直方图。
9.根据权利要求8所述的光接收装置,其中,
所述直方图加法处理单元生成直方图,所述直方图通过累积根据通过接收基于由所述光源单元多次施加的所述脉冲光的发射的所述反射光而获得的像素值计算出的计数值来获得。
10.根据权利要求8所述的光接收装置,其中,
所述直方图加法处理单元将使用在预定测量周期中多个时间上进行采样而得的像素值计算出的值作为所述预定值从所述像素值中减去,并且将通过减法计算出的对数表示数据作为所述直方图的所述组数的所述计数值相加。
11.根据权利要求1所述的光接收装置,进一步包括:
反射光检测单元,被配置为通过在使用对数表示的直方图的计数值之间进行幅度比较来检测每个反射光的峰值,并基于与峰值的上升开始时的组数对应的时间计算距离。
12.根据权利要求1所述的光接收装置,其中,
环境光估计处理单元,
在保持对数表示数据LogD的对数表示的同时,计算像素值的总和的对数值的近似值S,其中,所述对数表示数据LogD通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或其近似值而得到;
根据通过从所述近似值S中减去采样数N的对数值或其近似值获得的值计算算术平均值的近似值μ;
计算通过对像素值进行平方而获得的总和的对数值的近似值SS,同时保持通过使用预定的近似表达式将对数表示数据LogD加倍而获得的值的对数表示;
计算通过从所述近似值SS中减去采样数N的对数值或其近似值而获得的值MM;
通过使用所述算术平均值的近似值μ和值MM计算环境光的方差的近似值V;并且
输出通过将预定加数加到通过将所述算术平均值的近似值μ乘以预定乘数而获得的值上获得的环境光强度估计值以及根据方差的近似值V计算出的环境光的标准偏差的近似值。
13.根据权利要求1所述的光接收装置,其中,
环境光估计处理单元将通过对在预定测量周期中多个时间上进行采样而得的像素值进行求和而获得的总和变换为对数值或其近似值,并输出其中变换的对数表示数据被用作像素值的图像。
14.根据权利要求1所述的光接收装置,其中,
环境光估计处理单元在保持对数表示数据的对数表示的同时,计算像素值的总和的对数值的近似值,并输出近似值被用作像素值的图像,所述对数表示数据是通过使用预定的近似表达式将在预定测量周期中在多个时间采样的像素值变换成对数值或其近似值而获得的。
15.根据权利要求1所述的光接收装置,进一步包括:
对数变换单元,被配置为进一步对数变换且压缩对数表示的累积直方图。
16.根据权利要求1所述的光接收装置,进一步包括:
对数变换单元,被配置为在与累积直方图的最小值相减后进一步对数变换并压缩对数表示的累积直方图。
17.根据权利要求1所述的光接收装置,其中,
直方图加法处理单元在存储所述对数表示数据的存储器前后具有通过差分编码的数据压缩/解压缩功能。
18.根据权利要求1所述的光接收装置,其中,
所述光接收元件包括以盖革模式操作的雪崩光电二极管。
19.一种用于光接收装置的信号处理方法,所述光接收装置包括:
光接收单元,所述光接收单元具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光,并且所述光接收装置基于由光源单元施加的脉冲光接收来自待测对象的反射光,所述信号处理方法包括:
在所述光接收装置上的信号处理中,
将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;并且
接下来,将所述像素值转换成对数值或其近似值,以使用结果作为用于测距计算的对数表示数据。
20.一种距离测量装置,
包括:
光源单元,被配置为将脉冲光施加至待测对象;和
光接收装置,被配置为基于由所述光源单元施加的脉冲光,接收来自待测对象的反射光;其中,
所述光接收装置包括:
光接收单元,具有多个光子计数型光接收元件,所述多个光子计数型光接收元件从对象接收光;
加法单元,被配置为将在预定时间的多个所述光接收元件的值相加以将结果用作像素值;以及
对数变换处理单元,被配置为将作为通过所述加法单元的加法结果获得的所述像素值变换成对数值或其近似值,以使用所得值作为用于测距计算的对数表示数据。
CN202080092350.9A 2020-01-17 2020-12-17 光接收装置、用于光接收装置的信号处理方法以及距离测量装置 Active CN114945837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-005722 2020-01-17
JP2020005722 2020-01-17
PCT/JP2020/047303 WO2021145134A1 (ja) 2020-01-17 2020-12-17 受光装置及び受光装置の信号処理方法、並びに、測距装置

Publications (2)

Publication Number Publication Date
CN114945837A true CN114945837A (zh) 2022-08-26
CN114945837B CN114945837B (zh) 2025-10-17

Family

ID=76864379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080092350.9A Active CN114945837B (zh) 2020-01-17 2020-12-17 光接收装置、用于光接收装置的信号处理方法以及距离测量装置

Country Status (5)

Country Link
US (1) US20230042254A1 (zh)
EP (1) EP4092442A4 (zh)
JP (1) JP7621980B2 (zh)
CN (1) CN114945837B (zh)
WO (1) WO2021145134A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558096B (zh) * 2020-12-11 2021-10-26 深圳市灵明光子科技有限公司 一种基于共享内存的测距方法、系统以及存储介质
US12205316B2 (en) * 2021-04-29 2025-01-21 Microsoft Technology Licensing, Llc Ambient illuminance sensor system
JP2023087204A (ja) * 2021-12-13 2023-06-23 北陽電機株式会社 ヒストグラム生成回路、光測距装置、ヒストグラム生成方法および光測距方法
WO2023176646A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2023228933A1 (ja) * 2022-05-23 2023-11-30 株式会社 Rosnes 距離測定装置
US20240288557A1 (en) * 2023-02-28 2024-08-29 Stmicroelectronics International N.V. Time-of-flight closest target ranging with pulse distortion immunity
WO2025243786A1 (ja) * 2024-05-22 2025-11-27 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111491A (ja) * 1999-10-08 2001-04-20 Canon Inc 双方向光空間伝送装置
CN101299638A (zh) * 2008-06-27 2008-11-05 中兴通讯股份有限公司 一种光功率检测装置及方法
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
US20170176578A1 (en) * 2015-12-18 2017-06-22 Stmicroelectronics (Research & Development) Limited Ranging apparatus
JP2018164415A (ja) * 2017-03-28 2018-10-25 オリンパス株式会社 解析結果閲覧装置
JP2018169384A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 光検出器
US20180356502A1 (en) * 2017-06-13 2018-12-13 Hexagon Technology Center Gmbh Distance measuring device with spad array and range walk compensenation
US20190257950A1 (en) * 2018-02-22 2019-08-22 Stmicroelectronics (Research & Development) Limited Time-of-flight imaging device, system and method
CN110187360A (zh) * 2018-02-23 2019-08-30 株式会社电装 用于光学地测量距离的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289951A (ja) * 2000-04-11 2001-10-19 Yokogawa Electric Corp 距離測定装置
JP2010169402A (ja) * 2009-01-20 2010-08-05 Canon Inc 変位測定装置及び変位測定方法
JP5739753B2 (ja) * 2011-07-08 2015-06-24 株式会社 ニコンビジョン 距離測定装置
KR102317329B1 (ko) * 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
JP7169272B2 (ja) * 2016-11-16 2022-11-10 イノヴィズ テクノロジーズ リミテッド Lidarシステム及び方法
US10416293B2 (en) * 2016-12-12 2019-09-17 Sensl Technologies Ltd. Histogram readout method and circuit for determining the time of flight of a photon
US11294039B2 (en) * 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111491A (ja) * 1999-10-08 2001-04-20 Canon Inc 双方向光空間伝送装置
CN101299638A (zh) * 2008-06-27 2008-11-05 中兴通讯股份有限公司 一种光功率检测装置及方法
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
US20170176578A1 (en) * 2015-12-18 2017-06-22 Stmicroelectronics (Research & Development) Limited Ranging apparatus
JP2018164415A (ja) * 2017-03-28 2018-10-25 オリンパス株式会社 解析結果閲覧装置
JP2018169384A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 光検出器
US20180356502A1 (en) * 2017-06-13 2018-12-13 Hexagon Technology Center Gmbh Distance measuring device with spad array and range walk compensenation
US20190257950A1 (en) * 2018-02-22 2019-08-22 Stmicroelectronics (Research & Development) Limited Time-of-flight imaging device, system and method
CN110187360A (zh) * 2018-02-23 2019-08-30 株式会社电装 用于光学地测量距离的方法和设备

Also Published As

Publication number Publication date
JP7621980B2 (ja) 2025-01-27
US20230042254A1 (en) 2023-02-09
JPWO2021145134A1 (zh) 2021-07-22
WO2021145134A1 (ja) 2021-07-22
CN114945837B (zh) 2025-10-17
EP4092442A1 (en) 2022-11-23
EP4092442A4 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
CN114945837B (zh) 光接收装置、用于光接收装置的信号处理方法以及距离测量装置
US20240353559A1 (en) Ranging device and ranging method
JP7568504B2 (ja) 受光装置及び測距装置
US20240125931A1 (en) Light receiving device, distance measuring device, and signal processing method in light receiving device
US12372630B2 (en) Distance measuring device and distance measuring method
KR20230058691A (ko) 비행 시간 회로 및 비행 시간 방법
US12284457B2 (en) Photodetection device, imaging unit, and distance measurement apparatus
JP2021096177A (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
CN116057947B (zh) 成像装置和成像方法
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
CN119497998A (zh) 相机系统及其控制方法
CN117295972A (zh) 光检测装置及距离测量系统
TWI913810B (zh) 測距裝置
US20250314752A1 (en) Distance measuring device, distance measuring method, and recording medium recording program
WO2025243786A1 (ja) 測距装置および測距方法
WO2024185307A1 (ja) 光検出装置、測定方法、及び距離測定システム
WO2024257565A1 (ja) 光検出装置、及び測距システム
CN119318156A (zh) 固态摄像器件和摄像装置
CN120584301A (zh) 光检测装置及测距系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant