CN109900249B

CN109900249B - 距离测量装置和距离测量方法

Info

Publication number: CN109900249B
Application number: CN201811359704.2A
Authority: CN
Inventors: 山口启太; 中村悠介
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-12-11
Filing date: 2018-11-15
Publication date: 2021-07-09
Anticipated expiration: 2038-11-15
Also published as: JP6920974B2; CN109900249A; US20190182430A1; US10887504B2; JP2019105466A

Abstract

本发明提供一种距离测量装置，能够生成准确的距离信息。本发明的距离测量装置包括：将光转换成电信号来生成传感器图像的图像传感器；基于摄影用图案来对投影到所述图像传感器上的光的强度进行调制的调制器；从所述传感器图像生成具有复数的复数信息的复数信息生成部；基于所述复数信息的相位信息来生成评价指标矩阵的评价指标矩阵生成部；和基于所述评价指标矩阵来生成距离信息的距离信息生成部。

Description

距离测量装置和距离测量方法

技术领域

本发明涉及距离测量装置和距离测量方法。

背景技术

在专利文献1中，作为用于实现进行摄影后的焦距调整(refocus，重调焦距)、自动聚焦、测距等的高性能摄像装置的结构，公开了如下特征的摄像装置：“具有将在成像面上排列成阵列状的多个像素所捕获的光学像转换成图像信号并输出的图像传感器、设置在所述图像传感器的受光面上的对光强度进行调制的调制器、临时保存从所述图像传感器输出的图像信号的图像存储部、进行从所述图像存储部输出的图像信号的图像处理的信号处理部，其中，所述调制器具有由多个同心圆构成的第一光栅图案，所述信号处理部利用由多个同心圆构成的光栅图案对从所述图像传感器输出的图像信号进行调制来输出莫尔条纹图像”。

现有技术文献

专利文献

专利文献1：国际公开第2017/149687号

发明内容

发明要解决的课题

专利文献1中记载的摄像装置为了进行距离测量，基于摄像结果的对比度高低来提取距离信息。然而，该摄像装置的结构中，散焦时的模糊形状产生影响，在距离信息中产生较大的误差。

本发明鉴于这种状况而提出，以在摄像装置等的距离测量计算中能够生成正确的距离信息为目的。

用于解决课题的技术这群

本发明包含多个至少解决上述问题的一部分的方式，举其例为如下。为了解决上述问题，本发明的一种方式的距离测量装置，其特征在于，包括：将光转换成电信号来生成传感器图像的图像传感器；基于摄影用图案来对投影到所述图像传感器上的光的强度进行调制的调制器；从所述传感器图像生成具有复数的复数信息的复数信息生成部；基于所述复数信息的相位信息来生成评价指标矩阵的评价指标矩阵生成部；和基于所述评价指标矩阵来生成距离信息的距离信息生成部。

发明效果

通过本发明，能够生成准确的距离信息。上述之外的问题、结构和效果通过以下实施方式可得以明了。

附图说明

图1是表示作为本发明的第一实施方式的距离测量装置的结构例的框图。

图2是表示摄像部的结构例的图。

图3是表示摄像部的其它结构例的图。

图4是表示摄影用图案或成像用图案的一例的图。

图5是表示摄影用图案或成像用图案的一例的图。

图6是表示用于说明倾斜入射平行光导致从图案基板表面到图像传感器的投影像产生面内位移的图。

图7是表示摄影用图案的一例的投影像的图。

图8是表示成像用图案的一例的图。

图9是表示基于干涉成像方式的成像图像的一例的图。

图10是表示边缘扫描中初始相位的组合的例子的图。

图11是表示时间分割边缘扫描时距离测量装置的结构例的图。

图12是表示液晶显示元件的透明电极的一例的图。

图13是表示液晶显示元件的透明电极的电压施加图案的一例的图。

图14是表示液晶显示元件的透明电极的电压施加图案的一例的图。

图15是表示液晶显示元件的透明电极的电压施加图案的一例的图。

图16是表示液晶显示元件的透明电极的电压施加图案的一例的图。

图17是表示空间分割边缘扫描时的距离测量装置的结构例的图。

图18是表示摄影用图案的一例的图。

图19是表示物体位于无限距离时摄影用图案被投影的图。

图20是表示物体位于有限距离时摄影用图案被放大的图。

图21是表示评价指标矩阵生成方法的一例的图。

图22是表示复数信息图案的例子的图。

图23是表示距离测量装置中评价指标矩阵生成用图案的例子的图。

图24是表示评价指标矩阵的样子的一例的图。

图25是表示评价指标矩阵的样子的一例的图。

图26是表示评价指标矩阵的样子的一例的图。

图27是表示评价指标矩阵的样子的一例的图。

图28是表示评价指标矩阵的样子的一例的图。

图29是表示评价指标矩阵的一例的图。

图30是评价指标矩阵的矩阵元素的值根据评价指标矩阵生成用图案的节距而变化的状况的一例的图。

图31是表示距离测量的一例的图。

图32是表示将距离信息转换成数据后的距离图像的一例的图。

图33是说明距离测量处理的一例的流程图。

图34是表示对评价指标矩阵进行采样的情况的一例的图。

图35是表示评价指标矩阵生成方法的一例的图。

图36是莫尔成像方式产生的莫尔条纹的一例的图。

图37是表示摄影用图案和评价指标矩阵生成用图案的一例的图。

图38是表示摄影用图案和评价指标矩阵生成用图案的一例的图。

图39是表示本发明的第二实施方式的距离测量装置的结构例的框图。

图40是表示对评价指标矩阵进行采样的情况的一例的图。

图41是表示对评价指标矩阵进行采样的情况的一例的图。

图42是表示对评价指标矩阵进行采样的情况的一例的图。

图43是表示本发明的第三实施方式的距离测量装置、对评价指标矩阵进行采样的一例的图。

图44是表示本发明的第四实施方式的距离测量装置的结构例的图。

图45表示辅助照明投影部产生的照明光图案的一例的图。

图46是照明用光源产生的照明光图案的一例的图。

具体实施方式

以下说明的各实施方式中，为了方便，在有其需要时分割成多个片段或实施方式进行说明，但除了特别地明示的情况，它们之间并非没有关系，一方是另一方的一部分或全部的变形例、细节、补充说明等的关系。此外，在各实施方式中，在提及要素的数目等(包括个数、数值、量、范围等)的情况下，除了特别地明示的情况和从原理上明显限定为特定数目的情况之外，并不对该特定数目加以限定，可在特定数目之上或之下。

进一步地，在各实施方式中，除了特别地明示的情况和原理上可认为明显必须的情况，其构成要素(包括要素步骤等)都不是必须的而无需明言。同样地，在各实施方式中，提及构成要素等的形状、位置关系等时，除了特别地明示的情况和原理上可认为明显并非如此的情况，实质上包含与该形状等近似或类似的要素等。这对于上述数值和范围也同样。此外，在用于说明各实施方式的所有图中，原则上对相同部件赋予相同记号并省略其重复说明。

以下针对本发明的实施方式利用附图进行说明。

<第一实施方式>

<无限远物体的摄影原理>

图1表示本发明的第一实施方式的距离测量装置101的结构例。

距离测量装置101不使用成像的透镜来获取外界物体的图像，如图1所示，由摄像部102、图像处理部106、控制器107和距离测量变量设定部111构成。

图像处理部106具有复数信息生成部108、评价指标矩阵生成部109和距离信息生成部110。

图2表示摄像部102的结构例。摄像部102由图像传感器103、图案基板104和摄影用图案105构成。

图案基板104的一个平面与图像传感器103的受光面紧密接触而被固定，另一个平面上形成有摄影用图案105。图案基板104例如由玻璃或塑料等相对于可见光透明的材料构成。

摄影用图案105例如通过半导体制程中使用的溅镀(spattering)法等蒸镀铝、铬等金属而形成。通过蒸镀铝的图案和未蒸镀铝的图案来形成明暗。

此外，摄影用图案105的形成并不限定于此，例如可通过利用喷墨打印机等的印刷而形成明暗等，只要是可实现透射率的调制的方法，可以任意方式形成。此外，在此以可视光为例进行说明，例如在进行远红外线的摄影时，图案基板104例如采用锗、硅、硫等相对于远红外线透明的材料等相对于作为摄影对象的波长透明的材料，摄影用图案105采用遮蔽的材料即可。

此外，在此针对在图案基板104上形成摄影用图案105的方法进行说明，但也可如图3所示地形成。

图3表示摄像部102的其它结构例。图3的摄像部102以将摄影用图案105形成为薄膜并通过保持部件301来保持的方式形成。此外，在距离测量装置101中，摄影视角能够通过图案基板104的厚度来改变。因此，例如如果图案基板104为图3的结构，具有改变保持部件301的长度的功能，则能够在摄影时改变视角而进行摄影。

在图像传感器103的表面规则地格子状地配置了作为受光元件的像素103a。该图像传感器103将像素103a接收到的光图像转换成作为电信号的图像信号。从图像传感器103输出的图像信号通过作为图像处理部的图像处理部106进行图像处理并输出。

在以上的结构中，在摄影时透过摄影用图案105的光被该图案调制光强度，透射的光被图像传感器103接收。对于从图像传感器103输出的图像信号，由图像处理部106图像处理后的数据从控制器107输出。控制器107在将图像处理部106的输出向主机或外部记录介质输出时，转换数据格式来输出，以适应USB等接口。

以下针对距离测量装置101中的图像摄影原理进行说明。首先，摄影用图案105为节距与距离中心的半径成反比例地变小的同心圆状图案。在此，摄影用图案105可如下式(1)所示地利用从作为同心圆中心的基准坐标开始的半径r、系数β来定义。

【式1】

I(r)＝1+cosβr² …(1)

摄影用图案105的透射率如式(1)成比例地被调制。

具有类似摄影用图案105的条纹的平板被称为伽柏(Gabor)波带片或菲涅耳波带片。图4中表示式(1)的伽柏波带片的例子，图5中表示用阈值1二值化后的菲涅耳波带片的例子。

此外，从现在开始，为了简化，仅针对x轴方向利用公式进行说明，可同样地通过针对y轴方向加以考虑来二维展开后考虑。

在形成摄影用图案105的厚度d的图案基板104上，如图6所示地在x轴方向上平行光以角度θ₀入射。令图案基板104中的折射角为θ，在几何光学上，乘以表面光栅的透射率的光偏移k＝d·tanθ后入射到图像传感器103。此时，在图像传感器103上具有如下式(2)所示的强度分布的投影像。

【式2】

I_F(x)＝1+cos[β(x+k)²+Φ] …(2)

其中，Φ表示式(1)的透射率分布的初始相位。该摄影用图案105的投影像如式(2)所示偏移k进行投影。其作为摄像部102的输出。

摄影所得的图像的成像中，通过计算摄影用图案105的投影像(图7)与成像用图案801(图8)的互相关系数，得到偏移量k的辉点(图9)。

此外，一般地如果通过二维卷积计算互相关系数，则计算量增大，因此针对利用计算量较少的傅里叶变换来进行计算的例子，利用公式来说明原理。

首先，成像用图案801由于与摄影用图案105同样地利用伽柏波带片或菲涅耳波带片，因此成像用图案801可利用初始相位Φ如下式(3)所示地表示。

【式3】

I_B(x)＝cos(βx²+Φ) …(3)

成像用图案801由于在图像处理部106的图像处理中使用，因此不必像式(1)那样进行偏移，具有负值也不会造成问题。

式(1)、(3)的傅里叶变换分别如下式(4)、(5)所示。

【式4】

【式5】

在此，F表示傅里叶变换的运算，u为x方向的频率坐标，δ()为delta函数。式(4)、(5)中重要的点为傅里叶变换后的式子仍为伽柏波带片或菲涅耳波带片的点。因此，可基于式(4)、(5)直接地生成傅里叶变换后的成像用图案。由此可减少计算量。

然后，式(4)与式(5)相乘得到式(6)。

【式6】

式(b)中的指数函数表示的项exp(－iku)为信号成分，将该项进行傅里叶变换，如下式(7)所示变换，在原来x轴k的位置上能够得到辉点。

【式7】

该辉点表示无限远的光束，为距离测量装置101得到的摄影像。

此外，在干涉成像方式中，只需图案的自相关函数有单一的峰，可为不限定于伽柏波带片或菲涅耳波带片的图案，例如可通过随机的图案来实现。

<噪声消除>

针对上述从式(6)到式(7)的变换着眼于信号成分进行了说明，但实际上信号成分之外的项妨碍了成像，产生了噪声。因此，进行基于边缘扫描的噪声消除。具体地，利用三角函数的正交性，如下式(8)所示，将式(6)的乘法结果对初始相位Φ进行积分，可消除噪声项，仅留下信号项的常数倍。

【式8】

此外，式(8)以积分的形式表示，实际上通过计算图10所示的多种(该图的情况下为4种)的初始相位Φ(Φ＝0，Φ＝π/2，Φ＝π，Φ＝3π/2)的组合的总和，也能够获得相同的效果。只需像这种组合，初始相位Φ以在0～2π之间的角度等分的方式设定即可。

以上说明的噪声消除中，作为摄影用图案105需要初始相位Φ不同的多个图案。为了实现该点，有时间分割切换图案的方法和空间分割切换图案的方法。

图11中表示时间分割切换图案实现边缘扫描时的距离测量装置101的结构。作为摄影用图案1201，可使用能够电切换显示图10所示的多个初始相位Φ的液晶显示元件等。该液晶显示元件的切换时机与图像传感器103的边缘扫描通过调制器控制部1202同步地控制，在获取4个图像后进行边缘扫描运算。

此外，在利用液晶显示元件进行边缘扫描的情况下，驱动液晶显示元件的电极例如如图12所示地构成。该电极以将摄影用图案105的一个周期四分割的方式来构成同心圆状透明电极，从内侧每4根与外侧的电极连线，最后在端子部4201上输出4根电极作为电极的驱动端子。此外，摄影用图案150的一个周期为图4所示的一组与摄影用图案的白色圆环相邻的黑色圆环(或黑色圆)。为了在其上施加规定电压实际地使初始相位可变，使施加到4根电极的电压状态在“0”与“1”两个状态中在时间上切换，显示图13所示的初始相位Φ＝0的状态、图14所示的初始相位Φ＝π/2的状态、图15所示的初始相位Φ＝π的状态、图16所示的初始相位Φ＝3π/2的状态，使液晶显示元件的光透射率变化来实现。

相对地，图17中表示空间分割切换图案实现边缘扫描时的距离测量装置101的结构。作为摄影用图案1301，可使用图18所示的具有多个初始相位的摄影用图案1301。然后，在获取一个图片后，在图像分割部1302与各自的初始相位图案对应地分割成4个，然后进行边缘扫描运算。

<距离测量原理>

以下图19表示到此为止所述的被拍摄物体较远的情况下摄影用图案105到图像传感器103的投影的情况。来自构成远方物体的点1401的球面波在传递经过足够长的距离后变成平面波，照射摄影用图案105，其投影像1402投影到图像传感器103时，投影像与摄影用图案105大体为相同形状。因此，通过对投影像1402利用成像用图案进行成像处理，能够获得单一的亮点。

以下图20表示拍摄的物体在有限距离上时摄影用图案105到图像传感器103的投影被摄影用图案105放大。来自构成物体的点1501的球面波照射摄影用图案105，其投影像1502投影到图像传感器103上的情况下，投影像大体同样地被放大。此外，投影像与摄影用图案的尺寸比α可使用从摄影用图案105到点1501的距离f如下式(9)所示地计算。

【式9】

因此，原样地使用针对平行光设计的成像用图案来进行成像处理是无法成像出对焦好的图像的。因此，与同样地放大的摄影用图案105的投影像对应地将成像用图案801乘以下式(10)所示的系数β’进行放大，可实现对焦好的图像的成像。

【式10】

因此，通过求出成像时能够再现出对焦好的图像的成像用图案801的放大率α²，则能够测得到拍摄对象的距离。

在基于通常的摄像机拍摄到的图像的对焦模糊度来进行距离测量的透镜焦点法中，主要通过计算图像对比度变高的对焦位置来提取距离信息，而在距离测量装置101中，点扩散函数并非是像通常摄像机那样的高斯函数形状，而为正负之间振动的Sinc函数型的形状。因此，单纯地基于图像对比度提取距离信息的方法中，提取出的距离信息中包含的误差较大，无法进行高精度的距离测量。

因此，距离测量装置101中，利用与成像图像对比度不同的评价指标来求出对焦好的成像用图案801的放大率α²，基于该放大率α²来提取距离信息。

对如上所述地构成的距离测量装置101的距离测量方法进行说明。距离测量装置101中，图像传感器103生成的传感器图像(图像信号)被提供给图像处理部106，通过规定的图像处理生成距离信息。此外，在进行图11所示的时间分割边缘扫描的情况下的结构中，由调制器控制部1202对摄影用图案1201切换显示图10所示的多个初始相位Φ，拍摄4个图像，向图像处理部106提供4个图像。

另一方面，在进行图17所示的空间分割边缘扫描的情况下的结构中，图像分割部1302将一个传感器图像分割成4个区域，生成图10所示的多个初始相位Φ下拍摄到的传感器图像后，将传感器图像提供给图像处理部106。

图像处理部106中，复数信息生成部108、评价指标矩阵生成部109和距离信息生成部110依次进行规定的处理。即，复数信息生成部108基于作为图像传感器103的输出的4个传感器图像1601来生成复数信息1602。

图21表示复数信息生成部108的复数信息1602的生成方法。令4个传感器图像为I_S1、I_S2、I_S3、I_S4，令对应各传感器图像的摄影用图案105的初始相位为Φ₁、Φ₂、Φ₃、Φ₄。然后，如下式(11)所示，通过将各传感器图像分别乘以exp(iΦ₁)、exp(iΦ₂)、exp(iΦ₃)、exp(iΦ₄)的结果相加，来生成复数信息1602。

【式11】

C(x)

＝I_S1exp(iφ₁)+I_S2exp(iφ₂)+I_S3exp(iφ₃)+I_S4exp(iφ₄)

…(11)

然后，评价指标矩阵生成部109基于复数信息1602生成评价指标矩阵1603。针对评价指标矩阵1603的生成方法，参考图22至图29进行说明。

在被拍摄物体1901为点光源的情况下，复数信息1602例如为图22所示的由实部和虚部构成的信息。

令以放大率α²放大摄影用图案105的情况下的节距系数为β’时，评价指标矩阵生成部109中，在如图23所示地使β’变化(β’≥β0，β’＝β0，β’≤β0)的同时进行评价指标矩阵生成用图案1801和复数信息1602的互相关运算。图24至图28表示该互相关运算结果的例子。

在此，系数β₀为投影到传感器图像1601上的摄影用图案投影像的系数。该结果中要注意的是，在系数β’与系数β₀一致的情况下，虚线所示的互相关运算结果的虚数成分为0，随着系数的差增加，虚数成分的振幅增加。因此，搜索该虚数成分为0的系数β’是后述的距离信息生成部110的处理。

因此，评价指标矩阵生成部109中，将与系数β’相应的互相关运算结果的虚部绝对值保存在评价指标矩阵1603中并输出。此外，如图29所示，评价指标矩阵1603也可将摄影范围分割为任意分辨率的像素而被保存在其中。

此外，令像素分割数为L×M，互相关运算中使用的系数β’的数值为N，则评价指标矩阵1603如图29所示，为由通过用N个评价指标矩阵生成用图案1801的系数β’₁、β’₂、……β’_N的运算来生成的N个L×M的二维矩阵构成的三维矩阵。

最后，距离信息生成部110基于作为评价指标矩阵生成部109的输出的评价指标矩阵1603来生成距离信息2901。如上所述，评价指标矩阵1603在系数β’与系数β₀一致的情况下为0，而在一般的被拍摄物体的情况下不为0。

图30表示评价指标矩阵1603的某元素中系数β’的依赖性。该图从图29所示的N个L×M矩阵中分别抽出第(1，m)个矩阵元素2001～200N，通过对这N个矩阵元素作图而生成。

根据图30可知，因周围元素的影响，评价指标矩阵1603的矩阵元素不为0，但在β’＝β₀的条件下能够读取最小值。这样，根据评价指标矩阵1603的矩阵元素为最小值的点β’能够求出满足式(10)的放大率α²，从式(9)计算出到被拍摄物体1901的距离f。

控制器107对作为距离信息输出部110的输出的距离信息2901进行基于用途的数据转换并输出。例如，如图31所示，在基于对被拍摄物体1901进行拍摄的传感器图像来生成距离信息2901、在显示屏上显示距离图像的情况下，将数据转换成图32所示的距离图像并输出。这种情况下，图32的距离图像中对应被拍摄物体1901的区域2902的距离信息作为到被拍摄物体的距离f输出。此外，如图32所示，控制器107可将距离信息2901与拍摄摄影对象所得的普通图像重叠后输出，作为距离图像。此外，在距离信息2901用于机械装置的控制的情况下，可从距离信息2901计算出用于达成目的控制量的操作量，将计算出的操作量输出。此外，可通过用户界面在距离测量变量设定部111中输入距离测量变量，根据该输入变量来改变从控制器107输出的数据的数据格式。

以下图33表示对基于距离测量装置101的距离测量处理的一例进行说明的流程图。开始距离测量处理后，首先在步骤S1中生成β’不同的N个的评价指标矩阵生成用图案1801。接着在步骤S2中利用图像传感器103获取传感器图像1601。之后，在步骤S3中，基于步骤S2中获取的传感器图像1601生成复数信息1602。

然后，在步骤S4中，进行步骤S3中生成的复数信息1602与步骤S1中生成的评价指标矩阵生成用图案1801的互相关运算，生成评价指标矩阵1603。该互相关运算由于与步骤S1中生成的多个评价指标矩阵生成用图案1801一起进行，因此评价指标矩阵1603被生成为如图29所示的三维矩阵。最后，在步骤S5中，基于步骤S4生成的多个评价指标矩阵1603生成距离信息2901，将距离信息2901输出到控制器107，结束该记录处理处理。

此外，图30中曲线表示的评价指标矩阵1603的矩阵元素的值，是通过与步骤S1中生成的N个评价指标矩阵生成用图案1801相同数目的N个采样点进行采样，因此如图34中黑点所示，相对于β’离散地求出评价指标的值。在步骤S5中，可搜索采样后的N个β’中评价指标最小的β’。此外，也可通过对图28的数据个数进行曲线拟合或插值处理来提高距离信息2901的精度。

此外，在上述说明中，使用4个图像作为传感器图像1601，而如图35所示，只要至少有两个图像就能够进行距离测量。这种情况下，例如复数信息生成部108从两个传感器图像1601生成除去各自的图像的DC成分3001、3002后的传感器图像3003后，生成复数信息1602。DC成分3001、3002的除去例如可如下地进行，通过按传感器图像1601的平均辉度进行偏置消除，或者对传感器图像1601进行高通滤波处理，除去低频成分。

如果根据两个传感器图像1601进行距离测量，在时间分割边缘扫描的情况下，可缩短传感器图像的获取时间。此外，在空间分割边缘扫描的情况下，通过减少传感器图像的分割数，能够提高分割后的传感器图像的分辨率，提高距离信息2901的分辨率。

此外，可根据三个传感器图像1601进行距离测量，也可通过使用五个或以上的传感器图像来减少噪声。

距离信息生成部110可通过对评价指标矩阵1603利用多个矩阵元素的平均值或绝对值的平均值的计算进行平滑化后生成距离信息2901来提高距离测量精度。此外，作为计算评价指标矩阵1603的平均值的替代，也可通过进行例如高斯型函数等平滑化滤波器与评价指标矩阵1603的卷积运算来进行平滑化。通过这样，能够抑制距离信息2901的精度的劣化并且提高摄影面内的分辨率。

此外，在上述说明中，求取互相关运算结果的虚部绝对值为最小的系数β’，例如也可将评价指标矩阵1603中互相关运算结果的虚部绝对值与实部绝对值的比用作距离信息2901生成时的指标。这种情况下，可基于使评价指标矩阵1603的矩阵元素最大或最小的系数β’来生成距离信息2901。

此外，作为互相关运算结果的虚部绝对值的替代，也可在评价指标矩阵1603中保存互相关运算结果的虚部。通过这样，评价指标矩阵1603的矩阵元素为具有正负符号的值，从一个L×M矩阵可判断摄影对象的位置相对于焦点位置是在前还是在后等的位置关系。

此外，评价指标矩阵1603的生成中所用的复数β’的决定方法也可为基于通过用户界面输入到距离测量变量设定部111的距离测量范围和距离测量分辨率，评价指标矩阵生成部109选择β’，决定图34所示的采样点个数、间隔。

此外，在评价指标矩阵1603的生成中使用了复数信息1602与评价指标矩阵生成用图案1801的互相关运算，但也令复数信息1602乘以评价指标矩阵生成用图案1801，在生成如图36所示的莫尔条纹后进行莫尔条纹的傅里叶变换，来生成评价指标矩阵1603。

此外，作为摄影用图案105和评价指标矩阵生成用图案1801，以使用图4所示的伽柏波带片或图5所示的菲涅耳波带片的结构进行说明，但也可使用图37所示的椭圆状的图案作为摄影用图案105或评价指标矩阵生成用图案1801。通过采用这种结构，在使用长方形传感器作为图像传感器103的情况下，也可通过节距最合适传感器长宽方向的尺寸、分辨率的图案来摄影，能够使距离信息2901的分辨率最优化。此外，在椭圆状图案下进行时间分割边缘扫描的情况下，可将图11所示的同心圆状摄影用图案1201替换成椭圆状的。

此外，也可使用图38所示的随机图案作为摄影用图案105或评价指标矩阵生成用图案1801。通过采用这种结构，能够加密用于进行距离测量的评价指标矩阵生成用图案1801，提高安全性。

通过以上说明的结构、方法，能够在图1所示的简单的结构的距离测量装置101中测量被拍摄物体的距离信息。

<第二实施方式>

以下图39表示本发明的第二实施方式的距离测量装置1011的结构例。

该距离测量装置1011相对于距离测量装置101(图1)增加了距离测量范围输入部3101，在非探索性地计算出评价指标矩阵满足规定条件的评价指标矩阵生成用图案1801的系数β’的点上不同。

距离测量装置1011的距离测量范围输入部3101接收用户输入的距离测量范围并提供给距离测量变量设定部111。用户例如通过指定距离测量范围的最近距离L_N、最远距离L_F来输入距离测量范围。

距离测量变量设定部111基于最近距离L_N和最远距离L_F来决定多个进行评价指标矩阵1603的计算的焦点距离，输出到评价指标矩阵生成部109。评价指标矩阵生成部109基于作为距离测量变量设定部111的输出的多个焦点距离，选择多个评价指标矩阵1603生成使用的评价指标矩阵生成用图案1801的系数β’的值。

此外，评价指标矩阵生成部109选择满足式9和式10的β’作为相对于焦点距离f的β’。之后，评价指标矩阵生成部109根据所选择的系数β’的评价指标矩阵生成用图案1801与复数信息1602的互相关运算结果来生成评价指标矩阵1603。距离信息生成部110基于作为评价指标矩阵生成部109的输出的评价指标矩阵1603来生成距离信息2901。

以下图40表示评价指标矩阵1603的矩阵元素的虚部绝对值和采样点的情况。

距离信息生成部110仅根据采样点3201～3204计算距离信息2901。采样点3201、3202上的值为使f＜L_N的β’的评价指标矩阵生成用图案1801与复数信息1602的互相关运算结果的虚部绝对值，采样点3203、3204上的值为使f＞L_F的β’的评价指标矩阵生成用图案1801与复数信息1602的互相关运算结果的虚部绝对值。

距离信息生成部110基于这4个点的值计算出互相关运算结果的虚部绝对值最小的β’。例如，可计算经过点3201、3202的直线3205并计算经过点3203、3204的直线3206，通过计算直线3205与直线3206的交点，导出互相关运算结果的虚部绝对值为最小的β’，来生成距离信息2901。

此外，也可如图41所示，将采样点减少为3个点，在计算出经过采样点3301、3302的直线3304后，计算出具有与直线3304斜率符号相反的斜率的、经过采样点3303的直线3305，根据直线3304与直线3305的节点来生成距离信息2901。

除了上述的例子之外，如图42所示，也可在距离测量变量设定部111中选择满足L_N＜f＜L_F的3个β’后，在距离信息生成部110中对作为3个点的评价指标的采样点3401～3403利用抛物线进行曲线拟合，来生成距离信息2901。

如上所述，距离测量装置1011与距离测量装置101相比虽然距离测量精度下降，但可更快速地生成距离信息。

此外，也可在如距离测量装置1011那样生成粗精度的距离信息后，在小的距离测量范围内如距离测量装置101那样进行高精度的探索型距离信息生成，兼顾距离信息生成速度和精度的提高。

<第三实施方式>

以下，针对本发明的第三实施方式进行说明。第三实施方式的距离测量装置与距离测量装置101(图1)同样地构成，但在基于评价指标矩阵的相位角来生成距离信息的点上不同。

图43是表示将复数信息1602与评价指标矩阵生成用图案1801的互相关运算结果相对于评价指标矩阵生成用图案1801的系数β’进行作图的结果。

相位角相对于系数β’线性地变化，并在β’＝β₀的点与0相交。因此，在评价指标矩阵生成部109中，基于复数信息1602与任意两个β’的评价指标矩阵生成用图案1801的互相关运算结果来生成评价指标矩阵1603，计算出点3501、3502上的相位角，计算出经过这两点之间的直线3503。之后，计算出直线3503与相位角为零的直线3504相交的β’，生成距离信息。

通过如上所述地生成距离信息，能够将评价指标矩阵生成用图案1801的生成中所用的系数β’减少到两个，能够进行高速的距离信息生成。

此外，由于相位角与系数β’为线性关系，因此不会产生例如类似上述距离测量装置1011那样利用少量的采样点的拟合中可能造成问题的距离测量精度的劣化，能够进行高精度的距离测量。

此外，距离信息生成部110可将相位角的值转换成相对于放大率α²或距离f线性变化的值来替代节距系数β’，基于放大率α²来生成距离信息2901，或者直接计算出距离f，从而减少计算量。

<第四实施方式>

以下图44表示本发明的第四实施方式的距离测量装置1012的结构例。

该距离测量装置1012相对于距离测量装置101(图1)增加了辅助照明投影部3601。

图45表示辅助照明投影部3601照射的照明光图案3702。如该图所示，辅助照明投影部3601在摄影区域3701内照射由网格状照明光图案3702构成的结构化照明光。此外，辅助照明投影部3601除了网格状照明光图案3702，还可如图46所示，照射由将点等间隔配置的照明光图案3801构成的结构化照明光。

在距离测量装置1012中，摄像部102拍摄投影到摄影区域3701的照明光图案3702(或照明光图案3801)，基于所拍摄的传感器图像，由图像处理部106生成距离信息2901。

通过照射照明光图案3702(或照明光图案3801)的距离测量装置1012，在平坦的无色的面或暗处等条件下也能够进行距离测量。

此外，通过使距离信息2901的生成中所用的纹理变粗，能够抑制来自配置在摄影区域3701内其它像素的被拍摄物体的模糊成分的漏入，能够减少距离信息2901中的误差。

此外，本发明并不限定于上述的实施例，而是包含了各种变形例。例如，上述实施例是为了对本发明简单易懂地说明而进行的详细说明，并非限定必须具备所说明的全部的结构。此外，可将某实施例的结构的一部分替换成其它实施例的结构，也可以增加。

此外，上述的各结构、功能、处理部、处理单元等，其部分或者全部可通过例如使用集成电路来设计等以硬件实现。或者，上述的各结构、功能，也可通过处理器解释和执行实现各功能的程序以软件实现。实现各功能的程序、表格、文件等信息，可存储在存储器、硬盘、SSD(Solid State Drive，固态硬盘)等记录装置中，或者IC卡、SD卡、DVD等记录介质中。

此外，对于控制连线和信息连线，表示了说明中所需的部分，并不一定表示出产品中所有的控制连线和信息连线。实际上可以认为几乎全部的结构互相连接。

附图标记说明

101…距离测量装置、102…摄像部、103…图像传感器、103a…像素、104…图案基板、105…摄影用图案、106…图像处理部、107…控制器、108…复数信息生成部、109…评价指标矩阵生成部、110…距离信息生成部、111…距离测量变量设定部、801…成像用图案、1011…距离测量装置、1012…距离测量装置、1201…摄影用图案、1202…调制器控制部、1301…摄影用图案、1302…图像分割部、1401…点、1402…投影像、1501…点、1502…投影像、1601…传感器图像、1602…复数信息、1603…评价指标矩阵、1801…评价指标矩阵生成用图案、1901…被拍摄物体、2901…距离信息、3101…距离测量范围输入部、3601…辅助照明投影部、3701…摄影区域、3702…照明光图案、3801…照明光图案、4201…端子部。

Claims

1.一种距离测量装置，其特征在于，包括：

将光转换成电信号来生成传感器图像的图像传感器；

基于摄影用图案来对投影到所述图像传感器上的光的强度进行调制的调制器；

从所述传感器图像生成具有复数的复数信息的复数信息生成部；

基于所述复数信息的相位信息来生成评价指标矩阵的评价指标矩阵生成部；和

基于所述评价指标矩阵来生成距离信息的距离信息生成部，

所述评价指标矩阵生成部通过所述复数信息和评价指标矩阵生成用图案的互相关运算来生成所述评价指标矩阵，或者，通过评价指标矩阵生成用图案对所述复数信息进行调制并进行傅里叶变换来生成所述评价指标矩阵，

所述评价指标矩阵生成用图案与所述摄影用图案为相似形状，

所述距离信息生成部基于所述评价指标矩阵满足各矩阵元素为最小、各矩阵元素为最大或各矩阵元素为零这一条件的所述评价指标矩阵生成用图案相对于所述摄影用图案的放大率来生成所述距离信息，

其中，所述评价指标矩阵生成部利用所述放大率不同的多个所述评价指标矩阵生成用图案来生成多个所述评价指标矩阵，

所述距离信息生成部从生成的多个所述评价指标矩阵生成距离信息。

2.如权利要求1所述的距离测量装置，其特征在于：

所述摄影用图案被分割成多个区域的图案，

所述多个区域彼此的空间相位错开，

按与所述多个区域的图案对应的区域分割所述传感器图像而生成至少两个分割传感器图像，

基于所述分割传感器图像生成所述复数信息。

3.如权利要求2所述的距离测量装置，其特征在于：

所述多个区域的图案是节距相对于各自与基准坐标的距离成反比地变小的同心圆状的图案。

4.如权利要求2所述的距离测量装置，其特征在于：

所述多个区域的图案是节距相对于各自与基准坐标的距离成反比地变小的多个椭圆状的图案，

所述多个椭圆状的图案的长轴方向与短轴方向的最小节距相等。

5.如权利要求1所述的距离测量装置，其特征在于：

所述调制器具有利用透明电极显示所述摄影用图案的液晶显示元件，

所述透明电极改变所述摄影用图案的透射率，

在所述摄影用图案的相位不同的状态下获取至少两个传感器图像，

基于所述至少两个传感器图像生成所述复数信息。

6.如权利要求1所述的距离测量装置，其特征在于：

所述调制器具有利用同心圆状的透明电极显示所述摄影用图案的液晶显示元件，

所述透明电极将所述摄影用图案的各周期分割成至少两个同心圆环来选择性地改变光透射率，

对于分割所述摄影用图案的各周期的至少两个所述透明电极的施加电压，分别至少切换一次来获取多个所述传感器图像。

7.如权利要求1所述的距离测量装置，其特征在于：

所述调制器具有利用椭圆状的透明电极显示所述摄影用图案的液晶显示元件，

所述透明电极将所述摄影用图案的各周期分割成至少两个椭圆环来选择性地改变光透射率，

对于分割所述摄影用图案的各周期的至少两个椭圆环状透明电极的施加电压，分别至少切换一次来获取多个所述传感器图像。

8.如权利要求1所述的距离测量装置，其特征在于：

所述评价指标矩阵为所述复数信息与所述评价指标矩阵生成用图案的互相关运算结果的虚数成分。

9.如权利要求1所述的距离测量装置，其特征在于：

所述评价指标矩阵的各矩阵元素与所述放大率成比例地变化。

10.如权利要求1所述的距离测量装置，其特征在于：

具有与至距离测量对象的距离相应地决定距离测量范围和距离测量精度的距离测量变量设定部，

所述评价指标矩阵生成部基于所述距离测量范围和所述距离测量精度来选择多个所述评价指标矩阵生成用图案相对于所述摄影用图案的所述放大率。

11.如权利要求1所述的距离测量装置，其特征在于：

具有射出照射光的辅助照明投影部。

12.如权利要求11所述的距离测量装置，其特征在于：

从所述辅助照明投影部照射的所述照射光为具有图案的结构化照明光。

13.一种利用权利要求1所述的距离测量装置执行的距离测量方法，其特征在于：

基于摄影用图案对投影到图像传感器上的光的强度进行调制，

将所述光转换成电信号来生成传感器图像，

从所述传感器图像生成具有复数的复数信息，

基于所述复数信息的相位信息来生成评价指标矩阵，

基于所述评价指标矩阵来生成距离信息，

通过所述复数信息与评价指标矩阵生成用图案的互相关运算来生成所述评价指标矩阵，或者，通过评价指标矩阵生成用图案对所述复数信息进行调制并进行傅里叶变换来生成所述评价指标矩阵，

基于所述评价指标矩阵满足各矩阵元素为最小、各矩阵元素为最大或各矩阵元素为零这一条件的所述评价指标矩阵生成用图案相对于所述摄影用图案的放大率来生成所述距离信息，

其中，利用所述放大率不同的多个所述评价指标矩阵生成用图案来生成多个所述评价指标矩阵，

从生成的多个所述评价指标矩阵生成距离信息。

14.如权利要求13所述的距离测量方法，其特征在于：

与至距离测量对象的距离相应地决定距离测量范围和距离测量分辨率，

基于所述距离测量范围和所述距离测量分辨率来选择多个所述评价指标矩阵生成用图案相对于所述摄影用图案的放大率。