CN107024850A - 高速结构光三维成像系统 - Google Patents

Abstract

一种高速结构光三维成像系统，包括：高速结构光发生装置、成像场景、光采集装置、图像重构装置。高速结构光发生装置，用于产生结构光图案，并作为光源投影到目标物体；光采集装置，用于对承载所述目标物体三维信息的反射和/或散射脉冲光信号进行采集；图像重构装置，用于对所述光采集装置采集到的信息进行图像重构。本发明实施例不需要机械调整结构，避免了传统单像素成像系统当中的数字微镜阵列等机械结构，大大提高了成像速度。

Description

高速结构光三维成像系统

技术领域

本发明实施例涉及一种高速结构光三维成像系统。

背景技术

结构光成像技术是一种常用的信号采集技术，传统结构光成像技术使用数字微镜阵列(DMD)来对激光光源进行空间调制，以生成测量所需的特定结构光图案序列。

但是，这种方法有很大的缺陷，那就是数字微镜阵列通常是微机械结构或者液晶装置，这使得微镜阵列在调整随机矩阵的时候速度过慢，成像速度大大降低，不超过100帧/秒，这使得单像素成像系统只能用来拍摄静止或者准静止的图像，而不能获取高速图像和视频，严重限制了结构光三维成像的应用范围。

发明内容

本发明实施例的目的在于提供一种高速结构光三维成像系统以及与该系统对应的高速结构光三维成像方法，以解决上述技术问题。

根据本发明的至少一个实施例，提供了一种高速结构光三维成像系统，包括：高速结构光发生装置，用于产生结构光图案，并作为光源投影到目标物体；光采集装置，用于对承载所述目标物体三维信息的反射和/或散射脉冲光信号进行采集；图像重构装置，用于对所述光采集装置采集到的信息进行图像重构。

例如，所述高速结构光发生装置包括：光纤光信号调制系统，其中光纤光信号调制系统包括：脉冲光信号发生装置，用于产生脉冲光信号；时域色散器件，用于将所述脉冲光信号的频谱在时域上展开。

例如，所述光纤光信号调制系统还包括：码形发生器，光调制器，所述码形发生器用于生成码形；所述光调制器用于将所述码形调制到经过所述时域色散器件处理后的脉冲光信号上。

例如，所述码形包括二值码或灰度码中的至少一种或多种。

例如，所述光纤光信号调制系统还包括：偏振调整器件，所述偏振调整器件用于对所述脉冲光信号进行偏振调整；所述空间色散装置用于将偏振调整后的脉冲光信号的光谱进行色散。

例如，所述高速结构光发生装置包括：空间光投影系统，所述空间光投影系统包括：空间色散装置，用于将所述光纤光信号调制系统处理后的光信号在空间中进行色散，并照射所述目标物体。

例如，所述空间色散装置进一步将所述光纤光信号调制系统处理后的光信号在空间中色散成线阵或面阵，并照射所述目标物体。

例如，所述空间光投影系统包括：投影装置，用于将经过所述光调制器调制的光信号进行投影；所述空间色散装置将所述投影后的光信号在空间中进行色散，并照射所述目标物体。

例如，所述空间色散装置为光栅，所述光栅包括第一光栅和第二光栅，所述第一光栅和第二光栅具有相同线数。

例如，所述第一光栅和所述第二光栅平行放置，并具有相同的固定倾角。

例如，所述固定倾角由散射光栅的衍射主极大角度决定。

例如，所述高速结构光发生装置还包括：光束控制装置，所述光束控制装置将在空间中进行色散后的脉冲光信号根据所述目标物体的大小进行调整，并照射到所述目标物体。

例如，所述光采集单元包括：光调整部件，根据光的传播角度和位置，对所述目标物体反射和/或散射光信号进行调整，以使反射和/或散射光信号中的频域映射到时域的信息能够被检测到。

例如，所述光调整部件为空间光强掩模,所述空间光强掩膜在空间上的透射率按一定规律分布，所述空间光强掩膜对所述目标物体反射和/或散射光信号进行调整，以使所述目标物体的不同位置反射和/或散射出的光信号被附加各不相同的光强度。

例如，所述光采集装置还包括：光电探测器，所述光电探测器对经所述空间光强掩模调整后的光信号进行探测，根据该探测结果中光信号的强度，确定所述光信号来自于的所述目标物体的空间位置。

例如，所述高速结构光发生装置产生的入射光以第一入射角度照射所述目标物体；所述光电探测器根据所述第一入射角度，确定所述光信号来自于所述目标物体上的空间位置。

例如，所述高速结构光发生装置产生的入射光以第一光强度照射所述目标物体；所述光电探测器根据所述第一光强度，确定所述光信号来自于所述目标物体上的空间位置。

例如，所述光电探测器确定探测结果的图像中每个像素接收到的光强度与所述码形发生器产生的编码的对应关系；根据所述对应关系，确定所述目标物体的三维信息中的高度信息。

例如，所述光纤光信号调制系统中的码形发生器产生包括预定码形的条纹图案，所述高速结构光发生装置将带有该条纹图案的入射光以所述第一发射角照射所述目标物体。

例如，所述光采集装置还包括：成像透镜系统，用于对目标物体表面反射和/或散射出的光信号进行汇聚，以供所述光电探测器进行探测。

例如，所述空间光强掩膜为渐变滤光片。

例如，所述图像重构装置包括：处理器，用于对所述光采集装置采集的信号进行处理，将所述信号重构成图像；显示器，用于对重构后的图像进行显示。

例如，还包括台架，用于固定并承载所述目标物体。

本发明实施例的高速结构光三维成像装置，在光信号时域上叠加码形信号，利用光调制器施加高速的时域测量，并且利用色散器件进行色散操作形成空间结构光图案，整个处理过程利用了光电效应或物理效应，不需要机械调整结构，避免了传统单像素成像系统当中的数字微镜阵列等机械结构，大大提高了成像速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1示出了根据本发明实施例的高速结构光三维成像系统第一种示范性框架图；

图2示出了根据本发明实施例的高速结构光三维成像系统中的结构光发生装置的结构示意图；

图3示出了根据本发明实施例的光采集装置结构示意图；

图4示出了根据本发明实施例的码形调制示意图；

图5示出了根据本发明实施例的结构光对目标物体进行成像的示意图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

图1示出了根据本发明实施例的高速结构光三维成像系统第一种示范性框架图。下面将参照图1来描述本发明的一个实施例的高速结构光三维成像系统。参见图1，高速结构光三维成像系统100包括：高速结构光发生装置110、光采集装置120、图像重构装置130。

高速结构光发生装置110，用于产生结构光图案，作为照明光源对目标三维物体投影成像。成像目标例如是三维物体S。光采集装置120，用于对成像目标物体S反射或散射的或反射散射组合的承载三维信息的脉冲光信号进行采集。图像重构装置130，用于对所述光采集装置120采集到的反射和/或散射光信号进行图像重构。此外，高速结构光三维成像系统100还可以包括以及用于固定、承载、调整、控制目标物体的台架。

图2示出了根据本发明实施例的高速结构光三维成像系统中的结构光发生装置的结构示意图。参见图2，高速结构光发生装置110可以包括光纤光信号调制系统和空间光投影系统。其中，光纤光信号调制系统可以包括脉冲光信号发生装置111，用于产生脉冲光信号。时域色散器件112，用于将所述脉冲光信号的频谱在时域上展开。码形发生器113，用于生成码形组合。光调制器114，用于将码形发生器113产生的码形调制到经过所述时域色散器件112色散的光脉冲光信号上。

此外，根据本发明的一个示例，脉冲光信号发生装置111例如可以是超短光脉冲源。高速结构光三维成像系统100还可以包括放大器，用于对经时域色散器件112转换后的脉冲光信号进行放大。

空间光投影系统可以包括空间色散装置115，例如光栅，用于将光信号在空间中进行色散。例如将光信号在空间中色散成线阵或面阵。根据本发明的一个示例，光栅131可以是一组光栅对，包括第一光栅和第二光栅，第一光栅和第二光栅可以具有相同线数。线数例如是600刻线每毫米。此外，为了确保出射光线的平行度，第一光栅和第二光栅可以平行放置，并具有相同的固定倾角。固定倾角由光栅的衍射主极大角度决定。例如，对于中心波长1560nm的脉冲光源，入射角可选取60°。光栅例如是散射光栅或是衍射光栅。光栅可以对脉冲光信号的光谱进行空间色散，并将散射后的脉冲光信号的光谱从时域转换到空域，这样，空间色散后的脉冲光信号可以形成平行照射光束照射到目标物体S，以对目标物体S进行成像。可选地，光栅还可以换成其他周期性光色散器件。

根据本发明的一个示例，空间光投影系统还可以包括投影装置116，例如准直器，用于将经过光调制器114调制光强信号从光纤光信号调制系统投影到自由空间中；然后空间色散装置115将投影到自由空间中的光信号在空间中色散成线阵或面阵。

根据本发明的一个示例，高速结构光发生装置还可以包括光束控制装置例如扩束器。光束控制装置将在空间中进行色散后的脉冲光信号根据所述目标物体的大小进行调整，然后照射到所述目标物体。

根据本发明的一个示例，高速结构光发生装置还可以包括偏振调整器件，偏振调整器件用于对所述脉冲光信号进行偏振调整，所述空间色散装置115可以将偏振调整后的脉冲光信号的光谱进行色散。可选地，偏振调整器件可以是半波片，四分之一波片等等。

图3示出了根据本发明实施例的光采集装置结构示意图。由于在很多结构光三维成像系统中，在图像采集中，不能准确地采集到前述码形信息，因此，为了能够准确地采集到光调制器调制的码形信息，根据本发明的一个实施例，如图3所示，光采集装置120可以包括：光调整部件121，根据光的传播角度和位置，对目标物体反射和/或散射光信号进行调整，以使反射和/或散射光信号中的频域映射到时域的信息能够被检测到。例如，光调整部件为空间光强掩模,可以对所述三维目标物体反射和/或散射的光信号根据光的传播角度和位置进行调整，被成像的目标物体表面上不同位置反射和/或散射出的光信号将被空间光强掩膜附加各不相同的强度衰减。根据本发明的一个示例，空间光强掩膜可以是渐变滤光片，使用渐变滤光片对反射和/或散射光进行调整。

参见图3，光采集装置120还可以包括：光电探测器122，将光采集装置120采集的脉冲光信号转换成电信号。此外，通过光电探测器122探测的结果，还可以根据被成像的目标物体反射或散射出的信号中某一点的强度，推测出其来自于目标物体上哪一空间位置。成像透镜系统123，用于对目标物体表面散射出的光信号进行汇聚，以供光电探测器122探测。成像透镜系统123可以是显微物镜，聚焦物镜等。光电探测器例如是单点探测器。

由于光电探测器122在探测单点的光强时序信息时，无法直接获得光信号的空间信息，即无法确定探测结果中某一时间点上的光信号来自于目标物体表面哪一点漫反射和/或散射出的光。通过在类似光电探测器122的探测装置前加装一个在空间上透射率按一定规律分布的空间光强掩模，可以根据光信号的空间位置，调制上不同的光强。例如，可以预先对入射光强进行入射角度或强度限定，则可从光电探测器122探测到的时域信号中根据信号强度分析出其光信号来自于目标物体物面上的哪一点，然后根据几何三角法来计算获得物面的三维结构信息。

图像重构装置130包括：处理器，用于对所述电信号进行计算处理，根据一定算法将信号重建成图像。显示器，用于对重构后的图像进行显示。

下面将进一步介绍该高速结构光三维成像系统100的工作方式。

在本发明实施例中，采用脉冲光信号发生装置111作为成像系统的光源，不同的脉冲信号发生器产生具有不同的谱宽B的光信号。脉冲光信号发生装置111在工作状态下，产生脉冲光信号，该脉冲光信号在频域可以表示为f(ω)，其中，ω是光的角频率。将脉冲光信号发生装置111输出的脉冲光信号f(ω)首先经过一个时域色散器件112，使光信号f(ω)的频谱在时域上展开，该时域色散器件112的具有色散值。然后，空间光投影系统将频谱展开后的脉冲光信号f(ω)形成光束照射一目标物体，以对该目标物体进行成像。在本发明实施例中，目标物体可以是二维场景，也可以是三维场景。本发明实施例以三维目标物体为例进行说明。

根据本发明的另一个示例，可以先采用光调制器114对经过时域色散器件112在时域上展开的脉冲光信号进行调制，然后再投影到目标物体。例如，采用码形发生器113产生适当的码形，然后采用光调制器114将码形发生器113产生的码形调制到在时域上展开的脉冲光信号上，以对其进行调制。

码形发生器113根据最终期望的成像图像的成像分辨率来产生码形。该码形由一组不同编码的信号组成，变换不同的码形序列，可以得到多个不同的测量值，期望的成像图像的分辨率越高，也就是成像图像的像素点数越多，需要调制的码形信号最小线宽越精细，且一组中包含的码形总数越多，而变换不同码形进行测量的次数也越多。例如，如果成像图像的像素点数为2^M，则需要产生至少N个二值调制的结构光照射码形，并逐次照射进行测量。一般情况下，N不小于M。编码方法式可以有很多选择，可以设置每一个成像像素位置所对应的码形是独一无二的，常用的二进制编码方案，如“汉明码”、“格雷码”等都可以被采用来做编码。可选地，当选取N大于M时，可以利用冗余的码位来提供额外的信息，从而实现抗噪、校验等功能。

图4示出了根据本发明实施例的码形调制示意图。参见图4，以码形发生器113产生二值编码为例对编码解码进行描述。

码形发生器113产生二值强度码形，这样，高速结构光发生装置110可以采用调制有二值强度码形的脉冲光信号生成一组图案，这组图案包括多幅编有特定编码的条纹图案，图4中示出了三个图案A、B和C。将该条文图案作为入射图案，以一定发射角投影到待测的三维目标物体表面得到三个图像，即图像一到图像三。由于三维目标物体的表面呈高低分布，不同角度的入射光条纹会在不同高度上被反射和/或散射。如果用一个光电探测器122从与入射光方向成一定夹角的某一方向去探测物体表面漫反射和/或散射出的光，就会得到一个原入射图案经扭曲变化的新的光强分布。

从光电探测器122探测图像和原始图像的差异中，可以分析出某一条纹的光经过了怎样的传播过程，结合光源、相机、成像参考面三者的空间相对位置信息，可以推算出物体表面各点的相对高度，从而得到一幅三维成像结果。

根据本发明的一个示例，为了在光电探测器122探测到的图像中分析出图像中的某点对应的原图案中的哪一点。也就是确定点对点的映射关系，二值编码可以采用以下方式产生。参见图4，每组编码有m＝3个不同图案，每幅图中最多将整图分成了2^m＝8个区域，在每个区域上调制上明或暗的强度。如果用码“1”表示明区域，“0”表示暗区域，那么综合m幅编码，图像中每个条纹区域会有三位码字序列与之对应，这2^m个条纹区域对应的码字各不相同。例如图4中最左边一列对应码字“111”。这样在光电探测器122进行探测时，综合m次探测到的结果，可以由这m位码字唯一的确定探测结果图像中的某一条纹对应于原初图案中的哪一位置。光电探测器122的N次测量将产生N次探测结果，可以依据探测结果中的编码值来确定光电探测器122中每个像素接收到的光强来自于投射编码的哪个位置。继而通过三角法原理，计算出所探测目标物体的三维信息。

根据本发明的一个示例，在确知了入射图案与探测图案上各点间的对应关系后，可以进一步确定如何从点的对应关系推算物面高度。例如，求解算物面高度可以利用光源、成像参考面、相机的空间位置信息。

图5示出了根据本发明实施例的结构光对目标物体进行成像的示意图。参见图5，从高速结构光发生装置110发射出编码后的结构光图案至目标物体S表面，目标物体S表面上一点P点对应于后端的光电探测器122的水平视角为α、垂直视角为β、P点对于高速结构光发生装置110的投影角为φ,其中φ₀是高速结构光发生装置110的光轴与光电探测器122的光轴的夹角,以光电探测器122的中心为原点O,高速结构光发生装置110的中心的坐标是Q(X₀,0,Z₀)。

在高速结构光发生装置110、光点探测器122、目标物体S构成的三角形QOP中，变长OQ在系统搭建后为已知量，角O的值可以通过探测获得；另外，通过设置可使高速结构光发生装置110按照确定的角度将不同的码形图案投影到目标物体上，角Q的值可以通过光电探测器122几次探测所得到的序列码值来推算出。当以上三个参量信息已知后，则可以计算出此三角形的全部几何信息。

P点的三维坐标(X,Y,Z)可以根据几何关系，由公式(4.1)(4.2)(4.3)给出

X＝Z*tanα (4.2)

Y＝Z*tanβ (4.3)

可以计算出P点的深度信息三维坐标信息(X,Y,Z)。

由于光电探测器122在探测单点的光强时序信息时，无法直接获得光信号的空间信息，即无法确定探测结果中某一时间点上的光信号来自于目标物体表面哪一点漫反射和/或散射出的光。因此通过在探测装置前加装一个在空间上透射率按一定规律分布的空间光强掩模，可以根据光信号的空间位置，调制上不同的光强。例如，可以预先对入射光强进行入射角度或强度限定，则可从光电探测器122探测到的时域信号中根据信号强度分析出其光信号来自于目标物体物面上的哪一点，然后根据几何三角法来计算获得物面的三维结构信息。

此外，在采集到反射和/或散射光后，可以对光采集装置120采集到的信息进行图像重构。在本发明实施例中，采用图像重构装置130对光采集装置120采集到的反射和/或散射光进行图像重构。图像重构装置130可以包括处理器和显示器。在光采集装置120中的光电探测器122将采集到的脉冲光信号转换成电信号之后，处理器对电信号进行计算处理。显示器，用于对重构后的图像进行显示。

综上，本发明实施例的高速结构光三维成像装置，在光信号时域上叠加码形信号，利用光调制器施加高速的时域测量，并且利用色散器件进行色散操作形成空间结构光图案，整个处理过程利用了光电效应或物理效应，不需要机械调整结构，避免了传统单像素成像系统当中的数字微镜阵列等机械结构，大大提高了成像速度。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。

Claims (10)

1.一种高速结构光三维成像系统，包括：

高速结构光发生装置，用于产生结构光图案，并作为光源投影到目标物体；

光采集装置，用于对承载所述目标物体三维信息的反射和/或散射脉冲光信号进行采集；

图像重构装置，用于对所述光采集装置采集到的信息进行图像重构。

2.根据权利要求1所述的系统，其中，所述高速结构光发生装置包括：光纤光信号调制系统，

其中光纤光信号调制系统包括：

脉冲光信号发生装置，用于产生脉冲光信号；

时域色散器件，用于将所述脉冲光信号的频谱在时域上展开。

3.根据权利要求2所述的系统，所述光纤光信号调制系统还包括：码形发生器，光调制器，

所述码形发生器用于生成码形；

所述光调制器用于将所述码形调制到经过所述时域色散器件处理后的脉冲光信号上。

4.根据权利要求3所述的系统，其中，所述码形包括二值码或灰度码中的至少一种或多种。

5.根据权利要求2所述的系统，其中，所述光纤光信号调制系统还包括：

偏振调整器件，所述偏振调整器件用于对所述脉冲光信号进行偏振调整；

所述空间色散装置用于将偏振调整后的脉冲光信号的光谱进行色散。

6.根据权利要求2所述的系统，其中，所述高速结构光发生装置包括：空间光投影系统，所述空间光投影系统包括：

空间色散装置，用于将所述光纤光信号调制系统处理后的光信号在空间中进行色散，并照射所述目标物体。

7.根据权利要求6所述的系统，其中，所述空间色散装置进一步将所述光纤光信号调制系统处理后的光信号在空间中色散成线阵或面阵，并照射所述目标物体。

8.根据权利要求6所述的系统，其中，所述空间光投影系统包括：投影装置，用于将经过所述光调制器调制的光信号进行投影；

所述空间色散装置将所述投影后的光信号在空间中进行色散，并照射所述目标物体。

9.根据权利要求8所述的系统，其中，所述空间色散装置为光栅，

所述光栅包括第一光栅和第二光栅，所述第一光栅和第二光栅具有相同线数。

10.根据权利要求9所述的系统，其中，

所述第一光栅和所述第二光栅平行放置，并具有相同的固定倾角。