WO2006000123A1

WO2006000123A1 - Systeme et procede pour la reconstruction 3d de surface de corps lamellaire et flexible

Info

Publication number: WO2006000123A1
Application number: PCT/CN2004/000681
Authority: WO
Inventors: Jinlian Hu; Binjie Xin
Original assignee: Hong Kong Polytechnic University HKPU
Current assignee: Hong Kong Polytechnic University HKPU
Priority date: 2004-06-23
Filing date: 2004-06-23
Publication date: 2006-01-05
Anticipated expiration: 2006-12-23

Description

薄片型柔性体表面三维重建的系统和方法技术领域

本发明涉及一种对物体表面进行三维重建的系统和方法，可广泛应用于物体表面的外观检测、特征分析和质量控制，尤其适用于薄片型柔性体表面的三维重建。背景技术

三维重建技术被广泛地应用于工业生产、工业检测、宇宙探索、科学研究等各个领域。一般意义上讲，为获得物体的三维形状，所需的测量系统可以分为：机械接触测量和光电式非接触测量两大类。光电式非接触测量又可以分为：双目或多目立体测量，结构光栅，激光三角测量，激光飞点测量，莫尔干涉测量等方法。每一种三维重建技术都有各自的优点和缺点。

机械接触测量主要适用刚体的连续表面，具有较高精度和稳定性。而对于所谓的薄片型柔性体，其包括：纺织品，塑料薄膜，纸张和其他可自由弯曲的薄片型材料，则无法采用该机械接触测量。光电式非接触测量中的双目或多目立体测量，是基于双目立体匹配算法和相机标定技术，对于没有很多纹理细节或者深色的物体表面，测量精度差且不稳定。结构光栅测量，是基于编码光栅和三角测量的原理，对于杂色或多花紋的物体表面，由于破坏了光栅的编码图案，会导致重建算法失败。激光三角测量和激光飞点测量，是一种逐点测量方法，扫描效率低，且成本昂贵。莫尔干涉测量，同样不适合测量杂色，多花纹或深黑色的物体表面，而且复杂曲面的莫尔紋分析技术的自动化也是技术的难点。

在工业生产中，对于薄片型柔性体材料的表面分析主要是基于光反射或投射得到的二维表面图像，而二维表面图像无法表达材料表面的三维信息和特征。在此背景下，需要合适的三维重建技术来提取材料表面的三维信息和特征。由于材料表面的复杂性，杂色、多花纹、深色或黑色，缺少紋理细节等情况经常出现，面对如此复杂的样本测试种类，选用前面所述的几种重建技术只能适用于特定的样本类型，无法覆盖大部分样本类型。因此迫切需要提供一种通用的柔性材料表面的三维重建技术，其能够适用于各种类型的柔性材料表面。发明内容

鉴于上述问题，本发明的目的是提供一种三维重建的技术，其不受试样表面的色彩，纹理和光泽等因素的影响，可快速、准确地得到柔性材料表面的三维立体信息。

为了实现上述目的，本发明提供了一种用于薄片型柔性体表面三维重建的系统，包括：一背景光源，用于发出均匀且具有一定亮度的后向漫反射光；一试样夹持装置，其上夹持有待三维重建的一试样，所述试样夹持装置具有一顶点，所述试样在该顶点处弯折，从所述背景光源发出的漫反射光投射到该试样上；一图像釆集装置，用于釆集所述试样的图像，从而得到所述试样在所述顶点处的侧面投影图像；一试样驱动装置，其驱动夹持在所述试样夹持装置上的所述试样均匀地通过所述顶点，从而该图像采集装置能够依次得到该试样表面不同位置处的侧面投影图像；一计算机，其控制该试样驱动装置动作，同时接收该图像采集装置采集到的所述试样的侧面投影图像的序列，对所述图像序列进行处理和分析，提取每一帧图像的侧面投影高度信息，并按照采集顺序拼接得到所述试样表面的三维立体图像。

本发明的另一方面，还提供了一种用于薄片型柔性体表面三维重建的方法，包括如下步骤：

采样：采集一试样的各个位置处的侧面投影图像，形成侧面投影图像序列；

轮廓提取：对所述各个侧面投影图像进行处理，提取每一帧图像的侧面投影高度信息；

拼接：按照采集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

本发明的有益效果是，由于本发明基于薄片型柔性体易于弯曲的特点，利用一种曲面型试样夹持装置，将薄片型材料固定并弯曲获得一定曲率的条形凸面；通过均勾且具有一定亮度的后向漫反射光源照射下，利用图像采集装置来采集图像，得到条形凸面的侧面投影图像；另外，通过由计算机控制的试样驱动装置，连续转动试样，得到试样表面在不同位置连续弯曲形成的条形凸面的侧面投影图像系列；利用图像处理和分析技术，提取图像系列中每一帧图像的试样表面的侧面投影高度信息，并按照采集顺序拼接提到试样表面的三维立体图像。所以本发明是一种专门适用于薄片型柔性体表面的三维重建的无接触光电测量方法，其不受试样表面的色彩，纹理和光泽等因素的影响，可快速、准确地得到柔性材料表面的三维立体信息。适用于离线检测和在线检测两种模式，可广泛应用于纺织，印刷，包装等行业。

下面结合附图和具体实施方式对本发明作进一步说明。附图说明

图 1是本发明用于薄片型柔性体表面的三维重建系统的结构示意图；图 2A和图 2B示出了本发明中的曲面型试样夹持装置的两种实施例；图 3A和图 3B分别示出本发明中的后向照明的方式；

图 4是试样弯曲后的侧面投影图像；

图 5是试样表面的侧面投影高度曲线；

图 6是本发明中的计算机的构成示意图。

其中，附图标记说明如下：

光密闭空间 1

背景光源 2

试样夹持装置 3

支架 31， 31'

辊子 311

传送带 312

夹头 32

顶点 33

试样 4 图像采集装置 7

后反射镜 80

分束镜 81

计算机 10

图像采集卡 101

电机驱动器 102

图像处理模块 104

轮廓提取模块 1041

拼接模块 1042 具体实施方式

以下结合附图和实例对本发明作进一步的描述。

本发明的表面三维重建的系统主要适用于薄片型柔性体材料。柔性体材料的定义为：非刚性固体材料，其在较小的外力下能进行一定曲率的弯曲。薄片型材料的定义为：具有一定的厚度和面积尺寸，面积尺寸相对厚度大很多倍（通常在 20倍以上），且厚度变化差异不大的连续体。

参照图 1所示，本发明用于薄片型柔性体表面三维重建的系统包括：背景光源 2，试样夹持装置 3，试样驱动装置 5，图像采集装置 7和计算机 10。

所述背景光源 2是发出发散光束的点光源或点光源的阵列，其用于发出均匀且具有一定亮度的后向漫反射光。另外，该背景光源 2还可配有光学系统（未示出），使得所述发散光束经该光学系统后发出平行光束或会聚光束。而且，该背景光源可以是可见光源，也可以是红外光光源或者紫外光光源。

该试样夹持装置 3呈曲面型，待三维重建的一试样 4固定在该试样夹持装置 3上，所述试样夹持装置具有一顶点 33，试样 4在该顶点处弯折，从背景光源 2发出的漫反射光投射到该试样 4上。

该图像采集装置 7设置在该试样 4的一侧，其可为 CCD摄像头、 CMOS 摄像头、数码相机或数码摄像机，其连接到计算机 10上，从而计算机 10 可通过该图像采集装置 7实时地采集该试样 4的图像，得到试样 4在顶点 33处的侧面投影图像序列。

该试样驱动装置在本实施例中为一电机 5，其优选为步进电机，该电机 5连接到计算机 10上，由该计算机 10进行驱动控制。该电机 5驱动夹持在试样夹持装置 3上的试样 4均匀地通过所述顶点 33，由图 1可以看出，试样 4沿纵向的某一位置会在顶点 33处发生弯折，这样，随着该试样匀速地被驱动通过该顶点，该试样 4纵向的每个位置均可在该顶点 33处发生弯折，从而该图像采集装置 7能够依次得到该试样表面不同位置处的侧面投影图像。另外，该电机 5可以直接驱动该试样夹持装置 3，也可通过一中间传动机构（未示出）驱动所述试样夹持装置，该中间传动机构一般为一减速齿轮组，从而可以适当的速度驱动该试样运动。

本系统的计算机 10是整个系统的控制中心和图像的处理中心，如图 6 所示，其除了包括常规的中央处理单元 CPU和存储器之外，还包括一图像采集卡 101、一电机驱动器 102和一图像处理模块 104。该图像采集卡与所述图像采集装置 7相连，用于将采集到的图像数字化，并将其存储到存储器中。所述电机驱动器与所述电机 5相连，用于控制所述电机 5以预定的速度或步长运转。

该图像处理模块 104还进一步包括一轮廓提取模块 1041和一拼接模块 1042，所述轮廓提取模块 1041用于提取每一帧图像的侧面投影高度信息，所述拼接模块 1042用于将所述侧面投影高度信息按采样顺序拼接得到所述试样表面的三维立体图像。上述轮廓提取模块和拼接模块可以由电子线路实现，也可是在计算机 10中运行的软件程序。

如图 2A和 2B所示，该试样夹持装置针对本发明的柔性材料，具有弯曲的形态。其可以是图 2A所示的尖峰形的 "A"型，也可以是图 2B所示的圆弧形的 "0"型，而且还可以包括平面弯曲所形成的任何形态。该弯曲形态的共同特征是具有一顶点 33，这样，才能够使得试样 4的每一部分能够在通过该顶点 33时，将轮廓投影到图像采集装置 7上，完成数据采样。如图 2A所示，是该试样夹持装置的第一种实施例，其由支架 31和夹头 32组成，支架 31包括布置为 "A"字形的三个辊子 311和环绕该辊子的传送带 312。该三个辊子 311在电机 5的驱动下转动，从而使得该传送带 312环绕该辊子转动，因此，由夹头 32固定在该传送带 312上的试样 4 也随着该传送带运动。

图 2B 示出了该试样夹持装置的另一实施例，其也由支架 31 '和夹头 32组成。所同的是该支架 31 '是一直径较大的辊子，电机 5驱动该辊子转动，由夹头 32固定在该辊子上的试样 4随该辊子一起转动。该夹头 32 也有多种实施方式，可以是弹簧夹头，也可是磁性夹头。有关该试样夹持装置，在本申请发明人提交的实用新型专利申请（申请号： 03207803. x，发明名称：用于数码织物外观 /表面测试评定仪的磁性布样夹持装置）中有详细的描述，在此不再赘述。

在本发明的系统中，该背景光源 2、试样夹持装置 3和图像采集装置 7配置为后向照明的方式，以获得最高对比度的投影图像。如图 3A所示，该后向照明方式通过将该试样 4设置在该背景光源 2和该图像采集装置 7 之间来实现。这样，该背景光源 2从该试样 4的后方照明，就会在该图像采集装置 7处投射出该试样的清晰的轮廓。

另外，该后向照明方式也可以另一种方式实现，如图 3B所示，该背景光源 2与图像采集装置 7位于试样 4的同一侧，在所述试样 4的后方设置有一后反射镜 80，在所述背景光源 2和所述图像采集装置 7之间设置一分束镜 81，通过后反射来实现该后向照明。

为了实现最佳的图像采集效果，最好提供一个可以隔绝自然光的密闭空间 1，至少将试样 4、背景光源 2和图像采集装置 7设置在该密闭空间 1 中，从而可以得到更加清晰的投影图像。密闭空间 1的实现方式可以是规则的几何体，也可以是不规则的几何体。

图 4示出了一试样处于顶点 33的某一位置处的侧面投影图像，该图像清晰地反映了其外形轮廓。

利用图像处理和分析技术，本系统的图像处理模块提取图像序列中的每一帧图像的试样表面的侧面投影高度信息如图 5所示。

与本发明的柔性体表面三维重建系统相对应，本发明还提供了一种用于薄片型柔性体表面三维重建的方法，其包括如下步骤：图像采样：采集一试样的各个位置处的侧面投影图像，形成侧面投影图像序列；轮廓提取：对所述各个侧面投影图像进行处理，提取每一帧图像的侧面投影高度信息；拼接：按照采集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

另外，在上述步骤之前，还包括下列的初始化步骤：系统启动：使计算机，电机，光源，光电摄像系统处于工作状态；系统调试校准：检查系统的各部分是否工作正常。

在所述的采样步骤还进一步包含如下步骤- 将试样 4夹持在试样夹持装置 3上，使得所述试样 4在该试样夹持装置 3的一顶点 33处弯折；在试样 4一侧设置一背景光源 2;驱动所述试样连续弯折通过所述试样夹持装置 3的该顶点 33;由图像采集装置 7采集位于该顶点位置的试样 4的侧面投影图像；该侧面投影图像由所述背景光源 2投射形成。

在该薄片型柔性体表面三维重建方法和系统中的算法主要集中在如何从该侧面投影图像中分离出侧面投影高度信息，其中可用于该步骤的算法包括：

方法 1 :

•直方图分析：直方图定义为图像的灰度分布曲线。令试样弯曲凸面的侧面投影的灰度图像为 f (x， y)，其中，（χ， y)是图像坐标， f (x， y) 是（χ， y) 处的象素点的灰度值， f (x， y) G [0, 255] o 其中，灰度值为 0代表该象素点为白色，灰度值为 255代表该象素点为黑色。它的直方图为 h ( i )， i e [0， 255]。取投影图像序列中某一投影图像，图像中存在两类区域：背景区域和试样投影区域，它们的灰度分布模型接近高斯分布。假设两个分布的均值和方差分别为（ul， δΐ) 和（_U2， 52)，则直方图的分布模型为:

(Ζ·— Μ₂) y{i) = A -e ¹ +A 通过寻找函数

MSE ∑[ 0- WO]²的极小值得到两个高斯分布的最佳估计值（ul， δΐ)

Ν ζ = 1

和（u2， δ 2),

图像分割：根据背景和试样的灰度分布，设定阈值 t 二 u、 +u₂ + λ{δ ~ δ₂)

2 λ为经验系数，然后进行二值化处理， f (x， y)

•高度提取：经上述二值化处理的图像中，象素值为 255的区域为试样，象素值为 0的区域为背景，根据这一特征，扫描图像，得到试样和背景的边界轮廓线，并确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

方法 2:

•边缘检测：利用边缘检测的算法进行边缘检测，常见的边缘检测算法包括 Marr边缘检测方法， Sobel算子， Robert算子，拉普拉斯算子等。

Robert 算子是一种利用局部差分算子寻找边缘的算子。它由下式给出：

其中， / 是具有整数象素坐标的输入图像。对于上述边缘检测的算法，在参考文献 "数字图像处理， Prentice Hall 著， 1998 " 中有详细论述，在此不再赘述。

•高度提取：扫描图像，根据检测出来的轮廓边缘，确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

方法 3: 诺顿变换（Radon Transform) : 根据图像在垂直方向的投影对灰度值进行求和（即垂直方向上的诺顿变换），得到图像在垂直方向上的灰度分布。由于灰度的累积跟试样的厚度成线性关系，所以除以一定的比例系数，就可以得到试样的表面轮廓高度。

具体地说，令投影图像在（x， y) 点的灰度值为 /(χ, ，其中 x e [l， M]为图像横坐标， y e [l， N]为图像纵坐标，则此帧图像在垂直方向的诺顿变换 ?(x) = fix, 。即对于水平方向的每一位置 x，将图像灰度值沿垂 y = l

直方向累积求和，得到水平位置 X处的诺顿变换 R (x)，对所有水平位置 X ≡ [1 , M]进行上述诺顿变换，即提取图像在垂直方向上的灰度分布；由于沿垂直方向的该灰度的累积 R G 跟该水平位置处试样的厚度成线性关系，所以将该累积值 R (x)除以一定的比例系数，即可得到试样在横坐标 (水平位置）为 X处的表面轮廓高度。

另外，本发明的用于薄片型柔性体表面三维重建的方法，可以用于离线检测和在线检测两种模式。工业实用性

本发明的用于薄片型柔性体表面三维重建的系统和方法，基于薄片型柔性体易于弯曲的特点，利用曲面型试样夹持装置，将薄片型材料固定并弯曲获得一定曲率的条形凸面；在一个可以隔绝自然光的密闭空间内容纳试样，在均匀且具有一定亮度的后向漫反射光源照射下，利用光电摄像系统采集图像，得到条形凸面的侧面投影图像；通过由计算机控制的试样驱动装置，连续均勾地转动试样，得到试样表面在不同位置连续弯曲形成的条形凸面的侧面投影图像系列；利用图像处理和分析技术，提取图像系列中每一帧图像的试样表面的侧面投影高度信息，并按照采集顺序拼接得到试样表面的三维立体图像。由上述可知，本发明所提出的三维重建系统和方法不受试样表面的物理性质影响，无论是有条紋的试样还是深色的试样，均可获得该试样表面的精确的三维模型。所以有效地克服了现有技术的缺陷。

虽然本发明已以上述实施例揭示如上，但是本发明并不局限于该实施例的内容，本技术领域的普通技术人员，在不脱离本发明的精神和范围内，可以对本发明做出任意的更动和润饰。本发明的保护范围以所附的权利要求书为准。

Claims

权利要求

1、一种用于薄片型柔性体表面三维重建的系统，其特征在于，包括: 一背景光源，用于发出均匀且具有一定亮度的后向漫反射光；一试样夹持装置，其上夹持有待三维重建的一试样，所述试样夹持装置具有一顶点，所述试样在该顶点处弯折，从所述背景光源发出的漫反射光投射到该试样上；

一图像采集装置，用于采集所述试样的图像，从而得到所述试样在所述顶点处的恻面投影图像；

一试样驱动装置，其驱动夹持在所述试样夹持装置上的所述试样均匀地通过所述顶点，从而该图像采集装置能够依次得到该试样表面不同位置处的侧面投影图像；

一计算机，其控制该试样驱动装置动作，同时接收该图像采集装置采集到的所述试样的侧面投影图像的序列，并对所述图像序列进行处理和分析，提取每一帧图像的侧面投影高度信息，按照采集顺序将该每一帧图像的侧面投影高度信息拼接得到所述试样表面的三维立体图像。

2、如权利要求 1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述背景光源是发出发散光束的点光源或点光源的阵列，并可配有光学系统，使得所述发散光束经该光学系统后发出平行光束或会聚光束；所述背景光源可以是可见光源，也可以是红外光光源或者紫外光光源。

3、如权利要求 1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样夹持装置具有一支架（31， 31' ) 和多个夹头（32)，所述顶点形成在所述支架的顶端，所述试样由所述夹头夹持在所述支架上，固定在该试样夹持装置上的试样以一定的曲率弯曲，便于采集该试样不同位置处的轮廓。

4、如权利要求 3所述的薄片型柔性体表面三维重建的系统，其特征在于，所述支架（31 )包括布置成" A"形的三条辊子（311 )和传送带 312，所述传送带环绕所述辊子，形成所述支架；所述夹头将该试样夹持在所述传送带上。

' 5、如权利要求 3所述的薄片型柔性体表面三维重建的系统，其特征在于，所述支架（31' ) 是一大直径的辊子。

6、如权利要求 1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样驱动装置是电机（5)。

7、如权利要求 1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述图像采集装置是选自下列集合的其中之一： CCD摄像头、 CMOS 摄像头、数码相机和数码摄像机。

8、如权利要求 6所述的薄片型柔性体表面三维重建的系统，其特征在于，所述计算机包括一图像采集卡、一电机驱动器和一图像处理模块

( 104)；所述图像采集卡与所述图像采集装置相连，用于将该图像采集装置采集到的图像数字化，并将其存储在存储器中；所述电机驱动器与所述电机相连，用于控制所述电机的运转。

9、如权利要求 8所述的薄片型柔性体表面三维重建的系统，其特征在于，所述图像处理模块（104) 还包括一轮廓提取模块（1041 ) 和一拼接模块（1042)，所述轮廓提取模块用于提取每一帧图像的侧面投影高度信息，所述拼接模块用于将所述提取到的每一帧图像的侧面投影高度信息按采样顺序拼接，从而得到所述试样表面的三维立体图像。

10、如权利要求 1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述的背景光源、试样夹持装置和图像采集装置配置为后向照明的方式，以获得最高对比度的投影图像。

11、如权利要求 10所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样夹持装置设置在所述背景光源和所述图像采集装置之间，以实现后向照明。

12、如权利要求 10所述的薄片型柔性体表面三维重建的系统，其特征在于，所述的背景光源与图像采集装置位于所述试样夹持装置的同一侧，一后反射镜（80) 设置在所述试样的后方，一分束镜（81 ) 设置在所述背景光源和所述图像采集装置之间，通过后反射来实现该后向照明。

13、如权利要求 6所述的薄片型柔性体表面三维重建的系统，其特征在于，所述电机通过一中间传动机构与所述试样夹持装置连接。

14、一种用于薄片型柔性体表面三维重建的方法，其特征在于，包括如下步骤：

拼接：按照釆集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

15、如权利要求 14所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述采样步骤还进一步包含如下步骤：

将所述试样夹持在一试样夹持装置上，使得所述试样在该试样夹持装置的一顶点处弯折；

在所述试样一侧设置一背景光源；

驱动所述试样连续弯折通过所述试样夹持装置的该顶点； .

由一图像采集装置采集位于该顶点位置的所述试样的侧面投影图像；该侧面投影图像由所述背景光源投射形成。

16、如权利要求 14所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述的轮廓提取步骤还包括如下三个步骤：

直方图分析：对试样弯曲凸面的侧面投影图像进行直方图分析，分别得出投影图像中背景和试样两个部分的灰度的高斯分布均值和方差；图像分割，根据该背景和试样的灰度分布均值和方差，设定一阈值，根据该阈值对图像进行二值化处理，即象素点的灰度值大于该阈值，则该象素点的象素值为 255，象素点的灰度值小于该阈值，则该象素点的象素值为 0 ;

高度提取，根据图像中象素值为 0的区域为背景，象素值为 255的区域为试样，扫描图像，得到背景与试样的边界轮廓线，并确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

17、如权利要求 14所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述轮廓提取步骤还包括如下二个步骤：

•边缘检测：利用边缘检测的算法进行边缘检测，该边缘检测算法包括 Marr边缘检测方法， Sobel算子， Robert算子，拉普拉斯算子；，高度提取：扫描图像，根据检测出来的轮廓边缘，确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

18、如权利要求 14所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述轮廓提取通过诺顿变换步骤来实现：将图.像灰度值沿垂直方向累积求和，提取图像在垂直方向上的灰度分布；对于水平方向的每一位置，由于沿垂直方向的该灰度的累积跟该水平位置处试样的厚度成线性关系，所以将该累积值除以一定的比例系数，即可得到试样每一水平位置处的表面轮廓高度。

19、根据权利要求 14所述的用于薄片型柔性体表面三维重建的方法，其特征在于：该方法适用于离线检测和在线检测两种模式。