[go: up one dir, main page]

CN103486979A - 混合系统 - Google Patents

混合系统 Download PDF

Info

Publication number
CN103486979A
CN103486979A CN201310227111.1A CN201310227111A CN103486979A CN 103486979 A CN103486979 A CN 103486979A CN 201310227111 A CN201310227111 A CN 201310227111A CN 103486979 A CN103486979 A CN 103486979A
Authority
CN
China
Prior art keywords
light
article
imager
pattern
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310227111.1A
Other languages
English (en)
Inventor
S·P·凯莎莫西
林承智
D·T·维戈瑞恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perceptron Inc
Original Assignee
Perceptron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/492,065 external-priority patent/US9170097B2/en
Application filed by Perceptron Inc filed Critical Perceptron Inc
Publication of CN103486979A publication Critical patent/CN103486979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • G02B27/104Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources for use with scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/60Systems using moiré fringes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种混合系统。本公开涉及激光投影系统,更具体地涉及利用场投影系统和自适应光装置的系统和方法。提供用于对视场内的物品进行成像、将照明场投影到视场内的物品上,以及将照明结构选择性地投影到视场内的物品上的系统和方法。然后,可以接收与照明场和照明结构相对应的图像数据,并且可以基于照明场和照明结构来分析物品的特征。

Description

混合系统
相关申请的交叉引用
本申请是2011年8月8日提交的美国专利申请No.13/205,160的部分继续申请,该美国专利申请No.13/205,160是2009年4月1日提交的美国专利申请No.12/416,463的部分继续申请,并且美国专利申请No.12/416,463要求2008年4月1日提交的美国临时申请No.61/072,607的权益。上述申请的公开内容全部以引用的方式并入本文中。
技术领域
本公开涉及激光投影系统,更具体地涉及利用场投影系统(fieldprojection system)和自适应光装置(adaptive light device)的系统和方法。
背景技术
结构化光是将已知图案的像素(例如,格栅或水平条)投影到表面上的过程。在入射到表面上时对已知图案的变形允许传感器系统确定表面的轮廓(例如,特征的范围或距离)。例如,在结构化光三维(3D)扫描仪中可以使用结构化光。
现在参照图1,示出根据现有技术的光检测和测距(LIDAR)扫描系统10。LIDAR系统10测量表面16的轮廓。系统10包括红外(IR)源12、转向反射镜14、接收反射镜18和IR接收器20。
IR源12产生通过转向反射镜14被投影到表面16上的IR光的光束。被表面16反射的IR光通过接收反射镜18被引导到IR接收器20。然后,IR接收器20可以基于投影的IR光和接收的IR光之间的相位差来产生对应于表面16的轮廓的灰色绘图(grey-mapping)。
这里提供的背景描述是为了大致地呈示本公开的背景的目的。本发明人的工作(在一定程度上,该工作在该背景技术中被描述),以及本描述的在提交时不会以另外的方式被当作现有技术的方面,既不会被明确地也不会被隐含地认为是相对于本公开的现有技术。
发明内容
提供用于对视场内的物品进行成像、将照明场投影到视场内的物品上,以及将照明结构选择性地投影到视场内的物品上的系统和方法。然后,可以接收与照明场和照明结构相对应的图像数据,并且可以基于照明场和照明结构来分析物品的特征。
用于测量表面的轮廓的结构化光传感器系统包括投影系统、成像系统和控制模块。投影系统被配置为将如下投影到表面上:(i)光点、(ii)形成光线的第一多个光点、或者(iii)形成多条光线的第二多个光点。成像系统被配置为选择性地捕获表面的图像,其中,表面的图像是基于被该表面反射的光。控制模块被配置为协调地控制投影系统和成像系统二者,以按照如下模式中的每一种操作结构化光传感器系统:(i)点模式,在点模式期间,投影系统在第一时段期间投影光点,并且,成像系统在第一时段内开启;(ii)线模式,其中,投影系统在第二时段期间投影第一多个光点,并且,成像系统在第二时段内开启;以及(iii)区域模式,其中,投影系统在第三时段期间投影第二多个光点,并且,成像系统在第三时段内开启。
用于测量表面上的特征的参数的结构化光传感器系统包括投影系统、成像系统和控制模块。投影系统被配置为将第一图案的光投影到表面上,投影系统包括具有多个光源的灯光系统、光学系统和一组微型机电系统(MEMS)反射镜。成像系统被配置为选择性地捕获表面的图像,该图像包括指示特征的参数的被该表面反射的光。控制模块被配置为:(i)产生对应于捕获的图像的数据;(ii)处理产生的数据,以确定特征的参数;以及(iii)控制投影系统以将第二图案的光投影到表面上,该第二图案的光向用户显示确定的特征的参数。
一种用于测量表面的轮廓的装置包括壳体、壳体内的成像透镜系统、壳体内的图像捕获装置、壳体内的一组微型机电系统(MEMS)反射镜、以及壳体内的控制模块。成像透镜系统被配置为使用至少一个透镜来使从该表面反射的光聚焦,其中,成像透镜系统具有对应的透镜焦平面,并且,其中,从该表面反射的光指示表面的轮廓。图像捕获装置被配置为捕获聚焦的光并产生对应于捕获的光的数据,其中,图像捕获装置具有对应的图像焦平面,并且,其中,图像焦平面与透镜焦平面不平行。所述一组微型MEMS反射镜被配置为将聚焦光引导到图像捕获装置。控制模块被配置为从图像捕获装置接收对应于捕获的光的数据,基于接收的数据来确定捕获的光的聚焦质量,并且基于聚焦质量来控制所述一组MEMS反射镜,以保持透镜焦平面和图像焦平面之间的辛普弗鲁格(Scheimpflug)倾斜条件。
根据详细的描述、权利要求书和附图,本公开的另外的应用领域将变得显而易见。详细的描述和特定实例仅仅被预计用于图示的目的,而不应当限制本公开的范围。
附图说明
根据详细的描述和附图,将会更加全面地理解本公开,在附图中:
图1是根据现有技术的LIDAR扫描系统的示意图;
图2是图示根据本公开的透镜平面和成像平面之间的辛普弗鲁格倾斜条件的示意图;
图3A是根据本公开的第一示例结构化光轮廓感测系统的示意图;
图3B是根据本公开的第二示例结构化光轮廓感测系统的功能框图;
图4A至4B分别是图示根据现有技术的示例干涉仪和根据本公开的结构化光轮廓感测系统的示例干涉测量系统的示意图;
图5A至5B分别是图示根据本公开的用于处理孔和狭缝(slot)的示例方法的示意图;
图6是根据本公开的结构化光轮廓感测系统的示例控制模块的功能框图;图7是用于校正根据本公开的结构化光轮廓感测系统的角度的示例方法的流程图;
图8A至8B是补偿根据本公开的结构化光轮廓感测系统的温度变化的示例方法的流程图;
图9是操作根据本公开的结构化光轮廓感测系统的示例方法的流程图;
图10是根据本公开的示例结构化光传感器系统的功能框图;
图11A至11C分别是根据本公开的在点模式、线模式和区域模式中的投影系统和成像系统的协调控制的时序图;
图12是根据本公开的按照点模式、线模式和区域模式中的每一个模式操作的结构化光传感器系统的协调控制的示例方法的流程图;
图13是根据本公开的由结构化光传感器系统确定并由其投影的特征的参数的示例投影的视图;
图14是使用结构化光传感器系统确定表面上的特征的参数并使用结构化光传感器系统将确定的参数投影到表面上的示例方法的流程图;
图15是根据本公开的具有包括结构化光传感器系统的壳体的示例装置的示图;
图16是包括白光投影模块和自适应光装置模块的系统的框图;
图17是图示用场投影系统和自适应光装置获取数据的方法的流程图;
图18是具有过多镜面反射的条纹图案的表示。
图19是与图18的条纹数据一起使用的代表性激光光斑图案。
图20是代表具有差条纹分辨率的图像的条纹图案。
图21是响应于图20的条纹数据产生的激光线的图像;以及
图22是图示传感器和重新校准的自适应光装置的框图。
具体实施方式
下面的描述实质上仅仅是示例性的,绝不应当限制本公开、其应用或使用。为了清楚的目的,在附图中将使用相同的附图标记来标识相似的元件。如本文中所使用的短语“A、B和C中的至少一个”应该被解释为,具有使用非独占性的逻辑“或”的逻辑(A或B或C)的含义。应该理解,方法内的各步骤可以在不改变本公开的原理的情况下按照不同的顺序执行。
如本文中所使用的术语“模块”可以指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的(共享的、专用的或分组的)处理器(共享的、专用的或分组的)和/或(共享的、专用的或分组的)存储器、组合逻辑电路和/或提供描述的功能的其它合适的部件中的一部分,或者,可以包括它们。
传统的结构化光感测系统具有有限的景深。换句话说,传统的结构化光感测系统由于有限的感测深度而不会感测表面的特定轮廓。可以实现辛普弗鲁格倾斜条件以增加景深。但是,由于在感测系统的整个景深上的线阵列的聚焦的限制而导致在结构化光感测系统(即,计量学)上尚未实现辛普弗鲁格倾斜条件。
现在参照图2,图示了辛普弗鲁格原理。辛普弗鲁格原理是描述当透镜平面61与图像平面63不平行时光学系统(透镜60和成像器62)的锐焦平面66的取向的几何学法则。图像平面63对应于将光从透镜60反射到成像器62的微型机电系统(MEMS)反射镜64。
换句话说,当倾斜的切线从图像平面63延伸,并且,另一条切线从透镜平面61延伸时,它们在锐焦平面66也从其通过的线上汇合。例如,在这种条件下,与图像平面不平行的平面对象可以被完全地聚焦。因此,MEMS反射镜64可以被调整,以保持在成像器62上的聚焦条件。例如,MEMS反射镜64可以被调整到不同的角度(由MEMS反射镜65表示),以补充不同的锐焦平面67。
因此,提出了在光学接收路径中并入多像素MEMS反射镜阵列以保持辛普弗鲁格倾斜条件的用于结构化光轮廓感测的系统和方法。本公开的系统和方法允许每一条线在由投影仪系统实时地投影时被以聚焦条件引导到成像器上。这样,具有更大孔径的更小的焦距成像透镜可以被使用,从而增大光学信号并允许更精确的计量。
此外,传统的结构化光感测系统不产生用于特征提取和/或表面轮廓的形状(form)测量的三维(3D)数据。换句话说,传统的结构化光感测系统仅仅产生用于与最初投影的2D图案进行比较的二维(2D)图案。
因此,提出了并入3D数据产生、特征提取和/或形状测量的用于结构化光轮廓感测的系统和方法。本公开的系统和方法产生3D点云,该3D点云可以被用于特征提取/跟踪和/或形状测量。换句话说,本公开的系统和方法允许更精确的计量,尤其是在z方向(即,轮廓深度)上。另外,3D点云可以被输出到外部软件,以用于另外的建模和/或处理。
现在参照图3A,示出根据本公开的结构化光轮廓感测系统70的第一示例性实施例。结构化光轮廓感测系统70确定表面88的轮廓。结构化光轮廓感测系统70还可以包括:控制模块72、加速计74、灯光系统76、第一MEMS反射镜系统86、第二MEMS反射镜系统90、聚焦透镜系统92和成像器94。
灯光系统76包括:第一光源78、第二光源80和第三光源82。在一个实施例中,第一光源78、第二光源80和第三光源82是激光器。但是,应当理解,其它光源也可以被实现。例如,第一光源78、第二光源80和第三光源82每一个都可以产生具有不同波长的光。在一个实施例中,这些波长可以对应于红色、绿色和蓝色。但是,可以认识到,其它的颜色(即,不同的波长范围)也可以被实现。
第一光源78、第二光源80和第三光源82可以被组合成一条同轴光束中。灯光系统76还可以包括光学系统84,该光学系统84使用第一光源78、第二光源80和第三光源82来产生光的图案。例如,在一个实施例中,光学系统84可以包括:全息衍射元件、分束器和/或棱镜。但是,可以认识到,光学系统84可以包括其它光学元件。在光学系统84中的元件操纵光(偏移、分离、衍射等)以实现期望的图案的光。
另外,可以认识到,结构化光轮廓感测系统70可以包括另外的灯光系统(未示出)和相移系统(未示出),用于在表面88上执行干涉测量。更具体地说,结构化光轮廓感测系统70可以在为了特征提取和/或形状测量的目的投影图案光与为了平坦度测量(即,干涉测量)投影条纹线的光之间进行切换。
如图所示,出于特征提取和/或形状测量的目的,轮廓感测系统70将第一图案的光投影到表面88上,然后,聚焦并捕获从表面88反射的第二图案的光。第二图案的光指示表面88的轮廓。然后,轮廓感测系统70可以将已经被捕获的聚焦的第二图案的光与投影到该表面上的第一图案的光进行比较。更具体地说,控制模块72可以确定预期的第一图案的光与从表面88反射的聚焦的第二图案的光之间的差别。例如,控制模块72可以确定第二图案的光与第一图案的光之间的相位差。这些差对应于表面88的特征,并共同地限定该表面的轮廓。
这些特征可以被输出到用于另外的处理的外部系统,或者可以由控制模块72存储和/或跟踪。换句话说,控制模块72可以基于从该表面反射的聚焦的第二图案的光(即,反馈)来连续地控制第一图案的光到表面88上的投影,以改进(refine)对共同构成表面88的轮廓的特定特征的测量。换句话说,控制模块72可以投影与第一图案的光不同的第三图案的光。例如,控制模块72可以包括存储对应于多个不同图案的光的数据(即,校准数据)的数据存储器。
现在参照图3B,示出本公开的结构化光轮廓感测系统100的第二示例性实施例。系统100确定表面102的轮廓。系统100包括:控制模块104、校准传感器系统106、投影系统108和成像系统110。
校准传感器系统106确定各种校准参数,诸如,系统100的取向、系统100的全球定位和系统100的温度。系统100的感测取向和全球定位可以允许控制模块104降低系统100的设置时间,并提高固定安装中的设置精度。另外,系统100的感测温度可以允许控制模块104自动地补偿温度变化。
在一个实施例中,校准传感器系统106包括:加速计112、多个可寻址IR发光二极管(LED)114和热电耦116。例如,加速计112可以是固态加速计,其通过测量系统100相对于两个轴的倾斜来提供系统100的取向。例如,IR LED114可以被置于系统100上的预定位置处,这样,可以被用于确定和校准系统100在外部坐标空间中(即,包括多个不同的传感器的系统)的位置。仅仅为了举例,IRLED114可以允许通过商用的立体测量装置来进行位置确定和校准。另外,例如,热电耦116可以提供温度信息,以允许系统100自动地补偿温度变化。
基于来自控制模块104的命令(即,依赖于是否提取特征、测量形状或执行干涉测量),投影系统108将第一图案的光或条纹线的光投影到表面102上。投影系统108可以将各条光束投影到表面102上,或者,投影系统108可以将多条光束组合成到同轴光束中,以投影到表面102上。在一个实施例中,多条光束由激光器产生。投影系统108还可以控制投影到表面102上的第一图案的光的颜色、强度和图案。
在一个实施例中,投影系统108包括:灯光系统118、干涉测量系统120和转向MEMS反射镜系统122。灯光系统118可以被用于产生用于投影到表面102上的图案光,以用于由控制模块104进行特征提取和/或形状测量。干涉测量系统120可以被用于对表面102的干涉测量。更具体地说,干涉测量系统120可以被用于在表面102上产生条纹线的光,以用于确定该表面的平坦度。
例如,灯光系统118还可以包括:第一光源(LS1)124、第二光源(LS2)126和第三光源(LS3)128。或者,可以认识到,灯光系统118可以包括比示出的更少或更多的光源(例如,一个单光源)。此外,光源124、126、128可以被组合成单条同轴光束。例如,光源124、126、128可以是振幅调制光源、脉冲频率调制光源和/或波长调制光源。另外,光源124、126和128可以被实时地波长抖动,以降低当投影到表面102上时的斑纹效果。
例如,在一个实施例中,LS1 124可以是红色激光器,LS2 126可以是绿色激光器,LS3可以是蓝色激光器128。更具体地说,红色激光器124可以产生具有对应于红光的波长(例如,600到690nm)的激光束。绿色激光器126可以产生具有对应于绿光的波长(例如,520到600nm)的激光束。蓝色激光器128可以产生具有对应于蓝光的波长(例如,450到520nm)的激光束。但是,可以认识到,光源124、126、128可以产生不同颜色的光(即,不同的波长范围)。
另外,灯光系统118可以包括光学系统130,以使用光源124、126、128来产生光的图案。例如,光学系统130可以使用全息衍射元件、电光元件和/或分束器来产生图案。另外,例如,光学系统130可以包括窄的带通滤波器、反射镜和/或棱镜。
在一个实施例中,由灯光系统118产生的单条(例如,同轴)光束可以是飞点光栅(flying spot raster)。换句话说,同轴光束可以包括单独的红、绿和蓝分量。这样,通过控制灯光系统118的光源124、126、128的强度,控制模块104可以控制同轴光束的强度和/或颜色。例如,控制模块104可以分别由于到表面102的距离或表面102的颜色而控制同轴光束的强度和/或颜色。
更具体地说,在一个实施例中,控制模块104可以基于反馈来控制同轴光束的颜色,以匹配表面102的颜色。调整投影光的颜色以匹配表面102的颜色,可以提高该系统的精度(即,分辨率)。这样,控制模块104可以控制三个光源124、126、128,以控制同轴光束的颜色。例如,为了提高同轴光束的红色的水平,控制模块104可以提高光源112的强度(其中,光源122产生具有对应于红光的波长的光)。这样,控制模块104可以通过(被表面102反射的)捕获的光基于反馈来控制投影到表面102上的同轴光束的合成颜色。
虽然灯光系统118可以产生同轴光束,但是,可以认识到,灯光系统118也可以使用来自转向MEMS反射镜系统122的MEMS反射镜的子集来产生每一条都被投影到表面102上的多条光束。更具体地说,在一个实施例中,来自LS1124的光束可以使用来自转向MEMS反射镜系统122的第一组MEMS反射镜而被投影到表面102上。例如,来自LS2126的光束可以使用来自转向MEMS反射镜系统122的第二组MEMS反射镜而被投影到表面102上。另外,例如,来自LS3128的光束可以使用来自转向MEMS反射镜系统122的第三组MEMS反射镜而被投影到表面102上。
或者,结构化光轮廓感测系统100可以使用干涉测量系统120来执行对表面102的干涉测量。更具体地说,灯光系统132(不同于灯光系统118)可以产生由相移系统134进行了相移的光束,并且最初的光束和相移后的光束两者可以通过转向MEMS反射镜系统122被投影到表面102上。在一个实施例中,灯光系统132可以包括一个单光源,从而使得两条投影的光束保持同相(不包括产生的偏移)。
例如,在一个实施例中,相移系统134可以包括多个分束器和/或棱镜。
当系统100正在执行干涉测量时,在相位上具有极小的差别(例如,10纳米)的两条投影的光束可以作为条纹线出现在表面102上。但是,这些条纹之间的间隔会随着表面102的不规则性而增大。换句话说,在平坦表面上,投影的光束会出现极窄的条纹(或者,没有条纹间隔),而在非常粗糙(不规则)的表面上,投影的光束会出现极宽的条纹。
现在参照图4A和图4B,示出两个不同的干涉测量系统。
现在参照图4A,示出传统的干涉仪。光源50将光束投影到反射镜51上。反射镜51将光束反射通过分束器152(例如,棱镜)。分束器152将该光束分成两条偏移光束。第一光束从与分束器152相距第一距离的第一表面153反射出去。第二光束从与分束器152相距第二距离的第二表面154反射出去。第二距离大于第一距离,这使得两条反射光束之间产生相移。然后,被反射的两条光束都被引导(通过分束器152)到接收器155。例如,接收器155可以是显示对应于两条反射光束之间的相位差的条纹图案的表面。
但是,传统的干涉仪是静止的(即,固定的),这样,只可以在接收器155(即,该表面)的小的选择区域上产生条纹图案。这样,为了覆盖大的区域(例如,大于100毫米乘100毫米),需要多个光源和多个高分辨率照相机,这会增加系统大小、复杂度和/或成本。
现在参照图4B,更详细地示出根据本公开的干涉测量系统120的示例性实施例。光源160将光束投影到MEMS反射镜162上。例如,光源160可以是灯光系统132,并且,MEMS反射镜162可以是转向MEMS反射镜系统122。MEMS反射镜162将光束反射通过分束器164。例如,分束器164可以是相移系统134。
分束器164将光束分成两条,并且,使用多个表面来使一条光束穿过而使另一条光束反射,这样,产生两条光束之间的相位偏移。然后,这两条光束被投影到表面166上。例如,表面166可以是表面102。这两条光束可以基于表面166的平坦度来产生条纹图案。更具体地说,越不规则的表面可以包括条纹之间的越宽的间隔。但是,平坦表面可以包括条纹之间的窄间隔(或没有间隔)。
由于MEMS反射镜162的精确控制,干涉测量系统可以实现比传统干涉仪大的分辨率。仅仅为了举例,干涉测量系统120可以在x和z方向上具有5微米的分辨率。另外,干涉测量系统120可以连续地调整反射镜162,以改变投影的条纹图案在表面166上的覆盖区。仅仅为了举例,该条纹图案可以被实时地转向,以覆盖200毫米乘200毫米的区域。
再次参照图3B,如上所述,转向MEMS反射镜系统122将由灯光系统118或干涉测量系统120产生的光束(即,图案或条纹)的其中之一投影到表面102上。例如,控制模块104可以控制转向MEMS反射镜系统122,以将图案或条纹投影到表面102上的特定位置。
在一个实施例中,控制模块104可以控制光学系统130来产生用于投影到表面102上的一条或多条结构化线的图案。更具体地说,控制模块104可以控制结构化线的数量、结构化线的宽度、结构化线之间的间隔、结构化线的角度和/或结构化线的强度。另外,控制模块104可以控制光学系统130来产生用于投影到表面102上的一个或多个形状的图案。例如,控制模块104可以控制光学系统130来产生用于投影到表面130上的圆形、同心圆、矩形和/或其它N边的多边形(N3)的图案。
控制模块104可以基于被测量的特征来控制被投影的图案。更具体地说,现在参照图5A和图5B,示出根据本公开的用于控制图案的两种示例方法。
现在参照图5A,示出用于处理表面上的孔的示例方法。结构化光轮廓感测系统可以投影绕着该孔的中心旋转的多条线。这样,被反射的图案可以包括对应于该孔的边缘的多个在直径上相对的点。与根据现有技术的仅仅使用垂直和/或水平线相比,该方法允许更精确的特征提取和/或形状测量。
现在参照图5B,示出用于处理表面上的狭缝的示例方法。结构化光轮廓感测系统可以沿着该狭缝的尺寸投影多条水平线和垂直线。这样,反射的图案可以包括表示该狭缝的边缘的多个点。但是,根据制造公差(tolerance),某些狭缝可能看起来更像孔,这样,也可以根据图5A的方法来处理它们。
再次参照图3B,成像系统110接收从表面102反射的第二图案的光或条纹线的光,并捕获用于由控制模块104进行的表面102的轮廓感测的接收光。由于表面102的轮廓,接收到的光可能不同于被投影的光。例如,表面102可以包括具有不同深度的多个特征。例如,基于接收到的光与被投影的光之间的相位差,控制模块104可以确定离表面102的范围。更具体地说,成像系统110可以接收反射光、倾斜反射光和/或聚焦反射光。此外,然后,成像系统110可以捕获接收到的光,并将对应数据传送到控制模块104以供处理。
在一个实施例中,成像系统110包括:接收MEMS反射镜系统140、聚焦透镜系统142和图像捕获模块144。接收MEMS反射镜系统140从表面102接收反射光,并将接收到的光引导到聚焦透镜系统142。聚焦透镜系统142可以包括一个或多个透镜。例如,控制模块104可以控制接收MEMS反射镜系统140和聚焦透镜系统142,以提供精密传感器指向对准(pointing alignment)。
接收MEMS反射镜系统140还可以将聚焦光倾斜到图像捕获模块144,以通过保持辛普弗鲁格倾斜条件来最大化聚焦。这样,例如,在一个实施例中,接收MEMS反射镜系统140的子集可以将接收到的光引导到聚焦透镜系统142,而接收MEMS反射镜系统140的不同子集可以将聚焦光倾斜到图像捕获模块144上。或者,例如,可以认识到,可以实现MEMS反射镜的两个不同系统。
控制模块104控制接收MEMS反射镜系统140和聚焦透镜系统142,以达到可以允许适合于将来技术的光学和图像处理能力的精度。更具体地说,控制模块104可以控制接收MEMS反射镜系统140和聚焦透镜系统142,以通过将聚焦光倾斜到图像捕获模块144上来产生辛普弗鲁格成像条件。
换句话说,控制模块104可以控制接收MEMS反射镜系统140和聚焦透镜系统142,以增大图像捕获模块144的视场(FOV)。控制模块104可以控制接收MEMS反射镜系统140和聚焦透镜系统142,以增大图像捕获模块144的景深。另外,控制模块104可以控制接收MEMS反射镜系统140和聚焦透镜系统142,以通过控制聚焦透镜系统142与图像捕获模块144之间的光线路径长度来保持聚焦条件。
因此,图像捕获模块144经由接收MEMS反射镜系统140和聚焦透镜系统142(即,在聚焦和/或倾斜后)接收从表面102反射的光。虽然示出了一个图像捕获模块144,但是,可以认识到,多个图像捕获模块144可以被实现。例如,多个图像捕获模块144中的每一个可以接收对应于表面102的子区域的反射光的一部分。
图像捕获模块144将聚焦光转换为数据(例如,电)。在一个实施例中,图像捕获模块144是电荷耦合器件(CCD)成像器。在另一个实施例中,图像捕获模块144是CMOS(互补金属氧化物半导体)成像器。例如,CCD成像器可以实现比CMOS成像器更高的分辨率,而CMOS成像器可以使用比CCD成像器更少的功率。
图像捕获模块144将数据发送到控制模块104,用于聚焦调整和/或用于处理,以确定表面102的轮廓。控制模块104可以通过评估由成像器捕获的激光线外形来确定捕获的光的聚焦质量。对于高斯曲线外形,通过最大化峰值并最小化激光线的宽度来改进聚焦。重要的是,成像器的动态范围使得图像不饱和。基于聚焦的质量,控制模块104控制接收MEMS反射镜系统140(或其子集)来保持辛普弗鲁格倾斜条件。该处理可以实时地连续地重复,以最大化聚焦的质量,从而保持辛普弗鲁格倾斜条件。
另外,控制模块104可以转换、提取和/或跟踪表面102的特征。另外,控制模块104可以将数据输出到表面形成(surfacing)和/或检查软件,用于建模和/或另外的处理。此外,控制模块104可以基于提取的3D特征来调整投影系统108和/或成像系统110。换句话说,例如,控制模块104可以调整将图案光或条纹线的光投影到表面102上以用于更精确的轮廓感测。
现在参照图6,示出控制模块104的示例性实施例。控制模块104可以包括:2D处理模块170、2D提取/分区模块(extraction/segmentation module)172、坐标变换模块174、3D特征提取模块176和特征位置跟踪模块178。
2D处理模块170接收对应于投影光和反射光的数据。更具体地说,2D处理模块确定来自图像捕获模块144的数据(第二图像)与对应于投影光(即,图案光或条纹线)的数据之间的差别。在一个实施例中,对应于投影光的数据可以被存储在控制模块104中的数据存储器中。
2D提取/分区模块172从2D处理模块170接收被处理的数据。2D提取/分区模块172从2D数据提取特征。换句话说,2D提取/分区模块172将处理的数据分区到对应于不同特征的分区中。例如,这些分区可以对应于超出预定特征阈值的数据。
坐标变换模块174接收对应于提取的特征的分区数据。坐标变换模块174还接收传感器校准数据和移动器(mover)/工具校准数据。例如,传感器校准数据可以通过加速计112来产生。移动器/工具校准数据可以是存储在数据存储器中的预定校准数据。但是,可以认识到,在一个实施例中,移动器/工具校准数据可以由用户来输入。
坐标变换模块174将2D分区的坐标变换为对应于不同特征的3D坐标。更具体地说,坐标变换模块174确定特定坐标的深度(即,由于辛普弗鲁格倾斜引起的)。例如,坐标变换模块174可以产生对应于每个2D分区的3D点云。在一个实施例中,3D点云可以被发送到外部3D表面形成软件,用于对3D坐标进行建模。
3D特征提取模块176接收3D点云。3D特征提取模块176从3D点云提取特征。更具体地说,3D特征提取模块176可以确定哪些特征超出了预定阈值(例如,表面弯曲的程度),因此可以提取过量的特征。3D提取的特征可以不同于2D提取的特征。换句话说,在被转换为3D提取的特征之后,某些2D提取的特征可以被忽略。在一个实施例中,提取的3D特征可以被发送到外部检查软件,用于另外的计算和/或对提取的3D特征的过量的测量的确认。
特征位置跟踪模块178接收提取的3D特征。特征位置跟踪模块178将提取的3D特征存储在数据存储器中。特征位置跟踪模块178还可以基于提取的3D特征来调整转向MEMS反射镜系统122和/或接收MEMS反射镜系统140。换句话说,特征位置跟踪模块178可以调整用于对一个或多个提取的3D特征的更精确的轮廓感测的系统(例如,基于反馈的系统)。但是,当特征位置跟踪模块178调整转向MEMS反射镜系统122和/或接收MEMS反射镜系统140时,反射镜角度的改变被传送给坐标变换模块174,用于将来的坐标变换操作。
现在参照图7,用于校正根据本公开的轮廓感测系统的角度的示例方法开始于步骤200。
在步骤202中,系统确定对应于反射光中的位置的数据是否与对应于投影光中的位置的数据相等。如果是真,那么控制返回到步骤202(即,不需要校准)。如果是假,那么控制前进到步骤204。
在步骤204中,系统使用加速计来测量移动。例如,系统使用加速计来确定重力对系统的影响,诸如x轴和/或y轴的倾斜。在步骤206中,系统调整转向MEMS反射镜122和接收MEMS反射镜140,以补偿对系统的确定的外部影响。然后,控制可以返回到步骤202。
现在参照图8A-8B,示出用于补偿根据本公开的轮廓感测系统的温度变化的示例方法。
现在参照图8A,用于由于温度变化而调整投影的示例方法开始于步骤250。在步骤252中,系统测量投影系统的温度。例如,温度可以通过热电耦116产生。
在步骤254中,系统确定测量到的温度是否与校准温度不同。例如,校准温度可以是存储在数据存储器中的多个预定温度之一。如果是真,那么控制可以前进到步骤256。如果是假,那么控制可以返回到步骤252。
在步骤254中,系统可以基于测量到的温度来调整转向MEMS反射镜122。例如,系统可以基于MEMS反射镜位置(y)与温度(T)之间的预定关系(函数g)(例如,y=g(T))来调整转向MEMS反射镜122。在一个实施例中,函数(g)可以包括存储在数据存储器中的多个反射镜位置(y)和多个对应的温度(T)。然后,控制可以返回到步骤252。
现在参照图8B,用于由于温度变化而调整成像(接收)的示例方法开始于步骤260。在步骤262中,系统测量成像系统的温度。例如,温度可以通过热电耦116产生。
在步骤264中,系统确定测量到的温度是否与校准温度不同。例如,校准温度可以是存储在数据存储器中的多个预定温度之一。如果是真,那么控制可以前进到步骤266。如果是假,那么控制可以返回到步骤262。
在步骤264中,系统可以基于测量到的温度来调整接收MEMS反射镜140。例如,系统可以基于MEMS反射镜位置(x)与温度(T)之间的预定关系(函数f)(例如,x=f(T))来调整接收MEMS反射镜140。在一个实施例中,函数(f)可以包括存储在数据存储器中的多个反射镜位置(x)和多个对应的温度(T)。然后,控制可以返回到步骤252。
现在参照图9,用于操作根据本公开的结构化光轮廓感测系统的示例方法开始于步骤300。在步骤302中,系统确定是否要执行特征提取和/或形状测量或者是否要执行干涉测量。如果要执行特征提取和/或形状测量,那么控制可以前进到步骤304。如果要执行干涉测量,那么控制可以前进到步骤314。
在步骤304中,系统基于传感器反馈和/或提取的特征或形状测量(即,来自之前的循环)来执行校准。例如,系统可以校准被投影的光束的颜色和/或强度、投影或成像MEMS反射镜的定位等。
在步骤306中,系统产生第一图案的光并将其投影到表面上,以用于轮廓感测。更具体地说,系统可以产生特定颜色和/或强度的光束,并且可以将包括一条或多条线和/或一个或多个形状的图案投影到表面上。
在步骤308中,系统接收从表面反射的光并引导反射光以用于捕获。更具体地说,系统接收反射光,引导反射光,并且为了最大化用于成像器的反射光的聚焦(即,辛普弗鲁格倾斜)而倾斜反射光。
在步骤310中,系统出于处理的目的而捕获聚焦光。例如,聚焦光可以通过CCD照相机或CMOS照相机来捕获。
在步骤312中,系统处理对应于聚焦光的数据,以用于表面的特征提取和/或形状测量。另外,系统可以将提取的特征或形状测量存储在数据存储器中,并且/或者输出对应于提取的特征的数据,以用于外部的建模和/或另外的处理。然后,控制可以返回到步骤302。
在步骤314中,系统基于传感器反馈和/或提取的特征或形状测量(即,来自之前的循环)来执行校准。例如,系统可以校准被投影的光束的颜色和/或强度、投影或成像MEMS反射镜的定位等。
在步骤316中,系统产生光束。例如,系统可以使用与用于特征提取和/或形状测量的灯光系统不同的灯光系统来产生光束。
在步骤318中,系统分开并偏移该光束,从而产生具有较小相位差(例如,10nm)的两条光束。例如,可以使用多个分束器和/或棱镜来分开并偏移该光束。
在步骤320中,系统捕获从表面反射的条纹线的光。在步骤322中,系统测量条纹间的间隔,并基于该间隔来确定表面的平坦度。例如,越平坦的表面可以包括条纹间的越小的间隔。然后,控制可以返回到步骤302。
根据本公开的其它特征,提出了被配置用于多模式操作的结构化光传感器系统。更具体地说,结构化光传感器系统被配置为在(i)点模式、(ii)线模式和(iii)区域模式中的每一个模式中操作。点模式指光的点的投影和成像。线模式指光的第一多个点的投影和成像,光的第一多个点形成线。区域模式指第二多个点的投影和成像,第二多个点形成多条线,该多条线共同形成区域。结构化光传感器系统通常包括:投影系统、成像系统和控制模块。但是,结构化光传感器系统可以包括其它适合的部件。
通过协调投影系统和成像系统的操作,投影系统被配置为将(i)光点或(ii)形成一条或多条线的多个光点投影到表面上。例如,控制模块可以基于期望的操作模式来控制成像系统相对于投影系统的开启时间(即,图像正被捕获多长时间)。虽然控制模块被描述为投影系统和成像系统的协调控制,但是,认识到,控制电路也可以在投影系统和/或成像系统中被实现,而不是实现控制模块,从而达到类似的协调控制。
现在参照图10,示出示例结构化光传感器系统500。如之前所述,结构化光传感器系统500被配置为在(i)点模式、(ii)线模式和(iii)区域模式中的每一个模式中操作。更具体地说,控制模块510可以基于期望的操作模式(点、线或区域)来对投影系统520和成像系统530进行协调控制。期望的操作模式可以由用户540来输入或选择。
另外,可以实现多于一个的成像系统530。更具体地说,两个或更多的成像系统530可以被实现,以增大系统500的视场(FOV)。例如,可以实现两个成像系统530,每一个都具有彼此局部地重叠的FOV,从而增大在X方向上的整体扫描宽度,如共同转让的于2010年11月10日提交的美国专利申请12/943,344中所公开的,该专利申请的全部内容通过引用并入本文。
投影系统520可以包括一个或多个光源以及MEMS反射镜系统。该一个或多个光源共同产生由MEMS反射镜系统转向到表面560的特征550上或其附近的光束。投影系统520还可以包括用于操纵光束的光学系统。在成像系统的曝光循环期间,来自投影系统520的光以非常高的频率被优选地扫描。例如,投影系统520可以以预定的频率来产生光脉冲。
与成像系统的诸如快门速度的曝光循环相比,投影系统的扫描速度相当快(例如,100倍快)。通过使用扫描速度与快门速度的组合,系统500可以获得点数据、线数据、多线数据或区域照明。例如,区域照明的质量类似于通过诸如LED的泛光照明源获得的质量。这种照明方法的优点在于,其使用可以执行可再现的精确路径的校准MEMS装置的能力。这样,在扫描期间的MEMS反射镜系统的每个位置都被精确地告知和/或报告给相关的控制模块。
控制模块510控制投影系统520来投影(i)光点或(ii)多个光点,该多个光点形成一条或多条光线。换句话说,投影系统可以投影(i)光点(点模式)、(ii)第一多个光点,该第一多个光点形成线(线模式)、或者(ii)第二多个光点,该第二多个光点形成多条线(区域模式)。在某些实现方式中,多条线(区域模式)可以包括(一条或多条)水平线和(一条或多条)垂直线两者的组合。但是,多条线每一个都可以具有相同的取向。
控制模块510可以基于期望的操作模式来命令这三种投影的其中之一。但是,控制模块510还选择性地基于期望的操作模式来选择性地控制成像系统530。例如,控制模块510可以基于期望的操作模式(或者用于投影系统520的命令的操作模式)(即,点、线或多线(区域))来控制成像系统530的开启时间。
在点模式中,控制模块510命令投影系统520将光的点投影到表面560的特征550上。在降低背景的同时可以提供点模式用于最大的强度。仅仅为了举例,点模式可以适合于诸如复合材料(composite)、黑色涂料等的暗的有光泽的表面。图11A示出在点模式期间投影系统520和成像系统530的协调控制的例子。
如图所示,控制模块510使得成像系统530(高状态)在投影系统520(也是高状态)进行的点投影的时段启用。换句话说,成像系统530的开启时间可以大致是一个投影时段(或脉冲),其在下文中被称为第一投影时段。但是,成像系统530的开启时间还可以比第一投影时段稍大,从而与投影的开始和投影的结束两者都重叠(如图所示)。
在线模式中,控制模块510命令投影系统520投影形成光线的第一多个光点(即,多个投影脉冲)。第一多个光点延伸贯穿表面560的特征550。线模式可以提供用于以最大分辨率的对特征的3D成像。例如,当与有效的子像素算法组合时,系统500的成像分辨率可以被改进,即,可以实现更精细的分辨率的成像系统530。图11B示出在线模式期间投影系统520和成像系统530的协调控制的例子。
如图所示,控制模块510使得成像系统530在线投影的时段(即,用于投影形成线的两个或多个光的点的时段)启用。换句话说,成像系统530的开启时间可以大约是两个或多个点投影时段(或脉冲)。但是,成像系统530的开启时间还可以比投影系统520的线投影时段(两个或多个点投影时段)大,从而与投影的开始和投影的结束两者都重叠(如图所示)。
在区域模式中,控制模块510命令投影系统520将形成多条光线的第二多个光点投影到特征550上。如之前所提到的,在某些实现方式中,多条光线可以包括至少一条水平的光线和至少一条垂直的光线(例如,正交的线)。但是,多条光线中的每一条都可以具有相同的取向(例如,平行线)。但是,其它数量的线和角度配置也可以被投影。区域模式可以提供用于在成像系统530的单次曝光中对大平坦区域的成像。图11C示出在区域模式期间投影系统520和成像系统530的协调控制的例子。
如图所示,控制模块510使得成像系统530在区域投影时段(即,用于投影形成两条或多条光线的四个或多个光点的时段)启用。换句话说,成像系统530的开启时间可以大约是四个或多个点投影时段(或脉冲)。但是,如前所述,成像系统530的启用时段还可以比投影系统520的区域投影时段(四个或多个点投影时段)大,从而与投影的开始和投影的结束两者都重叠(如图所示)。
另外,虽然线投影时段和区域投影时段是相对于点投影时段来定义的,但是,认识到,根据给定的操作模式期间投影系统520的占空比或脉冲频率,这些投影时段中的每一个的相对长度都可以不同。换句话说,成像系统530可以分别具有用于点模式、线模式和区域模式的第一时段、第二时段和第三时段的开启时间。
现在参考图12,用于协调投影系统和成像系统在(i)点模式、(ii)线模式、和(iii)区域模式中的每一个中操作的示例方法开始于600。在600,控制模块510确定期望的操作模式。如之前所述,期望的操作模式可以由用户来输入或选择。如果希望点模式,那么控制可以前进到604。如果希望线模式,那么控制可以前进到608。如果希望区域模式,那么控制可以前进到612。
在604,控制模块510可以(i)命令投影系统520将光点投影到表面560的特征550上,并且(ii)命令成像系统530开启持续大约(或略长于)点投影时段的时间。然后,控制可以前进到616。
在608,控制模块510可以(i)命令投影系统520将形成线的第一多个点投影到延伸贯穿特征550的表面560上,并且(ii)命令成像系统530开启持续大约(或略长于)点投影时段(两个或多个点投影时段)的时间。然后,控制可以前进到616。
在612,控制模块510可以(i)命令投影系统520将形成多条光线的第二多个点投影到在特征550上或靠近特征550的表面上,并且(ii)命令成像系统530开启持续大约(或略长于)区域投影时段(四个或多个点投影时段)的时间。然后,控制可以前进到616。
在616,控制模块510可以基于由成像系统530收集的数据来确定特征550的参数。该参数可以包括尺寸或与特征尺寸有关的其它适合的参数。仅仅为了举例,其它适合的参数可以包括面积、深度或体积。然后,控制可以返回到600。
根据本公开的其它特征,提出了结构化光传感器系统,其被配置为确定特征的参数并将特征的参数投影到表面上。更具体地说,结构化光传感器系统被配置为确定表面上的特征的参数,然后将尺寸投影到表面上。结构化光传感器系统可以根据之前在本文中描述的方法来确定特征的尺寸。该参数可以包括,但并不限于,尺寸、平坦度、面积或体积。例如,尺寸可以是2D测量结果,诸如,宽度、高度、深度、半径、直径、周长等。
再次参考图10,如之前所描述的,结构化光传感器系统500可以首先将第一图案的光投影到表面560的特征550上。然后,成像系统530可以捕获表面560的图像,该捕获的图像包括被表面560反射的光。然后,控制模块510可以基于捕获的图像产生数据,即,数字化捕获的图像,然后,基于产生的数据来确定特征550的参数。
在确定了特征550的参数后,然后,结构化光传感器系统500可以将第二图案的光投影到表面560上。但是,代替出于测量目的的投影,第二图案的光可以被控制,以将确定的参数显示在表面560上。控制模块510可以基于确定的参数来控制投影系统520。相反,控制模块510可以控制投影系统510来将投影的第二图案的光操纵成确定的参数的可读显示。例如,第二图案的光可以包括数字和/或测量单位。
在将确定的参数投影到表面560后,然后,结构化光传感器系统500的用户可以容易地从表面560读取确定的参数。利用相同的结构化光传感器系统500将确定的参数传送给用户降低了成本,该成本同诸如显示器或计算机的与用户进行通信的其它模式相关联。此外,由于用户可以被集中于相同的大体位置,所以投影确定的特征550的参数可以是将测量结果传送给用户的更快的方式(例如,无需在特征550的测量与外部的显示器或计算机之间来回地观看)。
图13示出对表面730上的特征720的确定的参数的投影710的示例性示图700。如图所示,投影参数710(“2.54cm”)表示孔/孔径特征720的直径。但是,如之前所述,投影参数710可以包括数字和/或测量单位的其它组合。虽然投影参数710被示出位于特征720之上,但是,投影参数710也可以位于表面730上的其它适合的位置处。
确切地说,可替换地,投影参数710可以位于特征720的左边、右边或下面,并且还可以更接近或更远离特征720。例如,控制模块510可以控制投影系统520将确定的参数投影到距离特征720预定义的距离处或预定义的距离内。该预定义的距离可以是预先确定的,并存储在存储器中或由用户输入。另外,相对于特征720的位置也可以是预先确定的,并存储在存储器中或由用户输入。
现在参考图14,用于确定并投影表面上的特征的尺寸的示例方法开始于800。在800,控制模块510控制投影系统520将第一图案的光投影到表面560的特征550上或其附近。在804,控制模块510控制成像系统530捕获表面530的图像,捕获的图像包括被表面560反射的光。在808,控制模块510基于捕获的图像产生数据。在812,控制模块510基于产生的数据确定特征550的参数。在816,控制模块510控制投影系统520将第二图案的光投影到表面560上,第二图案的光将确定的参数显示给用户。然后,控制可以结束或返回到800进行另外的循环。
根据本公开的其它特征,提出了用于测量表面的轮廓的装置。该装置包括壳体和置于该壳体内的结构化光传感器系统的多个部件。仅仅为了举例,在壳体内的部件可以包括图3B的系统100。但是,置于壳体内的部件通常包括如下:成像透镜系统、图像捕获装置、第一组MEMS反射镜和控制模块。
成像透镜系统被配置为使用至少一个透镜来聚焦从表面反射的光。成像透镜系统具有对应的透镜焦表面。从表面反射的光指示表面轮廓。图像捕获装置被配置为捕获聚焦光并产生对应于捕获光的数据。图像捕获装置具有不平行于透镜焦平面的对应的图像焦平面。
第一组MEMS反射镜被配置为将聚焦光引导到图像捕获装置。控制模块被配置为(i)从图像捕获装置接收对应于捕获的光的数据,(ii)基于接收的数据来确定捕获的光的聚焦质量,并且(iii)基于聚焦质量来控制所述一组MEMS反射镜,以保持透镜焦平面和图像焦平面之间的辛普弗鲁格倾斜条件。
现在参考图15,示出示例装置900,其包括壳体904和置于该壳体内的结构化光传感器系统的部件。壳体904可以包括在本文中之前描述的结构化光传感器系统的各个实施例中的任意一个。此外,壳体904可以包括其它的适合的部件,或者可以包括比在本文中之前描述的实施例或多或少的部件。但是,如之前所提到的,壳体904通常可以包括如下:成像透镜系统、图像捕获装置、第一组MEMS反射镜和控制模块(都在壳体900内,因此未示出)。
如之前所述,装置900将图案的光投影到表面912的特征908之上或附近。例如,如图所示,特征908可以是孔或类似的孔径。装置900可以使用投影系统来投影图案光,该投影系统包括:一个或多个光源、光学系统和第一MEMS反射镜系统。装置900可以将光通过装置900中的第一开口916投影到表面912上。然后,装置900可以通过第二开口920接收被表面912反射的光(指示特征908)。
经由第二开口接收的光可以通过成像系统被转向和捕获。成像系统可以包括:第二MEMS反射镜系统、成像透镜系统和图像捕获装置。壳体900内的控制模块可以(i)确定捕获的光的聚焦的质量,并且(ii)基于聚焦的质量来控制第二组MEMS反射镜,以保持透镜焦平面与图像焦平面之间的辛普弗鲁格倾斜条件。控制模块还可以处理该数据以确定特征908的(一个或多个)参数。
现在参考图16,在图3b中描述的系统可以被实现为包括场投影系统109。场投影系统109可以与控制模块104进行通信。场投影系统109可以是白光系统。白光系统可以产生编码的线图案,诸如白光莫尔条纹投影系统。因此,场投影系统109可以包括光源160,诸如白光源。光源160可以是卤素源,但是也可以使用各种其它类型的发射白光的技术。场投影模块109可以包括被配置为产生大致均匀的场的透镜系统162,该场对于要被测量的表面102具有恰当的发散度。另外,该系统可以包括多个光栅164、166。光场可以通过第一光栅164和第二光栅166来投影,以产生在该部分上可以被看成莫尔条纹图案的跳动图案(beating pattern)。此外,相移装置168可以被附接到光栅164、166中的一个或多个,以改变光栅相对于彼此的位置或角度,从而产生投影到表面102上的莫尔条纹图案的相移。在每个相位位置处可以拍摄一个或多个图像。可以针对在该部分上成像的莫尔条纹图案的每个相位来分析在每个像素位置处的亮度或灰度值。捕获的相位差越大,软件可以将系统变化解决得更好。
在该配置中,成像系统110包括聚焦透镜系统142和图像捕获模块144。聚焦透镜系统142接收从表面102反射的光,并将接收到的光引导到图像捕获模块144。聚焦透镜系统142可以包括一个或多个透镜。
另外,该系统还可以包括第二成像系统111,其包括透镜系统150和图像捕获模块152。透镜系统150可以将从表面102反射的光引导到图像捕获模块152,在图像捕获模块152,来自场投影单元109或自适应光装置108的图案的图像可以被捕获。自适应光装置可以是如关于图3B描述的投影系统108,例如,具有可程序控制的MEMS反射镜的激光系统。将第一成像系统110与第二成像系统111一同使用,该系统可以以立体模式来操作,从而提供用于表面102中的角度变化的更好的覆盖区,并且允许该系统使用第一成像系统110与第二成像系统111的视角基于已知的三角测量法来更好地求得从系统100到表面102的距离。
现在参考图17,示出使用场投影系统和自适应光装置来获取数据的方法。方法1700开始于框1710。在框1712中,如框1712所标注的,场投影系统对表面102上的场进行照明并执行区域获取。该系统可以是白光莫尔条纹投影系统,这样,可以由单个成像器或多个成像器以立体模式来执行获取。此外,在获取期间可以捕获多个图像。例如,可以获取多个图像,其中,每个图像捕获投影的莫尔条纹图案的不同的相移。因此,可以根据在多个不同相位捕获的图像来计算3D深度数据。如框1714所标注的,通过对数据的分析,该系统可以识别由于镜面反射而导致的太少数据的区域。例如,每个像素的亮度或灰度可以被分析,并且,如果灰度值在给出的阈值之上,那么其可以指示从表面正接收到了镜面反射。镜面反射通常会使成像器的像素饱和,因此,当莫尔条纹图案的相位改变时,可以看到该像素的亮度没有变化。镜面反射的一个例子可以在图18中看到。莫尔条纹图案可以包括多个交替的光条纹1812、1816和暗条纹1810、1814、1820。镜面反射区域1830可以看起来为图像中的亮光斑。在区域1830中的亮光斑可以中断条纹图案,并且,由于检测器中的像素可能会饱和或接近饱和,所以可以在条纹图案的相位改变时导致像素的亮度有很少的改变或不改变。
再次参考图17,如框1718所标注,该系统可以对自适应光装置进行编程,以将光斑的图案定位于镜面区域中。例如,如图19所示,自适应光装置可以对镜面区域1830内的多个激光光斑1910进行编程。激光光斑1910可以由该系统的一个或多个图像捕获模块来成像,以使用各种三角测量或干涉测量技术来确定从传感器到该部分的表面的距离。使用来自自适应光装置的激光器的小的高强度光斑为图像捕获模块提供了可以比从投影模块的场得到的大得多的返回光(return)。这在白光莫尔条纹投影仪的情况中尤其如此。
再次参考图17,如框1716所标注的,该系统可以识别由于较差的条纹对比度或较差的条纹分辨率而导致的可用数据太少的区域。在这种情况中,来自表面的返回光可能非常低,其可能在几何形状不允许投影光场的正确的传送的一个部分的内部角落处。因此,在莫尔条纹图案的一个相位与莫尔条纹图案的另一个相位中的像素之间可能会有很少的亮度差异。或者,表面的区域的深度的改变可以会急剧,因此,在非常小的区域上出现许多条纹转变。这样,成像器可能不能够恰当地分辨相位的改变。可以参见图20中的一个例子。
类似于图18,图20包括白光莫尔条纹图案。白光莫尔条纹图案包括交替的光条纹2010、2014、2018和暗条纹2012、2016。该图像包括表面斜率急剧变化的区域2030。因此,在图像的非常小的区域中出现多个条纹转变。因此,这些区域可以通过对莫尔条纹图案的不同相位处的每个像素位置的亮度之间的差设置阈值来得以识别。
如框1720所标注的,该程序可以利用自适应光装置来将结构化图案放置在具有较差的条纹对比度或较差的条纹分辨率的区域之上,以获取区域2030中的数据。自适应光装置可以使用以平行线图案来投影的激光线。该线图案可以被用于使用三角测量技术来获取区域2030中的数据。可以针对图21更好地理解该技术。
图21示出使用自适应光装置投影到区域2030中的多条激光线2110。激光线2110可以被这样定位,使得每一条线通常都垂直于区域2030中的局部条纹图案,或者,在其它实现方式中,如图所示,可以使用一系列平行线,该一系列平行线通常都垂直于这些条纹。另外,如果需要另外的分辨率,那么可以在连续的图像中使用多个线取向。
再次参考图17,如框1722所标注的,该系统可以利用例如来自莫尔条纹图案分析的场投影数据来识别该部分的几何形状特征。几何形状特征可以包括:孔、狭缝、角落、边缘和该部分的各种其它几何形状特征。确定几何形状特征的分析可以包括通过从场投影数据和/或自适应光装置数据提取的三维数据云移动球体或其它采样容器。球体中的数据可以与多个预定义的模板进行比较,以确定是否在表面上识别到了对应于模板的几何形状特征。
另外,如框1724所标注的,自适应光装置可以被控制以基于表面102的识别的几何形状特征来产生结构化图案。例如,线图案可以垂直于狭缝的边缘或垂直于在该部分中形成的边缘或角落来产生。这些几何形状特征可以仅基于区域获取,或者,基于除了诸如针对框1718和1720描述的其它获取以外的区域获取来识别。
但是,针对框1710到1724描述的技术可以针对某个部分被自适应地执行。循环时间可能会被所需的复杂分析和在上述处理中使用的多个图像所妨碍。这样,在1710到1724中的步骤可以被用作该系统的教导模式的一部分。这样,如框1726所标注的,可以产生获取模型。获取模型可以包括区域获取和一个或多个自适应光装置获取。例如,用于采集镜面区域中的数据、采集较差的条纹对比度或分辨率区域的数据、以及基于几何形状特征来采集数据的一个或多个获取。或者,区域获取可以仅用于教导模式,而自适应光装置获取可以仅用于在运行时间环境期间降低循环时间的获取模型。在这种情况中,可以利用包括基于几何形状特征的结构化图案的一个或多个自适应光装置获取。在框1728中,该系统可以允许手动调整获取模型。手动调整可以允许用户图形化地添加、去除或修改线或光斑,这些线或光斑来自由自适应光装置投影的图案。在框1730中,系统可以存储获取模型,从而使得可以检索获取模型以用于运行时间执行。该方法在框1732结束。此外,这样理解,该系统可以存储多个获取模型,并且一个特定的获取模型可以基于由该系统感测到的部分标识符来触发。部分标识符可以通过条形码或其它感测机制来接收或经由部分跟踪系统来提供给系统,该部分跟踪系统在整个制造过程中跟踪该部分。
除了区域投影系统以外或代替区域投影系统,系统可以采用自适应光装置来在点模式中扫描表面,并且采用同步行动的立体照相机来产生场景的粗糙的3D表面。使用粗点云,控制器可以产生3D表面。然后,系统可以将自适应光装置切换到线模式,并捕获投影到表面上的线。系统可以使用三角测量法来计算表面上的数据点。之前在点模式中捕获的3D表面可以被用于分辨使用线来获取数据时的任何深度退化(depth degeneracy)。
然后,可以对数字化场景进行统计分析,以寻找数据质量改进。这可以采取上述的形式,其中,通过3D云数据来移动球体或其它体积。可以针对体积的每个点来获得各种统计数据。自适应光装置可以被控制,以对用于高密度数据捕获的局部化区域进行照明,其中,数据是稀疏的,或者在恰当的时候,是基于特定的几何形状的模板匹配。这可以采用如上所述的相同的方式。例如,激光光斑可以被用于镜面区域,激光线可以被用于低对比度或倾斜的区域。另外,基于例如通过模板匹配所识别的特定几何形状,可以生成激光图案。另外,3D配准算法(registration algorithm)可以被用来最小化非重叠问题,并且3D表面形成算法可以根据在任一情形中生成的点云来生成3D NURB表面。3D NURB表面和/或点云数据可以被输出到可以由第三方供应的分析或显示软件。
该装置可以构建有较小的支架,因此其大小适合于手持市场。另外,该装置可以使用通过光纤耦接指向MEMS反射镜单元的近IR、红色和蓝色激光器来提供多个模型。
此外,该装置可以被用于在分辨率没有显著损失的情况下捕获大场景。所述的系统不需要逆向反射器或摄影目标来配准3D场景。当前的照相机和透镜技术允许该装置自动调整聚焦和变焦,以改进图像质量。在没有外部干涉的情况下,激光的调制可以允许优化对各部分的照明。
另外,如关于图22所示出的,传感器可以独立于自适应光装置单元被安装。在这种情况中,例如上面针对图16描述的一个或多个传感器2210可以被提供,以用于检查部分2214。如上所述,自适应光装置2212还可以被提供用于检查相同部分。自适应光装置2212可以独立于一个或多个传感器2210被安装。自适应光装置2212还可以被工厂校准以将投影角度映射到自适应光装置2212前方的投影空间。来自自适应光装置的光可以被投影到部分2214上,并由一个或多个传感器2210接收。但是,由于每个装置的独立安装,自适应光装置2212与一个或多个传感器2210之间的关系将不会被知晓。因此,自适应光装置2212与一个或多个传感器2210可以被校正,并且,通过将诸如校准伪影的已知表面放置在自适应光装置2212的投影场与一个或多个传感器2210中的每一个的视场内,可以确定一个或多个传感器2210中的每一个与自适应光装置2212之间的变换。该变换可以被保存并在生产模式中利用,以测量要由该系统检查的各部分。如果自适应光装置是可程序控制的并且可以控制自适应光装置投影空间内的投影,那么这可是特别有帮助的,因为该测量系统将能够检索在自适应光装置空间中的投影位置,并将光投影变换到传感器空间中,以根据观看到的与传感器空间中的表面的交互来确定表面的位置。
本公开的主要教导可以以各种形式实现。因此,虽然本公开包括了特定的例子,但是,由于在研究了附图、说明书和下面的权利要求时其它的修改将变得显而易见,因此本公开的真实范围并不应当局限于此。

Claims (22)

1.一种检查物品的系统,该系统包括:
至少一个成像器,被配置为接收具有包括物品的视场的图像;
场投影装置,被配置为将照明场投影到视场内的物品上;
自适应光装置,被配置为将照明结构投影到视场内的物品上;以及
处理器,被配置为从成像器接收与照明场和照明结构相对应的图像数据,该处理器被配置为基于照明场和照明结构分析物品的特征。
2.根据权利要求1所述的系统,其中,照明场包含图案。
3.根据权利要求2所述的系统,其中,图案是编码的线图案。
4.根据权利要求3所述的系统,其中,编码的线图案是莫尔条纹图案。
5.根据权利要求1所述的系统,其中,自适应光装置是激光光源。
6.根据权利要求5所述的系统,其中,照明结构是可程序控制的。
7.根据权利要求1所述的系统,其中,自适应光装置被配置为基于对照明场的分析自动地将照明结构投影到物品上。
8.根据权利要求7所述的系统,其中,自适应光装置被配置为产生一条线或多条线的图案,以获取其中来自分析场投影的数据是稀疏的区域中的数据。
9.根据权利要求8所述的系统,其中,自适应光装置被配置为产生一点或多点的图案,以获取其中来自分析场投影的数据确定照明场的散射正在抑制对照明场的分析的区域中的数据。
10.根据权利要求1所述的系统,其中,处理器被配置为确定关于物品的几何形状。
11.根据权利要求1所述的系统,其中,基于对照明场的分析来识别几何形状。
12.根据权利要求1所述的系统,其中,基于多个预定义的模板来识别几何形状。
13.根据权利要求1所述的系统,其中,自适应光装置被配置为基于几何形状将结构投影到物品上。
14.根据权利要求1所述的系统,其中,对结构进行分析,以定义用于物品的特征的模板。
15.一种检查物品的方法,该方法包括下述步骤:
对视场内的物品进行成像;
将照明场投影到视场内的物品上;
将照明结构选择性地投影到视场内的物品上;
接收与照明场和照明结构相对应的图像数据;以及
基于照明场和照明结构分析物品的特征。
16.根据权利要求15所述的方法,其中,照明场包括莫尔条纹图案,并且,照明结构是可程序控制的激光照明结构。
17.根据权利要求15所述的方法,还包括基于对照明场的分析自动地将照明结构投影到物品上。
18.根据权利要求15所述的方法,还包括基于对照明场的分析和多个预定义的模板来确定关于物品的几何形状。
19.一种检查物品的系统,该系统包括:
以立体对的方式配置的第一成像器和第二成像器,第一成像器和第二成像器中的每一个被配置为接收具有包括物品的视场的图像;
场投影装置,被配置为将包括预定的编码的激光图案的照明场投影到第一成像器和第二成像器二者的视场内的物品上;
自适应光装置,被配置为将可程序控制的激光照明结构投影到第一成像器和第二成像器二者的视场内的物品上;以及
处理器,被配置为从成像器接收与照明场和照明结构相对应的图像数据,该处理器被配置为基于照明场和照明结构分析物品的特征,该处理器被配置为控制自适应光装置,以基于对照明场的分析自动地将照明结构投影到物品上。
20.根据权利要求19所述的系统,其中,处理器被配置为基于对照明场的分析和多个预定义的模板来确定关于物品的几何形状。
21.根据权利要求20所述的系统,其中,自适应光装置被配置为基于几何形状将结构投影到物品上,并且,对结构进行分析,以定义用于物品的特征的模板。
22.一种检查物品的系统,该系统包括:
至少一个成像器,被配置为接收具有包括物品的视场的图像;
自适应光装置,被配置为将照明结构投影到视场内的物品上,其中,自适应光装置与所述至少一个成像器独立地被安装,并且在安装之后被校准,以确定至少一个成像器空间和自适应光装置空间之间的变换;以及
处理器,被配置为从成像器接收与照明结构相对应的图像数据,该处理器被配置为基于照明结构和变换分析物品的特征。
CN201310227111.1A 2012-06-08 2013-06-08 混合系统 Pending CN103486979A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/492,065 2012-06-08
US13/492,065 US9170097B2 (en) 2008-04-01 2012-06-08 Hybrid system

Publications (1)

Publication Number Publication Date
CN103486979A true CN103486979A (zh) 2014-01-01

Family

ID=49626009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310227111.1A Pending CN103486979A (zh) 2012-06-08 2013-06-08 混合系统

Country Status (2)

Country Link
CN (1) CN103486979A (zh)
DE (1) DE102013105828A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700280A (zh) * 2014-12-16 2016-06-22 原子能及能源替代委员会 结构化光投影仪和具有这种投影仪的三维扫描仪
WO2017173744A1 (zh) * 2016-04-08 2017-10-12 杭州先临三维科技股份有限公司 一种多测量模式的三维测量系统及测量方法
CN110542403A (zh) * 2019-09-19 2019-12-06 上海兰宝传感科技股份有限公司 一种mems测量传感器以及三角区域测量方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686517B2 (en) 2014-12-15 2017-06-20 Test Research, Inc. Optical system and image compensating method of optical apparatus
DE102016221040A1 (de) * 2016-10-26 2018-04-26 Robert Bosch Gmbh Verfahren zur Lokalisierung einer Vorrichtung in einem System
CN108169981A (zh) * 2018-01-15 2018-06-15 深圳奥比中光科技有限公司 多功能照明模组
CN110017795B (zh) * 2019-04-24 2020-12-29 中国科学院国家天文台南京天文光学技术研究所 一种用于镜面检验的相对式摆臂式轮廓仪及检测方法
US20210404874A1 (en) * 2020-06-24 2021-12-30 Airmar Technology Corporation Software Defined Lighting
CN115673000B (zh) * 2022-10-18 2025-11-18 燕山大学 一种粗轧过程板带显式板形在线视觉检测系统及方法
CN116593282B (zh) * 2023-07-14 2023-11-28 四川名人居门窗有限公司 一种基于结构光的玻璃抗冲击反应测试系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262803B1 (en) * 1998-09-10 2001-07-17 Acuity Imaging, Llc System and method for three-dimensional inspection using patterned light projection
US6564166B1 (en) * 1999-10-27 2003-05-13 Georgia Tech Research Corporation Projection moiré method and apparatus for dynamic measuring of thermal induced warpage
US20070124949A1 (en) * 2005-11-01 2007-06-07 Hunter Engineering Company Method and Apparatus for Wheel Alignment System Target Projection and Illumination
CN201974159U (zh) * 2008-04-01 2011-09-14 感知器公司 包括mems反射镜的轮廓传感器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262803B1 (en) * 1998-09-10 2001-07-17 Acuity Imaging, Llc System and method for three-dimensional inspection using patterned light projection
US6564166B1 (en) * 1999-10-27 2003-05-13 Georgia Tech Research Corporation Projection moiré method and apparatus for dynamic measuring of thermal induced warpage
US20070124949A1 (en) * 2005-11-01 2007-06-07 Hunter Engineering Company Method and Apparatus for Wheel Alignment System Target Projection and Illumination
CN201974159U (zh) * 2008-04-01 2011-09-14 感知器公司 包括mems反射镜的轮廓传感器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700280A (zh) * 2014-12-16 2016-06-22 原子能及能源替代委员会 结构化光投影仪和具有这种投影仪的三维扫描仪
CN105700280B (zh) * 2014-12-16 2019-11-19 原子能及能源替代委员会 结构化光投影仪和具有这种投影仪的三维扫描仪
WO2017173744A1 (zh) * 2016-04-08 2017-10-12 杭州先临三维科技股份有限公司 一种多测量模式的三维测量系统及测量方法
CN110542403A (zh) * 2019-09-19 2019-12-06 上海兰宝传感科技股份有限公司 一种mems测量传感器以及三角区域测量方法

Also Published As

Publication number Publication date
DE102013105828A1 (de) 2013-12-12

Similar Documents

Publication Publication Date Title
US9170097B2 (en) Hybrid system
CN103486979A (zh) 混合系统
US8014002B2 (en) Contour sensor incorporating MEMS mirrors
US9013711B2 (en) Contour sensor incorporating MEMS mirrors
US9967545B2 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
US6600168B1 (en) High speed laser three-dimensional imager
US10571668B2 (en) Catadioptric projector systems, devices, and methods
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
US9599455B2 (en) Device for optically scanning and measuring an environment
CN113454419B (zh) 具有用于照射至少一个对象的投影仪的检测器
JP6484072B2 (ja) 物体検出装置
US20170310948A1 (en) Scanning Illuminated Three-Dimensional Imaging Systems
US20210088664A1 (en) Detector for determining a position of at least one object
JPWO2006013635A1 (ja) 3次元形状計測方法及びその装置
US20150324991A1 (en) Method for capturing images of a preferably structured surface of an object and device for image capture
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
CN104215200A (zh) 利用多波长进行表面同步三维测量的装置及方法
EP3435026B1 (en) Dual-pattern optical 3d dimensioning
CN107783353A (zh) 用于捕捉立体影像的装置及系统
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
JP2024128158A (ja) 測定装置及び測定方法
US9992472B1 (en) Optoelectronic devices for collecting three-dimensional data
CN115248440A (zh) 基于点阵光投射的tof深度相机
JP6362058B2 (ja) 被検物の計測装置および物品の製造方法
CN103697825B (zh) 一种超分辨3d激光测量系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140101