CN103299166B - 光场图像传感器、方法和应用 - Google Patents
光场图像传感器、方法和应用 Download PDFInfo
- Publication number
- CN103299166B CN103299166B CN201180062806.8A CN201180062806A CN103299166B CN 103299166 B CN103299166 B CN 103299166B CN 201180062806 A CN201180062806 A CN 201180062806A CN 103299166 B CN103299166 B CN 103299166B
- Authority
- CN
- China
- Prior art keywords
- grating
- light
- talbot
- angle
- periodic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F30/00—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors
- H10F30/20—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors
- H10F30/21—Individual radiation-sensitive semiconductor devices in which radiation controls the flow of current through the devices, e.g. photodetectors the devices having potential barriers, e.g. phototransistors the devices being sensitive to infrared, visible or ultraviolet radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
- H10F39/8067—Reflectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种角度敏感像素(ASP)装置,其利用塔尔博特效应来检测该装置上入射光线的局部强度和光线的入射角。该装置包括位于光电二极管组件上的相位光栅,或者位于分析光栅上的相位光栅,其中该分析光栅位于一光电二极管组件上。当被一平面波照射时,较上部的光栅在一选择的塔尔博特深度的位置形成自成像。使用几个对应到不同入射角度的这种结构足以获得光线的局部入射角和强度。使用所述结构构成的阵列足以对光源进行定位,而无需其他额外的光学部件。
Description
相关申请数据
本申请要求于2011年4月6日提交的美国临时专利申请第13/055,566号的优先权,并且与于2009年7月24日提交的申请PCT/US09/51660相关,并且,这些专利申请的主题作为整体通过引用方式并入本申请中。
技术领域
总的说来,本发明的实施例涉及光场传感及光场图像检测(light field image detection)领域。更具体地,本发明的实施例涉及无透镜、角度敏感像素(Angle Sensitive Pixel,ASP)传感器,以及具有增加的量子效率及像素密度的ASP装置,这种ASP装置可以测量光场的强度及入射角,从而提供该光场的图像。本发明的的实施例还包括但并不限于与这些传感器及装置的实施例相关的成像方法,以及这些传感器及装置的应用。
背景技术
传统成像中使用大规模光学传感器阵列,以在成像平面上产生光强度图。但是,该光强度图不能捕获通过该成像平面的光线的入射角、偏振角以及其他属性。这些参数的全面描述可以定义该成像平面处的光场,或者,光的“流”。
在19世纪中叶,迈克尔﹒法拉第(Michael Faraday)第一次提出了将光看做为一种场的概念。该概念通过三维空间内的“光场”理论得到扩展。在某个给定的点上,光场可以被定义为无数个向量的集合,这些向量表示从所有角度到达该指定点的光线。光场还可以由多个变量的“全光函数”正式地定义。该全光函数根据光强I将通过所有空间的光线参数化,而该光强取决于空间中的位置(x,y,z),方向,波长(λ),时间(t)以及偏振角度(p)。因此,可以对一视觉场景做全面的表达,并且包括了该场景的所有可能的视角。
要测量该全光函数,需要观察者能够知道在空间内每一个点、在所有时刻、每一个波长的每条光线的光强。可以明确的是,对任一实际场景,是不可能完美地确定全光函数的。但是,有一些总称为光场成像的技术被设计出来,其能够记录全光函数的一些方面,而是 仅仅简单地记录在某个平面上的光线强度。一种已被报道的方法使用了针孔照相机阵列,每一个相机捕获在某一特定位置(x0,y0)处和与入射角度相关的光强。不同位置(xi,yi)的相机就可以捕获该全光函数的一个片段。也可以使用传统相机阵列,或者使用摄像头扫描或多个掩模。在小规模解决方案中可以使用微透镜来模拟相机阵列。但是,所有的这些方法都需要大量的并联或者可移动的光学组件来捕获光场有关的信息,这些信息要远不止于一简单的光场强度图。
记录有关于一个场景的光场的信息提供比传统照相或者电影方式更多更为全面的描述,这对于许多应用来说都是非常有帮助的。在给定已知源的情况下,光场允许预测一个表面上的照射图形,并且可以实现场景的三维重建(即“光场渲染(light-field rendering)”或“三维形状近似(three-dimensional shape approximation)”)。图1a和1b示出了如何通过光场的一些参数,例如入射角,在三维空间内对光源进行定位。捕捉光场也允许结合任意焦平面(arbitrary focal plane)和光圈来构建图像。在照相和光学显微镜应用中,这种能力也是非常有用的,可以用于捕获多个焦平面而无需移动光学元件。
在许多应用当中,需要获得微小样品的三维结构信息。使用商业化的、不带有额外硬件的半导体芯片直接捕获所需信息,会给许多仪器的尺寸及成本带来几何级数的降低。现有的固态图像传感器采用大型感光像素阵列捕捉入射光的光强图,但是却不能捕捉有关角度的信息。在典型的成像应用中,需要使用透镜,以确保所得到的光强图能代表所感兴趣的对象。如果没有镜头的话,人们只能仅仅依靠照射到图像传感器上的光线所包含的信息。如果某个样品被放在离图像传感器足够近的地方并被光照射,得到的光强图通常会包含一些模糊的二维空间信息,而完全不包括三维的信息。包含在光线入射角的信息会比较有价值,是因为它包含了更多可以恢复的空间信息。
到目前为止,宏观的角度检测器在未修改的集成电路技术中已经得到证实。芯片上也已验证了像素级的角度敏感结构,但是该结构需要在后期安装微透镜阵列,这会大大增加标准成像器的制造和使用成本。
另外一被报道的技术涉及绝缘体上硅(SOI)结构,该结构利用金属区域在一底层光电二极管上产生一阴影,该金属区域比光的波长大。据报道这种方式可以用来进行单个角度的测量,但不适合在成像器阵列上使用。
发明人认识到,解决现有技术中的缺点和挑战并加以改进是必要的而且是有益的。更具体来说,和其他方式中需要多个透镜和/或者需要移动部件相反,单体的、不需要除了传感器本身之外的其他光学元件的、能够用标准表面为加工工艺(例如CMOS)制造的装置在本技术领域上将会非常有优势。本说明书所阐述和要求的发明的实施例成功地解决了这些问题,并达成了上述目标。
本发明人还认识到,本发明中用来形成微尺寸精细透射振幅光栅的金属结构会阻挡现场光(available light)的大部分折射光,其中该振幅光栅用来由入射光场形成干涉图像。虽然对于许多应用而言,光线强度的降低并不是什么大问题,但是保持和传统光学检测器同样高的灵敏度有助于角度敏感成像器得到更广泛的应用。此外,本说明书将“顶部”光栅和“分析”光栅结合起来,会产生的一种具有非常重要尺寸的结构,以及次优化的量子效率(Quantum Efficiency,QE)。该方法也有助于改善角灵敏度,并降低先前所述的嵌入式角度敏感像素装置对波长的依赖。因此,也需要改善ASP装置及相关系统和方法解决这些问题及担心,前提是保持其基本功能,并对CMOS制造能力没有特殊要求。
发明内容
本发明的实施例涉及在某个给定成像平面对光场进行测量的装置和方法。此处所公开的像素和检测器设备对于来自于对象场景中入射光线的光强和入射角度都敏感。所公开的设备和方法利用了周期性光衍射结构的塔尔博特效应(Talbot Effect)来通过光的振幅和方向来表征入射光。在某些方面,许多个传感器位置的每个传感器处的局部的、微米级的衍射光栅被用来捕获这些信息。为了将这些特定的设备和其他常规的数字成像传感器区分开来,我们在此将它们称为“角度敏感像素(ASP)”。
本发明的一个实施例为角度敏感像素装置,该装置完全是由标准CMOS加工工艺加工而成。在一非限定性方面,角度敏感像素装置包括一装置支撑结构,一第一周期性光衍射结构,该结构的周期为p1,其位于该支撑结构之内或者顶部表面之上;一第二周期性结构,该结构的周期为p2,其方向和所述第一周期性结构平行,并且位于所述支撑结构中,在所述第一周期性光衍射结构之下一选定的距离处。如在此所使用的,m,n为正整数,λ是第一周期光衍射结构上的单色平面入射波前的波长,并且p1等于或者大于λ。在一方面,p1等于p2。另外一方面,第二周期性结构还包括至少两组,每组至少两个交错型扩散二极管, 该二极管可以为指型二极管(finger diode)。每组二极管分别处于与该第一周期性光衍射结构横向距离为np1/m处,其中n的值为0,1,2,3,4,5,6,7,8,m的值为2,3,4,8。这些交错型二极管组位于所述第一周期性光衍射结构和第二周期性结构下方距离为zT1=(m1/n1)(2p1 2/λ)的位置。
一个具体化的微米级装置需要一周期性衍射结构以产生塔尔博特自成像(self image)以及使用另一结构来分析这些自成像。通过适当地设计整个装置的尺寸,使其适于在一边大小最多几十微米的区域内,就可以得到和现有图像传感器一样空间分辨率。在一示例性方面,该周期性衍射结构在该区域内有几个周期,以产生可操作的周期性自成像。因此,该衍射结构可能具有对应于仅仅几个波长的周期。当前的平面光刻技术可以方便地实现形成适当的衍射结构所需的分辨率。数值建模和仿真能够准确地预测建立在该单微米尺度上的有限光栅的特性。
在一般性的实施例中,用于分析由周期性衍射结构产生的自成像的结构可以是一集成的光检测器;例如,在本技术领域内为众所周知的一种结构包含至少两组检测器,它们是周期性的、相互交错的、且每组至少包括两个衍射二极管。依照本说明书以下对实施例更进一步的描述,用来分析自成像的结构可以是一层或多层周期性结构,该结构附随有传感器,其中该传感器的形式可以为至少两个、周期性的、交错的扩散二极管组,或者本技术领域已知的一个或更多个单个的、大的阱二极管的形式,或者也可以为位于(或者部分被包围的)一个或者更多单个、大的阱二极管中的交错的扩散二极管的组合结构。所述的一层或者多层的周期性结构可以或者也可以不安排为共同垂直的方式。
本发明的一实施例为一无透镜的、角度敏感像素(ASP)装置,该装置包括装置支撑结构,一第一周期性的、周期为p1的、位于所述支撑结构中或者顶部表面的光衍射结构;一第二周期性结构,该结构周期为p2,其方向和第一周期性光衍射结构平行,并且位于所述支撑结构中、第一周期性光衍射结构之下指定距离处;以及一传感器,该传感器位于所述支撑结构中,并位于所述第一周期性光衍射结构和第二周期性结构之下一指定距离处。
本发明的一实施例是无透镜的光场检测器,其包括一检测器支撑结构,一第一像素装置,以及第二像素装置,该第二像素装置与所述第一像素装置线性地相邻。该第一像素装置包括,一第一周期性光衍射结构,其周期为p1,位于所述支撑结构中或者顶部表面上;以及一第二周期性结构,其周期为p2,方向和第一周期性光衍射结构平行,位于所述支撑 结构中,且位于该第一周期性光衍射结构之下一指定的距离处,其中第二周期性结构相对于所述第一周期性光衍射结构没有横向偏移。该第一像素装置还包括一第一传感器,该传感器位于所述支撑结构中,处于所述第一周期性光衍射结构和第二周期性结构之下第一指定距离。所述第二像素装置包括一第一周期性光衍射结构,其周期为p1,位于所述支撑结构中或者顶部表面;以及一第二周期性结构,其周期为p2,方向和第一周期性光衍射结构平行,位于所述支撑结构中,且位于该第一周期性光衍射结构之下一指定的距离处,其中第二周期性结构相对于所述第一周期性光衍射结构有横向偏移,其偏移量为(m2/n2)p1;该第二像素装置还包括一第二传感器,处于所述第一周期性光衍射结构和第二周期性结构之下第一指定距离,其中m,n为正整数,λ是在所述第一周期性光衍射结构上的单色、平面入射波前的波长。p1要大于λ。根据本发明的一方面,所述第一和第二像素装置还包括一第一中间周期性光衍射结构,该结构周期为p1,位置在于所述第一周期性光衍射结构和所述第二周期性光衍射结构之间,方向和所述第一和第二周期性结构垂直;还包括一第二中间周期性光衍射结构,该结构周期为p2,位置在于所述第二周期性结构和所述第一和第二传感器之间,方向与该第一和第二周期性结构垂直。其中,在该第一像素装置中,所述第一和第二中间级周期性光衍射结构的位置与各自对应的第一和第二周期性光衍射结构没有横向偏移,并且其中,在在该第二像素装置中,所述第一和第二中间周期性光衍射结构的位置与各自对应的第一和第二周期性光衍射结构的横向偏移为(m2/n2)p1。根据本发明的一方面,所述检测器还包括至少一第n阶(nth,n>3)像素装置,该装置位置与第(n–1)阶像素装置线性相邻。该第n阶像素装置包括一第一周期性光衍射结构,周期为p1,位于所述支撑结构中或者顶部表面;该检测器还包括一第二周期性结构,周期为p2,方向和所述第一周期性光衍射结构平行,位于该支撑结构中,在所述第一周期性光衍射结构下方一指定距离处,其中该第二周期性结构和所述第一周期性光衍射结构的横向偏移距离为(mn/nn)p1,其中(mn/nn)>(mn-1/nn-1);该检测器还包括一第n阶传感器,位于所述支撑结构中,在所述第一周期性光衍射结构下方一指定距离处。根据本发明的又一个方面,每个第n阶(n>3)像素装置还包括一第一中间周期性光衍射结构,其周期为p1,位于所述第一周期性结构和所述第二周期性结构之间,方向和该第一、第二周期性结构垂直;该像素装置还包括一第二中间周期性光衍射结构,其周期为p2,位于所述第二周期性结构和第n阶传感器之间,方向和所述第一和第二周期性结构垂直,其中在每个第n阶(n>3)像素装置中,所述第一和 第二中间级周期性光衍射结构相对于所述第一周期性结构的横向偏移量为(mn/nn)p1,其中(mn/nn)>(mn-1/nn-1)。
本发明的另外一实施例为一无透镜的光场成像装置,其包括此处所阐述的二维的、M×N ASP光场检测器阵列,其中M,N是等于或大于1的整数。
在所有前述实施例当中,所述周期性衍射结构可以为不同形式,包括但不限于,衍射光栅、平行导线阵列、朗奇(Ronchi)光栅、相位光栅、以及其他本技术领域所已知形式的周期性衍射结构。衍射光圈可以是狭缝形状,或者其他光圈形状,或者不匹配的折射率。对于相位光栅而言,光栅材料最好选用金属或者和CMOS加工过程兼容的材料(例如,二氧化硅)。传感器可以是,但不限于,反向偏置pn结二极管,正向偏置二极管,p-i-n二极管,电荷耦合器件(CCD),单光子雪崩二极管,或交错的N+/p-衬底扩散二极管对。一个装置可能包含一个或多个滤光镜,例如,当入射光具有较宽的、最好被缩窄的频谱的情况下。
本发明的一实施例为一角度敏感像素(ASP)装置,其包括衬底,一位于该衬底之上,周期为p1的相位光栅,该光栅的特征在于在入射光场横截面方向折射率周期性的变化,并且在该相位光栅下的塔尔博特平面中形成了一周期性强度图形,该装置还包括一位于该塔尔博特平面处的振幅透射分析光栅(amplitude transmission analyzer grating),以及一位于该分析光栅下面指定距离的传感器。在许多非限制性的、示例性方面中:
-该ASP还包括被图形化在该相位光栅上的散射材料;
-该相位光栅包含有二氧化硅;
-该传感器包括至少一对交错N+/p-衬底扩散二极管。
本发明的一实施例为一角度敏感像素(ASP)装置,其包括衬底,一位于该衬底之上,周期为p1的相位光栅,该光栅的特征在于在一入射光场横截面方向折射率周期性的变化,并且在该相位光栅下方的塔尔博特平面中形成了一周期性强度图形,该装置还包括一位于该分析光栅下面指定距离的传感器。在许多非限制性的、示例性方面中:
-该ASP进一步还包括图形化于该相位光栅之上的散射材料;
---该相位光栅包含有二氧化硅;
---该传感器包括至少一对交错N+/p-衬底扩散二极管。
本发明的另外一实施例是一种光场成像装置,其包括一二维,M×N的ASP阵列。其 中每个ASP包括如上所述的具有或不具有分析光栅的相位光栅,其中M和N是等于或者大于1的整数,该装置还包括一传感器。
本发明的一实施例涉及一种用于确定来自对象的入射光线角度的方法,其包括对来自对象的入射光线形成一周期性干涉图案,检测该干涉图案以及,根据不同二极管上的相对照射,得出该图案相对于一参考位置的相位偏移。
因此,本发明的各实施例涉及成像装置以及能够获取对象光线三维结构相关信息的方法。在此处所描述的各种成像器中的每个ASP可以获取光线的入射角以及其亮度。单个的ASP可以用来对一个或多个光源(例如用于太阳跟踪)定位。当将这种ASP放在一起形成一阵列,所得的信息可以用来重建三维面,或者三维空间内多个不同的点,这可以用于生物成像应用中。使用标准半导体制造工艺有助于依据本发明实施例的加工和制造,该工艺诸如微处理器制造及目前数字相机成像器所使用的那些工艺,例如,标准的CMOS加工工艺。
应当理解的是,前面的一般性描述和接下来的具体实施方式仅仅是对本发明的示例性说明,其目的是为了理解要求保护的本发明的属性和特点而提供概述或者框架。所包括的附图是为了提供对本发明的进一步理解,并被包含在本说明书内,构成本说明书的一部分。附图示出了本发明的不同实施例,并和说明书一起用来解释本发明的原理和操作。
附图说明
图1a示出了根据本发明的一个说明性实施例,光场成像器的透视图,以及一个光源的光线如何以不同的入射角照射一个阵列的每个像素;而图1b示出了如果阵列中的每个像素能够确定其所检测的光线的入射角和强度,那么该阵列能够定位三维空间中的光源;
图2a示出了根据本发明的一个说明性实施例,包含有规模和尺寸被定义的衍射光栅的横截面示意图;图2b示出了对于垂直照射到光栅上的的光线所形成的塔尔博特效应、以及在1/2塔尔博特深度的整数倍处所形成的自成像所做的时域有限差分(FDTD)仿真图;图2c示出了当入射角度从θ=0°至5°时,在1/2塔尔博特深度处自成像横向偏移的时域有限差分仿真图;
图3a-3c示出了根据本发明一个说明性实施例,在1/2塔尔博特深度处包括了分析光栅所产生的效应所做的时域有限差分仿真图,其中:图3a示出了当自成像的各个峰值和分 析光栅的栅条(bar)对齐,只有少量的光线通过到达下方的光检测器;图3b示出了当入射角移位,使得所述各个峰值和分析光栅的间隙对齐时,更多的光线得以通过到达检测器;图3c示出了检测到的光线强度随着入射角扫描而出现周期性的变化;
图4a和4b示出了根据本发明所描述的任意一示例性方面,用于获取衍射图像相位信息的几种结构;
图5a示出了根据本发明的一个实施例的一种ASP装置,其具有多个相邻的,单一的深阱光电二极管,以及位于上方堆叠的偏置光栅(黑色虚线示出了和该光栅的相对对准位置);图5b示出对各种偏移量进行仿真的结果,注意;产生峰值响应的入射角的偏移和光栅的偏移成比例;
图6a和6b示出了根据本发明的一个实施例,在130纳米CMOS工艺下制造的a)一种ASP的显微照片以及b)一种8×8ASP阵列;
图7示出了根据本发明一个替代的方面中的图像传感器的示意性剖视图;
图8示出了根据本发明的一个实施例的基于ASP的光场图像装置的透视图;
图9示出了根据本发明的一个说明性方面,入射角扫射时测得的ASP的响应图;
图10示出了根据本发明的一个说明性方面,不同波长对角度的敏感性值b和调制深度值m的影响;
图11a和11b示出了根据本发明的一个说明性方面,对位于ASP阵列上方500微米但稍微偏左的位置上的光源在ASP阵列上所产生的响应的测量值:其中,图12a示出了各单个传感器的响应,其中明亮的正方形代表被较多照射的传感器,白线是ASP的分割线;图12b示出了计算得到的每个ASP的入射角(投影到x-y平面);
图12a和12b示出了根据本发明的一个说明性方面,一个8×8ASP阵列如何准确地在三维空间对光源定位,其中:图12a示出了在该阵列上方550μm处光源测量得到的光向量场可以清晰地在某个位置(本实例中为100μm)重建横向偏移;图12b示出了测量所得到的光向量场也可以用于重建光源深度(z)的变化,本实例中为50μm;
图13根据本发明的一个替代的方面,示出了一种成像传感器的横截面图;
图14根据本发明的一个替代的方面,示出了一种成像传感器的横截面图;
图15根据本发明的一个替代的方面,示出了一种成像传感器的横截面图;
图16a和16b根据本发明的一个说明性方面,分别示出了一种替代的成像传感器的顶视图和横截面图;
图17a-17c示出了根据本发明的一个示例性实施例,一种完全交错的二极管光场传感器单元的横截面图;
图18示出了根据本发明的一个说明性方面的横截面图,该图显示了所有二极管偏移了1/8金属光栅缝隙;
图19示出了根据本发明的一个说明性方面,四个不同二极管的仿真光电流,这四个二极管位于相对于光栅为0、90、180和270度的位置,其中入射光角度从-30度扫描到30度;
图20a-20c示出了根据本发明的一个示例性实施例,使用入射角数据结合透镜系统计算3维空间位置;
图21根据本发明的另一个说明性方面,示出了一种成像传感器的横截面图;
图22根据本发明的另一个说明性方面,示出了一种成像传感器的横截面图;
图23a-23d示出了根据本发明的一个示例性实施例,基于ASP的相位光栅以及仿真的塔尔博特图像;
图24a-24d示出了根据本发明的一个示例性实施例,其中,图24a示出了基于ASP、且带有分析光栅的相位光栅;图24b示出了在垂直入射下的塔尔博特仿真图像;图24c示出了在10度角下塔尔博特仿真图;图24d示出了作为入射角函数的所测得的检测器响应;
图25a-25b示出了根据本发明的一个示例性实施例,其中图25a示出了基于ASP,带有交错指型二极管的相位光栅的横截面图;图25b示出了作为入射角函数的所测得的检测器响应;
图26a-26b示出了根据本发明的一个说明性实施例,其中图26a示出了一对交错二极管的顶视图和横截面图;图26b示出了一种使用交错二极管而非分析光栅的ASP,以及一用来检测单个衍射图形中所有相位信息的n阱二极管;
图27a-27d示出了根据本发明一个说明性实施例,不使用额外掩膜而在标准CMOS中制造相位光栅的工艺,其中:图27a示出了加工好的芯片的横截面,其中顶部两层金属光栅(黑色)被用作为蚀刻停止层,可以采用直接交错ASP二极管(底部)和分析光栅ASP(顶部);图27b示出了使用各向异性氧化蚀刻去掉氧化层(淡蓝色)一直到金属暴露出来; 图27c示出了去掉金属蚀刻停止层以在光电传感器上形成所需要的相位光栅结构;图27d示出了在该表面敷凃特定折射率(粉色)的一层材料,其可以提供光栅设计上另外一种选择;
图28a-28f示出了根据本发明一个说明性实施例,在ASP分析光栅位置上直接使用交错的“指型二极管”,其中:图28a和28b分别是光栅和二极管的顶视图,其显示了不同不同的偏移;图28c是横截面图;图28d示出了浅穿透光子(绿色箭头)如何在所需的二极管(红色)产生光电流,但深渗透光子产生的电子可以扩散到任一组指型二极管(红色或蓝色)从而降低角度的敏感性;图28e示出了在对光场进行测量时,嵌入在一阱内的交错二极管在检测所有光子的同时,也会引起更深的光子被吸收进入或靠近该阱的耗尽区(紫色),从而还避免了成像模糊;图28f示出了另外一种交错的二极管设计,采用三个范围更宽的二极管捕捉三个角度;
图29a-29c示出了根据本发明一个说明性实施例的1/4阶塔尔博特相位光栅,其中图29a示出了衍射光栅的缝隙宽度是分析层缝隙宽度的两倍;图29b示出了光线照射到装置上的仿真图;图29示出了1/4阶塔尔博特装置角度的敏感性;
图30示出了在相位光栅中色散材料所产生的效应;
图31a-31d示出了根据本发明的一个说明性方面的4种ASP结构,其显示了所有ASP结构输出响应对应于不同的角度下的灵敏度;
图32示出了不同光栅间隙下测量到不同的调制深度和角度灵敏度;其中,最深的调制深度m=0.32是在光栅间隙d=0.86μm情况下得到的;以及
图33示出了4种不同的ASP测量到的不同的量子效率,该效率是相对于传统的具有n阱/p衬底光电二极管的主动CMOS像素的比例。
具体实施方式
使用详细的参考来表示本发明的示例性实施例,这些实施例的示例被表示在附图中。
本发明的实施例涉及角度敏感像素装置以及光场图像检测器,该光场图像检测器包含有这些ASP装置以用来测量入射光的强度和入射角,本发明的实施例还涉及相关的方法。所公开的装置和方法利用了塔尔博特效应。
塔尔博特效应,或者说周期性物体(例如衍射光栅)的自成像特性是由亨利﹒福克斯 ﹒塔尔博特在1836年第一次发现。当一无限衍射光栅被与其表面垂直的方向的平面波照射时,在光栅后面的若干等距间隔的位置产生了和光栅一样的图像。图2a图示了一衍射光栅102的各个参数,其中入射光100(标称为500纳米波长)从入射方向为法线方向及入射角θ=5的方向照射该光栅。塔尔博特效应是菲涅耳衍射的结果;如图2b中箭头1所示,在塔尔博特距离的整数倍的距离处zT=2d2λ形成了干涉图像(衍射图形)104,其中d是光栅周期,λ是入射光的波长。此外,可以在塔尔博特分数倍处z=(mn)zT(如箭头1/2,3/2所示)看到复杂的子图像(sub image)105,106,其中m和n为正整数。
塔尔博特效应的一种特性是其对离轴照明的响应。当离轴平面波以入射角θ照射宏观(d>>λ)线性光栅时,可以在距离为z=2cos3(θ)d2λ及其整数倍位置处观察到自成像。此外,作为离轴波传播的结果,该图像还显示出垂直于光栅线的横向偏移Δx=ztan(θ)。
对于多个离轴照明的光源,每一个光源都会产生自己的一组横向偏移光栅自成像,这些自成像相互重叠。在小角度的情况下,这些自成像都形成于大约相同的距离,所重叠的图像包含有关于照明的振幅以及方向的信息。照射到光栅上的光线的入射角可以通过测量塔尔博特自成像的偏移来得到。
图2c图示了在一二极管平面上形成的塔尔博特图像的光线强度,其中入射光的角度分别为法线方向和入射角θ=5。衍射图形的横向偏移随着入射角度的变化而变化。
现代标准CMOS电路的半导体加工工艺能够实现和单个光波波长相当的,非常精细结构的构建,并且也可以实现要比可见光波长还要小的金属衍射光栅和光电二极管阵列的构建。要在一个标准的CMOS层堆叠层上实现塔尔博特效应,需要在衍射光栅的几个微米范围内形成自成像。这可能要求衍射光栅的周期只有几个波长。传统的衍射分析在这种尺度下是无效的,然而,通过数字仿真,例如用于形成图2的那些仿真技术,可以确认即使是在这些几何尺寸下,衍射仍形成了具有规则距离的塔尔博特自成像。这些周期性光强图形对入射角的变化非常灵敏。
接下来的挑战是使用像素上的结构来提取提取这些周期性强度图形的偏移量。对于宏观应用,测量这些偏移最简单的方法是在自成像形成的平面上放置以小型CCD或者CMOS光电传感器阵列。该阵列直接捕获自成像,所捕获的自成像能够用来计算入射光线的光强和角度。但是,对于微观应用,光线在硅中的穿透深度限制了光电二极管的精度只能在1 微米左右,这使得要分辨自成像的亚微米特征非常困难。
微米级的光场成像装置需要一个塔尔博特自成像发生器和一种可以分析这些成像的结构。要获得和现有图像传感器可比拟的空间分辨率,需要整个装置结构必须能够适应于在一边最多几十微米的区域内。为了产生合理的周期性自成像,光栅必须在该区域内具有若干周期。综合这两个约束条件,需要使用周期仅为几个波长的光栅。当代的平面光刻技术可以很容易地实现所需要的精度以产生适合的衍射光栅。数字建模和仿真能够精确地预测在构建在单微米级上的有限光栅的性能。
数值处理显示,只要光栅的周期比入射光的波长大,就可以在靠近衍射光栅的地方观察到类似塔尔博特效应的自成像。我们采用时域有限差分(FDTD)技术进行仿真,并且观察到如图2b和2c所示的图形。特别地,从1/2塔尔博特距离开始,我们观察到较强的光强图形,其具有和衍射光栅相同的周期。其他仿真结果表明,在离轴照明下,由高密度光栅所产生的光强图形发生了横向移动。转而使用波长级别的衍射光栅的一个效果是可以抑制高阶分数塔尔博特图像。
要提取塔尔博特图形中的入射角的信息,有必要对自成像的水平偏移进行表征。先前报道的工作中使用的光栅(和自图像)要比图像传感器本身的像素大很多(间距为d=250微米)。因此,图像传感器阵列可以将自图像直接捕捉为一组电信号。然而,在根据本发明一个方面的微米尺寸的装置中,要想有效分辨塔尔博特图像的特征,高密度成像传感器阵列需要的像素间距为1/4的光栅间距(例如,在200nm量级)。虽然也能制造亚微米光电传感器,但是它们所捕捉的图像由于扩散效应往往比较模糊,从而将它们的实际分辨率限制在1微米或更差。
本发明一实施例中提供的一个方案包括位于自成像平面上、和第一光栅302具有相同周期的一第二平行分析光栅304,如图3a和3b所示。该第二(分析)光栅304使用了莫尔效应(Moire Effect)来过滤塔尔博特自成像。如图3b所示,当光强的波峰和第二光栅的缝隙对齐时,光可以通过分析光栅304。当光强的波峰不与缝隙对齐时(图3a),该分析光栅的栅条就会阻挡该光线。将一单个大的光传感器放在该分析光栅之下并测量总的光通量,我们可以了解自成像是否和分析光栅对齐(图3c)。
图4b示出了一个这种结构实施方式300-2的示意图,该结构实施方式用来提取有关衍 射图形的部分信息。在集成于衬底310上的一单体大型阱二极管307上,放置有两个金属光栅302a和302b,它们相互之间位置具有90度的横向偏移。具有偏移了0、180和270度,或者替代地例如0、120和240度,的光栅的分离像素可以提取光线的全角度信息。这种方法将二极管的设计和光栅的设计分离开来,以获得更好的二极管设计。同样的,因为该方面的精细的特性是光栅自身而非光电二极管的,所以可以使用较低分辨率的光刻技术来实现同样级别的结构(也就是说,以较大的特征尺寸、较低成本的制造流程)。
所检测到的总的光通量取决于整个光源的亮度和入射角。这可能就会导致传感器的输出中的光强和角度之间模糊不清,因为在被阻挡的角度处的亮光源所产生的传感器输出和一通过分析光栅成角度入射的暗光源所产生的传感器输出是相同的。为了区分角度和光强,如图5a所示,根据本发明的一个方面,检测器400-2包括n个(如图n=4)集成在衬底410上的单阱二极管407n,以及两个堆叠光栅402a和402b,它们的位置非常接近,以便它们能够近似看到相同的光场。每一个二极管在该分析光栅402b和成像光栅402a之间具有不同的相对偏移。使用由这组传感器中的每一个传感器产生唯一的信号,人们能够复原光强和入射角。
图5b示出了一组四个传感器在不同入射角的平面光线照射下的响应的仿真图。可以看到,由于周期性自成像的横向偏移,通过分析光栅的透射在入射角下也是周期性的。这些传感器的响应可以用以下公式建模得到:
R0=I0(1-mcos(bθ))F(θ)
R1/4=I0(1+msin(bθ))F(θ) (1)
R1/2=I0(1+mcos(bθ))F(θ)
R3/4=I0(1-msin(bθ))F(θ)
其中I0是和入射光强成比例的,θ是入射角,m是调制深度的测量值,b是角度灵敏度的测量值,F(θ)是偶对称函数,其被包括在内以用来说明表面反射以及其他减小独立于角度灵敏度的高角度入射光线响应的其他影响。
根据等式1中的四个输出,有可能确定光线的强度和入射角度(在x-z平面中)。将ASP的响应R0和R1/2(或者R1/4和R3/4)相加以去除掉由于入射角产生的调制成分,可以得到全部强度的信息:
可以得到入射角为:
由于只能在垂直于光栅线的角度处的离轴照射下才能观察到塔尔博特图像的横向偏移,装置400-2也只能对一个方向的入射角产生响应。为了获得全部照射角度信息,提供了第二组完全相同的装置,该装置的光栅旋转90度,并且非常靠近第一组装置。该第二组装置负责测量被第一组传感器所忽略的角度信息。图6b示出了一全角度敏感像素(ASP)500-1,其包括8个不同的、距离非常接近的传感器。其中4个传感器用来处理x-z平面的角度,另外四个用来处理y-z平面的角度。对于x-z和y-z方向的光栅,在位置偏差为0、d/4、d/2、3d/4的位置使用了衍射分析光栅。该分析光栅位于1/2塔尔博特距离处,这也是被发现的具有与衍射光栅相同周期的自成像的最小距离。图6a示出采用数字130纳米CMOS加工流程制造的8×8角度敏感像素光场图像传感器阵列500-2。
示例性的8传感器ASP500-1的整个尺寸为20μm x40μm,其中每个单个传感器为10微米的平方。堆叠式散射光栅位于布线层,位于本征p-n节光电二极管之上。在所示的实施例中,在这8个传感器中的每个传感器中的每个光栅都使用了周期为880纳米的铜制栅栏的朗奇(Ronchi)刻线(栅条宽度和狭缝距离相同)。所有其他的空间都填满了二氧化硅。每一组光栅可以用作为总线导出所产生的数据,从而可以省略在该阵列中提供布线的通道。由于光栅可以提供大量的总线,这8个ASP的输出可以以并行的方式读出。光栅间距z受限于可用的互连层空间,通过数值仿真选择间距d以最大限度地提高绿色光的调制深度(在真空中为525纳米,在氧化层中为350纳米)。对于如图5a中所示的装置400-1,对绿色光(真空中λ=525nm)的经验仿真确定在二氧化硅中1/2塔尔博特距离为2μm。最顶端的衍射光栅位于第6金属层,分析光栅位于第三金属层,其间隔2微米。这8个传感器中的每个传感器中的单个PN光电二极管测量通过堆叠光栅的光通量。标准的3T有源像素传感器被用来缓冲光电二极管的输出,而多个多路选择器允许独立地访问每个ASP。
图7示出了类似于在图5a中的装置实施例6000-1的说明性方面,在该实施例中,相邻的两个光栅层6001a、6001b使用了三个单二极管6007、6008、6009。第二光栅层6001b 相对于光栅6001a偏移了0、1/3和2/3的光栅周期。
根据另一替代的方面,图8示出了光场图像检测器600-1。其中提供了第二组光栅602a、602b,其被旋转90度并且就近和光栅402a和402b交错。该第二组光栅负责测量被第一组传感器所漏掉的角度信息。
为了测试我们的ASP,将一个光源(商业的绿光LED,中心波长为525nm,光谱宽度为32nm)安装在与加工好的阵列距离固定但角度可变的臂之上。不进行额外的准直或过滤操作,作为一个非理想的照明源以更加接近于真实世界的成像应用。在包含有多个不同波长的光线的情况下,所观察到自成像为每一个波长所产生的光强图像的叠加。光源的光谱宽度相对较窄,并且产生塔尔博特图形的路径长度的差异要比该源的相干长度短,所以我们预计在性能方面和我们的单色、相干模拟仿真没有显著的差别。
我们随着光源移动来记录在每个角度下单个ASP的输出如图9示出了ASP中一组四个传感器相对应的输出。测量结果和那些仿真预测值之间具有合理的一致性。使用等式1中的等式模型,其中b=15,m=0.7,来对图9中的曲线进行拟合,得到9%的均方根误差。对应于入射角的变化,第二组的4个传感器(用来表征y-z平面内的角度特性)产生类似的曲线。在图2和图3所示测量值和理想仿真结果之间的差异来源于二氧化硅表面产生的反射、制造工艺的差异以及实际使用的光栅数量是有限的。然而,我们的仿真合理地表征了ASP的角度灵敏度及调制深度。
已知精细间距的光栅会极化所透射的光线。一份最近的关于高密度光栅中极化相关的塔尔博特效应的研究预测,周期大约为2.5λ的光栅应该会显示出较强的极化灵敏度。特别地,由TE(平行于光栅线的电场)极化光在1/2塔尔博特处形成的塔尔博特自成像的亮度应当是那些由TM(平行于光栅线的磁场)极化光所形成的自成像亮度的两倍。我们的观测和此预测高度吻合:当我们将ASP的入射光的极性由TE转为TM时,整个观测到的光强降低到原来的量除以2.05。但是,角度灵敏度b和调制深度m的变化都小于10%。这些特性表明TM极化塔尔博特自成像要比TE极化自成像要弱。但是在其他有关角度和光强信息编码上的表现差不多。
这种设计针对λ=525纳米进行了优化,但是我们在400纳米到620纳米波长范围内进行了测试。我们预计对应于波长的变化,角度灵敏度b变化不大,因为其塔尔博特自成 像的周期并不随着λ变化而变化。该预测来源于所做的测量,如图10所示,b值在波长范围400纳米和620纳米之间不敏感。但是波长的变化会极大影响所产生的塔尔博特距离。当λ≠525纳米的情况下,分析光栅并没有被最优地放置,因此观察到的自成像比较模糊,并且调制深度m也降低了。在整个波长范围外,我们不能有效地复原角度信息,但是并不是说角度敏感函数变为零了。对在1/2塔尔博特距离自成像的分析的直接结果就是,工作在这种波长范围内的ASP,其塔尔博特图形的相对深度对波长λ最不敏感。
为了确认我们传感器的光场成像能力,我们直接在ASP阵列上方放置一500微米多模光纤探头。再将发光二极管(和在单个ASP测试所用一样的二极管)所发出的光线耦合进入光纤,从该光纤出来的光线具有圆锥形的轮廓,并且因此在阵列平面上产生一简单的发散光场。我们在ASP阵列所有64个位置记录并测量每一个传感器的输出,如图11a所示。可以看到,调节到不同角度的相邻的传感器完全不同地响应,它们的相对响应取决于它们相对该光源的整体位置。应用公式(3)和图9中所示的角度响应数据,我们可以重建每个ASP的光矢量,如图11b所示。
为了进一步证实我们阵列的性能,我们将光源移动到上述阵列上的三维空间中的不同位置上。在每个位置上,我们记录了传感器的反应并且重建来自于光纤的光线的入射角。该阵列可用于在两个维度上精确地重建光源的位置,如图12a所示,其中光源在x轴方向上移动了100μm,对入射角度计算的结果反映了这一点。更引人注目的是,正如图12b所示,该阵列可以用来精确地定位光源在第三个方向z轴上的位置,其精确地捕捉了阵列上方的光源在高度上50μm的偏移。因此,ASP的阵列能够准确地重建简单的光源的三维结构,它所能提供的信息要远超出使用标准图像传感器获取的强度图所能提供的信息。
图4a示出了本发明一非限制性的示例性的装置实施方式300-1的横截面示意图。该器件包括一金属狭缝光栅301和一带有多个线性阵列的衬底310,该线性阵列包括两组集成的、交错的指状二极管(A)307和(B)308,这两个二极管之间相对于光栅错开180度(例如,偏移量为零以及为半个光栅周期)。多指二极管有利地实现最大的光子捕获。
图13示出了根据本发明的一个非限制性的示例性实施例,一个基于三个二极管结构的成像装置500-1。该装置包括具有多个周期性的狭缝孔径503的金属透射光栅501。由标号504表示的光影并不代表该装置的任何一个物理组件,而仅仅指的是光栅与二极管之间的 对 准。该装置还包括一集成在衬底510上的单体结构,该结构包括三个交错的二极管507、508、509的三个线性阵列。示出的二极管阵列507的三个二极管对准该光栅(无偏移),从而将检测到干涉图形中的零度角相移(图中未示出)。类似地,示出的二极管阵列508的三个二极管与该光栅有1/3周期的偏移,从而检测到120度的相移,而示出的二极管阵列509的三个二极管与该光栅有2/3周期的偏移,从而可以检测到240度相移。
图14示出了根据一个非限制性的示例性实施例的一种替代的二极管和光栅的装置布置400-1。如图14所示,集成的单个交错的一组四个二极管407、408、409、411被偏移0、1/4、1/2、3/4的光栅401周期放置,分别实现0°、90°、180°和270o相移。请注意,该组单个交错的四个二极管和图4a所示的两个相邻二极管组不同。而且,图中阴影区域并不表示任何其他的物理结构,相反,它们只表示二极管和金属之间的对准关系。
图15示出根据了本发明另外一种非限制性的示例性实施例的装置100-1的横截面示意图。传感器装置100-1在相对于光栅的位置0和180度的位置具有一组交错二极管121,并在90度和270度的位置具有另外一组交错二极管123。这种布置方式可以避免二极管重叠。两个偏移光栅101a、101b被表示为黑色阴影,而每个光栅下方较浅的阴影103只是为了说明光栅和二极管之间的对准关系,其并不代表该装置中任何物理结构。
图16a示出了一非限制性的、示例性的装置方面8000-1的顶视图,该装置仅仅包括两个狭缝8003和两个二极管8007、8008。图16b是图16a中的虚线部位的横截面图。这种设计紧凑,可以得到更高的空间分辨率。
图17a-17c示出了非限制性的示例性的全交错二极管光场传感器单元的顶视图,其在垂直方向(5006a、b)和水平方向(5006c、d)上都有光栅和二极管,它可以被用来捕捉源对象的方位角和高度的信息。图17a示出了二极管的布局(例如,在p衬底中的n型扩散),其中每组垂直方向的二极管5006a、b包含一对交错二极管阵列5002、5004,并且每组水平方向的二极管5006c、d包含一对交错二极管阵列5008、5010。图17b示出了与对应的二极管阵列方向相同的金属光栅5001。如图17b进一步所示,垂直方向上的光栅可以用作数据总线,以将信息从阵列的每一列传递到到位于5015处的阵列边缘,而无需占用成像器本身的其他空间区域。替代地,该光栅也可以用来将许多单个二极管连接到阵列本身以外的处理电路。这会最大限度地提高成像的感光面积,以弥补用于将光信号转换为电信号 的电路所占用的区域。图17c示出图17a、b中的二极管和光栅的重叠。图15是水平方向检测器的横截面图,(即沿着图17a-c的黑色虚线),该图示出了二极管和金属光栅在偏移0/180o和90/270o情况下的相对位置。
图18示出了一示例性装置方面2000-1,该装置类似于100-1的装置,所不同的是所有的二极管被偏移了1/8光栅间距,这表示相角偏移为-45度、135度、45度和-135度。该图说明了二极管和金属光栅之间的精确对准相比于二极管之间的相对对准没有那么重要。对于本说明书此处公开的结构而言,1/8周期的偏移应当没有明显的影响。这种不敏感性适用于此处公开的所有结构,并且也适用于本文此处所描述的“双光栅”实施例中的第二光栅的对准。
根据本发明的另一示例性方面,图19以图形方式显示了从四个不同的二极管阵列中得到的仿真的光电流,该阵列分别处于相对于光栅0、90、180、270角度位置,其中入射角由为-30度扫到30度。从图19中还可以看出,每个二极管显示出多个峰,这说明等式(1)可能并不足以获得唯一的角度提取值。这一点可以通过采用具有多种不同几何形状的光栅结构(因此具有不同的“k”值)来解决这个问题,其中这些光栅被相邻地设置。如果从入射角到二极管响应的映射是不同的,则可以区分不同的活动的峰。这可能有助于构建能够覆盖整个入射角度范围的传感器。
理想情况下,每一个二极管准确地响应光的相同入射角,可以预料以上所述de8个二极管的例子中存在着响应冗余。例如,
D0+D180=D90+D270
这意味着保持所有4个独立的信号可能有冗余。可以依据以下三个数值重新定义响应来去除这种冗余信息:
D0-D180,
D90-D270,以及
D0+D180+D90+D270
这种重新编码的方式可以被在与传感器及光栅集成在一起的电路上的模拟或者数字域内完成。
如果入射角在该图像上并不是常数(如图1b和图20a-20c所示),则相邻的纳米光栅不能看到相同的入射角。因为这四个二极管D0、D1、D2、D3相互之间并不是都相互交错的,而是出现在相邻像素内,所以它们可以对略微不同的入射光进行编码,并且因此包括一些在重新编码过程中可能会丢失的非冗余信息。但是不管怎么样,在转化数字信号之前或者在关闭芯片数据传输之前,通过对数据不同成分进行不同的加权,信号的重新编码也是非常有利的。
图21示出了一装置实施例700-1,其类似于图15中的装置100-1,其差别在于两组交错扩散型二极管121、123(721、723)被分别置于两个单个的大型阱二极管724、725之上。在这一方式中,在亚微米尺寸扩散型二极管观察到的串扰可能会减少,这是因为大型的光电二极管可以收集越过薄的、交错型二极管而渗透到衬底的光子所产生的电子和空穴。因此,大型的阱二极管被制造得足够深以包围该交错二极管,但是足够浅以捕获电子。
交错/深阱二极管也可以被并入依赖于用于角度灵敏度的多组光栅的装置。如图22所示,示出了一示例性装置800-1,其使用两个放置在竖直地离开1/2塔尔博特距离的光栅,以及放置在第一塔尔博特距离上的光电二极管。如上所述,大型阱光电二极管测量通过两个光栅总的光通量。在这种方面中,运行的模式和基本的多光栅装置是一样的。然而,当入射角使得通过光栅堆叠的光束非常强时,交错光电二极管可以有助于更精确地定位周期的光强图形中的横向偏移。这种方式可以在不影响基本功能的情况下,改善一组已知角度下的入射角特性。
如以上详细所述,塔尔博特自成像用来测量入射角。使用现代半导体加工技术来形成微米级的、精细间距的透射振幅光栅,其根据对照射到该光栅上的光产生干涉图形(塔尔博特图像)。改变光场入射光的角度会引起这些干涉图形的横向偏移,这种偏移可以由检测器检测。对这些偏移进行表征使得人们可以在像素级别确定入射角。但是,上面所公开的使用金属化顶部光栅来对入射角进行测量的装置和方法显著降低了检测器对局部光强(local intensity)的灵敏度。用于形成干涉图形的金属光栅阻挡了很大一部分可见光的衍射。虽然对于许多应用来说,光线敏感度的降低并不是一个很大的问题,但是将角度敏感成像器保持和传统光电检测器相比拟的灵敏度可以使得它得到更为广泛的应用。
在一个可以消除灵敏度损失的实施例中,在图像传感器芯片的像素级形成的微米级相位光栅被用来取代顶部的振幅透射光栅。相位光栅也会类似地产生干涉图形,因此也会产生塔尔博特自成像,我们就可以用类似以上所公开的实施例中的方式来表征该自成像。在使用相位光栅时,我们用三维结构(即相位光栅)来取代顶部金属(即布线网格)衍射光栅,该三维结构所用的材料具有不同的折射系数。这将大大地提高对光的灵敏度,因为没有导线会阻挡照射到像素上的光线了。
可以使用如图23a所示的锯齿结构来形成简单的相位光栅2300。阴影区域2310的材料的折射系数为n1,而白色区域2312的材料折射系数为n2。通过锯齿尖峰的入射波波前(箭头)会和通过锯齿底谷的入射波产生相位偏差。根据惠更斯原理,相位偏移的差异和路径长度的差异可以预测类似在透射振幅光栅中所观察到的周期的光强图形(图23b)。这些图形的位置受光照波长和(相位)光栅间距影响。如图23c、d所示,光强图形随着照射光入射角的变化而产生横向偏移。
如上文所公开的,可以由衍射图形的横向偏移提取入射光的角度信息。但是单个ASP分析光栅只对该周期性光强图形的一个相位采样,因此,单个角度敏感像素的输出不能区分光强和入射角的变化。要清楚地恢复角度信息需要一对ASP的差分信号,这对差分信号的相位(α’s)相差π。为了得到入射角完全正交的描述,在此及上文中所公开的角度敏感像素实施例使用了4个ASP,其中每个ASP的响应具有相同的m和β参数,但是α值不相同(α=0,π/2,π,3π/2)。
但是,由于需要使用几个ASP来对入射角进行完全表征,和获取光强信息相比,角度信息的获取是在显著降低了空间分辨率下得到的。在上面所公开的实施例中,用于获得角度敏感性的金属光栅阻挡了从光电二极管过来的入射光线的一大部分。其结果是,上述ASP装置的量子效率(QE)大概要比相当的、暴露的不带有光栅的光电二极管低6到10倍。灵敏度的降低限制了角度敏感像素装置在低光强和高速成像中的应用。
图24a示出了一示例性ASP 2400及技术,该装置具有一周期的、长方形二相(binary phase)结构2300,该结构2300实现在金属间介质层堆叠中,以及一振幅光栅2420,其位于平面中的相位光栅2300之下(即光通道的下游),高强度(塔尔博特)图形就是由该相位光栅产生在该平面中的。随着入射角的改变,光强图形的也随之偏移,它们或者和光栅中的栅条,或者和振幅光栅的间隙保持对齐。当光强峰值和图24b所示的栅条对齐时,大 多数光被阻挡,而位于分析光栅下面的检测器2430会产生一微弱的响应。当峰值和如图24c所示的间隙对齐,大多数的光线通过了下面的检测器。这会产生如图24d所示的交替的强弱响应。
图25a示出了本发明的另外一实施例。该ASP2500包括了图24a所示的相位光栅2300。在该实施例中,没有采用分析光栅,取而代之的是一小型检测器2550的交错集合(即:一对)。该检测器位于包括由由入射光和相位光栅交互作用而产生的高强度(塔尔博特)图形的平面中。这些检测器直接测量图形,当这些图形随入射角变化而偏移时。如图25b所示,检测器上的最大光强会产生强响应,而最小的光场则产生弱响应。更进一步,检测器2550是一对交错型N+/P-衬底扩散二极管。该二极管对的输出记录了塔尔博特图形的互补相(complementary phase)。因此,这种结构能够直接获取角度信息,同时去掉如图24a所示的底部金属(分析)光栅。图26a、26b示出了使用一对交错型N+/P-衬底扩散二极管ASP示意图,以及对单个衍射图形中被捕捉到的互补相进行时域有限差分(FDTD)仿真的结果。
光栅间距和高度所产生的效应,以及所得到的塔尔博特图形的角度灵敏度、深度及强度的指数的不匹配,所有的这些都会影响到只有几个波长大小的相位光栅的塔尔博特效应。
本专利发明中基于振幅光栅的ASP的一个主要的优势是该装置可以完全由标准的CMOS工艺加工而成,而不需要后期的处理。这会带来很多其他的好处,例如成本低廉,易于加工。不幸的是,类似于在振幅光栅中所用的导线,标准CMOS层堆叠没有现成的组件可提供用于相位光栅。
可以采用来源于CMOS MEMS(参见Fedder,Santhanam et al.1996;Fedder1997)的技术来制造相位光栅,其通过使用金属结构作为各向异性氧化物蚀刻的蚀刻停止层。使用可用的金属层能实现高精度的相位光栅制造,并且无需额外的掩膜或图形沉积工艺。图27示出了该流程的概览,该流程用于交错二极管ASP(底部)和分析光栅ASP(顶部)。图27a示出了加工芯片的横截面,其中顶部有两个金属层(黑色)用作蚀刻停止层。如图27b所示,该流程起始于嵌入在二氧化硅中的刻有图形的金属层的标准CMOS堆叠,然后使用深反应离子蚀刻(DRIE)去除二氧化硅,但只停止于该金属层。接着该氧化蚀刻流程的是一金属蚀刻过程,该蚀刻会在该氧化层和相邻材料(例如空气,除非添加了后续的层;图27c)之间形成图形化的界面。通过设计合适的金属蚀刻停止点,该停止点决定了相位光栅的顶 部和底部,我们就可以控制该光栅的间距和对准。选择使用哪一对金属层就可以实现对光栅高度的控制。
产生类似结果的另外一种方法是只使用一光栅作为蚀刻停止点(为了定义相位光栅锯齿中较高位置的部分),并且使用一时间性的DRIE来蚀刻出相位光栅的底部位置部分。同样的,接下来过程就是金属蚀刻,以露出较高部分,并形成干净的相位光栅。
这种基本的后处理仅仅需要几步,并且无需精确对准,因此超出芯片制造所需正常费用的额外成本很低。额外的处理步骤可能是有利的,例如基体蚀刻除去化学性质不同的钝化层。保护芯片输入和输出接线端子可能也需要一粗略的对齐步骤以及一低精度掩膜。不管怎样,使用CMOS堆叠作为相位光栅加工的衬底会大大的简化加工。
此外,也可以使用其他方法来制造相位光栅,例如纳米压印光刻,或者使用周期性的掩膜和标准光刻进行直接进行图形化。
如图27d所示,通过增加一保形涂层,可以调整光栅界面处的相对折射率(从空气到二氧化硅为1:1.4),例如,加入聚对二甲苯将形成1.66:1.4的界面,并且提供了防水保护。改变折射率变化对自成像进行精确定位的控制能力要超过改变光栅间距和高度的方法。初步仿真表明,标准CMOS中可用的高度(1微米),及可用的界面(空气,聚对二甲苯)应当提供合理的性能。此外,谨慎地选择色散材料将使得有可能产生独立于波长的相位偏移,并降低塔尔博特效应对波长的灵敏度。
如以上所公开的,灵敏度降低的另一个来源是分析光栅。无论产生塔尔博特自成像的(顶层)光栅是什么(振幅或相位光栅),(底部)分析光栅仍会阻挡不对齐的光线。然而,如果直接由光电二极管检测塔尔博特自成像中的横向偏移,则纳米分析光栅就不再是必要的了。
图28a-28c示出了实现这一点的一个简单的方法。通过交错两组不同的光电二极管,人们可以检测自成像是否和主光栅保持同相或完全异相。在1/4间距偏置处使用第二组这种交错光电二极管可以得到类似如图5所示的堆叠振幅光栅输出的一组输出。理想的情况下,这将提供更好的量子效率,同时只需要给定的ASP的一半面积,,因为从每一个结构中可以得到两组测量结果。
这种方法要求在0.5微米的间距尺寸上实现非常精细的分辨率的光电二极管。图28示 出了一基于ASP的相位光栅,该光栅使用交错的“指状二极管”替代了分析光栅。图28a、b是光栅和二极管的顶视图,其中不同的颜色表示不同的偏移。图28c示出了ASP的横截面。图28d说明了浅层穿透光子(绿色)如何在所需的二极管(红色)产生光电流,但深层穿透光子可以扩散到任一组指状二极管(红色或蓝色),从而影响角度灵敏度。图28e说明了阱中嵌入的交错二极管是如何使得穿透更深的光子被吸收进入或者靠近该阱的耗尽区(紫色),并避免在仍检测用于光场测量的所有光子时出现模糊。图28f示出了另外一种使用3个更宽的二极管来捕获三个角度的交错设计。
这些二极管可以采用非常典型的浅层CMOS源/漏扩散工艺。由于这些深度(<0.5微米)明显比可见光的穿透深度浅,大部分的光线会被在深于光电二极管自身的深度吸收。这意味着量子效率的降低,因为一些光生载流子会扩散或者复合,并且许多(可能是大部分)光生载流子在被光电二极管吸收之前就已经有0.5微米的扩散了。其结果是,在光电二极管所吸收的光子会生成载流子,该载流子具有大致相等的几率被光电二极管吸收,这将严重干扰检测塔尔博特图形(见图28d的)中的偏移的能力。这是一个在精细间距光电结中已知的问题,并且限制了其他高分辨率成像系统的分辨率。
为了避免这种穿透/扩散问题,将交错的“指状二极管”放置在更深、更轻掺杂的阱中。在最先进的CMOS工艺中,可以对这些阱进行n和p掺杂(图28e)。通过在指状光电二极管的下方的硅层提供了一个浅的边界,这个阱将吸收大部分由深层穿透透光子所产生载流子,这有助于减少模糊。在使用交错二极管提取入射角信息的同时,通过测量由这些深层穿透光子产生的电流可以测量到高量子效率的光场。简单的仿真表明,一个常规的CMOS工艺(130nm或180nm工艺节点),30%的绿光将形成角度敏感光电流,提供和堆叠式振幅光栅类似的调制深度。其余的光将提供额外的光强信息。在这种结构中,阱电流和所有指电流的比率也将提供有关检测光的波长信息,这是因为光子的平均穿透深度取决于它的波长。
交错二极管的第二个挑战是,它们需要的光栅间隙非常接近CMOS(即180纳米)以合理价格所能达到的极限。解决这个问题的方法之一是如同图28f所示的进一步增加密度。仿真结果表明,三组不同的指状二极管,以2/3的光栅间距的间隔,按照120度的间隔,提取三个周期性的角度敏感的信号(和以上所描述的,在堆叠式振幅光栅ASP上按照90度间隔方式相比)。这三个独立的测量足以提取简单的塔尔博特自成像中所有的信息。具体 而言,在对全部光强进行变换后,这三个数字可以映射自成像的调制深度(反映了入射角有多“模糊”)以及入射角本身。因此,这种结构可以实现密度非常高的ASP。
相位光栅和交错光电二极管都可独立使用以改善堆叠式光栅ASP。将这两种方式结合起来带来最大的好处是,所形成的传感器结构具有和典型角度敏感像素相当的整体量子效率和密度,同时还可以捕获有关光场的其他信息。
ASP阵列对在三维空间中对光源位置进行定位的准确度与ASP的角增益成反比。这个增益与z/d成正比,其中d是光栅间距,而z是在光栅和分析结构之间的垂直间隔。所有这些结构都采用1/2塔尔博特深度,其中,在最优化的z=d2/λ处,角增益是d/λ,但受限于可用的层堆叠、金属的尺寸、以及d>λ的要求(能观察到塔尔博特效应的条件)。然而,可以并不局限于使用1/2塔尔博特深度。仿真结果表明,在塔尔博特效应产生的自成像深度可以出现在超过1/2塔尔博特深度的多个深度位置。塔尔博特效应的横向偏移Δx=ztan(α),通过选择更深的塔尔博特自成像增加z值,并导致在相同给定入射角的情况下得到更大的横向偏移,从而获得更大的角增益。
另一种获得更大角增益的方法是使用更高周期的自成像。例如,图23中的相位光栅仿真显示了塔尔博特图形的周期比位于1/2塔尔博特深度之上或之下生成光栅的高(具体来说是2倍)。如果我们将交错二极管或分析光栅放置在和这些分数图形一样的间距和深度位置上,相同的横向偏移对应于更大的响应的变化。这也对应于更高的角增益。
初始光栅和光栅传感器或分析光栅的间距固定情况下,相位光栅的间距为分析光栅的两倍。因此,相位光栅默认的角度灵敏度(b)(由b=深度/间距×2n计算)可能是类似振幅光栅的一半,这将阻止进一步的干涉。然而,一种可能性是利用高阶塔尔博特图形,例如1/4阶图形,正如图29所示。图29a示出的一装置的横截面,该装置使用10个1/4阶的塔尔博特深度,其中强度的周期为衍射层间距的两倍。图29b示出了存在有许多可用的高阶塔尔博特深度,其中所有空间周期性比相位光栅更高的深度都会显示出高阶塔尔博特图形(并因此具有更大的角度灵敏度)。图29c示出了该装备的角度灵敏度的仿真值,它的b值为66。
因为相位光栅被用来产生一相位偏移,不同折射率的材料用于不同光路长度,人们可以假设相位光栅的深度和所用光的波长成比例。在观察多色光的情况下,相位光栅的深度 不可能调节到适合所有的波长而不形成干涉。消除这种效应的一种可行的方法是使用散射物质,使得在一定范围内波长内,在SiO2和其上层覆盖物上的折射率的差异和波长成一定的比例。例如,如果将和聚丙烯酸酯具有相近的光学散射性能的塑料覆盖在SiO2之上,那么理想的光栅厚度对光的波长不再敏感。如图30所示,在水涂层情况下,相位光栅适当的高度范围基本上和光的波长成比例。借助于散射媒介(例如聚丙烯酸酯),可以消除一些波长依赖性,因为构成光栅的媒介的折射率在较低波长下要比较高波长下相互之间更接近。
表I示出了通过实验得到四种不同的ASP的特性
表I
角度敏感像素制造结构
在绿色(523纳米,20纳米半宽频谱)平面波照明下,在超过80度的入射角范围内对ASP的角度响应进行测量。图31a-31d示出了上述四种ASP类型的每一个的四相输出。所有四种ASP结构都能跟踪所需要的响应。在使用交错光电二极管的ASP中,使用了一单个8μm×8μm的像素对互补相位进行测量。和振幅光栅ASP的峰值调制深度超过0.4相比,新的ASP设计,包括II,III和IV,显示出调制深度的范围在0.2-0.3之间。对于基于交错二极管的ASP来说,其调制深度的减少可能是由于来自于该交错二极管中间或者以下的衬底区域的杂散载流子所造成的。与理想的相位差π/2之间的差异可能会导致较差的由相位光栅生成的光强图形调制。需要进一步表征以确定光栅中形成的差异的影响。
对于每种ASP结构,其输出对光栅间距和位置的依赖被表征。对ASP进行了测量,该ASP具有光栅间距d,其范围从0.6微米到3.2微米,并且包括四种不同的,CMOS金属堆叠所允许的垂直光栅间隔。针对分析光栅间距z为2.76微米的振幅光栅(I型)以及分析光栅间距z为2.33微米的相位光栅ASP(III型),图32示出了调制深度m随光栅间隔变 化的测量值和仿真值。要使得角灵敏度达到期望的12,我们预测对于I型ASP,光栅间距d=1.03微米,对于III型ASP,光栅间距为d=0.87微米。该计算值与实测结果一致。
对所有的ASP的量子效应进行测量,并将其归一化到不带光栅的n-阱-p-衬底二极管。四种不同的ASP中测量到的量子效应如图33所示。从中可以确认,由金属光栅引起的效率损失可以通过同时使用相位光栅和交错二极管来弥补。
对于许多应用而言,入射光的时间信息与空间和角度的信息一样重要。其中一个例子是激光雷达,激光雷达根据发射光和反射光之间检测到的时间延迟对距离进行测量。荧光成像也需要时间信息,它提供辨别激发光子和荧光光子的一种方法,该方法不需要复杂的光学过滤器。对角度灵敏度进行非常高的帧速率(100M帧/秒以上)处理,使得这些和其他应用能够利用包含在入射角中的其他信息。
现有的研究表明,独立的CMOS芯片可以进行这类高速时间成像。由于ASP可以通过标准的CMOS工艺制造,并且由于角度敏感的机制依赖于纯粹的光学现象,我们相信高速CMOS成像技术可以被集成到角度敏感像素中。比如说,高速装置,如单光子雪崩二极管和专门设计用于时间分辨成像的先进检测器,可以用来实现这种集成形式。这些具有时间分辨的ASP将大大增强现有高速图像传感器。
目前研究目标是针对能够不用显微镜进行生物测定的小型ASP阵列。然而,对于真实世界的成像应用,小型阵列不能捕捉所观察的场景的全部复杂性。至少需要200000个ASP的大型阵列才可能将我们的增强的ASP应用于现实世界的成像应用。如此高的分辨率也显示了ASP对传统成像应用的兼容性,并且提供了一个平台,该平台显示了,和纯粹的光强成像器相比,ASP阵列所能收集到信息的丰富程度。
要在小尺寸、低成本的芯片上达到所需要的密度,可以采用几种ASP小型化的方法。例如,现有的ASP具有针对每个衍射光栅/分析光栅堆叠的不同的、局部光栅。这些有限的光栅会产生边缘效应,其使得塔尔博特自成像变差,因此要达到稳定的功能,重复周期需要达到一最小值。初步的仿真显示,不同的传感器可以共享由单个、共享的光栅所产生的塔尔博特自成像,并且不会影响性能。这就有可能大大降低光栅的尺寸,因为所需要的大尺寸光栅可以分摊在几个较小的传感器中了。结合其他替代的可以节省用于读出测量数据和交错二极管所需空间的检测电路,我们相信现有ASP的尺寸可以降低一个数量级。这将 形成低成本、高精度的光场传感器,从而得到广泛的应用。
本发明的另外一实施例涉及从一光源对象中获取入射角信息的方法。检测所述角度信息的能力和具体应用有关,但并不局限于传感器网络和传感器阵列,对经过一传感器的对象的方向和/或者运动速度的检测,例如,对经过嵌入在道路路面中的传感器的车辆的方向和速度的检测;在一自由空间光通信系统中,多个独立发射器对多个数据流的检测和接收;生物制药的应用,例如在含有荧光细胞的组织对单个荧光细胞进行检测,以及其他本领域技术人员所了解的应用。
在一非限制性方面,该方法可能完全不使用透镜,而是使用在硅集成电路上具有物理尺寸的成像传感器。例如,以上所述传感器阵列可以放置于靠近于包含一荧光细胞的组织。每个细胞所产生光线的入射角(射入所述传感器)可以推测细胞在三维空间的位置。通过对阵列中每个传感器所检测到的角度做三角测量,如图1b所示,可以检测单个荧光细胞的位置,以及独立于其他荧光细胞的荧光变化。
在一非限制性方面,许多图像传感器阵列可以用作于更大型组织培养室阵列的一部分。每个单独的图像传感器可以用来监控各自对应的样品,可以立即对许多样品实现高通量分析。
在一非限制性方面,通过将一成像传感器和一透镜系统结合起来也可以实现该方法,这种方式有利于对更远处对象进行成像。例如,如图20a所示,一在透镜系统1405焦平面处的对象1402将会完全聚焦在传感器阵列1407的表面1406上,并形成一均匀分布的入射角1409。在这种情况下,阵列如一常规CMOS成像器工作。超过透镜系统焦平面更远处的对象在该阵列上会产生模糊的图像,但是如图20b所示,该模糊图像对应的是一组可变的入射角,该入射角光学汇聚到对象焦平面上。如图20c所示,在该透镜焦点距离以内的对象也会产生模糊的图像,但对应于一组散射的入射角,这说明聚焦深度的位置是在该阵列的后面。因此该成像器获取的有用信息也可以用来描述对象的位置,该对象可以处于远于该透镜系统的焦平面的位置,也可以处于焦平面以内。换句话说,通过检测入射角,成像器可以提取该对象区域的信息,该区域要比所在透镜系统的常规焦距大。因此这些信息可以用来,比如,重建三维空间的场景结构,或者在捕获图像之后,对图像重新计算,使其重新聚焦于不同的焦距。从该成像器获得的数据还可以用来仿真,使得图像中不同的 部分重新聚焦于不同深度。虽然单个发光对象只产生一个对应于单个入射角的传感器响应,但是多个光源会产生一线性叠加响应,其中每个响应都取决于每个光源的入射角。
由于本文此处所描述的用于光场成像的衍射光栅对光源的波长是较敏感,因此一给定的像素设计只在一有限波长范围内才能有效工作。对于已知波长的应用而言,例如在荧光显微镜或者使用已知的LED的通讯系统,在本技术领域内,大家都知道可以设计出很好的光栅。然而在使用白光进行成像和/或者角度检测的应用中,可能需要一颜色滤波器1430和该芯片一起工作,以将入射光的波长限定在一合适的范围之内。现代成像器的流程通常都包括这种颜色滤波器,因此可以用于基本的设计当中。此外,因为该流程通常都包括多个颜色滤波器层(典型的有红色、绿色、和蓝色),结合三个独立可调的光栅组(针对这三种颜色调整)使用这些滤波器可以实现彩色的光场成像。
提取在二极管上产生响应的光源对象的三维信息也是可能的。对于成像器可见的、在空间任意位置的光将会在该成像器的检测器上形成唯一一组响应。具体来说,位置(x,y,z)处的点照射到成像器(定义成像器平面为zs=0)上的点(xs,ys),其光强正比于
其入射角为
其θx为方位角,而θy为高度。
在该区域单个二极管所产生的照射符合以上等式,因此,例如“零角度、水平”二极管的亮度为
等等,由此,可以计算出来自于空间一给定点的照射在二极管上的任意响应。也就是说,对于任意给定的激发源s(x,y,z),可以定义一响应r(xs,ys,a)(其中xs和ys如上,a为从1到8的指数,其表示和该二极管相关的相位)。将每一个二极管对应为一个指数i,则以上响应可以写成向量的形式(这样,每个xs,ys,a的组合有一个唯一的i;例如,对于具有8个可能角度的N×N阵列,i=a+8*xs+N*8*ys,这样i的范围是从1到8N2)。然后可以定义针对给定激励(stimulus)点s(x,y,z)的阵列r中的总响应,其中r中的每一元素如以上所定义。如果能够计算尺度为X、Y和Z(定义为需要成像空间的整数倍)空间体积内每个激励位置所对应的向量,则对于该空间体积的这些点,就可以定义类似于上面所定义的单个指数j。这样,可以通过第二向量s定义所感兴趣的空间体积内光源的任何图形。由于s中的每个点处的光会在每个二极管上形成一响应r,而这些光源中的每个光源产生的影响会线性叠加,因此可以定义一矩阵A,其中每个元(entry)a(i,j)被定义为二极管i对在点j处单位光激励产生的响应。该响应遵循
r=As,
其中r现在是二极管响应向量,该向量捕获该阵列对于三维空间内给定激励图形的总响应。
需要注意的是A并不是一方阵,因为r总共有8N2项,而s有XYZ元。在大多数的需要合理高分辨率的情况下,可以粗略的假设X=Y=N,并且Z和N的数量级也是一样的,因此,一般可以假设s的像素要比r多很多(是其N/8倍的量级)。
要确定s(即所要成像的对象的三维结构),矩阵A可以根据下述等式进行变换:
s=A-1r
但是上述矩阵变换在数学上是不可能,因为A不是方阵,而是其“高度”要比“宽度”大。在平面成像器中没有足够的信息来区分所成像空间体积内所有可能的结构,这是因为有太多的未知量(在s中的各个元素),其数量要超过于定义它们的等式(r中的各个元)。 因此该问题的解需要加入额外的约束条件。以下讨论两个非限制性示例。
示例1:使用光场数据重新聚焦以及寻找范围
一种约束上述问题的办法是假设s是在某一特定焦深下视觉信息的结果,并找到如果检测到的光线仅仅来源于那个平面时成像应当看起来是何种情况的最佳估计。s现在可以描述尺度为X×Y的平面,从而得到s具有X×Y=N2个元。虽然现在实际上矩阵A还是小于矩阵r,因而A还不是方阵,但是其“更宽了”,其“宽度”要大于“高度”,这样,该问题现在被过定义了。通过使用伪逆变换(ATA)-1AT,该变换通常用于过约束系统,可以在给定r的情况下得到对s的最佳拟合。如果该拟合相当好的话(只要选择正确的焦平面就可以得到),那么该方式就可以实现对实际对象场景很好的近似。更具体地,如果s的近似值为
s′=pinv(A)r
其中pinv(A)为A矩阵的伪逆矩阵,并且给定A被选择为使得
r=As
那么,根据伪逆运算的定义,总误差|s′-s|达到最小。
这种方法也可以用于常规成像器的数据处理。但是,因为在s和r之间的映射不同,所以矩阵A也会不一样,并且A的伪逆矩阵也是不一样的。具体地,伪逆运算矩阵所能产生的结果的有用程度取决于A矩阵的奇异值(和方阵中的特征值类似)。此外,矩阵的奇异值越大,逆变换处理对小的误差和噪声更为不敏感。此处所描述的阵列,当被用来计算针对给定焦平面相对于成像器平面的偏移的激励s时,可能会提相当丰富的描述信息,这导致会形成具有更大奇异值的矩阵。图15示出了两个16×16阵列的例子101a和101b,其中一个阵列中每个像素仅仅检测光线,而另一个阵列中每个像素包含两个指状二极管和金属光栅,这样四个像素一组就形成了一个单元。对于距离成像平面4个像素远的焦平面,基于光栅的设计会产生一转换矩阵A,其奇异值要比常规成像器中矩阵的奇异值大100倍。因此,计算基于光栅的成像器的伪逆矩阵可以得到比常规成像器更加精确、噪音更小的结果。
这种方法的第二个结果是使用伪逆运算来计算误差项。详细的讲,计算r的估计值为:
r′=As′
和该估计值相关的误差项为
err=|r′–r|
如果估计值s′精确地产生矩阵r的各元素,则所形成的误差会非常小。如果在对A矩阵进行估计时成像源事实上位于该焦深处,则这一点是成立的。但是,如果成像是在其他焦深处形成的,该估计值可能是错误的,所产生的误差项会很大。仿真确认了,当选定实际焦深时该误差项最小(还是对16×16阵列进行仿真)。这一点特性和常规成像器情况不同,在常规成像器中,误差随着估计的焦深增大单调地增大,而与实际的情况无关。由于这种误差项只需要使用A和r,而不需要先知道s来计算,因此当对图像进行再聚焦时,使用该误差项来识别“正确的”焦深是可行的。该信息也可以独立于被成像的对象的细节而用于确认光场范围。
以上所描述的方法不需要应用到整个图像上,但是可以用于图像的一部分,这样,这些部分图像可以被独立地的再聚焦和/或确定范围,从而实现在整个图像上更好的聚焦并且/或者更好的范围确定。
示例II:使用光场数据获取稀疏荧光源
另外一个示例性应用是关于对组织中的荧光细胞的三维结构进行成像。因为该应用的目标在于能够独立地量化在不同焦平面上的多个细胞的荧光,则再聚焦方法并不适合。但是如果加上两个额外的约束条件:i)s中所有的元素必须完全的为正(不存在为负值的荧光),以及ii)荧光源相对分散地分布在所成像的空间内,则可以假设荧光细胞的数量少于像素的数量N2。如果这点成立的话,可以按照下述方式迭代地且依据亮度顺序确定每个荧光源:
a)将r关联于对于s中每个元素的期望响应,按照下式:c=rAT;
b)找到和矩阵r最相关的s的指数j(在矩阵c中最大元素的指数);
c)估计在该指数下的最大值,其会得到响应r′,从而使得对于所有i有r(i)′<r(i)。这表明r(i)–gA(j,i)>0,其中A(i,j)是第j列第i个元素。因此,对于所有的i值有g=min(r(i)/A(j,i))
d)按照系数λ缩减,其中0<λ<1,并加上目前的估计值上得到s′(j)=s′(j)+λg;
e)更新r值的残差r=r–As′;
f)重复以上步骤a-e。
该算法的每一次迭代确定r中看到的光场的主导光源点,包括激励点s′的估计中的那个光源,然后从r中去掉其影响的部分,从而允许该算法找到下个最可能的主导光源点。选择λ<1是为了避免r中的元素过早地归0。在可以得到合理结果的仿真中,λ=0.5。
此处所描述的各种不同实施例兼容其他各种集成光探测器/传感器,包括但不限于反向偏置的pn结二极管、正向偏压二极管(即光电池)、p-i-n二极管、电荷耦合器件(CCD)、单光子雪崩二极管或一对交错的N+/p-衬底扩散二极管。
在描述本发明的上下文中(特别是在下述权利要求书的上下文中),术语“一”、“一个”、“该”以及类似表述的使用应被理解为覆盖单数和复数形式,除非另外指出或者根据上下文有明显冲突。术语“包括”、“具有”、“包含”和“含有”应被理解为开放式术语(即意指“包括但不限于”),除非另有标注。术语“连接”应被理解为部分或者全部被包含在内、附属于或者连接在一起,即使可能有物介于其间。
数据范围在这里的引用仅仅意图作为单独表示落入到该范围内的每个单独数值的简要方法,除非另有说明,每个单独的数值被并入到本说明书中,就好像这些数值在这里被单独引用一样。
这里描述的所有方法可以按照任何适当的顺序来执行,除非另有说明,或者除非根据上下文有明显冲突。任何及所有例子、或者这里给出的示例性语言(例如“如”)的使用在这里仅仅意图更好地阐述本发明的实施例,而不是对本发明的保护范围加以限制,除非另作要求。
本说明书中并没有语言应当被解释为指明任意为要求的要素对本发明的实施是必要的。
对于本领域技术人员来说很清楚的是,可以在不偏离本发明的主旨和保护范围的情况下对本发明做出各种不同的修改和改变。我们无意将本发明限定在所公开的一种或多种特定形式,相反,本发明覆盖了落入到本发明的主旨和保护范围内的所有修改、替代方案和 等同方案,就像所附权利要求中限定的那样。因此,本发明意图覆盖本发明的各种修改和变化,只要其落入所附权利要求书及其等同的保护范围内。
Claims (9)
1.一种角度敏感像素装置,包括:
衬底;
周期为p1的相位光栅,其位于所述衬底中,其中所述相位光栅特征在于与入射光场垂直的方向上折射率的周期性变化,并且所述相位光栅在其下方的塔尔博特平面中形成周期性强度图形;
周期为p2的振幅透射分析光栅,其位于所述塔尔博特平面中;以及
位于所述分析光栅下方选定距离的传感器。
2.如权利要求1中所述的角度敏感像素装置,还包括图形化于所述相位光栅上的色散材料。
3.如权利要求1中所述的角度敏感像素装置,其中所述相位光栅包括二氧化硅。
4.如权利要求1中所述的角度敏感像素装置,其中所述传感器包括至少一对周期性的、交错的N+/P-衬底扩散二极管。
5.如权利要求1中所述的装置,其中p2=p1。
6.如权利要求1中所述的装置,其中所述分析光栅位于第二选定的塔尔博特距离zT2=(m2/n2)(2p1 2/λ)处,其中m,n为正整数,而p1等于或者大于λ。
7.如权利要求1中所述的装置,其中所述传感器位于第一选定的塔尔博特距离zT1=(m1/n1)(2p1 2/λ)处,其中m,n为正整数,而p1等于或者大于λ。
8.如权利要求1中所述的装置,其中该装置为一集成的CMOS半导体结构。
9.一种光场成像装置,其包括权利要求1所述的角度敏感像素装置所构成的二维的、M×N的阵列,其中M和N为等于或者大于1的整数。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US40720210P | 2010-10-27 | 2010-10-27 | |
| US61/407,202 | 2010-10-27 | ||
| US201113055566A | 2011-04-06 | 2011-04-06 | |
| US13/055,566 | 2011-04-06 | ||
| PCT/US2011/057970 WO2012058360A2 (en) | 2010-10-27 | 2011-10-27 | Light field image sensor, method and applications |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103299166A CN103299166A (zh) | 2013-09-11 |
| CN103299166B true CN103299166B (zh) | 2015-09-23 |
Family
ID=45994734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180062806.8A Active CN103299166B (zh) | 2010-10-27 | 2011-10-27 | 光场图像传感器、方法和应用 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP2633277B1 (zh) |
| KR (1) | KR101904033B1 (zh) |
| CN (1) | CN103299166B (zh) |
| WO (1) | WO2012058360A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11105745B2 (en) | 2019-10-10 | 2021-08-31 | Visera Technologies Company Limited | Biosensor |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014137922A1 (en) | 2013-03-05 | 2014-09-12 | Rambus Inc. | Phase gratings with odd symmetry for high-resoultion lensless optical sensing |
| US9110240B2 (en) | 2013-03-05 | 2015-08-18 | Rambus Inc. | Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing |
| CN103344964B (zh) * | 2013-06-18 | 2015-04-15 | 浙江大学 | 一种遥感区分灰霾类别的激光雷达装置 |
| US10075234B2 (en) * | 2014-03-25 | 2018-09-11 | Osram Sylvania Inc. | Techniques for emitting position information from luminaires |
| US9299733B2 (en) | 2014-06-02 | 2016-03-29 | Stmicroelectronics (Grenoble 2) Sas | Image sensor |
| CN111089612B (zh) * | 2014-09-24 | 2022-06-21 | 原相科技股份有限公司 | 光学传感器及光学感测系统 |
| US10509147B2 (en) | 2015-01-29 | 2019-12-17 | ams Sensors Singapore Pte. Ltd | Apparatus for producing patterned illumination using arrays of light sources and lenses |
| KR102544297B1 (ko) * | 2015-01-29 | 2023-06-15 | 에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드 | 패턴 조명을 생성하기 위한 장치 |
| US10605916B2 (en) | 2015-03-17 | 2020-03-31 | Cornell University | Depth field imaging apparatus, methods, and applications |
| WO2017040826A1 (en) * | 2015-09-01 | 2017-03-09 | Massachusetts Institute Of Technology | Apparatus, systems, and methods for talbot spectrometers |
| US10284825B2 (en) | 2015-09-08 | 2019-05-07 | Rambus Inc. | Systems with integrated refractive and diffractive optics |
| JP6847097B2 (ja) * | 2015-09-17 | 2021-03-24 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 光学取得系によりキャプチャされた画像を符号化するための装置及び方法 |
| FR3041772B1 (fr) | 2015-09-30 | 2018-09-21 | St Microelectronics Sa | Procede de fabrication d'un filtre spectral nanostructure |
| WO2017131585A1 (en) | 2016-01-26 | 2017-08-03 | Heptagon Micro Optics Pte. Ltd. | Multi-mode illumination module and related method |
| JP7120929B2 (ja) * | 2016-06-07 | 2022-08-17 | エアリー3ディー インコーポレイティド | 深度取得及び3次元撮像のためのライトフィールド撮像デバイス及び方法 |
| CN110140348B (zh) * | 2016-12-27 | 2020-12-25 | 富士胶片株式会社 | 摄像装置及摄像模块 |
| FR3064112B1 (fr) * | 2017-03-16 | 2021-06-18 | Commissariat Energie Atomique | Dispositif imageur optique |
| JP6908470B2 (ja) * | 2017-08-25 | 2021-07-28 | 京セラ株式会社 | 電磁波検出装置、プログラム、および電磁波検出システム |
| CN107560546B (zh) * | 2017-10-11 | 2024-01-19 | 长光(沧州)光栅传感技术有限公司 | 光栅尺光电传感器 |
| TW201925860A (zh) * | 2017-12-05 | 2019-07-01 | 加拿大商艾瑞3D股份有限公司 | 用於深度獲取之光場影像處理方法 |
| DE102017222970B4 (de) * | 2017-12-15 | 2025-04-30 | Microvision, Inc. | LIDAR Messsystem |
| WO2019239845A1 (ja) * | 2018-06-14 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 物体検出装置および光検出器 |
| US10963300B2 (en) | 2018-12-06 | 2021-03-30 | Raytheon Company | Accelerating dataflow signal processing applications across heterogeneous CPU/GPU systems |
| CN110929828A (zh) * | 2019-12-06 | 2020-03-27 | 北京金衡融创网络科技有限公司 | 防伪标签及其识别方法、印刷品 |
| CN116171399A (zh) * | 2020-07-31 | 2023-05-26 | 华为技术有限公司 | 光学装置 |
| CN112836172B (zh) * | 2020-12-31 | 2025-02-25 | 杭州电子科技大学 | 一种多层各向异性手征媒质的透射谱的计算方法 |
| CN114815241B (zh) * | 2021-12-16 | 2022-12-16 | 北京灵犀微光科技有限公司 | 抬头显示系统、方法及车载系统 |
| CN114839789B (zh) * | 2022-05-20 | 2023-09-12 | 西南科技大学 | 一种基于二值化空间调制的衍射聚焦方法以及装置 |
| CN115185100B (zh) * | 2022-06-22 | 2023-08-04 | 成都飞机工业(集团)有限责任公司 | 一种加密点阵式光场的生成方法 |
| CN115902765B (zh) * | 2022-09-20 | 2025-09-16 | 中国科学院微电子研究所 | 一种芯片式光学测向定位装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19912945A1 (de) * | 1999-03-23 | 2000-09-28 | Juergen Jahns | Doppelgitteranordnung zur zeitlichen Filterung schneller optischer Signale |
| WO2010044943A2 (en) * | 2008-07-25 | 2010-04-22 | Cornell University | Light field image sensor, method and applications |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3897389B2 (ja) | 1996-02-22 | 2007-03-22 | キヤノン株式会社 | 光電変換装置の駆動方法及び光電変換装置 |
| JP3576885B2 (ja) | 1998-09-18 | 2004-10-13 | キヤノン株式会社 | 素子の製造方法 |
| US6525815B2 (en) * | 2000-11-10 | 2003-02-25 | The Board Of Trustees Of The Leland Stanford Junior University | Miniaturized Talbot spectrometer |
| WO2004058070A1 (ja) | 2002-12-26 | 2004-07-15 | Atsushi Momose | X線撮像装置および撮像方法 |
| JP4233089B2 (ja) * | 2003-08-12 | 2009-03-04 | 株式会社リコー | 傾きセンサ、光ピックアップ装置及び光ディスク装置 |
| ATE524056T1 (de) | 2007-11-15 | 2011-09-15 | Suisse Electronique Microtech | Interferometervorrichtung und verfahren |
| KR101468520B1 (ko) * | 2008-03-04 | 2014-12-03 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 가이드된 모드 공진을 이용하는 각도 센서, 시스템 및 방법 |
-
2011
- 2011-10-27 WO PCT/US2011/057970 patent/WO2012058360A2/en not_active Ceased
- 2011-10-27 KR KR1020137013124A patent/KR101904033B1/ko active Active
- 2011-10-27 EP EP11837049.3A patent/EP2633277B1/en active Active
- 2011-10-27 CN CN201180062806.8A patent/CN103299166B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19912945A1 (de) * | 1999-03-23 | 2000-09-28 | Juergen Jahns | Doppelgitteranordnung zur zeitlichen Filterung schneller optischer Signale |
| WO2010044943A2 (en) * | 2008-07-25 | 2010-04-22 | Cornell University | Light field image sensor, method and applications |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11105745B2 (en) | 2019-10-10 | 2021-08-31 | Visera Technologies Company Limited | Biosensor |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2633277A2 (en) | 2013-09-04 |
| EP2633277A4 (en) | 2014-07-02 |
| WO2012058360A2 (en) | 2012-05-03 |
| KR101904033B1 (ko) | 2018-10-04 |
| WO2012058360A3 (en) | 2012-11-01 |
| EP2633277B1 (en) | 2020-06-17 |
| KR20140038921A (ko) | 2014-03-31 |
| CN103299166A (zh) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103299166B (zh) | 光场图像传感器、方法和应用 | |
| US9658060B2 (en) | Light field image sensor, method and applications | |
| US8809758B2 (en) | Light field image sensor with an angle-sensitive pixel (ASP) device | |
| EP3466052B1 (en) | Light field imaging device and method for depth acquisition and three-dimensional imaging | |
| CN104425532B (zh) | 具有立体堆栈结构的图像传感器 | |
| US10854652B2 (en) | Optical sensing with tessellated diffraction-pattern generators | |
| CN102564586B (zh) | 衍射孔阵列结构微型光谱仪及其高分辨率光谱复原方法 | |
| KR100783335B1 (ko) | 입사광의 측정 방법 및 그것을 이용한 분광 기구를 갖는센서 | |
| Sivaramakrishnan et al. | Design and characterization of enhanced angle sensitive pixels | |
| CN109884742B (zh) | 光场成像装置和光场成像方法 | |
| Wang et al. | Angle sensitive pixels in CMOS for lensless 3D imaging | |
| Sivaramakrishnan et al. | Enhanced angle sensitive pixels for light field imaging | |
| Varghese et al. | Track-and-tune light field image sensor | |
| Zheng | Angle-sensitive pixel design for wavefront sensing | |
| Yang et al. | Integrated colour detectors in 0.18 µm CMOS technology | |
| Varghese | Angle sensitive imaging: A new paradigm for light field imaging | |
| Bray et al. | Front-side illuminated CMOS spectral pixel response and modulation transfer function characterization: impact of pixel layout details and pixel depletion volume | |
| Wang | Angle Sensitive Pixels For Integrated Light Field Sensing | |
| Shen et al. | Track-and-tune light field image sensor | |
| Zhang | A novel CMOS micro-spectrometer based on wavelength absorption |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |