[go: up one dir, main page]

CN104899870B - 基于光场数据分布的深度估计方法 - Google Patents

基于光场数据分布的深度估计方法 Download PDF

Info

Publication number
CN104899870B
CN104899870B CN201510251234.8A CN201510251234A CN104899870B CN 104899870 B CN104899870 B CN 104899870B CN 201510251234 A CN201510251234 A CN 201510251234A CN 104899870 B CN104899870 B CN 104899870B
Authority
CN
China
Prior art keywords
light field
depth
scene
msup
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510251234.8A
Other languages
English (en)
Other versions
CN104899870A (zh
Inventor
金欣
许娅彤
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201510251234.8A priority Critical patent/CN104899870B/zh
Publication of CN104899870A publication Critical patent/CN104899870A/zh
Priority to PCT/CN2015/098117 priority patent/WO2016184099A1/zh
Application granted granted Critical
Publication of CN104899870B publication Critical patent/CN104899870B/zh
Priority to US15/809,769 priority patent/US10346997B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于光场数据分布的深度估计方法，其包括以下步骤：S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及重复所述步骤S2，获得所有宏像素的场景深度。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。

Description

基于光场数据分布的深度估计方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于光场数据分布的深度估计方法。
背景技术
基于光场成像理论，新近发布的光场相机(如Lytro和RayTrix)获得了巨大的商业成功，并引发研究学界的广泛关注。普通用户利用单台相机除了能实现重聚焦与视点移动功能，也可以借助相关算法从所拍摄的光场图像中估算场景深度。该方法计算深度具有价廉、便捷等优势。
现存基于光场相机的深度估计方法大体可分为两类：立体匹配算法与光场分析算法。传统的立体匹配算法直接利用光场相机采集的各子孔径图像间的相关性计算深度。然而，这类算法通常计算复杂度较高，并且因为子孔径图像的低分辨率无法满足算法匹配所需精度要求，所以得到的深度结果质量较差。另一些改良的立体匹配算法，比如考虑光线传播的直线性，却仍旧因为只利用到光场数据中各视点图像的相关性信息，限制了深度估计的性能。
光场分析方法试图同时利用光场数据中包含的各视点图像的一致性与焦距信息这两种线索来估算深度。该类算法为不同线索定义不同的代价方程，并融合两种线索得到的深度估计进行互补来提升最终结果的准确度。但是，由该类算法估计的深度缺乏细节信息，在准确性与一致性上还有待提升。
发明内容
本发明的目的是提供一种基于光场数据分布的深度估计方法，以解决现有光场相机深度估计方法存在的上述技术问题中的至少一种。
本发明的思路是充分参考光场数据特性，从改变输入光场图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量预估场景深度。进一步，还利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息建立多元可信度模型衡量各点初始深度质量，取长补短从而优化初步估计结果，达到利用光场相机采集数据计算高质量深度图像的目的。
本发明提供的一种基于光场数据分布的深度估计方法包括以下步骤：
S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；
S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及
重复所述步骤S2，获得所有宏像素的场景深度。
在上述的基于光场数据分布的深度估计方法中，优选地，所述步骤S1中，采用点扩散函数调整输入光场图像的像素分布。
在上述的基于光场数据分布的深度估计方法中，优选地，进一步还包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。
在上述的基于光场数据分布的深度估计方法中，优选地，所述的依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。
在上述的基于光场数据分布的深度估计方法中，优选地，所述可信度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。
在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的第一部分为C1(x,y)，
其中，Rz*(x,y)和Rz’(x,y)分别是强度范围Rz(x,y)随场景深度的变化曲线的最小值点和极小值点，z*和z’为最小值点和极小值点对应的场景深度。
在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础；所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。
本发明从变换输入图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量估计场景深度。在更优的方案中，还利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化深度估计。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。
附图说明
图1为本发明基于光场数据分布的深度估计方法一些实施例的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。
参照图1，一些实施例基于光场数据分布的深度估计方法包括以下步骤：
S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像。
具体地，输入光场图像首先经过预矫正处理，将每个宏像素中未能捕捉到有效数据信息的外围点去除，防止无意义像素值干扰后续处理。采用点扩散函数(PointSpreadFunction,PSF)调整矫正后的光场图像Lo的像素位置分布，实现对输入光场图像的重聚焦处理如下：
生成聚焦平面由近及远变化的一系列光场图像Lz(z＝1,2,3…)，其中z为预设的深度层次，x，y与u，v分别为图像平面上的空间坐标与角度坐标。
S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度。所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围。
光场相机的微透镜阵列的每个微透镜相对于相机的主透镜而言代表某角度上的子孔径，光场数据中宏像素对应实际场景中的一点，宏像素包含了其相应场景点通过整个微透镜阵列投影的角度信息，并对应记录在宏像素内各点上，即各点的强度值与分布位置。根据光场成像理论，图像宏像素中各点强度反映场景点通过不同位置微透镜的投影，在一系列光场图像Lz(z＝1,2,3…)的聚焦平面由近及远变化时，宏像素中各点的强度值在不断变化，导致整个宏像素的强度范围也随之变化，因此，以宏像素的强度范围作为与深度相关张量来估计深度。具体地，提取宏像素强度范围如下：
其中I(x,y,u,v)是位于坐标(x,y)的微透镜(对应图像平面Lz中的宏像素(x,y))内一点(u,v)的强度值，M表示该微透镜内所有点的集合。
由光场成像原理分析可知当场景点恰好位于相机聚焦平面上时，该点透过位于各角度的子孔径被准确投影在图像平面上，即各角度投影均准确反映了该点的纹理值，因此其对应宏像素内各点强度的变化范围最小——宏像素强度范围最小。聚焦该场景点的光场图像Lz的焦距反映了该点的深度信息，由此得到宏像素(x,y)的场景深度初始估计Dinitial(x,y)，
重复上述步骤S2，即可获得所有宏像素的场景深度。
S3、依据可信度模型对步骤S2获得的场景深度进行全局优化。
在优选的实施例中，所述多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。
在更优选实施例中，多元可信度模型建立如下：首先定义一元可信度(即多元可信度模型的第一部分)以衡量深度估计的准确性，通过分析提取各点强度范围Rz(x,y)随深度D的变化趋势(变化曲线)，发现该曲线的最小值点与极小值点的欧氏距离与该点深度估计Dinitial(x,y)的准确性存在正相关关系，由此对各点深度估计赋予与准确性相应的可信度C1如下：
其中，Rz*(x,y)和Rz’(x,y)分别是强度范围Rz(x,y)随深度D的变化曲线的最小值点与极小值点，z*和z’为其各自对应的深度。其次，定义另一元可信度(即多元可信度模型的第二部分)以衡量估计深度Dinitial在非边界区域的一致性与边界区域的突变性，根据中心子孔径纹理图像的梯度信息在非边界区域变化平缓、在边界区域突变的特性，定义另一元可信度C2如下：
C2(x，y)＝(Gradx(x,y)+Grady(x,y))/2 (5)
其中Gradx和Grady分别为图像平面x,y方向上的梯度值，F(x,y)为中心子孔径纹理图(x,y)处像素的强度值。最后，结合可信度C1和C2建立多元可信度模型C如下：
C(x，y)＝C1(x，y)·C2(x，y) (6)
在上述更优选实施例中，所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础。相应地，所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。具体地，由于宏像素内各点记录了角度信息，因此各宏像素中心点所构成的图像即为中心子孔径纹理图。
在一些实施例中，全局优化的步骤包括：以步骤S2获得的场景深度Dinitial作为初始输入，利用马尔科夫随机场(Markov Random Field,MRF)进行优化。优化原则是：提高深度估计的准确性与一致性，并保留清晰的边界特征。具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。全局优化后得最终深度估计Dfinal，过程如下：
其中，λflat和λsmooth为拉普拉斯约束项和二阶微分项的参数，分别限制了最终深度估计Dfinal的平滑性与连续性。此外还可以计算Dfinal与约束项间的误差，构造误差矩阵来最小化公式(8)，由此进一步优化深度估计结果。可以理解地，利用马尔科夫随机场进行全局优化只是一个优选方式，本发明还可以采用其它方式来进行全局优化，例如基于图像切割的多标记优化，联合离散连续优化等。
上述一些实施例充分参考光场数据特性，从变换输入光场图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量估计场景深度，并利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化深度估计。利用一些实施例能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的室内外场景深度估计。

Claims (7)

1.一种基于光场数据分布的深度估计方法，其特征在于，包括以下步骤：
S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；
S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及
重复所述步骤S2，获得所有宏像素的场景深度。
2.根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，所述步骤S1中，采用点扩散函数调整输入光场图像的像素分布。
3.根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，进一步还包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。
4.根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述的依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。
5.根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述可信度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。
6.根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于，
所述多元可信度模型的第一部分为C1(x,y)，
<mrow> <msub> <mi>C</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <msup> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msup> <mi>z</mi> <mo>*</mo> </msup> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>R</mi> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>z</mi> <mo>*</mo> </msup> <mo>-</mo> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </msqrt> </mrow>
其中，Rz*(x,y)和Rz’(x,y)分别是强度范围Rz(x,y)随场景深度的变化曲线的最小值点和极小值点，z*和z’为最小值点和极小值点对应的场景深度。
7.根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于，
所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础；
所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。
CN201510251234.8A 2015-05-15 2015-05-15 基于光场数据分布的深度估计方法 Active CN104899870B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510251234.8A CN104899870B (zh) 2015-05-15 2015-05-15 基于光场数据分布的深度估计方法
PCT/CN2015/098117 WO2016184099A1 (zh) 2015-05-15 2015-12-21 基于光场数据分布的深度估计方法
US15/809,769 US10346997B2 (en) 2015-05-15 2017-11-10 Depth estimation method based on light-field data distribution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510251234.8A CN104899870B (zh) 2015-05-15 2015-05-15 基于光场数据分布的深度估计方法

Publications (2)

Publication Number Publication Date
CN104899870A CN104899870A (zh) 2015-09-09
CN104899870B true CN104899870B (zh) 2017-08-25

Family

ID=54032515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510251234.8A Active CN104899870B (zh) 2015-05-15 2015-05-15 基于光场数据分布的深度估计方法

Country Status (3)

Country Link
US (1) US10346997B2 (zh)
CN (1) CN104899870B (zh)
WO (1) WO2016184099A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361520B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899870B (zh) 2015-05-15 2017-08-25 清华大学深圳研究生院 基于光场数据分布的深度估计方法
CN106384338B (zh) * 2016-09-13 2019-03-15 清华大学深圳研究生院 一种基于形态学的光场深度图像的增强方法
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN107702660A (zh) * 2017-04-22 2018-02-16 广州首感光电科技有限公司 基于光场显微成像的微尺度三维工业检测系统
CN107610170B (zh) * 2017-08-04 2020-05-19 中国科学院自动化研究所 多目图像重聚焦的深度获取方法及系统
CN107909578A (zh) * 2017-10-30 2018-04-13 上海理工大学 基于六边形拼接算法的光场图像重聚焦方法
CN107726993B (zh) * 2017-10-30 2019-07-19 上海理工大学 基于光场图像宏像素最大梯度区域的颗粒深度测量方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN111869205B (zh) 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
CN108596965B (zh) * 2018-03-16 2021-06-04 天津大学 一种光场图像深度估计方法
JP7722818B2 (ja) 2018-03-23 2025-08-13 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ－ｄｉｂｒ）
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
US11689709B2 (en) 2018-07-05 2023-06-27 Interdigital Vc Holdings, Inc. Method and system for near-eye focal plane overlays for 3D perception of content on 2D displays
CN119211513A (zh) * 2018-07-06 2024-12-27 交互数字Vc控股公司 用于形成大视点变化的扩展焦平面的方法和系统
CN109064505B (zh) * 2018-07-26 2020-12-25 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN109615650B (zh) * 2018-11-22 2022-11-25 浙江工商大学 一种基于变分法和遮挡互补的光场流估计方法
CN110120071B (zh) * 2019-05-15 2023-03-24 南京工程学院 一种面向光场图像的深度估计方法
CN110415209A (zh) * 2019-06-12 2019-11-05 东北农业大学 一种基于光场视觉深度估计的奶牛采食量监测方法
CN111679337B (zh) * 2019-10-15 2022-06-10 上海大学 一种水下主动激光扫描成像系统中散射背景抑制方法
CN111784620B (zh) * 2020-07-06 2023-05-16 太原科技大学 空间信息引导角度信息的光场相机全聚焦图像融合算法
CN112215879B (zh) * 2020-09-25 2024-06-21 北京交通大学 一种光场极平面图像的深度提取方法
CN112288789B (zh) * 2020-10-26 2024-03-29 杭州电子科技大学 基于遮挡区域迭代优化的光场深度自监督学习方法
CN112288669B (zh) * 2020-11-08 2024-01-19 西北工业大学 一种基于光场成像的点云地图获取方法
CN113298943A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于光场成像的esdf地图构建方法
CN113808019A (zh) * 2021-09-14 2021-12-17 广东三水合肥工业大学研究院 一种非接触测量系统及方法
CN115937064B (zh) * 2021-12-21 2025-11-21 温州大学大数据与信息技术研究院 一种基于空间和角度测量的光场图像质量评价方法
CN114511605B (zh) * 2022-04-18 2022-09-02 清华大学 光场深度估计方法、装置、电子设备及存储介质
CN115100269B (zh) * 2022-06-28 2024-04-23 电子科技大学 一种光场图像深度估计方法、系统、电子设备及存储介质
CN115760759A (zh) * 2022-11-17 2023-03-07 中国直升机设计研究所 一种基于光场成像的复杂环境目标提取方法及装置
WO2024113126A1 (zh) * 2022-11-29 2024-06-06 电子科技大学 一种基于稀疏AD-Census及光场遮挡模型的深度估计方法
CN116152318B (zh) * 2023-02-28 2025-05-06 湖北工业大学 一种基于光场偏振特性的深度估计方法
CN116449049B (zh) * 2023-03-29 2024-10-01 南京航空航天大学 一种基于多色光深度编码和光场相机的三维流场测试方法及系统
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统
CN120808277B (zh) * 2025-09-03 2025-11-28 国网山西省电力公司超高压变电分公司 一种基于光场图像的区域感知分析方法和分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN102809918A (zh) * 2012-08-08 2012-12-05 浙江大学 基于多层空间光调制器的高分辨全息三维显示装置和方法
CN104050662A (zh) * 2014-05-30 2014-09-17 清华大学深圳研究生院 一种用光场相机一次成像直接获取深度图的方法
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
US9524556B2 (en) * 2014-05-20 2016-12-20 Nokia Technologies Oy Method, apparatus and computer program product for depth estimation
CN104899870B (zh) * 2015-05-15 2017-08-25 清华大学深圳研究生院 基于光场数据分布的深度估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN102809918A (zh) * 2012-08-08 2012-12-05 浙江大学 基于多层空间光调制器的高分辨全息三维显示装置和方法
CN104050662A (zh) * 2014-05-30 2014-09-17 清华大学深圳研究生院 一种用光场相机一次成像直接获取深度图的方法
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法
CN104463949A (zh) * 2014-10-24 2015-03-25 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
a.Robust Depth Estimation by Fusion of Stereo and Focus Series Acquired with a Camera Array.《Multisensor Fusion and Integration for Intelligent Systems》.2006, *
Christian Frese，Ioana Ghet&cedil *
Depth Estimation within a Multi-Line-Scan Light-Field Framework;D Soukup 等;《Visual Computing》;20141210;第471-481页 *
Single lens 3D-camera with extended depth-of-field;Christian Perwass，Lennart Wietzke;《 Human Vision and Electronic Imaging XVII》;20120209;第829108-1至829108-15页 *
基于光场分析的多线索融合深度估计方法;杨德刚 等;《计算机学报》;20141102;第1-15页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361520B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
US11893700B2 (en) 2017-04-11 2024-02-06 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences

Also Published As

Publication number Publication date
US20180114328A1 (en) 2018-04-26
US10346997B2 (en) 2019-07-09
WO2016184099A1 (zh) 2016-11-24
CN104899870A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104899870B (zh) 基于光场数据分布的深度估计方法
CN114693760B (zh) 图像校正方法、装置及系统、电子设备
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN109146794B (zh) 一种光场图像旋转误差校正方法
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
US7990371B2 (en) Method for reconstructing a three-dimensional surface of an object
CN103945118B (zh) 图像虚化方法、装置及电子设备
US8593524B2 (en) Calibrating a camera system
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN107038719A (zh) 基于光场图像角度域像素的深度估计方法及系统
CN101887589A (zh) 一种基于立体视觉的实拍低纹理图像重建方法
CN104065947B (zh) 一种集成成像系统的深度图获取方法
CN106228605A (zh) 一种基于动态规划的立体匹配三维重建方法
TWI529661B (zh) 快速建立景深圖的方法及影像處理裝置
CN106225676B (zh) 三维测量方法、装置及系统
CN104079827A (zh) 一种光场成像自动重对焦方法
CN104156957A (zh) 一种稳定高效的高分辨率立体匹配方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2016024052A (ja) ３次元計測システム、３次元計測方法及びプログラム
US9635245B2 (en) Focus position detection device and focus position detection method
CN108665436B (zh) 一种基于灰度均值参照的多聚焦图像融合方法和系统
CN103841327B (zh) 一种基于原始图像的四维光场解码预处理方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua

Patentee after: Tsinghua Shenzhen International Graduate School

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua

Patentee before: GRADUATE SCHOOL AT SHENZHEN, TSINGHUA University

CP01 Change in the name or title of a patent holder