[go: up one dir, main page]

CN106210538A - 在用户设备上显示基于光场的图像的方法和装置及程序 - Google Patents

在用户设备上显示基于光场的图像的方法和装置及程序 Download PDF

Info

Publication number
CN106210538A
CN106210538A CN201610637897.8A CN201610637897A CN106210538A CN 106210538 A CN106210538 A CN 106210538A CN 201610637897 A CN201610637897 A CN 201610637897A CN 106210538 A CN106210538 A CN 106210538A
Authority
CN
China
Prior art keywords
image
light field
focusing
scene
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610637897.8A
Other languages
English (en)
Inventor
L·布朗德
B·范达姆
P·克尔比里乌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106210538A publication Critical patent/CN106210538A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458—Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了在用户设备上显示基于光场的图像的方法和装置及程序。其中，一种用于在用户设备(52)上显示至少一个基于光场的图像(51)的方法。这种方法包括：显示根据被确定为用户设备(52)的姿势的函数的至少一个聚焦参数而聚焦的图像。被嵌入在可能为手持设备的用户设备中的传感器可以估算该姿势。

Description

在用户设备上显示基于光场的图像的方法和装置及程序
技术领域
本公开涉及光场成像，并涉及用于获取和处理光场数据的技术。更准确地，本公开一般涉及在用户设备上显示基于光场的图像的方法和装置，并找到了在图像或视频呈现领域中的应用。
背景技术
本节要向读者介绍技术的各个方面，它可能涉及在下文描述和/或请求保护的本公开的各个方面。这一讨论被认为有助于为读者提供背景信息，以便更好地理解本发明的各个方面。因此，应当理解，这些陈述要从这个角度来阅读，而并不作为对于现有技术的承认。
传统的图像捕获设备将三维场景投射在二维传感器上。在操作期间，传统的捕获设备在光量到达该设备内的光传感器(或者光检测器)时捕获表示光量的场景的二维(2-D)图像。然而，此2-D图像不包含与到达光传感器的光线的方向分布有关的信息(其可称为光场)。入射光的方向，例如，在这种2D获取中丢失，并且对于单个系统来说类似深度的信息不能被恢复。因此，传统的捕获设备不存储与来自场景的光分布有关的大部分信息。
已经设计了光场捕获设备(也称为“光场数据获取设备”)通过从场景的不同视点捕获光来测量场景的四维(4D)光场。因此，通过测量沿着与光传感器相交的每个光束行进的光量，这些设备可捕获额外的光学信息(与光线束的方向分布有关的信息)，以通过后处理提供新的成像应用。由光场捕获设备获取/获得的信息被称为光场数据。光场捕获设备在这里被定义为能够捕获光场数据的任何设备。存在多个类型的光场捕获设备，其中：
-全光设备，其使用置于图像传感器和主透镜之间的微透镜阵列，如文档US2013/0222633中所述；
-相机阵列。
光场数据还可以根据每个都通过使用传统手持相机从不同视点拍摄的场 景的一系列2-D图像，利用计算机生成影像(CGI)进行模拟。
光场数据处理特别包括但不限于生成场景的重新聚焦的图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像和/或这些的任意组合。
因此，其中，4D光场(4DLF)允许计算具有可调的景深、聚焦距离以及观看位置的各种重新聚焦的图像。然而，用户体验通常被限制为在TV或监视器、2D计算机和移动显示器上的简单呈现。
感兴趣的是允许用户根据可从基于光场的获取系统计算的图像的多个方向和景深将个性化的视图可视化(根据给定视点、用户依赖的深度虚化等)。
为此，一些学术工作已经关注于重新聚焦，或者从光场图像改变视点方向，诸如Marc Levoy发表于IEEE Computer 39，no.8(2006)：46-55的“Light fields andcomputational imaging”以及Ng Ren等发表于Computer Science Technical ReportCSTR 2，no.11(2005)的“Light field photography with a hand-held plenopticcamera”。
一些相机制造商诸如或同样也提供了用于个性化显示给用户的图像的解决方案。
根据这些技术，通过鼠标定位或触碰触摸屏提供用户和显示器之间的交互。例如，用户可以指向场景中的一个对象，并且显示给用户的图像将依次显示聚焦的所选对象。
希望提供一种用于显示光场图像的技术，其相对于现有技术会增强用户和光场内容之间的交互。值得注意，希望提供一种技术，其通过优化在光场图像或视频内容中表示用户导航的视点和/或重新聚焦参数的生成和使用，来增强与光场内容的交互。
发明内容
在一个实施例中，提供了一种用于在用户设备上显示至少一个基于光场的图像的方法。这种方法包括：显示根据被确定为用户设备的姿势的函数的至少一个聚焦参数聚焦的图像。
对于姿势，在这里并且贯穿本文档是指相对于参考系的位置和方向的组合。
本公开因此依靠一种具有新颖性和创造性的在基于光场的内容(诸如基 于光场的视频)中的用户导航的方法。实际上，取决于用户设备的姿势，它允许将光场图像或视频数据集转换为每个用户一个视点/重新聚焦。通过移动用户设备，用户以主动的方式驱动该视点/重新聚焦的参数(例如，诸如空间中的主光线方向、聚点和深度虚化距离)。用户与用户设备的交互被转换或变换为视点和/或重新聚焦参数。
因此本公开的技术使得在可视化视频光场数据集时获得更好的用户体验，因为用户对用户设备的自然动作在图像的4D至2D重新投影或重新聚焦在用户设备上时产生视觉改变。
这种技术可扩展至若干用户，每个用户在给定的视频数据集中驱动不同的视点/重新聚焦。它还可能扩展至每个用户的若干视点，例如扩展至针对立体或多视图显示。实际上，在已知多视图显示几何特征的情况下可从光场中提取出若干视点/重新聚焦。例如，对于立体呈现，设备的姿势/方向信息可以定义中心视图，其被立体显示所需的两个视图所取代而不是生成。几何变换用于基于该中心视图定义这两个立体视图。
必须注意光场数据集可以由多个图像捕获设备(诸如相机阵列)或者由全光图像捕获设备捕获。它还可以使用计算机生成图像(CGI)进行模拟。
根据本公开的一个实施例，通过使用被嵌入在用户设备中的至少一个传感设备来估算姿势。因此，一个或多个传感器捕获用户与用户设备的交互，并且用户设备的位置和方向可以容易地从由传感器捕获的信息推出。
根据本公开的一个实施例，这种传感设备属于包括以下项的组：
-内部运动捕获系统；
-惯性测量单元(IMU)；
-指向至少一个参考元素的相机。
惯性测量单元是包括加速计和陀螺仪的组合的设备，并还可以包括磁力计。它们提供使得计算该设备的方向(旋转)和相对或绝对位置(平移)的加速度、方向和重力的测量。
相机可以是用户设备上的前置相机，其为拍摄用户的相机，或者是后置相机，其为拍摄用户前面的场景的相机。使用前置相机，足够接近地拍摄用户面部，它可能针对用户的面部几何特征做出一些假设，以相对于依附于该面部的坐标系计算相机姿势。使用前置相机时，该传感器也可以存在于眼球追踪系统中。后置相机可以指向场景中的参考图案，诸如AR标签。
这种传感设备还可以为外部运动捕获系统，诸如：
-从AR标签估算该姿势和方向的房间中的相机；
-例如从立体视图或多视图估算该姿势和方向的房间中的相机；
-从回射元件(还称为被动标记)估算该姿势和方向的光源和相机；
-以及更一般地，任意种类的运动捕获(mocap)技术。
根据本公开的一个实施例，用户设备是手持设备，诸如平板电脑或智能手机。
在平板电脑或手机屏幕上观看光场视频的用户，可以容易地移动该平板电脑的屏幕或手机屏幕，以驱动图像的视点和聚焦参数。
根据本公开的另一实施例，显示的图像是确定为聚焦堆栈(Focal Stack)与取决于所述设备的至少一个姿势参数的交会平面的相交处的切片图像。
实际上，可以重组光场图像或视频的数据集，以在前端透镜的焦平面附近形成与由在其焦平面附近的透镜生成的光场相似的光数据量。这种聚焦堆栈在图1中示意性地图示出。使用相机的传统聚焦通过在聚焦堆栈100内选择图像101、102、103中的一个进行模拟，其对应于将聚焦平面垂直于相机的主光轴进行移动。相反地，光场相机提供从不同角度和不同焦点考察画面的能力。因此，光场相机的用户能够以不同寻常的方式控制聚焦，例如，如图1所示，可以定义与聚焦堆栈交叉的交会平面以在聚焦堆栈100中提取切片图像110。本公开的各实施例将这种原理扩展至用户在用户设备的屏幕上可视化光场图像或视频，并允许通过追踪的用户设备姿势参数在聚焦堆栈图像数据量中驱动交会平面。用户设备的空间位置控制在用户设备屏幕上显示的结果图像的焦距。
根据本公开的又一实施例，该聚焦堆栈包括场景的一组聚焦图像，其中两个连续的聚焦图像在聚焦堆栈中彼此分开采样间隔。该方法还包括：
-随所述场景的布局而调整所述采样间隔；
-确定该聚焦堆栈作为调整后的彼此分开采样间隔而分开的该组连续的聚焦图像。
因此，该场景的不同聚焦图像在聚焦堆栈中不是如现有技术的情形那样有规律地间隔。取代这种有规律地间隔，通过场景的布局来调节聚焦堆栈中图像样本的聚焦。换句话说，聚焦堆栈的图像所聚焦的平面不是均匀地间隔的。例如，当感兴趣的对象出现在该场景中时，这些平面更为接近。这种方 法使得使用聚焦堆栈中的相同数量的切片更好地覆盖该场景，意味着无需进行额外的存储。
本公开的实施例还涉及用于显示至少一个基于光场的图像的装置，其包括：
-用于将所述图像的至少一个聚焦参数确定为所述装置的姿势的函数的模块；
-用于显示被聚焦为所述至少一个聚焦参数的函数的图像的显示单元。
根据本公开的一个实施例，这种装置嵌入了允许估算所述姿势的至少一个传感设备。这种传感设备可以包括若干传感器。
根据本公开的一个实施例，所述传感设备属于包括以下项的组：
-惯性测量单元(IMU)；
-指向至少一个参考元素的相机；
-内部运动捕获系统。
根据本公开的另一实施例，该装置是一种手持设备。
根据本公开的另一实施例，该装置包括用于将所显示的图像确定为被定义为聚焦堆栈与取决于所述设备的至少一个姿势参数的交会平面的相交处的切片图像的单元。
根据本公开的又一实施例，该聚焦堆栈包括场景的一组聚焦图像，其中两个连续的聚焦图像在该聚焦堆栈中彼此隔开采样间隔而分开，并且该装置还包括：
-用于随着所述场景的布局来调整所述采样间隔的调整模块；
-用于将该聚焦堆栈确定为彼此隔开调整后的采样间隔而分开的该组连续的聚焦图像。
上文描述的与用于在用户设备上显示基于光场的图像的方法的实施例相关的用户设备的描述的所有特征也应用于这种用户设备或装置。
本公开还涉及一种可从通信网络下载和/或记录在计算机可读的介质上和/或可由处理器执行的计算机程序产品，其包括用于执行如上文所述的用于在用户设备上显示基于光场的图像的方法的程序代码指令。
本公开还涉及一种非暂态的计算机可读介质，其包括记录于其上并能够由处理器运行的计算机程序产品，该计算机程序产品包括用于执行如上文所述的用于在用户设备上显示基于光场的图像的方法的程序代码指令。
这种计算机程序可以存储在计算机可读存储介质上。这里使用的计算机可读存储介质被认为是提供固有能力以在其中存储信息以及固有能力以从中提供取得信息的非暂态的存储介质。计算机可读存储介质可为，例如但并不限于，电，磁，光，电磁，红外，或半导体系统、装置或设备，或前面的任意适当组合。当提供可应用本原理的计算机可读存储介质的更具体的示例时，应当认识到以下内容仅仅是容易被本领域技术人员认识的一种说明性的而非详尽的清单：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式压缩磁盘只读存储器(CD-ROM)；光存储设备；磁存储设备；或者前面的任意适当组合。
应当理解，如所声明的，前面的一般性描述和下面的详细描述两者都是示例和解释性的并且并不约束本发明。
还必须理解，本说明书中对于“一个实施例”或“一实施例”的引用，表明描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以并不必须包括该特定特征、结构或特性。此外，这一措词并不必须指同一实施例。此外，当与一实施例相关地描述一特定特征、结构或特性时，认为在本领域技术人员的知识范围内影响与其他实施例相关的这一特征、结构或特性，无论是否明确描述。
附图说明
参考下面通过示例给出并且不限制保护范围的描述和附图可更好地理解本发明的实施例，并且其中：
图1是图示了在图像的聚焦堆栈内的切片图像的示例的图；
图2a-2b是图示了全光相机和多阵列相机的示例的图；
图3示出了示意性地图示排列在图像传感器的传感表面上的传感器区域的示例的平面图；
图4图示了包括理想的、完美的薄透镜模型的示意性光场相机；
图5示意性地图示了根据本公开一实施例的在手持设备上的光场呈现；
图6图示了允许在图案坐标系中确定图5的手持设备的姿势的变换矩阵；
图7是根据本公开一实施例的解释用于在用户设备上显示基于光场的图像的过程的流程图；
图8是图示了根据本公开一实施例的用于根据用户的个性化视点显示基 于光场的图像的装置的示例的示意框图；
图9示意性地图示了根据本公开一实施例的具有感兴趣的对象的场景以及图像的聚焦堆栈可适应这一场景的方式；
图10是图示了已经适配于图9的场景的图像的聚焦堆栈的示例的附图。
图中的组件并不一定按比例绘制，而是重点用于示出本发明的原理。
具体实施方式
本公开的一般原理依赖于基于光场的图像在用户设备上的个性化呈现，取决于该设备的位置和方位。
现在将在本公开的各实施例中给出用于在用户设备上显示基于光场的图像的方法、装置和计算机可读存储介质的描述。
首先回顾应用至光场相机和图像的一些一般原理。
5.1光场相机
图2是图示了全光相机和多阵列相机的示例的图。光场相机能够记录4D光场数据。例如，4D光场相机可以为：包括主透镜205、微透镜阵列210和图像传感器215的全光相机200(图2a)；或者包括透镜阵列255和单个图像传感器260的多阵列相机250(图2b)。例如，多相机阵列可为鹈鹕(Pelican)阵列相机，正如文档WO 2014149403A1中所描述的那样。
在如图2a所示的全光相机200的示例中，主透镜205在主透镜205的物场中接收来自一对象(未示出)的光并通过主透镜205的像场传递该光。微透镜阵列210包括以二维阵列排列的多个微透镜215。明显地，主透镜205和微透镜215可为更复杂的光学系统，诸如文档GB2488905或文档EP2244484(A1)的图12和13中描述的那些。
图3是示意性地图示了排列在图像传感器的传感表面上的传感器区域的示例的平面图。如图3所示，图像传感器300包括以二维阵列排列的多个像素305，并通过微透镜阵列310接收来自对象的光。微透镜阵列310的每一个微透镜311都具有将光引导至图像传感器300上的圆形区域315的透镜属性。圆形区域315的外部轮廓可以表示在图像传感器300上由微透镜形成和捕获的微图像的形状，其形状取决于微透镜311的形状。在图像传感器300上的所有的像素305中，仅基本上位于圆形区域315内部的像素305对成像有贡献。换句话说，对成像有贡献的像素305的像素区域(或传感区域)基 本位于圆形区域315内。
光场相机的图像传感器300记录包括排列在2D图像内的2D微图像的集合的图像。微透镜阵列310的每个微透镜311形成由圆形区域315表示的微图像。如图3所示，在传感器300上的像素305的坐标在图像传感器300表面上的x-y坐标系中由(x，y)表示。图3中示出的距离p是两个连续的微图像之间的距离。微透镜311被选择为使得距离p大于像素305的大小。图3中示出的距离w是两个连续的微图像之间的视差距离。如图3所示，微图像在图像传感器300的表面上的i-j坐标系中由它们各自的坐标(i，j)参照。
如上文所提到的，仅基本上位于圆形区域315中的像素305接收通过微透镜311的光。微透镜间的空间可以被遮蔽(mask)以防止光子穿过微透镜311的外部(如果微透镜311为正方形并且没有形成微透镜间的空间，则无需这种遮蔽)。
微图像(i，j)的中心位于图形传感器300上的坐标(xij，yij)处。图3中的θ表示像素305的方形点阵(lattice)和微透镜311的方形点阵之间的角度。可通过考虑微透镜图像(0，0)的像素坐标(x00，y00)的以下等式(1)推出坐标(xij，yij)：
距离p和w以像素为单位给出。通过乘以像素大小δ：W＝δw和P＝δp，它们分别被转换为距离P和W的物理单位(米)。这些距离取决于光场相机的特性。
5.2光场相机的光学属性
这里，将参考图4讨论光场相机的示例光学属性，图4图示了包括理想的、完美的薄透镜模型的示意性光场相机。
该主透镜具有焦距F和光圈Φ。微透镜阵列包括具有焦距f的微透镜。微透镜阵列的间距为φ。微透镜阵列与主透镜之间相隔距离D并且与传感器之间相隔距离d。对象(未示出)与主透镜之间相隔距离z。该对象在与主透镜相隔距离z’处由主透镜聚焦。图4图示了其中D＞z’的情况。在这种情况下，微图像可以取决于d和f在传感器上对焦。
视差W随着对象(未示出)和主透镜之间的距离z改变。为了建立W和z之间的关系，可以依靠薄透镜等式(2)和泰雷兹定律等式(3)：
然后，通过混合等式(2)和(3)推出以下等式(4)。
W和z之间的关系并不在微透镜图像对焦的假设下。微图像根据薄透镜等式严格对焦：
5.3图像重新聚焦
光场相机的一个主要属性是计算2D重新聚焦图像的可能性，其中重新聚焦距离在拍摄图像后可以自由调整。仅通过平移和缩放微透镜图像然后将它们汇总至2D图像中而将大小为[Nx，Ny]的4D光场图像L投射在2D图像中。微透镜图像的平移量控制着重新聚焦距离。4D光场像素L(x，y，i，j)至重新聚焦的2D图像坐标(X，Y)中的投射被以下等式定义：
其中s控制2D重新聚焦图像的大小，g控制重新聚焦图像的聚焦距离。通过考虑等式(1)，等式(6)可重写为等式(7)：
在等式(8)中参数g可表达为p和w的函数。参数g表示必须对微透镜图像执行的缩放，将它们的中心用作参考，这样相同对象的多个缩放视图得到叠加。
等式(7)变为：
4D光场像素(x，y，i，j)被投射至2D重新聚焦图像中。预先地，重新聚焦图像R和重新聚焦图像权重Rweight被设置为0。重新聚焦图像的大小[NX，NY]＝[sNx，sNy]被设置为4D光场图像的大小的s倍。通过将位于坐标(X，Y) 的投射的像素汇总至重新聚焦图像中执行该投射。对于每个投射的4D光场像素，通过在像素坐标(X，Y)处增加1来更新重新聚焦的图像权重：
R(X，Y)+＝L(x，y，i，j) (10)
W(X，Y)+＝1
重新聚焦的图像权重表示每个坐标(X，Y)已经投射的4D光场像素的数量。在投射L的所有4D光场像素后，重新聚焦图像R被重新聚焦图像权重Rweight划分。这最后的步骤归一化每个坐标(X，Y)接收的像素的数量。
由于投射的坐标(X，Y)并不必须为整数坐标，可选地使用插值技术以将非整数像素坐标(X，Y)映射至重新聚焦图像R和重新聚焦权重Rweight的网格中。插值技术对于本领域技术人员来说是常用的和熟知的；在本说明书中将不再对它们进一步描述。
5.4聚焦堆栈(focal stack)
如图1所示，聚焦堆栈100是在不同距离重新聚焦的N幅图像Rn的集合(n∈[1，N])，其定义了一组图像(101，102，103...)的立方体，其中N是用户选择的图像数量。因此，在聚焦堆栈100中两幅连续图像之间的距离或间距(在z轴上)对应于关联于这两幅连续图像的两个焦平面之间的距离。针对在对应于在由等式(4)和(8)定义的zmin和zmax之间的聚焦距离范围的gmin和gmax之间线性变化的g计算N幅重新聚焦的图像。另一种选择是通过在对应于由等式(4)定义的zmin和zmax之间的聚焦距离范围的wmin和wmax之间线性改变的w计算聚焦堆栈。g或w的最小最大边界由用户定义以便涵盖具有在zmin和zmax内的聚焦距离的重新聚焦的图像。
在此实施例中描述的聚焦堆栈的计算是在4D光场由具有透镜阵列以及可选的主透镜的单个图像传感器记录的假设下。然而，聚焦堆栈的计算并不限于由此类光场相机记录的4D光场，因此应当注意可以基于由任意类型的光场相机记录的4D光场计算重新聚焦的图像的聚焦堆栈。
5.5根据用户个性化视点重新聚焦图像
根据本公开一实施例，将一种使显示在用户设备上的光场图像适配于设备姿势的方法提供给用户。
图5示出了一种全光相机50，其已经捕获了可能对应于图像或电影的4D光场数据。在现有技术中，存在多种方式来表示(或定义)4D光场数据。实际上，在发表于2006年7月的Ren Ng撰写的标题为“Digital Light Field Photography”的博士学位论文的第3.3章，描述了表示4D光场数据的三种不同的方式。第一，当由例如图2(a)中描述的全光相机记录时，可通过微透镜图像的集合表示4D光场数据。在这一表示中的4D光场数据被命名为原始图像(或原始4D光场数据)。第二，当由全光相机或由相机阵列记录时，可通过一组子孔径图像表示4D光场数据。子孔径图像对应于从视点捕获的场景的图像，该视点在两幅子孔径图像间稍有不同。这些子孔径图像提供了与成像的场景的视差和深度相关的信息。第三，4D光场数据可由一组核线图像(epipolar image)表示(例如参见发表于ISVC 2011的会议论文集的由S.Wanner等撰写的标题为“Generating EPI Representation of a 4D Light Fieldswith a Single Lens Focused Plenoptic Camera”的文章)。在另一实施例中，本领域技术人员可使用基于两个平面参数化的4D光场数据。
在图5的实施例中，仅仅作为示例，全光捕获51可以显示为视图的矩阵，或者子孔径图像。
用户在诸如平板电脑52的手持设备上观看此4D光场电影。这一呈现可为实时呈现。该光场电影可以传播至多个用户，虽然在图5中仅图示出了一个。平板电脑52通过任意种类的有线或无线连接接收该光场电影。用户可以移动该平板电脑52，并因此修改它的位置和它的方位。在平板电脑的屏幕上，图像的聚焦距离和视点随着平板电脑的姿势改变。
平板电脑52配备有后置相机(未示出)，其拍摄用户前方的场景，并特别是插入该场景的一个特定标记60(例如AR标签(增强现实标签))，如图6所示。标记60与一个图案坐标系关联。当已经发现了描述平板电脑52距离该图案坐标系的位置的变换时，可以在空间中定位平板电脑52，这是因为提供了旋转和平移。
为此，必须表达平板电脑平面的等式。
5.5.1平板电脑平面等式
为了定义设备坐标系相对于图案坐标系，可写出设备坐标系的单一向量和设备从标记坐标系的转换。
然后，描述从标记CS观看的平板电脑坐标系(CS)的齐次变换矩阵可写为：
然后，平板电脑的平面由(该平面的法向向量)向量和(平面的一个点的位置)点定义。
该平面的点P的集合(Xp，Yp，Zp)由以下等式提供：
它可写为以下格式：
作为一种选择，坐标可以像素(Xp，Yp，Zp)中估算。
为了生成具有像素坐标(u，v)的图像，必须定义变换：
在一个实施例中，该变换可使用
定义。
这对应于在范围[-1/2；+1/2]中归一化(X，Y)空间。
然后容易确定Zp，也就是，像素在标记坐标系中的位置：
注意此等式等效于投射。
5.5.2从聚焦堆栈中提取切片图像
根据本公开的实施例，在平板电脑52上显示的图像是确定为聚焦堆栈100与由追踪的平板电脑姿势参数控制的交会平面的相交处的切片图像。换句话说，在聚焦堆栈100内的切片110的位置由平板电脑52相对于标记60的位置给出。来回移动平板电脑使得该切片在聚焦堆栈内移动。该切片图像110在平板电脑52的屏幕上显示。用户通过来回移动平板电脑52，可自由地选择聚焦平面，其不必垂直于相机50的主轴。
图7示出了根据本公开一实施例的图示用于在平板电脑52上显示基于光场的图像的过程的流程图。
在步骤S701INIT，参考标记60，定义平板电脑的初始位置并用作参考。这一初始位置将与聚焦堆栈的聚焦图像数量N/2关联，即，该图像对应于图像堆栈的中间图像。
在步骤S702，由传感器705捕获的信息允许估算平板电脑52的姿势，即，它的方向和它的位置。平板电脑52相对于标记的位置被3D坐标 特征化。平板电脑52在初始平板电脑位置 周围的移动与移动聚焦堆栈的切片关联。
因此，在步骤S703，计算要在平板电脑52上显示的图像，作为聚焦堆栈100的切片图像，与当前的平板电脑姿势关联。
具有大小[Nx，Ny]像素(即，与聚焦堆栈100内的聚焦图像的大小相同)的切片索引图像Si被定义为：
切片图像S具有[Nx，Ny]像素大小。它使用切片索引图像Si计算： 中的索引Si指示针对每个像素(X，Y)而言聚焦堆栈内哪个聚焦图像要被拷贝(函数R)到像素(X，Y)处的切片图像S。参数α控制当平板电脑在和轴中来回移动时切片的倾斜速度。参数β控制该切片在轴上移动的幅度。调整这些参数使得可在无需过于移动平板电脑的情况下提取聚焦堆栈内的任何切片。在中的典型的总共10cm 的偏移(最大为大约20cm)应当被映射至聚焦堆栈数量N的图像。
在步骤S704，切片图像S被显示在平板电脑52上。S针对相机获得的每个新图像实施，并且还针对平板电脑的每个新位置实施，如箭头706所示。
必须注意可使用像素坐标(Xp，Yp，Zp)实现相同的推导。
图8是图示了根据本公开一实施例以取决于装置位置和方向进行个性化的方式用于显示基于光场的图像的装置的示例的示意框图。
图8中图示的装置80包括由总线86连接的处理器81、存储单元82、输入设备83、输出设备84、接口单元85和传感器705。当然，计算机装置80的构成元件可以由不同于使用总线86的总线连接的连接进行连接。这种装置80例如为图5和6的平板电脑52，或者任意其他类型的手持设备，诸如智能手机。
处理器81控制装置80的操作。存储单元82存储要由处理器81执行的至少一个程序，以及各种数据，包括由光场相机捕获和提供的4D光场图像的数据、由处理器81执行的计算所使用的参数、由处理器81执行的计算的中间数据，由传感器705捕获的信息等。存储单元82可以特别存储如由光场捕获设备提供的聚焦堆栈100。处理器81可以由任何已知和适当的硬件、或软件、或硬件和软件的组合形成。例如，处理器81可以由诸如处理电路的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)的可编程处理单元形成。
存储单元82可以由能够以计算机可读的形式存储程序、数据等的任意适当的存储器或部件形成。存储单元82的示例包括诸如半导体存储器件的非暂态计算机可读存储介质，以及载入读写单元的磁、光、或磁-光记录介质。该程序导致处理器81执行用于显示光场图像的过程，根据如上文参考图7所述的本公开一实施例的装置的姿态参数设置其聚焦参数。
输入设备83可以由键盘、诸如鼠标的定点装置等形成，以使用户输入命令。输出设备84可以由显示设备形成以显示，例如，图形用户界面(GUI)，或者针对用户的视点而个性化的基于光场的图像。输入设备83和输出设备84可以由例如触摸屏面板整体形成。
接口单元85提供装置80和外部装置之间的接口。接口单元85可以经由电缆或无线通信与外部装置通信。在这一实施例中，该外部装置可为光场相机。在这种情况下，由光场相机捕获的4D光场图像的数据可以从光场相机 通过接口单元85输入至装置80，然后存储在存储单元82中，并显示在屏幕84上。
装置80和光场相机彼此间可以经由电缆或无线通信进行通信。
虽然图8中仅示出了一个处理器81，但必须理解这一处理器可以包括体现根据本公开各实施例的由装置80执行的功能的不同的模块和单元，诸如：
-基于传感器705提供的信息，用于估算该装置的姿势的模块；
-用于将要显示的图像的聚焦参数确定为该装置的估算的姿势的函数的模块；
-用于将要显示的图像计算为聚焦堆栈的切片图像的单元，作为该装置的聚焦参数和/或姿势参数的函数。
这些模块和单元还可以实现在彼此间通信和协作的若干处理器81中。
5.6使聚焦堆栈适应于场景的布局
图9示出了由相机400捕获的场景的示例。这一场景包括两个感兴趣的对象401和402。感兴趣的对象401与相机400相隔距离d1，而另一感兴趣的对象与相机400相隔距离d2。
当在该场景中检测到感兴趣的对象401或402时，获知其位置(距离d1或d2)，因此可计算出聚焦值。然后还可能计算出针对这一位置的近聚焦值。这在图9中图示出，其中，在距离d1和d2，针对该聚焦堆栈计算出更多图像。聚焦堆栈500因此包括对应于最近的焦距的聚焦图像，对应于最远焦距的聚焦图像，以及中间的两组聚焦图像：
-与感兴趣的对象401相关的第一组聚焦图像501；
-与感兴趣的对象402相关的第二组聚焦图像502；
可通过深度线性地驱动位于感兴趣的对象和其他平面(例如背景或前景)之间的图像的计算。
在一个变形中，在聚焦堆栈中两幅连续图像之间的距离(还称为步进)默认定义为很小(两幅连续图像与在该场景空间中彼此间距大约20cm的焦平面相关)。然后，用户可决定选择他/她不感兴趣的区域(例如位于背景中的对象)，并且通过考虑背景中的对象并不重要这一事实确定一聚焦堆栈(因此，与所确定的聚焦堆栈中的默认值相比增加这些图像之间的距离)。
图10图示了聚焦堆栈500，其已经使用适应于该场景的不规则的采样网格构建。
与感兴趣的对象401或402相关的集合501或502中的聚焦图像的数量取决于感兴趣的对象的深度，其中该深度对应于从该感兴趣的对象的前方到后方的距离(该对象的前方对应于该对象最接近于相机的部分，以及该对象的后方对应于该对象距离相机最远的部分)。感兴趣的对象越深，聚焦堆栈中的对应的聚焦图像集合中的图像越多，允许感兴趣的对象在AIF图像中的更精细的呈现，或者该场景的更好的重新聚焦能力。
实际上，由于图9和10的实施例，更多的“对焦区域(in-focus regions)”附属于感兴趣的对象。AIF图像对应于聚焦的图像，其中所有对象呈现为对焦，并且由聚焦融合组成。对于感兴趣的对象，因此将在AIF图像中提升DoF(景深)的质量。
此外，与感兴趣的对象相关的聚焦堆栈的切片的数量较高，其将为用户提供更多的信息，当他/她想要重新聚焦该场景至这一感兴趣的特定对象时，特别是通过来回移动平板电脑52以调整显示的图像至特定焦距和/或视点时。
根据本公开的备实施例，感兴趣的对象401和402可以为：
-突出的对象(例如Nianyi Li，Jinwei Ye，Yu，Haibin Ling和Jingyi Yu撰写的“Saliency Detection on Light Field”中所述)；
-在该场景中检测到的面部、或者人体的一部分或全部；
-前景对象(例如经由视差估算识别，如ICCP 2014，由N.Sabater，V.Drazic，M.Seifi、G.Sandri和P.Perez撰写的“Accurate Disparity Estimation for PlenopticImages”所述)；
-由用户选择的对象(例如，在某一帧上由用户手动选择并沿着视频序列追踪的对象)。
在相同场景中，可检测一个或多个感兴趣的对象。用于聚焦堆栈的采样网格将适应于与在该场景中检测的感兴趣的对象一样多。
当然，在图9和10的实施例中，由图8的装置80使用的或在图7的过程中的步骤S703使用的聚焦堆栈是图10的适应的聚焦堆栈500，而不是图1的常规聚焦堆栈100。
在此特定实施例中，装置80的处理器81可以进一步包括用于体现计算自适应的聚焦堆栈作为该场景的布局的函数的功能的一组单元和模块，并且特别是：
-根据该场景的布局减少或增加采样间隔的调整模块；
-用于将聚焦堆栈确定为一组彼此隔开调整后的采样间隔的连续的聚焦图像的模块；
-用于识别场景中的感兴趣的对象的模块；
-用于评估感兴趣的对象的深度的模块；
-用于确定要与每个感兴趣的对象关联的聚焦图像的数量的模块；
-用于从光场数据集合或从根据该光场数据集合生成的视图矩阵来估算视差的视差估算模块。
-用于计算在场景中感兴趣的对象距离估计的视差的位置的计算单元。
正如将由本领域技术人员认识的，本原理的方面可实现为一种系统、方法或计算机可读介质。因此，本原理的各方面可采用完全硬件实施方式、完全软件实施方式(包括固件、驻留软件、微代码等)、或者组合所有在这里可以通常被称为“电路”、“模块”或“系统”的软件和硬件方面的实施方式的形式。
当本原理由一个或多个硬件组件执行时，可注意硬件组件包括处理器，其为集成电路诸如中央处理单元、和/或微处理器、和/或专用集成电路(ASIC)、和/或专用指令集处理器(ASIP)、和/或图形处理单元(GPU)、和/或物理处理单元(PPU)、和/或数字信号处理器(DSP)、和/或图像处理器、和/或协处理器、和/或浮点单元、和/或网络处理器、和/或音频处理器、和/或多核处理器。此外，硬件组件还可包括基带处理器(包括诸如存储器单元，以及固件)和/或接收或发送无线信号的无线电电路(其可包括天线)。在一个实施例中，硬件单元与诸如ISO/IEC 18092/ECMA-340、ISO/IEC21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、全球平台(即，安全元素)的一个或多个标准兼容。在一个变形中，硬件组件是无线射频识别(RFID)标签。在一个实施例中，硬件组件包括实现蓝牙通信、和/或WiFi通信、和/或Zigbee通信、和/或USB通信、和/或Firewire通信、和/或NFC(近场)通信的电路。
此外，本原理的方面可采用计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任意组合。
因此举例来说，本领域技术人员将认识到在此展示的框图表示实现本发明的原理的说明性的系统组件和/或电路的概念视图。相似地，将认识到任何流程图表、流程图、状态转换图、伪代码等表示基本可以表示在计算机可读存储介质中并因此由计算机或处理器执行的各种过程，无论这种计算机或处 理器是否被明确示出。
虽然本公开已经参考一个或多个示例进行了描述，本领域技术人员将认识到在不脱离本公开和/或附加的权利要求的范围的情况下可以在形式和细节上作出改变。

Claims (14)

1.一种用于在用户设备(52)上显示至少一幅基于光场的图像的方法，其中其包括：显示(S704)根据被确定为所述设备(52)的姿势的函数的至少一幅聚焦参数聚焦的图像。
2.如权利要求1的方法，其中通过使用被嵌入在所述用户设备(52)中的至少一个传感设备(705)估算(S702)所述姿势。
3.如权利要求2的方法，其中所述传感设备(705)属于包括以下项的组：
-惯性测量单元(IMU)；
-指向至少一个参考元素的相机；
-内部运动捕获系统。
4.如在前权利要求任一项的方法，其中所述用户设备(52)是手持设备。
5.如在前权利要求任一项的方法，其中所显示的图像是被确定为聚焦堆栈(100；500)与取决于所述设备的至少一个姿势参数的交会平面的相交处的切片图像(110)。
6.如权利要求5的方法，其中所述聚焦堆栈(500)包括场景的一组聚焦图像，其中两个连续的聚焦图像在聚焦堆栈中以彼此隔开采样间隔而分开，并且其中方法还包括：
-随所述场景的布局而调整所述采样间隔；
-确定聚焦堆栈为以调整后的彼此隔开采样间隔而分开的该组连续聚焦图像。
7.一种用于显示至少一幅基于光场的图像的装置，其中包括：
-用于将所述图像的至少一个聚焦参数确定为所述装置的姿势的函数的模块(81)；
-用于显示作为所述至少一个聚焦参数的函数而聚焦的所述图像的显示单元(84)。
8.如权利要求7的装置，其中其嵌入使得估算所述姿势的至少一个传感设备(705)。
9.如权利要求8的装置，其中所述传感设备(705)属于包括以下项的组：
-惯性测量单元(IMU)；
-指向至少一个参考元素的相机；
-内部运动捕获系统。
10.如在前权利要求任一项的装置，其是手持设备。
11.如在前权利要求任一项的装置，其中包括用于确定所显示的图像为被定义为聚焦堆栈(100)与取决于所述设备的至少一个姿势参数的交会平面相交处的切片图像(110)的单元。
12.如权利要求11的装置，其中所述聚焦堆栈(500)包括场景的一组聚焦图像，其中两个连续的聚焦图像在聚焦堆栈中以彼此隔开采样间隔而分开，并且其中该装置还包括：
-用于随所述场景的布局而调整所述采样间隔的调整模块；
-用于确定聚焦堆栈为以调整后的彼此隔开采样间隔而分开的该组连续聚焦图像的模块。
13.一种可从通信网络下载和/或记录在可由计算机读取的介质上和/或可由处理器执行的计算机程序产品，包括用于执行根据权利要求1至6的任一项的方法的程序代码指令。
14.一种非暂态计算机可读介质，包括其上记录的并可由处理器运行的计算机程序产品，其包括用于执行根据权利要求1至6的任一项的方法的程序代码指令。
CN201610637897.8A 2015-05-29 2016-05-27 在用户设备上显示基于光场的图像的方法和装置及程序 Pending CN106210538A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305825.0A EP3099055A1 (en) 2015-05-29 2015-05-29 Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
EP15305825.0 2015-05-29

Publications (1)

Publication Number Publication Date
CN106210538A true CN106210538A (zh) 2016-12-07

Family

ID=53433147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610637897.8A Pending CN106210538A (zh) 2015-05-29 2016-05-27 在用户设备上显示基于光场的图像的方法和装置及程序

Country Status (6)

Country Link
US (1) US10116867B2 (zh)
EP (2) EP3099055A1 (zh)
JP (1) JP2017022694A (zh)
KR (1) KR20160140452A (zh)
CN (1) CN106210538A (zh)
TW (1) TW201709718A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335562A (zh) * 2017-01-20 2018-07-27 长沙海商网络技术有限公司 一种基于高度仿真的列车模拟驾驶实训系统
CN109598699A (zh) * 2017-09-29 2019-04-09 交互数字Ce专利控股公司 用于操纵光场图像的用户界面
CN110892706A (zh) * 2017-06-12 2020-03-17 交互数字Ce专利控股公司 用于在2d显示设备上显示从光场数据导出的内容的方法
CN111527518A (zh) * 2017-11-15 2020-08-11 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法
US11589034B2 (en) 2017-06-12 2023-02-21 Interdigital Madison Patent Holdings, Sas Method and apparatus for providing information to a user observing a multi view content

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US10218968B2 (en) * 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10917571B2 (en) * 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法
WO2025012531A1 (fr) * 2023-07-08 2025-01-16 Fogale Optique Procede d'acquisition d'une pile d'images d'une scene
CN119603437B (zh) * 2025-01-17 2025-11-11 北京邮电大学 一种静态三维光场内容生成方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198852B1 (en) 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
FR2796797B1 (fr) 1999-07-22 2001-09-07 Eastman Kodak Co Dispositif et procede pour afficher une image sur un ecran selon une perspective dependant de la position d'un utilisateur
WO2007092545A2 (en) * 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
US7471292B2 (en) 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint
US10298834B2 (en) * 2006-12-01 2019-05-21 Google Llc Video refocusing
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
US20130076966A1 (en) 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6116277B2 (ja) * 2012-06-07 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9070050B2 (en) 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset
US9136300B2 (en) * 2013-01-11 2015-09-15 Digimarc Corporation Next generation imaging methods and systems
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US20150256764A1 (en) * 2014-03-05 2015-09-10 Guy M. Besson Active-tracking based systems and methods for generating mirror image
EP3059949A1 (en) * 2015-02-23 2016-08-24 Thomson Licensing Method and apparatus for generating lens-related metadata
JP2016161884A (ja) * 2015-03-04 2016-09-05 キヤノン株式会社 撮像装置及びその制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335562A (zh) * 2017-01-20 2018-07-27 长沙海商网络技术有限公司 一种基于高度仿真的列车模拟驾驶实训系统
CN110892706A (zh) * 2017-06-12 2020-03-17 交互数字Ce专利控股公司 用于在2d显示设备上显示从光场数据导出的内容的方法
US11202052B2 (en) 2017-06-12 2021-12-14 Interdigital Ce Patent Holdings, Sas Method for displaying, on a 2D display device, a content derived from light field data
US11589034B2 (en) 2017-06-12 2023-02-21 Interdigital Madison Patent Holdings, Sas Method and apparatus for providing information to a user observing a multi view content
CN109598699A (zh) * 2017-09-29 2019-04-09 交互数字Ce专利控股公司 用于操纵光场图像的用户界面
CN111527518A (zh) * 2017-11-15 2020-08-11 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法
CN111527518B (zh) * 2017-11-15 2023-09-05 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法

Also Published As

Publication number Publication date
EP3099056A1 (en) 2016-11-30
US10116867B2 (en) 2018-10-30
EP3099056B1 (en) 2021-09-08
KR20160140452A (ko) 2016-12-07
TW201709718A (zh) 2017-03-01
US20160353026A1 (en) 2016-12-01
JP2017022694A (ja) 2017-01-26
EP3099055A1 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
US11100664B2 (en) Depth-aware photo editing
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
KR101609486B1 (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
US20150363970A1 (en) Model and Sizing Information from Smartphone Acquired Image Sequences
US9813693B1 (en) Accounting for perspective effects in images
US20160142700A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
KR102853106B1 (ko) 가상 셀카봉 셀카
EP3099078A1 (en) Method for collecting information on users of 4d light field data, corresponding apparatuses and computer programs
CN104410793B (zh) 一种图像处理方法及电子设备
US12225180B2 (en) Method and apparatus for generating stereoscopic display contents
US20260011066A1 (en) Electronic device and method for displaying three-dimensional image
KR20260007002A (ko) 전자 장치 및 3차원 이미지 표시 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161207