CN107431800A - 用于进行环境测量和/或使用此类测量的方法和装置 - Google Patents

Abstract

描述了用于进行环境测量的方法和装置。在一些实施例中，不同的设备用于在不同的时间、速率和/或分辨率下捕获环境信息。处理和组合来自使用各种设备捕获的多个源的环境信息，例如深度信息。一些环境信息是在事件期间被捕获的。在一些实施例中，这些信息与事件之前捕获的环境信息相结合。在一些实施例中，通过组合(例如协调)来自至少两个不同源的深度信息来生成环境深度模型，所述深度信息包括：i)从静态图获得的深度信息，ii)从由光场相机捕获的图像获得的深度信息，以及iii)从由立体相机对捕获的图像获得的深度信息。考虑到不同的深度信息源的优点和这种信息的可用性，协调处理可能涉及各种信息加权操作。

Description

用于进行环境测量和/或使用此类测量的方法和装置

技术领域

本发明涉及用于捕获和使用环境信息(例如，测量值和图像)以支撑各种应用的方法和装置，所述各种应用包括可用作3D体验的一部分的立体图像的生成和/或显示。

背景技术

3D环境的精确表示通常需要可靠的环境模型。这样的模型(如果有的话)可以在图像回放期间被使用，使得在场景的图像中捕获的物体对于观看者来说是正确的大小。环境图也可以用于将图像的不同块拼接在一起，并且便于协调由不同相机捕获的图像。

尽管环境图在可用时可以促进比在假设环境的简单球形模型时更加逼真的观看体验，但是存在许多与在可能被拍摄以供稍后回放的事件期间获得准确的环境信息相关联的困难。例如，虽然LIDAR测量技术可以用于在部署一个或多个相机(例如立体相机或其他相机)之前对相对于相机位置的距离进行环境测量，以捕获事件，但是用于LIDAR测量的激光器(一个或多个)可能是干扰或不适合在人们试图观看音乐会、游戏或其他活动的实际事件期间使用。此外，用于捕获事件的相机的放置可能会阻止LIDAR设备在事件期间放置在同一位置。

因此，应当理解，虽然LIDAR可以用于在事件之前对体育场或其他事件位置进行准确测量，但是由于使用激光灯以及与进行区域的LIDAR测量相关联的时间，使得LIDAR不太适用于在将正在进行的事件期间由相机位置放置和操作的一个或多个相机捕获的事件期间，进行从相机位置的位置的环境测量。

虽然LIDAR可以用于进行高度精确的距离测量，但是由于上述原因，其通常在体育场或其他事件区域不具有正在进行的事件时使用(例如在实际事件之前使用)。因此，LIDAR距离测量通常测量不存在人的空的体育馆或事件区域。另外，由于LIDAR测量通常是在针对特定事件的任何修改或显示设置之前进行的，因此由LIDAR或其他测量系统提供的静态环境图尽管在许多情况下，在测量时关于环境高度准确，但是在诸如体育比赛、音乐会或时装表演的事件中往往不能准确地反映环境的状态和形状。

鉴于上述讨论，应当理解，需要新的和改进的方法进行环境测量，特别是在事件期间测量环境的形状。虽然对于所有实施例不是必需的，但是期望的是如果能够在事件期间关于相机位置精确地测量环境，其中作为模拟事件的3D环境的一部分，从所述相机位置捕获立体图像以供随后的回放。

发明内容

描述了用于进行环境测量的方法和装置。处理和组合使用各种设备捕获的环境信息。在一些实施例中，不同的设备用于在不同的时间、速率和/或分辨率下捕获环境信息。在事件期间捕获用于绘制环境的环境信息中的至少一些。这些信息在一些但不一定在所有实施例中与事件之前捕获的环境信息相结合。然而，根据实施例，可以使用单个环境测量技术，但是在许多实施例中，使用多个环境测量技术，其中环境信息(例如，相对于相机位置的深度信息)被组合以生成比如果使用单一环境信息源生成深度图所可能的更可靠且及时的环境。

在各种实施例中，环境信息从一个或多个源获得。在一些实施例中，使用静态环境图或模型，诸如在事件之前由LIDAR测量产生的静态环境图或模型。LIDAR是一种基于雷达原理的检测系统，但是使用来自激光的光进行距离测量。根据从用于放置相机以用于在实际事件期间捕获图像的相机位置的位置进行的LIDAR测量，或者根据基于另一位置制成的环境模型但是已知关于相机位置的位置信息，生成环境相对于相机位置的静态图。在许多情况下，静态图为环境提供准确的距离信息，假设环境未被占用，或者从做出静态图测量的时间起没有改变。由于静态图通常对应于空的环境，静态深度图中指示的距离通常是最大距离，因为诸如人、标志、道具等的物体经常被添加到事件的环境中，并且静态图中显示的结构针对事件被移除是罕见的。因此，静态图可以并且有时用于提供最大距离信息并且提供关于环境的整体尺度/尺寸的信息。

除了静态模型信息之外，在一些实施例中，使用在事件期间捕获的信息来进行环境测量。在一些实施例中，在事件期间捕获环境信息涉及使用一个或多个光场相机，其捕获可以使用已知技术从其获得深度信息的图像。在一些实施例中，使用提供从由光场相机捕获的图像生成的图像和深度图两者的光场相机。相机可能并且在一些实施例中安装在或并入相机机架中，该相机机架还包括一对或多对立体相机。用于从光场相机生成深度信息的方法是已知的并且在一些实施例中使用。例如，可以处理与由对应于光场微阵列的不同透镜的传感器部分捕获的区域或点相对应的图像数据，以提供关于到该点或区域的距离的信息。

光场相机具有能够在可用于提供距离信息的事件期间被动地收集图像的优点。使用光场相机的缺点是，由于在有效降低了各个捕获图像的分辨率的传感器上使用透镜阵列，其通常具有比常规相机更低的分辨率。

除了光场相机(一个或多个)的图像之外，由包括例如立体相机对的其他相机捕获的图像可以被处理并用于提供深度信息。这是可能的，因为立体对的相机间隔开已知距离，并且该信息与捕获的图像一起可以并且在一些实施例中用于确定从相机到立体相机对中的相机捕获的环境中的点的距离。根据可以估计深度的环境点或位置的数量，深度信息可能高达或几乎与立体对的各个相机所捕获的图像的像素数量一样高，因为相机不在相机的传感器上使用微透镜阵列。

虽然立体相机的输出可以并且在一些实施例中被处理以生成深度信息，但是在许多情况下它可能比从光场相机的输出获得的深度信息更不可靠。

在一些实施例中，环境的静态模型提供最大距离信息，来自光场相机的深度信息提供更多的最新深度信息，其通常指示如下深度，该深度等于或小于静态模型指示的深度，但是更加及时并且可能随着环境条件变化而在事件期间变化。类似地，来自由立体相机对(一个或多个)捕获的图像的深度信息趋向于及时且可用地形成在事件期间捕获的图像。

在各种实施例中，来自不同源(例如可以基于事件之前的LIDAR测量的静态模型)的深度信息、自一个或多个光场相机的深度信息和从立体图像生成的深度信息被组合，例如协调。考虑到不同深度信息源的优点和这种信息的可用性，协调处理可能涉及各种技术或信息加权操作。

例如，在一个示例性分辨率处理中，从事件之前的环境测量获得的基于LIDAR的深度信息用于确定从相机位置的最大深度(例如距离)，并且在没有附加深度信息的情况下使用以对环境进行建模。

当能够从光场相机或光场相机阵列获得深度信息时，使用深度信息来细化环境深度图，使得其可以反映环境在进行中的事件期间的变化。在一些实施例中，对从由光场相机捕获的图像获得的深度图信息进行协调包括对基于LIDAR的深度图进行细化，以包括反映在事件期间环境中物体的存在的较短深度。在某些情况下，对单独基于光场深度测量或与来自静态或LIDAR深度图的信息相结合的环境深度图进行协调包括使用深度信息来进一步阐明深度信息从光场相机的输出已知的点之间的深度变化。以这种方式，能够从光场和/或立体图像获得的更多数量的信息点可以用于基于光场相机或相机阵列的输出来细化深度图。

基于深度图，可以生成环境的3D模型。该模型可以以可以在其上应用捕获的图像的环境的网格图的形式。由于应用具有应用图像犹如包裹到环境模型上的效果，因此将图像应用于这样的图有时被称为包裹。

通过使用本文描述的深度图生成技术，可以生成其中环境中的项目可以在事件期间移动或改变的诸如正在进行种的音乐会、运动事件、回放等的动态环境的相协调确的深度图。通过传达更新的深度信息，(例如以环境的3D模型的形式)或对环境模型的更新，可以实现改进的3D模拟，其又可以用于增强的3D回放和/或观看体验。3D环境模拟的改进可以通过使用静态深度图的系统来实现，因为在环境中捕获的图像将对其进行模拟的环境模型将比在环境模型是静态的情况下更准确地反映实际环境。

应当理解，当对其中由立体相机捕获图像的环境的改变发生时，这种改变可以容易且及时地反映在由回放设备用于显示所捕获的图像的环境的模型中。

附图说明

图1示出了根据一个实施例实现的示例性相机机架连同可用于校准相机机架的校准目标。

图2示出了如下相机机架，其中在所述相机机架中安装三对相机，例如，3对捕获立体图像数据的相机。

图3示出了根据一些示例性实施例实现的具有示例性保护盖的示例性相机机架。

图4示出了根据示例性实施例实现的另一示例性相机机架，其中相机机架的各种元件以部分拆卸的形式清楚地示出。

图5示出了图4的相机机架，其中安装有相机连同包括耳形设备的音频捕获设备，所述耳形设备包括用于捕获立体声音频的麦克风。

图6-8示出了根据一些示例性实施例实现的示例性相机机架的各种视图。

图9示出了根据一些示例性实施例实现的另一示例性相机机架。

图10示出了根据一些实施例的可用于本发明的示例性相机机架(例如图1-9所示的相机机架)中的相机阵列的示例性布置的前视图。

图11示出了可用于本发明的任何相机机架中的相机阵列的另一示例性布置的前视图。

图12A是图12的第一部分，其示出了根据示例性实施例的操作成像系统的示例性方法的流程图。

图12B是图12的第二部分，其示出了操作成像系统的示例性方法的流程图。

图12示出了图12A和12B的组合如何包括图12。

图13示出了可以在图1-9所示的相机机架中使用的示例性光场相机。

图14示出了根据本发明实现的示例性处理系统。

具体实施方式

本发明涉及全景成像领域，更具体地，涉及一种适用于在小尺寸的装置中使用最少数量的相机并且以合理的成本捕获高清晰、高动态范围、高帧率立体360度全景视频的装置，同时满足重量和功率要求以供广泛的应用。

立体360度全景视频内容越来越需要在虚拟现实显示中使用。为了产生具有4K或更高分辨率、高动态范围以及高帧率的立体360度全景视频内容，通常需要一系列专业级，大型传感器，电影相机或其他适合质量的相机，其中4K或更高分辨率对于最终的图像清晰度是重要的，高动态范围对于记录低光内容是重要的，高帧速对于在快速移动的内容(诸如运动)中记录细节是重要的。

为了使相机阵列用于捕获360度立体内容以在立体虚拟现实显示中观看，相机阵列应该获取内容，使得结果近似于观众在如果他的头部与相机共定位将看到的内容。具体地，所述立体相机对应该被配置成使得它们的轴间间隔在从所接受的63mm的人为模型平均值的可接受的Δ内。另外，从全景阵列的中心点到相机透镜入口瞳孔的距离(也称为节点偏移)应配置成使其在从所接受的101mm的人为模型平均值的可接受的Δ内。

为了使相机阵列用于捕获其应该是紧凑和非突出的事件和观众运动，它应该被构造成具有相对较小的物理占地面积(footprint)，从而使其可以部署在各种各样的位置中，并且在需要运输时，以合理尺寸的集装箱运输。

相机阵列还应被设计成使得阵列的最小成像距离小，例如尽可能小，这使得其中场景元素由于落在相邻相机的视野之外而不被捕获的“死区”最小化。

如果可以通过定位校准目标来校准相机阵列以进行光学协调将是有利的，其中在所述校准目标中容易出现最高的光学失真(其中透镜的视角相交和透镜的最大失真发生)。为了促进最有效的校准目标定位，目标位置应该并且在一些实施例中根据机架设计来公式地确定。

图1示出了在一些实施例中使用的示例性相机配置100。图4和5中所示的支撑结构在图1中未示出，以便更好地理解在一些实施例中示出使用的相机对布置。

虽然在一些实施例中使用三个相机对，诸如在图1中的一些但不是所有实施例中的示例中，但是相机阵列(例如，机架的相机位置)仅填充也许用于支撑同时360度的立体视频的6个总相机中的2个。当相机机架或组件配置有少于可安装在机架中的所有6个相机时，机架仍然能够实时捕获高价值的前景180度场景元素，同时(例如，通过当前景图像未被捕获时旋转机架)手动捕获低价值的背景180度场景元素的静态图像。例如，在一些实施例中，当使用2相机阵列捕获其中游戏场相对于相机位于0度位置的足球游戏时，阵列被手动地围绕节点旋转到120度以及240度位置。这允许实时捕获对运动游戏或比赛场(例如，前景)的动作，并将边界和露天看台(例如背景区域)作为立体静态图像捕获以用于生成混合全景图，包括针对前部的实时立体视频和针对左后部和右后部的静态图像。以这种方式，机架可以用于捕获360度视图，其中360度视图的一些部分被在不同的时间点捕获，其中当捕获360个场景区域的不同视图时，相机机架在不同的时间点之间围绕其节点轴(例如垂直中心点)旋转。或者，单个相机可以安装在第二和第三相机对安装位置中，并且为这些区域捕获单声道(非立体)图像内容。

在相机成本不是问题的其他情况下，可以在机架中的每个位置安装两个以上的相机，其中如图1示例所示，机架最多可容纳6个相机。以这种方式，可以根据要捕获的性能以及用户输送大量相机(例如6个相机)的需要或能力，或者用户输送少于6个相机(例如，2个相机)的能力来实现成本效应相机部署。在一些实施例中，从相机机架100中的相机捕获的图像生成环境深度图。

图1描绘了六(6)相机组件100，有时也被称为机架或相机阵列，以及校准目标115。图1所示的相机机架100包括支撑结构(如图4和图4所示)，其将相机保持在指示位置，3对立体相机102、104、106(101、103)，(105，107)，(109，111)，总共6个相机。支撑结构包括基座720，其在本文中也称为支撑相机以及可以固定安装相机的板的安装板(参见图4所示的元件720)。支撑结构可以由塑料、金属或诸如石墨或玻璃纤维的复合材料制成，并且由形成三角形的线表示，所述三角形也用于示出相机之间的间隔和关系。点线相交的中心点表示相机对102、104、106可以在一些但不一定所有实施例中围绕其旋转的中心节点。在一些实施例中，中心节点对应于(例如三脚架底座的)钢杆或螺纹中心安装件，由三角形线表示的相机支撑框架可以围绕所述钢杆或螺纹中心安装件旋转。支撑框架可以是安装相机的塑料外壳或如图4和图5所示的三脚架结构。

在图1中，每对相机102、104、106对应于不同的相机对位置。第一相机对102对应于0度向前到正面的位置，并且通常意在覆盖主要动作发生的前景。该位置通常对应于主要的感兴趣区域，例如，正在回放运动游戏的场地、舞台或可能发生主要动作/表演的某个其他区域。第二相机对104对应于120度相机位置(距正面大约120度)位置)，并用于捕获右后视域。第三相机对106对应于240度观看位置(距正面大约240度)和左后观看区域。请注意，三个相机位置相距120度。

每个相机观看位置包括图1实施例中的一个相机对，其中每个相机对包括用于捕获图像的左相机和右相机。左相机捕获有时称为左眼图像的图像，并且右相机捕获有时称为右眼图像的图像。图像可以是一次或多次捕获的视图序列或静止图像的一部分。通常至少对应于相机对102的前置相机位置将被高质量的视频相机所填充。其他相机位置可以用高质量的视频相机、较低质量的视频相机或用于捕获静止图像或单声道图像的单个相机来填充。在一些实施例中，第二和第三相机实施例保持未被填充，并且安装相机的支撑板旋转，从而允许第一相机对102捕获对应于所有三个相机位置但在不同时间的图像。在一些这样的实施例中，捕获和存储左和右后部图像，然后在事件期间捕获向前相机位置的视频。捕获的图像可以例如在事件仍在进行中的同时被编码并实时流式传输到一个或多个回放设备。

图1所示的第一相机对102包括左相机101和右相机103。左相机具有固定到第一相机的第一透镜组件120，右相机103具有固定到右相机103的第二透镜组件。透镜组件120、120'包括允许捕获广角视野的透镜。在一些实施例中，每个透镜组件120、120'包括鱼眼透镜。因此，相机102、103中的每一个可以捕获180度的视野或大约180度的视野。在一些实施例中，小于180度被捕获，但是在一些实施例中在从相邻相机对捕获的图像中仍然存在至少一些重叠。在图1的实施例中，相机对位于第一(0度)、第二(120度)和第三(240度)相机安装位置中的每一个处，其中每对捕获至少120度或更多的环境，但是许多情况下，每个相机对捕获180度或约180度的环境。

第二和第三相机对104、106与第一相机对102相同或相似，但是位于相对于前0度位置的120度和240度相机安装位置。第二相机对104包括左相机105和左透镜组件122以及右相机107和右相机透镜组件122'。第三相机对106包括左相机109和左透镜组件124以及右相机111和右相机透镜组件124'。

在图1中，D表示第一102立体相机对101、103的轴间距离。在图1中，示例D是117mm，其与一般人的左眼和右眼的瞳孔之间的距离相同或相似。图1中的虚线150示出了从全景阵列的中心点到右相机透镜120'的入射瞳孔的距离(也称为节点偏移)。在对应于图1的一个实施例中，附图标记150所示的距离为315mm，但是其他距离也是可能的。

在一个具体实施例中，相机机架100的占地面积相对较小。这样小的尺寸允许相机机架放置在观众中，例如，在通常爱好者(fan)或出席者所位于或定位的就座位置。因此，在一些实施例中，相机机架被放置在观众区域中，从而允许观看者具有作为希望这种效果的观众的成员的感觉。一些实施例中的占地面积对应于基座的尺寸，在一些实施例中，包括中心支撑杆的支撑结构安装到所述基座或者支撑塔位于所述基座。如应当理解地，在一些实施例中，相机机架可围绕基座的中心点旋转，所述基座的中心点对应于3对相机之间的中心点。在其他实施例中，相机是固定的，并且不围绕相机阵列的中心旋转。

相机机架100能够捕获相对靠近以及不同的物体。在一个具体实施例中，相机阵列的最小成像距离为649mm，但是其他距离是可能的，并且该距离不是关键的。

从相机组件的中心到第一和第三相机部件的视图的交点151的距离表示可用于校准由第一和第二相机对捕获的图像的示例性校准距离。在一个特定的示例性实施例中，其中透镜视角相交并且透镜的最大失真发生的最佳校准距离为743mm。注意，目标115可以被放置在距离最大失真区域或略超过最大失真区域的相机对已知距离处。校准目标包括已知的固定校准图案。校准目标可以并用于校准由相机对的相机捕获的图像的尺寸。这样的校准是可能的，因为校准目标的尺寸和位置相对于捕获校准目标115的图像的相机是已知的。

图2更详细地示出了图1所示的相机阵列100的图200。虽然相机机架100再次示出为具有6个相机，但是在一些实施例中，相机机架100只填充有两个相机，例如包括相机101和103的相机对102。如图所示，在相机对安装位置中的每个之间有120度的间隔。例如，考虑如果每个相机对之间的中心对应于相机安装位置的方向。在这种情况下，第一相机安装位置对应于0度，第二相机安装位置对应于120度，并且第三相机安装位置对应于240度。因此，每个相机安装位置被分开120度。如果延伸穿过每个相机对102、104、106的中心的中心线被延伸并且线之间的角度被测量，则可以看出这一点。

在图2的示例中，相机对102、104、106可以并且在一些实施例中围绕相机机架的中心点旋转，从而允许在不同时间捕获不同的视图，而不必改变相机机架基座的位置。也就是说，相机可以围绕机架的中心支撑件旋转，并允许在不同时间捕获不同的场景，从而允许使用图2所示的机架在仅填充有两个相机的情况下进行360度场景捕获。考虑到立体相机的成本，从成本的角度来看，这种配置是特别期望的，并且非常适合于许多应用，其中可能期望示出从相同视角、但是在与包括体育赛事或其他事件期间的主要动作的前方场景可能会发生的时间不同的时间捕获的背景。例如，考虑在事件期间可能将物体放置在相机后面，使得其优选地将不在主事件期间示出。在这种情况下，后部图像可以是并且有时被在主事件之前捕获并且与主要事件的实时捕获图像一起可用以提供360度的图像数据组。

图3示出了与图1和图2的机架相同或相似但是没有支撑三脚架的示例性相机机架300，以及放置在相机对上的塑料盖350。塑料盖350包括手柄310、312、314，其可以用于例如当放置在三脚架上时升高或旋转相机机架300。相机机架300被示出为具有三对相机，包括具有透镜组件320、320'的相机301、303的第一相机对302，包括具有透镜组件322、322'的相机的第二相机对304以及包括具有透镜组件324、324'的相机的第三相机对306。塑料盖350被固定到安装平台316上，安装平台316可以被实现为具有一个或多个狭槽和螺孔的平板，如图4所示。塑料盖350用螺母或螺钉330、331固定到基座，螺母或螺钉330、331可以用手去除或紧固，以允许容易地移除或附接盖350并容易地进入相机对的相机。虽然图3所示的机架300中包括六个相机，但是可以包括单个相机对和/或可以使用具有位于未安装相机对的其他相机安装位置的一个或多个单独相机的单个相机对。

图4是以部分拆卸的形式示出的相机机架组件400的详细图，以更好地查看组件是如何组装的。相机机架400是根据一个示例性实施例实现的，并且可以具有图1和图2所示的相机配置。在图4所示的示例中，以拆卸形式清楚和详细地示出了相机机架400的各种元件。如从图4可以看出，相机机架400包括可以安装在相机机架400的支撑结构720上的3对相机702、704和706，例如立体相机。第一对相机702包括相机750和750'。第二对相机704包括相机752、752'，并且第三对相机706包括相机754、754'。相机750、750'的透镜701、701'可以在图7中看到。虽然元件701和701'被描述为透镜，但在一些实施例中，它们是被固定到相机750、750的透镜组件，其中每个透镜组件包括位于透镜镜筒中的多个透镜，透镜镜筒经由摩擦配合或扭锁连接固定到相机750、750'。

在一些实施例中，三对相机702、704和706(六个相机)经由相应的相机对安装板710、712和714安装在支撑结构720上。支撑结构720可以是狭槽安装板720的形式。狭槽738是板720中的一些狭槽的示例。狭槽减小重量，但也允许调整用于支撑相机对或者在一些情况中支撑单个相机的相机安装板710、712、714的位置。

支撑结构720包括用于安装立体相机对702、704、706的三个不同的安装位置，其中每个安装位置对应于与相邻安装位置的方向120度的不同方向偏移。在图7所示的实施例中，第一对立体相机702安装在三个安装位置中的第一个中(例如正面朝向的位置)并且对应于前视域。立体相机704的第二对704被安装在三个安装位置中的第二个中(例如相对于前部位置顺时针旋转120度的背景右位置)并且对应于不同的右后视域。立体相机的第三对706被安装在三个安装位置中的第三个中(例如相对于前部位置顺时针旋转240度的背景左位置)并且对应于左后视域。每个相机位置中的相机捕获至少120度的视域，但是在许多情况下可以捕获至少180度的视域，从而导致捕获的图像中的重叠，这可以促进将图像组合成360度视图，其中一些重叠部分在一些实施例中被切断。

第一相机对安装板710包括螺纹螺孔741、741'、741”和741”'，通过其螺钉704、740'、740”、740”'可以分别穿过狭槽738和738'；以将板710固定到支撑结构720。狭槽允许调节支撑板710的位置。

使用穿过板703、703'的底部并延伸到相机750、750'的底部上的螺纹孔中的螺钉将第一相机对的相机750、750'固定到单独的相应的相机安装板703、703'。一旦固定到单独的安装板703、703'，相机750、750'和安装板703、703'可以使用螺钉固定到相机对安装板710。螺钉725、725'、725”(其不完全可见)和725”'穿过相应的狭槽724进入相机对安装板710的螺纹孔745、745'、745”和745”'，以将相机板703和相机750固定到相机对安装板710。类似地，螺钉727、727'(其不完全可见)、727”和727”'穿过相应的狭槽726、726'、726”和726”'进入相机对安装板710的螺纹孔746、746'、746”和746”'，以将相机板703'和相机750'固定到相机对安装板710上。

支撑结构720安装有支座辊732、732'，以减少移动通过支撑结构的物体在附近移动时被卡在支撑结构上的风险。这减小了对支撑结构720的损坏的风险。此外，通过在辊的后面中具有中空区域，对辊的冲击不太可能被转移到支撑结构的主要部分。也就是说，辊732、732'后面的空隙允许其上安装有支支座辊732'的支撑结构的杆部分的一些变形，而不损坏包括用于固定相机安装板的狭槽的支撑结构的主要部分。

在各种实施例中，相机机架400包括基座722，支撑结构720例如通过延伸穿过基座的中心进入支撑板720的轴或螺杆可旋转地安装到基座722上。因此，在各种实施例中，支撑结构720上的相机组件可围绕穿过基座722的中心的轴旋转360度。在一些实施例中，基座722可以是三脚架或另一安装装置的一部分。三脚架包括由成对的管(742、742')、(742”和742”')形成的腿以及由于视角而在图4中不可见的附加腿。腿部通过铰链固定到基座722并且可以折叠以便运输。支撑结构可以由塑料、金属或复合材料(诸如石墨或玻璃纤维或其某种组合)制成。在一些实施例中，相机对可围绕中心点旋转，有时称为中心节点。

图4所示的组件400允许通过松开将各个相机安装板固定到相机对安装板上的螺钉从顶部调整各个相机的位置，并且然后在重新紧固螺钉之前调整相机位置。可以通过在松开从支撑结构720的底侧可接近的螺钉移动相机对安装板、移动板、并且然后重新紧固螺钉来调节相机对的位置。因此，支撑板720中的狭槽限定什么样的相机对的一般位置和方向，位置和方向可以作为相机校准过程的一部分进行微调，以在相机被在将使用相机机架的区域中固定到支撑结构720的同时实现期望的相机校准。

在图5中，与图4中使用的相同的附图标记表示相同的元件。图5示出了图500，其以组装的形式示出了示例性相机机架400，其中附加的稳定板502、502'、504、504'、506以及稳定板连接杆503、505、507、509、511、513被添加到相机对的顶部，以在它们已经被调整到所需位置之后增加相机对的刚性和稳定性。

在附图500中，相机对702、704、706可以被看到安装在支撑结构720上，其中相机对安装板710中的至少一个在所示的图中是可见的。除了以上关于图4已经讨论过的相机机架400的元件之外，在图500中，还可以看到安装在相机机架上的两个模拟的耳朵730、732。这些模拟的耳朵730、732模仿人耳，并且在一些实施例中由以人耳形状模制的硅树脂或塑料制成。模拟耳朵730、732包括麦克风，其中两只耳朵彼此分开达等于或近似等于一般人的人耳之间的间隔的距离。安装在模拟耳朵730、732中的麦克风被安装在正面朝向相机对702上，但也可以安装在支撑结构上，例如平台720上。模拟耳朵730、732以与人耳朵在人类头部上垂直于眼睛的前表面定位类似的方式垂直于相机对702的前表面定位。模拟耳朵730、732侧面中的孔作为到模拟耳朵的音频/声音入口点，其中模拟的耳朵和孔组合操作，以将音频朝着安装在模拟耳朵中的每一个中的麦克风引导，和人类耳朵将音频声音引入包含在人耳中的耳膜一样。左和右模拟耳朵730、732中的麦克风提供类似于在相机机架500的位置处的人将如何位于相机机架的位置时经由人的左耳和右耳察觉的立体声捕获。安装在模拟耳朵中的麦克风的音频输入以与人耳的传感器部分稍微垂直于人类面部的方式相同的方式垂直于正面朝向相机750、750'的外部透镜的面。模拟耳朵将声音朝着麦克风中引导，就像人耳将声波朝着人耳鼓引导一样。

模拟耳朵730、730被安装在支撑杆510上，支撑杆510包括用于捕获声音的麦克风。音频捕获系统730、732、810由可经由手柄515移动的可移动臂514支撑。

虽然图4-5示出了具有三个立体相机对的示例性相机的一种配置，但是应当理解，其他变化是可能的。例如，在一个实施例中，相机机架400包括可以围绕相机机架的中心点旋转的单对立体相机，允许在不同时间捕获不同的120度视图。因此，单个相机对可以安装在支撑结构上并围绕机架的中心支撑旋转，并允许在不同时间捕获不同的场景，从而允许360度场景捕获。

在其他实施例中，相机机架400包括单个立体相机对702和安装在通常用于一对立体相机的第二和第三位置中的每一个中的一个相机。在这样的实施例中，代替第二相机对704将单个相机安装到机架，并且代替相机对706将另一单个相机安装到相机机架。因此，在这样的实施例中，第二相机对704可以被认为是单个相机的代表，并且相机对706可以被认为是附加的单个相机的说明。

图6-9示出了根据一些示例性实施例实现的其他示例性相机机架的各种视图。

图6示出了图示800，其示出了根据一些示例性实施例实现的示例性相机机架801的一个视图。相机机架801中包括一些相机，其中一些是立体相机。在图示800中的相机机架801的示例视图中，只有相机机架801的一部分可见，而在图示800中不能完全看到的相机机架801的其他侧(也称为不同的面)上存在类似的相机布置。在一些但不是全部实施例中，相机机架801包括由顶部塑料主体或盖805和底部基座盖842固定的13个相机。在这些13个相机的一些实施例中，8个是立体相机，诸如成对的相机804、806、812和814，而许多其他相机是光场相机，诸如在图示800中可见的相机802和810，以及在图示800中不完全但部分可见的相机815和820。相机的各种其他组合是可能的。在一些实施例中，相机825也安装在相机机架801的顶部(例如相机机架801的顶面840)上，以捕获感兴趣的环境的顶半球的图像。塑料主体/盖805包括可用于提升或旋转相机机架801的手柄811、813、817。

在一些实施例中，相机机架801在相机机架801的每个较长侧上包括一个光场相机(例如，相机802)和形成立体相机对的其他两个相机(例如，相机804、806)。在一些这样的实施例中，有四个这样的较长侧(也称为四个侧面830、832、834和836)，其中每个较长侧具有一个光场相机和一个立体相机对，例如，在向左的一个较长侧上的光场相机802和立体相机对804、806，同时在另一较长侧830上的另一光场相机802以及立体相机对812、814可以在图示800中看到。尽管另外两个侧面没有被完全示出在图示800中，但它们在图8中更详细地示出。在一些实施例中，相机机架801中的相机中的至少一些(例如立体相机和光场相机)使用鱼眼透镜。在各种实施例中，相机机架801中的每个相机由相应的透镜/相机防护装置保护，以保护相机和/或透镜免受可能由物体引起的物理撞击和/或损坏。例如，相机802、804和806分别由防护装置845、847和849保护。类似地，相机810、812和814分别由防护装置850、852和854保护。

除了在四个侧面830、832、834和836中的每一个上的立体相机对和光场相机之外，在一些实施例中，相机机架801还在相机机架801的顶面840上包括面向向上垂直方向的相机825，例如，在封闭环境的情况下朝向天空或另一顶部天花板表面。在一些这样的实施例中，相机机架801的顶面上的相机825是光场相机。虽然在图示800中未示出，但在一些其他实施例中，相机机架801的顶面840除了相机825之外还包括用于捕获左眼图像和右眼图像的另一立体相机对。尽管在正常情况下，相机825捕获的360度环境(例如，体育馆、剧院、音乐厅等)的顶半球(也称为天空部分)可能不包括动作和/或在某些情况下保持静态，但是以与机架801上的其他相机捕获的其他环境部分相同的速率捕获天空部分可能是重要的或期望的。

虽然上面关于相机机架801示出和讨论了一个示例性相机阵列布置，但是在一些其他实现中，相机机架801包括以立体相机对布置的光场相机阵列，而不仅仅是布置在相机机架801的四个面830、832、834、836上的一对立体相机(例如，相机804、806、812、814)的顶部上的单个光场相机(例如，诸如相机802和810)。例如，在一些实施例中，在相机机架801的每个较长侧上的立体相机对的顶部上布置有3个光场相机。在另一个实施例中，有6个光场相机布置在相机机架801的较长侧中的每个上的立体相机对的顶部上，例如，其中两排的3个光场相机布置在立体相机对的顶部上。关于图12-13讨论了一些这样的变化。此外，在另一个变体中，也可以实现图示800所示类型的相机，使得有相机机架的3个面的相机指向水平方向，而不是如图8所示，四个面830、832、834、836的相机指向水平方向。

在一些实施例中，相机机架801可以安装在支撑结构上，使得其可绕垂直轴旋转。在各种实施例中，相机机架801可以部署在感兴趣的环境中，例如，诸如体育场、礼堂、或者待捕获的事件正在进行的其他地方。在一些实施例中，相机机架801的光场相机用于捕获感兴趣的环境(例如感兴趣的360度的场景区域)的图像，并且生成可用于模拟3D环境并显示立体成像内容的深度图。

图7示出了图示900，其示出了示例性相机机架801，其中相机机架801的一些元件以拆卸的形式更清楚和细节地示出。在图7中示出了在图示800所示的图示中不可见的相机机架801的各种附加元件。在图7中，已经使用相同的附图标记来识别相机机架801的元件，这些元件在图6中示出和标识。在图示900中，至少可以看到相机机架801的两个侧面830和836以及顶面840和底面842。

在图示900中，示出了相机机架801的四个侧面830、832、834、836中的两个上的相机的各种部件。透镜组件902、904和906分别对应于相机机架801的侧面836的相机802、804和806。透镜组件910、912和914分别对应于侧面830的相机810、812和814，而透镜组件925对应于相机机架801的顶面上的相机825。在图示900中还示出了三个侧支撑板808、808'和808”'，它们支撑相机机架801的顶盖和底盖板805和842。侧支撑板808、808'和808”'经由图中所示的相应的螺钉对固定到顶盖805和底盖842上。例如，侧支撑板808经由螺钉对951和956固定到顶盖板805和底盖板842，侧支撑板808'经由螺钉对952和954固定到顶盖板805和底盖板842，并且侧支撑板808”'经由螺钉对950和958固定到顶盖板805和底盖板842。在一些实施例中，相机机架801包括经由多个螺钉960固定到底盖板842的基座支撑件960。在一些实施例中，经由基座支撑件960，相机机架可以安装在支撑结构上，使得其可绕垂直轴(例如穿过基座960的中心的轴)旋转。外部支撑结构可以是三脚架或另一平台。

图8示出了图示1000，其示出了示例性相机机架801的顶视图，其中更详细地示出了相机机架801的更多元件。在相机机架801的顶视图中，更清楚地示出了在图示800-900中不完全可见的另外两个侧面832和834。透镜组件915、916和918对应于相机机架801的侧面832上的相机815和立体相机对。透镜组件920、922和924对应于相机机架801的侧面834上的相机920和立体相机对。

如从图示1000可以看出，在相机机架801的四个侧面830、832、834、836(指向面的小箭头)和顶面840中的每一个上的相机的组件面向不同的方向。相机机架801的侧面830、832、834、836上的相机指向水平方向(例如，垂直于相应的面)，同时顶面840上的相机(一个或多个)指向向上垂直方向。例如，如图8所示，相机机架801的面836上的相机(对应于透镜组件902、904、906的相机)面向箭头1002所示的第一方向。箭头1004示出了相机机架801的面830上的相机(对应于透镜组件910、912、914的相机)所面向的第二方向，箭头1006示出相机机架801的面832上的相机(对应于透镜的相机组件915、916、918的相机)所面向的第三方向，箭头1008示出了相机机架801的面834上的相机(对应于透镜组件920、922、924的相机)所面向的第四方向，并且箭头1010示出了相机机架801的面840上的相机(对应于透镜组件925的相机825)所面向的第五方向。在各种实施例中，第一、第二、第三和第四方向大致为水平方向，而第五方向为垂直方向。在一些实施例中，不同侧面830、832、834和836上的相机是均匀间隔的。在一些实施例中，第一、第二、第三和第四方向之间的角度是相同的。在一些实施例中，第一、第二、第三和第四方向是不同的并且相差90度。在一些其他实施例中，相机机架被实现为使得相机机架有3个侧面，而不是四个侧面，具有与图示800-1000所示的相同或相似的相机组件。在这样的实施例中，相机机架801的侧面上的相机指向三个不同的方向，例如，第一、第二和第三方向，其中第一、第二和第三方向相差120度。

图9示出了图示1100，其示出了根据一些示例性实施例实现的另一示例性相机机架1101的视图。在大多数和许多方面，示例性相机机架1101类似于相机机架801，并且包括与上面关于相机机架801所讨论的相机相同或相似的相机配置。类似于相机机架801，相机机架1101包括四个侧面1130、1132、1134、1136和顶面1140。相机机架1101的四个侧面1130、1132、1134、1136中的每一个包括相机阵列，包括：光场相机和一对立体相机对，而相机机架的顶面1140包括至少一个相机机架1125，其类似于针对相机机架801所示和讨论的内容。然而，相机机架1101除了五个面1130、1132、1134、1136和1140中的每个面上的相机阵列外还包括第六底面1142，包括面向垂直向下(例如朝向地面)的至少一个相机1126。在一些这样的实施例中，面向垂直向下的底面相机1126和面向垂直向上的顶面相机1125是光场相机。在一些实施例中，相机1125和1126中的每一个是相机机架1101的顶面和底面1140、1142上的对应的立体相机对的一部分。

虽然相机机架801和1101的立体相机用于捕获立体成像内容(例如，在事件期间)，但是使用光场相机允许扫描感兴趣的场景区域并(例如，从对应于感兴趣场景的这些部分的捕获图像)生成由光场相机捕获的场景区域的各个部分的深度图。在一些实施例中，可以组合场景区域的各个部分的深度图以生成场景区域的复合深度图。这样的深度图和/或复合深度图可以并且在一些实施例中被提供给回放设备，以用于显示立体成像内容并模拟观看者可以体验到的3D环境。

图10示出了可以用于根据本发明实现的示例性相机机架(诸如根据一些示例的相机机架300、相机机架400和/或相机机架801和1101)中的相机阵列的示例性布置1200的前视图。与图示800中所示的单个光场相机布置在相机机架801的每个面上的一对立体相机的顶部上的布置相比，示例性布置1200使用布置有立体相机对1208、1012的光场相机阵列1202、1204和1206。示例性布置1200可以并且在一些实施例中用于根据本发明实现的相机机架(例如相机机架801)中。在这样的实施例中，相机机架的每个面都使用具有布置有单对立体相机(例如，1208、1210)的三个光场相机(例如，1202、1204和1206)的示例性布置1200。应当理解，布置的许多变化是可能的，并且在本发明的范围内。

图11示出了根据一些实施例的可以用于示例性相机机架(例如相机机架801)或者先前讨论过的其他相机机架中的任何相机机架中的相机阵列的另一个示例性布置1300的前视图。与图示800所示的单个光场相机布置在一对立体相机的顶部上的布置相比，示例性布置1300使用布置有立体相机对1320、1322的六个光场相机1302、1304、1306、1308、1310和1312的阵列。光场相机被堆叠成一个布置在另一个之上的两行的3个光场相机，其中每个行包括一组三个光场相机，如图所示。示例性布置1300可以并且在一些实施例中被用在根据本发明实现的相机机架(例如相机机架801)中，其中相机机架的每个面使用装置1300。

尽管如上所述的相机机架的立体相机用于捕获立体成像内容(例如在事件期间)，光场相机的使用允许扫描感兴趣的场景区域并且(从对应于感兴趣场景的这些部分的捕获图像)生成由光场相机捕获的场景区域的各个部分的深度图。在一些实施例中，可以组合场景区域的各个部分的深度图以生成场景区域的复合深度图。这样的深度图和/或复合深度图可以并且在一些实施例中提供给回放设备，以用于显示立体成像内容并模拟观看者可以体验到的3D环境。

使用光场相机与立体相机组合允许环境测量并实时生成环境深度图，例如在事件被拍摄期间，从而避免需要在事件(例如足球比赛)开始之前的时间部署待离线执行的环境测量。

虽然从每个图像生成的深度图对应于要映射的环境的一部分，但是在一些实施例中，从各个图像生成的深度图被处理，例如，缝合在一起，以形成使用光场相机扫描的完整环境的复合图。因此，通过使用光场相机，相对完整的环境图可以并且在一些实施例中被生成。

在光场相机的情况下，微透镜阵列捕获足够的信息，使得可以在采集后重新聚焦图像。也可以在图像捕获之后，在主透镜的子孔径内移动视点，从而有效地获得多个视图。在光场相机的情况下，在单次捕获中可同时获得来自散焦和对应的深度提示。当尝试填充未被立体相机捕获的遮挡信息/场景部分时，这可能是有用的。

从光场相机输出生成的深度图将是当前的，并且可能准确地测量体育场或针对特定事件(例如由立体相机捕获的音乐会或游戏)的其他感兴趣的环境中的改变。此外，通过从相同位置或安装立体摄影机的位置附近测量环境，至少在一些实施例中，环境图准确地反映环境，就像它可以从用于捕获事件的立体相机的角度被感知。

在一些实施例中，由光场相机捕获的图像可以被处理并用于填充未被立体相机对捕获的环境的部分，例如，因为立体相机对的位置和/或视场可能与光场相机的位置和/或视场略有不同和/或由于对从立体相机观看的阻碍。例如，当光场相机相对于立体对的位置面向后方时，其可以捕获对于前向立体相机对不可见的后视图。在一些实施例中，将光场相机的输出单独提供给回放设备，或与由立体相机对所捕获的图像数据一起提供给回放设备。当显示立体相机对未充分捕获的场景区域的显示时，回放设备可以使用由光场相机捕获的全部或部分图像。此外，由光场相机捕获的图像的一部分可以用于填充从立体相机对的位置观看被遮挡，但是用户希望能在他或她相对于对应于立体相机对的位置的默认观看位置将他或她的头部向左或向右移动时够看到的立体图像的一部分。例如，如果用户在某些实施例中向左或向右倾斜以试图围绕阻碍他/她观看的柱子，则使用来自由光场相机捕获的一个或多个图像的内容提供图像内容，该图像内容对立体相机对不可见，但是预期对用户可以从用户在回放期间通过向左或向右倾斜实现的偏移的头部可见。

包括图12A和12B的组合的图12示出了操作根据一些实施例的成像系统的示例性方法的流程图1400。在一些实施例中，使用包括图像捕获设备和处理系统的成像系统来实现流程图1400的方法。系统中的图像捕获设备(例如光场相机和/或立体相机)可以被包括在和/或安装在附图所示并且在上面详细讨论的各种相机机架上。

该方法在步骤1402中开始，例如，以成像系统被供电并被初始化。该方法从开始步骤1402进行到步骤1403。在步骤1403中，当前环境深度图状态(例如，指示环境深度图的可用性和/或要使用的深度图是否被设置为现有或默认深度图)被初始化为指示当前环境深度图未设置。因此，在这种情况下，需要在使用和/或提供之前选择要使用和/或提供给另一设备的深度图。

操作从步骤1403进行到步骤1404和1410。将步骤1404中的处理结果用作在步骤1410、1418和1430中执行的确定的输入，如下所述。在步骤1404中，从一个或多个源获取环境深度信息。作为步骤1404的一部分，在一些实施例中执行步骤1405、1406、1408、1414、1416、1426和1428中的一个或多个。步骤1405、1406、1408可以由成像系统的不同元件(例如一个或多个相机和处理系统)并行执行。在一些实施例中，沿着步骤1406和1408的两个单独路径中的图像捕获步骤以不同的速率并行地执行。

在步骤1405中，处理系统例如通过在系统上下载和/或在处理系统上将其上传到包括环境深度图的存储介质来获取与感兴趣的环境相对应的静态环境深度图。感兴趣的环境可以是例如发生感兴趣的事件的体育场、礼堂、旷野等。在各种实施例中，事件被包括立体相机和光场相机的一个或多个相机设备捕获(记录)。静态环境深度图包括先前(例如在事件之前)已经进行的感兴趣的环境的环境测量，并且因此被称为静态的。其中事件发生的各种感兴趣的著名环境(例如已知的体育场、礼堂等)的静态环境深度图是容易获得的，但是这种环境深度图不考虑在事件期间可能发生的对环境的动态变化和/或自进行环境测量之后可能发生的其他变化。感兴趣的环境的静态深度图可以使用各种测量技术(例如使用LIDAR和/或其他方法)来生成。来自步骤1405的输出(例如静态深度图(如果有的话))用作到步骤1410的数据输入。

在步骤1410中，检查静态深度图是否可用，例如到处理系统。如果静态深度图可用，则操作从步骤1410进行到步骤1412，否则操作进行到步骤1418。在步骤1412中，处理系统将当前深度图(例如，要使用的基础环境深度图)设置为静态深度图。在一些实施例中，当系统被初始化并且来自其他源的深度图不可用时，如果静态深度图可用，则处理系统最初将当前深度图设置为静态深度图。操作从步骤1412进行到步骤1418，其中静态图(当可用时)是输入到步骤1418的数据。

在讨论步骤1418中的处理之前和之后的步骤首先考虑沿着对应于步骤1406的路径的图像获取步骤1404的步骤，因为作为步骤1406、1414和1416的结果输出的数据用作对步骤1418的输入。在步骤1406中，使用一个或多个立体相机对来捕获感兴趣的环境的部分的立体图像对，例如左眼图像和右眼图像。在一些实施例中，捕获图像的立体相机对(一个或多个)被安装在根据上述各种实施例实现的相机机架上。操作从步骤1406进行到步骤1414。在步骤1414中，在处理系统处接收捕获的立体图像对。在各种实施例中，立体图像对被处理以生成环境深度信息，其为时间点提供比由从所述一个或多个光场相机捕获的图像生成的环境深度信息提供的环境深度测量更多的环境深度测量。操作从步骤1414进行到步骤1416。在步骤1416中，从一个或多个立体图像对生成环境深度信息，例如，生成感兴趣的环境的复合深度信息。在一些实施例中，从立体图像对生成的复合深度信息是环境深度图的形式。在一些实施例中，步骤1406、1414和1416以第一速率执行，其中立体相机对的图像捕获被以选定的速率执行。在一些实施例中，以确定的速率在持续的基础上执行步骤1406、1414和1416。来自步骤1416的输出(例如，从立体图像生成的深度信息(如果可用))用作对步骤1418的数据输入。

现在参考步骤1418。在步骤1418中，处理系统确定从一个或多个立体图像对生成的环境深度信息是否可用。例如在立体相机对(一个或多个)尚未开始捕获立体图像和/或尚未生成环境深度信息图的某些情况下，基于立体图像的环境深度信息可能对于处理系统是不可用的。如果在步骤1418中确定从一个或多个立体图像对生成的环境深度信息可用，则操作从步骤1418进行到步骤1420，否则操作进行到步骤1430。

在步骤1420中，确定当前深度图是否已经被设置。如果确定当前环境深度图未被设置，则操作进行到步骤1422，其中处理系统将当前环境深度图设置为从一个或多个立体图像对生成的环境深度图。操作从步骤1422进行到步骤1430。如果在步骤1420中确定当前环境深度图已被设置(例如，如果可用，则静态深度图可以被设置为当前环境深度图)，则操作进行到步骤1424。在具有多个深度信息源可用的步骤1424中，从至少两个不同的深度信息源生成感兴趣的环境的环境深度图，其中处理系统协调从一个或多个立体图像对生成的环境深度信息(在步骤1416中获得)与已经被设置为当前深度图的深度图(例如静态深度图)(步骤1412)。因此，在环境深度图的初始化和/或第一次迭代期间，生成包括协调来自至少两个不同的源(当可用时)的深度信息以生成环境深度图。用于生成环境深度图的后续迭代包括使用动态生成的更近的深度信息来更新深度图，作为协调从多个源获得的深度信息的一部分。在一些实施例中，深度信息源之一是静态深度图(也称为静态深度模型)。因此，在一些实施例中，环境深度图是基于当环境未被观众占用时进行的LIDAR测量从静态深度模型生成的。在一些实施例中，LIDAR测量提供最大距离信息。在一些实施例中，从立体图像对获得的深度信息提供了包括如下内容的深度信息，该深度信息包括事件期间但不在(例如在实际事件之前进行的)LIDAR测量时存在的人、道具、场景布置和/或标志的影响。

操作进行到步骤1425。在协调操作完成之后，通过协调来自两个不同的源的深度信息生成的环境深度图被设置为当前深度图，如步骤1425所示。在各种实施例中，协调的环境深度图与用于协调的两个单独深度图中的任一个相比具有更多且增强的深度信息。如将在一些实施例中讨论的，至少两个不同的深度信息源包括来自以下中的至少两个的深度信息：i)在事件之前生成的环境的静态深度图；ii)从立体图像对获得的深度信息；或iii)从由一个或多个光场相机捕获的图像获得的深度信息。操作从步骤1425进行到步骤1430。

在讨论步骤1430中的处理和随后的步骤之前，首先考虑与步骤1408相对应的路径上的步骤，因为作为步骤1408、1426和1428的结果的数据输出用作步骤1430的输入。在步骤1408中，使用一个或多个光场相机捕获感兴趣的环境的各部分的图像。在一些实施例中，捕获图像的一个或多个光场相机被安装在根据上述各种实施例实现的相机上。操作从步骤1408进行到步骤1426。在步骤1426中，由光场相机捕获的图像可选地与感兴趣的环境部分的深度图一起在处理系统处被接收。因此，在一些实施例中，一个或多个光场相机(例如使用机载深度图生成单元)从捕获的图像生成环境的部分的深度图，并将其提供给处理系统。在一些其他实施例中，提供由光场相机捕获的实际图像，并且处理系统生成感兴趣的环境的部分的深度图。操作从步骤1426进行到步骤1428。在步骤1428中，环境深度信息从由光场相机捕获的一个或多个接收图像和/或从感兴趣的环境的部分的深度图生成，例如其中从光场相机图像生成的复合深度信息以感兴趣的环境的环境深度图的形式。在一些实施例中，步骤1408、1426和1428以第二速率执行，其中光场相机(一个或多个)的图像捕获以所选择的速率来执行。在一些实施例中，以确定的速率在持续的基础上执行步骤1408、1426和1428。在一些实施例中，由光场相机(一个或多个)捕获图像的速率与由立体相机对捕获图像的速率不同。在一些实施例中，从立体图像获得的深度信息在测量所对应的空间位置的数量方面具有更高的分辨率，但是具有比从由一个或多个光场相机捕获的图像获得的深度信息更低的精度。操作从步骤1428进行到步骤1430。

现在返回到步骤1430。在步骤1430中，处理系统确定从由光场相机捕获的图像生成的环境深度信息或从感兴趣的环境的一个或多个部分的深度信息生成的环境深度信息是否对处理系统可用。如果在步骤1430中确定这种环境深度信息可用，则操作从步骤1430进行到步骤1432，否则操作经由连接节点B1440进行到步骤1442。

在步骤1432中，确定是否已经设置了当前深度图。如果确定当前深度图未被设置，例如，指示来自其他源的环境深度信息对于处理系统不可用并因此不被设置，则操作从步骤1432进行到步骤1434，其中处理系统将当前深度图设置为从由光场相机捕获的一个或多个图像和/或从与感兴趣的环境的部分相对应的深度信息生成的环境深度图。操作经由连接节点A1438从步骤1434进行到步骤1446。如果在步骤1432中确定当前深度图已被设置(例如，例如从立体图像生成的静态深度和/或环境深度图和/或协调的深度图可用时可以被设置为当前深度图)，则操作进行到步骤1436，其中处理系统通过协调(例如组合)从由光场相机捕获的一个或多个图像在步骤1428中生成的环境深度信息与当前的环境深度图信息来更新现有的当前图。应当理解，在该阶段，输入当前深度图可以是从立体图像生成的深度图(步骤1422)或通过协调(1424)从立体图像获得的深度信息与静态深度图而生成的深度图，或协调可能涉及协调静态深度图与从光场相机获得的深度信息。因此，步骤1436中的协调操作可以包括协调(例如，组合)从使用一个或多个光相机捕获的图像获得的深度信息与从由LIDAR和/或立体相机捕获的图像生成的深度信息。

通常，光场深度信息可能比立体深度信息更精确，特别是在处理时间受限的情况下，诸如在事件正在进行时实时更新深度图。因此，当将光场深度信息与立体声深度信息组合时，在一些实施例中，光场深度信息可以被视为更可靠，并且当两个信息源都可用于相同位置时，比立体确定的深度信息加权更重。

在一些实施例中，如在步骤1436中执行的，协调从由一个或多个光场相机捕获的图像生成的深度信息与从立体图像获得的深度信息包括使用从立体图像获得的深度信息来确定位于光场相机提供的深度信息可用的环境点之间的环境点的深度。在这种情况下，立体声提供的深度信息有时可以用于提供关于深度已知或者使用另一种测量技术(例如基于光场的深度测量技术)来测量的环境位置之间的深度变化的信息。

在一些实施例中，当事件区域为空时，使用LIDAR或其他测量来确定最大深度，其中立体深度信息用于确定在使用中环境如何变化。可能有时以相对较快的速率(例如以允许深度模型和表面的相对快速细化的帧速率)获得立体深度信息。而光场相机(一个或多个)可以以较低的速率和/或较低的分辨率捕获深度信息。因此，虽然光场相机可以提供多个位置的准确的信息，但是在一些实施例中，立体深度信息可以提供环境中较大数量的位置的测量，例如对于捕获图像的每个像素的深度估计。

操作从步骤1436进行到步骤1437。在协调操作完成之后，将从来自多个源的协调深度信息生成的协调环境深度图设置为当前深度图，如步骤1437所示。操作经由连接节点A1438从步骤1437进行到步骤1446。

如果在步骤1430中确定环境深度信息不可用，则操作经由连接节点B1440从步骤1430进行到步骤1442。在步骤1442中，确定是否已经设置了当前深度图。如果确定当前深度图尚未设置，则操作从步骤1442进行到步骤1444，其中处理系统将当前深度图设置为与球体相对应的默认深度图，因为没有其他环境深度图和/或可用于生成环境深度图的深度信息可用于处理系统。操作从步骤1444进行到步骤1446。

在步骤1442中，如果确定当前深度图是否已被设置(例如，被设置为协调的环境深度图或静态深度图之一)，则操作从步骤1442进行到步骤1446。

返回到步骤1446。在步骤1446中，处理系统输出当前环境深度图，例如，与回放设备通信。输出当前环境深度图可以包括输出到显示设备、输出到外部存储设备和/或例如经由发送器发送到一个或多个客户设备。当前的环境深度图可以并且在各种实施例中被提供(例如被发送)到一个或多个客户呈现和回放设备，例如用于显示3D成像内容。环境深度图可以在事件(例如，游戏和/或其他表演)期间多次生成和/或更新，因为事物可能会在事件期间动态地改变，这可能影响感兴趣的环境，从而如果系统要提供可以用于向观众提供真实的3D体验的信息和成像内容，将环境深度图更新为保持当前是有用的。在一些实施例中，环境深度图是其中图像被捕获的环境的3D模型的形式。在各种实施例中，这样的3D模型通过渲染和回放设备渲染3D图像内容来使用。应当理解，关于流程图1400讨论的方法允许基于来自多个源的深度信息生成增强和改进的环境深度图，例如静态深度图，使用由一个或多个立体相机对捕获的图像生成的深度图，和/或使用由一个或多个光场相机捕获的图像生成的深度图。

操作从步骤1446进行到步骤1447，其中通过将在生成的当前深度图所对应的感兴趣的环境中捕获的图像包裹到由深度测量产生的3D模型上来显示图像。在一些实施例中，图像显示在可以是处理系统的一部分的显示设备上。包裹在3D模型上的图像可以显示给处理系统的操作者。在一些其他实施例中，图像显示操作可以在与客户呈现和回放设备相关联的显示设备上执行。

在输出当前环境深度图之后，该操作也从步骤1446进行到步骤1448。在步骤1448中，处理系统通过将新变量最终输出环境深度图设置为当前环境深度图(其已经被在步骤1446中输出)来初始化它。如下面详细讨论的，最后输出环境深度图的值和/或状态被用于确定深度图是否有显著变化和/或更新，这可能需要将更新的当前深度图发送给客户设备。操作从步骤1448进行到步骤1450。在步骤1450中，确定从附加和/或新捕获的立体图像生成的任何新的深度信息是否可用(回想立体图像捕获和从立体图像生成深度信息(步骤1406、1414、1416)在事件期间正在进行中)。因此，处理系统监视以检测能否从立体图像获得附加/新深度信息。如果确定能够从捕获的立体图像获得附加/新的深度信息，则操作从步骤1450进行到步骤1452，否则操作从步骤1450进行到步骤1460。

在步骤1452中，协调从立体图像生成的最近生成的深度信息与当前深度图，以基于从事件期间捕获的立体图像生成的最近的深度信息更新当前环境深度图。因此，从在事件期间捕获的新的附加立体图像生成的附加深度信息有助于通过协调当前图与从立体图像生成的最近深度信息来更新环境深度图。操作从步骤1452进行到步骤1454。在步骤1454中，更新的深度图被设置为当前深度图。操作从步骤1454进行到步骤1456。操作还进行到步骤1460，其中更新的深度图(当可用时)是到步骤1456和1460的数据输入。

在步骤1456中，系统确定当前深度图(在步骤1454中更新的深度图被设置为当前环境深度图)和最后输出深度图之间的差异，例如，以检查深度信息中是否存在显着变化。操作从步骤1456进行到步骤1458，其中确定当前(例如更新的)深度图与最后输出深度图之间的深度信息的差异是否显着。在一些实施例中，任何改变可被认为是重要的。在其他实施例中，在环境的特定区域(例如，舞台)中的深度变化被认为是重要的，但是环境的另一区域(例如，相机位置后面的区域)的改变不被认为是重要的，除非改变超出一些预定或动态确定的量。

因此，在一些实施例中，深度变化是否显着不仅取决于检测到的环境中的深度变化的位置，而且还取决于变化量。因此，在步骤1458中确定深度变化是否显着，并且有时可以涉及确定深度变化的位置是否对应于高优先级区域或被认为是重要的区域，和/或确定检测到的深度的变化量是否高于用于确定改变是否显着的阈值，其中在某些但不是所有实施例中阈值取决于位置，例如相对于深度图对应的相机位置的前、后、侧区域。

如果确定深度信息的差异不是显着的，例如，不足以重要到将新的深度图信息通信或使用到回放设备，则操作返回到步骤1450并且在来自附加捕获的立体图像的新的附加深度信息变得可用时继续。然而，如果在步骤1458中确定深度信息的差异是显着的，则操作从步骤1458进行到步骤1466，其中将反映所检测到的环境变化的当前更新的环境深度图传送(例如发送)到服务器、处理设备和/或回放设备。

返回步骤1450。如果在步骤1450中确定不能从立体图像获得附加/新的深度信息，则操作从步骤1450进行到步骤1460。在步骤1460中，确定从由光场相机捕获的附加和/或新图像生成的附加/新的深度信息是否可用(回想光场相机图像捕获和来自光场相机捕获图像的深度信息的产生(步骤1408、1426、1428)在事件期间正在进行)。因此，处理系统监视从现场相机捕获的图像检测附加/新的深度信息是否可用。如果确定从现场相机捕获的图像可以获得附加/新的深度信息，则操作从步骤1460进行到步骤1462，否则操作从步骤1460进行回到步骤1450。

在步骤1462中，从光场相机图像生成的深度信息与当前深度图协调，以基于从事件期间捕获的光场相机图像生成的最近的深度信息更新当前环境深度图。应当理解，这样的更新可能在事件正在进行(例如正在执行节目)时发生。因此，从在事件期间捕获的新的附加光场相机图像产生的附加深度信息便于通过将当前图与最近的深度信息协调来更新环境深度图。以这种方式，个体的舞台、道具和/或位置的变化可以实时或接近实时地反映在深度图中。操作从步骤1462进行到步骤1464。在步骤1464中，将更新的深度图设置为当前深度图。操作从步骤1464进行到步骤1456，并且执行关于步骤1456和1458所讨论的操作，其中通过协调从光场相机捕获的图像生成的新的深度信息使当前深度图是在步骤1462中生成的更新的环境深度图。再次，如果当前(更新的)环境深度图与最后输出深度图之间的差异不显著，则操作返回到步骤1450，并且如果新的附加深度信息变得可用，则继续。如果确定深度信息的差异是显着的，则操作从步骤1458进行到步骤1466。

在步骤1466中，系统将深度图差异信息或实际当前环境深度图发送到一个或多个客户呈现和回放设备和/或诸如服务器或图像处理系统的其他系统。

深度图差异信息可能并且有时在深度图的变化相对较小的情况下被发送，从而避免了将全深度图重新发送到具有较早的(例如先前传送的)环境深度图的设备的需要。

在一些实施例中，系统传送指示当前(例如更新的)深度图与最后输出的环境深度图之间的深度信息差异的深度图差异信息。使用差异信息，接收客户呈现和回放设备可以更新使用中的环境深度图。应该理解，与传输整个深度图相比，简单地发送差异信息具有更多的带宽有效性并且更少的浪费，因为相对较少的信息被发送。在一些其他实施例中，发送整个更新的环境深度图。操作从步骤1466继续回到步骤1448，如循环所示。

图13示出了根据本发明的一个示例性实施例实现的示例性光场相机1500，其可以用于上述图中所示的相机机架中。示例性相机设备1500包括显示设备1502、输入设备1504、I/O接口1506、处理器1508、存储器1510和总线1509，其被安装在由被引导线引导至附图标记1500矩形盒所表示的壳体。相机机架1500还包括光链1512和网络接口1514。各种部件通过总线1509耦合在一起，这允许信号和信息在相机1500的部件之间通信。

在相机设备上，显示设备1502可以是并且在一些实施例中是用于显示图像、视频、关于相机设备的配置的信息和/或正在执行的数据处理的状态的触摸屏。在显示设备1502是触摸屏的情况下，显示设备1502用作附加输入设备和/或作为单独输入设备(例如，按钮)1504的替代。输入设备1504可以是并且在一些实施例是例如键盘、触摸屏或可用于输入信息、数据和/或指令的类似装置。

通过I/O接口1506，相机设备1500可以耦合到外部设备并且与这样的外部设备交换信息和信令。在一些实施例中，经由I/O接口1506，相机1500可以在一些实施例中与处理系统1600接口。在一些这样的实施例中，处理系统1600可用于配置和/或控制相机1500。

网络接口1514允许相机设备1500能够通过通信网络接收和/或向外部设备传送信息。在一些实施例中，经由网络接口1514，相机1500通过通信网络(例如因特网和/或其他网络)将捕获的图像和/或生成的深度图发送到其他设备和/或系统。

光链1510包括微透镜阵列1524和图像传感器1526。当通过相机1500执行图像捕获操作时，相机1500使用微透镜阵列1524捕获来自多于一个方向的感兴趣场景的光信息。

存储器1512包括各种模块和例程，其当被处理器1508执行时，控制根据本发明的相机1500的操作。存储器1512包括控制例程1520和数据/信息1522。处理器1508(例如CPU)执行控制例程，并且使用数据/信息1522来控制相机1500根据本发明进行操作，并实现一个或多个步骤。在一些实施例中，处理器1508包括片上深度图生成电路1507，其从在相机1500根据本发明的操作期间捕获的所感兴趣的环境的这些部分相对应的捕获图像生成感兴趣的环境的各个部分的深度信息。在一些其他实施例中，相机1500向处理系统1600提供捕获图像1528，处理系统1600使用由光场相机1500捕获的图像产生深度信息。相机1500生成的感兴趣环境的各个部分的深度信息被存储在存储器1512作为深度信息1530，而与感兴趣的环境的一个或多个部分相对应的图像被存储为捕获图像1528。环境的各个部分的深度信息1530构成环境的深度图。捕获的图像和深度图被存储在存储器1512中，以供将来使用，例如附加处理和/或传输到另一设备。在各种实施例中，相机1500产生的深度信息1530和由相机1500捕获的感兴趣环境的部分的一个或多个捕获图像1528被提供给处理系统，例如经由接口1506和/或1514，以供进一步根据本发明的特征进行处理和动作。在一些实施例中，深度信息和/或捕获的图像被提供，例如由相机1500传送到一个或多个客户设备。

图14示出了根据本发明的特征的示例性处理系统1600。处理系统1600可以用于实现图12的流程图1400的方法的一个或多个步骤。处理系统1600包括可用于对立体成像内容进行编码和流式处理的多速率编码能力。

处理系统1600可以并且在一些实施例中用于执行根据本发明的特征的单独的深度图和/或复合环境深度图生成操作、编码操作、存储和传输和/或内容输出操作。处理系统1600还可以包括解码和显示经处理和/或编码的图像数据(例如，对于操作者)的能力。

系统1600包括显示器1602，输入设备1604，输入/输出(I/O)接口1606，处理器1608，网络接口1610和存储器1612。系统1600的各种组件经由总线1609，其允许在系统1600的组件之间传送数据。

存储器1612包括各种例程和模块，其当被处理器1608执行时，控制系统1600以实现根据本发明的复合环境深度图生成、环境深度图协调、编码、存储以及流/传输和/或输出操作。

显示设备1602在某些实施例中可以是用于显示图像、视频、关于处理系统1600的配置的信息的触摸屏，和/或指示正在对处理执行的处理的状态设备。在显示设备1602是触摸屏的情况下，显示设备1602用作附加输入设备和/或作为单独输入设备(例如，按钮)1604的替代。输入设备1604可以是并且在一些实施例是例如键盘、触摸屏或可用于输入信息、数据和/或指令的类似装置。

通过I/O接口1606，处理系统1600可以耦合到外部设备，并且与这样的外部设备(例如相机机架801和/或光场相机1500和/或任何其他图中所示的相机机架，其可以包括立体相机和光场相机)交换信息和信令。I/O接口1606包括发射器和接收器。在一些实施例中，经由I/O接口1606，处理系统1600接收由各种相机(例如立体相机对和/或光场相机(例如，相机1500)，其可以是诸如相机机架801的相机机架的一部分)捕获的图像。

网络接口1610允许处理系统1600通过通信网络(例如因特网和/其他通信网络)来接收和/或向外部设备传送信息。在一些实施例中，网络接口1610包括发射器1640和接收器1642。在一些实施例中，经由发射器1640，处理系统1600向多个客户设备广播多个经编码的立体数据流，每个支撑不同比特率。在一些实施例中，处理系统1600经由多端口广播发射器1640向客户设备发送场景的不同部分，例如180度前部、左后部、右后部等。此外，在一些实施例中，经由发射器1640，处理系统1600将当前环境深度图广播给一个或多个客户设备。虽然在一些实施例中使用发射器1640来广播内容流和/或环境深度图，但是在一些其他实施例中，发射器1640将复合环境深度图和/或成像内容发送(例如单播)到单个客户设备。因此，在一些实施例中，处理器1608被配置为控制处理系统1600，以例如经由发射器1640将当前环境深度图输出到一个或多个客户呈现和回放设备。在一些实施例中，处理器1608被配置为控制处理系统1600向一个或多个客户渲染和回放设备输出(例如经由发射器1640发送)指示当前生成的环境深度(例如，更新的深度图)与最后输出深度信息之间的深度信息差异。

存储器1612包括各种模块和程序，当由处理器1608执行时，它们控制根据本发明的系统1600的操作。处理器1608(例如CPU)执行控制例程并且使用存储在存储器1612中的数据/信息来控制系统1600根据本发明进行操作，并且实现流程图1400的方法的一个或多个步骤。存储器1612包括控制程序1614、图像编码器(一个或多个)1616、深度图生成模块1617、深度图可用性确定模块1618、当前深度图确定模块1619、流控制器1620、图像生成模块1621、深度图差异确定模块1626、由一个或多个光场相机捕获的感兴趣的环境的接收图像1623、感兴趣的环境的可选接收的深度图1625、接收的立体图像数据1624、经编码的立体图像数据1628、获取的静态深度图1630、从立体图像对生成的环境深度信息1632、从由一个或多个光场捕获的图像生成的环境深度信息1634，以及对应于球体1638的默认深度图。

在一些实施例中，模块被实现为软件模块。在其他实施例中，这些模块在硬件中实现在存储器1612的外部，例如作为单独的电路，其中每个模块被实现为用于执行模块对应的功能的电路。在其他实施例中，使用软件和硬件的组合实现模块。在一个或多个模块被实现为软件模块或例程的实施例中，模块和/或程序由处理器1608执行以控制系统1600根据本发明进行操作，并且实现关于流程图1400讨论的一个或多个操作。

控制例程1614包括用于控制处理系统1600的操作的设备控制例程和通信例程。编码器1616(一个或多个)可以并且在一些实施例中包括被配置为根据本发明的特征对接收到的图像内容、场景和/或一个或多个场景部分的立体图像进行编码的多个编码器。在一些实施例中，编码器(一个或多个)包括多个编码器，每个编码器被配置为对立体场景和/或分割的场景部分进行编码以支撑给定的比特率流。因此，在一些实施例中，可以使用多个编码器对每个场景部分进行编码，以支撑每个场景的多个不同比特率流。编码器1616(一个或多个)的输出是存储在存储器中的编码立体图像数据1628，用于流式传送到客户设备，例如回放设备。编码的内容可以经由网络接口1610流传输到一个或多个不同的设备，例如客户呈现和回放设备。一些实施例中的编码器1616(一个或多个)在硬件中实现。

深度图生成模块1617(在一些实施例中被实现为深度图生成器1617)被配置为从深度信息的至少两个不同的源(例如，当可用时)生成感兴趣的环境的复合环境深度图。如上所述，提供感兴趣的环境的深度测量的多个不同的深度信息源可以有时可用。在各种实施例中，深度图生成模块1617被配置为组合来自至少两个不同深度信息源的深度信息，包括：i)从所述静态图获得的深度信息，ii)从由所述光场相机捕获的图像获得的深度信息以及iii)从由所述立体相机对捕获的图像获得的深度信息，作为生成环境深度图的一部分。在一些实施例中，处理系统1600使用由各种相机(例如立体相机对和一个或多个光场相机)捕获的图像，以在生成复合环境深度图之前从每个单独的深度信息源产生深度信息。因此，在一些实施例中，深度图生成模块1617被配置为从由各种相机(例如立体相机对和一个或多个光场相机)捕获的图像生成深度信息。在一些实施例中，深度图生成模块1617从一个或多个立体图像对1624生成深度信息，并且从由处理系统1600接收的光场相机捕获的环境的图像1623生成深度信息。在一些实施例中，或者作为对于光场相机图像1623的替代，深度图生成模块1617从由光场相机捕获的图像接收与由光场相机产生的环境的各个部分相对应的深度信息1625。因此，在一些实施例中，来自多个源的感兴趣的环境的深度信息在深度图生成模块1617生成组合深度图之前被聚合。

在一些实施例中，深度图生成模块1617包括深度信息协调模块1622，其被配置为协调从由立体相机捕获的图像生成的深度信息1632和/或从在事件期间由光场相机捕获的图像生成的深度信息1634与在给定时间的当前环境深度图，作为将至少两个不同深度信息源的深度信息组合以生成环境深度图的一部分。应当理解，从由立体相机捕获的图像生成的深度信息1632形成从立体图像生成的深度图，并且从光场相机图像生成的深度信息1634形成从光场相机图像生成的深度图。在一些实施例中，处理系统1600将最近生成的深度图设置为当前深度图。在初始化期间的一些实施例中，例如当来自立体声和/或光场相机的深度信息尚不可用时，如果可用，则可以将从LIDAR测量生成的静态深度图设置为当前深度图。在一些实施例中，深度信息协调模块1622被配置为协调由光场相机捕获的图像产生的深度信息1634与由立体相机对摄像的立体图像产生的深度信息1632，作为被配置为组合来自至少两个不同的深度信息源的深度信息以生成环境深度图。在一些实施例中，深度信息协调模块1622还被配置为使用从立体图像获得的深度信息1632来确定环境点的深度，所述环境点位于从由光场相机捕获的图像获得的深度信息可用的环境点之间，作为被配置为协调由光场相机捕获的图像生成的深度信息和从立体图像获得的深度信息的一部分。在各种实施例中，当新/附加深度信息变得可用时，例如从光场相机和/或立体相机捕获的新/附加图像获得时，深度图生成模块1617使用新的可用深度信息生成更新的环境深度图。在一些实施例中，深度图生成模块1617还被配置为基于当事件正在进行时从由所述光场相机捕获的图像的处理获得的深度信息来更新所生成的环境深度图。在一些实施例中，深度图生成模块1617还被配置为基于在事件期间由所述立体相机对捕获的图像生成的深度信息来更新环境深度图。因此，深度图协调模块1622被配置为根据本发明执行深度图协调操作，例如通过执行在流程图1400的相应步骤中讨论的协调操作。环境深度图1632是深度图生成的输出模块1617。

在一些实施例中，静态深度图1630是基于使用LIDAR的深度测量而产生的静态模型，其在环境未被观众占用时进行。当可用于感兴趣的给定环境时，这种静态深度图可以被提供给处理系统1600，以用于生成根据本发明的增强复合环境深度图，例如3D模型。

深度图可用性确定模块1618被配置为确定来自给定源的深度图或深度信息在给定时间是否可用，例如静态深度图是否可用和/或是否从由光场相机捕获的图像是可用的和/或是否由立体相机对捕获的图像产生的环境深度信息可用。

当前深度图确定模块1619被配置为确定在给定时间处理系统是否已经设置了当前深度图。在各种实施例中，取决于来自各种不同源的深度信息的可用性和确定的时间，当前深度图确定模块1619还被配置为根据关于步骤1412、1422、1425、1434、1437、1444、1454和1464详细讨论的本发明的特征来将环境深度图设置为待使用和/或输出的当前环境深度图。

流控制器1620被配置为控制编码内容的流传输，以(例如经由通信网络)将编码图像内容(例如，至少一部分经编码的立体图像数据1628)传送到一个或多个客户回放设备。在各种实施例中，流控制器1620还被配置为例如经由网络接口1610，例如经由发射器1640将已被设置为当前深度图的环境深度图传送到一个或多个客户回放设备。在一些实施例中，在将基础环境图已经传达到客户回放设备之后，处理器1608不是频繁地发送更新的环境深度图，而是控制处理系统，例如经由发送器1640向客户回放设备发送深度图差异信息。

图像生成模块1621被配置为从由光场相机捕获的至少一个图像生成第一图像，例如，接收到的图像1623，生成的第一图像包括感兴趣的环境的一部分，其不包括在由立体摄影机捕获的至少一些立体图像(例如，立体图像内容1624)。在一些实施例中，流控制器1620还被配置为例如经由网络接口1610将生成的第一图像的至少一部分传送到一个或多个客户回放设备。

在一些实施例中，环境深度图用于形成其中捕获图像的环境的3D模型。在一些实施例中，图像生成模块1621还被配置为将在感兴趣的环境中捕获的图像包裹到3D模型上。在一些实施例中，处理系统例如在显示设备1602上显示包裹在3D模型上的图像。因此，在一些实施例中，在感兴趣的环境中捕获的一个或多个图像(例如对应于场景的深度测量被执行并且所生成的环境深度图对应的图像)被包裹到从深度产生的3D环境模型测量并显示给例如处理系统1600的操作者或管理员。

深度图差异确定模块1626被配置为确定当前环境深度图1633(设置为当前环境深度图的深度图)与最后输出环境深度图1635(最后的深度图已输出)之间的差异。深度图差异确定模块1626还被配置为确定当前深度图(例如，更新的当前深度图)和最后输出深度图之间的深度信息的差异是否是显着的。深度图差异信息1639是深度图差异确定模块1626的输出。在一些实施例中，将深度图差异信息1639传送给客户设备，而不是发送整个当前(例如更新的)环境深度图。

接收的立体图像数据1624包括从一个或多个立体相机接收到的立体图像对，例如诸如包括在机架801中的那些立体图像数据。经编码的立体图像数据1628包括多组立体图像数据由编码器1616编码以支撑多个不同的比特率流。

静态深度图1630是获取的(例如下载的)感兴趣的环境的深度图。环境深度图生成模块1617在一些实施例中使用接收到的捕获图像1623和1624生成从由立体相机对1632捕获的图像生成的环境深度图和从由一个或多个光场相机1634捕获的图像生成的环境深度图。对应于球体1638的默认深度图也被存储在存储器1612中，以便即使在没有环境深度图不能从其他来源获取的情况下使用，例如，当没有静态深度图1630、环境深度图1632和环境深度图1634可供使用时。当前的环境深度图1633是根据本发明的特征的深度图生成模块(深度图生成器)1617生成的环境的深度图。

在一些实施例中，图13和14中所示的各种模块完全在处理器1508和1608内的硬件中实现，例如作为单独的电路。在其他实施例中，一些模块被实现为例如处理器1508、1608内的电路，其中其他模块被实现，例如，作为电路，外部并耦合到处理器1508、1608。或者，在一些其他实施例中，除了被实现为电路之外，所有或一些模块可以以软件实现并存储在设备1500和1600的存储器中，其中各个设备中的模块控制相应设备1500、1600的操作，以实现当模块由设备中的相应处理器(例如处理器1506或1608)执行时对应于模块的功能。

在其他实施例中，各种模块被实现为硬件和软件的组合，例如，处理器1508、1608外部的电路向处理器1508、1608提供输入，然后在软件控制下操作以执行部分的模块功能。

虽然在图13和14中的每个实施例中示出为单个处理器1508、1608(例如，计算机)在各个设备1500、1600内，应当理解，处理器1508和处理器1608可以被实现为一个或多个更多的处理器，例如计算机。当以软件实现时，模块包括当处理器1508、1608执行时配置处理器(例如计算机)来实现与该模块相对应的功能的代码。在一些实施例中，处理器1508、1608被配置为实现相应设备中的每个模块。完全基于硬件或完全基于软件的模块可以在设备1500和1600中使用。然而，应当理解，可以使用软件和硬件(例如，电路实现的)模块的任何组合来实现功能。应当理解，图13-14中所示的模块控制和/或配置各个设备1500和1600或其中的元件，例如处理器1508、1608、以执行根据本发明的各种操作。

操作成像系统的示例性方法包括：从至少两个不同的深度信息源生成感兴趣的环境的环境深度图；并输出所生成的环境深度图。在各种实施例中，至少两个不同的深度信息源包括以下至少两个的深度信息：i)在事件之前产生的环境的静态深度图；ii)从立体图像对获得的深度信息；或iii)从由一个或多个光场相机捕获的图像获得的深度信息。

在一些实施例中，该方法还包括：基于当事件正在进行时从由所述一个或多个光场相机捕获的图像的处理获得的深度信息来更新环境深度图。在一些实施例中，该方法还包括：基于由用于在事件期间捕获立体图像对的一对相机捕获的立体图像生成的深度信息来更新环境深度图。

在一些实施例中，处理立体图像对以产生环境深度信息，其为时间点提供比从由所述一个或多个光场相机捕获的图像产生的环境深度信息提供的环境深度测量更多的环境深度测量。在一些实施例中，环境深度图是基于当环境未被观众占用时进行的LIDAR测量从静态深度模型生成的。在一些实施例中，LIDAR测量提供最大距离信息。在一些实施例中，从立体图像对获得的深度信息提供了深度信息，该深度信息包括事件期间但不在所述LIDAR测量时存在的人、道具、场景布置和/或标志的影响。在一些实施例中，从由光场相机捕获的图像获得的深度图信息比从由立体对捕获的图像获得的深度信息提供更准确的深度信息。

在一些实施例中，其中使用一个或多个深度的LIDAR测量值来确定环境中的最大深度并且校准或缩放从非LIDAR测量技术获得的深度测量。例如，对于给定位置，LIDAR深度可以与通过光场测量技术和/或立体测量技术确定的相同位置的深度进行比较。如果深度的光场测量大于LIDAR深度测量，则测量差可能有时通过将光场测量深度缩放与在相同位置处的LIDAR测量深度匹配所需的量来调和。例如，如果LIDAR测量深度是第一距离D1，并且D1小于基于光场的测量深度D2，则光场测量深度可以通过因数D2/D1来缩放，以将光场测量与高精度LIDAR测量协调。立体声深度测量可以以相同的方式与激光和/或光场测量进行调和。缩放因子的这种确定对于最外层距离固定的环境中的位置特别有用，例如，因为它们对应于墙壁或其他固定结构，并且光场或立体测量值高估了区域中的距离LIDAR测量可用。

当光场或立体深度测量值小于给定位置的LIDAR测量值时，较短的深度可能是由于被添加到环境中的物体或某种类型的光场或立体深度测量误差引起的。在这种情况下，与LIDAR测量相比，协调可能涉及确定光场和/或立体深度测量是否显示与环境的多个不同位置协调的差异，在这种情况下，缩放因子可能被确定为补偿系统非LIDAR测量误差，以便深度测量可以以可靠的方式组合。

当光场和/或立体相机显示从相机位置测量到的较短深度的短期变化时，可以认为深度的变化是由于物体被放置在或移动到环境，但是在极短期变化的情况下，例如对应于帧时间，这种深度变化可能是由于极端短暂的条件或测量误差。

在一些实施例中，为了避免改变旨在用于多帧时间段(例如，对应于一组或多组图像)的深度图，不同深度测量的协调不仅考虑深度测量的来源，还考虑测量是否指示深度小于先前测量深度的深度和/或深度测量变化的持续时间。例如，可以在多个帧时间段内对例如立体深度测量进行平均，例如，在与以秒或分钟为单位捕获的帧数相对应的时间段和/或包括在诸如一组图像的视频编码单元中的帧数。考虑到检测深度变化的时间量，以避免将深度测量变化引入用于渲染性质高度瞬态的图像或由于短期测量误差而导致的深度图。

在一些实施例中，更新环境深度图是基于通过一对立体相机的立体图像对捕获的深度信息和/或来自不同于相机的不同相机的多个图像，其可能不是来自立体相机对，而是具有已知关系从哪个深度信息可以确定。在一些实施例中，深度图的更新在一些实施例中被执行，作为从由一个或多个光场相机捕获的图像产生的深度信息与由立体相机对捕获的立体图像产生的深度信息协调的一部分。

在一些实施例中，从立体图像获得的深度信息在测量对应的空间位置的数量方面具有更高的分辨率，但是具有比从由一个或多个光场相机捕获的图像获得的深度信息更低的精度。因此，在一些实施例中，可以从立体图像信息获得比来自光场相机更多的数据点，例如针对不同环境位置的深度测量。在一些实施例中，从由一个或多个光场相机捕获的图像产生的协调深度信息和从立体图像获得的深度信息包括使用从立体图像获得的深度信息来确定环境点的深度，所述环境点位于光场相机提供了深度信息的环境点之间。

在一些实施例中，环境深度图是其中捕获图像的环境的3D模型的形式。在一些实施例中，该方法还包括：通过将在所述环境深度图对应的感兴趣的环境中捕获的图像包裹在由深度测量产生的3D模型上，来显示图像。

根据一些实施例实施的示例性成像系统包括：处理器，其被配置为：从至少两个不同的深度信息源生成感兴趣的环境的环境深度图，并输出所述生成的环境深度图。在一些实施例中，系统还包括：被配置为接收环境的静态图的接口；被配置为捕获环境的图像的光场相机和用于捕获环境的图像对的立体相机对。在各种实施例中，由光场相机和立体立体相机捕获的图像用于产生并提供捕获图像的环境的深度信息。

在一些实施例中，处理器被配置为被配置为生成环境深度图的一部分，以组合来自所述至少两个不同的深度信息源的深度信息，所述深度信息包括：i)从所述静态图获得的深度信息，ii)深度信息，以及iii)从由所述立体相机捕获的图像获得的深度信息。

在一些实施例中，处理器被配置为：在事件(例如，显示，音乐会，比赛，体育游戏等)正在进行中的同时，基于从由所述光场相机捕获的图像的处理获得的深度信息来更新环境深度图。因此，环境的深度模型的实时更新可以并且被提供给一个或多个其他设备，例如，以便于在事件仍在进行的同时实时或接近实时地呈现图像。在一些实施例中，处理器还被配置为：基于在事件期间由所述立体相机对捕获的图像产生的深度信息来更新环境深度图。

在一些实施例中，处理器还被配置为协调由光场相机捕获的图像产生的深度信息与由立体相机对捕获的立体图像产生的深度信息，作为被配置为组合来自所述至少有两个不同的深度信息源的深度信息的一部分。

在一些实施例中，处理器还被配置为使用从立体图像获得的深度信息来确定环境点的深度，所述环境点位于从由光场相机获取的图像获得的深度信息可用的环境点之间，作为被配置为协调由光场相机捕获的图像产生的深度信息与从立体图像获得的深度信息的一部分。

在一些实施例中，环境深度图用于形成其中捕获图像的环境的3D模型。在一些实施例中，系统还包括被配置为显示在感兴趣的环境中捕获的图像包裹在3D模型上的显示设备。

虽然以示例性顺序示出了步骤，但是应当理解，在许多情况下，可以改变步骤的顺序而不会不利地影响操作。因此，除非为了正确的操作需要步骤的示例性顺序，否则步骤的顺序被认为是示例性的而不是限制性的。

虽然已经讨论了各种实施例，但是应当理解，并不一定所有实施例都包括相同的特征，并且所描述的特征中的一些不是必需的，而在一些实施例中可能是期望的。

虽然描述了各种范围和示例性值，但范围和值是示例性的。在一些实施例中，值的范围比上述范围大20％。在其他实施例中，该范围比上述范围的20％小。类似地，特定值可以是，并且有时甚至高于上述值的20％，而在其他实施例中，值比上述值小20％。在其他实施例中，使用其他值。

一些实施例涉及体现一组软件指令(例如，计算机可执行指令)的非瞬时计算机可读介质，用于控制计算机或其他设备对立体视频进行编码和压缩。其他实施例是实施例涉及体现一组软件指令(例如，计算机可执行指令)的计算机可读介质，用于控制计算机或其他设备对回放器端解码和解压缩视频。尽管编码和压缩被提及为可能的单独操作，但是应当理解，可以使用编码来执行压缩，因此编码可以在一些包括压缩中。类似地，解码可能涉及解压缩。

各种实施例的技术可以使用软件，硬件和/或软件和硬件的组合来实现。各种实施例涉及装置，例如图像数据捕获和处理系统。各种实施例还涉及诸如图像捕获和/或处理图像数据的方法。各种实施例还涉及非暂时性机器，例如计算机，可读介质，例如ROM，RAM，CD，硬盘等，其包括用于控制机器实现一个或多个步骤的机器可读指令方法。

使用模块实现本发明的各种特征。在一些实施例中，这样的模块可以被实现为软件模块。在其他实施例中，模块以硬件实现。在其他实施例中，使用软件和硬件的组合实现模块。在一些实施例中，模块被实现为单独的电路，其中每个模块被实现为用于执行模块对应的功能的电路。考虑了各种各样的实施例，其中不同模块实现不同的一些实施例，例如硬件中的一些，软件中的一些，以及一些使用硬件和软件的组合。还应该注意的是，在通用处理器上执行的软件相反，可以在专用硬件中实现例程和/或子程序，或这些例程执行的一些步骤。这样的实施例保持在本发明的范围内。上述方法或方法步骤中的许多可以使用诸如软件的机器可执行指令来实现，所述机器可执行指令包括在诸如RAM，软盘等的机器可读介质中以控制机器，例如通用具有或不具有附加硬件的目的计算机，以实现上述方法的全部或部分。因此，本发明尤其涉及包括用于使机器(例如处理器和相关硬件)执行上述方法的一个或多个步骤的机器可执行指令的机器可读介质，。

鉴于上述描述，对于本领域技术人员来说，上述各种实施例的方法和装置的许多附加变化将是显而易见的。这种变化将被认为在范围之内。

Claims (20)

1.一种操作成像系统的方法，包括：

从至少两个不同的深度信息源生成感兴趣的环境的环境深度图；以及

输出所述生成的环境深度图。

2.根据权利要求1所述的方法，其中所述至少两个不同的深度信息源包括来自以下中的至少两个的深度信息：i)事件之前生成的环境的静态深度图；ii)从立体图像对获得的深度信息；或iii)从由一个或多个光场相机捕获的图像获得的深度信息。

3.根据权利要求2所述的方法，还包括：

基于从对在事件进行中的同时由所述一个或多个光场相机捕获的图像的处理获得的深度信息来更新环境深度图。

4.根据权利要求3所述的方法，还包括：

基于从在事件期间由用于捕获立体图像对的一对相机捕获的立体图像生成的深度信息来更新环境深度图。

5.根据权利要求4所述的方法，其中所述立体图像对被处理以生成环境深度信息，所述环境深度信息为时间点提供比从由所述一个或多个光场相机捕获的图像生成的环境深度信息提供的环境深度测量更多的环境深度测量。

6.根据权利要求5所述的方法，其中所述环境深度图是基于当环境未被观众占据时进行的LIDAR测量从静态深度模型生成的。

7.根据权利要求7所述的方法，其中从立体图像对获得的深度信息提供包括如下内容的深度信息：在事件期间但不是在所述LIDAR测量时存在的人、道具、场景布置和/或标志的影响。

8.根据权利要求8所述的方法，其中从由所述光场相机捕获的图像获得的深度图信息比从由立体对捕获的图像获得的深度信息提供更准确的深度信息。

9.根据权利要求4所述的方法，其中基于由立体图像对捕获的深度信息来更新环境深度图是作为协调从由所述一个或多个光场相机捕获的图像生成的深度信息与从由立体相机对捕获的立体图像生成的深度信息的一部分来执行的。

10.根据权利要求10所述的方法，其中从立体图像获得的深度信息在测量所对应的空间位置的数量方面具有更高的分辨率，但是比从由所述一个或多个光场相机捕获的图像获得的深度信息具有更低的精度。

11.根据权利要求9所述的方法，其中协调从由所述一个或多个光场相机捕获的图像生成的深度信息与从立体图像获得的深度信息包括使用从立体图像获得的深度信息来确定环境点的深度，所述环境点位于光场相机提供的深度信息可用的环境点之间。

12.根据权利要求1所述的方法，其中所述环境深度图是以图像被捕获的环境的3D模型的形式。

13.根据权利要求1所述的方法，还包括：

通过将在所述环境深度图所对应的感兴趣的环境中捕获的图像包裹到由深度测量产生的环境的3D模型上来显示该图像。

14.一种成像系统，包括：

处理器，被配置为：

从至少两个不同的深度信息源生成感兴趣的环境的环境深度图；以及

输出所述生成的环境深度图。

15.根据权利要求14所述的系统，还包括：

被配置为接收环境的静态图的接口；

用于捕获环境的图像的光场相机；以及

用于捕获环境的图像对的立体相机对。

16.根据权利要求15所述的系统，其中作为被配置为生成环境深度图的一部分，所述处理器被配置为：

组合来自所述至少两个不同的深度信息源的深度信息，深度信息包括：i)从所述静态图获得的深度信息，ii)从由所述光场相机捕获的图像获得的深度信息，以及iii)从由所述立体相机对捕获的图像获得的深度信息。

17.根据权利要求16所述的系统，其中所述处理器还被配置为：

基于从对在事件进行中的同时由所述光场相机捕获的图像的处理获得的深度信息来更新环境深度图。

18.根据权利要求16所述的系统，其中所述处理器还被配置为协调从由光场相机捕获的图像生成的深度信息与从由立体相机对捕获的立体图像生成的深度信息，作为被配置为组合来自所述至少两个不同的深度信息源的深度信息的一部分。

19.根据权利要求14所述的系统，其中所述环境深度图用于形成图像被捕获的环境的3D模型，所述系统还包括：

显示装置，被配置为显示包裹在3D模型上的在感兴趣的环境中捕获的图像。

20.一种包括计算机可执行指令的非暂时性计算机可读介质，所述指令当由计算机执行时控制所述计算机：

从至少两个不同的深度信息源生成感兴趣的环境的环境深度图；以及

输出所述生成的环境深度图。