CN106576160B - 用于具有模式切换的深度相机模式的成像架构 - Google Patents

Abstract

描述了一种用于具有模式切换的深度相机模式的成像架构。在一个示例中，成像设备具有：主相机，所述主相机用于捕获场景的图像；辅相机，所述辅相机用于捕获同一场景的图像；第三相机，所述第三相机用于捕获第二场景的图像；处理器，所述处理器具有耦合至所述主相机以便从所述主相机接收图像的第一端口以及用于接收图像的第二端口；以及多路复用器，所述多路复用器耦合至所述辅相机和所述第三相机，以便接收所述捕获的图像并且交替地将所述辅相机或所述第三相机耦合至所述处理器的所述第二端口。

Description

用于具有模式切换的深度相机模式的成像架构

优先权要求

本申请要求由克里希纳卡扎(Krishna Kaza)于2014年9月3日提交的美国临时专利申请号62/045,258(代理人案卷号为42P71928Z)的权益和优先权，其内容通过引用结合在此。

技术领域

本说明书涉及多相机成像系统的领域，并且更具体地涉及利用多个相机的基于深度的效果。

背景技术

便携式设备(诸如计算机、平板计算机、以及蜂窝电话)通常配备有指向用户的前置相机和背离用户的后置相机。所述前置相机通常用于视频会议和自拍，而所述后置相机通常用于视频和静止摄影。

小型数字相机在便携式电话、通信、娱乐以及媒体设备上已经变得普遍。相机在安保、导航、安全以及其他用途中的相应增加。从不同位置指向同一场景的两个相机提供了允许深度感知的立体视觉。安装到单个设备的相机或图像传感器阵列也可实现许多其他有吸引力的3D用户体验，包括时间分辨率和增加的动态范围。各种不同的便携式摄影设备、计算设备和媒体播放器设备可被适配成用于将相机阵列技术集成到其平台上。

非常少的产品在便携式设备或者相机的背面提供两个相机以便允许拍摄和记录立体或三维图像。具有用于深度感知的两个或更多个相机的设备允许各种不同的附加功能。作为示例，深度图可作为用于增强图像的工具覆盖在静止图像上。所述深度图可用于运动效果(视差视图)、用于深度测量以及用于应用基于深度所选择的数字滤波器，诸如重新对焦、分层滤波器以及视图合成等。

附图说明

在附图中以举例而非限制的方式来展示本发明，其中，相同的参考号指代类似元件。

图1是设备表面上的相机阵列的简图。

图2是根据实施例具有相机组件的便携式设备的一部分的框图。

图3是根据实施例用于图2的设备的软件栈的简图。

图4是根据实施例在图2的设备中所传输的信号的时序图。

图5是根据实施例具有多个相机实例的用于进行帧捕获的调用序列的简图。

图6是根据实施例具有多个相机实例的用于改变模式的调用序列的简图。

图7是根据实施例具有多个相机的结合了图像处理系统的计算设备的框图。

具体实施方式

多图像传感器设备使用能够实现深度拍摄的软件和硬件特征来提供二维和三维操作。多个图像传感器安装在设备的同一侧上以便各自具有同一场景的不用视角。利用使用现有部件的帧计数器对所述图像进行同步和跟踪，所述部件被重新配置成用于容纳附加传感器并且用于在不同的成像模式之间进行切换。所述便携式成像系统快速改变模式，并且在一些实施例中，提供新的深度捕获工作流。

所描述的架构能够处理两个或更多个独立同步图像帧并且以非常低的等待时间处理图像集。所述处理可包括：通过确定图像视差信息、以及校准和修正捕获帧来生成深度图。通过对图像进行同步，所述成像系统能够消除视差计算、图像捕获失败和较差图像捕获性能中的许多不同误差原因。这些失败中的一些来自设备的运动。其他失败来自(来自不同相机的)帧之间的场景变化。

图1是在便携式设备102表面上的呈三角形配置的一组相机Cr、C0、C1的简图。这种相机或图像传感器阵列可以放置在所述便携式设备的任何表面上。虽然后表面提供了各种与更大场景一起使用的显著优点，但所述相机的最佳表面可以被适配成用于适应相机或其他便携式设备的使用。

所述设备102具有被示出为图1的表面的外部壳体。所述相机安装在表面上的通常固定位置。所述相机可以接近显示器(诸如触摸屏显示器)、麦克风、扬声器以及所述设备上的其他部件。所述相机可以被定向在所述设备的前面或背面上并且可以被定向朝向用户或远离所述用户。所述设备的一个或多个表面上可以具有相机。

参考相机Cr被用作其他两个相机C0、C1的位置的参考点。可以具有更多或者更少的其他相机。第二相机C0距离参考相机Cr特定距离b0。这一距离具有垂直分量by和水平分量bx。类似地，第三相机C1距离参考相机距离b1。这一距离被示出为(但不必是)在相反方向上并且距离参考相机与第二相机相同的距离。

可以参考所述参考相机的位置对任何数量的附加相机进行标识。此外，距离b0、b1还可以具有第三维度bz(未示出)中的部件。阵列(如示出的)是对称的并且甚至简化了来自所述相机的图像的对应关系，然而，所述实施例不限于此。

虽然示出了两个相机，但所述实施例不限于此。可以使用两个或更多个相机。虽然附加相机增加了设备的成本，但附加相机可以提供更好的深度图并且可以允许提供除深度之外的其他多个相机功能。可以通过使用主高分辨率参考相机和较低分辨率辅相机来降低成本。较低分辨率图像需要较少的处理资源但仍允许清楚地测量深度。

作为示例，所述主成像器可以是8MP传感器。可以在大相机的任一侧使用两个较小的720p(1MP)相机。外部ISP(Image Signal Processor，图像信号处理器)可以用于处理这两个较小的相机并且将这两个较小的相机桥接到单个MIPI通道上。可替代地，所述主ISP可以同时处理所述辅流的全部或一些。这种相机配置的输出可以用于同时从全部的3个相机提供2个流(例如，一个RAW 8MP以及一个YUV 2560×720)。如在此描述的，硬件可以同步这三个相机的帧。在一个实施例中，第一信号将利用参考相机发起帧的开始，所述参考相机将用作其他相机的主相机，所述其他相机将用作从相机。

来自所述两个或更多个相机的图像可以用于生成深度图。当尽可能地及时对所有帧进行同步时，深度图的质量得到提高，尽管许多深度算法的确具有轻微容差(只要运动在某种程度上受到限制)。所述同步帧使得能够实现更稳健的3D相机性能，同时降低由设备移动或场景变化所导致的对象模糊。如以下描述的，无需专门的同步硬件或阵列相机模块，并且适合各种不同的相机阵列和系统处理配置。

现有的相机传感器和强大的计算技术进行组合以便从视差信息中生成深度图。另外，所述系统校准并修正所述捕获帧，清理所述捕获帧并且在捕获之后调整所述图像中的缺陷。所述系统不限于任何特定的传感器分辨率或者帧捕获率。也可以适合增强型拍摄使用情况，包括测量、重新对焦(虚化效果)、滤波器(层)、运动效果(视差视图)和视图合成(在改变焦距的同时将相机移入并移出)。

图2是便携式设备220的一部分的框图。所述设备具有如图1的上下文中所描述的带有三个相机206、214、216的相机组件202。所述设备还具有内部处理系统204。所述内部系统基于ISP或包括甚至CPU(Central Processing Unit，中央处理单元)的任何其他类型的处理器(取决于系统实现方式)、控制器、以及图像处理器或相似设备208(取决于系统的本质)。所述CPU具有两个端口。端口0从主后置相机206接收所述高分辨率图像帧，并且端口1从辅前置相机210接收所述较低分辨率图像帧。

后置相机通常用于摄影和视频捕获，而前置相机通常用于视频通话和或者手势识别。在一些情况下，前置和后置相机两者可以同时操作，并且所述CPU处理来自这两个图像传感器的帧。例如，结合呈现附近场景的第二图像或视频，这可能允许与远程人员一起进行视频会议。当例如用于远程修复援助时，所述设备可能发送来自前置相机的本地修复技术人员的视频流以及来自后置相机的损坏部分或修复过程的视频流。这些可以被组合为画中画或者作为单独流被发送，从而使得远程观看者可看见两个中的一个或两个。

除了标准的后置相机之外，所述系统220包括相机阵列202中的两个附加辅相机214、216。这两个相机均耦合至桥电路218。所述桥电路对来自这两个辅相机的帧进行组合并且向多路复用器212提供所述组合帧。所述多路复用器被定位在前置相机210与CPU 208之间。所述多路复用器由CPU控制，从而使得其按照命令在端口1处将输入从前置相机210切换至这两个辅相机214、216。

虽然所述辅相机被示出为对于后置相机而言为辅，但类似的方式可以用于针对前置主相机210来提供辅前置相机(未示出)。使用类似的桥电路以及后置相机206与CPU 208之间的多路复用器，多路复用器可能能够在端口0上将前置辅相机馈送至CPU同时前置相机馈送至端口1中。如以上提及的，可以修改各个相机的定位和位置以便适应各种不同的实现方式。

桥电路将两个帧(来自所述辅相机中的每个辅相机的一个帧)组合成单个帧。在实施例中，为了向CPU提供全部的捕获细节，不以任何方式对相应的像素进行组合或比较。相反，所述帧仅并排放置以便利用两个帧的所有像素产生一个帧。针对输入WXGA信号，这两个1280×720帧并排放置以产生单个2560×720帧或者交替地产生单个1280×1440帧。所述单个帧然后可以被施加到多路复用器并且进而作为单个帧被施加到CPU的端口1。结果是，两张图像作为单个帧被接收，并且端口1的硬件标准、信令、连接和其他特性不需要任何变化来适应两个帧(而非一个帧)。

取决于电路的本质，桥电路可以执行其他操作。这些功能可以包括帧同步、帧视差确定、降噪、特征检测、以及可能可用于CPU的操作的其他功能。桥电路还可以执行从RAW到YUV、RGB、YCrCb或如期望的任何其他期望的格式的格式转换。图像信号处理器可以用作桥电路或者简单的FPGA(Field Programmable Gate Array，现场可编程门阵列)，或者可以使用其他简单的逻辑设备。

相机阵列还可以使用相机传感器中可用的竖直同步信号。竖直帧同步信号线222受参考相机的驱动并且被馈送至两个辅相机。在这种实施例中，初始同步线通过硬件连线。这有助于消除辅相机的相机帧起始之间的任何滞后。所述竖直帧同步线可以是同步信号的专用硬件连线，或者其还可以是用于通用软件命令或中断的连接。所述连线可以使用芯片通信总线系统或简单的HI/LO触发接口。

在一个实施例中，参考相机接收拍摄或者从CPU 208发起视频序列的命令。参考相机在拍摄或发起序列时向所述辅相机发送同步信号，从而使得它们也可以同时拍摄或者发起视频序列。以此方式，大约同时提取了多个帧。较近的同步提高了深度测量的准确性。然而，由于不同的分辨率大小和相机集成特性，因此针对不同的相机流，处理时间可能不同，并且由于在帧的开始处进行初始同步不足以确保在捕获图像时的时间同步，所以也是如此。帧起始处的初始同步不能够提供来自所述成像管线中的任一个成像管线的帧缓冲器丢弃的回弹力。

在另一实施例中，参考相机还提供帧计数器数和同步信号，所述同步信号与所述相机的全部所连接的公共时钟信号有关。所述相机将计时同步到时钟并且将帧计数值同步到时钟值。同步逻辑则使用来自参考相机的嵌入式帧计数器以便从所述多个捕获流中挑选所述正确的匹配帧。基于帧计数器的匹配与初始帧起始同步确保了架构能够甚至为具有不同的处理等待时间的图像流提供帧同步，同时还对处理管线中的帧丢弃失败是有回弹性的。

在实施例中，使用来自全部3个相机的图像生成深度图。尽可能地对这三张图像进行同步，尽管所述深度算法的确具有轻微容差(只要运动在某种程度上受到限制)。

其他深度拍摄解决方案尚未实现捕获模式下正在并行同步的三个或更多个独立传感器帧。由在此描述的实施例所解决的设计挑战包括但不限于以下各项：用于处理这3个帧的带宽、用于进行处理的SoC(System on a Chip，片上系统)的ISP或成像管线中的端口数量、以及用于在1ms或者另一种等待时间度量上或下处理工作流的MIPI通道的数量。

在实施例中，同步帧使得能够实现更稳健的3D相机性能，同时降低来自设备移动或场景变化的对象模糊。此外，无需专门的硬件或阵列相机模块，同时允许多种设计或方式。

现有的相机传感器被利用并且与强大的计算方法进行组合以便从视差信息生成深度图。另外，所述系统校准并修正所述捕获帧，清理所述捕获帧并且在捕获之后尽可能地调整所述图像中的缺陷。可以使用现货部件，同时仍然进行高度响应的深度捕获经历。可以混合并改变传感器分辨率和帧捕获速率以便实现如所需的其他使用情况。

在此描述的用于深度相机系统的被动深度处理模型也允许增强型拍摄使用情况，包括测量、重新对焦(虚化效果)、滤波器(层)、运动效果(视差视图)和视图合成(在改变焦距的同时将相机移入并移出)。可以对所产生的深度信息进行后处理。可以在硬件级完成帧同步和帧计数，并且然后可以在照片和图像两者捕获模式下使用三个或更多个相机。

图2的硬件设计允许系统通过多路复用器218的操作在8MP相机的“深度”与“2D”相机模式之间进行切换。“2D”模式为端口0处的后置相机和端口1处的前置相机提供CPU平台的常规成像能力。“深度”模式可以被配置成用于支持预览和捕获。预览将通常来自更大的参考相机。捕获可以使用参考相机的高分辨率图像，诸如3264×1840(6Mp或8MP或更高)。立体辅相机对则用于结合参考相机提供深度。针对每个相机，所述立体对可以是较低分辨率，诸如1280×720(IMP或720p)。

系统220还可以提供双静止图像捕获操作。参考相机和辅相机可以同时捕获同一图像。取决于相机阵列，可以以不同的分辨率、格式等捕获图像，诸如利用主参考相机的8MPRAW图像以及同一场景的IMP YUV SBS副本。这可以提供对上传图像或者向其他人发送所述图像的降低的数据需求的优点。

图3是用于图2的系统220的示例软件栈的简图。软件栈建立在硬件层基础302上。内核层304建立在硬件层之上，并且用户空间306建立在所述内核层之上。所述硬件层包括参考相机310，所述参考相机耦合到接口322到图像信号处理器324到CPU 326。CPU对ISP的图形驱动器进行操作。两个辅相机312、314耦合至第二图像信号处理器或帧组合器316通过多路复用器320到接口到主图像信号处理器。主ISP通过不同的端口耦合至同一ISP图形驱动器。前置相机(未示出)也耦合至多路复用器320以便允许系统从前置相机切换至辅相机。图3的硬件配置不同于图2的硬件配置。可以作出进一步改变和修改以便适应不同的实现方式。

在内核级，通过图形驱动器的CPU 326从所述相机接收图像传感器并且将其发送至用户空间。在用户空间或应用层中，分别具有第一相机系统350和第二相机系统352。主相机系统支持编码和预览特征。所述预览特征被供应给显示器346。编码在硬件层被发送至硬件编码器340。辅相机系统支持图像处理使用以开发深度数据并支持其他应用的文件存储。最终，示出了包括硬件级图形处理器342和内核级别图形驱动器344的显示器的支持以便为显示器提供图形。还可以具有用户输入系统，诸如按钮、按键、显示器346中的触摸屏界面或者向内核层提供来自用户空间的命令的各种其他输入系统中的任何输入系统。

由于多于两个的相机用于生成更好的深度图，因此那些相机之间的帧同步可以用于提供更好的深度信息。可以基于帧计数器对所述帧进行同步。硬件连接可以用于提供帧同步能力，所述帧同步能力将针对每个相机发起帧起始，其中，主相机(8MP)驱动所述从相机(1MP)。因此，从CSI(Camera Serial Interface，相机串行接口)MIPI(来自MIPI联盟)层，完全对这两个流进行同步。

在MIPI帧到达CSI接收机时，可以丢弃帧直到所述帧被移交至应用。帧丢弃将最终使一个或多个帧不被同步。例如，在一个流中可以由CSI接收机丢弃损坏帧。在未接收到来自相机FW(Firmware，固件)的请求之后，帧可以由CSI接收机丢弃。由于缺少来自上层的SW(Software，软件)帧缓冲器，因此可以丢弃帧。由于对帧区别对待的不同软件层中的缓冲器，因此帧可以是无序的。

丢弃帧的所有这些原因可以通过使用帧计数器来解决。随着帧计数器被从相机传感器硬件传递至相机软件，解决了帧丢弃或无序的影响。基于帧计数器的同步允许从通过处理的生成来跟踪个体帧。随着帧计数器值从相机传感器硬件传递至相机软件，可以对帧丢弃或无序进行补偿。图4是计时简图，示出了帧计数器如何在一个实施例中用于同步。

图4示出了在参考相机402处发起的活动。参考相机接收用于发起并捕获帧序列的命令。这可以用于记录视频、用于捕获拍摄、或者用于在显示器上运行即时取景功能。参考相机以帧序列406开始捕获。序列406中的每个帧包括元数据407。所述元数据包括帧计数器值以及任何其他期望的信息，诸如一天的时间、相机参数等。其还向所述辅相机410发送硬件帧同步信号404。所述辅相机因而也开始捕获帧序列412。这些帧还包括元数据以及捕获图像，所述捕获图像包括除其他项外基于同步信号的帧计数。

如示出的，通过多个阶段对所述帧进行处理。所述参考相机帧在CPU的端口0 416处被接收并且被复制以用于后续处理。所述辅相机帧在CPU的端口1 418处被接收以用于复制和处理。参考相机帧还可以被发送至预览显示处理420以用于作为即时取景或者作为捕获图像预览呈现在设备显示器上。这些帧被重新配置为预览图像426。所述帧还可以被发送至捕获过程422。在此阶段，来自参考相机的捕获帧与来自辅相机的对应帧相匹配。这一组合帧428要求针对用于捕获的所述帧的全部的元数据帧计数应该匹配。

图4示出了水平方向的时间线。基于帧同步信号404对帧捕获进行同步。复制操作416、418也几乎被同步，因为在从捕获到复制的参考帧路径和辅帧路径两者中具有相似数量的操作。预览操作420引入某个延迟，并且捕获操作引入更多延迟。图4暗示了当捕获命令被施加到帧1时，正在预览帧5，并且帧6正在由所述相机捕获。帧计数器元数据允许对所述帧进行正确组合并且允许捕获帧序列406、412中的正确帧。

MIPI相机串行接口(CSI)规范2(由

联盟发布的)提供将传感器内部状态信息嵌入在待递送至MIPI主机的图片帧中的选项。可使用这一选项将传感器(诸如帧计数器)中的参数从传感器传递至MIPI主机。传感器元数据中的帧计数器的位宽不同于传感器到传感器，然而，这可以在两个相机之间对准，从而使得这两个计数器也是同步的。帧计数器可以以其他方式(包括作为元数据、作为嵌入式图像数据以及使用单独连线)被交替传递。

帧同步可以容纳在相机栈中。在一个实施例中，创建了两个相机实例，两个相机设备中的每个相机设备一个相机实例。所述相机设备中的一个相机设备是组合辅相机(在此情况下被视为单个YUV SBS设备)。另一相机设备是主相机，8MP RAW设备。如先前提及的，所述相机可以采取许多不同的形式-相同或不同的分辨率以及不同的图像输出格式。借助于这一双相机设计，这两个相机实例不需要了解彼此。在一些实施例中，这两个相机实例之间的同步和通信不是直接的。为了对此进行补偿，相机驱动器可以用作桥以便在这两个实例之间进行通信并且确定同步计时。帧ID帧听器可以用于向应用通知已经被捕获的帧的帧计数。

作为示例，应用可以开始两个线程，主要的用于主示例并且辅的用于辅相机。来自主要实例的预览流将被发送至显示器以用作取景器。辅流的缓冲器将被缓存在系统软件内部以用于后续同步。当takePicture(拍摄图片)命令被发送至主要实例时，暂停流命令也被立即发送至辅实例。这一停止调用可以从驱动器触发至应用的例如硬件抽象层中的辅相机之间的图像处理器。此后，当帧ID已经被返回至应用时，这一ID也被发送至辅实例以用于同步。应用则可以调用takePicture以便获得来自具有那个配置ID的辅实例的帧。

这种处理被示出为图5的简图中用户应用502与第一相机实例504和第二相机实例506之间的调用序列或命令。所述相机实例对应于图2的由处理器通过其接收帧的端口。图5和图6示出的过程可以被修改成用于按照不同的硬件、按照不同的硬件抽象层、按照不同的内核以及按照不同的通信标准进行操作。可以如期望的添加或移除操作和调用。此外，此处示出的一些高速操作可以是自动化的或者暗示的，并且此处未示出的且自动调用或触发的其他操作可以变得明显。

系统首先以初始化开始。可以具有各种不同的命令来初始化拍摄或视频模式。在此示例中，应用设置使用双相机输入的深度模式512。这种消息可以转到主相机实例或者这两种相机实例。应用还设置帧计数标识值514的帧听器。应用还设置预览模式。

初始化之后，可以使用预览或及时取景模式，在所述预览或及时取景模式中，来自主相机的图像版本被显示在设备的主屏幕上。应用向这两个实例发送开始预览命令520、522。在每个实例接收到的帧则可以由应用捕获并使用。在此示例中，建立了环路，在所述环路中，来自主要实例的帧在显示器被渲染524，而来自辅实例的帧被缓冲526以供如果捕获所述帧之一时使用。

借助于预览操作，拍摄照片命令可以由设备的用户或者由任何其他期望情境发起。可以响应于环境触发器、计时器、远程消息等而进行拍摄照片。在所展示的示例中，其以用于次要实例的拍摄照片命令528开始。如以上提及的，主相机与辅相机已经对帧捕获和帧计数进行了同步，从而使得526处的全部缓冲帧具有指示帧数的元数据，所述帧数与主相机的帧数一致。

当takePicture命令530被发送至主要实例时，暂停流命令532也被立即发送至辅实例。主要实例响应于拍摄照片命令而将与拍摄照片相对应的帧ID返回534至应用。返回的ID被发送536至辅实例以用于同步。应用则可以向辅实例发送takePicture调用以便从辅实例获得相应的缓冲帧。从第一实例540和第二实例542接收适当的帧。这允许系统返回到预览模式544。

图6类似地示出了应用602与主相机实例604和辅相机实例606之间的调用。这些调用示出了仅使用主要实例的2D捕获610、深度开关612(在其中，系统从2D模式变化到3D模式)以及然后的2D开关614(在其中，系统变化回到2D模式)。如上所述，这些模式变化与图2的多路复用器212的状态变化相关联。图6示出了所处理器的状态变化。

针对2D捕获模式610，应用设置620主要实例的参数并且开始622预览模式。如上所述，主要实例在显示器624上供应相应的帧流并且等待拍摄照片命令。注意的是，针对2D捕获，不需要辅相机。在一些实例中，所述辅相机可以仍然用于除深度之外的某个目的。

从2D模式610到深度模式的切换612以从应用到主要实例的停止预览命令626开始。由于辅实例不活跃，因此不存在到辅实例的命令。应用则设置628双相机模式和深度模式。这些设置可以发送至一个实例628或者两个实例630。设置632帧id帧听器，并且如在此所述的执行图5的上下文中描述的各种命令和回复。

针对从3D深度612返回至2D 614的切换，操作可以再次通过停止预览模式640来开始。这一信号被发送至实例640、641两者。应用则在644处将双相机模式设置为正常。这关闭了来自辅实例和主要实例的流，并且应用则如前讨论的进行操作。

具有各种不同的方式，以所述方式，可以使用以上描述的系统及其变体。在一个示例中，系统为用户提供在3D拍摄模式与2D拍摄模式之间进行选择的能力。当在深度拍摄模式时，面向外相机是活跃的并且捕获图像将导致JPEG和视差图。取决于特定实现方式，在这种模式(诸如HDR)下可能不支持一些平台特征。当在2D拍摄模式时，仅主相机将是活跃的，将不能捕获深度图，并且所有的平台成像特征将得到支持。

在另一示例中，所述相机可以用于测量照片中的两点之间的距离。设备捕获具有相机阵列的照片并且然后选择所述照片上的两点。用户被给予所述照片上有关这两个选择的点之间的距离的信息。

在另一示例中，可以共享具有测量信息的照片。在利用相机阵列拍摄照片并且测量信息被确定之后，用户可以选择共享具有测量信息的照片。将图像“扁平化”为JPEG并且通过使用(已经给出了其共享意图的)应用的图库进行共享。

在另一示例中，图库应用可以提供选择性滤波。用户在区域中选择图像并且将滤波器施加到所述图像。滤波器的示例可能是模糊的或者黑色和白色。

在另一示例中，共享具有选择性滤波器的照片。首先对图像进行滤波，然后将图像“扁平化”为JPEG并且通过使用(已经给出了其共享意图的)应用的图库进行共享。

在另一示例中，原始JPEG与深度信息共享。用户可以能够通过使用(已经向设备操作系统给出了其共享意图的)应用的图库与深度图共享原始捕获的JPEG。

在另一示例中，图库可以与移动图像应用一起使用。用户可以将视差效果或者任何其他期望的效果添加至图像，在所述图像中，不同距离处的对象以不同的速率平移和缩放。基于对来自阵列的所述多个相机的图像进行比较，通过视差信息来确定所述不同的距离。

在另一示例中，用户可以共享移动图像。当用户选择共享移动图像时，动画GIF(Graphics Interchange Format，图形互换格式)或视频可以被产生并且通过使用(已经给出了其共享意图的)应用的图库进行共享。

图7展示了根据一种实现方式的计算设备100。计算设备100容纳系统板2。所述板2可以包括多个组件，包括但不限于处理器4和至少一个通信封装体6。通信封装体耦合到一个或多个天线16。处理器4物理地和电学地耦合到板2。

根据其应用，计算设备100可以包括可以或可以不物理地和电学地耦合到板2的其他组件。这些其他组件包括但不限于易失性存储器(例如DRAM)8、非易失性存储器(例如ROM)9，闪存(未示出)、图形处理器12、数字信号处理器(未示出)、密码处理器(未示出)、芯片组14、天线16、诸如触摸屏显示器的显示器18、触摸屏控制器20、电池22、音频编解码器(未示出)、视频编解码器(未示出)、功率放大器24、全球定位系统(GPS)设备26、罗盘28、加速度计(未示出)、陀螺仪(未示出)、扬声器30、照相机32、麦克风阵列34、和大容量存储设备(诸如硬盘驱动)10，光盘(CD)(未示出)、数字通用盘(DVD)(未示出)等等)。这些组件可以连接到系统板2、安装到系统板或与任何其他组件组合。

通信封装体6使得向和从计算设备100传递数据的无线和/或有线通信成为可能。术语“无线”及其派生词可以用于描述可以通过使用通过非固体介质的经调制的电磁辐射来传达数据的电路、设备、系统、方法、技术、通信信道等。所述术语并不意味着相关联的设备不包含任何导线，尽管在一些实施例中它们可能不包括。通信封装体6可以实现多种无线或有线标准或协议中的任何一种，包括但不限于Wi-Fi(IEEE 802.11家族)、WiMAX(IEEE802.16家族)、IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、其以太网衍生物以及被指定为3G、4G、5G及以上的任何其它无线和有线协议。计算设备100可以包括多个通信封装体6。例如，第一通信封装体6可以专用于诸如Wi-Fi和蓝牙的较短程无线通信，并且第二通信封装体6可以专用于较长程无线通信，诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO、以及其他。

在各种实现中，计算设备100可以是膝上型计算机、上网本、笔记本、超极本、智能电话、可穿戴设备、平板计算机、个人数字助理(PDA)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数字相机、便携式音乐播放器、或数字视频记录器。所述计算设备可以是固定的、便携式的、或可穿戴的。在进一步实现方式中，计算设备100可以是对数据进行处理的任何其他电子设备。

实施例可以使用相机32以及处理器4、36和可以或可以不示出的任何其他期望的部件来实现，包括使用母板、专用集成电路(ASIC)、和/或现场可可编程门阵列(FPGA)互连的一个或多个存储器芯片、控制器、CPU(中央处理单元)、微芯片或集成电路。

对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等的引用表明这样描述的(多个)实施例可以包括具体特征、结构、或特性，但并不是每个实施例必定包括所述具体特征、结构、或特性。进一步，某些实施例可具有针对其他实施例所描述的特征的一部分、全部、或不具有任何所述特征。

在以下说明书和权利要求书中，可以使用术语“耦合”及其衍生词。“耦合”用于指示两个或更多个元件彼此协作或相互作用，但是它们之间可以具有或不具有中间物理或电学组件。

如权利要求书中所使用的，除非另有说明，使用序数形容词“第一”、“第二”、“第三”等来描述公共元素仅仅指示相同元素的不同实例被提及，并且不旨在暗示如此描述的元件必须在或者时间上、空间上、排名上、或以任何其它方式处于给定序列中。

附图和前述描述给出了实施例的示例。本领域技术人员将理解，所描述的元件中的一个或多个可以被良好地组合成单个功能元件。可替代地，某些元件可以分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如，本文描述的过程的顺序可以改变并且不限于本文所述的方式。而且，任何流程图的所述动作无需以示出的顺序被实现；也不一定必须执行所述动作的全部。此外，不依赖于其他动作的那些动作可以与其他动作并行地执行。实施例的范围决不限于这些特定示例。无论是否在说明书中明确给出，诸如材料的结构、尺寸和使用上的差异的许多变化都是可能的。实施例的范围至少与所附权利要求给出的一样宽。

下面的示例涉及进一步的实施例。不同实施例的各种特征可以与包括的一些特征和排除的其他特征进行各种组合以适应各种不同的应用。一些实施例涉及一种成像设备，所述成像设备具有：主相机，所述主相机用于捕获场景的图像；辅相机，所述辅相机用于捕获同一场景的图像；第三相机，所述第三相机用于捕获第二场景的图像；处理器，所述处理器具有耦合至所述主相机以便从所述主相机接收图像的第一端口以及用于接收图像的第二端口；以及多路复用器，所述多路复用器耦合至所述辅相机和所述第三相机，以便接收所述捕获的图像并且交替地将所述辅相机或所述第三相机耦合至所述处理器的所述第二端口。

进一步实施例包括第二辅相机和图像处理器，其中，所述第一辅相机和所述第二辅相机耦合至所述图像处理器，所述图像处理器用于从所述辅相机接收图像并且将所述图像组合成单个图像格式，其中，所述图像处理器耦合至所述多路复用器以便向待耦合至所述处理器的所述多路复用器提供所述组合的图像。

在进一步实施例中，所述主相机通过主相机管线耦合至所述处理器，其中，所述第一辅相机和所述第二辅相机耦合至单个辅相机管线，并且其中，所述处理器接收所述主相机管线和所述辅相机管线以便使用来自所述辅相机管线的图像帧来确定主相机帧中的深度。

在进一步实施例中，所述主相机使用同步信号对所述辅相机的所述帧进行同步。

在进一步实施例中，所述辅相机向每个捕获的帧添加帧计数，所述帧计数被同步到所述主相机的帧计数。

在进一步实施例中，所述帧计数被添加至对应帧的元数据中，并且其中，所述处理器使用所述帧计数来处理所述帧。

进一步实施例包括相机栈，所述相机栈用于支持元数据处理，所述相机栈具有耦合至所述相机的缓冲器和驱动器，其中，所述元数据包括所述主相机和所述辅相机的同步帧计数。

一些实施例涉及一种方法，所述方法包括：在处理器的第一端口处从主图像传感器接收场景的主图像；在多路复用器处从第一辅图像传感器和第二辅图像传感器接收所述场景的第一辅图像和第二辅图像并且在所述多路复用器处将所述第一辅图像和所述第二辅图像组合成组合的辅图像；以及在所述处理器的第二端口处接收所述组合的辅图像以便利用所述主图像进行图像处理。

在进一步实施例中，图像处理包括：由所述处理器使用所述辅图像来确定所述主图像中的点的深度。

进一步实施例包括：由所述主图像传感器向所述主图像附加帧计数；由所述辅图像传感器向所述辅图像附加帧计数，其中，接收所述主图像以及接收所述组合辅图像包括：接收对应的帧计数，并且其中，所述图像处理器对所述图像进行同步。

在进一步实施例中，第三相机耦合至所述多路复用器，所述方法进一步包括：切换所述多路复用器以便向所述第二端口提供所述组合的图像或者向所述第二端口提供来自所述第三相机的图像。

在进一步实施例中，利用所述组合的辅图像进行的图像处理包括深度处理，并且其中，利用所述第三相机的图像进行的图像处理包括无深度处理的图像捕获。

进一步实施例包括：接收用于使用所述辅图像来交替地确定或不确定所述主图像的深度的用户命令；响应于所述命令而切换所述多路复用器；以及响应于所述命令而在深度处理模式与第三相机图像显示模式之间改变所述图像处理。

进一步实施例包括在屏幕上向用户示出所述主图像的预览。

进一步实施例包括：向所述主图像传感器发送拍摄照片命令，并且其中，所述主图像传感器响应于所述拍摄照片命令而向所述辅图像传感器发送同步信号。

一些实施例涉及一种便携式设备，所述便携式设备包括：显示器；用户接口；所述设备的第一表面；所述第一表面上的多个相机，每一个相机都具有用于产生图像的图像传感器，所述多个相机包括主相机以及至少一个辅相机，所述多个相机各自被配置成用于捕获单个场景的图像；第三相机；处理器，所述处理器具有耦合至所述主相机以便从所述主相机接收图像的第一端口以及用于接收图像的第二端口；以及多路复用器，所述多路复用器耦合至所述辅相机并耦合至所述第三相机，以便接收所述捕获的图像并且交替地将所述辅相机或所述第三相机耦合至所述处理器的所述第二端口。

进一步实施例包括：主相机管线，所述主相机管线耦合至所述主相机并且耦合至所述处理器的所述第一端口；以及辅相机管线，所述辅相机管线包括所述多路复用器，所述多路复用器耦合至所述辅相机、耦合至所述第三相机并耦合至所述处理器的所述第二端口，其中，所述处理器接收所述主相机管线和所述辅相机管线以便使用来自所述辅相机管线的图像来确定主相机图像中的深度。

在进一步实施例中，所述至少一个第二相机包括在所述第一表面上的两个辅相机，其中，来自所述辅相机的图像具有帧计数，并且其中，所述多路复用器使用所述帧计数将来自所述两个辅相机中的每个辅相机的图像组合成单个组合的图像，并且向所述处理器的所述第二端口提供所述组合的图像。

进一步实施例包括应用，所述应用用于接收用户命令并且用于将所述设备设置为2D模式或深度模式，其中，为了切换至所述深度模式，所述应用将所述辅相机设置为活动状态并且设置所述多路复用器以将所述第二相机连接至所述处理器。

在进一步实施例中，其中，所述应用通过以下方式来切换至第三相机模式：向所述第二相机发送暂停流命令；将所述第三相机设置为活动的；设置所述多路复用器以将所述第三相机连接至所述处理器；以及在所述显示器上示出来自所述第三相机的流。

Claims (29)

1.一种成像设备，包括：

主相机，所述主相机用于捕获场景的图像，所述主相机具有帧同步信号线；

辅相机，所述辅相机用于捕获同一场景的图像，所述辅相机耦合至所述帧同步信号线以捕获与所述主相机同步的图像；

第三相机，所述第三相机用于不与所述主相机同步而捕获第二场景的图像；

处理器，所述处理器具有多个相机端口，所述端口包括仅耦合至所述主相机以便从所述主相机接收图像的第一端口以及被配置成用于耦合至另一相机以便从所述另一相机接收图像的第二端口；以及

多路复用器，所述多路复用器在输出侧仅耦合至所述处理器的所述第二端口并且在输入侧耦合至所述辅相机并且耦合至所述第三相机，以便接收所述辅相机和所述第三相机所捕获的图像并且可切换地或者将所述辅相机耦合至所述处理器的所述第二端口以用于同一场景的同步捕获、或者将所述第三相机耦合至所述处理器的所述第二端口以用于捕获第二场景。

2.如权利要求1所述的设备，进一步包括图像处理器，并且其中所述辅相机包括第一辅相机和第二辅相机，其中，所述第一辅相机和所述第二辅相机耦合至所述图像处理器，所述图像处理器用于从所述第一辅相机和所述第二辅相机接收图像并且将所述图像组合成单个图像格式，其中，所述图像处理器耦合至所述多路复用器以便向待耦合至所述处理器的所述多路复用器提供所述组合的图像。

3.如权利要求2所述的设备，其中，所述主相机通过主相机管线耦合至所述处理器，其中，所述第一辅相机和所述第二辅相机耦合至单个辅相机管线，并且其中，所述处理器接收所述主相机管线和所述辅相机管线以便使用来自所述辅相机管线的图像帧来确定主相机帧中的深度。

4.如以上权利要求中任一项所述的设备，其中，所述主相机使用同步信号对所述辅相机的帧进行同步。

5.如权利要求4所述的设备，其中，所述辅相机向每个捕获的帧添加帧计数，所述帧计数被同步到所述主相机的帧计数。

6.如权利要求5所述的设备，其中，所述帧计数被添加至对应帧的元数据中，并且其中，所述处理器使用所述帧计数来处理所述帧。

7.如权利要求1所述的设备，进一步包括相机栈，所述相机栈用于支持元数据处理，所述相机栈具有耦合至所述相机的缓冲器和驱动器，其中，所述元数据包括所述主相机和所述辅相机的同步帧计数。

8.一种方法，包括：

在处理器的第一端口处从主图像传感器接收场景的主图像，所述第一端口仅耦合至所述主图像传感器；

在组合器处从第一辅图像传感器和第二辅图像传感器接收所述场景的第一辅图像和第二辅图像，所述第一辅图像和所述第二辅图像与所述主图像帧同步，并且通过将所述第一辅图像和所述第二辅图像并排置于所述组合器处而将所述第一辅图像和所述第二辅图像组合成组合的辅图像；以及

在所述处理器的第二端口处接收所述组合的辅图像以便利用所述主图像进行图像处理，所述第二端口通过多路复用器耦合至所述组合器，所述处理器具有数量比图像传感器的数量少的端口。

9.如权利要求8所述的方法，其中，图像处理包括：由所述处理器使用所述辅图像来确定在所述主图像中的点的深度。

10.如权利要求8或9所述的方法，进一步包括：由所述主图像传感器向所述主图像附加帧计数；由所述辅图像传感器向所述辅图像附加帧计数，其中，接收所述主图像以及接收所述组合辅图像包括：接收对应的帧计数，并且其中，所述图像处理器对所述图像进行同步。

11.如权利要求8或9所述的方法，其中，第三相机耦合至所述多路复用器，所述方法进一步包括：切换所述多路复用器以便向所述第二端口提供所述组合的图像或者向所述第二端口提供来自所述第三相机的图像。

12.如权利要求11所述的方法，其中，利用所述组合的辅图像进行的图像处理包括深度处理，并且其中，利用所述第三相机的图像进行的图像处理包括无深度处理的图像捕获。

13.如权利要求11所述的方法，进一步包括：接收用户命令，所述用户命令用于可切换地使用所述辅图像来确定所述主图像的深度、或者不确定所述主图像的深度并且不使用所述辅图像；响应于所述命令而切换所述多路复用器；以及响应于所述命令而在深度处理模式与第三相机图像显示模式之间改变所述图像处理。

14.如权利要求8所述的方法，进一步包括：在屏幕上向用户示出所述主图像的预览。

15.如权利要求14所述的方法，进一步包括：向所述主图像传感器发送拍摄照片命令，并且其中，所述主图像传感器响应于所述拍摄照片命令而向所述辅图像传感器发送同步信号。

16.一种便携式设备，包括：

显示器；

用户接口；

所述设备的第一表面；

所述第一表面上的多个相机，每一个相机都具有用于产生图像的图像传感器，所述多个相机包括具有帧同步信号线的主相机以及至少一个辅相机，所述多个相机各自被配置成用于捕获单个场景的图像，所述辅相机耦合至所述帧同步信号线以捕获与所述主相机同步的图像；

第三相机；

处理器，所述处理器具有多个相机端口，所述端口包括仅耦合至所述主相机以便从所述主相机接收所述场景的图像的第一端口以及被配置成用于耦合至另一相机以便从所述另一相机接收图像的第二端口；以及

多路复用器，所述多路复用器在输出侧仅耦合至所述处理器的所述第二端口并且在输入侧耦合至所述辅相机并且耦合至所述第三相机，以便接收所述捕获的图像并且可切换地或者将所述辅相机耦合至所述处理器的所述第二端口以用于同一场景的同步捕获、或者将所述第三相机耦合至所述处理器的所述第二端口以用于捕获第二场景。

17.如权利要求16所述的设备，进一步包括：

主相机管线，所述主相机管线耦合至所述主相机并且耦合至所述处理器的所述第一端口；以及

辅相机管线，所述辅相机管线包括所述多路复用器，所述多路复用器耦合至所述辅相机、耦合至所述第三相机并且耦合至所述处理器，

其中，所述处理器接收所述主相机管线和所述辅相机管线以便使用来自所述辅相机管线的图像来确定主相机图像中的深度。

18.如权利要求16或17所述的设备，其中，至少一个第二相机包括在所述第一表面上的两个辅相机，其中，来自所述辅相机的图像具有帧计数，并且其中，所述处理器使用所述帧计数将来自所述两个辅相机中的每一个辅相机的图像组合成单个组合的图像，并且经由所述多路复用器向所述处理器的所述第二端口提供所述组合的图像。

19.如权利要求18所述的设备，进一步包括应用，所述应用用于接收用户命令并且用于将所述设备设置为2D模式或深度模式，其中，为了切换至所述深度模式，所述应用将所述辅相机设置为活动状态并且设置所述多路复用器以将第二相机连接至所述处理器。

20.如权利要求19所述的设备，其中，所述应用通过以下方式来切换至第三相机模式：向所述第二相机发送暂停流命令；将所述第三相机设置为活动的；设置所述多路复用器以将所述第三相机连接至所述处理器；以及在所述显示器上示出来自所述第三相机的流。

21.一种机器可读介质，包括存储在所述机器可读介质上的多条指令，所述多条指令当被执行时使计算设备执行如权利要求8-15中任一项所述的方法。

22.一种设备，包括：

用于在处理器的第一端口处从主图像传感器接收场景的主图像的装置，所述第一端口仅耦合至所述主图像传感器；

用于在组合器处从第一辅图像传感器和第二辅图像传感器接收所述场景的第一辅图像和第二辅图像，所述第一辅图像和所述第二辅图像与所述主图像帧同步，并且通过将所述第一辅图像和所述第二辅图像并排置于所述组合器处而将所述第一辅图像和所述第二辅图像组合成组合的辅图像的装置；以及

用于在所述处理器的第二端口处接收所述组合的辅图像以便利用所述主图像进行图像处理的装置，所述第二端口通过多路复用器耦合至所述组合器，所述处理器具有数量比图像传感器的数量少的端口。

23.如权利要求22所述的设备，其中，图像处理包括：由所述处理器使用所述辅图像来确定在所述主图像中的点的深度。

24.如权利要求22或23所述的设备，进一步包括：用于由所述主图像传感器向所述主图像附加帧计数的装置；用于由所述辅图像传感器向所述辅图像附加帧计数的装置，其中，用于接收所述主图像的装置以及用于接收所述组合辅图像的装置包括：用于接收对应的帧计数的装置，并且其中，所述图像处理器对所述图像进行同步。

25.如权利要求22或23所述的设备，其中，第三相机耦合至所述多路复用器，所述设备进一步包括：用于切换所述多路复用器以便向所述第二端口提供所述组合的图像或者向所述第二端口提供来自所述第三相机的图像的装置。

26.如权利要求25所述的设备，其中，利用所述组合的辅图像进行的图像处理包括深度处理，并且其中，利用所述第三相机的图像进行的图像处理包括无深度处理的图像捕获。

27.如权利要求25所述的设备，进一步包括：用于接收用户命令的装置，所述用户命令用于可切换地使用所述辅图像来确定所述主图像的深度、或者不确定所述主图像的深度并且不使用所述辅图像；用于响应于所述命令而切换所述多路复用器的装置；以及用于响应于所述命令而在深度处理模式与第三相机图像显示模式之间改变所述图像处理的装置。

28.如权利要求22所述的设备，进一步包括：用于在屏幕上向用户示出所述主图像的预览的装置。

29.如权利要求28所述的设备，进一步包括：用于向所述主图像传感器发送拍摄照片命令的装置，并且其中，所述主图像传感器响应于所述拍摄照片命令而向所述辅图像传感器发送同步信号。

Images