CN102257531A

CN102257531A - 高动态范围图像组合

Info

Publication number: CN102257531A
Application number: CN2009801513064A
Authority: CN
Inventors: 卡林·M·阿塔纳索夫; 鲁宾·M·贝拉尔德; 李向川; 黄豪
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2008-12-19
Filing date: 2009-12-18
Publication date: 2011-11-23
Anticipated expiration: 2029-12-18
Also published as: US8339475B2; CN102257531B; JP2012513172A; JP5254466B2; TW201102967A; KR20110105831A; EP2368226B1; US20100157078A1; KR101365369B1; EP2368226A1; WO2010071839A1

Abstract

本发明揭示高动态范围图像组合的系统和方法。在特定实施例中，一种装置包括：全域映射模块，其经配置以在图像的区域内产生第一经全域映射的亮度值；局域映射模块，其经配置以在所述图像的所述区域内产生第二经局域映射的亮度值；以及组合模块，其经配置以使用所述第一经全域映射的亮度值和所述第二经局域映射的亮度值的加权总和来确定输出图像的对应区域内的亮度值。所述加权总和的权重至少部分地基于所述图像的所述区域内的亮度变化。

Description

高动态范围图像组合

技术领域

本发明大体来说涉及高动态范围图像组合。

背景技术

技术的进步已产生更小且更强大的计算装置。举例来说，当前存在各种便携式个人计算装置，包括无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小、重量轻且易于由用户携带。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传送语音和数据包。此外，许多此类无线电话包括并入于其中的其它类型的装置。举例来说，无线电话还可包括数字静态相机、数字视频相机、数字记录器和音频文件播放器。并且，此类无线电话可处理包括可用于接入因特网的软件应用程序(例如，网络浏览器应用程序)的可执行指令。因此，这些无线电话可包括显著的计算能力。

数字信号处理器(DSP)、图像处理器和其它处理装置被频繁地用于包括数码相机或显示由数码相机俘获的图像或视频数据的便携式个人计算装置中。此类处理装置可用以提供视频和音频功能、处理所接收的数据(例如，所俘获的图像数据)或执行其它功能。

由数码相机俘获的图像数据或视频数据的动态范围指示可被正确解析的最高亮度级(light level)与最低亮度级之间的比率。图像的动态范围可随图像的曝光时间而变化。可使用两个不同曝光时间俘获图像且可组合所得若干组图像数据以产生高动态范围(HDR)图像。虽然所得HDR图像可归因于具有不同曝光时间的不同图像的组合而提供增强的对比度，但许多显示器或数据传送标准不支持所得HDR图像的增加的数据要求。

发明内容

在特定实施例中，揭示一种方法，所述方法包括从图像传感器接收第一图像数据。所述第一图像数据是使用第一曝光时间而产生。所述方法包括从所述图像传感器接收第二图像数据，所述第二图像数据使用大于所述第一曝光时间的第二曝光时间而产生。所述方法包括基于所述第二曝光时间与所述第一曝光时间的比率按比例调整所述第一图像数据的亮度值以产生经按比例调整的第一图像数据。所述方法还包括基于所述经按比例调整的第一图像数据的第一有效动态范围与所述第二图像数据的第二有效动态范围之间的重叠来选择性组合所述经按比例调整的第一图像数据与所述第二图像数据以产生高动态范围(HDR)图像。所述方法还包括产生色调映射以压缩所述HDR图像的动态范围。产生所述色调映射包括基于所述HDR图像的每一像素的邻域内的亮度变化而确定全域色调映射值与局域色调映射值的逐像素加权。所述方法进一步包括提供具有所述HDR图像的经压缩的动态范围的色调映射的图像以显示于显示装置处。

在另一实施例中，揭示一种方法，所述方法包括基于第一图像数据的亮度分布而调整第一图像数据的第一亮度值以产生第二图像数据。所述方法还包括基于所述第二图像数据的区域的局域亮度分布而调整所述第二图像数据的所述区域的第二亮度值以产生经局域调整的图像数据。所述方法进一步包括产生具有比所述第一图像数据小的动态范围的第三图像数据。对应于所述第二图像数据的所述区域的所述第三图像数据的亮度值通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述区域内的所述第二图像数据来确定。

在另一实施例中，揭示一种无线装置，所述无线装置包括处理器和可由所述处理器存取的存储器。所述无线装置还包括相机和显示装置。所述处理器经配置以基于图像数据的多个像素中的每一特定像素的邻域内的亮度变化而产生包括所述特定像素的经色调映射的像素值的经色调映射的图像数据。所述图像数据对应于所述相机处所俘获的图像。所述处理器还经配置以提供所述经色调映射的图像数据以显示于所述显示装置处。

在另一实施例中，揭示一种设备，所述设备包括用于基于图像数据的多个像素中的每一特定像素的邻域内的亮度变化而产生包括所述特定像素的经色调映射的像素值的经色调映射的图像数据的装置。所述图像数据对应于相机处所俘获的图像。所述设备还包括用于提供所述经色调映射的图像数据以用于显示的装置。

在另一实施例中，揭示一种装置，所述装置包括全域映射模块，其经配置以在图像的区域内产生第一经全域映射的亮度值。所述装置还包括局域映射模块，其经配置以在所述图像的所述区域内产生第二经局域映射的亮度值。所述装置进一步包括组合模块，其经配置以使用所述第一经全域映射的亮度值和所述第二经局域映射的亮度值的加权总和而确定在输出图像的对应区域内的亮度值。所述加权总和的权重至少部分地基于所述图像的所述区域内的亮度变化。

在另一实施例中，揭示一种计算机可读媒体，其包括在执行时致使处理器接收第一图像数据并基于所述第一图像数据的亮度分布而产生第二图像数据的可执行指令。所述可执行指令在执行时致使所述处理器基于所述第二图像数据的区域内的局域亮度分布而产生经局域调整的图像数据并产生具有比所述第一图像数据小的动态范围的第三图像数据。对应于所述第二图像数据的所述区域的所述第三图像数据的区域的亮度值通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述第二图像数据来确定。

由高动态范围图像组合的实施例提供的一个特定优点为与较低动态范围图像传送和显示机制兼容的增强的对比度的图像。

在审阅包括以下部分的整个申请案之后，本发明的其它方面、优点和特征将变得显而易见：附图说明、具体实施方式和权利要求书。

附图说明

图1为包括图像处理系统的系统的特定说明性实施例的框图，所述图像处理系统具有高动态范围(HDR)组合模块和HDR压缩模块；

图2为高动态范围图像组合系统的第一说明性实施例的框图；

图3为高动态范围图像组合系统的第二说明性实施例的框图；

图4为高动态范围图像组合系统的第三说明性实施例的框图；

图5为图像配准和组合系统的框图；

图6为组合图像以产生高动态范围图像的说明性实施例的总图；

图7为压缩高动态范围图像数据的方法的说明性实施例的流程图；

图8为高动态范围图像组合的方法的第一说明性实施例的流程图；

图9为高动态范围图像组合的方法的第二说明性实施例的流程图；

图10为高动态范围图像组合的方法的第三说明性实施例的流程图；

图11为包括高动态范围组合模块的装置的特定实施例的框图；以及

图12为包括高动态范围组合模块的无线通信装置的框图。

具体实施方式

图1为包括图像处理系统的系统的特定说明性实施例的框图，所述图像处理系统具有高动态范围(HDR)组合模块和使用局域和全域映射的HDR压缩模块。所述系统100包括图像俘获装置101，其耦合到图像处理系统130。所述图像处理系统130耦合到图像存储装置140和显示装置170。所述图像处理系统130经配置以从所述图像俘获装置101接收使用不同曝光时间的多组图像数据109并产生与低动态范围(LDR)传送、存储和显示机制兼容的HDR图像。大体来说，所述系统100可实施于经配置以使用相对有限的处理资源执行实时图像处理的电子装置中。

在特定实施例中，所述图像俘获装置101为相机，例如，视频相机或静态相机。所述图像俘获装置101包括透镜102，其对聚焦模块104和曝光模块106作出响应。传感器108经耦合以经由所述透镜102接收光并响应于经由所述透镜102接收的图像而产生所述图像数据109。所述聚焦模块104可对所述传感器108作出响应且可适于自动地控制所述透镜102的聚焦。所述曝光模块106也可对传感器108作出响应且可适于控制图像的曝光并变化待组合成HDR图像的多个图像的曝光。在特定实施例中，所述传感器108包括经布置以使得相邻检测器检测光的不同颜色的多个检测器或像素井(pixelwell)。举例来说，所接收的光可经滤光以使得每一检测器接收红色、绿色或蓝色入射光。

所述图像俘获装置101经耦合以将所述图像数据109提供到所述图像处理系统130。所述图像处理系统130包括解马赛克模块110，其用以对从所述传感器108接收的图像数据109执行解马赛克操作。颜色和伽玛校正模块112经配置以对经解马赛克的图像数据执行颜色校正并产生经伽玛校正的图像数据。颜色转换模块114经耦合以对经伽玛校正的图像数据执行颜色空间转换。

所述图像处理系统130还包括高动态范围(HDR)组合模块116以及使用局域和全域映射的HDR压缩模块118。所述HDR组合模块116经配置以组合使用缩短的曝光时间俘获的第一低动态范围图像160与使用较长曝光时间俘获的第二低动态范围图像162。所述低动态范围(LDR)图像160和162经组合以形成高动态范围图像164。所述使用局域和全域映射的HDR压缩模块118经配置以将所述高动态范围图像164压缩到与传送层(例如，联合照相专家组(JPEG)编码)或显示装置(例如，显示装置170)兼容的位范围。关于图2到图10来描述HDR组合以及使用局域和全域映射的HDR压缩的说明性实施例。

压缩和存储模块120经耦合以接收所述HDR压缩模块118的输出并将输出数据作为经压缩的HDR文件166存储于所述图像存储装置140处。举例来说，所述压缩和存储模块120可经配置以使用JPEG编码来编码所述HDR压缩模块118的待存储的输出。所述图像存储装置140可包括任何类型的存储媒体，例如，一个或一个以上显示缓冲器、寄存器、高速缓冲存储器、快闪存储器元件、硬盘、任何其它存储装置，或其任何组合。所述图像存储装置140可由所述显示装置170存取以使得所述经压缩的HDR文件166可被检索到以作为HDR图像168显示于所述显示装置170处。

在操作期间，所述系统100可执行代表性图像150的至少两个图像俘获操作。所述图像150包括亮区域(被说明为太阳)以及暗区域(被说明为树荫)。所述低动态范围图像160可包括响应于缩短的曝光时间而在所述传感器108处俘获的图像数据。所述缩短的曝光时间可使传感器108能够俘获图像150的较亮区域内的细节。举例来说，所述缩短的曝光时间可防止太阳的区域中的传感器像素的饱和，结果可能未俘获到较暗区域(例如，树荫)的细节。另一方面，第二低动态范围图像162可包括由传感器108以较长曝光时间(例如，图像160的曝光时间的两倍)俘获的图像数据。所述较长曝光时间使传感器108能够俘获图像150的较暗部分的细节但致使在亮区域附近的传感器108的像素饱和。

因此，第一LDR图像160可提供亮区域而非较暗区域间的对比度，而第二LDR图像162可提供较暗区域中的对比度，但亮区域可显得模糊或不清楚。通过组合低动态范围图像160与162以产生高动态范围图像164，图像处理系统130使图像数据能够包括在太阳周围的亮区域中以及在树荫周围的较暗区域中的细节。然而，所得HDR图像164可实质上需要比可由传送层(例如，JPEG层)或由显示装置(例如，显示装置170)支持的信息多的信息。举例来说，在低动态范围图像160和162两者可将像素亮度值表示为8位值(例如，具有0到255的范围)的情形下，HDR图像164可使用(例如)16位值表示像素亮度值以提供0到65,535的范围。然而，显示装置170可能仅支持每一像素8位亮度值。因此，HDR图像164的16位亮度值压缩到8位值以便可在显示装置170处显示。

HDR压缩模块118使用局域色调映射和全域色调映射两者来压缩HDR图像164。举例来说，全域色调映射可用于基于整个HDR图像164上的亮度值的分布而将高动态范围图像的大数目的亮度值减小到较小数目的亮度值。然而，全域色调映射在HDR图像164的任何特定区域中可能为次佳的。举例来说，全域色调映射可能不向在太阳周围的亮区域和在树的底部处的树荫区域两者提供足够大的动态范围。另一方面，局域色调映射可逻辑上将高动态范围图像划分成多个区域并逐区域地将像素亮度值选择性地映射到减小的范围的亮度值。因此，局域色调映射可实现动态范围较局域有效地映射到减小的范围的亮度值但可导致跨越图像的多个区域的均一性的损失。

HDR压缩模块118可基于所接收的HDR图像数据执行全域色调映射以及局域色调映射并逐像素地选择局域色调映射、全域色调映射或局域色调映射与全域色调映射的经加权的组合。举例来说，当考虑中的像素在高亮度值变化的区域中时，HDR压缩模块118可选择较大加权的局域映射以在所述像素的区域中提供较大动态范围的亮度值。相比来说，在特定像素的邻域中不存在大量亮度变化的情形下，HDR压缩模块118可选择较大加权的全域色调映射以实现整个图像中的较大均一性。

通过组合使用不同曝光值的所述一个或一个以上低动态范围图像160、162且接着使用局域和全域色调映射两者压缩所得HDR图像164，系统100实现图像产生，此在所关注的区域中提供实际上较大的动态范围，同时保持与较低动态范围技术的兼容性。此外，通过选择性地组合经局域色调映射的像素值与经全域色调映射的像素值以将HDR图像164压缩到较小范围的亮度值，可基于特定图像特性选择适当映射技术或若干映射技术的混合形式，且映射技术的选择可随图像特性变化而在整个图像中变化。

虽然在图1中所说明的特定实施例中，图像俘获装置102被说明为具有单一传感器108，但在其它实施例中，图像俘获装置102可具有多个传感器。举例来说，图像俘获装置102可具有两个或两个以上传感器，所述两个或两个以上传感器经配置以使用不同曝光设定来执行特定场景的多个同时图像俘获，以提供LDR图像160和162。在具有多个传感器的实施例中，所述传感器不需要为相同的且替代地可具有不同性质。

参看图2，描绘高动态范围(HDR)图像组合系统的第一说明性实施例且大体以200表示所述系统。系统200包括图像配准(registration)模块202、图像按比例调整模块204、图像组合模块206和加权函数208。系统200组合第一图像数据212与第二图像数据214以产生HDR图像数据216。在说明性实施例中，系统200可包括于图1的HDR组合模块116中。

第一图像数据212可包括图像传感器的对应于使用第一曝光时间的图像的输出，而第二图像数据214可包括同一图像传感器(或另一图像传感器)的对应于使用第二曝光时间的所述图像的输出。举例来说，可使用曝光时间N曝光第一图像数据212，而可使用曝光时间1.5N、2N、4N或N的任何其它整数或非整数倍来曝光第二图像数据214。

在特定实施例中，图像配准模块202经配置以接收第一图像数据212和第二图像数据214。图像配准模块202可经配置以确定第一图像数据212与第二图像数据214的一个或一个以上偏移以实现图像的正确配准，以产生第一经对准的图像数据218和第二经对准的图像数据220。举例来说，第一图像数据212可归因于相机的移动(例如，由于手抖动或另一相机运动或物件在图像内的移动)而相对于第二图像数据214偏移。图像配准模块202可适于确定对应于图像数据212和214的区域或像素的一个或一个以上运动向量。所述运动向量使第一图像数据212和第二图像数据214中的至少一者能够经调整以使得每一图像的对应部分定位于第一经对准的图像数据218与第二经对准的图像数据220中的每一图像的大体相同的像素位置处。

图像按比例调整模块204经配置以修改经对准的图像数据218和220中的一者或一者以上的各个像素级的强度以产生第一经按比例调整的图像数据222和第二经按比例调整的图像数据224。举例来说，如果第二经对准的图像数据220具有等于第一经对准的图像数据218的曝光时间的两倍的曝光时间，那么对应于第一经对准的图像数据218的每一像素的亮度值可经调整以补偿所述像素原本在其已曝光历经与第二经对准的图像数据220相同的时间量的情形下将接收的近似量的光。并且，可在运作中估计亮度值的按比例调整。在特定实施例中，按比例调整第一经对准的图像数据218的亮度值的一个结果为第一经对准的图像数据218的经按比例调整的亮度值的范围可超过在低动态范围图像数据格式下的亮度值的可用数目。因此，可针对每一像素使用比第一图像数据212大的数目的数据位来表示第一经按比例调整的图像数据222。

在特定实施例中，图像按比例调整模块204经配置以基于第一和第二图像的相对曝光时间而仅按比例调整第一经对准的图像数据218或第二经对准的图像数据220中的一者以产生第一经按比例调整的图像数据222和第二经按比例调整的图像数据224。然而，在其它实施例中，可调整第一经对准的图像数据218和第二经对准的图像数据220中的一者或两者。

在特定实施例中，图像组合模块206可经配置以从图像按比例调整模块204接收经按比例调整的图像数据222和224并组合所接收的经按比例调整的图像数据以产生高动态范围图像数据216。在特定实施例中，图像组合模块206可接收对应于较短曝光时间的第一经按比例调整的图像数据222，例如，由图像按比例调整模块204按比例调整的图像数据212。此外，图像组合模块206可接收可能已由或可能尚未由图像按比例调整模块204按比例调整的第二经按比例调整的图像数据224。图像组合模块206可包括用以针对HDR图像数据216的每一特定像素确定是否包括对应于第一经按比例调整的图像数据222、第二经按比例调整的图像数据224或两者的组合的值的内部逻辑或另一决策电路。

在特定实施例中，图像组合模块206经配置以从加权函数208接收一个或一个以上值。加权函数208可包括使图像组合模块206能够选择性地组合第一经按比例调整的图像数据222与第二经按比例调整的图像数据224以产生HDR图像数据216的一个或一个以上条件或值。举例来说，加权函数208可包括一个或一个以上阶梯函数、一个或一个以上S形函数(sigmoid function)或者一个或一个以上其它函数的表示，以从第一经按比例调整的图像数据222和第二经按比例调整的图像数据224混合、区分或以其它方式确定或选择HDR图像数据216的像素值。举例说明，可从经按比例调整的图像数据222和/或224确定像素的区域内的度量(例如，亮度变化)并将其提供到加权函数208。在将第一经按比例调整的图像数据222中的像素的值与第二经按比例调整的图像数据224中的像素的值相加以产生HDR图像数据216中的像素值之前，加权函数208可传回指示待施加到第一经按比例调整的图像数据222中的像素的值和/或第二经按比例调整的图像数据224中的像素的值的按比例调整因数的值。

参看图3，描绘高动态范围(HDR)图像组合系统的第二说明性实施例且大体以300表示所述系统。系统300包括全域映射模块302、局域映射模块304、变化模块306和组合模块308。全域映射模块302、局域映射模块304和变化模块306各自对HDR图像数据作出响应，且各自将输出提供到组合模块308。在特定实施例中，组合模块308产生具有高动态范围的输出图像数据328，所述高动态范围具有使用比输入图像数据少的位而表示的亮度值。在说明性实施例中，系统300包括于图1的HDR压缩模块118中。

在特定实施例中，高动态范围图像数据310被提供到全域映射模块302。高动态范围图像数据310可包括用于所述图像的一个或一个以上像素的亮度数据，其中所述亮度数据使用比输出图像数据328大的值范围来表达。举例来说，HDR图像数据310可包括每一像素的亮度值的16位描述，而输出图像数据328可包括每一像素的亮度值的8位描述。全域映射模块302可经配置以产生HDR图像数据310的像素的亮度值的一个或一个以上直方图并将所述像素亮度值的像素分布映射到较少数目的亮度值，以产生经全域映射的图像数据314。在特定实施例中，全域映射模块302可使用感知上受约束的直方图且可执行直方图等化。全域映射模块302可(例如)通过使用模拟眼睛解析细节的削弱的能力的低通滤波器并使用模拟眼睛在颜色中观看的削弱的能力的颜色饱和度降低而在较暗区域处执行感知处理。

在特定实施例中，局域映射模块304经配置以接收对应于HDR图像数据310的至少一个区域312的数据并基于区域312内的像素亮度值产生经局域映射的图像318。举例来说，局域映射模块304可将与全域映射模块302类似的映射技术应用于HDR图像数据310的对应于区域312的子集。或者，局域映射模块304可应用一个或一个以上其它映射技术以将对应于区域312的亮度值映射到减小数目的亮度值。局域映射模块304可产生经局域映射的图像数据318，所述经局域映射的图像数据318包括具有对应于HDR图像数据310的区域312的经局域映射的像素亮度值的区域320。

在特定实施例中，经全域映射的图像数据314和经局域映射的图像数据318可被提供到组合模块308。组合模块308可适于接收经全域映射的图像数据314和经局域映射的图像数据318并基于变化模块306的输出选择性地组合所接收的图像数据314与318。举例来说，在特定实施例中，组合模块308可经配置以选择经全域映射的图像数据314的亮度值或来自经局域映射的图像数据318的亮度值。在另一实施例中，组合模块308可经配置以将第一权重施加到经全域映射的图像数据314的像素的亮度值并将第二权重施加到经局域映射的图像数据318的亮度值。在所说明实施例中，组合模块308经配置以确定施加到经全域映射的图像数据314的第一权重。所述第一权重可为0与1之间的值。组合模块308进一步经配置以确定待施加到经局域映射的图像数据318的第二权重。所述第二权重可大体等于1减所述第一权重。因此，组合模块308可经配置以将经全域映射的图像数据314的亮度值与经局域映射的图像数据318的亮度值的加权总和作为输出图像数据328输出。

在特定实施例中，组合模块308经配置以逐区域地确定权重并将其施加到经全域映射的图像数据314和经局域映射的图像数据318中的每一者。在另一实施例中，组合模块308经配置以逐像素地施加权重。举例来说，组合模块308处所接收的变化模块306的输出可包括实现施加到经全域映射的图像数据314的对应像素的第一加权和施加到经局域映射的图像数据318的第二加权的逐像素确定的数据。

在特定实施例中，变化模块306经配置以针对每一特定所关注像素322确定周围像素的邻域324中的变化。举例来说，周围像素的邻域324可包括在特定所关注像素322周围的5乘5像素区域。在特定实施例中，变化模块306经配置以基于在像素的邻域324内的HDR图像数据310的亮度值的差异而确定所述变化。举例来说，变化模块306可针对每一特定所关注像素322确定输出值326，所述输出值326与标准偏差或除以像素的5乘5邻域324内的亮度值的平均数或平均值的方差成比例。可以一比例因数(以α表示)按比例调整除以平均数的方差的输出值。

在特定实施例中，输出图像数据328包括对应于HDR图像数据310的区域312的区域330。输出图像数据328的区域330包括特定像素的亮度值(指示为L_i，j)，所述亮度值具有等于第一加权值w₁乘以经全域映射的图像的对应区域316的对应像素的亮度值(GMI_i，j)与第二加权值w₂乘以经局域映射的图像的区域320的对应像素的亮度值(LMI_i，j)相加的值。

通过基于每一特定像素的区域内的亮度变化的量来选择性地组合经全域映射的图像数据314与经局域映射的图像数据318，与通过仅选择所述经全域映射的图像或所述经局域映射的图像中的一者相比，输出图像数据328可在所关注区域中具有改进的动态范围且在较不关注的区域中具有改进的连续性。因此，可产生具有至少与高动态范围图像数据310相同的量的细节的输出图像数据328。此外，与其它技术相比，可产生例如以下各者等益处：受控的复杂性、图像分割的减少或消除，以及假影的减少或消除。

参看图4，描绘高动态范围图像组合系统的第三说明性实施例且大体以400表示所述系统。系统400包括全域色调映射模块402、局域色调映射模块404、变化模块406和组合模块408。全域色调映射模块402经配置以接收高动态范围(HDR)图像数据420并将经全域色调映射的图像数据421提供到以下各者中的每一者：局域色调映射模块404、变化模块406和组合模块408。组合模块408经配置以接收来自局域色调映射模块404、全域色调映射模块402和变化模块406的输入并提供输出图像数据424。在特定实施例中，系统400可包括于图1的HDR压缩模块118中。

在特定实施例中，全域色调映射模块402经配置以接收HDR图像数据420并执行将HDR图像数据420的像素亮度值变换成经全域色调映射的图像数据421中的较小亮度值集合的全域色调映射。经全域色调映射的图像数据421可包括具有由HDR图像数据420内的强度值的全域或图像范围(image-wide)分布选择的像素亮度值的动态范围。

在特定实施例中，局域色调映射模块404经配置以接收经全域色调映射的图像数据421并对经全域色调映射的图像数据421内的一个或一个以上区域执行局域色调映射。举例来说，局域色调映射模块404可逻辑上将经全域色调映射的图像数据421划分成多个相邻或重叠的区域并执行色调映射以确定适于个别区域中的一者或一者以上的亮度范围压缩。举例来说，局域色调映射模块404可经配置以确定最左上端区域的第一适当映射，接着确定下一区域的第二映射，且可大体上横越全部经全域色调映射的图像数据421，从而确定每一区域的适当映射。局域色调映射模块404可进一步经配置以使用跨越多个区域的像素的一个或一个以上邻近者(例如)经由内插技术来修改每一经局域映射的区域。以此方式，局域色调映射模块404可调整或补偿逐区域地映射到经局域映射的区域数据418中的不同位值的类似亮度值中的差异。

在特定实施例中，变化模块406可经配置以接收经全域色调映射的图像数据421并基于经全域色调映射的图像数据421的所确定区域内的亮度值的变化而执行分析并输出结果。举例来说，变化模块406可经配置以在每一特定像素的邻域内逐像素地确定标准偏差、除以平均数的方差、最大亮度值与最小亮度值之间的差异或任何其它变化确定。

举例来说，变化模块406可确定在特定所关注像素周围的3乘3、5乘5或另一大小的邻域内的变化。作为替代或除此之外，变化模块406可确定对应于经全域色调映射的图像数据421的一个或一个以上区域的变化度量的一个或一个以上值。举例来说，变化模块406可确定对应于由局域色调映射模块404确定的经局域映射的区域数据418的每一区域的变化度量的值。

在特定实施例中，变化模块406产生平直度映射410。平直度映射410可包括指示对应于每一所关注像素或预定区域的“平直度”或亮度变化量的数据。举例来说，可按照特定像素的邻域中的α(σ²/μ)来确定所述像素的“平直度”，如关于图3所描述。

在特定实施例中，组合模块408包括第一加权模块412和第二加权模块414。第一加权模块412对局域色调映射模块404和平直度映射410作出响应，以确定施加到经局域映射的区域数据418的像素亮度值的权重。类似地，第二加权模块414对经全域色调映射的图像数据421和平直度映射410作出响应，以确定施加到经全域色调映射的图像数据421的每一像素亮度值的加权。组合模块408还包括加法电路416，其用以将由第一加权模块412输出的经加权的像素亮度值与由第二加权模块414输出的经加权的像素亮度值相加。将加法电路416的输出提供到输出图像数据424。可产生保持或增强HDR图像数据420的细节等级的输出图像数据424。

参看图5，描绘选择性地组合多个图像的系统且大体以500表示所述系统。在特定实施例中，系统500可包括于图1的HDR组合模块116、图2的系统200、图3的系统300、图4的系统400、任何其它图像处理系统或其任何组合中。系统500包括阶层式配准电路520，其耦合到阶层式组合电路560。阶层式配准电路520和阶层式组合电路560耦合到专用控制电路532。专用控制电路532和阶层式组合电路560还耦合到加权表534。

阶层式配准电路520经配置以接收对应于第一图像的第一图像亮度数据502和对应于第二图像的第二图像亮度数据504并使用粗略配准电路522和精细配准电路524对第一图像亮度数据502和第二图像亮度数据504执行配准过程。阶层式配准电路520经配置以产生指示第一图像亮度数据502与第二图像亮度数据504的对应部分之间的所检测的偏移的一组精细运动向量529。在特定实施例中，所述组精细运动向量529包括用以对准可能归因于相机移动、图像移动或两者而未对准的图像的量值和方向数据。如所说明，阶层式配准电路520对图像亮度数据进行操作以实现计算效率。然而，在其它实施例中，除亮度数据之外或替代于亮度数据，阶层式配准电路520可使用其它类型的图像数据(例如，色度分量数据、红色数据、蓝色数据或绿色数据，或其任何组合)进行操作。

在特定实施例中，粗略配准电路522包括运动向量产生电路526。运动向量产生电路526可经配置以将第一图像亮度数据502和第二图像亮度数据504中的每一者分割成块以在所述块之间执行粗略配准过程。举例来说，运动向量产生电路526可逻辑上将第一图像亮度数据502和第二图像亮度数据504中的每一者划分成一组3×3重叠块且可使用所述重叠块的投影来产生可应用于使第二图像亮度数据504的块中的每一者与第一图像亮度数据502的对应块对准的一组粗略运动向量527。在其它实施例中，可使用任何数目的块且所述块中的一些或全部可为非重叠块。

精细配准电路524经配置以接收所述组粗略运动向量527并产生一组精细运动向量529。在特定实施例中，精细配准电路524包括运动向量上取样电路528，其耦合到宏块运动向量精化电路530。运动向量上取样电路528可接收所述组粗略运动向量527并对其上取样以产生具有比所述组粗略运动向量527精细的粒度的运动向量。举例说明，图像亮度数据502和504可配置为M×N阵列的宏块，其中每一宏块对应于图像的16像素乘16像素区域。运动向量上取样电路528可产生M×N运动向量集合，其将所述组粗略运动向量527中的对应运动向量施加到每一宏块。

在特定实施例中，宏块运动向量精化电路530经耦合以接收所述组经上取样的运动向量527以及图像亮度数据502和504并产生一组经精化的运动向量529。举例来说，宏块运动向量精化电路530可经配置以将所述组经上取样的运动向量527中的每一运动向量施加到其在所述第二图像数据中的对应宏块，以粗略地使所述第二图像数据的宏块与所述第一图像数据的对应宏块对准。宏块运动向量精化电路530可搜索在所述经粗略对准的宏块周围的第一图像亮度数据502的区域，以确定所述经粗略对准的宏块与第一图像亮度数据502的较精确对准。可基于从专用控制电路532接收的搜索范围控制信号535选择所述搜索区域。所述组经精化的运动向量529可指示对应于每一宏块的较精确对准的向量数据以实现第一图像亮度数据502和第二图像亮度数据504的逐宏块配准。

宏块运动向量精化电路530可通过执行针对每一运动向量选择多个可能均方误差(MSE)中的最低所计算MSE的算法来确定所述组经精化的运动向量529。举例来说，对于第二图像亮度数据504的特定宏块，可考虑所述宏块与第一图像亮度数据502的多个可能对准，且针对所述组经精化的运动向量529选择导致最低所计算MSE的对准。可将针对每一宏块确定的均方误差作为运动向量(MV)均方差异数据531提供到阶层式组合电路560。

在特定实施例中，阶层式组合电路560经配置以使用粗略组合电路562和精细组合电路564来组合第一图像数据506与第二图像数据508。第一图像数据506可包括所述第一图像的第一亮度数据502且还可包括所述第一图像的色度数据以作为YCbCr图像数据。第二图像数据508可包括所述第二图像的第二亮度数据504和所述第二图像的色度数据以作为YCbCr数据。

在特定实施例中，粗略组合电路562包括宏块图像对准电路566和块MSE差异鉴别器电路568。宏块图像对准电路566可经配置以将所述组经精化的运动向量529施加到第二图像数据508以产生与所述第一图像数据对准的第二图像的图像数据。举例来说，宏块图像对准电路566可经配置以在宏块确定成重叠时组合第二图像中的像素值或在宏块经重新对准以导致不在任何宏块内的第二图像数据的区域的情形下内插像素值。宏块图像对准电路566可将第一图像数据506和所述第二图像的经对准的图像数据提供到块MSE差异鉴别器电路568。

在特定实施例中，块MSE差异鉴别器电路568经配置以对从宏块图像对准电路566接收的数据执行粗略组合过程。特定来说，块MSE差异鉴别器电路568可消除并未与第一图像数据506的充分匹配的所述第二图像的经对准的图像数据的宏块。举例来说，可将每一宏块的MV MS差数据531与阈值进行比较。当对于特定宏块来说，MS差超过阈值时，所述特定宏块被确定成在第一图像数据506与所述第二图像的经对准的图像数据之间过于不同，且因此不应针对所述特定宏块组合图像数据。

举例来说，在移动物件出现于第一图像数据506中的第一宏块中(但未出现于所述第二图像的经对准的图像数据中的第一宏块中)且所述移动物件出现于所述第二图像的经对准的图像数据中的第二宏块中(但未出现于第一图像数据506的第二宏块中)的情形下，归因于对应的均方误差差异，所述第一宏块可被确定成在所述第一图像与所述第二图像之间不可组合，且所述第二宏块可被确定成在所述第一图像与所述第二图像之间不可组合。块MSE差异鉴别器电路568可经配置以从所述经对准的第二图像数据移除每一不可组合的宏块，以使得仅使用来自第一图像数据506的宏块的像素值。举例来说，可从第一图像数据506复制所述宏块的像素值以替换所述第二图像的经对准的图像数据的对应宏块中的像素值。

如所说明，块MSE差异鉴别器电路568对专用控制电路532作出响应。举例来说，专用控制电路532可提供阈值控制信号537，其指示待用于比较所述第一图像数据与所述第二图像的经对准的图像数据的宏块之间的MSE差异的阈值差异。在所述粗略组合过程之后，块MSE差异鉴别器电路568可将两组图像数据(包括对应于第一图像的图像数据和对应于第二图像的图像数据)输出到精细组合电路564。

精细组合电路564经配置以接收已配准且粗略对准的第一和第二图像数据并执行精细组合过程以产生输出图像数据580。在特定实施例中，精细组合电路564包括第一滤波器570和第二滤波器572，其耦合到平均像素MS差异电路574。精细组合电路564还包括图像组合电路576，其耦合到平均像素MS差异电路574并耦合到加权表534。

所述第一图像的所接收的数据可由第一滤波器570处理，且所述第一图像的经滤波的数据被提供到平均像素MS差异电路574。所述第二图像的所接收的数据可由第二滤波器572处理，且第二图像的经滤波的数据被提供到平均像素MS差异电路574。滤波器570和572可对专用控制电路532作出响应。举例来说，滤波器570和572可从专用控制电路532接收响应控制信号539，其指示滤波器响应特性，例如，低通响应、高通响应、带通响应、任何其它滤波器响应，或其任何组合。滤波器570和572可包括3×3核心或任何其它大小的核心。在特定实施例中，滤波器570和572具有响应于专用控制电路532的核心大小。

平均像素MS差异电路574可经配置以接收对应于每一图像的经滤波的数据并执行逐像素的带正负号的均方差异运算。所述差异运算可针对每一特定像素使用所述特定像素的亮度和色度值中的每一者来产生带正负号的值，所述值指示所述第一图像的经滤波的数据与所述第二图像的经滤波的数据之间的差异。平均像素MS差异电路574可经配置以将所述差异数据提供到图像组合电路476。

图像组合电路576可经配置以针对每一像素从平均像素MS差异电路574接收差异值并确定输出图像数据580中的每一像素的像素值。举例来说，特定像素的所接收的差异值可作为加权表534处的查找操作而提供。所述查找操作的结果可确定输出图像数据580中的像素值具有来自从粗略组合电路562接收的第一图像数据的值、来自从粗略组合电路562接收的第二所接收的图像数据的值，还是其组合。

加权表534可包括指示待施加到所述第一图像数据的像素值的第一权重和待施加到所述第二图像数据的像素值的第二权重的数据。加权表534可提供对应于待施加到所述第一图像数据的权重的具有约0到1的范围的输出值“W”和对应于待施加到所述第二图像数据的权重的值1-W。加权表534可对来自专用控制电路532的表控制信号533作出响应。

在操作期间，专用控制电路532可确定一个或一个以上控制参数，其用以控制系统500处的图像配准和组合过程。举例来说，专用控制电路532可选择指示宏块配准的主动性(aggressiveness)的搜索范围控制信号535、指示宏块组合的可接受差异的量的阈值控制信号537、指示待执行的滤波的类型的响应控制信号539，以及指示如何基于所述图像之间的经滤波的像素差异来组合所述图像的表控制信号533的值。

举例来说，专用控制电路532可经配置以产生特定用于产生HDR图像的控制信号。搜索范围控制信号535可经设定以指示极低或零运动向量搜索范围。阈值控制信号537可经设定以指示极高阈值或停用块差异鉴别操作，以使得所有块均被接受。响应控制信号539可经设定以使得在滤波器570和572处，高曝光图像的亮度滤波器设定成平均值且所有其它者设定成零。表控制信号533可经设定以指示加权函数，以使得像素接受阈值设定成适度高，以不将值远离其它像素的像素相加。

虽然系统500被说明为包括经配置以执行特定过程的硬件电路，但在其它实施例中，系统500的一个或一个以上组件可由执行处理器指令的处理器来执行。举例来说，由电路520、522、524、526、528、530、532、534、560、562、564、566、568、570、574或576执行的功能中的一者或一者以上可由已编程以执行上文描述的功能或通用算法中的一者或一者以上的图像处理器、数字信号处理器(DSP)或通用处理器来执行。在其它实施例中，可用包括于硬件、固件、执行计算机可读指令的处理器或其任何组合中的组件来替换电路520、522、524、526、528、530、532、534、560、562、564、566、568、570、574或576中的一者或一者以上。

类似地，在特定实施例中，图1到图4的系统中所描绘的模块中的一者或一者以上可实施为固件，例如，由经配置以通过执行用以执行特定功能或算法的指令而作为专用控制器或处理器操作的控制器或处理器来实施。在特定实施例中，图1到图4的系统中所描绘的模块中的一者或一者以上可实施为硬件，例如，由经配置以操纵并处理数据以执行特定功能或算法的电路来实施。举例来说，所述电路可为专用集成电路(ASIC)的一部分。在特定实施例中，图1到图4的系统中所描绘的模块中的一者或一者以上可实施为在处理逻辑处(例如，在多核心系统的一个或一个以上通用处理器核心处)执行的处理器指令。举例来说，所述一个或一个以上模块可在通用计算机系统正执行图像处理软件的同时实施于所述计算机系统内。

参看图6，其描绘组合两个低动态范围图像以产生高动态范围图像的特定实施例且大体以600表示所述实施例。第一低动态范围数据被表示为第一直方图602且第二动态范围数据被表示为第二直方图604。在特定实施例中，第一直方图602表示由传感器(例如，图1的传感器108)俘获的具有第一曝光条件的图像数据的像素亮度值，而第二直方图604表示具有第二曝光条件的第二图像数据(例如，由图1的图像传感器108俘获的第二图像数据)的像素的亮度值。

如图6中所说明，第一直方图602展示具有低亮度值的大量像素，所述像素可对应于使用缩短的曝光时间而曝光不足的暗区域或阴影区域。相比来说，第二直方图604包括具有高亮度值的大量像素，所述像素(例如)对应于较长曝光时间图像俘获的经过度曝光的亮区域。在特定实施例中，第一直方图602可对应于图1的第一图像160，且第二直方图604可对应于图1的第二图像162。

在特定实施例中，第一直方图602可按比例调整到较大范围的亮度值以对第一图像补偿第二图像的增加的曝光时间量。举例来说，在使用第一图像的曝光时间的k倍的曝光时间俘获第二图像的情形下，可按比例调整(例如，当k为2时加倍)第一图像的像素的亮度值，从而使第一直方图从最低值L_low 608和最高值L_high 612移位到最低值k*L_low 610和最高值k*L_high 614，其被说明为经移位的直方图606。L_low 608可对应于产生与传感器的噪声下限标准偏差相当或相等的传感器读数的亮度级。L_high 612可对应于导致传感器的饱和的亮度级减去黑阶亮度。

可使用加权函数616使对应于经移位的直方图606的第一图像数据的经按比例调整的像素值与对应于未经移位的第二直方图604的第二图像数据的像素值组合。所述加权函数616可包括在小于k*L_low 610的亮度范围中的第一值618、在处于k*L_low 610与L_high 612之间的第二亮度范围中的第二值620和在大于L_high 612的第三亮度范围中的第三值622。举例来说，加权函数616可包括在跨越范围边界的值之间平滑转变的一个或一个以上S形函数。

如所说明，对于具有小于k*L_low 610的亮度值的像素来说，加权函数616指示权重“1”，此指示高动态范围图像中的对应像素的像素值等于第二图像数据的像素值。对于具有大于L_high 612的亮度值的像素来说，加权函数616指示权重“0”，此指示高动态范围图像中的对应像素的像素值等于第一图像数据的像素值。对于具有处于k*L_low 610与L_high 612之间的亮度值的像素来说，在经按比例调整的第一图像数据与第二图像数据重叠的情形下，加权函数616指示权重“0.5”，此指示经按比例调整的第一图像数据和第二图像数据中的对应像素的平均亮度值经平均以确定高动态范围输出图像中的像素亮度值。如所说明，加权函数616偏离上文概述的在k*L_low 610与L_high 612周围的行为以在值之间平滑转变。

经组合的图像可被描述为：

S_comb＝kS_T(1-C(S_kT))+S_kT(C(S_kT))

其中S_comb表示经组合的图像的亮度，k为较长曝光时间与较短曝光时间的比率，S_T表示短曝光时间图像的亮度，C表示加权函数且S_kT表示较长曝光时间图像的亮度。

由第三直方图624指示所述高动态范围输出图像的像素亮度值的分布。第三直方图624说明像素亮度值处于L_low到k*L_high的范围中，其具有动态范围k*L_high/L_low。

在特定实施例中，图6中说明的HDR组合可由图1的HDR组合模块116、图2的系统200或图5的系统500执行。HDR组合的帧配准对于图像之间的归因于饱和度或层级差异所致的非线性可为稳健的。配准可不依赖于较精细运动向量估计，可具有可用于组合的大体上所有像素，且可基于局域图像层级而进行组合。

举例来说，图5的专用控制电路532可产生特定用于产生HDR图像的控制信号。搜索范围控制信号535可经设定以指示极低或零运动向量搜索范围。阈值控制信号537可经设定以指示极高阈值或停用块差异鉴别操作。响应控制信号539可经设定以使得在滤波器570和572处，高曝光图像的亮度滤波器设定成平均值且所有其它者设定成零。表控制信号533可经设定以指示加权函数，例如，图6的加权函数616。

图7为压缩高动态范围图像数据的方法的说明性实施例的流程图。在特定实施例中，方法700或其部分可由图1的HDR压缩模块118、图3的系统300、图4的系统400或图5的系统500或其任何组合来执行。方法700包括执行以下功能：在702处，使用全域色调映射压缩动态范围；在718处，计算平直度映射；在724处，产生经局域映射的图像；以及在734处，使用平直度映射作为权重来组合所述经局域映射的图像与所述经全域映射的图像。

在特定实施例中，使用全域色调映射的范围压缩包括在704处计算高动态范围图像数据的像素亮度值的直方图。在706处，可对所述直方图设上限。举例来说，所述直方图可设上限于2U，其中U为像素亮度值的均一分布的高度，以将对比度增加限制到2倍。在708处，还可将下限施加到所述直方图。举例来说，所述下限可为U/2以将对比度降低限制到1/2倍。

在710处，可使所得直方图标准化。举例来说，所述直方图高度可减小以使得所述直方图的总面积大体上等于1。在712处，可计算累积分布函数(CDF)。所述CDF可表示随亮度值而变的在经标准化的直方图下的累积面积，以使得CDF(0)＝0且CDF(X)＝1，其中X为具有非零直方图值的最大亮度值。

在714处，可使用CDF作为色调映射函数来重映射高动态范围图像数据的亮度值。举例来说，可使用L_new＝L_old*CDF(L_old)将每一像素L_old的亮度值调整到值L_new。在716处，还可按比例调整像素的色度分量。举例来说，可以亮度比L_new/L_old按比例调整色度分量(例如，蓝色色差色度分量(Cb)和红色色差色度分量(Cr))。

在特定实施例中，使用所述经全域色调映射的图像数据来执行计算平直度映射718。在720处，可在每一像素的区域中计算变化的度量或量度。举例来说，可在远离图像的边缘的像素的5×5像素区域中确定α(σ²/μ)的值，其中σ表示标准偏差，μ指示平均数且α可为预定恒定值。在722处，可对平直度映射设上限以使得无像素平直度值超过值1。

在特定实施例中，产生所述经局域映射的图像724包括在726处将所述经全域映射的图像划分成非重叠块。在728处，可针对个别块计算直方图并对其设上限。举例来说，可使用基于感知的技术或基于对比的技术来对所述直方图设上限。在730处，可针对个别块产生局域色调映射。举例来说，个别块的局域色调映射可使用与704到716处所描述的全域色调映射702类似的技术。在732处，针对个别块内的像素，可执行相邻块之间的内插以计算像素映射。举例来说，对于每一块中的每一点，可在相邻映射函数之间使用双线性内插以计算所述点的映射。

在734处，可使用所述平直度映射作为权重来组合所述经局域映射的图像与所述全域映射的图像。举例来说，所述经压缩的输出图像数据的每一像素值可为所述经全域映射的图像数据与所述经局域映射的图像数据的加权总和。所述经局域映射的图像数据的权重可对应于像素的平直度映射值(例如，在位置i，j处的像素的FM(i，j))，且所述经全域映射的图像数据的权重可对应于1-FM(i，j)。

在特定实施方案中，方法700控制HDR压缩的复杂性以针对移动装置应用实现通过图像处理电路在图像处理管线中实施。可保证所得图像的连续性，且可不引入假影。

图8为高动态范围图像组合的方法的第一说明性实施例的流程图。在特定实施例中，方法800由图1到图5的系统中的任一者或其任何组合来执行。在802处，从图像传感器接收第一图像数据。所述第一图像数据是使用第一曝光时间而产生。继续到804，从所述图像传感器接收第二图像数据。所述第二图像数据是使用比所述第一曝光时间长的第二曝光时间而产生。

前进到806，基于所述第二曝光时间与所述第一曝光时间的比率来按比例调整所述第一图像数据的亮度值以产生经按比例调整的第一图像数据。进行到808，基于所述经按比例调整的第一图像数据的第一有效动态范围与所述第二图像数据的第二有效动态范围之间的重叠来选择性地组合所述经按比例调整的第一图像数据与所述第二图像数据以产生高动态范围(HDR)图像。可基于所述第一图像数据的第一饱和度、第一黑暗度(dark level)和第一噪声下限而确定所述第一有效动态范围。可基于所述第二图像数据的第二饱和度、第二黑暗度和第二噪声下限而确定所述第二有效动态范围。可使用大体上居中于所述第一噪声下限的第一S形函数和大体上居中于所述第二饱和度减所述第二黑暗度的第二S形函数来选择性地组合所述经按比例调整的第一图像数据与所述第二图像数据。

移动到810，产生色调映射以压缩HDR图像的动态范围。产生所述色调映射包括基于每一像素的邻域内的亮度变化而确定全域色调映射值和局域色调映射值的逐像素加权。举例来说，所述经压缩的动态范围可为8位范围。继续到812，提供具有所述经压缩的动态范围的经色调映射的图像以显示于显示装置处。

图9为高动态范围图像组合的方法的第二说明性实施例的流程图。在特定实施例中，方法900由图1到图5的系统中的任一者或其任何组合来执行。

在902处，基于第一图像数据的亮度分布而调整所述第一图像数据的第一亮度值以产生第二图像数据。在特定实施例中，调整所述第一亮度值包括：确定所述第一图像数据的像素亮度值的直方图；基于均一分布程度对所述直方图的范围设上限；使所述经设上限的直方图标准化；确定所述经标准化的直方图的累积分布函数(CDF)；以及将CDF作为色调映射函数应用以重映射所述第一亮度值。

继续到904，基于所述第二图像数据的一区域的局域亮度分布而调整所述第二图像数据的所述区域的第二亮度值以产生第一经局域调整的图像数据。在特定实施例中，调整所述第二亮度值包括：将所述第二图像数据划分成多个区域；计算所述多个区域中的每一者的像素亮度值的直方图；确定对应于所述多个区域中的每一者的局域色调映射函数；以及在对应于相邻区域的局域色调映射函数之间执行双线性内插以计算特定像素的色调映射。

前进到906，产生具有比所述第一图像数据小的动态范围的第三图像数据。对应于所述第二图像数据的所述区域的所述第三图像数据的亮度值通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述区域内的所述第二图像数据来确定。

移动到908，可通过针对所述区域内的每一像素使用对应于包括所述特定像素的像素的邻域的所述第二图像数据确定亮度方差与亮度平均值的比率而产生平直度映射。像素的邻域可小于第二图像数据的区域。

图10为高动态范围图像组合的方法的第三说明性实施例的流程图。在特定实施例中，方法1000由图1到图5的系统中的任一者或其任何组合来执行。举例来说，方法1000可由执行存储于计算机可读媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)或可有形地体现计算机可执行指令的其它类型的存储器)处的指令的处理器来执行。

在1002处，接收第一图像数据。进行到1004，基于所述第一图像数据的亮度分布而产生第二图像数据。继续到1006，基于所述第二图像数据的区域内的局域亮度分布而产生经局域调整的图像数据。

前进到1008，产生具有比所述第一图像数据小的动态范围的第三图像数据。对应于所述第二图像数据的所述区域的所述第三图像数据的区域的亮度值通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述第二图像数据来确定。组合所述经局域调整的图像数据与所述第二图像数据可包括使用所述经局域调整的图像数据与所述区域内的第二图像数据的加权总和。所述加权总和的权重可基于亮度变化。

在特定实施例中，所述第三图像数据的区域内的特定像素的亮度值使用对应于所述特定像素的所述第二图像数据的第一值与对应于所述特定像素的所述经局域调整的图像数据的第二值的加权总和而确定。所述加权总和可基于所述特定像素的邻域内的像素值而计算。所述特定像素的邻域内的所述像素值可从所述第二图像数据来确定。

图11为包括高动态范围(HDR)组合和压缩模块的系统的特定实施例的框图。系统1100包括图像传感器装置1122，其耦合到透镜1168且还耦合到便携式多媒体装置的应用处理器芯片组1170。图像传感器装置1122包括使用局域和全域映射的HDR模块1164，其可实施图1到图5的模块或系统中的一者或一者以上，可根据图6到图10的实施例或方法中的任一者来操作，或其任何组合。

使用局域和全域映射的HDR模块1164经耦合以(例如)经由模/数转换器1126而从图像阵列1166接收图像数据，模/数转换器1126经耦合以接收图像阵列1166的输出并将图像数据提供到使用局域和全域映射的HDR模块1164。使用局域和全域映射的HDR模块1164可从图像阵列1166处俘获的多个图像中产生HDR图像数据以借助普通图像阵列1166实现HDR功能性。此外，使用局域和全域映射的HDR模块1164可使用局域和全域色调映射两者的组合将所得图像压缩成与较低分辨率传送和存储机制兼容，同时保证连续性且不引入假影。

举例来说，使用局域和全域映射的HDR模块1164可包括：全域映射模块，其经配置以在图像的区域内产生第一经全域映射的亮度值；局域映射模块，其经配置以在图像的区域内产生第二经局域映射的亮度值；以及组合模块，其经配置以使用第一经全域映射的亮度值和第二经局域映射的亮度值的加权总和而确定在输出图像的对应区域内的亮度值，分别例如，图4的全域色调映射模块402、局域色调映射模块404和组合模块408，或分别例如，图3的全域色调映射模块302、局域色调映射模块304和组合模块308。所述加权总和的权重至少部分地基于图像的区域内的亮度变化。举例来说，可逐像素地在区域内确定权重。

使用局域和全域映射的HDR模块1164还可包括经配置以产生对应于所述图像的一部分的平直度映射的变化模块，例如，图4的变化模块406。平直度映射可指示图像的区域内的亮度变化。变化模块可经配置以确定所述区域内的特定像素的邻域内的亮度方差。对应于所述特定像素的平直度映射的条目可同特定像素的邻域内的亮度方差与所述特定像素的邻域内的亮度平均数的比率成比例，例如，关于图3的输出值326所描述。

图像传感器装置1122还可包括处理器1110。在特定实施例中，处理器1110经配置以实施所述使用局域和全域映射的HDR模块1164。举例来说，处理器1110可经配置以从处理器可读媒体读取指令并执行所述指令以实施HDR模块1164。在另一实施例中，所述使用局域和全域映射的HDR模块1164实施为图像处理电路。

处理器1110还可经配置以执行额外图像处理操作，例如，由图1的模块110到120执行的操作中的一者或一者以上。处理器1110可将经处理的图像数据提供到应用处理器芯片组1170以用于进一步处理、发射、存储、显示或其任何组合。

图12为包括HDR组合和压缩模块的系统的特定实施例的框图。系统1200可实施于便携式无线电子装置中并包括耦合到存储器1232的处理器1210，例如，数字信号处理器(DSP)。系统1200包括使用局域和全域映射的HDR模块1264。在说明性实例中，所述使用局域和全域映射的HDR模块1264包括图1到图5的模块或系统中的一者或一者以上，或根据图6到图10的实施例或方法中的任一者来操作，或其任何组合。所述使用局域和全域映射的HDR模块1264可处于处理器1210中或可为单独的装置。

相机接口1268耦合到处理器1210且还耦合到例如视频相机或静态相机1270等相机。显示控制器1226耦合到处理器1210且耦合到显示装置1228。编码器/解码器(CODEC)1234也可耦合到处理器1210。扬声器1236和麦克风1238可耦合到CODEC1234。无线接口1240可耦合到处理器1210且耦合到无线天线1242。

在特定实施例中，处理器1210包括所述使用局域和全域映射的HDR模块1264且适于从由相机1270俘获的多个图像产生HDR图像数据，以在普通相机1270的情形下实现HDR功能性。此外，所述使用局域和全域映射的HDR模块1164可使用局域和全域色调映射两者的组合将所得图像压缩成与较低分辨率传送和存储机制兼容，同时保证连续性且不引入假影。

处理器1210还可适于从可从各种源接收的多组图像数据产生HDR图像数据并对其进行压缩。举例来说，作为说明性、非限制性实例，所述图像数据可包括来自相机1270的视频数据或静态图像、来自经由无线接口1240进行的无线发射或来自其它源(例如，经由通用串行总线(USB)接口(未图示)耦合的外部装置)的图像数据。

在特定实施例中，处理器1210经配置以基于图像数据的多个像素中的每一特定像素的邻域内的亮度变化而产生包括所述特定像素的经色调映射的像素值的经色调映射的图像数据并提供所述经色调映射的图像数据以显示于显示装置1228处。举例来说，所述经色调映射的数据可为图3的输出图像数据328或图4的输出图像数据424。此外，处理器1210可进一步经配置以将所述经色调映射的图像数据存储于存储器1232处或提供所述经色调映射的图像数据以经由无线接口1240传送。

所述图像数据可为通过组合使用第一曝光时间从相机1270接收的第一组图像数据与使用第二曝光时间从相机1270接收的第二组图像数据而产生的高动态范围(HDR)图像数据。第一组图像数据和第二组图像数据可依序地俘获于相机1270的单一传感器处或可使用不同曝光条件同时俘获于相机1270的多个传感器处。所述第一组图像数据的亮度值可基于所述第二曝光时间与所述第一曝光时间的比率而按比例调整且基于经按比例调整的亮度值的第一有效动态范围与所述第二组图像数据的第二有效动态范围之间的重叠而与所述第二组图像数据选择性地组合，以产生HDR图像数据，例如关于图6所描述。处理器1210可进一步经配置以处理所述HDR图像数据以产生指示特定像素的邻域内的亮度变化的平直度映射并使用经全域映射的图像数据与经局域映射的图像数据的加权总和来确定所述特定像素的经色调映射的像素值。所述加权总和的权重可基于所述特定像素的邻域内的亮度变化而确定。举例来说，处理器1210可实施图3的变化模块306或图4的变化模块406。

显示控制器1226经配置以接收所述经处理的图像数据并将所述经处理的图像数据提供到显示装置1228。此外，存储器1232可经配置以接收并存储所述经处理的图像数据，且无线接口1240可经配置以接收所述经处理的图像数据以用于经由天线1242进行发射。

在特定实施例中，信号处理器1210、显示控制器1226、存储器1232、CODEC 1234、无线接口1240和相机接口1268包括于封装中系统或芯片上系统装置1222中。在特定实施例中，输入装置1230和电源1244耦合到芯片上系统装置1222。此外，在特定实施例中，如图12中所说明，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、视频相机1270和电源1244处于芯片上系统装置1222的外部。然而，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、视频相机1270和电源1244中的每一者可耦合到芯片上系统装置1222的一组件，例如，接口或控制器。

技术人员将进一步了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，各种说明性组件、块、配置、模块、电路和步骤已在上文大体按其功能性加以描述。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统上的设计约束。熟练的技术人员可以变化的方式针对每一特定应用实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。

结合本文中所揭示的实施例而描述的方法或算法的步骤可直接以硬件、以由处理器执行的软件模块或以两者的组合来体现。软件模块可驻留于随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸盘、紧密光盘只读存储器(CD-ROM)，或此项技术中已知的任何其它形式的存储媒体中。将示范性存储媒体耦合到处理器，使得所述处理器可从所述存储媒体读取信息和将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件而驻留于计算装置或用户终端中。

提供所揭示的实施例的先前描述以使得所属领域的任何技术人员能够制造或使用所揭示的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本发明的范围的情况下将本文中所界定的原理应用于其它实施例。因此，本发明不希望限于本文所展示的实施例，而是应被赋予与由所附权利要求书所界定的原理和新颖特征一致的可能的最广范围。

Claims

1.一种方法，其包含：

从图像传感器接收第一图像数据，所述第一图像数据是使用第一曝光时间而产生；

从所述图像传感器接收第二图像数据，所述第二图像数据是使用大于所述第一曝光时间的第二曝光时间而产生；

基于所述第二曝光时间与所述第一曝光时间的比率而按比例调整所述第一图像数据的亮度值以产生经按比例调整的第一图像数据；

基于所述经按比例调整的第一图像数据的第一有效动态范围与所述第二图像数据的第二有效动态范围之间的重叠来选择性地组合所述经按比例调整的第一图像数据与所述第二图像数据以产生高动态范围(HDR)图像；

产生色调映射以压缩所述HDR图像的动态范围，其中产生所述色调映射包括基于所述HDR图像的每一像素的邻域内的亮度变化而确定全域色调映射值与局域色调映射值的逐像素加权；以及

提供具有所述HDR图像的所述经压缩的动态范围的经色调映射的图像以显示于显示装置处。

2.根据权利要求1所述的方法，其中基于所述第一图像数据的第一饱和度、第一黑暗度和第一噪声下限而确定所述第一有效动态范围，且其中基于所述第二图像数据的第二饱和度、第二黑暗度和第二噪声下限而确定所述第二有效动态范围。

3.根据权利要求1所述的方法，其中基于大体上居中于所述第一噪声下限的第一S形函数和大体上居中于所述第二饱和度减所述第二黑暗度的第二S形函数而选择性地组合所述经按比例调整的第一图像数据与所述第二图像数据。

4.一种方法，其包含：

基于第一图像数据的亮度分布而调整所述第一图像数据的第一亮度值以产生第二图像数据；

基于所述第二图像数据的区域的局域亮度分布而调整所述第二图像数据的所述区域的第二亮度值以产生经局域调整的图像数据；以及

产生具有比所述第一图像数据小的动态范围的第三图像数据，其中对应于所述第二图像数据的所述区域的所述第三图像数据的亮度值是通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述区域内的所述第二图像数据来确定。

5.根据权利要求4所述的方法，其中调整所述第一亮度值包含：

确定所述第一图像数据的像素亮度值的直方图；

基于均一分布程度对所述直方图的范围设上限；

使所述经设上限的直方图标准化；

确定所述经标准化的直方图的累积分布函数(CDF)；以及

将所述CDF作为色调映射函数应用于所述第一图像数据以重映射所述第一亮度值。

6.根据权利要求4所述的方法，其中调整所述第二亮度值包含：

将所述第二图像数据划分成多个区域；

计算所述多个区域中的每一者的像素亮度值的直方图；

确定对应于所述多个区域中的每一者的局域色调映射函数；以及

在所述局域色调映射函数之间执行双线性内插以计算所述多个区域中的特定区域的特定像素的色调映射，其中所述局域色调映射函数对应于所述多个区域中的与所述特定区域相邻的区域。

7.根据权利要求4所述的方法，其进一步包含通过针对所述区域内的每一特定像素使用对应于包括所述特定像素的像素的邻域的所述第二图像数据确定亮度方差与亮度平均值的比率而产生平直度映射。

8.根据权利要求4所述的方法，其中产生所述第三图像数据以具有至少与所述第一图像数据相同量的细节。

9.一种无线装置，其包含：

处理器；以及

存储器，其可由所述处理器存取，

其中所述处理器经配置以基于图像数据的多个像素中的每一特定像素的邻域内的亮度变化而产生包括所述特定像素的经色调映射的像素值的经色调映射的图像数据，所述图像数据对应于相机处所俘获的图像，且

其中所述处理器经配置以提供所述经色调映射的图像数据以用于显示。

10.根据权利要求9所述的无线装置，其中所述处理器进一步经配置以将所述经色调映射的图像数据存储于所述存储器处。

11.根据权利要求9所述的无线装置，其进一步包含耦合到所述处理器的无线接口，且其中所述处理器进一步经配置以提供所述经色调映射的图像数据以经由所述无线接口传送。

12.根据权利要求9所述的无线装置，其中所述图像数据包括高动态范围(HDR)图像数据，所述高动态范围图像数据是通过组合使用第一曝光时间从所述相机接收的第一组图像数据与使用第二曝光时间从所述相机接收的第二组图像数据而产生。

13.根据权利要求12所述的无线装置，其中所述第一组图像数据的亮度值基于所述第二曝光时间与所述第一曝光时间的比率而按比例调整且基于所述经按比例调整的亮度值的第一有效动态范围与所述第二组图像数据的第二有效动态范围之间的重叠而与所述第二组图像数据选择性地组合，以产生所述HDR图像数据。

14.根据权利要求13所述的无线装置，其中所述处理器进一步经配置以：

处理所述HDR图像数据以产生指示所述特定像素的所述邻域内的亮度变化的平直度映射；以及

使用经全域映射的图像数据与经局域映射的图像数据的加权总和来确定所述特定像素的所述经色调映射的像素值，其中所述加权总和的权重是基于所述特定像素的所述邻域内的所述亮度变化而确定。

15.根据权利要求9所述的无线装置，其进一步包含所述相机。

16.根据权利要求9所述的无线装置，其进一步包含显示装置。

17.一种设备，其包含：

用于基于图像数据的多个像素中的每一特定像素的邻域内的亮度变化而产生包括所述特定像素的经色调映射的像素值的经色调映射的图像数据的装置，所述图像数据对应于相机处所俘获的图像，以及

用于提供所述经色调映射的图像数据以用于显示的装置。

18.根据权利要求17所述的设备，其进一步包含用于以无线方式传送所述经色调映射的图像数据的装置。

19.根据权利要求17所述的设备，其中所述图像数据包括高动态范围(HDR)图像数据，所述高动态范围图像数据是通过组合使用第一曝光时间从所述相机接收的第一组图像数据与使用第二曝光时间从所述相机接收的第二组图像数据而产生。

20.一种计算机可读媒体，其包含在执行时致使处理器执行以下步骤的可执行指令：

接收第一图像数据；

基于所述第一图像数据的亮度分布而产生第二图像数据；

基于所述第二图像数据的区域内的局域亮度分布而产生经局域调整的图像数据；以及

产生具有比所述第一图像数据小的动态范围的第三图像数据，其中对应于所述第二图像数据的所述区域的所述第三图像数据的区域的亮度值是通过基于所述第二图像数据的所述区域内的所述第二图像数据的亮度变化而组合所述经局域调整的图像数据与所述第二图像数据来确定。

21.根据权利要求20所述的计算机可读媒体，其中组合所述经局域调整的图像数据与所述第二图像数据包括使用所述经局域调整的图像数据与所述区域内的所述第二图像数据的加权总和，且其中所述加权总和的权重是基于所述亮度变化。

22.根据权利要求20所述的计算机可读媒体，其中所述第三图像数据的所述区域内的特定像素的亮度值是使用对应于所述特定像素的所述第二图像数据的第一值与对应于所述特定像素的所述经局域调整的图像数据的第二值的加权总和而确定。

23.一种装置，其包含：

全域映射模块，其经配置以在图像的区域内产生第一经全域映射的亮度值；

局域映射模块，其经配置以在所述图像的所述区域内产生第二经局域映射的亮度值；以及

组合模块，其经配置以使用所述第一经全域映射的亮度值与所述第二经局域映射

的亮度值的加权总和来确定在输出图像的对应区域内的亮度值，其中所述加权总和的权重至少部分地基于所述图像的所述区域内的亮度变化。

24.根据权利要求23所述的装置，其进一步包含经配置以产生对应于所述图像的一部分的平直度映射的变化模块，其中所述平直度映射指示所述图像的所述区域内的所述亮度变化。

25.根据权利要求24所述的装置，其中对应于特定像素的所述平直度映射的条目同所述特定像素的邻域内的亮度方差与所述特定像素的所述邻域内的亮度平均数的比率成比例。