[go: up one dir, main page]

CN112055136A - 高动态范围图像传感器和图像捕获方法 - Google Patents

高动态范围图像传感器和图像捕获方法 Download PDF

Info

Publication number
CN112055136A
CN112055136A CN202010504731.5A CN202010504731A CN112055136A CN 112055136 A CN112055136 A CN 112055136A CN 202010504731 A CN202010504731 A CN 202010504731A CN 112055136 A CN112055136 A CN 112055136A
Authority
CN
China
Prior art keywords
pixels
exposure
pixel
values
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010504731.5A
Other languages
English (en)
Other versions
CN112055136B (zh
Inventor
刘成明
代铁军
理查德·曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN112055136A publication Critical patent/CN112055136A/zh
Application granted granted Critical
Publication of CN112055136B publication Critical patent/CN112055136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种用于捕获高动态范围图像的方法，包括：(i)存储表示由包括像素阵列的图像传感器捕获的第一图像的多个像素值，每个像素值已经由像素阵列的像素子阵列的相应像素生成，每个像素被设置为N1个第一曝光值中的一个，N1≥1；(ii)基于多个像素值确定曝光计数N2；(iii)将每个像素设置为数量为N2的第二多个曝光值中的一个，使得对于第二多个曝光值中的每个，至少一个像素被设置为所述曝光值，第二多个曝光值中的一个与N1个第一曝光值中的每个相差超过阈值；以及(iv)在设置之后，利用图像传感器捕获第二图像。

Description

高动态范围图像传感器和图像捕获方法
技术领域
本公开涉及图像传感器，尤其是高动态范围图像传感器及其图像捕获方法。
背景技术
许多消费电子产品包括至少一个相机。这些产品包括平板电脑、手机和智能手表。此类 产品以及数字相机本身可以实现高动态范围(HDR)功能，以使得能够对具有光度(luminosity)的大动态范围的场景进行成像。相机包括具有布置为像素阵列的许多像素的图像传感器。捕获HDR图像的一种方法是，当相机捕获图像时，图像传感器跨像素阵列具 有空间变化的曝光值。
发明内容
在第一方面，一种用于捕获高动态范围图像的方法，包括：在存储器中存储多个像素值， 所述多个像素值表示由包括像素阵列的图像传感器捕获的第一图像，所述多个像素值中的每 个像素值已经由所述像素阵列的像素子阵列的第一多个像素中的相应一个像素生成，所述第 一多个像素中的每个像素被设置为N1个第一曝光值中的一个，N1≥1。所述方法还包括基于 所述多个像素值确定曝光计数N2。所述方法还包括将所述第一多个像素中的每个像素设置为 数量为N2的第二多个曝光值中的一个曝光值，使得对于所述第二多个曝光值中的每个曝光 值，所述第一多个像素中的至少一个像素被设置为所述曝光值，所述第二多个曝光值中的一 个曝光值与所述N1个第一曝光值中的每个曝光值相差超过阈值。所述方法还包括在将所述第 一多个像素中的每个像素设置为所述第二多个曝光值中的一个曝光值的步骤之后，利用所述 图像传感器捕获第二图像。
在第二方面，一种图像传感器包括像素阵列、连接到所述像素阵列的处理器和存储器。 所述存储器存储机器可读指令，所述机器可读指令在由处理器执行时控制处理器执行根据第 一方面的方法。
附图说明
图1描绘根据实施例的通过包括图像传感器的相机进行成像的场景，该图像传感器包括 像素阵列。
图2是实施例中的包括图1的像素阵列以及其上的拜耳滤色器阵列(Bayer colorfilter array，CFA)的图像传感器的区域的示意性平面图。
图3是与图2中所示的像素阵列的区域相对应的原始图像的区域的示意性平面图。
图4是实施例中的被配置为生成高动态范围图像的曝光控制器的示意性功能框图。
图5是示出实施例中的由图4的控制器可执行的用于捕获高动态范围图像的方法的流程 图。
图6是实施例中的被设置为多个曝光值的第一配置的图像传感器的区域的示意性平面 图。
图7是实施例中的被设置为多个曝光值的第二配置的图像传感器的区域的示意性平面 图。
具体实施方式
图1描绘对具有光亮度的高动态范围的场景120进行成像的相机100。场景120包括在 窗户122前面的人121，通过窗户122可看见阳光场景123。场景120包括天空124和场景区域125、126和127。场景区域125和126分别被人121和天空124完全占据。场景区域 127包括天空124的一部分和人121的一部分。
相机100包括成像透镜(未示出)、图像传感器130、存储器104以及通信地连接到图像传感器130的处理器102。图像传感器130包括像素阵列132A，在像素阵列132A上可以 具有滤色器阵列(CFA)140。像素阵列132A包括多个像素132，为了图示清楚而在图1中 未示出。CFA 140的每个滤色器可以与像素阵列132A的相应像素132或与像素阵列132A 的相应像素子阵列的中心对准。像素子阵列是例如像素132的m×n阵列，其中m和n是整数， 其中至少一个大于1。成像透镜将场景120成像到图像传感器130上。图像传感器130还包 括电路138，电路138包括至少一个模数转换器。相机100还可以包括运动传感器106，运 动传感器106可以包括至少一个加速度计。
每个像素132产生与来自被成像到像素阵列132A上的场景120的光的相应强度对应的 相应像素电荷。电路138将每个像素电荷转换为图像190的第一多个像素值194中的相应一 个。像素值194可以存储在存储器104中。相机100可以包括被配置为显示图像190的显示 器139。像素值194可以以诸如JPEG或TIFF的图像文件格式或诸如TIFF/EP或数字负片(DNG)的原始图像格式存储在存储器104中。
在场景120中，未示出的室内照明照亮人121面对相机的正面，而日光照亮阳光场景 123。因此，人121和阳光场景123具有各自不同的光度。由于直射日光通常显著地比室内照明明亮，所以阳光场景123的光度远远超过人121的度，使得场景120具有光度的高动态范围。标准数字成像能够使用针对人121或阳光场景123的任一(但不是两者)光度进行优化后的单个曝光值来捕获场景120。即使当针对人121的光度优化了曝光值时，曝光时间也可能太长而无法捕获人121的清晰图像，例如如果人121正在移动。
与图像传感器像素相关联的曝光值可以取决于图像传感器像素的以下属性中的至少一 个：模拟增益和曝光持续时间。在本文中，对于设置为第一曝光值的第一像素以及设置为超 过第一曝光值的第二曝光值的第二像素而言，可以将第二像素设置为超过与第一像素相关联 的第一曝光持续时间(和/或增益)的第二曝光持续时间(和/或增益)。
相机100可以被配置为将不同的曝光时间分配给场景区域125-127中的每个。由于场景 区域126具有较高的光度，因此分配给场景区域125的曝光时间可以超过分配给场景区域 126的曝光时间。场景区域127包括分别包括天空124和人121的两个子区域127H和127L。 子区域127H的光亮度明显高于子区域127L的光亮度。当相机100将曝光时间分配给针对 天空124优化后的场景区域127并且因此分配给子区域127H时，子区域127L中的人121的图像曝光不足，并且因此经受低信噪比(SNR)。当相机100将曝光时间分配给针对人 121优化后的场景区域127并且因此分配给子区域127L时，子区域127H中的天空124的图 像被过度曝光，并且因此经受饱和。
图2是包括CFA 240的图像传感器230的区域的示意性平面图。CFA 240是CFA 140的 示例。虽然图2将CFA 240图示为具有红色、绿色和蓝色滤色器的拜耳滤色器阵列，但是CFA 240可以具有以不同图案布置的红色、绿色和蓝色滤色器，或者CFA 240可以包括具有不同的相应透射光谱的滤色器。这些透射光谱可以对应于青色、品红色、黄色和全色(例如白色)光。图像传感器230和CFA 240分别是图像传感器130和CFA 140的示例。
图像传感器230和CFA 240相对于x-y坐标系209定位。坐标(x，y)表示每个滤色器和其下方像素的位置，其中坐标系209的原点(x＝y＝0)可以对应于像素阵列132A内的 任何像素。在本文中，所有坐标被表示为(x，y)坐标，即其中首先列出x值。同样在本文 中，标记α(i，j)指的是在坐标(x，y)＝(i，j)处的滤色器，其中α表示滤色器的透射 光谱，并且i和j是整数。例如，α是分别代表红色、绿色、蓝色、青色、品红色、黄色和透 明(全色)滤色器的r、g、b、c、m、y和k中的一个。坐标对上的下标指示覆盖位于该坐 标处的像素132的CFA 240的类型滤色器。例如，像素p(x，y)α表示位于坐标(x，y)处 的像素132，像素132被具有由α表示的透射光谱的滤色器覆盖。像素p(x，y)α产生主像素 值Vα(x，y)。
像素阵列134A包括多个像素子阵列234(1，2，...，S)，其中S是正整数。例如，可 以将S个像素子阵列234布置为m×n阵列，其中m和n是正整数，并且S＝m·n。每个像素子 阵列234具有像素尺寸Px×Py，其中整数Px和Py每一个可以是二的幂、或两个二的幂之和。 在实施例中，Py等于16且Px等于24或32。
图3是与图2中所示的像素阵列134A的区域相对应的原始图像310的区域的示意性平 面图。原始图像310是图像190的示例，并且可以包括多个像素值Vα1、多个像素值Vα2和多个像素值Vα3。像素值V的每个下标α1、α2、α3对应于上面描述的透射光谱α中的一个。原 始图像310可以包括多个图像区域312(1-S)，使得每个图像区域312(i)对应于像素阵 列134A的相应像素子阵列234(i)，其中整数i满足1≤i≤S。在本文中，附图标记后面的 标记(X1-X2)是表示范围(X1，X1+1，…X2-1，X2)的简写形式，其中X1和X2是整数。
图像区域312中的一个通过包括以第一光度为特征的第一子区域和以远远超过第一光 度的第二光度为特征的第二子区域而可以类似于图1中的场景区域127。第二光度可以超过 第一光度至少两倍。
每个主像素值Vr由CFA 140的红色滤色器下方的相应像素132生成。每个主像素值Vg由 CFA 140的绿色滤色器下方的相应像素132生成。每个主像素值Vb由CFA 140的蓝色滤色器 下方的相应像素132生成。例如，在相应坐标(3，4)、(3，6)和(5，6)处的主像素值 Vr、Vg和Vb是通过在相同的相应坐标(3，4)、(3，6)和(5，6)处的图像传感器230的 相应像素生成的。通过更简洁来表达、并且引入本文中所使用的标记法则，主像素值Vr(3， 4)、Vb(3，6)和Vg(5，6)是通过图像传感器230的相应像素p(3，4)r、p(3，6)g和 p(5，6)b生成的。
图4是被配置为从第一图像410生成HDR图像498的曝光控制器400的示意性功能框图。曝光控制器400可以在相机100内实现。图像190是第一图像410的示例。HDR图像498可以通过以下方式生成：利用图像传感器230捕获第一图像410，并且针对图像传感器 230(图2)的每个像素子阵列234，基于第一图像410的特征确定多个曝光值486，并且接 下来使用曝光值486捕获HDR图像498。随后是曝光控制器400的描述，其可以实现图5 中描述的用于捕获诸如图像498的高动态范围图像的方法。
曝光控制器400包括处理器402和存储软件420的存储器404，软件420包括计算机可 读指令。处理器402可以是诸如图像处理器的数字信号处理器。存储器404可以是暂时的和 /或非暂时的，并且可以包括易失性存储器(例如，SRAM、DRAM、VRAM或其任何组合) 和非易失性存储器(例如，FLASH、ROM、磁性介质、光学介质或其任何组合)中的一个 或者两者。
存储器404和处理器402可以分别用作图1的相机100的存储器104和处理器102。处理器402适于执行指令以执行如本文描述的曝光控制器400的功能。存储器404可以存储先前图像408、第一图像410、曝光计数481、曝光值482、最小曝光差484、曝光值486和中 间输出440中的至少一个。当由处理器402执行时，软件420产生中间输出440，中间输出 440可以包括直方图数据411、特征噪声442、色散443、特征饱和度444、特征不一致性446、 曝光计数485和曝光值486中的至少一个。存储器404可以存储多个中间输出440，每个中 间输出440对应于图3的原始图像310的相应图像区域312。因此，中间输出440可以被索 引为中间输出440(1，2，...，S)。
第一图像410是图像190的示例，并且包括多个图像区域412(1，2，...，S)，每个 图像区域对应于图2的图像传感器230的相应像素子阵列234(1，2，...，S)。每个图像 区域412由相应像素子阵列234(i)生成的相应像素值集合414(i)表示，其中整数i是像 素子阵列索引，1≤i≤R。每个像素值集合414(i)包括等于像素子阵列234(i)的像素数 量的多个像素值。像素子阵列234(i)的每个像素被设置为N1个曝光值482(1，2，...，N1) 中的一个，其中N1在本文中被称为曝光计数，并且曝光计数481是等于曝光计数N1的整数。
曝光计数485是在本文中也称为N2的整数。软件420可以例如从第一图像410生成曝光 值486，在这种情况下，曝光值486可以是中间输出440的一部分。曝光值486包括N2个曝 光值，其中的一个曝光值486(d)与每个曝光值482的相差超过最小曝光差484。索引d是小于或等于N2的正整数。因此，曝光值486包括未包括在曝光值482中的曝光值486(d)。 最小曝光差484可以大于或等于曝光值482的最小值的50％。曝光值486可以包括未包括在 曝光值482中的曝光值。
存储器404可以存储多个候选曝光值480，其包括曝光值482和曝光值486。候选曝光 值480可以是以下中的至少一个：独立于第一图像410的，独立于存储在存储器404中或由 处理器402处理的任何图像的，以及在捕获第一图像410之前确定的。可以限制候选曝光值 480的最大值，以确保遵守用于捕获的运动伪像和帧速率限制。相机100可以包括允许用户 设置最大值的功能。
每个曝光值482(i)可以表示多个不重叠的曝光值范围中的相应一个，使得将图像传感 器130的两个像素设置为相同的曝光值482导致两个像素在相同曝光值范围中具有各自的曝 光值，但不一定相等。类似地，每个曝光值486(i)可以表示多个不重叠的曝光值范围中的 相应一个，使得将图像传感器130的两个像素设置为相同的曝光值486会导致两个像素在相 同的曝光值范围内具有各自的曝光值，但不一定相等。
存储器404可以存储最小信噪比452。在成像场景中，稍微可接受的信噪比和良好的信 噪比的示例分别是三和十。最小信噪比452可以大于或等于三。存储器404可以存储图像区 域412(i)的特征噪声442作为中间输出440的一部分。特征噪声442可与图像区域412(i) 的部分或全部的平均SNR相关。
存储器404可以存储最大色散453。最大色散453可以是像素值或光亮度值的统计色散。 超过最大色散453的图像区域412(i)的像素值或光亮度值的统计色散可以指示图像区域 412(i)具有足够高的动态范围，使得软件420增加图像区域412(i)的曝光计数。最大色 散453可以包括标准偏差、方差、范围、四分位距(interquartile range)、平均绝对差、绝 对中位差(median absolute deviation)、平均偏差或其组合。
存储器404可以存储最大饱和度454，其可以是像素值集合414的饱和的和/或接近饱和 的像素值的最大允许数量或最大允许百分比。存储器404可以存储图像区域412(i)的特征 饱和度444作为中间输出440的一部分。特征饱和度444可以与图像区域412(i)的部分或 全部的平均饱和度相关。
在实施例中，曝光值486包括曝光值486(1)、486(2)和486(3)。在实施例中， 设置为曝光值486(3)的每个像素与也设置为曝光值486(3)的至少一个其他像素侧边相 邻(side-adjacent)。例如参见图6的水平相邻的像素对611。与单个孤立像素具有不同于其各自相邻像素中的每一像素的曝光值的情况相比，中间曝光像素的这种配对所需的存储(位 和空间区域两者)更少。配对中间曝光像素的第二个好处是，当像素尺寸足够小时，具有中 间曝光值(诸如曝光值486(3))的单个孤立像素不是足够大到对应于需要中间曝光值的 场景区域。
当选择像素布置以分配局部曝光时，可以考虑多种因素以提供有利的解决方案。在实施 例中，将邻近像素(或像素子阵列)归组以具有相同曝光提供了基于局部场景信息提供有效 曝光的能力。邻近像素的示例包括相邻像素或穿插像素，诸如一对像素之间有一个到三个像 素(垂直、水平或对角地或其组合)。这种穿插像素对允许在像素对之间的曝光值的插值。 在上面的示例中，像素子阵列可以代替像素，使得两个像素子阵列是邻近的，如此段落中所 描述的。
将多个邻近的像素，例如像素子阵列234，分配给相同的曝光减少了对于存储曝光值(例 如，曝光值486)的局部存储需求。可以实现在较小的曝光控制区域而需要较高密度的局部 曝光存储、与较大的局部曝光控制区域而允许在设备布局中更轻松地创建存储要求之间的合 理平衡。另外，当仅仅此局部曝光集合提供用于渲染局部场景的最佳信息时，可以设计像素 在该局部曝光集合(例如，像素子阵列234)内的确切放置，以提供对图像细节进行插值的 最佳能力。
在实施例中，还在考虑曝光控制和存储要求的情况下，对局部像素块内的可能曝光数量 进行优化和/或配置。局部像素组，例如像素子阵列234，由局部存储块提供服务，并且共享 存储块的局部像素组可以被分派到一个、两个、三个或更多个不同的曝光值(例如，N2≥1)。 可以优化对于不同曝光值的数量的选择，以提供对区分相对亮区域和相对暗区域的边缘进行 处理的灵活性。(例如，被室内照明照亮的窗框，其中窗户显示明亮的室外照明)。对于静 态场景，最少两个不同的曝光可以应用于每个局部区域/存储块组合。当场景中存在明显的 相机移动或动态对象时，则软件420可以生成等于三的曝光计数485。
在实施例中，还基于像素和存储元件的相对尺寸的实际考虑，对共享存储块的曝光分配 的像素数量进行优化。由大像素集合共享存储块使得更容易实现以多种曝光选项提供存储 块。(例如，共享尺寸为40×30的公共曝光存储的局部像素集合)。将存储块/像素集合分 组为较小的集合增强了针对场景内容中的局部变化来优化曝光的能力，但是将需要更先进的 技术和/或更困难的布局以提供存储和所需的像素连接。例如，至少一个像素子阵列234可 以是具有共享存储的12×8像素块，该共享存储为像素内的三个曝光子集合提供服务。
图5是示出用于捕获高动态范围图像的方法500的流程图。方法500例如在曝光控制器 400的一个或多个方面内实现。例如，方法500通过处理器402执行软件420的计算机可读 指令来实现。方法500包括步骤510、512、520、530、540、560和570中的至少一个。
步骤510包括在存储器中存储表示由包括像素阵列的图像传感器捕获的第一图像的多 个像素值。在步骤510之前，多个像素值中的每个已经由像素阵列的像素子阵列的第一多个 像素中的相应一个生成。在生成多个像素值之前，已经将第一多个像素中的每个设置为N1个 第一曝光值中的一个，N1≥1。在步骤510的示例中，曝光控制器400存储像素值集合414 (1)。像素值集合414(1)的每个像素值由像素子阵列234(1)的像素生成，其被设置为曝光值482(1-N1)中的一个。
当像素子阵列除了第一多个像素之外还包括额外多个像素，该额外多个像素的每一个位 于所述第一多个像素的相应像素对之间时，应用步骤512。步骤512包括从存储器读取多个 像素值，同时跳过由所述额外多个像素产生的额外像素值。在步骤512的示例中，像素子阵 列是包括多个像素podd(x，y)和多个像素peven(x，y)的像素子阵列234(i)。由podd(x，y) 表示的像素位于坐标(x，y)处，其中x和y两者是整数，x+y之和是奇数整数。由peven(x，y)表示的像素位于坐标(x，y)处，其中x和y两者是整数，而x+y之和是偶数整数。在步骤 512中，第一多个像素可以是podd(x，y)，而额外多个像素可以是peven(x，y)。
步骤520包括基于所述多个像素值确定曝光计数N2。在步骤520的示例中，软件420基于像素值集合414(1)确定曝光计数485，其中曝光计数485等于N2。曝光计数485确定 曝光值486的曝光值(N2)的数量。
步骤520可以包括步骤521、522、523、524、526和528中的至少一个，用于确定曝光计数N2。步骤521包括从多个像素值生成直方图数据。在步骤521的示例中，软件420从像 素值集合414(1)生成直方图数据441。软件420部分地根据直方图数据441的特征来确定 曝光计数485。例如，当直方图数据441具有、或最适合于(像素值集合414(1))的多模 态分布(multimodal distribution)时，曝光计数485可以大于或等于该多模态分布的模态数 量。
回想一下，像素值集合414(1)是由像素子阵列234(1)生成的。当对应于像素值集合414(1)的直方图数据441是多模态分布(例如，双模态分布)时，软件420可以增加 与紧邻像素子阵列234(1)的像素子阵列234相关联的曝光计数485。这些相邻像素子阵列 用作“缓冲子阵列”，当在第一图像410和HDR图像498的相应捕获之间的时间间隔内移 动相机100时，缓冲子阵列可以防止曝光过度或曝光不足。
步骤522包括将边缘检测方法应用于所述多个像素值，其中步骤520当检测到边缘时， 设置N2＞N1，并且步骤520当没有检测到边缘时，设置N2≤N1。在步骤522的示例中，软件420将边缘检测方法应用于图1的场景区域127，场景区域127是图像区域412(1)的示 例。当软件420在图像区域412(1)中检测到边缘时，软件420将曝光计数485设置为超 过曝光计数481的整数。当软件420在图像区域412(1)中没有检测到边缘时，软件420 将曝光计数485设置为小于或等于曝光计数481的整数。
当相机100包括运动传感器106时，可以应用步骤523，运动传感器106可以生成与相 机100的运动相关联、并因此与图像传感器230的运动相关联的运动数据406。步骤523包括测量图像传感器的运动，其中曝光计数N2至少部分地通过所测量的图像传感器的运动确定。在步骤523的示例中，软件420基于由运动传感器106生成的运动数据406来确定曝光 计数485。
当第一多个像素包括第一亚多个像素，所述第一亚多个像素被配置为检测相同光谱范围 中的光并且生成多个像素值中的相应第一亚多个像素值时，可以应用步骤524。例如，第一 亚多个像素可以是相同类型的滤色器下方的像素子阵列234(i)的两个或更多个像素，例如 如图2所示的红色(R)、绿色(G)或蓝色(B)。步骤524包括计算第一亚多个像素值的 色散。当所述色散超过阈值时，步骤520包括确定超过N1的曝光计数N2。当所述色散不超过 所述阈值时，步骤520包括确定小于或等于N1的曝光计数N2。在步骤524的示例中，软件420计算像素值集合414(1)的色散443。当色散443超过最大色散453时，软件420将曝 光计数485设置为超过曝光计数481的整数。当色散443不超过最大色散453时，软件420 将曝光计数485设置为小于或等于曝光计数481的整数。
步骤526包括确定多个像素值中的作为饱和像素值的像素值的数量。当饱和像素值的数 量超过阈值时，步骤520包括将N2设置为超过N1的值。当饱和像素值的数量小于阈值时，步 骤520包括将N2设置为不超过N1的值。当相机100具有等于整数M的位深度时，饱和像素值 等于2M-1。在步骤526中，“饱和像素值”可以由“接近饱和像素值”替代，其中接近饱和像素值与2M-1相差预定值，诸如2M/2、或M的不同函数。
在步骤526的示例中，软件420确定像素值集合414(1)的饱和像素值的数量。当饱和像素值的数量超过最大饱和度454时，软件420将曝光计数485确定为超过曝光计数481的正整数。当饱和像素值的数量不超过最大饱和度454时，软件420将曝光计数485确定为小于或等于曝光计数481的正整数。
当图像传感器在捕获第一图像之前已经捕获了由第一图像捕获的场景的先前图像或包 括由第一图像捕获的场景的先前图像时，可以应用步骤528。步骤528包括将先前图像与第 一图像进行比较，以确定以下运动的存在：(i)场景中的对象运动或(ii)相对于场景的图 像传感器运动，曝光计数N2至少部分地基于对象运动和图像传感器运动中的至少一个的存 在。例如，当检测到对象运动和/或图像传感器运动并且超过运动阈值时，步骤520包括将N2设置为超过N1的值。当没有检测到对象运动和/或图像传感器运动或不超过运动阈值时，步 骤520包括将N2设置为不超过N1的值。
在步骤528的示例中，软件420将先前图像408与第一图像410进行比较。软件420可以将先前图像408的区域与第一图像410的区域进行比较。例如，当步骤520确定像素子阵列234(1)的曝光计数N2时，步骤528可以将先前图像408的区域与第一图像410的区域 进行比较，先前图像408的区域与第一图像410的区域中的每一个对应于图像区域312(1) 及其一个或多个相邻图像区域。
步骤530包括基于所述多个像素值确定第二多个曝光值中的每个曝光值。在步骤530的 示例中，软件420基于像素值集合414(1)确定曝光值486。软件420可以通过基于像素值 集合414(1)选择多个候选曝光值480来确定曝光值486。
步骤530可以包括上述步骤521以及步骤534中的至少一个。步骤534包括至少部分地 基于在步骤521(作为步骤520的一部分或作为步骤530的一部分)中生成的直方图数据，确定第二多个曝光值中的每个。在步骤534的示例中，软件420至少部分地基于直方图数据441确定曝光值486。
步骤540包括将第一多个像素中的每个像素设置为数量为N2的第二多个曝光值中的一 个。对于第二多个曝光值中的每个曝光值，将第一多个像素中的至少一个像素设置为所述曝 光值。第二多个曝光值中的一个曝光值与N1个第一曝光值中的每个曝光值相差超过阈值，诸 如最小曝光差484。在步骤540的示例中，曝光控制器400将像素子阵列234(1)的每个像 素设置为曝光值486中的一个曝光值。
步骤540可以包括步骤542或步骤544，可以在第二多个曝光值包括第一曝光值和第二 曝光值时应用步骤542或步骤544。步骤542和544包括将第一百分比的第一多个像素设置 为第一曝光值，并且将第二百分比的第一多个像素设置为第二曝光值。步骤542导致第一百 分比和第二百分比相差小于二十个百分点。步骤544导致第一百分比和第二百分比相差超过 五十个百分点。在步骤542和544的示例中，软件420将第一百分比P1的像素子阵列234(1) 设置为曝光值486(1)，并且将第二百分比P2的像素子阵列234(1)设置为曝光值486(2)。 在步骤542的此示例中，|P2-P1|小于二十个百分点。在步骤544的此示例中，|P2-P1|超过 五十个百分点。
步骤540还可以包括步骤550。当(i)曝光计数481大于或等于2(N1≥2)，(ii)N1曝光值包括“短”曝光值E1和“长”曝光值E2(E1＜E2)，第一百分比的第一多个像素被设置 为曝光值E1，并且第二百分比的第一多个像素被设置为曝光值E2，以及(iii)曝光计数485 超过曝光计数481(N2＞N1)时，可以应用步骤550。N2个曝光值包括曝光值E1、E2和E3。 步骤550包括将第三百分比的第一多个像素设置为曝光值E3，其中E1＜E3＜E2。在步骤550 的示例中，软件420将第三百分比P3的像素子阵列234(1)设置为曝光值486(3)，所述 曝光值486(3)超过曝光值486(1)并且小于曝光值486(2)。
步骤550可以包括步骤552、554和558中的至少一个。步骤552包括确定指示第一亚多个像素值的信噪比级别的噪声度量。在步骤552的示例中，软件420确定设置为曝光值E1的像素值集合414(1)的像素值的特征噪声442。
步骤554包括确定指示第二亚多个像素值的饱和度的饱和度度量。在步骤554的示例中， 软件420确定设置为曝光值E2的像素值集合414(1)的像素值的特征饱和度444。
步骤556包括确定指示(i)由第一亚多个像素值预测的第一场景亮度和(ii)由第二亚 多个像素值预测的第二场景亮度的一致性的不一致性度量。第一场景亮度可以等于第一亚多 个像素值的除以对应于低曝光值E1的曝光时间的平均像素值或像素电流，或与所述平均像素 值或像素电流成比例。第二场景亮度可以等于第二亚多个像素值的除以对应于高曝光值E2的 曝光时间的平均像素值或像素电流，或与所述平均像素值或像素电流成比例。在没有诸如噪 声和饱和度之类的图像伪影的情况下，第一场景亮度和第二场景亮度应大致相等(例如，小 于10％的相对差异)或至少是不对立的(一致的)，因为第一百分比的第一多个像素和第 二百分比的第一多个像素检测到来自场景同一部分的光。饱和度可对第二场景亮度施加下 限，在这种情况下，第一场景亮度应大于或等于下限。否则，第一场景亮度和第二场景亮度 不一致。在步骤556的示例中，软件420确定特征不一致性446。
步骤558包括在设置第三百分比的步骤中，当噪声度量、饱和度度量和不一致性度量中 的每一个均超过相应的阈值时，将第三百分比的第一多个像素设置为曝光值V3。在步骤558 的示例中，当在步骤552中确定的特征噪声442超过最小信噪比452、在步骤554中确定的 特征饱和度444超过最大饱和度454、以及在步骤556中确定的特征不一致性446超过最大 不一致性456时，软件420将像素子阵列234(1)的第三百分比P3设置为曝光值486(3)。
步骤560包括针对像素阵列的至少一个额外像素子阵列，重复步骤510、512、520、530 和540中的至少一个。在步骤560的示例中，软件420针对像素子阵列234(2，3，...S) 中的至少一个，执行步骤510、512、520、530和540中的至少一个。
步骤570包括利用图像传感器，利用根据步骤540设置的多个像素来捕获第二图像。在 步骤540的示例中，相机100捕获HDR图像498。
图6是图像传感器630的包括多个像素子阵列634的区域的示意性平面图，其中的每个 像素子阵列具有数量相等的短曝光像素和长曝光像素，所述短曝光像素和长曝光像素以跨相 邻像素子阵列634连续的“之字形”图案布置。图像传感器630包括CFA 240，并且是图1 和图2的图像传感器130的示例。每个像素子阵列634是像素子阵列234的示例，并且可以 是方法500的步骤540的结果。当图像传感器230捕获第一图像410时，像素子阵列234中 的至少一个可以是像素子阵列734中的一个。
在本文中，图像传感器的短曝光像素是被设置为比相同图像传感器的长曝光像素的曝光 值或曝光时间小的曝光值或曝光时间的像素。同样在本文中，任何曝光值具有相应曝光时间， 使得当第二曝光值超过第一曝光值时，第二曝光值可以具有超过与第一曝光值对应的第一曝 光时间的相应曝光时间。
图6示出了像素子阵列634(1-4)。每个像素子阵列634包括像素的4×4阵列，每个像 素设置为两个曝光值中的一个，这在图6中通过围绕在像素上方对准的滤色器类型名称(“R”、“G”或“B”)周围的斜对角阴影线的存在(“阴影像素”)或不存在(“非阴 影像素”)来表示。如图6所示，图像传感器630可以具有与按2×2阵列定向的像素子阵列 634(1-4)的平铺对应的曝光值配置。
当捕获图4的第一图像410时，像素子阵列634(1)的阴影像素和非阴影像素可以具有各自的曝光值482(1)和482(2)，其中曝光值482(1)和482(2)相差例如至少10％。 当捕获图4的HDR图像498时，像素子阵列634(1)的阴影像素和非阴影像素可以具有各 自的曝光值486(1)和486(2)，其中曝光值486(1)和486(2)相差例如至少10％。在 每个像素子阵列634中，阴影像素(设置为曝光值482(1))的数量等于非阴影像素(设 置为曝光值482(2))的数量。在不脱离实施例的范围的情况下，子阵列634中的阴影像 素的数量可以不同于非阴影像素的数量。在实施例中，阴影像素的数量相对于非阴影像素的 数量的比率在5和7之间。在实施例中，像素子阵列634中的阴影像素的百分比超过非阴影 像素的百分比五十个百分点以上。
在方法500的实施例中，当(按照步骤520)曝光计数N2＝2时，曝光控制器400将像素 子阵列234(1)的每个像素(按照步骤540)设置为两个曝光值486中的一个，使得像素子阵列234(1)类似于像素子阵列643(2)。
一个或多个像素子阵列634可以包括被设置为第三曝光值的一对相邻像素，所述第三曝 光值例如是曝光值482(3)。曝光值482(3)可以大于曝光值482(1)并且小于曝光值482 (2)，并因此是中间曝光值的示例。例如，像素子阵列634的第一部分可以包括设置为曝光值482(3)的水平相邻的像素对，如像素子阵列634(3)内的水平相邻像素对611所示。 类似地，像素子阵列634的第二部分可以包括设置为曝光值482(3)的垂直相邻像素对， 如像素子阵列634(4)内的垂直相邻像素对612所示。第一部分可以等于第二部分，第一 部分和第二部分的每一个可以在1/8到1/4之间。在实施例中，第一部分和第二部分两者都 等于1/6。
在方法500的实施例中，当(按照步骤520)曝光计数N2＝3时，曝光控制器400将像素子阵列234(1)的每个像素(按照步骤540)设置为三个曝光值486中的一个，使得像素 子阵列234(1)类似于像素子阵列643(3)。
图6示出了像素对611和612，它们分别减少了像素子阵列634中的具有曝光值486(2) (非阴影)和486(1)(阴影)的像素数量。在不脱离其范围的情况下，像素对611和612 可以在空间上移位，使得它们分别减少像素子阵列634中的具有曝光值486(1)和486(2) 的像素数量。
图7是包括多个像素子阵列734的图像传感器730的区域的示意性平面图。图像传感器 730可以包括CFA 240，并且是图1和图2的图像传感器130的示例。每个像素子阵列734是图3的像素子阵列234的示例，并且可以是方法500的步骤540的结果。当图像传感器 230捕获第一图像410时，像素子阵列234中的至少一个可以是像素子阵列734中的一个。
每个像素子阵列734具有第一部分的短曝光像素(阴影)和第二部分的长曝光像素(非 阴影)，其中第一部分可以等于0、1/16或1/8中的一个。每个短曝光像素和每个长曝光像 素可以具有各自的曝光值482(1)和482(2)，其中曝光值482(2)超过曝光值482(1)。 像素子阵列734的任何像素的曝光值可以被修改，以从曝光值482(1)改变到482(2)或 从曝光值482(2)改变到482(1)。例如，尽管图7示出在(x，y)坐标(9，6)和(4， 10)处的像素为非阴影的、并且因此具有曝光值482(2)，但是这两个像素中的一个或两 者的曝光值可以改变为曝光值482(1)。在实施例中，滤色器坐标(4，6)是绿色滤色器 (而不是红色)，并且位于(4，6)和(4，7)处的两个水平相邻像素可以用作相位检测自 动聚焦像素并共享公共微透镜。如图7所示，图像传感器730可以具有与按2×2阵列定向的 像素子阵列734(1-4)的平铺对应的曝光值配置。
特征的组合
在不脱离其范围的情况下，上面描述的特征以及下面要求保护的特征可以以各种方式组 合。以下列举的示例说明一些可能的非限制性组合：
(A1)一种用于捕获高动态范围图像的方法，包括：在存储器中存储多个像素值，所述多个像素值表示由包括像素阵列的图像传感器捕获的第一图像，所述多个像素值中的每个 已经由所述像素阵列的像素子阵列的第一多个像素中的相应一个像素生成，所述第一多个像 素中的每个像素被设置为N1个第一曝光值中的一个，N1≥1。所述方法还包括基于所述多个 像素值确定曝光计数N2。所述方法还包括将所述第一多个像素中的每个像素设置为数量为 N2的第二多个曝光值中的一个，使得对于所述第二多个曝光值中的每个曝光值，所述第一多 个像素中的至少一个像素被设置为所述曝光值，所述第二多个曝光值中的一个曝光值与所述 N1个第一曝光值中的每个曝光值相差超过阈值。所述方法还包括在设置之后，利用所述图像 传感器捕获第二图像。
(A2)方法(A1)还可以包括：基于所述多个像素值，确定所述第二多个曝光值中的每个曝光值。
(A3)方法(A2)还可以包括从所述多个像素值产生直方图数据，以及基于所述直方图数据，确定所述第二多个曝光值中的每个曝光值。
(A4)当所述像素子阵列除了所述第一多个像素之外还包括额外多个像素，所述额外 多个像素的每一个位于所述第一多个像素的相应像素对之间时，方法(A1)-(A3)中的任何方法还可以包括从所述存储器读取多个像素值，同时跳过由所述额外多个像素产生的额外 像素值。
(A5)在方法(A1)-(A4)中的任何方法中，所述确定的步骤可以包括将边缘检测方法应用于所述多个像素值，当检测到边缘时，N2超过N1，以及当未检测到边缘时，N2不超 过N1。
(A6)在方法(A1)-(A5)中的任何方法中，当所述第一多个像素包括第一亚多个像素，所述第一亚多个像素被配置为检测相同光谱范围内的光并且生成多个像素值中的相应的 第一亚多个像素值时所述，确定的步骤可以包括计算所述第一亚多个像素值的色散，当所述 色散超过阈值时，N2超过N1，以及当所述色散小于阈值时，N2不超过N1。
(A7)在方法(A1)-(A6)中的任何方法中，所述确定的步骤可以包括：确定所述多个像素值中的饱和像素值的数量，当所述饱和像素值的数量超过阈值时，N2超过N1，以及当所述饱和像素值的数量小于阈值时，N2不超过N1。
(A8)在方法(A1)-(A7)中的任何方法中，当所述第一图像是场景的图像时，所述确定的步骤可以包括将先前图像与所述第一图像进行比较，以确定以下运动的存在：(i)所述场景中的对象运动，或(ii)相对于所述场景的图像传感器运动，曝光计数N2至少部分地基于对象运动和图像传感器运动中的至少一个的所述存在，所述先前图像包括所述场景并 且是在所述第一图像的捕获之前由所述图像传感器捕获的。
(A9)在方法(A1)-(A8)中的任何方法中，当所述第二多个曝光值包括第一曝光值和第二曝光值时，所述设置的步骤还可以包括将第一百分比的第一多个像素设置为所述第一 曝光值，以及将第二百分比的所述第一多个像素设置为所述第二曝光值，所述第一百分比和 所述第二百分比相差小于二十个百分点。
(A10)当N1≥2，所述N1个曝光值包括曝光值V1和V2，第一百分比的所述第一多个像素具有曝光值V1，第二百分比的所述第一多个像素具有曝光值V2，以及在所述确定的步骤中，N2＞N1，所述N2个曝光值包括曝光值V1、V2和V3，方法(A1)-(A9)中的任何方法还 可以包括将第三百分比的所述第一多个像素设置为曝光值V3，V1＜V3＜V2。
(A11)当所述第一百分比的所述第一多个像素已经生成第一亚多个像素值，所述第二 百分比的所述第一多个像素已经生成第二亚多个像素值时，方法(A10)可以还包括：确定 指示所述第一亚多个像素值的信噪比级别的噪声度量；确定指示所述第二亚多个像素值的饱 和度的程度的饱和度度量；确定指示通过所述第一亚多个像素值预测的第一场景亮度与通过 所述第二亚多个像素值预测的第二场景亮度的一致性的不一致性度量；以及在设置所述第三 百分比的步骤中，当所述噪声度量、所述饱和度度量和所述不一致性度量中的每个均超过相 应阈值时，将所述第三百分比的所述第一多个像素设置为所述曝光值V3。
(A12)在方法(A10)和(A11)中的任何方法中，所述第一百分比和所述第二百分比相差可以小于二十个百分点，并且在设置所述第三百分比的步骤中，所述第三百分比可以小 于二十个百分比点。
(A13)在方法(A1)-(A12)中的任何方法中，所述设置的步骤还可以包括将第一百分比的所述第一多个像素设置为第一曝光值，以及将第二百分比的所述第一多个像素设置为 第二曝光值，所述第一百分比和所述第二百分比相差超过五十个百分点。
(B1)一种图像传感器，包括像素阵列、连接到所述像素阵列的处理器以及存储器。所 述存储器存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器以执 行方法(A1)-(A13)中的任何方法。
在不脱离其范围的情况下，可以对上面方法和系统进行改变。因此应注意的是，包含在 上面描述中或附图中所示的内容应解释为说明性的，而不是限制性的。在本文中，除非另有 说明，否则形容词“示例性”是指用作示例、实例或说明。所附权利要求书旨在覆盖本文描 述的所有通用和特定特征，以及本方法和系统的范围的所有陈述，就语言而言，可以认为其 介于两者之间。

Claims (16)

1.一种用于捕获高动态范围图像的方法，包括：
在存储器中存储多个像素值，所述多个像素值表示由包括像素阵列的图像传感器捕获的第一图像，所述多个像素值中的每个像素值已经由所述像素阵列的像素子阵列的第一多个像素中的相应一个像素生成，所述第一多个像素中的每个像素被设置为N1个第一曝光值中的一个，N1≥1；
基于所述多个像素值确定曝光计数N2；
将所述第一多个像素中的每个像素设置为数量为N2的第二多个曝光值中的一个，使得对于所述第二多个曝光值中的每个曝光值，所述第一多个像素中的至少一个像素被设置为所述曝光值，所述第二多个曝光值中的一个曝光值与所述N1个第一曝光值中的每个曝光值相差超过阈值；以及
在设置之后，利用所述图像传感器捕获第二图像。
2.根据权利要求1所述的方法，还包括：
基于所述多个像素值，确定所述第二多个曝光值中的每个曝光值。
3.根据权利要求2所述的方法，还包括：
从所述多个像素值产生直方图数据；以及
基于所述直方图数据，确定所述第二多个曝光值中的每个曝光值。
4.根据权利要求1所述的方法，其中所述像素子阵列除了所述第一多个像素之外还包括额外多个像素，所述额外多个像素的每一个位于所述第一多个像素的相应像素对之间，以及所述方法还包括：
从所述存储器读取多个像素值，同时跳过由所述额外多个像素产生的额外像素值。
5.根据权利要求1所述的方法，其中所述确定的步骤包括：
将边缘检测方法应用于所述多个像素值，其中当检测到边缘时，N2超过N1，以及当未检测到边缘时，N2不超过N1。
6.根据权利要求1所述的方法，其中所述第一多个像素包括第一亚多个像素，所述第一亚多个像素被配置为检测相同光谱范围内的光并且生成所述多个像素值中的相应的第一亚多个像素值，所述确定的步骤包括：
计算所述第一亚多个像素值的色散，其中当所述色散超过阈值时，N2超过N1，以及当所述色散小于阈值时，N2不超过N1。
7.根据权利要求1所述的方法，其中所述确定的步骤包括：
确定所述多个像素值中的饱和像素值的数量，其中当所述饱和像素值的数量超过阈值时，N2超过N1，以及当所述饱和像素值的数量小于阈值时，N2不超过N1。
8.根据权利要求1所述的方法，其中所述第一图像是场景的图像，所述确定的步骤包括：
将先前图像与所述第一图像进行比较，以确定以下运动的存在：(i)所述场景中的对象运动，或(ii)相对于所述场景的图像传感器运动，其中曝光计数N2至少部分地基于对象运动和图像传感器运动中的至少一个的所述存在，所述先前图像包括所述场景并且是在所述第一图像的捕获之前由所述图像传感器捕获的。
9.根据权利要求1所述的方法，其中所述第二多个曝光值包括第一曝光值和第二曝光值，所述设置的步骤还包括将第一百分比的所述第一多个像素设置为所述第一曝光值，以及将第二百分比的所述第一多个像素设置为所述第二曝光值，所述第一百分比和所述第二百分比相差小于二十个百分点。
10.根据权利要求1所述的方法，其中N1≥2，所述N1个曝光值包括曝光值V1和V2，第一百分比的所述第一多个像素具有曝光值V1，第二百分比的所述第一多个像素具有曝光值V2，以及在所述确定的步骤中，N2>N1，所述N2个曝光值包括曝光值V1、V2和V3，并且还包括：
将第三百分比的所述第一多个像素设置为曝光值V3，V1<V3<V2。
11.根据权利要求10所述的方法，其中所述第一百分比的所述第一多个像素已经生成第一亚多个像素值，所述第二百分比的所述第一多个像素已经生成第二亚多个像素值，并且还包括：
确定指示所述第一亚多个像素值的信噪比级别的噪声度量；
确定指示所述第二亚多个像素值的饱和度的程度的饱和度度量；
确定指示通过所述第一亚多个像素值预测的第一场景亮度与通过所述第二亚多个像素值预测的第二场景亮度的一致性的不一致性度量；以及
在设置所述第三百分比的步骤中，当所述噪声度量、所述饱和度度量和所述不一致性度量中的每个均超过相应阈值时，将所述第三百分比的所述第一多个像素设置为所述曝光值V3。
12.根据权利要求10所述的方法，其中所述第一百分比和所述第二百分比相差小于二十个百分点，以及在设置所述第三百分比的步骤中，所述第三百分比小于二十个百分点。
13.根据权利要求1所述的方法，其中所述设置的步骤还包括：
将第一百分比的所述第一多个像素设置为第一曝光值，以及将第二百分比的所述第一多个像素设置为第二曝光值，所述第一百分比和所述第二百分比相差超过五十个百分点。
14.一种图像传感器，包括：
像素阵列；
处理器，所述处理器连接到所述像素阵列；以及
存储器，用于存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器以：
在存储器中存储多个像素值，所述多个像素值表示由所述图像传感器捕获的第一图像，所述多个像素值中的每个像素值是由所述像素阵列的像素子阵列的第一多个像素中的相应一个像素生成的，所述第一多个像素中的每个像素被设置为N1个第一曝光值中的一个，N1≥1；
基于所述多个像素值确定曝光计数N2；
将所述第一多个像素中的每个像素设置为数量为N2的第二多个曝光值中的一个，使得对于所述第二多个曝光值中的每个曝光值，所述第一多个像素中的至少一个像素被设置为所述曝光值，所述第二多个曝光值中的一个曝光值与所述N1个第一曝光值中的每个曝光值相差超过阈值；以及
在设置之后，利用所述图像传感器捕获第二图像。
15.根据权利要求14所述的图像传感器，其中所述像素子阵列除了所述第一多个像素之外还包括额外多个像素，所述额外多个像素的每一个位于所述第一多个像素的相应像素对之间，以及所述存储器还存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器以：
从所述存储器读取所述多个像素值，同时跳过由所述额外多个像素产生的额外像素值。
16.根据权利要求14所述的图像传感器，其中所述第一多个像素包括第一亚多个像素，所述第一亚多个像素被配置为检测相同光谱范围内的光并且生成所述多个像素值中的相应的第一亚多个像素值，所述存储器还存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器以当确定所述曝光计数N2时：
计算所述第一亚多个像素值的色散，其中当所述色散超过阈值时，N2超过N1，以及当所述色散小于阈值时，N2不超过N1。
CN202010504731.5A 2019-06-05 2020-06-05 高动态范围图像传感器和图像捕获方法 Active CN112055136B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/431,887 2019-06-05
US16/431,887 US11102422B2 (en) 2019-06-05 2019-06-05 High-dynamic range image sensor and image-capture method

Publications (2)

Publication Number Publication Date
CN112055136A true CN112055136A (zh) 2020-12-08
CN112055136B CN112055136B (zh) 2023-02-03

Family

ID=73601066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010504731.5A Active CN112055136B (zh) 2019-06-05 2020-06-05 高动态范围图像传感器和图像捕获方法

Country Status (3)

Country Link
US (1) US11102422B2 (zh)
CN (1) CN112055136B (zh)
TW (1) TWI754291B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118870A (zh) * 2021-03-19 2022-09-27 爱思开海力士有限公司 图像处理装置及其操作方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472997B (zh) * 2020-03-31 2022-11-04 北京小米移动软件有限公司 图像处理方法及装置、移动终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284082A (zh) * 2013-07-05 2015-01-14 恒景科技股份有限公司 运动自适应成像控制方法及运动自适应成像系统
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same
US20150256736A1 (en) * 2014-03-05 2015-09-10 Sony Corporation Imaging device
CN106412447A (zh) * 2015-07-31 2017-02-15 广达电脑股份有限公司 曝光控制系统及其方法
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
US10084967B1 (en) * 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
JP5247397B2 (ja) 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8873882B2 (en) 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
EP2974280B1 (en) 2013-03-15 2021-11-24 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
JP6417809B2 (ja) 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
CN108632537B (zh) 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284082A (zh) * 2013-07-05 2015-01-14 恒景科技股份有限公司 运动自适应成像控制方法及运动自适应成像系统
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same
US20150256736A1 (en) * 2014-03-05 2015-09-10 Sony Corporation Imaging device
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
CN106412447A (zh) * 2015-07-31 2017-02-15 广达电脑股份有限公司 曝光控制系统及其方法
US10084967B1 (en) * 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118870A (zh) * 2021-03-19 2022-09-27 爱思开海力士有限公司 图像处理装置及其操作方法
CN115118870B (zh) * 2021-03-19 2024-06-07 爱思开海力士有限公司 图像处理装置及其操作方法

Also Published As

Publication number Publication date
TW202046704A (zh) 2020-12-16
US20200389585A1 (en) 2020-12-10
US11102422B2 (en) 2021-08-24
CN112055136B (zh) 2023-02-03
TWI754291B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
US10425599B2 (en) Exposure selector for high-dynamic range imaging and associated method
CN101816171B (zh) 用于增强图像动态范围的多重曝光模式
EP2415254B1 (en) Exposing pixel groups in producing digital images
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
US8164651B2 (en) Concentric exposure sequence for image sensor
US8818085B2 (en) Pattern conversion for interpolation
US8013907B2 (en) System and method for adaptive local white balance adjustment
CN107809602B (zh) 去除鬼伪影的方法和鬼伪影去除器
WO2008156232A1 (en) Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
CN105578006A (zh) 成像方法、成像装置及电子装置
CN112055136B (zh) 高动态范围图像传感器和图像捕获方法
CN108353133B (zh) 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
CN110996015B (zh) 空间多重曝光
US10546369B2 (en) Exposure level control for high-dynamic-range imaging, system and method
CN111885281A (zh) 图像处理
CN112055137B (zh) 高动态范围图像传感器和图像捕获方法
US10447951B1 (en) Dynamic range estimation with fast and slow sensor pixels
JP2012119780A (ja) 撮像装置、撮像方法及びプログラム
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
JP5794413B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant