CN107529027A - 双模式图像传感器和使用双模式图像传感器的方法 - Google Patents

Abstract

本申请涉及双模式图像传感器和使用双模式图像传感器的方法。图像传感器包括片上感测阵列、片上模拟向数字转换器和片上处理器。传感器阵列具有离散传感器元件的行和列。双模式图像传感器具有场景感测模式和图像捕获模式，场景感测模式和图像捕获模式使用成像光学器件的相同集合。处理器包括双现场寄存器；一个用于场景感测模式并且另一个用于图像捕获模式。场景感测模式配置为将对象感测、运动检测、焦点评估和光照测量的结果输出给模拟向数字转换器。图像捕获模式配置为将所捕获的图像输出给模拟向数字转换器，模拟向数字转换器配置为将数字数据发送给处理器。处理器配置为基于场景感测模式的输出结果而从场景感测模式切换到图像捕获模式。

Description

双模式图像传感器和使用双模式图像传感器的方法

技术领域

本发明涉及成像传感器，并且特别地涉及其中两个模式使用成像光学器件的公共集合的双模式图像传感器。

背景技术

一般而言，成像系统（包括数字相机）要求分离的传感器以进行场景感测、IR运动感测、超声距离感测、焦点感测以及专用聚焦像素。这些分离的传感器提供关于对象检测、

以及运动感测、聚焦评估、曝光测量的信息和其它信息。这些分离的传感器使用用于每一个功能的分离光学器件。这增加了系统尺寸并且还引入了成像光学器件与感测光学器件之间的残留误差。

一些传感器使用片上聚焦像素（焦点检测像素）来提供聚焦信息（诸如对蜂窝电话应用中的自动聚焦像素进行相位检测），而大部分类似相机使用图像分析进行评估聚焦。相位检测聚焦像素使用传感器阵列上的图像区域来实现更高的聚焦速度，而图像分析聚焦可能用相对较慢的聚焦而具有真实完整的分辨率。

因此，存在针对一种具有单个成像光学器件的成像传感器的需要，所述成像传感器可以提供由成像系统要求的所有功能。

发明内容

因而，在一个方面中，本发明涵盖了一种具有用于曝光、增益、时钟、帧速率、子采样和分箱（binning）的控制的双模式图像传感器。

在示例性实施例中，双模式图像传感器包括成像光学器件的集合、芯片上的感测阵列、将模拟值转换成数字数据的芯片上的模拟向数字转换器、以及处理数字数据的芯片上的处理器。传感器阵列具有离散传感器元件的行和列。传感器阵列配置为通过成像光学器件接收光。处理器提供有双现场寄存器。双模式图像传感器具有场景感测模式和图像捕获模式。场景感测模式和图像捕获模式使用成像光学器件的集合。双现场寄存器中的一个寄存器用于场景感测模式，并且双现场寄存器中的第二个寄存器用于图像捕获模式。场景感测模式配置为将对象感测、运动检测、焦点评估和光照测量的结果输出给模拟向数字转换器。图像捕获模式配置为将所捕获的图像输出给模拟向数字转换器。模拟向数字转换器配置为将数字数据发送给处理器。处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果的数字数据而从场景感测模式切换到图像捕获模式。

在双模式图像传感器的另一个示例性实施例中，场景感测模式具有用于使用传感器阵列以用于行扫描或区域扫描的扫描的传感器配置。行扫描可以是单行、多行或者分离的多行扫描。区域扫描可以是单区域或者多区域扫描。

在双模式图像传感器的另一个示例性实施例中，图像捕获模式使用传感器阵列的完整分辨率来提供图像数据。

在双模式图像传感器的另一个示例性实施例中，场景感测模式在低时钟频率之下。

在双模式图像传感器的另一个示例性实施例中，处理器提供场景分析并且基于来自场景感测模式的数字数据而将结果重新映射至传感器输出。

在双模式图像传感器的另一个示例性实施例中，处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果指示没有感测到运动的数字数据而在电力节省模式中操作双图像传感器。

在双模式图像传感器的另一个示例性实施例中，成像光学器件提供有红外光照滤波器。处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果指示低光条件的数字数据而激活红外光照滤波器。

在双模式图像传感器的另一个示例性实施例中，处理器提供有用于存储感测输入和输出的另外的寄存器。处理器还提供有内部集成电路。所述另外的寄存器是利用内部集成电路可访问的。

在双模式图像传感器的另一个示例性实施例中，处理器提供有对象检测以便确定来自数字数据的输出帧之间的差异。处理器还提供有对象速度矢量算法以便针对运动检测而使来自数字数据的输出帧之间的差异相关。处理器配置为基于对象检测和运动检测而从场景感测模式切换到图像捕获模式。

在又一个示例性实施例中，双模式图像传感器进一步包括输出管脚。输出管脚电气连接到处理器的输出。输出管脚由处理器配置用于基于双模式图像传感器处在图像捕获模式中而输出图像数据、像素时钟、水平同步和竖直同步。输出管脚由处理器配置用于基于双模式图像传感器处在场景感测模式中而平均场景光照水平、x和y运动速度以及聚焦信号。

在双模式图像传感器的另一个示例性实施例中，图像捕获模式和场景感测模式同时操作。处理器配置为分析场景感测数据。处理器还配置为基于场景感测数据来控制增益、曝光、变焦、自动聚焦和图像处理校正，以改进图像捕获模式数据。

在双模式图像传感器的另一个示例性实施例中。处理器提供有附加的寄存器以便存储场景感测数据。处理器还提供有内部集成电路。内部集成电路提供有对存储场景感测数据的寄存器的访问。场景感测数据对于双模式图像传感器的用户而言可访问。场景感测数据对于所述用户而言可访问，从而使其添附到可用作输出的视频数据流和图像数据文件。

在双模式图像传感器的另一个示例性实施例中，图像捕获模式和场景感测模式交替操作。场景感测模式在长的图像捕获帧之间的短的帧时段内进行操作。处理器配置为分析场景感测数据。处理器还配置为基于场景感测数据来控制增益、曝光、变焦、自动聚焦和图像处理校正，以改进图像捕获模式数据。

在另一个方面中，本发明涵盖了一种用于使用双模式图像传感器的过程，所述双模式图像传感器具有用于图像捕获模式和场景感测模式的成像光学器件的单个集合。

在过程的示例性实施例中，步骤包括：初始化图像传感器；提供用于图像捕获模式的激活准则；初始化场景感测模式；在场景感测模式中提供关于对象感测、运动检测、焦点评估和光照测量的数据；确定所提供的数据是否满足激活准则；基于所提供的数据满足激活准则而触发图像捕获模式；基于所提供的数据不满足激活准则而继续场景感测模式；捕获图像；输出所得图像；分析所得图像；基于所得图像的分析来确定图像捕获是否应当重复；以及基于在确定图像捕获是否应当是重复步骤时的肯定确定而重复捕获图像的步骤。

在另一个示例性实施例中，过程还包括以下步骤：在确定图像捕获是否应当重复的步骤之后，基于在确定图像捕获是否应当是重复步骤时的否定确定而重新初始化场景感测模式。

在过程的另一个示例性实施例中，初始化传感器的步骤之前有为双模式图像传感器加电的步骤。

在过程的又一个示例性实施例中，初始化步骤由图像运动传感器激活。

本发明的前述说明性总结和其它示例性目标和/或优点，以及实现所述总结、目的和/或优点的方式，进一步在接下来的具体实施方式及其附图中解释。

附图说明

图1示意性描绘了依照本发明的双模式图像传感器的布局的一个实施例。

图2示意性描绘了依照本发明的可能的场景感测模式扫描配置。

图3示意性描绘了图像捕获模式中的双模式传感器的输出管脚布局的示例性实施例。

图4示意性描绘了场景感测模式中的双模式传感器的输出管脚布局的示例性实施例。

图5示意性描绘了本发明的双模式传感器的工作流程的示例性实施例。

图6示意性扩展了图5的处理器，以描绘本发明的双模式传感器的处理器中的工作流程的示例性实施例。

图7示意性扩展了图6的处理器的分析部分（analysis section），以描绘本发明的双模式传感器的处理器中的分析的工作流程的示例性实施例。

图8示意性描绘了依照本发明的双模式图像传感器的过程的示例性实施例。

具体实施方式

本发明涵盖了一种双模式图像传感器。图1图示了依照本发明的双模式图像传感器（10）的示例性实施例的布局。参照图1，双模式图像传感器（10）提供有传感器阵列（20）、模拟向数字（A/D）转换器模块、时序模块（24）、模拟信号处理模块（26）、数字逻辑模块（28）、处理器（50）和输出管脚（30）。数字逻辑（28）包括接口、时序、处理和输出功能。时序模块（24）包括时序和时钟控制，以及曝光、帧速率、子采样和分箱控制。感测阵列（20）使用像素或感测阵列（20）上方的成像光学器件（未示出）的集合。所有在此之前的组件处在相同芯片（21）上。感测阵列（20）具有如本领域中已知的离散传感器元件（未示出）的行和列。传感器阵列（20）配置为通过成像光学器件接收光。

双模式传感器（10）提供有场景感测模式和图像捕获模式，所述场景感测模式和图像捕获模式将结合其它图更加详细地讨论。场景感测模式和图像捕获模式使用成像光学器件的集合；也就是说，成像光学器件的相同集合。

现在参照图2，传感器阵列（20）以用于场景感测模式的各种配置而示出。场景感测模式具有使用传感器阵列（20）用于行扫描或区域扫描的传感器配置。传感器阵列（20）配置：单行场景感测（20a）、多行场景感测（20b）和分离的多行场景感测（20c）是行扫描配置。单区域场景感测（20d）和多区域场景感测（20e）是区域扫描配置。

在另一个示例性实施例中，双模式传感器（10）的输出管脚（30）由处理器（50）根据传感器（10）正在操作的模式来配置。例如，参照图3，双模式传感器（10）示出有配置用于完整分辨率（20f）的图像捕获模式传感器阵列、以及输出管脚（30）。用于图像捕获模式（30a）的输出管脚D0-D7配置为输出图像数据和像素时钟、水平和竖直同步。参照图4，双模式传感器（10）描绘有配置用于多区域场景感测（20e）的传感器阵列。相同输出管脚（30）现在由处理器基于传感器正处在场景感测模式中而配置为场景感测模式输出管脚（30b），其中D0-D7输出平均场景光照水平并且提供用于x和y运动速度、聚焦（距离）和运动感测输出的管脚。

现在参照图5，将以更加完整的细节来讨论双模式图像传感器（10）的组件和操作。感测阵列（20）可以配置用于图像捕获模式（20f）或场景感测模式（20g）。在示例性实施例中，通过图像捕获模式（20f）和场景感测模式（20g）之间的虚线示出，感测阵列（20）可以在模式之间切换，或者甚至使一个配置叠加在另一个配置上，如将在此之后进一步详细地讨论的。使用相同感测阵列（20）简化了传感器（10）的结构并且降低了成本。在示例性实施例中，一般而言，传感器将在场景感测模式中操作。感测阵列的输出去往（多个）A/D转换器模块（22）以将模拟信号转换成数字数据。特别地，场景感测模式配置为将对象感测、运动检测、焦点评估和光照测量的结果输出给A/D转换器（22）。当在图像捕获模式中操作时，图像捕获模式配置为将所捕获的图像输出给A/D转换器（22）。在转换之后，将数据发送给处理器（50）。处理器优选地提供有双现场寄存器，一个寄存器用于图像捕获模式（51）并且另一个寄存器用于场景感测模式（52）。双现场寄存器（51和52）在处理器（50）中提供非常快速的存储器，以便通过提供对每一个相应模式中使用的信息和程序的快速访问而加速操作和决定。

处理器（50）配置用于各种功能。首先，处理器（50）配置为在双模式图像传感器（10）处在场景感测模式中时，基于来自A/D转换器的关于输出结果的数据而从场景感测模式切换到图像捕获模式（由决定框（70）描绘）。处理器（50）还配置为将控制信息发送给输出（30）和传感器阵列（20）以用于更好的图像捕获。处理器（50）的这些配置可以通过参照图6更清楚地看出，图6是处理器（50）的工作流程图。处理器（50）从A/D转换器（在该图中没有示出）取入数字数据。处理器（50）利用来自场景感测寄存器（52）的信息来进行场景感测数据的分析。根据所述分析（60），若干输出是可能的。例如，基于来自场景感测模式的数据，完成决定（70）切换到图像捕获模式还是留在场景感测模式中。该分析将在此之后更加完整地说明。另外，分析（60）过程确定控制信息（80），以用于进一步控制来自A/D转换器的基于增益、焦点、光照、变焦和曝光的数据。由此可以做出图像校正（84）。将控制信息（80）发送给输出（30），并且因此感测阵列（20）可以用最佳设置来捕获数据。图像校正信息（84）以及控制信息（80）的最佳设置还可以发送给图像捕获寄存器（51）。

在另一个示例性实施例中，处理器（50）可以进一步提供有附加寄存器（53）以便存储场景感测数据。处理器（50）还提供有内部集成电路（I2C）（54），I2C（54）提供有对存储场景感测数据的寄存器的访问。场景感测数据对于双模式图像传感器的用户是可访问的。这通过用由I2C（54）提供的场景感测数据来添附可用作输出的视频流和/或图像数据文件而实现。

现在参照图7，更加详细地图示在图6中示出的处理器（50）的分析（60）过程。在示例性实施例中，示出了用于留在场景感测模式中或切换到图像捕获模式的决定（70）。处理器分析来自场景感测数据的随后帧（71）之间的差异。该分析结果经过决定框（72）。如果检测到对象，则指令（75）传感器阵列切换到图像捕获模式。如果没有检测到对象，指令（76）传感器阵列留在场景感测模式中。如果检测到对象，决定框（72）还将该信息传递给进一步分析来在帧之间进行相关（73），从而确定对象是否在移动（以什么速度和方向移动）。例如，可以实现运动和对象速度和矢量计算。决定框（74）示出了这些确定的结果。如果检测到运动，指令（75）传感器阵列处于图像捕获模式中。如果没有检测到运动，可以指令（76）传感器阵列留在场景感测模式中。另外，将帧信息之间的相关（73）发送给传感器输出以控制信息（80）。分析（60）包括针对控制信息（80）来分析数据。分析（60）例如可以包括针对焦点评估的频率分析（81）、基于距离感测结果的光照分析（82）、以及针对曝光和增益控制的柱状图计算（83）。如结合图6讨论的该控制信息（80）具有各种目的地（85），例如去往用于感测阵列自动调节的输出，去往用于最佳设置信息的寄存器，或者要作为可用于用户的图像数据而被添附，或者用于另外的分析。例如，另外的分析可能承担（entail）利用脉冲宽度调制（PWM）对象和运动检测结果进行调制，并且发送结果以用于映射水平和竖直同步输出管脚。

在双模式图像传感器的另一个示例性实施例中，图像捕获模式和场景感测模式同时操作。在该实施例中，处理器配置为分析场景感测数据。处理器进一步配置为基于场景感测数据来控制增益、曝光、变焦、自动聚焦和图像处理校正，以便改进图像捕获模式数据。参照图6，指定图像校正（84）。在图像捕获模式中，子采样、窗口化/区域化、分箱也可用于具体应用。图像捕获模式中的窗口化/区域化或者甚至行扫描也可以是场景感测决定的最后结果。例如，为了追铺和记录入侵者，记录所要求的图像可以仅仅是整个图像帧的小的子窗口，以节省存储的存储器。子窗口的选择基于对象传感器和运动检测的结果来确定。

在双模式图像传感器的另一个示例性实施例中，图像捕获模式和场景感测模式交替操作。场景感测模式在长的图像捕获帧之间的短的帧时段内进行操作。处理器配置为分析如再此之前讨论的场景感测数据。处理器进一步配置为基于场景感测数据来控制增益、曝光、变焦、自动聚焦和图像处理校正，以便改进图像捕获模式数据。例如，可能的是，通过在对图像质量具有最小影响（即，具有有限“抖动”）的情况下，将专用感测像素植入图像捕获传感器阵列中而将场景传感器阵列“叠加”在图像捕获阵列之上。

在另一方面中，本发明涵盖了一种用于使用双模式图像传感器的过程，所述双模式图像传感器具有用于图像捕获模式和场景感测模式的成像光学器件的单个集合。现在参照图8，在示例性实施例中，过程（100）包括以下步骤：（104）初始化图像传感器；（106）提供用于图像捕获模式的激活准则；（108）初始化场景感测模式；（110）在场景感测模式中提供关于对象感测、运动检测、焦点评估和光照测量的数据；（112）确定所提供的数据是否满足激活准则；（114）基于所提供的数据满足激活准则而触发图像捕获模式；（116）基于所提供的数据不满足激活准则而继续场景感测模式；（118）捕获图像；（120）输出所得图像；（122）分析所得图像；（124）基于所得图像的分析来确定图像捕获是否应当重复；以及（126）基于在确定图像捕获是否应当是重复步骤时的肯定确定而重复捕获图像步骤。过程（100）使用在此之前结合图1-7描述和描绘的双模式图像传感器而便利地实现。

在另一个示例性实施例中，过程（100）还包括以下步骤（128）：在（124）确定图像捕获是否应当重复的步骤之后，基于在（124）确定图像捕获是否应当是重复步骤时的否定确定而重新初始化场景感测模式。

在过程（100）的另一个示例性实施例中，（104）初始化传感器的步骤之前有（102）为双模式图像传感器加电的步骤。（102）初始化步骤可以例如由图像运动传感器激活。

在说明书和/或附图中，已经公开了本发明的典型实施例。本发明不限于这样的示例性实施例。术语“和/或”的使用包括相关联的所列项目中的一个或多个中的任一个和所有的组合。附图是示意性表示，并且因此未必按照比例绘制。除非以其它方式指示，否则具体术语已经以通用和描述性意义被使用并且不用于限制的目的。

Claims (10)

1.一种具有用于曝光、增益、时钟、帧速率、子采样和分箱的控制的双模式图像传感器，所述传感器包括：

成像光学器件的集合；

片上的感测阵列，传感器阵列具有离散传感器元件的行和列，传感器阵列配置为通过成像光学器件接收光；

场景感测模式；

图像捕获模式；

场景感测模式和图像捕获模式使用成像光学器件的集合；

片上的模拟向数字转换器，用来将模拟值转换成数字数据；

片上的处理器，用来处理数字数据，处理器具有双现场寄存器，一个寄存器用于场景感测模式，并且第二个寄存器用于图像捕获模式；

场景感测模式配置为将对象感测、运动检测、焦点评估和光照测量的结果输出到模拟向数字转换器；

图像捕获模式配置为将所捕获的图像输出到模拟向数字转换器；

模拟向数字转换器配置为将数字数据发送给处理器；以及

处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果的数字数据而从场景感测模式切换到图像捕获模式。

2.权利要求1所述的双模式图像传感器，其中场景感测模式具有用于使用传感器阵列的扫描的传感器配置，所述扫描选自行扫描和区域扫描。

3.权利要求2所述的双模式图像传感器，其中行扫描的传感器配置选自单行、多行和分离的多行扫描。

4.权利要求2所述的双模式图像传感器，其中区域扫描的传感器配置选自单区域和多区域扫描。

5.权利要求1所述的双模式图像传感器，其中图像捕获模式使用传感器阵列的完整分辨率来提供图像数据。

6.权利要求1所述的双模式图像传感器，其中场景感测模式在低时钟频率之下。

7.权利要求1所述的双模式图像传感器，其中处理器提供场景分析，并且基于来自场景感测模式的数字数据而将结果重新映射到传感器输出。

8.权利要求6所述的双模式图像传感器，其中处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果指示没有感测到运动的数字数据而在电力节省模式中操作双图像传感器。

9.权利要求1所述的双模式图像传感器，其中成像光学器件提供有红外光照滤波器；并且其中处理器配置为基于来自模拟向数字转换器的关于场景感测模式中的输出结果指示低光条件的数字数据而激活红外光照滤波器。

10.权利要求1所述的双模式图像传感器，其中处理器提供有用于存储感测输入和输出的另外的寄存器；并且其中处理器提供有内部集成电路；所述另外的寄存器是利用内部集成电路可访问的。