CN103096098A - 成像装置 - Google Patents

Abstract

一种信息处理装置包括：传感器单元，包括输出由光学系统形成的第一成像数据的多个传感器阵列；阵列转换器，通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；第一信号处理器，对由所述阵列转换器输出的所述第二成像数据执行第一信号处理；以及第二信号处理器，对由所述传感器单元输出的所述第一成像数据执行第二信号处理。

Description

成像装置

相关申请的交叉引用

本专利申请要求2011年11月1日提交的美国临时专利申请序列号61/554,121的在前提交日的权益，其全部内容以引用方式并入本文。

技术领域

本公开涉及成像装置，该成像装置能够在图像传感器上形成被摄体的图像，并且根据图像传感器输出的成像数据，将要在显示屏上显示图像数据保存到存储介质。

背景技术

在现今广泛采用的数码相机中，将彩色滤光片设置在用于成像的单芯片式图像传感器的前方，其中，例如，用于三基色红（R）、绿（G）和蓝（B）的相应的滤光片以所谓拜耳排列（Bayerarrangement）的次序排列，并且数码相机被构造成使得透镜系统给出的被摄体图像经由彩色滤光片形成在单芯片式图像传感器上。

另外，这类数码相机被构造成能够根据从单芯片式图像传感器输出的相应的R、G和B成像数据，或换句话讲，根据以诸如拜耳排列的给定次序输出的相应的R、G和B成像数据，生成供显示在显示屏上的图像数据以及将保存到存储介质的图像数据。

同时，如以上所讨论的，将彩色滤光片设置在单芯片式图像传感器前方的那些构造在现今的数码相机中是相当普遍的。出于这个原因，在假定如此的系统中，即使在被设置在单芯片式图像传感器后面并且接收单芯片式图像传感器的输出来生成显示或其它图像数据的信号处理系统中，对以诸如拜耳排列的给定次序输出的相应的R、G和B成像数据进行的操纵已很普遍。

日本未经审查的专利申请公开No.2007-89219（PTL1）给出除了以上之外的其它现有技术，例如，其公开了一种成像装置，该成像装置能够通过在具有高清晰度图像质量的静止图像和具有标准图像质量的运动图像之间进行适当选择，来进行成像。换句话讲，这一公开披露了如下的技术：在控制系统的控制下，从单个固态图像传感器输出运动图像的图像信号和静止图像的图像信号，将输出转换成数字信号，并且在所成像的图像是运动图像的情况下选择标准图像质量处理电路，而在所成像的图像是静止图像的情况下选择高清晰度图像质量处理电路。这一公开还披露了如下的技术：用标准图像质量处理单元，将通过选择提供的运动图像信号转换成标准图像质量信号并将其输出，并且用高清晰度图像质量处理单元，将通过选择提供的静止图像信号转换成高清晰度图像质量信号并且将其输出。

日本未经审查的专利申请公开No.2000-341706（PTL2）给出另一现有技术，例如，其公开了一种图像信号处理装置，该图像信号处理装置能够根据1-DDC图像传感器输出以良好精度得到3-CCD图像传感器输出。换句话讲，这个公开披露了如下技术：可以通过类分离自适应处理（class separation adaptive processing），根据单芯片式相机的CCD图像传感器输出，计算与具有每个像素相应的R、G和B颜色分量的三芯片式相机的CCD图像传感器输出等价的图像信号，所述单芯片式相机输出每个像素只是三基色R、G和B之中的一种颜色的信号。

另外，国际公开06/039486号小册子（PTL3）公开了使用所谓“光场摄影”技术的成像装置。这个成像装置被构造成使得微透镜阵列被置于成像透镜给定的焦平面，并且图像传感器额外设置于微透镜阵列的焦点处。因此，获取来自将要被成像的对象的光线作为光矢量，所述光矢量不仅保持关于图像传感器处的强度分布的信息，还保持关于行进方向的信息。出于这个原因，在图像传感器获取的成像数据包括关于视差的信息，并且例如，通过执行给定的图像处理，可以将数据应用于3D显示和距离信息提取。

发明内容

同时，以上讨论的设置彩色滤光片的形式（相应的R、G和B滤光片布置在单芯片式图像传感器前方）被构造成使得单芯片式图像传感器上的每个像素对应于彩色滤光片R、G或B中的一者。出于这个原因，就这个形式而言，存在缺陷，即相对于单芯片式图像传感器上的所有像素给出的空间分辨率而言，对颜色的空间分辨率降低。

确实存在能够避免这种对颜色的空间分辨率降低的数码相机，在这种数码相机中，例如，三个图像传感器分别对应于三种颜色R、G和B设置，并且由分光棱镜将穿过透镜系统的入射光分成在图像传感器上分别形成的R、G和B颜色分量。通过组合来自这三个图像传感器的三个成像输出，生成相机图像。换句话讲，因为设置有这种三芯片式图像传感器的数码相机被构造成形成入射光，而入射光被分别对应的图像传感器上的分光棱镜分成R、G和B颜色分量，所以与单独的R、G和B色对应的空间分辨率大致等于每个图像传感器上的所有像素给出的空间分辨率，并且可以实现比设置有之前讨论的单芯片式图像传感器的数码相机的颜色空间分辨率更高的颜色空间分辨率。

然而，就设置有三芯片式图像传感器的数码相机而言，从三个图像传感器输出的成像数据变成由于分光棱镜将透镜系统形成的图像分成单独的R、G和B颜色分量而得到的三个图像的成像数据。换句话讲，三个相应的图像传感器上形成的图像是相同图像，不同的是颜色分量分别是R、G或B。

出于这个原因，设置在这种三芯片式图像传感器后方并且接收三个图像传感器的每个的输出来生成颜色图像的信号处理系统，与设置在单芯片式图像传感器后方并且操纵以诸如拜耳排列的给定次序输出的成像数据的信号处理系统不同。换句话讲，鉴于操纵以诸如拜耳排列的给定次序输出的成像数据的信号处理系统是通用的，设置在三芯片式图像传感器后方的信号处理系统则是进行特定信号处理的系统。

同时，根据以给定次序输出的成像数据生成颜色图像数据的信号处理系统，如之前讨论的操纵来自单芯片式图像传感器的输出的信号处理系统已经非常普遍，并且用软件操纵也很容易。出于这个原因，可料想到，例如，如果可以在新产品的开发中重用这种多用途的信号处理系统，则将可以简化软件设计和修改、缩短开发周期并且缩减成本上升。

基于以上内容，发明人已认识到，例如，需要能够对以给定排列的次序输出的成像数据进行信号处理，同时还能够对由穿过光学系统的来自给定被摄体的入射光形成的多个相同图像进行信号处理，从而简化软件设计和修改、缩短开发周期并且缩减开发新产品的成本上升。

根据第一个示例性实施例，本公开涉及一种信息处理装置，所述信息处理装置包括：传感器单元，其包括输出由光学系统形成的第一成像数据的多个传感器阵列；阵列转换器，其通过将所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；第一信号处理器，其对所述阵列转换器输出的所述第二成像数据执行第一信号处理；以及第二信号处理器，其对所述传感器单元输出的所述第一成像数据执行第二信号处理。

根据另一个示例性实施例，本公开涉及一种由信息处理装置执行的信息处理方法，所述方法包括：由包括多个传感器阵列的传感器单元输出光学系统形成的第一成像数据；通过将所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；由第一信号处理器对所述第二成像数据执行第一信号处理；以及由第二信号处理器对所述第一成像数据执行第二信号处理。

根据另一个示例性实施例，本公开涉及一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理装置执行时致使所述信息处理装置执行方法，所述方法包括：由包括多个传感器阵列的传感器单元输出光学系统形成的第一成像数据；通过将所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；由第一信号处理器对所述第二成像数据执行第一信号处理；以及由第二信号处理器对所述第一成像数据执行第二信号处理。

换句话讲，根据本公开的实施例，其被构造成使得根据光学系统形成的多个相同图像的成像数据生成按给定排列的次序的成像数据，对按给定排列的次序的成像数据执行第一信号处理，并且对多个相同图像的成像数据执行第二信号处理。

根据本公开的实施例，例如，可以对由穿过光学系统的来自给定被摄体的入射光形成的多个相同图像的成像数据执行第二信号处理，并且此外，其被构造成使得根据该多个相同图像的成像数据生成按给定排列的次序的成像数据并且可以对按给定排列的次序的成像数据执行第一信号处理，从而例如可以简化软件设计和修改、缩短开发周期并且缩减开发新产品的成本上升。

附图说明

图1是示出本公开的第一和第二实施例的成像装置的示意性框图构造的图示。

图2是本公开的第一实施例中的设置有三芯片式图像传感器的相机模块1的示意性构造图示。

图3是示出用于G光的图像传感器的示意性构造的图示。

图4是示出本公开的第一实施例的成像装置中的三芯片式图像传感器以及阵列转换器、第一相机ISP和第二相机ISP的构造的图示，其中阵列转换器、第一相机ISP和第二相机ISP处理来自三芯片式图像传感器的图像数据。

图5是用于概括阵列转换器进行的阵列转换处理的图示。

图6是示出阵列转换器的示例性专用电路构造的电路框图。

图7是图6中的阵列转换器的时序图。

图8是用于详细说明根据图7中的电路构造和图6中的时序图的成像数据阵列转换处理的图示。

图9是第一实施例的成像装置的相机模块、相机ISP和阵列转换器之间执行的序列的序列图。

图10是示出在使用来自三芯片式图像传感器的成像数据和已经阵列转换的成像数据的情况、从单芯片式图像传感器只以拜耳排列输出成像数据的情况以及只从三芯片式图像传感器输出成像数据的情况的图像质量、通用系统相似性（general system affinity）和取景器模式功能可重用性（reusability）之间的比较的图示。

图11是示出本公开的第二实施例的成像装置的示意性框图构造的图示。

图12是用于说明图像传感器上的区域排列和微透镜阵列的图示。

图13是用于说明对来自图像传感器上的相邻R、G和B区域的成像数据进行阵列转换的处理的图示。

图14是示出图像传感器上的相邻R、G和B区域和个体像素的图示。

图15是示出第二实施例中的图像传感器上的个体区域和微透镜阵列所形成的示例性多个相同图像的图示。

图16是示出装配有本实施例的成像装置的高性能移动信息装置的示意性内部构造的框图。

图17是示出由于本实施例的移动信息装置的控制/计算单元执行本公开的成像信号处理程序、在第一实施例的取景器模式和拍摄模式下进行处理的情况下的处理流程的流程图。

具体实施方式

下文中，将参照附图描述成像装置、成像信号处理方法、成像信号处理程序和记录有成像信号处理程序的记录介质的实施例作为本公开的实施例。

在下面的描述中，给出一种成像装置作为本公开的示例性实施例，该成像装置能够对以如拜耳排列等给定排列的次序输出的成像数据进行信号处理，还能够对由于来自给定被摄体的入射光穿过光学系统而形成的多个相同图像进行信号处理。

然而，本公开的实施例的成像装置不仅可应用于所谓的数码相机，而且还可应用于设置有数码相机的各种电子设备，如，移动电话和高性能移动设备、便携式游戏操作台、便携式导航设备、便携式音乐播放器、便携式数字电视接收器和便携式个人计算机。

[本公开的实施例的成像装置的概况]

本公开的第一实施例的成像装置被构造成通过用分光棱镜将穿过透镜系统的入射光分成相应的R、G和B颜色分量并且将它们分别分解到分别对应于R、G和B三色的三个图像传感器上，从而能够在三个图像传感器上分别形成相同图像。另外，本公开的第一实施例的成像装置包括阵列转换器，该阵列传感器根据三芯片式图像传感器的成像数据，例如，以如拜耳排列等给定排列的次序生成成像数据。此外，本公开的第一实施例的成像装置包括对从三个图像传感器输出的相同图像各自的图像数据进行第二信号处理的相机图像信号处理器（ISP）;以及按给定排列的次序并且从阵列传感器输出的图像数据进行第一信号处理的相机ISP。

在本文的本公开的第一实施例中，可以给出各种图像数据分析处理作为对按给定排列的次序的成像数据执行的第一信号处理的实例，如生成将要显示在取景器上的预览图像的处理、自动曝光（AE）、自动白平衡（AWB）、自动聚焦（AF）、被称为面部检测和笑容检测、场景识别、降噪和抖动检测等。另一方面，可以给出生成将要保存到存储器或别处的拍摄图像的处理作为对三芯片式图像传感器给出的多个相同图像的成像数据执行第二信号处理的实例。

接着，本公开的第二实施例的成像装置被构造成将单芯片式图像传感器分成例如均由若干像素的集合组成的给定尺寸的多个个体区域，并且微透镜阵列设置在单芯片式图像传感器上，使微透镜分别对应于这些区域的每个区域设置，使得来自被摄体的入射光穿过主透镜系统并且被导向微透镜阵列，其中，可以通过构成微透镜阵列的微透镜，在个体区域的每个区域中形成相同图像。另外，本公开的第二实施例的成像装置包括阵列转换器，该阵列转换器例如根据这些区域的成像数据，生成以如拜耳排列等给定排列的次序生成成像数据。此外，本公开的第二实施例的成像装置包括对这些区域的成像数据进行第二信号处理的相机图像信号处理器（ISP）；以及对按给定排列的次序并且从阵列转换器输出的成像数据进行第一信号处理的相机ISP。

在本文的本公开的第二实施例中，可以给出诸如AE、AWB、AF、面部检测和笑容检测、场景识别、降噪和抖动检测等各种图像数据分析处理作为对按给定排列的次序的成像数据执行的第一信号处理的实例。另一方面，可以给出各种信号处理作为对这些区域给出的多个相同图像的成像数据执行的第二信号处理的实例，如，例如，生成由这些区域给出的多个相同图像组成并且将保存到存储器或别处的拍摄图像的处理、光矢量计算、视差计算和基于诸如到图像传感器上的入射光的强度分布和入射光的行进方向等信息而进行的3D距离计算、使用第一信号处理给出的AWB数据进行的颜色增益校正、视差校正处理、以及通过组合若干相同图像生成将要显示在取景器屏幕上的预览图像的处理等。

同时，在第二实施例中，其被构造成使得能够根据各种应用，例如当生成预览图像、生成拍摄图像或获取运动图像等时，而适当修改将要使用的这些区域给出的多个相同图像的成像数据的量。例如，其可以被构造成使得例如当生成预览图像时，可以只使用至少三个颜色分量R、G和B的区域的成像数据，而例如当生成拍摄图像时，可以使用所有区域的成像数据，而例如当获取运动图像时，可以使用与运动图像的所需图像尺寸对应的多个区域的成像数据。

另外，在本公开中，按给定排列的次序的R、G和B数据不限于拜耳排列并且可以是另一种布置。另外，用于形成多个相同图像的构造不限于设置有三芯片式图像传感器的构造或设置有微透镜阵列的构造，并且可以是另一种构造。

[本公开的实施例的成像装置的示例性示意构造]

图1示出应用本公开的第一和第二实施例的成像装置的示例性示意框图构造。

在图1中，相机模块1被构造成包括光学系统11、图像传感器10和随后讨论的阵列转换器17，光学系统11引导来自被摄体的入射光进入其内部并且在图像传感器10上形成图像。

就第一实施例而言，光学系统11由透镜系统、分光棱镜、彩色滤光片等构成，并且就第二实施例而言，光学系统11由主透镜系统、微透镜阵列、彩色滤光片等构成。

就第一实施例而言，图像传感器10包括与已经被分光棱镜分开的各个R、G和B颜色分量对应的三个图像传感器，并且就第二实施例而言，图像传感器10为设置在微透镜阵列前方的单芯片式图像传感器。

另外，尽管随后进行详细讨论，但阵列转换器17被构造成被供应来自相机模块1的图像传感器10的多个相同图像的成像数据，并且例如根据成像数据生成按给定排列的次序的成像数据，并且将按给定排列的次序的成像数据供应到随后讨论的信号处理系统2中的第一相机ISP或相机ISP 18。

在相机模块1中，通过从随后讨论的信号处理系统2的相机ISP18或CPU 12供应的控制信号来控制各种操作，如，模块激活、图像传感器10中的成像操作、成像数据输出操作和阵列转换器17中的阵列转换操作。

然后，将从相机模块1的图像传感器10输出的成像数据发送到信号处理系统2。当已经由阵列转换器17执行了阵列转换处理时，经阵列转换的成像数据也被发送到信号处理系统2。

信号处理系统2被构造成包括中央处理单元（CPU）12、相机ISP 18、存储器控制器13、图形处理单元（GPU）14、编码/解码单元19、音频处理器20、显示控制器21、视频输出单元22和外围组件15。

尽管随后进行详细讨论，但信号处理系统2的相机ISP 18设置有用于快速执行信号处理的硬件构造，并且被构造成包括第一相机ISP和第二相机ISP，其中第一相机ISP能够对以如拜耳排列等给定排列的次序输出的成像数据执行第一信号处理，第二相机ISP能够对通过使来自被摄体的入射光穿过光学系统而形成的多个相同图像的成像数据执行第二信号处理。换句话讲，在本实施例中，第一相机ISP被构造成能够例如基于以如拜耳排列等给定排列的方式设置的成像数据，执行各种图像数据分析处理，如，自动曝光（AE）、自动白平衡（AWB）、自动聚焦（AF）、被称为面部检测和笑容检测、场景识别、降噪和抖动检测等。另外，就第一实施例而言，第二相机ISP被构造成能够对三芯片式图像传感器给出的多个相同图像的成像数据执行第二信号处理，并且就本公开的第二实施例而言，第二相机ISP被构造成基于诸如经由微透镜阵列入射到单芯片式图像传感器上的光的每区域（per-area）光强度分布和每区域光行进方向的信息，能够执行第二信号处理，如，光矢量计算、视差计算和3D距离计算。然而，相机ISP 18中的信号处理不仅可以以硬件实现，而且例如还可以以软件实现。

CPU 12控制相机模块1，同时还控制信号处理系统2的相应的单元并且进行各种计算处理。

在CPU 12的控制下，例如当将诸如成像图像的各种数据临时存储到被设置为外围组件15之一的内部存储器、将图像数据保存到被设置为外围组件15之一的用于数据存储的高容量存储器、以及从用于数据存储的高容量存储器取回图像数据时，存储器控制器13控制对相应的存储器的数据的读写。

当在被设置为外围组件15之一的显示屏上显示图像等时，GPU14负责图像绘制处理等。在此，GPU 14在CPU 12的控制下进行这类图像绘制处理等。

在CPU12的控制下，例如，编码/解码单元19执行诸如对图像数据进行编码/压缩和解压缩/解码的处理。

在CPU12的控制下，例如，音频处理器20处理被设置为外围组件15之一的麦克风拾取的音频信号，并且同样地当从被设置为外围组件15之一的扬声器输出音频时执行音频信号处理。

在CPU12的控制下，例如，显示控制器21控制被设置为外围组件15之一的显示面板的操作和图像在其屏幕上的显示。在CPU12的控制下，视频输出单元22向显示面板输出视频信号。例如，视频输出单元22还进行对外部输出端口的视频信号输出。

[设置有三芯片式图像传感器的相机模块的示意性构造]

图2示出本公开的第一实施例中的设置有三芯片式图像传感器的相机模块1的示例性示意构造。

图2中所示的相机模块1被构造成包括透镜系统11L、光学低通滤波器11F，例如，分光棱镜11P和用于相应的颜色分量R、G和B的图像传感器10R、10G和10B。同时，图3示出作为图像传感器10R、10G和10B的代表的G光的图像传感器10G的示意性构造。例如，图像传感器10G由排列在其上的给定尺寸的数百万个像素（px）（几百万像素）构成。尽管在图中被省略了，但是图像传感器10R和图像传感器10B以类似方式构造。

相机模块1的透镜系统11L会聚来自被摄体的入射光并且在图像传感器10R、10G和10B上形成被摄体的图像。此外，透镜系统11L可以额外设置有机械快门、光阑机构等。

在图2中所示的构造中，来自被摄体的光穿过透镜系统11L，并且进一步经由光学低通滤波器11F入射到分光棱镜11P上。

分光棱镜11P被构造为包括：针对B光的棱镜，在其一个面上形成针对B光的二向色镜11B，二向色镜11B反射来自入射光的B光分量；针对R光的棱镜，在其一个面上形成针对R光的二向色镜11R，二向色镜11R反射来自入射光的R光分量；以及针对G光的棱镜，使从入射光中去除了R光分量和B光分量之后剩下的G光分量透射。

因此，已被针对B光的棱镜从入射光中分出的B光分量入射到针对B光的图像传感器10B上，已被针对R光的棱镜从入射光中分出的R光分量入射到针对R光的图像传感器10R上，并且已穿过针对B光的棱镜和针对R光的棱镜的G光分量入射到针对G光的图像传感器10G上。

因此，从针对R光的图像传感器10R输出只由来自被摄体的入射光中包含的R光分量组成的图像的成像数据，从针对B光的图像传感器10B输出只由来自被摄体的入射光中包含的B光分量组成的图像的成像数据，并且从针对G光的图像传感器10G输出只由来自被摄体的入射光中包含的G光分量组成的图像的成像数据。换句话讲，分别在三个图像传感器10R、10G和10B上形成的图像是除了颜色分量不同为R、G或B之外大致彼此相同的图像。

[来自三芯片式图像传感器的成像数据与阵列转换器和相机ISP之间的关系]

下文中，将参照图4至图8描述第一实施例的成像装置中的来自三芯片式图像传感器的输出图像数据和输入到相机ISP 18中的成像数据之间的关系。

首先，第一实施例的成像装置包括取景器模式和拍摄模式作为相机成像期间的操作模式，并且能够适时在这两种模式之间进行切换。

取景器模式是用于例如在成像期间确定构图等的模式，并且是例如在不将图像数据保存到用于数据存储的高容量存储器的情况下、在显示屏上显示预览图像的同时进行之前讨论的各种图像数据分析处理如，AE、AWB、AF、面部检测和笑容检测、场景识别、降噪和抖动检测等的模式。另外，因为取景器模式是供用户在查看显示屏上的图像显示的同时确定构图等的模式，所以显示屏上的显示是运动图像显示。出于这个原因，在取景器模式下，要求进行实时处理。然而，例如，运动图像可能是相对低的分辨率，如480×854像素。同时，可以使用以下功能：例如，在按下快门按钮之前和之后临时存储图像，并且当之后实际按下快门按钮时适时从临时存储的图像数据中进行选择并且保存。在这类情况下，即使在取景器模式下，图像数据也可以临时存储在临时存储器等中，但是在此减少或省略对其的描述。

另一方面，拍摄模式是用于例如根据开关按钮的ON（按下）操作执行成像并且例如生成最终可保存到用于数据存储的高容量存储器的静止图像的拍摄数据的模式。另外，因为拍摄模式是用于将静止图像保存到用于数据存储的高容量存储器等的模式，所以不要求与取景器模式类似的实时处理。然而，期望的是，被保存到用于数据存储的高容量存储器的静止图像的拍摄图像是高分辨率图像数据。

另外，如图4中所示，本公开的第一实施例的成像装置设置有阵列转换器17和第一相机ISP18V作为在取景器模式下进行信号处理（第一信号处理）的构造，同时还设置有第二相机ISP18C作为在拍摄模式下进行信号处理（第二信号处理）的构造。

换句话讲，本实施例的成像装置被构造成根据相机成像期间的操作模式是被设置成取景器模式还是拍摄模式，以可控方式在对相机模块1的图像传感器10R、10G和10B输出的成像数据用第一相机ISP18V进行第一信号处理和用第二相机ISP18C进行第二信号处理之间进行切换。为了进一步详细地说明，在取景器模式期间，例如，本实施例的成像装置用阵列转换器17将相机模块1的图像传感器10R、10G和10B输出的成像数据转换成按给定排列的次序的成像数据，将经阵列转换的成像数据发送到第一相机ISP18V，并且在取景器模式下执行第一信号处理。相比之下，在已切换到拍摄模式的情况下，本实施例的成像装置将相机模块1的图像传感器10R、10G和10B输出的成像数据发送到第二相机ISP18C并且在拍摄模式下执行第二信号处理。

接着，图5示出阵列转换器17中的阵列转换处理的概况。另外，图6示出阵列转换器17的示例性专用构造，图7示出图6中的阵列转换器17的时序图，并且图8示出根据图7中的构造和图6中的时序图的成像数据阵列转换处理的细节。

在本实施例的成像装置中，阵列转换器17被构造成以根据拜耳排列的给定次序，从相机模块1的针对R光的图像传感器10R、针对G光的图像传感器10G和针对B光的图像传感器10B分别输出的成像数据中选择性取回成像数据，并且将其输出到第一相机ISP18V，如图5中所示。

即，作为实例，阵列转换器17可以被构造成设置有计数器31和选择器32，如图6中所示。然而，在图6中，为了方便说明，还绘出相机模块1的针对R光的图像传感器10R、针对G光的图像传感器10G和针对B光的图像传感器10B。

在图6中，图7中所示的时钟CK1被输入到时钟输入端30，并且时钟CK1被发送到计数器31和图像传感器10R、10G和10B。使这个时钟CK1作为用于确定当图像传感器10R、10G和10B输出每像素成像数据时的输出定时的时钟信号。

一旦时钟CK1被供应到图像传感器10R、10G和10B，例如，在上升定时输出每像素成像数据。换句话讲，在图像传感器10R、10G和10B中的像素阵列被表达为如图8中所示的从“a1、a2、a3、a4、a5、a6、a7”至“b1、b2、b3、b4、b5、b6、b7”等等的“行和列”的情况下，图像传感器10R、10G和10B分别在时钟CK1的上升定时以“a1、a2、a3、a4、a5、a6、a7”至“b1、b2、b3、b4、b5、b6、b7”等等的“行和列”次序输出成像数据。

计数器31对表达当图像传感器10R、10G和10B输出成像数据时的定时的时钟CK1进行计数，并且对于图像传感器10R、10G和10B输出的多个相同图像的成像数据，生成用于以如拜耳排列等给定排列的次序选择成像数据的选择信号。换句话讲，就本实施例而言，当从图像传感器10R、10G和10B输出“a行”的成像数据时，计数器31输出G选择信号和B选择信号，这些选择信号在时钟CK1的上升定时按时钟交替地选择来自针对G光的图像传感器10G的成像数据和来自针对B光的图像传感器10B的成像数据，计数器31同时还输出R选择信号，R选择信号不选择来自针对R光的图像传感器10R的成像数据。另外，当从图像传感器10R、10G和10B输出“b行”的成像数据时，计数器31输出G选择信号和R选择信号，这些选择信号在时钟CK1的上升定时按时钟交替地选择来自针对G光的图像传感器10G的成像数据和来自针对R光的图像传感器10R的成像数据，计数器31同时还输出B选择信号，B选择信号不选择来自针对B光的图像传感器10B的成像数据。从计数器31输出的R选择信号、G选择信号和B选择信号被发送到选择器32。

选择器32根据计数器31生成的选择信号，从图像传感器10R、10G和10B输出的多个相同图像的成像数据中以如拜耳排列等给定排列的次序选择成像数据。换句话讲，就本实施例而言，选择器32接受从图像传感器10R、10G和10B输出的成像数据作为输入，并且根据例如来自计数器31的R选择信号、G选择信号和B选择信号的高电平，选择并输出该成像数据。

然后，来自阵列转换器17的输出数据是当从图像传感器10R、10G和10B输出“a行”的成像数据时，在时钟CK1的上升定时，按时钟交替选择来自针对G光的图像传感器10G的成像数据和来自针对B光的图像传感器10B的成像数据的数据，并且另一方面是当从图像传感器10R、10G和10B输出“b行”的成像数据时，在时钟CK1的上升定时，按时钟交替选择来自针对G光的图像传感器10G的成像数据和来自针对R光的图像传感器10R的成像数据的数据。换句话讲，就这个实例而言，从选择器32输出的成像数据的次序是例如对应于拜耳排列的次序。选择器32输出的成像数据被从成像数据输出端33发送到第一相机ISP 18V。

[第一实施例中的在相机模块的图像传感器和阵列转换器与相机ISP之间进行的示例性处理序列]

图9示出第一实施例的成像装置的相机模块1的图像传感器10和阵列转换器17与相机ISP18之间进行的处理序列的处理序列图示。

在图9中，当切换到取景器模式时，相机ISP18将指示切换到取景器模式的“切换到取景器模式”命令发送到相机模块1。

在接收到“切换到取景器模式”命令之后，相机模块1开始在阵列转换器17中进行以上讨论的阵列转换处理，从而以给定排列的次序生成成像数据。

另外，在接收到“切换到取景器模式”命令之后，相机模块1以例如30fps输出来自图像传感器10的成像数据。图像传感器10输出的成像数据被阵列转换器17转换成给定排列的次序，然后被发送到相机ISP18。

此时，相机ISP18使用从相机模块1供应的成像数据进行用于生成将要显示在取景器屏幕上的预览图像的处理并且进行诸如AE、AWB、AF、面部检测和笑容检测、场景识别、降噪和抖动检测等各种图像数据分析处理，如之前所讨论的。

另外，当从取景器模式切换到拍摄模式时，相机ISP18将指示切换到拍摄模式的“切换到拍摄模式”命令发送到相机模块1。

在接收到“切换到拍摄模式”命令之后，相机模块1暂停以上讨论的阵列转换器17中的阵列转换处理。

另外，在接收到“切换到拍摄模式”命令之后，相机模块1输出来自图像传感器10的高分辨率成像数据。然后，图像传感器10输出的高分辨率数据被发送到相机ISP18。此时，相机ISP18使用高分辨率成像数据生成拍摄图像，如之前所讨论的。

随后，当从拍摄模式切换到取景器模式时，与以上类似地，相机ISP18将“切换到取景器模式”命令发送到相机模块1。因此，此后进行与以上类似的处理。

在此，以上讨论的阵列转换器17中的阵列转换处理和第一相机ISP18V和第二相机ISP18C中相应的信号处理还可以以软件实现。换句话讲，使本公开的实施例的成像信号处理程序为能够使CPU等执行这种阵列转换处理和相应的信号处理的程序。

[按拜耳排列的单芯片式图像传感器的情况、三芯片式图像传感器的情况以及本公开的第一实施例中的三芯片式图像传感器加上阵列转换的情况的比较]

图10是示出通过相应的系统得到的图像质量、总体系统相似性和取景器模式功能可重用性之间的比较，所述相应的系统是使用来自R、G和B三芯片式图像传感器的成像数据和已被阵列转换的成像数据的系统（如以上讨论的本公开的第一实施例中一样）、只从单芯片式图像传感器以拜耳排列输出成像数据的系统、和只从R、G和B三芯片式图像传感器输出成像数据的系统。

在图10中，在来自R、G和B三芯片式图像传感器的成像数据被阵列转换并且在取景器模式期间由第一相机ISP18V进行第一信号处理的情况下，虽然如在以上讨论的本公开的第一实施例中一样，在拍摄模式期间由第二相机ISP18C进行第二信号处理以根据来自三芯片式图像传感器的成像数据生成拍摄图像，但是在取景器模式期间，可以重用通用信号处理系统给出的取景器模式功能，并且此外，在拍摄模式期间还可以得到具有高图像质量的拍摄图像。以此方式，本公开的示例性实施例具有与通用信号处理系统的高相似性（affinity）。

相比之下，就例如只输出来自单芯片式图像传感器、以拜耳排列的成像数据并且对该成像数据进行信号处理的系统而言，不能得到高分辨率图像作为拍摄图像。另外，虽然就例如只输出来自R、G和B三芯片式图像传感器的成像数据的系统而言，拍摄图像的质量是良好的，但是难以重用通用信号处理系统给出的取景器模式功能等。

[用微透镜阵列在单芯片式图像传感器上的各个区域中形成相同图像的第二实施例的构造和信号处理]

接着，图11示出本公开的第二实施例的成像装置的示例性示意构造，该成像装置能够用微透镜阵列在单芯片式图像传感器上的相应的区域中形成相同图像。

本公开的第二实施例的成像装置被构造成包括相机模块1、第一相机ISP 18V和第二相机ISP 18M。

相机模块1被构造成包括主透镜60、微透镜阵列61、单芯片式图像传感器10和阵列转换器17。

主透镜60使来自被摄体的入射光聚焦到微透镜阵列61上。也就是说，换句话讲，微透镜阵列61设置于主透镜60的焦平面（成像平面）。此外，还可以将孔径光阑等设置在主透镜60的光所进入或者光出射的一侧。

在微透镜阵列61中，与图12中所示类似的多个微透镜61s在主透镜60的成像平面上形成阵列，如以上所讨论的。另外，构成微透镜阵列61的相应的微透镜的焦点与单芯片式图像传感器10的传感器平面对齐。也就是说，换句话讲，单芯片式图像传感器10的传感器平面被设置成对齐微透镜阵列61的个体的微透镜的焦点。此外，透镜阵列61被构造成使得例如个体的微透镜61s形成在诸如玻璃的基板上，例如使相应的微透镜61s由固体透镜、液晶透镜或衍射透镜构成。另外，如之后要讨论的，微透镜阵列61中的微透镜61s的二维阵列对应于单芯片式图像传感器10上的区域10e的阵列。

如图12和图13中所示，单芯片式图像传感器10的传感器平面被分成均由若干像素的集合组成的给定尺寸的多个区域10e。此外，还在单芯片式图像传感器10的区域10e上方设置彩色滤光片，其中，每个区域上方分别设置R、G或B滤光片。另外，如以上所讨论的，微透镜阵列61的个体的微透镜61s对应于单芯片式图像传感器10上的区域10e的二维阵列而设置。

换句话讲，在相机模块1中，来自被摄体40的入射光穿过主透镜60并且被导向微透镜阵列61，并且此外，通过构成微透镜阵列61的个体的微透镜61s在单芯片式图像传感器10的相应的区域10e中分别形成相同图像。因此，从图像传感器10输出的图像成为在单芯片式图像传感器10的每个区域10e中被成像的相同图像的图像PD，如图11和图15中所示。然后，在本实施例中，从相机模块1的图像传感器10输出的图像PD的成像数据被发送到第二相机ISP 18M，同时还发送到阵列转换器17。

虽然在本实施例中单芯片式图像传感器10的传感器平面被划分成多个区域，但是相应的区域也可以由分别分开的图像传感器构成。

在设置有以上讨论的相机模块1等的本公开的第二实施例中，第一相机ISP 18V被构造成进行与之前讨论的第一实施例的第一相机ISP 18V的信号处理类似的信号处理。换句话讲，使第一相机ISP18V进行的第一信号处理为与之前讨论类似的各种数据分析处理，如AE、AWE、AF、面部检测和笑容检测、场景识别、降噪和抖动检测。

另一方面，在第二实施例中，第二相机ISP 18M除了执行生成将要保存到存储器的拍摄图像之外还执行各种信号处理，包括光矢量计算、视差计算和基于诸如入射到图像传感器10上的光的强度分布和入射光的行进方向的信息进行的3D距离计算、使用由第一信号处理给出的AWB数据进行的颜色增益校正、校正视差的处理和通过组合若干相同图像而生成将要显示在取景器屏幕上的预览图像的处理。

换句话讲，穿过主透镜60和微透镜阵列61并入射到图像传感器10上的光线可以被表示为光矢量，其除了保留关于光的强度分布的信息之外还保留关于光的行进方向的信息。因此，从图像传感器10输出的成像数据将包含光矢量信息，光矢量信息包括关于强度分布和行进方向的信息。

另外，第二相机ISP 18M基于从图像传感器10供应的成像数据，在个体区域中生成按各自不同的视点的多个视差图像。换句话讲，因为成像数据除了包含关于光线在每个区域中的强度分布的信息之外还包含关于光线的行进方向的信息，所以还可以分辨并检测各个光线。因此，第二相机ISP 18M分别提取与同一位置的像素对应的每个区域中的成像数据，并且形成由所提取的成像数据组成的图像，并因此能够生成在个体区域的、按各自不同的视点的多个视差图像。

此外，例如，第二相机ISP 18M能够使用多个视差图像的数据以基于来自至少两个相邻区域的视差图像进行相关处理，从而能够得到关于与所需被摄体的距离的信息。因此，例如，通过基于这种距离信息组合来自个体区域的视差图像而生成聚焦到所需被摄体上的图像变得可实现。

另外，第二相机ISP 18M使用第一相机ISP 18V给定的AWB数据执行颜色增益校正，执行用于校正多个图像具有的视差的处理，并且执行用于通过组合若干相同图像生成将要显示在取景器屏幕上的预览图像的处理。

注意的是，在第二实施例中，例如，可以使用来自如图13和图14中所示的多个区域之中的与R、G和B对应的相邻区域的成像数据，生成取景器图像。换句话讲，第二相机ISP 18M可以例如使用来自与R、G和B对应的三个相邻区域的成像数据，并且在使用第一相机ISP 18V给定的AWB数据进行颜色增益校正并且进行校正视差的处理之后，组合这三组成像数据来生成取景器图像。另外，在本实施例中，第一相机ISP 18V可以使用来自与R、G和B对应的三个相邻区域的成像数据，例如通过进行与之前讨论的第一实施例的情况类似的阵列转换，以按诸如拜耳排列的给定次序生成成像数据，并且使用经阵列转换的成像数据生成取景器图像。

第二相机ISP 18M还可以例如通过使用视差图像的数据，生成供3D显示的图像。

另外，以上讨论的阵列转换器17的阵列转换处理和第一相机ISP 18V和第二相机ISP 18M中相应的信号处理还可以在软件中实现。换句话讲，使本公开的实施例的成像信号处理程序为能够使CPU等执行这种阵列转换处理和相应的信号处理的程序。

[设置有本实施例的成像装置的高性能移动信息设备的示意性框图构造]

以上讨论的本公开的第一和第二实施例的成像装置可以例如应用于高性能移动信息设备的相机单元等。

图16示出装配有本公开的实施例的成像装置的高性能移动信息设备的示例性示意内部构造框图。

在图16中，例如，通信天线70是内置天线，经由移动电话网络或公共无线通信网络发送和接收电话通讯和电子邮件，并且发送和接收用于下载各种程序并连接到因特网等的信号波。通信单元71包括天线电路和收发器电路单元，并且对经由移动电话网络或公共无线通信网络发送和接收的信号进行频率转换、调制和解调等。此外，尽管随后进行详细讨论，但是在本实施例中，经由通信天线70和通信单元71获取的程序可以作为本实施例的成像信号处理程序的实例。

例如，扬声器83是设置在本实施例的移动信息设备上的扬声器，其输出音乐回放、电话通讯接收器音频和响铃（铃声）。麦克风84用于拾取外部音频和电话通讯发送器音频。音频信号处理器82由针对扬声器83的放大器电路、针对麦克风84的放大器电路、对从控制/计算单元72供应的经压缩/编码的音频数据进行解压缩/解码的解压缩/解码电路、将这种经压缩/编码的数字音频数据转换成模拟音频信号的数字/模拟转换器电路、将从麦克风84输入模拟音频信号转换成数字音频数据的模拟/数字转换器电路、以及对这种数字音频数据进行压缩/编码的压缩/编码器电路。

按键操作单元90由设置在本实施例的移动信息设备及其外围电路的底盘上的硬件按键组成。按键操作单元90将用户作出的硬件按键操作输入转换成电信号，对操作输入信号进行放大和模拟/数字转换，并且将经模拟/数字转换的操作输入数据发送到控制/计算单元72。另外，在本实施例中，除了在相机模块1进行成像期间使用的快门按钮之外，按键操作单元90还可以根据需要设置有各种可用于数码相机的按键，如，用于缩放操作、曝光设置和快门速度设置的按键。

外部存储器I/F单元78由外部存储器插槽和用于外部存储器数据通信的接口单元组成，由半导体存储介质组成的外部存储器79被装载到外部存储器插槽或从外部存储器插槽取出。使本实施例的移动信息设备能够通过被装载到外部存储器I/F单元78中的如外部存储器79的存储介质来获取各种类型的数据和各种类型的程序。此外，在本实施例中，通过外部存储器79获取的各种类型的程序可以作为本实施例的成像信号处理程序的实例。另外，例如，可以将本实施例的成像信号处理程序记录到例如盘类记录介质或某些其它记录介质。在这种情况下，例如，由个人计算机中设置的记录介质回放装置从记录介质中读出的程序可以被供应到外部输入/输出端口单元89。显而易见，记录介质回放装置可以直接连接到外部输入/输出端口单元89，使成像信号处理程序由回放装置读出并且被供应到本实施例的移动信息设备。此外，外部存储器79还可用作之前讨论的用于数据存储的高容量存储器。

外部输入/输出端口单元89由例如当通过电缆进行数据通信时由用于电缆连接的连接器和用于外部数据通信的接口电路组成，并且当通过供电电缆为内部电池充电时由充电端口和用于充电的接口电路组成。使本实施例的移动信息设备能够从与外部输入/输出端口单元89连接的外部装置获取各种类型的数据和各种程序。在本实施例中，通过外部输入/输出端口单元89获取的各种类型的程序可以作为本实施例的成像信号处理程序的实例。

短距离无线通信模块75由用于如无线LAN或Bluetooth（注册商标）等的短距离无线电波的通信天线和短距离无线通信电路组成。还可以通过短距离无线通信模块75获取根据本实施例的成像信号处理程序。

数字广播接收模块76由用于所谓的数字电视广播和数字无线电广播的调谐器和接收天线组成。使数字广播接收模块76不仅能够接收一个频道上的数字广播，还能够同时接收多个频道上的数字广播。另外，使数字广播接收模块76还能够接收多路复用到数字广播中的数据。此外，例如，其被构造使得数字广播接收模块76接收的数字广播数据还可以在被控制/计算单元72压缩之后被存储在存储器单元73中。根据本实施例的成像信号处理程序可以被广播为这样的数字广播数据集。在这种情况下，从数字广播接收模块76接收的数字广播数据中提取这类程序并且将这类程序装入本实施例的移动信息设备中。

例如，非接触式通信模块77通过非接触式通信天线进行非接触式通信，在该非接触式通信中使用所谓的射频识别（RFID）或非接触式智能卡。还可以通过非接触式通信模块77获取根据本实施例的成像信号处理程序。

全球定位系统（GPS）模块74包括GPS天线，并且使用来自GPS定位卫星的GPS信号来计算设备当前位置的纬度和经度。通过GPS模块74得到的GPS数据（表示纬度和经度的信息）被发送到控制/计算单元72。因此，控制/计算单元72能够确定设备本身的当前位置和移动。

作为例子，各种传感器88由加速度传感器、倾角传感器、方位传感器、温度传感器、湿度传感器和照度传感器组成。

传感器控制器87根据来自各种传感器88的输出信号计算例如加速度、倾角、方位、温度、湿度和照度。此外，传感器控制器87还包括控制各种传感器88操作的各种传感器驱动器。

相机模块1对应于之前讨论的第一或第二实施例的相机模块1，并且包括以上讨论的用于将静止图像和运动图像成像的图像传感器10、用于在图像传感器10上形成被摄体图像的光学系统、操作光学系统和光阑等的驱动机构、以机械或电气方式调节快门速度的快门速度调节机构、校正所谓的相机抖动的图像稳定结构、用于发出闪光的灯、驱动这些机构的驱动电路以及以上讨论的阵列转换器17。此外，相机模块1的光学系统还可以设置有光学缩放机构。

相机ISP 18对应于之前讨论的第一或第二实施例的相机ISP18，并且进行如之前讨论的相应的信号处理。

在此，相机ISP 18和阵列转换器17可以如以上讨论地以硬件构造，但是显而易见地它们还可以以软件构造。就以软件构造而言，例如，通过控制/计算单元72执行本公开的实施例的成像信号处理程序而实现相应的信号处理和阵列转换处理。然而，这种情况下的移动信息设备将不包括相机ISP 18和阵列转换器17，并且将替代地设置有相机操作控制器等，例如，相机操作控制器等进行启动相机模块1的操作并进行由图像传感器的成像操作。另外，根据本实施例的成像信号处理程序可以被包括在相机应用程序中。

相机ISP 18生成的图像数据被发送到视频信号处理器80。另外，在本实施例中，其被构造成使得相机ISP 18生成的图像数据还可以被发送到控制/计算单元72并且被其压缩，然后被存储在存储器单元73或与外部存储器I/F单元78连接的外部存储器79中。

视频信号处理器80包括以上讨论的GPU 14和显示控制器21，并且进行对从控制/计算单元72供应的经压缩/经编码视频数据进行解压缩/解码的解压缩/解码处理、在显示面板81上显示经压缩/经解码数字视频或由数字广播接收模块76接收的数字广播视频数据的处理，以及使从存储器单元73读出的回放图像等显示在显示面板81上的处理。另外，在控制/计算单元72的控制下，视频信号处理器80生成用于显示桌面图像、各种菜单图像、文本输入屏幕、照片图像或合成图像、虚拟按键和虚拟按钮图像等的视频信号，并且使这些图像显示在显示面板81上。在此，例如，显示面板81由液晶面板或有机EL面板组成。另外，在本实施例中，视频信号处理器80进行在显示面板81上显示从相机ISP 18供应的预览图像的处理。

触摸面板86被设置在显示面板81上方并且具有覆盖大致显示面板的整个表面的尺寸。触摸面板86是具有如下结构的设备：多个透明电极图案在由透明传感器玻璃组成的面板表面上沿着XY方向排列。通过根据透明电极图案检测电容的变化，可以感测用户的手指或其它外部导体已触摸或接近面板表面，并且当外部导体触摸或接近面板表面时，在输出关于在面板表面上的XY坐标位置的信息。

触摸面板控制器85控制触摸面板86的操作和扫描，同时还判定外部导体是否已触摸或接近触摸面板86，计算接近位置的触摸位置，计算在接近操作期间外部导体接近面板表面的大致程度，并且基于触摸面板86检测到的电容值和触摸面板86检测到的XY坐标位置信息，计算诸如触摸或接近状态期间所持续的时间量、检测触摸或接近度之间的时间间隔、外部导体在触摸或接近状态下的移动方向和速度，以及移动轨迹等。然后，触摸面板控制器85将通过这种检测、计算、估计等得到的数据传递到控制/计算单元72。此外，触摸面板控制器85还包括控制触摸面板86的操作和扫描的触摸面板驱动器。

存储器单元73由设置在设备内部的内置存储器和可拆装卡型存储器等组成。存储所谓的客户识别模块（SIM）信息等的卡可以作为可拆装卡型存储器的例子。内置存储器由只读存储器（ROM）和随机存取存储器（RAM）组成。ROM能够存储操作系统（OS）、用于控制/计算单元72控制相应的单元的控制程序、各种默认设置、字典数据、文本预测/转换字典数据和各种音频数据以及各种程序，包括文本编辑器、HTML编辑器、邮件程序和图像编辑器连同本实施例的成像信号处理程序。ROM包括可重写ROM，如NAND型闪存存储器或EEPROM（电可擦除可编程只读存储器），并且使ROM能够保存电子邮件数据、电话联系人和地址簿数据、静止图像和运动图像数据以及各种用户设置。RAM根据需要存储数据，当控制/计算单元72进行各种数据处理时充当工作区和缓冲区。

控制/计算单元72由中央处理单元（CPU）组成，控制诸如通信单元71、视频信号处理器80、相机ISP 18、相机模块1和阵列转换器17、音频信号处理器82、传感器控制器87、GPS模块74、短距离无线通信模块75、数字广播接收模块76、非接触式通信模块77、外部存储器I/F单元78和外部输入/输出端口单元89等单元，并且根据需要进行各种计算。另外，控制/计算单元72执行存储在存储器单元73中的控制程序、文本编辑器、HTML编辑器、邮件程序、图像编辑器和各种其它程序。

同时，在本实施例的移动信息设备中，在根据成像信号处理程序执行之前讨论的相机ISP 18的信号处理或阵列转换器17的阵列转换处理的情况下，控制/计算单元72执行成像信号处理程序。随后描述这种情况下的处理流程。

另外，本实施例的移动信息设备显而易见还可以包括在常规移动信息设备中设置的组件，如，保持和测量时间的时钟单元和向相应的单元供电的电池以及控制这种电力的电源管理IC。

[在执行成像信号处理程序时控制/计算单元中的处理流程]

图17示出由于控制/计算单元72执行本公开的成像信号处理程序的、对于进行之前讨论的取景器模式和拍摄模式处理的情况而言本公开的实施例的移动信息设备中的处理流程，在此以之前讨论的第一实施例为例。

在图17中的流程图中，当相机用户通过对按键操作单元90或触摸面板86的操作而输入用于成像的相机启动指令时，例如，控制/计算单元72开始流程图的处理，并且首先切换到取景器模式，在显示面板81的屏幕上显示预览图像，如步骤S1中的处理一样。

接着，如步骤S2中的处理一样，控制/计算单元72执行之前讨论的对从相机模块1的图像传感器供应的成像数据进行的阵列转换处理，并且另外，如步骤S3中的处理一样，使用经阵列转换的成像数据在取景器模式下执行之前讨论的信号处理。

接着，如步骤S4中的处理一样，例如，控制/计算单元72判定用户是否通过对按键操作单元90或触摸面板86进行操作而输入用于成像的开关按钮的ON（按下）指令。然后，在没有输入用于成像的开关按钮的ON指令时，控制/计算单元72将处理返回到步骤S2，并且在判定已输入用于成像的开关按钮的ON指令之后，控制/计算单元72使处理前进到步骤S5。

在前进到步骤S5中的处理之后，控制/计算单元72切换到拍摄模式，并且还暂停阵列转换处理，如步骤S6中的处理一样。

接着，如步骤S7中的处理一样，在切换到拍摄模式之后，控制/计算单元72在拍摄模式下执行信号处理。

然后，控制/计算单元72在步骤S8中判定是否已完成图像拍摄，在没有完成图像拍摄时，处理返回到步骤S7，并且在完成图像拍摄时，处理前进到步骤S9。

在前进到步骤S9中的处理之后，例如，用户被询问是否要保存所拍摄的图像数据，并且例如，当输入用于保存的指令时，拍摄图像数据被保存到用于数据存储的高容量存储器。

随后，控制/计算单元72将处理返回到步骤S1，并且切换到取景器模式，即，成像待机状态。

同时，在就根据本公开的第二实施例的成像信号处理程序而言在图17的步骤S3中的取景器图像处理期间，例如，使用来自与R、G和B对应的三个相邻区域的成像数据，并且如之前所讨论的，通过在使用由第一相机ISP 18V给出的AWB数据进行颜色增益校正并进行视差校正处理之后组合这三组成像数据，生成取景器图像。

另外，就第二实施例而言，在步骤S8的拍摄图像处理中，生成由之前讨论的从相应的区域得到的多个相同图像组成的拍摄图像，并且在步骤S9中保存拍摄图像。

[结论]

（1）本公开的实施例的成像装置包括一种成像装置包括：传感器单元，包括输出由光学系统形成的第一成像数据的多个传感器阵列；阵列转换器，通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；第一信号处理器，对由所述阵列转换器输出的所述第二成像数据执行第一信号处理；以及第二信号处理器，对由所述传感器单元输出的所述第一成像数据执行第二信号处理。

（2）根据（1）所述的信息处理装置，还包括显示器，其中，由所述第一信号处理器执行的所述第一信号处理包括基于由所述传感器单元输出的所述第二成像数据，生成将要在所述显示器上显示的取景器图像。

（3）根据（1）或（2）所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于由所述传感器单元输出的所述第一成像数据，生成拍摄图像。

（4）根据（1）至（3）中的任一项所述的信息处理装置，其中，由所述第一信号处理器执行的所述第一信号处理包括对由所述阵列转换器输出的所述第二成像数据执行预定的图像分析处理。

（5）根据（1）至（4）中的任一项所述的信息处理装置，其中，所述第二信号处理器执行的所述第二信号处理包括基于所述传感器单元输出的所述第一成像数据生成拍摄图像和生成将要在显示器上显示的取景器图像中的至少一者。

（6）根据（1）至（5）中的任一项所述的信息处理装置，其中，所述传感器单元包括分别与三基色红、绿和蓝对应的三芯片式图像传感器。

（7）根据（6）所述的信息处理装置，其中，所述光学系统将入射光分成相应的红、绿和蓝色分量，并且在所述三芯片式图像传感器的三个分别对应的图像传感器上形成图像。

（8）根据（1）至（7）中的任一项所述的信息处理装置，其中，所述传感器单元包括单芯片式图像传感器平面，所述单芯片式图像传感器平面被划分成均包括若干像素的集合的预定尺寸的多个个体区域。

（9）根据（1）至（8）中的任一项所述的信息处理装置，其中，所述光学系统包括微透镜阵列。

（10）根据（8）所述的信息处理装置，其中，所述光学系统包括微透镜阵列，在所述微透镜阵列中，微透镜分别对应于所述图像传感器的个体区域而设置，使得通过使入射光穿过所述微透镜阵列，通过构成所述微透镜阵列的所述微透镜在所述个体区域中分别形成基本相同的图像。

（11）根据（10）所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于所述个体区域的子集中形成的多个基本相同的图像，生成将要在显示器上显示的取景器图像。

（12）根据（10）所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于所有区域中形成的多个基本相同的图像，生成拍摄图像。

（13）根据（1）至（12）中的任一项所述的信息处理装置，其中，所述传感器单元的各个区域与三基色红、绿和蓝中的一者相关联，并且在分别与所述传感器单元的红、绿和蓝色分量中的一者相关联的区域之中，所述阵列转换器将从与红、绿和蓝对应的相邻区域输出的成像数据重新排列成按对应于预定排列的次序的所述第二成像数据。

（14）根据（1）至（13）中的任一项所述的信息处理装置，其中，所述阵列转换器包括计数器，所述计数器对表示所述传感器单元将要输出成像数据的定时的时钟进行计数。

（15）根据（14）所述的信息处理装置，其中，所述阵列转换器生成选择信号，所述选择信号用于从由所述传感器单元输出的多个基本相同的图像的成像数据之中选择按对应于预定排列的次序的成像数据。

（16）根据（15）所述的信息处理装置，其中，所述阵列转换器包括选择器，所述选择器根据由所述计数器生成的所述选择信号，从由所述传感器单元输出的多个基本相同的图像的成像数据之中选择按对应于预定排列的次序的成像数据。

（17）根据（1）至（16）中的任一项所述的信息处理装置，还包括：模式切换控制器，在第一模式和第二模式之间切换，在所述第一模式中，由所述第一信号处理器输出由所述第一信号处理器生成的图像数据，在所述第二模式中，由所述第二信号处理器输出由所述第二信号处理器生成的图像，其中，当处于第一模式时，所述模式切换控制器使所述阵列转换器根据多个基本相同的图像的成像数据生成按对应于预定排列的次序的成像数据。

（18）一种由信息处理装置执行的信息处理方法，所述方法包括：由包括多个传感器阵列的传感器单元输出由光学系统形成的第一成像数据；通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；由第一信号处理器对所述第二成像数据执行第一信号处理；以及由第二信号处理器对所述第一成像数据执行第二信号处理。

（19）一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理装置执行时致使所述信息处理装置执行方法，所述方法包括：由包括多个传感器阵列的传感器单元输出由光学系统形成的第一成像数据；通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；由第一信号处理器对所述第二成像数据执行第一信号处理；以及由第二信号处理器对所述第一成像数据执行第二信号处理。

如以上所描述的，根据本公开的实施例的成像装置能够对以给定次序输出的成像数据进行信号处理，同时还能够对由穿过光学系统的来自被摄体的入射光形成的多个相同图像进行信号处理。因此，根据本公开的实施例的成像装置，可以简化软件设计和修改，缩短开发周期并且缩减开发新产品的成本上升。

然后，本实施例的成像装置还可应用于各种信息装置，如高性能移动电话、平板设备和平板电脑（slate PC）以及所谓的个人数字助理（PDA）、笔记本电脑、便携式游戏操作台和便携式导航设备等，只要该设备设置有以上讨论的相机功能即可。

另外，对以上讨论的实施例的描述是本公开的实例。出于这个原因，本公开不限于以上讨论的实施例，并且在不脱离根据本公开的技术思想的范围内，显而易见，可以根据设计等进行各种修改。

此外，如本领域的技术人员显而易见应该理解的，根据设计或其它因素，可能出现各种变更、组合和其它实施例，它们在本公开的权利要求书或其等价物的范围内。

Claims (19)

1.一种信息处理装置，所述信息处理装置包括：

传感器单元，包括输出由光学系统形成的第一成像数据的多个传感器阵列；

阵列转换器，通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；

第一信号处理器，对由所述阵列转换器输出的所述第二成像数据执行第一信号处理；以及

第二信号处理器，对由所述传感器单元输出的所述第一成像数据执行第二信号处理。

2.根据权利要求1所述的信息处理装置，还包括显示器，其中，由所述第一信号处理器执行的所述第一信号处理包括基于由所述传感器单元输出的所述第二成像数据，生成将要在所述显示器上显示的取景器图像。

3.根据权利要求1所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于由所述传感器单元输出的所述第一成像数据，生成拍摄图像。

4.根据权利要求1所述的信息处理装置，其中，由所述第一信号处理器执行的所述第一信号处理包括对由所述阵列转换器输出的所述第二成像数据执行预定的图像分析处理。

5.根据权利要求1所述的信息处理装置，其中，所述第二信号处理器执行的所述第二信号处理包括基于所述传感器单元输出的所述第一成像数据生成拍摄图像和生成将要在显示器上显示的取景器图像中的至少一者。

6.根据权利要求1所述的信息处理装置，其中，所述传感器单元包括分别与三基色红、绿和蓝对应的三芯片式图像传感器。

7.根据权利要求6所述的信息处理装置，其中，所述光学系统将入射光分成相应的红、绿和蓝色分量，并且在所述三芯片式图像传感器的三个分别对应的图像传感器上形成图像。

8.根据权利要求1所述的信息处理装置，其中，所述传感器单元包括单芯片式图像传感器平面，所述单芯片式图像传感器平面被划分成均包括若干像素的集合的预定尺寸的多个个体区域。

9.根据权利要求1所述的信息处理装置，其中，所述光学系统包括微透镜阵列。

10.根据权利要求8所述的信息处理装置，其中，所述光学系统包括微透镜阵列，在所述微透镜阵列中，微透镜分别对应于所述图像传感器的个体区域而设置，使得通过使入射光穿过所述微透镜阵列，通过构成所述微透镜阵列的所述微透镜在所述个体区域中分别形成基本相同的图像。

11.根据权利要求10所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于所述个体区域的子集中形成的多个基本相同的图像，生成将要在显示器上显示的取景器图像。

12.根据权利要求10所述的信息处理装置，其中，由所述第二信号处理器执行的所述第二信号处理包括基于所有区域中形成的多个基本相同的图像，生成拍摄图像。

13.根据权利要求1所述的信息处理装置，其中，所述传感器单元的各个区域与三基色红、绿和蓝中的一者相关联，并且在分别与所述传感器单元的红、绿和蓝色分量中的一者相关联的区域之中，所述阵列转换器将从与红、绿和蓝对应的相邻区域输出的成像数据重新排列成按对应于预定排列的次序的所述第二成像数据。

14.根据权利要求1所述的信息处理装置，其中，所述阵列转换器包括计数器，所述计数器对表示所述传感器单元将要输出成像数据的定时的时钟进行计数。

15.根据权利要求14所述的信息处理装置，其中，所述阵列转换器生成选择信号，所述选择信号用于从由所述传感器单元输出的多个基本相同的图像的成像数据之中选择按对应于预定排列的次序的成像数据。

16.根据权利要求15所述的信息处理装置，其中，所述阵列转换器包括选择器，所述选择器根据由所述计数器生成的所述选择信号，从由所述传感器单元输出的多个基本相同的图像的成像数据之中选择按对应于预定排列的次序的成像数据。

17.根据权利要求1所述的信息处理装置，还包括：

模式切换控制器，在第一模式和第二模式之间切换，在所述第一模式中，由所述第一信号处理器输出由所述第一信号处理器生成的图像数据，在所述第二模式中，由所述第二信号处理器输出由所述第二信号处理器生成的图像，其中，

当处于第一模式时，所述模式切换控制器使所述阵列转换器根据多个基本相同的图像的成像数据生成按对应于预定排列的次序的成像数据。

18.一种由信息处理装置执行的信息处理方法，所述方法包括：

由包括多个传感器阵列的传感器单元输出由光学系统形成的第一成像数据；

通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；

由第一信号处理器对所述第二成像数据执行第一信号处理；以及

由第二信号处理器对所述第一成像数据执行第二信号处理。

19.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理装置执行时使所述信息处理装置执行方法，所述方法包括：

由包括多个传感器阵列的传感器单元输出由光学系统形成的第一成像数据；

通过将由所述传感器单元输出的所述第一成像数据转换成对应于预定排列的次序，生成第二成像数据；

由第一信号处理器对所述第二成像数据执行第一信号处理；以及

由第二信号处理器对所述第一成像数据执行第二信号处理。

Images