CN1898967A

CN1898967A - 像素信号处理装置以及像素信号处理方法

Info

Publication number: CN1898967A
Application number: CNA2004800384491A
Authority: CN
Inventors: 牧田淳子; 守谷正太郎; 杉浦博明; 山下孝一; 伊藤俊; 久野徹也
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-12-22
Filing date: 2004-12-10
Publication date: 2007-01-17
Anticipated expiration: 2024-12-10
Also published as: TW200527376A; JP4128585B2; JPWO2005062626A1; TWI277945B; KR100811965B1; CN100574454C; WO2005062626A1; KR20060101778A; US20070126896A1; US7719575B2

Abstract

将关注像素位置附近的区域内的多个像素位置中的第K分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号分别作为说明变量、目标变量来实施回归分析(8)，求出第L分光灵敏度特性的像素信号(9)。也可以将通过对摄像元件的输出信号进行低通滤波(7a～7c)而得到的像素信号用作上述说明变量和目标变量。通过如上述这样，在进行排列在二维平面上的具有多个分光灵敏度特性中的任何一个分光灵敏度特性的像素信号的组的在各像素位置中的不足色的插值的情况下，可以降低伪色的发生。

Description

像素信号处理装置以及像素信号处理方法

技术领域

本发明涉及像素信号处理装置以及像素信号处理方法，特别涉及根据被排列在二维平面上、分别具有多个分光灵敏度特性中的任一个分光灵敏度特性的像素信号的组，生成上述多个分光灵敏度特性中的一个分光灵敏度特性的像素信号存在的关注像素位置中的其它分光灵敏度特性的像素信号的像素信号处理装置以及像素信号处理方法。

这样的像素信号处理装置例如还具备摄像元件，在该摄像元件中，例如分别具有多个分光灵敏度特性，例如红(R)、绿(G)、蓝(B)中的任一个分光灵敏度特性即颜色的多种光电转换元件在二维平面上被排列成例如拜尔(Bayer)型，所以被用作彩色摄像装置的一部分，被用于对从摄像元件输出的像素信号中的在各像素位置中缺失的分光灵敏度特性的像素信号进行插值。

背景技术

在以往的具有红、绿、蓝的三原色的滤色镜被配置为拜尔型的摄像元件的摄像装置中，例如下述专利文献1所示，为了提高分辨率感，根据每种颜色的局部的输出信号的分布，以平均值置换各像素的输出信号，由此使用基于假设的已知颜色几何学图形和不足颜色几何学图形的线性相似比的插值方法。

专利文献1：日本特开2001-197512公报。段落0048～0049(图7)

在该现有的方法中，在局部区域中进行基于颜色信号有相关性的情况的插值处理，但存在由于错误识别颜色的相关关系，引起固有的伪色的问题。例如，在输出信号急剧地变化的位置附近、即某一颜色和别的颜色的边界附近，生成的信号的电平从信号变化曲线偏离，存在在原本的图像中发生发黑或泛白或伪色的问题。

发明内容

一种像素信号处理装置，根据被排列在二维平面上、分别具有第1至第N分光灵敏度特性中的任一个分光灵敏度特性的像素的像素信号组，生成第K(K是1至N中的任一个)分光灵敏度特性的像素信号存在的第1关注像素位置中的第L(L是1至N中的除了K之外的任一个)分光灵敏度特性的像素信号，该像素信号处理装置具有：

回归分析单元，其以上述第1关注像素位置的附近区域内的多个像素位置中的上述第K分光灵敏度特性的像素信号作为说明变量、将上述第L分光灵敏度特性的像素信号作为目标变量，来实施回归分析，算出表示上述第K分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式；以及

运算单元，其通过对上述关注像素位置中的上述第K分光灵敏度特性的像素信号使用基于上述回归式的变换式，求出上述关注像素位置中的上述第L分光灵敏度特性的像素信号。

由于本发明的像素信号处理装置如上述构成，所以可以计算出基于第1关注像素位置的附近区域内的像素位置中的第K和第L分光灵敏度特性的像素信号的相关关系的生成信号。从而，即使第1关注像素位于颜色边界附近，也根据表示第一关注像素位置的附近区域内的像素的相关关系的回归式来计算第L生成信号，因此不会直接受到位于颜色边界部分的像素的输出信号的影响。此外，由于用数式表示相关关系，因此可以应对任意的相关关系。由此，可以降低在以往的方法中看到的发黑或涂白这样的伪色的发生。

附图说明

图1是表示具有本发明的实施方式1的像素信号处理装置的数字照相机等摄像装置的结构的方框图。

图2是表示配置为拜尔型的R、G、B的三原色的滤色镜的说明图。

图3是示意地表示出滤色镜被排列为拜尔型的二维摄像元件的输出信号的二维排列图。

图4是表示将图3的二维排列图按各颜色进行分割后的状态的说明图。

图5是表示本发明的实施方式1～3中的插值步骤的流程图。

图6是表示本发明的实施方式1中，生成具有R色输出信号的像素中的G色信号的步骤的流程图。

图7是示意地表示出根据由R色、G色低通滤波器输出构成的9组数据得到的回归直线的说明图。

图8是表示在本发明的实施方式1～3中，计算回归直线的斜率和截距的流程图。

图9是通过对摄像元件的输出进行A/D变换而得到的输出信号的值的一例的说明图。

图10是表示本发明的实施方式1中，根据图9的输出信号计算的低通滤波器输出的说明图。

图11是表示本发明的实施方式1中，根据图10的低通滤波器输出得到的回归直线的说明图。

图12是表示具有本发明的实施方式2的像素信号处理装置的数字照相机等摄像装置的结构的方框图。

图13是表示本发明的实施方式2中，生成具有R色输出信号的像素中的G色信号的步骤的流程图。

图14是在本发明的实施方式2中，回归分析单元评价图像的相关性的流程图。

图15是用于说明在本发明的实施方式2中，在关注像素具有R色的输出信号的情况下，为了生成不足色的G色而参照的像素的排列的说明图。

图16是表示本发明的实施方式2中，生成具有G色输出信号的像素中的R色信号的步骤的流程图。

图17是用于说明在本发明的实施方式2中，在关注像素具有G色输出信号的情况下，为了生成不足色的R、B色而参照的像素的排列的说明图。

图18是表示本发明的实施方式2中，生成具有R色输出信号的像素中的B色信号的步骤的流程图。

图19是用于说明在本发明的实施方式2中，在关注像素具有R色的输出信号的情况下，为了生成不足色的B色而参照的像素的排列的说明图。

图20是表示具有本发明的实施方式3的像素信号处理装置的数字照相机等摄像装置的结构的方框图。

图21是表示本发明的实施方式3中，生成具有G色输出信号的像素中的R色信号的步骤的流程图。

图22是用于说明在本发明的实施方式3中，在关注像素具有G色的输出信号的情况下，为了生成不足色的R、B色而参照的像素的排列的说明图。

图23是表示本发明的实施方式3中，生成具有R色输出信号的像素中的B色信号的步骤的流程图。

图24是用于说明在本发明的实施方式3中，在关注像素具有R色的输出信号的情况下，为了生成不足色的B色而参照的像素的排列的说明图。

符号说明

2二维摄像元件，7a～7c低通滤波器，8、10、12回归分析单元，9、13运算单元。

具体实施方式

以下，参照附图说明本发明的实施方式。以下说明的实施方式适于用作数字照相机的一部分，但本发明不限定于此。

实施方式1

图1是表示包括本发明的实施方式1的像素信号处理装置的摄像装置的结构的方框图。从镜头1射入的光在二维摄像元件2上成像，该二维摄像元件2是把具有与红(R)、绿(G)、蓝(B)的三原色对应的分光灵敏度特性的滤色镜例如按图2所示地配置为拜尔(Bayer)型。

二维摄像元件2对入射光进行光电转换，针对每个像素输出与入射光量对应的电平的模拟像素信号。该模拟像素信号由A/D变换器3变换为数字像素信号，并输出、存储在帧存储器4中。

存储在帧存储器4中的像素信号由多路信号分离器5按照R、G、B各色分配给二维存储器6a～6c，并存储。即，R色的像素信号被存储在存储器6a中，G色的像素信号被存储在存储器6b中，B色的像素信号被存储在存储器6c中。低通滤波器7a～7c分别对应于存储器6a～6c而被设置，对于从存储器6a～6c读出的像素信号进行低通滤波处理，输出其结果。

二维摄像元件2中，把R、G、B的滤色镜对应于各个像素的位置，例如按图2所示配置为拜尔型，所以从各像素位置仅得到一个颜色的像素信号，得不到其它的两个颜色的像素信号。换言之，在各像素位置仅存在一个颜色的像素信号，不存在其它颜色的像素信号。

以下，有时将在各像素位置中不存在像素信号的颜色称作“不足色”。例如，在摄像元件2的输出中，R色的像素信号存在的像素位置的不足色为G色和B色。

在本实施方式中，回归分析单元8和运算单元9基于从低通滤波器7a～7c输出的像素信号，通过插值来求出各像素位置的不足色的像素信号。

该插值包含以下六个处理。

(P1)用于求出R色的像素信号存在的像素位置中的G色的像素信号的处理。

(P2)用于求出B色的像素信号存在的像素位置中的G色的像素信号的处理。

(P3)用于求出G色的像素信号存在的像素位置中的R色的像素信号的处理。

(P4)用于求出G色的像素信号存在的像素位置中的B色的像素信号的处理。

(P5)用于求出R色的像素信号存在的像素位置中的B色的像素信号的处理。

(P6)用于求出B色的像素信号存在的像素位置中的R色的像素信号的处理。

这六个处理一般可以称作“用于求出K色(K＝R、G或B)的像素信号存在的像素位置中的L色(L＝R、G或B，其中L与K不同)的像素信号的处理”。

这六个处理分别对画面上(一帧内)的所有像素位置进行。

例如分别按顺序进行上述六个处理。在对各像素位置(关注像素位置)进行上述六个处理时，回归分析单元8从相应的低通滤波器(7a～7c中的两个)取得关注像素位置(插值对象像素位置)附近的区域(即，包含第一关注像素及其周围的(离该关注像素的距离为规定的距离以内的)像素的区域)内的像素位置中的K色的像素信号和L色的像素信号，计算表示取得的像素信号的相关性的回归式。

运算单元9使用由回归分析单元8计算出的回归式的常数和存储在帧存储器4中的关注像素位置的K色的像素信号(摄像元件2的输出)，计算关注像素位置中的L色的像素信号，将计算的结果得到的像素信号存储在结果存储器14中。以下，将如上述这样计算的结果得到的像素信号称作“生成像素信号”或简称为“生成信号”。相反，有时将作为低通滤波器7a～7c中的滤波结果得到的像素信号简称作“低通滤波输出”。此外，有时将低通滤波前的像素信号(即对摄像元件的输出进行A/D变换而得到的像素信号)简称作“输出信号”。此外，由于A/D变换只改变了信号的形式，所以有时也将存储在帧存储器4中的像素信号称作从摄像元件2输出的像素信号或摄像元件的输出信号。

上述六个处理全部结束时，一个画面上的所有像素位置的全部不足色的像素信号均凑齐。存储在结果存储器14中的生成信号和存储在帧存储器4中的输出信号的组合构成一个画面上的所有的像素位置中的所有颜色(R、G、B)的像素信号的组。运算单元9将这样的像素信号的组，即存储在帧存储器4中的输出信号和存储在结果存储器14中的生成信号的组合，作为RGB的彩色信号而输出。

以下详细说明。

图3是示意地表示出通过将摄像元件2的输出进行A/D转换而得到的像素信号的二维排列图。在图中，各块表示各像素位置，其中记载的R、G、B表示各像素位置中的像素信号的颜色，括号内的数字分别表示各像素位置的坐标值(l＝行，m＝列)。

输出信号如图3所示，在各像素位置上仅存在一个颜色的像素信号，在相同的像素位置上不存在其它颜色的像素信号。换言之，被配置为不会占据相同的像素位置。

如上所述，A/D变换器3的输出被存储在帧存储器4中，从帧存储器4读出的信号由多路信号分离器5分割，按各颜色被存储在二维存储器6a～6c中。

图4(a)～(c)示意地表示各二维存储器6a～6c中存储的像素信号及其像素位置。

如图所示，各颜色的输出信号不是占据所有的像素位置，例如，R色的输出信号在每四个像素位置中仅占据一个像素位置，剩余的三个像素位置中为不足色的像素信号，G色的输出信号在每两个像素位置中占据一个像素位置，剩余的一个像素位置中为不足色的像素信号，B色的输出信号在每四个像素位置中占据一个像素位置，剩余的三个像素位置中为不足色的像素信号。

本发明的像素信号处理装置通过插值求出各像素位置中的所有不足色的像素信号。

以下，更详细地说明低通滤波器7a～7c、回归分析单元8以及运算单元9中进行的生成各像素位置的不足色的像素信号的插值处理。图5是表示插值的步骤的流程图。

在以下的说明中，在摄像元件2的输出中，有时在某像素位置存在像素信号时，称作“该像素具有输出信号”，相反，在某像素位置不存在像素信号时，称作“该像素不具有输出信号”。

首先，生成具有R色的输出信号的像素位置中的G色的信号(步骤ST9)，接着生成具有B色的输出信号的像素位置中的G色的信号(步骤ST10)，接着生成具有G色的输出信号的像素位置中的R色的信号(步骤ST11)，接着生成具有G色的输出信号的像素位置中的B色的信号(步骤ST12)，接着生成具有R色的输出信号的像素位置中的B色的信号(步骤ST13)，最后生成具有B色的输出信号的像素位置中的R色的信号(步骤ST14)。

接着，详细地说明将具有R色输出信号的像素作为关注像素，生成关注像素中的作为不足色之一的G色的信号的处理(步骤ST9)。图4是表示步骤ST9的步骤的流程图。

例如，作为关注像素，假设选择了图3的具有R色的输出信号的像素位置(2，2)的像素(步骤ST16)。另外，为了表示像素位置(2，2)具有R色的输出信号，如图6的步骤ST16那样，有时表示为“R(2，2)”。以下，对于具有其它颜色的输出信号的像素也同样。

如上所述，当作为关注像素，选择了图3的具有R色的输出信号的像素位置(2，2)的像素时，回归分析单元8从低通滤波器7a、7b取得图3中的关注像素位置(2，2)的附近区域内的像素位置，即关注像素位置(2，2)的关注像素及其周围的8个像素位置(1，1)、(1，2)、(1，3)、(2，1)、(2，3)、(3，1)、(3，2)、(3，3)中的R色的低通滤波器输出和G色的低通滤波器输出所构成的数据。

另外，在图3所示的例子中，将在垂直方向以及垂直方向上距关注像素位置的距离为1像素的像素位置作为周围的像素位置。

作为低通滤波器输出，例如，有在规定范围内的相同颜色像素的输出信号的平均值等。具体来说，在将包含于3×3区域内的相同颜色的像素的输出信号的平均值作为该区域的中心位置中的低通滤波器输出时，图4(a)的粗线包围的3×3区域内所包含四个R色像素的输出信号的平均值，成为3×3区域的中心位置(l＝1，m＝1)中的R色的低通滤波器输出。从而，图3中的九个像素位置(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)、(3，3)中的R色的低通滤波器输出通过以下的式(4)～(12)得到。这里，R_LPF表示R色的低通滤波器输出。

R_LPF(1，1)＝(R(0，0)+R(0，2)+R(2，0)+R(2，2))/4

…(4)

R_LPF(1，2)＝(R(0，2)+R(2，2))/2 …(5)

R_LPF(1，3)＝(R(0，2)+R(0，4)+R(2，2)+R(2，4))/4

…(6)

R_LPF(2，1)＝(R(2，0)+R(2，2))/2 …(7)

R_LPF(2，2)＝R(2，2) …(8)

R_LPF(2，3)＝(R(2，2)+R(2，4))/2 …(9)

R_LPF(3，1)＝(R(2，0)+R(2，2)+R(4，0)+R(4，2))/4

…(10)

R_LPF(3，2)＝(R(2，2)+R(4，2))/2 …(11)

R_LPF(3，3)＝(R(2，2)+R(2，4)+R(4，2)+R(4，4))/4

…(12)

同样，图3中的九个像素位置(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)、(3，3)中的G色的低通滤波器输出通过以下的式(13)～(21)得到。这里，G_LPF表示G色的低通滤波器输出。

G_LPF(1，1)＝(G(0，1)+G(1，0)+G(1，2)+G(2，1))/4

…(13)

G_LPF(1，2)＝(G(0，1)+G(0，3)+G(1，2)+G(2，1)+G(2，3))/5

…(14)

G_LPF(1，3)＝(G(0，3)+G(1，2)+G(1，4)+G(2，3))/4

…(15)

G_LPF(2，1)＝(G(1，0)+G(1，2)+G(2，1)+G(3，0)+G(3，2))/5

…(16)

G_LPF(2，2)＝(G(1，2)+G(2，1)+G(2，3)+G(3，2))/4

…(17)

G_LPF(2，3)＝(G(1，2)+G(1，4)+G(2，3)+G(3，2)+G(3，4))/5

…(18)

G_LPF(3，1)＝(G(2，1)+G(3，0)+G(3，2)+G(4，1))/4

…(19)

G_LPF(3，2)＝(G(2，1)+G(2，3)+G(3，2)+G(4，1)+G(4，3))/5

…(20)

G_LPF(3，3)＝(G(2，3)+G(3，2)+G(3，4)+G(4，3))/4

…(21)

然后，回归分析单元8将由式(4)～(12)得到的R色的低通滤波器输出R_LPF作为说明变量e(i)(步骤ST17)，将由式(13)～(21)得到的G色的低通滤波器输出G_LPF作为目标变量p(i)(步骤ST18)，进行回归分析，计算式(22)所示的回归直线(步骤ST19)。

G_LPF＝a×R_LPF+b …(22)

图7表示回归直线的一例。表示这种回归直线的回归式以G_LPF作为目标变量、以R_LPF作为说明变量，通过最小二乘法得到。

图8是表示为了计算回归直线的常数a(截距)、b(斜率)，由步骤ST19实施的相关计算处理的细节的流程图。将说明变量设为e(i)，将目标变量设为p(i)，将数据总数设为N(在上述例子中N＝9)，将数据号设为i＝1～N。

如图8所示，最初在数据数设定步骤ST1中，设定计算所使用的数据的总数，接着在积和运算步骤ST2中，进行使用说明变量和目标变量的积和运算，计算k1、k2、k3，接着在斜率计算步骤ST3中，使用在步骤ST2中得到的k1、k2计算回归直线的斜率a，接着在截距计算步骤ST4中，使用在步骤ST2中得到的k2、k3计算回归直线的截距b的值。

这样得到的回归直线表示关注像素的附近区域中的R色和G色的相关性，因此认为关注像素中的R色和G色的信号也是与该回归直线上的值接近的值。

运算单元9取得表示由回归分析单元8计算出的回归直线的斜率和截距的参数a、b，以及存储在帧存储器4中的关注像素的输出信号R(2，2)，进行基于式(23)的变换，从而生成关注像素的位置中的G色的信号g(2，2)(步骤ST20)。另外，如上述的例子那样，G、R、B色的生成信号分别用小写字母“g”、“r”、“b”表示。

g(2，2)＝a×R(2，2)+b (23)

生成的信号存储在结果存储器14中(步骤ST21)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST22)。另外，当然在每次改变关注像素时，其周围的像素改变，由于使用不同的像素进行回归分析，所以得到不同值的常数a、b，使用其来求各像素的生成信号。

以上，图5的步骤ST9的处理结束。

在图5的步骤ST10至ST14的各步骤中也与步骤ST9同样，其中对于不同的颜色进行如上述的一系列的处理。

图5的步骤ST9至ST14都结束后，对于所有的像素的不足色完成插值，如果将输出信号(通过将摄像元件2的输出进行A/D变换而得到的像素信号)和生成信号(通过插值求出的像素信号)合成，则所有的像素的所有颜色的像素信号凑齐。即，得到一个画面的彩色图像。因此，运算单元9将存储在结果存储器14中的生成信号和存储在帧存储器4中的输出信号合成，作为RGB的彩色信号输出(步骤ST15)。

另外，在上述例子中，生成各色信号的顺序不限于图5所述的顺序，也可以交换生成信号的顺序。

当通过上述方式进行插值时，可以利用基于表示关注像素及其周围像素中的各颜色信号的任意的相关关系的回归直线的生成信号来进行插值。因此，上述专利文献1(日本特开2001-197512号公报)中公开的方法存在的、发生在颜色的边界附近的发黑或涂白等图像恶化的问题被显著地改善。

例如，从各像素得到如图9中的数值所示的输出信号，在虚线部分存在颜色的边界的情况下，位于中央的关注像素以及位于关注像素的周围的周围像素的位置中的R色和G色的低通滤波器输出如图10所示。图11表示根据这些值求出回归直线的结果。此时，回归直线的斜率为0.0807，截距为74.591。当将该结果和作为关注像素的输出信号的R(2，2)＝9代入式(23)计算不足色的G色的信号时，成为式(24)所示。

g(2，2)＝0.0807×9+74.59175 (24)

这样计算出的g(2，2)为与周围像素的G色接近的值，在颜色的边界附近部分发生发黑或涂白等图像恶化的情况消失。

另外，在上述例子中，低通滤波器求出各像素的周围的输出信号的单纯平均值，但也可以求加权平均值。

实施方式2

图12是表示具有本发明的实施方式2的像素信号处理装置的摄像装置的结构的方框图。

实施方式2中，回归分析单元10以及低通滤波器7a～7c以外的结构与实施方式1一样。

本实施方式的回归分析单元10在回归直线的计算之前，进行关注像素的周围的图像相关性的判定。具体来说，例如，从具有与关注像素的不足色中要生成的颜色相同的颜色的输出信号的像素中，分别计算上下、左右或斜向等上的隔着关注像素的相反侧的两个像素的输出信号(对摄像元件2的输出进行A/D变换而得到的像素信号)的差，并进行比较。然后，判定为在将输出信号的差最小的两个像素连接的直线方向上具有强的相关性。

回归分析单元10从位于被判定为强相关性的方向上的像素中选择多个与关注像素的输出信号相同颜色的像素，从帧存储器4取得所选择的像素中的输出信号，从低通滤波器7a～7c分别取得低通滤波器输出。

然后，将所选择像素中的输出信号作为说明变量、将低通滤波器输出作为目标变量，进行回归分析，计算表示颜色的相关性的回归直线。

接着说明动作。插值的步骤与实施方式1同样按照图5的流程图。最初，说明图5的步骤ST9的处理、即以具有R色的输出信号的像素作为关注像素，生成关注像素中的不足色之一的G色的信号的处理。图13是表示其步骤的流程图。

首先，选择作为关注像素具有R色的输出信号的像素位置(l，m)的像素(ST23)。

接着，进行关注像素的周围的图像相关性的判定(ST24、ST25、ST26、ST27)。

图14中也表示与图13的步骤ST24、ST25、ST26、ST27相同的步骤。但是，图14中对于像素位置示出了具体的坐标值的例子。以下，参照图13的步骤ST24、ST25、ST26、ST27以及与它们分别对应的图14的步骤ST5、ST6、ST7、ST8、以及表示关注像素周围的像素的图15进行说明。

例如，在作为关注像素选择了具有R色的输出信号的像素位置(l，m)，例如图15的(3，3)像素时(图13的步骤ST23)，使用位于关注像素的上下左右的像素(排列在上下或左右方向的像素)中、具有与要生成的不足色相同的G色的输出信号的像素的信号，比较关注像素中的纵向和横向的图像相关性。为此，首先计算关注像素的上下的G色像素的差分值G(V)以及左右的G色像素的差分值G(H)(步骤ST24、ST5)。接着，比较这些差分值G(V)、G(H)的大小关系(步骤ST25、ST6)，判定为在差分值小的方向(水平方向(横向)或垂直方向(纵向))上具有强的相关性。然后，将具有强的相关性的方向上的像素中、位于关注像素的附近、具有与关注像素的颜色相同的R色的输出信号的像素作为选择像素(步骤ST26、ST27、ST7、ST8)。

具体来说，在值G(V)≤G(H)时，判断为垂直方向的相关性强，将排列在垂直方向上的像素中、具有与关注像素的颜色相同的R色的输出信号的像素R(l-2，m)、R(l，m)、R(l+2，m)，例如R(1，3)、R(3，3)、R(5，3)作为选择像素(步骤ST26、ST7)。另一方面，在值G(V)＞G(H)时，判断为水平方向的相关性强，将排列在水平方向上的像素中、具有与关注像素的颜色相同的R色的输出信号的像素R(l，m-2)、R(l，m)、R(l，m+2)，例如R(3，1)、R(3，3)、R(3，5)作为选择像素(步骤ST27、ST8)。

如上，在进行了相关性的判定之后，回归分析单元10从帧存储器4取得所选择的像素中的R色的输出信号，作为说明变量e(i)(i＝1～3)(步骤ST28)，从低通滤波器7b取得G色低通滤波器输出，作为目标变量p(i)(i＝1～3)(步骤ST29)。

低通滤波器7a～7c从回归分析单元10取得相关性的判定结果，对于各像素位置，仅根据排列在被判定为相关性强的方向上的像素的输出信号，进行低通滤波。例如，在上述相关性的判定中判断为垂直方向上相关性强的情况下，将以各像素为中心的纵3像素×横1像素的区域中的像素的输出信号的平均值作为低通滤波器输出，在上述相关性的判定中判断为水平方向上相关性强的情况下，将纵1像素×横3像素的区域中的像素的输出信号的平均值作为低通滤波器输出。具体来说，在判断为垂直方向上相关性强的情况下，例如对于图15中的像素位置(1，3)的低通滤波器输出为被包含于粗线所表示的区域中的像素的输出信号的平均值。对于其它像素位置(3，3)、(5，3)也同样。从而，在垂直方向上相关性强的情况下，各选择像素中的G色低通滤波器输出通过以下的式(25)～(27)计算。

G_LPF(1，3)＝(G(0，3)+G(2，3))/2 (25)

G_LPF(3，3)＝(G(2，3)+G(4，3))/2 (26)

G_LPF(5，3)＝(G(4，3)+G(6，3))/2 (27)

回归分析单元10使用说明变量e(i)(R色的输出信号)以及目标变量p(i)(G色的低通滤波器输出)进行回归分析(步骤ST30)，计算表示R色和G色的相关性的回归直线的斜率和截距的值，与实施方式1一样，计算关注像素中的G色的生成信号(步骤ST31)。生成的信号存储在结果存储器14中(步骤ST32)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST33)。

由此，图5的步骤ST9的处理结束。

在图5的步骤ST10中，与步骤ST9一样，但是为了将R色变为B色，即求出具有B色的输出信号的像素的G色的信号，进行与上述同样的一系列的处理。

在图5的步骤ST11中，为了求出具有G色的输出信号的像素的R色的信号，进行一系列的处理。该处理与步骤ST9和ST10的不同如下。以下，参照图16以及图17说明步骤ST11的细节。

首先，作为关注像素，选择例如图17中的具有G色的输出信号的像素位置(3，3)的像素(ST34)。

在具有G色输出信号的像素周围，具有作为不足色的R色的输出信号的像素仅存在于排列在水平方向或垂直方向中的某一个上的位置上。从而，回归分析单元10不进行相关方向的判定，进行相应的颜色的像素存在的方向为水平方向还是垂直方向的判定(ST35)，并选择所存在的方向(步骤ST36、ST37)。例如，如图17所示，在存在于水平方向上的情况下，选择具有排列在水平方向上的G色的像素信号的像素位置(l，m-2)、(l，m)、(l，m+2)的像素(ST36)。另外，在与图17不同，而存在于垂直方向上的情况下，选择具有排列在垂直方向上的G色的像素信号的像素位置(l-2，m)、(l，m)、(l+2，m)的像素(ST37)。

上述以外的处理(ST38至ST43)与参照图13的ST28至33说明的处理同样。

即，与参照图13说明的、生成具有R色的输出信号的像素的G色的信号的情况一样，将选择像素的输出信号(通过对摄像元件2的输出进行A/D变换而得到的信号)作为说明变量e(i)(步骤ST38)，将R色的低通滤波器输出作为目标变量p(i)(步骤ST39)，进行回归分析(步骤ST40)，根据得到的回归直线和关注像素的输出信号，计算关注像素中的R色的生成信号(步骤ST41)。生成的结果存储在结果存储器14中(步骤ST42)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST43)。

由此，图5的步骤ST11的处理结束。

在图5的步骤ST12中，与步骤ST11一样，但是为了将R色变为B色，即求出具有G色的输出信号的像素的B色的信号，进行与上述同样的一系列的处理。

在图5的步骤ST13中，为了求出具有R色的输出信号的像素的B色的信号，进行一系列的处理。该处理与步骤ST9～ST12的不同如下所述。以下，参照图18以及图19说明步骤ST13的细节。

首先，作为关注像素，选择图19中的具有R色的输出信号的像素位置(3，3)的像素(ST44)。

接着，进行关注像素周围的图像相关性的判定(ST45、ST46、ST47、ST48)。在该情况下，与图13的情况不同，求出从水平/垂直方向倾斜了45度的两个斜向的相关性(步骤ST45～48)。

即，使用排列在关注像素的右上倾斜方向上的像素以及排列在右下倾斜方向上的像素中、具有与要生成的不足色相同的R色的输出信号的像素的信号，比较关注像素的右上倾斜方向和左上倾斜方向的图像的相关性。为此，首先计算排列在关注像素的右上倾斜方向上的、隔着关注像素而位于相反侧的B色的像素相互间的差分值B(D1)＝|B(l-1，m+1)-B(l+1，m-1)|，以及排列在右下倾斜方向上的、隔着关注像素而位于相反侧的B色的像素相互间的差分值B(D2)＝|B(l-1，m-1)-B(l+1，m+1)|(步骤ST45)。接着，比较这些差分值B(D1)、B(D2)的大小关系(步骤ST46)，判定为在差分值小的方向(右上倾斜方向或右下倾斜方向)上具有强相关性。然后，将位于具有强相关性的方向上的像素中、位于关注像素的附近、具有与关注像素的颜色相同的R色的输出信号的像素作为选择像素(步骤ST47、ST48)。

具体来说，在值B(D1)≤B(D2)时，判断为右上倾斜方向的相关性强，将排列在右上倾斜方向上的像素中、具有与关注像素的颜色相同的R色的输出信号的像素位置(l-2，m+2)、(l，m)、(l+2，m)的像素作为选择像素(步骤ST47)。另一方面，在值B(D1)＞B(D22)时，判断为右下倾斜方向的相关性强，将排列在右下倾斜方向上的像素中、具有与关注像素的颜色相同的R色的输出信号的像素位置(l-2，m-2)、(l，m)、(l+2，m+2)的像素作为选择像素(步骤ST48)。

如上所述，在进行了相关性的判定之后，回归分析单元10从帧存储器4取得所选择的像素中的R色的输出信号，作为说明变量e(i)(i＝1～3)(步骤ST49)，从低通滤波器7c取得B色的低通滤波器输出，作为目标变量p(i)(i＝1～3)(步骤ST50)。

把对于此时的各像素位置的低通滤波器输出作为排列在以该像素为中心的斜向上的2个像素的像素位置的像素的输出信号的平均值。

回归分析单元10使用说明变量e(i)(R色的输出信号)以及目标变量p(i)(B色的低通滤波器输出)进行回归分析(步骤ST51)，计算表示R色和B色的相关性的回归直线的斜率和截距的值，与实施方式1同样，计算关注像素中的B色的生成信号(步骤ST52)。生成的信号存储在结果存储器14中(步骤ST53)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST54)。

由此，图5的步骤ST13的处理结束。

在图5的步骤ST14中，与步骤ST13同样，但是为了将R色和B色相替换，即求出具有R色的输出信号的像素的B色的信号，进行与上述同样的一系列的处理。

在图5的步骤ST9到ST14全部结束后，对于所有的像素的不足色完成插值，如果将输出信号(通过将摄像元件2的输出进行A/D变换而得到的像素信号)和生成信号(通过插值求出的像素信号)合成，则所有像素的所有颜色的像素信号凑齐。即，得到1个画面的彩色图像。因此，运算单元9将存储在结果存储器14中的生成信号和来自摄像元件2的输出信号合成，作为RGB的彩色信号输出(步骤ST15)。

在该实施方式2中，进行关注像素周围的图像相关性的判定，仅将排列在被判断为相关性强的方向上的像素的输出信号用作说明变量。其结果，例如，选择了亮度差少的边缘的棱线方向的像素。从而，可以排除来自相关性低的方向(与相关性强的方向垂直的方向)的影响，例如来自边缘的棱线的法线方向的影响。

此外，在实施方式2中，作为说明变量，取代低通滤波器输出而使用输出信号(通过对摄像元件2的输出进行A/D变换而得到的像素信号)的值本身，计算回归直线，因此得到更准确地表示局部的颜色相关性的回归直线。其结果，可以生成更准确的不足色的信号。

此外，进行关注像素周围的输出信号的相关性的判定，仅将排列在被判断为相关性强的方向上的像素的输出信号用作说明变量，但也可以不进行相关性的判定，取代低通滤波器输出而使用输出信号。即，也可以将关注像素周围的所有方向的(不限定方向)像素的输出信号用作说明变量。

实施方式3

图20是表示具有本发明的实施方式3的像素信号处理装置的摄像装置的结构的方框图。

实施方式3中，除了回归分析单元12和运算单元13以外的结构与

实施方式2同样。

在本实施方式中，关于某种颜色，将通过上述实施方式1或实施方式2中说明的包含回归分析以及运算的插值而生成的像素信号，在用于其它颜色的插值的回归分析中用作说明变量或目标变量。以下，作为其一例，说明将上述实施方式2中计算出的G色的生成信号用于计算R色以及B色的生成信号的情况。

接着，说明动作。插值的步骤与实施方式2同样，按照图5的流程图。步骤ST9以及ST10的处理与针对实施方式2所说明的同样。通过步骤ST9的处理，得到具有R色的输出信号的像素位置的G色的生成信号，通过步骤ST10的处理，得到具有B色的输出信号的像素位置的G色的生成信号，它们被存储在结果存储器14中。若将存储在结果存储器14中的G色的生成信号和存储在帧存储器4中的G色的输出信号合成，则凑齐一个画面的G色的像素信号。

在图5的步骤ST11中，为了求出具有G色的输出信号的像素的R色的信号，进行一系列的处理。图21是表示其步骤的流程图。

首先，选择具有G色的输出信号的像素位置(l，m)的像素作为关注像素(ST55)。假定例如选择了图22中的像素位置(3，3)的像素的情况。

回归分析单元12(与ST9、ST10不同)不进行相关判定，取而代之，进行在关注像素的左右是否存在作为关注像素的不足色的R色的像素的判定(步骤ST56)，在存在的情况下，将关注像素附近的具有R色的输出信号的图22中的六个像素位置(l-2，m-1)、(l-2，m+1)、(l，m-1)、(l，m+1)、(l+2，m-1)、(l+2，m+1)的像素作为选择像素(步骤ST57)，另一方面，在不存在的情况下，将关注像素附近的具有R色的输出信号的图22中的六个像素位置(l-1，m-2)、(l+1，m-2)、(l-1，m)、(l+1，m)、(l-1，m+2)、(l+1，m+2)的像素作为选择像素(步骤ST58)。在图22的情况下，由于在关注像素的左右存在R色的像素，所以步骤ST56的判定结果为“是”，进至步骤ST57，将像素位置(1，2)、(1，4)、(3，2)、(3，4)、(5，2)、(5，4)的像素作为选择像素。

在步骤ST59中，将选择像素位置中的G色的生成信号g(l-2，m-1)、g(l-2，m+1)、g(l，m-1)、g(l，m+1)、g(l+2，m-1)、g(l+2，m+1)作为说明变量e(i)(i＝1～6)(步骤ST57中为“是”的情况)，或将g(l-1，m-2)、g(l+1，m-2)、g(l-1，m)、g(l+1，m)、g(l-1，m+2)、g(l+1，m+2)作为说明变量e(i)(i＝1～6)(步骤ST57中为“否”的情况)。图22的情况下，将g(1，2)、g(1，4)、g(3，2)、g(3，4)、g(5，2)、g(5，4)作为说明变量e(i)(i＝1～6)。

在步骤ST60中，将选择像素位置中的R色的输出信号R(l-2，m-1)、R(l-2，m+1)、R(l，m-1)、R(l，m+1)、R(l+2，m-1)、R(l+2，m+1)作为目标变量p(i)(i＝1～6)(步骤ST57中为“是”的情况)，或将R(l-1，m-2)、R(l+1，m-2)、R(l-1，m)、R(l+1，m)、R(l-1，m+2)、R(l+1，m+2)作为目标变量p(i)(i＝1～6)(步骤ST57中为“否”的情况)。图22所示的例子的情况下，由于步骤ST57中为“是”，所以将选择像素位置中的R色的输出信号R(1，2)、R(1，4)、R(3，2)、R(3，4)、R(5，2)、R(5，4)作为目标变量p(i)(i＝1～6)。

然后，使用这样决定的说明变量以及目标变量进行回归分析，计算表示关注像素附近的区域内的G色和R色的相关性的回归直线(步骤ST61)。此时，为了更准确地求出局部的颜色的相关性，也可以将上述六个像素位置(l-2，m-1)、(l-2，m+1)、(l，m-1)、(l，m+1)、(l+2，m-1)、(l+2，m+1)，或(l-1，m-2)、(l+1，m-2)、(l-1，m)、(l+1，m)、(l-1，m+2)、(l+1，m+2)，例如图22中的六个像素位置(1，2)、(1，4)、(3，2)、(3，4)、(5，2)、(5，4)的选择像素之中、输出信号或生成信号与其它的选择像素或关注像素所具有的值大不相同的像素从选择像素中排除，来进行回归直线的计算。

运算单元13根据得到的回归直线和关注像素的输出信号G(3、3)，生成作为关注像素的不足色的R色的信号(步骤ST62)。生成的信号存储在结果存储器14中(步骤ST63)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST64)。

由此，图5的步骤ST11的处理结束。

在图5的步骤ST12中，与步骤ST11同样，但是为了将R色变为B色，即求出具有G色的输出信号的像素的B色的信号，进行与上述同样的一系列的处理。该处理也与图21同样。但是，在图21的步骤ST55至ST64中需要将为“R”的改读作“B”。

首先，选择具有G色的输出信号的像素位置(l，m)的像素作为关注像素(ST55)。假定选择了例如图22中的(3，3)的情况。

回归分析单元12进行在关注像素的左右是否存在作为关注像素的不足色的B色的像素的判定(步骤ST56)，在存在的情况下，将关注像素附近的、具有B色的输出信号的图22中的六个像素位置(l-2，m-1)、(l-2，m+1)、(l，m-1)、(l，m+1)、(l+2，m-1)、(l+2，m+1)的像素作为选择像素(步骤ST57)，另一方面，在不存在的情况下，将关注像素附近的、具有B色的输出信号的图22中的六个像素位置(l-1，m-2)、(l+1，m-2)、(l-1，m)、(l+1，m)、(l-1，m+2)、(l+1，m+2)的像素作为选择像素(步骤ST58)。在图22的情况下，由于在关注像素的左右不存在B色的像素，所以步骤ST56的判定结果为“否”，进至步骤ST58，将像素位置(2，1)、(2，3)、(2，5)、(4，1)、(4，3)、(4，5)的像素作为选择像素。

在步骤ST59中，将选择像素位置中的G色的生成信号g(l-2，m-1)、g(l-2，m+1)、g(l，m-1)、g(l，m+1)、g(l+2，m-1)、g(l+2，m+1)作为说明变量e(i)(i＝1～6)(步骤ST57中为“是”的情况)，或将g(l-1，m-2)、g(l+1，m-2)、g(l-1，m)、g(l+1，m)、g(l-1，m+2)、g(l+1，m+2)作为说明变量e(i)(i＝1～6)(步骤ST57中为“否”的情况)。图22的情况下，将g(2，1)、g(2，3)、g(2，5)、g(4，1)、g(4，3)、g(4，5)作为说明变量e(i)(i＝1～6)。

在步骤ST60中，将选择像素的B色的输出信号B(l-2，m-1)、B(l-2，m+1)、B(l，m-1)、B(l，m+1)、B(l+2，m-1)、B(l+2，m+1)作为目标变量p(i)(i＝1～6)(步骤ST57中为“是”的情况)，或将B(l-1，m-2)、B(l+1，m-2)、B(l-1，m)、B(l+1，m)、B(l-1，m+2)、B(l+1，m+2)作为目标变量p(i)(i＝1～6)(步骤ST57中为“否”的情况)。图22所示的例子的情况下，由于步骤ST57中为“否”，所以将选择像素的B色的输出信号B(2，1)、B(2，3)、B(2，5)、B(4，1)、B(4，3)、B(4，5)作为目标变量p(i)(i＝1～6)。

然后，使用这样决定的说明变量以及目标变量进行回归分析，计算表示关注像素附近的区域内的G色和B色的相关性的回归直线(步骤ST61)。此时，为了更准确地求出局部的颜色的相关性，也可以将上述六个像素位置(l-2，m-1)、(l-2，m+1)、(l，m-1)、(l，m+1)、(l+2，m-1)、(l+2，m+1)，或(l-1，m-2)、(l+1，m-2)、(l-1，m)、(l+1，m)、(l-1，m+2)、(l+1，m+2)，例如图22中的六个像素位置(2，1)、(2，3)、(2，5)、(4，1)、(4，3)、(4，5)的选择像素中、输出信号或生成信号与其它的选择像素或关注像素所具有的值大不相同的像素从选择像素中排除，来进行回归直线的计算。

运算单元13根据得到的回归直线和关注像素的输出信号G(3、3)，生成作为关注像素的不足色的B色的信号(步骤ST62)。生成的信号存储在结果存储器14中(步骤ST63)。

由此，图5的步骤ST12的处理结束。

在图5的步骤ST13中，为了求出具有B色的输出信号的像素的R色的信号而进行一系列的处理。图23是表示其步骤的流程图。

首先，选择具有R色的输出信号的像素位置(l，m)的像素作为关注像素(ST65)。假定选择了例如图24中的(3，3)的情况。

回归分析单元12将关注像素周围的具有B色的输出信号的四个像素位置(l-1，m-1)、(l-1，m+1)、(l+1，m-1)、(l+1，m+1)，图24的情况下为(2，2)、(2，4)、(4，2)、(4，4)的B色的像素作为第一组选择像素(选择像素1)(步骤ST66)。

然后，将存储在结果存储器14中的选择像素1的像素位置的G色的生成信号g(2，2)、g(2，4)、g(4，2)、g(4，4)作为说明变量e(i)(i＝1～4)(步骤ST67)，将选择像素1的像素位置的B色的输出信号B(2，2)、B(2，4)、B(4，2)、B(4，4)作为目标变量p(i)(i＝1～4)(步骤ST67)。

进而，将具有G色的输出信号的四个像素位置(l-1，m)、(l，m-1)、(l，m+1)、(l+1，m)，图24的情况下为(2，3)、(3，2)、(3，4)、(4，3)的像素作为第2组选择像素(选择像素2)(步骤ST69)。

然后，将选择像素2的G色的输出信号G(2，3)、G(3，2)、G(3，4)、G(4，3)作为说明变量e(i)(i＝5～8)(步骤ST70)，将存储在结果存储器14中的选择像素2的B色的生成信号b(2，3)、b(3，2)、b(3，4)、b(4，3)作为目标变量p(i)(i＝5～8)(步骤ST71)。

然后，使用这样决定的说明变量e(i)(i＝1～8)以及目标变量p(i)(i＝1～8)进行回归分析，计算表示关注像素附近的区域内的B色和G色的相关性的回归直线(步骤ST72)。此时，为了更准确地求出局部的颜色的相关性，也可以将上述8个像素位置(l-1，m-1)、(l-1，m+1)、(l+1，m-1)、(l+1，m+1)、(l-1，m)、(l，m-1)，(l，m+1)、(l+1，m)，例如图24的情况下为(2，2)、(2，4)、(4，2)、(4，4)、(2，3)、(3，2)、(3，4)、(4，3)的选择像素中、输出信号或生成信号与其它的选择像素或关注像素所具有的值大不相同的像素从选择像素中排除，来进行回归直线的计算。

运算单元13根据得到的回归直线和关注像素的生成信号g(3、3)，生成作为关注像素的不足色的B色的信号(步骤ST73)。生成的信号存储在结果存储器14中(步骤ST74)。

一边改变关注像素，即以不同的像素作为关注像素，一边重复进行以上的处理(步骤ST75)。

由此，图5的步骤ST13的处理结束。

在图5的步骤ST14中，与步骤ST13同样，但是为了将R色和B色相替换，即求出具有B色的输出信号的像素的R色的信号，进行与上述同样的一系列的处理。该处理也与图23同样。但是，在图23的步骤ST65至ST74中需要将为“B”的改读作“R”。

图5的步骤ST9至ST14都结束后，对于所有的像素的不足色的插值完成，如果将输出信号和生成信号合成，则所有的像素的所有颜色的像素信号凑齐。即，得到1个画面的彩色图像。因此，运算单元9将存储在结果存储器14中的生成信号和存储在帧存储器4中的输出信号合成，作为RGB彩色信号输出(步骤ST15)。

实施方式3的步骤ST11至ST14中，也可以取代对低通滤波器输出的使用，而除了各像素的输出信号之外还使用通过插值得到的生成信号，从而对关注像素周围的像素所具有的信号，以其原来的形式来使用。此外，可以使用关注像素附近的像素的信号。因此，得到更准确地表示局部的颜色的相关性的回归直线。其结果，可以更准确地生成不足色的信号。

上述实施方式1、2以及3的说明中，二维摄像元件是把R、G、B三色的滤色镜配置为拜尔型的元件，但本发明一般来说，可以应用于具备将分别具有第1至第N(上述实施方式中N＝3)分光灵敏度特性中的任一个分光灵敏度特性的N种光电转换元件排列于二维平面上的摄像元件的情况。

在实施方式1、2以及3的任一个中，回归分析单元(8、10、12)都取得第1关注像素位置附近的区域内的多个像素位置中的第K(上述例子中K＝R、G或B)分光灵敏度特性的像素信号和第L(上述例子中L＝R、G或B，但L与K不同)分光灵敏度特性的像素信号，将第K分光灵敏度特性的像素信号作为说明变量，将第L分光灵敏度特性的像素信号作为目标变量来实施回归分析，计算表示第K分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式，运算单元(9、13)通过对第1关注像素位置中的第K分光灵敏度特性的像素信号使用基于上述回归式的变换式，从而求出第1关注像素位置中的第L分光灵敏度特性的像素信号。

在上述实施方式1、2以及3的任一个中，低通滤波器(7a～7c)都对来自N种光电转换元件的输出信号进行低通滤波，生成与第1至第N分光灵敏度特性对应的低通滤波器输出。

并且，在实施方式1中，对说明变量和目标变量双方都使用通过低通滤波而得到的像素信号，在实施方式2中，使用输出信号作为说明变量，使用通过低通滤波而得到的像素信号作为目标变量。

在实施方式3中，将通过与实施方式2同样的回归分析以及运算而生成的针对某像素的某种颜色的像素信号，在进行对其附近的其它像素的其它颜色的像素信号的插值用的回归分析时，作为说明变量来使用。

也可以取代上述方法，将通过与实施方式1同样的回归分析以及运算而生成的针对某像素的某种颜色的像素信号，在进行对其附近的其它像素的其它颜色的像素信号的插值用的回归分析时，作为说明变量来使用。

进而，也可以取代实施方式1或实施方式2的回归分析以及运算而使用公知的插值单元。一般而言，这样的插值单元根据第1关注像素附近的区域内的、第M(M是从1至N的除了K之外的任何一个)分光灵敏度特性的像素信号存在的第2关注像素位置附近的区域内的多个像素位置中的第M分光灵敏度特性的像素信号和第K分光灵敏度特性的像素信号，通过插值来求出第2关注像素位置中的第K分光灵敏度特性的像素信号。

一般来说，该插值单元通过与实施方式1或实施方式2中说明的相同的回归分析以及运算进行插值的情况下的结构如下所述。即回归分析单元取得第2关注像素位置第2关注像素位置附近的区域内的多个像素位置中的第M分光灵敏度特性的像素信号和第K分光灵敏度特性的像素信号，将第M分光灵敏度特性的像素信号作为说明变量，将第K分光灵敏度特性的像素信号作为目标变量来实施回归分析，计算表示第M分光灵敏度特性的像素信号和第K分光灵敏度特性的像素信号的相关性的回归式，运算单元通过对第2关注像素位置中的第M分光灵敏度特性的像素信号使用基于回归式的变换式，从而求出第2关注像素位置中的第K分光灵敏度特性的像素信号，这样求出的像素信号被用作“通过插值求出的第K分光灵敏度特性的像素信号”，为了第L像素信号的插值而被用作说明变量。

实施方式3中还将通过回归分析以及运算求出的像素信号，在其它颜色的像素信号的插值用的回归分析中用作目标变量的一部分。这在颜色具有第1至第N分光灵敏度特性的情况下的一般化表现如下所述。

即，还具有插值单元，其基于第2关注像素位置第2关注像素位置附近的区域内的多个像素位置中的第M(M是从1至N的除了K之外的任何一个)分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号，通过插值求出第2关注像素位置中的第L分光灵敏度特性的像素信号，回归分析单元还将通过上述插值求出的像素信号用作目标变量的一部分。

并且，一般来说，这种插值单元由上述实施方式3中说明的回归分析单元以及运算单元构成的情况下的结构如下所述。即，回归分析单元取得第2关注像素位置第2关注像素位置附近的区域内的多个像素位置中的第M分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号，将第M分光灵敏度特性的像素信号作为说明变量，将第L分光灵敏度特性的像素信号作为目标变量来实施回归分析，计算表示第M分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式，运算单元通过对第2关注像素位置中的第M分光灵敏度特性的像素信号使用基于回归式的变换式，从而求出第2关注像素位置中的第L分光灵敏度特性的像素信号，这样求出的像素信号作为“通过插值求出的第L分光灵敏度特性的像素信号”，被用作目标变量的一部分。

在实施方式1至3的任何一个中，回归分析单元(8、10、12)都选择y＝a·x+b(y是作为目标变量的第Y分光灵敏度特性的像素信号，x是作为说明变量的第X分光灵敏度特性的像素信号，a以及b是常数)的直线作为回归式，运算单元(9、13)通过将关注像素位置中的第X分光灵敏度特性的像素信号X代入基于上述直线的变换式

Y＝a·X+b进行变换，从而得到关注像素位置中的第Y分光灵敏度特性的像素信号Y。这里，在生成第K分光灵敏度特性的像素信号存在的第1关注像素位置中的第L分光灵敏度特性的像素信号时，X＝K，Y＝L，Y＝L，在生成第M分光灵敏度特性的像素信号存在的第2关注像素位置中的第K分光灵敏度特性的像素信号时，X＝M，Y＝K，Y＝K。

在生成第M分光灵敏度特性的像素信号存在的第2关注像素位置中的第L分光灵敏度特性的像素信号时，X＝M，Y＝L，Y＝L。

在图8的步骤ST2中，利用说明变量e(i)、目标变量p(i)求出k1、k2、k3，如上所述，在用x(i)表示说明变量、用y(i)表示目标变量的情况下，求出k1、k2、k3的式子如下所示。

[数式1]

k 1 = N \cdot Σ_{i = 1}^{N} (x (i) \cdot y (i))

k 2 = Σ_{i = 1}^{N} x (i) \cdot Σ_{i = 1}^{N} y (i)

k 3 = N \cdot Σ_{i = 1}^{N} x {(i)}^{2} - {(Σ_{i = 1}^{N} y (i))}^{2}

(N：数据总数)

Claims

1.一种像素信号处理装置，根据被排列在二维平面上、分别具有第1至第N分光灵敏度特性中的任一个分光灵敏度特性的像素的像素信号组，生成第K(K是1至N中的任一个)分光灵敏度特性的像素信号存在的第1关注像素位置中的第L(L是1至N中的除了K之外的任一个)分光灵敏度特性的像素信号，该像素信号处理装置具有：

回归分析单元，其以上述第1关注像素位置的附近区域内的多个像素位置中的上述第K分光灵敏度特性的像素信号作为说明变量、以上述第L分光灵敏度特性的像素信号作为目标变量，来实施回归分析，算出表示上述第K分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式；以及

运算单元，其通过对上述第1关注像素位置中的上述第K分光灵敏度特性的像素信号使用基于上述回归式的变换式，来求出上述第1关注像素位置中的上述第L分光灵敏度特性的像素信号。

2.如权利要求1所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有：

摄像元件，在该摄像元件中，分别具有第1至第N分光灵敏度特性中的任一个分光灵敏度特性的N种光电转换元件被排列在二维平面上；

低通滤波单元，其对上述摄像元件的输出信号进行低通滤波，

上述回归分析单元使用通过上述低通滤波得到的像素信号作为上述说明变量和上述目标变量。

3.如权利要求1所述的像素信号处理装置，其特征在于，该像素信号处理装置还具有：

上述回归分析单元使用从上述摄像元件输出的像素信号作为上述说明变量，使用通过上述低通滤波得到的像素信号作为上述目标变量。

4.如权利要求1所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有插值单元，该插值单元根据位于上述第1关注像素的附近区域内、第M(M是1至N中的除了K之外的任何一个)分光灵敏度特性的像素信号存在的第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号和上述第K分光灵敏度特性的像素信号，通过插值求出上述第2关注像素位置中的第K分光灵敏度特性的像素信号，

上述回归分析单元把通过上述插值求出的像素信号用作上述说明变量。

5.如权利要求4所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有插值单元，该插值单元根据位于上述第1关注像素的附近区域内、第M(M是1至N中的除了K之外的任何一个)分光灵敏度特性的像素信号存在的第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号和上述第L分光灵敏度特性的像素信号，通过插值求出上述第2关注像素位置中的第L分光灵敏度特性的像素信号，

上述回归分析单元还把通过上述插值求出的像素信号用作上述目标变量的一部分。

6.如权利要求1所述的像素信号处理装置，其特征在于，

上述回归分析单元把通过上述插值求出的像素信号用作上述目标变量的一部分。

7.如权利要求4所述的像素信号处理装置，其特征在于，

上述插值单元由上述回归分析单元以及上述运算单元构成，

上述回归分析单元以上述第2关注像素位置第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号为说明变量、以上述第K分光灵敏度特性的像素信号为目标变量，来实施回归分析，算出表示上述第M分光灵敏度特性的像素信号和第K分光灵敏度特性的像素信号的相关性的回归式，

上述运算单元通过对上述第2关注像素位置中的上述第M分光灵敏度特性的像素信号使用基于上述回归式的变换式，来求出上述第2关注像素位置中的上述第K分光灵敏度特性的像素信号。

8.如权利要求5所述的像素信号处理装置，其特征在于，

上述插值单元由上述回归分析单元和上述运算单元构成，

上述回归分析单元以上述第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号为说明变量、以上述第L分光灵敏度特性的像素信号为目标变量，来实施回归分析，算出表示上述第M分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式，

上述运算单元通过对上述第2关注像素位置中的上述第M分光灵敏度特性的像素信号使用基于上述回归式的变换式，来求出上述第2关注像素位置中的上述第L分光灵敏度特性的像素信号。

9.如权利要求2所述的像素信号处理装置，其特征在于，

上述低通滤波单元将从上述摄像元件输出的像素信号的平均值或加权平均值作为低通滤波器输出。

10.如权利要求1所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有摄像元件，在该摄像元件中，分别具有第1至第N分光灵敏度特性中的任一个特性的N种光电转换元件被排列在二维平面上，

上述回归分析单元对上述第1关注像素的周围，判定从上述摄像元件输出的像素信号的相关性，将被判断为相关性强的像素位置的像素信号用作上述说明变量和上述目标变量。

11.如权利要求10所述的像素信号处理装置，其特征在于，

上述回归分析单元对上述第1关注像素的周围，计算分光灵敏度特性的种类相同且隔着上述第1关注像素而位于相反的位置上的两个像素的像素信号的差，在上述像素信号的差小的情况下判定为相关性高，将位于连接相关性最高的两个像素的直线的方向上的像素用作上述说明变量和目标变量。

12.如权利要求10所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有低通滤波单元，其对上述摄像元件的输出信号进行低通滤波处理，

上述低通滤波单元仅根据位于连接上述相关性最高的像素的直线的方向上的像素来进行低通滤波。

13.如权利要求1所述的像素信号处理装置，其特征在于，

上述运算单元通过对从上述摄像元件输出的像素信号使用基于上述回归式的变换式，来求出上述第1关注像素位置中的上述第L分光灵敏度特性的像素信号。

14.如权利要求1所述的像素信号处理装置，其特征在于，

该像素信号处理装置还具有插值单元，其根据位于上述第1关注像素的附近区域内、第M(M是1至N中的除了K之外的任何一个)分光灵敏度特性的像素信号存在的第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号和上述第K分光灵敏度特性的像素信号，通过插值求出上述第2关注像素位置中的第K分光灵敏度特性的像素信号，

上述运算单元通过对通过上述插值单元的插值求出的像素信号使用基于上述回归式的变换式，来求出上述第1关注像素位置中的上述第L分光灵敏度特性的像素信号。

15.如权利要求1所述的像素信号处理装置，其特征在于，

上述回归分析单元选择利用下式(1)

y＝a·x+b …(1)

(y是第Y分光灵敏度特性的像素信号，

x是第X分光灵敏度特性的像素信号，

a以及b是常数)

表示的直线作为回归式，

上述运算单元将上述第1或第2关注像素位置中的第X分光灵敏度特性的像素信号X代入基于上述直线的下述变换式(2)

Y＝a·X+b …(2)(其中，在生成上述第1关注像素位置中的上述第L分光灵敏度特性的像素信号时，X＝K、Y＝L、Y＝L，在生成上述第2关注像素位置中的上述第K分光灵敏度特性的像素信号时，X＝M、Y＝K、Y＝K，在生成上述第2关注像素位置中的上述第L分光灵敏度特性的像素信号时，X＝M、Y＝L、Y＝L)，进行变换，得到上述第1或第2关注像素位置中的第Y分光灵敏度特性的像素信号Y。

16.如权利要求15所述的像素信号处理装置，其特征在于，

上述回归分析单元利用下式(3)来计算上述回归式的常数a和b：[公式2]

a = - \frac{k 1}{k 2}

b = \frac{k 3}{k 2}

k 1 = N \cdot Σ_{i = 1}^{N} (x (i) \cdot y (i))

k 2 = Σ_{i = 1}^{N} x (i) \cdot Σ_{i = 1}^{N} y (i)

k 3 = N \cdot Σ_{i = 1}^{N} x {(i)}^{2} - {(Σ_{i = 1}^{N} y (i))}^{2}

(N：数据总数)…(3)。

17.一种像素信号处理方法，根据被排列在二维平面上、分别具有第1至第N分光灵敏度特性中的任一个分光灵敏度特性的像素的像素信号组，生成第K(K是1至N中的任一个)分光灵敏度特性的像素信号存在的第1关注像素位置中的第L(L是1至N中的除了K之外的任一个)分光灵敏度特性的像素信号，该像素信号处理方法具有：

回归分析步骤，以上述第1关注像素位置的附近区域内的多个像素位置中的上述第K分光灵敏度特性的像素信号作为说明变量、将上述第L分光灵敏度特性的像素信号作为目标变量，来实施回归分析，算出表示上述第K分光灵敏度特性的像素信号和第L分光灵敏度特性的像素信号的相关性的回归式；以及

运算步骤，其通过对上述第1关注像素位置中的上述第K分光灵敏度特性的像素信号使用基于上述回归式的变换式，来求出上述第1关注像素位置中的上述第L分光灵敏度特性的像素信号。

18.如权利要求17所述的像素信号处理方法，其特征在于，该像素信号处理方法还具有：

接受从摄像元件输出的像素信号的步骤，其中在该摄像元件中，分别具有第1至第N分光灵敏度特性中的任一个分光灵敏度特性的N种光电转换元件被排列在二维平面上；以及

对从上述摄像元件输出的像素信号进行低通滤波处理的步骤，

上述回归分析步骤使用通过上述低通滤波得到的像素信号，作为上述说明变量和上述目标变量。

19.如权利要求17所述的像素信号处理方法，其特征在于，该像素信号处理方法还具有：

上述回归分析步骤使用从上述摄像元件输出的像素信号作为上述说明变量，使用通过上述低通滤波得到的像素信号作为上述目标变量。

20.如权利要求17所述的像素信号处理方法，其特征在于，

该像素信号处理方法还具有插值步骤，根据位于上述第1关注像素的附近区域内、第M(M是1至N中的除了K之外的任何一个)分光灵敏度特性的像素信号存在的第2关注像素位置的附近区域内的多个像素位置中的第M分光灵敏度特性的像素信号和上述第K分光灵敏度特性的像素信号，通过插值求出上述第2关注像素位置中的第K分光灵敏度特性的像素信号，

上述回归分析步骤把通过上述插值求出的像素信号用作上述说明变量。