[go: up one dir, main page]

CN102739918A - 图像处理装置、方法、记录介质和程序 - Google Patents

图像处理装置、方法、记录介质和程序 Download PDF

Info

Publication number
CN102739918A
CN102739918A CN2012100772915A CN201210077291A CN102739918A CN 102739918 A CN102739918 A CN 102739918A CN 2012100772915 A CN2012100772915 A CN 2012100772915A CN 201210077291 A CN201210077291 A CN 201210077291A CN 102739918 A CN102739918 A CN 102739918A
Authority
CN
China
Prior art keywords
pixel
interest
color
difference
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100772915A
Other languages
English (en)
Inventor
村尾颂太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102739918A publication Critical patent/CN102739918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了图像处理装置、方法、记录介质和程序。该图像处理装置包括:保持部件,该保持部件保持输入的像素值;基本像素值计算部件,该基本像素值计算部件根据多个像素的像素值计算基本像素值,这多个像素是位于具有保持部件所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;不同颜色像素差异计算部件,该不同颜色像素差异计算部件计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;组合部件,该组合部件组合基本像素值和不同颜色像素差异以计算关注像素的估计像素值;以及校正部件,该校正部件利用所述估计值来校正关注像素的像素值。

Description

图像处理装置、方法、记录介质和程序
技术领域
本公开涉及图像处理装置和方法、记录介质以及程序。更具体而言,本公开涉及能够精确呈现颜色的图像处理装置和方法,以及与其一起使用的记录介质和程序。
背景技术
数码相机利用内置的图像传感器对被摄体成像,并且所得到的图像被存储在相机中或者被显示在相机上。
当图像传感器具有坏点(defective pixel)时,坏点具有异常的像素值。在这种情况下,坏点的像素值被校正(例如,参见JPA-2010-187308(专利文献1))。
发明内容
例如,坏点的像素值通过以下方式来校正:根据位于坏点周围的n×m个相邻像素(neighboring pixel)中具有与关注像素相同颜色的像素的像素值来估计坏点的正确像素值并用所估计的像素值替换坏点值。
然而,基于根据现有技术的方法执行的这种校正有时会导致假彩色(false color)的生成。因此,难以精确地呈现被摄体的颜色。
因而,希望能够精确地呈现颜色。
本公开的一个实施例涉及一种图像处理装置,包括:保持部件,该保持部件保持输入的像素值;基本像素值计算部件,该基本像素值计算部件根据多个像素的像素值计算基本像素值,这多个像素是位于具有保持部件所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;不同颜色像素差异计算部件,该不同颜色像素差异计算部件计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;组合部件,该组合部件组合基本像素值和不同颜色像素差异以计算关注像素的估计像素值;以及校正部件,该校正部件利用所述估计值来校正关注像素的像素值。
不同颜色像素差异计算部件可以计算位于与关注像素所位于的同一行上、在该行上关注像素之前、并且具有与关注像素的颜色不同颜色的多个像素的像素值之间的差异,作为不同颜色像素差异。或者,不同颜色像素差异计算部件也可以计算位于与关注像素所位于的同一行上、在该行上关注像素之后、并且具有与关注像素的颜色不同颜色的多个像素的像素值之间的差异,作为不同颜色像素差异。
不同颜色像素差异计算部件计算出的不同颜色像素差异可以是在关注像素之前并且具有不同颜色的多个像素的像素值之间的差异和在关注像素之后并且具有不同颜色的多个像素的像素值之间的差异中较大的那一个。
图像处理装置还可包括相同颜色像素差异计算部件,该相同颜色像素差异计算部件计算作为具有与关注像素相同颜色的相邻像素的像素值之间的差异的相同颜色像素差异。组合部件可以组合基本像素值、不同颜色像素差异和相同颜色像素差异以计算估计值。
相同颜色像素差异计算部件可以计算位于与关注像素所位于的同一行上、在该行上关注像素之前、并且具有与关注像素相同颜色的多个像素的像素值之间的差异,作为相同颜色像素差异。相同颜色像素差异计算部件或者可以计算位于与关注像素所位于的同一行上、在该行上关注像素之后、并且具有与关注像素相同颜色的多个像素的像素值之间的差异,作为相同颜色像素差异。
相同颜色像素差异计算部件计算出的相同颜色像素差异可以是在关注像素之前并且具有相同颜色的多个像素的像素值之间的差异和在关注像素之后并且具有相同颜色的多个像素的像素值之间的差异中较大的那一个。
校正部件可以在基本像素值大于相邻像素的像素值的情况下、在关注像素的像素值大于估计值时校正关注像素的像素值,并且可以在基本像素值小于相邻像素的像素值的情况下、在关注像素的像素值小于估计值时校正关注像素的像素值。
图像处理装置可以是图像传感器。
本公开的另一个实施例涉及一种图像处理方法,包括:保持输入的像素值;根据多个像素的像素值计算基本像素值,这多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;组合基本像素值和不同颜色像素差异以计算关注像素的估计像素值;以及利用所述估计值来校正关注像素的像素值。
本公开的又一个实施例涉及与根据本公开的实施例的图像处理装置相对应的图像处理方法、记录介质和程序。
如上所述,根据本公开的实施例,可以精确地呈现颜色。
附图说明
图1是示出图像传感器的配置的示图;
图2是用于说明像素的排列的图示;
图3是用于说明坏点的图示;
图4是用于说明相邻像素的图示;
图5是用于说明坐标轴的图示;
图6是用于说明坏点和相邻像素的像素值的图表;
图7是用于说明坏点和相邻像素的像素值的另一图表;
图8是用于说明坏点和相邻像素的像素值的另一图表;
图9是用于说明坏点的像素值的预测的图表;
图10是用于说明具有与关注像素相同颜色的相邻像素之间的差异的图表;
图11是用于说明具有与关注像素的颜色不同颜色的相邻像素之间的差异的图表;
图12是用于说明差异的组合的图表;
图13是用于说明执行以获得关注像素的估计值的计算的图表;
图14是用于说明对关注像素执行的校正的图表;
图15是用于说明坏点的像素值的预测的图表;
图16是用于说明差异的组合的图表;
图17是用于说明执行以获得关注像素的估计值的计算的图表;
图18是用于说明对关注像素执行的校正的图表;
图19是示出坏点校正处理部分的配置的框图;
图20是示出估计值计算部件的功能性配置的框图;
图21是用于说明坏点校正处理的流程图;以及
图22是示出每行具有不同累积时间的情况的示图。
具体实施方式
现在将说明根据本公开的技术的实施例。
图1是示出图像传感器1的配置的示图。例如,图像传感器1是CMOS(互补金属氧化物半导体)图像传感器,并且其包括像素阵列单元11、垂直驱动单元12、列处理单元13、水平驱动单元14、控制单元15、存储单元16和信号处理单元17。
像素阵列单元11包括在水平和垂直方向上排列的多个像素。来自被摄体的光由像素进行光电转换。垂直驱动单元12选择并驱动作为多个像素的阵列的各行。水平驱动单元14选择并驱动垂直方向上各行上的预定像素。列处理单元13保持从所选的像素读取的像素数据并将数据提供给信号处理单元17。控制单元15控制各个单元的操作。要由控制单元15执行的程序被存储在存储单元16中。信号处理单元17处理从列处理单元13读出的像素数据。该单元执行下面说明的坏点的像素值的校正。
现在将说明根据本公开用于校正坏点的像素值的技术的原理。
图2是用于说明像素的排列的图示。在像素阵列单元11中,多个像素以拜尔(Bayer)阵列的形式布置,如图2所示。图2的横轴X表示像素阵列单元11的水平坐标轴,纵轴Y表示像素阵列单元11的垂直坐标轴。字符R、G和B分别表示红色、绿色和蓝色像素。在奇数行上,以左端的R像素开始,R和G像素被交替排列。在偶数行上,以左端的G像素开始,G和B像素被交替排列。例如,参见在左上角的3×3像素阵列,阵列的第一行由R、G和R像素形成,阵列的第二行由G、B和G像素形成,且像素的第三行由R、G和R形成。
图3是用于说明坏点的图示。在图示中,位于从顶部起的第三行、从左端起的第五列上的R像素31是坏点。
图4是用于说明相邻像素的图示。参见图4,位于与坏点31所位于的同一水平行上、且包括在范围61中的8个像素被当作位于坏点31周围的相邻像素。相邻像素的第一组由在坏点31之前被扫描的四个像素(在图中是在坏点31的左侧示出的像素)形成,即,按照它们与坏点31的接近度被编号为41至44的红、绿、红和绿的四个像素。相邻像素的第二组由在坏点31之后被扫描的四个像素(在图中是在坏点31的右侧示出的像素)形成,即,按照它们与坏点31的接近度被编号为51至54的绿、红、绿和红的四个像素。
图5是用于说明坐标轴的图示。如图5所示,像素值在垂直于X-Y平面的Z轴的方向上表示。
图6是用于说明坏点和相邻像素的像素值的图表。图6的横轴X表示在像素阵列单元11的水平方向上的像素位置,并且纵轴Z表示每个像素的像素值。像素44、43、42和41具有按照像素被列出的顺序增大的像素值。像素51、52、53和54基本上具有按照像素被列出的顺序减小的像素值,例外在于像素53的像素值略微大于像素52的像素值。坏点31的像素值大于相邻像素41至44和51至54的像素值。
图7是用于说明坏点和相邻像素的像素值的图表。在图7中,图6中所示的R像素由圆圈表示,并且G像素由方框表示。作为R像素的坏点31由加阴影线的圆圈表示。
图8是用于说明坏点和相邻像素的像素值的另一图表。在图8中,图7中所示的像素以共同的形式表示。具体而言,坏点31被称为“关注像素P31”。作为相邻像素的像素41至44被称为“像素P41至P44”,并且像素51至54被称为“像素P51至P54”。
图9是用于说明坏点的像素值的预测的图表。如图9所示,与关注像素P31相关联的预测像素P81是根据作为与关注像素P31具有相同颜色的相邻像素的像素P44、P42、P54和P52获得的。具体而言,预测像素P81的像素值是在如下假设下线性预测的:关注像素P31应当位于延伸通过像素P44和P42的假想直线上。类似地,预测像素P81的像素值是在如下假设下线性预测的:关注像素P31应当位于延伸通过像素P54和P52的假想直线上。当预测产生两个不同的预测像素值时,这两个值的平均值、较大的预测值和较小的预测值中的任何一个被选为预测像素值。该像素值成为基本像素值Z0
图10是用于说明具有与关注像素相同颜色的相邻像素之间的差异的图表。根据本文所公开的技术,具有与关注像素P31相同颜色的相邻像素之间的差异被计算出来。具体而言,具有相同颜色的像素P42和P44的像素值之间的差异Sdf1被计算作为像素之间的差异。类似地,具有相同颜色的像素P52和P54的像素值之间的差异Sdf2被计算作为像素之间的差异。这两个差异的任何一个(例如,较大差异)被选为最终的相同颜色像素差异Sdf。
图11是用于说明具有与关注像素的颜色不同颜色的相邻像素之间的差异的图表。根据本文所公开的技术,具有与关注像素P31的颜色不同颜色的相邻像素之间的差异被计算出来。具体而言,具有不同颜色的像素P41和P43的像素值之间的差异Ddf1被计算作为像素之间的差异。类似地,具有不同颜色的像素P51和P53的像素值之间的差异Ddf2被计算作为像素之间的差异。这两个差异的任何一个(例如,较大差异)被选为最终的不同颜色像素差异Ddf。
图12是用于说明差异的组合的图表。根据本文所公开的技术,通过组合如上参考图9所述的预测的预测像素值P81的基本像素值Z0、如上参考图10所述的计算出的相同颜色像素差异Sdf、以及如上参考图11所述的计算出的不同颜色像素差异Ddf,来获得估计值V91。具有估计像素值V91的像素被称为“估计像素P91”。
图13是用于说明执行以获得关注像素的估计值的计算的图表。如图中所示,相同颜色像素差异Sdf被添加到基本像素值Z0。进一步地,不同颜色像素差异Ddf被添加到基本像素值Z0和相同颜色像素差异Sdf的和以获得估计值V91。作为估计像素P91的像素值的估计值V91是基本像素值Z0、相同颜色像素差异Sdf和不同颜色像素差异Ddf的总和。
图14是用于说明对关注像素执行的校正的图表。根据本文所公开的技术,利用如上所述获得的估计像素P91来校正关注像素P31。具体而言,关注像素P31的像素值V31被用作为估计像素P91的像素值的估计值V91替换。这种校正是在关注像素P31的像素值V31大于估计值V91时进行的。否则,不进行这种校正。
关注像素P31的像素值V31应当大于估计值V91的先决条件适用于如图9所示基本像素值Z0大于相邻像素的像素值)时。换句话说,该先决条件适用于在通过利用直线连接图9中的像素P44、P42、P81、P52和P54形成的形状指向上时。
图15是用于说明坏点的正确像素值的预测的图表。通过利用直线连接像素P44、P42、P81、P52和P54形成的形状可能如图15所示指向下,而不是如图9所示指向上。在基本像素值Z0小于相邻像素的像素值时或者在通过利用直线连接像素P44、P42、P81、P52和P54形成的形状指向下时执行下面说明的处理。
在这种情况下也如图15所示线性地预测预测像素P81的像素值,并且该像素值作为基本像素值Z0。以与图10和11中所示的情况相同的方式计算相同颜色像素差异Sdf和不同颜色像素差异Ddf。
图16是用于说明差异的组合的图表。基本像素值Z0、相同颜色像素差异Sdf和不同颜色像素差异Ddf被组合以计算估计值V91,如图16所示。具有估计像素值V91的像素作为估计像素P91
图17是用于说明执行以获得关注像素的估计值的计算的图表。如图中所示,从基本像素值Z0中减去相同颜色像素差异Sdf。进而,进一步从基本像素值Z0和相同颜色像素差异Sdf之间的差中减去不同颜色像素差异Ddf以获得估计值V91。作为估计像素P91的像素值的估计值V91是通过从基本像素值Z0中减去相同颜色像素差异Sdf和不同颜色像素差异Ddf而获得的值。换句话说,估计值V91是通过将相同颜色像素差异Sdf和不同颜色像素差异Ddf以相反的极性加到基本像素值Z0而获得的值。
图18是用于说明执行以获得关注像素的估计值的计算的图表。如图中所示,用估计像素P91进一步校正关注像素P31。具体而言,关注像素P31的像素值V31被作为估计像素P91的像素值的估计值V91替换。这种校正是在关注像素P31的像素值V31小于估计值V91时进行的。否则,不进行这种校正。
图19是示出坏点校正处理部件101的配置的框图。坏点校正处理部件101被包括在信号处理单元17中。坏点校正处理部件101由延迟电路111、估计值计算部分112、比较电路113和选择电路114形成。
延迟电路111将从列处理单元13输入的像素值的数据延迟N个时钟而保持,这N个时钟与图4所示包括在范围61中的像素数相关联。在本实施例中,字符N表示9。即,像素P41至P44、关注像素P31、像素P51至P54的数据被保持。估计值计算部分112基于延迟电路111所保持的像素值来计算估计值V91。选择电路114选择并输出从延迟电路111输出的关注像素P31的像素值V31和估计值计算部分112计算出的估计值V91中的一个。比较电路113将从延迟电路111输出的关注像素P31的像素值V31与估计值计算部分112计算出的估计值V91相比较,并基于比较结果对选择电路114进行的选择施加控制。选择电路114在从比较电路113输入信号“是”时选择估计值V91,而在输入信号“否”时选择像素值V31
图20是示出估计值计算部分112的功能性配置的框图。估计值计算部分112包括基本像素值计算部分151、相同颜色像素差异计算部分152、不同颜色像素差异计算部分153、组合部分154和判定部分155。每个部分可以根据情形需要发送并接收数据。
基本像素值计算部分151计算基本像素值Z0。相同颜色像素差异计算部分152计算相同颜色像素差异Sdf,并且不同颜色像素差异计算部分153计算不同颜色像素差异Ddf。组合部分154组合基本像素值Z0、相同颜色像素差异Sdf和不同颜色像素差异Ddf以计算估计值V91。判定部分155判定基本像素值Z0是否是大于相邻像素的像素值的值。
图21是用于说明坏点校正处理部件101执行的处理的流程图。下面将参考图21中的流程图说明坏点校正处理部件101的处理。
在步骤S1,延迟电路111顺序地延迟并保持相当于9个像素的输入的像素值数据并输出该数据。所延迟的像素数据被顺序地提供给选择电路114。当没有检测到坏点时,比较电路113输出信号“否”以控制选择电路114从而使得从延迟电路111输入的像素数据被原样输出到选择电路的下游。延迟电路111所保持的9个像素值的数据被提供给估计值计算部分112。
在步骤S2,估计值计算部分112的基本像素值计算部分151根据具有与关注像素相同颜色的相邻像素的像素值的斜率计算基本像素值Z0。即,关注像素P31的预测像素P81被线性地预测以获得基本像素值Z0,如上参考图9和15所述。
在步骤S3,相同颜色像素差异计算部分152根据具有与关注像素相同颜色的相邻像素的像素值计算相同颜色像素差异Sdf。即,获得了如上参考图10所述的相同颜色像素差异Sdf。
在步骤S4,不同颜色像素差异计算部分153根据具有与关注像素不同颜色的相邻像素的像素值计算不同颜色像素差异Ddf。即,获得了如上参考图11所述的不同颜色像素差异Ddf。
在步骤S5,组合部分154组合基本像素值Z0、相同颜色像素差异Sdf和不同颜色像素差异Ddf以计算估计值V91。即,如上参考图12、13、16和17所述计算估计值V91
在步骤S6,判定部分155判断基本像素值Z0是否大于相邻像素的像素值。当基本像素值Z0大于相邻像素的像素值时,判定部分155控制比较电路113以使得该电路在像素值V31大于估计值V91时输出信号“是”,否则输出信号“否”。
当基本像素值Z0小于相邻像素的像素值时,判定部分155控制比较电路113以使得该电路在像素值V31小于估计值V91时输出信号“是”,否则输出信号“否”。
信号“是”是使得选择电路114选择估计值V91的信号,而信号“否”是使得选择电路114选择像素值V31的信号。
当在步骤S6确定基本像素值Z0大于相邻像素的像素值时,比较电路113在步骤S7将关注像素P31的像素值V31与估计像素P91的像素值V91相比较以判断像素值V31是否大于估计值V91。当像素值V31大于估计值V91时,信号“是”被从比较电路113输出。在步骤S9,选择电路114因此选择并输出已从估计值计算部分112输出的估计值V91。即,执行用估计值V91替换像素值V31的处理。当像素值V31不大于估计值V91时,不执行步骤S9的替换处理。然后,比较电路113输出信号“否”,并且选择电路114选择并输出像素值V31
当在步骤S6确定基本像素值Z0不大于相邻像素的像素值时,比较电路113在步骤S8将关注像素P31的像素值V31与估计像素P91的像素值V91相比较以判断像素值V31是否小于估计值V91。当像素值V31小于估计值V91时,信号“是”被从比较电路113输出。在步骤S9,选择电路114因此选择并输出已从估计值计算部分112输出的估计值V91。即,执行用估计值V91替换像素值V31的处理。当像素值V31不小于估计值V91时,不执行步骤S9的替换处理。然后,比较电路113输出信号“否”,并且选择电路114选择并输出像素值V31
各行上坏点的像素值被如上所述地校正。由于估计值是基于不同颜色像素差异Ddf计算的,因此假彩色的生成被抑制,并且颜色能够被精确地呈现。
当主要希望抑制假彩色的生成时,可以在不使用相同颜色像素差异Sdf的情况下计算估计值V91
图22是用于说明以下情况的示图,其中各行的像素数据累积时间不同。在被摄体具有不同的空间频率分量的情况下,各行的像素数据的累积时间可能不同。在图22所示的示例中,图像是利用四种颜色的像素呈现的,这四种颜色由三角形、菱形、圆形和正方形表示。第一、第三和第五行上的像素数据被累积长时间段,而第二和第四行上的像素数据被累积较短时间段。假定要从多行上的像素数据(例如,3×3像素的数据)中检测坏点并且要生成用于校正坏点的像素值的校正像素值。在这种情况下,难以控制像素数据累积时间;需要许多参数;并且操作涉及复杂的算法。
根据本公开的技术,要用于校正关注像素的相邻像素是位于与关注像素同一行上的像素。因此,即使在上述情形中,也可以很容易地检测坏点并计算校正像素值。结果,可以使用简单的算法,并且不需要复杂的信号处理。
不需要设置根据关注的场景的拍摄条件和增益的阈值,并且因此需要较少数目的参数。可以在考虑到亮度、拍摄噪声和不同颜色信号的量的情况下计算估计像素值。因此,可以在维持某一水平的图像质量的同时,精确地检测并校正缺陷。在没有预先在存储器中存储坏点的位置和与之关联的校正值的情况下,也能够适当地检测和校正缺陷。
尽管上面作为示例说明了将所公开的技术应用于图像传感器,但是所公开的技术可以应用于诸如线传感器(line sensor)和显示器之类的图像处理装置。
上述处理序列可以利用硬件实现,并且这些处理也可以基于软件实现。
当该处理序列基于软件实现时,构成软件的程序被从网络或记录介质安装在存储单元16中。
根据本公开被说明为程序的步骤不仅可包括按照所说明的顺序以时序方式执行的处理,还可包括不一定以时序方式执行的并行或单独处理。
本文所公开的技术并不限于上述实施例,而是可以在不脱离本公开的精神的情况下进行各种修改。
本文所公开的技术可以按照以下配置实现。
(1)一种图像处理装置,包括:
保持部件,该保持部件保持输入的像素值;
基本像素值计算部件,该基本像素值计算部件根据多个像素的像素值计算基本像素值,这多个像素是位于具有保持部件所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;
不同颜色像素差异计算部件,该不同颜色像素差异计算部件计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合部件,该组合部件组合基本像素值和不同颜色像素差异以计算关注像素的估计像素值;以及
校正部件,该校正部件利用所述估计值来校正关注像素的像素值。
(2)根据上述项目(1)所述的图像处理装置,其中不同颜色像素差异计算部件可以计算位于与关注像素所位于的同一行上、在该行上关注像素之前、并且具有与关注像素的颜色不同颜色的多个像素的像素值之间的差异,作为不同颜色像素差异。不同颜色像素差异计算部件或者可以计算位于与关注像素所位于的同一行上、在该行上关注像素之后、并且具有与关注像素的颜色不同颜色的多个像素的像素值之间的差异,作为不同颜色像素差异。
(3)根据上述项目(1)或(2)所述的图像处理装置,其中不同颜色像素差异计算部件计算出的不同颜色像素差异可以是在关注像素之前并且具有不同颜色的多个像素的像素值之间的差异和在关注像素之后并且具有不同颜色的多个像素的像素值之间的差异中较大的那一个。
(4)根据项目(1)、(2)或(3)中的任何一个所述的图像处理装置,还包括:
相同颜色像素差异计算部件,该相同颜色像素差异计算部件计算作为具有与关注像素相同颜色的相邻像素的像素值之间的差异的相同颜色像素差异,其中
组合部件可以组合基本像素值、不同颜色像素差异和相同颜色像素差异以计算估计值。
(5)根据上述项目(1)至(4)中的任何一个所述的图像处理装置,其中相同颜色像素差异计算部件可以计算位于与关注像素所位于的同一行上、在该行上关注像素之前、并且具有与关注像素相同颜色的多个像素的像素值之间的差异,作为相同颜色像素差异。相同颜色像素差异计算部件或者可以计算位于与关注像素所位于的同一行上、在该行上关注像素之后、并且具有与关注像素相同颜色的多个像素的像素值之间的差异,作为相同颜色像素差异。
(6)根据项目(1)至(5)中的任何一个所述的图像处理装置,其中相同颜色像素差异计算部件计算出的相同颜色像素差异可以是在关注像素之前并且具有相同颜色的多个像素的像素值之间的差异和在关注像素之后并且具有相同颜色的多个像素的像素值之间的差异中较大的那一个。
(7)根据项目(1)至(5)中的任何一个所述的图像处理装置,其中校正部件可以在基本像素值大于相邻像素的像素值的情况下、在关注像素的像素值大于估计值时校正关注像素的像素值,并且可以在基本像素值小于相邻像素的像素值的情况下、在关注像素的像素值小于估计值时校正关注像素的像素值。
(8)根据项目(1)至(7)中的任何一个所述的图像处理装置,该图像处理装置是图像传感器。
(9)一种图像处理方法,包括:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,这多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;
计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合基本像素值和不同颜色像素差异以计算关注像素的估计像素值;以及
利用所述估计值来校正关注像素的像素值。
(10)一种记录有程序的记录介质,该程序使得计算机执行以下步骤:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,这多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;
计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合基本像素值和不同颜色像素差异,从而计算关注像素的估计像素值;以及
利用所述估计值来校正关注像素的像素值。
(11)一种程序,使得计算机执行以下步骤:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,这多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与关注像素相同的颜色;
计算作为具有与关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合基本像素值和不同颜色像素差异,从而计算关注像素的估计像素值;以及
利用所述估计值来校正关注像素的像素值。
本公开包含与在2011年3月29日向日本专利局提交的日本在先专利申请JP 2011-073046中公开的内容有关的主题,该申请的全部内容通过引用结合于此。
本领域技术人员应当理解,取决于设计需求和其他因素可以进行各种修改、组合、子组合和变更,只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内即可。

Claims (11)

1.一种图像处理装置,包括:
保持部件,该保持部件保持输入的像素值;
基本像素值计算部件,该基本像素值计算部件根据多个像素的像素值计算基本像素值,所述多个像素是位于具有所述保持部件所保持的像素值的关注像素周围的相邻像素并且具有与所述关注像素相同的颜色;
不同颜色像素差异计算部件,该不同颜色像素差异计算部件计算作为具有与所述关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合部件,该组合部件组合所述基本像素值和所述不同颜色像素差异以计算所述关注像素的估计像素值;以及
校正部件,该校正部件利用所述估计值来校正所述关注像素的像素值。
2.如权利要求1所述的图像处理装置,其中所述不同颜色像素差异计算部件计算位于与所述关注像素所位于的同一行上、在该行上所述关注像素之前、并且具有与所述关注像素的颜色不同颜色的多个像素的像素值之间的差异,或者位于与所述关注像素所位于的同一行上、在该行上所述关注像素之后、并且具有与所述关注像素的颜色不同颜色的多个像素的像素值之间的差异,作为所述不同颜色像素差异。
3.如权利要求2所述的图像处理装置,其中所述不同颜色像素差异计算部件计算出的不同颜色像素差异是在所述关注像素之前并且具有不同颜色的多个像素的像素值之间的差异和在所述关注像素之后并且具有不同颜色的多个像素的像素值之间的差异中较大的那一个。
4.如权利要求3所述的图像处理装置,还包括:
相同颜色像素差异计算部件,该相同颜色像素差异计算部件计算作为具有与所述关注像素相同颜色的相邻像素的像素值之间的差异的相同颜色像素差异,其中
所述组合部件组合所述基本像素值、所述不同颜色像素差异和所述相同颜色像素差异以计算所述估计值。
5.如权利要求4所述的图像处理装置,其中所述相同颜色像素差异计算部件计算位于与所述关注像素所位于的同一行上、在该行上所述关注像素之前、并且具有与所述关注像素相同颜色的多个像素的像素值之间的差异,或者位于与所述关注像素所位于的同一行上、在该行上所述关注像素之后、并且具有与所述关注像素相同颜色的多个像素的像素值之间的差异,作为所述相同颜色像素差异。
6.如权利要求5所述的图像处理装置,其中所述相同颜色像素差异计算部件计算出的相同颜色像素差异是在所述关注像素之前并且具有相同颜色的多个像素的像素值之间的差异和在所述关注像素之后并且具有相同颜色的多个像素的像素值之间的差异中较大的那一个。
7.如权利要求6所述的图像处理装置,其中所述校正部件在所述基本像素值大于所述相邻像素的像素值的情况下、在所述关注像素的像素值大于所述估计值时校正所述关注像素的像素值,并且在所述基本像素值小于所述相邻像素的像素值的情况下、在所述关注像素的像素值小于所述估计值时校正所述关注像素的像素值。
8.如权利要求7所述的图像处理装置,还包括图像传感器。
9.一种图像处理方法,包括:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,所述多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与所述关注像素相同的颜色;
计算作为具有与所述关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合所述基本像素值和所述不同颜色像素差异以计算所述关注像素的估计像素值;以及
利用所述估计值来校正所述关注像素的像素值。
10.一种记录有程序的记录介质,该程序使得计算机执行以下步骤:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,所述多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与所述关注像素相同的颜色;
计算作为具有与所述关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合所述基本像素值和所述不同颜色像素差异,从而计算所述关注像素的估计像素值;以及
利用所述估计值来校正所述关注像素的像素值。
11.一种程序,使得计算机执行以下步骤:
保持输入的像素值;
根据多个像素的像素值计算基本像素值,所述多个像素是位于具有所保持的像素值的关注像素周围的相邻像素并且具有与所述关注像素相同的颜色;
计算作为具有与所述关注像素的颜色不同颜色的相邻像素的像素值之间的差异的不同颜色像素差异;
组合所述基本像素值和所述不同颜色像素差异,从而计算所述关注像素的估计像素值;以及
利用所述估计值来校正所述关注像素的像素值。
CN2012100772915A 2011-03-29 2012-03-22 图像处理装置、方法、记录介质和程序 Pending CN102739918A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-073046 2011-03-29
JP2011073046A JP2012209709A (ja) 2011-03-29 2011-03-29 画像処理装置および方法、記録媒体並びにプログラム

Publications (1)

Publication Number Publication Date
CN102739918A true CN102739918A (zh) 2012-10-17

Family

ID=46927334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100772915A Pending CN102739918A (zh) 2011-03-29 2012-03-22 图像处理装置、方法、记录介质和程序

Country Status (3)

Country Link
US (1) US8693775B2 (zh)
JP (1) JP2012209709A (zh)
CN (1) CN102739918A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087153A (zh) * 2017-04-05 2017-08-22 深圳市冠旭电子股份有限公司 3d图像生成方法、装置及vr设备
CN107409200A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107409201A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107534758A (zh) * 2015-05-12 2018-01-02 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2521408B (en) * 2013-12-18 2015-12-16 Imagination Tech Ltd Defective pixel fixing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051798A1 (en) * 2002-09-18 2004-03-18 Ramakrishna Kakarala Method for detecting and correcting defective pixels in a digital image sensor
CN101198965A (zh) * 2005-04-20 2008-06-11 赛普拉斯半导体公司 图像传感器中的缺陷像素校正
JP2010187308A (ja) * 2009-02-13 2010-08-26 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054184B2 (ja) * 2001-10-03 2008-02-27 オリンパス株式会社 欠陥画素補正装置
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051798A1 (en) * 2002-09-18 2004-03-18 Ramakrishna Kakarala Method for detecting and correcting defective pixels in a digital image sensor
CN101198965A (zh) * 2005-04-20 2008-06-11 赛普拉斯半导体公司 图像传感器中的缺陷像素校正
JP2010187308A (ja) * 2009-02-13 2010-08-26 Canon Inc 画像処理装置及び画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409200A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107409201A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107409201B (zh) * 2015-03-12 2019-02-05 奥林巴斯株式会社 图像处理装置、图像处理方法和计算机可读取的记录介质
CN107409200B (zh) * 2015-03-12 2019-02-12 奥林巴斯株式会社 图像处理装置、图像处理方法和计算机可读取的记录介质
CN107534758A (zh) * 2015-05-12 2018-01-02 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
CN107534758B (zh) * 2015-05-12 2019-05-28 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN107087153A (zh) * 2017-04-05 2017-08-22 深圳市冠旭电子股份有限公司 3d图像生成方法、装置及vr设备

Also Published As

Publication number Publication date
US20120250992A1 (en) 2012-10-04
US8693775B2 (en) 2014-04-08
JP2012209709A (ja) 2012-10-25

Similar Documents

Publication Publication Date Title
JP4686496B2 (ja) 撮像装置
US8786731B2 (en) Image pickup apparatus and image pickup apparatus control method that generates an image with transformed number of pixels
JP5060535B2 (ja) 画像処理装置
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
JP5900194B2 (ja) 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器
TWI449027B (zh) 適應性畫素補償方法
JP2008244947A (ja) 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
JP2008070853A (ja) 画像配列データの補償方法
CN102739918A (zh) 图像处理装置、方法、记录介质和程序
CN101998127B (zh) 信号处理设备、成像设备及信号处理方法
TWI492621B (zh) 適應性影像處理方法及其相關裝置
JP2007201530A (ja) 画素欠陥補正装置
JP5600812B2 (ja) 撮像装置
JPWO2012147515A1 (ja) 撮像装置及び撮像方法
US8970748B2 (en) Imaging device, storage medium storing a control program for imaging device, and control method for imaging device
JP5425343B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2010068329A (ja) 撮像装置
JP2010212788A (ja) 撮像装置、欠陥画素補正方法、および電子情報機器
CN103002230A (zh) 适应性像素补偿方法
JP5522078B2 (ja) 撮像装置及び撮像装置の画像歪補正方法
JP2009177792A (ja) 画像処理装置、および撮像装置
JP2005210164A (ja) 欠陥画素補正装置
CN104869331A (zh) 固体摄像装置以及相机系统
US11128842B2 (en) Image processing method and associated image processing circuit
JP2008028475A (ja) 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121017