JP2004112025A - 固体撮像素子の欠陥画素補正装置 - Google Patents

Abstract

【課題】高品位な画像が得られる固体撮像素子の欠陥画素補正装置を提供することを目的とする。
【解決手段】原色市松状の色フィルタを持つと共にすべての画素を独立且つ順次に出力することができる全画素読み出し方式の固体撮像素子２の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出する欠陥画素検出手段７と、欠陥画素検出手段７により欠陥画素と判定された画素を補正する欠陥画素補正手段８とを備えることを特徴とする。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、全画素読み出し方式の固体撮像素子を用いた撮像装置において、固体撮像素子に存在する画素欠陥を検出し補正する固定撮像素子の欠陥画素補正装置に関するものである。
【０００２】
【従来の技術】
一般に半導体により形成された固体撮像素子においては、半導体の局部的な結晶欠陥等により画質劣化を生じることが知られている。入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう画像欠陥は、この画像欠陥信号がそのまま処理されるとモニター画面上に高輝度の白い点として現れる。また、光電感度の低いものは黒い点として現れる。
【０００３】
従来、上記のような欠陥画素の検出や補正に関しては、例えば、特許文献１の固体撮像装置に開示されている。以下に従来の欠陥画素補正装置について説明する。
【０００４】
図１０は従来の欠陥画素補正装置の構成を示すものである。この欠陥画素補正装置は、レンズ１、フィールド読み出し駆動の固体撮像素子２０、前処理部３、Ａ／Ｄ変換器４、１Ｈ遅延回路６、ＬＰＦ１２、欠陥画素検出手段７、欠陥画素補正手段８、輝度信号処理回路９、色信号処理回路１０で構成されている。欠陥画素検出手段７では判定対象画素とそれに隣接する周辺画素を抽出し、これらの画素データに対し加減算器、比較器を用い、突出量を算出し、所定のしきい値で決まる条件を満たす画素を欠陥画素と判定する。欠陥画素補正手段８では欠陥画素検出手段７の判定結果にもとづいて欠陥画素を補正する。
【０００５】
【特許文献１】
特開平５−４１８６８号公報
【０００６】
【発明が解決しようとする課題】
ところが、ＣＭＯＳ等の固体撮像素子を使用した最近の撮像装置では全画素読み出し方式の固体撮像素子を用い、より高解像度で高品位な画像を得る事が求められるようになっている。しかしながら、上記の欠陥画素補正装置では、水平方向に２画素を加算して輝度信号を得たのち欠陥画素検出と補正を行うため、画像情報のうち解像度を低下させてしまうという問題を有していた。
【０００７】
本発明は、従来の問題を解決するためになされたもので、高品位な画像が得られる固体撮像素子の欠陥画素補正装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の固体撮像素子の欠陥画素補正装置は、原色市松状の色フィルタを持つと共にすべての画素を独立且つ順次に出力することができる全画素読み出し方式の固体撮像素子の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出する欠陥画素検出手段と、欠陥画素検出手段により欠陥画素と判定された画素を補正する欠陥画素補正手段とを備える構成を有している。
この構成により、全画素読み出し方式の固体撮像素子の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出し、欠陥画素と判定された画素は補正されることとなる。
【０００９】
また、本発明の固体撮像素子の欠陥画素補正装置は、欠陥画素検出手段が、欠陥があるか否かを判断する対象となる判定対象画素と、判定対象画素以外の判定対象画素と同一色の色フィルタを有する画素の信号レベルを基にして欠陥画素の判定を行う構成を有している。
この構成により、有彩色被写体においても誤検出することなく欠陥画素の信号レベルを検出できることとなる。
【００１０】
さらに、本発明の固体撮像素子の欠陥画素補正装置は、欠陥画素検出手段が、欠陥があるか否かを判断する対象となる判定対象画素と、判定対象画素以外の判定対象画素と同一色の色フィルタを有する画素との比較を行い、判定対象画素と同一色の色フィルタを有する画素との信号レベルの差分が所定のしきい値以上の場合に判定対象画素を欠陥画素と判定する構成を有している。
この構成により、判定対象画素が欠陥画素であるかないかの判定を正確に行えることとなる。
【００１１】
さらに、本発明の固体撮像素子の欠陥画素補正装置は、欠陥画素検出手段のしきい値が、固定撮像素子の入力段に設けられたＡＧＣ回路のＡＧＣゲインに応じて最適に設定される構成を有している。
この構成により、ＡＧＣゲインが大きく欠陥画素による画質劣化の影響が大きい時に欠陥画素補正を行い、ＡＧＣゲインが小さく欠陥画素による画質劣化の影響が小さい場合には欠陥画素補正の動作を停止できることとなる。
【００１２】
さらに、本発明の固体撮像素子の欠陥画素補正装置は、欠陥画素補正手段が、判定対象画素が欠陥画素と判定された場合、判定対象画素を判定対象画素に隣接する欠陥を有していない同一色の色フィルタを有する画素に置き換える構成を有している。
この構成により、欠陥画素の影響を受けていない高品位な画像を得ることとなる。
【００１３】
さらに、本発明の固体撮像素子の欠陥画素補正装置は、欠陥画素手段の検出及び欠陥画素補正手段の補正が、垂直方向の複数ラインの画素に対して同時に行なわれる構成を有している。
この構成により、後段の輝度信号処理回路および色信号処理回路に入力される全ての画素信号は欠陥画素が補正されたものになる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１における固体撮像素子の欠陥画素補正装置は、レンズ１を備える全画素読み出し方式の固体撮像素子２を有している。この固体撮像素子２は、原色市松状の色フィルタを持つと共にすべての画素を独立且つ順次に出力することができる全画素読み出し方式の固体撮像素子２である。固体撮像素子２は、ＣＤＳ（Ｃｏｒｒｅｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）回路及びＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　ｃｏｎｔｒｏｌ）回路で構成される前処理部３に接続されている。ＣＤＳ回路は、画像ノイズを除去するための相関二重サンプリング回路であり、ＡＧＣ回路は、入力信号のレベルに変動があった場合に、出力が一定になるように利得を自動的に調整する回路である。
【００１５】
前処理部３の後段には、アナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器４が設けられ、その後、ホワイトバランスを調整するホワイトバランス調整回路（ＷＢ）５が設けられている。ホワイトバランス調整回路（ＷＢ）５は、欠陥画素検出手段７に接続されると共に、信号を１水平ライン分遅延させる１Ｈ遅延回路６を３段設け、各１Ｈ遅延回路６の出力（信号ｂ、信号ｃ、信号ｄ）を後段の欠陥画素検出手段７に接続している。欠陥画素か否かの判定を行う欠陥画素検出手段７からの出力は、欠陥画素補正手段８に接続され、その後、輝度信号処理回路９及び色信号処理回路１０に接続されている。欠陥補正された信号は輝度信号処理回路９および色信号処理回路１０にて種々の信号処理がされて輝度信号と色信号として出力される。マイクロコンピュータ１１は本発明の欠陥画素補正装置で使用するしきい値やＡＧＣゲイン等の露光制御、ホワイトバランス制御などカメラ全体の動作を制御するためのものである。
【００１６】
以上のように構成された固体撮像素子２の欠陥画素補正装置について、その動作を説明する。まず、被写体からの入射光はレンズ１によって固体撮像素子２の撮像面に結像し電気的なアナログ信号に変換される。固体撮像素子２より出力された信号は、前処理部３のＣＤＳ回路及びＡＧＣ回路でノイズ除去及び利得調整が行われた後、Ａ／Ｄ変換器４によりデジタル信号に変換される。この信号は、ホワイトバランス調整回路５でホワイトバランスの調整が行われた後、直接欠陥画素検出手段７に入力される信号ａ、１段の１Ｈ遅延回路６を経て１水平ライン分遅延された信号ｂ、さらにもう１段の１Ｈ遅延回路６を経て１水平ライン分遅延された信号ｃ、さらにもう１段の１Ｈ遅延回路６を経て１水平ライン分遅延された信号ｄが欠陥画素検出手段７に送られる。欠陥画素検出手段７では、固体撮像素子２からの出力信号にもとづいて欠陥のある画素を検出し、欠陥画素補正手段８では欠陥画素検出手段７で検出された欠陥画素について補正を行う。
【００１７】
図２に示すような原色市松状の色フィルタ配列を持つ全画素読み出し方式の固体撮像素子２を想定した場合、毎ラインの出力映像信号は図３に示すように、Ｇ（緑）→Ｂ（青）→Ｇ（緑）→Ｂ（青）と繰り返されるラインとＲ（赤）→Ｇ（緑）→Ｒ（赤）→Ｇ（緑）と繰り返されるラインが交互に出力される。読み出された映像信号は、３個の１Ｈ遅延回路６により順次遅延された３ライン分の信号（信号ｂ、信号ｃ、信号ｄ）と遅延されていない信号（信号ａ）の４ライン分が同時刻に欠陥画素検出手段７に入力される。図１中の信号ａ、信号ｂ、信号ｃ、信号ｄの様子を図４の（ａ）、（ｂ）、（ｃ）、（ｄ）にそれぞれ示す。欠陥画素検出手段７では、図５に示すように判定対象画素γ、θ、ν、σとそれに隣接する画素α、β、δ、ε、ζ、η、ι、κ、λ、μ、ξ、ο、π、ρ、τ、υを抽出し、判定対象画素γ、θ、ν、σが欠陥画素であるかないかの判定を行う。
【００１８】
以下に、欠陥画素検出手段７での判定方法を説明する。図６は判定対象画素に緑の色フィルタ画素があるときの判定対象画素と比較対象となる周辺画素のエリアの対応づけを説明するための図である。輝度変化が少ない被写体を撮像した場合、隣接する同一色フィルタ画素間は相関性が高くこれらの信号レベル差は少ない。これに対して欠陥画素部分においては、周辺画素との相関性が低く入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう画像欠陥は、出力画面上に高輝度の点として現れ（以下、白欠陥画素という。）、反対に光電感度の低いものは低輝度の点（以下、黒欠陥画素という。）として周辺とは相関性が低く突出していると言える。本発明はこの突出性にもとづいて判定画素と周辺画素との信号レベル差を算出し欠陥画素の検出を行う。
【００１９】
図６（ａ）は図５においてｃ画素に相当する位置のＧ（緑）画素を欠陥画素であるかの判定対象画素とするときの比較対象となる周辺画素のエリアを示したものである。欠陥画素が周辺よりも高い信号レベルである時の白欠陥画素判定は次式のようになる。尚、式及び式の説明で用いられる符号α〜υは、図５に示す画素の位置を示す符号であり、式で用いる場合には、それぞれの画素の信号レベル値を示すものとする。
白欠陥画素の判定　｜γ―ｍａｘ（α、ε、η、ι）｜≧ｔｈｗ
つまり、周辺４画素（α、ε、η、ι）の最大値と判定対象画素γとの信号レベルの差分を取り、この差分が所定のしきい値ｔｈｗ以上の場合、判定対象画素は突出して大きいので欠陥画素であると判定する。そして、白欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素γの値を周辺４画素の最大値であるｍａｘ（α、ε、η、ι）と置き換え、後段の輝度信号処理回路９および色信号処理回路１０に出力する。また、白欠陥画素と判定されない場合は、画素γの信号はそのまま後段に出力される。
【００２０】
反対に、欠陥画素が周辺よりも低い信号レベルである時の黒欠陥画素判定は次式のようになる。
黒欠陥画素判定　｜γ―ｍｉｎ（α、ε、η、ι）｜≧ｔｈｂ
つまり、周辺４画素（α、ε、η、ι）の最小値と判定対象画素γとの差分をとりこの差分が所定のしきい値ｔｈｂ以上の場合、判定対象画素は突出して小さいので欠陥画素であると判定する。そして、黒欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素γの値を周辺４画素の最小値であるｍｉｎ（α、ε、η、ι）に置き換え、後段の輝度信号処理回路９および色信号処理回路１０に出力する。また、黒欠陥画素と判定されない場合は、画素γの信号はそのまま後段に出力される。尚、以上述べた白欠陥画素の判定と黒欠陥画素の判定は同時に行われる。
【００２１】
同様にして図６（ｂ）に示すようにＧ（緑）の判定対象画素がθにある場合の判定式は次式のようになる。
白欠陥画素の判定　｜θ―ｍａｘ（β、δ、ζ、κ、μ、ξ）｜≧ｔｈｗ
画素θが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素θの値を周辺６画素の最大値であるｍａｘ（β、δ、ζ、κ、μ、ξ）と置き換え出力する。
黒欠陥画素の判定　｜θ―ｍｉｎ（β、δ、ζ、κ、μ、ξ）｜≧ｔｈｂ
画素θが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素θの値を周辺６画素の最小値であるｍｉｎ（β、δ、ζ、κ、μ、ξ）に置き換え出力する。
【００２２】
そして、図６（ｃ）に示すようにＧ（緑）の判定対象画素がνにある場合の判定式は次式のようになる。
白欠陥画素の判定　｜ν―ｍａｘ（η、ι、λ、ο、ρ、τ）｜≧ｔｈｗ
画素νが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素νの値を周辺６画素の最大値であるｍａｘ（η、ι、λ、ο、ρ、τ）と置き換え出力する。
黒欠陥画素の判定　｜ν―ｍｉｎ（η、ι、λ、ο、ρ、τ）｜≧ｔｈｂ
画素νが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素νの値を周辺６画素の最小値であるｍｉｎ（η、ι、λ、ο、ρ、τ）に置き換え出力する。
【００２３】
さらに、図６（ｄ）に示すようにＧ（緑）の判定対象画素がσにある場合の判定式は次式のようになる。
白欠陥画素の判定　｜σ―ｍａｘ（μ、ξ、π、υ）｜≧ｔｈｗ
画素σが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素σの値を周辺４画素の最大値であるｍａｘ（μ、ξ、π、υ）と置き換え出力する。
黒欠陥画素の判定　｜σ―ｍｉｎ（μ、ξ、π、υ）｜≧ｔｈｂ
画素σが欠陥画素と判定された場合、欠陥画素補正手段８で欠陥画素σの値を周辺４画素の最小値であるｍｉｎ（μ、ξ、π、υ）に置き換え出力する。
【００２４】
ここでｔｈｗ，ｔｈｂは突出量の判定をするためのしきい値でマイクロコンピュータ１１からＡＧＣゲイン量に応じて適宜設定される値である。この構成により、ＡＧＣゲインが大きく欠陥画素による画質劣化の影響が大きい時に欠陥画素補正を行い、ＡＧＣゲインが小さく欠陥画素による画質劣化の影響が小さい場合には欠陥画素補正の動作を停止できることとなる。例えば、白欠陥画素は入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されている画素であり被写体からの入射光量が減少しＡＧＣゲインが増大した状態では、周辺画素との突出量はより大きなものとなる。図９は白欠陥画素の信号レベルがＡＧＣゲインによってどのように変わるかを示した図で図９（ａ）はＡＧＣゲインが小さいときの欠陥画素の信号レベル、図９（ｂ）はＡＧＣゲインが増大した時の欠陥画素レベルである。このことからＡＧＣゲインが大きくなる被写体条件の時は突出量のしきい値も大きくすることで、常に安定した欠陥画素検出と補正ができる。
【００２５】
以上、判定対象画素がＧ（緑）の色フィルタ画素である場合について説明したが、ほかの色の画素の場合も同様に欠陥画素の判定と補正を行うことができる。図７は判定対象画素にＲ（赤）の色フィルタ画素があるとき、図８はＢ（青）の色フィルタ画素があるときの判定対象画素と周辺画素エリアを示す説明図である。
【００２６】
尚、本発明は図５に示したような垂直方向の複数ラインの判定対象画素に対して、上記の欠陥画素検出および補正を同時に行なうようにしてもよい。この場合、後段の輝度信号処理回路および色信号処理回路に入力される全ての画素信号は欠陥画素が補正されたものになる。
【００２７】
以上のように、本実施例の固体撮像素子２の欠陥画素補正装置は、全画素読み出し駆動する固体撮像素子２の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出し、欠陥画素と判定された画素を補正している。このため、欠陥画素データを記憶するメモリなしで欠陥画素の検出・補正が可能である。
【００２８】
また、欠陥画素検出手段７が、欠陥があるか否かを判断する対象となる判定対象画素と、判定対象画素以外の判定対象画素と同一色の色フィルタを有する画素の信号レベルを基にして欠陥画素の判定を行うので、有彩色被写体においても誤検出することなく欠陥画素の信号レベルを検出できる。尚、判定対象画素以外の判定対象画素と同一色の色フィルタを有する画素は、判定対象画素に隣接する画素でもよいし、数画素離れた周辺の画素であってもよく、以下同様である。
【００２９】
また、欠陥画素検出手段７が、欠陥があるか否かを判断する対象となる判定対象画素と、判定対象画素以外の判定対象画素と同一色の色フィルタを有する画素との比較を行い、判定対象画素と同一色の色フィルタを有する画素との信号レベルの差分が所定のしきい値以上の場合に判定対象画素を欠陥画素と判定することで、判定対象画素が欠陥画素であるかないかの判定を正確に行うことができる。
【００３０】
また、欠陥画素補正手段８が、判定対象画素が欠陥画素と判定された場合、判定対象画素を判定対象画素に隣接する欠陥を有していない同一色の色フィルタを有する画素に置き換えることで、欠陥画素の影響を受けていない高品位な画像を得ることができる。
【００３１】
【発明の効果】
本発明によれば、原色市松状の色フィルタを持つと共にすべての画素を独立且つ順次に出力することができる全画素読み出し方式の固体撮像素子の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出する欠陥画素検出手段と、欠陥画素検出手段により欠陥画素と判定された画素を補正する欠陥画素補正手段とを備えることにより、高品位な画像が得られる固体撮像素子の欠陥画素補正装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す固体撮像素子の欠陥画素補正装置の構成図
【図２】固体撮像素子の色フィルタ配列例を示す説明図
【図３】固体撮像素子の出力信号を示す説明図
【図４】図１中の各部信号の示す説明図
【図５】欠陥画素の検出のためのエリアを示す説明図
【図６】Ｇ画素の欠陥画素検出エリアを示す説明図
【図７】Ｒ画素の欠陥画素検出エリアを示す説明図
【図８】Ｂ画素の欠陥画素検出エリアを示す説明図
【図９】ＡＧＣゲインが増大した時の欠陥画素値を示す説明図
【図１０】従来の固体撮像素子の欠陥画素補正装置の構成図
【符号の説明】
１　レンズ
２　固体撮像素子
３　前処理部（ＣＤＳ、ＡＧＣ）
４　Ａ／Ｄ変換器
５　ホワイトバランス調整回路（ＷＢ）
６　１Ｈ遅延回路
７　欠陥画素検出手段
８　欠陥画素補正手段
９　輝度信号処理回路
１０　色信号処理回路
１１　マイクロコンピュータ
１２　ローパスフィルタ（ＬＰＦ）

Claims (6)

1. 原色市松状の色フィルタを持つと共にすべての画素を独立且つ順次に出力することができる全画素読み出し方式の固体撮像素子の出力信号のうち、特異なレベルの信号を出力する欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段により欠陥画素と判定された画素を補正する欠陥画素補正手段とを備えることを特徴とする固体撮像素子の欠陥画素補正装置。
2. 前記欠陥画素検出手段は、欠陥があるか否かを判断する対象となる判定対象画素と、前記判定対象画素以外の前記判定対象画素と同一色の前記色フィルタを有する画素の信号レベルを基にして前記欠陥画素の判定を行うことを特徴とする請求項１記載の固体撮像素子の欠陥画素補正装置。
3. 前記欠陥画素検出手段は、欠陥があるか否かを判断する対象となる判定対象画素と、前記判定対象画素以外の前記判定対象画素と同一色の前記色フィルタを有する画素との比較を行い、前記判定対象画素と前記同一色の色フィルタを有する画素との信号レベルの差分が所定のしきい値以上の場合に前記判定対象画素を欠陥画素と判定することを特徴とする請求項１記載の固体撮像素子の欠陥画素補正装置。
4. 前記欠陥画素検出手段のしきい値は、前記固定撮像素子の入力段に設けられたＡＧＣ回路のＡＧＣゲインに応じて最適に設定されることを特徴とする請求項３記載の固体撮像素子の欠陥画素補正装置。
5. 前記欠陥画素補正手段は、前記判定対象画素が前記欠陥画素と判定された場合、前記判定対象画素を、前記判定対象画素に隣接する欠陥を有していない同一色の前記色フィルタを有する画素に置き換えることを特徴とする請求項２〜請求項４のいずれかに記載の固体撮像素子の欠陥画素補正装置。
6. 前記欠陥画素手段の検出及び前記欠陥画素補正手段の補正は、垂直方向の複数ラインの画素に対して同時に行なわれることを特徴とする請求項１〜請求項５のいずれかに記載の固体撮像素子の欠陥補正装置。

Images