JP2010050560A - 欠陥画素検出回路、撮像装置及び欠陥画素検出方法 - Google Patents

Abstract

【課題】フレームメモリを用いなくても、欠陥画素を検出すること。
【解決手段】欠陥画素検出部１１は、撮像素子に含まれる所定数以上のラインの画素毎に出力されるデジタル画像信号の画素値を指定した範囲毎に記憶するメモリ１２を備える。また、メモリ１２から読み出したデジタル画像信号の画素値と、撮像素子から出力されるデジタル画像信号の画素値を、ライン毎に同期加算する加算部２１を備える。また、ライン毎に同期加算されたデジタル画像信号の画素値に基づいて、撮像素子に含まれる画素の欠陥を欠陥画素として検出する検出部２４を備える。また、所定の処理回路でメモリ１２が用いられる場合に、２次元フィルタ２３及び検出部２４が行う処理を停止し、所定の処理回路でメモリ１２が用いられない場合に、２次元フィルタ２３及び検出部２４による処理を実行させる制御を行う制御部８と、を備える。
【選択図】図４

Description

本発明は、例えば、撮像素子に含まれる欠陥画素を検出する欠陥画素検出回路、撮像装置及び欠陥画素検出方法に関する。

ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子には欠陥画素が存在し、撮像素子を用いたデジタルビデオカメラやデジタルスチルカメラ（以下、「撮像装置」と総称する。）では欠陥画素を検出し補正を行っている。「欠陥画素」とは、欠陥によって正常に画像信号を生成できない画素を指す。欠陥画素が存在すると、例えば、遮光状態で撮像した画像に輝点が生じたり、白い背景を撮像した画像に暗点が生じたりする。欠陥画素が存在すると得られる画像が劣化するため、撮像装置は検出した欠陥画素の影響を除くことが必要となる。

ここで、従来の撮像装置１００の構成例について、図１を参照して説明する。
撮像装置１００は、レンズ、シャッタ等からなる光学系１０１を介して撮像面に結像した像光をアナログ画像信号として出力する撮像部１０２と、アナログ画像信号をデジタル画像信号に変換するアナログ／デジタル変換部１０３を備える。また、撮像装置１００は、デジタル画像信号に対して各種の補正を行う画像補正部１０４と、補正された画像に各種の処理を施す画像処理部１０５と、処理された画像を表示する表示部１０６と、処理された画像を記録する記録部１０７を備える。また、撮像装置１００は、画像補正部１０４と画像処理部１０５で処理された画像データを複数のフレーム毎に記憶するフレームメモリ１０８を備える。

画像補正部１０４は、欠陥画素を検出する不図示の検出部を備える。
フレームメモリ１０８には１フレーム分の全画素値が保持され蓄えられる。そして、フレームメモリ１０８は、画像補正や様々な画像処理において、フレームとフレームの間の相関（差異など）から処理に必要な情報を引き出すために用いられる。一般的に、フレームメモリ１０８は、フレーム毎に一フレーム分の画像データを保持するように用いられる。また、画像補正用に一枚、別の画像処理用に一枚のように、複数枚分のフレームメモリ１０８を撮像装置１００に搭載する場合もある。

従来、撮像装置１００が欠陥画素を検出する場合、フレームメモリ１０８を用いて複数フレームにわたる同期加算を行っている。同期加算とは、遮光状態で撮像して得られる画像信号に基づいて、複数フレームにわたって同じ位置の画素値を積算する処理である。フレームメモリ１０８を用いて同期加算を行えば、デジタル画像信号に重畳されるランダムノイズを抑えて、信号対ノイズ比（ＳＮ比）の良い状態で欠陥画素を検出できる。また、フレームメモリ１０８に蓄えられたフレーム毎の全画素値を、フィルタ等の回路に入力することで、少ない処理（１回の検出動作で撮像素子全体を欠陥画素の検出対象にできる。）でフレーム内の欠陥画素を検出できる。

特許文献１には、ノイズ低減回路と解像度変換回路でラインメモリを共有し、２次元フィルタを用いてノイズを低減する技術について開示されている。
特開２００６−２００５０号公報

ところで、一般的にフレームメモリ１０８は高価であり、撮像装置に実装するために必要な面積が大きくなりやすい。このため、フレームメモリ１０８を撮像装置に搭載できないことが多い。フレームメモリ１０８を撮像装置に搭載できなければ、同期加算を用いて欠陥画素を検出することはできなかった。

フレームメモリ１０８を用いないで欠陥画素を検出する場合、撮像部１０２が出力した画像信号をそのままフィルタ等で構成される欠陥画素検出回路に入力し、ノイズの影響を受けながら欠陥の可能性が高い画素を抽出する。その後、検出した画素のみ複数フレームにわたって同期加算し、検出した画素が欠陥画素であるかどうかを確認するという、非常に時間のかかる方法がとられていた。また、デジタル画像信号はノイズの影響を受けるため、正常な画素であるにもかかわらず、欠陥画素であると誤検出する場合もあった。

本発明はこのような状況に鑑みて成されたものであり、撮像装置に含まれる所定の処理回路で用いられるメモリを用いて、欠陥画素を検出することを目的とする。

本発明は、撮像素子に含まれる所定数以上のラインから出力される、デジタル画像信号の画素値をライン毎にメモリに記憶する。
次に、加算部は、メモリから読みだしたデジタル画像信号の画素値と、撮像素子から出力されたデジタル画像信号の画素値をライン毎に同期加算して再びメモリに記憶する。
次に、検出部は、ライン毎に同期加算されたデジタル画像信号の画素値に基づいて、検出部が撮像素子に含まれる画素の欠陥を欠陥画素として検出する。
そして、制御部は、所定の処理回路でメモリが用いられる場合に、加算部及び検出部が行う処理を停止し、所定の処理回路でメモリが用いられない場合に、加算部及び検出部による処理を実行させる制御を行うものである。

このようにしたことで、撮像装置に含まれる所定の処理回路で用いられるメモリを用いて欠陥画素を検出できる。

本発明によれば、撮像装置に含まれる所定の処理回路で用いられるメモリを用いて同期加算を行って欠陥画素を検出できるため、欠陥画素を検出するための処理を簡素化できるという効果がある。

以下、本発明の一実施の形態例について、図２〜図８を参照して説明する。本実施の形態例では、撮像素子の欠陥画素を検出する欠陥画素検出回路（本例では、欠陥画素検出部１１）に適用した例について説明する。

図２は、撮像装置１０の内部構成例を示す。
撮像装置１０は、レンズ、シャッタ等からなる光学系１を介して撮像面に結像した像光をアナログ画像信号として出力する撮像部２と、アナログ画像信号をデジタル画像信号に変換するアナログ／デジタル変換部３を備える。本例のデジタル画像信号は主に動画を記録・再生するために用いられるが、静止画を記録・再生するために用いてもよい。また、撮像装置１０は、デジタル画像信号に対して各種の補正を行う画像補正部４と、補正されたデジタル画像信号に各種の処理を施す画像処理部５と、処理されたデジタル画像信号に基づいて画像を表示する表示部６と、処理されたデジタル画像信号に基づいて画像ファイル、画像データ等を記録する記録部７を備える。

撮像部２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備える。アナログ／デジタル変換部３は、撮像部２が生成したアナログ画像信号を所定のサンプリングレートでサンプリングして、デジタル画像信号に変換する。アナログ／デジタル変換部３から出力されたデジタル画像信号は、画像補正部４に供給される。

画像補正部４は、アナログ／デジタル変換部３から供給されたデジタル画像信号から、例えば、静止画又は動画のノイズを除いたり、オートフォーカス等に用いられる各種の制御信号を生成したりする。また、画像補正部４は、撮像部２の欠陥画素を検出する欠陥画素検出部１１（後述の図３参照）を備えており、欠陥画素検出部１１で検出された欠陥画素を補正する。

画像補正部４が行う欠陥画素の補正では、例えば、欠陥画素の周りの暗点を明るくしたり、輝点を暗くしたりする処理が行われる。通常、欠陥画素を補正するために、暗点を明るくする処理、又は、輝点を暗くする処理を行っているが、これらの処理だけでは、暗い被写体を撮影した時に暗点が輝点となり、明るい被写体を撮影した時に輝点が暗点になってしまう。そこで、欠陥画素の画素値を、周囲の画素の平均値で置き換える方法が良く用いられる。こうすると、被写体に応じて周囲の画素値が変化しても、欠陥画素の画素値が周囲の画素の平均値に置き換えられるので、欠陥画素と周囲の画素とのレベル差が目立たなくなる。欠陥画素検出部１１の詳細な構成例、処理例については、後述する。

画像処理部５は、補正されたデジタル画像信号で生成される画像に対して、例えば輝度・色度変換を行ってホワイトバランスの調整を行ったり、画質調整・輪郭強調等の処理を行ったりする。表示部６は、例えば、有機ＥＬ（Electro Luminescence）ディスプレイパネルや液晶ディスプレイパネルで構成される。この表示部６は、撮像装置１０に対して取り外し可能としてもよい。記録部７は、例えば、フラッシュメモリ等の取り外し可能な記憶装置や、ハードディスクドライブ、ＤＶＤ等の大容量記憶メディアが用いられる。

撮像装置１０内の各処理ブロックは、制御部８によって制御される。制御部８は、例えば、中央処理装置（ＣＰＵ：Central Processing Unit)が用いられる。本例の制御部８は、画像補正部４または画像処理部５がメモリ１２（後述する図３参照）を使用していない場合に、メモリ１２をラインメモリとして欠陥画素の検出に用いる。本例では、メモリ１２にフレームメモリ以外のメモリを用いている。

図３は、画像補正部４の内部構成例を示す。
画像補正部４は、欠陥画素を検出する欠陥画素検出部１１と、撮像素子に含まれる所定数以上のラインから出力される、デジタル画像信号の画素値を指定した範囲毎に一時記憶するメモリ１２と、デジタル画像信号に輝度補正等の処理を施す補正部１３を備える。なお、本例の補正部１３は、画像補正部４が備える補正処理を行うブロックを総称するものである。また、補正部１３には、画像処理部５が備える処理ブロックも含まれる。そして、欠陥画素検出部１１は、これらの処理ブロックが補正処理を行うにあたって使用するメモリ１２を欠陥画素の検出に用いる。

アナログ／デジタル変換部３から供給されるデジタル画像信号は、欠陥画素検出部１１と補正部１３に供給される。欠陥画素検出部１１は、所定数以上のラインで出力されたデジタル画像信号をライン毎にメモリ１２に記憶させる。本例のメモリ１２は、欠陥画素を検出するためのラインメモリ１２ａ〜１２ｃ（後述する図４参照）を備える。そして、欠陥画素検出部１１は、メモリ１２を利用して同期加算を行って欠陥画素を検出する。ただし、欠陥画素検出部１１は、補正部１３が行う本来の処理に影響を及ぼさないようにして、メモリ１２を欠陥画素の検出処理に用いる。

本例では、ラインメモリを３本とした場合について説明するが、実装に際しては３本に限らず、その時点で他の用途に使用されていないラインメモリ、すなわち使えるラインメモリは使えるだけ使うようにする。そして、できるだけ大きな容量のメモリ１２を用意した上で、できるだけ大きな範囲の画素について、同期加算を行う。本例において、メモリ１２は、補正部１３と画像処理部５、又は、後述する検出部２４（図４参照）のいずれかが排他的に利用することになる。

欠陥画素検出部１１（検出部２４）は、メモリ１２から読み出したデジタル画像信号に基づいて、欠陥画素を検出する。補正部１３は、欠陥画素検出部１１で検出された欠陥画素の位置情報を基に、欠陥画素が含まれる画像の補正を行う。その後、補正部１３は、補正したデジタル画像信号を表示部６または記録部７に出力する。そして、欠陥画素検出部１１は、検出した欠陥画素の情報を、撮像装置１０内の各処理ブロックを制御する制御部８に出力する。

欠陥画素の検出は、メモリ１２内に保持された同期加算済みの画像信号のみを用いて行う。また、検出部２４において検出されたアドレスデータ（後述するアドレスメモリ２５（図４参照）に保持）は一度の検出動作の度に制御部８に渡される。制御部８は、複数回の検出動作によって検出された多量のアドレスデータを管理する。そして、制御部８は、管理しているアドレスデータを補正部１３に渡し、補正部１３は受け取ったアドレスデータに基づいて、欠陥画素を補正する動作を行う。

図４は、欠陥画素検出部１１の内部構成例を示す。
欠陥画素検出部１１は、メモリ１２から読み出したデジタル画像信号の画素値と、撮像素子から出力され、アナログ／デジタル変換部３が出力するデジタル画像信号の画素値をライン毎に同期加算する加算部２１を備える。また、所定のタイミングでメモリ１２からデジタル画像信号の画素値をライン毎に読み出す選択部２２を備える。選択部２２は、メモリ１２から読み出した並列出力されるデジタル画像信号の画素値を、検出対象領域の水平方向を揃えて検出部２４に出力する。また、欠陥画素検出部１１は、ライン毎に同期加算されたデジタル画像信号の画素値に基づいて、撮像素子に含まれる画素の欠陥を欠陥画素として検出する検出部２４を備える。加算部２１が加算したデジタル画像信号を指定した範囲毎に記憶するメモリ１２は、画像補正部４または画像処理部５が用いる小容量のメモリやラインメモリを流用する。検出部２４が検出した欠陥画素撮像素子における位置情報は、アドレスメモリ２５に記憶される。

同期加算は、メモリ１２、メモリ１２を使用する処理部を切替え制御するメモリ制御部２６及び加算部２１によって行われる処理である。そして、所定フレーム数の同期加算が終わった後に、その同期加算された値が２次元フィルタ２３に入力されると、２次元フィルタ２３は欠陥画素の特徴量を抽出する。ここで、メモリ制御部２６は、所定の処理回路でメモリ１２が用いられる場合に、加算部２１及び検出部２４が行う処理を停止し、所定の処理回路でメモリ１２が用いられない場合に、加算部２１及び検出部２４による処理を実行させる制御を行う

通常、ビデオ信号の処理では、順次走査を行っている。この処理は、画面の左上に位置する信号から順に右方向へ水平に一ライン信号が流れたら、次に一つ下のラインを左から右方向へ移動させる。この移動を繰り返しながら右下まで順に信号を流すことによって、順次画素毎に画像処理を行う。２次元で画像信号を処理する場合、一つ前、二つ前のラインの信号をメモリ１２に保持し、これと現在のラインを合わせて縦横二次元の処理を行う。

通常、フレームメモリからの読み出しは、１ラインずつとなるため、遅延線を用いて並列に行われる。この場合、フレームメモリと加算部２１で同期加算が行われ、同期加算後のフレームメモリ出力を遅延線にて、並列化させる。これに対して、本例のように集積回路（ＬＳＩ）内に配されたラインメモリ等のメモリを用いた場合には、ラインメモリ１２ａ〜１２ｃと加算部２１で同期加算した後、メモリ１２から同時に複数ラインを読み出して利用する。このとき、ラインメモリ１２ａ〜１２ｃを遅延線として兼用した上で、同時に３ライン分ずつ読み出す等の並列化を行う。２次元フィルタ２３は、こうして並列化された信号を受けて、欠陥画素の特徴量を抽出する。

アドレスメモリ２５に保持された欠陥画素のアドレスデータは、制御部８に渡され、そこで管理される。渡された欠陥画素のアドレスデータは制御部８によって、補正部１３に渡されて、欠陥補正の動作に利用される。

選択部２２は、メモリ１２と一体であり、複数ラインの画素値を記憶したメモリ１２から、例えば、３ライン分の水平方向をそろえて並列に出力できる。また、選択部２２から加算部２１には、選択したラインメモリ１２ａ〜１２ｃの画素値が供給される。そして、メモリ制御部２６からメモリ１２には、制御信号（read-address,write-address,write-enable）が供給される。一方、メモリ制御部２６から検出部２４には、画素位置を示す垂直水平アドレスが供給される。

メモリ１２が備える３個のラインメモリ１２ａ〜１２ｃを同期加算に用いる際には、所定のビット数で定まるワード（例えば、１０ビット／ワード）の語長を積算分増やすか、ワードの語長を変えずに演算結果が桁あふれしないように計算する。ここで、積算分とは積算する指定フレーム数と同義である。積算フレーム数を多くすると、ワードの語長を必要なだけ増やさなければならない。

演算結果が桁あふれするとその演算結果を正しい値として使用できない。このため、あるラインメモリで桁あふれする場合には他のラインメモリに含まれる数ビットの領域を演算用に一時的に使うことで、演算結果の桁あふれによる誤処理を防いでいる。また、ワードの語長を積算分増やして使うと、利用できるワード数が減るため、フレームメモリを利用する場合に比べて一度に検出対象とする画素数は減ってしまう。そして、ラインメモリ１２ａ〜１２ｃを用いて同期加算を行うことによって、ＳＮ比の良い状態で欠陥画素を検出できる。なお、本例では、３個のラインメモリを使用した例について説明したが、基本的には、メモリは何個でも使えるだけ使う、という構成になる。

ここで、「語長を積算分増やすと利用できるワード数が減る」ことについて説明する。一般に、メモリの必要容量は、”語長×ワード数”で決まる。このため、利用できるメモリの容量は実装されているメモリ容量で上限が決まると言える。ここで、２つの相反する要求が出てくる。第１の要求は、できるだけ多くの画素について一度に同期加算をするためには、できるだけワード数を多くしたいというものである。一方で、第２の要求として、同期加算フレーム数が多いほどＳＮ比がよくなるので、語長は同期加算するフレーム数に応じて桁あふれしないようにできるだけ増やしたいという要求がある。これら相反する要求によって、同期加算のフレーム数と一度に同期加算できる画素数はトレードオフの関係となる。

通常、ラインメモリは画像処理系を流れるビデオ信号の語長分しか画素値を持っていない。例えばビデオ信号が１０ビットで、ラインメモリが１０ビット／ワードの語長を持っていたと仮定する。このビデオ信号を同期加算する場合、１０ビットの最大値である１０２３と１０２３を加算すると２０４６となる。このため、１１ビットの語長が必要となる。つまり、２フレームの同期加算を行うと値が倍になり、１１ビットの語長が必要となる。さらに、４フレームの同期加算を行う場合、値が４倍となるので２ビット増えて１２ビット、８フレームの同期加算を行う場合、値が８倍となるので３ビット増えて１３ビット必要となる。

このように、３ラインについて８フレームまでの同期加算を行うためには、１３ビットのラインメモリが３本必要になる。これは見方を変えると、１３ビット×３＝３９ビット幅のメモリが必要になるとも言える。一方で、本例のメモリ１２に物理的に実装されるラインメモリは１０ビット／ワードのものである。この場合、４本のラインメモリを用意して、１０ビット×４＝４０ビット幅とみなせば、先の３９ビット幅をまかなうことができる。つまり、補正や画像処理では４本として扱っているラインメモリを、同期加算では３本分として扱って語長を増やすことによって、同期加算した値の桁あふれが起こらないようにしている。一例として６０フレームの同期加算を行う場合には、値が６０倍となるので６ビット増えて１６ビット、つまり１６ビット×３＝４８ビット必要となる。このため、１０ビット／ワードのラインメモリが５本必要となる。

検出部２４は、２次元フィルタ２３から画素値を読み出すタイミングを指示するメモリ制御部２６によって制御される。メモリ制御部２６には、図示しない同期信号発生部から、水平同期信号と垂直同期信号が入力される。これは、同時に撮像素子やアナログ/デジタル変換部３へも配られる。これらの同期信号によって、メモリ制御部２６は、１フレーム内におけるメモリ１２に記憶されたライン数と水平方向の位置を計算できる。また、メモリ制御部２６は、入力された水平同期信号と垂直同期信号に基づいて、メモリ１２の書き込み許可信号、選択部２２の切り替え信号、読取り信号等を生成する。画素値はメモリ１２から読みだされ、２次元フィルタ２３で欠陥画素の特徴量が抽出され、その特徴量が検出部２４にて評価される。この評価は、検出部２４が複数のフレームにわたってアドレスメモリ２５に記憶された欠陥画素のアドレスをフレーム毎に読み出すことによって行われ、欠陥画素が確定される。

欠陥画素検出部１１は、ライン毎のデジタル画像信号をラインメモリ１２ａ〜１２ｃに記憶させる。ラインメモリ１２ａ〜１２ｃは、先入れ先出し（ＦＩＦＯ：First-In First-Out）のキュー構造である。選択部２２は、ラインメモリ１２ａ〜１２ｃからデジタル画像信号を読み出すタイミングを異ならせることによって、ラインメモリ１２ａ〜１２ｃを遅延線として用いる。

制御部８は、所定の処理回路（本例では、補正部１３）でメモリ１２が用いられる場合に、２次元フィルタ２３及び検出部２４が行う処理を停止する。また、制御部８は、所定の処理回路でメモリ１２が用いられない場合に、２次元フィルタ２３及び検出部２４による処理を実行させる制御を行う。欠陥画素検出部１１が欠陥画素を検出する際、選択部２２は、補正部１３が本来行うデジタル画像信号の流れる処理経路を切り替えて、デジタル画像信号を３ライン分並列にした状態で２次元フィルタ２３に入力する。２次元フィルタ２３は、３×３画素分の領域に含まれるデジタル画像信号のハイパスフィルタとして機能する。

ここで、２次元フィルタ２３の役割について説明する。
一般的な欠陥画素は被写体に関わらず、常に一定の値を出力する。このため、レンズの絞りを閉じて光を遮断した状態で白点となって現れたり、白い被写体を映した際に黒点となって現れたりする。このような白点や黒点を欠陥画素と検出することになるが、これら白点や黒点は２次元でとらえた場合に高周波とみなすことができる。このため、欠陥画素の特徴量として高周波成分を抽出することになる。そこで用いられるのが、二次元の高周波成分を抽出する２次元フィルタ２３（二次元ハイパスフィルタ）となる。二次元ハイパスフィルタで欠陥画素の特徴量である高周波成分を抽出し、検出部２４にてこれが規定した閾値より大きければ欠陥画素としての特徴量で有るとして、欠陥画素と判定する。

２次元フィルタ２３は欠陥画素の特徴量を抽出する処理を行う。欠陥画素検出は、まず複数フレームにわたって同期加算を行う。同期加算が所定フレーム数終わった後、欠陥画素の検出動作に移行する。検出動作では、メモリ１２から同期加算済みの画素値を並列に読み出し、２次元フィルタ２３に入力する。２次元フィルタ２３では欠陥画素の特徴量を抽出し、これを検出部２４に入力する。検出部２４は特徴量を評価し、評価値が規定した値より大きければ欠陥画素と判断する。この時、メモリ制御部２６から受け取っていた垂直水平アドレス値を欠陥画素アドレスデータとして、アドレスメモリ２５に保持する。アドレスメモリ２５に保持されたデータは、一回の検出動作毎に制御部８にデータを渡す。

そして、同期加算によって、信号に重畳するノイズを除くことができる。ガウス分布と想定されるノイズは、同期加算することで分布の中央値であるゼロへと収束する。つまりノイズは同期加算により、その影響を排除できる。３×３のフィルタでは、抽出対象は中央の１画素であり、中央の１画素と周囲の画素を用いた演算により、特徴量を抽出する。そして順次抽出対象を１画素分ずつずらして各画素について特徴量の抽出演算を行う。なお、ノイズが発生し、信号に重畳されるのは、Ａ／Ｄ変換されるまでのアナログ部分となる。つまり、撮像素子からアナログ／デジタル変換部３までの間である。

ラインメモリ１２ａから選択部２２に供給されるデジタル画像信号は、加算部２１によって、アナログ／デジタル変換部３から供給されるデジタル画像信号に加算される。そして、検出部２４は、選択部２２を通して読み出された画素値のうち、撮像面内における垂直位置と水平位置が同一となる画素値を、アドレスメモリ２５から読み出した画素値に対応させてフレーム毎に同期加算する。その後、再びメモリ１２の同じ位置にデジタル画像信号を書き込む。

ここで、撮像素子内における欠陥画素の例について、撮像素子が有する撮像面の一部を切り出して説明する。
図５は、メモリ１２に記憶させる画素に欠陥画素が含まれる場合の例を示す。
図６は、メモリ１２に記憶させる画素に欠陥画素が含まれない場合の例を示す。
本例では、３×７画素分のデジタル画像信号をラインメモリ１２ａ〜１２ｃに同期加算して取り込む場合における、取り込み範囲３２と、欠陥画素の検出範囲３４について説明する。図中の単位格子は、撮像素子の１画素に相当する単位画素３１を表す。

図中の撮像面には、１ライン当たりの画素数を２０画素とし、ライン数を１５ラインとした計３００画素が含まれる。そして、この撮像面には、３個の欠陥画素３３ａ〜３３ｃが含まれる。以下の説明では、（縦方向のライン数，横方向の画素数）として、撮像面内における画素の位置を座標で指定する。

検出部２４は、複数フレームにわたって同期加算された画素値に対して、１回の検出動作を行い、アドレスデータを制御部８に渡す。この動作を何度も繰り返すこととなるが、この際に、一度に同期加算を行える面積が限られる。このため、撮像素子全体から欠陥画素を抽出するためには、同期加算を何度も繰り返すことになる。

図５において、画素をメモリ１２に取り込んで同期加算をする範囲は、３×７画素の取り込み範囲３２であり、検出対象となる画素範囲が検出範囲３４になる。取り込み範囲３２について同期加算を行った後、検出動作に移行する。このとき、欠陥画素の検出は座標（６，６）〜（６，１０）について行われる。こうして、座標（６，６）〜（６，１０）の画素について欠陥画素の検出評価が終わる。

図６に示すように、今度は座標（６、１１）〜座標（６、１５）の画素について欠陥画素の検出評価を行う。このため、図６に示す取り込み範囲３２の画素値をメモリ１２に取り込んで同期加算を行う。そして、検出部２４は、同期加算後に座標（６，１１）〜座標（６，１５）の画素について欠陥画素の検出評価を行う。その後、順次、メモリ１２に取り込んで同期加算する範囲をずらす。本例では、次に、座標（６、１６）〜座標（６、２０）の画素について検出評価の対象となる。こうして撮像素子の右端まできたら、次は座標（７，１）〜座標（７，５）の画素について欠陥画素の検出評価を行う。以下、撮像面の全体の画素について欠陥画素の検出処理を繰り返す。ただし、実際に欠陥画素を検出可能な領域は、検出範囲３４で示される。検出範囲３４の外縁は、取り込み範囲３２に含まれるものの欠陥画素を検出できる領域ではない。

そして、加算部２１は、取り込み範囲３２に含まれる全ての画素をメモリ１２に取り込んで同期加算する。そして、３×３画素領域３５で行う３×３フィルタは、３×３＝９画素の中心画素についての演算を行う。つまり、３×３フィルタの演算を実行するには３×３画素が必要であるが、得られる演算値は中心の１画素に関する値だけとなる。このため一度に同期加算した面積のうち、外縁に位置する１画素分は欠陥画素の検出対象とはならない。この検出対象とならなかった外縁に位置する１画素分については次回以降の動作で検出対象となるようにメモリ１２に取り込んで同期加算を行う。

図７は、２０００画素×３ラインのメモリ１２の構成例を示す。
メモリ１２は、２０００画素分のデジタル画像信号の画素値を記憶できるラインメモリ１２ａ〜１２ｃを有する。

欠陥画素検出部１１は、３×３画素毎に同期加算された結果を用いて、欠陥画素を検出する。このため、垂直方向には３ライン分の同期加算された画素値が必要となる。例えば、同期加算に利用できるラインメモリ１２ａ〜１２ｃが２０００画素分の画素値を記憶できる場合、ラインメモリ１２ａ〜１２ｃを合計すると６０００画素分の同期した加算結果を記憶できる。

本例の２次元フィルタ２３は３×３画素の２次元フィルタ２３を用いるので、メモリ１２の外縁に記憶されたデジタル画像信号については欠陥画素を検出できない。このため、２次元フィルタ２３を用いて、一度に欠陥画素の検出対象とすることができる画素数は、メモリ１２の外縁に位置する各１画素分を除いた内側の１９９８画素となる。

図８は、欠陥画素を検出する処理の例を示す。
ここでは、指定した範囲内を、複数回に分けてメモリ１２に取り込み欠陥画素を検出する処理について説明する。欠陥画素検出部１１は、メモリ１２に取り込んだ画素値を同期加算し、欠陥画素の検出を行う。メモリ１２に取り込む画素の範囲は、検出範囲３４が重ならないように移動させながら、指定した範囲内の全画素から欠陥画素の検出を行うようにする。ただし、メモリ１２に一度に取り込む画素の範囲は任意であり、指定した範囲は撮像素子の全画素を含まなくてもよい。

始めに、撮像装置１０は、はレンズの絞りを閉じて（アイリスクローズ）、レンズに入射する光を遮る（ステップＳ１）。次に、欠陥画素検出部１１は、メモリ１２を初期化し（ステップＳ２）、同期加算しながら画素値をメモリ１２に取り込む（ステップＳ３）。

次に、同期加算の回数が指定フレーム数に達したか否かを判別する（ステップＳ４）。ここで、同期加算をするフレームの数を、「指定フレーム数」と称しており、例えば、６０フレームが指定フレーム数として設定される。

同期加算の回数が指定フレーム数に達していない場合、ステップＳ３に処理を戻し、再度同期加算を行う。一方、同期加算の回数が指定フレーム数に達した場合、メモリ１２から画像信号を読み出す（ステップＳ５）。

次に、検出部２４は、２次元フィルタ２３の結果に基づいて、欠陥画素を検出する（ステップＳ６）。欠陥画素を検出した後、撮像面の指定範囲内で欠陥画素の検出を終了したか否かを判別する（ステップＳ７）。

撮像面の指定範囲内で欠陥画素の検出を終了していない場合、メモリ１２の取り込み範囲を移動して（ステップＳ８）、ステップＳ２に処理を戻し、再度メモリ１２を初期化する。一方、撮像面の指定範囲内で欠陥画素の検出を終了した場合、欠陥画素の検出処理を終了する。

上述した本実施の形態に係る欠陥画素検出部１１は、フレームメモリ以外のメモリを用いてデジタル画像信号の画素値から欠陥画素を検出する。このとき、例えば、ラインメモリを用いることによって同期加算を行う。このため、デジタル画像信号に重畳されるノイズの影響を除いた上で、精度良く欠陥画素を検出できるという効果がある。

他の処理にも用いられる点に関しては、フレームメモリ以外のメモリを用いる場合も同じであるが、これまで欠陥検出のための同期加算にフレームメモリ以外のメモリを流用していなかった。ここで、ビデオカメラ、デジタルカメラの一般的な信号処理回路として、フレームメモリの次に大きなメモリとしてラインメモリがある。一般的なビデオ信号処理において、ラインメモリは、２次元の信号処理を行うために用いられる。上述した本実施の形態例では、容量が大きいラインメモリを用いて、欠陥画素を検出するものである。

また、フレームメモリを用いず、撮像装置１０の各部が内蔵するメモリを同期加算に用いることによって、低コストかつ小面積な回路で、同期加算を行うことができる。また、撮像装置１０が内蔵するメモリ１２で欠陥画素を検出する対象領域の水平垂直比を調整することで、同期加算によってノイズの影響を排除した欠陥検出を１度により多くの画素を対象として行うことができる。このため、従来の技術に比べ、短時間で効率よく欠陥画素を検出できるという効果がある。

なお、２次元フィルタ２３が処理できる画素範囲は、３×３画素以外でも構わず、例えば、５×５画素であってもよい。また、同期加算に用いるメモリは同期加算したデジタル画像信号を格納できれば、撮像装置１０にラインメモリとして実装されているメモリ以外のメモリを同期加算のために用いても構わない。

また、ラインメモリが欠陥画素を検出する検出対象領域の水平方向に対する垂直方向の比を可変としてもよい。
図９は、１０００画素×６ラインのメモリ１２の構成例を示す。
本例のメモリ１２は、それぞれ１０００画素の画素値を記憶するラインメモリ４１ａ〜４１ｆを有する。

上述したように、図９に示すようにメモリ１２を構成した場合であっても、メモリ１２の外縁の上下左右に位置する１画素分は欠陥画素の検出対象とならない。しかし、欠陥画素検出部１１は、内側の９９８画素×４ラインの画素（３９９２画素）分を一度に欠陥画素を検出する対象とすることができる。

このように、図７に示した６０００画素分の画素値を記憶するラインメモリ１２ａ〜１２ｃと同じ容量であるラインメモリ４１ａ〜４１ｆを用いても、メモリ１２の水平垂直比を変えることで一度に検出対象とする画素数を約２倍とすることができる。検出対象領域の水平方向に対する垂直方向の比を可変とする処理は、メモリ制御部２６が行う。このため、上述した実施の形態例で行う同期加算を用いた欠陥画素の検出処理に要する時間を約半分とすることができる。このように欠陥画素を検出するためには、撮像装置１０にメモリ１２を実装する際に、ワード長を１０００画素分としておく。そして、１０００画素分のワード長のラインメモリを２個で一組として、２０００画素分の長さを持つラインメモリを構成しておけばよい。

また、ラインメモリの長さを、元の長さに対して１／３，１／４，…，１／ｍ（ｍは有理数）と変えると、一度に欠陥画素を検出できる画素数を増やすことができる。本例の欠陥画素検出部１１を実装する際には、本来メモリが使用される補正部１３等の処理に影響が出ないようしながら、検出対象とする画素数ができるだけ大きくなるように構成する。このように、同期加算されたデジタル画像信号を２次元フィルタ２３に入力して欠陥画素を検出する際には、同期加算に用いるラインメモリが格納する対象範囲の水平垂直比を変える。このことで、メモリ１２に取り込む２次元画像面積の縦横比を変化させて、一度に検出対象とする面積を増すと共に、撮像素子全体の欠陥画素検出にかかる時間を短縮することができるという効果がある。

また、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

従来の撮像装置の内部構成例を示すブロック図である。 本発明の一実施の形態例における撮像装置の内部構成例を示すブロック図である。 本発明の一実施の形態例における画像補正部の内部構成例を示すブロック図である。 本発明の一実施の形態例における欠陥画素検出部の内部構成例を示すブロック図である。 本発明の一実施の形態例における欠陥画素を検出する際の撮像素子内における欠陥画素の例を示す説明図である。 本発明の一実施の形態例における欠陥画素を検出する際の撮像素子内における欠陥画素の例を示す説明図である。 本発明の一実施の形態例における２０００画素×３ラインのラインメモリの構成例を示す説明図である。 本発明の一実施の形態例における欠陥画素を検出する処理の例を示すフローチャートである。 本発明の他の実施の形態例における１０００画素×６ラインのラインメモリの構成例を示す説明図である。

符号の説明

１…光学系、２…撮像部、３…Ａ／Ｄ変換部、４…画像補正部、５…画像処理部、６…表示部、７…記録部、８…制御部、１０…撮像装置、１１…欠陥画素検出部、１２…メモリ、１２ａ〜１２ｃ…ラインメモリ、１３…補正部、２１…加算部、２２…選択部、２３…２次元フィルタ、２４…検出部、２５…アドレスメモリ、２６…メモリ制御部

Claims (6)

1. 撮像素子に含まれる所定数以上のラインから出力される、デジタル画像信号の画素値を指定した範囲毎に記憶するメモリと、
   前記メモリから読みだした前記デジタル画像信号の画素値と、前記撮像素子から出力されたデジタル画像信号の画素値をライン毎に同期加算する加算部と、
   ライン毎に同期加算された前記デジタル画像信号の画素値に基づいて、前記撮像素子に含まれる画素の欠陥を欠陥画素として検出する検出部と、
   所定の処理回路で前記メモリが用いられる場合に、前記加算部及び前記検出部が行う処理を停止し、前記所定の処理回路で前記メモリが用いられない場合に、前記加算部及び前記検出部による処理を実行させる制御を行う制御部と、を備える
   欠陥画素検出回路。
2. 請求項１記載の欠陥画素検出回路において、
   前記メモリは、フレームメモリ以外のメモリである、
   欠陥画素検出回路。
3. 請求項２記載の欠陥画素検出回路において、
   所定のタイミングで前記メモリから前記デジタル画像信号の画素値をライン毎に読み出し、前記検出対象領域の水平方向を揃えて前記デジタル画像信号の画素値を前記検出部に出力する選択部を備える
   欠陥画素検出回路。
4. 請求項３記載の欠陥画素検出回路において、
   前記検出部が検出した欠陥画素の前記撮像素子における位置情報を記憶するアドレスメモリを備え、
   前記検出部は、複数のフレームにわたって前記アドレスメモリに記憶された前記欠陥画素のアドレスをフレーム毎に読み出し、前記欠陥画素を確定する
   欠陥画素検出回路。
5. 光学系を介して結像した像光を撮像信号として出力する撮像部と、
   撮像素子に含まれる所定数以上のラインから出力される、デジタル画像信号の画素値を指定した範囲毎に記憶するメモリと、
   前記メモリから読みだした前記デジタル画像信号の画素値と、前記撮像素子から出力されたデジタル画像信号の画素値をライン毎に同期加算する加算部と、
   ライン毎に同期加算された前記デジタル画像信号の画素値に基づいて、前記撮像素子に含まれる画素の欠陥を欠陥画素として検出する検出部と、
   所定の処理回路で前記メモリが用いられる場合に、前記加算部及び前記検出部が行う処理を停止し、前記所定の処理回路で前記メモリが用いられない場合に、前記加算部及び前記検出部による処理を実行させる制御を行う制御部と、
   前記検出した欠陥画素が出力する画素値を補正したデジタル画像信号を出力する画像補正部と、
   前記画像補正部から供給されたデジタル画像信号を出力する出力部と、を備える
   撮像装置。
6. 撮像素子に含まれる所定数以上のラインから出力される、デジタル画像信号の画素値を指定した範囲毎にメモリに記憶するステップと、
   前記メモリから読みだした前記デジタル画像信号の画素値と、前記撮像素子から出力されたデジタル画像信号の画素値をライン毎に同期加算するステップと、
   ライン毎に同期加算された前記デジタル画像信号の画素値に基づいて、検出部が前記撮像素子に含まれる画素の欠陥を欠陥画素として検出するステップと、
   所定の処理回路で前記メモリが用いられる場合に、前記加算部及び前記検出部が行う処理を停止し、前記所定の処理回路で前記メモリが用いられない場合に、前記加算部及び前記検出部による処理を実行させる制御を行うステップと、を含む
   欠陥画素検出方法。
   

Images