JP5615155B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、撮像素子の欠陥画素から出力された画像信号の補正技術に関するものである。

近年、電子スチルカメラやビデオカメラでは撮像素子の高画素化が進んでおり、それに伴って撮像素子中の欠陥画素から出力される画像信号の補正の重要性がより高まってきている。このような状況において、従来から欠陥画素に起因する画質劣化を補正する技術が種々提案されている。これら従来技術の多くは、例えば、特許文献１で提案されているように、工場出荷時における撮像素子の欠陥画素情報（欠陥の画素位置や欠陥の種類）を保有し、この情報に依拠して画像を欠陥補正するものである。

しかしながら、上述のような方法では、工場出荷時の特定の検査条件下では検出されないような欠陥や経年変化による欠陥は補正されないので、十分な欠陥補正を施すことができないという問題があった。

そこで、このような問題を解決するための技術がいくつか提案されている。例えば、特許文献２には、撮像装置に撮像素子の欠陥画素を検出するための欠陥画素検出モードを持たせ、その検出モードで検出された欠陥画素の位置データとメモリに記憶されている欠陥画素の位置データとを用いて欠陥補正をする技術が提案されている。

特開２００８−５３８８６号公報 特開２００３−２５９２２１号公報

しかしながら、上述の特許文献２に開示された従来技術では、検出モードで検出された欠陥画素の中にメモリに記憶されている欠陥画素と位置が同じものがある場合について特別な処理がなされない。そのため、上述の特許文献１のように欠陥画素の位置情報の他に種類情報を保有するような場合、ある欠陥画素が複数の異なる種類の欠陥を持っていても、複数の異なる種類情報を適切に反映させることができないことがあった。その結果、様々な撮影条件に対して該当する欠陥画素から出力される画像信号に必要十分な欠陥補正を施すことができないことがあった。

本発明は上記問題点を鑑みてなされたものであり、欠陥画素から出力される画像信号に必要十分な欠陥補正を施すことができるようにすることを目的とする。

上記目的を達成するために、複数の画素を含む撮像素子から出力された画像信号を処理する本発明の画像処理装置は、前記撮像素子の欠陥画素の位置の情報と、欠陥の種類の情報とを含む欠陥画素データの群を保持する保持手段を有し、前記保持手段は、前記欠陥画素の位置の情報が共通であり、かつ、前記欠陥の種類の情報が異なる複数の欠陥画素データを、前記欠陥の種類に応じて割り当てられた優先度に応じて、それぞれの欠陥画素の位置において所定数まで保持することが可能であることを特徴とする。

本発明によれば、欠陥画素から出力される画像信号に必要十分な欠陥補正を施すことができる。

本発明の一実施形態における画像処理装置の構成を示すブロック図。 本発明の一実施形態における欠陥画素データのフォーマットの一例を示す図。 第１の実施形態における欠陥画素データの更新処理を説明するための図。 欠陥画素データの更新処理を説明するためのフローチャート。 欠陥画素補正処理を説明するためのフローチャート。 第３の実施形態における欠陥画素データの更新処理を説明するための図。 第４の実施形態における欠陥画素データの更新処理を説明するための図。 第４の実施形態における欠陥画素データの更新処理を説明するための図。 第５の実施形態における欠陥画素データの更新処理を説明するための図。 第６の実施形態における後検出欠陥画素データの検出及び記録処理を説明するためのフローチャート。 第６の実施形態における欠陥画素補正処理を説明するためのフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像処理装置の概略構成を示すブロック図である。なお画像処理装置としては、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）、スキャナ等があり、被写体光学像を変換して電気的な画像信号を出力可能なものであれば、本発明を適用することが可能である。

図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。撮像素子１４はＣＣＤやＣＭＯＳセンサ等からなる複数の画素が二次元に配列されたものである。

１５はＡ／Ｄ変換器１６から出力された画像信号から欠陥画素を検出し、欠陥画素データを更新する欠陥画素検出回路である。なお、欠陥画素検出回路において行われる欠陥画素データの更新処理については、図３及び図４を参照して詳細に後述する。１７はＡ／Ｄ変換器１６から出力された画像信号を入力して、欠陥画素による画像信号劣化を補正する欠陥画素補正回路である。なお、欠陥画素補正回路１７において行われる欠陥画素補正処理については後述する。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

１９は欠陥画素の情報を保持するメモリ、２０は画像処理回路であり、欠陥画素補正回路１７からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、欠陥画素補正回路１７、タイミング発生回路１８、メモリ１９、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。欠陥画素補正回路１７から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

４０は露光制御回路であり、絞り機能を備えるシャッター１２を制御する。露光制御回路４０は、ＴＴＬ（スルー・ザ・レンズ）方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づいてシステム制御回路５０が露光制御回路４０に対して制御を行う。

４２は温度センサを用いて撮像素子１４の温度を検出する温度検出回路、５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、画像処理装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、撮像素子１４の欠陥画素データが格納される。

７０は各種ボタンやタッチパネル等からなる操作部、９０はメモリカードやハードディスク等の記録媒体とのインターフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

図２は、本実施の形態における欠陥画素データの形式を説明する図である。図２の１メモリアドレス分（１行分）は欠陥画素データの１ワード分に対応し、本実施の形態においては、１ワードは１欠陥画素の１種類の欠陥分で、ビット長を３２ビットとする。また欠陥画素データは撮像素子１４から画素が読み出される順番でメモリに格納される。そして欠陥画素データ１ワードは、欠陥画素の位置（ＰＯＳ）と、欠陥の種類（ＩＤ）と、欠陥の程度（ＧＲ）とからなる。

図２において「ＰＯＳ」として記載されている「Ａ」や「Ｄ」は欠陥画素の２次元位置を示すデータであり、本実施の形態においては例えばＸ座標１４ビット、Ｙ座標１４ビットの２次元座標でＡ＝（２，３）、Ｄ＝（４，５）のような形式で持つものとする。また撮像素子１４の画素読み出し順に対して欠陥画素の位置はＡ、Ｂ、Ｃ、・・・のように並んでいるものとする。さらに「ＰＯＳ」の値「ＰＲＥＶ」は、関連付けられている「ＩＤ」や「ＧＲ」が１メモリアドレス前の欠陥画素データと同じ位置のデータであることを示しており、欠陥画素の位置の２次元座標には割り当てないデータを割り当てる。例えばＰＲＥＶ＝（１６３８３，１６３８３）とし、この値は欠陥画素位置データには割り当てないようにする。

「ＩＤ」には各欠陥画素の欠陥の種類（例えば、長秒欠陥、温度欠陥、点滅欠陥、連続欠陥）に対応したコードを設定する。例えば２ビットコードで、（長秒）＝００、（温度）＝０１、（点滅）＝１０、（連続）＝１１、のように予めコードを割り当てて、各欠陥画素のＩＤに設定する。長秒欠陥は、シャッター秒時が予め定めた時間以上となった場合に、その出力が補正を必要とするレベルに達する欠陥画素である。温度欠陥は、撮像素子１４が予め定めた温度以上となった場合に、その出力が補正を必要とするレベルに達する欠陥画素である。点滅欠陥とは、フレーム画像を連続して読み出した場合に、ある一定の周期で、その出力が補正を必要とするレベルに達する欠陥画素である。連続欠陥とは、該当画素を含む複数の連続する画素の出力が補正を必要とするレベルに達する欠陥画素である。

「ＧＲ」には各欠陥画素の種類のパラメータを用いて欠陥が発生する閾値を設定する。例えば長秒欠陥の「ＧＲ」には欠陥が発生するシャッター秒時を２ビットパラメータで、（１／５秒）＝００、（１／３秒）＝０１、（１秒）＝１０、（２秒）＝１１、のように予め割り当てておく。また、温度欠陥の「ＧＲ」には、例えば欠陥が発生する撮像素子１４の温度を２ビットパラメータで、（３０℃）＝００、（４０℃）＝０１、（５０℃）＝１０、（６０℃）＝１１、のように予め割り当てておく。また、点滅欠陥の「ＧＲ」には、例えば撮像素子１４からフレーム画像を連続的に読み出した際に、該当する位置の画素が欠陥となるフレーム画像の頻度が設定される。２ビットパラメータで、（５／１０回）＝００、（４／１０回）＝０１、（３／１０回）＝１０、（２／１０回）＝１１、のように予め割り当てておく。連続欠陥の「ＧＲ」には、例えば該当画素から欠陥が連続する画素数を２ビットパラメータで、（５連続）＝００、（４連続）＝０１、（３連続）＝１０、（２連続）＝１１、のように予め割り当てておく。同じ種類の欠陥画素においては、２ビットパラメータ００で示される画素の欠陥の程度が最も悪く、２ビットパラメータ１１で示される画素の欠陥の程度が最も軽微である。

本実施の形態においては上記のように欠陥画素の種類ごとに「ＰＯＳ」、「ＩＤ」、「ＧＲ」などのパラメータを割り当てて各パラメータの値を確定するが、本発明はこれに制限されるものではない。その他の方法で各パラメータの値を決定してもよいし、上記以外のパラメータを別途割り当てても良い。

図３は本第１の実施形態における欠陥画素検出回路１５で行われる欠陥画素データの更新処理を説明するための図である。図３（ａ）は、工場出荷時における撮像素子の欠陥画素情報を示す工場欠陥画素データ（第１群）であり、不揮発性メモリ５６に保持されており、メモリ１９にロードされ、後述するようにして更新される。図３（ｂ）は後検出欠陥画素データ（第２群）であり、工場出荷後にＡ／Ｄ変換器１６から出力される撮像素子１４の画素出力データから欠陥画素検出回路１５が検出した欠陥画素データである。欠陥画素検出は、例えば、特開２００５−１３６９７０号公報で開示されているような技術を用いて行うことができる。つまり、温度欠陥や長秒欠陥であれば画像信号とその画像信号に適切なフィルタ処理を施したものとの差分信号を演算し、その差分信号の大小に応じて欠陥画素か正常画素かを判定する。そして、欠陥画素の場合には欠陥の程度を判定し、判定結果を検出した画素の位置情報と関連付ける。またその際の温度検出回路４２の検出結果や露光制御回路４０のシャッター秒時などの撮影条件に応じて温度欠陥、長秒欠陥などの欠陥の種類を判定し、判定結果を欠陥画素の位置情報と欠陥画素の程度情報に関連付けることで欠陥画素データを生成する。点滅欠陥であれば複数フレームの差分信号の大小で欠陥画素か正常画素かを判定し、欠陥であった回数に応じて欠陥程度を割り当てる。連続欠陥であれば、差分信号の大小で欠陥画素か正常画素かを判定し、欠陥が連続する数に応じて欠陥程度を割り当てる。

そして、欠陥画素検出回路１５は、工場欠陥画素データと後検出欠陥画素データとを統合して、マージ欠陥画素データ（第３群）を生成する。本第１の実施形態においては一つの欠陥画素の位置に重複して持つことができる欠陥種類数（所定数）を予め決めておき、それを超えた場合は予め決められた優先度の高いものから選択していき、優先度の低いものを削除する。例えば欠陥種類数の上限を「２」とし、欠陥の種類の優先度を（長秒）＞（温度）＞（点滅）＞（連続）、のように決めておく。

図３においては、工場欠陥画素データと後検出欠陥画素データの双方に欠陥画素が「ＰＯＳ＝Ａ」の位置にある欠陥画素データが存在する。ここで、上限の欠陥種類数２を超えないように、即ち、予め設定した所定数以下となるように、優先度の低い欠陥の種類の欠陥画素データをデータ統合の対象から外す。この場合、図３（ａ）に示す長秒欠陥及び温度欠陥と、図３（ｂ）に示す点滅欠陥とのうち、点滅欠陥の優先度が一番低いので、マージ欠陥画素データに追加しない。また工場欠陥画素データと後検出欠陥画素データに共通の欠陥画素位置に、同じ種類の欠陥が存在した場合は、例えば特開２００５−１３６９７０号公報で開示されているような技術を用いて、欠陥の程度がより悪いほうを選択するようにする。図３（ｂ）に示すその他の後検出欠陥画素データ（ＰＯＳ＝Ｄ）、（ＰＯＳ＝Ｅ）は欠陥画素の位置が図３（ａ）に示すものと異なるので、撮像素子１４の読み出し順で統合する。これにより、図３（ｃ）に示すマージ欠陥画素データが生成される。

図４は、本第１の実施形態における、欠陥画素データの更新処理を説明するためのフローチャートである。

まず、不揮発性メモリ５６からメモリ１９に工場欠陥画素データをロードする（Ｓ１）。次に、欠陥画素の検出に必要な情報である、温度検出回路４２で検出された撮像素子１４の温度や露光制御回路４０のシャッター秒時などの情報を欠陥画素検出回路１５に設定する（Ｓ２）。その後、撮像素子１４及びＡ／Ｄ変換器１６を動作させて欠陥画素検出回路１５に欠陥画素検出用の画像信号を入力すると共に、メモリ１９に予めロードしておいた工場欠陥画素データを、メモリ制御回路２２を介して欠陥画素検出回路１５に入力する。そして、欠陥画素検出回路１５は、入力された欠陥画素検出用の画像データから順次欠陥画素を検出し、後検出欠陥データを生成していく（Ｓ３）。検出のための画像データを１フレーム分読み出し終えると（Ｓ４）、欠陥画素検出回路１５は、工場欠陥画素データと後検出欠陥データとを図３を参照して説明したようにして統合してマージ欠陥画素データを生成する。そして、生成したマージ欠陥画素データをメモリ制御回路２２を介してメモリ１９に格納する。そして、メモリ１９に格納されたマージ欠陥画素データは、不揮発性メモリ５６に工場欠陥画素データとして上書き保存される（Ｓ５）。

図５は、本第１の実施形態における、欠陥画素補正処理を説明するためのフローチャートである。

まず、不揮発性メモリ５６からメモリ１９に工場欠陥画素データ（マージ欠陥画素データ）をロードする（Ｓ１０１）。また欠陥画素補正に必要な情報である、温度検出回路４２で検出された撮像素子１４の温度や露光制御回路４０のシャッター秒時などの情報を欠陥画素補正回路１７に設定する（Ｓ１０２）。次に、撮像素子１４及びＡ／Ｄ変換器１６を動作させて得られた画像信号を欠陥画素補正回路１７に入力する。それと共に、メモリ１９に予めロードしておいた工場欠陥画素データ（マージ欠陥画素データ）をメモリ制御回路２２を介して欠陥画素補正回路１７に入力する。欠陥画素補正回路１７は、欠陥画素データの位置情報から欠陥画素の位置を特定して、入力された画像信号の内、欠陥画素からの画像信号を補正する。その際の補正は、例えば、欠陥画素の周辺の正常画素から出力された画像データから線形補間するなどして行われる（Ｓ１０３）。そして、画像を１フレーム読み出し終えると、欠陥画素補正処理を終了する（Ｓ１０４）。

なお、本第１の実施形態においては、１つの欠陥画素の位置に重複して持つことができる欠陥種類数を予め決めておき、上限を超えないように制御するが、上限数を十分大きくして実質上限なしで追加できるようにしてもよい。

上記の通り第１の実施形態によれば、予め決めておいた欠陥の種類の優先度を選択の優先度として適用させたい場合に、一つの欠陥画素の位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することができる。これにより、さまざまな撮影条件に対して補正不足や過補正が削減された画像処理装置を提供することができる。また、後検出欠陥画素データを工場欠陥画素データに統合するので、不揮発性メモリ５６のメモリ容量を削減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態においては、マージ欠陥画素データを生成する際に、同じ欠陥画素の位置に持つことができない欠陥の種類の組み合わせにより制限したことが、上述した第１の実施形態と異なる。それ以外は第１の実施形態と同様であるため、以下、本第２の実施形態におけるマージ欠陥画素データの生成処理について、図３を参照して説明する。

本第２の実施形態では、同じ欠陥画素の位置で保持できる欠陥種類数の上限を「２」とし、例えば（点滅）とそれ以外の欠陥の種類を同じ画素位置の欠陥画素データとして持つことができないものとする。また欠陥の種類の優先度を（長秒）＞（温度）＞（点滅）＞（連続）とする。

図３においては、工場欠陥画素データと後検出欠陥画素データの双方に欠陥画素が「ＰＯＳ＝Ａ」の位置にある欠陥画素データが存在するが、上限の欠陥種類数２を超えないように、優先度の低い欠陥の種類をデータ統合の対象から外す。ここでは、図３（ｂ）に示す点滅欠陥はいずれの欠陥の種類とも一緒に保持することができず、優先度も一番低いので、マージ欠陥画素データに追加しない。これ以外の欠陥画素データの統合処理は、上述した第１の実施形態と同様であるため、ここでは説明を省略する。

上記の通り本第２の実施形態によれば、欠陥の種類の特定の組み合わせ禁止し、かつ欠陥の種類に優先度を予め割り当てて欠陥の種類を選択させたい場合に、一つの欠陥画素の位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することできる。これにより、さまざまな撮影条件に対して補正不足や過補正が削減された画像処理装置を提供することができる。また、後検出欠陥画素データを工場欠陥画素データに統合するので、不揮発性メモリ５６のメモリ容量を削減することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態においては、マージ欠陥画像データを生成する際の優先度が上述した第１及び第２の実施形態と異なる。それ以外は第１の実施形態と同様であるため、以下、本第３の実施形態におけるマージ欠陥画素データの生成処理について、図６を参照して説明する。

図６は本第３の実施形態における欠陥画素検出回路１５で行われる欠陥画素データの更新処理を説明するための図である。図６（ａ）は工場出荷時における撮像素子の欠陥画素情報を示す工場欠陥画素データ（第１群）、図６（ｂ）は欠陥画素検出回路１５により検出された後検出欠陥画素データ（第２群）である。

本第３の実施形態では、同じ欠陥画素の位置で保持できる欠陥種類数の上限を「２」とし、同じ欠陥画素の位置の複数の異なる欠陥の種類を、検出された順番で保持する。そして、欠陥種類数が上限を超えた場合にメモリアドレスが大きいもの、即ち、検出された時期が新しいものから選択していき、メモリアドレスが若いもの、即ち、検出された時期が古いものから削除する。

図６においては、工場欠陥画素データと後検出欠陥画素データの双方に欠陥画素が「ＰＯＳ＝Ａ」の位置にある欠陥画素データが存在するが、上限の欠陥種類数２を超えないように、優先度の低い欠陥の種類をデータ統合の対象から外す。この場合は、図６（ａ）に示す長秒欠陥が検出された時期が最も古く、一番若いメモリアドレスに保存されており、最も優先度が低いので、図６（ｃ）に示すように、マージ欠陥画素データ（第３群）から削除する。これ以外の欠陥画素データの統合処理は、上述した第１の実施形態と同様であるため、ここでは説明を省略する。

上記の通り本第３の実施形態によれば、検出時期を選優先度として適用させたい場合に、一つの欠陥画素位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することできる。これにより、さまざまな撮影条件に対して補正不足や過補正が削減された画像処理装置を提供することができる。また、予め後検出欠陥画素データを工場欠陥画素データに統合しておくので、不揮発性メモリ５６のメモリ容量を削減することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本第４の実施形態においては、マージ欠陥画像データを生成する際の優先度が上述した第１乃至第３の実施形態と異なる。それ以外は第１の実施形態と同様であるため、以下、本第４の実施形態におけるマージ欠陥画素データの生成処理について、図７及び図８を参照して説明する。

図７は本第４の実施形態における欠陥画素検出回路１５で行われる欠陥画素データの更新処理を説明するための図である。図７（ａ）は工場出荷時における撮像素子の欠陥画素情報を示す工場欠陥画素データ（第１群）、図７（ｂ）は欠陥画素検出回路１５により検出された後検出欠陥画素データ（第２群）である。

本第４の実施形態では、同じ欠陥画素の位置で保持できる欠陥種類数の上限を「３」とし、高頻度で検出された欠陥の種類に、より高い優先度を割り当てる。そのため、例えば同じ欠陥画素の位置の複数の異なる欠陥の種類を、検出された頻度で保持する。そして、欠陥種類数が上限を超えた場合に、メモリアドレスが大きいもの、即ち、検出頻度が多いものから選択していき、メモリアドレスが若いもの、即ち、検出頻度が少ないものから削除する。

図７においては、工場欠陥画素データと後検出欠陥画素データの双方に、欠陥画素が「ＰＯＳ＝Ａ」の位置にあり、欠陥の種類が「ＩＤ＝（長秒）」の欠陥画素データが存在する。本第４の実施形態では、従来から提案されているように、欠陥の程度がより悪い方を選択した上で、検出頻度によるデータのメモリアドレスの入れ替えも行う。この場合は「ＩＤ＝（長秒）」の「ＧＲ」はより程度の悪い図７（ｂ）の「１秒」を選択し、更に、「ＩＤ＝（長秒）」の検出頻度が高くなるので優先度を１つ上げる、つまり、メモリアドレスを１アドレス分下げる。そのため、図７（ｃ）に示すように、今まで「ＩＤ＝（長秒）」よりも高い検出頻度だった「ＩＤ＝（温度）」は１つ優先度が下がり、メモリアドレスも１アドレス分若くする。

図８は図７のマージ欠陥画素データを新たな工場欠陥画素データとして、さらに検出した後検出欠陥画素データをマージする動作を説明するための図である。図８（ａ）に示す工場欠陥画素データ（第１群）と、図８（ｂ）に示す後検出欠陥画素データの双方に欠陥画素が「ＰＯＳ＝Ａ」の位置にある欠陥画素データ（第２群）が存在する。ここで、上限の欠陥種類数３を超えないように優先度の低い欠陥の種類をデータ統合の対象から外す。また本第４の実施形態においては、初めて出現した連続欠陥は検出頻度１００％として、優先度を一番高くする。この場合は温度欠陥がマージされた頻度が最も低く、一番若いメモリアドレスに位置しており、優先度が最も低いので、マージ欠陥画素データから削除する。これにより、図８（ｃ）に示すようなマージ欠陥画素データ（第３群）が生成される。このように欠陥の種類ごとに検出頻度をカウントしているわけではないが、検出頻度が高い欠陥の種類の欠陥画素データほど、メモリアドレスが大きくなる機会が増えるため、マージ欠陥画素データから削除される機会が少なくなる。

なお、本第４の実施形態においては、検出頻度をメモリに格納する順番で管理したが、本発明はこれに限定されるものではなく、例えば欠陥の種類毎の検出頻度の値をカウントして欠陥の種類毎に関連付けて別途メモリに保持して管理してもよい。

上記の通り本第４の実施の形態によれば、検出頻度を選択の優先度として適用させたい場合に、一つの欠陥画素位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することできる。これにより、さまざまな撮影条件に対して補正不足や過補正がない画像処理装置を提供することができる。また、予め後検出欠陥画素データを工場欠陥画素データにマージしておくので、不揮発性メモリ５６のメモリ容量を削減することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。本第５の実施形態においては、マージ欠陥画像データを生成する際の優先度が上述した第１乃至４の実施形態と異なる。それ以外は第１の実施形態と同様であるため、以下、本第５の実施形態におけるマージ欠陥画素データの生成処理について、図９を参照して説明する。

図９は本第５の実施形態における欠陥画素検出回路１５で行われる欠陥画素データの更新処理を説明するための図である。図９（ａ）は工場出荷時における撮像素子の欠陥画素情報を示す工場欠陥画素データ（第１群）、図９（ｂ）は欠陥画素検出回路１５により検出された後検出欠陥画素データ（第２群）である。

本第５の実施形態では、同じ欠陥画素の位置で保持できる欠陥種類数の上限を「２」とし、異なる欠陥の種類の間で比較が可能なように換算された欠陥画素程度を比較することにより、優先度を割り当てる。本第５の実施形態においては、換算係数は欠陥の程度を示す値に乗算する乗算係数であるとする。

図９においては、工場欠陥画素データと後検出欠陥画素データの双方に欠陥画素が「ＰＯＳ＝Ａ」の位置にある欠陥画素データが存在するが、上限の欠陥種類数２を超えないように、優先度の低い欠陥の種類をデータ統合の対象から外す。換算係数は例えばそれぞれ、（長秒）＝２、（温度）＝２、（点滅）＝１、（連続）＝１のようにする。また、第１の実施形態において、欠陥が発生する閾値として表されていた２ビットパラメータを、欠陥の程度が悪くなるほどその値が大きくなる程度係数に割りあてる。２ビットパラメータ００の欠陥の程度係数を４、２ビットパラメータ０１の欠陥の程度係数を３、２ビットパラメータ１０の欠陥の程度係数を２、２ビットパラメータ１１の欠陥の程度係数を１とする。第１の実施形態で説明したように、図９（ａ）に示す「ＰＯＳ＝Ａ、ＩＤ＝（長秒）」の「ＧＲ＝（２秒）」が示す欠陥の程度係数は１であるので、この場合の換算欠陥程度は２（＝１×２）となる。同様に、「ＰＯＳ＝Ａ、ＩＤ＝（温度）」の「ＧＲ＝（４０℃）」が示す欠陥の程度係数は３であるので、この場合の換算欠陥程度は６（＝３×２）となる。また、「ＰＯＳ＝Ａ、ＩＤ＝（点滅）」の「ＧＲ＝（２／１０回）」が示す欠陥の程度係数は１であるので、この場合の換算欠陥程度は１（＝１×１）となる。この中で、換算欠陥程度が高いものから高い優先度を割り当てて、優先度の高いものから選択し、優先度の低いものから削除する。図９に示す例では、一番欠陥画素の程度が良い「ＰＯＳ＝Ａ、ＩＤ＝（点滅）」を、図９（ｃ）に示すように、マージ欠陥画素データ（第３群）から削除する。

本第５の実施形態によれば、欠陥の程度を選択の優先度として適用させたい場合に、一つの欠陥画素位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することができる。これにより、さまざまな撮影条件に対して補正不足や過補正がない画像処理装置を提供することができる。また、予め後検出欠陥画素データを工場欠陥画素データにマージしておくので、不揮発性メモリ５６のメモリ容量を削減することができる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。本第６の実施形態においては、マージ欠陥画素データを生成するタイミングが第１の実施形態で説明したタイミングと異なる。それ以外は第１乃至第５の実施形態で説明したものと同様であるので、以下、本第６の実施形態におけるマージ欠陥画素データの生成処理及び欠陥画素補正処理について、図１０及び図１１を参照して説明する。

図１０は、本第６の実施形態における、後検出欠陥画素データの検出及び記録処理を説明するためのフローチャートである。

まず、欠陥画素検出に必要な情報である、温度検出回路４２で検出された撮像素子１４の温度や露光制御回路４０のシャッター秒時などの情報を欠陥画素検出回路１５に設定する（Ｓ２０１）。その後、撮像素子１４及びＡ／Ｄ変換器１６を動作させて欠陥画素検出回路１５に欠陥画素検出用の画像信号を入力する。欠陥画素検出回路１５は、入力された欠陥画素検出用の画像データから順次欠陥画素を検出し、後検出欠陥データ（第２群）を生成していく（Ｓ２０２）。検出のための画像を１フレーム分読み出し終えると（Ｓ２０３）、生成された後検出欠陥画素データを、メモリ制御回路２２を介してメモリ１９に格納し、さらに、不揮発性メモリ５６に、工場欠陥画素データとは別領域に追加保存する（Ｓ２０４）。

図１１は、本第６の実施形態における、欠陥画素補正処理を説明するためのフローチャートである。

まず、不揮発性メモリ５６からメモリ１９に工場欠陥画素データと後検出欠陥画素データとをロードする（Ｓ３０１）。また欠陥画素補正に必要な情報である、温度検出回路４２で検出された撮像素子１４の温度や露光制御回路４０のシャッター秒時などの情報を欠陥画素補正回路１７に設定する（Ｓ３０２）。次に、撮像素子１４及びＡ／Ｄ変換器１６を動作させて得られた画像信号を欠陥画素補正回路１７に入力する。それと共に、メモリ１９に予めロードしておいた工場欠陥画素データ（第１群）と後検出欠陥画素データとを、メモリ制御回路２２を介して欠陥画素補正回路１７に入力する（Ｓ３０３）。その際、補正の対象となる同じ画素位置の欠陥の種類が必要十分数になるように、第１乃至第５の実施形態で上述した方法で、工場欠陥画素データと後検出欠陥画素データとを統合して、マージ欠陥画素データ（第３群）を生成する。そして、画像を１フレーム読み出し終えると（Ｓ３０４）、欠陥画素補正処理を終了する。

上記の通り第６の実施形態によれば、一つの欠陥画素位置に対して必要十分な数の欠陥の種類を欠陥補正に適用することできるので、さまざまな撮影条件に対して補正不足や過補正が削減された画像処理装置を提供することができる。また、後検出欠陥画素データと工場欠陥画素データを別々に保持するので、不揮発性メモリ５６に予め記憶されている工場欠陥画素データを変更することなく保持することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (11)

1. 複数の画素を含む撮像素子から出力された画像信号を処理する画像処理装置であって、
   前記撮像素子の欠陥画素の位置の情報と、欠陥の種類の情報とを含む欠陥画素データの群を保持する保持手段を有し、
   前記保持手段は、前記欠陥画素の位置の情報が共通であり、かつ、前記欠陥の種類の情報が異なる複数の欠陥画素データを、前記欠陥の種類に応じて割り当てられた優先度に応じて、それぞれの欠陥画素の位置において所定数まで保持することが可能であることを特徴とする画像処理装置。
2. 前記保持手段が保持する前記欠陥画素データの群を用いて、前記撮像素子の欠陥画素から出力された画像信号を補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子から出力された画像信号から前記撮像素子の欠陥画素を検出し、該検出した欠陥画素の位置の情報と、欠陥の種類の情報とを含む欠陥画素データの第２群を生成する検出手段と、
   前記保持手段が予め保持している欠陥画素データの前記群と前記第２群とを統合して、第３群を生成する統合手段とを有し、
   前記統合手段は、前記保持手段が予め保持している欠陥画素データの前記群と前記第２群に共通の位置の情報を有する複数の欠陥画素データが存在する場合、前記共通の位置の情報に対応する欠陥の種類の数が所定数以下となるように、前記優先度の高い方から欠陥画素データを選択して前記保持手段が予め保持している欠陥画素データの前記群と前記第２群とを前記第３群に統合し、前記保持手段に前記第３群を保持させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記統合手段は、前記保持手段に、前記第３群を用いて前記保持手段が予め保持している欠陥画素データの前記群を上書きさせることを特徴とする請求項３に記載の画像処理装置。
5. 前記統合手段は、前記欠陥画素データの欠陥の程度に優先度を割り当て、欠陥の程度が高いほど優先度を高くしたことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記統合手段は、前記共通の位置情報に対応する欠陥の種類が予め設定された欠陥の種類の組み合わせを示す場合に、前記所定数に関わらず、優先度の低い方の欠陥の種類を有する欠陥画素データを前記第３群として選択しないことを特徴とする請求項３または４に記載の画像処理装置。
7. 前記統合手段は、前記欠陥画素データを検出した時期に優先度を割り当て、該検出した時期が新しいほど優先度を高くしたことを特徴とする請求項３または４に記載の画像処理装置。
8. 前記統合手段は、前記欠陥画素データの欠陥の種類の検出頻度に優先度を割り当て、該検出頻度が高いほど優先度を高くしたことを特徴とする請求項３または４に記載の画像処理装置。
9. 前記統合手段は、更に、前記欠陥画素データの欠陥の程度に優先度を割り当て、欠陥の程度が高いほど優先度を高くし、該欠陥の程度の優先度と、前記欠陥の種類の優先度との積により表される優先度に基づいて、該優先度の高い方から欠陥画素データを選択して、前記保持手段が予め保持している欠陥画素データの前記群と前記第２群とを統合することを特徴とする請求項３または４に記載の画像処理装置。
10. 前記統合手段は、前記検出手段による前記第２群の生成に続いて、前記第３群を生成することを特徴とする請求項３乃至９のいずれか１項に記載の画像処理装置。
11. 複数の画素を含む撮像素子から出力された画像信号を処理するためのデータを画像処理装置の保持手段に保持させる方法であって、
    前記撮像素子の欠陥画素の位置の情報と、欠陥の種類の情報とを含む欠陥画素データの群を前記保持手段に保持させる工程を有し、
    前記欠陥画素の位置の情報が共通であり、かつ、前記欠陥の種類の情報が異なる複数の欠陥画素データが所定数以上ある場合には、それぞれの欠陥画素の位置において、前記欠陥の種類に応じて割り当てられた優先度に応じて、所定数までの欠陥画素データを前記保持手段に保持させることを特徴とする方法。

Images