JP5656561B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、静止画像を再生するための画像処理装置、その制御方法、および制御プログラムに関し、特に、複数の静止画像を合成処理する際に、欠陥画素の補正を行う画像処理装置、その制御方法、および制御プログラムに関する。

一般に、静止画像を撮影、記録、および再生するための撮像装置には画像処理装置が備えられており、この画像処理装置によって複数の静止画像を合成処理することがある。そして、複数の静止画像を合成処理する際、欠陥画素について所謂欠陥画素補正を行う必要がある。

例えば、１回の露光動作において、撮像素子に対して複数回の読み出し動作を行って、当該読み出し動作によって得られた複数の映像信号（画像信号）を記録することが行われている。そして、複数の映像信号を合成処理（例えば、加算処理）して１つの映像信号を生成する際、複数の映像信号の各々に対して欠陥画素補正を行うようにしている（例えば、特許文献１参照）。

特開２００１−３２６８５０号公報

ところが、特許文献１に記載の手法おいては、個々の映像信号については欠陥画素補正を行っているものの、映像信号を構成する各画像データにおける欠陥画素の判定レベルについては示されていない。このため、例えば、各画像データにおいて判定レベル以下の微小な欠陥画素が存在した場合に、複数の画像データを加算処理して積算すると、欠陥画素データが積算されてしまうことになる。この結果、個々の映像信号において欠陥画素補正を行っても画像品質が低下してしまうという課題がある。

さらに、デジタルカメラなどの撮像装置の高画素化および高感度化に伴って、撮像素子、特に、ＣＭＯＳイメージセンサにおいて画素の読み出しトランジスタからＲＴＳ（ランダム・テレグラフ・シグナル）ノイズが発生し、このＲＴＳノイズの影響によって、画像に白点状のノイズが生じることが知られている。

このようなＲＳＴノイズが発生する画像領域において、複数の静止画像を合成処理すると、白点状のノイズが画面内に大量に発生してしまい、画質が低下してしまうという課題がある。

従って、本発明の目的は、複数の静止画像を合成処理する際、画質を低下させることなく、欠陥画素の補正を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

さらに、本発明の他の目的は、ＲＴＳノイズ等のショット毎に発生する箇所が異なるノイズを生じる撮像素子による撮影の結果得られた静止画像の合成処理を行う際においても、画質を低下させることなく、欠陥画素の補正を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記目的を達成するために、本発明による画像処理装置は、撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置において、複数枚の前記画像データを合成して合成画像データとする合成手段と、前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する第１の比較手段と、前記第１の比較手段による比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする第１の補正処理を行う第１の補正手段とを有することを特徴とする。

本発明による制御方法は、撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置を制御するための制御方法において、複数枚の前記画像データを合成して合成画像データとする合成ステップと、前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する比較ステップと、前記比較ステップによる比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする補正ステップとを有することを特徴とする。

本発明による制御プログラムは、撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置を制御するための制御プログラムにおいて、前記画像処理装置が備えるコンピュータに、複数枚の前記画像データを合成して合成画像データとする合成ステップと、前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する比較ステップと、前記比較ステップによる比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする補正ステップとを実行させることを特徴とする。

本発明によれば、複数の静止画像を合成処理する際、画質を低下させることなく、欠陥画素の補正を行うことができる。さらに、ＲＴＳノイズ等のショット毎に発生する箇所が異なるノイズを生じる撮像素子による撮影の結果得られた静止画像の合成処理を行う際においても、画像品質を低下させることなく、欠陥画素の補正を行うことができる。

本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例を示すブロック図である。 図１に示す撮像装置の撮影動作を説明するためのフローチャートである。 図２に示す静止画撮影モードについて説明するためのフローチャートである。 図３に示す撮影処理を説明するためのフローチャートである。 図１に示すＤＳＰの一例を示すブロック図である。 図１に示す多重露光撮影モードについて説明するためフローチャートである。 図６に示すキズ補正用データ再選択・展開を説明するための図であり、（ａ）は静止画撮影の際の判定値を示す図、（ｂ）は静止画撮影の際のキズ補正を示す図、（ｃ）は多重露光撮影の際の判定値を示す図、（ｄ）は多重露光撮影の際のキズ補正を示す図である。 図１に示すＤＳＰの他の例を示すブロック図である。 図８に示すラインメモリにおける画素データの読出しの一例を説明するための図である。 第３の実施形態における撮像装置の撮影処理を説明するためのフローチャートである。 第３の実施形態における撮像装置の多重露光撮影を説明するためのフローチャートである。 図８に示すラインメモリにおける画素データの読出しの他の例を説明するための図である。 第５の実施形態における撮像装置の動作を説明するためのフローチャートである。 図１３に示す合成モードを説明するためのフローチャートである。

以下、本発明の実施の形態による画像処理装置について図面を参照して説明する。

（第１の実施形態）
図１は本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例を示すブロック図である。

図１を参照して、図示の撮像装置は、撮像素子１０１、ＡＦＥ（アナログフロントエンド）１０２、ＤＳＰ（デジタルシグナルプロセッサ）１０３、タイミング発生回路１０４、およびＣＰＵ１０５を備えている。図示の例では、撮像素子１０１として、ＣＭＯＳセンサ（固体撮像素子）が用いられる。そして、このＣＭＯＳセンサには、ＩＳＯ感度に応じてゲインを切り替えるアンプ回路（図示せず）が内蔵されている。

ＡＦＥ１０２は、撮像素子１０１から出力されるアナログ画像信号（映像信号ともいう）をデジタル画像信号に変換するＡ／Ｄ変換器（図示せず）を有している。さらに、図示の例では、ＡＦＥ１０２はダークオフセットレベルをクランプする機能を備えている。

ＤＳＰ１０３は、ＡＦＥ１０２から出力されたデジタル画像信号（画像データともいう）に対して各種の補正処理、現像処理、および圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ（記憶手段）１０６およびＲＡＭ１０７等の各種メモリに対するアクセス処理を行う。さらに、ＤＳＰ１０３は記録媒体１０８に対する画像データ（処理済画像データ）の書き込み処理を行うとともに、ＬＣＤ（液晶ディスプレイ）１１４に対して各種データの表示処理等を行う。

なお、ＤＳＰ１０３はＲＡＭ１０７に記録された画像データに対して各種の補正処理を行うこともできる。

ＤＳＰ１０３は、後述するキズ補正回路を備えており、このキズ補正回路はキズ画素（欠陥画素）からの出力データ（つまり、欠陥画素データ）をキズ画素の周辺画素からの出力データ（つまり、画素データ）を用いて補正する。つまり、キズ画素データは周辺画素データで補正される。

なお、ＲＯＭ１０６には、当該撮像装置又は撮像素子１０１の製造時に生成された静止画撮影モード用のキズ補正用データが予め格納されている。

タイミング発生回路１０４は、ＣＰＵ１０５の制御下において、撮像素子１０１、ＡＦＥ１０２、およびＤＳＰ１０３にクロック信号および制御信号を供給する。そして、タイミング発生回路１０４は、ＤＳＰ１０３と協働して、撮像素子（ＣＭＯＳセンサ）１０１の各種読出しモードに対応してタイミング信号を生成する。

ＣＰＵ１０５は、ＤＳＰ１０３およびタイミング発生回路１０４の制御、そして、測光・測距等のカメラ機能の制御を行う。図示の例では、ＣＰＵ１０５には、電源スイッチ１０９、第１段目のシャッタスイッチ（ＳＷ１）１１０、第２段目のシャッタスイッチ（ＳＷ２）１１１、モードダイアル１１２、およびＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチおよびダイアルの設定状態に応じた処理を実行する。

ＲＯＭ１０６には、撮像装置の制御プログラム、つまり、ＣＰＵ１０５が実行するプログラムおよび各種の補正用データ（前述のキズ補正用データを含む）などが記憶されている。このＲＯＭ１０６として、例えば、フラッシュメモリが用いられる。

また、ＲＡＭ１０７は、ワークエリアとして用いられ、ＲＡＭ１０７にはＤＳＰ１０３によって処理される画像データ等が一時的に記憶される。なお、ＲＯＭ１０６に記憶されたキズ補正用データは、撮影の際にはＲＡＭ１０７に展開される。

また、記録媒体１０８として、例えば、メモリカードが用いられ、記録媒体１０８には撮影された画像データが保存される。この記録媒体１０８は、例えば、コネクタ（図示せず）を介してＤＳＰ１０３に接続される。

電源スイッチ１０９は、撮像装置を起動させる際にユーザによって操作される。シャッタスイッチ１１０がオンされると、ＣＰＵ１０５は測光処理および測距処理等の撮影前処理を実行する。そして、シャッタスイッチ１１１がオンされると、ＣＰＵ１０５の制御下において、ミラーおよびシャッタ（ともに図示せず）が駆動されて、撮像素子１０１から出力された画像信号がＡＦＥ１０２およびＤＳＰ１０３を介して記録媒体１０８に画像データとして書き込まれる一連の撮像動作が開始される。

なお、モードダイアル１１２は、撮像装置の各種の動作モードを設定するために用いられる。また、ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために用いられる。ＬＣＤ１１４には、撮像装置に関する各種情報が表示される。さらに、ＬＣＤ１１４には撮影の結果得られた画像が再生表示される（ＬＣＤ１１４には動画像も表示される）。

図２は、図１に示す撮像装置の撮影動作を説明するためのフローチャートである。

図１および図２を参照して、ＣＰＵ１０５は、電源スイッチ１０９がオンされたか否かを監視している（ステップＳ２０１）。電源スイッチ１０９がオンされないと（ステップＳ２０１において、電源ＯＦＦ）、ＣＰＵ１０５は待機する。電源スイッチ１０９がオンされると（ステップＳ２０１において、電源ＯＮ）、ＣＰＵ１０５は、撮影に必要な電気エネルギーがバッテリ（図示せず）に残存しているか否かを判別する（ステップＳ２０２）。

撮影に必要な電気エネルギーがバッテリに残存していないと（ステップＳ２０２において、ＮＯ）、ＣＰＵ１０５はその旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻る。

一方、撮影に必要な電気エネルギーがバッテリに残存していると（ステップＳ２０２において、ＹＥＳ）、ＣＰＵ１０５は、記録媒体１０８のチェックを行う（ステップＳ２０３）。当該チェックでは、ＣＰＵ１０５は所定の容量以上の画像データを記録可能な記録媒体１０８が撮像装置に装着されているか否かを判定する。

所定の容量以上の画像データを記録可能な記録媒体１０８が撮像装置に装着されていないと（ステップＳ２０３において、ＮＯ）、ＣＰＵ１０５は、ステップＳ２１１においてその旨の警告メッセージをＬＣＤ１１４に表示して、ステップＳ２０１に戻る。

所定の容量以上の画像データを記録可能な記録媒体１０８が撮像装置に装着されていると（ステップＳ２０３において、ＹＥＳ）、ＣＰＵ１０５は、モードダイアル１１２によって設定された撮影モードが静止画撮影モードおよび多重露光撮影モードのいずれのモードであるかについて判別する（ステップＳ２０４）。

静止画撮影モードが設定されていると（ステップＳ２０４において、静止）、ＣＰＵ１０５は静止画撮影モードに移行する。多重露光撮影モードが設定されていると（ステップＳ２０４において、多重）、ＣＰＵ１０５は多重露光撮影モードに移行する。

図３は、図２に示す静止画撮影モードについて説明するためのフローチャートである。

図１および図３を参照して、静止画撮影モードに移行すると、ＣＰＵ１０５は、まず、シャッタスイッチ１１０がオンしたか否かを監視する（ステップＳ３０１）。シャッタスイッチ１１０がオンされないと（ステップＳ３０１において、ＯＦＦ）、ＣＰＵ１０５は待機する。

一方、シャッタスイッチ１１０がオンされると（ステップＳ３０１において、ＯＮ）、ＣＰＵ１０５は、測光制御部および測距制御部（ともに図示せず）によって、絞り値およびシャッタ速度を決定する測光処理と撮影レンズの焦点を被写体に合わせる測距処理とを行う（ステップＳ３０２）。

続いて、ＣＰＵ１０５は、シャッタスイッチ１１１がオンされたか否かを判別する（ステップＳ３０３）。シャッタスイッチ１１１がオンされていなければ（ステップＳ３０３において、ＯＦＦ）、ＣＰＵ１０５は、シャッタスイッチ１１０がオン状態であるか否かについて判別する（ステップＳ３０４）。

シャッタスイッチ１１０のオン状態が継続していれば（ステップＳ３０４において、ＯＮ）、ＣＰＵ１０５はステップＳ３０３に戻って、シャッタスイッチ１１１がオンされたか否かを判別する。

一方、シャッタスイッチ１１０のオン状態が継続していなければ（ステップＳ３０４において、ＯＦＦ）、ＣＰＵ１０５は、ステップＳ３０１に戻って、シャッタスイッチ１１０が再度オンされるのを待つ。

ステップＳ３０３において、シャッタスイッチ１１１がオンされたと判別すると（ステップＳ３０３において、ＯＮ）、ＣＰＵ１０５は撮影処理を実行する（ステップＳ３０５）。なお、この撮影処理については後述する。

次に、ＣＰＵ１０５は、ＤＳＰ１０３を制御して撮影の結果得られた画像データの現像処理を実行させる（ステップＳ３０６）。そして、ＣＰＵ１０５は、ＤＳＰ１０３を制御して、現像処理が施された画像データに対して圧縮処理を実行し、当該圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納する（ステップＳ３０７）。

続いて、ＣＰＵ１０５は、ＤＳＰ１０３を制御してＲＡＭ１０７に格納された画像データを読出して、記録媒体１０８に記録する（ステップＳ３０８）。そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（ステップＳ３０９）。

電源スイッチ１０９がオンの状態であれば（ステップＳ３０９において、ＯＮ）、ＣＰＵ１０５は、ステップＳ３０１へ戻り、次の撮影に備える。一方、電源スイッチ１０９がオフされると（ステップＳ３０９において、ＯＦＦ）、図２に示すステップＳ２０１に戻り、電源スイッチが再度オンされるのを待つ。

図４は図３に示す撮影処理を説明するためのフローチャートである。

図１および図４を参照して、撮影処理が開始されると、ＣＰＵ１０５は、撮像装置の撮影ＩＳＯ感度がＩＳＯ感度設定スイッチ１１３において設定されたＩＳＯ感度となるように、撮像素子１０１のアンプゲインおよびＡＦＥ１０２のゲイン等を設定する（ステップＳ４００）。

次に、ＣＰＵ１０５は、キズ補正用データを選択する（ステップＳ４０１）。画素に関するキズデータは、例えば、撮像素子１０１を製造工場から出荷する際に、所定の条件下におけるダーク出力および露光出力を評価して得られる。そして、このキズデータにおいては、所定の出力範囲を超える出力値となる画素をキズ画素（欠陥画素）とする。

また、キズ画素の種類（白キズおよび黒キズ等）およびアドレス情報（画像上の水平方向座標ｘおよび垂直方向座標ｙ）と当該キズによる出力レベルを示すデータとが補正用データとして、ＲＯＭ１０７記憶される。以下の説明では、補正対象であるキズ画素の種類が白キズである場合について説明する。

白キズは、露光時間（電荷蓄積時間）に応じて、そのレベル（データレベル）が大きくなる特性を有している。そして、同一レベルの白キズであっても、設定されたＩＳＯ感度が大きければ、画像上では大きなキズとして見えてしまう。

そこで、図示の例では、撮像素子１０１の画素を補正対象のキズ画素として判定する際の判定値（第２の判定値）として、ＩＳＯ感度が高ければ高いほど、そして、シャッタ秒時が長ければ長いほど、キズ補正用データ中の小さなレベルのキズ画素まで補正（多くのキズ画素を補正）することができる判定値が選択される。

つまり、ステップＳ４０１においては、ＣＰＵ１０５は、ＩＳＯ感度設定スイッチ１１３において設定されたＩＳＯ感度および図３に示すステップＳ３０２において決定されたシャッタ速度に基づいてキズ画素に係る判定値（第２の判定値）を決定する。そして、ＣＰＵ１０５は、この判定値とＲＯＭ１０６に格納されたキズ補正用データのレベル値（画素値）とを比較して比較結果を得る。

続いて、ＣＰＵ１０５は、比較結果に応じてキズ補正用データで示されるキズ画素のうち、そのレベル値が判定値を超えた画素のみを補正対象のキズ画素として選択する。そして、ＣＰＵ１０５は、補正対象のキズ画素に係るキズ補正用データをＲＡＭ１０７に展開する。

この際、ＲＡＭ１０７に展開されたキズ補正用データは、当該補正対象のキズ画素（以下、単に補正対象画素とも呼ぶ）のアドレス情報のみを有している。つまり、ＲＡＭ１０７にアドレス情報が存在する画素が補正対象画素となる。

次に、ＣＰＵ１０５は、ミラーをミラーアップ位置に移動させる（ステップＳ４０２）。そして、ＣＰＵ１０５は、図３に示すステップＳ３０２の測光処理で取得した測光データに基づいた所定の絞り値まで絞りを駆動する（ステップＳ４０３）。

ＣＰＵ１０５は、撮像素子１０１の電荷を消去（クリア）する（ステップＳ４０４）。その後、ＣＰＵ１０５は、撮像素子１０１に対する電荷蓄積を開始する（ステップＳ４０５）。続いて、ＣＰＵ１０５は、シャッタを開き（ステップＳ４０６）、撮像素子１０１の露光を開始する（ステップＳ４０７）。

ＣＰＵ１０５は、測光データに応じて規定される露光終了時間が経過したか否かを判定する（ステップＳ４０８）。露光終了時間が経過しないと（ステップＳ４０８において、ＮＯ）、ＣＰＵ１０５は待機する。一方、露光終了時間が経過すると（ステップＳ４０８において、ＹＥＳ）、ＣＰＵ１０５はシャッタを閉じる（ステップＳ４０９）。

続いて、ＣＰＵ１０５は、絞りを開放の絞り値まで駆動する（ステップＳ４１０）。そして、ＣＰＵ１０５は、ミラーをミラーダウン位置まで移動するように駆動を開始する（ステップＳ４１１）。その後、ＣＰＵ１０５は、予め設定した電荷蓄積時間（設定時間）が経過したか否かについて判定する（ステップＳ４１２）。電荷蓄積時間が経過しないと（ステップＳ４１２において、ＮＯ）、ＣＰＵ１０５は待機する。

一方、電荷蓄積時間が経過すると（ステップＳ４１２において、ＹＥＳ）、ＣＰＵ１０５は撮像素子１０１に対する電荷蓄積を終了する（ステップＳ４１３）。続いて、ＣＰＵ１０５は、撮像素子１０１から画像信号を読出す（ステップＳ４１４）。この場合、ダークオフセットレベルをクランプする機能を有するＡＦＥ１０２は、撮像素子１０１のオプティカルブラック部（図示せず）からの出力を用いてクランプ動作を行う。

続いて、ＣＰＵ１０５の制御下でＤＳＰ１０３は、キズ補正処理（第２の補正処理）を行う（ステップＳ４１５）。このキズ補正処理は、後述するキズ補正回路によって行われる。なお、キズ補正回路は図１に示すＤＳＰ１０３に備えられている。

キズ補正回路は、ＡＦＥ１０２から入力される各画素に係るデータ（画素データともいう）の中のキズ画素に係るデータ（キズ画素データともいう）を、当該キズ画素データの直前の同色の画素データに置き換えて出力する。

図５は図１に示すＤＳＰ１０３の一例を示すブロック図である。

図１および図５を参照して、ＤＳＰ１０３は、メモリ制御回路１０３１、アドレス比較回路１０３２、キズ補正回路１０３３、および各種処理回路１０３４を有している。前述したように、ＣＰＵ１０５は補正対象となるキズ画素（補正対象画素）のアドレス情報をＲＡＭ１０７に展開している。

キズ補正回路１０３３は、ＲＡＭ１０７に展開された補正対象画素のアドレス情報に基づいて補正処理を行う。なお、補正対象画素に係るアドレス情報は、同期信号を基準とした際の各キズ画素が現れるタイミングデータに換算して展開されている。

メモリ制御回路１０３１は、補正対象画素（例えば、欠陥画素”１”〜”４”）のアドレス情報であるタイミングデータを、ＲＡＭ１０７からアドレス比較回路１０３２に転送する。アドレス比較回路１０３２は、同期信号を基準とした際の撮像素子１０１の読出しタイミングとタイミングデータとを比較する。そして、両者が一致すると、キズ補正回路１０３３は、当該画素データを直前の同色の画素データと置換して出力する。

その後、次のキズ画素（補正対象画素）の補正処理に備えるため、アドレス比較回路１０３２には、メモリ制御回路１０３１から直ちに次のキズ画素のアドレス情報であるタイミングデータが転送される。そして、同様にして、キズ補正回路１０３３によってキズ画素に係る画素データの補正処理が行われる。

上述のキズ補正処理が施された画像データに対して、各種処理回路１０３４は、図３で説明したステップＳ３０６〜Ｓ３０８の現像、圧縮、および記録等の各種処理を行う。

図６は図１に示す多重露光撮影モードについて説明するためフローチャートである。なお、図６において、図３に示すステップと同一の処理を行うステップについては、同一の参照符号を付し説明を省略する。

多重露光撮影モードに移行すると、ＣＰＵ１０５は、何コマの画像を重ねるかについて設定を行う。つまり、ＣＰＵ１０５は露光回数を設定する（ステップＳ６００）。この露光回数の設定については、操作スイッチ（図示せず）を用いて、ユーザがＬＣＤ１４に表示された画面に基づいて行う。

続いて、ＣＰＵ１０５は、図３で説明したステップＳ３０１〜Ｓ３０５の処理を実行する。なお、ステップＳ３０５で行われる撮影処理について、図４を参照して説明したが、多重露光撮影モードにおいては、補正後の画像データについて現像処理は行われず、ＲＡＭ１０７に保存された状態とされる。

続いて、ＣＰＵ１０５は露光回数分の撮影処理が完了したか否かについて判定する（ステップＳ６０１）。撮影処理が露光回数に達していない場合には（ステップＳ６０１において、ＮＯ）、ＣＰＵ１０５はステップＳ３０１に戻り、再度シャッタスイッチ１１０が操作されるのを待つ。

一方、撮影処理が露光回数に達した場合には（ステップＳ６０１において、ＹＥＳ）、ＣＰＵ１０５は露光回数分の画像データについて加算処理（合成処理）を行う（ステップＳ６０２）。図示の例では、単純に同一ゲインにおいて加算処理が行われる。

画像データのダークオフセットレベルが０ＬＳＢ以外であれば、加算処理する毎にダークオフセットレベル分がずれるため、ダークレベルオフセットレベルの補正のみ行う。例えば、ＲＡＭ１０７に保存された２つの画像データについて加算処理を行う場合には、２つの画像データについてその対応する画素毎に、（加算画像データ）＝（１枚目画像データ）＋（２枚目画像データ）−（ダークオフセットレベル）を算出する。そして、当該処理が露光回数分繰り返される。なお、加算処理後の各コマの画像データは不要であるため上書き可能である。

上記の処理によって、多重露光撮影を行っても、ダークオフセットレベルが変化することなく正しく加算することが可能となる。このようにして、露光回数分の加算処理が行われた画像データ（合成画像データと呼ぶ）が、ＲＡＭ１０７に記録される。

続いて、ＣＰＵ１０５は合成画像データに対してキズ補正用データの再選択・展開を行う（ステップＳ６０３）。多重露光撮影の場合には、各コマの撮影の際には微小なレベルで、視認されないほどの白キズであっても、この白キズが複数枚加算されると、明らかな白キズとして視認される場合がある。

このため、ここでは、各コマの撮影時におけるＩＳＯ感度およびシャッタ秒時に合わせて選択した判定値の代わりに、微小なレベルのキズ画素まで補正する可能な判定値（第１の判定値）が用いられる。そして、図４に示すステップＳ４０１で説明したようにして、キズ補正用データがＲＡＭ１０７に展開される。

図７は、図６に示すキズ補正用データ再選択・展開（ステップＳ６０３）を説明するための図である。そして、図７（ａ）は静止画撮影の際の判定値を示す図であり、図７（ｂ）は静止画撮影の際のキズ補正を示す図である。また、図７（ｃ）は多重露光撮影の際の判定値を示す図であり、図７（ｄ）は多重露光撮影の際のキズ補正を示す図である。

図７を参照すると、ここでは、説明の簡単化のためダーク画像を撮影した場合について説明する。なお、図示の例では多重露光撮影は３枚露光撮影である。

図７（ａ）において、いま、座標（ｘ１、ｙ１）にはキズ補正用データにおいて”５ｍＶ”で示されるキズ画素があり、同様に、座標（ｘ２、ｙ２）にはキズ補正用データにおいて”１０ｍＶ”で示されるキズ画素あるものとする。この場合に、静止画撮影の際に、あるＩＳＯ感度および露光時間で撮影された場合の判定値として、”７ｍＶ”で示す判定値（第２の判定値）が選択されたとする。

上記の判定値に応じてキズ補正処理が行われると、図７（ｂ）に示すように、判定値”７ｍＶ”以下である座標（ｘ１、ｙ１）のキズ画素は補正されないことになる。一方、判定値”７ｍＶ”を超える座標（ｘ２、ｙ２）のキズ画素については補正処理が行われて、他のダークレベルと差がないように補正された後、現像処理が行われる。

この場合、座標（ｘ１、ｙ１）の画素はキズ画素ではあるものの、画像として目立たないと判断されることになる。

図７（ｃ）に示すように、露光回数３枚の多重露光撮影を行うと、座標（ｘ２、ｙ２）のキズ画素は各コマの撮影おいてキズ補正処理されるので、加算処理（合成）を行う際には、当該キズ画素につては補正済みとなる。そして、他のダークレベル付近の出力と差がないため、加算処理を行っても他のダークレベル付近の出力の画素とは差がない。

一方、１枚の撮影画像では目立たないキズ画素であった座標（ｘ１、ｙ１）のキズ画素（つまり、合成画素データ）は、加算処理されるとその画素値が３倍の値となってしまい、加算処理の後においては、図７（ｄ）に示すように、キズ画素として目立つようになってしまう。

このため、加算処理の後にキズ画素に係る判定値（第１の判定値）を、例えば、”４ｍＶ”までそのレベルを下げれば、座標（ｘ１、ｙ１）のキズ画素も補正対象画素となるので、加算処理後の画像においてキズ画素の補正が行われることになる。

再び図１および図６を参照して、ＤＳＰ１０３はＲＡＭ１０７に保存された多重露光撮影後の画像データ（合成画像データ）に対して、ＲＡＭ１０７に展開されたキズ補正用データに応じてキズ補正処理（第１の補正処理）を行って、その補正後の画像データを再度ＲＡＭ１０７に出力する（ステップＳ６０４）。なお、ステップＳ６０４における処理は、図４で説明したステップＳ４１５の処理と同様である。

その後、ＣＰＵ１０５は、図３で説明したステップＳ３０６〜Ｓ３０９の処理を行う。そして、ステップＳ３０９において、電源スイッチ１０９がオンであれば、ＣＰＵ１０５は、図２に示すステップＳ２０４に戻って、モードダイアルの設定を確認する。一方、電源スイッチ１０９がオフされていれば、ＣＰＵ１０５は、図２に示すステップＳ２０１に戻り、電源スイッチ１０９がオンされるのを待つ。

ところで、キズレベルの設定には種々の手法が考えられるが、一般的には、ｎ（ｎは２以上の整数）枚の画像データを加算処理する場合には、同一の条件における静止画撮影時の１／ｎ倍の判定値にそのレベルを下げれば、静止画撮影時と同様のキズ補正処理を行うことができる。

但し、判定値のレベルを１／ｎに下げると、補正すべき画素数が非常に多くなる場合がある。このため、判定値のレベルの設定について、ＣＰＵ１０５等の処理能力も考慮して決定する必要がある。

また、多重露光撮影の際には、加算処理した後にキズ補正処理を行うので、多重露光撮影中の１コマ毎のキズ補正処理は必ずしも行う必要はない。例えば、多重露光撮影中の１コマ毎の補正は一切省略して、加算処理した後に、１／ｎレベル以上の全てのキズ画素について補正処理を行うようにしてもよい。

さらに、１コマ毎の補正の際に加算処理後に用いる判定値である１／ｎレベル以上のキズについて全て補正処理を行って、加算処理後にはキズ補正を行わないようにしてもよい。

１コマ毎の補正処理の際には、静止画撮影の場合と同一のレベルを有する判定値を用いてキズ画素の補正処理を行う。そして、加算処理後においては、キズ補正用データから、例えば、１／ｎレベルから静止画判定レベルの判定値までのキズ画素を選択して再補正を行って補正処理の分散を図るようにしてもよい。

なお、上述の例では、キズ画素の補正処理を行う際、その直前の同色の画素データを用いて置き換えを行うようにしたが、他の補正手法を用いるようにしてもよい。さらに、図示の例では、モードダイアルを用いて多重露光撮影モードを選択するようにしたが、他の手法を用いて切り替えを行うようにしてもよい。

このように、第１の実施形態によれば、多重露光撮影を行って、画像データを合成処理した合成画像データにおいて、適切に欠陥画素データの補正処理を行うことができる結果、合成画像データの画質が低下することがない。

（第２の実施形態）
続いて、本発明の第２の実施形態による画像処理装置が用いられた撮像装置の一例について説明する。

第１の実施形態における撮像装置では、加算処理後に補正するキズ画素が静止画撮影の際と同様の白キズである場合について説明したが、静止画撮影の場合と多重露光撮影の場合とではその特性上、最終画像に与える影響が異なるキズとして、ＲＴＳノイズの影響がある。

このＲＴＳノイズは、近年における画素の微細化に伴って、特に、ＣＭＯＳイメージセンサにおいて特定の画素の読み出しトランジスタが発生するノイズである。このＲＴＳノイズに起因して、画像データの特定の画素に白点状のキズが発生することがある。

このＲＴＳノイズは明確な温度依存性および蓄積時間依存性を有しておらず、静止画撮影の際に補正することは困難である。一方、多重露光撮影の際には、同一画素において複数ショットで発生すると、通常の白キズが加算された場合と同様の結果となる。

また、ＲＴＳノイズについては１回の発生による出力は微小であるが、高ＩＳＯ感度撮影の際には、複数の画素において１回ずつＲＴＳノイズ発生したとしても、露光回数が多いと、微小なキズがいたるところに発生することになる。その結果、個々の輝点（キズ）は気にならなくても、全体としてみた場合に画質の低下が避けられない。

このＲＴＳノイズは特定の画素に撮影毎にランダムに発生するノイズであるが、出荷テスト際に複数の画像データを取得するようにすれば、ＲＴＳノイズが発生する画素をある程度特定することが可能である。

ここでは、ＲＴＳノイズは画素依存性があるため、キズ画素の一つとして補正し、第１の実施形態において用いた白キズデータに加えて、ＲＴＳノイズの種別、レベル、およびアドレス等の情報を含むキズ補正用データを多重露光撮影の際にも用いることにする。

第２の実施形態における撮像装置は、図１に示す撮像装置と同様の構成であり、第１の実施形態で説明した動作と同様の動作については説明を省略することにする。

静止画撮影の際には、図４に示すステップＳ４０１において、キズ補正用データの選択を行う際には、ＣＰＵ１０５は、第１の実施形態と同様に、白キズのみを対象として、ＲＴＳノイズは対象としない。

一方、多重露光撮影の際には、図６に示すステップＳ６０３において、キズ補正用データを再選択する際、ＣＰＵ１０５は白キズに関しては低レベルの判定値（第１の判定値）を設定し、ＲＴＳノイズをその補正対象に追加する。

つまり、ＣＰＵ１０５はキズ補正用データ中のキズデータのうち判定値（第１の判定値）を超えるレベルを有するキズ画素および分類がＲＴＳノイズとしてリストアップされたキズ画素に係るアドレス情報を、補正対象のキズ画素に関するアドレス情報として選択する。そして、ＣＰＵ１０５は当該補正対象のキズ画素のアドレス情報をＲＡＭ１０７に展開する。

続いて、ＣＰＵ１０５は、ＤＳＰ１０３を制御して、図６に示すステップＳ６０４において補正処理を行う。このようにして、多重露光撮影の際には、ＲＴＳノイズとしてリストアップされたキズ画像についても補正処理を行うようにしたので、ＲＴＳノイズの影響を除去して、高品質な画像を得ることができる。

なお、ＲＴＳノイズに関する補正処理については、第１の実施形態で説明したように、多重露光撮影における１コマ毎に補正処理を行うようにしてもよい。

このように、第２の実施形態では、合成画像データにおいてＲＴＳノイズの影響を除去して、つまり、ＲＴＳノイズによる欠陥画素データを確実に補正して、合成画像データにおける画質の低下を防止することができる。

（第３の実施形態）
続いて、本発明の第３の実施形態による画像処理装置が用いられた撮像装置について説明する。

前述の第１および第２の実施形態においては、補正すべきキズ画素に係る情報（つまり、キズ補正用データ）は撮像素子の出荷に当たって予め測定して得ている。ところが、キズ補正用データの取得には時間を要する結果、撮像素子のテストにかかるコストは高くなる。このため、ここでは、撮影の結果得られた画像データから補正すべき特異な画素データを抽出して補正する。

ここでは、撮影の結果得られた画像データに応じて補正すべきキズ画素を抽出して補正する撮像装置について説明する。なお、第３の実施の形態における撮像装置は図１に示す撮像装置とほぼ同様の構成であるが、第３の実施形態における撮像装置では、ＤＳＰ１０３が撮像素子１０１から得られた画像データにおけるキズ画素を検出する検出回路を備えている点で異なっている。

図８は、図１に示すＤＳＰ１０３の他の例を示すブロック図である。

図１および図８を参照して、ＤＳＰ１０３は、キズ補正回路１０３３および各種処理回路１０３４の他に、ラインメモリ１０３５およびキズ検出回路１０３６を有している。ラインメモリ１０３５には、ＡＦＥ１０２から出力される画像データが一時的に蓄えられる。ＡＦＥ１０２の動作クロック毎に、ラインメモリ１０３５から複数の特定アドレスに対応する画素データを読み出す。これによって、注目画素と当該注目画素の周辺の同色の複数の画素とを同時に読み出すことができる。

図９は図８に示すラインメモリ１０３５における画素データの読出しを説明するための図である。

図９において、いま、中央の対象画素（注目画素）データ９０１に対して、その周辺にある同色の８つの画素データ（単に画素ともいう）９０２を同時に読み出しするものとする。簡単な例として、８つの画素データ９０２の平均値に対して、注目画素データ９０１の値がＤＳＰ１０３に備えられた判定レベル設定レジスタ（図示せず）に設定された設定値（欠陥判定レベル）以上の差（欠陥判定レベル以上の差）がある場合、注目画素データ９０１は特異な画素データであって、当該注目画素はキズ画素であると判断される。

なお、キズ画素の検出アルゴリズムには種々のアルゴリズムがあるが、ここでは、注目画素９０１とラインメモリ１０３５の出力との差が、判定レベル設定レジスタの設定値を超えた場合に、キズ検出回路１０３６は当該注目画素９０１がキズ画素と判定するものとする。そして、キズ検出回路１０３６は注目画素９０１がキズ画素と判定すると、キズ検出回路１０３６は注目画素９０１のアドレス情報をキズ補正回路１０３３に送る。

キズ補正回路１０３３はアドレス情報と、ラインメモリ１０３５から出力される画素データのタイミングとを比較して、ラインメモリ１０３５から注目画素９０１が出力されると、当該注目画素９０１に対して補正処理を行う。

よって、第３の実施形態では、ＲＡＭ１０７にキズ補正用データを保存する必要はない。

第３の実施形態における撮像装置は、図２および図３で説明した動作と同様の動作を行うが、図４で説明した撮影処理および図６で説明した多重露光撮影において異なる処理がある。

図１０は、第３の実施形態における撮像装置の撮影処理を説明するためのフローチャートである。図１０において、図４で説明した撮影処理における処理と同一の処理については同一の参照符号を付し説明を省略する。

図１および図１０を参照して、図４で説明したゲイン設定を行った後（ステップＳ４００）、ＣＰＵ１０５はキズ補正用データの選択に代えて、検出すべきキズ画素の判定レベルをＤＳＰ１０３に備えられた判定レベルレジスタに設定する（ステップＳ８０１）。

その後、図４で説明したステップＳ４０２〜Ｓ４１４の処理が行われる。そして、撮像素子１０１から得られた画像データに対して、前述したようにして、ＤＳＰ１０３はキズ画素の検出とその補正処理を行う（ステップＳ８０２）。

ここでは、キズ検出回路１０３６によって対象画素が補正すべき画素（つまり、キズ画素）である判定すると、キズ補正回路１０３３はラインメモリ１０３５から出力される対象画素の出力タイミングに応じて当該キズ画素を、直前の同色画素と置換して出力する。これによって、撮影の結果得られた画像データから特異画素データ（つまり、キズ画素データ）を抽出して、その補正処理を行うことができる。

図１１は、第３の実施形態における撮像装置の多重露光撮影を説明するためのフローチャートである。図１１において、図６で説明した多重露光撮影における処理と同一の処理については同一の参照符号を付し説明を省略する。

図１および図１１を参照して、多重露光撮影モードに移行すると、図６で説明したステップＳ６００、ステップＳ３０１〜Ｓ３０５、およびステップＳ６０１およびＳ６０２の処理が行われる。ステップＳ６０２において加算処理が行われた後、ＣＰＵ１０５は、検出すべきキズ画素の判定レベルを判定レベルレジスタに設定する（ステップＳ９０１）。

続いて、ＤＳＰ１０３において、前述したようにして、キズ画素の検出とその補正処理が行われる（ステップＳ９０２）。その後、図６で説明したステップＳ３０６〜Ｓ３０９の処理が行われることになる。

ところで、キズ判定レベルの設定について、例えば、複数の画像データを加算処理しても、加算処理後のゲイン処理および現像時のガンマ処理に変更がなければ、視認されるキズ画素のレベルは変わらないと考えられる。

つまり、加算処理の後に、静止画撮影の際と同一のキズ判定レベルで、キズ画素の検出と補正処理を行うようにすれば、加算処理の際にキズ画素が視認され難くなる。例えば、多重露光撮影の際の各コマの画像データにキズ判定レベル以下の白キズが存在する場合について考えると、各画像データを単独で現像処理した場合、その白キズが視認され問題となることはない（つまり、白キズが視認されることがないようにキズ判定レベルが設定される）。

一方、複数の画像データを加算処理すると、各コマの微小な白キズが積算されて、多重露光画像においてキズ判定レベルを超えることがある。この場合には、キズ判定レベルを超えた画素を検出、補正すれば、加算処理によって視認される白キズを補正することができる。

また、多重露光撮影の際のコマ毎のキズ画素の検出および補正処理は一切省略して、加算処理後に同一のキズ判定レベルを用いてキズ画素の検出および補正処理を行うようにしてもよい。但し、補正すべき画素数が非常に大きくなることがあるため、ＤＳＰ１０３の処理能力を考慮して、キズ画素の検出および補正処理を行う必要がある。

加えて、図示の例では、キズ画素の補正を行う場合、直前の同色画素で置き換えを行っているが、別の手法を用いて補正処理を行うようにしてもよい。そして、多重露光撮影モードの選択をモードダイアルで行うようにしたが、他の手法によって多重露光撮影モードの選択を行うようにしてもよい。

このように、第３の実施形態では、キズ補正用データを用いることなく、撮影の結果得られた画像データから直接欠陥画素データを抽出して、合成画像データにおいて適切に欠陥画素データの補正処理を行うことができる結果、合成画像データの画質が低下することがない。

（第４の実施形態）
続いて、本発明の第４の実施形態による画像処理装置が用いられた撮像装置の一例について説明する。なお、第４の実施の形態における撮像装置は第３の実施形態で説明した撮像装置と同様の構成を有している。

撮影の結果得られた画像データからキズ検出を行う際においても、ＲＴＳノイズによる画質の劣化がある。多重露光撮影において、特定の画素に複数回のＲＴＳノイズが発生した場合には、前述の第３の実施形態で説明した手法を用いてキズ画素の検出および補正処理を行うことができる。

一方、ＲＴＳノイズが１回発生した場合には第３の実施形態で説明した手法では、それを検出することが難しい。ＲＴＳノイズが一回発生した場合には、その出力値は微小ではあるが、高ＩＳＯ感度撮影の際に多重露光撮影の露光回数が多いと、多重露光結果において微小なキズがいたるところに発生する。個々の輝点（キズ）は気にならなくても、全体としてみた際には画質の低下は避けられない。

第４の実施形態における撮像装置は、第３の実施形態で説明した撮像装置とほぼ同様の処理を行うので、ここでは、第３の実施形態における撮像装置の処理と異なる処理について説明する。

第４の実施形態における撮像装置では、図１１で説明したステップＳ９０１で説明したキズ判定レベルの設定で設定される設定値が変更される。さらに、図１１で説明したステップＳ９０２におけるキズ画素の検出が変更される。

第４の実施形態における撮像装置では、ステップＳ９０１において単発のＲＴＳノイズを検出するため、視認可能な白キズを判別するためのキズ判定レベルよりも低いレベルに設定値が設定される。そして、ステップＳ９０２においては、周辺画素の評価領域および評価手法が変更される。ＲＴＳノイズを考慮すると、判断基準となる周辺の同色画素領域においてもＲＴＳノイズの影響を考慮する必要がある。

図１２は、図８に示すラインメモリ１０３５における画素データの読出しの他の例を説明するための図である。

図１２において、いま、中央の対象画素（注目画素）データ１２０１に対して、その周辺にある同色の４つの画素データ（単に画素ともいう）１２０２を同時に読み出しするものとする。

図９と比べると、対象画素１２０１と同時に読み出す周辺同色画素は４つに半減している。これによって、加算処理後において、周辺同色画素に発生するＲＴＳノイズの影響を低減させるようにしている。

但し、読み出す周辺同色画素を単純に減らして、これら画素の値の平均値等を算出すると、その精度が低減してしまう。このため、簡単な例として、周辺同色画素におけるメディアン値を算出して、ランダムノイズの変動の影響を受けにくくして、精度を維持するようにする。

このようにすれば、加算処理の後に、小さなキズまで検出する低い判定レベルを用いてキズ画素の再検出を行って補正処理を行えば、ＲＴＳノイズの影響によって微小なキズが多数発生することに起因する画質の低下を防止することができる。

また、上述のように、周辺同色画素の数の変更およびメディアン値等を用いるようにすれば、ＲＴＳノイズの影響によって微小なキズを適切に判定することができる結果、画質の低下を防止することができる。

なお、第４の実施形態では、周辺同色画素の数の変更、そして、メディアン値を用いるようにしたが、ＲＴＳノイズによる影響を検出することができれば、他の手法を用いるようにしてもよい。

このように、第４の実施形態では、キズ補正用データを用いることなく、撮影の結果得られた画像データからＴＲＳノイズの影響を受ける欠陥画素データを抽出して、合成画像データにおいてＲＴＳノイズによる欠陥画素データを確実に補正して、合成画像データにおける画質の低下を防止することができる。

（第５の実施形態）
続いて、本発明の第５の実施形態による画像処理装置を用いた撮像装置の一例について説明する。なお、第５の実施形態における撮像装置は図１に示す構成と同様の構成を有している。

前述した第１〜第４の実施形態においては、多重露光撮影の際に、撮像装置が複数枚の撮影を行って、これら画像データを加算処理する場合について説明した。ここでは、例えば、ユーザが再生画面において撮影後の画像データから所望の画像データを選択して、当該選択した画像データを加算処理する場合について説明する。なお、ここでは、画像データとして現像処理前の所謂ＲＡＷデータを加算処理する場合について説明する。

図１３は、第５の実施形態における撮像装置の動作を説明するためのフローチャートである。なお、図１３において、図２に示すステップと同一のステップについては同一の参照符号を付し説明を省略する。

図１および図１３を参照して、ＣＰＵ１０５は、ステップＳ２０１に電源スイッチ１０９がオンされたか否かを監視して、その後、前述したようにして、ステップＳ２０２〜Ｓ２０４とステップＳ２１１の処理を行う。

図示の例では、モードダイアル１１２によって撮影モードと合成モードが選択できるものとする。そして、モードダイアル１１２によって撮影モードが選択されると、ＣＰＵ０５は撮影モードに移行する。この場合、ＣＰＵ１０５は、図２で説明した静止画撮影モードおよび多重露光撮影モードのいずれか一方を選択するように、ＤＳＰ１０３を制御してＬＣＤ１０８に表示する。そして、ユーザは再びモードダイアル１１２を操作して、静止画撮影モード又は多重露光撮影モードを選択する。

一方、モードダイアル１１２によって合成モードが選択されると、ＣＰＵ０５は合成モードに移行する。そして、後述するようにして、合成処理が終了すると、ＣＰＵ１０５はステップＳ２０１に戻る。

図１４は、図１３に示す合成モードを説明するためのフローチャートである。

図１および図１４を参照して、ユーザはＬＣＤ１１４に表示された再生画像を参照して、所望の再生画像を操作部（図示せず）の操作によって選択する。ＣＰＵ１０５は１枚目の画像が選択されたか否かを監視し（ステップＳ１３０１）、１枚目の画像が選択されないと（ステップＳ１３０１において、ＮＯ）、ＣＰＵ１０５は待機する。

一方、１枚目の画像が選択されると（ステップＳ１３０１）、ＣＰＵ１０５は２枚目の画像が選択されたか否かを監視する（ステップＳ１３０２）。そして、２枚目の画像が選択されないと（ステップＳ１３０２において、ＮＯ）、ＣＰＵ１０５は待機する。

ここでは、２枚単位において合成処理を行うことを基本とし、それ以上の枚数の画像を合成処理する場合には、図１３に示す処理が繰り返し行われることになる。

続いて、ＣＰＵ１０５は、ユーザによって選択された２枚の画像に応じて合成後のキズ判定レベルを設定する（ステップＳ１３０３）。ここでは、第１および第２の実施形態において説明したようにキズ補正用データが予め記録されているものとする。

例えば、ＣＰＵ１０５は各画像（以下画像データともいう）に付随（付加）するカメラＩＤ情報（識別情報）を確認して判別結果を得る。このカメラＩＤ情報は、撮像装置の撮像素子１０１を識別するための情報である。そして、判別結果によって現在処理を行っている撮像装置において撮影した画像データであれば、ＣＰＵ１０５は予め記憶されたキズ補正用データを用いる。一方、他の撮像装置で撮影された画像データにおいてキズ画素の座標等の特性が一致しないため、予め記憶されたキズ補正用データを用いることができないと判定する。

つまり、カメラＩＤ情報が一致すれば、ＣＰＵ１０５は、予め記憶されたキズ補正用データを用いて合成後の画像データについて補正を行う。一方、カメラＩＤ情報が一致しないと、ＣＰＵ１０５は補正処理を行わないようにするため、キズ判定レベルを極めて大きな数値に設定する。

さらに、カメラＩＤ情報が一致すると、ＣＰＵ１０５は選択された画像が互いに異なる撮影条件で撮影されているか否かについて判定する。そして、ＣＰＵ１０５は撮影条件に応じて、選択された画像において設定されたキズ判定レベルを得る。ＣＰＵ１０５は、このようにして得られたキズ判定レベルのうち、最も低いレベルのキズ判定レベル（画素判定レベル）を合成画像のキズを判定する判定値とする。

続いて、ＣＰＵ１０５はＤＳＰ１０３を制御して、２枚の画像データの加算処理を行い（ステップＳ１３０４）、ステップＳ１３０３で設定した判定レベル（判定値）を用いてキズ画素の検出を行って、前述したようにして、合成画像（加算処理後の画像）について補正処理を行う（ステップＳ１３０５）。

その後、ＣＰＵ１０５はＤＳＰ１０３を制御しつつ、図３で説明したステップＳ３０６〜Ｓ３０８の処理を行って、合成モードを終了する。

このように、既に記録済みの画像データを合成する際には、当該画像データが撮影された撮像装置のカメラＩＤ情報を確認して、処理を行う撮像装置と異なる撮像装置によって撮影された画像データである場合には、合成後のキズ処理を行わないようにする。これによって、カメラＩＤ情報が不一致の場合における誤補正とそれに起因する画質低下を防止することができる。

上述の説明から明らかなように、図１、図５、および図８において、ＣＰＵ１０５およびＤＳＰ１０３が合成手段として機能し、アドレス比較回路１０３２、メモリ制御回路１０３１、およびＲＡＭ１０７が第１の比較手段および第２の比較手段として機能する。また、キズ補正回路１０３３が第１の補正手段および第２の補正手段として機能する。

さらに、ＣＰＵ１０５は設定手段として機能し、ラインメモリ１０３５およびキズ検出回路１０３６は欠陥判別手段として機能する。そして、ＣＰＵ１０５は素子判別手段および条件判定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を、画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、画像処理装置が備えるコンピュータに実行させるようにしてもよい。この際、制御方法および制御プログラムは、少なくとも合成ステップ、比較ステップ、および補正ステップを有することになる。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像素子
１０２ ＡＦＥ（アナログフロントエンド）
１０３ ＤＳＰ（デジタルシグナルプロセッサ）
１０５ ＣＰＵ
１０６ ＲＯＭ
１０７ ＲＡＭ
１１２ モードダイアル
１０３１ メモリ制御回路
１０３２ アドレス比較回路
１０３３ キズ補正回路
１０３６ キズ検出回路

Claims (15)

1. 撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置において、
   複数枚の前記画像データを合成して合成画像データとする合成手段と、
   前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する第１の比較手段と、
   前記第１の比較手段による比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする第１の補正処理を行う第１の補正手段とを有することを特徴とする画像処理装置。
2. 前記第１の補正手段は、前記第１の比較手段による比較結果によって欠陥画素データであると判定すると、当該欠陥画素データを前記欠陥画素データの直前に位置する同色の画素データで置換することを特徴する請求項１記載の画像処理装置。
3. 前記画像データの各々についてその画素データが示す画素値と前記第２の判定値とを比較する第２の比較手段と、
   該第２の比較手段による比較結果に応じて前記画像データの画素データを補正して補正済み画像データとする第２の補正処理を行う第２の補正手段を有し、
   前記合成手段は複数枚の前記補正済み画像データを合成して前記合成画像データとすることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第２の判定値はＩＳＯ感度およびシャッタ秒時に応じて決定されることを特徴とする請求項１〜３いずれか１項記載の画像処理装置。
5. ｎ（ｎは２以上の整数）枚の画像データを合成して前記合成画像データとする際、前記第１の判定値は前記第２の判定値の１／ｎ倍とされることを特徴とする請求項１〜４いずれか１項記載の画像処理装置。
6. 前記撮像素子における画素のうち欠陥である画素を示す欠陥画素に関するデータを補正用データとして記憶する記憶手段を有し、
   前記第１および前記第２の補正手段は、前記補正用データが示す欠陥画素から出力された画素データについて前記第１および前記第２の補正処理を行うことを特徴とする請求項３記載の画像処理装置。
7. 前記画素データの欠陥を判定する欠陥判定レベルを設定する設定手段と、
   前記画像データを構成する画素データについて前記欠陥判定レベルに応じて当該画素データが欠陥画素データであるか否かについて判別する欠陥判別手段とを有し、
   前記第１および前記第２の補正手段は、前記欠陥画素データについて前記第１および前記第２の補正処理を行うことを特徴とする請求項３記載の画像処理装置。
8. 前記欠陥判別手段は、前記画像データにおいて１つの画素データの周辺に位置する周辺画素データの画素値の平均値と前記１つの画素データの画素値との差が前記欠陥判定レベル以上であると、前記１つの画素データを前記欠陥画素データであると判別することを特徴とする請求項７記載の画像処理装置。
9. 前記欠陥判別手段は、前記画像データにおいて１つの画素データの周辺に位置する周辺画素データの画素値のメディアン値と前記１つの画素データの画素値との差が前記欠陥判定レベル以上であると、前記１つの画素データを前記欠陥画素データであると判別することを特徴とする請求項７記載の画像処理装置。
10. 前記撮像素子を識別する識別情報が前記画像データに付加されており、
    前記合成手段によって前記画像データを合成して前記合成画像データとする際、前記識別情報に応じて前記画像データが互いに異なる撮像素子で得られたか否かを判別する素子判別手段を有し、
    前記第１の補正手段は、前記素子判別手段による判別結果に応じて前記第１の補正処理を実行するか否かを決定することを特徴とする請求項１〜９いずれか１項記載の画像処理装置。
11. 前記素子判別手段による判別結果が、前記画像データの互いに異なる撮像素子で得られたことを示していると、前記第１の補正手段は前記第１の補正処理を実行しないことを特徴とする請求項１０記載の画像処理装置。
12. 前記素子判別手段による判別結果が、前記画像データの全てが同一の撮像素子で得られたことを示していると、前記第１の補正手段は前記第１の補正処理を実行することを特徴とする請求項１０記載の画像処理装置。
13. 前記判別結果が、前記画像データの全てが同一の撮像素子で得られたことを示している際、前記画像データが互いに異なる撮影条件で撮影されているか否かについて判定する条件判定手段を有し、
    前記第１の補正手段は、前記画像データにおいて画素データの欠陥を判別する画素判定レベルのうち最も低い画素判定レベルを前記第１の判定値とすることを特徴とする請求項１２記載の画像処理装置。
14. 撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置を制御するための制御方法において、
    複数枚の前記画像データを合成して合成画像データとする合成ステップと、
    前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する比較ステップと、
    前記比較ステップによる比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする補正ステップとを有することを特徴とする制御方法。
15. 撮像素子による撮像の結果得られた画像データを処理して処理済み画像データとする画像処理装置を制御するための制御プログラムにおいて、
    前記画像処理装置が備えるコンピュータに、
    複数枚の前記画像データを合成して合成画像データとする合成ステップと、
    前記画像データを構成する画素データについて当該画素データを補正するか否かを決定するための第２の判定値よりも小さい第１の判定値と、前記合成画像データを構成する合成画素データについて当該合成画素データが示す画素値とを比較する比較ステップと、
    前記比較ステップによる比較結果に応じて前記合成画像データの合成画素データを補正して前記処理済み画像データとする補正ステップとを実行させることを特徴とする制御プログラム。

Images