JP6351271B2 - 画像合成装置、画像合成方法、およびプログラム - Google Patents

Description

本発明は、複数枚の画像データを合成するにあたって、突発性の画素欠陥の影響を除去するようにした画像合成装置、画像合成方法、およびプログラムに関する。

近年、複数枚の画像データを所定時間間隔で取得し、この複数枚の画像データを累積に加算合成することにより、バルブ撮影中に撮影画像をモニタするようにした撮像装置や（例えば、特許文献１参照）、複数枚の画像データの画素毎の輝度を比較し、輝度レベルの大きい画素の輝度を選択し、画像合成する画像合成装置（例えば、特許文献２参照）等、複数枚の画像データを画像合成する画像合成装置が種々提案されている。

また、撮像素子には、欠陥画素が存在し、被写体に関係なく、輝点や黒点として画像に残ってしまう。欠陥画素としては、常時、欠陥が発生する画素に限らず、常時発生しないが突発的に欠陥が発生する欠陥画素も存在する。

そこで、このような欠陥画素の影響を除去する技術が種々提案されている。例えば、特許文献３には、複数枚撮影し、この複数枚の画像から突発的に発生する欠陥画素（常時発生しない欠陥画素）の位置を検出し、メモリ記録している。また、特許文献４には、前フレーム画像を使用し、注目画素の同色隣接の平均値を算出し、閾値を用いて比較し、この比較結果に基づいて、注目画素のレベルを補正演算するようにしている。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報 特開２００４−０５６３９５号公報 特許第４３４９２０８号公報

前述したように、複数枚の画像データを合成する際に、突発性の欠陥画素が存在すると、合成画像の画質が低下してしまう。これを解決するために特許文献３に提案の技術を用いると、欠陥画素の検出のための撮影枚数が少ない場合には効果が少なく、また撮影枚数が多い場合には突発性画素欠陥の検出に時間が掛ってしまう。また、特許文献４に提案の技術を用いると、被写体の明暗のエッジ部分に対しては、平均化するとレベルが上がってしまい誤補正となる。また、同色しか検出しないので、星等の小さい被写体に対しても欠陥と判定しまうおそれがある。したがって、従来技術では、突発性の画素欠陥がある場合に効率的に検出し、画素欠陥の影響を除去することができなかった。

本発明は、このような事情を鑑みてなされたものであり、突発性の画素欠陥がある場合でも、効率的に検出し、画素欠陥の影響を除去することのできる画像合成装置、画像合成方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る画像合成装置は、第１画像データと第２画像データを連続して取得する画像取得部と、上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部について、画素毎の差分値を得る減算処理部と、上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理部と、上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理部と、上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理部で演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出部と、上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する画像合成部と、を有する。

第２の発明に係る画像合成装置は、上記第１の発明において、上記フィルタ処理部は、上記第１画像データや上記第２画像データの差分に対して、フィルタ処理を行う画素からの距離に応じた重み付けを行う。
第３の発明に係る画像合成装置は、上記第１の発明において、上記減算処理部は、同色画素毎の差分値を得る。

第４の発明に係る画像合成装置は、上記第１の発明において、上記第１画像データおよび上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、上記ベイヤー配列の画像データを補間処理する現像処理部と、上記補間処理された画素の少なくとも輝度値を得る色空間変換部と、を更に含み、上記減算処理部は、少なくとも上記現像処理部が出力する画素値の差分を取得するか、または上記色空間変換部が出力する画素毎の輝度値の差分を取得する。

第５の発明に係る画像合成装置は、上記第１の発明において、上記画像合成部における合成は複数の上記画像データを用いて合成であり、通常合成、加算合成、加算平均合成、比較明合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像処理のうちの少なくとも１つである。
第６の発明に係る画像合成装置は、上記第１の発明において、上記画像合成部による合成済み画像データを出力し、表示する表示部を更に含む。

第７の発明に係る画像合成装置は、上記第１の発明において、上記画像合成部による合成済み画像データを保持し、出力する記録部と、被写体像を結像する光学系と、上記光学系によって結像した被写体像を撮像し、第２画像データとして出力する撮像部と、を更に含み、上記記録部は、上記画像合成部による合成済み画像データを記録する。

第８の発明に係る画像合成装置は、第１画像データと第２画像データを連続して取得する画像取得部と、上記第１画像データおよび上記第２画像データに対して、空間周波数に基づくフィルタ処理を行うフィルタ処理部と、差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理部と、上記フィルタ処理部による上記第１画像データのフィルタ処理出力の少なくとも一部と上記第２画像データのフィルタ出力について、画素毎の差分値を得る減算処理部と、上記差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理部で演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出部と、上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する画像合成部と、を有する。
第９の発明に係る画像合成方法は、第１画像データと第２画像データを連続して取得する画像取得ステップと、上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部の画素毎の差分値を取得する差分値取得ステップと、上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理ステップと、上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理ステップと、上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理ステップで演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出ステップと、上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する合成ステップと、を有する。

第１０の発明に係る画像合成方法は、上記第９の発明において、上記第１画像データと上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、上記ベイヤー配列の画像データを補間処理する補間処理ステップと、上記補間処理された画素の少なくとも輝度値を取得する輝度値取得ステップと、を更に含み、上記差分値取得ステップでは、同色同画素毎の差分値の取得、所定の閾値を越えたかどうかに基づく差分値の取得、所定の関数に基づく差分値の取得、上記補間処理した画素毎のＲＧＢ値の取得、および上記画素毎の輝度値の差分値の取得の内の少なくとも１つを実行し、上記フィルタ処理ステップは、フィルタ処理を行う画素からの距離に応じた重み付けを行い、上記合成ステップは複数の画像データを用いた合成であり、通常合成、加算合成、比較明合成、加算平均合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像処理のうちの少なくとも１つを実行する。

第１１の発明に係る画像合成方法は、上記第９の発明において、上記合成ステップにおける合成済み画像データを出力し、表示する表示ステップ、および上記第１画像データを保持、出力し、被写体像を撮像して上記第２画像データとして出力し、上記合成済み画像データを出力する出力ステップ、の内の少なくとも１つのステップを実行する。

第１２の発明に係るプログラムは、画像合成をコンピュータに実行させるためのプログラムにおいて、第１画像データと第２画像データを連続して取得する画像取得ステップと、上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部の画素毎の差分値を取得する差分値取得ステップと、上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理ステップと、上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理ステップと、上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理ステップで演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出ステップと、上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する合成ステップと、をコンピュータに実行させる。

第１３の発明に係るプログラムは、上記第１２の発明において、上記第１画像データと上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、上記ベイヤー配列の画像データを補間処理する補間処理ステップと、上記補間処理された画素の少なくとも輝度値を取得する輝度値取得ステップと、を更に含み、上記差分値取得ステップでは、同色同画素毎の差分値の取得、所定の閾値を越えたかどうかに基づく差分値の取得、所定の関数に基づく差分値の取得、上記補間処理した画素毎のＲＧＢ値の取得、および上記画素毎の輝度値の差分値の取得の内の少なくとも１つを実行し、上記フィルタ処理ステップは、フィルタ処理を行う画素からの距離に応じた重み付けを行い、上記合成ステップは複数の画像データを用いた合成であり、通常合成、加算合成、比較明合成、加算平均合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像合成のうちの少なくとも１つを実行する。

第１４の発明に係るプログラムは、上記第１１の発明において、上記合成ステップにおける合成済み画像データを出力し、表示する表示ステップ、および上記第１画像データを保持、出力し、被写体像を撮像して上記第２画像データとして出力し、上記合成済み画像データを出力する出力ステップ、の内の少なくとも１つのステップを実行する。

本発明によれば、突発性の画素欠陥がある場合でも、効率的に検出し、画素欠陥の影響を除去することのできる画像合成装置、画像合成方法、およびプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラの画像処理部の詳細を示すブロック図である。 本発明の第１実施形態に係るカメラにおいて、比較明合成処理時の動作を示すタイミングチャートである。 本発明の第１実施形態に係るカメラの動作を示す流れ図である。 本発明の第１実施形態に係るカメラの動作の変形例を示す流れ図である。 本発明の第１実施形態に係るカメラの数値変換の例を示す図である。 本発明の第１実施形態に係るカメラのフィルタ処理の例を示す図である。 本発明の第２実施形態に係るカメラの動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの動作の変形例を示すフローチャートである。 本発明の第１及び第２実施形態におけるカメラにおいて、２画像の画素位置合わせを説明する図である。 本発明の第１実施形態に係るカメラのフィルタ処理の他の例を示す図である。

以下、本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子（イメージセンサ４）から読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、比較明合成モードが設定された場合には、連続的に複数枚の撮影を行い、対応する画素（同位置の画素）の明るさを比較し、明るい場合には、注目画素の画像データに置き換え、一方、明るくない場合には注目画素の画像データは置き換えずに、画像合成（これを比較明合成という）を行う。

また比較明合成を行う際に、注目画素の明るさのレベルが比較合成画像よりも高い場合には、周辺画素のレベルを確認し、明るい画素がない場合には、注目画素の画像データの置き換えを行わない。一般に星等、一点が明るくなるような被写体であっても、一画素のみが明るくなるわけでなく、周囲の数画素が明るくなる。一画素のみの明るさレベルが高い場合には、突発性の画素欠陥とみなせることから、画像合成には使用しない。

図１は、本発明の好ましい実施形態としての第１実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、レンズ２は、カメラ本体と一体に構成されているが、交換レンズとしても勿論かまわない。

撮像部１内には、レンズ２、メカニカルシャッタ３、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。レンズ２は、被写体像を結像する光学系として機能する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカニカルシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。

イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。メカニカルシャッタ３およびイメージセンサ４は、第１画像データ（第１画像データはイメージセンサ４から読み出された画像データを基に最初に生成された画像データ、または画像処理部１０によって合成された合成画像）と第２画像データ（イメージセンサ４から読み出された画像データを基に直近に生成された画像データ）を生成する。また、撮像部１は、光学系によって結像した被写体像を撮像し、第２画像データとして出力する撮像部として機能する。

画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。画像処理部１０の詳しい構成については、図２を用いて後述する。

バス３１には、前述の画像処理部１０の他、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ（インターフェース：Interface）３８、システム制御部２０が接続されている。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ等の不揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１８で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。外部メモリ３６は、画像データを保持し、出力する記録部としての機能を果たす。また、外部メモリ３６は、画像処理部１０内の画像合成部１７による合成済み画像データを記録する。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）を有し、画像処理部１０内の現像処理部１８によって現像された画像（ライブビュー画像を含む）を表示する。また、表示部３７は、画像処理部１０内の画像合成部１７による合成済み画像データを入力し、表示する。

入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの各部を制御することにより全体制御を行う。

次に、図２を用いて、画像処理部１０の構成について説明する。画像処理部１０は、記録部１１、画像取得部１２、減算処理部１３、数値変換部１４、フィルタ処理部１５、合成判定部１６、画像合成部１７、現像処理部１８、色空間変換部１９を有し、これらの各部はバス３１に接続されている。

記録部１１は、電気的に書き換え可能な不揮発性または揮発性のメモリであり、画像処理部１０内で画像処理する際に一時的に画像データを記憶する。

画像取得部１２は、バス３１または画像処理部１０の外部より画像データを取得する。すなわち、画像取得部１２は、イメージセンサ４からの画像データや画像合成部１７等によって画像処理された画像データを取得する。この画像取得部１２は、第１画像データと第２画像データを取得する画像取得部として機能する。

減算処理部１３は、画像取得部１２によって取得された２つの画像データを用い、対応する画素の画像データの差分を演算する。すなわち、画像データの内の全部または一部について、順次、画素の画像データの差分を演算する。また、減算処理部１３は、ＲＧＢ画素の画像データについて減算処理を行う場合には、同色画素毎の差分値を得る。減算処理部１３は、第１画像データの少なくとも一部と第２画像データの少なくとも一部について、画素毎の差分値を得る減算処理部として機能する。ここで、２つの画像データに対して予め所定の異なるゲインを付加した上で減算するようにしても良い。異なるゲインを付加することで、合成した画像データと撮影により得られた画像データにおいて、撮影データにおける突発的な輝度変化をどの程度重視するか調節が可能になる。

数値変換部１４は、減算処理部１３において演算された差分値を変換する。この数値変換にあたっては、例えば、閾値を超えるか否かに応じて、“０”か“１”等の値を付与し、また予め決められた関数に応じて変換し、また予め決められたテーブルに沿って変換するようにしてもよい。数値変換の例は、図６を用いて後述する。数値変換部１４は、差分値が所定の閾値を超えたか否かに基づいて数値を与え、または差分値を元に所定の変換特性に基づいて数値を与える数値変換部として機能する。

フィルタ処理部１５は、減算処理部１３によって演算された差分値に対して、画像の空間周波数に基づくフィルタ処理を行う。すなわち、フィルタ処理部１５は、数値変換部１４によって与えられた数値に対して、画像の空間周波数に基づくフィルタ処理を行う。また、フィルタ処理部１５は、フィルタ処理を行う画素からの距離に応じた重み付けを行う（例えば、図７（ａ）を参照）。

合成判定部１６は、フィルタ処理部１５によってフィルタ処理された差分値、または減算処理部１３によって演算された差分値等に基づいて、第１画像データの少なくとも一部に第２画像データの少なくとも一部を合成するにあたって、各画素に対して合成処理に使用するか否かの判定を行う。

画像合成部１７は、画像取得部１２に取得された画像データを用いて、画像合成を行う。この画像合成を行うにあたって、合成判定部１６によって画像の各画素にたいして、合成処理に使用する判定がなされた場合には、合成処理を実施し、また判定がなされない画素は合成処理を実施しない。この画像合成部１７は、差分値とフィルタ処理出力に基づいて、第１画像データの少なくとも一部に第２画像データの少なくとも一部を合成する画像合成部として機能する。

画像合成部１７における画像合成としては、通常合成、加算合成、加算平均合成、比較明合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成等の複数枚を使用する画像処理のうちの少なくとも１つを処理可能である。ここで加算合成は、例えば、バルブ撮影の場合には、所定時間間隔で画像データを読み出し、画像データが読み出される毎に前回の加算画像データに今回の画像データを加算し、累積加算画像データを生成する。

比較明合成は、連続的に複数枚の撮影を行い、対応する画素（同位置の画素）の明るさを比較し、明るい場合には、注目画素を置き換え、一方、明るくない場合には注目画素は置き換えない、という画像合成を行う。この比較明合成によれば、夜空の星の軌跡等、移動する明るい部分の変化を１枚の画像に収めることができる。

比較暗合成は、連続的に複数枚の撮影を行い、対応する画素（同位置の画素）の明るさを比較し、暗い場合には、注目画素を置き換え、一方、暗くない場合には注目画素の画像データを置き換えない、という画像合成を行う。この比較暗合成によれば、夜景や星空において、移動する明るい部分が消去され背景画像のみを画像に収めることができる。
加算平均合成は、連続的に複数枚の撮影を行い、対応する画素(同位置の画素)に対して加算平均処理を行う。この加算平均合成によれば、移動する被写体の輝度に関係なく、合成枚数に応じて背景の輝度レベルの比率を高めることで、移動する被写体を消して背景のみを残すことが可能となる。

覆い焼き合成は、前述の比較明合成を行った後、画素値を暗くして明るさを落とし、新しい画素の値として、画像合成を行う。また、スクリーン合成は、元画像の当該画素を、新画像の当該画素に基づいて反転して、新しい画素値として、画像合成を行う。また、オーバレイ合成は、元画像の当該画素が所定値より明るい場合は、「覆い焼き合成」を行い、暗い場合には、「スクリーン合成」を行う。また、通常合成は、当該画素に、新画像の当該画素を上書きする合成を行う。なお、覆い焼き合成、スクリーン合成、オーバレイ合成、通常合成において、合成判定の結果、合成しない場合に該当する場合は、新画素の画素は合成には使用しない。

現像処理部１８は、イメージセンサ４からのＲＡＷ画像データや、画像合成部１７によって画像合成された画像データから表示用の画像やＪＰＥＧやＴＩＦＦ等の記録用の画像データに変換処理する。また、画像取得部１２が取得する第１及び第２画像データの少なくとも一方はベイヤー配列の画像データであり、現像処理部１８は、ベイヤー配列の画像データを補間処理する現像処理部として機能する。

色空間変換部１９は、ＲＧＢ画像データを、輝度信号と色差信号に変換する。すなわち、Ｒ画素、Ｇ画素、Ｂ画素からのＲＧＢ画像データを、明るさを表す成分（輝度（Ｙ））と、２つの色信号と輝度信号との差分を表す成分（色差（Ｃｂ、Ｃｒ））の画像データに変換する。色空間変換部１９は、現像処理部１８によって補間処理された画素の少なくとも輝度値を得る色空間変換部として機能する。この場合、減算処理部１３は、現像処理部１８が出力する画素値の差分を取得するか、または色空間変換部が出力する画素毎の輝度値の差分を取得し、合成時の判定基準となる。

次に、図３を用いて、画像合成部において処理される比較明合成について説明する。図３において処理タイミングをフレーム単位の時間的変化で示しており、最上段は撮影開始と撮影終了のタイミングを示す。次段はイメージセンサ４（撮像素子）の動作を示し、その次段は画像処理（比較明合成処理）の時間的変化を示す。この段において、「合」は比較明合成処理を示す。画像処理の次段は表示画像の時間的変化を示し、表示画像の次段（図３の最下段）は記録画像の時間的変化を示す。

比較明合成処理を示す図３において、撮影を開始すると、明画像_１を取得する。明画像_１を取得すると、画像処理（ライブビュー表示用の現像処理等）を行い、表示部３７に表示し、また内部メモリ３３または記録部１１に合成画像１として保存する。続いて明画像_２が取得されると、明画像_１と明画像_２を用いて比較明合成処理がなされ、この比較明合成処理がなされた画像データに対して画像処理（ライブビュー表示用の現像処理）を行い、表示部３７に表示し、また内部メモリ３３または記録部１１に合成画像２として保存する。以後、明画像が取得されるたびに、同様の処理がなされ、撮影が終了すると、最後に取得された明画像_Ｎについて、直前に保存した合成画像を用いて比較明合成処理がなされた合成画像_Ｎが表示され、記録される。

次に、図４に示す流れ図を用いて、本実施形態における動作について説明する。この動作は、システム制御部２０内のＣＰＵが内部メモリ３３に記憶されたプログラムに従って、各部を制御して実行する。

図４に示す流れ図において、まず、画像取得部１２は、ＲＡＷ画像Ａを取得し（＃１）、またＲＡＷ画像Ｂ（＃３）を取得する。ここで、ＲＡＷ画像Ａは、画像合成部１７によって合成された画像データである。したがって、ＲＡＷ画像Ａは、イメージセンサ４から２回目の画像データが読み出された後の画像データである。またＲＡＷ画像Ｂは、イメージセンサ４から読み出された画像データ、または画像合成部１７によって合成された画像データである。

ステップ＃１、＃３において、ＲＡＷ画像データの取得を行うと、次に、ＲＡＷ画像データＢとＲＡＷ画像データＡの差分（Ｂ−Ａ）を演算する（＃５）。ここでは、減算処理部１３が、画像取得部１２で取得されたＲＡＷ画像データＡ，Ｂについて、それぞれの画像データの同じ位置の各画素において差分値を求める。

画像データの各画素の差分値を求めると、次に、数値変換を行う（＃７）。ここでは、数値変換部１４が、減算処理部１３によって算出された差分値を用いて、数値変換を行う。この数値変換は、例えば、図６（ａ）（ｂ）に示すように、差分値（ｘ軸に示す）に応じた変換値（ｙ軸に示す）に変換する。図６（ａ）に示す例では、比較明合成の場合には、差分値がプラスの場合には、次第に変換値が増加し、所定値を過ぎると飽和するような曲線であり、比較暗合成の場合には、差分値がマイナスの場合には、変換値が増加し、所定値を過ぎると飽和するような曲線である。

また、図６（ｂ）に示す例では、比較明合成の場合には、差分値が所定値以上の場合には、変換値が所定値（一定値）であり、差分値が所定値以下の場合には変換値が０である。また、比較暗合成の場合には、差分値が所定値以下の場合には、変換値が所定値（一定値）であり、差分値が以上の場合には変換値が０である。図６（ａ）（ｂ）は、差分値を変換値に変換する例であり、種々の関数を用いて、任意の形状となるようにしてもよい。

ステップ＃７において数値変換を行うと、差分データを取得する（＃９）。ステップ＃５、＃７において、対応する画素毎に画像データの差分値が算出され、数値変換されたので、このステップでは、画素毎の数値変換後のデータを順次、内部メモリ３３または記録部１１に保存する。

ステップ＃９において、差分データを取得すると、次に、フィルタ処理を行う（＃１１）。ここでは、フィルタ処理部１５が、ＲＡＷ画像データＡとＲＡＷ画像データＢの差分値について、画像の空間周波数に基づくフィルタ処理を行う。具体的には、ノイズ除去またはＬＰＦ（Low Pass Filter）等のフィルタ処理を行う。フィルタ処理としては、例えば、図７（ａ）（ｂ）に示すように、フィルタ処理を行う画素の前後左右の５×５の画素の画像データを用いてフィルタ処理を行うようにしてもよい。

図７（ａ）に示す例では、フィルタ処理を行う画素からの距離に応じた重み付けを行う例である。この例では、フィルタ処理を行う画素（注目画素）が（３，３）の位置であり、この位置の画像データは、重み付けが１９６であり、画素（１，１）の画像データは重み付けが１、画素（２，１）の画像データは重み付けが８、画素（３，１）の画像データは重み付けが１４、・・・・、となっている。

図７（ｂ）に示す例では、フィルタ処理を行う画素から所定の範囲内については、均等の重み付けを行うようにした例である。この例でも、フィルタ処理を行う画素（注目画素）が（３，３）の位置であり、この注目画素の前後左右５×５画素の範囲内について、重み付けを行っている。

なお、図７（ａ）（ｂ）のいずれも全左右５×５の範囲内の画素の画像データを用いてフィルタ処理を行っていたが、これに限らず、範囲を広げても狭めても勿論構わない。ただし、周辺画素の比較に対しては、小さな輝点に対応するため、画素単位での確認がよい（色別にすると、画素間引きされるので、色別にしないことが望ましい）。また、色のある被写体に対応するめに、同色画素の確認も行うことが好ましく、この場合には５×５以上の範囲とする。

また、フィルタ処理としては、図７（ａ）（ｂ）の例に限られず、例えば、特許第５２４９１１１号に開示されているような方法を用い、差からなる画像に対してノイズリダクションを行うようにしてもよい。また、注目画素を中心として、所定サイズ（例えば、５×５）内の画素に対応する差分画素値が所定以上の数をカウントするようにしてもよい。

また、フィルタ処理としては、図１１（ａ）に示す他の一例のように、同色のみを検知するフィルタ処理を行ってもよい。図１１（ａ）の左側に示す例は、ＲＧＢ画像データに対してフィルタ処理を行う場合のＲ／Ｂ用であり、また右側に示す例は、輝度−色差（Ｙ−ＣｂＣｒ）画像データに対してフィルタ処理を行う場合のＧｒ／Ｇｂ用である。

また、フィルタ処理としては、図１１（ｂ）に示す他の一例のように、同色を重視し、それ以外は少し検知するフィルタ処理を行ってもよい。図１１（ｂ）の上の段は、ＲＧＢ画像データに対するフィルタ処理を行う場合のＲ用とＢ用であり、図１１（ｂ）の下の段は輝度−色差（Ｙ−ＣｂＣｒ）画像データに対してフィルタ処理を行う場合のＧｒ／Ｇｂ用である。

また、フィルタ処理としては、図１１（ｃ）に示す他の一例のように、注目画素のいずれか特定の方向を重視するフィルタ処理を行ってもよい。図１１（ｃ）の左側は、左上を重視するフィルタ処理を行う場合であり、図１１（ｃ）の右側は右下を重視するフィルタ処理を行う場合である。

ステップ＃１１においてフィルタ処理を行うと、次に、合成判定を行う（＃１３）。このステップでは、フィルタ処理された差分データに基づいて、画像合成を行うにあたって注目画素毎に合成処理の可否を判定する。すなわち、突発性の画素欠陥があると、１画素のみの画像データが異常値を示す場合があり、この場合には、差分値が異常に大きくなる。そこで、合成判定では、数値変換やフィルタ処理のなされた差分値が所定値よりも大きい場合には、その注目画素に突発性の画素欠陥があると判定する。一方、数値変換やフィルタ処理のなされた差分値が所定値よりも小さい場合には、その注目画素に突発性の画素欠陥がないと判定する。

ステップ＃１３において合成判定を行うと、次に、合成を行う（＃１５）。ここでは、ステップ＃１３における合成判定の結果に応じて、＃１で取得したＲＡＷ画像データＡと、＃３で取得したＲＡＷ画像データＢを用いて、画像合成を行う。すなわち、合成判定（＃１）は画像データの各画素で行うため、注目画素に突発性の画素欠陥があると判定された画素においては、合成処理を行わず、一方、注目画素に突発性の画素欠陥がないと判定された画素においては、合成処理を行う。なお、画像合成としては、比較明合成に限らず、例えば、通常合成、加算合成、加算平均合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成等の複数枚を使用する画像処理のいずれか１つ又は複数の合成を行うようにしてもよい。

ステップ＃１５において、合成を行うと、合成画像を生成する（＃１７）。ステップ＃１５において、注目画素毎に合成を行い、合成画像の生成領域についての全ての画素について合成動作が終了すると、ステップ＃１７において合成画像が完成し、本実施形態における画像合成動作が終了する。

このように、本実施形態においては、２つの画像データを用いて合成画像を生成するにあたって、対応する画素毎に差分値を算出し（＃５）、この差分値に基づいて突発性の画素欠陥があるか否かを判定し（＃１３）、突発性の画素欠陥とみなされた画素は、合成処理に使用しないため、突発性の画素欠陥による画質劣化を低減することができる。

また、本実施形態においては、差分値を数値変換し（＃７）、またフィルタ処理を行うようにしている（＃１１）。このため、画素データのノイズ等の影響を除去することができ、画質を向上させることができる。なお、本実施形態においては、数値変換等を行っていたが、省略してもよい。

次に、図５を用いて、本実施形態の変形例について説明する。本発明の第１実施形態においては、ＲＡＷ画像データの差分値を先に求めてから数値変換やフィルタ処理を行っていた。しかし、これらの処理の手順はこれに限らず、順番を変更しても構わない。図５に示す変形例は、他の処理手順の一例を示す。

図５に示す流れ図に入ると、図４と同様に、ＲＡＷ画像データＡを取得し（＃２１）、またＲＡＷ画像データＢを取得する（＃２３）。

ステップ＃２１において、ＲＡＷ画像データＡを取得すると、次に、ＲＡＷ画像データＡについて、フィルタ処理を行う（＃２５）。ここでは、ＲＡＷ画像データＡについて、図７（ａ）（ｂ）等に示したように、画像の空間周波数に基づくフィルタ処理を行う。

ステップ＃２５において、フィルタ処理を行うと、次に、比較用画像Ａを生成する（＃２９）。ステップ＃２５では、注目画素を順次、変更しながら、合成画像生成対象領域の全画素の画像データに対してフィルタ処理を施すので、このステップでは、順次フィルタ処理された画像データを格納し、比較用画像Ａの画像データを生成する。

ステップ＃２３において、ＲＡＷ画像データＢを取得すると、次に、ＲＡＷ画像データＢについて、フィルタ処理を行う（＃２７）。ここでは、ＲＡＷ画像データＢについて、図７（ａ）（ｂ）等に示したように、画像の空間周波数に基づくフィルタ処理を行う。

ステップ＃２７において、フィルタ処理を行うと、次に、比較用画像Ｂを生成する（＃３１）。ステップ＃２７では、注目画素を順次、変更しながら、合成画像生成対象領域の全画素の画像データに対してフィルタ処理を施すので、このステップでは、内部メモリ３３または記録部１１に順次フィルタ処理された画像データを格納し、比較用画像Ｂの画像データを生成する。

ステップ＃２９において比較用画像Ａを生成すると、またステップ＃３１において比較用画像Ｂを生成すると、次に、比較用画像データＢと比較用画像データＡの差分（Ｂ−Ａ）を演算する（＃３３）。ここでは、減算処理部１３が、内部メモリ３３または記録部１１に格納された比較用画像データＡ，Ｂについて、それぞれ対応する画素の画像データの差分値を求める。

対応する画素の画像データの差分値を求めると、次に、数値変換を行う（＃３５）。ここでは、ステップ＃７と同様に、数値変換部１４が、減算処理部１３によって算出された差分値を用いて、数値変換を行う。この数値変換は、例えば、図６（ａ）（ｂ）等に示すような変換に行う。

ステップ＃３５において、数値変換を行うと、次に、差分データを格納する（＃３７）。ステップ＃３３、＃３５において、対応する画素毎に画像データの差分値が算出され、数値変換されたので、このステップでは、画素毎の数値変換後のデータを順次、内部メモリ３３または記録部１１に保存する。

ステップ＃３７において差分データを生成すると、次に、合成判定を行う（＃３９）。このステップでは、ステップ＃１３と同様に、フィルタ処理および数値変換された差分データに基づいて、画像合成を行うにあたって注目画素毎に画像データの合成処理を行うか否かを判定する。合成判定では、差分値が所定値よりも大きい場合には、その注目画素に突発性の画素欠陥があると判定する。一方、差分値が所定値よりも小さい場合には、その注目画素に突発性の画素欠陥がないと判定する。

ステップ＃３９において合成判定を行うと、次に、合成を行う（＃４１）。ここでは、＃１５と同様に、ステップ＃３９における合成判定の結果に応じて、＃２１で取得したＲＡＷ画像データＡと、＃２３で取得したＲＡＷ画像データＢを用いて、画像合成を行う。

ステップ＃４１において、合成を行うと、合成画像を生成する（＃４３）。ステップ＃４１において、注目画素毎に合成を行い、合成画像の生成領域についての全ての画素について合成動作が終了すると、ステップ＃４３において合成画像が完成し、本変形例における画像合成動作が終了する。

このように、本変形例においても、２つの画像データを用いて合成画像を生成するにあたって、対応する画素毎に差分値を算出し（＃３３）、この差分値に基づいて突発性の画素欠陥があるか否かを判定し（＃３９）、突発性の画素欠陥がない画素に対して合成処理を行う。このため、突発性の画素欠陥による画質劣化を低減することができる。

また、本変形例においては、フィルタ処理によって比較用画像データを生成し（＃２５〜＃３１）、数値変換を行うようにしている（＃３５）。このため、画素データのノイズ等の影響を除去することができ、画質を向上させることができる。また、ＲＡＷ画像Ａは合成済みの画像データであり、ＲＡＷ画像Ｂは合成前の画像データであることから、両画像データのノイズ特性が異なる可能性がある。本変形例においては、フィルタ処理を、ＲＡＷ画像データＡとＲＡＷ画像データで異ならせることができ、ノイズ除去等において、有利である。

次に、図８を用いて、本発明の第２実施形態について説明する。本発明の第１実施形態においては、注目画素の周辺の画素の画像データの影響については、フィルタ処理に含めて考慮していた。それに対して、本実施形態においては、差分値と周辺の画素の出力に応じて、合成処理を行うか否かの判定を行うようにしている。

本実施形態における構成は、図１および図２に示したブロック図と同様であることから、詳しい説明を省略する。図８に示すフローチャート（後述する図９に示すフローチャートも同様）は、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０内のＣＰＵが、各部を制御し実行する。なお、本実施形態においては、画像処理として比較明合成を行う場合について説明する。

図８に示すフローチャートに入ると、まず、注目画素の出力についてＲＡＷ画像データＢがＲＡＷ画像データＡよりも大きいか否かを判定する（＃５１）。本実施形態においても、ＲＡＷ画像データＡは合成済みの画像データであり、ＲＡＷ画像データＢは合成前の画像データである。このステップでは、画像取得部１２が、ＲＡＷ画像データＡおよびＲＡＷ画像データＢを取得し、減算処理部１３が減算演算を行い、この演算結果に基づいて、合成判定部１６が、注目画素についてＲＡＷ画像データＢがＲＡＷ画像データＡより大きいか否かを判定する。なお、減算演算を行わず、直接、大小関係を判定するようにしてもよい。

ステップ＃５１における判定の結果、ＲＡＷ画像データＢがＲＡＷ画像データＡよりも大きかった場合には、次に、フィルタ処理後の差分データの周辺５×５の画素の出力の総和が設定値以上か否かを判定する。注目画素における合成済みの画像データと合成前の画像データの差が大きい場合には、単に、合成前の画像データの値が大きい場合もあるが、一方、突発性の画素欠陥の可能性もある。そこで、このステップでは、注目画素の周囲の画素の出力に基づいて、注目画素が突発性の画素欠陥があるか否かを判定するようにしている。

すなわち、突発性画素欠陥が発生している場合には、注目画素の周辺画素の画像データの値は大きくならず、一方、突発性画素欠陥ではなく、注目画素に明るい被写体光が入射している場合には、注目画素の周辺画素の画像データの値も大きくなる。そこで、注目画素の周辺画素の画像データの総和を求めて判定している。なお、本実施形態においては、注目画素の周辺画素として、５×５（すなわち、周辺の左右上下２５画素）の画像データの総和を求めているが、５×５に限らず、もっと広い範囲でもよく、狭い範囲について総和を求めるようにしてもよい。また、総和は単純加算に限らず、二乗値加算でもよく、また他の演算式を利用してもよい。

ステップ＃５３における判定の結果、周辺画素の出力の総和が設定値以上であれば、注目画素の合成処理を行う（＃５７）。ここでは、画像合成部１７が画像合成を行うにあたって、ＲＡＷ画像データＡの注目画素の合成処理を行う。すなわち、ステップ＃５３における判定の結果、ＲＡＷ画像データＢの注目画素の値がＲＡＷ画像データＡの注目画素の値よりも大きいこと（＃５１Ｙｅｓ）から、突発性の画素欠陥の可能性があるが、ステップＳ５３の判定により、周辺画素の画像データの値も大きいことから、突発性の画素欠陥でないと判定されるからである。

また、ステップ＃５１における判定の結果、ＲＡＷ画像データＢの注目画素がＲＡＷ画像データＡの注目画素よりも大きくない場合（＃５１Ｎｏ）、またはステップ＃５３における判定の結果、周辺画素の出力の総和が設定値以上でない場合（＃５３Ｎｏ）は、注目画素の合成処理を行わない（＃５９）。これは、ＲＡＷ画像データＢの注目画素がＲＡＷ画像データＡの注目画素よりも大きくない場合（＃５１Ｎｏ）には、比較明合成の処理として、レベルの高い方を残す処理に適応しないためであり、また、ステップＳ５３の判定により周辺画素の出力の総和が設定値以上でない場合には、注目画素が突発性の画素欠陥であるとみなせるからである。

図８のフローにおいて、注目画素の画像データの合成処理を行うかどうかの可否が決まると、画像合成部１７が各画素の合成判定の結果に応じて、画像合成を行う。

このように、本発明の第２実施形態においては、ステップ＃５１における判定の結果、注目画素が突発性の画素欠陥の可能性がある場合には、注目画素の周辺の画素の出力に基づいて、突発性の画素欠陥を発生しているか否かを判定するようにしている。

次に、図９を用いて、第２実施形態の変形例について説明する。この変形例は、図８に示したフローにおいて、さらに、ステップ＃５５を追加したものであるので、この追加したステップＳ５５について説明する。

ステップ＃５３における判定の結果、周辺画素の出力の総和が設定値以上であれば、次に、ＲＡＷ画像データＢがＲＡＷ画像データＡよりも大きい隣接画素の数が設定数以上であるか否かを判定する（＃５５）。このステップにおける隣接画素は、注目画素に直近の隣接画素をいう（したがって、３×３画素の範囲）。ここでは、減算処理部１３によって注目画素と各周辺画素の画像データの差分値を求め、この差分値に基づいて、合成済み画像の画像データが大きい隣接画素の数を求め判定する。突発性画素欠陥の可能が低ければ、直接隣接する周辺画素の画像データの値は、注目画素の画像データの値と大体同じくらいになる。

ステップ＃５５における判定の結果、ＲＡＷ画像データＢの値がＲＡＷ画像データＡの値よりも大きい隣接画素の数が設定数以上であれば、比較明合成を行う（＃５８）。ステップ＃５１、＃５３の判定結果に加え、ステップ＃５５における判定の結果、注目画素は突発性画素欠陥である可能性が低いことから、比較明合成を行う。一方、ＲＡＷ画像データＢの値がＲＡＷ画像データＡの値よりも大きい隣接画素の数が設定数以上でない場合には、合成処理を行わない（＃５９）。この場合は、注目画素は突発性画素欠陥である可能性が高いからである。

このように、本変形例では、第２実施形態における判定に加え、注目画素と隣接画素の関係に基づいて、突発性画素欠陥を発生しているか否かを判定するようにしている。このため、より精度の高い判定を行うことができる。

また、本変形例では、注目画素の周辺画素に対して、比較対象の画像よりもレベルが高い画素が隣接しているかどうかの確認を追加している（＃５５）。隣接画素を確認することで、ランダムノイズによる影響を少なくすることができる。

次に、図１０を用いて、本発明の第１実施形態および第２実施形態における２画像の画素の位置合わせについて説明する。これらの実施形態においては、図１０（ａ）に示す「画像１」と、図１０（ｂ）に示す「画像２」を用い、２画像を用いて画像合成を行う。「画像２」の取得時に、図１０（ｂ）に示すように、１画素ずれる場合がある。この場合には、「画像１」とのズレを検出し、「画像２」について図１０（ｃ）に示すように、１画素ずらすような処理を行った上で、減算処理部１３において差分値を求める。

ズレの検出は、画像から判断してもよく、またジャイロセンサ等のブレ検知部からの情報に基づいて判断してもよい。また、図１０に示す例では、「画像２」に対して補正していたが、「画像１」を補正しても構わない。また、補正するために、画素をずらすことによって画像データが不足するエリアは、比較明合成の場合には、図１０（ｃ）に示すように黒データとし、また比較暗合成の場合には白データとする。

以上説明したように、本発明の各実施形態や変形例においては、第１画像データと第２画像データを取得する画像取得部１２と、第１画像データの少なくとも一部と第２画像データの少なくとも一部について、画素毎の差分値を得る減算処理部１３と、この差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理部１５と、差分値とフィルタ処理出力に基づいて、第１画像データの少なくとも一部に第２画像データの少なくとも一部を合成する画像合成部１７を備えている。このため、突発性の画素欠陥がある場合でも、効率的に検出し、画素欠陥の影響を除去することができる。

なお、本発明の各実施形態や変形例においては、ＲＧＢ画像データを用いて、画像データの減算処理、数値変換、フィルタ処理等を行っていた。しかし、これに限らず、ＲＧＢ画像データから輝度（Ｙ）画像データを生成し、この輝度画像データを用いて、減算処理、数値変換、フィルタ処理等を行うようにしてもよく、また一部をＲＧＢ画像データで行い、残りを輝度画像データで行うようにしてもよい。ＲＧＢ画像データの場合には、同色画素同士で演算するのに対して、輝度画像データとすることにより、異色画素か否かに係らず、処理することができる。

また、比較明合成する際、注目画素のレベルが比較合成画像よりも高い場合、周辺画素のレベルを確認し、合成中（比較対象）の画像よりもレベルが高い画素の個数をカウントし、予め設定した個数以上の場合、注目画素を合成処理してもよい。周囲の画素のレベルを考慮していることから、突発性の画素欠陥を精度よく検出することができる。また、突発性の画素欠陥と認識された画素に対しては、単純に合成処理を実施しない方法や周囲の画素情報を用いて補完する手法を用いてもよい。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像データを用いて画像合成を行う画像合成を行う機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ（絞り）、３・・・メカニカルシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・記録部、１２・・・画像取得部、１３・・・減算処理部、１４・・・数値変換部、１５・・・フィルタ処理部、１６・・・合成判定部、１７・・・画像合成部、１８・・・現像処理部、１９・・・色空間変換部、２０・・・システム制御部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ

Claims (14)

1. 第１画像データと第２画像データを連続して取得する画像取得部と、
   上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部について、画素毎の差分値を得る減算処理部と、
   上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理部と、
   上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理部と、
   上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理部で演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出部と、
   上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する画像合成部と、
   を有することを特徴とする画像合成装置。
2. 上記フィルタ処理部は、上記第１画像データや上記第２画像データの差分に対して、フィルタ処理を行う画素からの距離に応じた重み付けを行うことを特徴とする請求項１に記載の画像合成装置。
3. 上記減算処理部は、同色画素毎の差分値を得ることを特徴とする請求項１に記載の画像合成装置。
4. 上記第１画像データおよび上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、
   上記ベイヤー配列の画像データを補間処理する現像処理部と、
   上記補間処理された画素の少なくとも輝度値を得る色空間変換部と、
   を更に含み、
   上記減算処理部は、少なくとも上記現像処理部が出力する画素値の差分を取得するか、または上記色空間変換部が出力する画素毎の輝度値の差分を取得する、
   ことを特徴とする請求項１に記載の画像合成装置。
5. 上記画像合成部における合成は複数の上記画像データを用いて合成であり、通常合成、加算合成、加算平均合成、比較明合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像処理のうちの少なくとも１つであることを特徴とする請求項１に記載の画像合成装置。
6. 上記画像合成部による合成済み画像データを出力し、表示する表示部を更に含むことを特徴とする請求項１に記載の画像合成装置。
7. 上記画像合成部による合成済み画像データを保持し、出力する記録部と、
   被写体像を結像する光学系と、
   上記光学系によって結像した被写体像を撮像し、第２画像データとして出力する撮像部と、
   を更に含み、
   上記記録部は、上記画像合成部による合成済み画像データを記録することを特徴とする請求項１に記載の画像合成装置。
8. 第１画像データと第２画像データを連続して取得する画像取得部と、
   上記第１画像データおよび上記第２画像データに対して、空間周波数に基づくフィルタ処理を行うフィルタ処理部と、
   差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理部と、
   上記フィルタ処理部による上記第１画像データのフィルタ処理出力の少なくとも一部と上記第２画像データのフィルタ出力について、画素毎の差分値を得る減算処理部と、
   上記差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理部で演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出部と、
   上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する画像合成部と、
   を有することを特徴とする画像合成装置。
9. 第１画像データと第２画像データを連続して取得する画像取得ステップと、
   上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部の画素毎の差分値を取得する差分値取得ステップと、
   上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理ステップと、
   上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理ステップと、
   上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理ステップで演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出ステップと、
   上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する合成ステップと、
   を有することを特徴とする画像合成方法。
10. 上記第１画像データと上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、
    上記ベイヤー配列の画像データを補間処理する補間処理ステップと、
    上記補間処理された画素の少なくとも輝度値を取得する輝度値取得ステップと、
    を更に含み、
    上記差分値取得ステップでは、同色同画素毎の差分値の取得、所定の閾値を越えたかどうかに基づく差分値の取得、所定の関数に基づく差分値の取得、上記補間処理した画素毎のＲＧＢ値の取得、および上記画素毎の輝度値の差分値の取得の内の少なくとも１つを実行し、
    上記フィルタ処理ステップは、フィルタ処理を行う画素からの距離に応じた重み付けを行い、
    上記合成ステップは複数の画像データを用いた合成であり、通常合成、加算合成、比較明合成、加算平均合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像処理のうちの少なくとも１つを実行する、
    ことを特徴とする請求項９に記載の画像合成方法。
11. 上記合成ステップにおける合成済み画像データを出力し、表示する表示ステップ、
    および上記第１画像データを保持、出力し、被写体像を撮像して上記第２画像データとして出力し、上記合成済み画像データを出力する出力ステップ、
    の内の少なくとも１つのステップを実行することを特徴とする請求項９に記載の画像合成方法。
12. 画像合成をコンピュータに実行させるためのプログラムにおいて、
    第１画像データと第２画像データを連続して取得する画像取得ステップと、
    上記第１画像データの少なくとも一部と上記第２画像データの少なくとも一部の画素毎の差分値を取得する差分値取得ステップと、
    上記差分値に対して、画像の空間周波数に基づくフィルタ処理を行うフィルタ処理ステップと、
    上記差分値の注目画素の周囲の画素の総和値を算出するとともに、上記周囲の画素の差分値が正である画素数を計数する演算処理ステップと、
    上記フィルタ処理後の差分値と所定値の比較結果に基づいて突発性の画素欠陥の有無の判断を行い、上記画素欠陥と判断された画素を注目画素として、上記演算処理ステップで演算された上記総和値と、計数結果に基づいて判断結果を出力する突発性画素欠陥検出ステップと、
    上記判断結果が上記突発性の画素欠陥である場合には、画素欠陥と判断された上記第１画像データと、上記第２画像データの画素は合成せず、一方、上記突発性の画素欠陥でない場合には、上記第１画像データの少なくとも一部に上記第２画像データの少なくとも一部を合成する合成ステップと、
    をコンピュータに実行させることを特徴とするプログラム。
13. 上記第１画像データと上記第２画像データの少なくとも一方はベイヤー配列の画像データであり、
    上記ベイヤー配列の画像データを補間処理する補間処理ステップと、
    上記補間処理された画素の少なくとも輝度値を取得する輝度値取得ステップと、
    を更に含み、
    上記差分値取得ステップでは、同色同画素毎の差分値の取得、所定の閾値を越えたかどうかに基づく差分値の取得、所定の関数に基づく差分値の取得、上記補間処理した画素毎のＲＧＢ値の取得、および上記画素毎の輝度値の差分値の取得の内の少なくとも１つを実行し、
    上記フィルタ処理ステップは、フィルタ処理を行う画素からの距離に応じた重み付けを行い、
    上記合成ステップは複数の画像データを用いた合成であり、通常合成、加算合成、比較明合成、加算平均合成、覆い焼き合成、スクリーン合成、オーバレイ合成、および比較暗合成の画像合成のうちの少なくとも１つを実行する、
    ことを特徴とする請求項１２に記載のプログラム。
14. 上記合成ステップにおける合成済み画像データを出力し、表示する表示ステップ、
    および上記第１画像データを保持、出力し、被写体像を撮像して上記第２画像データとして出力し、上記合成済み画像データを出力する出力ステップ、
    の内の少なくとも１つのステップを実行することを特徴とする請求項１２に記載のプログラム。