JP2012100000A

JP2012100000A - 撮像装置、画像処理装置およびコンピュータプログラムプロダクト

Info

Publication number: JP2012100000A
Application number: JP2010245090A
Authority: JP
Inventors: Takahiro Yano; 高宏矢野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-11-01
Filing date: 2010-11-01
Publication date: 2012-05-24

Abstract

【課題】流し撮り撮影における、ユーザの負担ならびに画像処理の負担を軽減すること。
【解決手段】撮像装置は、撮像部１０と、撮像部１０で撮影された、少なくとも２枚の画像を用いて合成画像を生成する合成部５０と、合成部５０で合成された合成画像の像間のずれを検出するずれ検出部６０と、ずれ検出部６０で検出された、像間のずれを補正するずれ補正部７０と、ずれ検出部７０で検出されたずれに基づいて、像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるブレ生成部８０と、を含む。
【選択図】図１

Description

本発明は、撮像装置、画像処理装置およびコンピュータプログラムプロダクト等に関する。

動いている被写体（動体）の動きに合わせてカメラを移動して、１枚の静止画を撮影する流し撮りの方法が知られている。このような流し撮りをデジタルカメラで実現する方法は、例えば、特許文献１に記載されている。特許文献１に記載される技術では、連続して撮影された複数枚の画像から、メインの動体部分の相対的なずれ量とずれ方向を検出して、動体部分が同じ位置に重なるように合成する技術が検討されている。

特開２００６−３３９９０３号公報

流し撮りを行うためには、例えば、１枚の画像を、上半身の軸を動かさずに体をねじりながら撮影する、といったかなり難解な撮影テクニックが必要であり、カメラユーザの負担が大きい。

また、ユーザの負担を軽減するために、画像合成処理によって、流し撮り画像を形成することも提案されている（特許文献１）。但し、背景等が、滑らかに流れている自然な流し撮り画像を合成するためには、多数枚の連続画像が必要であり、この点で、ユーザの負担が発生する。また、使用する画像の枚数が増えれば、画像合成処理も複雑化し、画像処理（信号処理）に伴う負担も増大することは否めない。

本発明の少なくとも一つの態様によれば、例えば、ユーザの負担ならびに画像処理の負担を軽減することができる。

（１）本発明の撮像装置の一態様は、撮像部と、前記撮像部で撮影された、少なくとも２枚の画像を用いて合成画像を生成する合成部と、前記合成部で合成された前記合成画像の像間のずれを検出するずれ検出部と、前記ずれ検出部で検出された、前記像間のずれを補正するずれ補正部と、前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるブレ生成部と、を含む。

本態様によれば、少なくとも２枚の撮像画像に基づき、画像のブレ（画像の流し）を生じさせたい領域にブレを生じさせることができる。ブレを生じさせる対象は、画像の全部であってもよく、また、その一部（例えば、主要被写体に対する背景）であってもよい。本態様によれば、より少ない枚数の画像に基づいて、容易に、自然な流し撮り画像を合成することができる。

（２）本発明の撮像装置の他の態様では、前記主要被写体を設定する主要被写体設定部を有し、前記ブレ生成部は、前記主要被写体設定部によって設定された主要被写体領域以外の領域の全部または一部にブレを発生させる。

本態様によれば、主要被写体についてはブレのない状態とし、一方、主要被写体領域以外の領域（例えば背景領域）においては、所望のブレを確実に生じさせることができる。

（３）本発明の撮像装置の他の態様では、前記ブレ生成部は、前記ずれ検出部で検出されたずれ量に基づいて、所定サイズの画像パッチ毎に線ブレの範囲を決定し、前記画像パッチに対して点像分布関数によるフィルタリングを実行して、前記主要被写体領域以外の領域の全部または一部に線ブレを発生させる。

本態様では、ブレ生成部は、例えば、所定の点像分布関数（Point Spread Function：PSF）を用いて、線ブレを生じさせる範囲（２点間の距離）を指定して画像をフィルタリングする。したがって、信号処理によって、画像のブレ（画像の流し）を生じさせたい領域のみに、所望のブレを生じさせることができる。

（４）本発明の撮像装置の他の態様では、前記ずれ検出部では、前記主要被写体領域における第１ずれ量と、前記主要被写体領域以外の領域における第２ずれ量とを検出し、前記ブレ生成部は、前記第２ずれ量、あるいは、前記第２ずれ量から前記第１ずれ量を減算して得られるずれ量に基づいて、前記線ブレの範囲を決定する。

線ブレの範囲の決定方法としては、例えば、ずれ検出部で求められた、主要被写体以外の領域（背景部分等）に含まれる各パッチのずれ量（第２ずれ量）を用いることができる。また、例えば、第２ずれ量が、所定の閾値（例えば、異常判定用の閾値）よりも大きい場合には、主要被写体が一致しておらず、その主要被写体のずれ量が加わっている場合があり得ることから、第２ずれ量から、ずれ検出部で取得されている主要被写体のずれ量（第１ずれ量）を差し引いた値をずれ量として用いることができる。これによって、自然な流し画像を形成することができる。

（５）本発明の撮像装置の他の態様では、前記ブレ生成部は、主要被写体領域とブレ発生の対象領域との境界線上の画像領域については、前記ずれ検出部で検出されたずれ量に、境界画像補正用の調整値を加算して得られるずれ量に基づいて、前記線ブレの範囲を決定する。

本態様では、例えば、ブレ発生の対象領域（背景等）のブレ量を、通常より多めに設定し、ブレ発生の対象領域（背景等）のブレによって、主要被写体領域とブレ発生の対象領域との境界線のブレ部分、すなわち、主要被写体の輪郭のブレ部分を覆うことができる。これによって、主要被写体の輪郭を、よりシャープに見せることが可能である。

（６）本発明の撮像装置の他の態様では、前記ずれ検出部は、前記ブレ発生の対象領域に含まれる、フィルタリング対象の画像パッチのテクスチャの特徴量が所定値以下であるときは、前記フィルタリング対象の画像パッチの周囲に位置する、複数の画像パッチのずれ量に基づいて前記フィルタリング対象の画像パッチのずれ量を推定し、前記ブレ生成部は、前記推定されたずれ量に基づいて、前記線ブレの範囲を決定する。

本態様では、対象とする画像パッチの周囲に位置する、複数の画像パッチのずれ量を利用して、画像のずれ量を推定する。例えば、主要被写体領域と背景領域との境界付近では、自己相関値に明確なピークが得られない場合がある。このような場合であっても、本態様のずれ検出の手法によって、ずれ検出の精度を高めることができる。具体的には、例えば、対象となるパッチの近傍に位置する８個の周辺パッチのずれ量の平均値を、その対象となるパッチのずれ量とすることができる。

（７）本発明の撮像装置の他の態様では、ユーザ設定部を有し、前記ブレ生成部は、前記ユーザ設定部から入力されるブレ量の増減情報に基づいて、前記先ブレの範囲を増減させる。

本態様によれば、例えば、ユーザの好みに応じて、ブレ量を微調整すること、すなわち、ブレ量を適宜、増減することが可能である。例えば、ずれ検出部で検出されたずれ量に、ブレ量の増減情報によって定まる微調整用の調整値を加えることによって得られるずれ量に基づいて、線ブレの範囲を決定することができる。

（８）本発明の撮像装置の他の態様では、前記合成部は、２枚の画像に基づいて重み付け合成を実行して、前記ずれ検出部によるずれ検出用の第１合成画像と、前記ずれ補正部によるずれ補正用の第２合成画像と、を形成し、前記第１合成画像を形成する場合には、均等の重み付けを採用し、前記第２合成画像を形成する場合には、落差のある重み付けを採用する。

本態様では、第１合成画像の合成に際しては、均等重み付けによる合成を行う。その理由としては、第１合成画像中に含まれる物体（例えば主要被写体）の自己相関によるピークの検出が容易であることがあげられる。自己相関は、すなわち、画像のテクスチャを示す信号が、それ自身を時間シフトした信号とどれだけ良く整合するかを示す尺度であることから、２枚の画像の同じ対象については、画像値に差がない方がパターンのマッチングがしやすい。

また、本態様では、第２合成画像を合成する場合には、落差のある重み付け（不均等重み付け）による合成を行う。例えば、均等合成した場合、点像分布関数の、周波数に対する振幅値（振幅スペクトル）の零点が多くなり、零点では、振幅値が無限大となって、ブレ補正が不可能となる（ブレ補正処理の破綻）。一方、落差のある重み付け（不均等重み付けによる合成）を行って、２像間の振幅に差を大きくしていくと、零点の数は減少し、やがて零点は発生しなくなる。零点の数が少なくなる（あるいは零点が無くなる）ことによって、ブレ補正処理の破綻の可能性を低減することができる。

（９）本発明の画像処理装置の一態様は、画像の入力処理を行う画像入力部と、前記画像入力部によって入力された、少なくとも２枚の画像を用いて合成画像を生成する合成部と、前記合成部で合成された前記合成画像の像間のずれを検出するずれ検出部と、前記ずれ検出部で検出された、前記像間のずれを補正するずれ補正部と、前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるブレ生成部と、を含む。

本態様によれば、少なくとも２枚の入力画像に基づき、画像のブレ（画像の流し）を生じさせたい領域にブレを生じさせることができる。よって、例えば、より少ない枚数の画像に基づいて、容易に、自然な流し撮り画像を合成することができる。

（１０）本発明のコンピュータプログラムプロダクトの一態様は、画像入力部から入力された複数枚の画像に基づいて、画像の全部または一部にブレが生じている流し撮り画像を生成する処理を、コンピュータに実行させるプログラムコードが記録されたコンピュータプログラムプロダクトであって、前記プログラムコードは、前記画像入力部によって入力された、少なくとも２枚の画像を用いて合成画像を生成するモジュールと、前記合成部で合成された前記合成画像の像間のずれを検出するモジュールと、前記ずれ検出部で検出された、前記像間のずれを補正するモジュールと、前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるモジュールと、を含む。

上述した各構成要素や各処理プロセスの任意の組合せや表現を、コンピュータプログラムプロダクトに変換することもできる。コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体（ＤＶＤ媒体，ハードディスク媒体、メモリ媒体など）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた記録媒体、装置、機器やシステムをいう。上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードはコンピュータプログラムプロダクト内に記録される。

このように、本発明の少なくとも一つの態様によれば、例えば、少ない枚数（少なくとも２枚）の静止画像に基づいて、背景等にブレを生じさせた、いわゆる流し撮り画像を形成可能とすることができる。また、例えば、ユーザの負担ならびに画像処理の負担を軽減することができる。

撮像装置の構成の一例を示す図図２（Ａ）〜図２（Ｄ）は、２枚の画像を用いた、画像合成処理（画像加算処理）の一例を示す図図３（Ａ）〜図３（Ｄ）は、合成された画像に基づいて、主要被写体にブレを生じさせる処理の一例を示す図ずれ補正部用の合成画像（第２合成画像）のモデルとなる２重像を生成するフィルタ関数の一例を示す図フィルタ関数をフーリエ変換した後の振幅スペクトルの例を示す図ずれ量τと、ずれ量τの位置の自己相関関数値Ｒ（τ）との関係の一例を示す図２枚の画像に基づいて流し撮り画像を形成する場合における、処理の手順の一例を示すフローチャート図８（Ａ）および図８（Ｂ）は、背景の一部のみにブレを生じさせる例を示す図図９（Ａ）〜図９（Ｆ）は、３枚の画像に基づいて流し撮り画像を作成する場合における、線ブレの量の決定方法の一例を説明するための図３枚以上の画像に基づいて流し撮り画像を形成する場合における、処理の手順の一例を示すフローチャート

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

（第１の実施形態）
図１は、撮像装置の構成の一例を示す図である。図１に示される撮像装置は、撮像部１０と、記録部２０と、主要被写体設定部３０と、信号処理部４０と、各部の動作を統括的に制御する制御部（ＣＰＵ等）９０と、入出力部（操作ボタン等）１００と、表示部１１０と、外部インターフェース（外部Ｉ／Ｆ）１２０と、を有する。

撮像部１０は、レンズ１２と、絞り１４と、シャッター１６と、撮像素子１８と、を有する。また、信号処理部４０は、画像合成部５０（重み付け合成部５２を有するのが好ましい）と、ずれ検出部６０と、ずれ補正部７０と、ブレ生成部８０と、を有する。

以下、図１に示される撮像装置の構成、ならびに動作の概要を説明する（なお、各部の詳細な動作等は、後述する）。

撮像部１０により撮影された複数枚の画像は、記録部２０に保存される。撮像部１０での撮影時におけるシャッター速は、主要被写体がぶれないシャッター速のうち最もスピードの速いシャッター速が好ましい。但し、ユーザは、入出力部（操作ボタン等）１００や外部インターフェース（外部Ｉ／Ｆ）１２０を介して、任意のシャッター速を設定することができる。また、ユーザは、複数枚の画像を撮影する際の撮影間隔も、入出力部（操作ボタン等）１００や外部インターフェース（外部Ｉ／Ｆ）１２０を介して、自由に調整することができる。

また、複数枚の撮影の際には、ユーザは、流し撮り撮影を行う場合のように、主要被写体を追尾するように撮像装置を動かしながら撮影を行ってもよく、通常撮影時のように撮像装置を動かさずに撮影を行ってもよい。

また、ユーザは、主要被写体設定部３０によって、主要被写体を自由に設定することができる。例えば、カメラのファインダーに主要被写体を設定するための枠が表示され、その枠に囲まれた部分を主要被写体とすることができる。但し、この方法は一例であり、この方法に限定されるものではない。

記録部１２０に記録された複数枚の画像は、信号処理部４０内の画像合成部５０に供給される。画像合成部５０は、例えば、複数枚の画像の画像合成処理を実行する。画像合成部５０に含まれる重み付け合成部５２は、各画像の合成に際して、重み付け係数に差を設けない均等合成と、重み付け係数に差を設けた、いわゆる落差のある重み付け合成（図中、不均等合成と表記されており、以下、不均等合成という場合がある）を実行することができる。均等合成された合成画像は、例えば、ずれ検出部６０に供給される。また、不均等合成された合成画像は、ずれ補正部７０に供給される。

ずれ検出部６０は、例えば、主要被写体領域ついてのずれ量と、主要被写体以外の領域（背景領域）についてのずれ量とを、自己相関ピークに基づいて検出することができる。ずれ検出部６０によって検出されたずれ情報（例えば、主要被写体ならびに背景の双方のずれ量の情報）は、ブレ生成部８０に供給される。

ずれ補正部７０は、例えば、補正アルゴリズムに従って、ブレが生じる前の画像を復元する処理（ずれ補正処理）を実行することができる。なお、ブレを表す点像分布関数ｈ（ｘ，ｙ）として、２重像生成関数（例えば、１次関数）を使用することができる。ずれ補正された画像は、ブレ生成部８０に供給される。

ブレ生成部８０は、ブレを生じさせたい領域（ブレ発生の対象領域）のみに、所望のブレを生じさせることができる。ブレの生成には、例えば、点像分布関数（Point Spread Function：PSF）を利用することができる。例えば、所定の点像分布関数（ＰＳＦ）を用意し、線ブレを生じさせる範囲（２点間の距離）を指定して、画像をフィルタリングすることによって、所望のブレを生じさせることができる。

線ブレの範囲の決定方法としては、例えば、ずれ検出部で求められた、主要被写体以外の領域（背景部分等）に含まれる各パッチのずれ量を用いることができる。また、例えば、背景のずれ量が、所定の閾値（例えば、異常判定用の閾値）よりも大きい場合には、ずれ補正後の主要被写体が一致しておらず、その主要被写体のずれ量が加わっている場合があり得る。このような場合には、背景のずれ量から、ずれ検出部６０で取得されている主要被写体のずれ量を差し引いた値をずれ量として用いることができる。これによって、自然な流し画像を形成することができる。

また、生成するブレの量等は、制御部９０から供給されるブレ調整情報（ずれを微調整するための調整値等）を用いて、適宜、調整することができる。すなわち、ユーザの好みに応じて、ブレ量を、微調整して増減可能とすることもできる。例えば、ずれ検出部６０によって検出されたずれ量に、微調整用の調整値を加えて得られるずれ量に基づいて、線ブレの範囲を定めることができる。

このように、本実施形態では、ブレ生成部８０が、画像のブレ（画像の流し）を生じさせたい領域のみに、例えば、点像分布関数（PSF）を用いて、意図的にブレを生じさせることができる。例えば、主要被写体についてはブレのない状態とし、背景においては、所望のブレを確実に生じさせることができる。

上述の処理は、例えば、少なくとも２枚の画像間の、主要被写体のずれ情報と、主要被写体以外の背景（画像のブレを生じさせたい領域）のずれ情報と、を得ることで実行可能である。つまり、主要被写体をブレのない状態とすることは、時間軸上で隣接する２枚の画像（連続して撮影された、２枚の連続する画像）を画像合成し、各画像のずれ量を検出し、ずれ補正を実行することによって実現できる。

したがって、本実施形態の撮像装置を用いることによって、少なくとも２枚の撮像画像に基づき、画像のブレ（画像の流し）を生じさせたい領域のみに、所望のブレを生じさせることができる。よって、より少ない枚数の画像に基づいて、容易に、自然な流し撮り画像を合成することができ、ユーザの負担ならびに画像処理の負担が軽減される。

次に、連続して撮影された、連続する２枚の画像に基づいて、主要被写体にブレを生じさせるための処理手順の概要について、図２および図３を用いて説明する。まず、図２を参照する。

図２（Ａ）〜図２（Ｄ）は、２枚の画像を用いた、画像合成処理（画像加算処理）の一例を示す図である。図２（Ａ）には第１画像が示され、図２（Ｂ）には第２画像が示されている。第１画像と第２画像は、連続して撮影された画像である。第１画像は、主要被写体である貨物自動車（トラック）２００ａと、背景である木（樹木）２０２ａと、を含む。また、第２画像は、主要被写体である貨物自動車（トラック）２００ｂと、背景である木（樹木）２０２ｂと、を含む。なお、主要被写体設定部３０（図１）によって、貨物自動車２００が主要被写体として選択されているものとする。

画像合成部５０（図１）は、図２（Ａ）に示される第１画像（２００ａ，２０２ａ）と、図２（Ｂ）に示される第２画像（２００ｂ，２０２ｂ）と、を合成する。画像合成方法としては、特別な位置合わせを行わずに、単純に２枚の画像を加算する方法（単純加算合成）と、例えば、主要被写体の位置合わせを行った後に２枚の画像を加算する方法（位置合わせ加算合成）とがある。

図２（Ｃ）は、単純加算による合成画像を示す図であり、図２（Ｄ）は、位置合わせ加算による合成画像を示す図である。図２（Ｃ）の例では、主要被写体（２００ａ,２００ｂ）ならびに背景（２０２ａ，２０２ｂ）が、単純に重ね合わされている。図２（Ｄ）の例では、主要被写体について位置合わせがなされていることから、位置合わせ後の主要被写体２００には、ずれは生じていない。

次に、図３を参照する。図３（Ａ）〜図３（Ｄ）は、合成された画像に基づいて、主要被写体にブレを生じさせる処理の一例を示す図である。図３（Ａ）および図３（Ｂ）は、図２（Ａ）および図２（Ｂ）に示した合成画像を再掲したものである。図３（Ｃ）は、ずれ補正部７０によって、ずれ補正処理が行われた後の画像を示している。ずれ補正によって、主要被写体のずれ、ならびに背景である木（樹木）のずれが補正されて、ずれが解消される。したがって、貨物自動車（トラック）２００ならびに背景である木（樹木）２０２を含む画像が得られる。

図３（Ｄ）は、ブレ生成部８０によって、ブレ生成処理が行われた後の画像を示している。主要被写体２００についてのブレ量はゼロ（図中、点で表されている）であり、背景である木（樹木）２０２には、所定量（図中、線分で示されている）のブレが生じている。このように、ブレ生成の対象である背景（木）のみに、所望のブレを意図的に生じさせることによって、信号処理によって、ユーザが好む撮り画像（流し画像）を得ることができる。

次に、信号処理部４０における各部の動作（処理内容）の具体例について、図４〜図７を参照して説明する。まず、画像合成部５０が行う画像合成処理について説明する。

（画像合成の概要）
画像合成方法としては、上述のとおり、特別な位置合わせを行わずに、単純に２枚の画像を加算する方法（単純加算合成：図２（Ｃ））と、例えば、主要被写体の位置合わせを行った後に２枚の画像を加算する方法（位置合わせ加算合成：図２（Ｄ））とがある。図２（Ｃ）の例では、主要被写体（２００ａ,２００ｂ）ならびに背景（２０２ａ，２０２ｂ）が、単純に重ね合わされている。図２（Ｄ）の例では、主要被写体について位置合わせがなされていることから、位置合わせ後の主要被写体２００には、ずれは生じていない。

（被写体領域の設定）
位置合わせ加算による合成画像を実行する場合、その前提として、主要被写体が設定されている必要がある。ユーザは、まず、図１に示される撮像装置の入出力部１００や外部インターフェース（外部Ｉ／Ｆ）１２０を介して、主要被写体の選択や設定のための情報を入力する。入力された情報は、主要被写体設定部３０に送られる。主要被写体設定部３０は、受信した情報に基づいて、画像中に、主要被写体（ここでは貨物自動車２００（２００ａ，２００ｂ））の領域を設定する。なお、その他の主要被写体の設定方法としては、複数枚の画像の部分領域毎の動きベクトルの推定処理を行い、その動きベクトルのセグメンテーション処理から主要被写体領域の設定を行う方法がある。

例えば、ユーザが主要被写体を追尾するように撮像装置を動かしながら撮影を行った場合、主要被写体の複数枚画像間の動きベクトルは、背景領域に比較し短いものになっていることが予測される。よって、動きベクトルの短い領域を、主要被写体領域とすることができる。但し、この例は一例である。任意の長さの動きベクトルを持つ領域を主要被写体領域としてもよい。

また、このユーザによる主要被写体領域の選択と、動きベクトルに基づく、主要被写体領域の検出とを組み合わせることもできる。例えば、主要被写体設定部３０は、ユーザが選択した画像領域における動きベクトルの値と、実質的に同等の動きベクトルの値をもつ領域を探索し、その結果として検出された領域を、主要被写体領域とすることもできる。

また、画像の中心（中央）の領域を主要被写体領域にしたり、あるいは、ユーザが選択した領域を参考に、グラフカットなどのセグメンテーション技術を用いて主要被写体領域を抽出するなどの処理を行って、主要被写体を設定したりすることもできる。

（重み付け処理）
次に、画像合成部５０が画像合成を行う際に必要となる重み付け処理について説明する。先に説明したように、画像合成部５０は、重み付け合成部５２を有している。したがって、画像合成部５０は、複数枚の画像の加算処理時において、各画像に重み付け処理を行いながら画像を加算することができる。例えば、２枚の画像を加算する場合、例えば、一方の画像の重みを０．６６とし、もう一方の画像の重みを０．３４にすることができる。

画像合成部５０は、複数枚の合成画像を生成することができ、このとき、合成画像毎に、重み付けの比を異ならせることができる。例えば、２枚の合成画像を作成し、１枚を、ずれ検出用の合成画像（第１合成画像）とし、他の１枚は、ずれ補正用の合成画像（第２合成画像）とすることができる。

ここで、ずれ検出用の第１合成画像の合成に際しては、均等合成が好ましい。すなわち、２つの画像にそれぞれ０．５、０．５の重み付けをして、各画像を合成することが好ましい。これは、ずれ検出部において自己相関関数値による合成画像内の像のずれ量の検出を行う際に、合成画像の像のずれ量の位置の自己相関値のピークを明確に求めることができるからである。

自己相関は、すなわち、画像のテクスチャを示す信号が、それ自身を時間シフトした信号とどれだけ良く整合するかを示す尺度であることから、２枚の画像の同じ対象については、画像値に差がない方がパターンのマッチングがしやすい。

一方、ずれ補正用の第２合成画像の合成に際しては、重み付けを変えて、不均等合成（落差のある重み付けを用いた画像合成）をするのが好ましい。ずれ補正部用の合成画像としては、複数の画像の重み付けの際に、重みに落差を付けて割り振ることが好ましい。例えば、２つの画像にそれぞれ、０．６６、０．３４などの重み付けをして、各画像を合成することが好ましい。これは、ずれ補正部７０において、合成画像のずれ補正を行う際に、良好にずれ補正処理を行うことができる点を考慮したものである。以下、図３および図４を参照して説明する。

図４は、ずれ補正部用の合成画像（第２合成画像）のモデルとなる２重像を生成するフィルタ関数ｈ（ｘ）の一例を示す図である。図５は、フィルタ関数ｈ（ｘ）をフーリエ変換した後の振幅スペクトルの例を示す図である。

ずれ補正部用の合成画像は、画像の部分領域ごとにその性質を調べるとその画像は像が２重に重なっている２重像とみなせる。この２枚の画像が重なっている２重画像を生成するフィルタ関数ｈ（ｘ）を、以下のように定義する。ここで、説明を簡単にするために１次元の関数とする。この関数を、図に示したものが図４である。
ここで、δはデルタ関数、ｐは２重像の重像間変位、ａは重像間の信号の強度比を表している。このフィルタ関数を原画像に施すことで、２重像である合成画像を生成できる。
この関数をフーリエ変換すると、以下のような関数になる。
このフーリエ変換後の関数の、振幅スペクトルを表したものが図４である。図５は、２重像間の信号強度比ａを変化させたとき（ａ＝０，ａ＝０．１５，ａ＝０．３０）の、フーリエ変換後の関数Ｈ（ｕ）の振幅スペクトルをあらわしている。グラフから、ａ＝０の場合（すなわち、２つの像の信号強度が等しい場合）、Ｈ（ｕ）の逆フィルタはゼロ点を持つために復元処理は不安定になることが分かる。

すなわち、ずれ補正部７０は、以下の式を用いてずれ補正を行うことになる。
ｆ（ｘ，ｙ）＝｛１／ｈ（ｘ，ｙ）｝・ｇ（ｘ，ｙ）
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）（ここで、記号＊は畳み込み積分を表す）。
ｆ（ｘ，ｙ）は、ブレる前の画像であり、ｈ（ｘ，ｙ）は、ブレを表す点像分布関数であり、ｇ（ｘ，ｙ）は、ブレ後の画像である。
均等合成を用いた場合、点像分布関数ｈ（ｘ，ｙ）の、周波数に対する振幅値（振幅スペクトル）の零点が多くなり、零点では、１／ｈ（ｘ，ｙ）の項が無限大となって、ブレ補正が不可能となる（ブレ補正処理の破綻）。これに対して、不均等合成（落差のある重み付けを用いた画像合成）を用いて、２像間の振幅に差を大きくしていくと、零点の数は減少し、やがて零点は発生しなくなる（図５）。つまり、零点の数が少なくなる（あるいは零点が無くなる）ことによって、ブレ補正処理の破綻の可能性を低減できる。よって、画像合成部５０において、複数の画像に重み付けをする際に、重みに落差を付けて割り振ることが好ましい。

（ずれ検出処理）
上述のとおり、画像合成部５０において合成された合成画像は、ずれ検出部６０に供給され、合成画像に含まれる多重化された像のずれの検出処理が行われる。ずれ検出部６０は、例えば、画像の部分領域毎に、自己相関関数による自己相関関数値の探索を行い、多重化されたずれの検出を行う。

具体的には、主要被写体についてのずれ量、背景についてのずれ量の各々を、自己相関ピークに基づいて検出するのが好ましい。画像合成時に主要被写体の位置合わせを行った場合でも、必ずしもずれが零とは限らない。ブレ補正やブレ生成の精度を担保するために、主要被写体のずれ量も得ておく方がよいからである。但し、主要被写体についてのずれ量が所定値以下なら、ずれ量は零とみなすのがよい。

また、自己相関ピーク検出は、例えば、画像の部分領域（画像パッチ：２０画素×２０画素〜１００画素×１００画素程度）を基本単位として実行することができる。但し、ずれが正確に検出できない例も有り得るため、この場合の対応策を、あらかじめ講じておくのが望ましい。

（ずれが正確に検出できない場合の例１）
例えば、主要被写体領域と背景領域等との物体境界上では、両者のテクスチャ（画像の特徴）が明確ではない場合が多く、ずれ検出量に誤差を含みやすい。よって、このずれ量に基づいてずれ補正を行うと、例えば、主要被写体と背景の境界部分で、輪郭にぶれが生じやすい。この場合の対策としては、以下の方法が考えられる。

すなわち、後述するブレ生成処理の際、背景のブレ量を少し多めに設定して、背景のブレで、主要被写体の輪郭のブレ部分を覆うことによって、主要被写体の輪郭を、よりシャープに見せることが可能である。

また、画像パッチを単位とした検出ではなく、対象とする画像パッチの周囲の画像パッチのずれ量を利用する（例えば、対象となるパッチの近傍に位置する８個の周辺パッチのずれ量の平均値を、その対象となるパッチのずれ量とする）。周辺の複数のパッチのずれ量から、一つのパッチのずれ量を推定することによって、ずれ量の検出精度の向上が期待できる。

（ずれが正確に検出できない場合の例２）
画像パッチのテクスチャ（パッチ内の画素の変化をパッチ全体から見た場合の特徴点）が不明確である場合には、ずれが正確に検出できない。例えば、自己相関検出の対象である画像パッチに有効なテクスチャ領域が少ない場合、つまり、画像パッチ全体における画素値の分布に変化が乏しい場合に、ずれ検出が正確に行えない可能性が高い。なお、テクスチャの特徴量としては、パッチの画素値の分散量を使用することができる。

この場合の対策としては、例えば、以下の方法を採ることができる。すなわち、画像パッチを単位とした検出ではなく、対象とする画像パッチの周囲の画像パッチのずれ量を利用する。例えば、対象となるパッチの近傍に位置する８個の周辺パッチのずれ量の平均値を、その対象となるパッチのずれ量とする。周辺の複数のパッチのずれ量から、一つのパッチのずれ量を推定することによって、ずれ量の検出精度の向上が期待できる。

（ずれ検出処理に用いる自己相関関数の具体例）
ずれ検出処理に用いる自己相関関数の具体例を以下に示す。

このＲ（τ）の第２のピーク（２番目のピーク）の時のずれ量τを、ずれ検出部６０における合成画像に含まれる多重化された像のずれ量とする（図６参照）。図６は、ずれ量τと、ずれ量τの位置の自己相関関数値Ｒ（τ）との関係の一例を示す図である。図３の例では、τ１において、第２のピークが生じている。

なお、ずれ検出処理は、主要被写体領域、背景領域の両方の領域においてずれ量の検出を行う。画像合成部において、主要被写体に合わせた位置合わせを行った場合でも、位置合わせ処理に失敗する場合があるので、主要被写体のずれ量の検出を行うことが好ましい。この場合、主要被写体領域において、自己相関関数の第２のピークがある一定の閾値よりも小さい場合は、位置合わせが正しく行われているとみなし、ずれ量を０とする。

なお、自己相関関数値を求める前の前処理として、画像にフィルタリング処理を施してもよい。フィルタリング処理は、例えば、ラプラシアンフィルタなどのハイパスフィルタ、ＬＯＧフィルタなどのバンドパスフィルタなどを用いる。このような前処理を行うことによって、自己相関値を高精度に検出することが可能となる。

（ずれ補正処理）
ずれ補正部７０は、ずれ補正用の合成画像（不均等合成された第２合成画像）と、ずれ検出部６０において検出された、合成画像に含まれる多重化（上記の例では２重化）された像のずれ量の情報と、に基づいて、画像のずれを補正する。

先に図４を用いて説明したように、ずれ補正用の合成画像（第２合成画像）は、画像の部分領域ごとにその性質を調べるとその画像は像が２重に重なっている２重像とみなせる。そこで、ずれ補正用の合成画像（第２合成画像）を画像の部分領域ごとに２重像画像であるとみなし、２重像を1重像（２重像のずれが補正された画像）へと変換する処理を、合成画像の部分領域に施す。

すなわち、上述のとおり、ブレ後の画像は、ブレを表す点像分布関数ｈ（ｘ，ｙ）を用いて表すことができる。点像分布関数ｈ（ｘ，ｙ）としては、２重像生成関数（例えば、１次関数）を用いることができる。したがって、ずれ補正部７０は、先に説明したように、以下の式を用いてずれ補正を行うことができる。
ｆ（ｘ，ｙ）＝｛１／ｈ（ｘ，ｙ）｝・ｇ（ｘ，ｙ）
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）（ここで、記号＊は畳み込み積分を表す）。
ｆ（ｘ，ｙ）は、ブレる前の画像であり、ｈ（ｘ，ｙ）は、ブレを表す点像分布関数であり、ｇ（ｘ，ｙ）は、ブレ後の画像である。

具体的には、２重像画像を１重像へと補正するための処理は、例えば、以下の式によって表すことができる。

ここで、ｘは画像座標、ｇは合成画像、ｆは補正画像、ｐはずれ検出部から送信された多重化された像間のずれ量、Ａ（Ｐ）は重像間の変形量ｐで画像を変形するための行列、γは多重化された像間の重みの比、βは像の明るさを正規化させる正規化変数である。ｎは復元処理の精度を制御する変数である。ｇ（ｘ）は、画像座標ｘ周辺の合成画像パッチ、ｐ（ｘ）は画像座標ｘにおける多重化された像間のずれ量、ｆ（ｘ，ｐ）はｐ（ｘ）を用いて補正された画像座標ｘ周辺の補正画像パッチを表す。この補正画像パッチｆ（ｘ，ｐ）を複数の画像座標ｘにおいてパッチの重複領域を許しながら求め、その補正パッチを重み付け加算平均などの処理で統合することにより補正画像を得る。なお、βは、任意の値をとることが可能であるが、γに応じて決定される変数とすることもできる。例えば、β＝１／（１＋γ）としてもよい。

また、補正アルゴリズムとしては、例えば、特開２００９−１３４３５７号公報）に記載の方法（２重像のモデルに対して逆フィルタを実行して、ブレ前の画像を復元する方法）のアルゴリズムを用いることができる。

（ブレ生成処理）
ここでは、図３（Ｄ）に示されるような、主要被写体領域以外の背景領域の全部にブレを生じさせる例について説明する。但し、この例は一例であり、これに限定されるものではない。例えば、背景のうちの一部にブレを生じさせてもよい。例えば、主要被写体（地面を歩いている鳥の足を除く部分）に対する背景（鳥の足、地面）のうちの「鳥の足」のみにブレを生じさせることもできる。なお、背景の一部のみにブレを生じさせる例は、第２の実施形態において説明する。

また、例外的な処理ではあるが、例えば、ユーザが、遊び感覚で、画像全部に強制的にブレを与えるというような場合もあり得る。したがって、「ずれ補正がされた画像の全部または一部」を、「画像のブレ（画像の流し）を生じさせたい領域」とすることが可能である。

例えば、背景領域の全部に対してブレを生じさせる場合（図３（Ｄ）の例）、背景領域に含まれる各画像パッチに対して、点像分布関数（Point Spread Function：PSF）によるフィルタリングを実行して、線ブレを生じさせる。ここで、線ブレを生じさせる範囲の決定方法としては、例えば、以下の方法がある。
（１）ずれ検出部で求められた、背景領域に含まれる各パッチのずれ量を用いる。
（２）ずれ検出部において、対象とする画像パッチの周囲の画像パッチのずれ量を利用して求められたずれ量（例えば、対象となるパッチの近傍に位置する８個の周辺パッチのずれ量の平均値を、その対象となるパッチのずれ量とする）を用いる。
（３）但し、ずれ量が、異常判定用の閾値よりも大きい場合には、主要被写体が一致しておらず、その主要被写体のずれ量が加わっている場合があり得ることから、異常のずれ量から、ずれ検出部で取得されている主要被写体のずれ量を差し引いた値をずれ量として用いることができる。
（４）さらに、上記（１）の例の場合、背景等のブレ量を少し多めに設定して、背景等のブレで、主要被写体の輪郭のブレ部分を覆うことによって、主要被写体の輪郭を、よりシャープに見せることが可能である（ブレ生成による画像補正）。
（５）ユーザ設定に対応して微調整用の調整値を生成し、ずれ検出部で検出されたずれ量に、その調整値を加えてずれ範囲を定める。すなわち、より大きいブレ量を設定したり、少ないブレ量を設定したりすることにより、ユーザの好みにあった流し撮り画像とすることもできる。例えば、ユーザが、入出力部１００や外部インターフェース（外部Ｉ／Ｆ）１２０を介して、流し量多め、少なめの設定を行うことができる。

ブレ生成部８０においてブレが生成された画像は、例えば、記録部２０に記憶される。記憶された画像は、例えば、観賞用またはその他の用途に利用することができる。

（ブレ生成による画像補正、ずれ補正の失敗低減のための処理について）
上述の（４）の例で示したように、ブレ生成を画像補正に応用することもできる。例えば、ずれ補正部７０によるずれ補正処理が行えなかった領域（ずれ補正に失敗した領域）に関して、ブレ生成部８０によるブレ生成の量を、通常よりも少し多めに設定して、ずれ補正処理の失敗を補うようにしてもよい。

なお、このような対策を採ることと並行して、ずれ補正の失敗自体を低減するのが好ましい。ずれ補正の失敗低減のために、例えば、以下のような対策を採ることができる。

ずれ補正部７０において、ずれ補正処理に失敗する理由の一つとしては、ずれ検出部６０において検出されたずれ量に誤りがあった場合があげられる。このようなずれ検出部６０におけるずれ量の誤りは、検出に用いている自己相関値に明確なピークが得られない場合に起こる。このような明確なピークが得られない場合は、例えば、主要被写体領域と背景領域との境界上、すなわち物体境界上でたびたび発生する。

そこで、自己相関値がある閾値以下の場合は、ブレの生成を通常よりも多めに施すなどしてもよい。もしくは、自己相関値がある閾値以下の場合は、対象パッチ周辺のパッチにおいて検出されたずれ量を利用するなどしてもよい。具体的には、対象パッチの８近傍のパッチで検出されたずれ量の平均値を対象パッチのずれ量にするなどする。

また、ずれ量検出部における、ずれ量検出の誤りは、ずれ量検出に用いた画像パッチ（ｙ１）に有効なテクスチャ領域が少なく、画像パッチが全体的に平坦に近い場合にも起こり得る。そのような場合に備えて、ずれ検出部６０において、ずれ検出処理を行う場合に、予め対象パッチ（ｙ１）のテクスチャの量を計測し、テクスチャ量がある閾値以下の場合は、対象パッチ周辺のパッチにおいて検出されたずれ量を利用するなどしてもよい。具体的には、対象パッチの８近傍のパッチで検出されたずれ量の平均値を対象パッチのずれ量にするなどしてもよい。テクスチャの量の検出には、対象パッチの画素値の分散量などの値を用いることができる。

本発明の実施形態における処理手順の一例が、図７に示される。図７は、２枚の画像に基づいて流し撮り画像を形成する場合における、処理の手順の一例を示すフローチャートである。

ステップＳＴ１では、ユーザが撮像装置の撮影モードを流し撮りモードに設定する。ステップＳＴ２では、被写体の画像を２枚撮影する。ここでシャッター速および撮影の間隔は、ユーザが自由に設定できるものとする。ステップＳＴ３では、撮影された画像２枚の記録を行う。ステップＳＴ４では、撮影された画像２枚のうちの１枚を基準画像と設定する。ステップＳＴ５では、基準画像における、主要被写体領域の設定を行う。

ステップＳＴ６では、２枚の画像の合成を行う。主要被写体領域の位置あわせを行い、２枚画像の合成を行う。もしくは、単純加算を行って画像を合成する。合成画像は２枚、作成する。１枚は、ずれ検出用の第１合成画像とし、他の１枚は、ずれ補正用の第２合成画像とする。ずれ量検出用の第１合成画像を作成する際には、均等の重み付けを行った（例えば０．５、０．５）画像合成を実施する。また、ずれ補正用の第２合成画像を作成する際には、不均等合成（落差のある重み付けを用いた画像合成）を使用する。例えば、０．６６、０．３４の重み付けとすることができる。

ステップＳＴ７では、ステップ６で合成された合成画像のずれ量を部分領域毎に検出する。ずれ量の検出は合成画像の部分領域（パッチ）ごとに、自己相関関数を用いて算出し、その自己相関関数値の最大値の位置のずれ量を求めるずれ量とし、合成画像の全領域において、ずれ量を検出する。

ステップＳＴ８では、ステップＳＴ６で合成された合成画像およびステップＳＴ７で検出された合成画像のずれ量を用いて、合成画像に含まれる像のずれの補正を行う。ずれの補正方法としては、例えば、特開２００９−１３４３５７号公報に記載される方法を使用することができる。

ステップＳＴ９では、補正された合成画像に部分領域毎にブレを生成することで流し撮り画像を作成する。ここで、ステップＳＴ５で設定した主要被写体領域にはブレを生成しない。ステップＳＴ９で生成するブレ量は、ステップＳＴ７で検出されたずれ量とすることができる。また、ステップＳＴ７で検出されたブレ量が、例えば閾値と比較して異常であった場合には、生成するブレ量を、ステップＳＴ７で検出されたずれ量から、ステップＳＴ７で検出された主要被写体のずれ量を差し引いたずれ量とすることができる。

ステップＳＴ１０では、ステップＳＴ９で生成された流し撮り画像において、ユーザの好みにより、多めのブレ量、少なめのブレ量などの設定を行え、ユーザの指定があった場合には、ユーザの指定を加味し、再度ステップＳＴ８で補正された合成画像に、部分領域毎にブレを生成する。

ステップＳＴ１１では、生成された流し撮り画像の出力処理（信号出力処理）を行う。出力された画像は、記録部に記録される。

（第２の実施形態）
本実施形態では、背景の一部のみにブレを生じさせる例について説明する。例えば、主要被写体以外の背景領域であって、２枚の画像間のずれ量が所定範囲（ある程度大きなずれが認められる範囲）の領域のみを、画像流しの形成対象とすることができる。すなわち、ずれ量の大きさに基づいて、ブレ発生対象を決定することができる。例えば、背景領域のズレ量の大きい領域の特定方法としては、ズレ量を所定の閾値と比較するという方法を採用することができる。

図８（Ａ）および図８（Ｂ）は、背景の一部のみにブレを生じさせる例を示す図である。図８（Ａ）に示される画像は、画像合成部５０によって、主要被写体についての位置合わせを行った後に、流し撮りされた２枚の画像を合成して得られた合成画像である。図８（Ａ）に示される画像には、戸外でフェンシングの練習をする選手（主要被写体）２０４と、背景である貨物自動車（トラック）２００ａ，２００ｂと、背景である木（樹木）２０２ａ，２０２ｂとが含まれている。

図８（Ａ）から明らかなように、背景である貨物自動車（トラック）２００ａ，２００ｂについてのずれ量の方が、背景である木（樹木）２０２ａ，２０２ｂについてのずれ量よりも大きい。ずれ検出部６０は、背景領域の各々のズレ量を、所定の閾値と比較する。このとき、例えば、貨物自動車（トラック）２００ａ，２００ｂについてのずれ量は、その閾値を超え、一方、木（樹木）２０２ａ，２０２ｂについてのずれ量は、その閾値を下回ったとする。各部のずれ量を閾値と比較した結果を示す情報（閾値比較結果情報）は、ずれ検出部６０からブレ生成部８０に供給される。

また、ずれ補正部７０は、背景である貨物自動車（トラック）２００ａ，２００ｂのずれ、ならびに、背景である木（樹木）２０２ａ，２０２ｂのずれを補正した画像を作成する。ずれが補正された画像は、ブレ生成部８０に供給される。

ブレ生成部８０は、閾値比較結果情報に基づいて、ブレ生成の対象として、背景である貨物自動車（トラック）２００ａ，２００ｂを選択する。木（樹木）２０２ａ，２０２ｂについては、ずれ量が、閾値を超えていないことから、ブレ生成の対象とはしない。すなわち、ブレ生成部８０は、貨物自動車（トラック）２００についてのみ、第１の実施形態で説明した方法（点像分布関数（ＰＳＦ）を使用する方法）によって、線ブレを発生させる。この結果、図８（Ｂ）に示すような流し撮り画像が得られる。

（第３の実施形態）
本実施形態では、３枚の画像に基づいて流し撮り画像を作成する場合について説明する。３枚の画像を使用する場合も、基本的な処理手順は、前掲の実施形態と同様である。

例えば、３枚のうちの連続する２枚の画像について、前掲の実施形態における処理を行って、第１画像合成、第１ずれ量の検出ならびに第１ずれ補正を実行する。次に、第１ずれ補正された第１画像と、３枚のうちの残りの画像とを合成し、上記と同様に、第２ずれ量の検出と、第２ずれ補正を実行する。そして、第１ずれ検出ならびに第２ずれ検出にて検出されたずれ量に基づいて線ブレの量を決定し、第２ずれ補正された画像中の、ブレを生じさせたい領域にのみ線ブレを生じさせる。３枚以上の画像を使用する場合も同様である。基礎となる画像枚数を増やせば、基礎データ量が増えることから、画質を向上させることが可能である。

３枚の画像を使用する場合、線ブレの量をどのように決定するかが問題となるが、例えば、図９に示す方法によって、適切な線ブレの量を決定することができる。図９（Ａ）〜図９（Ｆ）は、３枚の画像に基づいて流し撮り画像を作成する場合における、線ブレの量の決定方法の一例を説明するための図である。

図９（Ａ）は、連続して撮影された、連続する３枚の画像（第１画像〜第３画像）を単純に加算して得られる合成画像（単純加算による合成画像）を示している。第１画像は、主要被写体である貨物自動車（トラック）２００ａと、背景である木（樹木）２０２ａと、を含む。第２画像は、主要被写体である貨物自動車（トラック）２００ｂと、背景である木（樹木）２０２ｂと、を含む。第３画像は、主要被写体である貨物自動車（トラック）２００ｃと、背景である木（樹木）２０２ｃと、を含む。図９（Ｂ）に示されるように、第１画像は、時刻ｔ１に撮影された画像であり、第２画像は時刻ｔ２に撮影された画像であり、第３画像は時刻ｔ３に撮影された画像である。なお、主要被写体設定部３０（図１）によって、貨物自動車２００が主要被写体として選択されているものとする。

ずれ量を検出するためには、検出の基準となる画像が必要である。図９（Ｂ）の例では、第１画像（２００ａ，２０２ａ）を基準画像としている。ずれ検出部６０は、この基準画像（第１画像）に含まれる主要被写体２００ａならびに背景２０２ａの各々を基準として、第２画像ならびに第３画像における主要被写体と背景の各々についてのずれ量を検出する。第２画像の主要被写体２００ｂについてのずれ量はＶ１であり、第２画像の背景２０２ｂについてのずれ量はＶ２である。同様に、第３画像の主要被写体２００ｃについてのずれ量はＶ３であり、第３画像の背景２０２ｃについてのずれ量はＶ４である。

主要被写体２００についての、トータル（合計）のずれ量は（Ｖ１＋Ｖ３）であり、背景２０２についての、トータルのずれ量は（Ｖ２＋Ｖ４）である。ブレ生成部８０は、主要被写体２００についてブレを生じさせる場合には、図９（Ｅ）に示すように、トータルのずれ量（Ｖ１＋Ｖ３）をブレ量とすることができ、また、背景２０２についてブレを生じさせる場合には、図９（Ｆ）に示すように、トータルのずれ量（Ｖ２＋Ｖ４）をブレ量とすることができる。

但し、主要被写体２００についてのトータルのずれ量（Ｖ１＋Ｖ３）、あるいは背景２０２についてのトータルのずれ量（Ｖ２＋Ｖ４）が大きすぎると、ブレを生じさせたときに、不自然な画像となるおそれがある。そこで、例えば、所定の閾値と、ブレを生じさせる対象領域におけるトータルのずれ量とを比較し、トータルのずれ量が所定の閾値を超えている場合には、ブレを生じさせる対象領域（２００および２０２の少なくとも一方）のトータルのずれ量（上記の例では、（Ｖ１＋Ｖ３）あるいは（Ｖ２＋Ｖ４））から、主要被写体２００についてのトータルのずれ量（Ｖ１＋Ｖ３）を差し引いて得られるずれ量を、生成する線ブレの量とすることができる。このようにすれば、線ブレの量を、適切な範囲内に収めることができる。

すなわち、この場合、主要被写体２００については、図９（Ｅ）に示すように、線ブレの量はゼロ（＝（Ｖ１＋Ｖ３）−（Ｖ１＋Ｖ３））となる。一方、背景２０２については、図９（Ｆ）に示すように、線ブレの量はＶｘ（＝（Ｖ２＋Ｖ４）−（Ｖ１＋Ｖ３））となる。

次に、３枚以上の画像に基づいて、流し撮り画像を作成する場合の処理手順について説明する。図１０は、３枚以上の画像に基づいて流し撮り画像を形成する場合における、処理の手順の一例を示すフローチャートである。

ステップＳＴ１では、ユーザが撮像装置の撮影モードを流し撮りモードに設定する。ステップＳＴ２では、ユーザが、画像を複数枚撮影する。ここでシャッター速および撮影の間隔は、ユーザが自由に設定できるものとする。ステップＳＴ３では、撮影された複数枚の画像が記憶部２０に記録される。

ステップＳＴ４では、ステップで記録された複数枚画像うちの２枚を選択する。この２枚は、複数枚の画像のうちの、撮影時間的に連続する２枚の画像とする。ステップＳＴ５では、ステップＳＴ４で選択された画像２枚のうちの１枚を基準画像と設定する。ステップＳＴ６では、主要被写体設定部３０が、基準画像における主要被写体領域の設定を実行する。ユーザは、入出力部１００や外部インターフェース（外部Ｉ／Ｆ）１２０を介して、自由に主要被写体を設定することができる。

ステップＳＴ７では、複数枚のうちの２枚（連続する２枚）の画像の合成を行う。このとき、主要被写体領域の位置あわせを行って各画像を合成することができ、あるいは、単純に加算を行って画像を合成することもできる。先に説明したように、２枚の合成画像を作成する。ずれ量の検出用の合成画像（第１合成画像）の合成の際には、均等の重み付け（０．５、０．５）による画像合成を行うのが好ましい。また、ずれ補正用の合成画像（第２合成画像）の合成の際には、重みに落差を付けた重み付け（例えば０．６６、０．３４など）による画像合成を行うのが好ましい。

ステップＳＴ８では、ステップＳＴ６で合成された合成画像のずれ量を、部分領域毎に検出する。ずれ量の検出は、合成画像の部分領域（パッチ）ごとに、自己相関関数を用いて算出し、その自己相関関数値の最大値の位置のずれ量を求めてずれ量とし、また、合成画像の全領域において、ずれ量を検出する。

ステップＳＴ９では、ステップＳＴ６で合成された合成画像、およびステップＳＴ７で検出された合成画像のずれ量を用いて、合成画像に含まれる像のずれの補正が行われる。ずれの補正方法としては、例えば、特開２００９−１３４３５７号公報に記載されている方法を用いることができる。

ステップＳＴ１０では、撮影された画像のうち選択されていない画像があるかないかを判断する。選択されていない画像がある場合は、ステップＳＴ４に戻り、選択されていない画像がない場合は、ステップＳＴ１１に移行する。ステップＳＴ１０から、ステップＳＴ４に移行した場合、ステップＳＴ４にて使用される２枚の画像は、複数枚の画像のうちの未選択の画像と、ステップＳＴ９で補正された画像である。これらの２枚の画像は、撮影時間的に連続する２枚の画像であることが好ましい。

ステップＳＴ１１では、ステップＳＴ９でずれが補正された画像に、部分領域毎にブレを生成することによって、流し撮り画像を作成する。ここでは、ステップＳＴ５で設定した主要被写体領域にはブレを生成しないものとする。

また、ステップＳＴ９で生成するブレ量は、図９（Ｅ）および図９（Ｆ）を用いて説明したように、「複数の２枚の画像の組において、ステップＳＴ７で検出された、各ずれ量を統合したずれ量」とすることができる。また、ステップＳＴ７で検出されたブレ量が異常であった場合には、複数の２枚の画像の組において、ステップＳＴ７で検出された、背景についてのずれ量の合計から、ステップＳＴ７で検出された主要被写体のずれ量の合計分を差し引いたずれ量」とすることができる。

ステップＳＴ１２では、ステップＳＴ１１で生成された流し撮り画像において、ユーザの好みにより、多めのブレ量、少なめのブレ量などの設定を行え、ユーザの指定があった場合、ユーザの指定を加味し、再度、ステップＳＴ８でずれ補正された画像に対して、部分領域毎にブレを生成させる。ステップＳＴ１３では、生成された流し撮り画像の出力処理を行う。生成された流し撮り画像は、撮像装置の記録部２０に記録する。

このように、本発明の少なくとも一つの実施形態によれば、例えば、少なくとも２枚の撮像画像に基づき、画像のブレ（画像の流し）を生じさせたい領域にブレを生じさせることができる。よって、例えば、より少ない枚数の画像に基づいて、容易に、自然な流し撮り画像を合成することができる。また、例えば、流し撮り撮影における、ユーザの負担ならびに画像処理の負担を軽減することができる。

以上、いくつかの実施形態について説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるものである。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０撮像部、２０記録部、３０主要被写体設定部、４０信号処理部、
５０画像合成部、６０ずれ検出部、７０ずれ補正部、８０ブレ生成部、
９０制御部、１００入出力部、１１０表示部、
１２０外部インターフェース（外部Ｉ／Ｆ）、
２００（２００ａ〜２００ｃ）主要被写体（主要被写体領域）、
２０２（２０２ａ〜２０２ｃ）背景（背景領域）

Claims

撮像部と、
前記撮像部で撮影された、少なくとも２枚の画像を用いて合成画像を生成する合成部と、
前記合成部で合成された前記合成画像の像間のずれを検出するずれ検出部と、
前記ずれ検出部で検出された、前記像間のずれを補正するずれ補正部と、
前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるブレ生成部と、
を含むことを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記主要被写体を設定する主要被写体設定部を有し、
前記ブレ生成部は、
前記主要被写体設定部によって設定された主要被写体領域以外の領域の全部または一部にブレを発生させることを特徴とする撮像装置。
請求項２記載の撮像装置であって、
前記ブレ生成部は、
前記ずれ検出部で検出されたずれ量に基づいて、所定サイズの画像パッチ毎に線ブレの範囲を決定し、前記画像パッチに対して点像分布関数によるフィルタリングを実行して、前記主要被写体領域以外の領域の全部または一部に線ブレを発生させることを特徴とする撮像装置。
請求項３記載の撮像装置であって、
前記ずれ検出部では、前記主要被写体領域における第１ずれ量と、前記主要被写体領域以外の領域における第２ずれ量とを検出し、
前記ブレ生成部は、
前記第２ずれ量、あるいは、前記第２ずれ量から前記第１ずれ量を減算して得られるずれ量に基づいて、前記線ブレの範囲を決定することを特徴とする撮像装置。
請求項３記載の撮像装置であって、
前記ブレ生成部は、
主要被写体領域とブレ発生の対象領域との境界線上の画像領域については、前記ずれ検出部で検出されたずれ量に、境界画像補正用の調整値を加算して得られるずれ量に基づいて、前記線ブレの範囲を決定することを特徴とする撮像装置。
請求項３記載の撮像装置であって、
前記ずれ検出部は、
前記ブレ発生の対象領域に含まれる、フィルタリング対象の画像パッチのテクスチャの特徴量が所定値以下であるときは、前記フィルタリング対象の画像パッチの周囲に位置する、複数の画像パッチのずれ量に基づいて前記フィルタリング対象の画像パッチのずれ量を推定し、
前記ブレ生成部は、
前記推定されたずれ量に基づいて、前記線ブレの範囲を決定することを特徴とする撮像装置。
請求項３〜請求項６のいずれかに記載の撮像装置であって、
ユーザ設定部を有し、
前記ブレ生成部は、
前記ユーザ設定部から入力されるブレ量の増減情報に基づいて、前記先ブレの範囲を増減させることを特徴とする撮像装置。
請求項１〜請求項７のいずれかに記載の撮像装置であって、
前記合成部は、
２枚の画像に基づいて重み付け合成を実行して、前記ずれ検出部によるずれ検出用の第１合成画像と、前記ずれ補正部によるずれ補正用の第２合成画像と、を形成し、
前記第１合成画像を形成する場合には、均等の重み付けを採用し、前記第２合成画像を形成する場合には、落差のある重み付けを採用することを特徴とする撮像装置。
画像の入力処理を行う画像入力部と、
前記画像入力部によって入力された、少なくとも２枚の画像を用いて合成画像を生成する合成部と、
前記合成部で合成された前記合成画像の像間のずれを検出するずれ検出部と、
前記ずれ検出部で検出された、前記像間のずれを補正するずれ補正部と、
前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるブレ生成部と、
を含むことを特徴とする画像処理装置。
画像入力部から入力された複数枚の画像に基づいて、画像の全部または一部にブレが生じている流し撮り画像を生成する処理を、コンピュータに実行させるプログラムコードが記録されたコンピュータプログラムプロダクトであって、
前記プログラムコードは、
前記画像入力部によって入力された、少なくとも２枚の画像を用いて合成画像を生成するモジュールと、
前記合成部で合成された前記合成画像の像間のずれを検出するモジュールと、
前記ずれ検出部で検出された、前記像間のずれを補正するモジュールと、
前記ずれ検出部で検出されたずれに基づいて、前記像間のずれが補正された、ずれ補正後の合成画像の全部または一部にブレを発生させるモジュールと、
を含むことを特徴とするコンピュータプログラムプロダクト。