JP7670115B2 - 制御装置、制御方法、プログラム - Google Patents

Description

本技術は制御装置、制御方法、プログラムに関し、特に画像の合成処理のユーザインタフェースに関する。

複数の画像を合成する画像合成処理を行い、多様な画作りを行うことは知られている。
下記特許文献１では、熟練を必要とせずに、画像合成を行うことで、長時間露光を利用した先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果を容易に実現できるようにする技術やそのためのユーザインタフェースについて開示されている。

特開２００９－２３２３８５号公報

ところで合成処理を行うユーザは、合成処理の対象とする複数の画像データを選択する操作を行うことになるが、合成する対象の画像データが増えると、ユーザインタフェース画面が煩雑化することや各画像の視認性や操作性が低下することがある。

そこで本開示では、画像合成のための操作において視認性や操作性を向上させるユーザインタフェースを提案することを目的とする。

本技術に係る制御装置は、時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させる制御を行うユーザインタフェース制御部を備える。
合成する時間的範囲の先頭画像と終端画像を少なくとも同時に表示させ、ユーザがこれらを確認できるようにする。
そして前記ユーザインタフェース制御部は、前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を行う。
例えば固定領域又は固定領域の候補について数値や表示態様の違いなどにより、適性度がユーザに提示されるようにする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像と前記終端画像が、一画面内で画面遷移を行わずに並存して表示される配置で表示されるようにする制御を行うことが考えられる。
例えば画面のスクロールを行わなくとも、先頭画像と終端画像が同時に表示され見比べることができる状態とする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像の合成処理によって得られる合成画像についてのシャッタースピードの表示制御を行うことが考えられる。
時間的に連続した画像を合成することで、合成画像は、合成範囲内の個々の画像とはシャッタースピードが異なるものとなる。そのシャッタースピードを表示させる。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像、又は前記終端画像の変更操作に応じて、前記先頭画像、又は前記終端画像の設定を変更することが考えられる。
ユーザが先頭画像、終端画像の一方又は両方を任意に選択できるようにする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記画像群についての時間軸表示を実行させるとともに、前記時間軸表示に対する操作を、前記先頭画像又は前記終端画像の変更操作とすることが考えられる。
例えば画像群の時間軸を表現するスライドバーを表示させてユーザが操作可能とする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、操作に応じて前記先頭画像又は前記終端画像として表示させる画像を変更することが考えられる。
例えば再生操作やコマ送り操作で、先頭画像や終端画像を切り換えていく。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、シャッタースピードの入力操作に応じて前記先頭画像又は前記終端画像の設定を行うことが考えられる。
例えばシャッタースピードを入力可能なユーザインタフェース画面を提供する。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域を表示させる制御を行うことが考えられる。
複数画像を合成する際に、撮像画像における特定の被写体領域を固定領域に設定する。この固定領域は、合成する各画像においてフレーム内の領域（画素位置）が同じ画素位置に固定されるものとする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、合成処理において各画像間でフレーム内位置を固定する固定領域を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行うことが考えられる。
即ちユーザの操作に応じて撮像画像における特定の被写体領域を固定領域に設定することができるようにする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域の候補を表示させる制御を行い、固定領域の候補を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行うことが考えられる。
例えば画像上で固定領域としての候補を提示し、ユーザが指定できるようにする。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、合成処理の処理方式が選択可能なユーザインタフェース制御を行うとともに、合成処理の処理方式の選択操作に応じて、合成処理の処理方式を設定することが考えられる。
複数の画像の合成処理としては、例えば加算平均方式、比較明方式、重み付け方式など複数の合成処理方式が考えられる。これらを選択可能なユーザインタフェースを提供する。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像、前記終端画像とともに、合成画像を同時に表示させる制御を行うことが考えられる。
先頭画像、終端画像に加えて、その先頭画像と終端画像によって示される合成範囲の合成処理で生成される合成画像も同時に表示させる。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部は、前記先頭画像、前記終端画像とともに、合成処理を指示する操作子を同時に表示させる制御を行うことが考えられる。
先頭画像、終端画像を表示した画面上で実際の合成処理の指示を可能とする。

上記した本技術に係る制御装置においては、前記画像群の各画像データは、撮像時に露光期間が時間的に連続する状態とされた画像データであることが考えられる。
例えば時間的に連続する画像データは、非露光期間が存在しないような一連の画像データとする。

上記した本技術に係る制御装置においては、前記画像群の各画像データは、ＲＡＷ画像データであることが考えられる。
撮像により得られる一群のＲＡＷ画像データを合成するようにする。即ち現像処理前の段階で合成する。

上記した本技術に係る制御装置においては、前記画像群の各画像データは、静止画連写撮像又は動画撮像により時間的に連続するものとされた画像データであることが考えられる。
即ち、1回の連写撮像により得られる一連の静止画としての複数のフレームの各画像データや、動画撮像によって得られる動画を構成する各フレームの各画像データである。

上記した本技術に係る制御装置においては、前記ユーザインタフェース制御部が設定した前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像を合成する合成処理部を更に備えることが考えられる。
例えばユーザインタフェース画面上で設定した範囲で合成処理が行われるようにする。

本技術に係る制御方法は、制御装置が、時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させるユーザインタフェース制御を行う制御方法である。そして前記ユーザインタフェース制御では、前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を行う。
これにより合成処理のためのユーザインタフェースを提供する。
本技術に係るプログラムは、このユーザインタフェース制御を演算処理装置に実行させるプログラムである。これにより上記の制御装置が実現できるようにする。

本技術の実施の形態の合成処理及びユーザインタフェースの説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の情報処理装置のブロック図である。 画像データの現像処理の説明図である。 実施の形態の合成処理と現像処理の説明図である。 実施の形態の合成処理と現像処理の説明図である。 実施の形態で露光期間を連続させる追加処理の説明図である。 実施の形態で露光期間が連続したＲＡＷ画像データの撮像の説明図である。 実施の形態のＵＩ画面の画面構成の説明図である。 実施の形態のＵＩ画面例の説明図である。 実施の形態のＵＩ画面における固定領域の設定の説明図である。 第１の実施の形態のＵＩ制御処理のフローチャートである。 第２の実施の形態のＵＩ制御処理のフローチャートである。 第２の実施の形態の固定領域候補及び適性度の表示の説明図である。 第２の実施の形態の適性度の表示の説明図である。 第２の実施の形態の固定領域指定による合成範囲変更の説明図である。 実施の形態の合成モードの例の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．概要＞
＜２．撮像装置の構成＞
＜３．情報処理装置の構成＞
＜４．合成処理と現像処理＞
＜５．ＵＩ処理例＞
＜６．第１の実施の形態のＵＩ制御例＞
＜７．第２の実施の形態のＵＩ制御例＞
＜８．合成モードの例＞
＜９．まとめ及び変形例＞

なお本開示では、画像の合成処理に関して「合成範囲」という用語を用いるが、この「合成範囲」は時間的な範囲を表す。本開示でいう合成処理は、時間的に連続する複数のフレームの画像データを合成する処理である。その場合に、合成する複数のフレームの各画像データの範囲を合成範囲という。また、その合成範囲のうち、時間的に先頭となる画像データの画像を「先頭画像」といい、時間的に終端となる画像データの画像を「終端画像」という。
合成範囲は、ユーザの操作により設定される。或いは自動的に設定されてもよい。
また「画像群」とは、合成範囲を設定する対象となりうる時間的に連続する複数のフレームの画像データを表す。この画像群の全体又は一部の区間が上記の「合成範囲」となる。

また本開示で複数の画像データについて「時間的に連続する」という意味は、完全に時間的に切れ目がなく連続しているというものでもよいが、それに限らず、間欠的であっても、時間的に連続性があるものを広く指す。例えば静止画の連写撮像や、一般的な動画記録によって得られる複数のフレームとなる各画像データも、「時間的に連続する複数の画像データ」となる。また撮像装置のユーザが、連写撮像でなく単写（１枚の静止画の撮像）を、何回か行った場合の複数の静止画としての各画像データも、その前後関係が特定できるため「時間的に連続する複数の画像データ」と考えることができる。
つまり時間的に前後関係がある複数の画像データが「時間的に連続する複数の画像データ」に該当する。

合成する画像データとしては、ＲＡＷ画像を合成する例を主に説明するが、これに限らず、ＪＰＥＧ（Joint Photographic Experts Group）形式などの各種形式の画像データでもよい。
ＲＡＷ画像とは、撮像装置などで現像処理の一部又は全部を行う前の画像を指す。またＲＡＷ画像としての１枚（１フレーム）の画像を構成する画像データをＲＡＷ画像データと呼ぶ。
具体的にＲＡＷ画像データと呼ばれる画像データは各種存在するが、本実施の形態では撮像素子（イメージセンサ）の色配列と同じ色配列を有する画像データをＲＡＷ画像データの例とする。なお同じ欠陥補正がされることで撮像素子の色配列と同じ色配列を有することになった画像データもＲＡＷ画像データに含まれる。
このＲＡＷ画像データは、例えばイメージセンサにおいてＲ（赤）、Ｇ（緑）、Ｂ（青）の画素信号を出力する場合は、Ｒ、Ｇ、Ｂ形式の画像データとなる。なお、ＲＡＷ画像データとしては、Ｒ、Ｇ、ＢだけでなくＷ（ホワイト）の画素値を含んだ画像データもある。さらにベイヤー配列のイメージセンサの場合、Ｇ１（緑１），Ｇ２（緑２），Ｒ（赤），Ｂ（青）の各画素値を含んだ画像データがＲＡＷ画像データとなる。また、Ｇ１，Ｇ２，Ｒ，Ｂの各画素値を４つの別のチャンネルとしてそれぞれを纏めるような画像データ形式もある。例えばＧ１，Ｇ２，Ｒ，Ｂのそれぞれだけで１フレームを構成し、その後、各チャンネルを圧縮したような画像データである。つまりＧ１画像データ，Ｇ２画像データ，Ｒ画像データ，Ｂ画像データなどとしての画像データである。これもＲＡＷ画像データの例に含まれる。
また、撮像素子から読み出される画像データを、輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データもＲＡＷ画像データと呼ばれることがある。これも本開示でいうＲＡＷ画像データの一種であるが、説明上の区別のため、「ＹＣ－ＲＡＷ画像データ」と呼ぶこととする。

＜１．概要＞
実施の形態の制御装置は、撮像装置（カメラ）や画像編集等を行う情報処理装置において制御部として搭載されることが想定される。また、これらの制御部を搭載した撮像装置や情報処理装置自体を、本開示の制御装置と考えることもできる。

そのような制御装置は、時間的に連続する複数の画像データによる画像群に関して合成処理のためのユーザインタフェース（「ＵＩ」とも表記する）画面を提供する制御を行う。
図１には、撮像動作により、ＲＡＷ画像データＲ＃１からＲＡＷ画像データＲ＃ｎまでの複数のＲＡＷ画像データが入力され、それについて合成処理を行うまでの経過を模式的に示している。
なお、本実施の形態における合成処理としては、複数の画像データを、互いのフレームの位置を合わせて重畳させるような合成処理や、複数の画像データにおいて特定被写体の位置を互いに合わせて重畳させるような合成処理が考えられる。

例えば複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）は、連写撮像などにより連続して撮像された静止画としての画像データや、動画とした撮像された各フレームの画像データなどとされる。これらの複数の画像データは、時間的に連続したフレームとしての関係を持つ画像群を形成する。
このような複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）について合成処理を行おうとするユーザに対して、制御装置はＵＩ画面１００を提供する。
ユーザは、ＵＩ画面１００で画像内容を確認したり、先頭画像や終端画像を決めるなどして合成範囲を設定したりすることができる。

ＵＩ画面１００で行われる設定に基づいて、合成処理が行われる。
これにより、例えば合成ＲＡＷ画像データが生成される。
複数のＲＡＷ画像データからは、１枚の合成ＲＡＷ画像データが生成されてもよいし、複数のＲＡＷ画像データより少ない枚数の複数の合成ＲＡＷ画像データが生成されてもよい。
例えば時間的に連続する１０枚（１０フレーム）のＲＡＷ画像データが画像群として入力されたときに、１０枚全部を合成したＲＡＷ画像データや、そのうちの７枚を合成したＲＡＷ画像データなど、合成するＲＡＷ画像データを選択的に用いる例も考えられる。

また合成ＲＡＷ画像データに対して現像処理が行われるようにしてもよい。これにより例えばＪＰＥＧ画像データなど、所定形式の画像データが得られるようにする。もちろん所定形式の画像データとしてはＪＰＥＧ形式の画像データに限定されない。例えばＨＥＩＦ（High Efficiency Image File Format）、ＹＵＶ４２２、ＹＵＶ４２０などでもよい。

以下の実施の形態の説明では、主に、時間的に連続した複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する場合を例にして述べていく。
例えば連続的に記録された複数枚のＲＡＷ画像データを合成し、１枚の合成ＲＡＷ画像データを生成する。これにより長秒露光効果と同等の効果を得る。また合成するＲＡＷ画像データの枚数の設定により、各ＲＡＷ画像データの撮像時のシャッタースピードとは異なる任意のシャッタースピードで合成ＲＡＷ画像データが作成できるものとする。
また合成処理で得られる合成ＲＡＷ画像データに対しては、通常の現像処理と同様に、レンズ補正、ＮＲ（ノイズリダクション）、デモザイク、色再現、シャープネス処理等を加えることもできる。

＜２．撮像装置の構成＞
図２で撮像装置１の構成例を説明する。
この撮像装置１は、合成のためのＵＩ制御を行うＵＩ制御部３０を備えており、このＵＩ制御部３０を備えた撮像装置１、又はＵＩ制御部３０を備えたプロセッサ（カメラ制御部１８）が、本開示の制御装置の例として考えることができる。

撮像装置１は、例えばレンズ系１１、撮像素子部１２、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、画像処理部２０、バッファメモリ２１、ドライバ部２２、センサ部２３を有する。

レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部２０やカメラ制御部１８に出力する。

画像処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
この画像処理部２０は、撮像素子部１２からのデジタル信号（撮像画像信号）、即ちＲＡＷ画像データに対して、各種の信号処理を施す。
なお、ＲＡＷ画像データとは、例えば上述のＹＣ－ＲＡＷ画像データのように、撮像素子部１２からのデジタル信号について一部の処理を施した画像データを指す場合もある。またＹＣ－ＲＡＷ画像データの形式に至らなくとも、例えば前処理として、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行った段階のものをＲＡＷ画像データと呼ぶ場合もある。
またレンズ補正やノイズリダクションを行った段階の画像データも含めてＲＡＷ画像データと呼ぶ場合もある。

本実施の形態の場合、画像処理部２０は合成処理部３１と現像処理部３２としての信号処理機能を備える。
合成処理部３１は後述のように、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を行う。
なお、次に述べるように現像処理部３２で現像した後の画像データについて、合成処理部３１で合成処理を行うこともできる。

現像処理部３２は、ＲＡＷ画像データや、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理を行う。例えば現像処理部３２は、レンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。

同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。

これらの現像処理部３２の処理が広義の現像処理であるが、特に色再現／シャープネス処理を狭義の現像処理と呼ぶ。狭義の現像処理を施した画像データは、元のＲＡＷ画像データの情報の一部が失われるため、その後の画像編集の自由度は狭くなる。
また狭義の現像処理を施していない段階の画像データは、本開示でいうＲＡＷ画像データ、ＹＣ－ＲＡＷ画像データの範疇といえる。

画像処理部２０は、このように現像処理部３２による広義の現像処理を行って、所定形式の画像データを生成する。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ、ＹＵＶ４２２、ＹＵＶ４２０等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
なお現像処理を施していないＲＡＷ画像データの画像ファイルを生成する場合もある。

バッファメモリ２１は、例えばＤ－ＲＡＭ（Dynamic Random Access Memory）により形成される。このバッファメモリ２１は、画像処理部２０において上記の合成処理や現像処理の過程で、画像データの一時的な記憶に用いられる。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５はユーザに対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５には画像処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データやメタデータを含む静止画ファイルや動画ファイルの送信出力を行う。
また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末などとの間で、例えばブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、ＮＦＣ（Near field communication）等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことも可能とされてもよい。また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。
従って撮像装置１は、通信部１６により、撮像画像やメタデータを、後述の情報処理装置７０に送信することができる。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、画像処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

カメラ制御部１８は、ＵＩ制御部３０としての機能を例えばソフトウェアにより実現する。ＵＩ制御部３０は、表示部１５や、撮像装置１に接続した外部の表示デバイス、或いは撮像装置と通信可能な外部の表示デバイスに対して、ＵＩ画面１００を表示させる制御を行い、またＵＩ画面１００に対するユーザ操作を検知する処理を行う。詳細は後述するがユーザは、ＵＩ画面１００により合成処理のための画像確認や各種設定操作を行うことができる。
ＵＩ制御部３０（カメラ制御部１８）は、ＵＩ画面１００を介して行われる合成処理の設定に基づいて、合成処理部３１による合成処理を制御する。
なお、上述の画像処理部２０としての機能がカメラ制御部１８においてソフトウェアにより実現されるようにしてもよい。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３として、例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載された場合、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、ＩＭＵデータなどは、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。

＜３．情報処理装置の構成＞
次に情報処理装置７０の構成例を図３で説明する。
情報処理装置７０はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
そして、この情報処理装置７０は、合成処理のためのＵＩ制御を行うＵＩ制御部３０を備えており、このＵＩ制御部３０を備えた情報処理装置７０、又はＵＩ制御部３０を備えたプロセッサ（ＣＰＵ７１）が、本開示の制御装置の例として考えることができる。

情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

画像処理部２０は、上述の撮像装置１で説明した合成処理部３１，現像処理部３２としての機能を備える。
この画像処理部２０としての合成処理部３１，現像処理部３２は、ＣＰＵ７１内の機能として設けられてもよい。
また画像処理部２０は、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現されてもよい。

ＣＰＵ７１は、ＵＩ制御部３０としての機能を例えばソフトウェアにより実現する。ＵＩ制御部３０は、表示部７７や、情報処理装置７０と通信可能な外部或いは遠隔地の表示デバイスなどに対して、ＵＩ画面１００を表示させる制御を行い、またＵＩ画面１００に対するユーザ操作を検知する処理を行う。ユーザは、ＵＩ画面１００により合成処理のための画像確認や各種設定操作を行うことができる。
ＵＩ制御部３０（ＣＰＵ７１）は、ＵＩ画面１００を介して行われる合成処理の設定に基づいて、合成処理部３１による合成処理を制御する。

ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、画像処理部２０は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩとしての表示を行う。

入出力インタフェース７５には、ＨＤＤや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。

記憶部７９は、処理対象のデータや、各種プログラムを記憶することができる。
情報処理装置７０が本開示の制御装置として機能する場合、記憶部７９には、合成処理の対象となりうる画像データ（例えばＲＡＷ画像データ）が記憶されることや、合成ＲＡＷ画像データ、或いは合成ＲＡＷ画像データに対して現像処理したＪＰＥＧ画像データなどが記憶されることも想定される。
また記憶部７９には、ＵＩ制御処理、合成処理、現像処理等のためのプログラムが記憶される。

通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
撮像装置１との間の通信、特に撮像画像等の受信は、通信部８０によって行われる。

入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜４．合成処理と現像処理＞
ここで、撮像装置１や情報処理装置７０における画像処理部２０で行われる画像データの合成処理や現像処理について説明しておく。

例えば画像処理部２０は、撮像後におけるシャッタースピードの編集を目的として複数のＲＡＷ画像データを合成し、一枚又は複数枚の合成ＲＡＷ画像データを生成する処理を行うことができる。

まず図４は画像処理部２０において現像処理部３２により実行される現像処理の流れを模式的に示している。
例えば撮像素子部１２から入力される画像データは、それ自体が、又は図示しない前処理を加えた状態がＲＡＷ画像データとなる。
なお図４では、撮像装置１を想定して撮像素子部１２から入力される画像データをＲＡＷ画像データとして示しているが、情報処理装置７０の場合は、例えば記憶部７９から読み出されたＲＡＷ画像データと考えればよい。

広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ（ノイズリダクション）、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われる。
そして、このような現像処理後の画像データとして、例えばＪＰＥＧ画像データが生成される。
また、デモザイク後においてステップＳＴ５のＹＣ変換が行われることで、ＹＣ－ＲＡＷ画像データが得られる。

このように現像処理部３２で行われる現像処理と、合成処理部３１で行われる合成処理の関係の例を図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図６Ｃに示す。
図５Ａの合成処理例ＩはＪＰＥＧ画像データを合成する例である。図では、それぞれがＲＡＷ画像データについての現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）を経て生成された複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を示している。この複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）について、ステップＳＴ１０として合成処理を施すことで、合成ＪＰＥＧ画像データを生成する。

図５Ｂの合成処理例IIはＲＡＷ画像データを合成する例である。
図では合成処理の対象とする画像データとして複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）を示している。例えばこの複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）について、ステップＳＴ１０の合成処理を行う。これにより合成ＲＡＷ画像データを得る。
また合成ＲＡＷ画像データに対して、ステップＳＴ１、ＳＴ２，ＳＴ３，ＳＴ４の現像処理を行う。これにより合成画像としてのＪＰＥＧ画像データを生成する。

この図５ＢのようにＲＡＷ画像データを合成する場合、以下のような有利な点がある。
例えば図５Ａのように現像処理後の複数ＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を合成する場合、次のようなことが指摘できる。
まず、合成に用いる複数の画像データのそれぞれに対して広義の現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）が必要である。例えば個々のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）のそれぞれも保存対象とするものであればよいが、合成画像のみを目的とするような場合、処理負担が増えることになる。

また現像処理は、各画像データに最適化された信号処理で行われる。このため合成後の画像データに対して最適な信号処理とは限らない。
また合成後の画像は現像処理後であるため、編集性が制限される。特にステップＳＴ４の色再現／シャープネス処理において色情報等が間引かれているなどしてＲＡＷ画像データの時点で存在した情報の一部が失われているためである。

一方で図５ＢのようにＲＡＷ画像データの合成を行うようにすると、現像処理は合成後の一回のみでよく、信号処理負担が軽減される。また、その現像処理は、合成後の合成ＲＡＷ画像データに対して最適化されたパラメータを用いて行うことができるため、生成される現像画像データ、例えば上記のＪＰＥＧ画像データの画像品質を向上させることができる。
また色再現／シャープネス処理等の画作りが行われていない合成ＲＡＷ画像データは画作りによる情報の欠損がないため、例えば色再現などの面で高い編集性を持つものとなる。
このように、複数のＲＡＷ画像データについて合成を行うことで、合成画像に最適化され、かつ効率化された信号処理を行うことが可能となる。

次に図６Ａの合成処理例IIIはＹＣ－ＲＡＷ画像データを用いた合成処理の例である。
なお、図６Ａ，図６Ｂ、図６Ｃでは、説明上、撮像素子部１２で得られたＲ、Ｇ、Ｂ形式のＲＡＷ画像データを、ＹＣ－ＲＡＷ画像データと区別するために「ＲＧＢ－ＲＡＷ画像データ」と表記する。またＲＧＢ－ＲＡＷ画像データによる合成ＲＡＷ画像データを「合成ＲＧＢ－ＲＡＷ画像データ」とする。
図６Ａでは、複数のＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）を示している。即ちＲＧＢ－ＲＡＷ画像データについてステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ５の処理を経た画像データである。
これらのＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＹＣ－ＲＡＷ画像データを生成する。また合成ＹＣ－ＲＡＷ画像データに対してステップＳＴ４の色再現／シャープネス処理を行って、合成画像としての例えばＪＰＥＧ画像データを生成することができる。

図６Ｂの合成処理例IVは、複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ５の処理を行って合成ＹＣ－ＲＡＷ画像データを生成する例である。

図６Ｃの合成処理例Ｖは、複数のＹＣ－ＲＡＷ画像データをそれぞれＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）に戻してから合成する例である。複数のＹＣ－ＲＡＷ画像データから戻した複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４の処理を行って合成画像としてのＪＰＥＧ画像データを生成する。

以上の各例のようにＹＣ－ＲＡＷ画像データを用いた合成処理の例も考えられる。ＹＣ－ＲＡＷ画像データでは、色再現／シャープネス処理を施す前の状態であることから、ＲＡＷ画像データ段階の情報が失われていないため、上述の図５Ａ、図５ＢのＲＡＷ画像データの合成の場合と同様の利点が得られる。

以上の図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図６Ｃの各例では、それぞれステップＳＴ１０の合成処理のために、ステップＳＴ１５としてＵＩ処理が行われる。このＵＩ処理は、ＵＩ制御部３０による処理であり、ＵＩ画面１００の表示制御、ＵＩ画面１００を用いたユーザ操作の検知、及びそれらに基づく合成処理に関する設定などを含む処理である。
ＵＩ処理によって、ユーザは各例の画像合成のために望みの設定を行うことができる。

ここで、以上のような合成処理で実現されるシャッタースピードの編集という考え方について説明しておく。

以上の各例で合成する画像データ、例えば複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）、複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）、複数のＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）などが、時間的に連続して記録された画像群としての画像データである場合を考える。

すると、１枚（１フレーム）の画像データの撮像時のシャッタースピードを合成枚数で掛けたシャッタースピードの合成画像が生成できるものとなる。
例えばシャッタースピード＝１／１００秒として、連写撮像した１００枚のＲＡＷ画像データを合成すると、シャッタースピード＝１秒の合成画像を得ることができる。
このような考え方で、撮像後にシャッタースピードの編集を行うことができる。

なお時間的に連続する複数の画像データは、必ずしも露光時間の切れ目がないような状態で撮像されたものとは限らない。例えばイメージセンサ１２ａによる撮像動作としては露光期間と露光された電荷の読出期間が存在するため、動画撮像の各フレームであっても、露光期間が厳密に連続したものとはなっていない。
そのため、厳密な意味でシャッタースピードの編集ということはできないが、シャッタースピードの編集という意味での合成処理は、必ずしも厳密な意味ではなくてもよいため、このように露光期間の途切れのある複数のＲＡＷ画像データを合成することでも、擬似的な意味でシャッタースピードの編集を行うということはできる。

ただ、より厳密な意味でのシャッタースピードの編集に近づけることや、厳密な意味でのシャッタースピード編集を実現することもできる。

厳密な意味でのシャッタースピードの編集に近づける手法として、追加処理を行うことが考えられる。この追加処理は、複数のＲＡＷ画像データの露光期間が時間的に連続するように、つまり露光期間の途切れがないようにする処理である。具体的には複数のＲＡＷ画像データのそれぞれが、イメージセンサ１２ａにおける露光期間における露光量に対して、イメージセンサ１２ａにおける非露光期間に相当する露光量を追加する処理である。

図７で説明する。図７ではイメージセンサ１２ａの撮像動作として、露光期間Ｔａと露光による電荷の読出期間Ｔｂを示している。なお実際には露光も読出も行わない期間やリセット期間などもあるが、図示及び説明の簡略化のため、それらは読出期間Ｔｂに含めるものとする。

露光期間Ｔａと読出期間Ｔｂの動作により、１フレームの画像データが得られるが、連写撮像や動画撮像が行われることで、この露光期間Ｔａと読出期間Ｔｂが繰り返されることになる。
ところが読出期間Ｔｂにおいては、イメージセンサ１２ａでは露光が行われていない。すると、そのまま複数のＲＡＷ画像データを合成しても、正確には単純にシャッタースピードを遅くしたもの、即ち長時間露光したものとはならない。

そこで読出期間の画素情報としての露光量を画素値に追加する処理を行うことで、露光期間Ｔａの途切れがない画像データを生成する。
一例としては、１つのフレームの各画素値を、露光期間Ｔａと読出期間Ｔｂの期間長の比や、前後のフレームの追加処理前の画素値との変化量を考慮して、補間演算を行うことで、読出期間Ｔｂにも露光が行われたとしたときの画素値を算出する。そしてそのよう各画素値について追加処理を行って、ＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・とする。
これによりＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・は露光期間Ｔａの途切れがない複数のＲＡＷ画像データとすることができる。
このようなＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・から生成されたＪＰＥＧ画像データやＹＣ－ＲＡＷ画像データも、露光期間Ｔａの途切れがない連続した画像データとすることができる。

厳密な意味でシャッタースピード編集を行うことができる画像データを得るためには、撮像素子部１２に複数のイメージセンサ１２ａ１，１２ａ２が設けられることが考えられる。その場合、上述の追加処理を行わなくとも、露光期間Ｔａの途切れのない複数のＲＡＷ画像データを得ることができる。

図８に示すように、例えばイメージセンサ１２ａ１の出力からＲＡＷ画像データＲ＃１を得る。次に、イメージセンサ１２ａ２の出力からＲＡＷ画像データＲ＃２を得る。
このとき、イメージセンサ１２ａ１とイメージセンサ１２ａ２は、露光タイミングがずれた状態で同期するように動作させる。即ち図示のように、イメージセンサ１２ａ１の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ２の露光期間Ｔａが開始され、またイメージセンサ１２ａ２の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ１の露光期間Ｔａが開始されるようにする。
このようにすることで、イメージセンサ１２ａ１，１２ａ２から交互に得られるＲＡＷ画像データＲ＃１、Ｒ＃２、Ｒ＃３、Ｒ＃４・・・は、露光期間が連続した画像データとなる。このようなＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・から生成されたＪＰＥＧ画像データやＹＣ－ＲＡＷ画像データも、露光期間Ｔａの途切れがない連続した画像データとすることができる。

また、１つのイメージセンサ１２ａを用いる場合でも、読出期間Ｔｂによる露光期間の途切れがほぼ無視できるようなイメージセンサ１２ａである場合や、最終的に得たい画像が動く被写体が存在しないなど目的によって、上述の追加処理を行わなくとも、合成処理により、実用上十分なシャッタースピード編集を実現できる。換言すると、露光期間の途切れの影響が多いような撮像装置や撮像場面のときに追加処理を行うようにしてもよい。

＜５．ＵＩ処理例＞
以下、ＵＩ処理例について説明する。
実施の形態のＵＩ処理例は、画像合成編集のための良好な操作性をユーザに提供する。

ＵＩ画面１００の画面構成例を図９に示す。
ＵＩ画面１００は、例えば、入力選択エリア２、調整エリア３、先頭画像エリア４、終端画像エリア５、合成画像エリア６を有するものとされる。なおこれは一例で、これ以外のエリアが設けられてもよいし、一部のエリアが設けられなくてもよい。
各エリアは、例えば一画面として同時に表示される。特に画面のスクロール、ページ送りなどを行わない状態で、これらの各エリアが表示されるようにすることが望ましい。

入力選択エリア２は、編集対象選択、即ち画像編集として合成処理を行う画像群を選択するためのエリアである。
調整エリア３は、後述する固定領域のプールや固定領域の指定、さらには現像設定などを行うためのエリアである。
先頭画像エリア４は、合成処理の先頭画像とする画像の表示や先頭画像の選択、固定領域の指定等を行うためのエリアである。
終端画像エリア５は、合成処理の終端画像とする画像の表示や終端画像の選択、固定領域の指定等を行うためのエリアである。
合成画像エリア６は、合成モード（合成処理方式）の選択、合成後の現像設定、合成や現像結果の画像の表示、出力設定や出力操作などを行うためのエリアである。

このようなＵＩ画面１００を用いたユーザインタフェースは、次の（ａ）から（ｆ）のような特徴がある。

（ａ）時間的に連続する複数の画像としての画像群の入力インタフェースを持つ。
例えば入力選択エリア２における表示や操作により、ＲＡＷ画像データの画像群や、ＪＰＥＧ画像データの画像群などをユーザが選択して、ＵＩ画面１００による設定操作対象とすることができる。
また撮像時に連写撮像などにより複数枚がパッキングされた画像群に限らず、ユーザが1枚ずつの画像を複数枚選択することで、画像群とするようにしてもよい。
これらのために、入力選択エリア２には、選択可能な画像群や、個々の画像が表示され、ユーザが選択できるようにする。

（ｂ）ＵＩ画面の処理対象とされる画像の表示枠を持つ。
例えば合成範囲を示すために先頭画像と終端画像の両方を見比べながら確認できるように、２枠以上の画像表示エリアを備える。先頭画像エリア４と終端画像エリア５がこれらの表示枠に該当する。
なお、先頭画像エリア４と終端画像エリア５に表示される画像としては、ＲＡＷ画像が選択される場合もあるが、ＲＡＷ画像データをそのまま表示されると画像の視認性がよくない。そのため画像表示を行う画像データがＲＡＷ画像データである場合には、視認しやすい画像表示をおこなうための処理を行うことが望ましい。
例えばＲＡＷ画像データに対して、ユーザが編集作業をしやすい現像設定で自動的に現像処理を施して表示させる。
或いはＲＡＷ画像データに関連づけられた現像後の画像データを表示させる。例えば撮像の際に、ＲＡＷ画像データとともに現像後のＪＰＥＧ画像データやサムネイル画像データが記録されているのであれば、編集対象としてＲＡＷ画像データが選択されたとしても、先頭画像エリア４や終端画像エリア５には、ＲＡＷ画像データに対応するＪＰＥＧ画像データやサムネイル画像データを用いて画像表示を行うようにする。

（ｃ）合成編集が可能である。
先頭画像エリア４で先頭画像の選択や変更ができる。また終端画像エリア５で終端画像の選択や変更ができる。これらは合成範囲の編集という意味を持つ。
またこれらの先頭画像や終端画像の画像上で、固定領域の指定が可能とされる。固定領域とは、合成する複数の画像データについて、各画像間でフレーム内位置を固定する領域である。例えば特定の被写体の領域として指定される。
またどのような合成方式で合成処理を行うかの合成モードの選択がＵＩ画面１００上で可能とされる。

（ｄ）合成結果の表示枠を持つ。
合成画像エリア６が用意され、ユーザが、現在の合成設定によってどのような合成結果になるかの確認ができるようにされる。

（ｅ）合成画像に対しての現像設定が可能とされる。
例えば合成画像エリア６を用いたユーザインタフェースで現像設定が可能とされるようにする。なお設定結果は合成画像エリア６に表示されても、別枠で表示されてもよい。

（ｆ）合成結果の出力フォーマットの選択や、合成結果の出力指示が可能である。
例えば合成結果をＲＡＷ画像データで出力することや、現像設定に応じて現像した画像として出力することなどを選択可能とする。

これらの特徴を持つＵＩ画面１００の具体例を図１０に示す。図の例のようにＵＩ画面１００には、少なくとも先頭画像５０と終端画像６０が同時に表示されるとともに、画像合成のための各種の表示が行われる。

この図１０のＵＩ画面１００の例では、画面左上にメニュー部４０が設けられており、「File」「Edit」「Output」「Auto」「Help」などの操作子が用意されている。これによりメニュー部４０からも画像ファイルの選択や保存等、各種編集操作、出力設定、自動処理設定、ヘルプ表示などが可能とされる。

入力選択エリア２には、インポートボタン４１、一覧部４２が設けられる。
インポートボタン４１は、編集したい素材（画像群）をロードし、一覧部４２に追加するための操作子である。
一覧部４２には、インポートされた画像群が一覧表示される。各画像群は、例えば代表画像のサムネイル画像などにより表示される。或いは画像群に対するファイル名などで表示されてもよい。

調整エリア３には、追加ボタン４３、固定領域種別４４、固定領域名表示部４５、固定領域指定部４６が設けられる。
追加ボタン４３は、選択した固定領域を領域プールに追加するための操作子である。なお領域プールとは、処理対象の画像群に対して設定した固定領域を保存しておく記憶領域である。

そして領域プールに保存されている固定領域が調整エリア３に一覧表示される。
固定領域種別４４には、プールされている固定領域が、先頭画像５０内で指定されたものか、終端画像６０内で指定されたものかを示す表示として「start」又は「end」の表示が行われる。
固定領域名表示部４５には、プールされている固定領域の名称が表示される。
固定領域指定部４６では、プールされている固定領域のうちで、合成処理で使用する固定領域をチェックボックスにより指定できるようにされている。１又は複数の固定領域を使用するものとして指定できる。

先頭画像エリア４には、固定領域設定画像表示部４７、固定領域指定モード操作部４８、ＡＩサポートモード表示部４９、先頭画像５０、シャッタースピード表示部５１、バー／再生操作子表示部５２、フレーム番号表示部５３、編集ボタン５４が配置される。

固定領域設定画像表示部４７では、固定領域を先頭画像５０と終端画像６０のどちらで設定しているかを示すための「start」又は「end」の表示が行われる。
ＡＩサポートモード表示部４９では、固定領域選択時のＡＩサポートモードの有効／無効をチェックボックスで指定ができるようにされている。ＡＩサポートモードについては第２の実施の形態で説明する。
シャッタースピード表示部５１では、現在の合成範囲、即ち先頭画像５０から終端画像６０までの範囲で合成処理を行った場合のシャッタースピードの換算表示が行われる。
なお、これら固定領域設定画像表示部４７、ＡＩサポートモード表示部４９、シャッタースピード表示部５１は、先頭画像エリア４以外に表示されてもよい。

固定領域指定モード操作部４８は、先頭画像エリア４における固定領域指定モードの切り替えを行うことを可能としている。固定領域指定モードとしては、例えば、矩形範囲を選択する矩形指定（rectangle selection）や、被写体領域を選択するセグメント指定（segment selection）をユーザが選択できるようにされる。もちろん他の固定領域指定モードが選択可能に用意されてもよい。

先頭画像５０は合成範囲の先頭に設定されている画像である。ユーザの操作などにより先頭画像５０は変更可能であるため、先頭画像エリア４には、現在の先頭画像５０が表示される。

先頭画像５０の下部にはバー／再生操作子表示部５２として、スライドバーと再生操作子が表示される。
スライドバーは、処理対象の画像群の時間軸を表現するものとされ、またユーザはスライドバー上のポインタを移動させるなどの操作を行うことで、先頭画像５０を選択することができる。
また再生操作子としては再生操作、停止操作、コマ送り操作、コマ戻し操作を行うことができるようにされる。これらの操作により表示される先頭画像５０が切り替わっていく。ユーザは、これらの再生操作子を操作して、画像群内で画像を進めたり戻したりしながら先頭画像５０を選択することができる。

フレーム番号表示部５３としては、現在先頭画像５０とされている画像のフレーム番号、例えば画像群内のフレーム番号が表示される。例えば３０枚の画像を含む画像群であれば、「１」から「３０」のフレーム番号のいずれかが表示される。
またユーザはフレーム番号表示部５３の枠に数値を入力することで、フレーム番号によって先頭画像５０を選択することもできる。

編集ボタン５４は、先頭画像エリア４で編集を行うときに操作する操作子である。即ちユーザが、先頭画像５０の選択や、先頭画像５０上での固定領域の指定を行おうとするときには、編集ボタン５４を操作する。これにより先頭画像エリア４を用いた編集が可能となる。

終端画像エリア５には、固定領域指定モード表示部５５、終端画像６０、バー／再生操作子表示部５２、フレーム番号表示部５８、編集ボタン５７が配置される。

固定領域指定モード操作部４８は、終端画像エリア５における固定領域指定モードの切り替えを行うことを可能としている。上述の先頭画像エリア４の場合と同様に、例えば矩形指定やセグメント指定をユーザが選択できるようにされる。

終端画像６０は合成範囲の終端に設定されている画像である。ユーザの操作などにより終端画像６０は変更可能であるため、終端画像エリア５には、現在の終端画像６０が表示される。

終端画像６０の下部にはバー／再生操作子表示部５６として、スライドバーと再生操作子が表示される。
スライドバーは、処理対象の画像群の時間軸を表現するものとされ、ユーザはスライドバー上のポインタを移動させるなどの操作を行うことで、終端画像６０を選択することができる。
また再生操作子としては再生操作、停止操作、コマ送り操作、コマ戻し操作を行うことができるようにされる。これらの操作により表示される終端画像６０が切り替わっていく。ユーザは、これらの再生操作子を操作して、画像群内で画像を進めたり戻したりしながら終端画像６０を選択することができる。

フレーム番号表示部５８としては、現在終端画像６０とされている画像のフレーム番号、例えば画像群内のフレーム番号が表示される。またユーザはフレーム番号表示部５８の枠に数値を入力することで、フレーム番号によって終端画像６０を選択することもできる。

編集ボタン５７は、終端画像エリア５で編集を行うときに操作する操作子である。即ちユーザが、終端画像６０の選択や、終端画像６０上での固定領域の指定を行おうとするときには、編集ボタン５７を操作する。これにより終端画像エリア５を用いた編集が可能となる。

合成画像エリア６には、合成モード設定部６１、合成実行ボタン６２、保存ボタン６３、合成進捗表示部６４、合成画像６５、履歴表示部６６が設けられる。

合成モード設定部６１は、合成モードをユーザが選択できるようにするために用意されている。例えばプルダウンメニュー等の形式で、加算平均モード、比較明モード、重み付けモードなどが選択可能とされる。
加算平均モードは、合成範囲の複数の画像データにおける対応する画素値を加算平均して合成画像の画素値とする合成処理のモードである。
比較明モードは、画素値が所定以上の輝度値の場合のみ有効として用いて合成を行うモードである。
重み付けモードは、合成範囲の複数の画像データの一部について重み付けを変えて合成する合成処理のモードである。比較明モードや重み付けモードについては後に説明する。

合成実行ボタン６２は、合成処理を実行させる操作子である。
保存ボタン６３は合成画像データの保存を指示する操作子である。なお、保存する合成画像の画像データの形式等を選択できるようにしてもよい。

合成画像６５として、その時点で設定されている先頭画像５０から終端画像６０までの複数の画像データの合成処理で得られる画像が表示される。
この合成画像は、特定の合成処理設定で先頭画像５０から終端画像６０までの複数の画像を合成したものとしてもよいし、その時点の合成モード設定を反映させた合成処理で得られる画像としてもよい。さらに、その時点で現像設定がされている場合は、現像処理までも終えた画像が表示されるようにしてもよい。

合成画像６５の下方には合成進捗表示部６４が設けられ、合成処理の実行時に、その進捗状況が例えばバーの長さにより表現される。
また履歴表示部６６には、合成処理や保存の履歴が表示される。

なお、以上はＵＩ画面１００の代表的な内容例を示したもので、これ以外の表示や操作子が含まれることが想定される。
例えば図１０の例では、現像設定に必要なユーザインタフェースは示していないが、その領域が調整エリア３や合成画像エリア６などに用意されることが想定される。

このようなＵＩ画面１００を用いたユーザの合成処理設定を説明する。
ユーザは、一覧部４２に表示されているインポートされた画像群のうちで、任意の画像群を選択する操作を行う。すると、その画像群が合成処理設定の対象とされ、その画像群についての表示が開始される。

即ち調整エリア３には、その画像群について過去にプールされた固定領域に関する表示が行われる。
先頭画像エリア４と終端画像エリア５としては、デフォルト設定された先頭画像５０と終端画像６０が表示される。
例えばデフォルト設定としては、先頭画像５０と終端画像を、いずれも画像群の第１フレームの画像とすることが考えられる。
またデフォルト設定としては、先頭画像５０を画像群の第１フレームの画像とし、終端画像６０は画像群の第２フレームの画像としてもよい。
またデフォルト設定としては、先頭画像５０を画像群の第１フレームの画像とし、終端画像６０は画像群の最終フレームの画像としてもよい。
さらにデフォルト設定としては、その画像群についての過去の編集処理の際に、当該画像群について設定された先頭画像５０と終端画像６０を表示させてもよい。
また、画像群の各画像の画像解析により、その時間範囲内で主たる被写体を判定し、主たる被写体が写されている最初のフレームを先頭画像５０とし、主たる被写体が写されている最後のフレームを終端画像６０とするような処理をおこなってもよい。

その後ユーザは、先頭画像エリア４と終端画像エリア５を用いて、先頭画像５０、終端画像６０を任意に選択することができる。
例えばバー／再生操作子表示部５２，５６のスライドバーや再生操作子を用いて、先頭画像５０や終端画像６０を選択する。

また、シャッタースピード表示部５１にユーザがシャッタースピードの値を入力することで、先頭画像５０や終端画像６０のいずれかを基準として、入力されたシャッタースピードに応じた合成範囲が設定されるようにしてもよい。
或いはその時点の先頭画像５０から終端画像６０までの範囲の中央のフレームを基準として、入力されたシャッタースピードに応じた合成範囲が設定されるようにしてもよい。

また合成実行ボタン６２により、その時点で選択している先頭画像５０から終端画像６０までの合成範囲で合成処理を実行させ、合成画像６５を確認できる。
なお、ユーザが合成実行ボタン６２を操作しなくても、先頭画像５０と終端画像６０のいずれかが変更されるたびに合成処理が行われて、合成画像６５が更新されるようにしてもよい。

シャッタースピード表示部５１により、先頭画像５０から終端画像６０までの合成範囲で合成処理を行った場合のシャッタースピードが表示されることで、ユーザは、現在の合成範囲がどの程度のシャッタースピードの画像となるかを把握しながら作業できる。
また先頭画像５０や終端画像６０とするフレームを、画像内容を確認しながら選択できる。このため、合成したい範囲を選択しやすい。
また先頭画像５０から終端画像６０を一画面内で同時に見ながら作業できるため、ユーザは合成範囲を把握しすいものとなる。
同時に合成画像６５を見ることもできるため、ユーザは合成後のイメージをつかみながら、先頭画像５０や終端画像６０を選択する操作を行うこともできる。

またユーザは合成処理に関して、固定領域を指定することができる。
図１１には、固定領域を示す固定領域枠５９が表示された状態を示している。
ユーザは、調整エリア３を用いて、プールされた固定領域を指定することができるほか、画像上で新たに固定領域を指定できる。

例えばユーザは、先頭画像５０と終端画像６０のいずれかを選択して、その画像上で固定領域を指定することができる。例えば固定領域枠５９をドラッグ操作で拡大／縮小したり、移動させたりして、任意の被写体の範囲に固定領域枠５９を位置される。これにより、その枠内が固定領域となる。

或いは、ユーザがフリーハンドで範囲を指定するような操作を行うことで、不定形の固定領域枠５９が画像上に描かれ、それによって固定領域が指定されるようにしてもよい。
また、ユーザが画像上で複数のポイントを指定することで、それを含む矩形範囲などが固定領域とされるようにしてもよい。
また、ユーザが或る被写体を指定することで、その被写体の範囲、例えば顔、身体、特定物などの範囲が自動判定されて、その領域が固定領域とされてもよい。この場合、被写体範囲を判定するためには、例えばセマンティックセグメンテーションなどの物体認識処理を適用することが考えられる。

固定領域が設定された場合、追加ボタン４３の操作で、その固定領域をプールすることができる。新たに指定した固定領域の設定をプールすることで、その後は、その固定領域の設定を使用することができるようになる。

指定された固定領域については、図１１のように固定領域枠５９で表示される。
先頭画像５０上で固定領域枠５９が表示される場合、合成範囲の全ての画像において、その固定領域に相当する被写体画像のフレーム内位置が、先頭画像５０の当該被写体のフレーム内位置に位置合わせされた状態で合成が行われることになる。
従って、固定領域の被写体は合成画像６５でもぼけることはない。

例えば図１１では、走行中の列車に対してユーザが連写撮像を行った画像群を想定している。例えばユーザは、列車の走行に合わせて、撮像装置１を左から右に振りながら連写撮像したとする。従って画像群の各画像は、少しずつ撮像方向が変化しているものとなる。
この場合に列車の正面部分を固定領域とすることで、合成処理の際に、各画像データについては、列車の正面部分のフレーム内位置が、先頭画像５０における列車の正面部分のフレーム内位置に合わせ込まれて合成される。従って図示の合成画像６５のように、列車の正面部分ははっきりとした画像となり、その背景はぼけたような画像となる。

固定領域の指定は、終端画像６０において行われてもよい。
その場合は、合成範囲の全ての画像データは、固定領域とされた被写体のフレーム内位置が、終端画像６０におけるその被写体のフレーム内位置に合わせ込まれた状態で合成されることになる。
従って、同じ被写体領域であっても、先頭画像５０で固定領域とされる場合と終端画像６０で固定領域とされる場合とでは、合成画像が異なるものとなる。

固定領域が複数設定された場合は、それらの複数の固定領域が、合成範囲の全ての画像においてフレーム内位置合わせが行われた状態で合成処理が行われることになる。

なお固定領域を指定しないこともできる。プールされた固定領域を有効化した後に、固定領域設定をオフとしたい場合は、固定領域指定部４６のチェックを外せばよい。
またユーザが固定領域枠５９を画像上に設定した後に、その固定領域枠５９を消去する操作を可能とすることで、その固定領域の指定を解除するものとする。

＜６．第１の実施の形態のＵＩ制御例＞
以上のようなＵＩ画面１００を表示させながら行うＵＩ制御部３０の処理例を図１２で説明する。
図１２はＵＩ制御部３０がＵＩ画面１００を表示部１５（又は表示部７７、或いは他の表示デバイス）に表示させた状態における制御処理例を示している。

ステップＳ１０１でＵＩ制御部３０は、ＵＩ処理の終了を判定する。ユーザによってＵＩ画面１００が閉じられるなどの操作が行われ、ＵＩ処理終了と判定した場合は、ＵＩ制御部３０はステップＳ１０１からステップＳ１４０に進み、終了処理を行ってＵＩ画面１００を閉じ、図１２の処理を終了する。

ＵＩ画面１００が開かれた後、ＵＩ制御部３０は、ステップＳ１０２で画像群選択の操作を監視している。なお、フローチャート上での図示は省略するが、ＵＩ画面１００は、メニュー部４０の操作やインポートボタン４１の操作等に対応する処理についても逐次行う。

入力選択エリア２で表示されている画像群についての選択操作が行われた場合、ＵＩ制御部３０はステップＳ１０２からステップＳ１０３に進み、画像エリア表示処理を行う。これは先頭画像エリア４においてデフォルトの先頭画像５０を表示させ、また終端画像エリア５においてデフォルトの終端画像６０を表示させるとともに、調整エリア３にその画像群についてプールされた固定領域の表示を実行させる処理となる。
ＵＩ制御部３０は、デフォルトの先頭画像５０と終端画像６０については、上述のように、選択された画像群の特定フレームとしてもよいし、画像解析により判定したフレームとしてもよい。或いは前回の処理時の設定を反映させたフレームとしてもよい。

先頭画像５０と終端画像６０を表示させた状態では、ＵＩ制御部３０はステップＳ１２０の合成範囲の操作の監視、ステップＳ１２２での合成モード操作の監視、ステップＳ１２４での固定領域指定操作の監視、ステップＳ１２６での合成操作の監視、ステップＳ１２８での出力操作の監視を繰り返し行う。
なお、この他にもＵＩ制御部３０は、各種の操作の監視及びその対応処理は行うが、説明の煩雑化を避けるため省略している。

ユーザによる合成範囲の操作を検知したら、ＵＩ制御部３０はステップＳ１２０からステップＳ１２１に進み、合成範囲の設定変更及びそれを反映する表示変更を行う。
例えばバー／再生操作子表示部５２，５６による先頭画像５０を変更する操作や、終端画像６０を変更する操作である。

ユーザがバー／再生操作子表示部５２により先頭画像５０を変更する操作を行った場合、ＵＩ制御部３０は先頭画像５０の設定を変更するとともに表示される先頭画像５０を切り替える。またそれに応じてフレーム番号表示部５３やシャッタースピード表示部５１の値を変更する。
ユーザがバー／再生操作子表示部５６により終端画像６０を変更する操作を行った場合、ＵＩ制御部３０は、終端画像６０の設定を変更するとともに表示される終端画像６０を切り替える。またそれに応じてフレーム番号表示部５８やシャッタースピード表示部５１の値を変更する。

ユーザが、シャッタースピード表示部５１にシャッタースピードの値を入力する操作を行う場合もある。或いは、図１０では示していないが、ユーザが合成枚数を指定できるようにしてもよい。それらの操作も、合成範囲の操作となる。

ユーザがシャッタースピード表示部５１に対して任意のシャッタースピードの値を入力した場合、ＵＩ制御部３０は、例えばその時点の先頭画像５０から当該シャッタースピードを実現するための合成範囲を計算して、合成範囲の終端となるフレームを終端画像６０に設定する。或いはその時点の終端画像６０を基準にして、当該シャッタースピードを実現するための合成範囲を計算して、合成範囲の先頭となるフレームを先頭画像５０に設定する。
先頭画像５０と終端画像６０のいずれを基準とするかは、ユーザが選択してもよいし、例えばその時点で固定領域が設定されている方を基準とすることが考えられる。

また、その時点の先頭画像５０から終端画像６０までの区間で時間的に中間となるフレームを基準として、入力されたシャッタースピードを実現するための合成範囲を計算して、合成範囲の先頭と終端となるフレームを先頭画像５０と終端画像６０に設定するようにしてもよい。
またユーザが合成範囲内で基準とするフレームを指定するようにしてもよい。
ユーザが合成枚数を入力できるようにする場合も、以上の手法が同様に考えられる。

ユーザによる合成モード設定部６１の操作を検知したら、ＵＩ制御部３０はステップＳ１２２からステップＳ１２３に進み、合成モードの設定変更及びそれを反映する表示変更を行う。例えば加算平均モード、比較明モード、重み付けモードなどの合成モードの設定変更を行う。またそれらのモードを示すように合成モード設定部６１の表示状態を切り替える。

ユーザによる固定領域指定の操作を検知したら、ＵＩ制御部３０はステップＳ１２４からステップＳ１２５に進み、固定領域の設定及びそれに応じた表示更新を行う。
例えばユーザの操作に応じた固定領域枠５９の表示や変形、位置変更を行う。また固定領域枠５９に応じた固定領域設定を行う。
ＵＩ制御部３０は、調整エリア３における操作が行われた場合も、ステップＳ１２５でその操作に応じた固定領域設定や、固定領域枠５９の表示などを行う。

ユーザによる合成実行ボタン６２の操作を検知したら、ＵＩ制御部３０はステップＳ１２６からステップＳ１２７に進み、合成処理及びそれに応じた表示更新を行う。
例えばＵＩ制御部３０は、その時点の合成範囲の合成処理を画像処理部２０に実行させる。その時点の合成モードや固定領域を反映した合成処理を指示することもできる。さらにその時点の現像設定を反映した現像処理を指示することも考えられる。
そして合成処理結果として得られた合成画像６５を合成画像エリア６に表示させる。

ユーザによる保存ボタン６３の操作を検知したら、ＵＩ制御部３０はステップＳ１２８からステップＳ１２９に進み、その時点の合成画像の記録処理を行う。即ちその時点の合成画像データを記録制御部１４や記憶部７９に対して出力し、記録媒体に記憶させる。
この場合、画像データ形式を指定できるようにしてもよい。また、ＲＡＷ画像データのままで記録させてもよいし、現像をした後に記録させるようにしてもよい。

以上の図１２の処理により、ユーザはＵＩ画面１００を見ながら画像合成に関する編集操作を行うことができる。

＜７．第２の実施の形態のＵＩ制御例＞
第２の実施の形態として固定領域設定に関してＡＩサポートモードを適用する例を説明する。
ＡＩサポートモードは、ユーザによる固定領域の指定を支援するモードであり、固定領域の候補を提示したり、固定領域としての適性度を提示したりする。

例えばユーザがＵＩ画面１００のＡＩサポートモード表示部４９のチェックボックスをチェックする操作を行うと、ＡＩサポートモードが有効となる。
ＡＩサポートモードでは、合成モード設定部６１で選択されている合成モード、例えば加算平均モード、比較明モード、重み付けモードなどの別に応じて、合成に適した度合いをＡＩ処理で判定し、その判定結果に応じて、固定領域の候補や、固定領域の適性度を提示する。適性度とは、その領域を固定領域をとしたときに合成画像が良好な画像となる程度を示す評価の値などとする。

適性度については、固定領域を設定した場合の合成範囲内での画像のずれの少なさを評価基準の１つとすることができる。
また、望ましい合成画像や望ましくない合成画像の学習データに基づき、画像内容（被写体種別）と合成範囲と合成モードに応じて、望ましい画像となるか否かを判定し、適性度を求めるようにすることも考えられる。例えば一般に好まれる合成画像となるか否かを評価基準の１つとする。

図１３にＵＩ制御部３０の処理例を示す。これは図１２の処理にステップＳ１３０からステップＳ１３３が追加されたものであり、それ以外の処理は図１２と同様であるため説明を省略する。

ＡＩサポートモードが有効とされている場合、ＵＩ制御部３０はステップＳ１３０からステップＳ１３１に進み、その時点で固定領域が指定されているか否かで処理を分岐する。

固定領域が既に指定されている場合は、ＵＩ制御部３０はステップＳ１３２に進み、その固定領域の適性度を算出し、それを提示する表示を実行させる。即ちＵＩ制御部３０は、現在選択されている合成モードの合成処理で、現在の先頭画像５０から終端画像６０までの合成範囲の各画像を、指定されている固定領域で位置合わせして合成を行った場合に、合成画像が望ましい画像となる度合いを示す値を計算する。そしてＵＩ制御部３０は、その適性度に応じた表示、例えば数値の表示や、適性度に応じた表示態様の制御などを行う。

固定領域が指定されていない場合は、ＵＩ制御部３０はステップＳ１３１からステップＳ１３３に進み、先頭画像５０と終端画像６０のうちで、固定領域の候補となる領域を探索する。そしてＵＩ制御部３０は、固定領域の候補を表示させるとともに、その領域を固定領域とした場合の適性度を提示する表示制御を行う。
例えばＵＩ制御部３０は、先頭画像５０と終端画像６０について、セマンティックセグメンテーション処理などで物体認識を行う。そして認識した物体のそれぞれについて、固定領域にすると仮定した場合に現在の合成モード、合成範囲で合成した場合の適性度を上述のように求める。そして適性度が閾値以上となった被写体領域を、固定領域の候補とする。
ＵＩ制御部３０はこのように固定領域の候補を選定したら、その候補の領域を先頭画像５０又は終端画像６０上で提示するとともに、その適性度に応じた表示も行う。

以上のようにＡＩサポートモードの処理が行われることで、ユーザは固定領域の候補を確認しながら、固定領域の指定を行うことができる。
また固定領域の指定後では、その適性度を判断基準として、合成実行の指示を行ったり、固定領域の指定し直しを行ったりすることもできる。

具体例を挙げる。
図１４は固定領域の指定前に固定領域の候補を提示する例を示している。
例えばＵＩ制御部３０は、終端画像６０において固定領域の候補を発見した場合、図示のように、候補枠５９Ａを示して、固定領域の候補とした領域をユーザに提示する。この場合、２つの候補枠５９Ａにより２つの候補となる領域が示されている。
また同時に適性度表示６７として数値を表示させる。これによりユーザは、手前側の列車の方が固定領域として適していることを理解できる。

なお、この例では終端画像６０内で候補枠５９Ａが示されているが、先頭画像５０側で示される場合もある。また、先頭画像５０と終端画像６０の両方で候補枠５９Ａが示される場合もある。異なる被写体の領域が候補とされる場合もあるし、同じ被写体であっても、先頭画像５０側で指定する場合と、終端画像６０側で指定する場合とで、適性度が異なることもあるため、それぞれで表示されるとよい。例えば図のような手前側の列車の前面を固定領域とする場合、終端画像６０側で指定した方（つまり終端画像６０側のフレーム内位置で固定した方）が、合成画像の構図がより望ましいといったこともあるためである。

図１５は、適性度の表示態様の例である。この場合、適性度表示６７として、数値を用いずに、例えば階調の異なる画像を重畳するような例を示している。
例えば被写体領域毎に適性度を算出し、それを輝度階調に換算する。そして輝度階調を重畳する。
この図１５の場合、先頭画像５０において、手前側の列車の正面部分は輝度が高い状態となり、後ろ側の列車の領域は、比較的輝度が低くなっている。また他の部分は、より暗い状態となっている。

このようにすることで、ユーザが直感的に画像内の被写体の各部の適性度を把握できるような表示となる。また画像全体に適性度を提示した画像ともなるため、物体認識で検出された被写体に限らず任意の領域を固定領域にしたいような場合にも適している。
なお、この図１５の例の場合、画面全体で適性度が示されるため、候補枠５９Ａは表示しなくてもよいともいえる。

以上の図１４，図１５の例は、ＵＩ制御部３０による図１３のステップＳ１３３の処理で実行される表示制御例となる。
固定領域の指定後にステップＳ１３２で行われる表示制御例としては図１６Ａのように、固定領域枠５９と適性度表示６７が行われるようにする。この例では２つの固定領域枠５９によって、２つの固定領域が示されるとともに、数値によりそれぞれの適性度表示６７が行われている例としている。

この指定された固定領域の適性度表示６７は、その後に合成範囲が変更されたり、合成モードが変更されたりすることに応じて変更される。

例えば図１６Ａの状態から、ユーザが終端画像６０の指定を図１６Ｂのように変更したとする。図１６Ａではフレーム番号表示部５８が「１２」となっているが、図１６Ｂはユーザが終端画像６０を後の時点の画像に変更したことでフレーム番号表示部５８が「２９」となっている。また図１６Ｂの場合、合成範囲も広くなるため、シャッタースピード表示部５１も、図１６Ａの「１／４８」から「９／１６０」に更新されている。
このようにユーザが合成範囲を変更する操作を行った場合、固定領域の適性度も計算し直される。このため図示のように、適性度表示６７の数値が変化することになる。

図１３の処理では、ＡＩサポートモードが有効な期間は、常にステップＳ１３２又はステップＳ１３３の処理が行われるため、ユーザが固定領域を指定した後は、ＵＩ制御部３０は合成範囲や合成モードを変更する毎に、ステップＳ１３２で適性度を計算しなおして表示を更新させることになる。

以上のようにＡＩサポートモードの処理として、候補枠５９Ａによる固定領域の候補の提示や、候補となった領域や固定領域についての適性度表示６７が行われる。特にユーザが被写体を追うように撮像装置１を動かしながら撮像する、いわゆる流し撮りを行った場合は、固定領域の選択が重要になる。合成範囲内の各画像の撮像方向が変化しているためである。そのため、ＡＩサポートモードで固定領域の指定の支援ができることは有用である。

なお、合成処理の対象とした画像群が、流し撮りされたものであった場合に、自動的にＡＩサポートモードが起動するようにしてもよい。
例えばＵＩ制御部３０は、画像群の各画像の解析により、特定被写体のフレーム内位置が徐々に移動している場合、流し撮りが行われたと判定して、ＡＩサポートモードを起動してもよい。
また、画像データに付加されたメタデータに流し撮りの情報が含まれていれば、ＵＩ制御部３０はメタデータから流し撮りによる画像群と判定できる。例えば撮像装置１が撮像時にＩＭＵの検出値から流し撮りを判定して、その情報をメタデータに付加してもよい。或いはユーザが流し撮りを行う際に所定の操作を行うことで、流し撮りの旨の情報をメタデータに付加してもよい。
さらに、メタデータにＩＭＵデータが画像（フレーム）毎に記録されていれば、ＵＩ制御部３０が合成処理の際にＩＭＵデータを解析して、その画像群が流し撮りによるものであるか否かを判定することもできる。

なお、流し撮りに限らず、固定領域として指定される領域は、ブレ補正の効果も得られる。その意味で、流し撮りに限らずＡＩサポートモードを実行させることも有効である。

＜８．合成モードの例＞
ここまでの説明において、合成モードの種類として加算平均モード、比較明モード、重み付けモードを例に挙げた。加算平均モードは、各画像の画素値を加算平均するものであるが、ここでは比較明モードと重み付けモードについて説明しておく。

比較明モードは、画素値が所定以上の輝度値の場合のみ有効として用いて合成を行うモードであり、移動する明るい被写体を生かしたい場合の合成モードといえる。
例えば夜景、星空、花火など、背景が暗い状況で一時的に高輝度の部分が生ずる被写体の場合、加算平均モードで合成すると、一瞬だけ輝度が高くなるような部分が、合成画像では暗くなってしまう。その部分が他の画像では暗いため平均化により該当画素の輝度値が下がるためである。

図１７のような画像を考える。人がそれぞれ手にライトや花火のような発光体を持って、文字を描くように振った状態を連写した画像群である。
それぞれの画像は、図１７の先頭画像５０、終端画像６０として示すように、各人が持っている発光体により光っている箇所は画像の一部分であるが、この連写画像を合成することで、合成画像６５に示すように、光によって文字が描かれた画像を生成することができる。
このような画像の合成を考えると、加算平均モードでは、光による文字の部分の輝度が下がってしまうが、比較明モードで合成すれば、輝度の高い状態で光による文字が表れることになる。

つまりシャッタースピードを変化させた状態の画像として、望ましい画像が生成できるようになる。
またこのような画像群を合成するときの合成範囲により、合成画像６５の画像内容や雰囲気は大きく変わる。従って比較明モードの合成処理についても、ＵＩ画面１００で合成範囲を自由に設定できることは、ユーザにとって自分好みの表現ができ、有用なものとなる。

続いて重み付けモードを説明する。
重み付けモードは、合成範囲内の各画像データについて、重み付けを変化させて合成するモードである。また、各画像データの特定のフレーム内領域で重みを変えるようなことも考えられる。

まず、合成範囲内の各画像データについて、重み付けを変化させる例を挙げる。
先頭画像５０、または終端画像６０の重みを大きくすることにより、合成画像６５では先幕シンクロ、後幕シンクロ効果を得ることができる。
ユーザが指定した任意のフレームや、複数フレームの画像の重みを大きくすることも可能である。これにより、特定のフレームの画像を強調したような合成画像６５が得られる。

また合成範囲内で一部のフレームの重みをゼロにすることもできる。例えば１枚だけ合成に加えたくないフレームが存在する場合など、その画像を排除した合成が可能となる。

このような重み付けのために、ＵＩ画面１００には、画像（フレーム）毎に重みを数値指定できるようにする。例えば初期値は全てのフレームで「１．０」とし、ユーザが「０．０」から「６５５３５．０」まで変更可能とするなどである。
また、合成に使用しない、つまり重み＝０．０とするフレームを指定できるようにすることや、強調したい（重みを増やしたい）フレームを指定できるようにしてもよい。

画像のフレーム内で重みを変えることも考えられる。
例えば画像内に余分な被写体が写り込んでいるような場合に、その領域の重みをゼロとすることで、その被写体を排除した合成画像６５を得ることができるようにする。逆に強調したい被写体の領域の重みを上げるようにしてもよい。

画像のフレーム内で重みを変えるために、ＵＩ画面１００では上述の固定領域の指定と同様に、領域を指定して、重みを設定できるようなユーザインタフェースを提供する。
例えば領域を矩形の枠で指定できるようにしたり、フリーハンドで領域を指定できるようにしたり、複数点を指定することでそれを含む領域が指定されるようにする。またセマンティックセグメンテーション処理で物体認識した領域を提示して、ユーザがその領域を指定して重みを変化させることができるようにしてもよい。

＜９．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の制御装置はＵＩ制御部３０を備える。例えば撮像装置１、カメラ制御部１８、情報処理装置７０、ＣＰＵ７１が、ＵＩ制御部３０を備える制御装置に該当する。
そしてＵＩ制御部３０は、時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像５０の画像データと時間的に終端となる終端画像６０の画像データを含む一部の画像データの画像を同時に表示させる制御を行う。
時間的に連続した複数フレームのＲＡＷ画像等の合成処理を行う場合、少なくともその合成する時間的な範囲である合成範囲における先頭画像５０と終端画像６０を同時に表示させることで、ユーザは合成の開始と終了の２画像を確認することができ、合成する時間的範囲を把握しやすくなる。またそれにより、合成範囲の設定操作がやりやすいものとなる。
また、合成範囲の全ての画像を表示させるものではないため、一画面内で各画像が小さくなりすぎることもなく、ユーザにとって画像を見やすいＵＩ画面を提供できる。

実施の形態のＵＩ制御部３０は、先頭画像５０と終端画像６０が、ＵＩ画面１００の一画面内で画面遷移を行わずに並存して表示される配置で表示されるようにする制御を行う。例えば図９，図１０で説明したように、例えば画面のスクロールを行わなくとも、先頭画像５０と終端画像６０が同時に表示され見比べることができる状態とする。
これによりユーザは、特に画面遷移や表示範囲の移動などの操作を行うことなく、先頭画像５０と終端画像６０を見比べることができる。つまり、ユーザが合成範囲を一目で把握しやすく、かつ合成範囲の変更も合成範囲を確認しながら操作できるというＵＩ画面を提供できる。

実施の形態のＵＩ制御部３０は、先頭画像５０から終端画像６０までの合成範囲に含まれる複数の画像の合成処理によって得られる合成画像についてのシャッタースピードの表示制御を行う例を挙げた。シャッタースピード表示部５１による表示である。
これによりユーザは、合成画像がどのようなシャッタースピードの画像となるかを知ることができる。またこれはユーザにとっては、シャッタースピードを遅くした合成画像を生成させたい場合に、その合成範囲の設定のための目安ともなる。

実施の形態のＵＩ制御部３０は、先頭画像５０、又は終端画像６０の変更操作に応じて、先頭画像５０、又は終端画像６０の設定を変更する制御を行うものとした。
これによりユーザは、画像群のうちで先頭画像５０と終端画像６０を任意に指定する操作が可能となる。これによりユーザは所望のシャッタースピードの合成画像を生成することができるようになる。

実施の形態のＵＩ制御部３０は、画像群についての時間軸表示を実行させるとともに、時間軸表示に対する操作を、先頭画像又は終端画像の変更操作とするものとした。例えば画像群の時間軸を表現するスライドバーとして例示した。
ユーザは、バー／再生操作子表示部５２，５６のスライドバーを操作して、先頭画像５０や終端画像６０を選ぶことができる。この場合、画像群の内で、直感的に合成範囲を選択することができる。

実施の形態のＵＩ制御部３０は、操作に応じて先頭画像５０又は終端画像６０として表示させる画像を変更するものとした。
これによりユーザは、バー／再生操作子表示部５２，５６の操作子による再生操作、停止操作、コマ送り操作、コマ戻し操作を行うことで、先頭画像又は終端画像として表示される画像を切り換えながら、先頭画像５０や終端画像６０を選ぶということができる。つまり画像を確認しながら先頭画像５０と終端画像６０を指定できる。これによりＵＩ画面１００はユーザの意向に沿った先頭画像５０と終端画像６０を設定することに好適な画面となる。

実施の形態のＵＩ制御部３０は、シャッタースピードを指定する入力操作に応じて先頭画像５０又は終端画像６０の設定を行うことも述べた。
例えばユーザがシャッタースピード表示部５１に対して任意のシャッタースピードの値を入力することができるようにする。これに応じてＵＩ制御部３０は、例えば先頭画像５０から当該入力されたシャッタースピードを実現するための合成範囲を計算して、合成範囲の終端となる画像を終端画像６０に設定する。或いは終端画像６０を基準にして、当該入力されたシャッタースピードを実現するための合成範囲を計算して、合成範囲の先頭となる画像を先頭画像５０に設定する。このようにすることで、所望のシャッタースピードの合成画像を実現したいユーザにとって便利な編集機能を実現できる。
なお、例えば先頭画像５０と終端画像６０のどちらを基準にするかは、例えばいずれかに固定するものでもよいし、その時点で固定領域枠５９により固定領域が設定されている方とすることも考えられる。また先頭画像５０と終端画像６０以外の画像を基準にしてもよい。

実施の形態のＵＩ制御部３０は、先頭画像５０又は終端画像６０の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域を表示させる制御を行うものとした。例えば固定領域枠５９により表示させる。
固定領域は、合成する各画像においてフレーム内の領域（画素位置）を同じにすることになるため、合成画像では、その被写体はボケずにはっきりした画像となる。つまり特定の被写体を明確に表現する合成画像が得られるようになる。
この場合にＵＩ画面１００上で固定領域が示されることで、ユーザはどの被写体がはっきりした画像になるかを認識できる。

実施の形態のＵＩ制御部３０は、固定領域を指定する操作に応じて、先頭画像５０又は終端画像６０のフレーム内で固定領域を設定する処理を行うものとした。
これによりユーザは、先頭画像５０又は終端画像６０において、任意の領域や被写体を固定領域として指定できる。従ってユーザの望む画像編集としての合成処理が実行されるようになる。
特に固定領域は、合成範囲の画像において被写体の位置合わせを行うものであるため、例えば流し撮りのようにテクニックが必要な画像表現も容易に実現できる。さらに固定領域設定により、被写体ぶれに対応する補正効果が得られることにもなる。

実施の形態のＵＩ制御部３０は、先頭画像５０又は終端画像６０の表示上で、例えば候補枠５９Ａなどにより固定領域の候補を表示させる制御を行い、固定領域の候補を指定する操作に応じて、先頭画像５０又は終端画像６０のフレーム内で固定領域を設定する処理を行う例を挙げた。
固定領域としての候補を提示することで、ユーザの固定領域指定の操作のガイドとなるとともに、固定領域の指定操作が容易なものとなる。
また、先頭画像５０と終端画像６０のどちらでも固定領域指定が可能とすることで、最終作品イメージにより近い合成が可能となる。

実施の形態のＵＩ制御部３０は、先頭画像５０又は終端画像６０の表示上で、固定領域枠５９や候補枠５９Ａなどにより、固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す適性度表示６７を実行させる制御を行う例を挙げた。
固定領域や固定領域の候補について、適性度がわかるような表示が行われることで、ユーザは、現在の設定が合成処理に適切な状態であるか否か、或いはより良い設定が可能か否かなどの判断も可能となる。従って適性度の表示は合成処理の設定のＵＩ画面操作のための有効な補助となる。

実施の形態のＵＩ制御部３０は、合成処理の処理方式が選択可能なユーザインタフェース制御を行うとともに、合成処理の処理方式の選択操作に応じて、合成処理の処理方式を設定するものとした。例えば合成モードとして加算平均モード、比較明モード、重み付けモードなどを選択可能とする。
任意の合成モードを選択可能とすることで、ユーザはより自由度の高い合成画像の編集を行うことができる。またユーザインタフェース画面上で合成モード設定により、自由度の高い合成編集が提供されることになる。
なお合成モードは以上の３種類に限定されず、他の合成処理方式を実行するモードも考えられる。

実施の形態のＵＩ制御部３０は、先頭画像５０、終端画像６０とともに、合成画像６５を同時に表示させる制御を行う例を挙げた（図９、図１０参照）。
これによりユーザは、先頭画像５０と終端画像６０によって示される合成範囲の合成処理で生成される合成画像６５も見比べることができるようになる。従ってＵＩ画面１００上で合成結果を確認しながら、先頭画像５０、終端画像６０の設定操作や、固定領域の指定操作などを行っていくことができ、使用性のよいものとなる。
また現像処理を反映した合成画像６５も表示されるようにすることで、最終イメージを確認しながら合成のための編集処理が可能になる。

実施の形態のＵＩ制御部３０は、先頭画像５０、終端画像６０とともに、合成処理を指示する操作子を同時に表示させる制御を行う例とした。
即ちＵＩ画面１００には合成実行ボタン６２が用意されている。これによりユーザは、先頭画像５０と終端画像６０を見比べることができるユーザインタフェース画面上で、合成処理を指示でき、極めて使用性がよい。

実施の形態のでは、画像群の各画像データは、撮像時に露光期間が時間的に連続する状態とされた画像データである例を挙げた（図７，図８参照）。
例えば複数のＲＡＷ画像データが、露光期間が途切れないような連続した状態とされていることで、合成ＲＡＷ画像データは、実際に、撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像と同等に扱うことができる画像データとなる。つまり連続した露光期間の長短という本来の意味でのシャッタースピードの編集が可能になる。
これにより通常は撮影後では行うことができないシャッタースピードの変更を、撮影後に可能とするということが実現できる。

なお、合成処理部３１で合成する複数のＲＡＷ画像データが、イメージセンサ１２ａにおける露光期間における露光量に対して、イメージセンサ１２ａにおける非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである例を挙げた（図７参照）。これにより複数のＲＡＷ画像データは、読出期間や電荷リセット期間などの非露光期間があっても、その非露光期間が存在しない状態で得られたデータと考えることができる。従って、一連のＲＡＷ画像データを、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとして扱って合成処理を行うことができる。
また合成処理部３１で合成する複数のＲＡＷ画像データは、複数のイメージセンサ１２ａ１，１２ａ２から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものとする例も挙げた（図８参照）。複数のイメージセンサ１２ａ１，１２ａ２を用い、一方の非露光期間には他方で露光が行われるように、イメージセンサ１２ａ１，１２ａ２の露光タイミングを設定し、イメージセンサ１２ａ１，１２ａ２から交互に順次読み出したＲＡＷ画像データであることで、その一連のＲＡＷ画像データは、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとなる。

実施の形態では、合成する画像群の各画像データがＲＡＷ画像データである例を挙げた。
複数の画像データを合成する合成処理を、ＲＡＷ画像データの段階で行うということは、複数の画像データについて現像処理を施す前の段階で合成し、その後、現像処理を行うということである。そして合成ＲＡＷ画像データについて現像処理を行って、ＪＰＥＧ画像データなどを生成することは、その合成ＲＡＷ画像データに対して適した現像処理ができるということになる。
合成の対象とする複数のＲＡＷ画像データは、時間的に連続した静止画として撮像されたものでもよいし、動画として撮像された各フレームのＲＡＷ画像データでもよい。さらには、合成の対象とする複数のＲＡＷ画像データは、撮像時刻としての関連性や、或いは被写体の関連性などのない、互いに無関係な複数のＲＡＷ画像データでもよい。つまりユーザが選択した任意の複数のＲＡＷ画像データを合成することも考えられる。
またＲＡＷ画像データを合成した後に合成ＲＡＷ画像データを現像することで、合成ＲＡＷ画像データに適した各種のパラメータで現像処理が行われ、例えばＪＰＥＧ画像データなどの合成後の所定形式の画像データが得られる。このため、生成される合成画像（例えばＪＰＥＧ画像データによる画像）の画像品質の向上が実現できる。
また、合成する前の複数のＲＡＷ画像データのそれぞれについての現像処理を行わなくてもよいことで、現像処理の効率化が実現できる。
また合成ＲＡＷ画像データは、圧縮処理等を含めた現像処理前のＲＡＷ画像データを合成したものであり、元の画像としての多くの情報が残っているため、ユーザが画作りを行うときの自由度が拡大するという利点もある。
また合成ＲＡＷ画像データを保存することで、将来的に現像処理技術が進歩した状態で現像を行うということにも適している。

なおＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである例を挙げた。例えばＲ、Ｇ、Ｂ形式の画像データである。ベイヤー配列の場合のＧ１、Ｇ２、Ｒ、Ｂの各画素の画素値で構成される場合や、それらに上述した一部の処理を施した画像データを含む。このような画素値で構成されるＲＡＷ画像データは、撮像素子部１２から読み出された元々の画像情報であり、合成後の現像処理でも自由度が高い。
またＲＡＷ画像データとして、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていないＹＣ－ＲＡＷ画像データの例を挙げた。ＹＣ－ＲＡＷ画像データについても、それを合成して合成処理を行うことで、現像処理の効率が向上する。またＹＣ－ＲＡＷ画像データは、ＲＡＷ画像データに戻すこともできるため、ＲＡＷ画像データに戻した上での合成処理やその後の現像処理も可能となる。

実施の形態では、画像群の各画像データは、静止画連写撮像又は動画撮像により時間的に連続するものとされた画像データである例を挙げた。
静止画連写撮像又は動画撮像による画像群は、合成範囲の複数の画像データが、時間的に連続するものとなり、シャッタースピードの編集という観点で適したものとなる。また通常の連写撮像や動画撮像によって得られた画像群を素材とした合成処理に、実施の形態のＵＩ画面を好適に利用できる。

実施の形態の制御装置（例えば撮像装置１、情報処理装置７０）は、ＵＩ制御部３０が設定した先頭画像５０から終端画像６０までの合成範囲に含まれる複数の画像を合成する合成処理部３１を更に備える例とした。またカメラ制御部１８、ＣＰＵ７１がＵＩ制御部３０とともに合成処理部３１を備えてもよいと述べた。
これにより複数の画像データを合成して個々の画像データの撮像時のシャッタースピードよりも遅いシャッタースピードとされた合成画像データを得ることができる。例えば実施の形態では、合成処理部３１が合成する複数のＲＡＷ画像データが、時間的に連続したフレームとして撮像されたＲＡＷ画像データである例を挙げた。これにより例えば撮像時のシャッタースピードよりも遅いシャッタースピードで撮像したかのような画像を、撮像後に生成できることになる。つまり、撮影後にシャッタースピードを編集することが可能となる。
またこれにより、例えば貴重なシャッターチャンスにおいてシャッタースピードの設定ミスによる失敗を防ぐことができる。
またシャッタースピードの調整に手間取ってシャッターチャンスを逃すということもなくなる。
また撮像時のシャッタースピードを変化させるものではないため、光量調整が不要であり、その上で、適切な光量で撮像された画像から、任意のシャッタースピードの合成画像を得ることができる。
さらに、撮像後にシャッタースピードを詳細に調整することで新たな画像表現につながる。またシャッタースピードを編集した後の合成ＲＡＷ画像データに対し、現像処理を行うことができる。

実施の形態のプログラムは、上述の図１２、図１３のような処理を、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像５０と時間的に終端となる終端画像６０を含む一部の画像を同時に表示させるＵＩ制御を演算処理装置に実行させるプログラムである。
このようなプログラムにより本開示でいう制御装置を各種のコンピュータ装置により実現できる。

これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、本開示の制御装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の制御装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させる制御を行うユーザインタフェース制御部を備えた
制御装置。
（２）
前記ユーザインタフェース制御部は、
前記先頭画像と前記終端画像が、一画面内で画面遷移を行わずに並存して表示される配置で表示されるようにする制御を行う
上記（１）に記載の制御装置。
（３）
前記ユーザインタフェース制御部は、
前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像の合成処理によって得られる合成画像についてのシャッタースピードの表示制御を行う
上記（１）又は（２）に記載の制御装置。
（４）
前記ユーザインタフェース制御部は、
前記先頭画像、又は前記終端画像の変更操作に応じて、前記先頭画像、又は前記終端画像の設定を変更する
上記（１）から（３）のいずれかに記載の制御装置。
（５）
前記ユーザインタフェース制御部は、
前記画像群についての時間軸表示を実行させるとともに、前記時間軸表示に対する操作を、前記先頭画像又は前記終端画像の変更操作とする
上記（４）に記載の制御装置。
（６）
前記ユーザインタフェース制御部は、
操作に応じて前記先頭画像又は前記終端画像として表示させる画像を変更する
上記（４）又は（５）に記載の制御装置。
（７）
前記ユーザインタフェース制御部は、
シャッタースピードの入力操作に応じて前記先頭画像又は前記終端画像の設定を行う
上記（４）から（６）のいずれかに記載の制御装置。
（８）
前記ユーザインタフェース制御部は、
前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域を表示させる制御を行う
上記（１）から（７）のいずれかに記載の制御装置。
（９）
前記ユーザインタフェース制御部は、
合成処理において各画像間でフレーム内位置を固定する固定領域を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行う
上記（１）から（８）のいずれかに記載の制御装置。
（１０）
前記ユーザインタフェース制御部は、
前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域の候補を表示させる制御を行い、
固定領域の候補を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行う
上記（１）から（９）のいずれかに記載の制御装置。
（１１）
前記ユーザインタフェース制御部は、
前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を行う
上記（１）から（１０）のいずれかに記載の制御装置。
（１２）
前記ユーザインタフェース制御部は、
合成処理の処理方式が選択可能なユーザインタフェース制御を行うとともに、
合成処理の処理方式の選択操作に応じて、合成処理の処理方式を設定する
上記（１）から（１１）のいずれかに記載の制御装置。
（１３）
前記ユーザインタフェース制御部は、
前記先頭画像、前記終端画像とともに、合成画像を同時に表示させる制御を行う
上記（１）から（１２）のいずれかに記載の制御装置。
（１４）
前記ユーザインタフェース制御部は、
前記先頭画像、前記終端画像とともに、合成処理を指示する操作子を同時に表示させる制御を行う
上記（１）から（１３）のいずれかに記載の制御装置。
（１５）
前記画像群の各画像データは、撮像時に露光期間が時間的に連続する状態とされた画像データである
上記（１）から（１４）のいずれかに記載の制御装置。
（１６）
前記画像群の各画像データは、ＲＡＷ画像データである
上記（１）から（１５）のいずれかに記載の制御装置。
（１７）
前記画像群の各画像データは、静止画連写撮像又は動画撮像により時間的に連続するものとされた画像データである
上記（１）から（１６）のいずれかに記載の制御装置。
（１８）
前記ユーザインタフェース制御部が設定した前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像を合成する合成処理部を更に備える
上記（１）から（１７）のいずれかに記載の制御装置。
（１９）
制御装置が、
時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させるユーザインタフェース制御を行う
制御方法。
（２０）
時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させるユーザインタフェース制御を、
演算処理装置に実行させるプログラム。

１ 撮像装置
２ 入力選択エリア
３ 調整エリア
４ 先頭画像エリア
５ 終端画像エリア
６ 合成画像エリア
１２ 撮像素子部
１２ａ，１２ａ１，１２ａ２ イメージセンサ
１８ カメラ制御部
２０ 画像処理部
３０ ＵＩ制御部
３１ 合成処理部
３２ 現像処理部
５０ 先頭画像
５１ シャッタースピード表示部
５２，５６ バー／再生操作子表示部
５９ 固定領域枠
５９Ａ 候補枠
６０ 終端画像
６１ 合成モード設定部
６２ 合成実行ボタン
６５ 合成画像
６７ 適性度表示
７０ 情報処理装置、
７１ ＣＰＵ
１００ ＵＩ画面

Claims (19)

1. 時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させる制御を行うユーザインタフェース制御部を備え、
   前記ユーザインタフェース制御部は、
   前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を行う
   制御装置。
2. 前記ユーザインタフェース制御部は、
   前記先頭画像と前記終端画像が、一画面内で画面遷移を行わずに並存して表示される配置で表示されるようにする制御を行う
   請求項１に記載の制御装置。
3. 前記ユーザインタフェース制御部は、
   前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像の合成処理によって得られる合成画像についてのシャッタースピードの表示制御を行う
   請求項１に記載の制御装置。
4. 前記ユーザインタフェース制御部は、
   前記先頭画像、又は前記終端画像の変更操作に応じて、前記先頭画像、又は前記終端画像の設定を変更する
   請求項１に記載の制御装置。
5. 前記ユーザインタフェース制御部は、
   前記画像群についての時間軸表示を実行させるとともに、前記時間軸表示に対する操作を、前記先頭画像又は前記終端画像の変更操作とする
   請求項４に記載の制御装置。
6. 前記ユーザインタフェース制御部は、
   操作に応じて前記先頭画像又は前記終端画像として表示させる画像を変更する
   請求項４に記載の制御装置。
7. 前記ユーザインタフェース制御部は、
   シャッタースピードの入力操作に応じて前記先頭画像又は前記終端画像の設定を行う
   請求項４に記載の制御装置。
8. 前記ユーザインタフェース制御部は、
   前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域を表示させる制御を行う
   請求項１に記載の制御装置。
9. 前記ユーザインタフェース制御部は、
   合成処理において各画像間でフレーム内位置を固定する固定領域を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行う
   請求項１に記載の制御装置。
10. 前記ユーザインタフェース制御部は、
    前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域の候補を表示させる制御を行い、
    固定領域の候補を指定する操作に応じて、前記先頭画像又は前記終端画像のフレーム内で固定領域を設定する処理を行う
    請求項１に記載の制御装置。
11. 前記ユーザインタフェース制御部は、
    合成処理の処理方式が選択可能なユーザインタフェース制御を行うとともに、
    合成処理の処理方式の選択操作に応じて、合成処理の処理方式を設定する
    請求項１に記載の制御装置。
12. 前記ユーザインタフェース制御部は、
    前記先頭画像、前記終端画像とともに、合成画像を同時に表示させる制御を行う
    請求項１に記載の制御装置。
13. 前記ユーザインタフェース制御部は、
    前記先頭画像、前記終端画像とともに、合成処理を指示する操作子を同時に表示させる制御を行う
    請求項１に記載の制御装置。
14. 前記画像群の各画像データは、撮像時に露光期間が時間的に連続する状態とされた画像データである
    請求項１に記載の制御装置。
15. 前記画像群の各画像データは、ＲＡＷ画像データである
    請求項１に記載の制御装置。
16. 前記画像群の各画像データは、静止画連写撮像又は動画撮像により時間的に連続するものとされた画像データである
    請求項１に記載の制御装置。
17. 前記ユーザインタフェース制御部が設定した前記先頭画像から前記終端画像までの合成範囲に含まれる複数の画像を合成する合成処理部を更に備える
    請求項１に記載の制御装置。
18. 制御装置が、
    時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させるユーザインタフェース制御を行い、
    前記ユーザインタフェース制御では、
    前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を行う
    制御方法。
19. 時間的に連続する複数の画像データによる画像群のうちで、合成処理の対象とする合成範囲において時間的に先頭となる先頭画像と時間的に終端となる終端画像を含む一部の画像を同時に表示させるユーザインタフェース制御を演算処理装置に実行させ、
    前記ユーザインタフェース制御では、
    前記先頭画像又は前記終端画像の表示上で、合成処理において各画像間でフレーム内位置を固定する固定領域又は固定領域の候補を表示させるとともに、固定領域としての適性度を示す表示を実行させる制御を前記演算処理装置に実行させる
    プログラム。

Images