JP6004071B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、他の撮像装置と連携した撮影に関する処理を行う表示制御装置、表示制御方法及びプログラムに関する。

従来より、所定の領域を複数の異なる視点から撮影して得た画像を用いて通常の画角よりも広い画角の画像であるパノラマ画像を生成する技術がある。
特許文献１に記載される技術では、複数の撮像手段を搭載して、当該撮像手段により撮像された撮像画像を合成することにより、１つのパノラマ画像を生成する。
また、撮像手段によって撮像した画像を確認するものとしては、特許文献２に記載の技術が知られている。特許文献２に記載の技術では、同一装置内に複数の撮像手段を搭載し、搭載した表示手段において各撮像手段の撮影範囲を表示する。この特許文献２に記載の技術では、１の撮影範囲を撮影する撮像手段の撮影範囲内を他の撮像手段が撮影するように構成されている。

特開２０１１−４３４０号公報 特開２００９−２８４４５２号公報

しかしながら、上述した特許文献１及び２に記載の技術は、複数の撮像手段が同一装置に搭載されているために、撮像範囲等において制約があった。
また、上述した特許文献２に記載の技術では、表示される画像からは、他の撮像手段の撮影範囲を確認できるものの、撮像手段の角度等の姿勢を直感的に認識することができないという問題があった。

本発明は、このような状況に鑑みてなされたものであり、他の撮像装置と連携した撮影に関する処理をより好適に行うことを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する再生表示手段と、前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段と、前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段と、を備えたことを特徴とする。

本発明によれば、他の撮像装置と連携した撮影に関する処理をより好適に行うことができる。

本発明の一実施形態に係る動画システムのシステム構成を示すシステム構成図である。 第１の撮影パターンの説明をするための模式図である。 第２の撮影パターンの説明をするための模式図である。 動画の同期パノラマ再生の具体例を示す模式図である。 本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図５の撮像装置の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成を示す機能ブロック図である。 図６の機能的構成を有する図５の撮像装置が実行する動画の同期パノラマ撮影処理の流れを説明するフローチャートである。 本発明の一実施形態に係る動画再生装置のハードウェアの構成を示すブロック図である。 図８の動画再生装置の機能的構成のうち、動画の同期パノラマ再生を実行するための機能的構成を示す機能ブロック図である。 図９の機能的構成を有する図８の動画再生装置が実行する動画の同期パノラマ再生の流れを説明するフローチャートである。 ３台の撮像装置を用いて、異なる対象を主要被写体とした場合のパノラマ合成を示すための模式図である。 他の撮像装置の撮影始点を表示する一例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る動画システムのシステム構成を示すシステム構成図である。
本発明の一実施形態に係る動画システムＳは、図１に示すように、所定の領域を複数の撮像装置１Ａ，１Ｂで領域を別けるように同期撮影（以下、「動画の同期パノラマ撮影」という）し、当該撮影した複数の動画を１つの動画のように表示して１つの撮像装置の画角よりも広い画角の動画（以下、「パノラマ動画」という）を再生（以下、「動画の同期パノラマ再生」という）するシステムである。

このような動画システムＳは、動画を撮影する複数の撮像装置１Ａ，１Ｂ（本実施形態においては、２台の撮像装置を例として説明する）と、撮影した動画のデータを再生する動画再生装置２と、を備える。

撮像装置１Ａと撮像装置１Ｂとは、ネットワークＮを介して接続され、撮像装置１Ａ，１Ｂと動画再生装置２とも、ネットワークＮを介して接続される。
また、撮像装置１Ａと撮像装置１Ｂとの間では、同期撮影を行うための装置の位置や姿勢等の同期撮影に必要な情報がやり取りされる。また、撮像装置１Ａ、１Ｂと動画再生装置２の間では、同期再生を可能にするための情報と、撮影された動画データとがやり取りされる。
また、撮像装置１Ａ，１Ｂは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛生ＳｔからのＧＰＳ情報と、搭載される加速度センサ等の各種センサからの情報に基づいて、装置の位置と角度や向き等の装置の姿勢に関する情報を取得する。
なお、撮像装置１Ａ、１Ｂの各々を、個々に区別する必要がない場合、これらをまとめて、「撮像装置１」とする。

この動画システムＳにおいては、上述したシステム構成で、動画の同期パノラマ撮影と同期パノラマ再生を行うが、まず、動画の同期パノラマ撮影について説明し、次に動画の同期パノラマ撮影で得た動画データを再生する動画の同期パノラマ再生について説明する。
「動画の同期パノラマ撮影」とは、パノラマ動画の再生に供する動画を複数の撮像装置１Ａ，１Ｂで同期撮影する撮影のことをいう。
「動画の同期パノラマ再生」とは、動画の同期パノラマ撮影で撮影された動画を表示してパノラマ動画の再生を行う再生のことをいう。

動画の同期パノラマ撮影では、パノラマ動画となる複数の動画データを得るために、所定の領域を撮像装置１Ａ，１Ｂで撮影する。
以下、動画の同期パノラマ撮影の一例として、撮像装置１Ａにおける撮影位置を決定して、次に、撮像装置１Ａの撮影位置に基づいて、撮像装置１Ａの撮影領域の残余の領域を撮影するように撮像装置１Ｂにおける撮影位置を決定する場合の例を主に説明する。
この場合、撮像装置１Ｂにおける撮影位置の決定に際し、動画の同期パノラマ撮影では、撮像装置１Ｂ側において、撮像装置１Ａの撮影領域を搭載する表示部２１で表示する。
表示部２１に表示される撮像装置１Ａの撮影領域を基にして、ユーザは、撮像装置１Ｂに対する撮影位置の決定を行うことで、適切な撮影位置で動画の同期パノラマ撮影を行うことができる。
上記の例の他、撮像装置１Ａと撮像装置１Ｂとが互いに相手の撮影領域を自己の表示部で確認しながら、夫々の撮影位置を同時に調整することも可能である。

撮像装置１Ｂ側において、撮像装置１Ａの撮影領域を表示する手法としては、撮像装置１Ａの撮影主体となる主要被写体に対する撮影位置から、撮像装置１Ｂの撮影領域内においての撮像装置１Ａの撮影領域を表示する。
撮像装置１Ｂの撮影領域は、ライブビュー画像を利用することで、特定することができ、当該ライブビュー画像を表示した状態で、ライブビュー画像に映し出される映像に対応して撮像装置１Ａの撮影領域を表示させる。なお、「ライブビュー画像」とは、搭載される撮像部による撮像動作を開始させた結果、順次出力される撮像画像をいう。「ライブビュー画像」は、搭載される記憶部に一時的に記憶され、その後、撮像画像を順次読み出して、表示部２１に順次表示させる。その結果、表示部２１には、現在の撮影風景が撮像部に刻々と表示されることになる。
撮影された撮像画像は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式のうちＭＰＥＧ４形式の動画として記憶される。ＭＰＥＧ４形式の動画は、データ圧縮のために、複数種のフレーム（Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ），Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ），Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ））で構成される。Ｉフレームは、フレーム間予測を用いずに符号化されるフレーム（イントラフレームやキーフレーム）であり、Ｐフレームは、前方向予測のみを用いて符号化されるフレームであり、Ｂフレームは、前方向予測、後方向予測、両方向予測のうち何れかを選択して符号化されるフレーム。つまり、伸長（復号）処理の際には、Ｉフレームの場合には、他のフレームを必要とせず、Ｐフレーム及びＢフレームは他のフレームが必要となる。

上述したような撮像装置１Ｂ側の撮像装置１Ａの撮影領域を表示する手法の具体例について、以下、主要被写体に対する撮像装置１Ａ，１Ｂの撮影位置の異なる２つの撮影パターン（第１の撮影パターン及び第２の撮影パターン）の例を用いて説明する。なお、所定の撮影パターンは、撮影における仮位置であって、仮位置における撮像装置１の撮影領域を判断して、撮影位置を決定するものである。
なお、本例では、撮像装置１Ａ，１Ｂはチルト方向（垂直方向）とパン方向（水平方向）に装置を移動させて所望の位置で固定が可能な三脚に取り付けられる。

図２は、第１の撮影パターンの説明をするための模式図である。
第１の撮影パターンは、撮像装置１を側面視した図２（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとが同じ高さで同じ角度に調整された状態である（高さ／角度：一致）。
また、第１の撮影パターンでは、撮像装置１を平面視した図２（ｂ）に示すように、撮像装置１Ａと撮像装置１Ｂとの撮像装置の並びに対して平行するように設定された被写体の想定位置を示すライン（以下、「被写体位置ライン」という）までの距離（以下、「被写体距離」という）が同じで、撮像領域が重複する領域（以下、「重複領域」という）ができるような装置間の距離（以下、「装置間距離」という）に設置された状態である（被写体距離：一致，重複領域：あり）。
第１の撮影パターンは、換言すると、被写体位置ラインに対して正対した状態で撮像装置１を重複領域ができる所定距離に並べて設置した撮影パターンである。
このような条件下においては、撮像装置１Ａと撮像装置１Ｂとの被写体位置ラインにおける撮影領域の大きさが同じになる（撮影領域の大きさ：一致）。
なお、以下において、撮像装置１の光軸と（本実施形態においては、直角方向に）交差し、被写体を通過する被写体位置ラインを鉛直方向の平面として捉えたものを「被写体撮影平面」といい、被写体撮影平面を撮像装置１の撮影領域で区画した平面の領域を「被写体撮影領域」という。即ち、撮像装置１が撮影する空間をＸＹＺ座標系（極座標系）で捉えた場合、「被写体撮影平面」は、撮像装置１の光軸と被写体と直交する被写体位置ラインがＸＹ軸で特定され、当該被写体位置ラインを鉛直方向のＺ軸で特定される。また、「被写体撮影領域」は、特定された被写体撮影平面を撮像装置１Ａの撮像範囲で区画して特定した平面の領域である。

このような第１の撮影パターンでは、撮像装置１Ｂを基準にして、互いの撮影領域との位置関係で示した図２（ｃ）に示すように、撮像装置１Ａの撮影領域と、撮像装置１Ｂの撮影領域とが同一の大きさで、一部重なり合っているような位置関係となる。
撮像装置１Ｂでは、撮像装置１Ｂの撮影領域でライブビュー画像が表示されて、撮像装置１Ｂの撮影領域に重なっている撮像装置１Ａの撮影領域の一部がライブビュー画像に重複して表示されることとなる。具体的には、撮像装置１Ｂでは、図２（ｄ）に示すようなライブビュー画像の左側の一部の領域に撮像装置１Ａの撮影領域の重複部分が表示される。本実施形態においては、撮像装置１Ｂの撮影領域でライブビュー画像に重畳表示される撮像装置１Ａの撮影領域の重複部分は、撮像装置１Ａの撮影領域の外形を示した枠ＦＲＭ（以下、「他装置撮影領域枠ＦＲＭ」ともいう）として表示される。
ユーザは、ライブビュー画像に重複して表示される撮像装置１Ａの撮影領域の一部の表示によって、撮像装置１Ａの撮影条件（撮像装置１Ｂとの装置間距離、撮像装置１Ａの高さや角度、主要被写体との距離等）を直感的に把握することができ、撮像装置１Ａ，１Ｂの位置の決定に反映させることができる。
第１の撮影パターンの場合では、被写体位置ラインにおける撮影領域の大きさが同一であり、重複量も十分であるため、パノラマ動画を構成する動画を撮影するのに好適な撮影視点であることがわかる。従って、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができ、仮位置として配置した第１の撮影パターンで、撮影を行えばパノラマ動画を構成する動画に好適な撮影視点での撮影を行うことができる。

図３は、第２の撮影パターンの説明をするための模式図である。
第２の撮影パターンは、撮像装置１を側面視した図３（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとが同じ高さで、撮像装置１Ｂが上向きとなる異なる角度に調整された状態である（高さ：一致，角度：不一致）。
また、第２の撮影パターンでは、撮像装置１を平面視した図３（ｂ）に示すように、撮像装置１Ａが被写体位置ラインに近く、異なる被写体距離となり、重複領域ができるような装置間の距離（以下、「装置間距離」という）に設置された状態である（被写体距離：不一致，重複領域：あり）。
第２の撮影パターンは、撮像装置１Ｂの角度が上向きであり、撮像装置１Ａが被写体位置ラインに近づいた状態である点が第１の撮影パターンと相違する。
このような条件下において撮影を行うと、撮像装置１Ａと撮像装置１Ｂとの被写体位置ラインにおける撮影領域の大きさが異なる（撮影領域の大きさ：不一致）。

このような第２の撮影パターンでは、撮像装置１Ｂを基準にして、互いの被写体位置ラインにおける撮影領域との位置関係で示した図３（ｃ）に示すように、撮像装置１Ａの被写体位置ラインにおける撮影領域が撮像装置１Ｂの被写体位置ラインにおける撮影領域よりも小さくなり、撮像装置１Ａの被写体位置ラインにおける撮影領域は上辺が短い台形形状となっており、撮像装置１Ｂの被写体位置ラインにおける撮影領域の下方で奥側に傾いているように見える形となる。
撮像装置１Ｂでは、図３（ｄ）に示すようなライブビュー画像の左側の下方の一部の領域に撮像装置１Ａの被写体位置ラインにおける撮影領域の重複部分が他装置撮影領域枠ＦＲＭとして表示される。
ユーザは、ライブビュー画像に重複して表示される撮像装置１Ａの被写体位置ラインにおける撮影領域の一部の表示によって、撮像装置１Ｂのライブビュー画像の左下方で奥側に傾いているために撮像装置１Ｂが上方に傾いていること、撮像装置１Ｂのライブビュー画像よりも小さいために、撮像装置１Ａが撮像装置１Ｂよりも被写体位置ラインに近い位置、即ち、撮像装置１Ｂの手前に位置していることを直感的に把握することができる。
第２の撮影パターンの場合では、他装置撮影領域枠ＦＲＭが歪であるためにパノラマ動画を構成する動画を撮影するのに適さない可能性のある撮影視点であることがわかる。
これにより、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができ、撮像装置１Ａ，１Ｂの位置や姿勢を調整する判断をしたりすることができる。

以上、動画システムＳにおける動画の同期パノラマ撮影について説明した。
次に、動画システムＳにおける動画の同期パノラマ再生について説明する。

動画の同期パノラマ再生は、動画再生装置２において、撮像装置１Ａ，１Ｂから取得した複数の動画で１つの領域となるような動画のうちの一部の領域を表示し、スクロール操作等があった場合に、一部の動画から他の動画の表示領域へと表示を変更するようにして、パノラマ動画を表示する。また、動画の同期パノラマ再生は、それぞれ同期撮影された動画を用いる。
動画再生装置２に設けられる表示部１１８に表示される動画は、全ての動画ではなく、一部の動画であり、表示されていない動画は動画の再生に係る再生処理を停止している。再生処理が停止している動画は、スクロール操作等があり、表示領域に該当する時に、再生処理が開始される。再生処理の開始は、現在表示されている動画が次のＩフレーム画像になった時に、行う。即ち、表示領域の変化は、互いのフレーム画像がＩフレーム画像となった時に行われることになる。これにより、不要な処理をすることなく動画の表示領域の変更が可能となる。

なお、表示領域の変更がない場合には、メインに表示されている動画の一部と他の動画の一部との重複部分は、必要に応じて、合成処理されて表示される。一方、表示領域の変更がされている場合には、メインで表示されている動画を前面で再生し、重複した一部の動画を背面で再生する。画面ではメインで表示されている動画が表示されているように見えることになる。このように、表示領域の変更がされている場合に、動画の前後関係で表示の処理をすることにより、重複部分の合成処理を行わないために、処理負担が軽減する。表示領域の変更している最中であるため、多少の画像の劣化や親和性の低さは着目されないために、処理負担の軽減を優先することが可能となる。

図４は、動画の同期パノラマ再生の具体例を示す模式図である。なお、撮像装置１Ａにより撮影された動画を「動画Ａ」といい、撮像装置１Ｂにより撮影された動画を「動画Ｂ」という。

動画の同期パノラマ再生において、動画の同期パノラマ撮影は、図４（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとの装置の角度と高さが同じに調整され、図４（ｂ）に示すように、被写体距離が同じで、所定の重複領域ができる位置に配置されている。
即ち、図４の例では、動画の同期パノラマ再生は、パノラマ動画を構成する動画撮影として好適な撮影始点で撮影した第１の撮像パターンと同一の撮影条件である。
以下、上述した撮影条件で取得した動画データを用いて動画の同期パノラマ再生を行う例を説明する。

取得した動画を表示すると、図４（ｃ）乃至（ｆ）に示すようなものとなり、図中左斜めのハッチングの領域は、撮像装置１Ａにおいて撮影された撮影領域である動画Ａを示し、右斜めのハッチングの領域は、撮像装置１Ｂにおいて撮影された撮影領域である動画Ｂを示す。また、図中、交差するハッチングの領域は、動画Ａと動画Ｂとの重複領域を示している。また、表示部２１における表示領域を表示すると、図４（ｄ）乃至（ｆ）に示す縦のハッチングの領域となる。

動画の同期パノラマ再生では、まず、図４（ｄ）に示すように、動画Ａ，Ｂの撮影領域全体ではなく、１の動画の一部の撮影領域（動画Ａの一部の撮影領域）のみを表示領域（１）として表示する。この際、表示領域となっていない動画については、再生処理を停止している。即ち、動画Ｂは、処理負担の軽減のため再生処理をしない。

また、動画の同期パノラマ再生では、ユーザの操作等により、スクロールの指示があった場合には、表示領域（１）からスクロール方向へ変更して行く。この際、スクロールによって、図４（ｅ）に示すように重複領域に表示領域（２）・・・（３）がさしかかった場合には、現在再生している動画Ａを前面で表示する。これにより、重複部分の合成処理の負担を軽減する。なお、本実施形態においては、スクロール状態の重複領域は、合成処理を行わずに、動画の前後関係により表示することにより構成したがこれに限られず、重複するフレーム画像を合成した合成フレーム画像を表示するようにしてもよい。
その後、重複部分において、スクロールが停止されて、静止状態となった場合には、動画の視認性を考慮して、動画Ａと動画Ｂの合成処理を行う。即ち、静止状態となった場合には、動画Ａのフレーム画像と動画Ｂのフレーム画像とを合成した合成フレーム画像を表示する。

スクロールが再開されて、図４（ｆ）に示すような位置が表示領域（３）となった場合には、動画Ｂのみを再生処理して、動画Ａの再生処理を行わない。

以上、動画の同期パノラマ再生について説明した。
次に、動画システムにおいて、動画の同期パノラマ撮影を行う撮像装置１について説明する。

図５は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、図５に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、センサ部１８と、ＧＰＳ部１９と、入力部２０と、表示部２１と、記憶部２２と、通信部２３と、ドライブ２４と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は、記憶部２２からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、センサ部１８、ＧＰＳ部１９、入力部２０、表示部２１、記憶部２２、通信部２３及びドライブ２４が接続されている。
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。この撮像部１７の出力信号を、以下、「撮像画像のデータ」という。この撮像画像のデータが、パノラマ画像の生成に用いられる元画像のデータとして用いられることになる。

センサ部１８は、例えば加速度センサで構成され、装置の角度、高さ、向き等の姿勢を検出する。
ＧＰＳ部１９は、ＧＰＳ衛生Ｓｔからの信号を受信して現在位置を測位する。

入力部２０は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部２１は、ディスプレイで構成され、画像を表示出力する。表示部２１では、取得した画像をリアルタイムに表示すると共に、通信部２３により取得した情報も当該画像上にリアルタイムに表示する。

記憶部２２は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２３は、インターネットを含むネットワークＮを介して他の装置（図示せず）との間で行う通信を制御する。通信部２３は、他の装置からの情報をリアルタイムに受信する等の他装置間での通信をリアルタイムに行う。

ドライブ２４には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２４によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２２にインストールされる。また、リムーバブルメディア３１は、記憶部２２に記憶されている画像のデータ等の各種データも、記憶部２２と同様に記憶することができる。

次に、このような撮像装置１の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成について説明する。

図６は、このような撮像装置１の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成を示す機能ブロック図である。
「動画の同期パノラマ撮影処理」とは、複数の撮像装置１Ａ，１Ｂにおいて撮影したそれぞれの撮影領域をつなぎ合わせて表示することでパノラマ表示を行える動画を撮影するまでの一連の処理である。この動画の同期パノラマ撮影処理では、互いの撮像装置１Ａ，１Ｂにおいて撮影を同期する処理も合わせて行う。また、動画の同期パノラマ撮影処理では、撮影位置の決定に際して、互いの撮影領域の一部が重複するように、撮像装置１Ｂの表示部２１において、他の撮像装置１Ａの重複する撮影領域がわかるように表示する処理も合わせて行う。

動画の同期パノラマ撮影処理を実行する場合には、図６に示すように、ＣＰＵ１１において、撮像制御部５１と、撮像画像取得部５２と、表示制御部５３と、撮像条件取得部５４と、主要被写体特定部５５と、被写体撮影平面特定部５６と、被写体撮影領域特定部５７と、位置関係特定部５８と、記憶制御部５９と、が機能する。
記憶部２２の一領域には、撮像画像記憶部９１と、動画記憶部９２とが設けられる。
撮像画像記憶部９１には、撮像部１７によって出力されたライブビュー画像を含む撮像画像データが一時記憶される。
動画記憶部９２には、撮像画像を圧縮処理した動画データが記憶される。

撮像画像取得部５２は、ライブビュー画像を取得して、記憶部２２の撮像画像記憶部９１に一時的にデータを格納する。

表示制御部５３は、取得したライブビュー画像を表示部２１に表示させる制御を行う。結果として、表示部２１にライブビュー画像が表示される。
また、表示制御部５３は、特定した位置関係に基づいて、他の撮像装置１Ａの被写体撮影領域を、ライブビュー画像上に枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように表示部２１を制御する。結果として、表示部２１においては、ライブビュー画像上に被写体撮影領域の外縁を示す矩形の枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）が表示される。これにより、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができる。

撮像条件取得部５４は、自機（撮像装置１Ｂ）及び他の撮像装置１Ａの撮影条件（装置の垂直方向の角度情報、高さ情報、位置情報及びレンズの水平方向の向き情報等）を取得する。
また、撮像条件取得部５４は、自機（撮像装置１Ｂ）からは、センサ部１８から装置の垂直方向の角度情報及び高さ情報を取得し、ＧＰＳ部１９から装置の絶対位置情報及びレンズの水平方向の向き情報を取得する。
撮像条件取得部５４は、他の撮像装置１Ａからは、他の撮像装置１Ａに搭載されるセンサ部１８やＧＰＳ部１９から取得した撮影条件である撮影領域情報（装置の垂直方向の角度情報、高さ情報、位置情報及びレンズの水平方向の向き情報等）を、通信部２３を介して取得する。
本実施形態においては、撮像条件取得部５４によって取得された装置の絶対位置情報から撮影位置が特定され、装置の垂直方向の角度情報及びレンズの水平方向の向き情報から撮影方向が特定され、装置の垂直方向の角度情報、高さ情報及びレンズの水平方向の向き情報から撮影画角が特定されることとなる。
また、撮像条件取得部５４は、他の撮像装置１Ａからの撮影位置、撮影方向及び撮影画角の情報を、撮影位置、撮影方向及び撮影画角の情報として取得してもよいし、撮影位置、撮影方向及び撮影画角が特定可能な装置の絶対位置情報、レンズの水平方向の向き情報、装置の垂直方向の角度情報及び高さ情報から取得してもよい。

主要被写体特定部５５は、撮像領域における主要被写体の位置を特定する。具体的には、主要被写体特定部５５は、例えば、撮像領域の中心付近でフォーカシングされた被写体や、ユーザが指定した被写体を主要被写体として特定する。

被写体撮影平面特定部５６は、主要被写体特定部５５により特定された主要被写体の位置に基づいて、被写体撮影平面を特定する。具体的には、被写体撮影平面特定部５６は、例えば、特定された主要被写体と、撮像部１７からの光軸が直交する方向を被写体撮影平面として特定する。なお、被写体撮影平面の特定は、撮像部からの光軸に限らず、ユーザが視認することができる撮像装置の向き等から撮像装置に対応する平面を設定し、当該設定した平面に対して主要被写体が平行になる平面を被写体撮影平面としてもよい。

被写体撮影領域特定部５７は、他の撮像装置１Ａにおける被写体平面上で特定した撮影領域である被写体撮影領域を特定する。具体的には、被写体撮影領域特定部５７は、特定された被写体撮影平面を他の撮像装置１Ａにおける撮像領域で区切った領域を被写体撮影領域として特定する。

位置関係特定部５８は、自機（撮像装置１Ｂ）の撮影領域と他の撮像装置１Ａの被写体撮影領域との位置関係を特定する。即ち、位置関係特定部５８は、自機（撮像装置１Ｂ）の撮影領域と他の撮像装置１Ａの被写体撮影領域との傾き、距離、高さ等の位置関係を特定する。これにより、自機（撮像装置１Ｂ）の撮影領域に対する他の撮像装置１Ａの被写体撮影領域の位置がわかるため、自機（撮像装置１Ｂ）の撮影領域を基準としたライブビュー画像において他の撮像装置１Ｂの被写体撮影領域を位置関係に基づいて大きさや傾きや高さを変えて表示させることができる。

記憶制御部５９は、撮像部１７によって撮像された撮像画像のデータを、動画をＭＰＥＧ形式で記憶するように動画記憶部９２を制御する。また、同期撮影の指示により、動画を記憶する場合には、Ｉフレーム画像等の圧縮処理を同期させる。同期は、例えば、他の撮像装置においてフレーム番号と、圧縮処理を対応させることにより行う。
また、記憶制御部５９は、動画の記憶に際して、フレーム番号に対応付けて、位置関係特定部５８により特定されたフレーム画像毎の位置関係の情報（以下、「位置関係情報」という）を記憶する。

以上、図５の撮像装置の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成について説明した。
次に、このような機能的構成を有する撮像装置１が実行する動画の同期パノラマ撮影処理について説明する。

図７は、図６の機能的構成を有する図５の撮像装置１が実行する動画の同期パノラマ撮影処理の流れを説明するフローチャートである。
動画の同期パノラマ撮影処理は、ユーザによる入力部２０への動画の同期パノラマ撮影処理開始の操作がなされることにより、開始される。その後、撮像制御部５１により、撮像部１７への撮像指示が行われ、撮像処理が開始されることとなる。

ステップＳ１において、撮像画像取得部５２は、撮像画像をライブビュー画像として取得して、記憶部２２の撮像画像記憶部９１に一時的にデータを格納し、表示制御部５３は、取得したライブビュー画像を表示部２１に表示させる制御を行う。結果として、表示部２１にライブビュー画像が表示される。

ステップＳ２において、撮像条件取得部５４は、センサ部１８から自機の撮像装置の垂直方向の角度情報及び高さ情報、ＧＰＳ部１９から自機の撮像装置の絶対位置情報及びレンズの水平方向の向き情報を取得する。自機の撮像装置の絶対位置情報から自機の撮影位置がわかるようになり、装置の垂直方向の角度情報及びレンズの水平方向の向き情報から自機の撮影方向がわかるようになり、自機の撮像装置の垂直方向の角度情報及び高さ情報レンズの水平方向の向き情報から自機の撮影画角がわかるようになる。

ステップＳ３において、撮像条件取得部５４は、通信部２３を介して他の撮像装置からの撮影条件の情報の送信要求を受信したか否かを判定する。
他の撮像装置からの撮影条件の情報の送信要求を受信していない場合には、ステップＳ３においてＮＯと判定されて、処理はステップＳ５に進む。ステップＳ５以降の処理については後述する。

これに対して、他の撮像装置からの撮影条件の情報の送信要求を受信している場合には、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ４に進む。

ステップＳ４において、撮像条件取得部５４は、他の撮像装置に対して撮影条件の送信を許可するとともに、この送信許可に応答して他の撮像装置から送信されてくる撮影位置、撮影方向、撮影画角などの撮影領域情報を含む撮影条件の情報を取得する。

ステップＳ５において、主要被写体特定部５５は、撮像領域における主要被写体の位置を特定する。

ステップＳ６において、被写体撮影平面特定部５６は、主要被写体特定部５５により特定された主要被写体の位置に基づいて、主要被写体の位置を含む被写体撮影平面を特定する。

ステップＳ７において、被写体撮影領域特定部５７は、他の撮像装置における被写体撮影平面上で特定した撮影領域である被写体撮影領域を特定する。

ステップＳ８において、位置関係特定部５８は、自機の撮像装置の撮影位置、撮影方向、撮影画角と他の撮像装置から受信した撮影位置、撮影方向及び撮影画角とに基づいて、自機の撮影領域と他の撮像装置の被写体撮影領域との位置関係を特定する。

ステップＳ９において、表示制御部５３は、特定した位置関係に基づいて、他の撮像装置の被写体撮影領域を、ライブビュー画像上に枠ＦＲＭとして表示させるように表示部２１を制御する。結果として、表示部２１においては、ライブビュー画像上に被写体撮影領域の外縁を示す矩形の枠ＦＲＭが表示される。

ステップＳ１０において、記憶制御部５９は、動画の撮影記憶中か否かを判定する。
動画の撮影記憶中でない場合には、ステップＳ１０においてＮＯと判定されて、処理はステップＳ１１に進む。

ステップＳ１１において、撮像制御部５１は、同期撮影の開始指示があったか否かを判定する。
同期撮影の開始指示がない場合には、ステップＳ１１においてＮＯと判定されて処理はステップＳ２に戻る。

同期撮影の開始指示があった場合には、ステップＳ１１においてＹＥＳと判定されて処理はステップＳ１２に進む。

ステップＳ１２において、記憶制御部５９は、フレーム番号１から動画の撮影及び圧縮記憶の動作を開始して、処理はステップＳ２に戻る。

これに対して、動画の撮影記憶中である場合には、ステップＳ１０においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、記憶制御部５９は、現在動画撮影記憶中のフレーム番号に対応付けて、位置関係情報を記憶する。

ステップＳ１４において、撮像制御部５１は、同期撮影の終了指示があったか否かを判定する。
同期撮影の終了指示がない場合には、ステップＳ１４においてＮＯと判定されて処理はステップＳ２に戻る。

これに対して、同期撮影の終了指示があった場合には、ステップＳ１４においてＹＥＳと判定されて処理はステップＳ１５に進む。

ステップＳ１５において、記憶制御部５９は、撮影記憶した動画データに対して、各フレームの位置関係情報のリストを付加して記憶する。その後、動画の同期パノラマ撮影処理は終了する。
また、各撮像装置は、動画の同期パノラマ撮影処理終了後に、動画再生装置２に対して、各フレームの位置関係情報のリストを付加した動画データを送信する。各フレームの位置関係情報のリストを付加した動画データを取得した動画再生装置２は、動画の同期再生処理を行うこととなる。

以上、本実施形態における撮像装置１の機能及び動作について説明した。
次に、本実施形態における動画再生装置２の機能及び動作について説明する。

図８は、本発明の一実施形態に係る動画再生装置２のハードウェアの構成を示すブロック図である。
動画再生装置２は、例えばパーソナルコンピュータとして構成される。

動画再生装置２は、図８に示すように、ＣＰＵ１１１〜ドライブ１２２を備えている。ＣＰＵ１１１〜ドライブ１２２の各々は、図５のＣＰＵ１１〜ドライブ２４と基本的に同様の構成と機能を有している。また、リムーバブルメディア１３１は、図５のリムーバブルメディア３１と同様の構成と機能を有している。
従って、動画再生装置２のハードウェア構成の説明は省略する。
このように構成される動画再生装置２においては、各撮像装置から取得した位置関係情報のリストが付加された動画データを再生して、パノラマ動画の再生を行う機能を有する。動画再生装置２においては、パノラマ動画の再生時には、各生成動画の一部の領域のみを表示し、スクロール操作に対応して、残余の領域と、他の動画データの領域を再生する。また、動画再生装置２においては、表示領域にかからない他の動画データは、再生を行わずに、スクロール操作で、表示対象となった場合にのみ再生を行うように構成される。

以上、システムにおける動画再生装置２のハードウェア構成について説明した。
次に、動画再生装置２の機能的構成のうち、動画の同期パノラマ再生処理を実行するための機能的構成について説明する。
図９は、図８の動画再生装置２の機能的構成のうち、動画の同期パノラマ再生を実行するための機能的構成を示す機能ブロック図である。
「動画の同期パノラマ再生処理」とは、各撮像装置から取得した位置関係情報のリストが付加された動画データを再生して、パノラマ動画の再生を行うまでの一連の処理である。この動画の同期パノラマ再生処理においては、パノラマ動画の再生時に、各生成動画の一部の領域のみを表示し、スクロール操作に対応して、残余の領域と、他の動画データの領域を再生する処理を含む。

動画の同期パノラマ再生処理を実行する場合には、図９に示すように、ＣＰＵ１１１において、動画取得部１５１と、再生制御部１５２と、位置関係情報取得部１５３と、入力検出部１５４と、表示制御部１５５と、表示動画特定部１５６と、表示画像生成部１５７と、が機能する。
記憶部１１９の一領域には、動画記憶部１９１が設けられる。
動画記憶部１９１には、各フレームの位置関係情報のリストが付加された動画データが記憶される。

動画取得部１５１は、撮像装置１Ａ，１Ｂで同期パノラマ撮影を行って記憶された複数の動画データを取得する。取得した動画データには、各フレームに対応した動画の撮影領域と他の撮像装置の被写体撮影領域との位置関係のリストが付加されている。

再生制御部１５２は、動画再生のフレーム管理や復号処理（以下、「伸長処理」ともいう）等の動画データの再生に係る処理を行う。
また、再生制御部１５２は、表示制御部１５５に対して、再生すべき動画データの選択や表示すべき領域の設定等を行う。

位置関係情報取得部１５３は、各動画データに付加された位置関係情報のリストから現在の再生フレーム番号に対応する位置関係情報を取得する。位置関係情報取得部１５３は、現在の再生フレーム番号に対応する位置関係情報として、現在の再生フレームにおける撮影領域と、他の撮像装置の被写体撮影領域との位置関係を取得する。これにより、再生フレームと他のフレームとの位置関係がわかることとなる。

入力検出部１５４は、入力部１１７に対する表示領域のスクロール操作や同期再生の終了指示操作を検出する。

表示制御部１５５は、位置関係情報によって示される複数の撮像装置の合成した撮影領域内において現在設定されている表示領域を入力検出部１５４により検出したスクロール操作に従って移動表示させるように表示部１１８を制御する。即ち、表示制御部１５５は、スクロール操作に対応して動画の表示領域を変更して画面がスクロールして移動している表示を行うように表示部１１８を制御する。
また、表示制御部１５５は、再生制御部１５２により再生するように指示された表示領域内の画像を表示画面上に表示するように表示部１１８を制御する。

表示動画特定部１５６は、現在の表示領域内に一部でも撮影領域が含まれる動画データであって、当該表示領域内に他の動画データと共通しない撮影領域がある動画データを特定する。

表示画像生成部１５７は、フレーム画像から表示領域内の画像を切り出して生成したり、取得した複数のフレーム画像を、位置関係情報が示す位置関係で合成して、表示領域内の画像を生成したりする。

以上、図８の動画再生装置２の機能的構成のうち、動画の同期パノラマ再生を実行するための機能的構成について説明した。
次に、本実施形態における動画再生装置２が行う動画の同期パノラマ再生処理について説明する。
図１０は、図９の機能的構成を有する図８の動画再生装置２が実行する動画の同期パノラマ再生処理の流れを説明するフローチャートである。
動画の同期パノラマ再生処理は、ユーザによる入力部１１７への動画の同期パノラマ再生処理開始の操作がなされることにより、開始される。

ステップＳ３１において、動画取得部１５１は、撮像装置１Ａ，１Ｂで同期パノラマ撮影を行って記憶された２つの各フレームの位置関係情報のリストが付加された動画データを、通信部１２０を介して取得する。その後、動画取得部１５１は、取得した動画データを動画記憶部１９１に出力して、記憶させる。

ステップＳ３２において、再生制御部１５２は、再生フレーム番号を１に初期化する。即ち、再生制御部１５２は、伸張処理の対象を再生フレーム番号が１のフレームとなるように初期化する。

ステップＳ３３において、再生制御部１５２は、表示画面上に初期表示する動画データを選択し、当該選択した動画データの撮影領域を表示領域として初期設定する。例えば、同期再生する動画データが３つある場合は、１つの動画データを選択すると共に、再生フレームのどの部分を表示領域とするかを設定する。

ステップＳ３４において、位置関係情報取得部１５３は、各動画データに付加された位置関係情報のリストから現在の再生フレーム番号に対応する位置関係情報を取得する。

ステップＳ３５において、入力検出部１５４は、表示領域のスクロール操作があったか否かを判定する。
表示領域のスクロール操作がなかった場合には、ステップＳ３６においてＮＯと判定されて、処理はステップＳ３７に進む。ステップＳ３７以降の処理は後述する。

ステップＳ３６において、表示制御部１５５は、位置関係情報によって示される複数の撮像装置の合成した撮影領域内において現在設定されている表示領域を入力検出部１５４により検出したスクロール操作に従って移動表示させるように表示部１１８を制御する。

ステップＳ３７において、表示動画特定部１５６は、現在の表示領域内に一部でも撮影領域が含まれる動画データであって、当該表示領域内に他の動画データと共通しない撮影領域がある動画データを特定する。

ステップＳ３８において、再生制御部１５２は、表示動画特定部１５６により特定された動画データの中で、伸長（復号）処理を停止している動画データがあれば、次のＩフレーム位置から復号処理を開始する。

ステップＳ３９において、再生制御部１５２は、表示動画特定部１５６により特定された全ての動画データから現在の再生フレーム番号に対応するフレーム画像を取得する。

ステップＳ４０において、再生制御部１５２は、全てのフレーム画像が取得できたか否かを判定する。
全てのフレーム画像が取得できていない場合には、ステップＳ４０においてＮＯと判定されて、処理はステップＳ４３に進む。ステップＳ４３以降の処理は後述する。
これに対して、全てのフレーム画像が取得できている場合には、ステップＳ４０においてＹＥＳと判定されて、処理はステップＳ４１に進む。

ステップＳ４１において、表示画像生成部１５７は、取得した複数のフレーム画像を、位置関係情報が示す位置関係で合成して、表示領域内の画像を生成する。

ステップＳ４２において、表示制御部１５５は、生成した表示領域内の画像を表示画面上に更新表示するように表示部１１８を制御する。その結果、表示部１１８には、合成した画像が表示されることになる。

ステップＳ４３において、再生制御部１５２は、再生フレーム番号を次に進める。

ステップＳ４４において、入力検出部１５４は、同期再生の終了指示があったか否かを判定する。
同期再生の終了指示がなかった場合には、ステップＳ４４においてＮＯと判定されて、処理はステップＳ３４に戻る。
同期再生の終了指示があった場合には、ステップＳ４４においてＹＥＳと判定されて、動画の同期パノラマ再生処理は終了する。

なお、上述した実施形態においては、動画再生装置２をパーソナルコンピュータとして構成したが、同期撮影を行う撮像装置１として構成してもよい。この場合、撮像装置１においては、図５のハードウェア構成において、図６及び図９の機能構成（詳細には、ＣＰＵ１１１の機能）を備えるように構成する。即ち、撮像装置１においては、図６のハードウェアにおいて、記憶部２２の動画記憶部９２に記憶される動画データを図９のＣＰＵ１１１の機能（動画取得部１５１乃至表示画像生成部１５７）により、上述した動画の同期パノラマ再生処理を実行して表示部２１にスクロール操作に対応したパノラマ動画の再生が行われるように構成される。

＜変形例＞
上述した実施形態においては、２台の撮像装置で同期パノラマ撮影をした動画を用いて、同期パノラマ再生を行う例を示したが、本例では、３台の撮像装置を用いた例について説明する。

図１１は、３台の撮像装置を用いて、異なる対象を主要被写体とした場合のパノラマ合成を示すための模式図である。

図１１（ａ）の例においては、手前に「列車」があり、「列車」の奥川に複数の「山」からなる「山並」をロケーションとして撮影する。
このようなロケーションにおいて、図中、撮像装置１Ａがパノラマとしたい範囲の左側の領域を撮影領域とし、撮像装置１Ｂが中央付近の領域を撮影領域とし、撮像装置１Ｃが右側の領域を撮影領域とするように配置されている。なお、本例においては、撮像装置の高さ角度は同じであり、装置の向きや主要被写体との距離（被写体位置ラインとの距離）における位置関係が異なる。

それぞれの撮像装置の撮像範囲は、重複しており、撮像装置１Ａの撮影領域の一部と、撮像装置１Ｂの撮影領域の一部とが重複しており、撮像装置１Ｂの撮影領域の一部と、撮像装置１Ａ及び撮像装置１Ｃの撮影領域の一部とが重複している。

この互いに重複する部分は、例えば、「山並」を主要被写体とした場合には、図１１（ｂ）に示すように重複する部分が多くなり、「列車」を主要被写体とした場合には、図１１（ｃ）に示すように重複する部分が少なくなる。つまり、撮像装置と主要被写体との距離によって、主要被写体（被写体位置ラインとの距離）が遠ければ被写体撮影領域が大きくなって重複する部分が多くなり、主要被写体（被写体位置ラインとの距離）が近ければ被写体撮影領域が小さくなって重複する部分が少なくなることがわかる。

このような関係において、共通する領域を上限としてパノラマ画像を合成したり、パノラマ動画の再生を行ったりすることができる。

以上のように構成される動画システムＳのうち撮像装置１Ｂは、撮像部１７と、表示部２１と、通信部２３と、表示制御部５３と、を備える。
表示部２１は、撮像部１７により撮像した撮像画像を表示する。
通信部２３は、他の撮像装置１Ａの撮影領域に関する撮影領域情報を、当該他の撮像装置１Ａからリアルタイムに受信する。
表示制御部５３は、通信部２３により受信した撮影領域情報に基づいて、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように表示部２１を制御する。
これにより、撮像装置１Ｂでは、撮影領域情報に基づいて、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示する。
従って、ユーザは、例えば、ライブビュー画像上に表示される他の撮像装置１Ａの撮影領域に関する情報をリアルタイムに確認しながら、撮影位置の変更を行うことができる。その結果、他の撮像装置１Ａの撮影領域を考慮した撮影位置の決定がなされることで、より好適な撮像画像を得ることができるようになる。

また、表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの撮影領域を画定する枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの撮影領域を画定する枠ＦＲＭとして、撮像画像の撮影領域上に表示させるために、ユーザは、撮像画像の撮影領域の視認性を低下させることなく直感的に他の撮像装置１Ａの撮影領域を認識することができる。

また、表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの特定の被写体距離における撮影領域を示す枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、撮像装置１では、他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの特定の被写体距離に基づいて規定するために、例えば、撮像画像の撮影領域に特定の被写体が写り込んでいた場合には同一の基準により撮影領域を示す枠ＦＲＭを表示させることができるために、ユーザはより直感的に撮像画像の撮影領域における他の撮像装置１Ａの撮影領域を認識することができるようになる。

また、撮像装置１Ｂは、撮影領域内において主要被写体を特定する主要被写体特定部５５と、を備える。
表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの光軸に直交し、かつ、主要被写体特定部５５により特定される主要被写体の位置を含む被写体撮影平面上での他の撮像装置１Ａの撮影領域を示す枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、撮像装置１Ｂにおいては、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭは、他の撮像装置１Ａと被写体との所定の位置関係によって決定されることになり、ユーザは、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭをより直感的に認識することができるようになる。

また、撮像装置１Ｂは、撮影領域の位置関係を特定する位置関係特定部５８と、を備える。
撮影領域情報には、撮影位置、撮影方向、撮影画角が含まれるように構成される。
位置関係特定部５８は、通信部２３により受信した他の撮像装置１Ａの撮影領域情報に含まれる撮像部１７の撮影位置、撮影方向、撮影画角と、自機の撮影位置、撮影方向、撮影画角とに基づいて、自機の撮影領域と他の撮像装置の撮影領域との位置関係を特定する。
これにより、撮像装置１Ｂでは、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭは装置の姿勢も考慮することになり、枠ＦＲＭの形状をより詳細に設定することができるようになる。これにより、ユーザは、より直感的に他の撮像装置１Ａの撮影領域を示す枠ＦＲＭを認識することができる。

また、撮影領域情報には、撮影位置おいて高さを特定し、撮影方向においては上下方向を含む。
これにより、撮像装置１Ｂでは、他の撮像装置の撮影領域を示す枠ＦＲＭは撮像装置のより詳細な姿勢も考慮することになり、枠ＦＲＭの形状をより詳細に設定することができるようになる。これにより、ユーザは、より直感的に他の撮像装置の撮影領域を示す枠ＦＲＭを認識することができる。

表示制御部５３は、自機（撮像装置１Ｂ）と他の撮像装置１Ａで同期した撮影を行って得られた２つの画像を、各々の撮影領域の重なり位置を合わせて合成する同期パノラマ撮影における撮影ガイドとして、各々の撮影領域の位置関係を示す情報を表示部２１に表示するように制御する。
従って、撮像装置１Ｂにおける撮影処理においては、同期パノラマ撮影における撮影ガイドとして利用することができる。

また、撮像装置１Ｂは、撮像部１７における撮像を制御する撮像制御部５１と、を備える。
撮像制御部５１は、自機（撮像装置１Ｂ）と他の撮像装置１Ａで同期して動画撮影を行うように撮像部１７を制御する。
これにより、撮像装置１Ｂにおいては、動画による同期パノラマ撮影を行うことができるようになる。

また、表示制御部５３は、他の撮像装置が２台以上である場合には、複数の撮像装置の各々に対応する複数の撮影領域を示す枠ＦＲＭを表示するように表示部２１を制御する。
これにより、撮像装置１Ｂにおいては、複数の他の撮像装置の撮影領域を確認することができるようになる。

また、表示部２１は、撮像制御部５１により自機１Ｂと他の撮像装置１Ａで同期して動画撮影を行って得られた複数の動画データを同期して再生表示する。
表示制御部５３は、表示部２１により各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生させる。
これにより、撮像装置１は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。

また、表示制御部５３は、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように表示部２１を制御する。
これにより、撮像装置１は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。

また、撮像装置１は、撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成部１５７と、を備える。
表示制御部５３は、表示画像生成部１５７により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように表示部２１を制御する。
これにより、撮像装置１では、パノラマ動画において、一部の領域を表示領域とした場合にスクロール表示により、パノラマ動画の所定の領域を表示させることができるようになる。

以上のように構成される動画システムＳのうち、動画再生装置２は、表示部１１８と、表示制御部１５５と、を備える。
表示部１１８は、複数の動画データを再生表示する。
表示制御部１５５は、各撮像装置１Ａ，１Ｂで撮像した撮影領域の一部が重なるようにして複数の撮像装置１Ａ，１Ｂで同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように表示部１１８を制御する。
これにより、動画再生装置２は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。

また、動画再生装置２は、撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成部１５７と、を備える。
表示制御部１５５は、表示画像生成部１５７により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために合成フレーム画像内の表示の位置を変化させるように表示部１１８を制御する。
これにより、動画再生装置２では、パノラマ動画において、一部の領域を表示領域とした場合にスクロール表示により、パノラマ動画の所定の領域を表示させることができるようになる。

また、表示画像生成部１５７は、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成することで合成フレーム画像を生成する。
これにより、動画再生装置２では、スクロール位置において表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するために、合成に係る処理負担が軽減される。

動画再生装置２は、動画の伸長処理を制御する再生制御部１５２と、を備える。
再生制御部１５２は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する。
これにより、動画再生装置２では、表示されない動画に対しての伸長処理を行わないように制御するために、伸張処理の処理負担を軽減することができる。

また、再生制御部１５２は、伸長処理を停止していた動画データの伸長処理を再開する場合には、他の動画データの再生中のフレームと同じタイミングで撮影された当該動画データのフレーム位置がＩフレームの位置になるまで待ってから伸長処理を開始する。
これにより、動画再生装置２では、Ｉフレーム以外でのスクロール時の表示処理を考慮する必要がなく不要な処理を行う必要がないため、処理負担を軽減することができる。

また、表示制御部１５５は、少なくともスクロール中においては、各々の動画データ内のＩフレームだけを利用して合成表示を繰り返すことで、Ｉフレーム単位でスクロールを行うように表示部１１８を制御する。
これにより、動画再生装置２では、Ｉフレーム以外でのスクロール時の表示処理を考慮する必要がなく不要な処理を行う必要がないため、処理負担を軽減することができる。

また、再生制御部１５２は、隣の動画データとの重なり部分が表示対象となっている動画データについては、重ならない部分の表示が必要でないタイミングでは伸長処理を停止する。
これにより、動画再生装置２では、表示されていない領域の動画データの伸張処理を行わないために、表示に係る処理負担を軽減することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、他の撮像装置の撮像領域は、全画面にライブビュー画像表示させて、重複部分のみ枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように構成したがこれに限られない。例えば、ライブビュー画像を狭めて、他の撮像装置の撮像領域の全てを枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように構成してもよい。

また、上述した実施形態では、複数の動画をパノラマ再生する例について説明したがこれに限られない。例えば、単に、同一の被写体を、撮影の方向を変えて複数の撮像装置で撮影する場合に、他方の撮像装置の画角との違いを表示部において表示するために、共通する主要被写体を含めて被写体撮影領域を表示するように構成してもよい。このように構成することで、ユーザは、他の撮像装置での撮影視点の違いを視認することができる。

図１２は、自機から他の撮像装置の撮影始点を表示する一例を示す模式図である。
図１２（ａ）の例で示すように、被写体撮影領域の表示を行わない他の撮像装置１Ｄは、主要被写体に対して、正対した撮影視点（アングルＡ）となっている。一方の被写体撮影領域の表示を行う撮像装置１Ｅ（自機）は、主要被写体を他の撮像装置１Ｄとは異なる方向から撮影視点（アングルＢ）となっている。この場合、他の撮像装置１Ｄの撮像部（図示せず）の光軸と直角の方向で主要被写体を含む領域（平面）が被写体位置ライン上で構成される被写体撮影平面となり、当該被写体撮影平面の撮影領域が被写体撮影領域となる。
このような他の撮像装置１Ｃと自機（撮像装置１Ｄ）と主要被写体（被写体位置ラインとの距離）の位置関係においては、自機（撮像装置１Ｄ）の表示部（図示せず）には、図１２（ｂ）に示すように、アングルＢにおける画像が表示されると共に、アングルＢから見た被写体撮影領域が枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示される。図１２（ａ）の配置においては、自機（撮像装置１Ｅ）の撮影領域よりも、被写体撮影領域の手前側（図中右側）から奥側（図中左側）に行くに従って、自機（撮像装置１Ｅ）から遠ざかることになるために、被写体撮影領域を示す枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）は小さく表示されることになる。従って、ユーザは、直感的に、他の撮像装置１Ｄにおける主要被写体を含む撮影領域との位置関係を把握することができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画の同期パノラマ撮影機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

また、上述の実施形態では、本発明が適用される動画再生装置２は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画の同期パノラマ再生機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、撮像装置、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図９の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が動画再生装置２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図９の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記憶媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記憶媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア３１及び図８のリムーバブルメディア１３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記憶媒体等で構成される。リムーバブルメディア３１及びリムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される憶媒体は、例えば、プログラムが記憶されている図５のＲＯＭ１２及び図８のＲＯＭ１１２や、図５の記憶部２２及び図８の記憶部１１９に含まれるハードディスク等で構成される。

なお、本明細書において、記憶媒体に記憶されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段により撮像した撮像画像を表示する表示手段と、
他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、前記他の撮像装置の撮影領域を画定する枠として表示するように前記表示手段を制御する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、他の撮像装置の特定の被写体距離における撮影領域を示す枠として表示するように前記表示手段を制御する、
ことを特徴とする付記２に記載の撮像装置。
［付記４］
前記撮影領域内において主要被写体を特定する主要被写体特定手段と、を備え、
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、他の撮像装置の光軸に直交し、かつ、前記主要被写体特定手段により特定される前記主要被写体の位置を含む平面上で区画される他の撮像装置の撮影領域を示す枠として表示するように前記表示手段を制御する、
ことを特徴とする付記３に記載の撮像装置。
［付記５］
前記撮影領域の位置関係を特定する位置関係特定手段と、を備え、
前記撮影領域情報には、撮影位置、撮影方向、撮影画角が含まれ、
前記位置関係特定手段は、前記受信手段により受信した他の撮像装置の前記撮影領域情報に含まれる撮像手段の撮影位置、撮影方向、撮影画角と、自機の撮影位置、撮影方向、撮影画角とに基づいて、自機の撮影領域と他の撮像装置の撮影領域との位置関係を特定する、
ことを特徴とする付記１乃至４の何れか１つに記載の撮像装置。
［付記６］
前記撮影領域情報には、前記撮影位置おいて高さを特定し、前記撮影方向においては上下方向を含む、
ことを特徴とする付記５に記載の撮像装置。
［付記７］
前記表示制御手段は、自機と他の撮像装置で同期した撮影を行って得られた２つの画像を、各々の撮影領域の重なり位置を合わせて合成する同期パノラマ撮影における撮影ガイドとして、各々の撮影領域の位置関係を示す情報を表示手段に表示するように制御する、
ことを特徴とする付記１乃至６の何れか１つに記載の撮像装置。
［付記８］
前記撮像手段における撮像を制御する撮像制御手段と、を備え、
前記撮像制御手段は、自機と他の撮像装置で同期して動画撮影を行うように前記撮像手段を制御する、
ことを特徴とする付記７に記載の撮像装置。
［付記９］
前記表示制御手段は、他の撮像装置が２台以上である場合には、複数の撮像装置の各々に対応する複数の撮影領域を示す枠を表示するように表示手段を制御する、
ことを特徴とする付記１乃至８の何れか１つに記載の撮像装置。
［付記１０］
前記撮像制御手段により自機と他の撮像装置で同期して動画撮影を行って得られた複数の動画データを同期して再生表示する同期再生手段と、
前記同期再生手段により各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生させる同期再生制御手段と、
を備えることを特徴とする付記８に記載の撮像装置。
［付記１１］
前記同期再生制御手段は、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記同期再生手段を制御することを特徴とする付記１０に記載の撮像装置。
［付記１２］
前記撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成手段と、を備え、
前記同期再生制御手段は、前記表示画像生成手段により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように前記同期再生手段を制御する、
ことを特徴とする付記１１に記載の撮像装置。
［付記１３］
撮像手段と、当該撮像手段により撮像した撮像画像を表示する表示手段と、他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、を備える撮像装置が実行する撮像方法において、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする撮像方法。
［付記１４］
撮像手段と、当該撮像手段により撮像した撮像画像を表示する表示手段と、他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、を備える撮像装置を制御するコンピュータを、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
［付記１５］
複数の動画データを再生表示する表示手段と、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする表示装置。
［付記１６］
前記撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成手段と、を備え、
前記表示制御手段は、前記表示画像生成手段により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように表示手段を制御する、
ことを特徴とする付記１５に記載の表示装置。
［付記１７］
前記表示画像生成手段は、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成することで前記合成フレーム画像を生成する、
ことを特徴とする付記１６に記載の表示装置。
［付記１８］
動画の伸長処理を制御する再生制御手段と、を備え、
前記再生制御手段は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び前記合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する、
ことを特徴とする付記１７に記載の表示装置。
［付記１９］
前記再生制御手段は、伸長処理を停止していた動画データの伸長処理を再開する場合には、他の動画データの再生中のフレームと同じタイミングで撮影された当該動画データのフレーム位置がＩフレームの位置になるまで待ってから伸長処理を開始する、
ことを特徴とする付記１８に記載の表示装置。
［付記２０］
前記表示制御手段は、少なくともスクロール中においては、各々の動画データ内のＩフレームだけを利用して合成表示を繰り返すことで、Ｉフレーム単位でスクロールを行うように表示手段を制御する、
ことを特徴とする付記１９に記載の表示装置。
［付記２１］
前記再生制御手段は、隣の動画データとの重なり部分が表示対象となっている動画データについては、重ならない部分の表示が必要でないタイミングでは伸長処理を停止する、
ことを特徴とする付記１８乃至２０の何れか１つに記載の表示装置。
［付記２２］
複数の動画データを再生表示する表示手段を備える表示装置で実行される表示方法において、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする表示方法。
［付記２３］
複数の動画データを再生表示する表示手段を備える表示装置を制御するコンピュータを、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，２・・・動画再生装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・センサ部，１９・・・ＧＰＳ部，２０・・・入力部，２１・・・表示部２１・・・記憶部，２３・・・通信部，２４・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・撮像画像取得部，５３・・・表示制御部，５４・・・撮像条件取得部，５５・・・主要被写体特定部，５６・・・被写体撮影平面特定部，５７・・・被写体撮影領域特定部，５８・・・位置関係特定部，５９・・・記憶制御部，９１・・・撮像画像記憶部，９２・・・動画記憶部，１１１・・・ＣＰＵ，１１２・・・ＲＯＭ，１１３・・・ＲＡＭ，１１４・・・画像処理部，１１５・・・バス，１１６・・・入出力インターフェース，１１７・・・入力部，１１８・・・表示部，１１９・・・記憶部，１２０・・・通信部，１２１・・・ドライブ，１３１・・・リムーバブルメディア，１５１・・・動画取得部，１５２・・・再生制御部，１５３・・・位置関係情報取得部，１５４・・・入力検出部，１５５・・・表示制御部，１５６・・・表示動画特定部，１５７・・・表示画像生成部，１９１・・・動画記憶部

Claims (9)

1. 複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する再生表示手段と、
   前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段と、
   前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段と、
   を備えたことを特徴とする表示制御装置。
2. 前記再生表示手段は、撮影領域の一部が重なる位置関係にある複数の撮像装置で同期撮影された複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 動画の伸長処理を制御する再生制御手段と、を備え、
   前記再生制御手段は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び前記合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する、
   ことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記再生制御手段は、伸長処理を停止していた動画データの伸長処理を再開する場合には、他の動画データの再生中のフレームと同じタイミングで撮影された当該動画データのフレーム位置がＩフレームの位置になるまで待ってから伸長処理を開始する、
   ことを特徴とする請求項３に記載の表示制御装置。
5. 前記スクロール制御手段は、少なくともスクロール中においては、各々の動画データ内のＩフレームだけを利用して合成表示を繰り返すことで、Ｉフレーム単位でスクロールを行うように前記再生表示手段を制御する、
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記再生制御手段は、隣の動画データとの重なり部分が表示対象となっている動画データについては、重ならない部分の表示が必要でないタイミングでは伸長処理を停止する、
   ことを特徴とする請求項３乃至５の何れか１項に記載の表示制御装置。
7. 前記複数の撮像装置が同期して動画撮影を行うように制御する撮像制御手段
   を更に備えたことを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する処理と、
   前記動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように制御する処理と、
   前記動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように制御する処理と、
   を含むことを特徴とする表示制御方法。
9. コンピュータを、
   複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する再生表示手段、
   前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段、
   前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段、
   として機能させることを特徴とするプログラム。

Images