JP2019164782A - 画像処理装置、撮影システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】低精細の全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮影することで得られた高精細の平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐは射影方式が異なるため、見えづらいという課題が生じる。【解決手段】画像処理装置は、第１の画像ＥＣにおいて第２の画像Ｐに対応する第１の対応領域ＣＡ１を算出し、領域ＣＡ１を含む周辺領域ＰＡを特定して、領域ＰＡを画像Ｐの射影方式に変換する（Ｓ１４０）。画像処理装置は、変換後の画像ＰＩにおいて、画像Ｐに対応する第２の対応領域ＣＡ２を算出する（Ｓ１６０）。画像処理装置は、矩形の初期設定形状を生成し（Ｓ１７０）、初期設定形状を画像ＥＣの射影方式に変換することで基準形状を作成する（Ｓ２００）。画像処理装置は、初期設定形状に対する画像Ｐの関係に基づいて、基準形状を変換するための基準形状変換情報を算出する（Ｓ１８０）。【選択図】図１９

Description

本発明は、画像処理装置、撮影システム、画像処理方法、及びプログラムに関するものである。

従来、広角の平面画像のうちの一部の領域に、広角の平面画像とは別に撮影することで得られた拡大の平面画像を嵌め込むことで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている（特許文献１参照）。

ところで、近年、一度の撮影で、３６０°の全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献２参照）。このデジタルカメラは、２つの半球画像データに基づいて１つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。

しかしながら、例えば、全天球画像の一部の領域に、全天球画像とは別に撮影することで得られた平面画像を重畳等する場合のように、射影方式が異なる一方の画像に他方の画像を重畳等すると、見えづらいという課題が生じる。

請求項１に係る発明は、第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像と、前記第１の画像上で前記第２の画像に対応する基準形状を示す基準形状情報と、前記第１の画像上で前記基準形状を変換するための基準形状変換情報とを取得する取得手段と、前記基準形状変換情報に基づいて前記基準形状情報を変換することで、前記第２の画像に対応する合成画像を作成する画像作成手段と、前記合成画像を前記第１の画像に合成する画像合成手段と、を有することを特徴とする画像処理装置である。

以上説明したように本発明によれば、射影方式が異なる一方の画像に他方の画像を合わせても、見えづらさを抑制することができるという効果を奏する。

（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。 特殊撮影装置の使用イメージ図である。 （ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本発明の第１の実施形態に係る撮影システムの概略図である。 撮影システムの使用イメージ図である。 特殊撮影装置のハードウェア構成図である。 一般撮影装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 第１の実施形態に係る撮影システムの機能ブロック図である。 （ａ）は連携撮影装置管理テーブルの概念図、（ｂ）連携撮影装置設定画面を示す概念図である。 第１の実施形態に係るメタデータ作成部の詳細な機能ブロック図である。 第１の実施形態に係る重畳部の詳細な機能ブロック図である。 重畳表示メタデータの構成図である。 第１の実施形態に係る撮影方法を示したシーケンス図である。 重畳表示パラメータの作成処理の過程における画像の概念図である。 周辺領域画像を特定する際の概念図である。 （ａ）は初期設定形状を示した概念図、（ｂ）は周辺領域画像及び第２の対応領域を示した概念図、（ｃ）は領域分割した初期設定形状の概念図である。 （ａ）基準形状の中心を全天球画像の中心に配置したときの概念図、（ｂ）基準形状の中心を全天球画像の中心以外の点に配置したときの概念図である。 重畳表示の処理の課程における画像の概念図である。 角度パラメータの補間方法を示す概念図である。 位置パラメータ算出部における処理の流れを示した三次元の概念図である。 （ａ）は第３の対応領域の格子領域を示した概念図、（ｂ）は平面画像の格子領域を示した概念図である。 ４つの格子領域と角の１点である共通の格子点を示した概念図である。 重畳の処理の課程における画像の概念図である。 全天球画像に平面画像を重畳した場合の二次元の概念図である。 全天球画像に平面画像を重畳した場合の三次元の概念図である。 本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。 本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 動画の所定領域画像内に動画の平面画像が表示されている例を示す図である。 本発明の第２の実施形態に係る撮影システムの概略図である。 画像処理サーバのハードウェア構成図である。 第２の実施形態に係る撮影システムの機能ブロック図である。 第２の実施形態に係るメタデータ作成部の詳細な機能ブロック図である。 第２の実施形態に係る重畳部の詳細な機能ブロック図である。 第２の実施形態に係る撮影方法を示したシーケンス図である。

以下、図面を用いて、本発明の実施形態について説明する。なお、後述の全天球画像は第１の画像の一例であり、重畳画像は第２の画像の一例である。周辺領域画像は第３の画像の一例である。

〔実施形態の概要〕
以下、本実施形態の概要について説明する。

まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、特殊撮影装置１の外観を説明する。特殊撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の左側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。

また、特殊撮影装置１の底部１５０の中央には、カメラ用三脚に特殊撮影装置１や一般撮影装置３を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子１５３が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、特殊撮影装置１の使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、特殊撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１で撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
〔第１の実施形態〕
続いて、図８乃至図３４を用いて、本発明の第１の実施形態について説明する。

＜＜撮影システムの概略＞＞
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。

図８に示されているように、本実施形態の撮影システムは、特殊撮影装置１、一般撮影装置３、スマートフォン５、及びアダプタ９によって構成されている。特殊撮影装置１はアダプタ９を介して一般撮影装置３に接続されている。

これらのうち、特殊撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

一般撮影装置３は、コンパクトデジタルカメラであるが、デジタル一眼レフカメラであってもよい。

スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮影装置１及び一般撮影装置３と無線通信を行なうことができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮影装置１及び一般撮影装置３からそれぞれ取得した画像を表示することができる。

なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮影装置１及び一般撮影装置３と通信を行なうようにしてもよい。また、スマートフォン５は、画像処理装置の一例であり、画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、後述の通信端末の一例でもある。

アダプタ９は、ブラケット９ａ及び回動機構９ｂによって構成されている。ブラケット９ａの先端側には特殊撮影装置１の三脚ねじ穴１５１に取り付けるための三脚ねじ９ｃが取り付けられている。ブラケット９ａの基端側には回動機構９ｂが取り付けられている。回転機構９ｂには、一般撮影装置３が取り付けられており、図８に示されているように、一般撮影装置３を３軸により、Pitech，Yaw，Rollの回動を行うことができる。

図９は、撮影システムの使用イメージ図である。図９に示されているように、利用者は、三脚２の上に特殊撮影装置１及び一般撮影装置３が取り付けられたアダプタ９を取り付ける。そして、利用者は、スマートフォン５を操作して、遠隔的に、回転機構９ｂを駆動させたり、特殊撮影装置１及び一般撮影装置３の撮影の開始及び終了を行ったりすることができる。なお、三脚２を用いずに、設置台等を用いてもよい。

＜＜実施形態のハードウェア構成＞＞
次に、図１０及び図１２を用いて、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成を詳細に説明する。

＜特殊撮影装置のハードウェア構成＞
まず、図１０を用いて、特殊撮影装置１のハードウェア構成を説明する。図１０は、特殊撮影装置１のハードウェア構成図である。以下では、特殊撮影装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置１と同じ機能を有するようにしてもよい。

図１０に示されているように、特殊撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、特殊撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。

通信部１１７は、特殊撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から特殊撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は、３軸方向の加速度を検出するセンサである。特殊撮影装置３ａは、加速度センサ１２０が検出した加速度に基づいて、自装置（特殊撮影装置３ａ）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置３ａに、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。

端子１２１は、Micro USB用の凹状の端子である。

＜一般撮影装置のハードウェア構成＞
次に、図１１を用いて、一般撮影装置のハードウェアについて説明する。図１１は、一般撮影装置３のハードウェア構成図である。図１１に示されているように、一般撮影装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。

各構成３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８は、それぞれ、図１０の特殊撮影装置１における各構成１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８と同様の構成であるため、その説明を省略する。

更に、一般撮影装置３の撮像ユニット３０１は、図１１に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。

撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行なうが、更に、操作部３１５によって受け付けられた利用者の操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。

また、ディスプレイ３１９は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。

＜スマートフォンのハードウェア構成＞
次に、図１２を用いて、スマートフォンのハードウェアについて説明する。図１２は、スマートフォンのハードウェア構成図である。図１２に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、後述の通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。

また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜＜実施形態の機能構成＞＞
次に、図１０乃至図１３を用いて、本実施形態の機能構成について説明する。図１３は、本実施形態の撮影システムの一部を構成する、特殊撮影装置１、一般撮影装置３、及びスマートフォン５の各機能ブロック図である。

＜特殊撮影装置の機能構成＞
まず、図１０及び図１３を用いて、特殊撮影装置１の機能構成について詳細に説明する。図１３に示されているように、特殊撮影装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、特殊撮影装置１は、図１０に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（特殊撮影装置の各機能構成）
次に、図１０及び図１３を用いて、特殊撮影装置１の各機能構成について更に詳細に説明する。

特殊撮影装置１の受付部１２は、主に、図１０に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３は、主に、図１０に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。

集音部１４は、図１０に示されているマイク１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮影装置１の周囲の音を集音する。

画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮像部１３によって得られた撮影画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。

判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。

近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９は、主に、図１０に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜一般撮影装置の機能構成＞
続いて、図１１及び図１３を用いて、一般撮影装置３の機能構成について詳細に説明する。図１３に示されているように、一般撮影装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。

また、一般撮影装置３は、図１１に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。

（一般撮影装置の各機能構成）
一般撮影装置３の受付部３２は、主に、図１１に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部３３は、主に、図１１に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。

集音部３４は、図１１に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮影装置３の周囲の音を集音する。

画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮像部３３によって得られた撮影画像データ、又は集音部３４によって得られた音データに対して、各種処理を行なう。

表示制御部３６は、図１１に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。

判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行なう。例えば、判断部３７は、利用者によって、シャッターボタン３１５ａが押下されたかを判断する。

近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部３９は、主に、図１１に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１２乃至図１６を用いて、スマートフォン５の機能構成について詳細に説明する。図１３に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン５は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮影装置管理ＤＢ５００１が構築されている。この連携撮影装置管理ＤＢ５００１は、図１４（ａ）連携撮影装置管理テーブルによって構成されている。図１４（ａ）は連携撮影装置管理テーブルの概念図である。

（連携撮影装置管理テーブル）
次に、図１４（ａ）を用いて、連携撮影装置管理テーブルについて説明する。図１４（ａ）に示されているように、撮影装置毎に、各撮影装置の連携関係を示す関連関係情報、撮影装置のＩＰアドレス、及び撮影装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮影を開始する一の撮影装置を「メイン」とし、「メイン」の撮影装置でシャッターが押下されることに応じて撮影を開始する他の撮影装置を「サブ」として示している。なお、ＩＰアドレスは、Wi-Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。

（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１２に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、他のスマートフォン、サーバ）との間で各種データ（または情報）の送受信を行う。

受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。

撮像部５３は、主に、図１２に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。

集音部５４は、図１２に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。

画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮像部５３によって得られた撮影画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。

表示制御部５６は、図１２に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。また、表示制御部５６は、画像・音処理部５５によって作成された重畳表示メタデータを利用し、基準形状情報（基準位置パラメータ）に対して基準形状変換情報で特定される背景動画（全天球画像ＣＥ）上の変換位置パラメータ、及び補正パラメータで示された明るさ値及び色値に基づいて、全天球画像ＣＥ上に平面画像Ｐを重畳して表示する。なお、変換位置パラメータは「変換位置情報」の一例である。補正パラメータは「補正情報」の一例である。

判断部５７は、図１２に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。

近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮影装置１の近距離通信部１８、一般撮影装置３の近距離通信部３８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部５９は、主に、図１２に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部５０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。

（画像・音処理部の詳細な各機能構成）
ここで、図１５及び図１６を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１５は、第１の実施形態に係るメタデータ作成部の詳細な機能ブロック図である。図１６は、第１の実施形態に係る重畳部の詳細な機能ブロック図である。

画像・音処理部５５は、大きく分けて、エンコードを行なうメタデータ作成部５５ａとデコードを行なう重畳部５５ｂを有している。メタデータ作成部５５ａは、図１８に示されている後述のステップＳ１９の処理を実行する。また、重畳部５５ｂは、図１８に示されている後述のステップＳ２０の処理を実行する。

｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部５５ａの各機能構成について説明する。メタデータ作成部５５ａは、（メタデータ）作成用動画フレーム抽出部５４８、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、初期設定形状生成部５５９、領域分割部５６０、射影方式逆変換部５６２、基準形状変換情報算出部５６８、及び重畳表示メタデータ作成部５７０を有している。また、以下に説明する画像や領域を示す符号は図１９に示されている。図１９は、重畳表示パラメータの作成処理の過程における画像の概念図である。

作成用動画フレーム抽出部５４８は、背景動画となる一方の動画像と、前景動画となる他方の動画像のそれぞれから、それぞれ指定された時刻に対応するフレーム画像を抽出する。動画像は様々な記録フォーマットがあることは周知のことであるが、時系列に沿って複数の静止画像が並べられた画像としてとらえることができる。そして、１秒間の動画を構成する静止画像の枚数がフレームレートであり、例えば、秒１コマ（１コマ／１秒）などで表現される。したがって、動画記録開始の最初のフレームを時刻０とすると、時刻Ｔにおけるフレーム画像はフレームレートと時刻の関係から何番目のフレーム画像となるかを算出及び抽出することができる。もちろん指定された時刻ｔｉと同時刻となるフレーム画像は存在しない場合があり、前後のフレーム画像で近いものを時刻ｔｉのフレームとするなどの処理が考えられる。本実施形態では背景動画となる動画と、前景動画となる動画の２つの動画を取り扱うが、それぞれの動画開始時刻がずれている場合がある。本実施形態では背景動画に前景動画を重畳するための重畳位置を算出するため、取り扱う画像は時刻の差が小さい方が扱いやく、前景動画および背景動画の記録開始時刻がずれている場合は、前景動画又は背景動画のどちらかに時刻の基準を合わせると良い。前景動画及び背景動画としての２つの動画の開始画像フレームを合わせるための時刻のずれを算出する方法は、例えば、それぞれ動画において画像とともに音が記録されている場合は、それぞれの動画における音データの相互相関を算出し、相互相関のずれが最小になる時刻のずれを求める方法や、音データが無い場合は、それぞれのフレーム画像間での画像相関から求める方法などある。

ここで、背景動画と前景動画の同期に関して説明を補足する。例えば、それぞれの動画のフレームレートが３０ｆｐｓと２４ｆｐｓとして記録された背景動画と前景動画があったとする。この場合、上述の音データによる相互相関を算出し、背景動画が前景動画よりも０.５秒早く撮影された場合、背景動画と前景動画の開始フレームをあわせるために、背景動画を０．５秒分、即ち（３０×０．５＝）１５フレーム分オフセットさせることで時刻の同期を実現する。よって同期後の１秒間隔の動画フレームはそれぞれの動画のフレームを考慮し、背景動画のフレームカウントは１５，４５，７５，１０５・・・となり、前景動画のフレームカウントは０，２４，４８，７２・・・となる。ここでは、前景動画及び背景動画の各動画開始フレームのずれを考慮した上で、時刻ｔｉにおける背景動画のフレームを正距円筒射影画像ＥＣｉ、同じ時刻ｔｉにおける前景動画のフレームを平面画像Ｐｉとする。即ち、正距円筒射影画像ＥＣｉと平面画像Ｐｉは、同じ時間に撮影されることで得られた動画の一フレームである。なお、相互相関の算出方法に関しては、公知の技術を使えば良く本実施形態の本質部分ではないため、詳細な説明は省略する。以上のように、相互に画像間の同期については、公知の技術を使えば良く本実施形態の本質部分ではないため、詳細な説明は省略する。

抽出部５５０は、各画像ＥＣｉ，Ｐｉの局所特徴に基づき特徴点を抽出する。局所特徴とは、エッジやブロブなど画像内に見られるパターンや構造である。局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣｉと、透視射影方式によって得られた長方形の平面画像Ｐｉとの間、及び、平面画像Ｐｉと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩｉとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の射影画像の一例であり、平面画像は第２の射影画像の一例である。

第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣｉにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めるとともに、平面画像Ｐｉにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐｉにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐｉの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。

なお、平面画像Ｐｉの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。

図１９では平面画像Ｐｉの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心座標を算出することができる。平面画像Ｐｉの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を部分画像の中心座標ＰＣとしてよい。対角線Ｐ１Ｐ３の中点の算出する場合の（式３）を以下に示す。

注視点特定部５５４は、平面画像Ｐｉの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣｉ上の点（本実施形態では「注視点」という）を特定する。

ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換すると都合が良い。具体的には、正距円筒射影画像ＥＣｉの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣｉの画像サイズに対応した画素位置座標を算出することができる。

射影方式変換部５５６は、正距円筒射影画像ＥＣｉ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩｉを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐｉの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定することができる正方形の周辺領域画像ＰＩｉを結果的に作成することができるように、射影変換元の周辺領域ＰＡを特定する。以下、更に詳細に説明する。

（射影方式の変換）
まず、射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣｉにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。

(x, y, z) = (cos(ea) × cos(aa), cos(ea) × sin(aa), sin(ea)) ・・・(式４)
但し、このときの立体球ＣＳの半径は１とする。

一方で、透過射影画像である平面画像Ｐｉは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。

u = r × cos(a), v = r × sin(a) ・・・(式５)
次に、この（式５）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視射影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。

r = tan(極角) ・・・（式６）
a = 方位角 ・・・（式７）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。

また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。

(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣｉと、透視射影方式による平面画像Ｐｉの相互変換ができるようになった。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣｉから、透視射影画像である周辺領域画像ＰＩｉを作成することができる。

ところで、上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣｉの任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。

この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。

（周辺領域画像の特定）
次に、図２０を用いて、周辺領域画像ＰＩｉの領域を特定する方法について説明する。なお、図２０は、周辺領域画像を特定する際の概念図である。

第１の対応領域算出部５５２が、平面画像Ｐｉと周辺領域画像ＰＩｉの対応関係を判断するにあたって、周辺領域画像ＰＩｉ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩｉを広い領域に設定すれば、第２の対応領域ＣＡ２を含まないという事態は生じない。しかし、周辺領域画像ＰＩｉを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩｉの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。

本実施形態では、周辺領域画像ＰＩｉの特定に、平面画像の３５ｍｍ換算焦点距離を使用するが、これは撮影時に記録されるExifデータから取得される。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。

フィルム対角 = sqrt(24*24 + 36*36) ・・・（式９）
合成用画像画角/2 = arctan((フィルム対角/2)/合成用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩｉの垂直画角αを、平面画像Ｐｉの対角画角αと同じになるように設定する。これにより、図２０（ｂ）に示されている周辺領域画像ＰＩｉは、図２０（ａ）に示されている平面画像Ｐｉの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示されているように、正方形の対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像の35mm換算焦点距離))・・・（式１２）
このような垂直画角αで射影変換することで、注視点を中心に平面画像Ｐｉの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩｉ（透視射影画像）を作成することができる。

（位置情報の算出）
続いて、図１５に戻り、第２の対応領域算出部５５８は、平面画像Ｐｉにおける複数の特徴点ｆｐ２と周辺領域画像ＰＩｉにおける複数の特徴点ｆｐ３の特徴量ｆｖ３を算出する。算出された各特徴量ｆｖ２，ｆｖ３の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩｉにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５８は、第２の対応領域ＣＡ２を算出する。

なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像Ｐｉ及び正距円筒射影画像ＥＣｉのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えは、平面画像Ｐｉが４０００万画素で、正距円筒射影画像ＥＣｉが３０００万画素の場合、平面画像Ｐｉを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ算出の前に、平面画像Ｐｉ及び周辺領域画像ＰＩｉの少なくとも一方の画像サイズをリサイズしてもよい。

ここで、一般的にホモグラフィとは、ある平面を射影変換を用いて別の平面に射影することを言う。また、本実施形態でのホモグラフィについて、以下に概要を示す。第１のホモグラフィ変換は、正距円筒射影画像ＥＣｉと平面画像Ｐｉとの射影関係を表すものとして、変換行列として示しており、平面画像Ｐｉにおける座標に、ホモグラフィ算出処理で算出したホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣｉ（全天球画像ＣＥ）上での対応座標を算出することができる。具体的には、平面画像Ｐｉの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１を算出することができる。次に、第２のホモグラフィ変換は、正距円筒射影画像ＥＣｉを所定の射影方式変換した周辺領域画像ＰＩｉと平面画像Ｐｉとの射影関係を表すものとして、変換行列として示しており、平面画像Ｐｉにおける座標に、ホモグラフィ算出処理で算出したホモグラフィによる射影変換の行列を乗算することで、周辺領域画像ＰＩｉ上での対応座標を算出することができる。

図２１（ａ）は初期設定形状を示した概念図、図２１（ｂ）は周辺領域画像及び第２の対応領域を示した概念図、図２１（ｃ）は領域分割した初期設定形状の概念図である。

初期設定形状生成部５５９は、正距円筒射影方式であって平面画像Ｐｉの形状に対して射影変換（ホモグラフィ）の関係にあり、予め定められた画角と射影方式によって決まる初期設定形状ＤＦを生成する。ここで、初期設定形状ＤＦを適切に設定することで、回転、移動や変倍を行い表示がなされる際に、表示のズレを抑制することにつながる。なお、平面画像Ｐ１は、動画の最初のフレームを示すが、任意のフレームであってもよく、動画中の特定のフレームを示す。この初期設定形状生成部５５９は、初期設定形状ＤＦを生成するとしているが、この生成は、予め設定している、または、新たに作り出しても良い。つまり、この初期設定形状は、予め定められた画角と射影方式による所定形状、例えば四角形や円形に設定されている場合がある。また、本実施形態のように予め定めているが、他の場合では、平面画像Ｐｉの形状に応じて、画角や射影方式並びに形状を生成しても良い。なお、画角については、後述する焦点距離により求められることは、当該技術分野において、周知である。具体的には、平面画像Ｐｉのうち、平面画像Ｐ１の形状に応じて、まずは画角や射影方式並びに形状から初期設定形状を生成し、後の平面画像Ｐ２から平面画像Ｐｎに対する初期設定形状は、この平面画像Ｐ１に対して生成された初期設定形状を用いる。なお、この初期設定形状は、表示の際に適切に表示するために設けられるものであり、この初期設定形状と後述する基準形状変換情報とを用いて、合成表示するための位置と形状を定めることができる。

図２１（ａ）に示されているように、初期設定形状ＤＦは、前景動画と同じ射影方式として扱い、ここでは一般的なデジタルカメラで撮影された画像を前景動画として重畳することを考慮し、透視射影方式として予め初期設定形状ＤＦを定めておく。

初期設定形状ＤＦは、図２１（ａ）のように長方形の中心を中心とした円に内接する長方形となるが、ここでは簡単のために長方形の縦、横の辺はそれぞれＸ軸、Ｙ軸に平行とし、中心を原点とする。対角画角は０度より大きく１８０度より小さい範囲で任意で決めることが可能であるが、極端な値を指定すると計算の誤差が大きくなる可能性があるため、例えば５０度などとする良い。また、前景動画となる動画において、実際に動画を記録した時に利用している記録画像の画角を採用しても良い。

次に、基準形状変換情報算出部５６８は、平面画像Ｐｉから第２の対応領域ＣＡ２に射影変換（ホモグラフィ）する場合の情報（パラメータ）を用いて、第２の対応領域ＣＡ２に対して初期設定形状ＤＦを変換する情報を算出する。この算出された情報は、基準形状ＢＦを回転及び変倍の少なくとも一方により変換させるための基準形状変換情報である。この回転に関する基準形状変換情報が後述の「基準形状回転情報」であり、変倍に関する基準形状変換情報が後述の「基準形状変倍情報」である。つまり、この基準形状変換情報は、初期設定形状ＤＦの位置や形状を変換させるたに用いられる情報であり、具体的には、回転、変倍、移動の３つを意味する情報が含まれている。

更に、基準形状変換情報算出部５６８は、射影方式変換によって第２の対応領域ＣＡ２の中心点ＣＰ２を正距円筒射影方式に変換することで、正距円筒射影画像ＥＣｉ上で対応する対応点ＣＰ３の位置座標を算出する。この位置座標に関する基準形状変換情報が後述の「基準形状移動情報」であり、基準形状ＢＦの位置を移動により変換せるための情報である。

ここで、図２１（ｂ）を用いて、基準形状変換情報算出部５６８の処理について詳細に説明する。図２１（ｂ）は周辺領域画像及び第２の対応領域を示した概念図である。

図２１（ｂ）では、周辺領域画像ＰＩｉと第２の対応領域ＣＡ２を示している。図２０で示したように、周辺領域画像ＰＩｉの垂直画角αは、平面画像Ｐｉの対角画角αと同じになるように設定されている。そして、第２の対応領域ＣＡ２と、平面画像Ｐｉとの間には、第２のホモグラフィ変換という関係がある。ところで、この場合のホモグラフィは、平面を平面に射影する変換となっているため、初期設定形状ＤＦと、第２の対応領域ＣＡ２の間にもホモグラフィによる射影関係で表現することを考える。第２の対応領域ＣＡ２の４頂点の取り方によっては、初期設定形状ＤＦで表現される平面からホモグラフィで完全に記述できる訳ではなく、最小二乗法等により４点のずれが一番小さくなるような近似が行われる。ホモグラフィの算出方法は、公知の算出方法なので省略するが、例えばOpenCV(Open Source Computer Vision Library)を利用すると、４組の対応点を入力としてホモグラフィ行列を算出する関数があるので利用しても良い。

また、基準形状変換情報算出部５６８は、算出されたホモグラフィから基準形状ＢＦを変換するための「基準形状回転情報」と「基準形状変倍情報」を算出する。算出されたホモグラフィから回転情報と変倍情報を求める方法としては公知のホモグラフィ分解法を用いることができる。ホモグラフィを回転マトリクスと、並進ベクトルに分解する方法の詳細は例えば、以下の文献に開示されているため、説明を省略する。

〔非特許文献〕
Zhang, Z. “A Flexible New Technique for Camera Calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 11, 2000, pp. 1330-1334.
なお、ここでは、基準形状回転情報は、３次元モデル空間の各軸に対するオイラー角によって示されている。また、基準形状移動情報は、正距円筒射影画像ＥＣ上の注視点ＧＰ１により特定される。

次に、図１５に戻って、領域分割部５６０は、初期設定形状ＤＦの領域を複数の格子領域に分割する。ここで、図２１（ａ）、（ｃ）を用いて、基準形状の領域を複数の格子領域に分割する方法を説明する。図２１（ｃ）は、領域分割した基準形状の概念図である。

領域分割部５６０は、図２１（ａ）に示されているように、基準形状ＤＦの生成で説明したように対角画角と縦横比を与えることで生成された基準形状の４つの頂点から成る長方形を、図２１（ｃ）に示されているように、複数の格子領域に分割する。例えば、水平方向に８、垂直方向に８ほど均等分割する。

次に、複数の格子領域の具体的な分割方法について説明する。

まず、基準形状の領域を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。

Pm = ( X1 + (X2 − X1) ×m ／ n， Y1 + (Y2 − Y1) × m ／ n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、長方形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分をさらに分割すればよい。図２１（ａ）に示されているように、長方形である初期設定形状ＤＦの左上、右上、右下、左下の各座標をそれぞれＴＬ，ＴＲ，ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲおよび線分ＢＲ−ＢＬを均等に８分割した座標を求める。次に、０から８番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に８分割した座標を求める。これにより、四角形領域を８×８個の小領域に分割するための座標を求めることができる。

次に、図１５に戻り、射影方式逆変換部５６２は、領域分割部５６０によって領域分割された初期設定形状ＤＦの座標を、背景動画と同じ射影方式である正距円筒射影画像ＥＣｉと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣｉにおいて、基準形状の各格子点の対応点を算出する。

図２２（ａ）は図２１（ｃ）で示した初期設定形状ＤＦの各格子点を、正距円筒射影画像ＥＣｉの中心（注視点（緯度０，経度０））の位置に配置した時に算出される各格子点を示した概念図である。射影方式の変換の説明において上述したように、射影方式が異なる画像の対応関係は、それぞれを３次元の立体球にマッピングすることで算出することが可能である。図２２（ａ）では、座標の一例として、ＴＬの座標(LO_00,00，LA_00,00)を示している。

ここで、基準形状ＢＦは透視射影方式として画角と縦横比を与えて生成したが、正距円筒射影画像ＥＣｉとの関係を記述するには、基準形状ＢＦをどの位置に配置するかという情報が必要となる。そこで、基準形状ＢＦを正距円筒射影画像ＥＣｉ上の緯度・経度座標を使って、配置する座標を定義することを考える。これは、すなわち、立体球ＣＳの中心からどこを向いているかという注視点として表すことができる。

図２２（ｂ）は図２２（ａ）と同じ基準形状ＢＦを、注視点を変更し、緯度-45度, 経度90度の位置に配置したときの概念図である。正距円筒射影は赤道付近から極方向に向かって水平方向が引き伸ばされた射影方式となっているので基準形状は図のように扇型のような形となる。

図５及び図６で示したように基準形状ＢＦをどこに配置するかの情報を、本実施形態では「基準形状移動情報」と示し、正距円筒射影画像上の緯度・経度座標として表現する。図２２（ａ）は図２２（ｂ）で示された基準形状ＢＦを、基準形状移動情報により移動したと捉えることができる。ここで第２の対応領域ＣＡ２の中心点ＣＰ２を射影方式逆変換することで、正距円筒射影画像ＥＣｉ上で対応する対応点ＣＰ３を求め、この座標位置を「基準形状移動情報」とし、既に算出した「基準形状回転情報」および「基準形状変倍情報」を含んだ「基準形状変換情報」を利用することで、基準形状ＢＦを回転・変倍することと、回転・変倍された基準形状を正距円筒射影上の注視点ＧＰ１で示される位置に移動させることが可能となる。つまり、第２の対応領域に対応する第１の射影画像における対応領域が、基準形状変換情報と、基準形状を格子分割することで得られた座標を第一の射影方式に逆変換することで得られる位置パラメータとで表現できるということである。なお、格子点は複数の点の一例である。

ところで、基準形状移動情報は立体球ＣＳの中心にある仮想カメラＩＣをパン（経度方向）、チルト（緯度方向）することにより、仮想カメラＩＣの視線軸を移動することと似ているため、「パン・チルト情報」と示すこともできる。

これにより、後述の重畳部５５ｂが、基準形状変換情報を利用して、平面画像Ｐｉの基準形状ＢＦを回転、変倍、及び移動することで、正距円筒射影画像ＥＣｉによって作成された全天球画像ＣＥに重畳表示させることができる。以上、基準位置パラメータと、動画フレームカウント値（図１５参照）、基準形状変換情報を作成することにより、正距円筒射影画像ＥＣｉと平面画像Ｐｉの位置関係を算出することができる。

続いて、図１５に戻り、重畳表示メタデータ作成部５７０は、図１７に示されているような重畳表示メタデータを作成する。

（重畳表示メタデータ）
ここで、図１７を用いて、重畳表示メタデータのデータ構造について説明する。図１７は、重畳表示メタデータのデータ構造である。

図１７に示されているように、重畳表示メタデータは、正距円筒射影画像情報、平面画像情報、基準形状情報、複数の基準形状変換情報１〜Ｎ（Ｎ：正数）、及びメタデータ作成情報によって構成されている。

これらのうち、正距円筒射影画像情報は、特殊撮影装置１で撮影された動画データに付随しているメタデータの情報である。正距円筒射影画像情報は、画像識別情報及び付属情報を含んでいる。正距円筒射影画像情報における画像識別情報は、正距円筒射影画像を識別するための画像識別情報である。図１７では、正距円筒射影画像情報における画像識別情報の一例として、画像のファイル名が示されているが、画像を一意に識別するための画像ＩＤであってもよい。

また、正距円筒射影画像情報における付属情報は、正距円筒射影画像情報に付属する関連情報である。図１７では、付属情報の一例として、特殊撮影装置１で撮影された際に得られた正距円筒射影画像データの姿勢補正情報(Pitch，Yaw，Roll)が示されている。この姿勢補正情報は、特殊撮影装置１の画像記録フォーマットとして規格化されているExif(Exchangeable image file format)で格納されている場合があり、GPano(Google Photo Sphere schema)で提供されている各種フォーマットで格納されている場合もある。全天球画像は、同じ位置で撮影すれば、姿勢が異なっていても３６０°全方位の画像が撮影できるという特徴があるが、全天球画像ＣＥを表示する場合に、姿勢情報や、どこを画像の中心にするか（注視点）を指定しなければ表示位置が決まらない。そのため、一般的には天頂が撮影者の真上に来るように全天球画像ＣＥを補正して表示する。これにより、水平線が真っ直ぐに補正された自然な表示が可能となる。なお、本実施形態で扱う画像は動画像であるため、動画の各フレームに対して姿勢情報を保存しておき、フレームごとに補正するようにしてもよい。

次に、平面画像情報は、一般撮影装置３で撮影された動画データに基づく情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１７では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。

また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１７では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。また動画においては、ズーム処理を行うと焦点距離が変化するため、動画のフレームごとに対応する焦点距離を付属情報として記録しても良い。

次に、基準形状情報は、基準形状を構成する情報として、その領域分割情報と、各格子領域の格子点の位置（基準位置パラメータ）を含んでいる。これらのうち、領域分割情報は基準形状ＢＦを複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。

また、基準位置パラメータは、後述する基準形状変換情報１〜Ｎと共に利用され、基準形状変換情報ｉにおける動画フレーム特定情報により抽出することができる平面画像Ｐｉを格子状の複数の領域に分割した場合の各格子点が、同じく基準形状変換情報ｉにより全天球動画ＣＥから抽出することができる正距円筒射影画像ＥＣｉのどの位置に配置されるかを示す頂点マッピング情報を算出するためのパラメータである。

次に、基準形状変換情報は、基準形状回転情報、基準形状変倍情報、基準形状移動情報、動画フレーム特定情報を含んでいる。基準形状回転情報、基準形状変倍情報、及び基準形状移動情報については、上述した通りである。

動画フレーム特定情報は、作成用動画フレーム抽出部５４８によって生成され、正距円筒射影画像情報の画像識別情報で特定される動画と、平面画像情報の画像識別情報で特定される動画とから、フレーム画像をそれぞれ抽出するために使用される。基準形状の回転、変倍、移動の各情報は基準形状情報の位置パラメータで示される正距円筒射影画像上に対応する位置を、回転、変倍、又は移動させることで、平面画像Ｐｉを格子状の複数の領域に分割した場合の各格子点を、正距円筒射影画像ＥＣｉ（全天球動画ＣＥから抽出される１つのフレーム画像）のどの位置に配置されるかを示す上述の頂点マッピング情報に変換する。基準形状変換情報算出部５６８は、動画の全てのフレームに対して基準形状変換情報を算出するのではなく、前景動画を適当にサンプリングした動画のフレーム（平面画像Ｐｉ）に対して基準形状変換情報を算出するため、この例では１〜Ｎまでの基準形状変換情報を持つ構成となっている。また、基準形状変換情報算出部５６８は、前景動画において、フレーム間の変化が大きいときは、前景動画のフレームを時間軸で細かくサンプリングし、フレーム間の変化が小さいときは、前記第２の動画のフレームを粗くサンプリングする。

次に、メタデータ作成情報は、重畳表示メタデータのバージョンを示すバージョン情報を示している。重畳表示メタデータの構成を、上述した構成とすることで、動画の各フレームに係る画像における重畳位置の算出に必要となるパラメータのデータサイズを少なくし、さらに動画の全てのフレームに対しパラメータを持つのではなく、適当にサンプリングしたフレームに対する基準形状変換情報を記録することで、必要となるパラメータのデータ量を劇的に減らすことができる。そして、そのパラメータはビューア等で行われる重畳表示を行う際に、画像生成処理のための演算処理が従来処理よりも軽減できるようなパラメータセットとして提供することが考慮されている。具体例としては、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリであるOpenGLで取り扱うことができるデータを算出するための演算処理を考慮している。このように、外部プログラムで取り扱うことが可能なメタデータとして記録しているため、外部プログラムが時系列の回転、移動、変倍の基準形状変換情報を読み込み、補間して利用することで連続的な重畳処理がリアルタイムの処理で実現することができるという効果を奏する。

｛重畳部の機能構成｝
続いて、図１６を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、再生時間管理部５７１、再生用動画フレーム抽出部５７２、補間部５７４、変換位置パラメータ算出部５７６、形状変換部５７８、補正パラメータ作成部５８０、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影変換部５９０を有している。

これらのうち、再生時間管理部５７１は、基準となる動画再生時間を管理して、現在の時間である再生時刻（又は、動画フレームカウント値）を出力する。例えば30fpsで動画を再生したい場合は、再生時間管理部５７１は、１秒間に１／３０秒ずつ時間を増加させて３０回出力する。ここで、背景動画と前景動画の同期について、簡単に例示を用いて説明する。いずれの画像であっても良いが、基準となる画像を特定し、当該基準となる画像から、他方の画像の時間的な差分を用いて、同期を合わせることができる。例えば、背景動画（正距離円筒射影画像EC）の一枚目を基準となる画像として、前景動画（平面画像Ｐ）の記録開始が0.5秒早ければ時間的な差分は−0.5秒とし、逆に平面動画の記録開始が0.5秒遅ければ時間の差分は＋0.5秒として、メタデータに記録させることもできる。この時間的な差分を元にフレーム数のオフセットを計算し、同期させて再生表示させることが可能となる。なお、再生表示する際に、記録時間が遅い方に合わせて、動画の読み出しをスキップして、同期させて再生表示させたり、背景動画と前景動画の時間的な差分をゼロとなった画像から表示させたりするようにしても良い。

再生用動画フレーム抽出部５７２は、再生時間管理部５７１で管理されている時間に基づき、背景動画（正距円筒射影画像ＥＣ）となる一方の動画像と、前景動画（平面画像Ｐ）となる他方の動画像のそれぞれから、それぞれ指定された時刻に対応するフレームを抽出する。

補間部５７４は、再生時間管理部５７１による動画におけるフレーム再生の時間（又は、動画フレームカウント値）に合わせて、メタデータ生成部５５ａで生成された各基準形状変換情報を読み取り、必要に応じて補間（内挿）することで、動画のフレームの再生時間毎に形状変換パラメータを算出する。この形状変換パラメータの形式は、上述の基準形状変換情報と同じであるが、値は補間結果を示す。補間方法は、再生時間に一番近い前後の基準形状変換情報を読出し、例えば線形補間をして求める。メタデータ作成部５５ａでは、例えば、作成用動画フレーム抽出部５４８が１fpsで動画のフレームを抽出することで、重畳表示メタデータ作成部５７０が１秒間に１つの基準形状変換情報を作成している場合であって、再生時間管理部５７１が１秒間に３０フレームを出力している場合、補間部５７４は２９フレーム分の補間を行う。

変換位置パラメータ算出部５７６は、補間部５７４で得られた各形状変換パラメータを用いて、メタデータ生成部５５ａで生成された基準形状情報（基準位置パラメータ）を変換した結果である変換位置パラメータを算出する。この算出は、動画の各フレームの再生時間毎に行われる。

ところで、変換位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５７８及び補正パラメータ作成部５８０は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。

形状変換部５７８は、変換位置パラメータ算出部５７６で算出された変換位置パラメータで特定される正距円筒射影画像ＥＣ上の領域を、平面画像Ｐと同じ矩形の形状に変換することで、第３の対応領域ＣＡ３を作成する。

補正パラメータ作成部５８０は、図２６（ａ）に示されているように、第３の対応領域ＣＡ３を、領域分割部５６０の処理と同様に重畳表示メタデータの領域分割数情報に基づいて分割することで各格子領域ＬＡ３を作成する。また、補正パラメータ作成部５８０は、図２６（ｂ）に示されているように、平面画像Ｐを、領域分割部５６０の処理と同様に重畳表示メタデータの領域分割数情報に基づいて分割することで各格子領域ＬＡ０を作成する。図２６（ｂ）では、（８×８＝）６４個の格子領域ＬＡ０が作成されている。更に、補正パラメータ作成部５８０は、同じ形状に変換後の第３の対応領域ＣＡ３における各格子領域ＬＡ２’の明るさ値及び色値に対して、各格子領域ＬＡ３と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータ（補正情報の一例）を作成する。具体的には、補正パラメータ作成部５８０は、各格子領域ＬＡ０の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒ_ave，Ｇ_ave，Ｂ_ave）を算出し、各格子領域ＬＡ３’の角の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ’，Ｇ’，Ｂ’）の平均値ａ’ = (Ｒ’_ave，Ｇ’_ave，Ｂ’_ave）を算出する。図２７には、これら４つの格子領域（ＬＡ３ａ’，ＬＡ３ｂ’，ＬＡ３ｃ’，ＬＡ３ｄ’）と角の１点である共通の格子点ＬＰ３’が示されている。なお、上記各格子領域ＬＡ０の１点および各格子領域ＬＡ３の１点が第３の対応領域ＣＡ３および第３の対応領域ＣＡ３の４隅の場合、補正パラメータ作成部５８０は、１つの格子領域から明るさ値および色値の平均値ａおよび平均値ａ’を算出する。また、上記各格子領域ＬＡ０の１点および各格子領域ＬＡ３の１点が第３の対応領域ＣＡ３の外周の点の場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ’を平均値ａで除算することで、補正パラメータＰａを求める。
Pa = a’/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡ０毎に乗算することで、平面画像Ｐの色味および明るさが、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。

また、本実施形態では明るさ値および色値の補正値の算出に画素値（R，G，B）を使用したが、輝度および色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値および色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。

補正部５８４は、補正パラメータ作成部５８０で算出された補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なうことで、補正画像Ｃを作成する。なお、補正部５８４は、必ずしも明るさや色の補正を行なう必要はない。また、補正パラメータが補正を行なう場合、明るさの補正を行なっても、色の補正を行なわなくてもよい。

一方、貼付領域作成部５８２は、変換位置パラメータ算出部５７６によって算出された変換位置パラメータに基づいて、仮想の立体球ＣＳにおいて平面画像Ｐを貼り付ける領域部分（以下、「部分立体球」という）ＰＳを作成する。

画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（または、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさを徐々に変更しない場合には、マスクデータＭの作成は、必須ではない。

画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイで見ることができるように射影変換する。また、射影変換部５９０は、射影変換する際に、所定領域Ｔをディスプレイにおける表示領域の解像度に合わせる処理も行なう。具体的には、所定領域Ｔの解像度がディスプレイの表示領域の解像度よりも小さい場合には、射影変換部５９０は、所定領域Ｔをディスプレイの表示領域に合わせるように拡大する。一方、所定領域Ｔの解像度がディスプレイの表示領域の解像度よりも大きい場合には、射影変換部５９０は、所定領域Ｔをディスプレイの表示領域に合わせるように縮小する。これにより、表示制御部は、ディスプレイの表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。

＜＜実施形態の処理又は動作＞＞
続いて、図１８乃至図３４を用いて、本実施形態の処理又は動作について説明する。まず、図１８を用いて、撮影システムが実行する撮影方法を説明する。図１８は、本実施形態に係る撮影方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部１４によって周囲の音を録音してもよい。

図１８に示されているように、スマートフォン５の受付部５２は、利用者から連携撮影開始を受け付ける（ステップＳ１１）。この場合、図１４（ｂ）に示されているように、表示制御部５６が、連携撮影装置設定画面をディスプレイ５１７に表示させる。この画面には、撮影装置毎に、連携撮影する際のメインの撮影装置を指定するためのラジオボタン、連携撮影する際のサブの撮影装置を指定（選択）するためのチェックボックスが表示されている。更に、撮影装置毎に、撮影装置の装置名及び電波の受信強度が表示されている。そして、利用者が所望の撮影装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮影開始を受け付ける。なお、サブの撮影装置は複数であってもよいため、チェックボックスにして複数の撮影装置を指定（選択）することができるようになっている。

そして、スマートフォン５の近距離通信部５８は、一般撮影装置３の近距離通信部３８に対して、撮影開始を要求するための撮影開始要求情報を送信する（ステップＳ１２）。また、また、スマートフォン５の近距離通信部５８は、特殊撮影装置１の近距離通信部１８に対して、撮影開始を要求するための撮影開始要求情報を送信する（ステップＳ１３）。

次に、一般撮影装置３は、撮影を開始する（ステップＳ１４）。この撮影の処理は、撮像部３３が被写体や風景等を撮像することで動画を構成するフレームデータである撮影画像データ（ここでは、平面画像データ）を取得し、記憶・読出部３９が記憶部３０００に撮影画像データを記憶するまでの処理である。そして、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１４によって得られた平面画像データを送信する（ステップＳ１５）。この際、送信される平面画像データを識別するための画像識別情報、及び付属情報も送信される。これにより、スマートフォン５の近距離通信部５８は、平面画像データ、画像識別情報、及び付属情報を受信する。

一方、特殊撮影装置１は、撮影を開始する（ステップＳ１６）。この撮影の処理は、撮像部１３が被写体や風景等を撮影することで動画を構成するフレームデータである撮影画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。そして、特殊撮影装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１６によって得られた正距円筒射影画像データを送信する（ステップＳ１７）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。なお、正距円筒射影画像データは、特殊撮影装置１で作成されるのではなく、スマートフォン５で作成されるようにしてもよい。この場合、特殊撮影装置１からスマートフォン５には、２つの半球画像データ、画像識別情報、及び付属情報が送信される。

次に、スマートフォン５の記憶・読出部５９は、ステップＳ１５によって受信された平面画像データの電子ファイルと、及びステップＳ１７によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ１８）。

次に、スマートフォン５の画像・音処理部５５は、低精細画像である全天球画像ＣＥの一部の領域に高精細画像である平面画像Ｐを重畳して表示する際に利用する、重畳表示用メタデータを作成する（ステップＳ１９）。この際、記憶・読出部５９が、記憶部５０００に重畳表示用メタデータを記憶する。

ここで、主に、図１９乃至図２２を用いて、重畳表示メタデータの作成処理について詳細に説明する。なお、一般撮影装置３と特殊撮影装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮影装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮影画像における一定領域あたりの精細度が低くなる。

｛重畳表示メタデータの作成処理｝
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像Ｐを重畳してディスプレイ５１７に表示するための重畳表示メタデータの作成処理について説明する。

抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１、及び透視射影方式によって得られた長方形の平面画像Ｐにおける複数の特徴点ｆｐ２を抽出する（ステップＳ１１０）。

次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２との類似度に基づき、図１９に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図１９に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像Ｐを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。

次に、注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。

次に、射影方式変換部５５６は、図２０に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像Ｐの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換する（ステップＳ１４０）。

次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点ｆｐ３を抽出する（ステップＳ１５０）。

次に、第２の対応領域算出部５５８は、第２のホモグラフィ変換によって、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２と、周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３との類似度に基づき、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像Ｐは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。

次に、初期設定形状生成部５５９は、図２１（ａ）に示されているように、長方形の対角画角βと、長方形の縦横比を定めることで、初期設定形状ＤＦを生成する（ステップＳ１７０）。

次に、領域分割部５６０は、図２１（ｃ）に示されているように、初期設定形状ＤＦの領域を複数の格子領域に分割する（ステップＳ１８０）。

次に、射影方式逆変換部５６２は、領域分割部５６０によって領域分割された初期設定形状ＤＦの座標を、背景動画と同じ射影方式である正距円筒射影画像ＥＣｉと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣｉにおいて、基準形状の各格子点の対応点を算出する（ステップＳ１９０）。この射影方式逆変換部５６２の処理により、各格子領域の各格子点の座標を示す基準形状情報（基準位置パラメータ）が作成される。

一方、基準形状変換情報算出部５６８は、基準形状ＢＦを回転、変倍（拡大若しくは縮小）、又は移動することにより基準形状ＢＦを変換するための基準形状変換情報を算出する（ステップＳ２００）。

最後に、重畳表示メタデータ作成部５７０は、特殊撮影装置１から取得した正距円筒射影画像情報、一般撮影装置３から取得した平面画像情報、上記ステップＳ１９０で作成された基準形状情報、ステップＳ２００で算出された各基準形状変換情報、及び作成用動画フレーム抽出部５４８から出力された動画フレームカウント値に基づいて、重畳表示メタデータを作成する（ステップＳ２１０）。この重畳表示メタデータは、記憶・読出部５９によって、記憶部５０００に記憶される。

以上より、図１８に示されているステップＳ１９の処理が終了する。そして、記憶・読出部５９及び表示制御部５６は、重畳表示メタデータを用いて、重畳の処理を行なう（ステップＳ２０）。

｛重畳の処理｝
続いて、図２３乃至図３４を用いて、重畳の処理について詳細に説明する。図２３及び図２８は、重畳表示の処理の課程における画像の概念図である。図２３は、重畳の処理の前半部分である位置パラメータ及び補正パラメータを算出する処理を示している。図２８は、重畳の処理の後半部分である全天球画像ＣＥに平面画像Ｐを重畳する処理を示している。

まず、記憶・読出部（取得部）が、予め、記憶部５０００から、基準形状情報及び各基準形状変換情報を読み出して取得しておく。また、記憶・読出部（取得部）が、動画再生の時間経過に合わせて、正距円筒射影方式によって得られた動画のフレームに係る正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた動画のフレームに係る平面画像Ｐのデータを読み出して取得しておく。

そして、補間部５７４は、再生時間管理部５７１による動画再生の時間経過に合わせて、メタデータ作成部５５ａで生成された各基準形状変換情報を読み取り、必要に応じて補間することで、動画のフレームの再生時間毎に形状変換パラメータを算出する（Ｓ２７０）。

ここで、図２４を用いて、形状変換パラメータについて詳細に説明する。図２４は、補間方法に関する説明を行う。本実施形態において基準形状変換情報は、基準形状変倍情報を除いて全て角度で表されている。ホモグラフィ行列等から回転角を求めると、図２４（ａ）に示されているように、角度の値は例えば±１８０度の範囲となる。補間の際に±１８０度の境界をまたぐと、意図しない動作になる場合がある。例えば、動画のフレームが１秒間隔で１３０度、１５０度、１７０度、−１７０度、−１５０度、−１３０度と設定されていた場合を考える。図２４（ｂ）で示すように１３０度から−１３０度に向けて反時計周りで等速度に動いていると考えるのが普通である。しかしながら、この動画のフレームを０．５秒間隔で補間をすると、１７０と−１７０の単純な補間結果は０となり、結果として、図２４（ｃ）に示されているように、突然逆回りに大きく動くこととなる。そこで、補間部５７４は、補間するフレームデータ同士でどちら回りが近いかを判断して補間を実行する。例えば、図２４（ｄ）のように、基準位置パラメータで示される基準形状を１３０度（Ａ点）から−１３０度（Ｂ点）に移動又は回転させる場合、反時計周りが近くなり±１８０度の境界を跨ぐため、この場合はＡ点と（Ｂ点+３６０度）で補間を行う。図２４（ｅ）のように、１３０度（Ｃ点）から−２０度（Ｄ点）に移動又は回転させる場合は、時計回りが近くなり、±１８０度の境界をまたがないためＣ点とＤ点で単純に補間を行う。図２４（ｆ）のように、−１３０度（Ｅ点）から１３０度（Ｆ点）に移動又は回転させる場合、時計周りが近くなり、±１８０度の境界を跨ぐためＥ点と（Ｄ点−３６０度）で補間すればよい。このような方法で補間することで、移動又は回転の速さに対して動画のフレームの設定間隔が大きい場合等を除き、おおむね意図通りの動きになる。

続いて、図２３に戻り、変換位置パラメータ算出部５７６は、メタデータ生成部５５ａで生成された基準形状情報（基準位置パラメータ）、及び補間部５７４で得られた基準形状変換情報を用いて、この時間の変換位置パラメータを算出する（ステップＳ２８０）。

ここで、図２５を用いて、変換位置パラメータの算出方法について説明する。図２５は、変換位置パラメータ算出部における処理の流れを示した三次元の概念図である。
図２５（ａ）は、基準位置パラメータに基づき、３次元の立体球ＣＳ上の座標（部分立体球ＰＳ）を作成した図である。ここでも、上記（式４）の考えが用いられる。

次に、変換位置パラメータ算出部５７６は、図２５（ｂ）に示されているように、部分立体球ＰＳの４つ角のうちの３点で構成される平面を求め、その平面に対して各点を立体球ＣＳの中心を視点として透視射影する。３点の選択は任意で良い。３次元上で３点を通る平面の式は公知の技術なので割愛する。また、部分立体球ＰＳから、平面への射影は部分立体球ＰＳ上の点Ｐ(ａ，ｂ，ｃ)とすると原点（視点）から点Ｐへの直線の式は媒介変数tを用いて（ｘ，ｙ，ｚ）＝ｔ（ａ，ｂ，ｃ）と表される。平面と直線の交点を求めればよい。

次に、変換位置パラメータ算出部５７６は、図２５（ｃ）に示されているように、平面の中心が原点に来るように各点を平行移動する。平面の中心は例えば４隅の点の位置座標の平均としてその点を原点に移動するベクトルを求め、各点に対してそのベクトルを加算する。

次に、変換位置パラメータ算出部５７６は、図２５（ｄ）に示されているように、図２５（ｃ）平面の各点に対して補間部５７４で取得された情報（補間後の基準形状変換情報）のうち回転情報と変倍情報を作用させる。先ほど原点に移動したのは局所座標で回転及び変倍情報を作用させるためである。

次に、変換位置パラメータ算出部５７６は、図２５（ｅ）に示されているように、上記原点へ平行移動したベクトルと逆のベクトルを各点に加算して元の位置に戻す。

次に、変換位置パラメータ算出部５７６は、図２５（ｆ）に示されているように、平面の各点を立体球ＣＳに戻す。立体球ＣＳへ戻す方法は、例えば、平面状のある点をＱ（ｄ，ｅ，ｆ）とする。これらの点を半径１の球上に射影するためには原点から点Ｑまでのベクトルの長が１になればよい。

次に、変換位置パラメータ算出部５７６は、図２５（ｅ）に示されているように、立体球ＣＳ上に射影された各点に対して補間部５７４で取得された基準形状変換情報のうち残りの基準形状移動情報を作用させる。基準形状移動情報は原点を中心とした回転情報になるので、各点の（ｘ，ｙ，ｚ）座標に回転行列を掛ければよい。基準位置パラメータを作用させた３次元座標から、再度、正距円筒射影画像ＥＣにおける座標に戻すことにより、変換位置パラメータが算出される。なお、今回は、一度、正距円筒射影画像ＥＣにおける座標に戻した後、部分立体球ＰＳの作成を行う例を示したが、基準形状移動情報を作用させたものをそのまま部分立体球ＰＳとしてもよい。

続いて、図２３に戻り、形状変換部５７８は、変換位置パラメータ算出部５７６で算出された変換位置パラメータで特定される正距円筒射影画像ＥＣ上の領域を、平面画像Ｐと同じ矩形の形状に変換することで、第３の対応領域ＣＡ３を作成する（ステップＳ２９０）。そして、補正パラメータ作成部５８０は、第３の対応領域ＣＡ３と、再生用動画フレーム抽出部５７２から抽出された平面画像Ｐとを比較して、補正パラメータの算出を行うことで、補正パラメータを作成する（ステップＳ３００）。

続いて、図２８を用いて、まず、図１３に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び変換位置パラメータを算出しておく。そして、再生フレーム選択部５７２が、映像のフレームである正距円筒射影画像ＥＣのデータ及び平面画像Ｐのデータを選択する。

次に、貼付領域作成部５８２は、図２８に示されているように、変換位置パラメータによって基準形状パラメータを変換することで、仮想の立体球ＣＳにおいて、部分立体球ＰＳを作成する（ステップＳ３１０）。

次に、補正部５８４は、補正パラメータ作成部５８０で作成された補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。

次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、画像重畳部５８８は、全天球画像ＣＥに対して、重畳画像Ｓ及びマスクデータＭを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

次に、射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影変換する（ステップＳ３７０）。この際、射影変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑの表示の処理を行なうことができる（ステップＳ２４）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。

続いて、図２９乃至図３３を用いて、重畳表示された状態について詳細に説明する。図２９は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図２９に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、変換位置パラメータに従って、立体球ＣＳの内側に重畳されている。

図３０は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図３０では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。

図３１は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図３２は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。

図３１（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体ｐｏ１は、全天球画像ＣＥ上で像ｐｏ２として表され、重畳画像Ｓ上で像ｐｏ３として表されている。図３１（ａ）に示されているように、像ｐｏ２及び像ｐｏ３は、仮想カメラＩＣと被写体ｐｏ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図３１（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体ｐｏ１とを結ぶ直線上に、像ｐｏ２は位置しているが、像ｐｏ３はやや内側に位置している。このため、仮想カメラＩＣと被写体ｐｏ１とを結ぶ直線上における重畳画像Ｓ上の像を像ｐｏ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像ｐｏ３と像ｐｏ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。

これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図３２（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図３２（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図３２（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像ｐｏ２及び像ｐｏ３は、仮想カメラＩＣと被写体ｐｏ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。

図３３（ａ）は重畳表示しない場合のワイド画像の表示例、図３３（ｂ）は重畳表示しない場合のテレ画像の表示例、図３３（ｃ）は重畳表示する場合のワイド画像の表示例、図３３（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。

図３３（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図３３（ａ）における波線で示される領域まで拡大表示すると、図３３（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図３３（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図３３（ｃ）における波線で示される領域まで拡大表示すると、図３３（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。

また、本実施形態のように、動画のフレームデータである全天球画像ＣＥ内に動画のフレームデータである平面画像Ｐが重畳されている場合には、図３４に示されているような見え方になる。図３４は、動画の所定領域画像内に動画の平面画像が表示されている例を示す図である。

ディスプレイ５１７上には、図３４（ａ）から順に、図３４（ｂ）、図３４（ｃ）、及び図３４（ｄ）で時系列に、所定領域画像Ｑ１，Ｑ２，Ｑ３，Ｑ４は、それぞれ平面画像Ｐ１，Ｐ２，Ｐ３，Ｐ４が含まれた状態で表示される。所定領域画像Ｑ１，Ｑ２，Ｑ３，Ｑ４は、低精細の画像であるが、平面画像Ｐ１，Ｐ２，Ｐ３，Ｐ４は高精細であるため、平面画像Ｐ１，Ｐ２，Ｐ３，Ｐ４を拡大表示しても、利用者は鮮明な画像を見ることができる。

また、背景画像（正距円筒射影画像）及び前景画像（平面画像）が静止画の場合、前景画像における複数の位置（点）、輝度及び色を補正する補正パラメータ（補正情報）を、背景画像の複数の位置（点）に対応付けて記憶してもよい。しかし、この方式をそのまま動画像に適応すると重畳表示メタデータのデータ量が重畳する動画の記録時間に比例して大きくなってしまうという課題が生じる。つまり、背景画像に対し、ある時刻における前景画像の背景画像に対する重畳位置と、別のある時刻における前景画像の背景画像に対する重畳位置は静止画と異なり変化することがあるため、各時刻の前景画像となる動画像のフレーム単位で重畳位置を記録することが必要となる。そのため、動画のフレーム枚数分だけ重畳位置を示す位置情報が必要となり、重畳表示メタデータが大量の位置情報を保持する必要がある。これに伴い、重畳部５５ｂは、重畳表示メタデータを用いて背景動画及び前景画像の一フレーム毎に重畳の処理を行う必要があるため、処理負荷が非常に大きくなってしまう。

これに対して、本実施形態では、図２２（ａ）に示しているように、基準位置パラメータによって背景画像上に基準形状ＢＦを定め、基準形状ＢＦを３次元モデル空間上で、回転、変倍、移動させるための基準形状変換情報を用いることで、動画における各フレームにおいて重畳位置の算出に必要となる重畳表示メタデータのデータサイズを小さくし、さらに動画像の全てのフレームに対しパラメータを持つのではなく、適当にサンプリングした動画のフレームに対する基準位置パラメータを記録することで、必要となるパラメータのデータ量を減らすことができる。さらに、そのパラメータはビューア等で行われる重畳表示を行う際に、重畳処理のための演算処理が従来処理よりも軽減できるようなパラメータセットとして提供することを考慮している。具体例としては、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリであるOpenGLで取り扱うことができるデータを算出するための演算処理を考慮している。このようにして、外部プログラムで取り扱うことが可能なメタデータとして記録しているため、外部プログラムの実行により実現される補間部５７４が、時系列の回転、変倍、移動を示す基準形状変換情報を読み込み、補間して利用することで連続的な重畳処理がリアルタイムの処理で実現できる。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、射影方式が異なる一方の画像に他方の画像を合わせても、見えづらさを抑制することができるという効果を奏する。また、射影方式が異なる一方の画像（例えば、正距円筒射影画像ＥＣ）に他方の画像（例えば、平面画像Ｐ）を重畳しても、画像のずれを抑制することができるという効果を奏する。

また、図３３（ｃ）に示されているように、低精細の全天球画像ＣＥの一部である所定領域画像の一部の領域に、高精細の平面画像Ｐを重畳して表示することができるため、全天球画像と平面画像の画像が合い、平面画像が全天球画像に上手く溶け込むことができるという効果を奏する。

更に、本実施形態によれば、基準形状情報で示される基準形状ＢＦを定め、基準形状ＢＦを３次元モデル空間上で、回転、変倍、移動させるための基準形状変換情報を用いることで、射影方式が異なる複数の動画像において、一方の動画像の各フレームに他方の動画像の各フレームを重畳するための位置パラメータの算出に必要となるパラメータのデータサイズをできるだけ少なくすることができる。また、動画像の全てのフレームに対しパラメータを持つのではなく、適当にサンプリングした任意のフレームに対するパラメータを記録することで、必要となるパラメータのデータ量を減らすことができる。

〔第２の実施形態〕
続いて、図３５乃至図４０を用いて、本発明の第２の実施形態について説明する。

＜撮影システムの概略＞
まずは、図３５を用いて、本実施形態の撮影システムの構成の概略について説明する。図３５は、本実施形態の撮影システムの構成の概略図である。

図３５に示されているように、本実施形態の撮影システムは、第１の実施形態に係る各構成に対して、更に画像処理サーバ７が追加されている。第１の実施形態と同一の構成は、同一の符号を付して、その説明を省略する。スマートフォン５と画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して、画像処理サーバ７と相互通信することができる。

第１の実施形態では、スマートフォン５が、重畳表示メタデータの作成や画像の重畳の処理を行なっているのに対して、本実施形態では、画像処理サーバ７がこれらの処理を行なう。
なお、本実施形態のスマートフォン５は、通信端末の一例となり、画像処理サーバが画像処理装置の一例となる。

画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。

＜＜実施形態のハードウェア構成＞＞
次に、図３６を用いて、本実施形態の画像処理サーバ７のハードウェア構成を詳細に説明する。図３６は、画像処理サーバのハードウェア構成図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成は、第１の実施形態と同様であるため、それらの説明を省略する。

＜画像処理サーバのハードウェア構成＞
図３６は、画像処理サーバのハードウェア構成図である。画像処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。

これらのうち、ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。

また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜＜実施形態の機能構成＞＞
次に、図３７及び図３９を用いて、本実施形態の機能構成について説明する。図３７は、本実施形態に係る撮影システムの機能ブロック図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５の機能構成は、第１の実施形態と同様であるため、それらの説明を省略する。本実施形態の場合、スマートフォン５の画像・音処理部５５は、図１５に示されている各機能構成を有していてもよいし、有していなくてもよい。

＜画像処理サーバの機能構成＞
図３７に示されているように、画像処理サーバ７は、遠距離通信部７１、受付部７２、画像・音処理部７５、表示制御部７６、判断部７７、及び記憶・読出部７９を有している。これら各部は、図３６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された画像処理サーバ７用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、画像処理サーバ７は、図３６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。

（画像処理サーバの各機能構成）
画像処理サーバ７の遠距離通信部７１は、主に、図３６に示されているネットワークＩ／Ｆ７０７及びＣＰＵ７０１の処理によって実現され、通信ネットワークを介して、他の装置（例えば、他のサーバ、スマートフォン）との間で各種データ（または情報）の送受信を行う。

受付部７２は、主にキーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

画像・音処理部７５は、主にＣＰＵ７０１からの命令によって実現され、スマートフォン５から送られて来た各種データに対して、各種処理を行なう。

表示制御部７６は、主にＣＰＵ７０１の処理によって実現され、第１の実施形態の表示制御部５６と異なり、スマートフォン５のディスプレイ５１７に平面画像Ｐを表示させるための所定領域画像Ｑのデータを作成する。また、表示制御部７６は、画像・音処理部７５によって作成された重畳表示メタデータを利用して、平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示させるためのデータを作成する。

判断部７７は、図３６に示されているＣＰＵ７０１の処理によって実現され、各種判断を行なう。

記憶・読出部７９は、主に、図３６に示されているＣＰＵ７０１の処理によって実現され、記憶部７０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部７０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部７９は、記憶部７０００から各種データを取得する取得部の役割を果たす。

（画像・音処理部の詳細な各機能構成）
ここで、図３９を用いて、画像・音処理部７５の各機能構成について詳細に説明する。図３９は、画像・音処理部の詳細な機能ブロック図である。

画像・音処理部７５は、大きく分けて、エンコードを行なうメタデータ作成部７５ａとデコードを行なう重畳部７５ｂを有している。メタデータ作成部７５ａは、図４０に示されている後述のステップＳ１２１の処理を実行する。また、重畳部７５ｂは、図１８に示されている後述のステップＳ１２２の処理を実行する。

｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部７５ａの各機能構成について説明する。メタデータ作成部７５ａは、動画フレーム抽出部７４８、抽出部７５０、第１の対応領域算出部７５２、注視点特定部７５４、射影方式変換部７５６、第２の対応領域算出部７５８、初期設定形状生成部７５９、領域分割部７６０、射影方式逆変換部７６２、基準形状変換情報算出部７６８、及び重畳表示メタデータ作成部７７０を有している。これらは、それぞれ第１の実施形態における、作成用動画フレーム抽出部５４８、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、初期設定形状生成部５５９、領域分割部５６０、射影方式逆変換部５６２、基準形状変換情報算出部５６８、及び重畳表示メタデータ作成部５７０と同様の機能を有するため、これらの説明は省略する。

｛重畳部の機能構成｝
続いて、重畳部７５ｂの機能構成について説明する。重畳部７５ｂは、再生時間管理部７７１、再生動画フレーム選択部７７２、補間部７７４、位置パラメータ算出部７７６、形状変換部７７８、補正パラメータ作成部７８０、貼付領域作成部７８２、補正部７８４、画像作成部７８６、画像重畳部７８８、及び射影変換部７９０を有している。これらは、それぞれ第１の実施形態における、再生時間管理部５７１、再生用動画フレーム抽出部５７２、補間部５７４、変位位置パラメータ算出部５７６、形状変換部５７８、補正パラメータ作成部５８０、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影変換部５９０と同様の機能を有するため、これらの説明は省略する。

＜＜実施形態の処理又は動作＞＞
続いて、図４０を用いて、本実施形態の処理又は動作について説明する。図４０を用いて、撮影システムが実行する撮影方法を説明する。図４０は、本実施形態に係る撮影方法を示したシーケンス図である。なお、ステップＳ１１１〜Ｓ１１８の処理は、第１の実施形態のステップＳ１１〜Ｓ１８と同様の処理であるため、これらの説明を省略する。

スマートフォン５では、遠距離通信部５１が通信ネットワーク１００を介して画像処理サーバ７に、射影方式が異なる一方の画像に他方の画像を重畳するための重畳要求を示す重畳要求情報を送信する（ステップＳ１１９）。この重畳要求情報には、記憶部５０００に記憶された電子フォルダ内のデータ（平面画像データ、正距円筒射影画像データ）を送信する。これにより、画像処理サーバ７の送受信部７１は、電子フォルダ内のデータを受信する。

次に、画像処理サーバ７では、記憶・読出部７９が、記憶部７０００に、ステップＳ１１９で受信された電子フォルダ内のデータを記憶する（ステップＳ１２０）。そして、図３８に示されているメタデータ作成部７５ａが、重畳表示用メタデータの作成を行なう（ステップＳ１２１）。更に、重畳部７５ｂが、重畳の処理を行なう（ステップＳ１２２）。ステップＳ１２１，Ｓ１２２の処理は、それぞれステップＳ２１，Ｓ２２の処理と同様の内容であるため、これらの説明を省略する。

次に、表示制御部７６は、スマートフォン５のディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示させる所定領域画像Ｑのデータを作成する。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。遠距離通信部５１は、スマートフォン５に対して、表示制御部７６によって作成された所定領域画像Ｑのデータを送信する（ステップＳ１２３）。これにより、スマートフォンの遠距離通信部５１は、所定領域画像Ｑのデータを受信する。

次に、スマートフォン５では、表示制御部５６が、ディスプレイ５１７上に、重畳画像Ｓが含まれた所定領域画像Ｑを表示させる（ステップＳ１２４）。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、上記第１の実施形態と同様の効果を奏する。

また、本実施形態では、連携撮影の処理はスマートフォン５で行い、重畳表示用メタデータの作成及び重畳の処理は画像処理サーバ７で行なうため、スマートフォン５の処理能力が比較的低い場合であっても、画像のずれを抑制することができるという効果を奏する。

〔補足〕
上記各実施形態では、図１３に示されているように、スマートフォン５が、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータを有しているが、これに限るものではない。例えば、インターネット等の通信ネットワークを介して通信可能な管理サーバが、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータのうち少なくとも１つを記憶してもよい。

また、上記各本実施形態では、全天球画像ＣＥに平面画像Ｐが重畳されているが、これに限るものではない。例えば、全天球画像ＣＥの一部の画像を平面画像Ｐに置き換えてもよいし、全天球画像ＣＥの一部の画像を削除して、この削除した部分に平面画像Ｐを嵌め込んでもよい。

また、上記第２の実施形態では、重畳の処理が画像処理サーバ７で行なわれているが（ステップＳ４５参照）、これに限るものではない。例えば、画像処理サーバ７からスマートフォン５に重畳表示用メタデータを送信し、スマートフォン５側で重畳の処理及び表示の処理を行なってもよい。この場合、画像処理サーバ７では、図３９に示されているメタデータ作成部７５ａが重畳表示用メタデータの作成を行なう。一方、スマートフォン５では、図１５に示されている重畳部５５ｂが重畳の処理を行い、図１３に示されている表示制御部５６が表示の処理を行なう。

また、上記では、全天球画像に平面画像を重畳する場合について説明したが、重畳は、合成の一例である。合成には、重畳の他に、貼り付け、嵌め込み、重ね合わせ等も含まれる。また、上記重畳画像は、合成画像の一例である。合成画像には、重畳画像の他に、貼り付け画像、嵌め込み画像、重ね合わせ画像等も含まれる。更に、画像重畳部５８８，７８８は、画像合成部の一例である。

また、正距円筒射影画像ＥＣと平面画像Ｐは、両方とも静止画の場合、両方とも動画のフレームの場合、一方が静止画で他方が動画のフレームの場合のいずれであってもよい。

図１３、図１５、図１６、図３６、図３７、図３８に示されている各機能構成は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本実施形態の技術方案は、本質的、または従来技術に貢献する部分若しくは上記技術方案の部分はソフトウェア製品の形で表現される。上記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或はネットワークデバイスなど)に上記各実施形態にかかる上記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、上述の記憶媒体は、USBメモリ、リムーバブルディスク、ROM、RAM、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。

また、上記実施形態にかかる方法は、プロセッサに適用され、またはプロセッサによって実現される。プロセッサは信号を処理する能力を持つ集積回路基板である。上記各実施形態の方法の各ステップはプロセッサにおけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサ42は汎用プロセッサ、デジタル信号プロセッサ(DSP)、専用集積回路(ASIC)、既製プログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、上記各実施形態に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。上記各実施形態にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにお行けるハードウェアとソフトウェアとの組み合わせによって実現されても良い。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリから、プロセッサは情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。

以上に説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号プロセッサ(DSPD)、プログラム可能論理回路 (PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或はその組合せにより実現される。また、ソフトウェアの実現に関しては、上述した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。

１ 特殊撮影装置（第１の撮影装置の一例）
３ 一般撮影装置（第２の撮影装置の一例）
５ スマートフォン（画像処理装置の一例）
７ 画像処理サーバ（画像処理装置の一例）
５１ 送受信部
５２ 受付部
５５ａ メタデータ作成部
５５ｂ 重畳部
５６ 表示制御部
５８ 近距離通信部
５９ 記憶・読出部（取得手段の一例）
７２ 受付部
７５ 画像・音処理部
７５ａ メタデータ作成部
７５ｂ 重畳部
７６ 表示制御部
７８ 近距離通信部
７９ 記憶・読出部（取得手段の一例）
５１７ ディスプレイ
５４８ （メタデータ）作成用動画フレーム抽出部
５５０ 抽出部（抽出手段の一例）
５５２ 第１の対応領域算出部（第１の対応領域算出手段の一例）
５５４ 注視点特定部（注視点特定手段の一例）
５５６ 射影方式変換部（射影方式変換手段の一例）
５５８ 第２の対応領域算出部（対応領域算出手段の一例／第２の対応領域算出手段の一例）
５５９ 初期設定形状生成部（初期設定形状生成手段の一例）
５６０ 領域分割部（領域分割手段の一例）
５６２ 射影方式逆変換部（射影方式逆変換手段の一例）
５６８ 基準形状変換情報算出部（基準形状変換情報算出手段の一例）
５７０ 重畳表示メタデータ作成部（位置算出手段の一例）
５７１ 再生時間管理部
５７２ 再生用動画フレーム抽出部
５７４ 補間部（補間手段の一例）
５７５ 変換位置パラメータ算出部
５７８ 形状変換部
５８０ 補正パラメータ作成部
５８２ 添付領域作成部（添付領域作成手段の一例）
５８４ 補正部（補正手段の一例）
５８６ 画像作成部（画像作成手段の一例）
５８８ 画像重畳部（画像重畳手段の一例）
５９０ 射影変換部（射影変換手段の一例）
７５０ 抽出部（抽出手段の一例）
７５２ 第１の対応領域算出部（第１の対応領域算出手段の一例）
７５４ 注視点特定部（注視点特定手段の一例）
７５６ 射影方式変換部（射影方式変換手段の一例）
７５８ 第２の対応領域算出部（対応領域算出手段の一例／第２の対応領域算出手段の一例）
７６０ 領域分割部（領域分割手段の一例）
７６２ 射影方式逆変換部（射影方式逆変換手段の一例）
７６４ 形状変換部（形状変換手段の一例）
７６６ 補正パラメータ作成部（補正情報作成手段の一例）
７７０ 重畳表示メタデータ作成部（位置算出手段の一例）
７８２ 添付領域作成部（添付領域作成手段の一例）
７８４ 補正部（補正手段の一例）
７８６ 画像作成部（画像作成手段の一例）
７８８ 画像重畳部（画像重畳手段の一例）
７９０ 射影変換部（射影変換手段の一例）
５０００ 記憶部（記憶手段の一例）
５００１ 連携撮影装置ＤＢ（連携撮影装置手段の一例）
７０００ 記憶部（記憶手段の一例）

特開２０１６−９６４８７号公報 特開２０１２−１７８１３５号公報

Claims (12)

1. 第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像と、前記第１の画像上で前記第２の画像に対応する基準形状を示す基準形状情報と、前記第１の画像上で前記基準形状を変換するための基準形状変換情報とを取得する取得手段と、
   前記基準形状変換情報に基づいて前記基準形状情報を変換することで、前記第２の画像に対応する合成画像を作成する画像作成手段と、
   前記合成画像を前記第１の画像に合成する画像合成手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、更に、
   前記基準形状変換情報に基づいて前記基準形状情報を変換した結果である変換位置パラメータを算出する変換位置パラメータ算出手段と、
   前記変換位置パラメータで特定される前記第１の画像上の対応領域を、前記第２の画像と同じ矩形の形状に変換する形状変換手段と、
   前記対応領域と第２の画像とを比較して輝度及び色のうち少なくとも一方を補正する補正情報を算出する補正情報作成手段と、
   を有し、
   前記画像作成手段は、前記補正情報に基づいて前記第２の画像の輝度及び色のうち少なくとも一方を補正して前記合成画像を作成することを特徴とする画像処理装置。
3. 第１の画像又は第２の画像は、動画における同じ撮影時間のフレームであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 請求項３に記載の画像処理装置であって、更に、
   前記取得手段は、単一の基準形状情報に対して複数の基準形状変換情報を取得し、
   前記動画における各フレームの再生時間に合わせて、前記複数の基準形状変換情報を用いて補間することで、各フレームの再生時間毎に前記基準形状を変換するための形状変換パラメータを作成する補間手段を有し、
   前記変換位置パラメータ算出手段は、前記形状変換パラメータ毎に前記基準形状情報を変換した結果である前記変換位置パラメータを算出することを特徴とする画像処理装置。
5. 前記画像作成手段は、前記変換位置パラメータに基づいて作成された部分立体球に、前記第２の画像又は前記補正情報に基づいて前記第２の画像の輝度及び色のうちの少なくとも一方を補正した画像を張り付けることで前記合成画像を作成し、
   前記合成手段は前記第１の画像に基づいて作成された立体球画像に前記合成画像を合成することを特徴とする請求項２に記載の画像処理装置。
6. 前記画像作成手段は、前記位置情報に基づいてマスクデータを作成し、
   前記マスクデータの周辺の透過度は、前記マスクデータの内側から外側に向けて徐々に高くなることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第１の画像は正距円筒射影画像であり、前記第２の画像は透視射影画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記画像処理装置は、スマートフォン、タブレット型パソコン、ノートパソコン、デスクトップパソコン、又はサーバコンピュータであることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 請求項１乃至８に記載の画像処理装置と、
   被写体を撮像し、前記第１の射影方式の前記第１の画像を得る第１の撮影装置と、
   被写体を撮像し、前記第２の射影方式の前記第２の画像を得る第２の撮影装置と、
   を有することを特徴とする撮影システム。
10. 前記第１の撮影装置は、被写体を撮像し、全天球画像を得るカメラであることを特徴とする請求項９に記載の撮影システム。
11. 第１の射影方式の第１の画像と、第１の射影方式とは異なる第２の射影方式の第２の画像と、前記第１の画像上で前記第２の画像に対応する基準形状を示す基準形状情報と、前記第１の画像上で前記基準形状を変換するための基準形状変換情報とを取得する取得ステップと、
    前記基準形状変換情報に基づいて前記基準形状情報を変換することで、前記第２の画像に対応する合成画像を作成する画像作成ステップと、
    前記合成画像を前記第１の画像に合成する画像合成ステップと、
    を実行することを特徴とする画像処理方法。
12. コンピュータに、請求項１１に記載の方法を実行させることを特徴とするプログラム。