JP2018157538A - プログラム、撮像システム、情報処理装置 - Google Patents

Abstract

【課題】広角画像に重畳される平面画像を適切に補正できるプログラムを提供する。
【解決手段】第１の射影方式によって得られた広角画像に対し、第２の射影方式によって得られた平面画像を重畳する情報処理装置を、広角画像において平面画像が対応する対応領域を算出する射影方式逆変換手段と、広角画像の視線方向と平面画像の中心との変位量に応じて、広角画像と平面画像の少なくとも一方を補正する補正手段と、補正手段により補正された広角画像の対応領域に、補正手段により補正された平面画像を重畳する画像作成手段、として機能させる。
【選択図】図１６

Description

本発明は、プログラム、撮像システム、及び情報処理装置に関する。

広角の平面画像のうちの一部の領域に、広角の平面画像とは別に撮像することで得られた平面画像を嵌め込むことで、全体的な画像と共に一部の領域の鮮明な画像を提供することができる。

また、近年、一度の撮像で、３６０°の全天球画像を得る特殊なデジタルカメラが提供されている。この全天球画像等の広角画像の一部に、平面画像を重畳する場合、両画像の明るさが異なるため、広角画像の中で平面画像が目立ってしまう場合がある。このような不都合に対し画像の明るさを調整する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、互いに異なる露光条件で撮像された画像データの指定領域を、輝度特性に基づき表示部に出力する画像処理方法が開示されている。

しかしながら、広角画像の一部が表示された状態で単に平面画像の明るさを補正すると露出が過剰（露出オーバー）又は不足（露出アンダー）することがあるという問題がある。

広角画像は撮像範囲が広いため、ディスプレイなどの表示装置は広角画像の一部のみを表示する場合が多いが、広角画像の露出は撮像範囲全体を考慮して決定されるため、一部の領域の明るさが適正でなく、オーバーだったりアンダーだったりする場合がある。このような場合に、平面画像の明るさ値や色値を広角画像の明るさ値に近づけるように画素値を補正すると、平面画像の明るさ値もオーバーだったりアンダーだったりに補正されてしまう。

本発明は、上記課題に鑑み、広角画像に重畳される平面画像を適切に補正できるプログラムを提供することを目的とする。

本発明は、第１の射影方式によって得られた広角画像に対し、第２の射影方式によって得られた平面画像を重畳する情報処理装置を、前記広角画像において前記平面画像が対応する対応領域を算出する射影方式逆変換手段と、前記広角画像の視線方向と前記平面画像の中心との変位量に応じて、前記広角画像と前記平面画像の少なくとも一方を補正する補正手段と、前記補正手段により補正された前記広角画像の前記対応領域に、前記補正手段により補正された前記平面画像を重畳する画像作成手段、として機能させることを特徴とするプログラムを提供する。

広角画像に重畳される平面画像を適切に補正できるプログラムを提供することができる。

（ａ）は特殊撮像装置の左側面図であり、（ｂ）は特殊撮像装置の背面図であり、（ｃ）は特殊撮像装置の平面図であり、（ｄ）は特殊撮像装置の底面図である。 特殊撮像装置の使用イメージ図である。 （ａ）は特殊撮像装置で撮像された半球画像（前）、（ｂ）は特殊撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本発明の実施形態に係る撮像システムの概略図である。 アダプタの斜視図である。 撮像システムの使用イメージ図である。 特殊撮像装置のハードウェア構成図である。 一般撮像装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 撮像システムの機能ブロック図である。 （ａ）は連携撮像装置管理テーブルの概念図、（ｂ）連携撮像装置設定画面を示す概念図である。 画像・音処理部の詳細な機能ブロック図である。 重畳表示メタデータの構成図である。 （ａ）は第２の対応領域における各格子領域を示した概念図、（ｂ）は第３の対応領域における各格子領域を示した概念図である。 撮像方法を示したシーケンス図である。 重畳表示パラメータの作成処理の過程における画像の概念図である。 周辺領域画像を特定する際の概念図である。 第２の対応領域を複数の格子領域に分割する際の概念図である。 正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。 補正パラメータの作成処理の過程における画像の概念図である。 重畳表示の処理の課程における画像の概念図である。 全天球画像に平面画像を重畳した場合の二次元の概念図である。 全天球画像に平面画像を重畳した場合の三次元の概念図である。 本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。 本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 補正処理の過程における画像の概念図である。 平面画像の補正処理の過程における画像の概念図である。 正距円筒射影画像の補正処理の過程における画像の概念図である。 画像合成割合の変更方法について説明する図である。 仮想カメラの視線方向と重畳画像の中心点との関係について説明する図の一例である。 仮想カメラの視線方向と重畳画像の中心点との関係について説明する図の一例である。 全天球画像がオーバー露出の場合の補正の効果を示す図である。 全天球画像がアンダー露出の場合の補正の効果を示す図である。 正距円筒射影画像の補正処理の過程における画像の概念図である（第二の実施形態）。 露出の異なる複数枚の正距円筒射影画像を用いた場合の位置パラメータと補正パラメータの関係について説明する図である。 明るさ値（又は色値）が補正された補正画像Ｃ２、Ｄ２の作成方法を説明する図である。 複数枚の重畳画像が重畳された所定領域Ｔの一例を示す図である。 所定領域Ｔに複数枚の重畳画像が重畳される場合の説明図である。 平面画像の補正処理の過程における画像の概念図である。 目標対象が１枚の平面画像の場合の明るさ値（又は色値）の補正画像の作成に関する概念図である。 目標対象が１枚の画像の場合の明るさ値（又は色値）の補正画像の作成に関する概念図である。 目標対象が２枚の画像の割合で算出された場合の明るさ値（又は色値）の補正画像の作成に関する概念図である。 正距円筒射影画像の補正処理の過程における画像の概念図である(第三の実施形態)。 図４８に示されている正距円筒射影画像ＥＣの補正処理（ステップ５００）について説明する図の一例である。 補正部が、参照領域画像と合成するための異なる露出で撮像された正距円筒射影画像を選択する手順を説明する一例のフローチャート図である。 画像の合成の具体例について説明する図の一例である（オーバー露出画像と合成）。 画像の合成の具体例について説明する図の一例である（アンダー露出画像と合成）。 正距円筒射影画像の補正処理の過程における画像の概念図である（第四の実施形態）。 補正画像Ｄと補正画像Ｃの関係を示す図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概要＞＞
以下、本実施形態の概要について説明する。
まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、特殊撮像装置１の外観を説明する。特殊撮像装置１は、全天球（３６０°）パノラマ画像の元になる撮像画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮像装置の左側面図であり、図１（ｂ）は特殊撮像装置の背面図であり、図１（ｃ）は特殊撮像装置の平面図であり、図１（ｄ）は特殊撮像装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図１（ｄ）に示されているように、特殊撮像装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮像装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮像することで、半球画像（画角１８０°以上）を得ることができる。特殊撮像装置１の正面側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮像装置１の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮像モード切替ボタン１１５ｄは、押下される度に、静止画の撮像モードと動画の撮像モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮像モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。

また、特殊撮像装置１の底部１５０の中央には、カメラ用三脚や一般撮像装置３に特殊撮像装置１を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(登録商標。High-Definition Multimedia Interface)端子１５３が設けられている。

次に、図２を用いて、特殊撮像装置１の使用状況を説明する。なお、図２は、特殊撮像装置の使用イメージ図である。特殊撮像装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、特殊撮像装置１で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮像装置１で撮像された半球画像（前側）、図３（ｂ）は特殊撮像装置で撮像された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮像装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions) 及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。従って、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮像方向（ea，aa）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮像方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜撮像システムの概略＞
続いて、図８を用いて、本実施形態の撮像システムの構成の概略について説明する。図８は、本実施形態の撮像システムの構成の概略図である。

図８に示されているように、本実施形態の撮像システムは、特殊撮像装置１、一般撮像装置３、スマートフォン５、及びアダプタ９によって構成されている。特殊撮像装置１はアダプタ９を介して一般撮像装置３に接続されている。

これらのうち、特殊撮像装置１は、上記のように、被写体や風景等を撮像して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

一般撮像装置３は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮像装置３には、後述の操作部３１５の一部であるシャッターボタン３１５ａが設けられている。

スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮像装置１及び一般撮像装置３と無線通信を行なう情報処理装置である。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮像装置１及び一般撮像装置３からそれぞれ取得した画像を表示することができる。

なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮像装置１及び一般撮像装置３と通信を行なうようにしてもよい。また、スマートフォン５は、通信端末の一例であり、通信端末には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、画像処理端末の一例でもある。

また、図９は、アダプタの斜視図である。図９に示されているように、アダプタ９は、シューアダプタ９０１、ボルト９０２、上部アジャスタ９０３、及び下部アジャスタ９０４によって構成されている。これらのうち、シューアダプタ９０１は、一般撮像装置３のアクセサリシューにスライドして取り付けられる。このシューアダプタ９０１の中心に、三脚ねじ穴１５１に回転して取り付けられるボルト９０２が設けられている。このボルト９０２には、回転可能な上部アジャスタ９０３及び下部アジャスタ９０４が設けられている。上部アジャスタ９０３は、ボルト９０２に取り付けた物（例えば、特殊撮像装置１）を固定する役割を果たす。下部アジャスタ９０４は、シューアダプタ９０１を取り付けた物（例えば、一般撮像装置３）を固定する役割を果たす。

図１０は、撮像システムの使用イメージ図である。図１０に示されているように、ユーザは、スマートフォン５を衣服のポケットに入れ、アダプタ９を用いて特殊撮像装置１を取り付けた一般撮像装置３で被写体等の撮像を行なう。なお、スマートフォン５は、衣服のポケットに入れずに、特殊撮像装置１や一般撮像装置３と無線通信可能な範囲に置いてもよい。

＜＜実施形態のハードウェア構成＞＞
次に、図１１及び図１３を用いて、本実施形態の特殊撮像装置１、一般撮像装置３及びスマートフォン５のハードウェア構成を詳細に説明する。

＜特殊撮像装置のハードウェア構成＞
まず、図１１を用いて、特殊撮像装置１のハードウェア構成を説明する。図１１は、特殊撮像装置１のハードウェア構成図である。以下では、特殊撮像装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮像装置１と同じ機能を有するようにしてもよい。

図１１に示されているように、特殊撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０なども接続される。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、撮像素子１０３ａをマスタデバイス，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮像装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮像装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、特殊撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。

通信部１１７は、特殊撮像装置１に設けられたアンテナ１１７ａを介して、Wi-Fi 、NFC(Near Field radio Communication)、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から特殊撮像装置１の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、特殊撮像装置１の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて特殊撮像装置１の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。
＜一般撮像装置のハードウェア構成＞
次に、図１２を用いて、一般撮像装置のハードウェアについて説明する。図１２は、一般撮像装置３のハードウェア構成図である。図１２に示されているように、一般撮像装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。

各構成（３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８）は、それぞれ、図１１の特殊撮像装置１における各構成（１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８）と同様の構成であるため、その説明を省略する。

更に、一般撮像装置３の撮像ユニット３０１は、図１２に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。

撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行なうが、更に、操作部３１５によって受け付けられたユーザの操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。

また、ディスプレイ３１９は、操作メニュー、撮像中又は撮像後の画像を表示させる表示手段の一例である。
＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、撮像素子Ｉ／Ｆ５０５ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御に従って、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。撮像素子Ｉ/Ｆ５０５ａはＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５と接続され、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路アンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、後述の通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi 、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、ユーザがディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。

また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜実施形態の機能構成＞＞
次に、図１１乃至図１４を用いて、本実施形態の機能構成について説明する。図１４は、本実施形態の撮像システムの一部を構成する、特殊撮像装置１、一般撮像装置３、及びスマートフォン５の各機能ブロック図である。

＜特殊撮像装置の機能構成＞
まず、図１１及び図１４を用いて、特殊撮像装置１の機能構成について詳細に説明する。図１４に示されているように、特殊撮像装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、特殊撮像装置１は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（特殊撮像装置の各機能構成）
次に、図１１及び図１４を用いて、特殊撮像装置１の各機能構成について更に詳細に説明する。

特殊撮像装置１の受付部１２は、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザからの操作入力を受け付ける。

撮像部１３は、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。

集音部１４は、図１１に示されているマイク１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮像装置１の周囲の音を集音する。

画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮像部１３によって得られた撮像画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。

判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。

近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９は、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（又は情報）を記憶したり、記憶部１０００から各種データ（又は情報）を読み出したりする。

＜一般撮像装置の機能構成＞
続いて、図１２及び図１４を用いて、一般撮像装置３の機能構成について詳細に説明する。図１４に示されているように、一般撮像装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮像装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。

また、一般撮像装置３は、図１２に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。

（一般撮像装置の各機能構成）
一般撮像装置３の受付部３２は、主に、図１２に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、ユーザからの操作入力を受け付ける。

撮像部３３は、主に、図１２に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、透視射影方式で撮像された平面画像データである。

集音部３４は、図１２に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮像装置３の周囲の音を集音する。

画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮像部３３によって得られた撮像画像データ、又は集音部３４によって得られた音データに対して、各種処理を行なう。

表示制御部３６は、図１２に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮像中又は撮像後の撮像画像データに係る平面画像Ｐを表示させる。

判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行なう。例えば、判断部３７は、ユーザによって、シャッターボタン３１５ａが押下されたかを判断する。

近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部３９は、主に、図１２に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（又は情報）を記憶したり、記憶部３０００から各種データ（又は情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１３乃至図１６を用いて、スマートフォン５の機能構成について詳細に説明する。スマートフォン５は、図１４に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン５は、図１３に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮像装置管理ＤＢ５００１が構築されている。この連携撮像装置管理ＤＢ５００１は、図１５（ａ）連携撮像装置管理テーブルによって構成されている。図１５（ａ）は連携撮像装置管理テーブルの概念図である。

（連携撮像装置管理テーブル）
次に、図１５（ａ）を用いて、連携撮像装置管理テーブルについて説明する。図１５（ａ）に示されているように、撮像装置毎に、各撮像装置の連携関係を示す関連関係情報、撮像装置のＩＰアドレス、及び撮像装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮像を開始する一の撮像装置を「メイン」とし、「メイン」の撮像装置でシャッターが押下されることに応じて撮像を開始する他の撮像装置を「サブ」として示している。なお、ＩＰアドレスは、Wi-Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。

（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１３に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（特殊撮像装置１、一般撮像装置３等）、スマートフォン、又はサーバとの間で各種データ（又は情報）の送受信を行う。

受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、ユーザから各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。

撮像部５３は、主に、図１３に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮像画像データを得る。この撮像画像データは、透視射影方式で撮像された平面画像データである。

集音部５４は、図１３に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。

画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮像部５３によって得られた撮像画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。また、画像・音処理部５５は、重畳表示メタデータを利用して、後述の平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳する。

表示制御部５６は、図１３に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮像中又は撮像後の撮像画像データに係る平面画像Ｐを表示させる。表示制御部５６は、平面画像Ｐが重畳された全天球画像ＣＥをディスプレイに表示する。なお、平面画像Ｐを全天球画像ＣＥに合成しないで、平面画像Ｐを全天球画像ＣＥに重畳するのは、平面画像Ｐを１つの表示形態に限定されない様々な表示（ズーム倍率の変更、射影方式を変更して表示するなど）ができるようにするためである。

また、位置パラメータは「位置情報」の一例である。補正パラメータは「補正情報」の一例である。

判断部５７は、図１３に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。

近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮像装置１の近距離通信部１８、一般撮像装置３の近距離通信部３８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出部５９は、主に、図１３に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳表示メタデータ等の各種データ（又は情報）を記憶したり、記憶部５０００から重畳表示メタデータ等の各種データ（又は情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。

（画像・音処理部の詳細な各機能構成）
ここで、図１６を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１６は、画像・音処理部の詳細な機能ブロック図である。

画像・音処理部５５は、大きく分けて、エンコードを行うメタデータ作成部５５ａとデコードを行う重畳部５５ｂを有している。メタデータ作成部５５ａは、図１９に示されている後述のステップ２２の処理を実行する。また、重畳部５５ｂは、図１９に示されている後述のステップ２３の処理を実行する。

｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部５５ａの各機能構成について説明する。メタデータ作成部５５ａは、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０を有している。なお、明るさや色の補正をする必要がない場合、形状変換部５６４及び補正パラメータ作成部５６６は不要である。また、以下に説明する画像や領域を示す符号は図２０に示されている。図２０は、重畳表示パラメータの作成処理の過程における画像の概念図である。

抽出部５５０は、各画像の局所特徴に基づき特徴点を抽出する。局所特徴とはエッジやブロブなど画像内に見られるパターンや構造で、局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣと、透視射影方式によって得られた長方形の平面画像Ｐとの間、及び、平面画像Ｐと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の射影画像の一例であり、平面画像Ｐは第２の射影画像の一例である。

第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めると共に、平面画像Ｐにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐの４頂点から成る四角形（矩形）の中心点ＣＰ１とすると、第１のホモグラフィ変換行列によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。なお、平面画像Ｐの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。

（式２）
Ｓ１＝｛（ｘ４−ｘ２）＊（ｙ１−ｙ２）−（ｙ４−ｙ２）＊（ｘ１−ｘ２）｝／２
Ｓ２＝｛（ｘ４−ｘ２）＊（ｙ２−ｙ３）−（ｙ４−ｙ２）＊（ｘ２−ｘ３）｝／２
ｘ＝ｘ１＋（ｘ３−ｘ１）＊Ｓ１／（Ｓ１＋Ｓ２）
ｙ＝ｙ１＋（ｙ３−ｙ１）＊Ｓ１／（Ｓ１＋Ｓ２）
図２０では平面画像Ｐの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心点を算出することができる。平面画像Ｐの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を中心点ＣＰ１としてよい。対角線ｐ１ｐ３の中点の算出する場合の（式３）を以下に示す。
（式３）
ｘ＝（ｘ１＋ｘ３）／２
ｙ＝（ｙ１＋ｙ３）／２
注視点特定部５５４は、平面画像Ｐの中心点ＣＭ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（本実施形態では「注視点」という）を特定する。
ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換及び規格化すると都合が良い。具体的には、正距円筒射影画像ＥＣの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣの画像サイズに対応した画素位置座標を算出することができる。

射影方式変換部５５６は、正距円筒射影画像ＥＣ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定できる正方形の周辺領域画像ＰＩの射影方式変換前の領域である周辺領域ＰＡを特定する。以下、更に詳細に説明する。

（射影方式の変換）
射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直交座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa), cos(ea) × sin(aa), sin(ea)) ・・・(式４)
但し、このときの立体球ＣＳの半径は１とする。

一方で、透視射影画像である平面画像Ｐは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角α/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式５)
次に、（式５）を３次元の座標（動径，極角，方位角）に対応させることを考えると、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視投影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上記の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。
r = tan(極角) ・・・（式６）
a = 方位角 ・・・（式７）
ここで極角をtすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。また３次元極座標から、直交座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。
(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による平面画像Ｐの相互変換ができる。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である周辺領域画像ＰＩを作成することができる。上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視投影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。

（周辺領域画像ＰＩの特定）
次に、図２１を用いて、周辺領域画像ＰＩの領域を特定する方法について説明する。図２１は、周辺領域画像を特定する際の概念図である。

第１の対応領域算出部５５２が、平面画像Ｐにおける複数の特徴点と周辺領域画像ＰＩにおける複数の特徴点との類似度を判断するにあたって、周辺領域画像ＰＩ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩを広い領域に設定すれば、第２の対応領域ＣＡ２が含まれないという事態は生じない。しかし、周辺領域画像ＰＩを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。

本実施形態では、周辺領域画像ＰＩの特定に平面画像の３５ｍｍ換算焦点距離を使用し、これは撮像時に記録されるExifデータから取得する。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。
フィルム対角 = sqrt(24*24 + 36*36) ・・・（式９）
重畳用画像画角/2 = arctan((フィルム対角/2)/重畳用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩの垂直画角αを、平面画像Ｐの対角画角αと同じになるように設定する。これにより、図２１（ｂ）に示されている周辺領域画像ＰＩは、図２１（ａ）に示されている平面画像Ｐの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示すように、正方形対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像Pの35mm換算焦点距離))・・・（式１２）
このような垂直画角αで射影方式変換することで、注視点を中心に平面画像Ｐの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩ（透視射影画像）を作成することができる。

（位置パラメータの算出）
続いて、図１６に戻り、第２の対応領域算出部５５８は、平面画像Ｐにおける複数の特徴点ｆｐ２と周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３を算出する。←ｆｖ２を出す。算出された各特徴量ｆｖ２，ｆｖ３の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５８は、第２の対応領域ＣＡ２を算出する。

なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像Ｐ及び正距円筒射影画像ＥＣのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えば、平面画像Ｐが４０００万画素で、正距円筒射影画像ＥＣが３０００万画素の場合、平面画像Ｐを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ変換行列算出前に、平面画像Ｐ及び周辺領域画像ＰＩの少なくとも一方の画像サイズをリサイズしてもよい。

また、本実施形態でのホモグラフィ変換行列は、正距円筒射影画像ＥＣと平面画像Ｐとの射影関係を表す変換行列であり、平面画像Ｐにおける座標にホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣ（全天球画像ＣＥ）上での対応座標を算出することができる。領域分割部５６０は、画像における一部の領域を複数の格子領域に分割する。ここで、図２２を用いて、第２の対応領域を複数の格子領域に分割する方法を詳細に説明する。なお、図２２は、第２の対応領域を複数の格子領域に分割する際の概念図である。

領域分割部５６０は、図２２（ａ）に示されているように、第１の対応領域算出部５５２が第２のホモグラフィ変換により算出した第２の対応領域ＣＡ２の頂点座標の４つの頂点から成る四角形を、図２２（ｂ）に示されているように、複数の格子領域ＬＡ２に分割する。例えば、水平方向に３０、垂直方向に２０で均等分割する。

次に、複数の格子領域ＬＡ２の具体的な分割方法について説明する。

まず、第２の対応領域ＣＡ２を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。
Pm = ( X1 + (X2 − X1) ×m / n， Y1 + (Y2 − Y1) × m / n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、四角形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分を更に分割すればよい。四角形の左上、右上、右下、左下の各座標をそれぞれＴＬ,ＴＲ,ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲ及び線分ＢＲ−ＢＬを均等に３０分割した座標を求める。次に、０から３０番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に２０分割した座標を求める。これにより、四角形領域を３０×２０個の小領域に分割するための座標を求めることができる。図２２（ｂ）では、座標一例として、ＴＲの座標(LO_00,00，LA_00,00)を示している。

続いて、図１６及び図２０に戻り、射影方式逆変換部５６２は、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する。具体的には、射影方式逆変換部５６２は、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２における複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。第３の対応領域ＣＡは、図２０に示されているが、拡大図として、図２３にも示している。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。これにより、平面画像Ｐは、最終的に第３の対応領域ＣＡ３に合わせるように（マッピングするように）、正距円筒射影画像ＥＣによって作成された全天球画像ＣＥに重畳表示される。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、図１７及び図１８（ｂ）に示されている。なお、格子点は複数の点の一例である。

以上、位置パラメータを作成することにより、正距円筒射影画像ＥＣと平面画像Ｐの位置関係を算出することができる。

（補正パラメータの算出）
前述のように位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５６４及び補正パラメータ作成部５６６は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。

形状変換部５６４は、後述の色合わせに先立って、第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換する。具体的には、図２４（ａ）に示されている第２の対応領域ＣＡ２の各格子領域ＬＡ２を、図２４（ｃ）に示されている平面画像Ｐの各格子領域ＬＡ０に合わせるために、第２の対応領域ＣＡ２の形状を平面画像Ｐと同じ形状に変換する。これにより、図２４（ａ）に示されている第２の対応領域ＣＡ２は、図２４（ｂ）に示されている第２の対応領域ＣＡ２'に形状が変換される。これに伴い、格子領域ＬＡ２が格子領域ＬＡ２'に変換されるため、平面画像Ｐの格子領域ＬＡ０と同じ形状となる。

補正パラメータ作成部５６６は、同じ形状に変換後の第２の対応領域ＣＡ２'における各格子領域ＬＡ２'の明るさ値及び色値に対して、各格子領域ＬＡ２'と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する。具体的には、補正パラメータ作成部５６６は、各格子点ＬＡ０の１点を共通に格子点として持つ４つの格子領域内の全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒave，Ｇave，Ｂave)を算出し、各格子点ＬＡ２'の１点を共通に格子点として持つ４つの格子領域内の全ての画素の明るさ値及び色値（Ｒ'，Ｇ'，Ｂ'）の平均値ａ' = (Ｒ'ave，Ｇ'ave，Ｂ'ave）を算出する。なお、上記各格子点ＬＡ０の１点及び各格子点ＬＡ２'の１点が第２の対応領域ＣＡ２及び第３の対応領域ＣＡ３の４隅の位置となる場合、補正パラメータ作成部５６６は、１つの格子領域から明るさ値及び色値の平均値a及び平均値ａ'を算出する。また、上記各格子点ＬＡ０の１点及び各格子点ＬＡ２'の１点が第２の対応領域ＣＡ２及び第３の対応領域ＣＡ３の外周の位置となる場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値及び色値の平均値a及び平均値ａ'を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ'を平均値ａで除算することで、補正パラメータＰａを求める。
Pa = a'/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡＯ毎に乗算することで、平面画像Ｐの明るさ及び色味が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。

また、本実施形態では明るさ値及び色値の補正値の算出に画素値（R，G，B）を使用したが、輝度及び色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値及び色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。

重畳表示メタデータ作成部５７０は、位置パラメータ及び補正パラメータ等を用いて、全天球画像ＣＥに対して平面画像Ｐを重畳する際の位置、並びに明るさ値及び色値の補正値を示す重畳表示メタデータを作成する。
（重畳表示メタデータ）
続いて、図１７を用いて、重畳表示メタデータのデータ構造について説明する。図１７は、重畳表示メタデータのデータ構造である。

図１７に示されているように、重畳表示メタデータは、正距円筒射影画像情報、平面画像情報、重畳表示情報、及びメタデータ作成情報によって構成されている。

これらのうち、正距円筒射影画像情報は、特殊撮像装置１から撮像画像データと共に送られてきた情報である。正距円筒射影画像情報は、画像識別情報及び付属情報を含んでいる。正距円筒射影画像情報における画像識別情報は、正距円筒射影画像を識別するための画像識別情報である。図１７では、正距円筒射影画像情報における画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。

また、正距円筒射影画像情報における付属情報は、正距円筒射影画像情報に付属する関連情報である。図１７では、付属情報の一例として、特殊撮像装置１で撮像された際に得られた正距円筒射影画像データの姿勢補正情報(Pitch，Yaw，Roll)が示されている。この姿勢補正情報は、特殊撮像装置１の画像記録フォーマットとして規格化されているExifで格納されている場合があり、GPano(Google Photo Sphere schema)で提供されている各種フォーマットで格納されている場合もある。全天球画像は、同じ位置で撮像すれば、姿勢が異なっていても３６０°全方位の画像が撮像できるという特徴があるが、全天球画像ＣＥを表示する場合に、姿勢情報や、どこを画像の中心にするか(注視点)を指定しなければ表示位置が決まらない。そのため、一般的には天頂が撮像者の真上に来るように全天球画像ＣＥを補正して表示する。これにより、水平線が真っ直ぐに補正された自然な表示が可能となる。

次に、平面画像情報は、一般撮像装置３から撮像画像データと共に送られてきた情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１７では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。

また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１７では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。

次に、重畳表示情報は、スマートフォン５で作成された情報であり、領域分割数情報、各格子領域の格子点の位置（位置パラメータ）、及び明るさ値及び色値の補正値（補正パラメータ）を含んでいる。これらのうち、領域分割数情報は、第１の対応領域ＣＡ１を複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。

また、位置パラメータは、平面画像Ｐを格子状の複数の領域に分割した場合の各格子点が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの位置に配置されるかを示す頂点マッピング情報である。補正パラメータは、本実施形態では、平面画像Ｐの色値を補正するためのゲインデータである。なお、補正対象がモノクロ画像の場合もあるため、補正パラメータは、明るさ値及び色値のうち少なくとも明るさ値を合わせるためのパラメータである。

全天球画像ＣＥを得る場合、平面画像Ｐと同じ射影方式である透視射影方式を用いると、３６０°の全方位の撮像ができない。そのため、全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮像することで得られた平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣと平面画像Ｐは射影方式が異なるため、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐが合わず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まないため、全天球画像のように広い画角の画像は、射影方式の１つとして、正距円筒射影方式で作成されることが多い。しかし、正距円筒射影方式を用いると、いわゆるメルカトル図法のように標準緯線から離れるほど横方向の長さが拡大されるため、一般的なカメラで採用されている透視射影方式の画像とは大きく異なった画像となる。よって、単純に画像の縮尺だけを変更して重ね合わせても画像が一致せず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そこで、本実施形態では、図２０に示されている処理により、位置パラメータを作成する。

ここで、図１８を用いて、位置パラメータ及び補正パラメータについて詳細に説明する。図１８（ａ）は第２の対応領域における各格子領域を示した概念図である。図１８（ｂ）は第３の対応領域における各格子領域を示した概念図である。

図１８（ａ）に示されているように、正距円筒射影画像ＥＣの一部の領域である第１の対応領域ＣＡ１が平面画像Ｐと同じ透視射影方式に変換されることで得られる第２の対応領域ＣＡ２は、本実施形態では、水平分割数が３０、垂直分割数が２０の複数の格子領域に分割される。図１８（ａ）には、各格子領域の格子点の座標(LO_00,00，LA_00,00)，(LO_01,00，LA_01,00)，…，(LO_30,20，LA_30,20)、及び、各格子領域の格子点における明るさ値及び色値の補正値(R_00,00，G_00,00，B_00,00)，(R_01,00，G_01,00，B_01,00)，…，(R_30,20，G_30,20，B_30,20)が示されている。なお、図面を簡略化するため、４頂点における格子点の座標、並びに明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標、並びに明るさ値及び色値の補正値が存在する。また、各明るさ値及び色値の補正値R,G,Bは、それぞれ赤色の補正ゲイン、緑色の補正ゲイン、青色の補正ゲインを示している。各明るさ値及び色値の補正値R,G,Bは、実際には、各格子点の座標を中心とする所定範囲（隣の格子点の所定範囲と重ならない範囲）内の画像の明るさ値及び色値の補正値を示している。

一方、図１８（ｂ）に示されているように、第２の対応領域ＣＡ２が正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換されることで得られた第３の対応領域ＣＡ３は、本実施形態では、同じく水平分割数が３０、垂直分割数が２０の複数の格子領域に分割される。図１８（ｂ）には、各格子領域の格子点の座標(LO'_00,00，LA'_00,00)，(LO'_01,00，LA'_01,00)，…，(LO'_30,20，LA'_30,20)の座標、及び、第２の対応領域ＣＡ２の各補正値と同じ値の明るさ値及び色値の補正値が示されている。この場合も、図面を簡略化するため、４頂点における格子点の座標及び明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標と明るさ値及び色値の補正値が存在する。

次に、メタデータ作成情報は、重畳表示メタデータのバージョンを示すバージョン情報を示している。

なお、上記のように、位置パラメータは、平面画像Ｐと正距円筒射影画像ＥＣ（全天球画像ＣＥ）のそれぞれの位置対応関係を示すものである。しかし、位置パラメータで、平面画像Ｐの全ての画素位置が正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの座標に対応付けられるかの情報を表わそうとすると、一般撮像装置３が高画素数のデジタルカメラの場合、約４０００万画素数分の情報を表わさなければならない。そのため、位置パラメータのデータ量が多くなり、データ記憶等の扱いが大変である。そこで、本実施形態の位置パラメータは、平面画像Ｐを６００個（３０×２０）の領域に分割することで、平面画像の格子点の座標が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどこに対応するかを示すだけのデータを示している。また、スマートフォン５は重畳表示する場合には、格子点の座標から各領域内の画像の位置を補間することで、重畳表示を実現することができる。

｛重畳部の機能構成｝
図１６を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影方式変換部５９０を有している。

これらのうち、貼付領域作成部５８２は、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する領域部分（以下、「部分立体球」という）ＰＳを作成する。

補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう。なお、補正部５８４は、必ずしも明るさや色の補正を行なう必要はない。また、補正パラメータが補正を行なう場合、明るさの補正を行なっても、色の補正を行なわなくてもよい。

画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（又は、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。

ここで、重畳画像Ｓを全天球画像ＣＥに重畳する場合に用いることが可能な透過比率データである。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、マスクデータＭの作成は、必須ではない。

画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

射影方式変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影方式変換する。また、射影方式変換部５９０は、射影方式変換する際に、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行う。具体的には、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも小さい場合には、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように拡大する。一方、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも大きい場合には、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように縮小する。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる（ステップＳ２４）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ'である重畳画像Ｓが含まれている。

＜＜実施形態の処理又は動作＞＞
続いて、図１９乃至図３０を用いて、本実施形態の処理又は動作について説明する。まず、図１９を用いて、撮像システムが実行する撮像方法を説明する。図１９は、撮像方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮像を行なう場合について説明するが、撮像と同時に集音部１４によって周囲の音を録音してもよい。

図１９に示されているように、スマートフォン５の受付部５２は、ユーザから連携撮像開始を受け付ける（ステップＳ１１）。この場合、図１５（ｂ）に示されているように、表示制御部５６が、図１５（ｂ）に示されている連携撮像装置設定画面をディスプレイ５１７に表示させる。この画面には、撮像装置毎に、連携撮像する際のメインの撮像装置を指定するためのラジオボタン、連携撮像する際のサブの撮像装置を指定（選択）するためのチェックボックスが表示されている。更に、撮像装置毎に、撮像装置の装置名及び電波の受信強度が表示されている。そして、ユーザが所望の撮像装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮像開始を受け付ける。なお、サブの撮像装置は複数であってもよいため、チェックボックスにして複数の撮像装置を指定（選択）することができるようになっている。

そして、スマートフォン５の近距離通信部５８は、一般撮像装置３の近距離通信部３８に対して、ポーリングにより、撮像開始の問い合わせを示す撮像開始問合せ情報を送信する（ステップＳ１２）。これにより、一般撮像装置３の近距離通信部３８は、撮像開始問合せ情報を受信する。

次に、一般撮像装置３の判断部３７は、受付部３２がユーザからシャッターボタン３１５ａの押下を受け付けるか否かにより、撮像開始を行なったか否かを判断する（ステップＳ１３）。

次に、一般撮像装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１３による判断結果に応じた応答内容を示す応答情報を送信する（ステップＳ１４）。ステップＳ１３によって撮像が開始されたと判断された場合には、応答情報は、撮像開始を示す撮像開始情報を含む。この場合、応答情報は、一般撮像装置３の画像識別情報も含んでいる。一方、ステップＳ１３によって撮像が開始されたと判断されない場合には、応答情報は、撮像待機を示す撮像待機情報を含む。これにより、スマートフォン５の近距離通信部５８は、応答情報を受信する。

続いて、ステップＳ１３によって、撮像が開始されたと判断された場合、及びステップＳ１４によって受信された応答情報が撮像開始情報を含む場合について説明する。

まず、一般撮像装置３は、撮像を開始する（ステップＳ１５）。この撮像の処理は、シャッターボタン３１５ａが押下された後、撮像部３３が被写体や風景等を撮像することで撮像画像データ（ここでは、平面画像データ）し、記憶・読出部３９が記憶部３０００に撮像画像データを記憶するまでの処理である。

次に、スマートフォン５では、近距離通信部５８が、特殊撮像装置１に対して、撮像開始の要求を示す撮像開始要求情報を送信する（ステップＳ１６）。これにより、特殊撮像装置１の近距離通信部１８は撮像開始要求情報を受信する。

一方、特殊撮像装置１は、撮像を開始する（ステップＳ１７）。この撮像の処理は、撮像部１３が被写体や風景等を撮像して撮像画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。

次に、スマートフォン５では、近距離通信部５８が、一般撮像装置３に対して、撮像画像を要求する旨を示す撮像画像要求情報を送信する（ステップＳ１８）。この撮像画像要求情報には、ステップＳ１４で受信された画像識別情報が含まれている。これにより、一般撮像装置３の近距離通信部３８は撮像開始要求情報を受信する。

次に、一般撮像装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１５によって得られた平面画像データを送信する（ステップＳ１９）。この際、送信される平面画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に平面画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、平面画像データ、画像識別情報、及び付属情報を受信する。

一方、特殊撮像装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１７によって得られた正距円筒射影画像データを送信する（ステップＳ２０）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に正距円筒射影画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。

次に、スマートフォン５の記憶・読出部５９は、ステップＳ１９によって受信された平面画像データの電子ファイルと、及びステップＳ２０によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ２１）。

次に、スマートフォン５の画像・音処理部５５は、全天球画像ＣＥの一部の領域に平面画像Ｐを重畳して表示する際に利用する、重畳表示メタデータを作成する（ステップＳ２２）。この際、記憶・読出部５９が、記憶部５０００に重畳表示用メタデータを記憶する。

ここで、主に、図２０乃至図２４を用いて、重畳表示メタデータの作成処理について詳細に説明する。なお、一般撮像装置３と特殊撮像装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮像装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮像画像における一定領域あたりの精細度が低くなる。
｛重畳表示メタデータの作成処理｝
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像Ｐを重畳してディスプレイ５１７に表示するための重畳表示メタデータの作成処理について説明する。重畳表示メタデータは、図１７に示されているように、位置パラメータ及び補正パラメータを含んでいるため、主に、位置パラメータ及び補正パラメータの作成方法について図２０を用いて説明する。

抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点、及び透視射影方式によって得られた長方形の平面画像Ｐにおける複数の特徴点を抽出する（ステップＳ１１０）。

次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点と平面画像Ｐにおける複数の特徴点との類似度に基づき、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像Ｐを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。

次に、注視点特定部５５４は、平面画像Ｐの中心点ＣＭ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。

次に、射影方式変換部５５６は、図２１に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像Ｐの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換する（ステップＳ１４０）。

次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点を抽出する（ステップＳ１５０）。

次に、第１の対応領域算出部５５２は、第２のホモグラフィ変換によって、平面画像Ｐにおける複数の特徴点と周辺領域画像ＰＩにおける複数の特徴点との類似度に基づき、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像Ｐは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。

次に、領域分割部５６０は、図２２（ｂ）に示されているように、第２の対応領域ＣＡ２を複数の格子領域ＬＡ２に分割する（ステップＳ１７０）。

次に、射影方式逆変換部５６２は、図２０に示されているように、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ１８０）。これにより、射影方式逆変換部５６２は、図２３に示されているように、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２内の複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、上記のように、図１７及び図１８（ｂ）に示されている。

続いて、図２０及び図２４を用いて、補正パラメータの作成処理について説明する。図２４は、補正パラメータの作成処理の過程における画像の概念図である。

ステップＳ１８０の処理後、形状変換部５６４は、図２４（ａ）に示されているような第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換し、図２４（ｂ）に示されているような第２の対応領域ＣＡ２'を得る（ステップＳ１９０）。

次に、領域分割部５６０は、図２４（ｃ）に示されているように、平面画像Ｐを、変換後の第２の対応領域ＣＡ２'における各格子領域ＬＡ２'と同じ形状で同じ数である複数の格子領域ＬＡ０に分割する（ステップＳ２００）。

次に、補正パラメータ作成部５６６は、第２の対応領域ＣＡ２'における各格子領域ＬＡ２'の色値に対して、各格子領域ＬＡ２'に対応する平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する（ステップＳ２１０）。

最後に、重畳表示メタデータ作成部５７０は、図１７に示されているように、特殊撮像装置１から取得した正距円筒射影画像情報、一般撮像装置３から取得した平面画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された位置パラメータ、補正パラメータ作成部５６６によって作成された補正パラメータ、及びメタデータ作成情報に基づいて、重畳表示メタデータを作成する（ステップＳ２２０）。
この重畳表示メタデータは、記憶・読出部５９によって、記憶部５０００に記憶される。

以上より、図１９に示されているステップＳ２３の処理が終了する。そして、記憶・読出部５９及び表示制御部５６は、重畳表示メタデータを用いて、重畳表示の処理を行なう（ステップＳ２３）。

｛重畳表示の処理｝
続いて、図２５乃至図３０を用いて、重畳表示の処理について詳細に説明する。図２５は、重畳表示の処理の過程における画像の概念図である。

まず、図１４に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び重畳表示メタデータを読み出して取得しておく。

次に、貼付領域作成部５８２は、図２５に示されているように、位置パラメータに基づき、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する部分立体球ＰＳを作成する（ステップＳ３１０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。

次に、補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。

次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを用いて重畳画像Ｓを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

次に、射影方式変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影方式変換する（ステップＳ３７０）。この際、射影方式変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ'である重畳画像Ｓが含まれている。

続いて、図２６乃至図３０を用いて、重畳表示された状態について詳細に説明する。図２６は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図２６に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、位置パラメータに従って、立体球ＣＳの内側に重畳されている。

図２７は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図２７では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。

図２８は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図２９は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。

図２８（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２８（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２８（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３'とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３'との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。

これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図２９（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２９（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２９（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。

図３０（ａ）は重畳表示しない場合のワイド画像の表示例、図３０（ｂ）は重畳表示しない場合のテレ画像の表示例、図３０（ｃ）は重畳表示する場合のワイド画像の表示例、図３０（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。

図３０（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図３０（ａ）における波線で示される領域まで拡大表示すると、図３０（ｂ）に示されているように、低精細の画像のままとなっており、ユーザは鮮明でない画像を見ることになってしまう。これに対して、図３０（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図３０（ｃ）における波線で示される領域まで拡大表示すると、図３０（ｄ）に示されているように、高精細の画像が表示され、ユーザは鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、ユーザは何が書かれているのかを把握することができる。

〔第一の実施形態〕
＜平面画像Ｐと正距円筒射影画像ＥＣの明るさ値と色値の補正＞
図２５のステップＳ３２０では明るさ値と色値が補正されたが、これだけでは、全天球画像ＣＥの一部が表示された場合に、重畳画像Ｓの明るさ値と色値が適正でなくなる場合がある。全天球画像などの広角画像は３６０度の画像全体を考慮して適正な露出が決定されるため、一部の領域の明るさが適正でなく、露出オーバーだったり露出アンダーだったりする場合がある。そこで、以下では、平面画像Ｐと正距円筒射影画像ＥＣの明るさ値と色値を補正すると共に、平面画像Ｐと正距円筒射影画像ＥＣの明るさ値と色値のそれぞれの補正量を適切に制御するスマートフォン５の処理について説明する。

図３１は、実施形態である補正処理の過程における画像の概念図である。図２５と比較して説明する。図３１では、ステップＳ４００に新たに正距円筒射影画像ＥＣの明るさと色を補正する補正処理が追加されている。ステップＳ４００では、補正部５８４が重畳表示メタデータ内の補正パラメータに基づいて、正距円筒射影画像ＥＣの明るさ値及び色値を、平面画像Ｐの明るさ値及び色値に合わせる補正を行なう。以降、ステップＳ４００の補正後の正距円筒射影画像ＥＣを「補正画像Ｄ」という。

また、図３１のステップＳ３２０の補正は、図２５の補正と異なっている。図３１では視線方向と平面画像Ｐの中心点との角度βに応じて、平面画像Ｐの明るさ値と色値の補正量を制御する。これと同様の処理がステップＳ４００の処理で正距円筒射影画像ＥＣにも行われる。

<<Ｓ３２０ 平面画像Ｐの明るさ値と色値の補正>>
図３２は、平面画像Ｐの補正処理の過程における画像の概念図である。図３１に示されている平面画像Ｐの補正処理（Ｓ３２０）を詳細に説明する。

ステップＳ３２１では、重畳表示メタデータ内の補正パラメータに基づいて、補正部５８４が平面画像Ｐの明るさ値及び色値を正距円筒射影画像ＥＣの明るさ値及び色値に補正した補正画像Ｃ１を作成する。

ステップＳ３２２では、予め定められている仮想カメラＩＣの視線方向（所定領域Ｔの中心点）と平面画像Ｐの中心点までの角度βに基づき、補正部５８４が補正画像Ｃ１と補正前の平面画像Ｐの合成割合を変更して合成して、新たに補正画像Ｃ２を作成する。合成割合を変更した合成について図３４にて説明する。

ステップＳ３３０では、画像作成部５８６が部分立体球ＰＳに対して、補正画像Ｃ２を貼り付けることで重畳画像Ｓを作成する。

<<Ｓ４００ 正距円筒射影画像ＥＣの明るさ値と色値の補正>>
図３３は、正距円筒射影画像ＥＣの補正処理の過程における画像の概念図である。図３１に示されている正距円筒射影画像ＥＣの補正処理（ステップＳ４００）を詳細に説明する。

ステップＳ４１１では、正距円筒射影画像ＥＣの明るさ値及び色値を、補正部５８４が平面画像Ｐの明るさ値及び色値に補正した補正画像Ｄ１を作成する。重畳表示メタデータ内の補正パラメータには、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせるゲインデータが格納されているが、補正部５８４がゲインデータの逆数を正距円筒射影画像ＥＣに乗算することで上記の補正処理が可能となる。また、重畳表示メタデータ内の補正パラメータは、重畳画像Ｓ（平面画像Ｐ'）の領域における明るさ値及び色値を合わせる補正データであるが、正距円筒射影画像ＥＣの全体領域に適用することで、重畳画像Ｓ（平面画像Ｐ'）の領域より精度は劣るが違和感なく重畳画像Ｓ（平面画像Ｐ'）以外の領域も補正することが可能となる。

ステップＳ４１２では、補正部５８４が予め定められている仮想カメラＩＣの視線方向（所定領域Ｔの中心点）とユーザの操作で定まる平面画像Ｐとの角度βに基づき、補正画像Ｄ１及び補正前の正距円筒射影画像ＥＣの割合を変更して合成して、新たに補正画像Ｄ２を作成する。

ステップＳ３５０では、画像作成部５８６が立体球ＣＳに対して、補正画像Ｄ２を貼り付けることで全天球画像ＣＥを作成する。

＜画像合成割合の変更＞
図３４は、画像合成割合の変更方法について説明する図である。図３４（ａ）は、視線方向と重畳画像Ｓ（平面画像Ｐ'）の中心との変位量として角度βを示している。図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓの中心点ＣＭとの角度を角度βとする。角度βは０から１８０°までの値をとる。

図３４（ｂ）は、仮想カメラＩＣの視線方向（所定領域Ｔの中心点）と平面画像Ｐとの角度βに基づいて、重畳画像Ｓと正距円筒射影画像ＥＣのそれぞれの補正処理（Ｓ３２０，Ｓ４００）の合成処理における合成割合の変更方法を示した図である。図３４（ｂ）の（ｂ−１）に示すように、所定領域Ｔ（所定領域画像Ｑ）の中心点ＣＰを中心に角度βがｔｈ１となる領域より内側の領域をエリア１とし、角度βがｔｈ２となる領域よりも内側でエリア１を含まない領域をエリア２とする。また、所定領域Ｔの領域内でエリア１、２に含まれない領域をエリア３とする。

まず、補正画像Ｃ１と平面画像Ｐの合成割合の算出方法について説明する。図３４（ｂ）の（ｂ−２）は、角度βに対する補正画像Ｃ１と平面画像Ｐの合成割合の関係を示している。縦軸の重畳画像のＳの合成割合は０．０から１．０の値をとる。重畳画像Ｓの合成割合とは、図３２で示したように平面画像Ｐの明るさ値と色値を正距円筒射影画像ＥＣに合わせた補正画像Ｃ１と平面画像Ｐの合成割合を示す。例えば合成割合が０．３の場合、平面画像Ｐが０．７（＝１−０．３）、補正画像Ｃ１が０．３の割合で合成される。よって、合成割合が０．０の場合、補正画像Ｃ２は平面画像Ｐとなり、合成割合が１．０の場合、補正画像Ｃ２は補正画像Ｃ１となる。このように合成割合は平面画像Ｐをどの程度、補正画像Ｃ１に近づけるかという補正量を制御する。

図３４（ｂ）の（ｂ−２）によればエリア１（角度β≦ｔｈ１）の領域では画像の合成割合０．０であるため補正画像Ｃ２が平面画像Ｐとなり、エリア２（ｔｈ１＜角度β≦ｔｈ２）の領域では合成割合が変動しエリア２の外周側に行く（角度βがｔｈ２に近づく）のに従って補正画像Ｃ１の合成割合が高くなる。エリア３（角度β＞ｔｈ２）の領域では合成割合が１．０であるため補正画像Ｃ２が補正画像Ｃ１の状態となる。

このような合成割合を用いることで、所定領域Ｔに重畳画像Ｓが表示される場合、重畳画像Ｓが所定領域Ｔの中心に位置すると（重畳画像Ｓの中心点ＣＭが所定領域Ｔの中心点ＣＰに近づく）、平面画像Ｐの元々の明るさ値及び色値の状態で表示され、重畳画像Ｓが所定領域Ｔの中心から離れていく（重畳画像の中心点ＣＭが所定領域Ｔの中心点ＣＰから遠ざかる）に従って、正距円筒射影画像ＥＣの明るさ値及び色値の状態に近づき、最終的には正距円筒射影画像ＥＣの明るさ値及び色値の状態となる。

図３４（ｂ）の（ｂ−３）は、角度βと正距円筒射影画像ＥＣの合成割合の関係を示している。縦軸の正距円筒射影画像ＥＣの合成割合は０．０から１．０の値をとる。正距円筒射影画像ＥＣの合成割合とは、図３３で説明したように、正距円筒射影画像ＥＣの明るさ値と色値を平面画像Ｐに合わせた補正画像Ｄ１と、正距円筒射影画像ＥＣとを合成する割合のことを指す。例えば合成割合が０．３の場合、正距円筒射影画像ＥＣが０．７（＝１−０．３）、補正画像Ｄ１が０．３の割合で合成される。よって、合成割合が０．０の場合、補正画像Ｄ２は正距円筒射影画像ＥＣとなり、合成割合が１．０の場合、補正画像Ｄ２は補正画像Ｄ１となる。このように合成割合は正距円筒射影画像ＥＣをどの程度、補正画像Ｄ１に近づけるかという補正量を制御する。

図３４の（ｂ−２）と（ｂ−３）で角度βの領域は同じで、合成割合が重畳画像Ｓと反転していることが異なっている（逆位相）。エリア２の合成割合は合計すると１になる場合がある。

図３４の（ｂ−３）で、エリア１（角度β≦ｔｈ１）の領域では画像の合成割合が１．０であるため補正画像Ｄ２は補正画像Ｄ１となり、エリア２（ｔｈ１＜角度β≦ｔｈ２）の領域では合成割合が変動しエリア２の外周側に行く（角度βがｔｈ２に近づく）のに従って正距円筒射影画像ＥＣの合成割合が高くなる。エリア３（角度β＞ｔｈ２）の領域では合成割合が０．０であるため補正画像Ｄ２は正距円筒射影画像ＥＣとなる。

これにより、所定領域Ｔに重畳画像Ｓが表示される場合、重畳画像Ｓが所定領域Ｔの中心に位置すると（重畳画像の中心点ＣＭが所定領域Ｔの中心点ＣＰに近づく）、平面画像Ｐに合わせた補正画像Ｄ１の状態で正距円筒射影画像ＥＣが表示され、重畳画像Ｓが所定領域Ｔの中心から離れていく（重畳画像の中心点ＣＭが所定領域Ｔの中心点ＣＰから遠ざかる）に従って、正距円筒射影画像ＥＣの明るさ値及び色値の状態に近づき、最終的には正距円筒射影画像ＥＣの明るさ値及び色値の状態となる。

従って、正距円筒射影画像ＥＣに対する視線方向と重畳画像Ｓの中心との変位量が小さくなるほど、平面画像の画素値の補正量が小さくなり、正距円筒射影画像ＥＣの画素値が平面画像Ｐの画素値に近づくように正距円筒射影画像ＥＣの画素値が補正される。正距円筒射影画像ＥＣの視線方向と重畳画像Ｓの中心との変位量が大きくなるほど、正距円筒射影画像ＥＣの画素値が正距円筒射影画像ＥＣの画素値に近づくように正距円筒射影画像ＥＣの画素値が補正される。

＜仮想カメラＩＣの視線方向と重畳画像Ｓと中心点の具体的な例＞
図３５及び図３６を用いて、仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓの中心点との関係について説明する。図３５（ｄ）は、全天球画像ＣＥの所定の視線方向における所定領域Ｔ（所定領域画像Ｑ）の表示例を示している。所定領域Ｔの中心点ＣＰは仮想カメラＩＣの視線方向に該当し、黒丸で示されている。また、全天球画像ＣＥに重畳された重畳画像Ｓの領域が点線で示され、重畳画像Ｓの中心点ＣＭが白丸で示されている。なお、中心点ＣＰの黒丸、中心点ＣＰの白丸は説明のために表示されており実際は表示されない。このように、所定領域Ｔの中心点ＣＰに対する重畳画像Ｓの中心点ＣＭの位置はユーザの操作により任意に変更されうる。

図３５（ａ）、図３５（ｂ）、図３５（ｃ）は、全天球画像ＣＥに対してユーザが仮想カメラＩＣの視線方向を変更した場合の所定領域Ｔの表示例を示している。また、図３６（ａ）、図３６（ｂ）、図３６（ｃ）は、図３５（ａ）〜（ｃ）に対応した所定領域Ｔと重畳画像Ｓとの領域の関係を示したものである。

図３５（ａ）及び図３６（ａ）は、仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に対し重畳画像Ｓの中心点ＣＭが所定領域Ｔに対し右方向に大きく外れた場合の表示例である。図３６（ａ）に示すように視線方向と重畳画像Ｓの中心点ＣＭとの角度β（＝β２）が大きい。

図３５（ｂ）及び図３６（ｂ）は、仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に対し重畳画像Ｓの中心点ＣＭが所定領域Ｔの領域で右方向にずれた場合の表示例である。図３６（ｂ）に示すように視線方向と重畳画像Ｓの中心点ＣＭとで角度β（＝β１）が小さくなる。

図３５（ｃ）及び図３６（ｃ）は、仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓの中心点ＣＭが一致した場合の表示例である。図３６（ｃ）に示すように視線方向と重畳画像Ｓの中心点ＣＭとの角度βは０である。

図３５（ａ）のように重畳画像Ｓの中心点ＣＭが所定領域Ｔの中心点ＣＰに対し離れている場合、ユーザは全天球画像を閲覧していることが多いため、全天球画像の露出に基づく明るさ値及び色値が優先されても違和感は生じにくい。一方、図３５（ｃ）のように重畳画像Ｓの中心点ＣＭが所定領域Ｔの中心点ＣＰとほぼ一致している場合、ユーザは重畳画像Ｓを閲覧していることが多いため、重畳画像Ｓの露出に基づく明るさ値及び色値が優先されることで高画質な重畳画像Ｓを閲覧できる。補正部５８４が図３４の合成割合で補正画像Ｃ２と補正画像Ｄ２の明るさ値と色値を補正することで、重畳画像Ｓの中心点ＣＭと所定領域Ｔの中心点ＣＰの関係に応じて適切な明るさ値と色値に補正できる。

＜補正の効果＞
図３７及び図３８は、本実施形態の補正の有無による効果を示す図の一例である。図３７は、全天球画像ＣＥがオーバー露出の場合の補正の効果を示す図であり、図３５及び図３６で説明したように仮想カメラＩＣの視線方向が変更された場合に所定領域Ｔがどのように補正されるかを示している。なお、全天球画像ＣＥへ重畳される平面画像Ｐは適正な露出で撮像されているものとする。

図３７（ａ−１）、図３７（ｂ−１）、図３７（ｃ−１）は、重畳画像Ｓの明るさ値と色値が全天球画像ＣＥの明るさ値と色値に補正された場合の表示例を示す。図面からは分かりにくいが全天球画像ＣＥはオーバー露出により全体が明るくなっている。オーバー露出の全天球画像ＣＥの明るさ値及び色値に近づくように重畳画像Ｓの明るさ値及び色値が補正されるため、仮想カメラＩＣの視線方向を変更しても（重畳画像Ｓが所定領域Ｔの中心に来ても）表示される画像はオーバー露出のままとなる。図面からは分かりにくいが図３７（ａ−１）、図３７（ｂ−１）、図３７（ｃ−１）の全てでオーバー露出のままとなる。

図３７（ａ−２）、図３７（ｂ−２）、図３７（ｃ−２）は、オーバー露出の全天球画像ＣＥの明るさ値及び色値に近づくように重畳画像Ｓの明るさ値及び色値が補正されない場合の所定領域Ｔの表示を示している。重畳画像Ｓは補正されていないため、適正な露出で撮像されている平面画像Ｐの明るさ値及び色値で表示されている。しかし、図３７（ａ−１）、図３７（ｂ−１）、図３７（ｃ−１）と比較すると、重畳画像Ｓは適正な露出となっているが、全天球画像ＣＥと重畳画像Ｓで明るさ値及び色値に差が生じ重畳画像Ｓが全天球画像ＣＥに上手く溶け込んでいない（重畳画像Ｓに違和感が生じている）。図面からは分かりにくいが図３７（ａ−２）、図３７（ｂ−２）、図３７（ｃ−２）の適正な露出の重畳画像Ｓが目立ってしまう。

図３７（ａ−３）、図３７（ｂ−３）、図３７（ｃ−３）は、本実施形態の補正が実施された場合の表示例を示す。図３７（ａ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）から大きく外れているため図３７（ａ−１）の従来の補正による表示例と変わらない。図３７（ｂ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に近づくに従って、全天球画像ＣＥ及び重畳画像Ｓは、適正な露出で撮像されている平面画像Ｐの明るさ値及び色値を基準とする合成割合が高くなる。このため、図３４で説明したように全天球画像ＣＥは平面画像Ｐの明るさ値及び色味に合わせた補正画像Ｄ１の合成割合が高くなり、重畳画像Ｓは平面画像Ｐの合成割合が高くなることで、所定領域Ｔのオーバー露出が低減される。

図３７（ｃ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に近づき、重畳画像Ｓの中心点ＣＭが所定領域Ｔの中心付近にあるため、適正な露出で撮像されている平面画像Ｐの明るさ値及び色値を基準とする合成割合が最大となり、所定領域Ｔは平面画像Ｐの明るさ値及び色値となり適正な露出で表示されている。

図面からは分かりにくいが図３７（ａ−３）→図３７（ｂ−３）→図３７（ｃ−３）の順で、全天球画像ＣＥの明るさと色値が平面画像Ｐに近づいている。

また、図３７（ａ−３）、図３７（ｂ−３）、図３７（ｃ−３）では、全天球画像ＣＥと重畳画像Ｓと両方の画像を補正しているため、図３７（ａ−２）、図３７（ｂ−２）、図３７（ｃ−２）のように全天球画像ＣＥと重畳画像Ｓで明るさ値及び色値に差が生じることはなく、重畳画像Ｓが全天球画像ＣＥに上手く溶け込んでいる。

図３８は、全天球画像ＣＥがアンダー露出の場合の補正の効果の一例であり、図３５及び図３６で説明したように仮想カメラＩＣの視線方向が変更された場合に所定領域Ｔがどのように補正されるかを示している。全天球画像ＣＥに重畳される平面画像Ｐは適正な露出で撮像されているものとする。

図３８（ａ−１）、図３８（ｂ−１）、図３８（ｃ−１）は、重畳画像Ｓの明るさ値と色値が全天球画像ＣＥの明るさ値と色値に補正された場合の表示例を示す。図面が暗いのはアンダー露出を意図したものである。アンダー露出の全天球画像ＣＥの明るさ値及び色値に近づくように重畳画像Ｓの明るさ値及び色値が補正されるため、仮想カメラＩＣの視線方向を変更しても（重畳画像Ｓが所定領域Ｔの中心に来ても）表示される画像はアンダー露出のままとなる。

図３８（ａ−２）、図３８（ｂ−２）、図３８（ｃ−２）は、アンダー露出の全天球画像ＣＥの明るさ値及び色値に近づくように重畳画像Ｓの明るさ値及び色値が補正されない場合の所定領域Ｔの表示を示している。重畳画像Ｓは適正な露出となっているが、全天球画像ＣＥと重畳画像Ｓで明るさ値及び色値に差が生じ重畳画像Ｓが全天球画像ＣＥに上手く溶け込んでいない（重畳画像Ｓに違和感が生じている）。

図３８（ａ−３）、図３７（ｂ−３）、図３７（ｃ−３）は、本実施形態の補正が実施された場合の表示例を示す。図３８（ａ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）から大きく外れているため図３８（ａ−１）の従来の補正による表示例と変わらない。図３８（ｂ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に近づくに従って、全天球画像ＣＥ及び重畳画像Ｓは、適正な露出で撮像されている平面画像Ｐの明るさ値及び色値を基準とする合成割合が高くなる。このため、図３４で説明したように全天球画像ＣＥは平面画像Ｐの明るさ値及び色味に合わせた補正画像Ｄ１の合成割合が高くなり、重畳画像Ｓは平面画像Ｐの合成割合が高くなることで、所定領域Ｔのアンダー露出が低減される。

図３８（ｃ−３）では、重畳画像Ｓの中心点ＣＭが仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）に近づき、重畳画像Ｓの中心点ＣＭが所定領域Ｔの中心付近にあるため、適正な露出で撮像されている平面画像Ｐの明るさ値及び色値を基準とする合成割合が最大となり、所定領域Ｔは平面画像Ｐの明るさ値及び色値となり適正な露出で表示されている。このように、アンダー露出の全天球画像ＣＥの場合においても、オーバー露出のときと同様の効果が得られる。

〔第二の実施形態〕
第二の実施形態では、明るさ値と色値の補正方法が異なる２つの正距円筒射影画像ＥＣを用いた補正方法について説明する。

図３９は、正距円筒射影画像の補正処理の過程における画像の概念図である。図３９は、図３１に示されている正距円筒射影画像ＥＣの補正処理（ステップＳ４００）について説明している。

第二の実施形態では、正距円筒射影画像ＥＣとは別に異なる露出で撮像された複数枚の正距円筒射影画像（図ではＥＣ１, ＥＣ２）が必要である。特殊撮像装置１は正距円筒射影画像ＥＣと同じ構図で露出のみを変更して複数枚の正距円筒射影画像ＥＣ１, ＥＣ２を撮像することが好ましい。少なくとも、正距円筒射影画像ＥＣの露出よりもオーバー露出の正距円筒射影画像ＥＣ１、アンダー露出の正距円筒射影画像ＥＣ２の２枚が必要である。図３９では、正距円筒射影画像ＥＣの露出よりもオーバー露出の正距円筒射影画像ＥＣ１、及び、アンダー露出の正距円筒射影画像ＥＣ２が示されているが、露出が異なる正距円筒射影画像は３枚以上でもよい。

ステップＳ４２１では、補正部５８４が、正距円筒射影画像ＥＣと合成して補正画像Ｄ１を作成するために必要な画像の選択を行う。画像の選択には、重畳表示メタデータ内の補正パラメータを使用する。重畳表示メタデータ内の補正パラメータは、平面画像Ｐを正距円筒射影画像ＥＣの明るさ値及び色値に合わせるゲインデータであるが、ゲインデータの逆数を算出すると、正距円筒射影画像ＥＣを平面画像Ｐの明るさ値及び色値に合わせるゲインデータ（以降、逆ゲインデータという）となる。補正部５８４は、ここで算出した逆ゲインデータが１．０以上の場合は正距円筒射影画像ＥＣを明るく補正し、１．０より小さいときは正距円筒射影画像ＥＣを暗く補正する。

ステップＳ４２２では、補正部５８４が、平面画像Ｐの明るさ値及び色値に合わせた補正画像Ｄ１を作成するため、逆ゲインデータが１．０以上の場合は、正距円筒射影画像ＥＣよりもオーバー露出である正距円筒射影画像ＥＣ１を選択し、１．０より小さい場合は、正距円筒射影画像ＥＣよりもアンダー露出である正距円筒射影画像ＥＣ２を選択する。補正画像Ｄ２の作成方法は第一の実施形態と同様である。

図４０は、露出の異なる複数枚の正距円筒射影画像ＥＣ１，ＥＣ２を用いた場合の位置パラメータと補正パラメータの関係について説明する図である。重畳表示メタデータ作成によって、平面画像Ｐと正距円筒射影画像ＥＣに対応した位置パラメータと補正パラメータが重畳表示メタデータに格納されている。

正距円筒射影画像ＥＣ、正距円筒射影画像ＥＣ１、及び正距円筒射影画像ＥＣ２は、同じ構図で露出のみ異なる関係であるため、位置パラメータは共通で使用可能であり、補正パラメータは正距円筒射影画像ＥＣのみに使用可能である。補正部５８４は、位置パラメータにより正距円筒射影画像ＥＣの第３の対応領域ＣＡ３に対応する、正距円筒射影画像ＥＣ、正距円筒射影画像ＥＣ１、正距円筒射影画像ＥＣ２の第３の対応領域ＣＡ３を特定し、それぞれの第３の対応領域ＣＡ３の明るさ値及び色値を測定することができる。

まず、補正部５８４は、正距円筒射影画像ＥＣと、正距円筒射影画像ＥＣ１及び正距円筒射影画像ＥＣの第３の対応領域ＣＡ３における、明るさ値及び色値の比率を算出する。

例えば、正距円筒射影画像ＥＣの第３の対応領域ＣＡ３の明るさ値をＹ、正距円筒射影画像ＥＣ１の明るさ値をＹ１、正距円筒射影画像ＥＣ２の明るさ値をＹ２とすると、正距円筒射影画像ＥＣに対する正距円筒射影画像ＥＣ１の明るさ値の比率はＹ１／Ｙ、正距円筒射影画像ＥＣに対する正距円筒射影画像ＥＣ２の明るさ値の比率はＹ２／Ｙとなる。補正パラメータにこの比率を乗算することで平面画像Ｐを正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２の明るさ値に補正する補正パラメータを算出することができる。

色値に対しても同様にして比率を算出すれば、正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２の色値の補正パラメータも算出することができる。

なお、上記方法を用いず、重畳表示メタデータ作成時に正距円筒射影画像ＥＣ１と正距円筒射影画像ＥＣ２に対して正距円筒射影画像ＥＣと同様の方法で補正パラメータを作成してもよい。

補正部５８４は以上のようにして求めた補正パラメータを用いてステップＳ４２２の補正画像作成（補正画像Ｄ１を作成）を行う。

図３９に戻り、ステップＳ４２２の補正画像作成について説明する。正距円筒射影画像ＥＣの補正パラメータをＰＣ、正距円筒射影画像ＥＣ１の補正パラメータをＰＣ１、正距円筒射影画像ＥＣ２の補正パラメータをＰＣ２とする。補正パラメータＰＣは平面画像Ｐを正距円筒射影画像ＥＣの明るさ値及び色値に近づけるゲインデータである。補正パラメータが１．０となる場合、平面画像Ｐと正距円筒射影画像は同じ明るさ値及び色値となる。

ステップＳ４２２では、露出の異なる複数枚の正距円筒射影画像ＥＣ１、ＥＣ２から平面画像Ｐと同じ明るさ値及び色値となる補正画像Ｄ１を作成する。例えば、補正パラメータの値がＰＣ＝１．２、ＰＣ１＝１．６、ＰＣ２＝０．８とすると、逆ゲインデータは、１／ＰＣ＝０．８３３となり１．０よりも小さいのでステップＳ４２１の画像の選択処理では、正距円筒射影画像ＥＣを暗く補正するため正距円筒射影画像ＥＣ２を選択する。

次に、ステップＳ４２２の補正画像作成では、正距円筒射影画像ＥＣとステップＳ４２１で選択された正距円筒射影画像ＥＣ２との合成割合を算出する。ここで正距円筒射影画像ＥＣとステップＳ４２１で選択された画像との合成割合ｋ（ｋは０．０〜１．０）とすると、以下の（式１６）又は（式１７）によって合成割合を算出することができる。
ｋ／ＰＣ＋（１−ｋ）／ＰＣ１＝１．０・・・（式１６）
ｋ／ＰＣ＋（１−ｋ）／ＰＣ２＝１．０・・・（式１７）
但し、画像の選択（ステップＳ４２１）で（式１６）は正距円筒射影画像ＥＣ１が選択された場合、（式１７）は正距円筒射影画像ＥＣ２が選択された場合に使用する。正距円筒射影画像ＥＣ２が選択された場合の（式１７）を使用して合成割合ｋを算出するとｋ＝０．６０となり、合成割合は正距円筒射影画像ＥＣが０．６０、正距円筒射影画像ＥＣ２が（１−ｋ）＝０．４０となる。算出した合成割合で画像を合成することで平面画像Ｐと同じ明るさ値及び色値となる補正画像Ｄ１を作成することができる。ステップＳ４１２以降の処理は前述と同様であるため説明を省略する。

図４１は、明るさ値（又は色値）が補正された補正画像Ｃ２、Ｄ２の作成方法を説明する図である。図４１は、正距円筒射影画像ＥＣ、平面画像Ｐの明るさ値（又は色値）の違いを示している。上方向に値が大きく、下方向に値が小さくなる。正距円筒射影画像ＥＣと補正画像Ｄ１から合成割合に応じて補正画像Ｄ２が作成され、平面画像Ｐと補正画像Ｃ１から合成割合に応じて補正画像Ｃ２が作成される。図３４に示したように、補正画像を作成する合成割合は、正距円筒射影画像と重畳画像で反転している（逆位相）ため、図４１のように補正画像Ｄ２と補正画像Ｃ２の明るさ値（又は色値）が一致する。

＜複数枚の平面画像が重畳した場合＞
これまでは１つの正距円筒射影画像ＥＣに１つの重畳画像Ｓが重畳される例が説明されていたが、１つの正距円筒射影画像ＥＣに２つ以上の重畳画像Ｓが重畳される場合がある。

図８の撮像システムでは、特殊撮像装置１と一般撮像装置３とが１台ずつの構成であり、１組の正距円筒射影画像ＥＣと平面画像Ｐが同時に撮像される。被写体が静止物体である場合、ユーザが同じ位置から一般撮像装置３の撮像方向又は画角の少なくとも一方を変更して２つめの平面画像Ｐ２を撮像することができる。スマートフォン５は、正距円筒射影画像ＥＣと同時に撮像した平面画像Ｐだけでなく、追加で撮像した平面画像Ｐ２も正距円筒射影画像ＥＣに重畳することができる。

また、一般撮像装置３が１台ではなく複数台あり、それぞれが異なる撮像方向を向いているか又は異なる画角である場合、撮像システムは同時に複数枚の平面画像を取得することができる。例えば、スマートフォン５ではフロントカメラとリアカメラの２つのカメラを有しているため、同時に２つの平面画像を取得できる。

以下、正距円筒射影画像ＥＣに複数枚の重畳画像Ｓを重畳する場合の処理について説明する。

図４２は、複数枚の重畳画像Ｓが重畳された所定領域Ｔの一例を示す図である。図４２（ｄ）では、所定領域Ｔに２枚の重畳画像Ｓ１、Ｓ２が重畳されている。

図４２（ａ）、図４２（ｂ）、図４２（ｃ）は、全天球画像ＣＥに対する仮想カメラＩＣの視線方向をユーザが変更した場合の所定領域Ｔの表示例である。所定領域Ｔの中心点ＣＰを黒丸で示し、２つの重畳画像Ｓ１，Ｓ２の中心点ＣＭ１、ＣＭ２を白丸で示す。なお、中心点ＣＰの黒丸、中心点ＣＭの白丸は説明のために表示しており実際は表示されない。

また、図４３（ａ）、図４３（ｂ）、図４３（ｃ）は、図４２（ａ）、図４２（ｂ）、図４２（ｃ）のそれぞれに対応した視線方向と重畳画像Ｓ１又は重畳画像Ｓ２の中心点ＣＭの角度の関係を示したものである。

所定領域Ｔに複数枚の重畳画像Ｓが重畳される場合、複数枚の重畳画像Ｓの明るさ値及び色値を近づける目標対象となる画像は１つの正距円筒射影画像ＥＣだけである。しかし、正距円筒射影画像ＥＣの明るさ値及び色値を近づける目標対象となる画像は複数枚存在することになる。以下では、いくつかの処理方法を挙げて目標対象の決定方法について説明する。

<<第１の処理方法>>
第１の処理方法は、視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓとの角度βを基準として目標対象を決定する。
（１−１）第１の処理方法の更に１つ目の方法は、視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓとの角度βが最小となる重畳画像を目標対象とする。例えば、図４２（ａ）及び図４３（ａ）の場合、視線方向と重畳画像Ｓ１との角度β１、重畳画像Ｓ２との角度β２とすると、β１＞β２の状態となっており、補正部５８４は角度βが最小となる重畳画像Ｓ２を目標対象とする。図４２（ｂ）及び図４３（ｂ）の場合、β１＜β２であるため補正部５８４は重畳画像Ｓ１を目標対象とする。図４２（ｃ）及び図４３（ｃ）の場合、β１＜β２であり補正部５８４は重畳画像Ｓ１を目標対象とする。
（１−２）第１の処理形態の２つ目の方法は、視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像Ｓとの角度βの値に応じて対象とする重畳画像の割合を変更すると共に、角度βが小さい方の割合が高くなるような加重平均から割合を算出する。

例えば、図４２（ａ）及び図４３（ａ）の場合、視線方向と重畳画像Ｓ１との角度β１、重畳画像Ｓ２との角度β２とすると、重畳画像Ｓ１の割合はβ２／（β１＋β２）、重畳画像Ｓ２の割合はβ１／（β１＋β２）となる。図４２（ｂ）及び図４３（ｂ）の場合、及び、図４２（ｃ）及び図４３（ｃ）の場合も同じ式で割合を算出できる。この割合で複数の平面画像Ｐ１，Ｐ２の画素値を正距円筒射影画像ＥＣ１の画素値に反映させる。算出した割合から目標対象の明るさ値（又は色値）を算出する方法については後述する。

<<第２の処理方法>>
第２の処理形態は、所定領域Ｔに表示された重畳画像Ｓの面積が占める割合を基準として目標対象を決定する。

（２−１）第２の処理方法の１つ目の方法は、所定領域Ｔに表示された重畳画像Ｓの面積が占める割合が最大となる重畳画像を目標対象とする。例えば、図４２（ａ）及び図４３（ａ）の場合、所定領域Ｔに表示された重畳画像Ｓ１の面積をＳＳ１、重畳画像Ｓ１の面積をＳＳ２とすると、ＳＳ１＜ＳＳ２であるため重畳画像Ｓ２を目標対象とする。図４２（ｂ）及び図４３（ｂ）の場合、ＳＳ１＜ＳＳ２であるため重畳画像Ｓ２を目標対象とする。図４２（ｃ）及び図４３（ｃ）の場合、重畳画像Ｓ２が所定領域Ｔに全て表示されておらずＳＳ１＞ＳＳ２であるため重畳画像Ｓ１を目標対象とする。

（２−２）第２の処理方法の２つ目の方法は、所定領域Ｔに表示された重畳画像の面積が占める割合に応じて対象とする重畳画像の割合を変更するようにし、面積が占める割合が大きい方の割合が高くなるような加重平均で割合を算出する。

例えば、図４２（ａ）及び図４３（ａ）の場合、所定領域Ｔに表示された重畳画像Ｓ１の面積をＳＳ１、重畳画像Ｓ１の面積をＳＳ２とすると、重畳画像Ｓ１の割合はＳＳ１／（ＳＳ１＋ＳＳ２）、重畳画像Ｓ２の割合はＳＳ２／（ＳＳ１＋ＳＳ２）となる。図４２（ｂ）及び図４３（ｂ）の場合、図４２（ｃ）及び図４３（ｃ）の場合も同じ式で割合を算出できる。この割合で複数の平面画像Ｐ１，Ｐ２の画素値を正距円筒射影画像ＥＣ１の画素値に反映させる。算出した割合から目標対象の明るさ値（又は色値）を算出する方法については後述する。

<<第３の処理方法>>
第３の処理方法は、第１と第２の処理方法を組合せた方法である。補正部５８４は、第１の処理方法の視線方向（所定領域Ｔの中心点ＣＰ）と重畳画像との角度βと、第２の処理方法の所定領域Ｔに表示された２つの重畳画像Ｓの面積が占める割合とを組合せる。例えば、角度βが所定の角度以下の重畳画像Ｓで、所定領域Ｔに表示された重畳画像Ｓの面積が占める割合が最大の重畳画像Ｓを目標対象とする。

あるいは、角度βが所定の角度以下の重畳画像Ｓで、所定領域Ｔに表示された重畳画像Ｓの面積が占める割合に応じて対象とする重畳画像Ｓの割合を変更する。これらの他、様々な組合せが考えられる。

（正距円筒射影画像ＥＣ及び平面画像Ｐの補正画像の作成方法）
次に、決定した目標対象に対して、正距円筒射影画像ＥＣ及び平面画像Ｐの補正画像の作成方法について説明する。

図４４は、平面画像Ｐ１，Ｐ２の補正処理の過程における画像の概念図である。図４４（ａ）は図３２と同様である。図４４（ｂ）は目標対象でない平面画像（図４４では平面画像Ｐ２を目標対象でないとした）の補正処理の過程における画像の概念図である。補正画像Ｃ１２は正距円筒射影画像ＥＣに明るさと色値が合わせられた画像を示し、補正画像Ｃ３２は平面画像Ｐ１に明るさと色値が合わせられた画像を示す。

補正部５８４は、重畳画像Ｓとなる補正画像Ｃ２２を補正画像Ｃ１２と補正画像Ｃ３２との合成割合を変更して作成する（ステップＳ３２２）。

以下では、目標対象が１枚の画像の場合と、複数の重畳画像Ｓの視線方向までの距離や面積で算出された場合のそれぞれについて説明する。
（１）図４５及び図４６は、目標対象が１枚の重畳画像Ｓの場合に明るさ値（又は色値）が補正された補正画像Ｃ２の作成方法を説明する図である。図４５（ａ）は、正距円筒射影画像ＥＣと平面画像Ｐ１、平面画像Ｐ２の明るさ値（又は色値）の違いを示している。縦軸に画像の明るさ値（又は色値）を示しており、上方向に値が大きく、下方向に値が小さくなることを示している。図４５（ａ）では正距円筒射影画像ＥＣの明るさ値（又は色値）が２枚の平面画像Ｐ１，Ｐ２よりも小さい状態であることを示している。

図４５（ｂ）は、図４５（ａ）の状態で目標対象を平面画像Ｐ１とした場合の補正画像Ｃ２１，Ｃ２２の関係を示した図である。補正画像Ｃ１，Ｃ３の作成では、正距円筒射影画像ＥＣと各平面画像Ｐ１，Ｐ２との間で作成された補正パラメータを使用する。補正パラメータは、平面画像の明るさ値（又は色値）を正距円筒射影画像ＥＣに近づけるゲインデータであるため、逆ゲインデータを正距円筒射影画像ＥＣに乗算することで正距円筒射影画像ＥＣを平面画像Ｐ１，Ｐ２の明るさ値（又は色値）に近づけることができる。

平面画像Ｐ１のゲインデータをｇ１、平面画像Ｐ２のゲインデータをｇ２、平面画像Ｐ１の逆ゲインデータをＧ１（＝１／ｇ１）、平面画像Ｐ２の逆ゲインデータをＧ２（＝１／ｇ２）とする。まず、目標対象の平面画像Ｐ１の明るさ値（又は色値）に近づけた補正画像Ｃ１の作成について説明する。正距円筒射影画像ＥＣでは、正距円筒射影画像ＥＣに逆ゲインデータＧ１を乗算することで、平面画像Ｐ１の明るさ値（又は色値）に近づけた補正画像Ｄ１を作成できる。平面画像Ｐ２では、平面画像Ｐ２にゲインデータｇ２／ｇ１を乗算することで平面画像Ｐ１の明るさ値（又は色値）に近づけた補正画像Ｃ３２を作成できる。

次に、正距円筒射影画像ＥＣの明るさ値（又は色値）に近づけた補正画像の作成について説明する。平面画像Ｐ１では平面画像Ｐ１にゲインデータｇ１を、平面画像Ｐ２では平面画像Ｐ２にゲインデータｇ２を乗算することで、補正画像Ｃ１１と、補正画像Ｃ１２を作成できる。そして、正距円筒射影画像ＥＣでは、図３３で示したように正距円筒射影画像ＥＣと補正画像Ｄ１から補正画像Ｄ２を作成する。また、平面画像Ｐ１では、図３２で示したように平面画像Ｐ１と補正画像Ｃ１１から補正画像Ｃ２１を作成する。平面画像Ｐ２では、図４４に示したように補正画像Ｃ３２と補正画像Ｃ１２から補正画像Ｃ２２を作成する。

図４５（ｃ）は、図４５（ａ）の状態で目標対象を平面画像Ｐ２とした場合の補正画像Ｃ２１、Ｃ２２の関係を示した図である。目標対象の平面画像Ｐ２の明るさ値（又は色値）に近づけた補正画像として、正距円筒射影画像ＥＣに逆ゲインデータＧ２を乗算した補正画像Ｄ１と、平面画像Ｐ１にゲインデータｇ１／ｇ２を乗算した補正画像Ｃ３１を作成する。また、正距円筒射影画像ＥＣの明るさ値（又は色値）に近づけた補正画像として、平面画像Ｐ１にゲインデータｇ１を乗算した補正画像Ｃ１１と、平面画像Ｐ２にゲインデータｇ２を乗算した補正画像Ｃ１２を作成する。

そして、正距円筒射影画像ＥＣでは、図３３で示したように正距円筒射影画像ＥＣと補正画像Ｄ１から補正画像Ｄ２を作成する。また、平面画像Ｐ２では、図３２で示したように平面画像Ｐ２と補正画像Ｃ１２から補正画像Ｃ２２を作成する。平面画像Ｐ１では、図４４に示したように補正画像Ｃ３１と補正画像Ｃ１１から補正画像Ｃ２１を作成する。

図４６（ａ）は、正距円筒射影画像の明るさ値（又は色値）が２枚の平面画像Ｐ１，Ｐ２の間にある状態を示している。図４６（ｂ）は、図４６（ａ）の状態のとき、目標対象を平面画像Ｐ１とした場合の補正画像Ｃ２１、Ｃ２２の関係を示した図である。図４６（ｃ）は、図４６（ａ）の状態のとき、目標対象を平面画像Ｐ２とした場合の補正画像Ｃ２１、Ｃ２２の関係を示した図である。図４５で示した方法と同様にして補正画像Ｃ２１，Ｃ２２を作成することができる。

（２）図４７は、目標対象が２枚の重畳画像Ｓの場合に明るさ値（又は色値）が補正された補正画像Ｃ２の作成方法を説明する図である。目標対象が複数の重畳画像Ｓの割合で算出された場合には、算出された割合及び正距円筒射影画像ＥＣと各平面画像Ｐ１，Ｐ２との間で作成された補正パラメータを使用する。

図４７（ａ）は、正距円筒射影画像の明るさ値（又は色値）が２枚の平面画像の間にある状態を示している。図４７（ｂ）は、図４７（ａ）の状態で目標対象を平面画像Ｐ１の割合をａ、平面画像Ｐ２の割合を１−ａとした場合の補正画像Ｃ２１、Ｃ２２の関係を示した図である。

ここで、平面画像Ｐ１のゲインデータをｇ１、平面画像Ｐ２のゲインデータをｇ２とする。なおａの値の求め方は上記の（１−２）（２−２）にて説明した。

補正部５８４は目標対象の明るさ値（又は色値）に近づけた以下の補正画像を作成する。
補正画像Ｄ１＝正距円筒射影画像ＥＣにａ／ｇ１＋（１−ａ）／ｇ２を乗算
補正画像Ｃ３１＝平面画像Ｐ１に｛ａ／ｇ１＋（１−ａ）／ｇ２｝＊ｇ１を乗算
補正画像Ｃ３２＝平面画像Ｐ２に｛ａ／ｇ１＋（１−ａ）／ｇ２｝＊ｇ２を乗算
このように、目標対象の明るさ値（又は色値）は、平面画像Ｐ１と平面画像Ｐ２の明るさ値（又は色値）を算出した割合の比率で加重平均した値となる。

また、正距円筒射影画像ＥＣの明るさ値（又は色値）に近づけた補正画像として、平面画像Ｐ１にゲインデータｇ１を乗算した補正画像Ｃ１１と、平面画像Ｐ２にゲインデータｇ２を乗算した補正画像Ｃ１２を作成する。そして、正距円筒射影画像ＥＣでは、図３３で示したように正距円筒射影画像ＥＣと補正画像Ｄ１から補正画像Ｄ２を作成する。平面画像Ｐ１に関し、図４４（ｂ）に示したように補正画像Ｃ３１と補正画像Ｃ１１から補正画像Ｃ２１を作成する。また、平面画像Ｐ２に関し、図４４（ｂ）で示したように補正画像Ｃ３２と補正画像Ｃ１２から補正画像Ｃ２２を作成する。

所定領域Ｔに２枚の重畳画像Ｓが重畳された場合について説明を行ったが、２枚に限らず２枚以上の重畳画像Ｓにおいても同様の処理を行うことで対応することができる。

上記のように処理することで、所定領域Ｔに複数枚の重畳画像Ｓが重畳された場合でも、補正部５８４は複数枚の重畳画像Ｓから自動的に目標対象を選択し、目標対象に明るさ値及び色値を近づけた正距円筒射影画像及び平面画像Ｐの補正画像を作成し、全天球画像及び重畳画像を作成できる。所定領域Ｔを最適な明るさ値及び色値で表示することができると共に、全天球画像に複数枚の重畳画像Ｓを上手く溶け込ませた表示を行うことが可能となる。

＜変形例＞
〔第三の実施形態〕
本実施形態では、第二の実施形態において、視線方向（中心点）及び画角によって所定領域Ｔ内に平面画像が存在しない場合、すなわち、目標対象がない場合について説明する。

図４８は、本実施形態において、正距円筒射影画像ＥＣの補正処理の過程における画像の概念図である。図４８の説明では主に図３１との相違を説明する。図４８では図３１と異なり、所定領域画像Ｑに重畳画像Ｓが存在しない。

図４９は、図４８に示されている正距円筒射影画像ＥＣの補正処理（ステップ５００）について説明する図の一例である。本実施形態では、第二の実施形態と同様に、正距円筒射影画像ＥＣとは別に異なる露出で撮像された複数枚の正距円筒射影画像（図ではＥＣ１，ＥＣ２）が必要である。

特殊撮像装置１は正距円筒射影画像ＥＣと同じ機構で露光条件のみを変更して複数枚の正距円筒射影画像ＥＣ１、正距円筒射影画像ＥＣ２を撮像することが好ましい。少なくとも、正距円筒射影画像ＥＣの露出よりもオーバー露出の正距円筒射影画像ＥＣ１、及び、アンダー露出の正距円筒射影画像ＥＣ２が必要である。図４９では、正距円筒射影画像ＥＣの露出より、オーバー露出の正距円筒射影画像ＥＣ１、及び、アンダー露出の正距円筒射影画像ＥＣ２が示されているが、露出の異なる正距円筒射影画像は３枚以上でもよい（オーバー露出の正距円筒射影画像ＥＣ１とアンダー露出の正距円筒射影画像ＥＣ２の少なくとも一方が２枚以上）。

図４９では、画像作成部５８６が立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成したのち射影方式変換部５９０が射影方式変換で参照領域画像Ｒを作成しているが、正距円筒射影画像ＥＣ上で所定領域Ｔに対応する領域を求めてもよい。

図４９のステップＳ５１０では、画像作成部５８６が補正していない正距円筒射影画像ＥＣをステップＳ３５０と同様に立体球ＣＳに対して張り付けることで全天球画像ＣＥを作成する。

ステップＳ５２０では、ステップＳ３７０と同様に、視線方向（中心点）・画角等で指定される所定領域Ｔがディスプレイで見られるように、射影方式変換部５９０が射影方式変換する。この際、作成された画像を参照領域画像Ｒとする。本実施形態では、平面画像Ｐがない正距円筒射影画像ＥＣの部分が参照領域画像Ｒとして作成される場合を説明する。

ステップＳ５３０では、補正部５８４が参照領域画像Ｒの全体の明るさ値の平均値に応じて、正距円筒射影画像ＥＣと合成する異なる露出で撮像された正距円筒射影画像ＥＣ１、又は、正距円筒射影画像ＥＣ２を選択する。

図５０を用いて、正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２の選択について説明する。図５０は、補正部５８４が、参照領域画像Ｒと合成するための異なる露出で撮像された正距円筒射影画像を選択する手順を説明する一例のフローチャート図である。

例えば、補正部５８４は、参照領域画像Ｒの目標とする明るさ値を決め、それに対して参照領域画像Ｒの全体の明るさ値の平均（輝度情報）とを比べる（Ｓ５３１）。目標とする明るさ値とは、一例として予め定められているものとする。例えばＲＧＢの各色が８ｂｉｔの場合、２５６階調なので、中間は１２８である。補正部５８４は、１２８と参照領域画像Ｒの明るさ値の平均とを比較する。なお、本実施例では画素値が０〜１の値に正規化されているため０．５が目標とする明るさ値となる。取り得る明るさの中間値と比較するのでなく、２５６段階の１００や１５０等を目標とする明るさ値としてもよい。

参照領域画像Ｒの全体の明るさ値の平均の方が大きい場合、処理はステップＳ５３２に進む。この場合、目標とする明るさ値より参照領域画像Ｒの方がオーバー露出なので、アンダー露出画像と合成するために補正部５８４はアンダー露出画像を選択する（Ｓ５３２）。

参照領域画像Ｒの全体の明るさ値の平均の方が小さい場合、目標とする明るさ値より参照領域画像Ｒの方がアンダー露出なので、補正部５８４はオーバー露出画像を選択する（Ｓ５３３）。なお、参照領域画像Ｒの明るさ値と目標とする明るさ値が等しい場合はどちらを選択してもよい。

ここでは一例として、参照領域画像Ｒの全体の明るさ値の平均を使用したが、中央部分など一部だけの明るさ値を使用してもよい。また、明るさ値の平均の代わりにヒストグラム等の明るさの特性値を使用してもよい。

図４９に戻って説明する。ステップＳ５４０では、補正部５８４がステップＳ５３０で選択した正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２と、正距円筒射影画像ＥＣとの合成を行う。参照領域画像Ｒの明るさ値の平均をｒｅｆ（ｒｅｆは０．０〜１．０の値を取る）とし、目標とする明るさ値をａｉｍ（ａｉｍは０．０〜１．０）とすると、補正値ａｄｊは以下の（式１８）で求められる。
ａｄｊ＝｜（ａｉｍ−ｒｅｆ）× 補正係数｜
但し ０．０≦ａｄｊ≦１．０にクリップ （式１８）
クリップとは、値が範囲未満であれば範囲の下限値に、範囲超であれば範囲の上限値に置き換えることをいう。補正係数は目標とする明るさ値に対して参照領域画像Ｒの明るさ値の平均との離れ具合に応じて、どのくらいオーバー露出、又は、アンダー露出画像に近づかせるかを決める値である。画像を見てユーザが指定するか、撮像時の露出変更値から自動的に計算してもよい。予め決まっている場合、補正係数を例えば３．０とする。

ステップＳ５３０で選択された正距円筒射影画像をＥＣＳとした場合、補正画像Ｄの各画素値Ｄ(ｕ，ｖ)は下記の（式１９）によって求められる。

Ｄ(ｕ，ｖ) ＝ ＥＣＳ(ｕ，ｖ)×ａｄｊ ＋ ＥＣ(ｕ，ｖ)×（１．０−ａｄｊ）
（式１９）
以上により図４８の補正画像Ｄが作成された。この後の処理は図３１と同様である。ステップＳ３６０で全天球画像ＣＥに重畳画像Ｓが重畳され、視線方向（中心点）及び画角により射影方式変換され所定領域画像Ｑがディスプレイ５１７に表示される。本実施形態では所定領域画像Ｑに平面画像Ｐが含まれないので、平面画像Ｐは図３４のエリア３に存在することになる。すなわち、重畳画像Ｓと補正画像Ｃの合成割合は１．０となり、補正画像Ｃ２は補正画像Ｃ１（正距円筒射影画像ＥＣの明るさ・色値）となる。逆に、正距円筒射影画像ＥＣと補正画像Ｄ１の合成割合は０．０となり、補正画像Ｄ２は補正画像Ｄ１（正距円筒射影画像ＥＣの明るさ・色値）となる。補正画像Ｄにより明るさ値及び色値が適正な値に補正されているので、所定領域Ｔを最適な明るさ値及び色値で表示することができる。

＜オーバー側の画像又はアンダー側の画像が複数ある場合＞
一例として、オーバー側の画像が２枚、アンダー側の画像が２枚ある場合について説明する。正距円筒射影画像ＥＣ（参照領域画像Ｒ）を含めると５枚の画像がある。それぞれの画像の露出を−2.0、-1.0、0.0、+1.0、+2.0とする。この露出の値はＥＶ値であり、+1.0、+2.0がオーバー側、−1.0、-2.0がアンダー側を示している。正距円筒射影画像ＥＣの露出をEv0.0とすると±2.0の露出範囲で撮像した画像を使用する。

合成値blend求め方は（式１９）でよい。ただし、クリップされる値の範囲が異なる。

０．０≦blend≦２．０にクリップ （式２０）
補正部５８４は、オーバー側又はアンダー側に複数の露出変更画像がある場合はクリップの範囲を変更することで、合成値blendに応じて合成する画像を切り替える。ここでは説明のため、参照領域画像Ｒを暗くする場合を説明する。
(i) 0.0 ≦ blend ≦ 1.0 の場合
adj＝blend
I1＝露出が-1.0の画像
I2＝露出が0.0の画像（参照領域画像Ｒ）
(ii) 1.0 ＜ blend ≦ 2.0 の場合
adj＝blend-1.0
I1＝露出が-2.0の画像
I2＝露出が-1.0の画像
補正画像Ｄの各画素値Ｄ(ｕ，ｖ)は（式２１）によって求められる。
Ｄ(ｕ，ｖ) ＝ I1(ｕ，ｖ)×adj ＋ I2(ｕ，ｖ)×（1.0 − adj） （式２１）
このように合成値blendが大きい場合は参照領域画像Ｒと次に暗い画像を合成し、合成値blendが小さい場合は参照領域画像Ｒよりも暗い２枚の画像を合成する。これにより、参照領域画像Ｒを暗くしたい場合は、暗くしたい程度（合成値blend）に応じて参照領域画像Ｒ及びアンダー側の２枚の画像から２枚の画像を選択して合成値blendに応じて合成できる。

＜合成例＞
図５１を用いて画像の合成の具体例について説明する。図５１（ａ）では、基準となる露出で撮像された正距円筒射影画像ＥＣを示す。明暗の差が大きいため、図５１（ａ）の所定領域Ｔの中央部分は黒つぶれしている。

図５１（ｂ）は、図５１（ａ）と同じ場所がオーバー露出で撮像された正距円筒射影画像ＥＣ１の所定領域Ｔを示す。図５１（ｂ）の中央部の露出はほぼ適正である。図５１（ｃ）は、第三の実施形態を用いて図５１（ａ）の正距円筒射影画像ＥＣと図５１（ｂ）の正距円筒射影画像ＥＣ１が合成された補正画像Ｄを示す。

このように、目標対象が無くとも、所定領域Ｔの明るさに応じてオーバー露出の画像と合成することにより、所定領域Ｔのアンダー露出を低減することができる。

図５２（ａ）は、基準となる露出で撮像された正距円筒射影画像ＥＣを示す。明暗の差が大きいため、図５２（ａ）の所定領域Ｔの中央部分は白とびしている。

図５２（ｂ）は、図５２（ａ）と同じ場所がアンダー露出で撮像された正距円筒射影画像ＥＣ２の所定領域Ｔを示す。図５２（ｂ）の中央部の露出はほぼ適正である。図５２（ｃ）は、第三の実施形態を用いて、図５２（ａ）の正距円筒射影画像ＥＣと図５２（ｂ）の正距円筒射影画像ＥＣ２が合成された補正画像Ｄを示す。

このように、目標対象が無くとも、所定領域Ｔの明るさに応じてアンダー露出の画像と合成することにより、所定領域Ｔのオーバー露出を低減することができる。

なお、本実施形態では広角画像に重畳される平面画像を適切に補正できる手法のうち、視線方向（中心位置）及び画角によって重畳画像が所定領域内に無い場合についての全天球画像の明るさ値補正について記述したが、平面画像が全くなく広角画像だけの場合にも適応可能である。

〔第四の実施形態〕
図５３及び図５４を用いて、第四の実施形態について説明する。図５３は、第四の実施形態における正距円筒射影画像ＥＣの補正処理の過程における画像の概念図である。図５３の説明では主に図４８との相違を説明する。

図５３に示されている正距円筒射影画像ＥＣの補正処理（ステップＳ５００）は、第三の実施形態で説明した方法と同様であり、露出の異なる複数枚の正距円筒射影画像ＥＣ１、ＥＣ２から、ユーザが見ている画像全体の目標とする明るさ値（又は色値）に近づけた補正画像Ｄが作成されている。

第三の実施形態では所定領域Ｔに平面画像が存在しない場合でも適切な露出に補正できる実施形態を説明したが、第四の実施形態では平面画像Ｐを正距円筒射影画像の明るさ値及び色値に近づくように補正する。従って、所定領域Ｔに平面画像Ｐが存在しても平面画像Ｐを適切な明るさ値及び色値に補正できるようにする。

第四の実施形態はステップ６００を有しており、補正部５８４が、補正画像Ｄの明るさ値（又は色値）に近づくように平面画像Ｐを補正した補正画像Ｃを作成する。

図５４は、補正画像Ｄと補正画像Ｃの関係を示す図である。図５４では上方向に信号値が大きく、下方向に信号値が小さいことを示している。正距円筒射影画像ＥＣの補正処理（ステップ５００）では、正距円筒射影画像ＥＣと正距円筒射影画像ＥＣ１又は正距円筒射影画像ＥＣ２（図では、正距円筒射影画像ＥＣ１）から目標とする明るさ値（又は色値）に近づけた補正画像Ｄが作成された。

平面画像Ｐの補正処理（ステップ６００）では、補正部５８４が補正画像Ｄの明るさ値（又は色値）に近づけるように平面画像Ｐを補正した補正画像Ｃを作成する。

補正画像Ｃの作成方法の具体例を説明する。補正画像Ｄは正距円筒射影画像ＥＣの明るさ値（又は色値）を補正した画像であるので、補正部５８４で正距円筒射影画像ＥＣと補正画像Ｄの第３の対応領域ＣＡ３における明るさ値（又は色値）の比率を算出する。

例えば、正距円筒射影画像ＥＣの第３の対応領域ＣＡ３の明るさ値をＹ、補正画像Ｄの明るさ値をＹＤとすると、正距円筒射影画像ＥＣに対する補正画像Ｄの明るさ値の比率はＹＤ／Ｙとなる。重畳表示メタデータ内の補正パラメータには、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせるゲインデータが格納されているため、重畳表示メタデータ内の補正パラメータにこの比率を乗算することで平面画像Ｐを補正画像Ｄの明るさ値に補正する補正パラメータを算出することができる。色値に対しても同様にして比率を算出すれば、平面画像Ｐを補正画像Ｄの色値に補正する補正パラメータを算出することができる。このようにして算出した補正パラメータを使用して、平面画像Ｐに補正パラメータを乗算することで、補正画像Ｄの明るさ値（又は色値）に近づけるように補正した補正画像Ｃを作成することができる。

図５４によれば、正距円筒射影画像ＥＣがオーバー露出の正距円筒射影画像ＥＣ１と合成されることで明るさ値及び色値が調整された補正画像Ｄが得られる。また、平面画像Ｐの明るさ値及び色値が調整され補正画像Ｃが得られる。

補正画像Ｃは補正画像Ｄの明るさ値及び色値に補正されているので、所定領域に平面画像Ｐが含まれているか否かに関係なく、スマートフォン５は補正画像Ｄの明るさ値及び色値で所定領域画像Ｑを表示できる。

以上のように作成した補正画像Ｄと補正画像Ｃを使用することで、ディスプレイ等に表示された領域において最適な露出、色味で重畳表示を行うことができる。

第四の実施形態では、第一、第二の実施形態よりも補正後の明るさ値及び色値の自由度が高い。すなわち、第一、第二の実施形態では最終的に表示される明るさ値及び色値は図４１に示すように正距円筒射影画像ＥＣと平面画像Ｐの間で生成される明るさ値及び色値に限定されていた。第四の実施形態では、正距円筒射影画像ＥＣを目標とする明るさ値及び色値に変換して、平面画像Ｐをその目標とする明るさ値及び色値に近づけるため、第一、第二の実施形態のような制限がなく、最終的に表示される画像の明るさ値及び色値を表示するのに適正な明るさ値及び色値にすることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、変位量として角度βを例示したが、変位量は視線方向と平面画像Ｐの距離で表してもよい。

また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像を表示するためのアプリケーションソフトで行ってもよい。

また、スマートフォン５が行っていた処理をサーバが行い、スマートフォン５は主に操作を受け付けたり全天球画像ＣＥを表示したりするのみでもよい。この場合、スマートフォン５がネットワークを介してサーバに画像データを送信し、サーバが所定領域画像を作成してスマートフォン５に送信する。サーバは本実施形態で説明したスマートフォン５の機能の一部又は全体を有する。

また、本実施形態の全天球画像は所定領域Ｔに表示しきない画角の画像データであればよい。例えば、水平方向にだけ１８０度〜３６０度の画角を有する広角画像でもよい。すなわち、全天球画像に限られない。

また、特許請求の範囲の「重畳する」とは、一方の画像に優先して他方の画像が見られることをいう。２枚の画像は独立に存在しても、１枚に画像の一部に置き換わることで一体化されていてもよい。「重畳する」を、貼り付ける、合成する、又は、配置するなどと表現してもよい。

また、スマートフォン５が有しているか又はスマートフォン５に外部接続されるカメラの数は３つ以上でもよい。

また、図１４、図１６などの構成例は、特殊撮像装置１、一般撮像装置３、及びスマートフォン５による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。特殊撮像装置１、一般撮像装置３、及びスマートフォンの処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、特殊撮像装置１は第１の撮像装置の一例であり、スマートフォン５は第２の撮像装置の一例であり、近距離通信部５８は取得手段の一例であり、補正部５８４は補正手段の一例であり、射影方式逆変換部５６２は射影方式逆変換手段の一例であり、画像作成部５８６は画像作成手段の一例であり、射影方式変換部５９０は射影方式変換手段の一例であり、記憶部５０００は記憶手段の一例である。

補正画像Ｃ１は第１の補正画像の一例であり、補正画像Ｄ１は第２の補正画像の一例であり、図３４の重畳画像Ｓの合成割合は第１の合成割合の一例であり、図３４の正距円筒射影画像ＥＣの合成割合は第２の合成割合の一例であり、図３９の正距円筒射影画像ＥＣ１は第２の広角画像の一例であり、正距円筒射影画像ＥＣ２は第三の広角画像の一例であり、図３４の閾値ｔｈ１は第１の閾値の一例であり、図３４の閾値ｔｈ２は第２の閾値の一例である。第三の実施形態の正距円筒射影画像ＥＣは第四の広角画像の一例であり、正距円筒射影画像ＥＣ１又はＥＣ２は第五の広角画像の一例であり、補正画像Ｄは第三の補正画像の一例であり、第四の実施形態の補正画像Ｃは第四の補正画像の一例である。
th1は第１の閾値の一例であり、th2は第２の閾値の一例である。

１ 特殊撮像装置（第１の撮像装置の一例）
５ スマートフォン（第２の撮像装置の一例）
５２ 受付部
５５ 画像・音処理部
５６ 表示制御部
５８ 近距離通信部（取得手段の一例）
５５０ 抽出部
５８４ 補正部（補正手段の一例）
５６２ 射影方式逆変換部（射影方式逆変換手段の一例）
５８６ 画像作成部（画像作成手段の一例）
５８８ 画像重畳部
５９０ 射影方式変換部（射影方式変換手段の一例）
５０００ 記憶部（記憶手段の一例）

特許５７４５１３４号公報

Claims (15)

1. 第１の射影方式によって得られた広角画像に対し、第２の射影方式によって得られた平面画像を重畳する情報処理装置を、
   前記広角画像において前記平面画像が対応する対応領域を算出する射影方式逆変換手段と、
   前記広角画像の視線方向と前記平面画像の中心との変位量に応じて、前記広角画像と前記平面画像の少なくとも一方を補正する補正手段と、
   前記補正手段により補正された前記広角画像の前記対応領域に、前記補正手段により補正された前記平面画像を重畳する画像作成手段、
   として機能させることを特徴とするプログラム。
2. 前記補正手段は、前記広角画像の視線方向と前記平面画像の中心との変位量が小さくなるほど、前記平面画像の画素値の補正量を小さくし、
   前記広角画像の画素値が前記平面画像の画素値に近づくように前記広角画像の画素値を補正する請求項１に記載のプログラム。
3. 前記補正手段は、前記広角画像の視線方向と前記平面画像の中心との変位量が大きくなるほど、前記平面画像の画素値が前記広角画像の画素値に近づくように前記平面画像の画素値を補正し、
   前記広角画像の画素値の補正量を小さくする請求項１又は２に記載のプログラム。
4. 前記補正手段は、前記広角画像の視線方向と前記平面画像の中心との変位量が第１の閾値より小さい場合、前記平面画像の画素値を補正せず、
   前記広角画像の画素値が前記平面画像の画素値に近づくように前記広角画像の画素値を補正する請求項１〜３のいずれか１項に記載のプログラム。
5. 前記補正手段は、前記広角画像の視線方向と前記平面画像の中心との変位量が第１の閾値より大きい第２の閾値を超える場合、前記平面画像の画素値が前記広角画像の画素値に近づくように前記平面画像の画素値を補正し、
   前記広角画像の画素値を補正しない請求項１〜４のいずれか１項に記載のプログラム。
6. 前記補正手段は、前記平面画像の画素値を前記広角画像の画素値に近づくように補正するための補正パラメータにより、前記平面画像の画素値を補正して第１の補正画像を作成し、
   前記変位量が大きくなるほど大きくなる前記平面画像の画素値と前記第１の補正画像の画素値の第１の合成割合を参照し、
   前記変位量に対応した前記第１の合成割合で、前記平面画像の画素値と前記第１の補正画像の画素値を合成することで前記平面画像の画素値を補正する請求項２〜５のいずれか１項に記載のプログラム。
7. 前記補正手段は、前記補正パラメータの逆数により、前記広角画像の画素値を補正して第２の補正画像を作成し、
   前記変位量が小さくなるほど大きくなる前記広角画像の画素値と前記第２の補正画像の画素値の第２の合成割合を参照し、前記変位量に対応した前記第２の合成割合で、前記広角画像の画素値と前記第２の補正画像の画素値を合成することで前記広角画像の画素値を補正する請求項６に記載のプログラム。
8. 前記補正手段は、前記広角画像と同じ構図で露出が異なる第２の広角画像と第三の広角画像から、前記補正パラメータに基づきいずれかを選択し、
   前記補正パラメータにより算出される合成割合により、選択した前記第２の広角画像又は前記第三の広角画像と前記広角画像を合成することで、前記第２の補正画像を作成する請求項７に記載のプログラム。
9. 前記広角画像が表示された際の所定領域に複数の前記平面画像が重畳される場合、
   前記補正手段は、前記視線方向と前記平面画像の中心点との変位量が最も小さい前記平面画像との前記変位量に応じて前記広角画像の画素値を補正するか、又は、
   前記所定領域における面積が最も大きい前記平面画像との前記変位量に応じて前記広角画像の画素値を補正する請求項１〜８のいずれか１項に記載のプログラム。
10. 前記広角画像が表示された際の所定領域に複数の前記平面画像が重畳される場合、
    前記補正手段は、前記視線方向と複数の前記平面画像の中心点との変位量の加重平均から割合を算出し、前記割合で複数の前記平面画像の画素値を前記広角画像の画素値に反映させることで前記広角画像の画素値を補正するか、又は、
    前記所定領域における複数の前記平面画像の面積の加重平均から割合を算出し、前記割合で複数の前記平面画像の画素値を前記広角画像の画素値に反映させることで前記広角画像の画素値を補正する請求項１〜８のいずれか１項に記載のプログラム。
11. 前記補正手段は、前記第１の射影方式によって撮像された第四の広角画像の明るさ値又は色値と、前記第四の広角画像とは異なる露光条件の第五の広角画像の明るさ値又は色値とを、前記第四の広角画像の所定領域の輝度情報に応じた割合で合成して第三の補正画像を生成し、
    前記変位量が第２の閾値を超える場合、前記平面画像を補正せず、
    前記画像作成手段は前記第三の補正画像で表示用の画像を作成する請求項１に記載のプログラム。
12. 前記補正手段は、前記第１の射影方式によって撮像された第四の広角画像の明るさ値又は色値と、前記第四の広角画像とは異なる露光条件の第五の広角画像の明るさ値又は色値とを前記第四の広角画像の所定領域の輝度情報に応じた割合で合成して第三の補正画像を生成し、
    前記平面画像を前記第三の補正画像の明るさ値又は色値に近づけた第四の補正画像を生成し、
    前記画像作成手段は、前記第三の補正画像の前記対応領域に、前記第四の補正画像を重畳する請求項１に記載のプログラム。
13. 前記補正手段は、視線方向と画角により指定される前記第四の広角画像の所定領域の輝度情報に基づいて、前記第四の広角画像の所定領域より明るい前記第五の広角画像又は前記第四の広角画像の所定領域より暗い前記第五の広角画像を選択し、
    前記第四の広角画像と選択した前記第五の広角画像とを合成する請求項１１又は１２に記載のプログラム。
14. 第１の射影方式によって得られた広角画像に対し、第２の射影方式によって得られた平面画像を重畳する情報処理装置を、
    前記広角画像において前記平面画像が対応する対応領域を算出する射影方式逆変換手段と、
    前記広角画像の視線方向と前記平面画像の中心との変位量に応じて、前記広角画像と前記平面画像の少なくとも一方を補正する補正手段と、
    前記補正手段により補正された前記広角画像の前記対応領域に、前記補正手段により補正された前記平面画像を重畳する画像作成手段、
    として機能させることを特徴とするプログラムと、
    第１の撮像装置から前記広角画像を取得し、第２の撮像装置から前記平面画像を取得する取得手段と、を有する前記情報処理装置と、
    を有する撮像システム。
15. 第１の射影方式によって得られた広角画像に対し、第２の射影方式によって得られた平面画像を重畳する情報処理装置であって、
    前記広角画像において前記平面画像が対応する対応領域を算出する射影方式逆変換手段と、
    前記広角画像の視線方向と前記平面画像の中心との変位量に応じて、前記広角画像と前記平面画像の少なくとも一方を補正する補正手段と、
    前記補正手段により補正された前記広角画像の前記対応領域に、前記補正手段により補正された前記平面画像を重畳する画像作成手段と、
    を有する情報処理装置。