JP2018109740A - 表示装置、プログラム、表示方法 - Google Patents

Abstract

【課題】品質の異なる複数の画像の閲覧を容易にする表示装置を提供すること。
【解決手段】第一の画像ＣＥと異なる品質の第二の画像Ｐが重畳された前記第一の画像を表示する表示装置３０であって、前記第二の画像が閲覧されるか否かを判断する判断手段３５と、前記判断手段の判断結果に応じて、前記第二の画像が存在する旨の表示と非表示を切り替える画像提示手段３６と、を有する。
【選択図】図２

Description

本発明は、表示装置、プログラム、及び表示方法に関する。

従来のデジタルカメラよりも広角な画像を撮像できる撮像装置が普及しはじめている。このような撮像装置の１つとして魚眼レンズ等を複数組み合わせ、１回の撮像で周囲３６０度が撮像された全天球画像を作成する全天球カメラが知られている。全天球画像に対しユーザは任意に視線方向を決定して全天球画像を様々な方向から閲覧することができる。

しかしながら、画像処理の負荷などを考慮すると撮像範囲が広い全天球画像の画像処理には制約が生じやすく、通常のデジタルカメラの画像と比較すると画質が低下（例えば解像度が低い、白飛びしやすい、色再現性が低い等）する傾向がある。このため、ユーザが全天球画像の一部を拡大して閲覧するような場合に、画質の低下が気になったり詳細な情報を得られにくかったりするという不都合がある。

このような不都合に対し、広角画像に望遠画像を嵌め込む（重畳する）技術が考案されている（例えば、特許文献１参照。）。

しかしながら、低画質の画像に高画質の画像を重畳するだけでは、ユーザは低画質の画像のどこに高画質の画像が重畳されているかを判断しにくいという問題がある。全天球画像のように画角が広く、ユーザが全体を一度に見渡せない画像ではこの傾向が顕著になる。一例として、高画質の画像が重畳されている場所に表示装置が何らかのマークを表示することが考えられるが、ユーザが高画質の画像を見る際にマークが邪魔になるという別の不都合をもたらす。

本発明は、上記課題に鑑み、品質の異なる複数の画像の閲覧を容易にする表示装置を提供することを目的とする。

本発明は、第一の画像と異なる品質の第二の画像が重畳された前記第一の画像を表示する表示装置であって、前記第二の画像が閲覧されるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記第二の画像が存在する旨の表示と非表示を切り替える画像提示手段と、を有する。

品質の異なる複数の画像の閲覧を容易にする表示装置を提供することができる。

全天球画像について説明する図の一例である。 全天球画像の表示方法を説明する図の一例である。 全天球カメラと表示装置を有する画像処理システムのシステム構成例を示す図である。 撮像装置のハードウェア構成図の一例である。 表示装置のハードウェア構成図の一例である。 全天球カメラの使用イメージ図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 ユーザの視線を説明する図の一例である。 全天球画像の閲覧領域の拡大と縮小を模式的に説明する図の一例である。 デジタルカメラ、全天球カメラ、及び表示装置が有する機能をブロック状に示す機能ブロック図の一例である。 平面画像の一致領域への射影方式変換及び平面画像と一致領域とを対応付ける位置パラメータの一例を示す図である。 射影方式変換部が作成する射影方式変換画像とマスクデータを説明する図の一例である。 全天球画像への平面画像の重畳を模式的に説明する図の一例である。 平面画像が重畳された全天球画像の正距円筒図法と、全天球に貼り付けられた全天球画像を示す図の一例である。 全天球画像に重畳された平面画像を模式的に示す図である。 表示装置が全天球画像に平面画像を重畳する手順を示すフローチャート図の一例である。 画像重畳部の機能をブロック状に説明する機能ブロック図の一例である。 閲覧領域に対する平面画像の相対位置を説明する図の一例である。 画角ａと画角ｂの求め方を説明する図の一例である。 閲覧領域と平面画像の対角頂点の関係を説明する図の一例である。 フレームの表示方法を模式的に説明する図の一例である。 全天球画像に表示されるフレームの例を説明する図の一例である。 表示装置が平面画像を表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 閲覧領域への平面画像の自動拡大の処理を説明する図の一例である。 閲覧領域に平面画像の全体が含まれていない場合の平面画像の自動拡大の処理を説明する図の一例である。 表示装置が平面画像を表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 フレームの表示と非表示を説明する図の一例である。 表示装置が平面画像を表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 表示装置が平面画像を表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 フレームの表示例を示す図である。 表示装置が平面画像を表示する際にクリック又はタッチによりフレームの表示の有無を制御する手順を示すフローチャート図の一例である（実施例２）。 表示装置が平面画像を表示する際にクリック又はタッチによりフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 表示装置による視線検知を説明する図の一例である。 表示装置が平面画像を表示する際に視線位置に応じてフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 閲覧領域と平面画像の距離を説明する図の一例である。 表示装置が平面画像を表示する際に閲覧領域の中心との距離に応じてフレームの表示の有無を制御する手順を示すフローチャート図の一例である。 表示装置が平面画像を表示する際にマウスカーソルの位置に応じてフレームの表示の有無を制御する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜全天球画像の概略＞
図１は、全天球画像ＣＥについて説明する図の一例である。図１（ａ）は、三次元の立体球ＣＳで表わされた全天球画像ＣＥを示し、図１（ｂ）は正距円筒図法で表された全天球画像ＣＥを示す。全天球カメラで生成された全天球画像ＣＥは図１（ｂ）のような画像が立体球ＣＳに張り合わされた三次元の構造を有している。仮想カメラＩＣはユーザの視点に対応し、図１では全天球画像ＣＥの中心に視点がある。ユーザＵは仮想カメラＩＣを通るＸ軸、Ｙ軸、Ｚ軸を中心とする３軸の回転を行わせて、全天球画像ＣＥの任意の閲覧領域Ｔ（ディスプレイ又は表示用のソフトウェアに表示される範囲）を表示させることができる。また、ユーザは閲覧領域Ｔを拡大又は縮小することもできる。

＜本実施形態の表示装置の概略＞
図２は、本実施形態の全天球画像の表示方法を説明する図の一例である。図２（ａ）は全天球画像ＣＥの一例を示す図である。後述する表示装置が全天球画像ＣＥに平面画像Ｐを重畳したものとする。表示装置は平面画像Ｐが存在する旨を意味するフレーム４０を全天球画像ＣＥに表示する。図２（ａ）では、平面画像Ｐの外縁（枠）を示すフレーム４０が表示されている。ユーザはこのフレーム４０により、全天球画像ＣＥに平面画像Ｐが貼り付けられていること、平面画像Ｐの位置及び大きさを確認できる。

ユーザがフレーム４０に気づいたものとする。解像度が高い高画質の画像を表示できるため、ユーザは全天球画像ＣＥを拡大させる。これにより、図２（ｂ）のように平面画像Ｐがディスプレイ５０８に大きく表示される。表示装置は所定の条件を満たす場合、フレーム４０を消去する。これにより、フレーム４０が平面画像Ｐの閲覧を妨害することを抑制できる。

フレーム４０を消去するための所定の条件は、ユーザＵが平面画像Ｐを見ることが推定されることである。具体的には以下のようになる。
(i)ユーザＵが平面画像Ｐをクリックした場合
(ii)現在の閲覧領域Ｔの画角に対し平面画像Ｐが占める画角の比率が所定以上になった場合
また、以下のようにユーザＵの閲覧のための操作に伴って、フレーム４０の消去を制御してもよい。
(iii)マウスカーソルの座標が平面画像Ｐと重なっていない場合
(iv)全天球画像ＣＥの閲覧領域Ｔが変更されてから所定時間が経過した後
なお、見ることが推定されるとは、実際にユーザが見る他、見る可能性がある旨を含む。

このように、本実施形態の表示装置は、全天球画像ＣＥに平面画像Ｐを重畳することで、解像度が低い全天球画像ＣＥを平面画像Ｐで補うことができる。平面画像Ｐの位置がフレーム４０で表示されるのでユーザはどこに平面画像Ｐがあるかを容易に把握できる。ユーザが平面画像Ｐを見る場合、フレーム４０が消去されるのでフレーム４０が平面画像Ｐの閲覧を妨害することも抑制できる。

＜用語について＞
重畳とは、２つ以上のものを合わせて１つのものにすることをいう。また、本実施形態では、重畳に、貼り付け、嵌め込み、合成、重ね合わせという意味が含まれてよい。

特許請求の範囲の閲覧とは、ユーザが第二の画像を意識して見ることをいう。第一の画像は例えば全天球画像であり、第二の画像は例えば平面画像である。

第二の画像が存在する旨とは、第二の画像の存在にユーザが気づき得る視覚的な特徴である。具体的には何らかの画像部品により示される。画像部品の一例はフレーム４０である。

また、高画質の定義は画像によっても異なるため、ユーザの閲覧目的によって種々でよいが、一般に画像が忠実に光景を表すことをいう。画像の品質が高いと称することもできる。例えば、解像度が高い、ダイナミックレンジが広い、色再現性が高い、ノイズが少ない、画像をいう。また、品質には画質の高低、静止画と動画の違い、射影方式の違いなどがある。

＜システム構成例＞
図３は、全天球カメラ２０と表示装置３０を有する画像処理システム１００のシステム構成例を示す図である。図３（ａ）は全天球カメラ２０と通常のデジタルカメラ９を有する画像処理システム１００を示す。通常のデジタルカメラ９とは、一般に３５ｍｍフィルムに換算した場合に焦点距離３５ｍｍ以上で撮像する撮像装置（カメラ）であるが、２４ｍｍ〜３５ｍｍ程度の広角画像を撮像できる撮像装置が含まれてよい。簡単には、全天球カメラ２０ではなく平面画像Ｐを撮像する撮像装置ということができる。換言すると、閲覧領域Ｔに全体を表示可能な画像を撮像する撮像装置である。

デジタルカメラ９は、全天球画像ＣＥよりも少なくとも解像度が高い（撮像する画角に対する画素数が多い）撮像素子を有している。また、全天球カメラ２０よりも狭い撮像範囲で撮像条件（露出時間、シャッター速度、ホワイトバランス等）を最適化するため、白飛びしにくく、色再現性も高い場合が多い。このようにデジタルカメラ９はいわゆる高画質の平面画像を生成する。

これにより、全天球画像ＣＥでは拡大時に粗くなる画像を、平面画像Ｐの高い画質の画像で補うことができる。図３（ａ）の構成では、デジタルカメラ９が表示装置３０を兼ねている。デジタルカメラ９の具体例は、例えばデジタルスチルカメラ、又はデジタルビデオカメラであるが、撮像装置を備えたその他の装置であってもよい。例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ（Personal Computer）等でもよい。この場合、スマートフォン等に全天球カメラ２０が外付けされてよい。

全天球カメラ２０とデジタルカメラ９はＵＳＢ，Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥはデジタルカメラ９に送信される。デジタルカメラ９も同様に平面画像Ｐを撮像する。全天球画像ＣＥには周囲３６０度の風景が写っているので平面画像Ｐは全天球画像ＣＥの一部になる。

デジタルカメラ９は表示装置３０として、全天球画像ＣＥに平面画像Ｐを重畳する。具体的には、例えばユーザＵが平面画像Ｐと全天球画像ＣＥを選択して、重畳を指示する。あるいは、デジタルカメラ９を重畳モードに設定して平面画像Ｐを撮像すると、平面画像Ｐがマッチングする全天球画像ＣＥに自動的に重畳する。画像の一致度が低ければ重畳されないので不都合は少ない。また、表示装置３０としてのデジタルカメラ９はフレーム４０の表示と非表示を切り替えてデジタルカメラ９が有するディスプレイに表示したりする。このように、デジタルカメラ９が表示装置３０である場合は、全天球カメラ２０とデジタルカメラ９という構成で、全天球画像ＣＥと平面画像Ｐを重畳したりフレーム４０の表示及び非表示を切り替えたりすることができる。

図３（ｂ）は、全天球カメラ２０、通常のデジタルカメラ９、及び表示装置３０を有する画像処理システム１００を示す。全天球カメラ２０と表示装置３０、及び、デジタルカメラ９と表示装置３０はＵＳＢ、Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥは表示装置３０に送信される。デジタルカメラ９が撮像した平面画像Ｐも表示装置３０に送信される。送信の他、記憶媒体に格納された全天球画像ＣＥ又は平面画像Ｐを表示装置３０が記憶媒体から読み取ってもよい。

表示装置３０は、例えばＰＣ、スマートフォン、タブレット端末、ＰＤＡなどの情報処理装置である。この他、情報処理装置としての機能を有する複合機、プロジェクタ、テレビ会議端末などでもよい。

図３（ｂ）の構成では、表示装置３０が全天球画像ＣＥに平面画像Ｐを重畳する。また、フレーム４０の表示と非表示を切り替えて表示装置３０のディスプレイに表示する。より具体的には、ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、表示装置３０に貼り付けを行わせる。デジタルカメラ９のように自動的に重畳させてもよい。このように、表示装置３０は全天球画像ＣＥと平面画像Ｐを取得して、全天球画像ＣＥに平面画像Ｐを重畳し、フレーム４０の表示及び非表示を切り替えることができる。図４以下の説明では、特に言及しない限り、図３（ｂ）の構成を念頭に説明する。

図３（ｃ）は、全天球カメラ２０、通常のデジタルカメラ９、表示装置３０、及び画像重畳サーバ７０がネットワークＮを介して接続された画像処理システム１００を示す。ネットワークＮは、ユーザ環境に構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、全天球カメラ２０及びデジタルカメラ９が直接、公衆回線網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。

画像重畳サーバ７０は一般的な情報処理装置又はサーバ装置でよいし、表示装置３０の具体例は図３（ｂ）と同様でよい。しかしながら、画像重畳サーバ７０はクラウドコンピューティングに対応していることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。

全天球カメラ２０が撮像した全天球画像ＣＥは画像重畳サーバ７０に送信される。デジタルカメラ９が撮像した平面画像Ｐも画像重畳サーバ７０に送信される。図３（ｃ）の構成では、画像重畳サーバ７０が全天球画像ＣＥに平面画像Ｐを重畳する。より具体的には、表示装置３０はユーザＵの操作を受け付けて画像重畳サーバ７０にアクセスして、全天球画像ＣＥ及び平面画像Ｐのリスト（サムネイル画像など）を表示する。ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、画像重畳サーバ７０に通知する。画像重畳サーバ７０が自動的に重畳してもよい。

画像重畳サーバ７０は、全天球画像ＣＥに平面画像Ｐを重畳すると共に、閲覧領域Ｔの画像データを表示装置３０に送信する。初期状態の視線方向と画角は予め決まっているものとする。画像重畳サーバ７０はＷｅｂサーバとして閲覧領域Ｔの画像データとユーザの操作を受け付けるための表示プログラム（スクリプト言語で記述されている）を表示装置３０に送信する。表示装置３０は表示プログラムを実行しユーザＵの操作を受け付け、視線方向と画角を画像重畳サーバ７０に送信する。画像重畳サーバ７０は視線方向と画角に応じて閲覧領域Ｔを更新し、閲覧領域Ｔの画像データを表示装置３０に送信する。画像重畳サーバ７０は、フレーム４０の表示と非表示を切り替えるため、表示装置３０はフレーム４０が表示される画像と表示されない画像を表示できる。

全天球画像ＣＥ、平面画像Ｐ及び表示プログラムを画像重畳サーバ７０が表示装置３０に送信してもよい。この場合、表示装置３０がユーザの操作に応じて閲覧領域Ｔを決定し、フレーム４０の表示と非表示を切り替える。

また、全天球画像ＣＥと平面画像Ｐから画像重畳サーバ７０が位置パラメータ（後述する）を算出し、全天球画像ＣＥと平面画像Ｐ及び位置パラメータを表示装置３０がダウンロードしてもよい。ユーザは任意に視線方向を変えるが、表示装置３０は同じ位置パラメータを使って全天球画像ＣＥに平面画像Ｐを重畳できる。後述する図１１の位置パラメータ作成部８が画像重畳サーバ７０にあり、変換表示部７を表示装置３０が有する形態となる。

＜ハードウェア構成＞
<<全天球カメラのハードウェア構成>>
図４は、全天球カメラのハードウェア構成図である。以下では、全天球カメラ２０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ９やスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球カメラ２０と同じ機能を有するようにしてもよい。

図４に示されているように、全天球カメラ２０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０なども接続される。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを重畳処理して、図１（ｂ）に示されているような正距円筒図法による画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、全天球カメラ２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒図法による画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザＵは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶された正距円筒図法による画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して表示装置３０等の外部装置に送信されたりする。

通信部１１７は、全天球カメラ２０に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、表示装置３０等の外部装置と通信を行う。この通信部１１７によっても、正距円筒図法による画像のデータを表示装置３０等の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から全天球カメラ２０の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて全天球カメラ２０の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。

なお、一眼レフカメラのハードウェア構成は図４と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。

<<表示装置のハードウェア構成>>
図５は、表示装置のハードウェア構成図である。表示装置３０は、表示装置全体の動作を制御するＣＰＵ５０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、表示装置用のプログラム等の各種データを記憶するＨＤ（Hard Disk）５０４を有する。また、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、ネットワークＮを利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する光メディアドライブ５１４、及び、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

なお、画像重畳サーバ７０のハードウェア構成は図５と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。

＜全天球画像ＣＥの作成＞
図６〜図９を用いて全天球画像ＣＥについて説明する。図６は、全天球カメラ２０の使用イメージ図である。全天球カメラ２０は、図６に示されているように、ユーザＵが手に持ってユーザＵの周りの被写体を撮像するために用いられる。全天球カメラ２０は、２つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザＵの周りの被写体を撮像することで、２つの半球画像を得る。

次に、図７及び図８を用いて、全天球カメラ２０で撮像された画像から全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図７（ａ）は全天球カメラ２０で撮像された半球画像（前側）、図７（ｂ）は全天球カメラ２０で撮像された半球画像（後側）、図７（ｃ）は正距円筒図法による全天球画像を示した図である。図８（ａ）は正距円筒図法による画像で球を被う状態を示した概念図、図８（ｂ）は全天球画像ＣＥを示した図である。

図７（ａ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（前側）となる。また、図７（ｂ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球カメラ２０によってつなぎ合わされ、図７（ｃ）に示されているように、正距円筒図法による画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図８（ａ）に示されているように、正距円筒図法による画像が球面を覆うように貼り付けられ、図８（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒図法による画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。全天球画像ＣＥは、静止画であっても動画であってもよい。具体的には図８（ａ）の正距円筒図法による画像から図８（ｂ）の三次元の全天球画像へ変換は後述する式（１）が利用される。

全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため湾曲しており、人間が見ると違和感を持ってしまう。そこで、表示装置３０は、全天球画像ＣＥの一部の閲覧領域Ｔを湾曲の少ない平面画像Ｐとして表示することで、人間に違和感を与えないように表示する。閲覧領域Ｔは、三次元の仮想空間における座標（Ｘ，Ｙ，Ｚ）によって示される。一方、ディスプレイ５０８は二次元平面なので閲覧領域Ｔのままでは表示装置３０が表示できない。

そこで、３Ｄコンピュータグラフィックの技法を用いて三次元の物体を二次元平面に投影する透視投影変換により、表示装置３０は湾曲の少ない画像を得る。以上のようにして、全天球画像ＣＥの閲覧領域Ｔがディスプレイ５０８に表示される。

図９は、ユーザＵの視線を説明する図の一例である。全天球画像ＣＥは三次元の座標を有しているので、視線方向は三次元の座標や緯度・経度などの球体の座標を特定する情報で特定される。本実施形態では、閲覧領域Ｔの中心ｃｐを視線方向とする。

ユーザＵはキーボード５１１又はマウス５１２により視線方向を変えることができるが、仮想カメラＩＣが平行移動しないと仮定すると、仮想カメラＩＣは剛体としてロール（Ｚ軸を中心とする回転）、ヨー（Ｙ軸を中心とする回転）、及びピッチ（Ｘ軸を中心とする回転）の３つの回転が可能である。このうちヨーとピッチの回転のいずれが生じても視線方向が変化する（ロールの変化ではカメラのアッパーベクトルが変わるだけで、カメラの視線ベクトルは変化しない）。

例えば、ユーザＵが全天球画像ＣＥを水平方向に回転させるとヨー角が変化し、上下方向に回転させるとピッチ角が変化し、ディスプレイ５０８の中心を軸に全天球画像ＣＥを回転させるとロール角が変化する。本実施形態では、ユーザＵのＷｅｂページに対する操作が、視線方向（ロール角、ヨー角、ピッチ角）等に反映される。どのように反映されるかは表示装置３０が実行するプログラムに予め記述されている。

図１０は、全天球画像ＣＥの閲覧領域Ｔの拡大と縮小を模式的に説明する図の一例である。図１０（ａ）は初期の閲覧領域Ｔを示す。仮想カメラＩＣが立体球ＣＳの中央に存在する場合、閲覧領域Ｔは画角αにより決定される。画角αは、例えば閲覧領域Ｔの対角頂点を立体球ＣＳの中央から臨む角度である。

初期状態の画角αをα_０とする。図１０（ｂ）に示すように画角を小さくすれば（α_１＜α_０）閲覧領域Ｔが狭くなるのでディスプレイ５０８上では画像が拡大され、図１０（ｃ）に示すように、画角を大きくすれば（α_２＞α_０）閲覧領域Ｔが広くなるのでディスプレイ５０８上では画像が縮小される。ユーザＵが全天球画像ＣＥを拡大する操作又は縮小の操作を行うと、表示装置３０は操作量に応じて画角を小さくしたり大きくしたりする。

図１０（ｃ）のように画角が大きくなったとしても、仮想カメラＩＣが中央にある限り、仮想カメラＩＣの後方にある画像を表示装置３０が表示することができない。このため、ユーザＵが図１０（ｃ）の状態から更に縮小する操作を行うと、表示装置３０は仮想カメラＩＣを後方に移動する。図１０（ｄ）では画角α２は図１０（ｃ）と変わっていないが、仮想カメラＩＣが後方に移動することで、閲覧領域Ｔが更に広くなっている。このため、図１０（ｃ）よりも更に画像を縮小することが可能である。

＜全天球画像ＣＥへの平面画像Ｐの重畳に関する機能＞
まず、図１１〜図１６を用いて、全天球画像ＣＥへの平面画像Ｐの重畳に関する機能について説明する。上記のように、図３（ｂ）の構成を念頭に説明する。

図１１は、デジタルカメラ９、全天球カメラ２０、及び表示装置３０が有する機能をブロック状に示す機能ブロック図の一例である。デジタルカメラ９は平面画像取得部１１を有している。平面画像取得部１１はデジタルカメラ９の撮像機能により実現され、所定の解像度の画素がそれぞれ濃淡を表す画像データ（平面画像Ｐ）を作成する。平面画像Ｐは１つの静止画、複数の静止画、又は動画のいずれでもよい。

全天球カメラ２０は全天球画像取得部１２を有している。全天球画像取得部１２は全天球カメラ２０の撮像機能により実現され、全天球カメラ２０の周囲３６０度の画像データ（全天球画像ＣＥ）を作成する。全天球画像ＣＥは、１つの静止画、複数の静止画、又は動画のいずれでもよい。

表示装置３０は、主に、位置パラメータ作成部８、及び変換表示部７を有している。表示装置３０が有するこれらの機能は、図５に示した表示装置３０のＣＰＵ５０１がＨＤ５０４からＲＡＭ５０３に展開されたプログラムを実行することで実現される機能又は手段である。

まず、位置パラメータ作成部８は、更に全天球画像読込部２１、平面画像読込部２２、位置パラメータ算出部２３、及び位置パラメータ書出部２４を有する。全天球画像読込部２１は、全天球画像取得部１２から全天球画像ＣＥを読み込む。平面画像読込部２２は、平面画像取得部１１から平面画像Ｐを読み込む。読み込むとは、取得する、受信する、記憶媒体から読み出す、又は、入力を受け付けるという意味である。

位置パラメータ算出部２３は、平面画像Ｐと一致する全天球画像ＣＥの一致領域を特定し、一致領域を特定するための位置パラメータＰＰを求める。位置パラメータＰＰの詳細は図１２にて説明される。正距円筒図法により全天球画像ＣＥは歪んだ状態になるため、平面画像Ｐにも同じ変換を施し、歪んだ状態にすることが好ましい。そして、両方の特徴点を抽出しマッチングを行うことで、位置パラメータＰＰを求めることができる。特徴点の検出については、エッジ検出、コーナー検出、SIFT特徴量とSURF特徴量、同一色の中心点など様々な検出方法が知られている。あるいは、全天球画像ＣＥと平面画像Ｐの画素値の差の絶対値の合計又は差の二乗和を１画素ずつずらして算出し、絶対値の合計又は二乗和が最も小さくなった時の平面画像Ｐの位置を一致領域としてもよい。

また、平面画像Ｐをメッシュ状に領域分割してそれぞれで全天球画像ＣＥとマッチングをすれば、レンズ歪等によるずれ補正も加味することができる。

全天球画像ＣＥと平面画像Ｐの対応は一意に定まるので位置パラメータＰＰは、一度、求めるだけでよい。位置パラメータ書出部２４は位置パラメータＰＰを位置パラメータ書出部２４に送出する。

変換表示部７は、更に平面画像読込部２５、視線方向画角指示部２６、全天球画像読込部２７、射影方式変換部１（符号は２８）、射影方式変換部２（符号は２９）、画像重畳部３３、位置パラメータ読込部３２、及び画像表示部３１を有する。平面画像読込部２５と全天球画像読込部２７の機能は位置パラメータ作成部８と同様である。また、位置パラメータ読込部３２は位置パラメータ作成部８から位置パラメータＰＰを取得する。

視線方向画角指示部２６は、ユーザＵが操作した視線方向と画角（拡大・縮小）を受け付ける。視線方向と画角が操作により入力されるため閲覧領域Ｔが定まる。

また、ユーザＵが任意に視線方向と画角（拡大・縮小）を操作するため、射影方式変換された平面画像Ｐの一部のみしか閲覧領域Ｔに入らない場合、又は、射影方式変換された平面画像Ｐが全く閲覧領域Ｔに入らない場合がある。このため、射影方式変換部１は、射影方式変換画像のうち閲覧領域Ｔに含まれている領域を示すマスクデータを生成する。詳細は図１３にて説明される。

射影方式変換部２は、視線方向画角指示部２６が受け付けた視線方向及び画角に対応する閲覧領域Ｔを決定し、読み込まれた全天球画像ＣＥの閲覧領域Ｔに対し画像表示部３１の表示サイズに合わせた透視投影変換を行い、表示画像を作成する。したがって、表示画像は二次元平面の画像である。

画像重畳部３３は、マスクデータを用いて表示画像に射影方式変換画像を重畳して重畳画像を生成する。詳細は図１４にて説明される。また、画像表示部３１は重畳画像をディスプレイ５０８に表示する。

＜位置パラメータ＞
図１２は平面画像Ｐの一致領域への射影方式変換及び平面画像Ｐと一致領域とを対応付ける位置パラメータＰＰの一例を示す図である。マッチングによりすでに平面画像Ｐと全天球画像ＣＥの対応は得られているものとする。位置パラメータＰＰは、特徴点が最も一致した時に平面画像Ｐが存在する全天球画像ＣＥの緯度と経度である。

図１２(ａ)は平面画像Ｐを示し、図１２（ｂ）は正距円筒図法の全天球画像ＣＥを示す。図１２（ｂ）には一致領域３０１が示されている。位置パラメータ算出部２３は、平面画像Ｐを格子状に分割して、それぞれ格子の交点部分の座標(x,y)に対応する全天球画像ＣＥの一致領域３０１の点(λ,φ)を位置パラメータＰＰとする。なお、λは経度、φは緯度である。図１２（ｃ）は位置パラメータＰＰの一例を示す。平面画像Ｐの格子の座標と、全天球画像ＣＥの一致領域３０１の緯度と経度が格子ごとに対応付けられている。

＜射影方式変換部１の処理＞
図１３は、射影方式変換部１が作成する射影方式変換画像３０２とマスクデータ３０３を説明する図の一例である。図１３（ａ）は射影方式変換画像３０２を示す。射影方式変換画像３０２は正距円筒図法で表された全天球画像の閲覧領域Ｔと同じサイズの領域を有し、一致領域３０１に射影方式変換後の平面画像Ｐが貼り付けられる。一致領域３０１に平面画像Ｐが射影方式変換されることで、平面画像Ｐは台形歪みの状態になっている。射影方式変換画像３０２のうち平面画像Ｐがない部分はグレーの均一画像３０７である。均一画像３０７は重畳に使用されないのでどのような画素値でもよい。

図１３（ｂ）は図１３（ａ）の平面画像Ｐに対応するマスクデータ３０３を示す。マスクデータ３０３は図１３（ａ）から閲覧領域Ｔに含まれる平面画像Ｐを取り出すためのデータである。マスクデータの白画素の領域は、閲覧領域Ｔかつ平面画像Ｐの領域を示す。したがって、マスクデータの白画素の領域は平面画像Ｐの領域以下となる。図１３（ｂ）のマスクデータは、閲覧領域Ｔが平面画像Ｐより大きい場合であるため、図１３（ａ）の例では一致領域３０１がマスクデータ３０３の白画素の領域とほぼ等しくなっている。閲覧領域Ｔが平面画像Ｐと全く重ならない場合、マスクデータは全面が黒画素になる。閲覧領域Ｔが平面画像Ｐより小さい場合、マスクデータ３０３は白画素のみになる。このようにマスクデータ３０３の白画素と一致領域３０１は常に同じサイズ及び同じ位置になる。

画像重畳部３３は射影方式変換画像３０２とマスクデータ３０３でマスク処理を行う。このマスク処理は、マスクデータ３０３の白画素に対応する画素を射影方式変換画像３０２から取り出す処理である。画像重畳部３３は、射影方式変換画像３０２から白画素の位置の画素値を取り出して、表示画像の射影方式変換画像３０２と同じ位置に重畳する。

なお、マスクデータ３０３の黒画素と白画素の境界は、白画素から黒画素に向けて徐々に白から黒に変化する傾斜が設けられることが好適である。これにより、低解像度の全天球画像ＣＥと高解像度の平面画像Ｐとの境界を目立たなくすることができる。

＜画像重畳部の処理＞
図１４を用いて画像重畳部３３の処理について説明する。図１４は、全天球画像ＣＥへの平面画像Ｐの重畳を模式的に説明する図の一例である。図１４に示すように、射影方式変換部２が閲覧領域Ｔを透視投影変換した表示画像３０４、射影方式変換画像３０２（図１３（ａ））、及びマスクデータ３０３（図１３（ｂ））が画像重畳部３３に入力される。

画像重畳部３３はより画角が広い射影方式変換画像３０２を表示画像３０４に重畳する。マスクデータ３０３を使ったマスク処理により、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２を取り出して表示画像３０４に上書きする（この場合は、この時点で表示画像３０４の画素が損失される。）。このようにして重畳画像３０５には、低解像度の全天球画像ＣＥに高解像度の平面画像Ｐ１が配置される。

あるいは、透明なレイヤを用意して、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２を取り出して透明なレイヤに配置してもよい。この場合、表示画像３０４に損失はなく、例えばユーザが平面画像Ｐ１の表示と非表示を切り替えることができる。

画像重畳部３３は重畳画像３０５を出力する。重畳画像３０５には、低解像度の全天球画像ＣＥに高解像度の平面画像Ｐが配置されている。

なお、本実施形態では重畳の方法にも特徴がある。説明したように表示装置３０は全天球画像ＣＥの透視投影変換と平面画像Ｐの重畳を並行に行う。仮に、全天球画像ＣＥに平面画像Ｐを貼り付けてから透視投影変換を行うと、全天球画像ＣＥの解像度を平面画像Ｐと同じにする必要があり、データ量が大きくなってしまう。本実施形態では表示画像３０４が作成されてから平面画像Ｐが重畳されているので、データ量が大きくなることを抑制できる。

表示装置３０は、全天球画像ＣＥと平面画像Ｐの重畳を、ディスプレイ５０８の表示サイクル（例えば、１秒間に３０〜６０回）で繰り返す。こうすることで、表示装置３０は平面画像Ｐと全天球画像ＣＥを１つずつ保持しておき、ユーザの操作に応じた視点でリアルタイムに重畳画像３０５を生成できる。

＜正距円筒図法の全天球画像ＣＥの全天球への変換＞
図１５（ａ）は、全天球画像ＣＥを正距円筒図法により示す図であり、図１５（ｂ）は正距円筒図法の全天球画像ＣＥが全天球に貼り付けられた全天球画像ＣＥを示す。図１５（ａ）の画像から図１５（ｂ）の画像への変換が、図８で説明した全天球カメラ２０の撮像時に全天球カメラ２０で行われている処理である。

正距円筒図法の任意の点(λ,φ)に対応する三次元上の点(x,y,z)の座標は、球の半径を1.0とすると下記の式で求めることができる。
Ｘ = cos(φ)*cos(λ)
Ｙ = sin(φ) …（１）
Ｚ = cos(φ)*sin(λ)
このように、正距円筒図法の全天球画像ＣＥから三次元の全天球画像ＣＥが得られる。

＜全天球画像ＣＥにおける平面画像Ｐ＞
図１６は、全天球画像ＣＥに重畳された平面画像Ｐを模式的に示す図である。上記のように、平面画像Ｐは平面のまま表示画像３０４と重畳されるため、図１６のように、平面画像Ｐが立体球ＣＳに貼り付けられることはない。しかし、ユーザから見ると、図１６に示すように、全天球画像ＣＥと同じ中心位置、同じ半径の球体の一部に平面画像Ｐが重畳されたように見える。

なお、図１６のように、三次元の全天球画像ＣＥに平面画像Ｐが重畳されてもよい。マッチングにより（位置パラメータＰＰにより）平面画像Ｐが対応する経度と緯度が分かるので式（１）により表示装置３０は全天球に平面画像Ｐを貼り付けられる。この場合、奥行き情報を使った陰面消去法(いわゆるZバッファ法)等は用いず、後優先でレンダリングするとよい。

平面画像Ｐが複数ある場合、位置パラメータ算出部２３がそれぞれの平面画像Ｐに対して位置パラメータＰＰを算出すれば、同様に重畳できる。この場合、レンダリングの順番は広角画像を先にして、望遠を後とすることで同じ画素数のデジタルカメラ９で撮像された場合、解像度が高い平面画像Ｐの上に、解像度の低い平面画像Ｐが覆いかぶさることを回避できる。

＜重畳手順＞
図１７は、表示装置３０が全天球画像ＣＥに平面画像Ｐを重畳する手順を示すフローチャート図の一例である。図１７の処理は、ユーザが重畳を指示すること等によりスタートされる。ステップＳ１０〜Ｓ３０とＳ４０〜Ｓ６０は並行的に実行されるが、順番に実行されてもよい。

平面画像読込部２２は平面画像Ｐを読み込む（Ｓ１０）。全天球画像読込部２１は全天球画像ＣＥを読み込む（Ｓ２０）。そして、位置パラメータ算出部２３は位置パラメータＰＰを算出する（Ｓ３０）。

平面画像読込部２５は平面画像Ｐを読み込む（Ｓ４０）。全天球画像読込部２７は全天球画像ＣＥを読み込む（Ｓ５０）。また、視線方向画角指示部２６は視線方向と画角を受け付ける（Ｓ６０）。ステップＳ６０は随時行われる。

次に、射影方式変換部１は位置パラメータＰＰで平面画像Ｐに射影方式変換を施し、射影方式変換画像３０２を生成する（Ｓ７０）。

次に、射影方式変換部１は視線方向と画角で定まる閲覧領域Ｔ及び射影方式変換された平面画像Ｐ（一致領域）に応じてマスクデータ３０３を生成する（Ｓ８０）。

次に、射影方式変換部２は、閲覧領域Ｔに応じて全天球画像ＣＥを透視投影変換し、表示画像３０４を生成する（Ｓ９０）。

次に、画像重畳部３３はマスクデータを用いて射影方式変換画像３０２と表示画像３０４を重畳し、重畳画像３０５を生成する（Ｓ１００）。

次に、画像表示部３１は重畳画像３０５を表示する（Ｓ１１０）。表示装置３０は図１７のステップＳ６０〜Ｓ１１０の処理を繰り返す。

＜フレームの表示制御に関する機能＞
次に、図１８〜図２３を用いて、重畳画像３０５におけるフレーム４０の表示制御に関する機能について説明する。図１８は、画像重畳部３３の機能をブロック状に説明する機能ブロック図の一例である。画像重畳部３３は、更に判断部３５とフレーム表示部３６を有している。判断部３５は、現在の閲覧領域Ｔと平面画像Ｐの位置（位置パラメータＰＰ）を使ってフレーム４０を表示する状態か否かを判断し、判断結果（フレーム表示、フレーム消去）をフレーム表示部３６に送出する。フレーム表示部３６は、判断結果に応じてフレーム４０を表示したり消去したりする。

＜フレーム４０の表示の有無の判断について＞
上記のようにユーザＵが重畳画像３０５に重畳された平面画像Ｐを見ることが推定された場合、フレーム４０が消去され、それ以外の状態ではフレーム４０が表示されたままとなる。上記の所定の条件(i)〜(iv)の判断について説明する。

まず「(ii)現在の閲覧領域Ｔの画角に対し平面画像Ｐが占める比率が所定以上になった場合」の判断方法について説明する。

図１９は、閲覧領域Ｔに対する平面画像Ｐの相対位置を説明する図の一例である。図１９（ａ）では、閲覧領域Ｔに平面画像Ｐの全体が含まれている。閲覧領域Ｔはディスプレイ５０８に表示されている全天球画像の領域なので、ユーザＵはほぼ正面から平面画像Ｐを見ている。閲覧領域の画角をａ、平面画像Ｐの画角をｂとすると、画角ａ＞画角ｂであれば、平面画像Ｐの全体と全天球画像ＣＥの一部が見えていることになる。図１９（ａ）のような状況であれば、ユーザＵが平面画像Ｐを見たいと推定される。

しかし、平面画像Ｐに対して全天球画像ＣＥの方がある程度大きい場合、ユーザＵが平面画像Ｐを見たいとは判断しなくてよい。そこで、例えば、画角ａが画角ｂの１．２倍より大きい場合、判断部３５はフレーム４０を表示すると判断する。すなわち、画角ａが画角ｂの１．２倍より大きい場合、現在の画角に対し平面画像Ｐが占める比率が所定未満になったと判断する。また、画角ａが画角ｂの１．２倍以下の場合、判断部３５はフレーム４０を表示しないと判断する。すなわち、画角ａが画角ｂの１．２倍以下の場合、現在の画角に対し平面画像Ｐが占める比率が所定以上になったと判断する。

閲覧領域Ｔは既知である。また、位置パラメータＰＰに平面画像Ｐの緯度・経度が登録されているので、画角ｂは位置パラメータＰＰから求められる。詳細は図２０、図２１で説明する。

図１９（ｂ）では、閲覧領域Ｔの方が平面画像Ｐより狭くなっている。すなわち、ユーザＵは平面画像Ｐのみを見ている。この場合は、当然ながらフレーム４０が表示されない。

図１９（ｃ）では、平面画像Ｐの上方のみが閲覧領域Ｔになっている。つまり、ユーザＵは平面画像Ｐの上方を見ている。しかし、閲覧領域Ｔが平面画像Ｐに完全に含まれているので（画角ａが画角ｂの１．２倍以下）、判断部３５はフレーム４０を表示しないと判断する。

また、図１９（ｄ）では、閲覧領域Ｔの中心と平面画像Ｐの中心とのずれ(角度)が大きくなり、閲覧領域Ｔの一部が平面画像Ｐをはみ出している。この場合、閲覧領域Ｔに対し平面画像Ｐが小さいので（画角ａが画角ｂの１．２倍以下）、判断部３５はフレーム４０を表示すると判断する。

なお、フレーム４０を表示するか否かの閾値を１．２倍としたのは一例であって、１．０より大きい値であればよい。例えば、１．１〜１．５倍等のように決定できる。また、ユーザＵが閾値を設定できてもよい。

図２０は、画角ａと画角ｂの求め方を説明する図の一例である。画角ａはユーザＵが操作により決定する閲覧領域Ｔにより求められる。仮想カメラＩＣから閲覧領域Ｔまでの距離をｆ、閲覧領域Ｔの対角線の長さを２Ｌとすると、画角αと、距離ｆ、及びＬには式（２）の関係がある。
Ｌｆ＝ｔａｎ（α／２）…（２）
閲覧領域Ｔの対角頂点の座標はユーザＵが操作したことで分かっているので、対角線の長さ２Ｌは容易に算出できる。距離ｆについては全天球の半径、又は、ユーザＵが操作したことで分かっている。したがって、式（２）により画角αを算出できる。

画角ｂも同様に算出できるが、画角ｂは閲覧領域Ｔに平面画像Ｐが一部でも含まれている場合に算出されればよい。図２１は閲覧領域Ｔと平面画像Ｐの関係を示す図である。判断部３５は、平面画像Ｐが閲覧領域Ｔに入っているか否かを４つの頂点のそれぞれで判断する。閲覧領域Ｔの４つの頂点をＡ１〜Ａ４、平面画像Ｐの４つの頂点をＢ１〜Ｂ４とする。頂点Ｂ１〜Ｂ４は例えば全天球の経度や緯度で特定されるが、ディスプレイ５０８上の座標で特定されてもよい。

例えば、頂点Ｂ１については以下のように判断される。

頂点Ａ１の経度≦頂点Ｂ１の経度≦頂点Ａ２の経度、かつ、
頂点Ａ１の緯度≧頂点Ｂ１の緯度≦頂点Ａ４の緯度
頂点Ｂ２、Ｂ３、Ｂ４についても同様に判断できる。対角の頂点（Ｂ１とＢ３、Ｂ２とＢ４）が閲覧領域Ｔに入っていれば、位置パラメータＰＰから式（２）により画角ｂを算出できる。図２１に示すように平面画像Ｐの対角頂点Ｂ１〜Ｂ４の全てが閲覧領域Ｔに入っていない場合、閲覧領域Ｔに入っている頂点Ｂ１から閲覧領域Ｔの対角頂点Ａ３により画角ｂを算出する。頂点Ｂ１の対角頂点が頂点Ａ３であること、頂点Ｂ２の対角頂点が頂点Ａ４であること、頂点Ｂ３の対角頂点が頂点Ａ１であること、頂点Ｂ４の対角頂点が頂点Ａ２であることは表示装置３０に設定されている。

＜フレームの表示方法＞
全天球画像における平面画像Ｐの場所（一致領域３０１）は位置パラメータＰＰで表されている。図１２（ｃ）の位置パラメータＰＰのうち、ｘ＝０．５又はｙ＝０．５の値を持つ格子が平面画像Ｐの外縁である。位置パラメータＰＰにはｘ＝０．５又はｙ＝０．５の値を持つ格子の緯度と経度が設定されているので、フレーム表示部３６はこの緯度と経度にフレーム４０となる点線を描画する。

あるいは、射影方式変換部１と同様の射影方式変換を行ってもよい。平面画像Ｐの外縁の矩形を射影方式変換すればフレーム４０が得られる。

図２２は、フレーム４０の表示方法を模式的に説明する図の一例である。フレーム表示部３６は、正距円筒図法の全天球画像ＣＥと同じサイズ（画素数）の透明なレイヤを用意しておく。そして、フレーム表示部３６は、位置パラメータＰＰでｘ＝０．５、−０．５又はｙ＝０．５、−０．５の値を持つ格子の緯度と経度にフレーム４０となる点線を描画する。

フレーム表示部３６はマスクデータを使って、透明なレイヤからマスクデータの白画素に対応する領域を取り出す。そして、取り出した透明なレイヤを重畳画像３０５に重ね合わせることで、平面画像Ｐの外縁を表すフレーム４０を表示する。

なお、フレーム４０を非表示にする場合、フレーム表示部３６は透明なレイヤを非表示にすればよい。

＜表示例＞
図２３は、全天球画像ＣＥに表示されるフレーム４０の例を説明する図の一例である。図２３（ａ）〜図２３（ｄ）は、ユーザＵが表示装置３０を操作して徐々に全天球画像ＣＥを拡大している様子を示す。図２３（ａ）では全天球画像ＣＥのほぼ全体が閲覧領域Ｔに含まれている。図２３（ａ）の状態では画角ａが画角ｂの１．２倍より大きいため、フレーム４０が表示されている。また、画角の比率ではなく、平面画像の中心と閲覧領域Ｔの中心ｃｐとの距離が閾値未満になった時（例えば、閾値は閲覧領域Ｔの画角の１/４の長さ）としてもよい。

図２３（ｂ）、図２３（ｃ）のように徐々に全天球画像ＣＥが拡大されても、画角ａが画角ｂの１．２倍より大きいため、フレーム４０が表示される。図２３（ｄ）では、画角ａが画角ｂの１．２倍以下となったため、フレーム４０が表示されない。

＜動作手順＞
図２４は、表示装置３０が平面画像Ｐを表示する際にフレーム４０の表示の有無を制御する手順を示すフローチャート図の一例である。図２４の手順は、表示装置３０が全天球画像ＣＥを表示するとスタートする。すでに、全天球画像ＣＥに平面画像Ｐが重畳されているものとする。

判断部３５は、閲覧領域Ｔが変更されたか否か、又は、マウス操作されたか否かを判断する（Ｓ２１０）。閲覧領域Ｔが変更されるとは、ユーザＵが視線方向を変更するか、拡大、又は、縮小の操作を行ったことをいう。具体的には、視線方向画角指示部２６が、ユーザＵの操作を視線方向と画角に変更して画像重畳部３３に送出する。また、単にマウス操作されたか否かを判断してもよい。これにより、閲覧領域Ｔが変更されなくても何らかのマウスイベントを契機にステップＳ２２０以降の処理が進行する。

画像重畳部３３は、視線方向と画角によって閲覧領域Ｔを特定する（Ｓ２２０）。すなわち、全天球画像ＣＥのうち閲覧領域Ｔに対応する緯度と経度の範囲が特定される。

次に、判断部３５は閲覧領域Ｔに平面画像Ｐの一部でも入っているか否かを判断する（Ｓ２３０）。全く入っていない場合はフレーム４０を表示する必要がないので処理はステップＳ２８０に進む。

閲覧領域Ｔに一部でも平面画像Ｐが入っている場合（Ｓ２３０のＹｅｓ）、判断部３５は平面画像Ｐの画角ｂを算出する（Ｓ２４０）。また、閲覧領域の画角ａを算出する（Ｓ２５０）。

そして、判断部３５は画角ａと画角ｂの比率ａ/ｂと閾値１．２を比較して、比率ａ/ｂが閾値１．２より大きいか否かを判断する（Ｓ２６０）。

ステップＳ２６０の判断がＹｅｓの場合、ユーザＵが平面画像Ｐを見ると推定されないので、判断部３５はフレーム４０を表示すると判断する（Ｓ２７０）。フレーム表示部３６はフレーム４０のレイヤからマスクデータを使って閲覧領域Ｔを取り出して表示する。これにより、平面画像Ｐの場所や大きさをユーザＵに知らせることができる。

ステップＳ２６０の判断がＮｏの場合、ユーザＵが平面画像Ｐを見ると推定されるので、判断部３５はフレーム４０を表示しないと判断する（Ｓ２８０）。フレーム表示部３６はフレーム４０のレイヤを非表示にする。これにより、ユーザＵが平面画像Ｐを見る際にフレーム４０が邪魔になることを抑制できる。

画像表示部３１は、全天球画像ＣＥに平面画像Ｐが重畳され、フレーム４０が表示又は非表示の重畳画像３０５をディスプレイ５０８に表示する（Ｓ２９０）。

＜(i)の判断方法＞
次に、「(i) ユーザＵが平面画像Ｐをクリックした場合」の判断方法について説明する。ユーザＵが平面画像Ｐをクリックした場合、ユーザＵが平面画像Ｐを見たいことが明らかになるので、(ii)の条件を満たしていなくても、フレーム表示部３６はフレーム４０を表示する必要がなくなる。また、ユーザＵが平面画像Ｐを見たいことが明らかなので、射影方式変換部２が平面画像Ｐを閲覧領域Ｔの全面に表示すれば、平面画像Ｐが正面になるようにユーザＵが操作する必要がなくなり便利である。具体的には図２３（ａ）のフレーム４０で示される平面画像ＰをユーザＵがクリックすることで、図２３（ａ）から図２３（ｄ）へ閲覧領域Ｔを変えるような表示方法である。このような表示方法を平面画像Ｐの自動拡大と称して説明する。なお、タッチパネルを備えた機器への表示を行う場合には平面画像Ｐがタッチされた場合に同様の動作を行う。

図２５を用いて平面画像Ｐの自動拡大について説明する。図２５は、閲覧領域Ｔへの平面画像Ｐの自動拡大の処理を説明する図の一例である。平面画像Ｐにマウスカーソル３１１が重なった状態でユーザＵがクリックしたものとする。タッチパネルの場合は、ユーザＵが指で平面画像Ｐをタップすることが相当する。マウスカーソルやタッチパネルをポインティングデバイスという。以下では説明を簡単にするため、マウスカーソル３１１を例にして説明する。

視線方向画角指示部２６はマウスカーソル３１１がクリックされたディスプレイ５０８上の座標を全天球画像ＣＥの三次元座標に変換する。この変換は、透視投影変換と逆の変換に相当する。判断部３５は、マウスカーソル３１１の三次元座標を緯度・経度に変換して、マウスカーソル３１１の座標が平面画像Ｐに含まれるか否かを判断する。判断は以下のように行う。

頂点Ｂ１の経度≦マウスカーソルの座標の経度≦頂点Ｂ２の経度、かつ、
頂点Ｂ１の緯度≧マウスカーソルの座標の緯度≦頂点Ｂ４の緯度
判断部３５は、マウスカーソル３１１の座標が平面画像Ｐに含まれている場合、平面画像Ｐがクリックされたと判断する。

この場合、射影方式変換部２は平面画像Ｐを自動拡大する。射影方式変換部２は、平面画像Ｐを徐々に拡大して閲覧領域Ｔに一致させる画像処理を行う。具体的には、頂点Ａ１と頂点Ｂ１を結ぶ線３１２、頂点Ａ２と頂点Ｂ２を結ぶ線３１２、頂点Ａ３と頂点Ｂ３を結ぶ線３１２、頂点Ａ４と頂点Ｂ４を結ぶ線３１２、をそれぞれ等間隔に補間する。図２５では線３１２が４分割されている。補間により得られた線３１２上の補間点をＰ１ｉ〜P４ｉとする（ｉは１〜４の整数）。

平面画像Ｐを自動拡大する処理は閲覧領域Ｔの画角ａを小さくする処理である。画像表示部３１は、補間点Ｐ１３・Ｐ２３・Ｐ３３・Ｐ４３を結ぶ領域に閲覧領域Ｔを縮小する（画角ａを小さくする）。次に、補間点Ｐ１２・Ｐ２２・Ｐ３２・Ｐ４２を結ぶ領域に閲覧領域Ｔを縮小する。次に、補間点Ｐ１１・Ｐ２１・Ｐ３１・Ｐ４１を結ぶ領域に閲覧領域Ｔを縮小する。次に、平面画像Ｐの頂点Ｂ１・Ｂ２・Ｂ３・Ｂ４を結ぶ領域に閲覧領域Ｔを縮小する。

このような画像処理により、ユーザＵには平面画像Ｐが徐々に大きくなるように見える。閲覧領域Ｔに対し透視投影変換が行われディスプレイ５０８の全面（表示用のソフトウェアの全面）に表示されるため、ユーザＵには平面画像Ｐが大きく見える。

なお、閲覧領域Ｔに平面画像Ｐの全体が含まれていない場合も同様に自動拡大できる。図２６は、閲覧領域Ｔに平面画像Ｐの全体が含まれていない場合の平面画像Ｐの自動拡大の処理を説明する図の一例である。図２６では、平面画像Ｐの頂点Ｂ４しか閲覧領域Ｔに入っていない。しかし、平面画像Ｐの頂点Ｂ１〜Ｂ３の座標は閲覧領域Ｔに表示されていないだけで既知であるため、図２５と同様に自動拡大できる。

＜動作手順＞
図２７は、表示装置３０が平面画像Ｐを表示する際にフレーム４０の表示の有無を制御する手順を示すフローチャート図の一例である。なお、図２７の説明では主に図２４との相違を説明する。

ステップＳ２１０、Ｓ２２０の処理は図２４と同様でよい。次に、判断部３５は平面画像Ｐがクリックされたか否かを判断する（Ｓ２２２）。ステップＳ２２２の判断がＮｏの場合、以降の処理は図２４と同様である。

ステップＳ２２２の判断がＹｅｓの場合、判断部３５はフレーム４０を表示しないと判断する（Ｓ２２４）。

そして、射影方式変換部２は平面画像Ｐを自動拡大する（Ｓ２２６）。以上の処理により、ユーザＵは平面画像Ｐが正面になるように操作する必要がなくなる。

＜マウスカーソルの座標に基づくフレーム４０の表示制御＞
次に、「(iii) マウスカーソルの座標が平面画像Ｐと重なっていない場合」の判断方法について説明する。すなわち、判断部３５は、マウスカーソルの座標が平面画像Ｐと重なっている場合はフレーム４０を表示すると判断し、マウスカーソルの座標が平面画像Ｐと重なっていない場合はフレーム４０を表示しないと判断する。マウスカーソルの座標が平面画像Ｐと重なっているかどうかの判断方法は上記した。

図２８は、フレーム４０の表示と非表示を説明する図の一例である。図２８（ａ）では平面画像Ｐとマウスカーソル３１１が重なっているため、フレーム４０が表示されている。図２８（ｂ）では平面画像Ｐとマウスカーソル３１１が重なっていないため、フレーム４０が表示されない。

図２９は、表示装置３０が平面画像Ｐを表示する際にフレーム４０の表示の有無を制御する手順を示すフローチャート図の一例である。なお、図２９の説明では主に図２７との相違を説明する。

ステップＳ２１０〜Ｓ２３０の処理は図２７と同様でよい。ステップＳ２３０でＹｅｓと判断された場合、判断部３５はマウスカーソルが平面画像Ｐと重なっているか否かを判断する（Ｓ２３２）。

マウスカーソルが平面画像Ｐと重なっている場合（Ｓ２３２のＹｅｓ）、判断部３５はフレーム４０を表示すると判断する（Ｓ２７０）。マウスカーソルが平面画像Ｐと重なっていない場合（Ｓ２３２のＮｏ）、判断部３５はフレーム４０を表示しないと判断する（Ｓ２８０）。

こうすることで、ユーザＵがマウスカーソルを平面画像Ｐに重ねた場合にだけ表示装置３０はフレーム４０を表示するので、ユーザＵは全天球画像ＣＥを見やすくなる。また、ユーザＵがマウスカーソルを移動させマウスカーソルと平面画像Ｐが重なれば、フレーム４０が表示されるので平面画像Ｐがどこにあるかを見つけやすい。

なお、図２９とは逆に、マウスカーソルの座標が平面画像Ｐと重なっている場合はフレーム４０を表示しないと判断部３５が判断し、マウスカーソルの座標が平面画像Ｐと重なっていない場合はフレーム４０を表示すると判断してもよい。この場合、一般にフレーム４０が表示されている時間は表示されてない時間より長くなるので、ユーザＵは平面画像Ｐを見つけやすくなり、マウスカーソルを平面画像Ｐに重ねればフレーム４０を消去して平面画像Ｐを見ることができる。

＜全天球画像ＣＥの回転に基づくフレーム４０の表示制御＞
次に、「(iv) 全天球画像ＣＥの閲覧領域Ｔが変更されてから所定時間が経過した後」 の判断方法について説明する。判断部３５は、全天球画像ＣＥが回転された直後、所定時間フレーム４０を表示すると判断する。

図３０は、表示装置３０が平面画像Ｐを表示する際にフレーム４０の表示の有無を制御する手順を示すフローチャート図の一例である。なお、図３０の説明では主に図２９との相違を説明する。

ステップＳ２１０〜Ｓ２３０の処理は図２９と同様でよい。ステップＳ２３０でＹｅｓと判断された場合、判断部３５はフレーム４０を表示すると判断する（Ｓ２７０）。すなわち、ステップＳ１０で閲覧領域が変更された場合（全天球画像ＣＥが回転された場合）、閲覧領域Ｔに平面画像Ｐが入っていれば、フレーム表示部３６がフレーム４０を表示する。

次に、判断部３５は、フレーム４０を表示してから所定時間が経過したか否かを判断する（Ｓ２７２）。所定時間は例えば数秒である。ユーザＵがフレーム４０に気づく時間があればよく、ユーザＵが設定してもよい。

所定時間が経過すると、判断部３５はフレーム４０を表示しないと判断する（Ｓ２８０）。すなわち、閲覧領域Ｔが回転又は拡大・縮小され所定時間が経過するとフレーム４０を消去できる。したがって、ユーザＵに平面画像Ｐを気づかせやすくできると共に、平面画像Ｐの閲覧を妨害しにくい。

＜フレームの表示例＞
フレーム４０は平面画像Ｐの場所をユーザＵに知らせたり注意喚起するための画像部品であるが、画像部品は平面画像Ｐの場所をユーザＵに知らせたり注意喚起できるものであれば、どのような形態でもよい。フレーム４０は色合い又は輝度を任意に変更できる。

図３１（ａ）はフレーム４０の形態の一例を示す。図３１（ａ）のフレーム４０は白画素で表示されている。白画素の場合、全天球画像ＣＥが暗い場合にユーザＵが平面画像Ｐの場所に気づきやすくなる。図２３などのように黒画素の場合、全天球画像ＣＥが明るい場合にユーザＵが平面画像Ｐの場所に気づきやすくなる。平面画像Ｐの画素値の平均に応じて白画素と黒画素をフレーム表示部３６が自動で切り替えてもよい。フレーム４０が点滅したり、フレーム４０の点線が回転したりするような表示効果を与えてもよい。

また、図３１（ｂ）に示すようにフレーム表示部３６はフレーム４０内の色合いを変更してもよい。例えば、全天球画像ＣＥがカラーの場合、フレーム表示部３６は平面画像Ｐを白黒に変換する。この場合、フレーム４０そのものの表示は不要になる。フレーム表示部３６は、平面画像Ｐを白黒に変換する。

同様に、平面画像Ｐをセピア色にしたり、減色したりしてもよい。また、全天球画像ＣＥが白黒の場合、平面画像Ｐをカラーにしてもよい。この場合、平面画像Ｐは元々カラーであることが好ましい。フレーム表示部３６は全天球画像ＣＥを白黒に変換する。

また、平面画像Ｐの輝度を反転してもよい。輝度は「Y = 0.299R + 0.587G + 0.114B」で算出される。ＲＧＢがそれぞれ０〜２５５の値を取る場合、輝度も０〜２５５の値を取る。輝度の反転とは１２７を中心に輝度を逆の値に置き換えることをいう。
反転後の値＝｜反転前の値−２５５｜
こうすることで平面画像Ｐの輝度が周りと異なるので、ユーザは一目で平面画像Ｐに気づくことができる。なお、輝度の反転の他、階調反転、明度反転、色相反転などを行ってもよい。

また、フレーム表示部３６は、平面画像Ｐを点滅させてもよい。点滅とは、平面画像Ｐの態様に関し色調が変更された状態と通常の状態を交互に切り替えることをいう。例えば、フレーム表示部３６は、数秒ごとに色調が変更された状態と通常の状態を交互に切り替える。こうすることで、ユーザは平面画像Ｐに更に気づきやすくなる。

また、図３１（ｃ）に示すようにフレーム表示部３６は平面画像Ｐを指し示すアイコン３１３を表示してもよい。ユーザＵはこのアイコン３１３の内側に平面画像Ｐがあることを推測できるので、アイコン３１３の内側が正面になるように拡大すれば平面画像Ｐを閲覧できる。

＜まとめ＞
以上のように、本実施形態の画像処理システム１００は、全天球画像ＣＥに平面画像Ｐを重畳することで、画質が低い全天球画像ＣＥを平面画像Ｐで補うことができる。平面画像Ｐの位置がフレーム４０で表示されるのでユーザはどこに平面画像Ｐがあるかを容易に把握できる。ユーザが平面画像Ｐを見る場合、フレーム４０が消去されるのでフレーム４０が平面画像Ｐの閲覧を妨害することも抑制できる。

実施例１では(i)〜(iv)のような契機でフレーム４０の表示又は非表示を制御したが、本実施例では、フレーム４０の表示又は非表示の契機の他の例をいくつか説明する。

なお、本実施例において、実施例１において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

Ａ．平面画像Ｐをクリック又はタップすること
実施例１の(i)ではクリックやタッチによりフレームが非表示になると説明したが、逆に、ユーザが平面画像Ｐをクリック又はタッチした場合にフレームを表示又は非表示にしてもよい。

図３２は、表示装置３０が平面画像Ｐを表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。図３２の説明では主に図２４との相違を説明する。ステップＳ２１０〜Ｓ２９０までの処理は図２４と同じでよい。

ステップＳ２９０に続いて、フレーム表示部３６は平面画像Ｐがクリック又はタップされたか否かを判断する（Ｓ３２−１）。フレームが表示されているか否かに関わらず、クリック又はタップされた位置が平面画像Ｐと重なっているか否かをマスクデータを使って判断する。

ステップＳ３２−１の判断がＹｅｓの場合、フレーム表示部３６は現在、フレームが表示されているか否かを判断する（Ｓ３２−２）。

フレームが表示されている場合、フレーム表示部３６はフレームを非表示にし（Ｓ３２−３）、フレームが表示されていない場合、フレーム表示部３６はフレームを表示する（Ｓ３２−４）。

フレームが表示された状態でクリック又はタッチされると、射影方式変換部２は平面画像Ｐを自動拡大する（Ｓ２２４）。

このように、画角ａと画角ｂの比率ａ/ｂが１．２未満でフレームが表示されていない場合でも、クリック又はタップによりフレームを表示することができる。また、フレームが表示されている場合にクリック又はタップされるとフレームを非表示にして平面画像を自動拡大することができる。したがって、ユーザは自分の好みでフレームの表示と非表示を切り替えることができる。

図３２の処理では、画角ａと画角ｂの比率ａ/ｂが１．２より大きい場合に、フレームが表示されるが、単純に、ユーザのクリック又はタップで表示と非表示を切り替えてもよい。

図３３は、表示装置３０が平面画像Ｐを表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。図３３の処理では、閲覧領域に平面画像が含まれていてもフレームは表示されない。

ステップＳ２２０に続いて、フレーム表示部３６は平面画像Ｐがクリック又はタップされたか否かを判断する（Ｓ３２−１）。

平面画像がクリック又はタップされると、フレーム表示部は現在、フレームが表示されているか否かを判断する（Ｓ３２−２）。

フレームが表示されている場合、フレーム表示部３６はフレームを非表示にし（Ｓ３２−３）、フレームが表示されていない場合、フレーム表示部３６はフレームを表示する（Ｓ３２−４）。

このような処理によれば、ユーザは平面画像のクリック又はタップによりフレームの表示と非表示を切り替えることができる。この処理ではクリック又はタップでフレームの表示と非表示が切り替わるので、クリックによる自動拡大が困難になるが、自動拡大は例えば右クリックで表示されるメニューなどから行ってもよいし、ダブルクリックなどで行ってもよい。

なお、変形例として、フレーム表示部３６が閲覧領域に入っている平面画像に自動的にフレームを表示しておき、フレームの表示後に一定時間が経過するとフレームが自動的に消去してもよい。ユーザは平面画像のあることを把握してフレームのない全天球画像を閲覧できる。また、クリック又はタップによりフレームの表示と非表示を切り替えることができる。

Ｂ．視線検知によりフレームの表示と非表示を切り替える
クリックやタッチではなく視線検知によりフレームの表示と非表示を切り替えることもできる。

図３４は、表示装置３０による視線検知を説明する図の一例である。本実施例の表示装置３０は視線検知装置９０を有している。視線検知装置９０はカメラを有しており、少なくとも眼を含む顔画像を撮像する。視線検知装置９０は顔画像の画像データを解析して視線方向を検出する。視線方向は、基準点と動点の相対位置に基づいて検出される。一例として、基準点に目頭、動点に虹彩を選ぶ方法と、基準点に角膜反射、動点に瞳孔を選ぶ方法とがある。角膜反射が使用される場合視線検知装置９０は点光源を照射する。視線検知装置９０は、画像データから顔部分を特定し、顔部分から眉、鼻孔、目、唇などの特徴的な部品を特定し、これらの配置関係から目の位置を特定する。目の位置が特定されると目頭、動点、角膜反射及び瞳孔を検出できる。基準点と動点の相対位置に視線方向が対応付けられたテーブルが予め容易されており、視線検出装置はこのテーブルを参照して視線方向を検出する。視線方向は例えば視線検出装置の撮像素子の中心を原点とする三次元座標系のベクトルで表される。視線検出装置の撮像素子を基準とする閲覧領域の相対的な位置が明らかであれば、表示装置３０のディスプレイ（閲覧領域）における視線の到達点の座標（視線位置）が特定される。フレーム表示部３６はこの座標を定期的に取得して平面画像Ｐと重なっているか否かを判断する。

図３５（ａ）は、表示装置３０が平面画像Ｐを表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。図３５（ａ）の説明では主に図３２との相違を説明する。

フレーム表示部３６は視線位置に基づいて平面画像Ｐが注視されたか否かを判断する（Ｓ３５−１）。フレームが表示されていてもいなくてもよいが、次述するようにフレームが表示されている場合は視線位置は制御に使用されない。フレーム表示部３６は視線位置が平面画像Ｐと重なっているか否かをマスクデータを使って判断する。

ステップＳ３５−１の判断がＹｅｓの場合、フレーム表示部３６は現在、フレームが表示されているか否かを判断する（Ｓ３５−２）。

フレームが表示されている場合、フレーム表示部３６はフレームを表示にしたままにして（Ｓ３５−３）、フレームが表示されていない場合、フレーム表示部３６はフレームを表示する（Ｓ３５−４）。

そして、平面画像がクリックされると（Ｓ３５−５）、フレーム表示部３６はフレームが表示されている場合に（Ｓ３５−６）、フレームを非表示にして（Ｓ３５−７）、射影方式変換部２が平面画像Ｐを自動拡大する（Ｓ２２４）。フレーム表示部３６はフレームが表示されていない場合にフレームを表示する（Ｓ３５−８）。

このように、フレームが表示されていなくてもユーザが注視するだけでフレームが表示されるので、平面画像Ｐが視線位置に存在する場合、ユーザは平面画像Ｐに気づくことができる。また、すでにフレームが表示されている場合は平面画像Ｐが注視されてもフレームは表示されたままなので、フレームがハンチングすることを防止できる。また、平面画像がクリックされるとフレームが表示されている場合は自動拡大でき、フレームが表示されていない場合はフレームを表示できる。

なお、ユーザが意図的にフレームを消去したい場合は、そのためのボタンを押下したり、図３３のようにクリック又はタップしたりする方法が考えられる。あるいは、フレームの表示後の一定時間が経過するとフレームが自動的に消去されてもよい。

また、図３５（ｂ）のように、ユーザが平面画像Ｐを注視しかつクリック又はタップした場合にフレームを表示してもよい。

図３５（ｂ）では、フレーム表示部３６は視線位置に基づいて平面画像Ｐが注視されたか否かを判断する（Ｓ３５−１）。

ステップＳ３５−１の判断がＹｅｓの場合、フレーム表示部３６は平面画像がクリックされると（Ｓ３５−５）、フレームを表示し（Ｓ３５−８）、クリックされなければフレームを表示しない（Ｓ３５−７）。

このような処理では、注視しただけではフレームが表示されないのでユーザが煩わしく感じることを抑制できる。注視しなくなればフレームを非表示にできる。

Ｃ．平面画像Ｐが閲覧領域の中心付近に存在する場合にフレームを表示する
平面画像Ｐが閲覧領域の中心付近に存在する場合、ユーザが平面画像Ｐの被写体に興味を持っていると推測されるため、フレームを表示することでユーザに平面画像Ｐの存在を知らせることができる。

図３６は、閲覧領域と平面画像Ｐの距離を説明する図である。フレーム表示部３６は閲覧領域の中心と平面画像Ｐの中心の距離Ｌを算出して閾値と比較することで、フレームを表示するか否かを判断する。図３６（ａ）では距離Ｌが閾値以上なので、フレームが表示されない。図３６（ｂ）では距離Ｌが閾値未満なのでフレームが表示される。

図３７は表示装置３０が平面画像Ｐを表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。図３７の説明では主に図３５との相違を説明する。

ステップＳ２３０で閲覧領域に平面画像Ｐが入っていると判断されると、フレーム表示部３６は閲覧領域と平面画像Ｐの距離を算出し、距離が閾値未満か否かを判断する（Ｓ３７−１）。閾値については実験的に定めればよい。例えば、閲覧領域の対角線の画素数の１/３、１/４等などである。

閲覧領域と平面画像Ｐの距離が閾値未満の場合、フレーム表示部３６はフレームを表示すると判断し（Ｓ３７−２）、距離が閾値以上の場合、フレーム表示部３６はフレームを表示しないと判断する（Ｓ３７−３）。以降の処理は図３５と同様である。

このように、ユーザが閲覧領域の中心付近で見ようとしている被写体がある場合、フレームが表示されるので、ユーザは平面画像Ｐの存在に気づくことができる。

Ｄ．マウスカーソルが平面画像Ｐと重なっている場合に非表示にして重なっていない場合に表示する
実施例１では、マウスカーソルが平面画像Ｐと重なっている場合に表示し、重なっていない場合に非表示としたが、その逆に、マウスカーソルが平面画像Ｐと重なっている場合に非表示にして重なっていない場合に表示してもよい。こうすることで、ユーザはマウスカーソルを重ねることでフレームがない状態でユーザが平面画像Ｐを閲覧できる。

図３８は、表示装置３０が平面画像Ｐを表示する際にフレームの表示の有無を制御する手順を示すフローチャート図の一例である。図３８の説明では主に図３７との相違を説明する。

ステップＳ２３０に続いて、フレーム表示部３６はマウスカーソルが平面画像Ｐと重なっているか否かを判断する（Ｓ３８−１）。

マウスカーソルが平面画像Ｐと重なっている場合、フレーム表示部３６はフレームを表示しないと判断し（Ｓ３８−２）、マウスカーソルが平面画像Ｐと重なっていない場合、フレーム表示部３６はフレームを表示すると判断する（Ｓ３８−３）。以降の処理は図３７と同様でよい。

このように、マウスカーソルが平面画像Ｐと重なっていない場合はフレームが表示されることでユーザが平面画像Ｐの場所に気づくことができ、マウスカーソルが平面画像Ｐと重なっている場合は平面画像Ｐをフレームなしに閲覧できる。

＜まとめ＞
以上説明したように、本実施例の表示装置３０は、種々のイベントを契機にしてフレーム４０の表示又は非表示を制御できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上記の(i)から(iv)は自動的にフレーム４０の表示・非表示を切り替えるものであるが、ユーザＵが意図的に表示・非表示を指定してもよい。

また、平面画像Ｐが表示されている状態でフレーム４０の表示と非表示が切り替えられていたが、画像重畳部３３はフレーム４０が表示される場合にだけ平面画像Ｐを表示し、フレーム４０が表示されない場合に平面画像Ｐを非表示にしてもよい。

また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像ＣＥを表示するためのアプリケーションソフトで行ってもよい。

また、本実施形態の全天球画像は閲覧領域Ｔに表示しきない画角の画像データであればよい。例えば、水平方向にだけ１８０度〜３６０度の画角を有する画像でもよい。

また、図１１、１８などの構成例は、全天球カメラ２０、表示装置３０、及びデジタルカメラ９による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。全天球カメラ２０、表示装置３０、及びデジタルカメラ９の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、判断部３５は判断手段の一例であり、フレーム表示部３６は画像提示手段の一例であり、視線方向画角指示部２６は操作受付手段の一例であり、画像表示部３１は画像表示手段の一例である。視線検知装置９０は視線位置検出手段の一例である。

７ 変換表示部
８ 位置パラメータ作成部
９ デジタルカメラ
２０ 全天球カメラ
２３ 位置パラメータ算出部
２４ 位置パラメータ書出部
２６ 視線方向画角指示部
３０ 表示装置
３２ 画像重畳部
３３ 画像重畳部
３５ 判断部
３６ フレーム表示部
１００ 画像処理システム

特開２０１６−９６４８７号公報

Claims (18)

1. 第一の画像と異なる品質の第二の画像が重畳された前記第一の画像を表示する表示装置であって、
   前記第二の画像が閲覧されるか否かを判断する判断手段と、
   前記判断手段の判断結果に応じて、前記第二の画像が存在する旨の表示と非表示を切り替える画像提示手段と、
   を有する表示装置。
2. 前記画像提示手段は、前記判断手段の判断結果に応じて、前記第二の画像の位置又は大きさを示す画像部品の表示と非表示を切り替える請求項１に記載の表示装置。
3. 前記判断手段が前記第二の画像が閲覧されると判断した場合、前記画像提示手段は前記画像部品を表示せず、
   前記判断手段が前記第二の画像が閲覧されないと判断した場合、前記画像提示手段は前記画像部品を表示する請求項２に記載の表示装置。
4. 前記判断手段は、表示装置に表示された前記第一の画像の閲覧領域に対する前記第二の画像が表示された領域の比率を閾値と比較して、前記第二の画像が閲覧されるか否かを判断する請求項２又は３に記載の表示装置。
5. 前記第一の画像に対する操作を受け付ける操作受付手段を有し、
   前記操作受付手段が操作を受け付けた座標が前記第二の画像に重なっているか否かを前記判断手段が判断し、
   前記座標が前記第二の画像に重なっていると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示しない請求項２又は３に記載の表示装置。
6. 前記第二の画像が前記表示装置に表示されている場合に、前記座標が前記第二の画像に重なっていると前記判断手段が判断した場合、
   前記第二の画像を前記表示装置の表示サイズまで徐々に拡大して表示する画像表示手段を有する請求項５に記載の表示装置。
7. 前記操作受付手段が操作を受け付けるポインティングデバイスの座標が前記第二の画像に重なっているか否かを前記判断手段が判断し、
   前記ポインティングデバイスの座標が前記第二の画像に重なっていると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示し、
   前記ポインティングデバイスの座標が前記第二の画像に重なっていないと前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示しない請求項５又は６に記載の表示装置。
8. 前記操作受付手段が操作を受け付けるポインティングデバイスの座標が前記第二の画像に重なっているか否かを前記判断手段が判断し、
   前記ポインティングデバイスの座標が前記第二の画像に重なっていると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示せず、
   前記ポインティングデバイスの座標が前記第二の画像に重なっていないと前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示する請求項５又は６に記載の表示装置。
9. 前記操作受付手段が前記第一の画像の閲覧領域の変更を受け付けた場合、
   閲覧領域が変更されてから所定時間、前記画像提示手段は前記画像部品を表示し、閲覧領域が変更されてから所定時間が経過すると前記画像提示手段は前記画像部品を表示しない請求項５又は６に記載の表示装置。
10. 前記第一の画像は撮像装置の周囲３６０度が撮像された全天球画像であり、前記第二の画像は前記第一の画像の閲覧領域に全体を表示可能な画像である請求項２〜９のいずれか１項に記載の表示装置。
11. 前記第一の画像に対する操作を受け付ける操作受付手段を有し、
    前記操作受付手段が操作を受け付けた座標が前記第二の画像に重なっているか否かを前記判断手段が判断し、
    前記座標が前記第二の画像に重なっていると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示する請求項２又は３に記載の表示装置。
12. ユーザの視線位置を検出する視線位置検出手段を有し、
    前記視線位置検出手段が検出した視線位置が前記第二の画像に重なっているか否かを前記判断手段が判断し、
    前記視線位置が前記第二の画像に重なっていると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示する請求項２又は３に記載の表示装置。
13. 前記判断手段は前記第一の画像の中心と前記第二の画像の中心の距離が閾値未満か否かを判断し、
    前記距離が閾値未満であると前記判断手段が判断した場合、前記画像提示手段は前記画像部品を表示する請求項２又は３に記載の表示装置。
14. 前記画像部品は、前記第二の画像の外縁を示す枠であることを特徴とする請求項２〜１３のいずれか１項に記載の表示装置。
15. 前記画像部品は、前記第二の画像を指し示す画像であることを特徴とする請求項２〜１３のいずれか１項に記載の表示装置。
16. 前記第二の画像が存在する旨は、前記第二の画像の色合い又は輝度が前記第一の画像と異なる態様であることで示されることを特徴とする請求項１〜１３のいずれか１項に記載の表示装置。
17. 第一の画像と異なる品質の第二の画像が重畳された前記第一の画像を表示する表示装置を、
    前記第二の画像が閲覧されるか否かを判断する判断手段と、
    前記判断手段の判断結果に応じて、前記第二の画像が存在する旨の表示と非表示を切り替える画像提示手段、
    として機能させるためのプログラム。
18. 第一の画像と異なる品質の高画質な第二の画像が重畳された前記第一の画像を表示する表示装置が行う表示方法であって、
    判断手段が、前記第二の画像が閲覧されるか否かを判断するステップと、
    画像提示手段が、前記判断手段の判断結果に応じて、前記第二の画像が存在する旨の表示と非表示を切り替えるステップと、
    を有する表示方法。