JP2020022015A - 配信システム、受信クライアント端末、配信方法 - Google Patents

Abstract

【課題】全天球画像のような広角な画像の一部の画角の閲覧を制御することができる配信システムを提供すること。
【解決手段】動画像を構成する各画像のうち通常画角以外の画角のみを暗号化する暗号化手段３５と、所定の権限を有する特権閲覧者が操作する受信クライアント端末に対して復号鍵を提供する提供手段４３と、前記提供手段から提供された前記復号鍵を用いて前記通常画角以外の画角を復号する復号手段５２と、前記暗号化手段で暗号化されていない通常画角と前記復号手段で復号された前記通常画角以外の画角とに基づいて前記動画像を表示する表示手段５４と、を有することを特徴とする配信システム１００を提供する。
【選択図】図１

Description

本発明は、配信システム、受信クライアント端末、及び配信方法に関する。

１回の撮像操作で周囲３６０度の撮像が可能な撮像装置が知られている。周囲３６０度が撮像された画像を全天球画像という。撮像装置によっては全天球画像を動画で撮像することもできる。このような全天球画像をユーザが閲覧できるように全天球画像を配信する配信システムも知られており、サーバなどに登録されている全天球画像を、ユーザはクライアント端末で受信して閲覧することができる。

従来から、各種の動画像の配信システムがあるが、セキュリティを向上させるなどの理由から、動画の一部を暗号化して配信する技術が知られている（例えば、特許文献１参照）。特許文献１には、セキュリティ及び配信側と受信側とのインタラクティブ性を向上させる目的で、配信側で動画像の一部のみを暗号化して配信し、受信側からの復号鍵の要求に対して復号鍵と暗号化してない残りの部分を配信し、受信側が復号鍵で復号した動画像に暗号化してない部分を加えて動画像を復元する方法が開示されている。

しかしながら、従来の配信システムは、全天球画像のような広角な画像の一部の画角の閲覧を制御することが困難であるという問題がある。以下、説明する。まず、全天球画像は非常に広角であるため、全天球の中心の仮想的な視点から視線方向と画角で特定される閲覧領域を端末装置が表示するという方法が採用されている。したがって、ユーザはマウスやタッチパネルの操作で全天球画像のうち見たい閲覧領域を指定する。

配信システムが全天球画像の静止画又は動画を配信することは困難でないが、全天球画像の一部の画角の閲覧を制御したい場合がある。すなわち、全天球画像を配信するだけでは全閲覧者が全天球画像の全体を見ることができてしまう。全天球画像が動画の場合は、更に多くの情報を全閲覧者が把握できてしまう。このように、全天球画像の配信システムでは、配信者が全天球画像の一部をより多くの視聴料を支払った受信者だけに閲覧を許可したい場合などに対応できない。

なお、一般的な画角の平面画像が配信される場合も、ある程度広い画角であれば同様の課題は生じうる。

本発明は、上記課題に鑑み、全天球画像のような広角な画像の一部の画角の閲覧を制御することができる配信システムを提供することを目的とする。

上記課題に鑑み、本発明は、動画像を構成する各画像のうち通常画角以外の画角のみを暗号化する暗号化手段と、所定の権限を有する特権閲覧者が操作する受信クライアント端末に対して復号鍵を提供する提供手段と、前記提供手段から提供された前記復号鍵を用いて前記通常画角以外の画角を復号する復号手段と、前記暗号化手段で暗号化されていない通常画角と前記復号手段で復号された前記通常画角以外の画角とに基づいて前記動画像を表示する表示手段と、を有することを特徴とする配信システムを提供する。

全天球画像のような広角な画像の一部の画角の閲覧を制御することができる配信システムを提供することができる。

配信システムの構成と動作の概略を説明する図の一例である。 本実施形態に係るコンピュータシステムの一例のハードウェア構成図である。 撮像装置の断面図の一例である。 広角レンズを用いた撮像装置における射影関係を説明する図の一例である。 全天球画像フォーマットのデータ構造を説明する図の一例である。 平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を説明する図の一例である。 ２つの広角レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。 送信クライアント、管理サーバ、及び、受信クライアントの機能をブロック状に示す機能ブロック図の一例である。 一般的な画像符号化を説明する図の一例である。 全天球画像の暗号化画角について説明する図の一例である。 配信システムの全体的な動作の流れを示すシーケンス図の一例である。 送信クライアントの暗号化部が暗号化する手順を示すフローチャート図の一例である。 受信クライアントの復号部が復号する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、配信システムと配信システムが行う配信方法について図面を参照しながら説明する。

＜配信システムの動作の概略＞
まず、図１を用いて本実施形態の配信システムの動作の概略を説明する。図１は、配信システム１００の構成と動作の概略を説明する図の一例である。

配信システム１００は、送信クライアント１０、管理サーバ３０、及び、受信クライアント２０を有している。送信クライアント１０は例えばリアルタイムに動画像を、管理サーバ３０を介して受信クライアント２０に送信しており、受信クライアント２０は送信クライアント１０からリアルタイムで動画像を受信する。
（１）送信クライアント１０は撮像装置４０が撮像した全天球画像（静止画でも動画でもよいが、本実施形態では主に動画が想定される）の通常画角以外を暗号化する。例えば、全天球画像４０３はいくつかの領域に分割され、このうち、暗号化されない全天球画像の一部を通常画角４０１といい、暗号化される全天球画像の通常画角以外の一部を暗号化画角４０２という。通常画角４０１は、全ての閲覧者に見せてもよいと配信者が判断した画角であり、暗号化画角４０２は権限がある閲覧者にのみ見せたいと配信者が判断した画角である。

・全天球画像の全体を見る権限がない閲覧者の場合
（２）全天球画像４０３の全体を見る権限がない閲覧者（以下、一般閲覧者という）が全天球画像４０３を閲覧する場合、受信クライアント２０を操作して管理サーバ３０と通信させる。なお、一般閲覧者の場合も認証してよい。受信クライアント２０は全天球画像４０３の通常画角４０１を表示するが、暗号化画角４０２は暗号化されたままなので、一般閲覧者は通常画角しか閲覧できない。

・全天球画像の全体を見る権限がある閲覧者の場合
（３）全天球画像４０３の全体を見る権限がある閲覧者（以下、特権閲覧者という）は、まず、特権閲覧者であることを示すために管理サーバ３０から認証を受ける。
（４）認証が成功した場合、管理サーバ３０は復号鍵を受信クライアント２０に送信する。受信クライアント２０は全天球画像４０３の暗号化画角４０２を復号鍵で復号し、通常画角４０１と結合して１つの全天球画像４０３を生成する。これを動画像の各フレームで行う。したがって、受信クライアント２０は通常画角４０１だけでなく暗号化画角４０２の画像も表示でき、特権閲覧者は全天球画像の全体を閲覧できる。

このように、本実施形態の配信システム１００は、全天球画像の一部を暗号化して配信するので、一般閲覧者に対しては暗号化画角の閲覧を制限し、特権閲覧者に対しては全体の閲覧を許可できる。したがって、全天球画像の一部の閲覧を制御することができる。

＜用語について＞
動画像とは動く画像、いわゆる動画である。映像と呼称されることも多い。

通常画角は、暗号化されない画角であり、全天球画像のうち予め固定の座標でもよいし、送信クライアント１０のユーザが決定してもよい。暗号化画角は暗号化される画角である。全体のうち通常画角でない部分が暗号化画角であり、全体のうち暗号化画角でない部分が通常画角である。

閲覧者は動画像を閲覧する者をいう。ユーザ、利用者、参加者又は会員などと呼ばれてもよい。特権閲覧者は、暗号化画角を閲覧する権限がある者として登録されている者をいう。

全天球画像は周囲３６０度が撮像された画像をいうが、必ずしも周囲３６０度が撮像されていなくてもよい。例えば、ユーザが画角を変更しなければ見ることができない程度の広い画角を有する広角な画像も含まれる。例えば、半円球でもよいし、水平方向のみに１８０〜３６０度の画角の画像でもよい。

＜システム構成について＞
図１を用いて閲覧システムについて補足して説明する。送信クライアント１０及び受信クライアント２０は管理サーバ３０とネットワークを介して通信可能である。図１では送信クライアント１０及び受信クライアント２０が１台しか示されていないが、送信クライアント１０及び受信クライアント２０は複数あってもよい。

ネットワークは、インターネットなどの一般的なネットワークが想定されている。しかし、企業内や家庭内のＬＡＮ（Local Area Network）が含まれていたり、複数のＬＡＮから成るＷＡＮ（Wide Area Network）が含まれていたりしてもよい。ネットワークは、一部又は全体が無線化されていてもよい。無線のネットワークには、無線ＬＡＮ、ＷｉＭＡＸの他、３Ｇ，４Ｇ、５Ｇなどの携帯電話網が含まれてよい。

送信クライアント１０及び受信クライアント２０は少なくとも通信機能と表示機能を有する汎用的な情報処理装置である。より正確には送信クライアント１０は送信クライアント端末、受信クライアント２０は受信クライアント端末である。なお、送信クライアント１０は全天球画像を表示するわけではないので表示機能を有していなくてもよい。

送信クライアント１０及び受信クライアント２０となりうる情報処理装置としては、例えば、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、携帯電話、時計型などのウェアラブルＰＣがある。この他、電子黒板、テレビ会議端末、デジタルサイネージ端末、又はカーナビなど、情報処理装置の機能を有する装置であればよい。送信クライアント１０及び受信クライアント２０では例えばブラウザソフト又は配信システム１００に専用のアプリケーションソフトが動作する。

管理サーバ３０はいわゆるサーバ装置であり、情報処理装置の機能を有する。サーバとはネットワークで繋がった他のコンピュータにファイルやデータ等を提供するコンピュータである。Ｗｅｂサーバ、ＨＴＴＰサーバ、ＷＷＷサーバなどと呼ばれる場合がある。本実施形態では閲覧者の認証を行い、通信セッションごとに暗号鍵と復号鍵を生成すると共に管理し、認証が成功して特権閲覧者であると判断すると復号鍵を受信クライアント２０に送信する。

全天球画像と復号鍵はアプリケーションソフトの部品として送信されてもよいし、画面情報（Ｗｅｂページ）として送信されてもよい。アプリケーションソフトの部品として送信される場合、アプリケーションソフトが復号鍵で暗号化画角を復号し、決まった場所に表示する。画面情報（Ｗｅｂページ）として送信される場合、画面情報はＨＴＭＬ（Hyper Text Markup Language）、スクリプト言語、及び、ＣＳＳ（Cascade Style Sheet）などで記述されている。受信クライアント２０はスクリプト言語を実行して復号鍵で全天球画像の暗号化画角を復号する。認証が失敗した場合は復号鍵が送信されないので復号できない。

なお、管理サーバ３０は送信クライアント１０と受信クライアント２０に対しＷｅｂアプリを提供してもよい。Ｗｅｂアプリとは、ブラウザソフト上で動作するスクリプト言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、ブラウザ上で使用されるソフトウェア又はその仕組みを言う。

＜ハードウェア構成例＞
次に、本実施形態の配信システム１００における送信クライアント１０、受信クライアント２０、管理サーバ３０、及び、撮像装置４０のハードウェア構成について説明する。

＜＜受信クライアント、送信クライアント、管理サーバのハードウェア構成例＞＞
受信クライアント２０、送信クライアント１０、管理サーバ３０は、例えば図２に示すハードウェア構成のコンピュータシステムにより実現される。図２は本実施形態に係るコンピュータシステム３００の一例のハードウェア構成図である。

図２に示したコンピュータシステム３００は、入力装置２０１、表示装置２０２、外部Ｉ／Ｆ２０３、ＲＡＭ（Random Access Memory）２０４、ＲＯＭ（Read Only Memory）２０５、ＣＰＵ（Central Processing Unit）２０６、通信Ｉ／Ｆ２０７、及びＨＤＤ（Hard Disk Drive）２０８などを備え、それぞれがバスＢで相互に接続されている。

入力装置２０１はキーボードやマウス、タッチパネルなどを含み、ユーザが各操作信号を入力するのに用いられる。表示装置２０２はディスプレイなどを含み、コンピュータシステム３００による処理結果を表示する。

通信Ｉ／Ｆ２０７はコンピュータシステム３００を社内ネットワーク及びインターネット等に接続させるインタフェースである。これにより、コンピュータシステム３００は通信Ｉ／Ｆ２０７を介してデータ通信を行うことができる。

ＨＤＤ２０８はプログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えばコンピュータシステム３００全体を制御する基本ソフトウェアであるＯＳ（Operating System）や、ＯＳ上において各種機能を提供するアプリケーションソフトなどがある。ＨＤＤ２０８は格納しているプログラムやデータ
を所定のファイルシステム及び／又はＤＢ（データベース）により管理している。

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａなどがある。これにより、コンピュータシステム３００は外部Ｉ／Ｆ２０３を介して記録媒体２０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体２０３ａにはフレキシブルディスク、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（SD Memory card）、ＵＳＢメモリ（Universal Serial Bus memo
y）などがある。

ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２０５には、コンピュータシステム３００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ２０４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

ＣＰＵ２０６は、ＲＯＭ２０５やＨＤＤ２０８などの記憶装置からプログラムやデータをＲＡＭ２０４上に読み出し、処理を実行することで、コンピュータシステム３００全体の制御や機能を実現する演算装置である。

なお、管理サーバ３０は、クラウドコンピューティングに対応していることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。

＜＜撮像装置のハードウェア構成例＞＞
図３は、本実施形態による撮像装置４０の断面図である。撮像装置４０は全天球カメラ等と呼ばれる撮像装置４０である。撮像装置４０は、撮像体１１と、撮像体１１及びコントローラやバッテリなどの部品を保持する筐体１５と、筐体１５に設けられたシャッター・ボタン１４とを備える。

図３に示す撮像体１１は、２つの結像光学系１２Ａ，１２Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子１３Ａ，１３Ｂを含む。１組の結像光学系１２と固体撮像素子１３をそれぞれ撮像光学系１９と称する。

結像光学系１２は、例えば６群７枚の魚眼レンズを有しており、魚眼レンズは１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有する。より好適には、１８５度以上の画角を有し、更に好適には１９０度以上の画角を有する。これにより周囲３６０度の撮像を可能にする。

＜全天球画像の構成について＞
以下では、図４〜図７を用いて全天球画像の構造について説明する。

図４は、広角レンズを用いた撮像装置４０における射影関係を説明する図である。本実施形態において、１つ広角レンズで撮像された画像は、撮像地点から概ね半球分の方位を撮像したものとなる。また、広角レンズは、光軸に対する入射角度φに対応した像高ｈで画像生成される。図４（ａ）に示すように、像高ｈと入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、下記式（１）で表現される。
ｈ＝ｆ×φ …（１）
投影モデルとしては、その他、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図４（ｂ）に示すように、撮像範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図５は、全天球画像フォーマットのデータ構造を説明する図である。図５（ａ）に示すように全天球画像は立体球の形状であり、図５（ｂ）に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度である入射角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０〜３６０度（−１８０度〜＋１８０度とも表現できる。）の範囲となり、入射角度φは、０〜１８０度（同様に−９０度〜＋９０度とも表現できる。）の範囲となる。各座標値（θ，φ）は、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮像された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図４で説明したような射影関数を用いることによって対応付けることができる。

図６は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を説明する図の一例である。図６（ａ）は歪曲補正パラメータを示す。歪曲補正パラメータは、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。歪曲補正パラメータは、各広角レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）（θ＝０，・・・３６０度，φ＝０，・・・，１８０度）に対して保持する。

（θ,φ）と（ｘ、ｙ）には式で表すと以下の関係があるので、下式から図６（ｂ）の補正画像を得ることができる。図６（ｂ）の補正画像を正距円筒図形（正距円筒画像）という。
ｘ＝θ/π
ｙ＝２φ/π
図６（ｂ）は補正画像の座標値（θ,φ）と補正前の部分画像の座標値（ｘ、ｙ）の対応の一例を示す。図６の例では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、歪曲補正パラメータは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有することになる。

図７は、２つの広角レンズで撮像された２つの部分画像３５０の球面座標系へのマッピングを説明する図である。図７（ａ）は撮像装置４０の２つの撮像光学系１９と固体撮像素子を示す。図７（ａ）は図１の撮像装置４０が時計回りに９０度回転した状態を示す。ただし、撮像光学系１９の複数のレンズのうち最も被写体よりのレンズのみを示した。図７（ａ）に示すように２つの撮像光学系１９の最外のレンズは１８０°以上（半天球以上）の画角を有している。

図７（ｂ）は２つの部分画像３５０が平面画像３４０に歪曲補正される際の重複領域３３０を示す。図７（ｂ）に示すように、半天球の２つの部分画像３５０が正距円筒射影画像にマッピングされると重複領域３３０が生じる。重複領域３３０の合成処理の一例としては、アルファブレンドが挙げられる。

＜機能について＞
次に、図８を用いて送信クライアント１０、管理サーバ３０、及び、受信クライアント２０の機能について説明する。図８は、送信クライアント１０、管理サーバ３０、及び、受信クライアント２０の機能をブロック状に示す機能ブロック図の一例である。

＜＜送信クライアント＞＞
送信クライアント１０は、暗号鍵管理部３１、認証部３２、圧縮部３３、暗号化部３４及び通信部３５を有する。送信クライアント１０が有するこれら各機能部は、図２に示された各構成要素のいずれかが、ＨＤＤ２０８からＲＡＭ２０４に展開されたプログラムに従ったＣＰＵ２０６からの命令により動作することで実現される機能又は手段である。このプログラムは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

圧縮部３３は上記のように正距円筒図に変換された全天球画像を圧縮してサイズを削減する。圧縮方式はＪＰＥＧ、ＰＮＧ、ＧＩＦなど、適宜、選択される。圧縮方法について図９を用いて説明する。

暗号化部３４は圧縮された全天球画像のうち暗号化画角を暗号化する。換言すると通常画角以外の画角を暗号化画角として暗号化する。通常画角は予め決まっていてもよいし、以下のような方法で決定されてもよい。暗号化部３４は全天球画像を通常画角とそれ以外に分割し、残りの暗号化画角を矩形領域に分割してから暗号化する。詳細を図１０にて説明する。

通常画角又は暗号化画角が予め決まっていない場合、通常画角又は暗号化画角の決定方法について本実施形態では詳細に説明しないが、主に、ユーザが指定する方法と暗号化部３４が自動的に判断する方法がある。ユーザが指定する方法の場合、ユーザがマウスやタッチパネルで暗号化画角（又は通常画角）を指定する。ユーザが全天球画像のどの部分を暗号化画角に設定するかは、全天球画像の被写体等によって様々である。例えば、美しい風景、プライバシー性が高い情報（人物の顔、人名など）、文字など場所を特定する情報、公序良俗性が配慮される被写体などであるが、これらには限られない。自動的に判断する方法の場合、暗号化部３４は、予め設定された被写体を画像認識で検出し、この被写体が写っている範囲を暗号化する。画像認識には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどの機械学習で所定の被写体を学習しておく。

なお、暗号化画角に含まれるべき被写体でなく、通常画角に含まれるべき被写体をユーザが指定したり、自動的に認識したりして、通常画角以外を暗号化画角に決定してもよい。

また、暗号化部３４は、暗号化画角を指定するために例えば暗号化画角の対角頂点の座標を全天球画像に添付する。例えば、メタデータとして各全天球画像のどの画角が暗号化されているかを示す情報が添付されている。また、メタデータには通常画角の対角頂点の座標も含まれることが好ましい。通常画角が指定されることにより、全天球画像が表示された直後は、一般閲覧者及び特権閲覧者のどちらも暗号化されていない画角を閲覧できる。

暗号鍵管理部３１は、全天球画像の暗号化画角の暗号化に使う暗号鍵を管理する。暗号鍵は管理サーバ３０から送信される。例えば、１回の通信セッションに１つの暗号鍵が送信される。ただし、１回の通信セッション中でも一定時間ごとに切り替えてよい。管理サーバ３０では暗号鍵と対の復号鍵を管理している。暗号鍵と復号鍵を通信セッションごとに用意するのでなく、暗号鍵と復号鍵は全天球画像ごとに異なってもよいし、複数の全天球画像に１つに暗号鍵と復号鍵が用意されてもよい。

認証部３２は、送信クライアント１０のユーザの認証を管理サーバ３０に要求し、認証結果を取得する。なお、認証には公知の方法が使用されるものとする。例えば、ユーザＩＤ（ユーザの識別情報）とパスワードの組み合わせ、ＩＣカードのカード番号、生体情報（指紋や顔など）、などの認証情報を管理サーバ３０に送信する。

通信部３５は、管理サーバ３０と各種の情報を送受信する。本実施形態では、認証情報、暗号鍵、及び、全天球画像を管理サーバ３０に送信する。なお、通信部３５は暗号化画角と通常画角を別々に送信してもよいし、１つの全天球画像として送信してもよい。暗号化画角と通常画角を別々に送信する場合は、分割数など、全天球画像を構築するための情報も送信する。

＜＜管理サーバ＞＞
管理サーバ３０は課金管理部４１、通信部４２、及び、暗号鍵管理部４３を有している。管理サーバ３０が有するこれら各機能部は、図２に示された各構成要素のいずれかが、ＨＤＤ２０８からＲＡＭ２０４に展開されたプログラムに従ったＣＰＵ２０６からの命令により動作することで実現される機能又は手段である。このプログラムは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

また、管理サーバ３０は、図２に示されたＨＤＤ２０８等に構築される認証情報ＤＢ４４及び暗号鍵ＤＢ４５を有している。まず、認証情報ＤＢ４４及び暗号鍵ＤＢ４５について説明する。

表１は認証情報ＤＢ４４に記憶されている情報を模式的に示す。認証情報ＤＢ４４には閲覧者ＩＤに対応付けてパスワードと特権閲覧者か否かが登録されている。特権閲覧者の項目がTrueの場合、この閲覧者は特権閲覧者であると判断され、Falseの場合、この閲覧者は一般閲覧者であると判断される。閲覧者ＩＤは、閲覧者を識別又は特定するための識別情報である。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。閲覧者ＩＤとして、例えばメールアドレスを使用できる。

表２は暗号鍵ＤＢ４５に記憶されている情報を模式的に示す。暗号鍵ＤＢ４５には送信側の通信セッションＩＤに対応付けて通信セッションで送信される全天球画像を暗号化する暗号鍵と、暗号鍵と対の復号鍵が記憶されている。送信側の通信セッションＩＤは送信クライアント１０と管理サーバ３０の通信セッションを識別又は特定するための識別情報である。管理サーバ３０は、送信クライアント１０と通信セッションを接続すると暗号鍵と復号鍵を生成して通信セッションＩＤに対応付けて暗号鍵ＤＢ４５に記録する。受信クライアント２０は受信クライアントのＩＤなどで送信クライアント１０を指定する（又は、送信クライアント１０が受信クライアント２０を指定してもよい）。管理サーバ３０は送信クライアントが接続している送信側の通信セッションＩＤと受信クライアント２０が接続している受信側の通信セッションＩＤを管理しているため、送信側の通信セッションＩＤと受信側の通信セッションＩＤを対応付けることができる。

このように、通信セッションごとに暗号鍵と復号鍵が管理されるので、鍵の管理が容易になる。例えば、別の方法として、画像ごとに暗号鍵と復号鍵を管理する方法が考えられる。しかし、静止画であれば画像ごとに暗号鍵と復号鍵を管理できるが、動画の場合、画像の数が多いので鍵の管理は事実上、不可能になる。

続いて、管理サーバ３０の各機能について説明する。課金管理部４１は、閲覧者の認証情報を管理すると共に、閲覧者を認証する。認証が成功した場合、認証情報ＤＢ４４を参照して閲覧者が特権閲覧者か否かを判断する。なお、特権閲覧者の一例として、料金を支払った課金ユーザが挙げられる。しかし、特権閲覧者は課金ユーザに限られず、単なる登録会員でもよい。

暗号鍵管理部４３は、暗号鍵ＤＢ４５で通信セッションごとに暗号鍵及び復号鍵を管理する。送信クライアント１０が通信セッションを開始すると暗号鍵と復号鍵を生成し、暗号鍵ＤＢ４５に登録する。また、通信部４２を介して暗号鍵を送信クライアント１０に送信する。また、受信側の通信セッションが接続されると、受信クライアント２０が通信する送信クライアント１０の通信セッションＩＤを特定し、この通信セッションＩＤに対応付けられた復号鍵を、通信部４２を介して受信クライアント２０に送信する。なお、本実施形態では暗号鍵と復号鍵が異なる公開鍵暗号方式が前提となっているが、暗号鍵と復号鍵は同じでもよい（共通鍵暗号）。

通信部４２は、送信クライアント１０及び受信クライアント２０と各種の情報を送受信する。送信クライアント１０に対しては、暗号鍵を送信し、全天球画像を受信する。受信クライアント２０に対しては、全天球画像のみ（一般閲覧者）又は全天球画像と復号鍵（特権閲覧者）を送信する。

＜＜受信クライアント＞＞
受信クライアント２０は画像整形部５１、復号部５２、通信部５３、表示制御部５４、暗号鍵管理部５５、及び、認証部５６を有している。受信クライアント２０が有するこれら各機能部は、図２に示された各構成要素のいずれかが、ＨＤＤ２０８からＲＡＭ２０４に展開されたプログラムに従ったＣＰＵ２０６からの命令により動作することで実現される機能又は手段である。このプログラムは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

通信部５３は、管理サーバ３０と各種の情報を送受信する。例えば、認証情報を送信し、全天球画像のみ（一般閲覧者）又は全天球画像と復号鍵（特権閲覧者）を受信する。暗号化画角と通常画角が別々に送信される場合は、それぞれを受信する。暗号化画角と通常画角が別々に送信された場合、分割数など全天球画像を構築するための情報に基づいて１つの全天球画像を受信したことを判断する。

認証部５６は認証情報の入力を受け付け、通信部５３を介してこの認証情報を管理サーバ３０に送信し、認証結果（成功、失敗）を取得する。認証が成功した場合は復号鍵を通信部５３が受信する。なお、一般閲覧者の場合は認証しなくてもよい。

暗号鍵管理部５５は、管理サーバ３０から送信された復号鍵を通信セッションの間、管理する。例えば、通信セッションＩＤと復号鍵を対応付けて管理する。

復号部５２は、全天球画像の暗号化画角を復号鍵で復号する。復号部５２は暗号化画角として送信されている全天球画像の一部を復号する。あるいは、添付されているメタデータを参照して暗号化画角を特定し、全天球画像のうち暗号化画角を復号する。

画像整形部５１は、全天球画像を表示装置２０２が表示できるように全天球画像を整形する。例えば、立体球に正距円筒射影画像を貼り付けることで、立体球の中心からユーザが指定した画角の全天球画像を閲覧できるようにする。例えば、OpenGL ESのようなライブラリを利用することで、立体球に貼り付けることができる。なお、全天球画像が表示された直後は、メタデータに含まれる通常画角が表示範囲である。更に、画像整形部５１は、通常画角など全天球画像のある画角を表示装置２０２が表示できるように、透視投影変換により３次元の立体球を２次元の平面に変換する。

表示制御部５４は、画像整形部５１が整形した全天球画像を表示装置２０２に表示する。

＜圧縮の一例＞
図９は、一般的な画像符号化を説明する図の一例である。図９（ａ）は画素値が濃淡で表された元画像であり、図９（ｂ）は元画像の１ブロックの画素値を示す。一般に圧縮する前に元画像はブロックに分解される。図９では１ブロックは８×８の画素である。なお、図９では全てのブロックの縦横のサイズ（８×８）が一致しているが、必ずしも一致させる必要はない。

送信クライアント１０の圧縮部３３は圧縮のために例えばＤＣＴ（Discrete Cosine Transform）変換を行う。ＤＣＴ変換は、空間周波数分析を行って高周波数領域（細かく変化している箇所）のデータを間引くことによって、大きな圧縮率を実現する圧縮方法である。図９（ｃ）はＤＣＴ変換後のブロックの画素値を示す。左上に低周波数成分が集まり、右下に行くほど高周波数成分が集まる。図示するように高周波数成分は０に近い値となりこれらをゼロと見なすことで、情報量を削減する。つまり、圧縮部３３は低周波数成分のみをジグザグスキャンして圧縮後の画像とする。全天球画像の正距円筒図も同様に圧縮される。

＜暗号化画角の例＞
図１０は、全天球画像の暗号化画角について説明する図の一例である。図１０は正距円筒図法で１８０度×３６０度に展開された全天球画像である。例えば、受信クライアント２０が通常画角４０１を抜き出す場合、通常画角４０１の対角頂点を緯度と経度で指定して矩形領域を抜き出せばよい。

また、暗号化部３４が暗号化画角４０２を暗号化する場合、この暗号化画角４０２を幾つかの矩形領域に分割する。図１０では１つの暗号化画角４０２が４つの矩形領域に分割されている。

なお、図１０のように分割するのでなく、全天球画像のまま暗号化画角を暗号化してもよい。

＜全体的な動作の流れ＞
図１１は、配信システム１００の全体的な動作の流れを示すシーケンス図の一例である。

S1：送信クライアント１０の認証部３２は通信部３５を介して認証情報を送信し、管理サーバ３０に認証を要求する。ここでは認証が成立したものとする。

S2：送信クライアント１０の通信部３５は全天球画像（静止画又は動画）を送信するための通信セッションの開始を管理サーバ３０に要求する。

S3：管理サーバ３０の暗号鍵管理部４３は、送信側の通信セッションに対応する暗号鍵と復号鍵のペアを生成して暗号鍵ＤＢ４５に登録する。

S4：管理サーバ３０の通信部４２は暗号鍵を送信クライアント１０に送信する。

S5：一方、受信クライアント２０も通信部５３を介して認証情報を送信し、管理サーバ３０に認証を要求する。ここでは認証が成立したものとする。

S6：受信クライアント２０の通信部５３は全天球画像（静止画又は動画）を受信するための通信セッションの開始を管理サーバ３０に要求する。送信クライアント１０が受信クライアント２０を指定するか、又は、受信クライアント２０が送信クライアント１０を指定している。管理サーバ３０は通信している送信クライアント１０と受信クライアント２０を特定する。

これにより、管理サーバ３０の暗号鍵管理部４３は送信クライアント１０が参加している通信セッションと受信クライアント２０が参加している通信セッションを特定できる。暗号鍵管理部４３は、送信側の通信セッションＩＤに対応付けて受信側の通信セッションＩＤを暗号鍵ＤＢ４５に登録する。

S7：課金管理部４１は認証情報ＤＢ４４を参照し、認証した閲覧者が特権閲覧者かどうかを判断する。ここでは特権閲覧者であったものとする。

S8：管理サーバ３０の暗号鍵管理部４３は通信部４２を介して、暗号鍵ＤＢ４５から読み出した復号鍵を受信クライアント２０に送信する。この復号鍵は受信側の通信セッションＩＤに対応付けられているので容易に特定できる。

S9：送信クライアント１０の暗号化部３４は全天球画像のうち暗号化画角を暗号化する。

S10：送信クライアント１０の通信部３５は、暗号化された全天球画像を管理サーバ３０に送信する。すなわち、暗号化画角と通常画角を別々に又は１つの全天球画像として送信する。

S11：管理サーバ３０の通信部４２は暗号化された全天球画像を受信し、送信クライアント１０と通信している受信クライアント２０に送信する。

S12：受信クライアント２０の通信部５３は暗号化された全天球画像（暗号化画角と通常画角）を受信し、復号部５２が復号鍵で暗号化部３４を復号する。また、表示装置２０２が表示できるように全天球画像を画像整形部５１が整形し、表示制御部５４が全天球画像を表示装置２０２に表示する。

なお、図１１の手順では、受信クライアント２０が１つであるが、複数の受信クライアント２０がステップS5〜S8を非同期で実施している可能性がある。また、送信クライアント１０の処理と受信クライアント２０の処理は非同期でよい。

＜＜暗号化の処理＞＞
図１２を用いて送信クライアント１０における暗号化の処理について説明する。図１２は送信クライアント１０の暗号化部３４が暗号化する手順を示すフローチャート図の一例である。

ステップS101において、暗号化部３４は符号化された全天球画像を圧縮部３３から受け取る。

ステップS102において、暗号化部３４は暗号鍵管理部３１で管理されている暗号鍵を用い、暗号化画角を暗号化する。暗号化画角と通常画角を別々に送信する場合、メタデータには暗号化画角である旨が添付され、更に、１つの全天球画像を再構築するためにメタデータに暗号化画角と通常画角の座標が添付される。暗号化画角と通常画角を１つの全天球画像として送信する場合、少なくとも暗号化画角がどこであるかを示すためにメタデータに暗号化画角の座標が添付される。

ステップS103とS104において、通信部３５は暗号化画角と通常画角をそれぞれ管理サーバ３０に送信する。なお、暗号化画角と通常画角に分割せずに、暗号化画角が暗号化された１つの全天球画像を送信してもよい。

＜＜復号の処理＞＞
図１３を用いて、受信クライアント２０における復号の処理について説明する。図１３は受信クライアント２０の復号部５２が復号する手順を示すフローチャート図の一例である。

ステップS201において、受信クライアント２０の通信部５３は暗号化画角を受信する。

ステップS202において、復号部５２は暗号化画角を復号鍵で復号する。暗号化画角と通常画角が分割されている場合は、暗号化画角として送信されている画像を復号する。暗号化画角と通常画角が１つの全天球画像として送信されている場合、メタデータが指示する暗号化画角を復号する。

ステップS203において、全天球画像は圧縮されているため、復号部５２は復号した暗号化画角を伸長（デコード）する。

ステップS204において、受信クライアント２０の通信部５３は通常画角を受信する。

ステップS205において、全天球画像は圧縮されているため、復号部５２は通常画角を伸長（デコード）する。暗号化画角として送信されていないので復号は行われない。

ステップS206において、画像整形部５１はメタデータに記載された暗号化画角と通常画角の座標に基づいて暗号化画角と通常画角を結合して全天球画像の全体を生成する。全天球画像が分割されていない場合、結合は不要である。

＜まとめ＞
以上説明したように、本実施形態の配信システム１００は、全天球画像の一部を暗号化して配信するので、一般閲覧者に対しては暗号化画角の閲覧を制限し、特権閲覧者に対しては全体の閲覧を許可できる。したがって、全天球画像の一部の閲覧を制御することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、暗号化されない通常画角は正方形でなくてもよい。また、通常画角又は暗号化画角は虫食い状に複数あってもよい。

また、特権閲覧者にも複数の段階があってよく、権限の大きい特権閲覧者ほど広い暗号化画角を閲覧できてよい。この場合、管理サーバ３０は複数の暗号鍵と復号鍵を生成し、暗号鍵と復号鍵のペアを権限に対応付けておく。送信クライアント１０は暗号化画角を複数に区分し、それぞれを異なる暗号鍵で暗号化する。管理サーバ３０は特権閲覧者の権限に応じた復号鍵を受信クライアント２０に送信する。

また、図８では、送信クライアント１０が暗号化を行っているが、暗号化を管理サーバ３０が行うことも可能である。この場合、管理サーバ３０は暗号鍵を送信クライアント１０に送信する必要がない。しかし、送信クライアント１０から管理サーバ３０までの間の経路では暗号化画角が平文なので第三者が盗聴した場合に全体を閲覧できてしまう。図８のように送信クライアント１０が暗号化することで送信クライアント１０から管理サーバ３０までの間のセキュリティも向上できる。

また、撮像装置４０と送信クライアント１０は一体でもよい。更に、撮像装置４０は送信クライアント１０に固定されても脱着可能でもよい。

また、本実施形態では全天球画像の一部分を暗号化する例を説明したが、一般的な画角の平面画像の一部分を暗号化してもよい。

また、図８の構成例は、送信クライアント１０、管理サーバ３０、及び受信クライアント２０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。送信クライアント１０、管理サーバ３０、及び受信クライアント２０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、暗号化部３４は暗号化手段の一例であり、暗号鍵管理部４３は提供手段の一例であり、復号部５２は復号手段の一例であり、表示制御部５４は表示手段の一例であり、認証情報ＤＢ４４は閲覧者情報記憶手段の一例であり、通信部５３は通信手段の一例である。

１０ 送信クライアント
２０ 受信クライアント
３０ 管理サーバ
４０ 撮像装置
１００ 配信システム

特開２００２−３５３９５７号公報

Claims (8)

1. 動画像を構成する各画像のうち通常画角以外の画角のみを暗号化する暗号化手段と、
   所定の権限を有する特権閲覧者が操作する受信クライアント端末に対して復号鍵を提供する提供手段と、
   前記提供手段から提供された前記復号鍵を用いて前記通常画角以外の画角を復号する復号手段と、
   前記暗号化手段で暗号化されていない通常画角と前記復号手段で復号された前記通常画角以外の画角とに基づいて前記動画像を表示する表示手段と、
   を有することを特徴とする配信システム。
2. 動画像の閲覧者ごとに前記特権閲覧者か否かが登録された閲覧者情報記憶手段、を有し、
   前記提供手段は、前記動画像を閲覧する前記閲覧者を認証するものであり、
   前記提供手段は、認証が成功した前記閲覧者が前記特権閲覧者である旨が前記閲覧者情報記憶手段に登録されている場合、前記受信クライアント端末に前記復号鍵を提供することを特徴とする請求項１に記載の配信システム。
3. 前記特権閲覧者は、前記動画像を閲覧するために料金を支払う課金ユーザであることを特徴とする請求項１又は２に記載の配信システム。
4. 前記配信システムは、
   前記通常画角は暗号化されず、前記通常画角以外の画角が暗号化された前記動画像を、ネットワークを介して接続された情報処理装置に送信する送信クライアント端末と、
   前記情報処理装置と、
   前記情報処理装置から、前記通常画角は暗号化されず、前記通常画角以外の画角が暗号化された前記動画像を受信する前記受信クライアント端末と、を有し、
   前記情報処理装置の前記提供手段は暗号鍵を前記送信クライアント端末に送信し、
   前記受信クライアント端末に前記暗号鍵と対になる前記復号鍵を送信することを特徴とする請求項１〜３のいずれか１項に記載の配信システム。
5. 前記送信クライアント端末は前記情報処理装置と通信セッションを開始し、
   前記提供手段は、前記送信クライアント端末との前記通信セッションごとに暗号鍵と復号鍵を生成し、
   前記通信セッションで前記送信クライアント端末から前記情報処理装置に送信された前記動画像を受信する前記受信クライアント端末に対し、前記提供手段は、前記通信セッションごとに生成された暗号鍵と対の復号鍵を提供することを特徴とする請求項４に記載の配信システム。
6. 前記動画像は、周囲３６０度が撮像された全天球画像であることを特徴とする請求項１〜５のいずれか１項に記載の配信システム。
7. 情報処理装置とネットワークを介して通信する受信クライアント端末であって、
   動画像を構成する各画像のうち暗号化されていない通常画角と、暗号化された前記通常画角以外の画角と、
   前記通常画角以外の画角を復号するための復号鍵と、を前記情報処理装置から受信する通信手段と、
   前記通信手段が受信した前記復号鍵を用いて前記通常画角以外の画角を復号する復号手段と、
   暗号化されていない通常画角と前記復号手段で復号された前記通常画角以外の画角に基づいて前記動画像を表示する表示手段と、
   を有することを特徴とする受信クライアント端末。
8. 動画像を構成する各画像のうち通常画角以外の画角のみを暗号化する暗号化ステップと、
   所定の権限を有する特権閲覧者が操作する受信クライアント端末に対して復号鍵を提供する提供ステップと、
   前記提供ステップにより提供された前記復号鍵を用いて前記通常画角以外の画角を復号する復号ステップと、
   前記暗号化ステップで暗号化されていない通常画角と前記復号ステップで復号された前記通常画角以外の画角とに基づいて前記動画像を表示するステップと、
   を有することを特徴とする配信システムの配信方法。