JP2015089099A - 配信管理装置 - Google Patents

Abstract

【課題】ネットワークの帯域及び配信管理装置のリソースの消費量を制御しながら描画情報を端末に配信する。【解決手段】配信管理装置は、端末が受け付けた操作入力を示す操作情報を端末からネットワークを介して受信する受信部と、操作情報から端末に表示する描画情報を作成するブラウザと、描画情報をエンコードするエンコーダと、受信部が操作情報を受信した場合に、操作情報を受信してから所定の時間が経過するまで、エンコーダのフレームレートを上げる制御を行う操作情報制御部と、エンコードされた描画情報を端末に送信する送信部と、を備える。【選択図】図６

Description

本発明は、配信管理装置に関する。

従来、企業や教育機関、行政機関などでの会議などにおいて、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形などの描画画像を書き込み可能な電子情報ボードが利用されている。電子情報ボードは、接続されたパソコンの表示画面を拡大した表示画像を表示する拡大表示機能と、搭載されているタッチパネル機能を介して接続されているパソコンを操作するパソコン操作機能、および黒板に見立てたタッチパネルにユーザが手書きした文字などの描画画像をパソコンの表示画像に重畳して表示する電子黒板機能などを備える。このような電子情報ボードによれば、オフィスでの会議などで説明のための資料を表示する操作を行いながら、表示画像上に指摘事項などを直接書き込んだり、書き込まれた描画画像を記録したりすることが可能である。これにより、描画画像を再利用して効率的に会議の内容をまとめることができる。

なお、特許文献１には、電子黒板に手書きされたメモを資料に上書きした履歴データをサーバに保存することにより、遠隔会議の複数の拠点の電子黒板に描画画像を重畳して表示する技術が開示されている。

しかしながら、描画情報を端末に配信する従来の配信管理装置は、ネットワークの帯域及び配信管理装置のリソースの消費量を制御しながら、描画情報を端末に配信することができなかった。

本発明は、上記に鑑みてなされたものであって、ネットワークの帯域及び配信管理装置のリソースの消費量を制御しながら描画情報を端末に配信する配信管理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる配信管理装置は、端末が受け付けた操作入力を示す操作情報を前記端末からネットワークを介して受信する受信部と、前記操作情報から前記端末に表示する描画情報を作成するブラウザと、前記描画情報をエンコードするエンコーダと、前記受信部が前記操作情報を受信した場合に、前記操作情報を受信してから所定の時間が経過するまで、前記エンコーダのフレームレートを上げる制御を行う操作情報制御部と、エンコードされた前記描画情報を前記端末に送信する送信部と、を備える。

本発明によれば、ネットワークの帯域及び配信管理装置のリソースの消費量を制御しながら描画情報を端末に配信することができるという効果を奏する。

図１は、本実施の形態に係る配信システムの概略図である。 図２は、基本的な配信方法を示す概念図である。 図３は、マルチキャストの概念図である。 図４は、配信管理装置を介して複数の通信端末を使った複合配信の概念図である。 図５は、配信管理装置のハードウェア構成の一例を示す図である。 図６は、主に配信管理装置の各機能を示す機能ブロック図である。 図７は、主に通信端末の各機能を示す機能ブロック図である。 図８は、端末管理装置の各機能を示す機能ブロック図である。 図９は、配信先選択メニュー画面の概念図である。 図１０は、端末管理テーブルの概念図である。 図１１は、利用可能端末管理テーブルの概念図である。 図１２は、描画情報の一例を示す概念図である。 図１３は、図１２の描画情報と通信端末の表示画面との対応を示す図である。 図１４は、電子ペン情報の一例を示す概念図である。 図１５は、エンコーダブリッジ部の詳細図である。 図１６は、変換部の各機能を示す機能ブロック図である。 図１７は、配信管理装置の基本的な配信処理を示すシーケンス図である。 図１８は、配信管理装置を利用した遠隔共有処理を示すシーケンス図である。 図１９は、フレームレートの変更制御処理を示すフローチャートである。 図２０は、フレームレートの変更制御処理（タイマー満了時）を示すフローチャートである。 図２１は、操作データの解析処理を示すフローチャートである。 図２２は、通信端末の画面領域の使用例を示す図である。 図２３は、配信管理装置と通信端末との間で行われる時刻調整の処理を示すシーケンス図である。 図２４は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示すシーケンス図である。 図２５は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示すシーケンス図である。 図２６は、実施の形態の変形例１のフレームレートの変更制御処理を示すフローチャートである。 図２７は、実施の形態の変形例２のフレームレートの変更制御処理を示すフローチャートである。 図２８は、実施の形態の変形例２のフレームレートの変更制御処理（タイマー満了時）を示すフローチャートである。 図２９は、実施の形態の変形例３のフレームレートの変更制御処理を示すフローチャートである。 図３０は、実施の形態の変形例３のフレームレートの変更制御処理のシーケンス図である。

以下に図面を用いて、本実施の形態に係る配信システムを詳細に説明する。以下に示す実施の形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパーソナルコンピュータや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像（音）」と表記する。

〔実施の形態の概略〕
まず、図１を用いて、本実施の形態の概略を説明する。図１は、本実施の形態に係る配信システム１の概略図である。

＜システム構成の概略＞
まず、配信システム１の構成の概略について説明する。

図１に示すように、本実施の形態の配信システム１は、配信管理装置２、複数の通信端末５ａ１，５ａ２，５ｂ１，５ｂ２〜５ｆ１，５ｆ２、端末管理装置７、及びウェブサーバ８を備えて構築されている。なお、以下では、複数の通信端末５ａ１，５ａ２，５ｂ１，５ｂ２〜５ｆ１，５ｆ２のうち、任意の通信端末を示す場合には、「通信端末５」と表記する。配信管理装置２、端末管理装置７、及びウェブサーバ８は、いずれもサーバコンピュータによって構築されている。

通信端末５は、配信システム１のサービスを受けるユーザが使用する端末である。このうち、通信端末５ａ１及び通信端末５ａ２は、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。通信端末５ｂ１及び通信端末５ｂ２は、スマートフォンやタブレット端末等のモバイル端末である。通信端末５ｃは、コピー、スキャン、プリント、及びファックスの各機能が複合されたＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ／Ｐｒｉｎｔｅｒ／Ｐｒｏｄｕｃｔ）である。通信端末５ｄは、プロジェクタである。通信端末５ｅは、カメラ、マイク及びスピーカを備えたテレビ（ビデオ）会議端末である。通信端末５ｆ１及び通信端末５ｆ２は、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板（ホワイトボード）である。

なお、通信端末５は、図１に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。

また、配信管理装置２、通信端末５、端末管理装置７、及びウェブサーバ８は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）（登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークも含まれる。

なお、通信端末５によっては、通信端末５ｄ等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。しかし、ユーザが通信端末５ｄのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のインターフェース部にドングルを差し込むことで、通信端末５は通信ネットワーク９を介して他の端末やシステムと通信可能となる。

配信管理装置２は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ（以下、「ブラウザ２０」と表記する）を有する。配信管理装置２は、ブラウザ２０を用いてクラウド上でウェブコンテンツをレンダリングし、これにより得られたＨ．２６４やＭＰＥＧ−４等の映像（音）データを通信端末５に配信する。

端末管理装置７は、管理サーバとしての機能を有し、例えば、通信端末５のログイン認証や、通信端末５の契約情報等の管理等を行う。また、端末管理装置７は、電子メールを送信するためのＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバの機能を有している。端末管理装置７は、例えば、クラウドのサービス（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）上に展開される仮想マシンとして実現することができる。端末管理装置７は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。

なお、配信管理装置２のブラウザ２０は、リアルタイムコミュニケーション（ＲＴＣ：Ｒｅａｌ−ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ／ｃｏｌｌａｂｏｒａｔｉｏｎ）を可能にしている。更に、配信管理装置２が備える後述の図１６のエンコード部１９（エンコーダブリッジ部３０）は、ブラウザ２０によって生成された映像（音）データに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置２の処理は、例えば、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なる。

＜各種配信方法の概略＞
続いて、各種配信方法の概略について説明する。

（基本配信）
図２は、本実施の形態の配信システム１の基本的な配信方法を示す概念図である。配信システム１では、図２に示すように、配信管理装置２のブラウザ２０がウェブサーバ８からウェブコンテンツデータ〔Ａ〕を取得し、レンダリングすることにより、映像（音）データ〔Ａ〕を生成する。そして、エンコーダブリッジ部３０が、映像（音）データ〔Ａ〕をエンコード等して、通信端末５に配信する。これにより、たとえＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）等により作成されたウェブコンテンツがリッチであっても、Ｈ．２６４やＭＰＥＧ−４等の映像（音）データとして配信されるため、低スペックの通信端末５であってもスムーズに映像（音）を再生することが可能になる。また、本実施の形態の配信システム１では、配信管理装置２のブラウザ２０を最新化しておくことで、ローカルとしての通信端末５にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。

また、配信システム１は、上述の配信方法を応用し、図３及び図４に示すように、同一拠点又は複数の拠点にある複数の通信端末５に、ウェブコンテンツを映像（音）データとして配信することも可能である。ここで、図３及び図４に示す配信方法について説明する。

（マルチキャスト）
図３は、マルチキャストの概念図である。図３に示すように、配信管理装置２の単一のブラウザ２０は、ウェブサーバ８からウェブコンテンツデータ〔Ａ〕を取得してレンダリングすることで、映像（音）データ〔Ａ〕を生成する。そして、エンコーダブリッジ部３０が、映像（音）データ〔Ａ〕をエンコードする。その後、配信管理装置２は、映像（音）データ〔Ａ〕を複数の通信端末５ｆ１，５ｆ２，５ｆ３に配信する。これにより、例えば複数の拠点に配置された複数の通信端末５ｆ１，５ｆ２，５ｆ３において、同じ映像（音）が出力される。なお、この場合、複数の通信端末５ｆ１，５ｆ２，５ｆ３が同じ表示再生能力（解像度が同じ等）を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。

（複合配信）
図４は、配信管理装置２を利用した遠隔共有処理の概念図である。図４に示すように、第１の拠点（図４の右側）では、電子黒板としての通信端末５ｆ１及びテレビ会議端末としての通信端末５ｅ１が利用され、第２の拠点（図４の左側）では、同じく電子黒板としての通信端末５ｆ２及びテレビ会議端末としての通信端末５ｅ２が利用されている。また、第１の拠点では、通信端末５ｆ１にストロークによる文字等の操作データを表示させるための電子ペンＰ１が利用され、第２の拠点では、通信端末５ｆ２にストロークによる文字等の操作データを表示させるための電子ペンＰ２が利用されている。なお、図４に示す例では、第１の拠点において、電子黒板としての通信端末５ｆ１にテレビ会議端末としての通信端末５ｅ１が接続され、通信端末５ｅ１のカメラ・マイク・スピーカが、通信端末５ｆ１の外付けのカメラ・マイク・スピーカとして利用されている。同様に、第２の拠点において、電子黒板としての通信端末５ｆ２にテレビ会議端末としての通信端末５ｅ２が接続され、通信端末５ｅ２のカメラ・マイク・スピーカが、通信端末５ｆ２の外付けのカメラ・マイク・スピーカとして利用されている。

また、第１の拠点では、通信端末５ａ１に表示された画面のキャプチャＧ１を利用するため、通信端末５ａ１と通信端末５ｆ１とが、有線又は無線により接続されている。画面のキャプチャＧ１は、接続方法が有線の場合、画像伝送ケーブル（ＶＧＡ、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ又はＤＶＩ‐Ｉ／Ｄなど）を介して通信端末５ｆ１のキャプチャデバイスに送信され、キャプチャデバイスから内部Ｉ／Ｆ（ＰＣＩ−Ｅ又はＵＳＢなど）を介してエンコード部６０に送信される。

また、画面のキャプチャＧ１は、接続方法が無線の場合、無線通信によるディスプレイ伝送技術を利用して通信端末５ｆ１の入力デバイスに送信され、入力デバイスから内部Ｉ／Ｆを介してエンコード部６０に送信される。無線通信によるディスプレイ伝送技術には、例えばＷｉ−Ｆｉ（登録商標）ＡｌｌｉａｎｃｅのＭｉｒａｃａｓｔ接続や、Ｉｎｔｅｌ（登録商標）社のＷｉｒｅｌｅｓｓ Ｄｉｓｐｌａｙ接続などがある。

なお、通信端末５ｆ１は、複数の通信端末５ａから画面のキャプチャＧを受信してもよい。この場合、通信端末５ｆ１は、通信端末５ｆ１の画面に、複数の画面のキャプチャＧのサムネイルを表示し、ユーザが選択したサムネイルに対応する通信端末５ａの画面のキャプチャＧを利用できるようにする。

また、第２の拠点では、端末管理装置７によりログイン認証された通信端末５ａ２のコンテンツＡが利用されている。通信端末５ａ２は、通信ネットワーク９を介してウェブサーバ８にコンテンツＡをアップロードする。ウェブサーバ８は、通信端末５ａ２のコンテンツＡをウェブコンテンツデータとして記憶する。

第１の拠点において、通信端末５ｅ１によって取得された映像（音）データ〔Ｅ１〕は、エンコード部６０でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部４０でデコードされて、ブラウザ２０に入力される。また、電子ペンＰ１によって通信端末５ｆ１に描かれたストローク等を示す操作データ〔ｐ１〕は、配信管理装置２に送信され、ブラウザ２０に入力される。また、通信端末５ａ１の画面キャプチャ〔Ｇ１〕は、エンコード部６０でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部４０でデコードされて、ブラウザ２０に入力される。一方、第２の拠点においても、通信端末５ｅ２によって取得された映像（音）データ〔Ｅ２〕は、エンコード部６０でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部４０でデコードされて、ブラウザ２０に入力される。また、電子ペンＰ２によって通信端末５ｆ２に描かれたストローク等の操作データ〔ｐ２〕は、配信管理装置２に送信され、ブラウザ２０に入力される。

一方、ブラウザ２０は、例えば、ウェブサーバ８から通信端末５ｆ１，５ｆ２のそれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔Ａ〕をウェブサーバ８から取得する。そして、ブラウザ２０は、ウェブコンテンツデータ〔Ａ〕、画面キャプチャデータ〔Ｇ１〕、操作データ〔ｐ１〕，〔ｐ２〕及び映像（音）データ〔Ｅ１〕，〔Ｅ２〕を結合してレンダリングすることで、所望のレイアウトに設置した映像（音）データを生成する。そして、エンコーダブリッジ部３０は、映像（音）データをエンコードし、配信管理装置２が各拠点に同じ映像（音）データを配信する。これにより、第１の拠点では、通信端末５ｆ１のディスプレイ上に、映像（〔Ａ〕、〔Ｇ１〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ１のスピーカから音〔Ｅ２（音部分）〕が出力される。一方、第２の拠点でも、通信端末５ｆ２のディスプレイ上に、映像（〔Ａ〕、〔Ｇ１〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ２のスピーカから音〔Ｅ１（音部分）〕が出力される。なお、第１の拠点では、通信端末５ｆ１のエコーキャンセル機能により、自拠点の音〔Ｅ１（音部分）〕は出力されない。一方、第２の拠点では、通信端末５ｆ２のエコーキャンセル機能により、自拠点の音〔Ｅ２（音部分）〕は出力されない。

以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の配信システム１は遠隔会議等に有効である。

〔実施の形態の詳細な説明〕
続いて、図５乃至図２８を用いて、実施の形態の詳細な説明を行う。

＜実施の形態のハードウェア構成＞
まず、図５を用いて、本実施の形態のハードウェア構成を説明する。図５は、配信管理装置２のハードウェア構成の一例を示す図である。なお、通信端末５、端末管理装置７、及びウェブサーバ８のハードウェア構成は、配信管理装置２のハードウェア構成と同様であるため、説明を省略する。

図５に示すように、配信管理装置２は、配信管理装置２全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、プログラム等の各種データを記憶するＨＤＤ２０４、ＣＰＵ２０１の制御にしたがってＨＤＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Ｈａｒｄ Ｄｉｓｋ Ｃｏｎｔｒｏｌｌｅｒ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク９を利用してデータ送信するためのＩ／Ｆ２０９、キーボード２１１、マウス２１２、マイク２１３、スピーカ２１４、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１５、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２２０を備えている。

なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

＜実施の形態の機能構成＞
次に、図６乃至図１６を用い、本実施の形態の機能構成について説明する。図６は、主に配信管理装置２の各機能を示す機能ブロック図である。図６では、配信管理装置２が通信端末５ｆ１に対して映像（音）データを配信する場合の機能構成を示しているが、配信先が通信端末５ｆ１以外の場合も、同様の機能構成を有する。なお、配信管理装置２は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。

（配信管理装置の機能構成）
配信管理装置２は、図５に例示したハードウェア構成及びプログラムによって、図６に示す各機能構成を実現する。具体的に、配信管理装置２は、ブラウザ２０、送受信部２１、ブラウザ管理部２２、送信用ＦＩＦＯ２４、時刻管理部２５、時刻取得部２６、回線適応制御部２７、エンコーダブリッジ部３０、送受信部３１、受信用ＦＩＦＯ３４、認識部３５、遅延情報取得部３７ａ、回線適応制御部３７ｂ、デコード部４０、及び操作データ制御部４１を有している。更に、配信管理装置２は、図５に示したＨＤＤ２０４によって構築される記憶部２０００を有している。この記憶部２０００には、認識部３５から出力された後述の認識情報、及び後述の電子黒板情報（電子ペン情報及び描画情報）が記憶される。なお、ブラウザ２０が取得したコンテンツデータは、キャッシュとして、記憶部２０００に一時的に記憶しておくこともできる。

上述の各機能構成のうち、ブラウザ２０は、配信管理装置２内で動作するウェブブラウザである。ブラウザ２０は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、ＲＧＢデータ（又はＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データ）としての映像（音）データを生成する。ブラウザ２０は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。

また、本実施の形態の配信システム１では、配信管理装置２内に複数のブラウザ２０を用意しており、これら複数のブラウザ２０の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ２０が用意されている場合について、以下続けて説明する。

ブラウザ２０は、例えば、Ｍｅｄｉａ Ｐｌａｙｅｒ、Ｆｌａｓｈ Ｐｌａｙｅｒ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）及びＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）レンダラを有する。なお、ＪａｖａＳｃｒｉｐｔ（登録商標）には、標準規格のものと配信システム１独自のものが含まれる。ここで、Ｍｅｄｉａ Ｐｌａｙｅｒは、映像（音）ファイルなどのマルチメディアファイルをブラウザ２０内で再生するためのブラウザプラグインである。Ｆｌａｓｈ Ｐｌａｙｅｒは、Ｆｌａｓｈコンテンツをブラウザ２０内で再生するためのブラウザプラグインである。独自のＪａｖａＳｃｒｉｐｔ（登録商標）は、配信システム１に固有のサービスのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供するＪａｖａＳｃｒｉｐｔ（登録商標）群である。ＣＳＳは、ＨＴＭＬで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。ＨＴＭＬレンダラは、ウェブキットベースのＨＴＭＬレンダリングエンジンである。また、ブラウザ２０は、後述の操作データ〔ｐ〕を後述のブラウザ管理部２２から受信し、当該操作データ〔ｐ〕から描画情報、又は電子ペン情報（描画設定情報）を生成する。ブラウザ２０は、当該描画情報又は電子ペン情報を記憶部２０００に記憶する。描画情報及び電子ペン情報については後述する。

送受信部２１は、端末管理装置７やウェブサーバ８との間で、各種データや要求等の送受信を行う。例えば、送受信部２１は、ウェブサーバ８のコンテンツサイトからウェブコンテンツデータを取得する。また、送受信部２１は、端末管理装置７との間で、認識情報、及び電子黒板情報（描画情報及び電子ペン情報）の送受信を行う。

ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０の管理を行う。例えば、ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０に、起動又は終了を指示したり、起動又は終了時にエンコーダＩＤを採番したりする。ここで、エンコーダＩＤは、ブラウザ管理部２２がエンコーダブリッジ部３０のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部２２は、ブラウザ２０が起動されるたびに、ブラウザＩＤを採番して管理する。ここで、ブラウザＩＤは、ブラウザ管理部２２がブラウザ２０のプロセスを管理するために採番し、ブラウザ２０を識別するための識別情報である。

また、ブラウザ管理部２２は、送受信部３１及び操作データ制御部４１を介して通信端末５から各種操作データ〔ｐ〕を取得し、ブラウザ２０に出力する。なお、操作データ〔ｐ〕は、通信端末５での操作イベント（キーボード２１１やマウス２１２等による操作や電子ペンＰによるストローク等）によって生じたデータである。通信端末５に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部２２は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ブラウザ２０に出力する。

送信用ＦＩＦＯ２４は、ブラウザ２０で生成された映像（音）データ〔ＡＥｐ〕を格納するバッファである。

時刻管理部２５は、配信管理装置２独自の時刻Ｔを管理している。時刻取得部２６は、後述の通信端末５における時刻制御部５６と連携して、時刻調整の処理を行う。具体的には、時刻取得部２６は、時刻管理部２５から配信管理装置２における時刻Ｔを示す時刻情報（Ｔ）を取得したり、送受信部３１及び送受信部５１を介して、後述の時刻制御部５６から通信端末５における時刻ｔを示す時刻情報（ｔ）を受信したり、時刻制御部５６に時刻情報（ｔ）及び時刻情報（Ｔ）を送信したりする。

回線適応制御部２７は、送信遅延時間情報（Ｄ）に基づいて、再生遅延時間Ｕを計算したり、エンコーダブリッジ部３０における後述の変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Ｕは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。

エンコーダブリッジ部３０は、ブラウザ２０で生成されて送信用ＦＩＦＯ２４に格納された映像（音）データ〔ＡＥｐ〕を、エンコーダブリッジ部３０における後述の変換部１０に出力する。エンコーダブリッジ部３０については、図１５及び図１６を用いて、更に詳細に説明する。図１５は、エンコーダブリッジ部３０の詳細図である。また、図１６は、変換部１０の各機能を示す機能ブロック図である。

図１５に示すように、エンコーダブリッジ部３０は、生成・選択部３１０、及び選択部３２０と、これらの間に構築される複数の変換部１０ａ，１０ｂ，１０ｃとを備える。ここでは、３つの変換部１０ａ，１０ｂ，１０ｃを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部１０」と表記する。

更に、変換部１０は、図１６に示すように、トリミング部１１、リサイズ部１２、及びエンコード部１９を有する。トリミング部１１、及びリサイズ部１２は、音データの場合は、処理を行わない。

トリミング部１１は、映像（画像）の一部だけを切り出す処理を行う。リサイズ部１２は、映像（画像）の縮尺を変更する。

エンコード部１９は、ブラウザ２０で生成された映像（音）データをエンコードすることにより、通信ネットワーク９を介して通信端末５に映像（音）データを配信できるように変換する。また、エンコード部１９は、映像が動かなければ（フレーム間で変化がなければ）、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。

生成・選択部３１０は、新たに変換部１０を作成したり、既に作成されている変換部１０に対して入力させる映像（音）データを選択したりする。生成・選択部３１０が新たに変換部１０を作成する場合としては、例えば、通信端末５における映像（音）データの再生能力に応じた変換が可能な変換部１０を作成する場合等が挙げられる。また、生成・選択部３１０が変換部１０に対して入力させる映像（音）データを選択する場合としては、既に作成されている変換部１０を選択する。例えば、通信端末５ａへの配信に加えて通信端末５ｂへの配信を開始するにあたって、通信端末５ａへ配信している映像（音）データと同じ映像（音）データを通信端末５ｂへ配信する場合がある。このような場合で、更に、通信端末５ｂが通信端末５ａにおける映像（音）データの再生能力と同じ再生能力を有する場合等が挙げられる。すなわち、このような場合、生成・選択部３１０は、通信端末５ｂ用に新たな変換部１０ｂを作成せずに、通信端末５ａ用に既に作成している変換部１０ａを利用する。

選択部３２０は、既に作成されている変換部１０から所望のものを選択する。これら生成・選択部３１０と選択部３２０による選択によって、図４に示したような様々なパターンの配信を行うことができる。

図６に戻り、送受信部３１は、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部３１は、通信端末５のログイン処理において、通信端末５の後述する送受信部５１に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部３１は、ＨＴＴＰＳ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ｏｖｅｒ Ｓｅｃｕｒｅ Ｓｏｃｋｅｔ Ｌａｙｅｒ）サーバを介して、配信システム１独自のプロトコルにより、配信システム１のサービスを受けるために通信端末５にインストールされたアプリケーションプログラム（ユーザアプリやデバイスアプリ）へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置２と通信端末５との間でリアルタイムに途切れることなくデータを送受信するためのＨＴＴＰＳベースのアプリケーション層プロトコルである。また、送受信部３１は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。

送信レスポンス制御は、配信管理装置２から通信端末５にデータを送信するために、通信端末５からリクエスト（要求）されたダウンロード用のＨＴＴＰＳセッションを管理する処理である。このダウンロード用のＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持する。送受信部３１は、通信端末５に送るデータを動的にレスポンスのＢｏｄｙ部に書き込む。また、再接続のコストをなくすため、通信端末５からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部３１を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。

リアルタイムのデータ作成は、図１６のエンコード部１９で生成された圧縮映像（および圧縮音）のデータ（ＲＴＰデータ）に独自のヘッダを付与して、通信端末５への下り用のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

コマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５への配信用（下り用）のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

受信レスポンス制御は、配信管理装置２が通信端末５からデータを受信するために、通信端末５からリクエストされた送信用（上り用）のＨＴＴＰＳセッションを管理する処理である。このＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持される。通信端末５は、配信管理装置２の送受信部３１に送るデータを動的にリクエストのＢｏｄｙ部に書き込む。

受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。

ジェスチャ変換は、ユーザが電子黒板としての通信端末５ｆに電子ペンＰや手書きにより入力したジェスチャイベントを、ブラウザ２０が受け取れる形式に変換する処理である。

受信用ＦＩＦＯ３４は、デコード部４０でデコードされた映像（音）データを格納するバッファである。

認識部３５は、通信端末５から受信する映像（音）データ〔Ｅ〕に対しての処理を行う。具体的には、認識部３５は、例えば、サイネージ向けに、後述のカメラ６２で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部３５は、オフィス向けに、後述のカメラ６２で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部３５は、認識した内容を示す認識情報を記憶部２０００に記憶させる。この認識部３５は、認識拡張ボードで処理を行うことで高速化が実現される。

遅延情報取得部３７ａは、上り用の回線適応制御の処理に用いられる後述の遅延情報取得部５７に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部３７ａは、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。

回線適応制御部３７ｂは、上り用の回線適応制御の処理に用いられる上述した回線適応制御部２７に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部３７ｂは、送信遅延時間情報（ｄ）に基づいて、エンコード部６０の動作条件を計算する。また、回線適応制御部３７ｂは、送受信部３１及び後述の送受信部５１を介して通信端末５のエンコード部６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。

デコード部４０は、通信端末５から送信されて来た映像（音）データ〔Ｅ〕をデコードする。

操作データ制御部４１は、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信した場合に、エンコーダブリッジ部３０のフレームレートを制御する。具体的には、操作データ制御部４１は、操作データ〔ｐ〕を受信したときに、エンコーダブリッジ部３０のフレームレートを上げる指示をエンコーダブリッジ部３０に行い、タイマーをリセットする。そして、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する。

なお、操作データ制御部４１は、操作データ〔ｐ〕を受信したときに、既にタイマーがリセットされ、当該タイマーが動作しているときは、エンコーダブリッジ部３０にフレームレートを上げる指示を行わない。この場合は、操作データ制御部４１は、タイマーのリセットを行うことにより、新たに操作データ〔ｐ〕を受信したときからタイマーをかけ直し、当該操作データ〔ｐ〕をブラウザ管理部２２に入力する。操作データ制御部４１は、タイマーが満了（所定の時間が経過）すると、エンコーダブリッジ部３０のフレームレートを元に戻す指示をエンコーダブリッジ部３０に行う。

これにより、ブラウザ２０により操作データ〔ｐ〕に応じた描画情報を含む映像（音）データが生成され、エンコーダブリッジ部３０が当該描画情報を含む映像（音）データをエンコードするときにフレームレートを上げることができる。すなわち、配信管理装置２が、即応性が要求される映像（音）データを配信する場合にフレームレートを上げるので、ネットワーク帯域及び配信管理装置２のリソースの消費を低減させることができる。

（通信端末の機能構成）
続いて、図７を用いて、通信端末５の機能構成について説明する。図７は、主に通信端末５の各機能を示す機能ブロック図である。図７では、通信端末５の１つとして通信端末５ｆ１を例示しているが、通信端末５ｆ１以外の通信端末５であっても、同様の機能構成を有する。なお、通信端末５のうち、ユーザアプリがインストールされた通信端末５は、ユーザが配信システム１へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末５は、映像（音）データの送受信や操作データの送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末５にユーザアプリがインストールされているものとして説明する。

通信端末５は、図４と同様のハードウェア構成及びプログラム（ユーザアプリ）によって、図７に示す各機能構成を実現する。具体的に、通信端末５は、デコード部５０、送受信部５１、操作部５２、再生制御部５３、レンダリング部５５、時刻制御部５６、遅延情報取得部５７、表示部５８、及びエンコード部６０を有している。更に、通信端末５は、ＲＡＭ２０３によって構築される記憶部５０００を有している。この記憶部５０００には、後述の時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）が記憶される。

デコード部５０は、配信管理装置２から配信され、再生制御部５３から出力された映像（音）データ〔ＡＥｐ〕をデコードする。

送受信部５１は、配信管理装置２の送受信部３１、及び後述の端末管理装置７の送受信部７１ａとの間で、各種データや要求等の送受信を行う。例えば、送受信部５１は、通信端末５のログイン処理において、操作部５２による通信端末５の起動に基づき、端末管理装置７の送受信部７１ａにログイン要求を行う。

操作部５２は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部５２は、電源スイッチ、キーボード、マウス、電子ペンＰ等による入力や選択等を受け付け、操作データ〔ｐ〕として配信管理装置２のブラウザ管理部２２に送信する。

再生制御部５３は、送受信部５１から受けた映像（音）データ〔ＡＥｐ〕（リアルタイムデータのパケット）をバッファリングし、再生遅延時間Ｕを考慮してデコード部５０に出力する。

レンダリング部５５は、デコード部５０によってデコードされたデータをレンダリングする。

時刻制御部５６は、配信管理装置２の時刻取得部２６と連携して、時刻調整の処理を行う。具体的には、時刻制御部５６は、記憶部５０００から通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻制御部５６は、送受信部５１及び送受信部３１を介して、配信管理装置２の時刻取得部２６に、配信管理装置２における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。

遅延情報取得部５７は、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。なお、送信遅延時間情報（Ｄ）は、例えば、１００フレームに１回送信される。

表示部５８は、レンダリング部５５によってレンダリングされたデータを再生する。

エンコード部６０は、内蔵されたマイク２１３（図５参照）や、外付けのカメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、同じく記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理装置２のデコード部４０に送信する。エンコード部６０の動作条件は、回線適応制御部３７ｂから受信した回線適応制御信号に基づいて変更される。更に、動作条件が変更されると、エンコード部６０は、新たな動作条件に従って、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）とを、送受信部５１及び送受信部３１を介して、配信管理装置２のデコード部４０に送信する。

なお、内蔵されたマイク２１３や、外付けのカメラ６２及びマイク６３は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚（ｔｏｕｃｈ）データや嗅覚（ｓｍｅｌｌ）データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。図７では、電子黒板としての通信端末５ｆ１にテレビ会議端末としての通信端末５ｅが接続され、通信端末５ｅのカメラ及びマイクが、通信端末５ｆ１の外付けのカメラ６２及びマイク６３として利用される例を示している。

（端末管理装置の機能構成）
続いて、図８を用いて、端末管理装置７の機能構成について説明する。図８は、端末管理装置７の各機能を示す機能ブロック図である。

端末管理装置７は、図５と同様のハードウェア構成及びプログラムによって、図８に示す各機能構成を実現する。具体的に、端末管理装置７は、送受信部７１ａ、送受信部７１ｂ、及び認証部７５を有している。更に、端末管理装置７は、図５に示したＨＤＤ２０４によって構築される記憶部７０００を有している。この記憶部７０００には、配信先選択メニューデータ７０４０、端末管理テーブル７０１０、利用可能端末管理テーブル７０２０及び電子黒板情報７０３０が記憶される。電子黒板情報７０３０は、描画情報及び電子ペン情報を含む。電子黒板情報７０３０は、定期的、及び通信端末５ｆの利用終了時に、配信管理装置２から受信して記憶する。端末管理装置７の電子黒板情報７０３０は、通信端末５ｆの電源断などによって電子黒板情報７０３０が消失した場合や、通信端末５ｆを次に使用するときに前回と同じ電子黒板情報７０３０を使用したい場合などに利用される。

配信先選択メニューデータ７０４０は、図９に示すような配信先選択メニュー画面を示すデータである。図９は、配信先選択メニュー画面の概念図である。この図９に示す配信先選択メニュー画面では、映像（音）データの配信先として選択できる通信端末５について、後述の共有ＩＤ及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像（音）データの配信先として希望する通信端末５の項目にチェックを入れ、「ＯＫ」ボタンを押下することで、希望する通信端末５に映像（音）データを配信させることができる。

図１０は、端末管理テーブル７０１０の概念図である。端末管理テーブル７０１０では、図１０に示すように、登録されている通信端末５の端末ＩＤ、ユーザ証明書、ユーザが配信システム１のサービスを利用する際の契約情報、通信端末５の端末種別、各通信端末５のホームＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を示す設定情報、各通信端末５の実行環境情報、共有ＩＤ、設置位置情報、及び表示名情報が関連付けて管理されている。このうち、実行環境情報には、各通信端末５の「お気に入り」、「前回のＣｏｏｋｉｅ情報」、及び「キャッシュファイル」が含まれており、各通信端末５のログイン後に、設定情報と共に配信管理装置２に送信され、各通信端末５に対して個別のサービスを行うために利用される。

また、共有ＩＤは、各ユーザが、自己の通信端末５に配信されている映像（音）データと同じ内容の映像（音）データを他の通信端末５にも配信させることで、遠隔共有処理を行う場合に利用されるＩＤであり、他の通信端末又は他の通信端末群を識別する識別情報である。図１０に示す例では、端末ＩＤ「ｔ００６」の共有ＩＤは「ｖ００６」であり、端末ＩＤ「ｔ００７」の共有ＩＤは「ｖ００６」であり、また、端末ＩＤ「ｔ００８」の共有ＩＤは「ｖ００６」である。更に、端末ＩＤ「ｔ００１」の通信端末５ａから、共有ＩＤ「ｖ００６」の通信端末５ｆ１，５ｆ２，５ｆ３との遠隔共有処理の要求があった場合には、配信管理装置２は、通信端末５ｆ１，５ｆ２，５ｆ３に対して、通信端末５ａに配信中の映像（音）データと同じ映像（音）データを配信する。但し、通信端末５ａと通信端末５ｆ１，５ｆ２，５ｆ３の表示部５８の解像度が異なる場合には、これに応じて、配信管理装置２が映像（音）データを配信する。

設置位置情報は、例えば、図３に示したように、複数の通信端末５ｆ１，５ｆ２，５ｆ３が並んで設置される場合の設置位置を示している。表示名情報は、図９に示した配信先選択メニュー画面の表示名の内容を表す情報である。

図１１は、利用可能端末管理テーブル７０２０の概念図である。利用可能端末管理テーブル７０２０では、端末ＩＤ毎に、この端末ＩＤによって示される通信端末５が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有ＩＤが関連付けて管理されている。

図１２は、描画情報の一例を示す概念図である。描画情報は、デバイスＩＤ、背景画像特定情報、座標情報及び描画コマンド情報を含む。デバイスＩＤは、電子ペンＰにより図形（文字、記号、図及び絵など）を描いた通信端末５ｆを識別する識別情報である。なお、本実施の形態では、デバイスＩＤは、端末管理テーブル７０１０の端末ＩＤと同じである。背景画像特定情報は、通信端末５ｆの画面に表示される背景画像を特定するための情報である。例えば、背景画像がウェブページである場合、背景画像特定情報は、当該ウェブページのＵＲＬである。また、背景画像がコンピュータに記憶されている文書ファイルのデータである場合、背景画像特定情報は、当該文書ファイルの当該コンピュータ上の記憶位置を示すパス（ディレクトリ）情報、ファイル名及び当該文書ファイル内のページを示す情報などである。座標情報は、通信端末５ｆの画面に電子ペンＰによって描かれた図形の書き始めの位置を示す背景画像内の座標である。描画コマンド情報は、電子ペンＰによって描かれた図形を描画するコマンドを示す情報である。

図１３は、図１２の描画情報と通信端末５ｆの表示画面との対応を示す図である。図１３の図形４０１に対応する図１２の描画情報のデータは、デバイスＩＤ「Ｔ００１」、背景画像特定情報「ｗｗｗ．ｒｏｃｏｈ．ｃｏ．ｊｐ」、座標情報「（ｘ１，ｙ１）」、描画コマンド「図形４０１」を描画するコマンドである。また、図１３の図形４０２に対応する図１２の描画情報のデータは、デバイスＩＤ「Ｔ００２」、背景画像特定情報「ｗｗｗ．ｒｏｃｏｈ．ｃｏ．ｊｐ」、座標情報「（ｘ２，ｙ２）」、描画コマンド「図形４０２」を描画するコマンドである。また、図１３の図形４０３に対応する図１２の描画情報のデータは、デバイスＩＤ「Ｔ００２」、背景画像特定情報「ｗｗｗ．ｒｏｃｏｈ．ｃｏ．ｊｐ」、座標情報「（ｘ３，ｙ３）」、描画コマンド「図形４０３」を描画するコマンドである。

すなわち、図１３の表示画面は、デバイスＩＤ「Ｔ００１」により識別される通信端末５ｆ１に書き込まれた図形４０１と、デバイスＩＤ「Ｔ００２」により識別される通信端末５ｆ２に書き込まれた図形４０２及び図形４０３とを同時に表示した場合の例である。

図１４は、電子ペン情報の一例を示す概念図である。電子ペン情報は、デバイスＩＤ、線種、太さ、色及び透過率を示す情報を含む。デバイスＩＤは、図形を描く電子ペンＰを識別する情報である。線種は、実線や点線などの線の種類である。太さは、図形を描く線の太さである。色は、図形を描く線の色である。透過率は、図形を描く線を透過させる割合である。

次に、図８に戻り、各機能構成について説明する。

送受信部７１ａは、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部７１ａは、通信端末５の送受信部５１から端末ＩＤ及びユーザ証明書を含むログイン要求を受信したり、送受信部５１に対してログイン要求の認証結果を送信したりする。

送受信部７１ｂは、配信管理装置２との間で、各種データや要求等の送受信を行う。例えば、送受信部７１ｂは、配信管理装置２の送受信部２１から配信先選択メニューのデータの要求を受信したり、送受信部２１に対して、配信先選択メニューのデータを送信したりする。また、送受信部７１ｂは、配信管理装置２の送受信部２１から電子黒板情報７０３０のデータを受信したり、送受信部２１に対して、電子黒板情報７０３０のデータを送信したりする。

認証部７５は、通信端末５の送受信部５１から受信した端末ＩＤ及びユーザ証明書に基づいて、端末管理テーブル７０１０を検索することにより、同じ組み合わせの端末ＩＤ及びユーザ証明書があるか否かを判断することで、通信端末５の認証を行う。

〔実施の形態の動作または処理〕
続いて、図１７乃至図２８を用いて、本実施の形態の動作または処理について説明する。

＜基本的な配信処理＞
まず、図１７を用いて、配信管理装置２の基本的な配信方法における具体的な配信処理を説明する。図１７は、配信管理装置２の基本的な配信処理を示すシーケンス図である。ここでは、図２に示した基本的な配信のパターンについて具体的な処理を説明する。なお、ここでは、通信端末５ａを用いてログイン要求する場合について説明するが、通信端末５ａ以外の通信端末５を用いてログインしてもよい。

図１７に示すように、通信端末５ａにおいてユーザが電源オンにすると、通信端末５ａの送受信部５１は、端末管理装置７の送受信部７１ａを介して認証部７５に、ログイン要求を行う（ステップＳ２１）。このログイン要求には、通信端末５ａの端末ＩＤ及びユーザ証明書が含まれている。

次に、端末管理装置７の認証部７５は、通信端末５ａから受信した端末ＩＤ及びユーザ証明書に基づいて、端末管理テーブル７０１０を検索することにより、同じ組み合わせの端末ＩＤ及びユーザ証明書があるか否かを判断することで、通信端末５ａの認証を行う（ステップＳ２２）。ここでは、端末管理テーブル７０１０に同じ組み合わせの端末ＩＤ及びユーザ証明書がある、即ち、通信端末５ａが配信システム１における正当な端末であると認証された場合について、以下に続けて説明する。

次に、端末管理装置７の認証部７５は、送受信部７１ａを介して、通信端末５ａの送受信部５１に、配信管理装置２のＩＰアドレスを送信する（ステップＳ２３）。なお、配信管理装置２のＩＰアドレスは、予め、端末管理装置７によって取得されて、記憶部７０００に記憶されている。

次に、端末管理装置７の送受信部７１ｂは、配信管理装置２の送受信部２１を介して、ブラウザ管理部２２に、ブラウザ２０の起動要求を行う（ステップＳ２４）。この起動要求に応じて、配信管理装置２のブラウザ管理部２２は、ブラウザ２０を起動させる（ステップＳ２５）。次に、エンコーダブリッジ部３０の生成・選択部３１０が、通信端末５ａの再生能力（ディスプレイの解像度等）及びコンテンツの種類に従って変換部１０を作成する（ステップＳ２６）。

次に、ブラウザ２０が、ウェブサーバ８に対して、コンテンツデータ〔Ａ〕を要求する（ステップＳ２７）。これに応じて、ウェブサーバ８は、要求されたコンテンツデータ〔Ａ〕を自己の記憶部（不図示）から読み出す（ステップＳ２８）。そして、ウェブサーバ８は、配信管理装置２の送受信部２１を介して、要求元であるブラウザ２０にコンテンツデータ〔Ａ〕を送信する（ステップＳ２９）。

次に、ブラウザ２０が、コンテンツデータ〔Ａ〕をレンダリングして映像（音）データ〔Ａ〕を生成し、送信用ＦＩＦＯ２４に出力する（ステップＳ３０）。そして、変換部１０が、送信用ＦＩＦＯ２４に格納された映像（音）データ〔Ａ〕をエンコードすることで、通信端末５ａに配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ３１）。

次に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、再生制御部５３に映像（音）データ〔Ａ〕を送信する（ステップＳ３２）。これにより、通信端末５ａでは、再生制御部５３からデコード部５０に、映像（音）データ〔Ａ〕が出力され、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８にて映像が再生される（ステップＳ３３）。

＜複数の通信端末を使った通信の処理＞
続いて、図１８を用いて、配信管理装置２を利用した遠隔共有処理を説明する。図１８は、配信管理装置２を利用した遠隔共有処理を示すシーケンス図である。ここでは、複数の通信端末５として通信端末５ｆ１，５ｆ２を想定し、図４に示したパターンについて具体的な処理を説明する。なお、ここでも、図１７のステップＳ２１〜ステップＳ２９と同様のログイン処理及びブラウザ起動等の処理が行われるが、図１７のステップＳ２１〜ステップＳ２８に対応する処理の説明は省略し、ステップＳ２９に対応するステップＳ４１の処理から説明する。

図１８に示すように、配信管理装置２のブラウザ２０は、ウェブサーバ８から送受信部２１を介してコンテンツデータ〔Ａ〕を受信する（ステップＳ４１）。そして、ブラウザ２０は、コンテンツデータ〔Ａ〕をレンダリングすることにより、映像（音）データを生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ４２）。

一方、通信端末５ｆ１のエンコード部６０が、カメラ６２及びマイク６３からコンテンツデータ〔Ｅ〕の入力を受け付けると（ステップＳ４３）、エンコード部６０はエンコードした後、送受信部５１及び送受信部３１を介して、配信管理装置２のデコード部４０にコンテンツデータ〔Ｅ〕を送信する（ステップＳ４４）。これにより、コンテンツデータ〔Ｅ〕は、デコード部４０でデコードされた後、受信用ＦＩＦＯ３４を介して、ブラウザ２０に入力される。そして、ブラウザ２０は、コンテンツデータ〔Ｅ〕をレンダリングすることにより、映像（音）データ〔Ｅ〕を生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ４５）。この場合、ブラウザ２０は、既に取得しているコンテンツデータ〔Ａ〕に対して、コンテンツデータ〔Ｅ〕を結合して出力する。

更に、通信端末５ｆ１の操作部５２が、電子ペンＰ１によるストローク操作の入力を受け付けると（ステップＳ４６）、操作部５２は、送受信部５１及び送受信部３１を介して、操作データ制御部４１に操作データ〔ｐ〕を送信する（ステップＳ４７−１）。操作データ制御部４１は、操作データ〔ｐ〕に基づいてエンコーダブリッジ部３０のフレームレートの変更制御を行う（ステップＳ４７−２）。ここでフレームレートの変更制御処理について説明する。

図１９は、フレームレートの変更制御処理を示すフローチャートである。操作データ制御部４１は、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信する（ステップＳ２０１）。次に、操作データ制御部４１は、エンコーダブリッジ部３０のフレームレート（ｆｐｓ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）を既に変更しているか否かを判定する（ステップＳ２０２）。具体的には、操作データ制御部４１は、フレームレートの変更時間を制御するタイマーが既にリセット（後述のステップＳ２０４）され、タイマー満了までカウント中であるか否かによりフレームレートが既に変更されているか否かを判定する。

フレームレートを既に変更している場合（ステップＳ２０２、Ｙｅｓ）、操作データ制御部４１は、タイマーをリセットすることによりタイマーをかけ直し（ステップＳ２０４）、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２０５）。

フレームレートをまだ変更していない場合（ステップＳ２０２、Ｎｏ）、操作データ制御部４１は、エンコーダブリッジ部３０のフレームレートを上げる指示をエンコーダブリッジ部３０に行い（ステップＳ２０３）、タイマーをリセットする（ステップＳ２０４）。次に、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２０５）。

図２０は、フレームレートの変更制御処理（タイマー満了時）を示すフローチャートである。操作データ制御部４１は、タイマーが満了したか否かを判定する（ステップＳ２１１）。タイマーが満了した場合（ステップＳ２１１、Ｙｅｓ）、操作データ制御部４１は、フレームレート（ｆｐｓ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）を元に戻す指示をエンコーダブリッジ部３０に行う（ステップＳ２１２）。

図１８に戻り、ブラウザ２０は、ブラウザ管理部２２から操作データ〔ｐ〕を受け付け、操作データ〔ｐ〕を解析する処理を行う（ステップＳ４７−３）。

図２１は、操作データの解析処理を示すフローチャートである。ブラウザ２０は、操作データ〔ｐ〕に含まれる画面領域の位置情報に基づいて、当該操作データ〔ｐ〕が描画処理に係るデータであるか否かを判定する（ステップＳ２５１）。ここで、通信端末５ｆの画面領域について説明する。

図２２は、通信端末５ｆの画面領域の使用例を示す図である。図２２の例では、通信端末５ｆの画面領域は、描画領域、背景画像操作用メニュー領域、配信用メニュー領域及び描画用メニュー領域を有する。描画領域は、電子ペンＰにより図形を描くことができる領域である。背景画像操作用メニュー領域は、背景画像を変更する操作を行うための領域である。配信用メニュー領域は、描画領域の情報の配信先を決定するなどの操作を行うための領域である。描画用メニュー領域は、電子ペンＰによる描画に関する設定を変更する操作を行うための領域である。電子ペンＰによる描画に関する設定は、例えば、描画モード（描画又は消去）の設定や、電子ペン情報（線種、太さ、色及び透過率など）の設定などである。ブラウザ２０は、電子ペンＰにより指示された画面領域内の位置を示す位置情報が、図２２の描画領域に含まれるか否かに基づいて、当該操作データ〔ｐ〕が描画処理に係るデータであるか否かを判定する。なお、電子ペンＰによって指示された画面領域内の位置は、通信端末５ｆが、当該電子ペンＰが通信端末５ｆの画面に接触又は接近したことを検知することにより検出する。

図２１に戻り、描画処理に係るデータでない（メニュー処理に係るデータである）場合（ステップＳ２５１、Ｎｏ）、ブラウザ２０は、画面領域の位置情報に基づいてメニュー処理を行う（ステップＳ２５９）。当該メニュー処理は、例えば、電子ペン情報の変更に係る設定を反映する処理などである。画面領域の位置に対応するメニュー処理の内容は、例えばメニュー情報として記憶部２０００に記憶されていてもよいし、当該メニュー情報を背景画像（コンテンツＡなど）にひも付けておき、コンテンツに応じてメニュー処理を変更できるようにしてもよい。次に、ブラウザ２０は、メニュー処理によって変更した設定を記憶部２０００に保存し（ステップＳ２６０）、処理を終了する。

描画処理に係るデータである場合（ステップＳ２５１、Ｙｅｓ）、ステップＳ２５２に進む。ブラウザ２０は、操作データ〔ｐ〕に含まれる操作モードを示す情報が描画モードであるか否かを判定する（ステップＳ２５２）。例えば、電子ペンＰに操作モードの切替スイッチがある場合、操作モードを示す情報は、当該切替スイッチの選択信号である。また、ブラウザ２０は、操作モードを示す情報を描画メニューの設定から特定してもよい。

描画モードである場合（ステップＳ２５２、Ｙｅｓ）、ブラウザ２０は、操作データ〔ｐ〕に含まれる電子ペンＰのデバイスＩＤを検索キーにして、記憶部２０００の電子ペン情報のデバイスＩＤを検索し、検索された電子ペン情報を読み出す（ステップＳ２５３）。次に、ブラウザ２０は、当該電子ペン情報と、操作データ〔ｐ〕に含まれる電子ペンＰの位置情報とから描画コマンドを生成する（ステップＳ２５４）。次に、当該描画コマンドが示す図形を描画レイヤに描画する（ステップＳ２５５）。なお、ブラウザ２０は、既に描画レイヤに図形が描かれている場合、ステップＳ２５４で生成した描画コマンドが示す図形を当該描画レイヤに追加する（差分描画）。ブラウザ２０は、背景画像と描画レイヤとを合成した画像データ（表示情報）を出力し（ステップＳ２５６）、処理を終了する。

描画モードでない（消去モードである）場合（ステップＳ２５２、Ｎｏ）、ブラウザ２０は、操作データに含まれる位置情報から消去する画像に対応する描画コマンドを選択する（ステップＳ２５７）。次に、ブラウザ２０は、選択された描画コマンドに対応する図形を画像データ（描画レイヤ）から削除（ステップＳ２５８）し、処理を終了する。

図１８に戻り、ブラウザ２０は、ステップＳ４７−３の操作データ〔ｐ〕の解析処理を反映した画像データ〔ｐ〕を送信用ＦＩＦＯ２４に出力する（ステップＳ４８）。この場合、ブラウザ２０は、既に取得しているコンテンツデータ（〔Ａ〕，〔Ｅ〕）に対して、操作データ〔ｐ〕を結合して出力する。

次に、変換部１０が、送信用ＦＩＦＯ２４に格納された映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）をエンコードすることで、通信端末５ａに配信すべき映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）に変換する（ステップＳ４９）。そして、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５ｆ１の再生制御部５３に映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）を送信する（ステップＳ５０−１）。その後、映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）は、通信端末５ｆ１のデコード部５０でデコードされてスピーカ６１に音が出力されると共に、レンダリング部５５でレンダリングされて表示部５８に映像が出力される（ステップＳ５１−１）。

また、通信端末５ｆ２に対しても、ステップＳ５０−１と同様に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５ｆ２の再生制御部５３に対しても、同様の映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）を送信する（ステップＳ５０−２）。その後、映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）は、通信端末５ｆ２のデコード部５０でデコードされてスピーカ６１に音が出力されると共に、レンダリング部５５でレンダリングされて表示部５８に映像が出力される（ステップＳ５１−２）。これにより、通信端末５ｆ１で出力される映像（音）と同じ映像（音）が、通信端末５ｆ２でも出力されることになる。

＜時刻調整の処理＞
続いて、図２３を用いて、時刻調整の処理について説明する。図２３は、配信管理装置２と通信端末５との間で行われる時刻調整の処理を示すシーケンス図である。

まず、通信端末５の時刻制御部５６は、送受信部５１が配信管理装置２に時刻情報（Ｔ）を要求する時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔ_ｓ）を取得する（ステップＳ８１）。そして、送受信部５１は送受信部３１に、配信管理装置２における時刻情報（Ｔ）を要求する（ステップＳ８２）。この場合、時刻情報（Ｔ）の要求と共に、上記時刻情報（ｔ_ｓ）が送信される。

次に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求を受信した時刻を取得するために、時刻管理部２５から配信管理装置２における時刻情報（Ｔ_ｒ）を取得する（ステップＳ８３）。更に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求に応答する時刻を取得するために、時刻管理部２５から配信管理装置２における時刻情報（Ｔ_ｓ）を取得する（ステップＳ８４）。そして、送受信部３１は送受信部５１に、時刻情報（ｔ_ｓ，Ｔ_ｒ，Ｔ_ｓ）を送信する（ステップＳ８５）。

次に、通信端末５の時刻制御部５６は、送受信部５１が上記ステップＳ８５の応答を受信した時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔ_ｒ）を取得する（ステップＳ８６）。

そして、通信端末５の時刻制御部５６は、配信管理装置２と通信端末５との間の時刻差Δを計算する（ステップＳ８７）。この時刻差Δは、以下の式（１）によって表される。
Δ＝（（Ｔ_ｒ＋Ｔ_ｓ）／２）−（（ｔ_ｒ＋ｔ_ｓ）／２）・・・（１）

そして、時刻制御部５６は、記憶部５０００に時刻差データΔを記憶する（ステップＳ８８）。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。

＜下り用の回線適応制御の処理＞
続いて、図２４を用いて、配信管理装置２から通信端末５に送信する（下り）データの回線適応制御の処理を説明する。図２４は、配信管理装置２から通信端末５に送信するデータの回線適応制御の処理を示すシーケンス図である。

まず、配信管理装置２のエンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５の再生制御部５３に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報（Ｕ）を送信する（ステップＳ１０１）。また、エンコーダブリッジ部３０は、送信用ＦＩＦＯ２４から取得してエンコード等を行った映像（音）データ〔Ａ〕に対して、時刻管理部２５から取得した現時点の時刻Ｔ０をタイムスタンプとして付加し、送受信部３１及び送受信部５１を介して、通信端末５の再生制御部５３に送信する（ステップＳ１０２）。

一方、通信端末５では、再生制御部５３が、通信端末５における時刻（Ｔ_０＋Ｕ−Δ）になるまで待ってから、映像（音）データをデコード部５０に出力することで、スピーカ６１から音を再生させ、レンダリング部５５を介して表示部５８から映像を再生させる（ステップＳ１０３）。即ち、下記式（２）に示される再生遅延時間Ｕの範囲内に通信端末５が受信した映像（音）データだけが再生されることになり、範囲外の映像（音）データは再生されずに消去される。
Ｕ≧（ｔ０＋Δ）−Ｔ０ ・・・（２）

また、再生制御部５３は、記憶部５０００から、通信端末５における現時点の時刻ｔ０を読み出す（ステップＳ１０４）。この時刻ｔ０は、通信端末５が配信管理装置２から映像（音）データを受信した時点の通信端末５における時刻を示す。更に、再生制御部５３は、記憶部５０００から、図２３のステップＳ８８によって記憶されている時刻差Δを示す時刻差情報（Δ）を読み出す（ステップＳ１０５）。そして、再生制御部５３は、上記の時刻Ｔ０と時刻ｔ０と時刻差Δとを用いて、映像（音）データが配信管理装置２から送信されて通信端末５で受信されるまでの時間を示す送信遅延時間Ｄ１を計算する（ステップＳ１０６）。この計算は、下記式（３）によって行われる。通信ネットワーク９が混雑している場合には、送信遅延時間Ｄ１が長くなる。
Ｄ１＝（ｔ０＋Δ）−Ｔ０ ・・・（３）

次に、遅延情報取得部５７が、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して、配信管理装置２の回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する（ステップＳ１０７）。

次に、配信管理装置２の回線適応制御部２７は、送信遅延時間情報（Ｄ）に基づいて、新たに再生遅延時間Ｕ’を計算したり、変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする（ステップＳ１０８）。

次に、配信管理装置２のエンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５の再生制御部５３に、上記ステップＳ１０８によって計算された新たな再生遅延時間Ｕ’を示す再生遅延時間情報（Ｕ’）を送信する（ステップＳ１０９）。

更に、エンコーダブリッジ部３０内の変換部１０が、回線適応制御信号に基づいて、動作条件を変更する（ステップＳ１１０）。例えば、送信遅延時間Ｄ１が長すぎる場合、送信遅延時間Ｄ１に応じて再生遅延時間Ｕを長くすると、スピーカ６１や表示部５８での再生時間が遅くなり過ぎるため、再生遅延時間Ｕを長くすることには限界がある。そこで、回線適応制御部２７は、エンコーダブリッジ部３０に対して、再生遅延時間Ｕを変更させて再生遅延時間Ｕ’とするだけでなく、変換部１０に対して、映像（音）データのフレームレートを下げさせたり、映像（音）データの解像度を下げさせたりすることで、通信ネットワーク９の混雑に対応することができる。これにより、エンコーダブリッジ部３０は、変更後の動作条件に従って、上記ステップＳ１０２のように、現時点の時刻Ｔ０をタイムスタンプとして付加した映像（音）データを通信端末５の再生制御部５３に送信する（ステップＳ１１１）。

次に、通信端末５では、再生制御部５３が、通信端末５における時刻（Ｔ_０＋Ｕ’−Δ）になるまで待ってから、映像（音）データをデコード部５０に出力することで、上記ステップＳ１０３のように、スピーカ６１から音を再生させ、レンダリング部５５を介して表示部５８から映像を再生させる（ステップＳ１１２）。その後、上記ステップＳ１０４以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。

＜上り用の回線適応制御の処理＞
続いて、図２５を用いて、通信端末５から配信管理装置２に送信する（上り）データの回線適応制御の処理を説明する。図２５は、通信端末５から配信管理装置２に送信するデータの回線適応制御の処理を示すシーケンス図である。

まず、通信端末５のエンコード部６０は、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）とを、送受信部５１及び送受信部３１を介して、配信管理装置２のデコード部４０に送信する（ステップＳ１２１）。

次に、配信管理装置２では、デコード部４０が上記ステップＳ１２１によって映像（音）データ〔Ｅ〕等を受信した時点の時刻Ｔ_０を、時刻管理部２５から読み出す（ステップＳ１２２）。そして、デコード部４０は、映像（音）データが通信端末５から送信されて配信管理装置２で受信されるまでの時間を示す送信遅延時間ｄ１を計算する（ステップＳ１２３）。この計算は、下記式（４）によって行われる。通信ネットワーク９が混雑している場合には、送信遅延時間ｄ１が長くなる。
ｄ１＝Ｔ０−（ｔ０＋Δ） ・・・（４）

次に、配信管理装置２の遅延情報取得部３７ａは、通信端末５の遅延情報取得部５７と同様に、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する（ステップＳ１２４）。

次に、回線適応制御部３７ｂが、送信遅延時間情報（ｄ）に基づいて、通信端末５のエンコード部６０の動作条件を計算する（ステップＳ１２５）。そして、回線適応制御部３７ｂは、送受信部３１及び送受信部５１を介して、通信端末５のエンコード部６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する（ステップＳ１２６）。即ち、下りの場合の回線適応制御部２７は、同じ配信管理装置２内でエンコーダブリッジ部３０に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部３７ｂは、配信管理装置２から通信ネットワーク９を介して、通信端末５に回線適応制御信号を送信する。

次に、通信端末５のエンコード部６０が、受信した回線適応制御信号に基づいて、動作条件を変更する（ステップＳ１２７）。そして、エンコード部６０は、新たな動作条件によって、上記ステップＳ１２１のように、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５における時刻ｔ０を示す時刻情報（ｔ０）と、同じく記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理装置２のデコード部４０に送信する（ステップＳ１２８）。その後、上記ステップＳ１２２以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。

〔実施の形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、本実施の形態の配信システム１では、クラウド上で配信管理装置２がブラウザ２０及びエンコード等を行うエンコーダブリッジ部３０を有する。これにより、ブラウザ２０が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部３０が通信ネットワーク９を介して配信することができるようにデータ形式を変換してから通信端末５に配信する。よって、通信端末５では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。

特に、ブラウザ２０は、リアルタイムコミュニケーションを可能にし、変換部１０は、ブラウザ２０によって生成された映像（音）データに対してリアルタイムのエンコードを行う。よって、例えば、映像（音）データのオンデマンド配信のように、ＤＶＤプレーヤがリアルタイム性のない（つまり、予めエンコードされている）映像（音）データを選択して配信する場合とは異なり、配信管理装置２は、配信する直前に取得したコンテンツをレンダリングすることで映像（音）データを生成してからエンコードするため、リアルタイム性に優れた映像（音）データの配信を行うことができる。

また、本実施の形態の配信システム１では、通信端末５から受信した操作データ〔ｐ〕に応じた描画情報を含む映像（音）データを、配信管理装置２から通信端末５に配信する場合、操作データ制御部４１が映像（音）データのエンコードの設定を一時的に変更する（品質を上げる）。これにより例えば１台の物理的な配信管理装置２で複数の通信端末５に、それぞれ違う映像（音）データを配信しているときに、通信ネットワーク９の帯域及び配信管理装置２のリソース（ＣＰＵ２０１等）の消費を適切に分散させることができる。すなわち、通信ネットワーク９の帯域及び配信管理装置２のリソースの消費量を制御しながら描画情報を通信端末５に配信することができる。

＜実施の形態の変形例１＞
次に、実施の形態の変形例１について説明する。上述の実施の形態の操作データ制御部４１の説明では、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信した場合に、エンコーダブリッジ部３０のフレームレートを制御する動作について説明した。本変形例１では、更に操作データ〔ｐ〕の描画モード情報に基づいてエンコーダブリッジ部３０のフレームレートを制御する場合について説明する。具体的には、本変形例１では描画モード情報が消去（消しゴム）を示す場合にエンコーダブリッジ部３０のフレームレートを上げる。ここで描画モード情報が消去（消しゴム）を示す場合にエンコーダブリッジ部３０のフレームレートを上げる理由について説明する。

通信端末５で描画された手書き線（電子ペンＰのストローク操作による文字等）は、配信管理装置２へ送信された後に、同装置にて描画された描画情報が通信端末５へ送信されることにより表示される（図４参照）。これによる手書き操作性の低下を防止するために、手書き線を描画した通信端末５では、通信端末５が一時的に手書き線を表示する方式を採用している。しかしながら、この通信端末５で一時的に表示を行う処理は手書き線の描画時には可能であるが、消去時には採用できない。すなわち、操作モードが消去である場合、操作モードが描画である場合よりも更に即応性が要求される。そこで本変形例１では、描画モードが消去の場合、フレームレートを上げることにより消しゴム操作性の低下を低減する動作について説明する。

本変形例１の配信管理装置２の構成の説明は、実施の形態の説明（図６）と同じなので省略する。

図２６は、実施の形態の変形例１のフレームレートの変更制御処理を示すフローチャートである。操作データ制御部４１は、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信する（ステップＳ２２１）。次に、操作データ制御部４１は、操作モードを取得し（ステップＳ２２２）、操作モードが消去モードであるか否かを判定する（ステップＳ２２３）。操作モードを示す情報は、例えば電子ペンＰに操作モードの切替スイッチ（描画又は消去（消しゴム）等）がある場合、当該切替スイッチの選択信号である。また操作データ制御部４１がブラウザ管理部２２を介してブラウザ２０から、操作モード（描画、消去（消しゴム）、及び手書き線の種類選択等）や操作内容（ページ送り及びページ戻し等）等を含む情報を取得して操作モードを判定してもよい。

操作モードが消去モードでない場合（ステップＳ２２３、Ｎｏ）、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２２６）。

操作モードが消去モードである場合（ステップＳ２２３、Ｙｅｓ）、操作データ制御部４１は、エンコーダブリッジ部３０のフレームレート（ｆｐｓ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）を上げる指示をエンコーダブリッジ部３０に行い（ステップＳ２２４）、タイマーをリセットする（ステップＳ２２５）。次に、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２２６）。

ステップＳ２２５でリセットしたタイマーの満了時のフレームレートの変更制御処理は、実施の形態の図２０の説明と同じであるため説明を省略する。

以上説明したように、本変形例１の配信管理装置２では、操作モードが、より即応性が要求される消去の場合に、エンコーダブリッジ部３０のフレームレートを上げることにより、通信ネットワーク９の帯域及び配信管理装置２のリソースの消費量を制御することができる。

なお、本変形例１では、より即応性が要求される操作モードが消去である場合を例にして説明したが、より即応性が要求される操作モードは消去に限られず任意でよい。すなわち、描画及び消去等を含む複数の操作状態のうち一の操作状態を示す操作モードが、ある特定の操作状態である場合に、エンコーダブリッジ部３０のフレームレートを上げる制御をしてもよい。

＜実施の形態の変形例２＞
次に、実施の形態の変形例２について説明する。上述の実施の形態の操作データ制御部４１の説明では、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信した場合に、エンコーダブリッジ部３０のフレームレートを制御する動作について説明した。本変形例２では、更にエンコーダブリッジ部３０の解像度を制御する場合について説明する。本変形例２の配信管理装置２の構成の説明は、実施の形態の説明（図６）と同じなので省略する。

図２７は、実施の形態の変形例２のフレームレートの変更制御処理を示すフローチャートである。操作データ制御部４１は、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信する（ステップＳ２３１）。次に、操作データ制御部４１は、エンコーダブリッジ部３０のフレームレート（ｆｐｓ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）及び解像度を既に変更しているか否かを判定する（ステップＳ２３２）。具体的には、操作データ制御部４１は、フレームレート及び解像度の変更時間を制御するタイマーが既にリセット（後述のステップＳ２３４）され、タイマー満了までカウント中であるか否かによりフレームレート及び解像度が既に変更されているか否かを判定する。

フレームレート及び解像度を既に変更している場合（ステップＳ２３２、Ｙｅｓ）、操作データ制御部４１は、タイマーをリセットすることによりタイマーをかけ直し（ステップＳ２３４）、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２３５）。

フレームレート及び解像度をまだ変更していない場合（ステップＳ２３２、Ｎｏ）、操作データ制御部４１は、エンコーダブリッジ部３０のフレームレートを上げ、解像度を下げる指示をエンコーダブリッジ部３０に行い（ステップＳ２３３）、タイマーをリセットする（ステップＳ２３４）。ここで、操作データ制御部４１がエンコーダブリッジ部３０に解像度を下げるように指示する理由は、フレームレートを上げると通信ネットワーク９の帯域の消費量が上がるためである。解像度を下げることにより通信ネットワーク９の帯域の消費量を下げることができ、配信管理装置２が通信端末５に送信する映像（音）データのフレームの到着が遅延することを防ぐことができる。次に、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２３５）。

図２８は、実施の形態の変形例２のフレームレートの変更制御処理（タイマー満了時）を示すフローチャートである。操作データ制御部４１は、タイマーが満了したか否かを判定する（ステップＳ２４１）。タイマーが満了した場合（ステップＳ２４１、Ｙｅｓ）、操作データ制御部４１は、フレームレート（ｆｐｓ：Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）及び解像度を元に戻す指示をエンコーダブリッジ部３０に行う（ステップＳ２４２）。

以上説明したように、本変形例２の配信管理装置２では、操作データ〔ｐ〕を受信した場合に、エンコーダブリッジ部３０のフレームレートを上げ、解像度を下げることにより、通信ネットワーク９の帯域及び配信管理装置２のリソースの消費量を制御することができる。

＜実施の形態の変形例３＞
次に、実施の形態の変形例３について説明する。上述の実施の形態の操作データ制御部４１の説明では、通信端末５から操作データ〔ｐ〕を受信した場合に、フレームレートを変更する時間を制御するタイマーを使用して、エンコーダブリッジ部３０のフレームレートを制御する動作について説明した。本変形例３では、タイマーを使用せずにフレームレートを制御する場合について説明する。本変形例３の配信管理装置２の構成の説明は、実施の形態の説明（図６）と同じなので省略する。

図２９は、実施の形態の変形例３のフレームレートの変更制御処理を示すフローチャートである。操作データ制御部４１は、送受信部３１を介して通信端末５から操作データ〔ｐ〕を受信する（ステップＳ２７１）。次に、操作データ制御部４１は、操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２７２）。次に、操作データ制御部４１は、操作データ〔ｐ〕がブラウザ２０に到達したか否かを判定する（ステップＳ２７３）。操作データ〔ｐ〕がブラウザ２０に到達した場合（ステップＳ２７３、Ｙｅｓ）、操作データ制御部４１は、エンコーダブリッジ部３０にフレームレートを上げてエンコードを行う臨時エンコードを指示する（ステップＳ２７４）。

図３０は、実施の形態の変形例３のフレームレートの変更制御処理のシーケンス図である。操作データ制御部４１は、送受信部３１を介して通信端末５から受信した操作データ〔ｐ〕をブラウザ管理部２２に入力する（ステップＳ２８１）。次に、ブラウザ管理部２２は、操作データ制御部４１から受信した操作データ〔ｐ〕をブラウザ２０に入力する（ステップＳ２８２）。次に、ブラウザ２０は、ブラウザ管理部２２から操作データ〔ｐ〕を受信したことを示すＲｅｐｌｙをブラウザ管理部２２に通知する（ステップＳ２８３）。次に、ブラウザ管理部２２は、ブラウザ２０からＲｅｐｌｙを受信したことを示すＲｅｐｌｙを操作データ制御部４１に通知する（ステップＳ２８４）。次に、操作データ制御部４１は、ブラウザ管理部２２からＲｅｐｌｙを受信すると、フレームレートを上げてエンコードを行う臨時エンコードを、エンコーダブリッジ部３０に指示する（ステップＳ２８５）。

以上説明したように、本変形例３の配信管理装置２では、操作データ〔ｐ〕がブラウザ２０に到達した場合に、操作データ制御部４１が、エンコーダブリッジ部３０にフレームレートを上げてエンコードを行う臨時エンコードを指示する。すなわち、操作データ〔ｐ〕に応じた描画情報を含む映像（音）データに、フレームレートを上げた臨時エンコードを１度実施することにより、通信ネットワーク９の帯域及び配信管理装置２のリソースの消費量を制御できる。

一般に、配信管理装置２が高フレームレートで映像（音）データをエンコードすると、即応性が向上するためユーザビリティーが向上するが、その分、配信管理装置２のリソース（ＣＰＵ２０１等）や通信ネットワーク９の帯域を消費してしまう。実施の形態及び変形例１〜３の配信管理装置２は、配信管理装置２と通信端末５との間でインタラクションが発生する場合（通信端末５で描画された手書き線が、配信管理装置２へ送信された後に、同装置にて描画された描画情報が通信端末５へ送信される場合等）を、即応性が要求される状況として判定し、映像（音）データのエンコードの設定を一時的に変更して通信ネットワーク９の帯域及び配信管理装置２のリソースの消費量を制御する。これにより、ユーザビリティーの向上を図りながら、配信管理装置２のリソース（ＣＰＵ２０１）や通信ネットワーク９の帯域を削減することができる。

〔補足説明〕
本実施の形態の配信システム１では、端末管理装置７と配信管理装置２とを互いに別個の装置として構成しているが、例えば、配信管理装置２に端末管理装置７の機能を持たせるなどにより、端末管理装置７と配信管理装置２とを一体の装置として構成するようにしてもよい。

また、上記実施の形態における配信管理装置２、及び端末管理装置７は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

更に、上記実施の形態の各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤＤ２０４は、いずれもプログラム製品（Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ）として、国内又は国外へ提供されることができる。

１ 配信システム
２ 配信管理装置
５ 通信端末
７ 端末管理装置
８ ウェブサーバ
９ 通信ネットワーク
１０ 変換部
１１ トリミング部
１２ リサイズ部
１９ エンコード部
２０ ブラウザ
２１ 送受信部
２２ ブラウザ管理部
２４ 送信用ＦＩＦＯ
３０ エンコーダブリッジ部
３１ 送受信部

特許第４６９６４８０号公報

Claims (11)

1. 端末が受け付けた操作入力を示す操作情報を前記端末からネットワークを介して受信する受信部と、
   前記操作情報から前記端末に表示する描画情報を作成するブラウザと、
   前記描画情報をエンコードするエンコーダと、
   前記受信部が前記操作情報を受信した場合に、前記操作情報を受信してから所定の時間が経過するまで、前記エンコーダのフレームレートを上げる制御を行う操作情報制御部と、
   エンコードされた前記描画情報を前記端末に送信する送信部と、
   を備える配信管理装置。
2. 前記操作情報は、複数の種類の操作状態のうち一の操作状態を示す描画モード情報を更に含み、
   前記操作情報制御部は、前記操作情報の前記描画モード情報が第１操作状態を示す場合に、前記操作情報を受信してから所定の時間が経過するまで、前記エンコーダのフレームレートを上げる制御を行い、
   前記ブラウザは、前記描画モード情報に基づいて前記描画情報の処理を行う
   請求項１に記載の配信管理装置。
3. 前記第１操作状態は消去である
   請求項２に記載の配信管理装置。
4. 前記操作情報制御部は、前記受信部が前記操作情報を受信してから所定の時間が経過するまで、更に前記エンコーダの解像度を下げる制御を行う
   請求項１乃至３のいずれか１項に記載の配信管理装置。
5. 前記操作情報は、前記端末を識別する識別情報を更に含み、
   前記配信管理装置は、
   前記描画情報と、前記識別情報とを関連付けて記憶する記憶部を更に備え、
   前記送信部は、前記描画情報と関連付けられた前記識別情報により識別される前記端末に、エンコードされた前記描画情報を送信する
   請求項１乃至４のいずれか１項に記載の配信管理装置。
6. 前記操作情報は、前記端末の表示画面上の座標情報を更に含み、
   前記ブラウザは、
   前記座標情報に基づいて前記描画情報の作成又は前記端末の描画設定情報の変更を行う
   請求項１乃至５のいずれか１項に記載の配信管理装置。
7. 前記描画設定情報は、線の太さと、線の色と、線の種類とを含む
   請求項６に記載の配信管理装置。
8. 前記ブラウザは、
   前記操作情報の前記座標情報と、前記描画設定情報とに基づいて、描画コマンドを生成し、前記描画コマンドにより前記描画情報を作成する
   請求項６又は７に記載の配信管理装置。
9. 前記受信部は、
   ウェブサーバからネットワークを介してコンテンツを更に受信し、
   前記ブラウザは、
   前記コンテンツに、前記描画情報を重畳させた表示情報を表示し、
   前記エンコーダは、
   前記表示情報をエンコードし、
   前記送信部は、
   エンコードされた前記表示情報を前記端末に送信する
   請求項１乃至８のいずれか１項に記載の配信管理装置。
10. 前記記憶部は、
    前記描画情報と、前記描画情報の前記コンテンツ上の位置とを関連付けて記憶する
    請求項９に記載の配信管理装置。
11. 端末が受け付けた操作入力を示す操作情報を前記端末からネットワークを介して受信する受信部と、
    前記操作情報から前記端末に表示する描画情報を作成するブラウザと、
    前記描画情報をエンコードするエンコーダと、
    前記ブラウザが前記操作情報を受け付けた場合に、フレームレートを上げて前記描画情報のエンコードを行うように前記エンコーダに指示する操作情報制御部と、
    エンコードされた前記描画情報を前記端末に送信する送信部と、
    を備える配信管理装置。

Images