JP2010119030A - 通信装置、通信方法および通信プログラム - Google Patents

Abstract

【課題】表示端末に対して提供する複数の機能の性能を効率的に制御する通信装置を提供する。
【解決手段】間引き率の指定に応じて入力情報を間引く入力解析部１１４と、間引かれた入力情報に応じて表示画像を更新するための更新画像を生成する更新画像生成部１１１ａと、更新画像と表示画像との間で画素情報が一致しない差分領域を指定された時間間隔で検出する差分検出部１１２と、差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部１１３と、映像情報を生成する映像生成部１１５と、圧縮画像および映像情報を表示装置に送信する送信部１１７ａと、映像情報の生成処理が閾値より大きい場合に、入力解析部１１４に対して指定する間引き率を上げる制御、および、差分検出部１１２に対して指定する時間間隔を大きくする制御の少なくとも一方を実行する制御部１１６と、を備えた。
【選択図】 図２

Description

この発明は、装置間でアプリケーションの画面を共有する機能を実現する通信装置、通信方法、および通信プログラムに関する。

ユーザビリティの向上を目的として、最低限の入出力インターフェース２１１を有する端末装置をユーザ側に配し、複雑な演算処理は遠隔地に設置された通信装置（本体装置）上で実行するコンピューティングシステムが存在する。例えば、特許文献１では、本体装置（パーソナルコンピュータ、サーバコンピュータ等）の画面情報を、ネットワークを介して遠隔の表示装置（表示端末）に投影するシステム（画面転送システム）に関する技術が提案されている。

このようなシステムでは、表示端末からの入力情報（デジタイザによるペン入力等）は、同様にネットワークを介して本体装置に送信され、実際のアプリケーションプログラム処理は本体装置が実行する。その後、実行結果および画面更新情報が、ネットワークを介して表示端末に転送される。表示端末は、受信された画面更新情報により出力処理（描画処理）を実行する。

一方、遠隔ネットワーク上の本体装置からの画面情報を表示端末へ効率よく伝送するための技術として、ＶＮＣ（Virtual Network Computing）が知られている。このＶＮＣでは、画面の更新を検知した際、読み出した画素情報の値を前回表示端末に伝送した画素情報の値と比較し、前回から変化した更新画面領域を決定する。さらに更新画面領域を静止画圧縮した後、表示端末に対して、圧縮した画面の差分情報のみを伝送する。これにより、通信帯域の消費を抑えることができる。従って、ウィンドウの移動等、画面の変更が大きい場合には送信すべき画面情報量が増加し、反対に画面の変更が小さい場合には送信すべき画面情報量は減少する。

また、本体装置に接続されたＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の外部記憶装置に記憶した映像データ（映像情報）、写真データ、および音楽データなどのメディアコンテンツを、ネットワークを介して伝送し、遠隔の表示端末から閲覧する映像ストリーミング機能を提供可能なマルチメディアシステムが知られている。

例えば、ＵＰｎＰ（Universal Plug and Play）では、家庭内のパーソナルコンピュータや周辺機器、テレビやＨＤＤレコーダなどのＡＶ（Audio Visual）機器を、ネットワークを通じて相互接続するための技術仕様を取り決めている。また、通信方式、伝送制御方式、および取り扱うコンテンツ種別など、より広範囲の技術仕様を取り決めたＤＬＮＡ（Digital Living Network Alliance）なども存在する。このシステムでは、クライアント端末がネットワーク上のサーバ装置を発見し、当該サーバ装置上のコンテンツをストリーミング再生にて閲覧する。

ここで、上記マルチメディアシステムで、本体装置の外部記憶装置に記憶された映像情報の種別と、表示端末にて再生可能な映像情報の種別とが異なる場合を考える。例えば、本体装置側の映像情報がＷＭＶ形式であり、表示端末で再生可能な映像情報がＭＰＥＧ−２（Generic coding of moving pictures and associated audio information）形式であるとする。この場合、ユーザは表示端末を介して本体装置の映像情報を閲覧することはできない。従って、そのような状況では、本体装置が映像情報を表示端末で再生可能な形式に変換（トランスコード）する方法が考えられる。

トランスコード処理は、映像情報の復号（デコード）処理を行った上で、新たな形式に符号化（エンコード）する処理である。上述の例では、ＷＭＶ形式の映像情報をデコードした後、所定のフレームレートまたはビットレート条件に即したＭＰＥＧ−２形式の映像情報へとエンコードする。このように、一般的に、映像情報のトランスコード処理は、演算量が多い処理といえる。

そして、本体装置が、上述のような画面転送システムとマルチメディアシステムとの双方の機能を同時に提供する場合、表示端末に送信する送信画像を生成する処理（更新画面領域を静止画圧縮する処理）と、映像情報のトランスコード処理とが同時に発生する場合がある。そのような状況では、本体装置が行うべき演算量が非常に多くなるという問題が生じうる。

特許文献２では、２方向の撮像素子を有する撮影装置において、一方の方向で被写体を検出した場合に、予め定めた優先度に基づいて、撮像の入力フレームレートを変更する技術が提案されている。これにより、状況に応じた適切な映像情報の記録・送信を実現している。

特許文献２は、複数の方向の映像入力を行う場合の技術であり、上述のような複数の機能を備えた本体装置の演算量を調整する技術ではない。仮に特許文献２の方法を上述のような本体装置に適用する場合、本体装置で複数の機能が動作開始した時点で、映像ストリーミングのフレームレートを下げる方法が考えられる。

米国特許第６７８４８５５号公報 特開２００３−２７４３５８号公報

しかしながら、特許文献２のように特定の機能が動作を開始したことをきっかけに、他の機能の品質を下げるように制御する方法を適用すると、演算量の調整が非効率となる可能性がある。

例えば、上述の画面転送システムでは、本体装置上で画面の更新が全くない場合や、ユーザのマウス操作に伴う画面更新時のように更新領域の面積が小さい場合には、送信画像生成に伴う演算量が少ないため、映像ストリーミングのフレームレートを下げなくても性能を維持することできる。ところが、特許文献２の方法を単純に適用すると、画面転送システムの開始を契機に映像ストリーミングのフレームレートを下げるため、無用に品質を低下させるおそれがある。

本発明は、上記に鑑みてなされたものであって、表示端末に対して提供する複数の機能の性能を効率的に制御することができる通信装置、通信方法および通信プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像を表示する表示装置にネットワークを介して接続する通信装置であって、前記表示装置に表示する表示画像を記憶する第１記憶部と、前記表示装置から送信された入力情報を受付け、前記入力情報を間引く割合を表す間引き率の指定に応じて前記入力情報を間引く入力解析部と、間引かれた前記入力情報に応じて前記表示画像を更新するための更新画像を生成する更新画像生成部と、前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を指定された時間間隔で検出する検出部と、前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、前記表示装置に表示する映像情報を生成する映像生成部と、前記圧縮画像および前記映像情報を前記表示装置に送信する送信部と、前記映像情報の生成処理の開始から前記映像情報の生成処理および前記映像情報の送信処理のいずれかの終了までの時間を表す第１処理時間と予め定められた第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行する制御部と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる方法およびプログラムである。

また、本発明は、画像を表示する第１表示装置および第２表示装置にネットワークを介して接続する通信装置であって、前記第１表示装置に表示する第１映像情報および前記第２表示装置に表示する第２映像情報を生成する映像生成部と、前記第１映像情報を前記第１表示装置に送信し、前記第２映像情報を前記第２表示装置に送信する送信部と、前記第１映像情報の生成処理の開始から、前記第１映像情報の生成処理および前記第１映像情報の送信処理のいずれかの終了までの処理時間と予め定められた閾値とを比較し、前記処理時間が前記閾値より大きい場合に、前記第２映像情報を生成するときのフレームレートを下げるように前記映像生成部を制御する制御部と、を備えたことを特徴とする。

本発明によれば、表示端末に対して提供する複数の機能の性能を効率的に制御することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

本実施の形態にかかる通信システムは、アプリケーションを実行する本体装置（通信装置）と、アプリケーションの実行により更新された画面を表示する表示端末（表示装置）とを備える。本体装置は、アプリケーションプログラムの動作により発生する画像情報を転送する機能と、映像情報のストリーミング再生機能とのうち一方の機能の性能が低下した場合に、他方の機能の処理負荷を下げるように制御する。

図１は、本実施の形態にかかる通信システムの構成を示すブロック図である。本実施の形態にかかる通信システムは、本体装置の画面に生じたイベントによる更新部分の画像を表示端末に伝送するシステムである。以下では、このような通信システムを画面転送システムと呼ぶ。

図１に示すように、本実施の形態にかかる通信システム１０は、通信装置としての本体装置１００と、本体装置１００とネットワーク４００を介して接続されたアクセスポイントとしての無線基地局３００と、無線基地局３００と無線ＬＡＮにより無線通信する表示装置としての表示端末２００ａおよび２００ｂ（以下、表示端末２００ともいう）とを備えている。

通信システム１０は、本体装置１００上で動作するアプリケーションソフトウェアの画面を、無線基地局３００を介して表示端末２００へ無線転送し、表示端末２００との間で、本体装置１００のアプリケーション画面を表示して共有する機能を有している。通信システム１０では、本体装置１００の側で更新された画面をリアルタイムに表示端末２００へ転送するために、本体装置１００の画面内で更新された部分の画像情報のみを転送する。すなわち、本体装置１００は、画像情報を表示する表示端末２００に対して、無線基地局３００を介して画像情報を送信可能である。

また、本体装置１００は、外部記憶装置１０３（同図では図示せず）上の映像情報を取得し、表示端末２００に表示させる新たな映像情報を生成して送信する機能を有している。以下では、映像情報を変換した上で送信するシステムを映像ストリーミングシステムと呼ぶ。同図の例では、本体装置１００が、生成した新たな映像情報を、無線基地局３００を介して一方の表示端末２００へ無線転送する。例えば、表示端末２００ａと本体装置１００とは画面転送システムを実現し、表示端末２００ｂと本体装置１００とは映像ストリーミングシステムを実現する。すなわち、本体装置１００は複数の表示端末２００に対して、複数の異なる機能を同時に提供することができる。

しかし、本体装置１００で送信画像の生成や映像情報の変換などの演算量の多い複数の処理を同時に動作させた場合、利用可能な資源の不足に伴い、表示端末２００での更新画面の表示レスポンスが低下する問題が考えられる。この問題の原因としては、本体装置１００での送信画像の生成時間が長くなることや、無線伝送路上に多くのトラフィックが流れることによる伝送遅延の増加が挙げられる。さらに、画面転送システムでは、ユーザが本体装置１００のデスクトップ画面の更新を確認しつつ入力操作を行うため、画面の表示に関するレスポンス性を維持することは重要である。一方、映像ストリーミングシステムでは、本体装置１００の演算能力低下に伴い、新たな映像情報の生成および送信間隔にばらつきが生じると、表示端末２００での再生品質も低下する。

したがって、本実施の形態では、複数の表示端末２００に対して複数の異なる機能を提供する本体装置１００が、特定の機能の性能が低下したことを検出した時点で、他方の性能を下げるように構成する。これにより、複数の機能の性能低下が連鎖的に発生し、結果システム全体の安定性が損なわれることを防止する。

表示端末２００は、本体装置１００から画像情報を受信し、受信した画像情報を伸張して画面内の対応する部分に表示する。また、表示端末２００は、本体装置１００から受信したメディアデータを、ディスプレイやスピーカを通じて再生する。

無線基地局３００は、ＩＥＥＥ８０２．１１などの無線通信プロトコルに準拠した無線通信の基地局である。ネットワーク４００は、例えば、ＩＥＥＥ８０２．３などの有線通信プロトコルに準拠したネットワークである。なお、ネットワーク形態はこれに限られず、他のプロトコルで接続するように構成してもよい。また、表示端末２００と本体装置１００とを有線ネットワークで接続するように構成してもよい。

次に、本体装置１００の詳細な構成について図２を用いて説明する。図２は、本実施の形態にかかる本体装置１００のブロック図である。同図に示すように、本体装置１００は、ディスプレイ１０１と、入力デバイス１０２と、外部記憶装置１０３と、画像バッファ１２１と、条件記憶部１２２と、イベント取得部１１１と、差分検出部１１２と、圧縮画像生成部１１３と、入力解析部１１４と、映像生成部１１５と、制御部１１６と、通信処理部１１７と、接続判定部１１８と、を備えている。

ディスプレイ１０１は、ＬＣＤ（Liquid Crystal Display）などで実現される表示装置である。入力デバイス１０２は、ディスプレイ１０１の画面に表示されたカーソルを移動操作するマウスなどで実現される。この他、入力デバイス１０２としては、キーボード、トラックボールなどを用いてもよい。

外部記憶装置１０３は、ＨＤＤやＳＳＤなど大容量のストレージデバイスによって実現される。外部記憶装置１０３は、映像データ（映像情報）や音楽データ、写真データといったマルチメディアコンテンツを記憶する。

画像バッファ１２１は、画像を記憶する記憶部である。条件記憶部１２２は、制御部１１６が判定に用いる条件として、処理時間の閾値（第１閾値）を記憶する。

なお、画像バッファ１２１および条件記憶部１２２は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

イベント取得部１１１は、アプリケーションプログラム（図示せず）等の動作により発生するイベントを取得する。例えば、イベント取得部１１１は、コンピュータを統括制御するオペレーティングシステム（ＯＳ）と、このＯＳに組み込まれたディスプレイドライバと同等の機能を有する仮想ディスプレイドライバと、ＯＳ上で動作するアプリケーションソフトウェアなどのアプリケーションプログラムで実現される。

イベント取得部１１１は、アプリケーションソフトウェアにより画面が更新される場合や、マウス操作などでカーソルが移動操作されて画面内の任意の領域の画像が更新される場合に、画面（画像）が更新されたことをイベントとして取得する。

イベント取得部１１１は、詳細な構成として更新画像生成部１１１ａを備えている。更新画像生成部１１１ａは、例えばＯＳに組み込まれた仮想ディスプレイドライバとして実現できる。更新画像生成部１１１ａは、画面更新のイベントが取得された場合、ＯＳのグラフィックエンジンから描画命令を取得し、描画処理を行うことで表示端末２００に表示させる画像を表す表示画像を生成して画像バッファ１２１へ順次出力して記憶する。これにより、画像バッファ１２１には、表示画像が順次保持される。

なお、以下では、画像バッファ１２１に保持されている画像を表示画像といい、更新画像生成部１１１ａにより新たに生成され、画像バッファ１２１に保存する前の画像を更新画像という。このように、更新画像生成部１１１ａは、アプリケーションプログラムの動作により発生するイベントに従って表示端末２００に表示させる更新画像を生成する。

差分検出部１１２は、画像バッファ１２１に順次保持される新旧の表示画像で画素情報が一致しない領域を表す差分領域を検出する。すなわち、差分検出部１１２は、更新画像生成部１１１ａにより更新画像が生成されたことを通知された場合に、生成された新たな画像情報（更新画像）と画像バッファ１２１にバッファリングされた画像情報（表示画像）との間の差分領域を検出する。差分検出部１１２は、例えば、２つの画像情報間で一致しない部分を含む最小の矩形を、差分領域として検出する。なお、差分検出部１１２は、所定の時間間隔毎に差分の有無を確認する。

圧縮画像生成部１１３は、差分検出部１１２により検出された差分領域の画像を送信用に圧縮処理した圧縮画像を生成する。圧縮画像は、ＪＰＥＧ（Joint Photographic Experts Group）のような不可逆圧縮を用いて生成してもよいし、Ｚｌｉｂのような可逆圧縮方式を用いて生成してもよい。

なお、圧縮画像生成部１１３および上述の差分検出部１１２は、画面転送用のアプリケーションプログラムなどにより実現される。

入力解析部１１４は、表示端末２００から送られた、マウス入力やキーボード入力等の入力情報を解析し、イベント取得部１１１に送出する。なお、入力解析部１１４は、指定された間引き率で入力情報を間引き、間引いた入力情報をイベント取得部１１１に送出する。マウス入力に関する情報としては、マウスの座標位置（Ｘ座標、Ｙ座標）やボタン状態（右クリック、左クリック）などが挙げられる。一方、キーボード入力に関する情報としては、新たに押された状態や離された状態といった動作状態に関する情報などが挙げられる。

映像生成部１１５は、イベント取得部１１１を介して外部記憶装置１０３上の映像情報を取得し、表示端末２００に表示させるための新たな映像情報を生成する。映像生成部１１５は、例えば、外部記憶装置１０３に記憶された映像情報がＷＭＶ形式である場合、ＭＰＥＧ−２形式などに変換する。従って、映像生成部１１５は、元の映像情報を復号処理する機能（デコード機能）と、新たな映像情報を符号化処理する機能（エンコード機能）とを有している。

さらに、映像生成部１１５は、生成した新たな映像情報を元に、表示端末２００に送信する送信映像メッセージを生成する。例えば、映像生成部１１５は、映像情報にＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）ヘッダなどの伝送制御情報を付加することにより送信映像メッセージを生成する。

制御部１１６は、画面転送システムの性能、および、映像ストリーミングシステムの性能を制御する。例えば、制御部１１６は、圧縮画像生成部１１３および映像生成部１１５から処理時間の実測値を受け取り、条件記憶部１２２に予め記憶した閾値と比較する。そして、実測値が閾値より大きい場合、すなわち、いずれかの性能が低下したことを検出した場合、制御部１１６は、他方の機能の性能を下げるように制御する。なお、機能の性能を下げる（低下させる）ように制御するとは、本体装置１００にかかる負荷を低減させるように制御することを意味する。

例えば、圧縮画像生成部１１３の単位面積当たりの処理時間が閾値を上回った場合に、制御部１１６は、映像生成部１１５に対して、新たな映像情報の生成フレームレートを下げる指示を行う。例えば、映像生成部１１５が１秒間に３０フレームの間隔で映像情報を生成している場合、制御部１１６は、１秒間に１５フレームの間隔で生成するように映像生成部１１５に対してフレームレートの変更指示を行う。

また、例えば、映像生成部１１５による新たな映像情報の生成時間が閾値を上回った場合に、制御部１１６は、差分検出部１１２および入力解析部１１４に対して、性能を下げるための制御を行う。すなわち、制御部１１６は、差分検出部１１２に対して差分の検出間隔を伸ばすように指示する。上述のように画像バッファ１２１に対しては検出された更新画像が順次上書きされるため、検出間隔を伸ばすことにより、コマ落としと同等の効果が得られる。また、制御部１１６は、入力解析部１１４に対して入力情報の間引き率を増加させるように指示する。入力情報を間引くことで、例えばマウス情報の場合、マウスやウィンドウの移動に伴う幾つかの画面更新をスキップすることができ、送信画像の生成処理を削減できる他、通信路上に送信するデータ量を削減することができる。

なお、同図には明示していないものの、本体装置１００はセッション情報記憶部とセッションマネージャとを有している。

セッション情報記憶部は、本体装置１００とセッションを確立中の表示端末２００に関する情報を表すセッション情報を記憶する。例えば、セッション情報記憶部は、ユーザを識別するユーザ識別情報などと、セッションが利用中か否かを示す状態情報、伝送制御がＴＣＰであるかＵＤＰ（User Datagram Protocol）であるかを表す伝送制御情報、および、再生可能な映像情報の形式を表す形式情報などの情報とを対応づけたセッション情報を記憶する。

１台の本体装置１００に対して、複数の表示端末２００がセッションを確立している状態では、セッション情報記憶部は、本体装置１００から送信するメッセージの宛先とする表示端末２００を識別する端末識別情報を含むセッション情報を記憶する。

セッションマネージャは、本体装置１００との間で確立した通信（セッション）を管理する。例えば、セッションマネージャは、本体装置１００とセッションを確立したときに、セッションの状態情報、および伝送制御情報などを対応づけたセッション情報を生成してセッション情報記憶部に記憶する。

通信処理部１１７は、表示端末２００などの外部装置との間でメッセージを送受信する。通信処理部１１７は、メッセージを送信する送信部１１７ａと、メッセージを受信する受信部１１７ｂとを備えている。例えば、送信部１１７ａは、圧縮画像生成部１１３により生成された圧縮画像を含む送信画像メッセージを表示端末２００に送信する。また、送信部１１７ａは、映像生成部１１５によって生成された送信映像メッセージを表示端末２００に送信する。

なお、送信部１１７ａは、セッションマネージャにより特定された表示端末２００をあて先として、送信すべきメッセージを無線基地局３００を介して送信する。

接続判定部１１８は、接続を要求した表示端末２００の接続可否を判定する。接続判定部１１８による表示端末２００の接続可否を判定する接続判定処理の詳細については後述する。

次に、表示端末２００の詳細な構成について図３を用いて説明する。図３は、本実施の形態にかかる表示端末２００のブロック図である。同図に示すように、表示端末２００は、ディスプレイ２０１と、入力デバイス２０２と、アンテナ２０３と、画像バッファ２２１と、セッション情報記憶部２２２と、入出力インターフェース２１１と、画像生成部２１２と、映像復号部２１３と、セッションマネージャ２１４と、無線通信処理部２１５と、を備えている。この他、同図には図示していないが、表示端末２００は音声を出力するためのスピーカを備える。

ディスプレイ２０１は、ＬＣＤなどで実現される表示装置である。入力デバイス２０２は、ディスプレイ２０１の画面に表示されたカーソルを移動操作するデジタイザやタッチスクリーンなどで実現される。入力デバイス２０２が取得した入力情報は、入出力インターフェース２１１（後述）に渡される。

アンテナ２０３は、本体装置１００などの外部装置との間で無線通信するための電波を送受信する。

画像バッファ２２１は、画像を記憶するメモリおよび映像を記憶するビデオメモリとして機能する記憶部である。

セッション情報記憶部２２２は、セッションを確立中の本体装置１００に関する情報を表すセッション情報を記憶する。例えば、セッション情報記憶部２２２は、セッションの状態情報、および伝送制御情報などを含むセッション情報を記憶する。

なお、画像バッファ２２１およびセッション情報記憶部２２２は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

入出力インターフェース２１１は、ディスプレイ２０１および入力デバイス２０２に対する入出力のインターフェースであり、ＧＵＩ（Graphical User Interface）などのアプリケーションプログラムによって実現される。

例えば、入出力インターフェース２１１は、画像バッファ２２１から画像情報を取得し、ディスプレイ２０１に表示する。また、入出力インターフェース２１１は、本体装置１００から送られた画像情報を、画像生成部２１２を介して取得し、画像バッファ２２１に書き込む機能に加え、表示端末２００内で独自に生成されたＧＵＩ用の画像情報を画像バッファ２２１に書き込む機能を有する。

画像生成部２１２は、本体装置１００から受信した圧縮画像を伸張した後、伸張した画像情報を、描画用の画像バッファ２２１の指定描画位置へ書き込む。すなわち、画像生成部２１２は、本体装置１００から送信され無線通信処理部２１５により受信された圧縮画像を伸張して生成した部分画像をディスプレイ２０１の指定位置へ表示する。

映像復号部２１３は、本体装置１００から受信した符号化映像を復号処理した後、復号した映像情報を、描画用の画像バッファ２２１へ指定間隔で書き込む。この時、本体装置１００から送られた符号化映像情報の符号化方式と、表示端末２００が復号可能な符号化方式が異なる場合は、圧縮された映像情報を復号することはできず、映像を再生することはできない。

セッションマネージャ２１４は、本体装置１００との間で確立した通信（セッション）を管理する。例えば、セッションマネージャ２１４は、本体装置１００とセッションを確立したときに、セッションの状態情報、および伝送制御情報などを対応づけたセッション情報を生成してセッション情報記憶部２２２に記憶する。

無線通信処理部２１５は、無線基地局３００との間でアンテナ２０３を介して信号を送受信する。無線通信処理部２１５は、メッセージを送信する送信部２１５ａと、メッセージを受信する受信部２１５ｂとを備えている。無線通信処理部２１５は、ＩＥＥＥ８０２．１１などに準拠した無線ＬＡＮ機能によって実現される。

例えば、無線通信処理部２１５の受信部２１５ｂは、受信した無線信号を復調してパケットを生成し、パケットのメッセージ種別に応じて画像生成部２１２へ該当データを渡す。例えば、パケットが圧縮画像を含む送信画像メッセージのパケットであった場合、そのパケットから抽出した圧縮画像および画素数などの情報が画像生成部２１２に渡される。また、例えば、パケットが映像ストリーミングシステムの映像情報パケット（送信映像メッセージのパケット）であった場合、そのパケットから抽出した符号化映像が映像復号部２１３に渡される。

なお、表示端末２００が、画面転送システムによる本体装置１００の遠隔操作を行うか、映像ストリーミングシステムによる映像情報の視聴を行うかは、入出力インターフェース２１１上のＧＵＩ（Graphical User Interface）を介して、ユーザに選択させる方法が考えられる。

画面転送システムを利用している場合、入力デバイス２０２は、デジタイザやタッチスクリーンなどにより、ユーザからの入力情報を取得する。入力情報は、入出力インターフェース２１１で座標情報などを解析された後、無線通信処理部２１５を介して、本体装置１００に送信される。この場合、本体装置１００は、表示端末２００より受信した入力情報を元に、アプリケーション処理を実行する。アプリケーション処理の結果として画面の領域内に更新が発生した場合、本体装置１００は、更新する画像情報を取得して送信画像メッセージを生成した後、表示端末２００に向けて送信する。

映像ストリーミングシステムを利用している場合、ユーザはＧＵＩ上に表示された、本体装置１００に記憶された映像データ（映像情報）、音楽データ、および写真データなどのマルチメディアコンテンツのいずれかを選択する。表示端末２００は、ユーザの入力情報を元に、再生すべきマルチメディアコンテンツを決定する。

例えば、ＵＰｎＰ規格によれば、マルチメディアコンテンツには、ネットワーク上の位置を識別するための識別子として、ＵＲＩ（Uniform Resource Identifier）等の識別情報が付加されている。表示端末２００は、ユーザからの選択操作を解析した後、上記ＵＲＩ情報を元に、本体装置１００の映像ストリーミング機能を利用するための通信セッションを開始する。この時、通信セッションとしては、ＨＴＴＰ（Hyper Text Transfer Protocol）などを用いることが考えられるが、ＲＴＰ（Real-time Transport Protocol）のような伝送制御を用いても良い。映像ストリーミングシステムの場合、本体装置１００は、表示端末２００から通信セッションが開始されたことを検出した場合に、外部記憶装置１０３に記憶されている映像情報を映像生成部１１５によって新たな映像情報に変換しながら、通信処理部１１７を介して表示端末２００に送信するように伝送制御を行う。

次に、このように構成された本実施の形態にかかる本体装置１００による接続判定処理について図４および図５を用いて説明する。図４は、本実施の形態における接続判定処理の全体の流れを示すフローチャートである。

まず、接続判定部１１８は、通信処理部１１７の受信部１１７ｂを介して、表示端末２００から接続要求を受信する（ステップＳ４０１）。接続判定部１１８は、受信した接続要求が、２台目以降の表示端末２００からの要求であるか否かを判断する（ステップＳ４０２）。接続判定部１１８は、例えば、接続済みの表示端末２００の台数を記憶部等に記憶することにより、２台目の表示端末２００からの要求であるかを判断する。

２台目以降の表示端末２００からの接続要求である場合は（ステップＳ４０２：ＹＥＳ）、接続判定部１１８は、接続可否条件を満たすか否かを判断する（ステップＳ４０３）。

図５は、接続可否条件の一例を示す図である。同図は、１台目の表示端末２００が利用している機能と、２台目の表示端末２００が要求した機能と、２台目以降の表示端末２００の接続可否を表す情報とを含む接続可否条件、および、性能低下に関する確認が必要か否かを表す情報を記憶した例を示している。

上述のように、本実施の形態の通信システム１０では、１台の本体装置１００が複数の表示端末２００に対して複数の異なる機能を提供する。すなわち、本体装置１００は、画面転送システムとしての機能（画面転送機能）と、映像ストリーミングシステムとしての機能（映像ストリーミング機能）とを提供する。

本実施の形態では、同時に複数のユーザが画面転送機能を利用できないことを前提とする。従って、同図に示すように、１台目の表示端末２００が画面転送機能を利用している場合に、もう１台の表示端末２００も画面転送機能の利用を要求する場合は、２台目以降の接続を拒否する。同図では、２台目以降の接続を許可する場合に「○」、許否する場合に「×」を接続可否条件として設定する例が示されている。

図４のステップＳ４０３で、接続判定部１１８は、このような接続可否条件に基づいて接続可否を判断する。なお、２台目の表示端末２００の接続を許可する場合であっても、１台目の表示端末２００が利用中の機能との関係で性能の低下が予測されるため、ユーザに性能の低下を許容するか否かを確認することが望ましい場合がある。

例えば、本体装置１００が外部記憶装置１０３から取得した映像情報の符号化方式と、表示端末２００が再生可能な映像情報の符号化方式とが一致しており、かつビットレートや解像度を変更する必要がない場合は、映像生成部１１５によるトランスコード処理が不要となる。トランスコードを行わない場合、映像ストリーミング機能は、それほど演算量を必要としないため、性能は低下せず、ユーザに対する確認も不要と考えられる。

一方、映像生成部１１５によりトランスコードを行う場合は、上述のように、映像情報のデコード処理とエンコード処理を行う必要があるため、多くの演算量を必要とする。したがって、トランスコードを行う映像ストリーミング機能を含む複数の機能を動作させる場合は、本体装置１００で性能が劣化する可能性がある。このような場合は、性能が低下しうることをユーザに確認することが望ましい。

したがって、本実施の形態では、接続可否条件を満たす場合に、接続判定部１１８は、さらに、図５の性能低下に関する確認の情報を参照して、性能低下を許容するか否かをユーザに確認するか否かを判断する。

すなわち、図４のステップＳ４０３で接続可否条件を満たすと判断した場合（ステップＳ４０３：ＹＥＳ）、接続判定部１１８は、性能低下の確認が必要か否かを判断する（ステップＳ４０４）。具体的には、接続判定部１１８は、少なくとも１台の表示端末２００がトランスコード有りの映像ストリーミング機能を利用中または利用を要求する場合に、性能低下の確認が必要であると判断する。

性能低下の確認が必要と判断した場合は（ステップＳ４０４：ＹＥＳ）、接続判定部１１８は、性能が低下する可能性があることを確認するメッセージを表示端末２００のディスプレイ２０１に表示する（ステップＳ４０５）。なお、ユーザに対して性能低下を確認する方法はこれに限られるものではない。例えば、表示端末２００のスピーカで音声により確認メッセージを出力するように構成する方法など従来から用いられているあらゆる方法を適用できる。

次に、接続判定部１１８は、性能低下の可能性がユーザにより承諾されたか否かを判断する（ステップＳ４０６）。承諾された場合は（ステップＳ４０６：ＹＥＳ）、接続判定部１１８は、接続要求を送信した表示端末２００の接続を許可する（ステップＳ４０７）。承諾されなかった場合は（ステップＳ４０６：ＮＯ）、接続判定部１１８は、表示端末２００の接続を拒否する（ステップＳ４０８）。

なお、ステップＳ４０２で、２台目以降の表示端末２００からの接続要求でないと判断した場合（ステップＳ４０２：ＮＯ）、すなわち、１台目の表示端末２００からの接続要求の場合は、接続判定部１１８は、表示端末２００の接続を許可する（ステップＳ４０７）。また、ステップＳ４０３で、接続可否条件を満たさないと判断した場合（ステップＳ４０３：ＮＯ）、接続判定部１１８は、２台目以降の表示端末２００の接続を拒否する（ステップＳ４０８）。図５の例では、１台目の表示端末２００が画面転送機能を利用中に、２台目以降の表示端末２００も画面転送機能の利用を要求した場合が該当する。

本実施の形態では、このようにして２台目の表示端末２００の接続および機能提供を許可した後、制御部１１６が各機能の性能を計測しつつ、複数の表示端末２００に複数の機能を提供する。そして、１台目の表示端末２００が利用中の機能の性能が低下したことを検出した場合に、後から接続した２台目の表示端末２００が利用中の機能の性能を下げる制御を実施する。本体装置１００が各機能の性能を制御する性能制御処理の詳細については後述する。

次に、映像ストリーミング機能の概要について図６を用いて説明する。図６は、本実施の形態における映像情報送信処理の全体の流れを示すフローチャートである。

まず、映像生成部１１５は、表示端末２００から指定された外部記憶装置１０３内の映像情報のデコードを開始する（ステップＳ６０１）。次に、映像生成部１１５は、デコードした映像情報を、指定を受けた表示端末２００に適した形式の映像情報にエンコードする（ステップＳ６０２）。なお、映像生成部１１５は、制御部１１６から指定された生成フレームレートとなるように映像情報をエンコードする。そして、映像生成部１１５は、エンコードした映像情報を表示端末２００に送信する（ステップＳ６０３）。

本実施の形態では、映像生成部１１５が、映像情報のデコードの開始から、エンコードの完了までの処理時間の実測値Ｐ１を計測する（ステップＳ６０４）。なお、処理時間の計測方法は上記に限られるものではなく、例えば、映像情報のデコード開始からエンコードした映像情報の送信完了までの処理時間を計測するように構成してもよい。また、映像ストリーミング機能の性能を示す指標は上記のような処理時間に限られるものではない。例えば、生成したフレーム数を処理時間で除算して得られるフレームレートの実測値Ｖを計測するように構成してもよい。

次に、映像生成部１１５は、映像情報が終了したか否かを判断し（ステップＳ６０５）、終了していない場合は（ステップＳ６０５：ＮＯ）、さらに映像情報を外部記憶装置１０３から取得してデコード処理を繰り返す（ステップＳ６０１）。映像情報が終了した場合は（ステップＳ６０５：ＹＥＳ）、映像情報送信処理を終了する。

次に、画面転送機能の概要について図７を用いて説明する。図７は、本実施の形態における画像送信処理の全体の流れを示すフローチャートである。

まず、入力解析部１１４が、表示端末２００から送信されたユーザの入力情報を取得し、指定された間引き率αで入力情報を間引き、イベント取得部１１１に送出する（ステップＳ７０１）。

アプリケーションプログラムは、この入力情報に応じて所定の処理を実行する（ステップＳ７０２）。なお、アプリケーションプログラムの実行により画面が更新される場合は、イベント取得部１１１が、画像が更新されたことをイベントとして取得する。

差分検出部１１２は、差分検出処理を実行するために指定された時間間隔（待機時間ｔ）が経過するまで待機する（ステップＳ７０３）。

待機処理の後、差分検出部１１２は、イベント取得部１１１の更新画像生成部１１１ａにより生成された新たな画像情報と、画像バッファ１２１にバッファリングされた画像情報との間の差分領域を検出する（ステップＳ７０４）。

次に、圧縮画像生成部１１３は、差分領域の画像を圧縮した圧縮画像を生成し、圧縮画像を含む送信画像メッセージを生成する（ステップＳ７０５）。次に、送信部１１７ａが、生成された送信画像メッセージを表示端末２００に送信する（ステップＳ７０６）。

本実施の形態では、圧縮画像生成部１１３が、差分領域の検出処理の開始から、圧縮画像の生成処理の完了までの処理時間の実測値Ｐ２を計測し（ステップＳ７０７）、制御部１１６に通知する。なお、差分領域の検出開始から圧縮画像の送信完了までの処理時間の実測値を計測するように構成してもよい。

次に、図６および図７のような手順で計測された性能の実測値を参照して各機能の性能を制御する性能制御処理の詳細について図８を用いて説明する。図８は、本実施の形態における性能制御処理の全体の流れを示すフローチャートである。

まず、本体装置１００の各機能を提供する構成部が、２台の表示端末２００に対して、要求された画面転送機能および映像ストリーミング機能のいずれかの提供を開始するとともに、提供する機能の性能測定を開始する（ステップＳ８０１）。

具体的には、イベント取得部１１１、差分検出部１１２、および圧縮画像生成部１１３などが協働して、画面転送機能を提供する。また、イベント取得部１１１および映像生成部１１５などが協働して、映像ストリーミング機能を提供する。

次に、制御部１１６は、１台目の表示端末２００に提供している機能の性能の実測値が、性能の目標値に達しているか否かを判断する（ステップＳ８０２）。例えば、１台目の表示端末２００が画面転送機能を利用している場合、制御部１１６は、映像情報のデコード開始からエンコード終了までの処理時間の実測値Ｐ１を映像生成部１１５から受け取る。そして、制御部１１６は、映像生成部１１５に対して指定したフレームレートに対応する処理時間の目標値と実測値Ｐ１とを比較し、実測値Ｐ１が目標値以下であるか否かを判断する。なお、映像生成部１１５がフレームレートの実測値Ｖを計測するように構成する場合は、制御部１１６は、フレームレートの実測値Ｖが、映像生成部１１５に対して指定したフレームレート以上であるか否かを判断すればよい。

また、例えば、１台目の表示端末２００が映像ストリーミング機能を利用している場合、制御部１１６は、差分領域の検出開始から圧縮画像の生成完了までの処理時間の実測値Ｐ２を圧縮画像生成部１１３から受け取る。そして、制御部１１６は、予め定められた目標値と実測値Ｐ２とを比較し、実測値Ｐ２が目標値以下であるか否かを判断する。

性能の実測値が目標値に達していないと判断した場合（ステップＳ８０２：ＮＯ）、制御部１１６は、２台目の表示端末２００に提供している機能の性能を下げるように、対応する各構成部を制御する（ステップＳ８０３）。なお、ステップＳ８０３実行後、ステップＳ８０２に戻り、実測値と目標値との比較処理を繰り返す。

例えば、本体装置１００が、１台目の表示端末２００に映像ストリーミング機能を提供し、２台目の表示端末２００に画面転送機能を提供しているとする。そして、映像ストリーミング機能の処理時間の実測値が目標値を超えたとする。この場合、制御部１１６は、差分検出部１１２が差分領域を検出する時間間隔である待機時間ｔを延長することにより、画面転送機能の性能を下げるように制御する。または、制御部１１６は、入力解析部１１４が入力情報を間引く間引き率αを上げるように制御する。なお、制御部１１６が、待機時間ｔの延長および間引き率αの増加を共に実行するように構成してもよい。

また、例えば、本体装置１００が、１台目の表示端末２００に画面転送機能を提供し、２台目の表示端末２００に映像ストリーミング機能を提供しているとする。そして、画面転送機能の処理時間の実測値が目標値を超えたとする。この場合、制御部１１６は、映像生成部１１５が新たな映像情報を生成するときに指定する生成フレームレートｖを下げるように制御する。

また、例えば、本体装置１００が、１台目および２台目の表示端末２００の両方に映像ストリーミング機能を提供しているとする。そして、１台目の表示端末２００に対する映像ストリーミング機能の処理時間の実測値が目標値を超えたとする。この場合、制御部１１６は、２台目の表示端末２００に表示する映像情報の生成フレームレートｖを下げるように制御する。

なお、性能の実測値が目標値に達していると判断した場合は（ステップＳ８０２：ＹＥＳ）、制御部１１６は、機能の性能制御を実行せず、ステップＳ８０２に戻って処理を繰り返す。

このようにして、制御部１１６が、１台目の表示端末２００に提供している機能の性能の実測値を評価し、実測値が目標値に達していない場合に、２台目の表示端末２００に提供している機能の性能を低下させるように制御する。これにより、単に特定の機能が動作したことを契機として他の機能の性能を低下させる従来の方法と比較して、効率的な性能の制御が可能となる。

次に、本体装置１００の動作例について説明する。図９および図１０は、本実施の形態の本体装置１００の動作例を示すシーケンス図である。

図９は、本体装置１００で映像ストリーミング機能（トランスコード有）が最初に動作している状況で、２台目の表示端末２００が画面転送機能を利用し、映像ストリーミング機能の性能が低下したことを検出した場合の例である。なお、同図では、映像生成部１１５がフレームレートの実測値Ｖを計測するように構成する場合の例を示している。

制御部１１６は、映像生成部１１５から通知されたフレームレートの実測値Ｖが閾値を下回ったことを検知し（ステップＳ９０１）、画面転送機能に対して性能の変更を指示する（ステップＳ９０２）。すなわち、制御部１１６は、差分検出部１１２に対して待機時間ｔを増加すること、および、入力解析部１１４に対して入力情報の間引き率αを増加することを指示する（ステップＳ９０３）。

図１０は、本体装置１００で画面転送機能が最初に動作している状況で、２台目の表示端末２００が映像ストリーミング機能（トランスコード有）を利用し、画面転送機能の性能が低下したことを検出した場合の例である。

制御部１１６は、圧縮画像生成部１１３から通知された処理時間の実測値Ｐ２が閾値を上回ったことを検知し（ステップＳ１００１）、映像ストリーミング機能に対して性能の変更を指示する（ステップＳ１００２）。すなわち、制御部１１６は、映像生成部１１５に対して、新たな映像情報の生成フレームレートｖを下げることを指示する（ステップＳ１００３）。

なお、上記実施の形態では、複数の機能のうち最初に開始した機能を優先し、最初に開始した機能の性能が低下した場合に、後に開始した機能の品質を低下させるように制御していた。優先する機能の特定方法はこれに限られるものではなく、例えば、複数の機能のうち特定の機能を開始順序に関わらず優先するように構成してもよい。また、複数の表示端末２００のうち特定の表示端末２００で実行する機能を優先するように構成してもよい。

このように、本実施の形態にかかる通信装置（本体装置）は、画面転送機能と映像ストリーミング機能とのうち一方の機能の性能が低下した場合に、他方の機能の処理負荷を下げるように制御することができる。このため、性能制御を実施しなくてもそのままの品質で各機能が動作可能な場合には不要に品質を低下させることがない。また、特定の機能の品質を確保する必要がある場合には、他の機能の品質を低下させることにより、必要な機能の品質を確保することができる。すなわち、表示端末に対して提供する複数の機能の性能を効率的に制御することが可能となる。

次に、本実施の形態にかかる通信装置（本体装置）および表示装置（表示端末）のハードウェア構成について図１１を用いて説明する。図１１は、本実施の形態にかかる通信装置および表示装置のハードウェア構成を示す説明図である。

本実施の形態にかかる通信装置および表示装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えている。

本実施の形態にかかる通信装置で実行される通信プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態にかかる通信装置で実行される通信プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる通信装置で実行される通信プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の通信プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態にかかる通信装置で実行される通信プログラムは、上述した各部（イベント取得部、差分検出部、圧縮画像生成部、入力解析部、映像生成部、制御部、通信処理部、接続判定部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から通信プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかる通信装置、通信方法および通信プログラムは、通信装置と表示端末間でアプリケーションの画面を共有する機能および通信装置から映像情報を送信して表示端末に表示する機能を実現するシステム等に適している。

本実施の形態にかかる通信システムの構成を示すブロック図である。 本実施の形態にかかる本体装置のブロック図である。 本実施の形態にかかる表示端末のブロック図である。 本実施の形態における接続判定処理の全体の流れを示すフローチャートである。 接続可否条件の一例を示す図である。 本実施の形態における映像情報送信処理の全体の流れを示すフローチャートである。 本実施の形態における画像送信処理の全体の流れを示すフローチャートである。 本実施の形態における性能制御処理の全体の流れを示すフローチャートである。 本実施の形態の本体装置の動作例を示すシーケンス図である。 本実施の形態の本体装置の動作例を示すシーケンス図である。 本実施の形態にかかる通信装置および表示装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１０ 通信システム
１００ 本体装置
１０１ ディスプレイ
１０２ 入力デバイス
１０３ 外部記憶装置
１１１ イベント取得部
１１１ａ 更新画像生成部
１１２ 差分検出部
１１３ 圧縮画像生成部
１１４ 入力解析部
１１５ 映像生成部
１１６ 制御部
１１７ 通信処理部
１１７ａ 送信部
１１７ｂ 受信部
１１８ 接続判定部
１２１ 画像バッファ
１２２ 条件記憶部
２００ａ、２００ｂ 表示端末
２０１ ディスプレイ
２０２ 入力デバイス
２０３ アンテナ
２１１ 入出力インターフェース
２１２ 画像生成部
２１３ 映像復号部
２１４ セッションマネージャ
２１５ 無線通信処理部
２１５ａ 送信部
２１５ｂ 受信部
２２１ 画像バッファ
２２２ セッション情報記憶部
３００ 無線基地局
４００ ネットワーク

Claims (7)

1. 画像を表示する表示装置にネットワークを介して接続する通信装置であって、
   前記表示装置に表示する表示画像を記憶する第１記憶部と、
   前記表示装置から送信された入力情報を受付け、前記入力情報を間引く割合を表す間引き率の指定に応じて前記入力情報を間引く入力解析部と、
   間引かれた前記入力情報に応じて前記表示画像を更新するための更新画像を生成する更新画像生成部と、
   前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を指定された時間間隔で検出する検出部と、
   前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、
   前記表示装置に表示する映像情報を生成する映像生成部と、
   前記圧縮画像および前記映像情報を前記表示装置に送信する送信部と、
   前記映像情報の生成処理の開始から前記映像情報の生成処理および前記映像情報の送信処理のいずれかの終了までの時間を表す第１処理時間と予め定められた第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行する制御部と、
   を備えたことを特徴とする通信装置。
2. 前記制御部は、さらに、前記差分領域の検出処理の開始から前記圧縮画像の生成処理および前記圧縮画像の送信処理のいずれかの終了までの時間を表す第２処理時間と予め定められた第２閾値とを比較し、前記第２処理時間が前記第２閾値より大きい場合に、前記映像情報を生成するときのフレームレートを下げるように前記映像生成部を制御すること、
   を特徴とする請求項１に記載の通信装置。
3. 映像情報を記憶する第２記憶部をさらに備え、
   前記映像生成部は、前記第２記憶部に記憶された映像情報を取得し、取得した映像情報から前記表示装置に表示する映像情報を生成し、
   前記制御部は、前記第２記憶部から映像情報を取得する処理を開始したときから、前記表示装置に表示する映像情報を生成する処理が完了するまでの時間を表す前記第１処理時間と前記第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行すること、
   を特徴とする請求項１に記載の通信装置。
4. 映像情報を記憶する第２記憶部をさらに備え、
   前記映像生成部は、前記第２記憶部に記憶された映像情報を取得し、取得した映像情報から前記表示装置に表示する映像情報を生成し、
   前記制御部は、前記第２記憶部から映像情報を取得する処理を開始したときから、生成された映像情報を前記表示装置に送信する処理が完了するまでの時間を表す前記第１処理時間と前記第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行すること、
   を特徴とする請求項１に記載の通信装置。
5. 画像を表示する表示装置にネットワークを介して接続する通信装置で実行される通信方法であって、
   前記通信装置は、前記表示装置に表示する表示画像を記憶する第１記憶部を備え、
   入力解析部が、前記表示装置から送信された入力情報を受付け、前記入力情報を間引く割合を表す間引き率の指定に応じて前記入力情報を間引く入力解析ステップと、
   更新画像生成部が、間引かれた前記入力情報に応じて前記表示画像を更新するための更新画像を生成する更新画像生成ステップと、
   検出部が、前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を指定された時間間隔で検出する検出ステップと、
   圧縮画像生成部が、前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成ステップと、
   映像生成部が、前記表示装置に表示する映像情報を生成する映像生成ステップと、
   送信部が、前記圧縮画像および前記映像情報を前記表示装置に送信する送信ステップと、
   制御部が、前記映像情報の生成処理の開始から前記映像情報の生成処理および前記映像情報の送信処理のいずれかの終了までの時間を表す第１処理時間と予め定められた第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行する制御ステップと、
   を備えたことを特徴とする通信方法。
6. コンピュータを、
   ネットワークを介して接続された表示装置に表示する表示画像を記憶する第１記憶部と、
   前記表示装置から送信された入力情報を受付け、前記入力情報を間引く割合を表す間引き率の指定に応じて前記入力情報を間引く入力解析部と、
   間引かれた前記入力情報に応じて前記表示画像を更新するための更新画像を生成する更新画像生成部と、
   前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を指定された時間間隔で検出する検出部と、
   前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、
   前記表示装置に表示する映像情報を生成する映像生成部と、
   前記圧縮画像および前記映像情報を前記表示装置に送信する送信部と、
   前記映像情報の生成処理の開始から前記映像情報の生成処理および前記映像情報の送信処理のいずれかの終了までの時間を表す第１処理時間と予め定められた第１閾値とを比較し、前記第１処理時間が前記第１閾値より大きい場合に、前記入力解析部に対して指定する前記間引き率を上げる制御、および、前記検出部に対して指定する前記時間間隔を大きくする制御の少なくとも一方を実行する制御部と、
   として機能させるための通信プログラム。
7. 画像を表示する第１表示装置および第２表示装置にネットワークを介して接続する通信装置であって、
   前記第１表示装置に表示する第１映像情報および前記第２表示装置に表示する第２映像情報を生成する映像生成部と、
   前記第１映像情報を前記第１表示装置に送信し、前記第２映像情報を前記第２表示装置に送信する送信部と、
   前記第１映像情報の生成処理の開始から、前記第１映像情報の生成処理および前記第１映像情報の送信処理のいずれかの終了までの処理時間と予め定められた閾値とを比較し、前記処理時間が前記閾値より大きい場合に、前記第２映像情報を生成するときのフレームレートを下げるように前記映像生成部を制御する制御部と、
   を備えたことを特徴とする通信装置。

Images