JP2013174964A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】操作側の情報処理装置での操作がいつ行われたのかを観察側の情報処理装置で認識する。
【解決手段】実施形態によれば、情報処理装置は、入力操作に従って画面表示を行なう他の情報処理装置から送信された、当該情報処理装置に表示される画面を示す画面情報、および、入力操作の状況を示す操作信号を受信する受信部と、受信した操作信号の種別をもとに、操作状況を示す操作状況通知画像を生成する生成部と、生成した操作状況通知画像を受信した画面情報で示される画面上に描画する描画部とをもつ。
【選択図】 図３

Description

本発明の実施形態は、他の情報処理装置に表示される画面情報を受信して表示する情報処理装置および情報処理方法に関する。

従来、ネットワークで接続された遠隔の端末の画面を手元の端末のモニタ、ディスプレイに表示する画面転送システムが知られている。コンピュータ画面の変化を遠隔で監視することが可能な上、また、マウスカーソルの画面上の軌跡も画面の一部として転送されることから、他人の操作を遠隔で監視する遠隔監視システムとして応用される。

例えば、訓練者の画面操作を、隣室や他の建屋にいる指導者が監視する訓練システムを画面転送システムを用いて構築することもできる。また、このような画面転送システムは、テレビ会議システムなどに付加されるプレゼンテーションアプリケーションとしても利用されており、発表者が画面上においてマウスポインタで示した位置を聴衆者側は知ることができる。

画面転送システムでは、画面送信側の端末から画面受信側の端末に対し、画面転送プロトコルによって画面情報が送信される。例えば、画面転送システムの一つであるＶＮＣ(Virtual Network Computing)方式ではＲＦＢ(Remote Frame Buffer)プロトコルが用いられる。

The RFB Protocol Version 3.8 Last updated 26 February 2009

遠隔の画面および操作状況を確認できる画面転送システムを遠隔画面監視システムと呼ぶ。図２６に示したように、観察側の端末（画面受信端末）（ＰＣ２）では、操作側の端末（画面送信端末）（ＰＣ１）で実行されているマウスカーソル移動は認識できるが、操作側の画面送信端末でのマウスクリックやキー操作の状況、すなわち、それらの操作がいつ行われたかについては観察側の画面受信端末では認識できない。

本発明が解決しようとする課題は、操作側の画面送信端末での操作がいつ行われたのかを観察側の画面受信端末で認識することが可能になる情報処理装置および情報処理方法を提供することにある。

実施形態によれば、情報処理装置は、入力操作に従って画面表示を行なう他の情報処理装置から送信された、当該情報処理装置に表示される画面を示す画面情報、および、前記情報処理装置における入力操作の状況を示す操作信号を受信する受信部と、前記受信した操作信号の種別をもとに、前記情報処理装置での操作状況を示す操作状況通知画像を生成する生成部と、前記生成した操作状況通知画像を前記受信した画面情報で示される画面上に描画する描画部とをもつ。

本発明によれば、操作側の画面送信端末での操作がいつ行われたのかを観察側の画面受信端末で認識することが可能になる。

第１の実施形態における遠隔画面監視システム（画面転送システム）を示す簡略図。 第１の実施形態における遠隔画面監視システムの画面送信端末の機能構成例を示すブロック図。 第１の実施形態における遠隔画面監視システムの画面受信端末の機能構成例を示すブロック図。 第１の実施形態における遠隔画面監視システムの画面受信端末２の画面保持部２３の機能構成例を示すブロック図。 第１の実施形態における遠隔画面監視システムにおけるイベント発生位置通知画像とマウス画像の一例を示す図。 第１の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャート。 第１の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャート。 第１の実施形態における遠隔画面監視システムの動作の一例を説明する図。 第２の実施形態における遠隔画面監視システムの画面送信端末の機能構成例を示すブロック図。 第２の実施形態における遠隔画面監視システムの画面受信端末の機能構成例を示すブロック図。 第２の実施形態における遠隔画面監視システムの画面受信端末２の画面保持部２３の機能構成例を示すブロック図。 第２の実施形態における遠隔画面監視システムにおけるイベント発生位置通知画像とマウス画像の一例を示す図。 第２の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャート。 第２の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャート。 第３の実施形態における遠隔画面監視システムの動作の一例を説明する図。 第３の実施形態における遠隔画面監視システムの画面受信端末の画面保持部２３の機能構成例を示すブロック図。 第４の実施形態における遠隔画面監視システムにおけるキー画像の一例を示す図。 第４の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャート。 第５の実施形態における遠隔画面監視システムの画面送信端末１Ａの機能構成例を示すブロック図。 第５の実施形態における遠隔画面監視システムの画面受信端末２Ａの機能構成例を示すブロック図。 第５の実施形態における遠隔画面監視システムで用いる音声画像の一例を示す図。 第５の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャート。 第５の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャート。 第６の実施形態における遠隔画面監視システムの画面送信端末１Ａの機能構成例を示すブロック図。 第６の実施形態における遠隔画面監視システムの画面受信端末２Ａの機能構成例を示すブロック図。 遠隔監視システムの画面送信端末と画面受信端末のそれぞれの利用形態の一例を示す図。

以下、実施の形態について、図面を参照して説明する。
本実施形態では、入力操作に従って画面表示を行なう画面送信端末から送信された、当該画面送信端末に表示される画面を示す画面情報、および、画面送信端末における入力操作の状況を示す操作信号を画面受信端末で受信し、画面受信端末が、この受信した操作信号の種別をもとに、画面送信端末での操作状況を示す操作状況通知画像を生成し、この生成した操作状況通知画像を受信した画面情報で示される画面上に描画することを特徴とする。

本実施形態では、観察側の画面受信端末の画面において、操作側の画面送信端末でマウスクリックされた位置とタイミングを認識可能となる。例えば、間違った場所でマウスクリックがなされたこと、不必要なマウスクリックがなされたことなども認識でき、利用シーンとして、画面送信端末の操作者に対し、画面受信端末の観察者から適切な指導も可能となる。

（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、第１の実施形態における遠隔画面監視システム（以下、画面転送システムと呼ぶ）を示す簡略図である。
この画面転送システムでは、画面送信端末１と画面受信端末２とがネットワーク３を介して接続されている。画面送信端末１は、本画面転送システムにおいて画面情報を送信する側の機器（画面転送サーバ装置）であり、画面受信端末２は、本画面転送システムにおいて画面情報を受信する側の機器（画面転送クライアント装置）である。また、ここでいうネットワーク３とはLANあるいはインターネット等であり、有線であっても無線であってもよい。

本実施形態では、画面転送システムについて説明しているため、図１に示している２台の機器を画面送信端末１と画面受信端末２と呼んでいるが、例えば、２台のノートＰＣ間にて画面転送を行っている場合、画面を送信する側のノートＰＣが画面送信端末１、画面を受信する側のノートＰＣが画面受信端末２となる。

画面送信端末１では、画面情報を生成するためのアプリケーションソフトウェアが動作している。本実施形態では、この画面送信端末１に画面情報送信機能を組み込み、アプリケーションソフトウェアが生成した画面情報をネットワーク３を介して画面受信端末２へ送信する。画面送信端末１の画面送信機能として、本実施形態ではプッシュ型の画面転送プロトコルを利用した画面転送を用いる。

プッシュ型では、画面送信側（本実施形態の場合は画面送信端末１）は、画面受信側（本実施形態の場合は画面受信端末２）からの画面取得要求を必要とせずに、画面送信側から画面受信側に画面情報を送信する。一方、画面受信端末２は、画面送信端末１から画面情報を受信し、この受信した画面情報から画面受信端末２のディスプレイ装置に表示するための画面を生成して描画する。画面受信端末２側の画面受信機能は画面送信端末１側の画面送信機能に対応するものである。

以上のとおり、図１に示した画面転送システムでは、画面送信端末１内のアプリケーションソフトウェアにより生成した画面情報が画面転送プロトコルによって送信されて、これを受信する画面受信端末２のディスプレイ装置に表示される。

なお、画面転送プロトコルはプッシュ型に限るものではなく、後述するようにプル型であってもよい。例えば、前述したＶＮＣとして知られる画面転送方式は、画面受信側（本実施形態の場合は画面受信端末２）がFramebufferUpdateRequestという画面取得要求を画面送信側（本実施形態の場合は画面送信端末１）へ送信すると、画面送信側が画面受信側に画面情報をFramebufferUpdateという応答として送信するプル型である。

プル型の画面転送プロトコルとしてVNCを用いる場合は、画面送信端末１側にて「ＶＮＣサーバ」ソフトウェアを起動させ、画面受信端末２側では「ＶＮＣクライアント」ソフトウェアを起動させる。

図２は、第１の実施形態における遠隔画面監視システムの画面送信端末１の機能構成例を示すブロック図である。但し、図２では、従来技術に比した本実施形態の特徴に係わる機能のみを記した概略図となっている。
この画面送信端末１は、画面変化検出部１１−１、送信画像データ生成部１２−１、送信部１３−１、操作イベント検出部１４−１を備える他、本実施形態の特徴である時刻検出部１５−１、時刻情報付加部１６−１、操作信号生成部１７−１、不揮発性メモリなどの記憶媒体である記憶装置３１を備える。

画面変化検出部１１−１は、画面送信端末１の画面上で発生した画面更新において変化した部分を検出する。例えば、画面変化検出部１１−１は、更新前の画面情報である先の画面情報を記憶装置３１内のフレームバッファに記憶しておき、この記憶される先の画面情報と更新後である現在の画面情報との間で画素の比較を行うことで、先の画面情報と現在の画面情報との差分を検出し、この検出した差分を更新画面データとして記憶装置３１に記憶して、画面更新データ発生を送信画像データ生成部１２−１へ通知する。

送信画像データ生成部１２−１は、画面更新データ発生の通知を受けると、記憶装置３１に記憶されている更新画面データを取得してデータ圧縮を行い、このデータ圧縮により得られる圧縮画面データを送信部１３−１へ出力する。

送信部１３−１は、TCP/IPなどのネットワークプロトコルを用いてデータを送受信する機能を備える。この送信部１３−１は、送信画像データ生成部１２−１から出力された圧縮画面データをパケット化し、このパケット化した圧縮画面データを、画面受信端末２との間で設定されたコネクションを用いて当該画面受信端末２に送信する。

操作イベント検出部１４−１は、画面送信端末１のマウス等の入力インターフェースからの操作イベントを検出する。なお、入力インターフェースはマウスに限らず、キーボードでもよい。操作イベントは、マウスカーソル移動、シングルクリック、又はダブルクリックなどマウス操作を示すマウス操作イベントや、押下されたキーボードのキーを示すキー操作イベント等が挙げられる。以下、シングルクリックを単にクリックと称する。

これらの操作イベントは、画面送信端末１で動作するＯＳ（オペレーティングシステム）やアプリケーションソフトウェアに通知され、結果、ＯＳやアプリケーションソフトの仕様によって、画面に描画される内容が更新される。例えば、マウス操作イベントでマウスカーソル移動が画面受信端末２に通知されている場合は、当該画面受信端末２の画面内においてマウスカーソルが移動する動きが描画される。

また、画面送信端末１の画面内にアプリケーションソフトウェアのウィンドウが表示されている場合、例えば、そのウィンドウの右上に配置されるウィンドウを最小化するためのボタンや、ウィンドウを閉じるためのボタン上でマウスクリックのイベントが発生すると、画面内においてウィンドウが最小化されたりウィンドウが閉じられたりする。また、動画再生アプリケーションで画面送信端末１の画面内に再生ボタンが表示されている場合、その再生ボタン上でマウスクリックのイベントが発生すると動画再生が開始される。

すなわち、画面送信端末１側でマウスやキーボード、その他の外部入力インターフェースで何かしらの操作が行われた結果として画面の内容が更新される。画面の内容が更新されると、画面変化検出部１１−１、送信画像データ生成部１２−１、送信部１３−１によって、その画面情報が画面受信端末２へ送信されることになる。

次に、本実施形態の特徴である時刻検出部１５−１、時刻情報付加部１６−１、操作信号生成部１７−１について説明する。なお、本実施形態では、以下、外部入力インターフェースをマウスとした場合で説明する。

まず、画面送信端末１では、操作イベント検出部１４−１は、操作イベントの発生を検出し、この発生した操作イベントを示す操作イベント情報を操作信号生成部１７−１に通知する機能を有する。

時刻検出部１５−１は、画面変化検出部１１−１が画面更新データ発生を送信画像データ生成部１２−１へ通知する時刻を検出して、時刻情報付加部１６−１へ出力する。また、時刻検出部１５−１は、操作イベント検出部１４−１が操作イベント情報を操作信号生成部１７−１へ通知する時刻を検出して、時刻情報付加部１６−１へ出力する。なお、本実施形態では、操作イベントがマウスクリックの操作イベントの場合のみにおいて、このクリックの時刻情報を時刻検出部１５−１が時刻情報付加部１６−１へ出力するものとして説明する。

時刻情報付加部１６−１は、画面更新データ発生に関する時刻情報を時刻検出部１５−１から入力すると、送信画像データ生成部１２−１での圧縮画面データの生成処理を観測する。時刻情報付加部１６−１は、時刻検出部１５−１からの時刻情報に対応する圧縮画面データが送信画像データ生成部１２−１で生成された事を観測した際に、送信画像データ生成部１２−１で圧縮画面データと時刻情報とが対応付けされるように、入力済みの時刻情報を送信画像データ生成部１２−１へ出力する。

送信画像データ生成部１２−１は、圧縮画面データと当該圧縮画面データに対応する時刻情報とを送信部１３−１へ出力する。また、送信部１３−１は、送信画像データ生成部１２−１から出力された圧縮画面データを画面情報として時刻情報と一緒に画面受信端末２へ送信する。

操作信号生成部１７−１は、操作イベント検出部１４−１から操作イベント情報が通知されると、操作イベントの種類と、この操作イベントが発生した画面上の座標情報を確認し、それらの情報を含む操作信号を生成して、この生成した操作信号を送信部１３−１へ出力する。本実施形態では、操作イベントの種類の確認の結果、マウス操作イベントのうちマウスのクリックである場合のみに操作信号を生成して、送信部１３−１へ出力するものとする。

先に説明した時刻情報付加部１６−１は、マウス操作イベントのうちマウスクリックに関する時刻情報を操作イベント検出部１４−１から入力すると、操作信号生成部１７−１での操作信号の生成処理を観測する。時刻情報付加部１６−１は、時刻情報に対応する操作信号が操作イベント検出部１４−１により生成された事を観測した際に、操作信号生成部１７−１で操作信号と時刻情報が対応付けされるように、入力済みの時刻情報を操作信号生成部１７−１へ出力する。

なお、先に説明した操作信号生成部１７−１は、操作信号と、当該操作信号に対応する時刻情報を送信部１３−１へ出力する。また、送信部１３−１は、この出力された操作信号と時刻情報とを一緒に画面受信端末２へ送信する。

図３は、第１の実施形態における遠隔画面監視システムの画面受信端末の機能構成例を示すブロック図である。但し、図３では、従来技術に対する特徴に係わる機能のみを記した概略図となっている。
この画面受信端末２は、受信部２１−１、画面構築部２２−１、画面保持部２３−１、描画部２４−１の他、本実施形態の特徴である表示時刻調整部２５−１、表示制御部２６−１、操作信号解析部２７−１、操作状況通知画像生成部２８−１を備える。

受信部２１−１は、TCP/IPなどのネットワークプロトコル（ＮＴＰ）を用いてデータを送受信する機能を備え、画面送信端末１との間で設定されたコネクションを用いて受信した画面情報を画面構築部２２−１へ出力する。

画面構築部２２−１は、受信部２１−１から入力された画面情報のデータ伸張を行い、この画面情報を画面保持部２３−１中のフレームバッファに書き込む。このフレームバッファは、画面情報を保持するためのバッファである。描画部２４−１は、画面保持部２３−１のフレームバッファに保持されている画面情報を外部のディスプレイ装置に表示させる機能を持つ。

次に、本実施形態の特徴である表示時刻調整部２５−１、表示制御部２６−１、操作信号解析部２７−１、操作状況通知画像生成部２８−１について説明する。
表示時刻調整部２５−１は、受信部２１−１が画面情報と共に時刻情報を受信すると、この時刻に対する遅延時間Ｔ１を決定し、この決定した遅延時間Ｔ１の情報を表示制御部２６−１へ出力する。また、表示時刻調整部２５−１は、通信相手である画面送信端末１の時計で計時する時刻と、自装置である画面受信端末２の時計で計時する時刻とを同期させる機能をもつ。表示時刻調整部２５−１は、例えば、画面情報と共に画面送信端末１から受信する時刻情報から画面送信端末１で計時する時刻情報を推定するようにしてもよい。

簡単な例としては、表示時刻調整部２５−１は、最初に画面情報と共に受信した時刻情報を自装置で計時する現在時刻としてもよいし、また、その時刻情報からネットワークでの伝送遅延の推定値を考慮した値を自装置で計時する現在時刻としてもよい。なお、同期の仕組みはこれらに限らず、事前に、画面送信端末１と画面受信端末２とがＮＴＰによって計時時刻を合わせるなどの工夫を併用してもよい。

なお、遅延時間Ｔ１の決め方として、例えば、１秒、２秒といった固定値を決めてもよいが、例えば、画面情報が頻繁に更新されている場合は、後述する、画面情報を一旦保持するバッファのサイズを考慮して、遅延時間Ｔ１の値を短くするなどしてもよい。
本実施形態においては、表示制御部２６−１は、表示時刻調整部２５−１から遅延時間Ｔ１を入力すると、画面保持部２３−１に対し遅延時間Ｔ１を通知する機能のみをもつ。

図４は、第１の実施形態における遠隔画面監視システムの画面受信端末２の画面保持部２３の機能構成例を示すブロック図である。
一方、本実施形態では、画面保持部２３−１は、図４に示すように、フレームバッファ２３−１Ｂの前段にバッファ２３−１Ａを備えている。このバッファ２３−１Ａは、画面構築部２２−１からの画面情報を一旦保持する。この一旦保持する時間が遅延時間Ｔ１に対応し、保持してから遅延時間Ｔ１経過後にフレームバッファ２３−１Ｂに画面情報が書き込まれるものとする。なお、描画部２４−１は、画面保持部２３のフレームバッファ２３−１Ｂに書き込まれた画面情報を取得してディスプレイ装置に表示させる。

操作信号解析部２７−１は、受信部２１−１が操作信号を受信すると、受信した操作信号の解析を行う。具体的には、操作イベントの種類と、そのイベントが発生した画面上の座標情報、更に、その操作イベントが発生した時刻情報を検出し、これらの情報を操作状況通知画像生成部２８−１へ出力する。

なお、操作信号解析部２７−１は、座標情報については、画面送信端末１の画面と画面受信端末２のディスプレイ装置の画面とのサイズや表示領域の違いを考慮した上で、画面受信端末２のディスプレイ装置の画面上の適切な座標情報に変換するなどの処理を行った後に操作状況通知画像生成部２８−１に出力してもよい。

操作状況通知画像生成部２８−１は、操作信号解析部２７−１から操作イベントの種類と、このイベントが発生した画面上の座標情報、この操作イベントが発生した時刻情報を入力すると、まず、操作イベントの種類を確認する。

本実施形態では、操作イベントがマウス操作イベントの場合におけるマウスのクリックのみを対象としているため、操作状況通知画像生成部２８−１は、操作イベントがマウスクリックの場合には、操作状況通知画像生成部２８−１の内部メモリに予め記憶している画像である、マウスクリックの様子を示すマウス画像Ａと、イベント発生位置を通知するためのイベント発生通知画像との二つを画面保持部２３−１のフレームバッファ２３−１Ｂに書き込む。

但し、イベント発生位置通知画像については、操作状況通知画像生成部２８−１は、画面受信端末２側のディスプレイ装置の画面における、そのイベントが発生した画面上の座標に表示されるように、かつ、マウス画像Ａはイベント発生位置通知画像の表示箇所の横の近傍に表示されるように画面保持部２３−１のフレームバッファ２３−１Ｂに書き込むものとする。

図５は、第１の実施形態における遠隔画面監視システムにおけるイベント発生位置通知画像とマウス画像の一例を示す図である。
図５（ａ）では、イベント発生位置通知画像とマウス画像Ａとの例と、これらの相対的な表示位置の例を示す。なお、図５（ａ）では、イベント発生位置通知画像は「×」としているが、この「×」の中心位置が、イベントが発生した画面上の座標である。

ここでは、操作状況通知画像生成部２８−１は、イベント発生位置通知画像とマウス画像Ａとを画面保持部２３−１のフレームバッファ２３−１Ｂに書き込んだことを描画部２４−１に通知する。描画部２４−１は、これら書き込まれたそれらの画面情報を取得してディスプレイ装置に表示させる。なお、イベント発生位置通知画像とマウス画像Ａは、遅延時間Ｔ１経過までの間、定期的にフレームバッファ２３−１Ｂに書き込まれるようにして、ディスプレイ装置に常に表示されるようにしてもよい。

また、操作状況通知画像生成部２８−１は、表示時刻調整部２５−１で決定された遅延時間Ｔ１の情報を表示時刻調整部２５−１から取得した上で、操作信号とともに受信した時刻情報から遅延時間Ｔ１経過後に、図５（ｂ）に示したマウス画像Ｂが描画部２４−１によってディスプレイ装置に表示されるように、画面保持部２３−１のフレームバッファ２３−１Ｂにマウス画像Ｂを書き込む。

この場合、操作状況通知画像生成部２８−１は、遅延時間Ｔ１経過後にマウス画像Ｂを画面保持部２３−１のフレームバッファ２３−１Ｂに書き込む、あるいは、遅延時間Ｔ１経過後にマウス画像Ｂをフレームバッファ２３−１Ｂの前段のバッファ２３−１Ａに一旦保持させ、それを遅延時間Ｔ１経過後に画面保持部２３−１がフレームバッファ２３−１Ｂに書き込むといった方法が挙げられる。

図６は、第１の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャートである。
まず、画面送信端末１の画面変化検出部１１−１は、画面変化を検出すると（ステップＳ１）、送信画像データ生成部１２−１に画面更新データ発生通知を行なう（ステップＳ２）。時刻検出部１５−１は、画面変化の通知時刻を検出して時刻情報付加部１６−１に出力する（ステップＳ３）。送信画像データ生成部１２−１は、画面変化検出部１１−１から更新画面データを取得すると（ステップＳ４）、データ圧縮および圧縮画面データ生成を行なう（ステップＳ５）。時刻情報付加部１６−１は、ステップＳ３で入力した時刻情報を送信画像データ生成部１２−１に出力する（ステップＳ６）。すると、送信画像データ生成部１２−１は、圧縮画面データと時刻情報とを送信部１３−１に出力する（ステップＳ７）。送信部１３−１は、送信画像データ生成部１２−１からの圧縮画面データと時刻情報とを画面受信端末２に送信する（ステップＳ８）。

また、画面送信端末１の操作イベント検出部１４−１は、操作イベントを検出すると（ステップＳ１１）、操作信号生成部１７−１に操作イベント情報通知を行なう（ステップＳ１２）。時刻検出部１５−１は、操作イベントが発生した時刻を検出して時刻情報付加部１６−１に出力する（ステップＳ１３）。操作信号生成部１７−１は、操作イベント情報通知を取得すると、操作イベント種類や座標情報を確認して（ステップＳ１４）、これらの情報を示す操作信号を生成する（ステップＳ１５）。時刻情報付加部１６−１は、ステップＳ１３で入力した時刻情報を操作信号生成部１７−１に出力する（ステップＳ１６）。すると、操作信号生成部１７−１は、操作信号と時刻情報を送信部１３−１に出力する（ステップＳ１７）。送信部１３−１は、操作信号生成部１７−１からの操作信号と時刻情報を画面受信端末２に送信する（ステップＳ１８）。

図７は、第１の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャートである。
まず、画面受信端末２の受信部２１−１が圧縮画面データと時刻情報を受信すると（ステップＳ２１）、表示時刻調整部２５−１は、この時刻情報に対する遅延時間Ｔ１を決定して表示制御部２６−１に出力する。表示制御部２６−１は、この遅延時間Ｔ１を画面保持部２３−１に通知する（ステップＳ２２）。

画面構築部２２−１は、受信済みの圧縮画面データに対する画面情報データ伸長を行なって画面保持部２３−１に出力する（ステップＳ２３）。画面保持部２３−１は、画面構築部２２−１からの画面情報をバッファ２３−１Ａに書き込み、保持する（ステップＳ２４）。

画面保持部２３−１は、ステップＳ２２で通知された遅延時間Ｔ１が経過すると（ステップＳ２５）、バッファ２３−１Ａに保持していた画面情報をフレームバッファ２３−１Ｂに書き込む（ステップＳ２６）。
描画部２４−１は、フレームバッファ２３−１Ｂに書き込まれた画面情報を差分画像としてディスプレイ装置に表示する（ステップＳ２７）。

また、画面受信端末２の受信部２１−１が操作信号を受信すると（ステップＳ３１）。操作信号解析部２７−１は、操作信号を解析し（ステップＳ３２）、この解析で得られる操作イベント種類、座標情報および時刻情報を操作状況通知画像生成部２８−１に出力する（ステップＳ３３）。

すると、操作状況通知画像生成部２８−１は、操作イベントがマウスクリックであると認識し（ステップＳ３４）、イベント発生位置通知画像とマウス画像Ａをフレームバッファ２３−１Ｂに書き込み（ステップＳ３５）、この書き込みを描画部２４−１に通知する（ステップＳ３６）。これにより画面情報に通知画像が追加される。描画部２４−１は、フレームバッファ２３−１Ｂに書き込まれた、イベント発生位置通知画像やマウス画像をディスプレイ装置に表示する（ステップＳ３７）。

そして、画面保持部２３−１は、ステップＳ３１での操作信号の受信時刻から時間Ｔ１が経過すると（ステップＳ３８）、マウス画像Ｂをフレームバッファ２３−１Ｂに書き込む（ステップＳ３９）、描画部２４−１は、画面保持部２３−１のフレームバッファ２３−１Ｂに書き込まれた画像をディスプレイ装置に表示する（ステップＳ４０）。

図８は、第１の実施形態における遠隔画面監視システムの動作の一例を説明する図である。この図８は、本実施形態の画面送信端末１から画面受信端末２へ画面情報が送信されている様子を示している。
なお、この図８では、画面情報として差分画像が送受信される様子は示している一方で画面情報の圧縮や伸張といった処理は省略しているが、実際には前述の処理がなされているものとする。画面送信端末１では、操作者によるマウス操作がなされ、画面上でマウスカーソルの位置が変化する。一方、画面受信端末２側では、観察者は、ディスプレイ装置の画面上でマウスカーソルの位置が変化する様子を観察することができる。

図８では、画面送信端末１で計時する時刻ｔ１１で差分画像Ｄ１が、時刻ｔ１２で差分画像Ｄ２が、時刻ｔ１４で差分画像Ｄ３が発生し、これらが画面情報として送信されていることが示される。また、時刻ｔ１３でマウスクリックが行われているが、このタイミングでは画面変化はなく、差分画像は発生せずに画面情報は送信されていない。

また、図８では、画面受信端末２は、画面送信端末１から送信された差分画像Ｄ１を画面情報として画面受信端末２で計時する時刻ｔ２１に受信し、画面送信端末１から送信された差分画像Ｄ２を画面情報として画面受信端末２で計時する時刻ｔ２２に受信し、画面送信端末１から送信された差分画像Ｄ３を画面情報として画面受信端末２で計時する時刻ｔ２３に受信していることが示される。画面受信端末２では、本実施形態の制御処理により、受信した画面情報が当該画面情報の受信時刻から遅延時間Ｔ１経過後にディスプレイ装置に表示される様子を示している。

また、図８では、画面送信端末１で計時する時刻ｔ１３にマウスクリックが発生し、操作信号が画面受信端末２に送信され、この信号が画面受信端末２で計時する時刻ｔ２３に受信されていることが示される。画面受信端末２では、本実施形態の制御処理により、操作信号がマウスクリックに関する操作信号であると認識すれば、遅延時間Ｔ１の経過を待つことなく、その認識時点でイベント発生位置通知画像とマウス画像Ａとがディスプレイ装置に表示される様子を示している。
また、図８では、画面受信端末２では、本実施形態の制御処理により、操作信号の受信時刻から遅延時間Ｔ１経過後にイベント発生位置通知画像とマウス画像Ｂがディスプレイ装置に表示される様子を示している。

ここでは、画面送信端末１でマウスクリックが発生した時刻ｔ１３が、画面受信端末２で差分画像Ｄ１を受信した時刻ｔ２１に遅延時間Ｔ１を加算した時刻より遅い時刻である場合について説明しているが、これに限らず、時刻ｔ１３が時刻ｔ２１に遅延時間Ｔ１を加算した時刻より早い時刻であってもよく、この場合、画面受信端末２側のディスプレイ装置では、時刻ｔ２１に遅延時間Ｔ１を加算した時刻において、差分画像Ｄ１とともにマウスクリック前のマウス画像が表示されることになる。

画面受信端末２での観察者は、画面上でマウスカーソルの位置が変化する様子を、画面受信端末２での受信から遅延時間Ｔ１だけ遅れて観察していることになる。このような状況では、画面受信端末２で操作信号を受信した時点でイベント発生位置通知画像とマウス画像Ａが表示されるため、観察者は、マウスクリックが行われる画面が表示されるタイミングより遅延Ｔ１だけ早いタイミングでマウスクリック前のマウス画像Ａを認識できる。そして、観察者は、このマウス画像Ａの表示からＴ１経過後にイベント発生位置通知画像とマウス画像Ｂがディスプレイ装置に表示されることで、マウスクリックされた画面とその位置との関係を知ることができる。

一般にマウスクリックは一瞬であるが、本実施形態により、画面受信端末２側の観察者は画面上でマウスクリックされることを事前に知ることができる。また、画面にその情報を遅延時間Ｔ１だけ表示し続けることも可能であり、観察者は操作者のマウスクリック操作をより認識しやすくなる。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、以下の各実施形態における画面転送システムの構成のうち第１の実施形態で示したものと同一部分の説明は省略する。
この第２の実施形態では、第１の実施形態で示した画面送信端末１と画面受信端末２とは異なる内部構成を示す。

図９は、第２の実施形態における遠隔画面監視システムの画面送信端末１の機能構成例を示すブロックである。但し、図９では、従来技術に対する本実施形態の特徴に係わる機能のみを記した概略図となっている。
画面送信端末１は、画面変化検出部１１−２、送信画像データ生成部１２−２、送信部１３−２、操作イベント検出部１４−２、時刻検出部１５−２、操作信号生成部１７−２、記憶装置３１を備える。

画面変化検出部１１−２は第１の実施形態で説明した画面変化検出部１１−１と同様の処理を行う他、検出した差分画像を更新画面データとして記憶装置３１に記憶し、画面更新データ発生を送信画像データ生成部１２−２へ通知する際に、時刻検出部１５−２から現在の時刻情報を取得して、この時刻情報も一緒に送信画像データ生成部１２−２へ通知する。

また、画面変化検出部１１−２は、操作信号生成部１７−２からリフレッシュ通知を受け取ると、全画面に変化が発生したとして、全画面分を更新画像データとして扱い、同様に、画面更新データ発生と現在時刻情報とを送信画像データ生成部１２−２へ通知する。

送信画像データ生成部１２−２は、画面更新データ発生と時刻情報との通知を受けると、記憶装置３１に記憶されている更新画面データを取得してデータ圧縮を行い、圧縮画面データを作成し、この作成した圧縮画面データと通知済みの時刻情報とを一緒に送信部１３−２へ出力する。

送信部１３−２は、TCP/IPなどのネットワークプロトコルを用いてデータを送受信する機能を備え、送信画像データ生成部１２−２から入力した圧縮画面データと時刻情報とをパケット化して、画面受信端末２との間で設定されたコネクションを用いて当該画面受信端末２に送信する。

操作イベント検出部１４−２は、第１の実施形態で説明した操作イベント検出部１４−１と同様の処理を行う他、マウス等の入力インターフェースからの操作イベントを検出すると、時刻検出部１５−２から現在の時刻情報を取得し、操作イベント情報と時刻情報とを一緒に操作信号生成部１７−２へ通知する。

操作信号生成部１７−２は、操作イベント検出部１４−２からの操作イベント情報と時刻情報の通知を受けると、操作イベントの種類と、そのイベントが発生した画面上の座標情報とを確認し、それらの情報を含む操作信号を生成し、この生成した操作信号と通知済みの時刻情報とを一緒に送信部１３−２へ出力する。

操作信号生成部１７−２は、特定の操作イベントに対してのみ操作信号を生成するフィルタリング機能を有する。本実施形態では、操作信号生成部１７−２は、マウス操作イベントがマウスのクリックやダブルクリックである場合のみに当該操作を示す操作信号を生成して、送信部１３−２へ出力する。

また、操作信号生成部１７−２は、操作信号を生成した直後に、リフレッシュ通知を画面変化検出部１１−２へ通知する。また、送信部１３−２は、操作信号と時刻情報とをパケット化し、画面受信端末２との間で設定されたコネクションを用いて当該画面受信端末２に送信する。

なお、時刻検出部１５−２は、現在の時刻情報を取得する機能を有し、画面変化検出部１１−２、操作イベント検出部１４−２に対し現在の時刻情報を提供する。また、時刻検出部１５−２は、ＮＴＰ等の時刻同期プロトコルを利用して、基準となる時計により計時する時刻と自機器の時計により計時する時刻とを合わせる機能を有する。

図１０は、第２の実施形態における遠隔画面監視システムの画面受信端末２の機能構成例を示すブロック図である。但し、図１０では、従来技術に対する本実施形態の特徴に係わる機能のみを記した概略図となっている。
画面受信端末２は、受信部２１−２、画面構築部２２−２、画面保持部２３−２、描画部２４−２、表示時刻調整部２５−２、表示制御部２６−２、操作信号解析部２７−２および操作状況通知画像生成部２８−２を備える。

まず、表示時刻調整部２５−２は、ＮＴＰ等の時刻同期プロトコルを利用して、基準となる時計により計時する時刻と自機器の時計により計時する時刻とを合わせる機能を有する。また、表示時刻調整部２５−２は、遅延時間Ｔ１を決定し、この遅延時間Ｔ１の情報を画面構築部２２−２と操作状況通知画像生成部２８−２とへ出力する。

受信部２１−２は、TCP/IPなどのネットワークプロトコルを用いてデータを送受信する機能を備え、画面送信端末１との間で設定されたコネクションを用いて受信した画面情報と時刻情報とを画面構築部２２−２へ出力する。

画面構築部２２−２は、受信部から２１−２から入力した画面情報のデータ伸張を行う。一方、画面構築部２２−２は、受信部から２１−２から入力した時刻情報に対し、表示制御部２６−２から通知された遅延時間Ｔ１を加算する。画面構築部２２−２は、データ伸張した画面情報と、遅延時間Ｔ１が加算された時刻情報とを画面保持部２３−２へ出力する。

図１１は、第２の実施形態における遠隔画面監視システムの画面受信端末２の画面保持部２３の機能構成例を示すブロック図である。
本実施形態の画面受信端末２の画面保持部２３−２は、図１１に示すように、フレームバッファ２３−２Ｂの前段にメモリ２３−２Ａを設け、そのメモリ２３−２Ａにて時刻情報と画面情報とが関連づけられて保持される。

表示制御部２６−２は、画面保持部２３−２のメモリ２３−２Ａに記憶された情報を確認し、メモリ２３−２Ａに保持されている時刻情報を確認し、自機器の時計で計時される時刻がその時刻となった場合に、その時刻に関連づけられている画面情報を画面保持部２３−２のフレームバッファ２３−２Ｂに書き込む。
描画部２４−２は、フレームバッファ２３−２Ｂに保持されている画面情報をディスプレイ装置に表示させる機能を持つ。

操作信号解析部２７−２は、第１の実施形態で説明した操作信号解析部２７−１と同様の処理を行う。
操作状況通知画像生成部２８−２は、操作信号解析部２７−２から操作イベントの種類と、そのイベントが発生した画面上の座標情報、その操作イベントが発生した時刻情報が入力されると、まず、操作イベントの種類を確認する。

本実施形態では、操作イベントがマウス操作の場合において、マウスのクリックとダブルクリックのみを対象としているため、操作イベントがマウスクリックの場合には、あらかじめ用意しているマウスクリックの様子を示すマウス画像Ａと、イベント発生位置を通知するためのイベント発生通知画像の二つを画面保持部２３−２のフレームバッファ２３−２Ｂに書き込む。なお、イベント発生位置通知画像、マウス画像Ａのフレームバッファへの書き込みについては第１の実施形態で示したとおりである。

図１２は、第２の実施形態における遠隔画面監視システムにおけるイベント発生位置通知画像とマウス画像の一例を示す図である。
図１２では、操作イベントがダブルクリックの場合のイベント発生通知画像であるマウス画像Ｃおよびマウス画像Ｄを示す。

操作イベントがダブルクリックの場合は、操作状況通知画像生成部２８−２は、ダブルクリックの様子を示すマウス画像Ｃと、イベント発生位置を通知するためのイベント発生通知画像の二つを記憶装置３１から読み出して、画面保持部２３−２のフレームバッファ２３−２Ｂに書き込む。

また、操作状況通知画像生成部２８−２は、表示時刻調整部２５−２で決定された遅延時間Ｔ１を確認し、操作イベントがマウスクリックの場合は、操作信号とともに受信した時刻情報からＴ１経過後にマウス画像Ｂが描画部２４−２によってディスプレイ装置に表示されるように、画面保持部２３−２にマウス画像Ｂを書き込む。すなわち、操作状況通知画像生成部２８−２は、受信時刻から遅延時間Ｔ１経過後にマウス画像Ｂを画面保持部２３−２のフレームバッファ２３−２Ｂに書き込む。

一方、操作イベントがダブルクリックの場合は、操作状況通知画像生成部２８−２は、操作信号とともに受信した時刻情報からＴ１経過後にマウス画像Ｄが描画部２４−２によってディスプレイ装置に表示されるように、画面保持部２３−２のフレームバッファ２３−２Ｂにマウス画像Ｄを書き込む。

図１３は、第２の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャートである。
まず、画面送信端末１の画面変化検出部１１−２は、画面変化を検出すると（ステップＳ１）、時刻検出部１５−２から現在の時刻情報を取得して（ステップＳ５１）、送信画像データ生成部１２−２に画面更新データ発生通知および時刻情報の通知を行なう（ステップＳ２）。送信画像データ生成部１２−２は、画面変化検出部１１−２から更新画面データを時刻情報とともに取得すると（ステップＳ４）、データ圧縮および圧縮画面データ生成を行なう（ステップＳ５）。そして、送信画像データ生成部１２−２は、圧縮画面データと取得済みの時刻情報とを送信部１３−２に出力する（ステップＳ７）。送信部１３−２は、送信画像データ生成部１２−２からの圧縮画面データと時刻情報とを画面受信端末２に送信する（ステップＳ８）。

また、画面送信端末１の操作イベント検出部１４−２は、操作イベントを検出すると（ステップＳ１１）、時刻検出部１５−２から現在の時刻情報を取得して（ステップＳ５２）、操作信号生成部１７−２に操作イベント情報通知および時刻情報の通知を行なう（ステップＳ１２）。操作信号生成部１７−２は、操作イベント情報通知を時刻情報とともに取得すると、操作イベント種類や座標情報を確認して（ステップＳ１４）、これらの情報を示す操作信号を生成する（ステップＳ１５）。そして、操作信号生成部１７−２は、操作信号と取得済みの時刻情報を送信部１３−２に出力する（ステップＳ１７）。送信部１３−２は、操作信号生成部１７−２からの操作信号と時刻情報を画面受信端末２に送信する（ステップＳ１８）。

図１４は、第２の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャートである。
まず、画面受信端末２の受信部２１−２は、圧縮画面データと時刻情報を受信する（ステップＳ２１）。表示時刻調整部２５−２は、画面送信端末１からの時刻情報に対する遅延時間Ｔ１を決定して画面構築部２２−２および操作状況通知画像生成部２８−２に出力する（ステップＳ５３）。

画面構築部２２−２は、受信部２１−２により受信済みの圧縮画面データに対する画面情報データ伸長を行なって得た画面情報を、受信部２１−２により受信済みの時刻に遅延時間Ｔ１を加算した時刻情報とともに画面保持部２３−２に出力する（ステップＳ２３）。画面保持部２３−２は、画面構築部２２−２からの画面情報と遅延時間Ｔ１加算後の時刻情報とをメモリ２３−２Ａに書き込み、保持する（ステップＳ５４）。

画面保持部２３−２は、図示しない計時回路により計時する時刻がメモリ２３−２Ａに書き込まれた遅延時間Ｔ１加算後の時刻となると（ステップＳ５５）、メモリ２３−２Ａに保持していた画面情報をフレームバッファ２３−２Ｂに書き込む（ステップＳ２６）。描画部２４−２は、フレームバッファ２３−２Ｂに書き込まれた画面情報を差分画像としてディスプレイ装置に表示する（ステップＳ２７）。

また、画面受信端末２の受信部２１−２が操作信号を受信すると（ステップＳ３１）。操作信号解析部２７−２は、操作信号を解析し（ステップＳ３２）、この解析で得られる操作イベント種類、座標情報および時刻情報を操作状況通知画像生成部２８−２に出力する（ステップＳ３３）。

すると、操作状況通知画像生成部２８−２は、操作イベントがマウスクリックであるか否かを判別し（ステップＳ５６）、操作イベントがマウスクリックであると認識した場合（ステップＳ５６のＹＥＳ）、イベント発生位置通知画像とマウス画像Ａをフレームバッファ２３−２Ｂに書き込み（ステップＳ３５）、この書き込みを描画部２４−２に通知する（ステップＳ３６）。これにより画面情報に通知画像が追加される。描画部２４−２は、フレームバッファ２３−２Ｂに書き込まれた、イベント発生位置通知画像やマウス画像Ａをディスプレイ装置に表示する（ステップＳ３７）。

そして、画面保持部２３−２は、図示しない計時回路により計時する時刻がメモリ２３−２Ａに書き込まれた遅延時間Ｔ１加算後の時刻となると（ステップＳ３８）、マウス画像Ｂをフレームバッファ２３−２Ｂに書き込む（ステップＳ３９）、描画部２４−２は、画面保持部２３−２のフレームバッファ２３−２Ｂに書き込まれた画像をディスプレイ装置に表示する（ステップＳ４０）。

また、操作状況通知画像生成部２８−２は、操作イベントがダブルクリックであると認識した場合（ステップＳ６１のＹＥＳ）、イベント発生位置通知画像とマウス画像Ｃをフレームバッファ２３−２Ｂに書き込み（ステップＳ６２）、この書き込みを描画部２４−２に通知する（ステップＳ６３）。これにより画面情報に通知画像が追加される。描画部２４−２は、フレームバッファ２３−２Ｂに書き込まれた、イベント発生位置通知画像やマウス画像Ｃをディスプレイ装置に表示する（ステップＳ６４）。

そして、画面保持部２３−２は、図示しない計時回路により計時する時刻がメモリ２３−２Ａに書き込まれた遅延時間Ｔ１加算後の時刻となると（ステップＳ６５）、マウス画像Ｄをフレームバッファ２３−２Ｂに書き込む（ステップＳ６６）、描画部２４−２は、画面保持部２３−２のフレームバッファ２３−２Ｂに書き込まれた画像をディスプレイ装置に表示する（ステップＳ６７）。
以上のような処理を行なうことで、第１の実施形態と同様に、画面受信端末２の観察者は、マウスクリック前のマウス画像およびマウスクリックがなされたマウス画像を認識する事ができる。

（第３の実施形態）
第１の実施形態では、画面受信端末２が画面情報を受信した時点から遅延時間Ｔ１だけ遅らせて当該画面情報をディスプレイ装置に表示する方法を示した。しかし、ネットワークによって画面情報が送受信される場合には、ネットワークで発生する遅延やロスの影響によって、画面情報の到着時間にゆらぎが発生する。そこで、第３の実施形態では画面情報の到着揺らぎを考慮した方法について示す。

図１５は、第３の実施形態における遠隔画面監視システムの動作の一例を説明する図である。この図１５は、第３の実施形態において、画面送信端末１から画面受信端末２へ画面情報が送信されている様子を示している。

本実施形態では、まず、画面送信端末１と画面受信端末２がＮＴＰ等の時刻同期プロトコルを利用して、画面送信端末１で計時する時刻と画面受信端末２で計時する時刻とを事前に一致させておくものとする。図１５では、画面受信端末２は、当該画面受信端末２での受信時刻ではなく、画面送信端末１での差分画像の発生時刻から遅延時間Ｔ１経過後に受信した画面情報をディスプレイ装置に表示する様子を示している。例えば、図１５に示した差分画像Ｄ１は画面送信端末１で計時する時刻ｔ１１で発生して画面受信端末２へ送信される。一方、画面受信端末２では、時計で計時される時刻が画面送信端末１の時計で計時される時刻と一致していることから、受信した画面情報を、前述した時刻ｔ１１に遅延時間Ｔ１を加算した時刻にディスプレイ装置に表示する。

図１６は、第３の実施形態における遠隔画面監視システムの画面受信端末の画面保持部２３の機能構成例を示すブロック図である。
本実施形態の画面受信端末２の画面保持部２３−３は図１６に示すように、フレームバッファ２３−３Ｂの前段にメモリ２３−３Ａを備え、そのメモリ２３−３Ａにて時刻情報と画面情報とが関連づけられて保持される。更に、画面保持部２３−３は取得書き込み部２３−３Ｃを備える。この取得書き込み部２３−３Ｃは、メモリ２３−３Ａに保持されている時刻情報を確認し、自機器の時計で計時される時刻がその時刻となった場合に、その時刻に関連づけられている画面情報をフレームバッファ２３−３Ｂに書き込む。

なお、第３の実施形態の画面受信端末２の内部構成は第１の実施形態で説明した図３とほぼ同様であるが、上述のとおり画面保持部２３−３の内部構成が異なる他、受信部２１−１と画面構築部２２−１の動作もそれに対応して異なる。本実施形態では、受信部２１−１は、画面情報と共に時刻情報を受信すると、この受信した画面情報と時刻情報を画面構築部２２−１に出力し、画面構築部２２−１は、伸張した画面情報と共に、時刻情報を画面保持部２３−１のメモリ２３−３Ａに書き込む。

また、図１５では、画面送信端末１で計時する時刻ｔ１３にマウスクリックが発生して、このマウスクリックを示す操作信号が画面受信端末２に送信され、この操作信号が画面受信端末２で計時する時刻ｔ２３に受信されている様子も示している。本実施形態の場合も、画面受信端末２では、操作信号がマウスクリックに関する操作信号であると認識すれば、遅延時間Ｔ１の経過を待つことなく、その認識時点でイベント発生位置通知画像とマウスクリック前を示すマウス画像Ａがディスプレイに表示される。なお、本実施形態では、画面受信端末２は、受信から遅延時間Ｔ１経過後ではなく画面送信端末１でのマウスクリックの発生から遅延時間Ｔ１経過後にイベント発生位置通知画像とマウスクリック後を示すマウス画像Ｂをディスプレイ装置に表示する。

以上に示した処理により、ネットワークで画面情報を送信した場合に到着揺らぎが発生している場合であっても、第３の実施形態ではその揺らぎを吸収し、かつ、第１の実施形態と同様に、観察者はマウスクリックされることを事前に知ることができる。

（第４の実施形態）
第１，第２の実施形態では操作イベントがマウスの操作である場合について説明したが、これに限られるものではない。そこで、本実施形態では、操作イベントがキー操作イベントの場合について述べる。
図１７は、第４の実施形態における遠隔画面監視システムにおけるキー画像の一例を示す図である。
画面送信端末１における特定のキー、例えばEnterキーの押下のみを、操作イベントとしての検出対象とした場合には、画面受信端末２では、操作信号がEnterキーの押下に関する操作信号であると認識すれば、当該操作信号の受信から遅延時間Ｔ１の経過を待つことなく、その認識時点で、図１７（ａ）に示す、Enterキーが操作直前であることを示すためのキー画像Ａを例えばディスプレイ装置の画面上の中央に表示し、また、操作信号の受信から遅延時間Ｔ１経過後に図１７（ｂ）に示す、Enterキーが操作されたことを示すためのキー画像Ｂをディスプレイ装置の画面上の中央に表示する。

なお、画面送信端末１における何かしらのキーが押されたことを、画面受信端末２側で知ることを目的とするのであれば、画面受信端末２では、操作信号が、種類を問わず画面送信端末１側のキーの押下に関する操作信号であると認識すれば、当該操作信号の受信から遅延時間Ｔ１の経過を待つことなく、その認識時点で図１７（ａ）に示す、何らかのキーが操作直前であることを示すためのキー画像Ｃを例えばディスプレイ装置の画面上の右上端に表示し、また、操作信号の受信から遅延時間Ｔ１経過後に図１７（ｂ）に示す、何らかのキーが操作されたことを示すためのキー画像Ｄをディスプレイ装置の画面上の右上端に表示するようにしてもよい。

第４の実施形態における遠隔画面監視システムの画面送信端末の機能構成や画面受信端末の機能構成は、第１の実施形態で説明した図２、図３に示した構成と同様である。また、第４の実施形態における遠隔画面監視システムの画面送信端末による処理手順は第１の実施形態と同じである。図１８は、第４の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャートである。
ここでは、Enterキーの押下のみを、操作イベントとしての検出対象としており、第１の実施形態で説明したステップＳ２１からＳ２７による差分画像の受信から表示までの処理がなされる。
また、画面受信端末２の受信部２１−１が操作信号を受信すると（ステップＳ３１）。操作信号解析部２７−１は、操作信号を解析し（ステップＳ３２）、この解析で得られる操作イベント種類、座標情報および時刻情報を操作状況通知画像生成部２８−１に出力する（ステップＳ３３）。

すると、操作状況通知画像生成部２８−１は、操作イベントがEnterキーの操作であると認識し（ステップＳ７１）、イベント発生位置通知画像とキー画像Ａをフレームバッファ２３−１Ｂに書き込み（ステップＳ７２）、この書き込みを描画部２４−１に通知する（ステップＳ３６）。これにより画面情報に通知画像が追加される。画面保持部２３−１は、フレームバッファ２３−１Ｂに書き込まれた、イベント発生位置通知画像やマウス画像をディスプレイ装置に表示する（ステップＳ３７）。

そして、画面保持部２３−１は、ステップＳ３１での操作信号の受信時刻から時間Ｔ１が経過すると（ステップＳ３８）、キー画像Ｂをフレームバッファ２３−１Ｂに書き込む（ステップＳ７３）、描画部２４−１は、フレームバッファ２３−１Ｂに書き込まれた画像をディスプレイ装置に表示する（ステップＳ４０）。

（第５の実施形態）
前述した各実施形態では、マウスやキーボードといった外部入力インターフェースによる操作信号に対する処理について説明したが、本実施形態では、画面送信端末１内で発生した音声を画面受信端末２へ通知する場合について説明する。
図１９は、第５の実施形態における遠隔画面監視システムの画面送信端末１Ａの機能構成例を示すブロック図である。
本実施形態における画面送信端末１Ａは音声検出部１８−１を備えている。それ以外の画面送信端末１Ａの構成要素は、図２に示した画面送信端末１と同じである。
音声検出部１８−１は、画面送信端末１Ａ内で発生した音声を検出する。また、音声検出部１８−１は、その音声が発生した際の時刻情報を図示しない計時回路により取得した上で、音声信号の種類と時刻情報を操作信号生成部１７−１へ出力する。例えば、音声検出部１８−１は音声ファイルを監視しており、特定の音声ファイルが再生されたことを検知する仕組みを持つものとする。

特定の音声ファイル、例えば警告を画面送信端末１Ａのユーザに伝えるための警告音ファイルが画面送信端末１Ａで再生開始された場合には、音声検出部１８−１は、警告音のファイル名と、このファイルが再生開始された時刻を示す時刻情報を操作信号生成部１７−１へ出力する。

操作信号生成部１７−１は、警告音のファイル名と時刻情報を音声検出部１８−１から入力した場合には、「操作信号」の一つとして「開始」という情報と警告音のファイル名とを含む音声情報信号を生成し、この音声情報信号と入力済みの時刻情報とを送信部１３−１へ出力する。そして、送信部１３−１は、音声情報信号と時刻情報を一緒に画面受信端末２へ送信する。

また、音声検出部１８−１は音声ファイルの再生終了も検知できる。このように音声ファイルの再生が終了した場合には、音声検出部１８−１は、操作信号生成部１７−１へ警告音終了情報として、警告音のファイル名と、再生が終了した時刻情報を通知する。操作信号生成部１７−１は、警告音終了と時刻情報が入力された場合には、「操作信号」の一つとして「終了」という情報と、警告音のファイル名を含む音声情報信号を生成し、この音声情報信号と一緒に対応する時刻情報を送信部１３−１へ出力するものとする。また、送信部１３−１は、操作信号生成部１７−１から出力された音声情報信号と時刻情報とを一緒に画面受信端末２へ送信する。

図２０は、第５の実施形態における遠隔画面監視システムの画面受信端末２Ａの機能構成例を示すブロック図である。本実施形態の画面受信端末２Ａは音声再生部２９を備えている。それ以外の画面受信端末２Ａの構成要素は図３に示した画面受信端末２と同じである。

前述したように画面送信端末１Ａの音声検出部１８−１が音声ファイルの再生開始を検知した場合、画面受信端末２Ａの操作信号解析部２７−１は、受信部２１−１が操作信号の一つとして音声情報信号を受信すると、この受信した操作信号の解析を行う。操作信号解析部２７−１は、解析の結果として、操作信号が音声情報信号であることを認識する。

操作信号解析部２７−１は、音声情報信号に含まれる「開始」という情報と、警告音のファイル名と、そのファイルの再生開始時刻を示す時刻情報とを検出する。操作信号解析部２７−１は、警告音のファイル名を検出した結果、警告音開始イベントと、警告音のファイル名と、そのファイルの時刻情報を操作状況通知画像生成部２８−１へ出力する。

また、前述したように画面送信端末１Ａの音声検出部１８−１が音声ファイルの再生終了を検知した場合、画面受信端末２Ａの操作信号解析部２７−１は、受信部２１−１が操作信号の一つとして音声情報信号を受信すると、この受信した操作信号の解析を行う。操作信号解析部２７−１は、解析の結果として、操作信号が音声情報信号であることを認識する。

操作信号解析部２７−１は、音声情報信号に含まれる「終了」という情報と、警告音のファイル名と、そのファイルの再生終了時刻を示す時刻情報を検出する。操作信号解析部２７−１は、警告音のファイル名を検出した結果、警告音終了イベントと、警告音のファイル名と、そのファイルの時刻情報を操作状況通知画像生成部２８−１へ出力する。

図２１は、第５の実施形態における遠隔画面監視システムで用いる音声画像の一例を示す図である。
操作状況通知画像生成部２８−１は、操作信号解析部２７−１から警告音開始イベントを入力すると、内部メモリにあらかじめ記憶される画像である、警告音をイメージした図２１（ａ）に示される音声画像Ａを画面保持部２３−１のフレームバッファ２３−１Ｂに書き込む。

なお、音声画像Ａは、例えば、ディスプレイ装置の画面上の左上端に表示されるようにフレームバッファ２３−１Ｂに書き込まれるものとする。操作状況通知画像生成部２８−１は、操作信号解析部２７−１から警告音終了イベントが入力されるまでの間、音声画像Ａを定期的に画面保持部２３−１のフレームバッファ２３−１Ｂに書き込み、当該音声画像Ａがディスプレイ装置の画面上に常に表示されるようにする。

また、操作状況通知画像生成部２８−１は、表示時刻調整部２５−１が決定した遅延時間Ｔ１の情報を知ることができるものとし、警告音のファイル名とそのファイルの再生開始時刻情報が入力された場合、この再生開始時刻に遅延時間Ｔ１を加算した時刻になると、音声再生部２９は、内部メモリに保存されている警告音のファイルの再生を開始する。

一方、操作状況通知画像生成部２８−１は、警告音のファイル名とそのファイルの再生終了時刻情報を操作信号解析部２７−１から入力した場合、この再生終了時刻に遅延時間Ｔ１を加算した時刻になると、音声再生部２９は、警告音のファイル再生を終了する。

なお、警告音に限らず、画面送信端末１Ａ側で再生された別の音声ファイルの情報を同様の仕組みで、画面受信端末２Ａに伝えることも可能である。別の音声ファイルの場合は、例えば、図２１に示す音声画像Ｂなどを表示するようにしてもよい。

図２２は、第５の実施形態における遠隔画面監視システムの画面送信端末による処理手順の一例を示すフローチャートである。
ここでは、第１の実施形態で説明したステップＳ１からＳ８による差分画像の送信処理がなされ、第１の実施形態で説明したステップＳ１１からＳ１８による操作信号の送信処理がなされる。

そして、画面送信端末１Ａの音声検出部１８−１は、画面送信端末１Ａ内での音声再生開始や音声再生終了を検出すると、その音声の再生開始もしくは再生終了した際の時刻情報を取得した上で、音声信号の種類と時刻情報を操作信号生成部１７−１へ出力する。音声検出部１８−１は、警告音のファイル名と、このファイルが再生開始または終了された時刻を示す時刻情報を操作信号生成部１７−１へ出力する（ステップＳ８１）。

操作信号生成部１７−１は、警告音のファイル名と時刻情報を音声検出部１８−１から入力した場合には、音声の再生開始または終了を示す情報と警告音のファイル名とを含む音声情報信号を生成し（ステップＳ８２）、この音声情報信号と入力済みの時刻情報とを送信部１３−１へ出力する。そして、送信部１３−１は、音声情報信号を操作信号として、入力済みの時刻情報を一緒に画面受信端末２Ａへ送信する（ステップＳ８３）。

図２３は、第５の実施形態における遠隔画面監視システムの画面受信端末による処理手順の一例を示すフローチャートである。
ここでは、第１の実施形態で説明したステップＳ２１からＳ２７による差分画像の受信から表示までの処理がなされる。
また、画面受信端末２Ａの受信部２１−１が音声情報信号として画面送信端末１Ａから送信された操作信号を受信すると（ステップＳ３１）。操作信号解析部２７−１は、操作信号を解析し（ステップＳ３２）、この解析の結果、操作信号が音声情報信号であると認識して（ステップＳ９１）、音声情報信号が音声の開始を示す信号であれば（ステップＳ９２のＹＥＳ）、音声情報信号に含まれる「開始」という情報と、警告音のファイル名と、そのファイルの再生開始時刻を示す時刻情報とを検出する。操作信号解析部２７−１は、警告音のファイル名を検出した結果、警告音開始イベントと、警告音のファイル名と、そのファイルの時刻情報を操作状況通知画像生成部２８−１へ出力する（ステップＳ９３）。

すると、操作状況通知画像生成部２８−１は、音声画像Ａを画面保持部２３−１のフレームバッファ２３−１Ｂに書き込み（ステップＳ３５）、この書き込みを描画部２４−１に通知する（ステップＳ３６）。これにより画面情報に通知画像が追加される。画面保持部２３−１は、フレームバッファ２３−１Ｂに書き込まれた音声画像をディスプレイ装置に表示する（ステップＳ３７）。

そして、画面保持部２３−１は、ステップＳ３１での操作信号の受信時刻から時間Ｔ１が経過すると（ステップＳ３８）、警告音のファイルの再生開始の指示信号を音声再生部２９に出力する。すると、音声再生部２９は、内部メモリに保存されている警告音のファイルの再生を開始する（ステップＳ９５）。

一方、操作信号が音声情報信号であると操作信号解析部２７−１が認識して（ステップＳ９１）、音声情報信号が音声の終了を示す信号であれば（ステップＳ９２のＹＥＳ）、音声情報信号に含まれる「終了」という情報と、警告音のファイル名と、そのファイルの再生終了時刻を示す時刻情報とを検出する。操作信号解析部２７−１は、警告音のファイル名を検出した結果、警告音終了イベントと、警告音のファイル名と、そのファイルの時刻情報を操作状況通知画像生成部２８−１へ出力する（ステップＳ９６）。

すると、操作状況通知画像生成部２８−１は、警告音のファイルの時刻情報を画面保持部２３−１へ出力する。画面保持部２３−１は、ステップＳ３１での操作信号の受信時刻から時間Ｔ１が経過すると（ステップＳ９７）、警告音のファイルの再生終了の指示信号を音声再生部２９に出力する。すると、音声再生部２９は、内部メモリに保存されている警告音のファイルの再生を終了する（ステップＳ９８）。

以上のような処理を行なうことで、画面送信端末１Ａ側で再生された音声ファイルの情報を画面受信端末２Ａに伝えることが可能になる。また、画面受信端末２Ａの音声再生開始前に音声画像を表示させることで、画面受信端末２Ａの観察者は、音声が再生されることを事前に把握することができる。

（第６の実施形態）
これまでの実施形態では画面転送プロトコルとしてプッシュ型を用いた場合で説明したが、本実施形態ではプル型を用いた場合について説明する。なお、本実施形態で特に明記しないものは、第２の実施形態で説明したものと同じとする。
図２４は、第６の実施形態における遠隔画面監視システムの画面送信端末１Ａの機能構成例を示すブロック図である。図２５は、第６の実施形態における遠隔画面監視システムの画面受信端末２Ａの機能構成例を示すブロック図である。
本実施形態では画面転送プロトコルとしてプル型に対応したことで、画面受信端末２は構成要素として画面取得要求送信部２１０−２を備え、その他の構成は第２の実施形態で説明した図９に示した構成と同じである。また、画面送信端末１は構成要素として画面取得要求受信部１９−２を備え、その他の構成は第２の実施形態で説明した図１０に示した構成と同じである。

画面受信端末２の画面取得要求送信部２１０−２は、画面送信端末１に対し、画面取得要求を定期的に送信する。また、画面取得要求送信部２１０−２は、外部から画面取得通知が入力された場合には、これを契機に強制画面取得要求を画面送信端末１に送信する。

画面受信端末２の操作信号解析部２７−２は、第２の実施形態で説明した処理に加え、画面送信端末１からの操作信号を解析した結果、マウス、キー操作または音声を示す操作信号である、つまり後段の操作状況通知画像生成部２８−２が画面保持部２３−２のフレームバッファ２８−２Ｂに例えばマウス画像、キー画像、音声画像などの画像を書き込むトリガとなる操作信号であると判断した場合には、画面取得要求送信部２１０−２へ画面取得通知を送る。すると、画面取得要求送信部２１０−２は画面取得通知を画面送信端末１に送信する。

なお、操作信号解析部２７−２は、画面取得通知では、全画面を更新するように要求してもよいし、あるいは、操作状況通知画像生成部２８−２が画面保持部２３−２のフレームバッファ２３−２Ｂに画像を書き込む領域を予測できるのであれば、その領域のみを更新するように要求してもよい。

画面送信端末１の画面取得要求受信部１９−２は、画面受信端末２の画面取得要求送信部２１０−２からの画面取得要求を受信すると、画面更新通知を画面変化検出部１１−２へ通知する。また、画面取得要求受信部１９−２は、画面受信端末２からの強制画面取得要求を受信すると、強制画面更新通知を画面変化検出部１１−２へ通知する。

なお、画面取得要求受信部１９−２は、画面取得要求あるいは強制画面取得要求にて全画面の更新が指示されている場合には、画面更新通知あるいは強制画面更新通知にて全画面の更新を画面変化検出部１１−２へ通知する。一方、画面取得要求受信部１９−２は、画面取得要求あるいは強制画面取得要求にて画面の一部の更新が指示されている場合には、画面更新通知あるいは強制画面更新通知にて画面の一部の更新を画面変化検出部１１−２へ通知する。

画面変化検出部１１−２は、画面更新通知を受け取ると、この通知で指示された全画面あるいは画面の一部を対象にし、画面上で変化した部分を検出する。例えば、先の画面情報を記憶装置３１に記憶しておき、画面変化検出部１１−２は、現在の画面情報と画素の比較を行うことで差分を検出し、検出した差分を更新画面データとして記憶装置３１に記憶し、画面更新データ発生を送信画像データ生成部１２−２へ通知する。

一方、画面変化検出部１１−２は、強制画面更新通知を受け取ると、この通知で指示された全画面あるいは画面の一部において画面変化が発生したと判断し、この画面領域全てを差分として扱い、更新画面データとして記憶装置３１に記憶し、画面更新データ発生を送信画像データ生成部１２−２へ通知する。

なお、第２の実施形態では、操作信号生成部１７−２がリフレッシュ通知を画面変化検出部１１−２へ通知する処理を説明したが、本実施形態では、このリフレッシュ通知に相当するのが強制画面更新通知であり、この強制画面更新通知は、画面受信端末２側から強制画面取得要求を画面取得要求受信部１９−２により受信した場合に画面変化検出部１１−２に通知される。また、この強制画面取得要求は、画面受信端末２側の操作信号解析部２７−２の判断によって画面取得要求送信部２１０−２へ送られる画面取得通知が契機となっている。

本実施形態は、第２の実施形態の構成を基本とした上で、画面転送プロトコルをプル型に置き換えた場合について説明した。本実施形態の主となる特徴については、第２あるいは第１の実施形態で述べたとおりである。

これらの各実施形態によれば、操作側の画面送信端末での操作がいつ行われたのかを観察側の画面受信端末で認識することが可能になる情報処理装置および情報処理方法を提供することができる。
発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１Ａ…画面送信端末、２、２Ａ…画面受信端末、３…ネットワーク、１１−１，１１−２…画面変化検出部、１２−１，１２−２…送信画像データ生成部、１３−１，１３−２…送信部、１４−１，１４−２…操作イベント検出部、１５−１，１５−２…時刻検出部、１６−１…時刻情報付加部、１７−１，１７−２…操作信号生成部、１８…音声検出部、１９…画面取得要求受信部、２１−１，２１−２…受信部、２２−１，２２−２…画面構築部、２３−１，２３−２，２３−３…画面保持部、２３−１Ａ…バッファ、２３−１Ｂ，２３−２Ｂ，２３−３Ｂ…フレームバッファ、２３−２Ａ，２３−３Ａ…メモリ、２３−３Ｃ…取得書き込み部、２４−１，２４−２…描画部、２５−１，２５−２…表示時刻調整部、２６−１，２６−２…表示制御部、２７−１，２７−２…操作信号解析部、２８−１，２８−２…操作状況通知画像生成部、２９…音声再生部、３１…記憶装置、２１０−２…画面取得要求送信部。

Claims (10)

1. 入力操作に従って画面表示を行なう他の情報処理装置から送信された、当該情報処理装置に表示される画面を示す画面情報、および、前記情報処理装置における入力操作の状況を示す操作信号を受信する受信部と、
   前記受信部により受信した操作信号の種別をもとに、前記情報処理装置での操作状況を示す操作状況通知画像を生成する生成部と、
   前記生成した操作状況通知画像を前記受信部により受信した画面情報で示される画面上に描画する描画部と
   を備えたことを特徴とする情報処理装置。
2. 前記描画部は、
   前記受信部により受信した操作信号の受信時刻から一定時間が経過した際に、前記生成部により生成した操作状況通知画像を前記受信部により受信した画面情報で示される画面上に描画する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記操作信号は、前記他の情報処理装置の画面上での入力操作位置の座標情報を含み、
   前記描画部は、
   前記生成部により生成した操作状況通知画像を、前記受信部により受信した画面情報で示される画面上における、前記座標情報で示される座標に描画する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記入力操作は、前記他の情報処理装置のマウスのクリック操作および前記他の情報処理装置のキーボードの操作の少なくとも１種類を含む
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記操作信号は、前記画面上での処理決定のための操作以外の操作である第１の操作信号及び前記画面上での処理決定のための操作である第２の操作信号を含み、
   前記描画部は、
   前記受信部により受信した前記第１の操作信号の受信時刻から一定時間が経過すると、当該第１の操作信号に応じて生成した操作状況通知画像を前記受信部により受信した画面情報で示される画面上に描画し、
   前記受信部により前記第２の操作信号を受信すると、当該第２の操作信号の受信時刻から一定時間が経過する前に、当該第２の操作信号に応じて生成した、前記処理決定前を示す画像である第１の操作状況通知画像を前記受信部により受信した画面情報で示される画面上に描画し、
   前記受信部により受信した前記第２の操作信号の受信時刻から一定時間が経過すると、前記第１の操作状況通知画像と異なる、当該第２の操作信号に応じて生成した、前記処理決定を示す画像である第２の操作状況通知画像を前記受信部により受信した画面情報で示される画面上に描画する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記操作信号は、前記他の情報処理装置の画面上でのマウスのカーソル位置または画面上でのマウスのクリック位置の座標情報を含み、
   前記描画部は、
   前記画面上での前記他の情報処理装置のマウスのカーソル移動を示す前記操作信号に応じて前記生成部により生成した前記操作状況通知画像を、前記受信部により受信した画面情報で示される画面上における、前記座標情報で示される座標に描画し、
   前記画面上での前記他の情報処理装置のマウスのクリック操作を示す前記操作信号に応じて前記生成部により生成した前記操作状況通知画像を、前記カーソル移動に応じて前記生成した前記操作状況通知画像の前記画面上で描画される座標の近傍に描画する
   ことを特徴とする請求項２に記載の情報処理装置。
7. 前記他の情報処理装置で計時する時刻と同期した計時を行ない、
   前記受信部は、
   前記他の情報処理装置から送信された前記操作信号の前記他の情報処理装置での発生時刻の情報を受信し、
   前記描画部は、
   前記受信部により受信した前記操作信号の前記他の情報処理装置での発生時刻から一定時間が経過した事を計時すると、当該操作信号に応じて前記生成部により生成した操作状況通知画像を前記受信した画面情報で示される画面上に描画する
   ことを特徴とする請求項２に記載の情報処理装置。
8. 前記受信部は、前記他の情報処理装置から送信された、当該情報処理装置での画面上での変化を伴わない情報の発生を通知する信号をさらに受信し、
   前記生成部は、
   前記受信部により受信した、前記画面上での変化を伴わない情報の発生を通知する信号に応じた通知画像を生成する
   ことを特徴とする請求項２に記載の情報処理装置。
9. 前記他の情報処理装置での画面上での変化を伴わない情報の発生を通知する信号は、前記他の情報処理装置での音声の発生を通知する信号であり、
   前記受信部は、前記画面情報と前記音声の発生を示す信号とをそれぞれ受信し、
   前記生成部は、
   前記受信部により受信した、前記音声の発生を示す信号に応じて、前記音声の発生を示す通知画像および通知音声を生成し、
   前記描画部は、
   前記受信部により受信した前記音声の発生を示す信号の発生時刻から一定時間が経過すると、前記音声の発生を示す信号に応じた通知画像を前記受信した画面情報で示される画面上に描画し、
   前記受信部により受信した前記音声の発生を示す信号の発生時刻から前記一定時間が経過すると、前記生成部により生成した通知音声を再生する再生部をさらに備えた
   ことを特徴とする請求項２に記載の情報処理装置。
10. 入力操作に従って画面表示を行なう他の情報処理装置から送信された、当該情報処理装置に表示される画面を示す画面情報、および、前記情報処理装置における入力操作の状況を示す操作信号を受信し、
    前記受信した操作信号の種別をもとに、前記情報処理装置での操作状況を示す操作状況通知画像を生成し、
    前記生成した操作状況通知画像を前記受信した画面情報で示される画面上に描画する
    ことを特徴とする情報処理方法。

Images