JP2016018260A - クライアントサーバシステム、制御方法および制御プログラム - Google Patents

Abstract

【課題】予測される操作に基づいて生成された実行画面情報をクライアント側で受信するタイミングをネットワークの通信処理能力に応じて制御し、適正なタイミングで実行画面を表示するクライアントサーバシステムを提供する。【解決手段】指示物体の接近を検知する入力手段と、クライアント端末とサーバ装置との間の通信処理能力を測定するとともに、入力手段によって取得された指示物体の位置情報の変化に基づいて、予測接触位置と予測接触時刻とを計算し、操作予測情報を通信処理能力に基づいて送信する操作予測手段と、予測接触位置に対応する処理の実行結果を含む実行画面情報を生成する実行画面情報生成手段と、実行画面情報生成手段によって生成された実行画面情報に含まれる実行画面がクライアント端末に設けられたディスプレイに予測接触時刻後に表示されるように実行画面の表示を制御する表示手段とを備えるクライアントサーバシステムとする。【選択図】 図１

Description

本発明は、クライアント端末とサーバ装置とがネットワークを介して接続されたクライアントサーバシステム、制御方法および制御プログラムに関する。特に、クライアント端末とサーバ装置とがシンクライアントシステムを構成するクライアントサーバシステム、制御方法および制御プログラムに関する。

一般的なシンクライアントシステムは、本来はクライアント端末で動作するＯＳやアプリケーションソフトを、仮想的なクライアント端末としてサーバ装置にて動作させる（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）。そして、ＯＳやアプリケーションソフトをサーバ装置で動作させ、ユーザのクライアント端末には、サーバ装置内で動作する仮想端末の実行画面を表示する。ユーザがクライアント端末の画面上の表示に対して操作を実施すると、クライアント端末は、ユーザの操作を操作情報としてサーバ装置に送信する。操作情報を受け取ったサーバ装置は、サーバ装置内で動作させている仮想的なクライアント端末に対して、操作情報に記載されている内容の操作を実施し、ＯＳもしくはアプリケーションソフトの動作を変更する。このとき、サーバ装置は、仮想端末の画面表示を逐次的に取得し、実行画面情報としてクライアント端末に送信する。クライアント端末は、受け取った実行画面情報をクライアント端末の画面上に逐次表示する。

一般的なシンクライアントシステムにおいては、クライアント端末とサーバ装置とがネットワークを介して接続されている。そのため、クライアント端末とサーバ装置との間の通信におけるデータ転送において、伝達遅延と呼ばれる遅延時間が発生する。クライアント端末とサーバ装置との間の通信で使われる回線において、他の通信トラヒックが増大する（クロストラヒックという）と、クライアント端末とサーバ装置間で送受信できる通信スループットが減少する。クロストラヒックが増大すると、同じデータを送受信するのに余計な時間がかかり、伝達遅延が増大する。また、モバイル網に接続するクライアント端末の移動によって無線の品質が悪くなると、クロストラヒックの増大と同様に通信スループットが減少し、伝達遅延が大きくなる。

一般的なシンクライアントシステムにおいては、クライアント端末内でアプリケーションを実行する場合に比べると、クライアント端末とサーバ装置との間のネットワーク上において、操作情報や実行画面情報の送受信に伝達遅延が発生する。その結果、伝達遅延の分だけ、ユーザがクライアント端末を操作してから、ユーザの操作が反映された画面が表示されるまでの応答時間が長くなるという問題点がある。

特許文献１には、ローカル環境はネットワークブート型で構成され、リモート環境は画面転送型で構成されるシンクライアントシステムについて開示されている。特許文献１のシンクライアントシステムにおいては、ユーザデータを記憶するユーザデータ用ファイルサーバが、リモート環境とローカル環境の双方からアクセス可能に共有されるため、ユーザデータの一元化を図ることができる。その結果、ユーザデータ管理が容易となり、使用環境に応じてローカル環境とリモート環境との選択がしやすくなるため、使用環境によっては伝達遅延を減少することが可能となる。

特許文献２には、装置の電源が投入されてから通常操作画面が表示されるまでの間に簡易操作画面を表示することによって、装置が起動される前に、ジョブの設定操作を可能とするジョブ処理装置について開示されている。特許文献２のジョブ処理装置では、装置を起動した直後に、事前に用意された簡易画面を表示してユーザからの入力を受け付ける。そして、プログラムのロードや初期化が完了したら、簡易画面で入力された設定情報を引き継いだ通常画面を表示する。その結果、装置の起動から通常操作画面が表示されるまでの応答時間を短縮することができるとともに、簡易画面上でジョブの設定をできるようになる。そのため、ネットワークの伝達遅延を軽減することにつながる効果が得られる。

また、近年の情報端末には、例えばスマートフォンやタブレットＰＣのように、タッチパネルが備えられていることが多い（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）。タッチパネルには、静電容量方式や電磁誘導方式などの方式があり、それぞれ、静電容量や電磁エネルギーの変化を利用して、指やペンなどの指示物体の接近・接触を検出できる。このようなタッチパネルを備えた情報端末では、指示物体が接近してきた際に、指示物体のタッチパネルへの接触位置を予測することができる。そのため、指示物体がタッチパネルに接触する前に、指示物体の接近位置とコンテンツの表示位置とに基づいて、タッチパネルへの接触によって発生する操作を予測することが可能となる。

特許文献３には、クライアント端末の表示パネルへの電磁誘導方式のペンの接触位置を予測し、予測した接触位置に基づいた処理をサーバ側で事前に処理するサーバベースコンピューティングシステムについて開示されている。特許文献３のサーバベースコンピューティングシステムでは、まず、クライアント端末は、非接触の状態でペンの座標からタップ位置を予測し、予測したタップ位置に基づいてプログラムの選択項目を選出し、選出した選択項目をサーバ装置に送信する。そして、サーバ装置は、選出された選択項目に関するプログラムを実行し、実行画面を記憶しておく。サーバ装置は、クライアント端末からタップ位置情報を受信した段階で、実際のタップ位置情報と予測された位置情報とが一致していれば、記憶した実行画面をクライアント端末に送信する。

特開２００７−３１０５０８号公報 特開２０１３−５２６８２号公報 特開２００９−２３８０８７号公報

特許文献１のシンクライアントシステムによれば、リモート環境とローカル環境を切り替えることができるため、使用環境によっては、伝達遅延を減少することが可能となる。しかしながら、一般的なシンクライアントシステムにおいては、ローカル環境を使用できない場合が多いため、リモート環境要因の伝達遅延を解消できないという問題点があった。なぜならば、ローカル環境を使用できない場合には、リモート環境とローカル環境とを切り替えることができないためである。

特許文献２のジョブ処理装置によれば、装置を起動した直後の簡易画面の応答時間は、通常画面の応答時間よりも早くなる。しかしながら、装置の起動操作を実行してから簡易画面を表示するまでの応答時間は短縮されないという問題点があった。また、特許文献２のジョブ処理装置は、装置を起動した直後の画面にしか対応しないため、起動後の他の画面に対する操作の応答時間は短縮されない。さらには、簡易画面を事前準備しておく必要があり、汎用性が低いという問題点があった。

特許文献３のサーバベースコンピューティングシステムによれば、ペンがタップ操作をする前にタップ位置を予測し、予測されたタップ位置に対応するプログラムを実行して実行画面を準備しておくことによって、応答速度を向上することができる。しかしながら、遅延要因がネットワークに存在する場合、サーバ装置からクライアント端末への実行画面の転送時間に遅延が生じる可能性があるという問題点があった。なぜならば、サーバ装置からクライアント端末に実行画面を送信する際に、ネットワークの通信処理能力を考慮に入れていないためである。

本発明の目的は、予測される操作に基づいて生成された実行画面情報がクライアント側で受信されるタイミングをネットワークの通信処理能力に応じて制御し、適正なタイミングで実行画面を表示するクライアントサーバシステムを提供することである。

本発明のクライアントサーバシステムは、クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、入力面に対する指示物体の位置情報を検出時間に関連付けて取得する入力手段と、クライアント端末とサーバ装置との間の通信処理能力を測定するとともに、入力手段によって取得された指示物体の位置情報の変化に基づいて、指示物体が入力面に接触すると予測される位置である予測接触位置と、指示物体が入力面に接触すると予測される時刻である予測接触時刻とを計算し、クライアント端末の識別子と、予測接触位置および予測接触時間とを含む操作予測情報を通信処理能力に基づいて送信する操作予測手段と、操作予測情報を受信し、識別子が付されたクライアント端末の入力面における予測接触位置に対応して実行される処理をサーバ装置上の仮想環境において実行することによって、予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成する実行画面情報生成手段と、
実行画面情報生成手段によって生成された実行画面情報を受信し、受信した実行画面情報に含まれる画面情報に対応する実行画面がクライアント端末に設けられたディスプレイに予測接触時刻後に表示されるように制御する表示手段とを備える。

本発明の制御方法は、クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、入力面に対する指示物体の位置情報を検出時間に関連付けて取得し、クライアント端末とサーバ装置との間の通信処理能力を測定するとともに、取得された指示物体の位置情報の変化に基づいて、指示物体が入力面に接触すると予測される位置である予測接触位置と、指示物体が入力面に接触すると予測される時刻である予測接触時刻とを計算し、クライアント端末の識別子と、予測接触位置および予測接触時間とを含む操作予測情報を通信処理能力に基づいて送信し、操作予測情報を受信し、識別子が付されたクライアント端末の入力面における予測接触位置に対応して実行される処理をサーバ装置上の仮想環境において実行することによって、予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成し、生成された実行画面情報に含まれる画面情報に対応する実行画面がクライアント端末に設けられたディスプレイに予測接触時刻後に表示されるように制御する。

本発明の制御プログラムは、クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、入力面に対する指示物体の位置情報を検出時間に関連付けて取得する処理と、クライアント端末とサーバ装置との間の通信処理能力を測定するとともに、取得された指示物体の位置情報の変化に基づいて、指示物体が入力面に接触すると予測される位置である予測接触位置と、指示物体が入力面に接触すると予測される時刻である予測接触時刻とを計算し、クライアント端末の識別子と、予測接触位置および予測接触時間とを含む操作予測情報を通信処理能力に基づいて送信する処理と、操作予測情報を受信し、識別子が付されたクライアント端末の入力面における予測接触位置に対応して実行される処理をサーバ装置上の仮想環境において実行することによって、予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成する処理と、生成された実行画面情報に含まれる画面情報に対応する実行画面がクライアント端末に設けられたディスプレイに予測接触時刻後に表示されるように制御する処理とをコンピュータに実行させる。

本発明によれば、予測される操作に基づいて生成された実行画面情報がクライアント側で受信されるタイミングをネットワークの通信処理能力に応じて制御し、適正なタイミングで実行画面を表示するクライアントサーバシステムを提供することが可能となる。

本発明の第１の実施形態に係るクライアントサーバシステムの機能構成を示すブロック図である。 本発明の第２の実施形態に係るシンクライアントシステムの機能構成を示すブロック図である。 本発明の第２の実施形態に係るシンクライアントシステムの処理の流れを示すフローチャートである。 本発明の第２の実施形態に係るシンクライアントシステムにおける接続処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るシンクライアントシステムにおける実測処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るシンクライアントシステムにおいて、クライアント端末の入力パネルと指示物体との位置関係の変化を説明するための概念図である。 本発明の第２の実施形態に係るシンクライアントシステムにおける操作予測処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るシンクライアントシステムにおける実行画面生成処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るシンクライアントシステムにおける実行画面表示処理を説明するためのフローチャートである。 本発明の第３の実施形態に係るシンクライアントシステムの機能構成を示すブロック図である。 本発明の実施形態に係るクライアント端末のハードウェア構成の一例を示すブロック図である。 本発明の実施形態に係るサーバ装置のハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

（第１の実施形態）
本発明の第１の実施形態に係るクライアントサーバシステム１について、図１を参照しながら説明する。なお、第１の実施形態に係るクライアントサーバシステム１は、本発明の実施形態に係るクライアントサーバシステムの概略的な構成を示すものであり、詳細な構成や動作に関しては、第２および第３の実施形態において説明する。

第１の実施形態に係るクライアントサーバシステム１は、シンクライアントシステムとして実現される。例えば、クライアントサーバシステム１は、画面転送方式のシンクライアントシステムとして実現できる。画面転送方式としては、サーバブレード方式、ブレードＰＣ方式、ＶＤＩ方式などを適用できる（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＶＤＩ：Ｖｉｒｔｕａｌ Ｄｅｓｋｔｏｐ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）。なお、本実施形態に係るクライアントサーバシステム１は、ネットワークブート方式のシンクライアントシステムとして実現してもよい。

図１のように、第１の実施形態に係るクライアントサーバシステム１は、クライアント端末１０とサーバ装置２０とが、ネットワーク３０を介して通信可能に接続された構成をもつ。なお、図１においては、クライアント端末１０およびサーバ装置２０を一つずつしか図示していないが、実際には、少なくとも一つのクライアント端末１０と、少なくとも一つのサーバ装置２０とがネットワーク３０経由で互いに接続される構成とすることができる。また、図１には図示していないが、クライアント端末１０およびサーバ装置２０には、お互いにデータを送受信するための通信手段が設けられている。

（クライアント端末）
まずは、本実施形態に係るクライアント端末１０の概略について説明する。

クライアント端末１０は、ネットワーク３０を介してサーバ装置２０に接続された情報端末である。例えば、クライアント端末１０は、スマートフォンやタブレットＰＣのように、タッチパネルを備えた情報端末として実現することができる。スマートフォンやタブレットＰＣによってクライアント端末１０を実現する場合は、入力機能と表示機能とを兼ね備えたタッチパネルを適用することが好ましい。また、クライアント端末１０は、入力機能としてのタッチパネルと、表示機能としてのディスプレイとを別々にもつ情報端末として実現してもよい。

例えば、クライアント端末１０は、デスクトップＰＣやノートＰＣ、携帯電話、ＰＤＡなどによって実現してもよい（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）。また、例えば、クライアント端末１０は、ＡＴＭやキャッシュディスペンサー、公共端末などといった据置型の端末装置として実現してもよい（ＡＴＭ：Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）。また、例えば、クライアント端末１０は、チケット・切符の発行や注文受付、物品管理、決済端末などに用いられるポータブルデータターミナルとして実現してもよい。なお、上述のクライアント端末１０の例は一例であって、本発明の範囲を限定するものではない。

図１のように、クライアント端末１０は、入力手段１１と、操作予測手段１２と、表示手段１３とを備える。

入力手段１１は、クライアント端末１０に近接・接触した指示物体を検出する機能を有し、ユーザによる入力操作を受け付ける手段である。入力手段１１は、入力操作時に接触する入力面を有しており、入力面に近接した指示物体と入力面との距離によって異なる出力値を出力する。そのため、入力手段１１の出力値を解析することによって、指示物体と入力面との距離を測定することが可能となる。なお、指示物体と入力面との距離は、検出時刻と関連付けられた指示物体の所在位置として出力される。指示物体の所在位置の変化を検証すれば、指示物体の移動速度や指示物体の移動軌跡を把握することが可能となる。

入力手段１１は、例えば、タッチパネルによって実現される。タッチパネルとしては、電磁誘導型や静電容量型、超音波型、電磁波型、赤外線型など、近接センサとしての機能を有するものが好適である。なお、入力手段１１として用いられるタッチパネルは、上述のものに限定されず、近接した物体を検出し、検出した物体との距離を判別できる機能を有しさえすればよい。

入力手段１１は、指示物体を検出すると、指示物体の接近・接触に関する検出状態と、指示物体の所在位置と、検出時刻とを含む実測情報を操作予測手段１２に通知する。

操作予測手段１２は、クライアント端末１０とサーバ装置２０との間で送受信されたデータを基に、ネットワーク３０を介して送受信されるデータのスループットや実行画面情報のサイズ、往復遅延時間などの通信処理能力を測定する通信測定機能を有する。また、操作予測手段１２は、検出された指示物体の所在位置や検出時刻、検出状態に基づいて、操作内容や操作種別を予測する入力予測機能を有する。なお、予測される接触位置、接触時刻および操作種別のそれぞれを、予測接触位置、予測接触時刻および予測操作種別と呼ぶ。また、予測接触位置、予測接触時刻および予測操作種別をまとめて、操作予測情報と呼ぶ。

操作予測手段１２は、入力手段１１によって検出された指示物体に関して、指示物体の所在位置の変化に基づいて移動速度を算出し、指示物体と入力面との接触が予測される予測接触時刻や予測接触位置を算出する。また、操作予測手段１２は、指示物体の検出状態から操作種別を予測する。操作種別とは、例えば、タップ操作やフリック操作などといったユーザによる操作の種類を分類分けしたものである。そして、操作予測手段１２によって導出された予測接触時刻、予測接触位置および予測操作種別を含む操作予測情報は、ネットワーク３０の通信処理能力に応じて、サーバ装置２０に送信される。

また、操作予測手段１２は、測定したパラメータに基づいて、クライアント端末１０−サーバ装置２０間でデータを送受信するのに要する時間（データ送受信時間）と、サーバ装置２０に操作予測情報を送信する時刻（操作予測情報送信時刻）とを算出する。そして、操作予測手段１２は、予測接触時刻の直後に実行画面を表示できるように、操作予測情報を送信するタイミングを制御する機能を備える。

データ送受信時間は、クライアント端末１０とサーバ装置２０との間でやり取りされるデータサイズと、通信手段のスループットとを用いて推測される。クライアント端末１０からサーバ装置２０に操作予測情報が送達する時間（操作予測情報送達時間）は、操作予測情報のデータサイズと通信手段のスループットとから予測される。アプリケーションの処理時間は、予測接触位置に対応するアプリケーションの処理内容や予測操作種別に基づいて予測される。サーバ装置２０からクライアント端末１０へ実行画面情報を送達するのにかかる時間（伝達遅延）は、例えば、平均的な実行画面情報のサイズの伝搬時間から求められる。

表示手段１３は、サーバ装置２０から実行画面情報を受信し、操作予測手段１２によって算出された予測操作時刻、もしくは指示物体の接触検知をトリガーとして取得されたアプリケーションの実行画面を表示する機能を備える。表示手段１３は、クライアント端末１０が備えるディスプレイなどとして実現される。なお、入力手段１１をタッチパネルで構成する場合は、タッチパネル自体に実行画面が表示される。

以上が、本実施形態に係るクライアント端末１０の概略についての説明である。

（サーバ装置）
次に、本実施形態に係るサーバ装置２０の概略について説明する。

サーバ装置２０は、クライアント端末１０によって指定されたアプリケーションを仮想環境上で実行し、クライアント端末１０に表示するための実行画面に関する情報（画面情報）が含まれる実行画面情報を生成する装置である。サーバ装置２０は、仮想環境を構築可能なサーバによって構成される。

サーバ装置２０は、実行画面情報生成手段２１を備え、クライアント端末１０から送信されてきた操作予測情報に応じて、仮想環境２２でアプリケーションを実行する。すなわち、サーバ装置２０は、操作予測情報に基づいて、仮想環境２２で先行してアプリケーションを実行する。予測操作位置がわかれば、指示物体が入力面に接触する位置を予測できるため、実行すべきアプリケーションの処理内容を予測することができる。

実行画面情報生成手段２１は、クライアント端末１０に表示される実行画面に関する情報を含む実行画面情報を生成する。なお、実行画面情報とは、仮想環境２２で実行されたアプリケーションの実行結果を、クライアント端末１０に表示される実行画面を含む形式に変換した情報である。

仮想環境２２は、アプリケーションを実行するための仮想化された環境である。仮想環境２２は、サーバ装置２０上にソフトウェアによって仮想的に構築されたコンピュータ（仮想マシン）である。仮想環境２２は、ハイパーバイザ型やコンテナ型などの仮想化によって実現される。ハイパーバイザ型の場合、ハイパーバイザによってサーバ装置２０上に構築された仮想マシン上において、ＯＳを含むアプリケーションが実行される。すなわち、ハイパーバイザ型では、仮想マシンによって提供されるＣＰＵやメモリ、ストレージなどの資源を利用して仮想環境２２が構築される（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）。また、コンテナ型の場合、サーバ装置２０上で動作するＯＳの一部の専用領域においてアプリケーションが実行される。すなわち、コンテナ型では、サーバ装置２０の専用領域を利用して仮想環境２２が構築される。

サーバ装置２０は、クライアント端末１０に指示物体が接触するタイミング後（予測接触時刻後）に実行画面が表示されるように、生成した実行画面情報をクライアント端末１０に送信する。すなわち、サーバ装置２０は、クライアント端末１０が実行画面情報を予測接触時刻前に受信できるように、実行画面情報を送信する。

以上が、本実施形態に係るサーバ装置２０の概略についての説明である。

（ネットワーク）
最後に、本実施形態に係るネットワーク３０について説明する。

ネットワーク３０は、クライアント端末１０とサーバ装置２０とを接続するデータ伝達経路となる。外部環境ネットワークを利用するのであれば、一般的なインターネットをネットワーク３０として使用すればよい。また、特定の施設の内部環境ネットワークを使用するのであれば、施設内の内部環境に構築されたＬＡＮなどのイントラネットをネットワーク３０として使用すればよい（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）。なお、ネットワーク３０は、本実施形態に係るクライアントサーバシステム１に含まれる構成であってもよいし、クライアントサーバシステム１には含まれない構成であってもよい。ネットワーク３０の形態や、ネットワーク３０内部におけるデータ伝送方式に関しては特に限定しない。

また、クライアント端末１０およびサーバ装置２０のそれぞれがネットワーク３０と接続する形態に関しては、任意に設定できるものとする。例えば、クライアント端末１０とネットワーク３０とは、コネクタなどを介した有線接続としてもよいし、アクセスポイントや無線ＬＡＮなどを用いた無線接続としてもよい。また、クライアント端末１０やサーバ装置２０がネットワーク３０と接続するためのインターフェースには、任意のインターフェースを適用することができる。

以上が、本実施形態に係るネットワーク３０についての説明である。

以上のように、本発明の第１の実施形態に係るクライアントサーバシステムにおいては、ユーザがクライアント端末を操作する前に、ユーザによる操作内容や操作種別を予測し、サーバ装置上のＯＳやアプリケーションを先行して実行する。その際に、予測される操作に基づいて生成された実行画面情報がクライアント側で受信されるタイミングをネットワークの通信処理能力に応じて制御する。そして、実際にユーザによる操作が行われた段階で実行画面が違和感なく表示されることになる。その結果、ユーザによる操作が実行されてから、実行画面情報を表示するまでの応答時間を実質的に短縮することが可能となる。

すなわち、予測される操作に基づいて生成された実行画面情報がクライアント側で受信されるタイミングをネットワークの通信処理能力に応じて制御し、適正なタイミングで実行画面を表示することが可能となる。

以上のような本実施形態に係るクライアントサーバシステムの制御方法は、クライアント端末から操作可能なすべてのアプリケーションに対して適応できるため、汎用性が高いものである。

以上が、第１の実施形態に係るクライアントサーバシステムについての説明である。クライアントサーバシステム１の内部構成・動作等の詳細については、第２および第３の実施形態を用いて詳細に説明する。

（第２の実施形態）
次に、本発明の第２の実施形態に係るシンクライアントシステム２について、図面を参照しながら詳細に説明する。なお、シンクライアントシステム２は、第１の実施形態に係るクライアントサーバシステム１を具体化するものである。

図２は、本発明の第２の実施形態に係るシンクライアントシステム２の構成を表すブロック図である。シンクライアントシステム２は、クライアント端末１０とサーバ装置２０とがネットワーク３０を介して接続された構成をとる。シンクライアントシステム２は、少なくとも一つのクライアント端末１０と、少なくとも一つのサーバ装置２０とを備える。例えば、単一のサーバ装置２０中に複数の仮想環境２２を構築できるのであれば、一つのサーバ装置２０に複数のクライアント端末１０が接続されうる。また、単一のクライアント端末１０の処理を複数のサーバ装置２０に分散させて処理するのであれば、単一のクライアント端末１０が複数のサーバ装置２０に接続されうる。

（クライアント端末）
まず、図２を用いて、本実施形態に係るクライアント端末１０の機能構成について説明する。

クライアント端末１０は、入力手段１１と、操作予測手段１２と、表示手段１３と、通信手段１４とを備える。なお、入力手段１１、操作予測手段１２および表示手段１３は、第１の実施形態の構成要素に対応するものである。

＜入力手段＞
入力手段１１は、ユーザによる入力を受け付ける入力面への指やペンなどといった指示物体の接近や接触を検出する機能を備える。

入力手段１１は、指示物体を検出した際には、指示物体が接近しているのか接触しているのかを示す情報と、物体の所在位置と、検出時刻とを含む実測情報を入力予測手段１２３に通知する。

＜操作予測手段＞
図２のように、操作予測手段１２は、クライアント端末１０とサーバ装置２０との間の通信処理能力を測定するとともに、検出された指示物体に関する予測接触位置や予測接触時刻、予測操作種別といった操作予測情報を導出する。

操作予測手段１２は、通信測定手段１２１と、入力予測手段１２３と、操作予測情報送信手段１２５とを有する。

通信測定手段１２１は、通信手段１４で送受信されたデータを基に、クライアント端末１０とサーバ装置２０との間の往復遅延時間やスループット、実行画面情報の平均サイズなどといった通信処理能力を測定する機能を有する。例えば、通信測定手段１２１は、計測用のデータをサーバ装置２０に送信してから送信完了のＡＣＫを受信するまでの時間を測定することによって、通信処理能力を測定することができる（ＡＣＫ：Ａｃｋｎｏｗｌｅｄｇｅｍｅｎｔ）。往復遅延時間はＲＴＴとも呼ばれ、クライアント端末１０からサーバ装置２０に送信した信号がクライアント端末１０に戻ってくるまでの時間に相当する（ＲＴＴ：Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ）。

計測用のデータサイズと、送信に要した時間である送信時間とを用いれば、式１によってネットワーク３０のスループットを算出することができる。
（スループット）＝（計測用のデータサイズ）÷（送信時間）・・・（１）
また、計測用のデータの変わりに、式２のように、操作予測情報そのものを用いてネットワーク３０のスループットを算出してもよい。
（スループット）＝（操作予測情報のデータサイズ）÷（送信時間）・・・（２）
さらに、実行画面情報の平均サイズをスループットで割ることにより、平均的なサイズの実行画面情報を送受信する際の伝達遅延を算出することができる（式３）。なお、伝達遅延は、サーバ装置２０からクライアント端末１０に実行画面情報を送信する際にかかる時間に相当する。
（伝達遅延）＝（実行画面情報の平均サイズ）÷（スループット）・・・（３）
伝達遅延は、アプリケーションや処理内容ごとに異なるため、アプリケーションや処理内容ごとに求めておいてもよい。また、操作予測情報に基づいて実行される処理の結果生成されることが予測される実行画面情報のデータサイズを用いて、式４を用いて伝達遅延を求めてもよい。
（伝達遅延）＝（予測される実行画面情報のサイズ）÷（スループット）・・・（４）
通信測定手段１２１は、測定した通信処理能力を入力予測手段１２３に送信する。

入力予測手段１２３は、入力手段１１から受信した実測情報に基づいて、指示物体が入力手段１１に接触すると判断した場合、接触位置と、接触時刻と、接触したときに発生する操作種別とを予測する機能を備える。

操作予測情報送信手段１２５は、通信測定手段１２１が測定した通信処理能力を基に、データ送受信時間や操作予測情報送信時刻などを算出する。

また、操作予測情報送信手段１２５は、指示物体が入力手段１１の入力面に接触するまでの移動時間が経過した直後に実行画面情報を受信できるように、操作予測情報を送信するタイミングを制御する機能を備える。クライアント端末１０において予測接触時刻に実行画面を表示するためには、操作予測情報送達時間、アプリケーション処理時間および伝達遅延などをパラメータとして含むデータ送受信時間に基づいて、操作予測情報送信時刻を算出すればよい。なお、本システムは、通信処理能力を考慮した上で、サーバ２０にて先行してアプリケーションを実行し、予測操作時刻の直後にクライアント端末１０で実行画面が表示されることに特徴を有するが、必要に応じて、その他の遅延要因を考慮してもよい。

＜表示手段＞
表示手段１３は、サーバ装置２０から取得した実行画面情報を管理するとともに、クライアント端末１０の入力面への指示物体の接触もしくは接触予測に応じて、実行画面情報に含まれる実行画面を表示する手段である。

図２のように、表示手段１３は、実行画面情報管理手段１３１と、出力手段１３３とを有する。

実行画面情報管理手段１３１は、サーバ装置２０から実行画面情報を受信し、受信した実行画面情報を出力手段１３３に送信する機能を備える。なお、実行画面情報管理手段１３１は、実行画面情報に含まれる実行画面に関する情報のみを出力手段１３３に送信してもよい。

出力手段１３３は、クライアント端末１０が備えるディスプレイやタッチパネルなどの表示装置に、サーバ装置２０が実行したアプリケーションの実行画面を表示する機能を備える。

＜通信手段＞
通信手段１４は、ネットワーク３０に接続されるインターフェースであり、操作予測情報送信手段１２５が送信した操作予測情報をサーバ装置２０に送信する機能や、サーバ装置２０から実行画面情報を受信する機能を備える。通信手段１４は、一般的なデータ通信装置によって実現される。

（サーバ装置）
次に、本実施形態に係るサーバ装置２０の機能構成について説明する。

図２のように、サーバ装置２０は、実行画面情報生成手段２１と、仮想環境２２と、通信手段２３とを備える。

実行画面情報生成手段２１は、所定の時間間隔で仮想環境２２の画面出力をキャプチャして、実行画面に関する情報（画面情報）と生成時刻とを含む実行画面情報を作成し、作成した実行画面情報を通信手段２３に送信する機能を備える。なお、前回に送信した実行画面情報との差分が画面の一部である場合は、差分のみを実行画面情報として送信してもよい。実行画面情報生成手段２１は、クライアント端末１０から受信した操作予測情報や実測情報に応じて、仮想環境２２上で対応するアプリケーションを実行する機能を備える。実行画面情報生成手段２１は、クライアント端末１０ごとに仮想環境２２を起動する。

仮想環境２２は、アプリケーションを実行するための仮想化された環境である。仮想環境２２は、クライアント端末１０ごとにサーバ装置２０内部に起動される。

通信手段２３は、ネットワーク３０に接続されるインターフェースであり、クライアント端末１０から操作予測情報や実測情報を受信する機能や、実行画面情報生成手段２１が生成した実行画面情報をクライアント端末１０に送信する機能を備える。通信手段２１は、一般的なデータ通信装置によって実現される。

以上が、第２の実施形態に係るシンクライアントシステム２の構成についての説明である。

（動作）
次に、本発明の第２の実施形態に係るシンクライアントシステム２の動作について説明する。

図３は、本発明の第２の実施形態に係るシンクライアントシステム２に関する動作の処理フローの概略を示す。図３の処理フローは、接続処理（ステップＳ１０）、実測処理（ステップＳ２０）、操作予測処理（ステップＳ３０）、実行画面情報生成処理（ステップＳ４０）、実行画面表示処理（ステップＳ５０）といった工程を含む。なお、図３に示す処理フローの各工程は便宜上分けたものであり、各工程に含まれる個別の処理は、別の工程に含まれてもかまわない。

接続処理（ステップＳ１０）は、クライアント端末１０とサーバ装置２０とを接続し、サーバ装置２０で実行されたアプリケーションの実行画面情報をクライアント端末１０に送信し、実行画面をクライアント端末１０に表示する処理である。

実測処理（ステップＳ２０）は、クライアント端末１０とサーバ装置２０との間の通信処理能力や、指示物体と入力面との距離を実際に測定する処理である。

操作予測処理（ステップＳ３０）は、クライアント端末１０に接近する指示物体の動きからユーザの操作を予測する処理である。操作予測処理においては、クライアント端末１０とサーバ装置２０との間のデータ授受に関する時間やアプリケーションの操作時間を予測し、予測された時刻に基づいた各データのやり取りを制御する処理も行う。

実行画面情報生成処理（ステップＳ４０）は、操作予測情報に基づいて、サーバ装置２０が仮想環境２２で先行してアプリケーションを実行し、実行画面情報を事前に生成する処理である。

実行画面表示処理（ステップＳ５０）は、入力手段１１への実際の指示物体の接触を検出した際に、適切な実行画面を出力手段１３３に表示させるための処理である。

以上が、本発明の第２の実施形態に係るシンクライアントシステム２の動作の処理フローの概略についての説明である。

続いて、図３に示す各処理工程の詳細について、図４、図５、図７〜図９を用いて説明する。

＜接続処理＞
まず、図４のシーケンス図を用いて、図３のステップＳ１０の接続処理について説明する。

図４において、まず、クライアント端末１０からサーバ装置２０に接続する（ステップＳ１１）。

サーバ装置２０は、それぞれのクライアント端末１０ごとに専用の仮想環境２２を起動しておく（ステップＳ１２）。仮想環境２２上には、各クライアント端末１０の仮想端末が起動され、起動された仮想端末においてアプリケーションが実行される。

サーバ装置２０の実行画面情報生成手段２１は、仮想環境２２上でアプリケーションを実行し、クライアント端末１０の識別子と、仮想端末の実行画面と、生成時刻とを含む実行画面情報を逐次生成する（ステップＳ１３）。

サーバ装置２０の通信手段２３は、生成された実行画面情報を、実行画面情報に含まれる識別子が付されたクライアント端末１０に送信する（ステップＳ１４）。

そして、クライアント端末１０の通信手段１４は、実行画面情報を受信すると、受信した実行画面情報を実行画面情報管理手段１３１に送信する。実行画面情報管理手段１３１は、実行画面を表示するタイミング（操作予測時刻の後）に合わせて、実行画面情報に含まれる実行画面を出力手段１３３に送信する。なお、実行画面を表示するタイミングは操作予測時刻の後であればよく、ユーザにとって違和感がないタイミングであることが好ましい。

出力手段１３３は、受信した実行画面を表示する（ステップＳ１５）。

以上が、接続処理に関する説明である。

＜実測処理＞
次に、図５のフローチャートを用いて、図３のステップＳ２０の実測処理について説明する。

図５において、まず、通信測定手段１２１は、クライアント端末１０とサーバ装置２０との間で送受信されるデータを観測し、クライアント端末１０とサーバ装置２０との間の往復遅延時間および通信スループットの測定を実行する（ステップＳ２１）。

ここで、入力手段１１は、入力面に対して指示物体が一定の距離まで近づくと、指示物体を検出し始めることになる（ステップＳ２２）。

入力手段１１が指示物体を検出した場合（ステップＳ２２でＹｅｓ）、入力手段１１は、指示物体の所在位置と検出時刻と検出状態とを含む実測情報を測定する（ステップＳ２３）。

一方、入力手段１１が指示物体を検出していない場合（ステップＳ２２でＮｏ）、ステップＳ２２に戻る。なお、入力手段１１が指示物体を検出していない場合（ステップＳ２２でＮｏ）、ステップＳ２１に戻ってもよい。

ここで、図６を参照しながら、指示物体の所在位置、検出時刻および検出状態について説明する。

まずは、入力面上において、互いに直交するＸ軸とＹ軸を含む面をＸＹ面と定義し、ＸＹ面に直交する軸をＺ軸と定義する。そして、当該ＸＹ面を基準にした三次元直交座標系のＸ座標とＹ座標とＺ座標とを利用して、指示物体の所在位置が特定される。なお、複数の検出点が検出された場合、入力面に対して最も近い検出点を指示物体の所在位置として特定すればよい。また、異なる指示物体を同時に検出するためには、指示物体ごとの電気的特性や磁気的特性、光学的特性などといった物理的特性、指示物体ごとの移動に関する傾向などを利用すればよい。

図６の例において、指示物体は、時刻Ｔ１に（Ｘ１、Ｙ１、Ｚ１）の所在位置にあり、時刻Ｔ２に（Ｘ２、Ｙ２、Ｚ２）の所在位置にあることを示す。時刻Ｔ１よりも時刻Ｔ２における指示物体と入力面との距離が近づいていれば、指示物体が入力面に接近していることが分かる。反対に、時刻Ｔ１よりも時刻Ｔ２における指示物体と入力面との距離が遠ざかっていれば、指示物体が入力面から離れていくことが分かる。また、時刻Ｔ１においては指示物体が検出されていたのに、時刻Ｔ２においては指示物体が検出されなくなった場合は、指示物体が検知範囲から離脱したものと判別される。

検出時刻は、指示物体が検出された時刻を示す。図６の例では、Ｔ１とＴ２とが検出時刻に相当する。なお、検出時刻は、実測情報を検出した時刻としてもよい。

検出状態は、「接近検知領域入り」、「接近検知領域内移動」、「接近検知領域離脱」、「接触中」の４種類があればよい。「接近検知領域入り」は、指示物体が入力手段１１の検知範囲内に入ってきたこと、すなわち、指示物体が接近してきたことを表す識別子である。「接近検知領域内移動」は、指示物体が入力手段１１に接近している状態を維持しながら移動していることを表す識別子である。「接近検知領域離脱」は、指示物体が入力手段１１の検知範囲から外れた、もしくは、指示物体が接触したことを表す識別子である。「接触中」は、指示物体が入力手段１１に接触していることを表す識別子である。検出状態は、指示物体の所在位置および検出時刻を基に算出される指示物体の移動速度、後述する入射面に対する進入角度などを基に判定することができる。

次に、図５ステップＳ２３において実測情報が取得されると、入力予測手段１２３は、操作予測情報に含まれる予測接触時刻が算出されているか否かを検証する（ステップＳ２４）。

予測接触時刻が算出されている場合（ステップＳ２４でＹｅｓ）、入力予測手段１２３は、直前に生成した予測接触時刻と、実測情報の検出時刻とを比較する（ステップＳ２５）。一方、予測接触時刻が算出されていない場合（ステップＳ２４でＮｏ）、図５のフローは終了とし、次の操作予測処理に移行する。

このとき、検出時刻が予測接触時刻以降ならば（ステップＳ２５でＹｅｓ）、サーバ装置２０に実測情報を送信する（ステップＳ２６）。そして、ステップＳ２６の後は、操作予測処理に移行する。一方、検出時刻が予測接触時刻よりも前ならば（ステップＳ２５でＮｏ）、図５のフローは終了とし、次の操作予測処理に移行する。

以上が、実測処理についての説明である。

＜操作予測処理＞
次に、図７のフローチャートを用いて、図３のステップＳ３０の操作予測処理について説明する。なお、操作予測処理は、実測処理を受けて開始される処理である。ここでは、実測処理と操作予測処理とを分けて説明しているが、実測処理と操作予測処理とを一工程として実行してもよい。

図７において、入力予測手段１２３は、実測処理の結果を受け、指示物体が入力手段１１に接触する位置（予測接触位置）、接触する時刻（予測接触時刻）、操作種別（予測操作種別）の予測の可否を判別する（ステップＳ３１）。なお、予測接触位置、予測接触時刻および予測操作種別をまとめて操作予測情報と呼ぶ。

操作予測情報が判別可能である場合（ステップＳ３１でＹｅｓ）、入力予測手段１２３は、複数の「接近検知領域内移動」を示す実測情報に含まれる所在位置の移動距離と検出時刻の差を基に、操作予測情報を計算する（ステップＳ３２）。そして、入力予測手段１２３は、算出した予測接触時刻、予測接触位置および予測操作種別を含む操作予測情報を、操作予測情報送信手段１２５に渡す。

一方、操作予測情報が判別可能ではない場合（ステップＳ３１でＮｏ）、図５のステップＳ２３に戻って実測情報の取得を繰り返す。

図６の例では、時刻Ｔ１および時刻Ｔ２における指示物体の位置座標の変化から、指示物体の移動速度・移動方向を求め、Ｚ軸方向の座標が０となる時刻Ｔｐにおける指示物体の座標を予測する。実際には、複数の所在位置を時系列順に結んだ際に描かれる軌跡の延長線がタッチパネルのＸＹ面との交点を算出し、交点の位置が予測操作位置と判断される。例えば、複数の所在位置を時系列順に結んだ際に描かれる軌跡は、放物線や双曲線、楕円、円、指数関数曲線、対数曲線などを表す式にフィッティングすればよい。なお、所在位置情報が三つ以上得られており、複数の所在位置情報間を結んだベクトルがＸＹ面となす角度が一定とはならない場合も想定される。その場合、複数の所在位置情報間でフィッティングされた曲線とＸＹ面との交点において、曲線の接線とＸＹ面とが成す角度を基に予測操作位置を判断すればよい。また、複数の所在位置情報がある場合、最新の２点を結ぶベクトルとＸＹ面との交点について予測接触位置を計算してもよい。

操作種別は、所在位置情報を結んだベクトルと入力面（ＸＹ面）とが成す角度を基に判別することができる。

図６において、時刻Ｔ１の所在位置から時刻Ｔ２の所在位置に向けて引いた半直線が、ＸＹ面となす角θを基に、タップ操作とフリック操作とを判別する例について説明する。フリック操作の場合は、ＸＹ面に対して水平方向に指示物体が移動するために角θが小さくなる。そのため、角θが小さくなる場合は、フリック操作と判断される。それに対し、タップ操作の場合は、ＸＹ面に向かう方向に指示物体が移動するために角θが大きくなる。そのため、角θが十分に大きい場合は、タップ操作と判断される。なお、タップ操作とフリック操作とを区別するための判断基準となる角は、事前に設定されていてもよいし、ユーザの操作履歴によって学習されたものであってもよい。

また、所在位置情報間の移動距離および移動時間を基に指示物体の移動速度を計測し、計測した移動速度を用いて操作種別を判断してもよい。例えば、指示物体の移動速度が速い場合は前述の角度による操作種別の判断を優先し、指示物体の移動速度が遅い場合はユーザがタップ位置を迷っていると判断してタップ操作と判断することができる。また、例えば、指示物体の移動速度が遅い場合は、所定の期間内における指示物体の検出位置を結ぶことで閉曲線もしくは曲面を計算し、計算された閉曲線もしくは曲面の直下の入力面上の領域がタップされると予測すればよい。ただし、指示物体の移動速度の大小の判断は任意に設定できるものとする。

なお、予測した操作種別が二種類以上ある場合は、ユーザの操作履歴や既知の予測方法などを用いて最も可能性が高い操作種別を選択すればよい。また、操作種別は、タップ操作およびフリック操作のみならず、ドラッグやスワイプ、ダブルタップ、ダブルスライド、ピンチイン、ピンチアウトなどを含んでいてもよい。

例えば、ダブルタップされうる位置がタップされた場合、ダブルタップされることを事前に予測することができる。このとき、タップが検知された後に、その接触位置と同じ操作内容となる予測接触位置が予測された場合、ダブルタップされる可能性が高いと判断できる。また、例えば、２つの異なる指示物体が検出された場合、ダブルスライドやピンチイン、ピンチアウトなどの操作が予測される。このとき、ピンチインとピンチアウトの区別は、２つの指示物体間の距離によって推定することができる。すなわち、指示物体間の距離が小さい場合はピンチアウト、指示物体間の距離が大きい場合はピンチインと判断できる。

また、操作種別は、操作段階で画面に表示されている実行画面によって予測することも可能となる。例えば、文字情報を入力する実行画面が表示されている場合は、タップ操作よりもフリック操作が行われる可能性が高いと判断できる。また、例えば、地図情報が表示されている場合は、ドラッグやピンチイン、ピンチアウトなどが行われる可能性が高いと判断できる。なお、これらの操作種別は一例であって、本発明の範囲をこれらの一例に限定するわけではない。

図７に戻ると、操作予測情報送信手段１２５は、データ送受信時間を算出する（ステップＳ３３）。
なお、データ送受信時間は、クライアント端末１０からサーバ装置２０に操作予測情報が送達し、サーバ装置２０からクライアント端末１０に実行画面情報が送達するのに要する時間である。例えば、データ送受信時間は、式５で求められる。
（データ送受信時間）＝（往復遅延時間）／２＋（伝達遅延）・・・（５）
式５において、クライアント端末１０からサーバ装置２０に操作予測情報が送達する時間は、「（往復遅延時間）／２」に反映されている。また、サーバ装置２０からクライアント端末１０に実行画面情報が送達する時間は伝達遅延に反映されている。ただし、式５には、サーバ装置２０におけるアプリケーション処理時間が含まれていないため、実際にはアプリケーションの処理時間を考慮した式６によってデータ送受信時間を算出することが好ましい。

また、データ送受信時間については、式６のように算出してもよい。
（データ送受信時間）＝（往復遅延時間）／２＋（アプリケーション処理時間）＋（伝達遅延）・・・（６）
なお、データ送受信時間は、式５および式６の計算方法に限らず、予測操作時刻直後にクライアント端末１０で実行画面を表示することが可能であれば、その他の遅延要因を加えたり、式５および式６中のパラメータを調整・削除したりしてもよい。

次に、操作予測情報送信手段１２５は、操作予測情報をサーバ装置２０に送信するタイミングとなる操作予測情報送信時刻を、式７を用いて算出する（ステップＳ３４）。なお、接触予測時刻は、指示物体の所在位置と、指示物体の移動速度・移動方向とを基に、Ｚ軸方向の座標が０となる時刻として算出される。
（操作予測情報送信時刻）＝（接触予測時刻）−（データ送受信時間）・・・（７）
そして、操作予測情報送信手段１２５は、接触予測時刻となった直後に実行画面をクライアント端末１０で表示できるように、操作予測情報をサーバ装置２０に送信するタイミングを制御する（ステップＳ３５）。すなわち、操作予測情報送信手段１２５は、接触予測時刻に操作予測情報をサーバ装置２０に送信するように制御する。

このように、操作予測情報および実行画面情報の送受信にかかる時間を算出することによって、操作予測情報を送信する時刻である操作予測情報送信時刻を決定することができる。なお、操作予測情報送信手段１２５は、操作予測情報の送信を待機している状態で別の操作予測情報を入力手段１１から受け取ると、以前の操作予測情報の送信をキャンセルし、新しい操作予測情報を操作予測情報送信時刻に送信する。

操作予測情報送信時刻になると、操作予測情報送信手段１２５は、クライアント端末１０の識別子、予測接触位置（Ｘ座標とＹ座標）、予測操作種別を含む一つ以上の操作予測情報を生成し、生成した操作予測情報をサーバ装置２０に送信する（ステップＳ３６）。なお、クライアント端末１０の識別子は、例えば、クライアント端末１０のＩＰアドレスなどで指定する（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）。操作予測情報は、操作予測情報送信時刻以前に生成させておいてもよい。

以上が、操作予測処理についての説明である。

＜実行画面情報生成処理＞
次に、図８のシーケンス図を用いて、図３のステップＳ４０の実行画面情報生成処理について説明する。

図８において、まず、クライアント端末１０からサーバ装置２０へ操作予測情報または実測情報を送信する（ステップＳ４１）。

サーバ装置２０が操作予測情報または実測情報を通信手段２３によって受信すると、実行画面情報生成手段２１は、受信した操作予測情報または実測情報を参照して仮想環境２２上で実行画面情報を再現し、対象アプリケーションを実行する（ステップＳ４２）。

そして、実行画面情報生成手段２１は、対象アプリケーションを実行した結果として得られる実行画面情報を生成する（ステップＳ４３）。

実行画面情報生成手段２１によって生成された実行画面情報は、通信手段２３によってクライアント端末１０に送信される（ステップＳ４４）。

クライアント端末１０の通信手段１４が実行画面情報を受信すると、通信手段１４は受信した実行画面情報を実行画面情報管理手段１３１に送信し、実行画面情報管理手段１３１は実行画面を出力手段１３３に出力する準備をする（ステップＳ４５）。

以上が、実行画面情報生成処理についての説明である。

＜実行画面表示処理＞
次に、図９のフローチャートを用いて、図３のステップＳ５０の実行画面表示処理について説明する。

図９において、まず、指示物体が操作パネルに接触したか否かを判定する（ステップＳ５１）。

指示物体が操作パネルに接触した場合（ステップＳ５１でＹｅｓ）、入力予測手段１２３は、指示物体の接触位置が予測接触位置と一致するか否かを検証する（ステップＳ５２）。一方、指示物体が操作パネルに接触していない場合は（ステップＳ５１でＹｅｓ）、ステップＳ５１を繰りかえす。

指示物体の接触位置が予測接触位置と一致する場合（ステップＳ５２でＹｅｓ）、操作予測手段１２は、実行画面情報管理手段１３１に対して、指示物体の接触位置が予測接触位置と一致することを通知する。実行画面情報管理手段１３１は準備していた画面情報を出力手段１３３に送信し、出力手段１３３は受信した画面情報に含まれる実行画面を表示する（ステップＳ５３）。

一方、指示物体の接触位置が予測接触位置と一致しない場合（ステップＳ５２でＮｏ）、クライアント端末１０は、実測した接触位置をサーバ装置２０に送信し、対応する実行画面情報を取得する（ステップＳ５４）。なお、図９では省略するが、ステップＳ５４の処理において、サーバ装置２０は、図８におけるステップＳ４２〜ステップＳ４４の処理を実行する。

そして、クライアント端末１０の出力手段１３３は、実行画面情報管理手段１３１から画面情報を取得し、実行画面を表示する（ステップＳ５５）。

以上が、実行画面表示処理についての説明である。

以上のように、本実施形態に係るシンクライアントシステムでは、クライアント端末の入力手段への操作内容を予測し、指示物体が入力手段に接触すると予測される時刻に合わせて操作予測情報を生成してサーバ装置に送信する。サーバ装置は、該当するアプリケーションを先回りして仮想環境で実行し、実行結果となる実行画面情報をクライアント端末に送信する。その結果、クライアント端末は、入力操作を行う指示物体が入力面に接触すると、すぐに実行画面を表示することができる。そのため、本実施形態に係るシンクライアントシステムによれば、画面表示の応答時間を短縮することができる。

本実施形態によれば、入力面に指示物体が接触する予測接触時刻と、クライアント端末−サーバ装置間の通信時間を基に、操作予測情報を送信するタイミングや、実行画面情報を生成するタイミング、実行画面情報を送信するタイミングを制御することができる。その結果、ユーザが入力操作する前に実行画面が更新されることを抑制し、操作に対する画面更新の違和感をなくすことができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係るシンクライアントシステム３について説明する。

（構成）
図１０は、第３の実施形態に係るクライアントシステム３の機能構成を示すブロック図である。第３の実施形態に係るシンクライアントシステム３は、第２の実施形態に係るシンクライアントシステム２とは異なり、サーバ装置２００側で実測処理および操作予測処理を行う。なお、図１０において、第２の実施形態に係るシンクライアントシステム２と同様の構成には、同じ符号を用いたものもある。

第３の実施形態に係るクライアントシステム３は、クライアント端末１００とサーバ装置２００とがネットワーク３００を介して接続された構成をもつ。

クライアント端末１００は、入力手段１１、操作予測手段１２、実行画面情報管理手段１３１および出力手段１３３を含む表示手段１３、通信手段１４を有する。第２の実施形態と異なる点は、操作予測手段１２が、実測処理および操作予測処理を行わない点である。操作予測手段１２は、入力手段１１に入力された操作情報を、必要に応じて入力信号に変換するなどし、通信手段１４に中継する。なお、操作予測手段１２は、第２の実施形態の操作予測手段１２と同様の実測処理機能および操作予測処理機能を有しながら、通常時は該機能を発揮しないように制御する構成としてもよい。

サーバ装置２００は、実行画面情報生成手段２１０、仮想環境２２、通信手段２３を有する。実行画面情報生成手段２１０は、通信測定手段２１１、操作予測情報測定手段２１３および実行画面情報処理手段２１５を有する。第２の実施形態に係るシンクライアントシステム２と異なる点は、実行画面情報生成手段２１０が、通信測定手段２１１および操作予測情報測定手段２１３を有する点である。実行画面情報処理手段２１５は、通信測定手段２１１および操作予測情報測定手段２１３の測定結果に基づいて実行画面情報を生成する。

（動作）
第３の実施形態に係るシンクライアントシステム３は、第２の実施形態と同様に、図３に沿って処理を行う。

まず、クライアント端末１００とサーバ装置２００との接続処理は、図４に示す第２の実施形態と同様に行う。

そして、第２の実施形態とは異なり、サーバ装置２００側で実測処理（図５）および操作予測処理（図７）を実行する。なお、図５および図７の処理とは、動作主体が異なる以外は同様の処理を実行することになるため、詳細な説明は省略する。

第３の実施形態において、クライアント端末１００の入力手段１１によって取得された指示物体に関する実測情報は、逐次サーバ装置２０に送信されるものとする。ただし、クライアント端末１００側で操作予測情報の算出まで行ってしまい、サーバ装置２００は、クライアント端末２００において算出された操作予測情報を用いるように構成してもよい。

続いて、図８に示すように、実行画面情報処理手段２１５は、操作予測情報に基づいて、仮想環境２２でアプリケーションを実行し、実行画面情報を生成する。第２の実施形態と異なる点は、操作予測情報をサーバ装置２００側で生成するために、図８のステップＳ４１が不要な点である。

さらに、指示物体が接触することをトリガーとする実行画面表示処理は、図９に示す第２の実施形態と同様である。なお、図８のステップＳ４３で生成した実行画面情報を、クライアント端末１００に送信せずに、サーバ装置２００側で保存しておいてもよい。その場合、図９のステップＳ５１およびステップＳ５２の動作主体をサーバ装置２００とし、指示物体と入力面との接触判定をサーバ装置２００側で行えばよい。このとき、図９のステップＳ５３に関しては、指示物体の接触位置に応じて、接触位置に対応する実行画面情報をサーバ装置２００からクライアント端末１００に送信するようにすればよい。すなわち、サーバ装置２００が、実行画面情報を生成するタイミングや、実行画面情報を送信するタイミングを調節すればよい。

以上が、第３の実施形態に係るシンクライアントシステム３の動作についての説明である。

なお、クライアント端末１００が、第２の実施形態に係るクライアントシステム２の構成を有し、サーバ装置２００と同様に、操作予測処理を実行できる構成としてもよい。その場合、通常時はサーバ装置２００側で操作予測処理を行い、通信遅延が生じる状況ではクライアント端末１００側で操作予測処理を行うなど、状況に応じて操作予測処理を実行する主体を変更することができるため、冗長性を向上することができる。

以上のように、第３の実施形態に係るシンクライアントシステムによれば、サーバ装置側で実測処理および操作予測処理を実行することができる。そのため、第２の実施形態と比較して、よりクライアント端末側での処理を軽減することが可能となる。また、クライアント端末とサーバ装置とで操作予測処理を実行できるように構成することによって、システムの冗長性を向上することができる。

（ハードウェア構成）
ここで、本発明の実施形態に係るシンクライアントシステムを実現するためのハードウェア構成について説明する。なお、以下のハードウェア構成は、本実施形態に係るシンクライアントシステムを実現するための一例であって、本発明の範囲を限定するものではない。

図１１は、クライアント端末のハードウェア構成の一例である。クライアント端末は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、バッファ１０４、補助記憶装置１０５、通信インターフェース１０６を備える（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）。さらに、クライアント端末は、入力部１１１、入力制御部１１２、表示部１１３、表示制御部１１４を有する入出力装置１１０を備える。各要素は、バス１０７を介して互いに接続される。

図１２は、サーバ装置のハードウェア構成の一例である。サーバ装置は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、バッファ２０４、補助記憶装置２０５、通信インターフェース２０６、バス２０７、入力部２１１、表示部２１２を備える。各要素は、バス２０７を介して互いに接続される。

以下に、各構成要素について簡単に説明する。なお、クライアント端末とサーバ装置に共通する機能を有するハードウェアについては、クライアント端末の符号の後ろに、サーバ装置の符号を括弧内に入れて表記する。

ＣＰＵ１０１（２０１）は、中央演算処理装置であり、演算処理・制御処理を実行するための装置である。ＣＰＵ１０１（２０１）は、ＲＯＭ１０２（２０２）に格納されている制御プログラムに従って、ＲＡＭ１０３（２０３）を作業用のメモリとし、各部の動作を制御する。また、クライアント端末のＣＰＵ１０１は、入力部１１１から入力され、入力制御部１１２によって発生した入力信号や、通信インターフェース１０６によって受信されるサーバからの応答信号や実行画面情報に関する信号の制御処理を実行する。ＲＯＭ１０２（２０２）は、システムを制御するプログラムなどを記憶する不揮発性メモリである。ＲＡＭ１０３（２０３）は、アプリケーションプログラムを展開するなど、作業用のメモリとなる揮発性メモリである。バッファ１０４（２０４）は、実行画面情報を保存するフレームバッファとして機能する揮発性メモリによって実現できる。なお、ＲＡＭ１０３（２０３）がバッファ１０４（２０４）の機能を兼ねる場合、バッファ１０４（２０４）を省略してもよい。補助記憶装置１０５（２０５）は、サーバ装置でプログラムを実行させた結果として生成されたデータを格納するための装置である。通信インターフェース１０６（２０６）は、クライアント端末−サーバ装置間のネットワーク接続を確立するための装置であり、接続手順などが定められた規格や仕様を有する。

クライアント端末の入力部１１１は、クライアント端末１０に操作情報を入力するための装置である。入力部１１１は、タッチパネル機能を有し、近接・接触する指示物体を検出する機能を備える。入力部１１１は、近接・接触された指示物体の位置に応じて、電流値などの物理量の変化を検出する。例えば、入力部１１１は、静電容量方式や電磁誘導方式などの方式によって近接・接触する指示物体を検出する。また、入力部１１１は、超音波方式や電磁波方式、赤外線方式などの方式によって近接・接触する指示物体を検出するように構成してもよい。また、入力部１１１は、操作情報を入力するための装置ともなる。

入力制御部１１２は、入力部１１１に検出された信号を、位置情報などの入力信号に変換制御する装置である。

例えば、電磁誘導方式のタッチパネルにおいては、タッチパネルの入力面に対して垂直に交差されたセンサコイル群を内部に設け、センサコイルに交流電流をパルス状に印可することによって磁界を発生させる。タッチパネルの操作面に、内部にコイルを有する電磁誘導ペンなどの指示物体が接近すると、指示物体内部のコイルに誘導電流が流れ、指示物体内部のコンデンサに電荷が蓄えられる。ここで、センサコイルへの電流印可をやめると、指示物体のコンデンサに蓄えられた電荷が放出され、指示物体側のコイルに電流が流れることによって磁界が発生する。その結果、タッチパネル内部のセンサコイルには、指示物体との位置関係に応じた静電電流が流れ、指示物体の位置を示す信号が入力部１１１に検出される。そして、入力制御部１１２は、指示物体の位置を示す信号を、位置情報を示す入力信号に変換する。

クライアント端末の表示部１１３は、サーバ装置からクライアント端末に送信された実行画面情報に含まれる実行画面を表示するための装置である。クライアント端末がタッチパネルを有する場合、表示部１１３は、外観上は入力部１１１と同じ部位にあってもよい。また、表示部１１３は、入力機能を有するタッチパネルとは別に、実行画面を表示するディスプレイとしてもよい。

表示制御部１１４は、サーバ装置から取得した実行画面を表示制御する装置である。クライアント端末のバッファ１０４には、サーバ装置から取得した実行画面情報が一時的に保存される。表示制御部１１４は、バッファ１０４に保存された実行画面情報に含まれる実行画面を、指示物体の入力部１１１への接触状況に応じて、実行画面情報を生成するタイミングで表示するように制御する。

サーバ装置の入力部２１１は、サーバ装置への操作情報を入力するための装置である。例えば、入力部２１１は、キーボードやマウスなどの入力機器によって入力された操作情報をサーバ装置に入力するための装置となる。サーバ装置の表示部２１３は、サーバ装置への操作情報などを表示するための装置である。

以上が、本発明の実施形態に係るシンクライアントシステムを実現するためのハードウェア構成についての説明である。

本発明の実施形態に係るクライアントサーバシステムにおける各処理は、上述の処理を実行する制御プログラムを含むソフトウェアによって実現することも可能である。また、本発明の実施形態に係る制御プログラムを格納したプログラム記録媒体も本発明の範囲に含まれる。プログラム記録媒体としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスクなどを挙げることができる。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、画面転送方式などのシンクライアントシステムに適用される。また、他の活用例として、Ｗｅｂアプリケーションへの適用がある。クラウド型の通信サービスのインターフェースは、Ｗｅｂアプリケーションで構築されているものが多い。本発明をＷｅｂアプリケーションに適用すれば、ユーザが情報端末を操作してからＷｅｂサーバのコンテンツを表示するまでの応答時間を短縮することによって、ユーザが快適に通信サービスを利用することが可能となる。

１ クライアントサーバシステム
２、３ シンクライアントシステム
１０、１００ クライアント端末
１１ 入力手段
１２ 操作予測手段
１３ 表示手段
１４ 通信手段
２０、２００ サーバ装置
２１ 実行画面情報生成手段
２２ 仮想環境
２３ 通信手段
３０、３００ ネットワーク
１０１、２０１ ＣＰＵ
１０２、２０２ ＲＯＭ
１０３、２０３ ＲＡＭ
１０４、２０４ バッファ
１０５、２０５ 補助記憶装置
１０６、２０６ 通信インターフェース
１０７、２０７ バス
１１０ 入出力装置
１１１、２１１ 入力部
１１２ 入力制御部
１１３、２１３ 表示部
１１４ 表示制御部
１２１ 通信測定手段
１２３ 入力予測手段
１２５ 操作予測情報送信手段
１３１ 実行画面情報管理手段
１３３ 出力手段
２１１ 通信測定手段
２１３ 操作予測情報測定手段
２１５ 実行画面情報処理手段

Claims (10)

1. クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、
   前記クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、前記入力面に対する前記指示物体の位置情報を検出時間に関連付けて取得する入力手段と、
   前記クライアント端末と前記サーバ装置との間の通信処理能力を測定するとともに、前記入力手段によって取得された前記指示物体の位置情報の変化に基づいて、前記指示物体が前記入力面に接触すると予測される位置である予測接触位置と、前記指示物体が前記入力面に接触すると予測される時刻である予測接触時刻とを計算し、前記クライアント端末の識別子と、前記予測接触位置および前記予測接触時間とを含む操作予測情報を前記通信処理能力に基づいて送信する操作予測手段と、
   前記操作予測情報を受信し、前記識別子が付された前記クライアント端末の前記入力面における前記予測接触位置に対応して実行される処理を前記サーバ装置上の仮想環境において実行することによって、前記予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成する実行画面情報生成手段と、
   前記実行画面情報生成手段によって生成された前記実行画面情報を受信し、受信した前記実行画面情報に含まれる前記画面情報に対応する実行画面が前記クライアント端末に設けられたディスプレイに前記予測接触時刻後に表示されるように制御する表示手段とを備えるクライアントサーバシステム。
2. 前記操作予測手段は、
   前記クライアント端末と前記サーバ装置との間の前記通信処理能力を測定する通信測定手段と、
   前記予測接触位置および前記予測接触時間を含む前記操作予測情報を算出する入力予測手段と、
   前記クライアント端末から前記サーバ装置に前記操作予測情報を送信し、前記サーバ装置から前記クライアント端末に前記実行画面情報を送信するのに要するデータ送受信時間と、前記クライアント装置から前記サーバ装置に前記操作予測情報を送信する時刻である操作予測情報送信時刻とを算出し、前記予測接触時刻になるまでに前記実行画面情報が前記クライアント端末に受信されるように、前記クライアント端末から前記サーバ装置に前記操作予測情報を送信するタイミングを制御する操作予測情報送信手段とを有する請求項１に記載のクライアントサーバシステム。
3. 前記操作予測手段は、
   前記指示物体の所在位置の変化から予測される操作種別である予測操作種別を前記操作予測情報に含めて予測する請求項１または２に記載のクライアントサーバシステム。
4. 前記操作予測手段は、
   前記入力手段によって取得された異なる時刻における前記指示物体の所在位置を結ぶベクトルと前記入力面とがなす角度と、前記指示物体の移動速度とを用いて前記操作種別を判別する請求項３に記載のクライアントサーバシステム。
5. 前記通信測定手段は、
   前記クライアント端末と前記サーバ装置との間で送受信されたデータを基に、前記クライアント端末と前記サーバ装置との間でデータを送受信する際のスループットと、前記クライアント端末と前記サーバ装置との間で送受信する前記実行画面情報の平均サイズ、前記クライアント端末から前記サーバ装置にデータを送信した際の往復遅延時間とを前記通信処理能力として測定する請求項２乃至４のいずれか一項に記載のクライアントサーバシステム。
6. 前記操作予測情報送信手段は、
   前記予測接触時刻が経過した後に前記実行画面が前記ディスプレイに表示されるように、前記クライアント端末から前記サーバ装置に前記操作予測情報を送信するタイミングを制御する請求項２乃至５のいずれか一項に記載のクライアントサーバシステム。
7. 前記指示物体の前記入力面に対する接触位置が前記予測接触位置と異なった場合、
   前記クライアント端末は、
   前記サーバ装置に対して前記接触位置に応じた処理の実行を要求し、
   前記サーバ装置は、
   前記クライアント端末からの要求に応じて、前記実際の接触処理に応じた処理を前記仮想領域で実行して前記実行画面情報を生成し、生成した前記実行画面情報を前記クライアント端末に送信する請求項１乃至６のいずれか一項に記載のクライアントサーバシステム。
8. 前記サーバ装置は、
   前記操作予測手段を含むことによって、前記通信処理能力を測定するとともに、前記操作予測情報および前記予測操作時刻を予測し、前記データ送受信時間および前記操作情報送信時刻を算出するとともに、前記予測接触位置に対応する処理を実行して前記実行画面情報を生成し、前記予測接触時刻が経過する前に前記実行画面情報が前記クライアント端末に受信されるように、前記実行画面情報を前記クライアント端末に対して送信するタイミングを制御する請求項１乃至７のいずれか一項に記載のクライアントサーバシステム。
9. クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、
   前記クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、前記入力面に対する前記指示物体の位置情報を検出時間に関連付けて取得し、
   前記クライアント端末と前記サーバ装置との間の通信処理能力を測定するとともに、取得された前記指示物体の位置情報の変化に基づいて、前記指示物体が前記入力面に接触すると予測される位置である予測接触位置と、前記指示物体が前記入力面に接触すると予測される時刻である予測接触時刻とを計算し、前記クライアント端末の識別子と、前記予測接触位置および前記予測接触時間とを含む操作予測情報を前記通信処理能力に基づいて送信し、
   前記操作予測情報を受信し、前記識別子が付された前記クライアント端末の前記入力面における前記予測接触位置に対応して実行される処理を前記サーバ装置上の仮想環境において実行することによって、前記予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成し、
   生成された前記実行画面情報に含まれる前記画面情報に対応する実行画面が前記クライアント端末に設けられたディスプレイに前記予測接触時刻後に表示されるように制御する制御方法。
10. クライアント端末上の操作に対応する処理をサーバ装置で実行するシンクライアントシステムにおいて、
    前記クライアント端末に設けられた入力面に対する指示物体の接近および接触を検出することによって、前記入力面に対する前記指示物体の位置情報を検出時間に関連付けて取得する処理と、
    前記クライアント端末と前記サーバ装置との間の通信処理能力を測定するとともに、取得された前記指示物体の位置情報の変化に基づいて、前記指示物体が前記入力面に接触すると予測される位置である予測接触位置と、前記指示物体が前記入力面に接触すると予測される時刻である予測接触時刻とを計算し、前記クライアント端末の識別子と、前記予測接触位置および前記予測接触時間とを含む操作予測情報を前記通信処理能力に基づいて送信する処理と、
    前記操作予測情報を受信し、前記識別子が付された前記クライアント端末の前記入力面における前記予測接触位置に対応して実行される処理を前記サーバ装置上の仮想環境において実行することによって、前記予測接触位置に対応する処理の実行結果となる画面情報を含む実行画面情報を生成する処理と、
    生成された前記実行画面情報に含まれる前記画面情報に対応する実行画面が前記クライアント端末に設けられたディスプレイに前記予測接触時刻後に表示されるように制御する処理とをコンピュータに実行させる制御プログラム。

Images