[go: up one dir, main page]

JP2017090950A - 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム - Google Patents

仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム Download PDF

Info

Publication number
JP2017090950A
JP2017090950A JP2015215445A JP2015215445A JP2017090950A JP 2017090950 A JP2017090950 A JP 2017090950A JP 2015215445 A JP2015215445 A JP 2015215445A JP 2015215445 A JP2015215445 A JP 2015215445A JP 2017090950 A JP2017090950 A JP 2017090950A
Authority
JP
Japan
Prior art keywords
time
position information
client terminal
server
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015215445A
Other languages
English (en)
Other versions
JP6515787B2 (ja
Inventor
章 勝又
Akira Katsumata
章 勝又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015215445A priority Critical patent/JP6515787B2/ja
Priority to US15/285,048 priority patent/US10078383B2/en
Publication of JP2017090950A publication Critical patent/JP2017090950A/ja
Application granted granted Critical
Publication of JP6515787B2 publication Critical patent/JP6515787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】ネットワーク遅延を気にせずに、利用者の操作感の向上を図ること。【解決手段】クライアント端末装置１０２は、入力装置に対する操作によって得られる、画面上の操作の対象を表す図形の位置情報を時系列に記憶部１１２に記憶させる。クライアント端末装置１０２は、特定の時刻から現在の時刻までの間に操作によって図形を画面上で同一の方向に閾値を超える速度で移動させたと判定した場合、現在の時刻から通信時間を含む第１時間経過した後の時刻における図形の位置情報を算出する。クライアント端末装置１０２は、算出した位置情報を含む操作情報１２１をサーバ１０１へ送信し、送信した操作情報１２１に基づくアプリケーションプログラムの実行に応じた画面の画像を含む画像情報１２２をサーバ１０１から受信する。クライアント端末装置１０２は、受信した画像情報１２２に含まれる画像を表示する。【選択図】図１

Description

本発明は、仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステムに関する。
従来、デスクトップ仮想化と呼ばれる技術がある。デスクトップ仮想化と呼ばれる技術では、例えば、サーバがプログラムやデータを実行および保管し、クライアント端末装置は、リモートデスクトップとしてサーバから転送された画面の画像を表示する。例えば、サーバが、資料作成、メール、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）、動画などのアプリケーションを実行し、クライアント端末装置がサーバによるアプリケーションの処理結果を表示する。
また、先行技術として、従来、カーソルの表示位置の履歴を履歴記憶手段に記録しておき、当該表示位置履歴に基づいて算出したカーソルの予測移動方向にカーソルを指向して表示する技術がある（例えば、以下特許文献１参照。）。
また、従来、ポインタデバイスでなる通常行われるポインタ移動の処理に加えて、ポインタデバイスの短時間内の利用者の操作の特徴を検出し、それに基づいて目的位置にポインタを瞬時に移動させる技術がある（例えば、以下特許文献２参照。）。
また、従来、移動局の位置を管理する基地局が、移動局から受信した位置座標から進行方位へ進行速度で移動しているものとして、移動局の位置をマーカ表示する時刻における位置座標の移動を予測して表示する技術がある（例えば、以下特許文献３参照。）。
また、従来、表示装置の表示画面に表示される現在のマウスカーソルの位置と過去のマウスカーソルの位置とにより次ステップのマウスカーソルの位置を予測し、現在のマウスカーソルの位置と次ステップのマウスカーソルの位置を表示する技術がある（例えば、以下特許文献４参照。）。
また、従来、各移動実績のなかでカーソルの現在位置に関連する移動実績に基づいて、該現在位置からのカーソルの移動先を決定し、決定した移動先へカーソルを移動する技術がある（例えば、以下特許文献５参照。）。
特開２００４−０１３５４５号公報 特開２００８−１１６９９５号公報 特開平０５−２６８１３４号公報 特開平０４−０５４５２０号公報 特開２０１５−００５２２８号公報
しかしながら、デスクトップ仮想化において、サーバとクライアント端末装置との間のネットワークの遅延により、クライアント端末装置における入力装置への操作に対する画面変化が遅くなり、利用者の操作感が低下するという問題点がある。
１つの側面では、本発明は、ネットワーク遅延を気にせずに、利用者の操作感の向上を図ることができる仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステムを提供することを目的とする。
本発明の一側面によれば、サーバにアプリケーションプログラムを実行させるクライアント端末装置に、前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、算出した前記位置情報を含む操作情報を、前記サーバへ送信し、送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、受信した前記画像情報に含まれる画像を表示する仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステムが提案される。
本発明の一態様によれば、ネットワーク遅延を気にせずに、利用者の操作感の向上を図ることができる。
図１は、仮想デスクトップシステムの一動作例を示す説明図である。 図２は、仮想デスクトップシステムへの適用例を示す説明図である。 図３は、ＶＤＩ操作における処理および応答が遅れる例を示す説明図である。 図４は、現在の位置情報を送信した場合のマウス操作の応答性例を示す説明図である。 図５は、予測の位置情報を送信した場合のマウス操作の応答性例を示す説明図である。 図６は、クライアント端末装置のハードウェア構成例を示す説明図である。 図７は、サーバのハードウェア構成例を示す説明図である。 図８は、仮想デスクトップシステムの機能的構成例を示すブロック図である。 図９は、位置情報の記憶例を示す説明図である。 図１０は、クライアント端末装置の画面上でのマウス操作例１を示す説明図である。 図１１は、クライアント端末装置の画面上でのマウス操作例２を示す説明図である。 図１２は、人間の視野例を示す説明図である。 図１３は、ディスプレイ上の視野例を示す説明図である。 図１４は、視角度と視野幅例を示す説明図である。 図１５は、各種定数定義表例を示す説明図である。 図１６は、ディスプレイ上の各長さの定義例を示す説明図である。 図１７は、ディスプレイ距離簡易算出表例を示す説明図である。 図１８は、視野範囲例を示す説明図である。 図１９は、補正例１を示す説明図である。 図２０は、補正例２を示す説明図である。 図２１は、クライアント端末装置による操作情報の送信処理手順例を示すフローチャートである。 図２２は、図２１に示す算出処理手順例を示すフローチャートである。 図２３は、クライアント端末装置による表示処理手順例を示すフローチャートである。 図２４は、サーバによるパケット受信処理手順例を示すフローチャートである。 図２５は、サーバによる送信処理手順例を示すフローチャートである。
以下に添付図面を参照して、本発明にかかる仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステムの実施の形態を詳細に説明する。
図１は、仮想デスクトップシステムの一動作例を示す説明図である。仮想デスクトップシステム１００は、クライアント端末装置１０２と、サーバ１０１と、を有する。クライアント端末装置１０２は、デスクトップ仮想化において、サーバ１０１にプログラムを実行させるコンピュータである。サーバ１０１は、クライアント端末装置１０２からの指示に応じてプログラムを実行するコンピュータである。ここでのプログラムは、例えば、アプリケーションプログラムである。
従来技術では、デスクトップ仮想化において、サーバ１０１は、プログラムやデータを実行および保管する。そして、デスクトップ仮想化において、クライアント端末装置１０２は、リモートデスクトップとしてサーバ１０１から転送された画面の画像を表示する。
従来技術では、デスクトップ仮想化において、サーバ１０１とクライアント端末装置１０２との間のネットワークの遅延により、クライアント端末装置１０２における入力装置への操作に対する画面変化が遅くなる。
例えば、利用者のマウス操作によって画面上のオブジェクトを移動させる場合、現在の時刻においてマウス操作によりオブジェクトが移動した画面がクライアント端末装置１０２において表示されるのは、現在の時刻から、少なくとも通信時間を含む経過後の時刻となる。通信時間とは、クライアント端末装置１０２からサーバ１０１へ位置情報の送信に要する時間と、サーバ１０１からクライアント端末装置１０２へ画面の画像を含む画像情報の送信に要する時間と、を少なくとも含む時間である。このため、利用者の操作感が低下するという問題点がある。画面変化が遅くなる例は、図３と図４を用いて詳細に説明する。
本実施の形態では、クライアント端末装置１０２は、画面上でポインタの移動が同一方向に閾値を超える速度である場合、通信後のポインタの位置を予測してサーバ１０１へ送信する。これにより、通信時間分の遅延を利用者に意識させることなく実際のポインタの位置に応じた画面の画像を表示できる。したがって、利用者の操作感の向上を図ることができる。
具体的に、クライアント端末装置１０２は、クライアント端末装置１０２が有する入力装置に対する操作によって得られる、画面上の操作の対象を表す図形の位置情報を時系列に記憶部１１２に記憶させる。ここで、画面は、サーバ１０１とクライアント端末装置１０２との間で共有される。記憶部１１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やディスクなどの記憶装置である。
また、ここでの入力装置は、例えば、ポインティングデバイスである。ポインティングデバイスは、クライアント端末装置１０２が有する表示装置によって映し出される画面上に表示されるポインタやアイコンを操作するために用いる。表示装置は、例えば、ディスプレイである。具体的に、入力装置は、例えば、マウス１１１、トラックボール、タッチパネルなどが挙げられる。本実施の形態では、入力装置としてマウス１１１を例に挙げて説明する。ここでのマウス操作としては、例えば、マウス移動を対象とし、クリックポイントやホイールを対象外とする。
画面上の操作の対象を表す図形とは、例えば、画面上の操作対象の場所を示すマークである。該図形は、例えば、マウスポインタである。ここで、図形の位置情報は、例えば、マウス位置情報やマウスポインタの位置情報、単に位置情報などとも称する。ここでの位置情報は、例えば、画面をｘ軸とｙ軸によって定義した場合の画面上の座標値である。
ここで、記憶部１１２に時系列に位置情報を記憶させるとは、マウス操作が発生している際に、所定時間ごとに位置情報を取得して順に記憶させたり、任意のタイミングで位置情報を取得して取得した時刻と位置情報とを関連付けて記憶させてもよい。図１の例では、所定時間ごとに記憶部１１２に記憶させる例を説明する。所定時間は、例えば、Δｔと表す。
図１の例では、クライアント端末装置１０２は、マウス操作によりマウスポインタを位置ｐ１に移動させ、位置ｐ１を表す位置情報（ｘ１，ｙ１）を記憶部１１２に記憶させる。つぎに、所定時間経過後に、クライアント端末装置１０２は、マウス操作によりマウスポインタを位置ｐ２に移動させ、位置ｐ２を表す位置情報（ｘ２，ｙ２）を記憶部１１２に記憶させる。
さらに、所定時間経過後に、クライアント端末装置１０２は、マウス操作によりマウスポインタを位置ｐ３に移動させ、位置ｐ３を表す位置情報（ｘ３，ｙ３）を記憶部１１２に記憶させる。
クライアント端末装置１０２は、記憶部１１２に時系列に記憶された位置情報に基づいて、位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、操作によって図形を画面上で同一の方向に閾値を超える速度で移動させたか否かを判定する。閾値は、例えば、利用者やシステムの開発者によって設定可能である。
クライアント端末装置１０２は、図形を画面上で同一方向に閾値を超える速度で移動させたと判定された場合、現在の時刻から通信時間以上の時間経過した後の時刻における図形の位置情報を算出する。通信時間とは、例えば、クライアント端末装置１０２とサーバ１０１との間の通信に要する時間である。具体的には、クライアント端末装置１０２は、記憶部１１２に時系列に記憶された位置情報に基づいて、現在の時刻から通信時間以上の時間経過した後の時刻における図形の位置情報を算出する。図１の例では、クライアント端末装置１０２は、位置ｐｔを表す位置情報（ｘｔ，ｙｔ）を算出する。
クライアント端末装置１０２は、算出した位置情報を含む操作情報１２１を、サーバ１０１へ送信する。クライアント端末装置１０２は、送信した操作情報１２１に基づくプログラムの実行に応じた画面の画像を含む画像情報１２２をサーバ１０１から受信する。
クライアント端末装置１０２は、受信した画像情報１２２に含まれる画像を表示する。クライアント端末装置１０２は、例えば、受信した画像情報１２２に含まれる画像を表示装置に出力する。表示装置は、例えば、ディスプレイなどが挙げられる。
これにより、予測を簡単に行うことができるマウス移動において、未来のマウス位置に応じた画面の画像が作成できる。画像情報１２２を受信する時には、現在のマウス位置に対応する画面の画像を表示することができる。したがって、ネットワーク遅延を気にせずに、利用者の操作感の向上を図ることができる。操作感とは、利用者の操作に対するレスポンスのよさなどである。また、同一方向に移動しない場合や移動速度が遅い場合を位置予測の対象外とすることにより、予測がはずれる可能性が高いマウス移動を対象外とできる。
図２は、仮想デスクトップシステムへの適用例を示す説明図である。仮想デスクトップシステム１００は、例えば、サーバ１０１と、複数のクライアント端末装置１０２と、を有する。サーバ１０１と、複数のクライアント端末装置１０２とは、ネットワークを介して接続される。ネットワークには、有線または無線を問わず、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの任意の種類の通信網を採用可能である。クライアント端末装置１０２は、サーバ１０１によってプログラムを実行する。クライアント端末装置１０２の一例としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの固定端末装置の他、携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ Ｐｈｏｎｅ）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの移動体端末装置などが挙げられる。また、プログラムとしては、ＯＳやアプリケーションなどである。
また、例えば、サーバ１０１の設置場所とクライアント端末装置１０２の利用場所とが国内であれば、ネットワークの遅延時間が５０［ｍｓ］程度である。例えば、サーバ１０１は日本に設置されているが、クライアント端末装置１０２は日本以外の国で利用されるなど、クライアント端末装置１０２が、ネットワーク通信においてサーバ１０１と遠い場所で利用する場合がある。このような場合、ネットワークの遅延時間が１００［ｍｓ］程度となる。
図３は、ＶＤＩ操作における処理および応答が遅れる例を示す説明図である。クライアント端末装置１０２は、利用者によるマウス操作を受け付ける（ステップＳ３０１）。そして、クライアント端末装置１０２は、クライアントＶＤＩシステム処理を行う（ステップＳ３０２）。ここでは、クライアント端末装置１０２は、サーバ１０１側へマウス位置情報を送信する。
マウス位置情報を含むパケットがネットワークを介してサーバ１０１へ送信中に、ネットワーク遅延が発生する（ステップＳ３０３）。つぎに、サーバ１０１は、サーバ１０１側ＶＤＩシステム処理を行う（ステップＳ３０４）。ここでは、サーバ１０１は、マウス位置情報を含むパケットを受信すると、ＯＳへマウス１１１座標値を渡す。
サーバ１０１は、サーバ１０１側ＯＳによる処理を行う（ステップＳ３０５）。ここでは、サーバ１０１は、サーバ１０１側ＯＳによってマウス位置情報を認識する。ここで、例えば、クライアント端末装置１０２においてマウス操作が開始されてから、サーバ１０１がＯＳによる処理を開始するまでの間の時間をｔ１とする。
そして、サーバ１０１は、アプリケーションによる処理を行う（ステップＳ３０６）。ここでは、サーバ１０１は、アプリケーションによりマウス位置に応じた描画を行う。サーバ１０１は、サーバ１０１側ＶＤＩシステム処理を行う（ステップＳ３０７）。ここで、サーバ１０１は、画面キャプチャを行い、キャプチャされた画面を描画するため、クライアント端末装置１０２用の描画データを生成する。描画データを含むパケットがネットワークを介してクライアント端末装置１０２へ送信中に、ネットワーク遅延が発生する（ステップＳ３０８）。
つぎに、クライアント端末装置１０２は、クライアントＶＤＩシステム処理を行う（ステップＳ３０９）。ここで、クライアント端末装置１０２は、描画データをデコードして画面を表示する。表示された画面がクライアント作業者の目に映る（ステップＳ３１０）。ここで、例えば、サーバ１０１がＯＳによる処理が開始されてからクライアント作業者の目に映るまでの時間をｔ２とする。時間ｔ１と時間ｔ２との合計がＴである。
図４は、現在の位置情報を送信した場合のマウス操作の応答性例を示す説明図である。ここでは、顔のマークを、マウス操作により移動させる例を説明する。利用者によるマウス操作の開始前に、各画面においてマウスポインタと顔のマークとは位置ｐ０にある。ここで、各時刻におけるサーバ１０１によって生成される画面はサーバ画面と称し、各時刻においてクライアント端末装置１０２によって生成される画面はクライアント画面と称する。
クライアント端末装置１０２は、利用者のマウス操作が開始されると、利用者のマウス操作によるマウスポインタの位置情報をサーバ１０１へ送信する。この際、クライアント画面やサーバ画面はまだ変化しない。ここで、マウスポインタの位置情報は、省略してマウス位置情報とも称する。操作開始直後の時刻に、クライアント画面では、クライアント操作によりマウスポインタは位置ｐ１にあり、顔のマークは位置ｐ０にある。操作開始直後の時刻に、サーバ画面では、マウスポインタと顔のマークは位置ｐ０にある。
つぎに、マウス操作開始直後の時刻から時間ｔ１経過後の時刻に、クライアント端末装置１０２は、利用者のマウス操作によりマウスポインタを位置ｐ２に移動させる。このため、クライアント端末装置１０２に表示される画面では、マウスポインタは位置ｐ２にあるが、顔のマークは位置ｐ０にある。サーバ１０１は、操作開始直後の時刻から時間ｔ１経過後の時刻に、操作開始のマウス位置情報を含む操作情報を受信する。このため、サーバ画面では、マウスポインタは位置ｐ１にあり、顔のマークは位置ｐ１にある。
つぎに、操作開始直後の時刻から時間（ｔ１＋ｔ２）経過後の時刻に、クライアント端末装置１０２は、例えば、クライアントのマウス操作によってマウスポインタを位置ｐ３に移動させる。サーバ１０１は、時間ｔ１経過後の時刻のマウス位置情報を含む操作情報をクライアント端末装置１０２から受信し、操作情報に応じたプログラムの実行によって画面の画像を含む画像情報を生成する。このため、操作開始直後の時刻から時間（ｔ１＋ｔ２）経過後の時刻に、サーバ画面では、マウスポインタと顔のマークとが、時間ｔ１経過後の時刻のクライアント操作による位置ｐ２にある。そして、サーバ１０１は、操作開始から時間（ｔ１＋ｔ２）経過後の時刻に、画像情報をクライアント端末装置１０２へ送信する。
また、時間（ｔ１＋ｔ２）経過後の時刻に、クライアント端末装置１０２は、時間ｔ１経過後の時刻にサーバ１０１から送信された画像情報を受信して画像情報に含まれる画像を表示する。このため、クライアント画面では、マウスポインタは位置ｐ３にあるが、顔のマークは位置ｐ１にある。
つぎに、操作開始直後の時刻から時間（ｔ１＋ｔ２＋ｔ１）経過後の時刻に、クライアント端末装置１０２は、例えば、マウス操作によってマウスポインタを位置ｐ４に移動させる。サーバ１０１は、時間（ｔ１＋ｔ２）経過後の時刻のマウス位置情報を含む操作情報をクライアント端末装置１０２から受信し、操作情報に応じたプログラムの実行によって画面の画像を含む画像情報を生成する。このため、サーバ画面では、マウスポインタと顔のマークとが、時間（ｔ１＋ｔ２）経過後の時刻のクライアント操作による位置ｐ３にある。そして、サーバ１０１は、画像情報をクライアント端末装置１０２へ送信する。
また、操作開始直後の時刻から時間（ｔ１＋ｔ２＋ｔ１）経過後の時刻に、クライアント端末装置１０２は、操作開始直後の時刻から時間（ｔ１＋ｔ２）経過後の時刻にサーバ１０１から送信された画像情報を受信する。このため、操作開始直後の時刻から時間（ｔ１＋ｔ２＋ｔ１）経過後の時刻に、クライアント画面では、マウスポインタは位置ｐ４にあるが、顔のマークは位置ｐ２にある。サーバ１０１とクライアント端末装置１０２との間の通信に要する時間によって、クライアント画面においてマウス操作の操作結果が反映されるのに時間がかかる。
図５は、予測の位置情報を送信した場合のマウス操作の応答性例を示す説明図である。上述したように、本実施の形態では、クライアント端末装置１０２は、画面上でマウス移動が同一方向に閾値を超える速度である場合、通信遅延後のマウス位置を予測してサーバへ送信する。これにより、通信時間経過後の時刻に、予測したマウス位置に応じた画面の画像を表示できる。これにより、通信遅延を気にせず、利用者の操作感の向上を図ることができる。
まず、操作開始前には、マウスポインタと顔のマークとが同じ位置ｐ０にある。操作開始直後の時刻に、クライアント端末装置１０２は、マウス操作によりマウスポインタをマウス位置ｐ１に移動させる。ここで、サーバ画面では、顔のマークおよびマウスポインタは位置ｐ０にある。また、クライアント画面では、顔のマークは位置ｐ０にあり、マウスポインタは位置ｐ１にある。クライアント端末装置１０２は、操作開始直後の時刻から（ｔ１＋ｔ２）経過後の時刻におけるマウス位置ｐ３’を送信する。ここでの（ｔ１＋ｔ２）経過後の時刻におけるマウス位置は、予測の位置である。
つぎに、操作開始直後の時刻から時間ｔ１経過後の時刻に、クライアント端末装置１０２は、マウス操作によりマウスポインタをマウス位置ｐ２に移動させる。ここで、サーバ１０１は、操作開始直後の時刻から時間ｔ１経過後の時刻に、操作開始直後の時刻にクライアント端末装置１０２から送信されたマウス位置ｐ３’を受信する。このため、サーバ画面では、マウスポインタと顔のマークとが受信したマウス位置ｐ３’にある。また、クライアント画面では、顔のマークが位置ｐ０にあり、マウスポインタが位置ｐ２にある。クライアント端末装置１０２は、操作開始直後の時刻から（ｔ１＋ｔ２＋ｔ１）経過後の時刻におけるマウス位置ｐ４’を送信する。
つぎに、操作開始直後の時刻から（ｔ１＋ｔ２）経過後の時刻に、クライアント端末装置１０２は、マウス操作によりマウスポインタをマウス位置ｐ３に移動させる。ここで、サーバ１０１は、操作開始直後の時刻から（ｔ１＋ｔ２）経過後の時刻に、操作開始直後の時刻からｔ１経過後の時刻にクライアント端末装置１０２から送信されたマウス位置ｐ４’を受信する。このため、サーバ画面では、マウスポインタと顔のマークとが受信したマウス位置ｐ４’にある。また、クライアント画面では、顔のマークとマウスポインタとが位置ｐ３’にある。クライアント端末装置１０２は、（ｔ１＋ｔ２）経過後の時刻から（ｔ１＋ｔ２）経過後の時刻におけるマウス位置ｐ５’を送信する。
つぎに、操作開始直後の時刻から（ｔ１＋ｔ２＋ｔ１）経過後の時刻に、クライアント端末装置１０２は、マウス操作によりマウスポインタをマウス位置ｐ４に移動させる。ここで、サーバ１０１は、操作開始直後の時刻から（ｔ１＋ｔ２＋ｔ１）経過後の時刻に、操作開始直後の時刻から（ｔ１＋ｔ２）経過後の時刻にクライアント端末装置１０２から送信されたマウス位置ｐ５’を受信する。このため、サーバ画面では、マウスポインタと顔のマークとが予測したマウス位置ｐ５’にある。また、クライアント画面では、顔のマークとマウスポインタとが予測したマウス位置ｐ４’にある。クライアント端末装置１０２は、（ｔ１＋ｔ２＋ｔ１）経過後の時刻から（ｔ１＋ｔ２）経過後の時刻におけるマウス位置ｐ６’を送信する。
（クライアント端末装置１０２のハードウェア構成例）
図６は、クライアント端末装置のハードウェア構成例を示す説明図である。クライアント端末装置１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２と、ＲＡＭ６０３と、ディスクドライブ６０４と、ディスク６０５と、を有する。また、クライアント端末装置１０２は、Ｉ／Ｆ６０６と、キーボード６０７と、マウス１１１と、ディスプレイ６０８と、を有する。また、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、ディスクドライブ６０４と、Ｉ／Ｆ６０６と、キーボード６０７と、マウス１１１と、ディスプレイ６０８とは、バス６００によってそれぞれ接続される。
ここで、ＣＰＵ６０１は、クライアント端末装置１０２の全体の制御を司る。ＲＯＭ６０２は、ブートプログラムなどのプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ディスクドライブ６０４は、ＣＰＵ６０１の制御にしたがってディスク６０５に対するデータのリード／ライトを制御する。ディスク６０５は、ディスクドライブ６０４の制御で書き込まれたデータを記憶する。ディスク６０５としては、磁気ディスク、光ディスクなどが挙げられる。
Ｉ／Ｆ６０６は、通信回線を通じてＬＡＮ、ＷＡＮ、インターネットなどのネットワーク６０９に接続され、このネットワーク６０９を介して他の装置に接続される。そして、Ｉ／Ｆ６０６は、ネットワーク６０９と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ６０６には、例えばモデムやＬＡＮアダプタなどを採用することができる。
キーボード６０７やマウス１１１は、利用者の操作により、各種データの入力を行うインターフェースである。ディスプレイ６０８は、ＣＰＵ６０１の指示により、データを出力するインターフェースである。
また、図示を省略するが、クライアント端末装置１０２には、カメラから画像や動画を取り込む入力装置やマイクから音声を取り込む入力装置が設けられていてもよい。また、図示を省略するが、クライアント端末装置１０２には、プリンタなどの出力装置が設けられていてもよい。
（サーバ１０１のハードウェア構成例）
図７は、サーバのハードウェア構成例を示す説明図である。サーバ１０１は、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ディスクドライブ７０４と、ディスク７０５と、Ｉ／Ｆ（Ｉｎｔｅｒ／Ｆａｃｅ）７０６と、を有する。
ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ディスクドライブ７０４と、Ｉ／Ｆ７０６とは、バス７００によってそれぞれ接続される。
ここで、ＣＰＵ７０１は、サーバ１０１等の全体の制御を司る。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２は、各種プログラムを記憶する。ＲＯＭ７０２に記憶されるプログラムは、ＣＰＵ７０１にロードされることにより、コーディングされている処理をＣＰＵ７０１に実行させる。ＲＡＭ７０３はＣＰＵ７０１のワークエリアとして使用される。
Ｉ／Ｆ７０６は、通信回線を通じてネットワーク６０９に接続され、ネットワーク６０９を介して他の装置に接続される。そして、Ｉ／Ｆ７０６は、ネットワーク６０９と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ７０６には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
ディスクドライブ７０４は、ＣＰＵ７０１の制御に従ってディスク７０５に対するデータのリード／ライトを制御する。ディスク７０５は、ディスクドライブ７０４の制御で書き込まれたデータを記憶する。ディスク７０５としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
また、サーバ１０１は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、キーボード、マウス１１１、ディスプレイなどを有することにしてもよい。
（仮想デスクトップシステムの機能的構成例）
図８は、仮想デスクトップシステムの機能的構成例を示すブロック図である。クライアント端末装置１０２は、受付部８０１と、判定部８０２と、算出部８０３と、補正部８０４と、送信部８０５と、受信部８０６と、表示部８０７と、記憶部１１２と、を有する。受付部８０１から表示部８０７までの制御部の処理は、例えば、図６に示すＣＰＵ６０１がアクセス可能なＲＯＭ６０２、ＲＡＭ６０３、ディスク６０５などの記憶装置に記憶されたプログラムにコーディングされている。そして、ＣＰＵ６０１が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、制御部の処理結果は、例えば、ＲＡＭ６０３、ＲＯＭ６０２、ディスク６０５などの記憶装置に記憶される。記憶部１１２は、例えば、ＲＡＭ６０３、ＲＯＭ６０２、ディスク６０５などの記憶装置によって実現される。
サーバ１０１は、受信部８１１と、生成部８１２と、送信部８１３と、を有する。受信部８１１から送信部８１３までの制御部の処理は、例えば、図７に示すＣＰＵ７０１がアクセス可能なＲＯＭ７０２、ＲＡＭ７０３、ディスク７０５などの記憶装置に記憶されたプログラムにコーディングされている。そして、ＣＰＵ６０１が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、制御部の処理結果は、例えば、ＲＯＭ７０２、ＲＡＭ７０３、ディスク７０５などの記憶装置に記憶される。
受付部８０１は、クライアント端末装置１０２が有する入力装置に対する操作によって得られる、サーバ１０１とクライアント端末装置１０２との間で共有する画面上の操作の対象を表す図形の位置情報を、位置情報を得られる時刻ごとに記憶部１１２に記憶させる。ここでの入力装置は、例えば、ポインティングデバイスである。ポインティングデバイスは、クライアント端末装置１０２が有する表示装置によって映し出される画面上に表示されるポインタやアイコンを操作するために用いる。表示装置は、例えば、ディスプレイ６０８である。具体的に、入力装置は、例えば、マウス１１１、トラックボール、タッチパネルなどが挙げられる。本実施の形態では、入力装置としてマウス１１１を例に挙げて説明する。ここでのマウス操作としては、例えば、マウス移動を対象とし、クリックポイントやホイールを対象外とする。
画面上の操作の対象を表す図形とは、例えば、画面上の操作対象の場所を示すマークである。該図形は、例えば、マウスポインタである。ここで、図形の位置情報は、例えば、マウス位置情報やマウスポインタの位置情報、単に位置情報などとも称する。ここでの位置情報は、例えば、画面をｘ軸とｙ軸によって定義した場合の画面上の座標値である。
受付部８０１は、例えば、所定時間ごとにマウス位置情報を受け付けて記憶部１１２に記憶させる。所定時間は、例えば、Δｔと表す。また、受付部８０１は、例えば、マウス位置情報を各時刻において受け付けて、マウス位置情報と受け付けた時刻とを関連付けて記憶部１１２に記憶させる。また、所定時間Δｔ＜サーバ１０１へのマウス位置情報の送信間隔とすることにより、精度よくマウス位置情報を予測することができる。
具体的に、受付部８０１は、例えば、マウス操作が開始されると、所定時間Δｔごとにマウス位置情報を受け付けて、マウス位置情報と受け付けた時刻とを関連付けて記憶部１１２に記憶させる。
図９は、位置情報の記憶例を示す説明図である。テーブル９００は、例えば、時刻、位置情報のフィールドを有する。各フィールドに情報が設定されることによりレコード（９０１−１〜９０１−３など）として記憶される。テーブル９００には、少なくとも加速度や速度を計算する際に使用するだけの位置情報が記憶されていればよい。
例えば、加速度によって未来の位置情報を予測するためには、現在の時刻における位置情報を含めて過去３回分の位置情報を記憶しておけばよい。このため、記憶部１１２は、例えば、過去３回分の位置情報以外の位置情報のうち古い情報から順に上書きして記憶してもよい。これにより、省メモリ化を図ることができる。また、マウス位置情報を受け付ける時間間隔が短い場合に、位置情報の数を多くすることで、マウス位置の精度を向上させることができる。
受付部８０１は、例えば、所定時間Δｔごとにマウス位置情報を受け付けてテーブルに格納する。クライアント端末装置１０２において位置を算出する場合、時間Δｔ＜マウス位置情報の送信間隔とする。これにより、マウス位置の予測精度の向上を図ることができる。
つぎに、図８に示す判定部８０２は、記憶部１１２に時系列に記憶された位置情報に基づいて、位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、操作によって図形を画面上で同一の方向に閾値を超える速度で移動させたか否かを判定する。
具体的に、判定部８０２は、例えば、特定の時刻から現在の時刻までの間の位置情報に基づいて、マウスポインタが画面上で同一方向に移動されたか否かを判定する。特定の時刻とは、例えば、現在の時刻よりも所定時間Δｔ＊２前の時刻や、現在の時刻よりも所定時間Δｔ＊４前の時刻などである。
具体的に、判定部８０２は、例えば、特定の時刻におけるマウス位置を原点とした場合に、特定の時刻より後の時刻から現在の時刻までの間のマウス位置が同一象限にあるか否かを判定する。判定部８０２は、各マウス位置が同一象限にあると判定した場合、マウスポインタが画面上で同一方向に移動していると判定する。判定部８０２は、各マウス位置が同一象限にないと判定した場合、マウスポインタが画面上で同一方向に移動していないと判定する。
また、判定部８０２は、特定の時刻から現在の時刻までの間の位置情報に基づいて、マウスポインタの移動の速度を算出する。そして、判定部８０２は、算出した速度が閾値以上であるか否かを判定する。閾値については、予めＲＡＭ６０３、ＲＯＭ６０２、ディスク６０５などの記憶装置に記憶される。
算出部８０３は、マウスポインタが画面上で同一方向に閾値以上の速度で移動していると判定された場合、速度に基づいて、現在の時刻から所定時間経過後の時刻におけるマウス位置情報を算出する。ここでの所定時間は、例えば、サーバ１０１とクライアント端末装置１０２との間の通信に要する時間を含む。所定時間は、Ｔと表す。具体的に、所定時間Ｔは、例えば、上述した時間ｔ１と時間ｔ２との合計時間である。
ｔ１＝１／２＊ＲＴＴ（Ｒｏｕｎｔｄ Ｔｉｍｅ Ｔｒｉｐ）＋（クライアント端末装置１０２における所要時間）
ｔ２＝１／２＊ＲＴＴ＋（サーバ１０１における所要時間）
ＲＴＴは、例えば、メッセージをある離れた場所へ送って、それが戻ってくるまでの経過時間である。ここでは、ＲＴＴは、クライアント端末装置１０２からサーバへＩＰパケットを送付し、ＩＰパケットに応じた返答が戻ってくるまでの経過時間である。クライアント端末装置１０２における所要時間やサーバ１０１における所要時間は予め定めておいてもよい。
クライアント端末装置１０２は、例えば、マウス操作やキーボード操作などがない空き時間にネットワークの疎通を確認するためにサーバ１０１に対してＩＰパケットを発行し、このパケットが正しく届いて返答が行われるかを確認することによりＲＴＴを得る。ここでのＩＰパケットを発行するためのコマンドは、例えば、Ｐｉｎｇコマンドである。
算出部８０３は、例えば、上述した特許文献３などに記載のように位置情報を求めてもよい。現在の位置情報を（ｘ０，ｙ０）と表し、予測する位置情報を（ｘ１，ｙ１）と表す場合、算出部８０３は、例えば、以下のように位置情報（ｘ１，ｙ１）を算出してもよい。ｖ０は移動速度である。θ０は、移動方向である。
ｘ１＝ｘ０＋ｖ０＊Ｔ＊ｃоｓθ０
ｙ１＝ｙ０＋ｖ０＊Ｔ＊ｓｉｎθ０
また、算出部８０３は、マウスポインタが画面上で同一方向に閾値以上の速度で移動していると判定された場合、加速度に基づいて、現在の時刻から所定時間Ｔ経過後の時刻におけるマウス位置を算出してもよい。なお、加速度がマイナスの数値の場合、減速度である。具体的に、算出部８０３は、例えば、上述した特許文献４などに記載のように位置情報を求めてもよい。
図１０は、クライアント端末装置の画面上でのマウス操作例１を示す説明図である。例１には、マウス操作によるマウスポインタの通過点を結ぶ線が直線となる場合を示す。位置ｐ３は、現在の時刻でのマウス位置である。位置ｐ２は、現在の時刻よりも時間Δｔ前の時刻でのマウス位置である。位置ｐ１は、現在の時刻よりも時間２Δｔ前の時刻でのマウス位置である。
判定部８０２は、例えば、位置ｐ１を原点とした場合に、位置ｐ２と、位置ｐ３とが、同一象限にあるか否かを判定する。図１０の例では、同一象限にあるため、判定部８０２は、マウスポインタが画面上で同一方向に移動していると判定する。
算出部８０３は、例えば、位置ｐ１と、位置ｐ２と、位置ｐ３とに基づいて、マウス移動の速度を算出する。そして、算出部８０３は、現在の時刻から所定時間Ｔ経過後の時刻における位置ｐｐを算出する。これにより、現在の時刻から所定時間Ｔ経過後の時刻における予測の位置が求まる。そして、送信部８０５は、位置ｐｐの位置情報を含む操作情報をサーバ１０１へ送信する。
また、判定部８０２は、例えば、各時刻における位置情報に基づいて、マウスポインタの通過点を結ぶ線が直線であるか円弧線であるかを判定する。
判定部８０２は、現在の時刻を含む３つの時刻の位置情報に基づく３つの点が一直線上にあるか否かによって直線であるか否かを判定してもよい。判定部８０２は、一直線上にあると判定した場合に直線であると判定する。判定部８０２は、例えば、位置ｐ１と位置ｐ２とを結ぶ直線の傾きと、位置ｐ２と位置ｐ３とを結ぶ直線の傾きと、が同一であれば、直線であると判定する。また、判定部８０２は、位置ｐ１と位置ｐ２とを結ぶ直線の傾きと、位置ｐ２と位置ｐ３とを結ぶ直線の傾きと、の差が閾値以下であれば、３つの点が一直線上にあると判定してもよい。これにより、誤差を考慮することができる。
判定部８０２は、現在の時刻を含む３つの時刻の位置情報に基づいて、３点を通過する円弧線を作成可能か否かによって円弧線であるか否かを判定してもよい。３点を通過する円弧線の作成方法は既知であるため特に説明しない。直線であるか否かの判定において誤差を含めると、判定部８０２は、３つの点を結ぶ線が円弧線であり、かつ直線であるというように判定される場合がある。判定部８０２は、処理の簡単化のために、例えば、直線であると判定してもよい。また、判定部８０２は、直線でないと判定した場合に、円弧線であると判定してもよい。
算出部８０３は、直線であると判定した場合、直線の延長上における現在の時刻から所定時間Ｔ経過後の時刻における位置情報を算出する。直線の例は、例えば、図１０である。また、円弧線であると判定した場合、算出部８０３は、円弧線上における現在の時刻から所定時間Ｔ経過後の時刻における位置情報を算出する。
図１１は、クライアント端末装置の画面上でのマウス操作例２を示す説明図である。例２には、マウス操作によるマウスポインタの軌跡が円弧線となる場合を示す。算出部８０３は、例えば、位置ｐ１と、位置ｐ２と、位置ｐ３とに基づいて、円弧線分の補完を行うことにより、円弧線上における現在の時刻から所定時間Ｔ経過後の時刻における位置ｐｔの位置情報を算出する。
また、ここでは、円弧線であるか直線であるかの判定を行ったが、これに限らず、算出部８０３は、両方の場合における予測の位置を算出してもよい。つぎに、クライアント端末装置１０２の送信部８０５は、現在の時刻から所定時間Ｔ経過後の時刻における算出した位置ｐｔの位置情報を含む操作情報をサーバ１０１へ送信する。操作情報は、例えば、マウス位置の位置情報やヘッダ情報などを含むパケット情報である。マウス位置情報は、例えば、画面上のマウスポインタのｘ軸座標値とｙ軸座標値との情報を有する。マウス位置情報は、実際には暗号化されてある。
そして、サーバ１０１の受信部８１１は、例えば、クライアント端末装置１０２からの操作情報を受信する。サーバ１０１受信部８１１は、例えば、Ｉ／Ｆ７０６を用いて画像情報を受信する。サーバ１０１の生成部８１２は、操作情報に応じた画面の画像を含む画像情報を生成する。サーバ１０１の生成部８１２は、クライアント端末装置１０２とサーバ１０１間で共有しプログラムの実行に応じた画面の画像を含む画像情報を生成する。画像情報は、例えば、画像とメタデータなどの情報とを含むパケットである。画像の情報形式については、ＢＭＰ（ＢｉｔＭａＰ）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）やＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）などが挙げられるが、特に限定しない。また、画像情報に動画形式を用いる場合、動画形式については、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）、独自圧縮形式などが挙げられるが、特に限定しない。サーバ１０１の送信部８１３は、画像情報をクライアント端末装置１０２に送信する。
クライアント端末装置１０２の受信部８０６は、画像情報を受信する。クライアント端末装置１０２の受信部８０６は、例えば、Ｉ／Ｆ６０６を用いて画像情報を受信する。そして、表示部８０７は、受信部８０６が受信した画像情報に含まれる画像を表示する。
つぎに、本実施の形態では、クライアント端末装置１０２は、未来のマウス位置を算出する際に、マウス位置の予測が外れることにより画面上のオブジェクトの見逃しを防ぐため、推測限界点を設けることにより、算出したマウス位置を補正してもよい。画面上のオブジェクトとは、マウス操作によって移動されるコンピュータ上の物である。図４や図５の例では、オブジェクトは顔のマークである。
補正部８０４は、現在の時刻における位置情報と、特定の視野に応じた視野幅と、に基づく、画面上の視野範囲を特定する。そして、補正部８０４は、算出した位置情報が表す位置が、特定した視野範囲に含まれない場合、算出した位置情報が表す位置を、特定した視野範囲に含まれる位置となるように補正する。
ここで、補正部８０４についての詳細な説明の前に、人間の視野、画面上の視野範囲を求めるための係数などについて簡単に説明する。
図１２は、人間の視野例を示す説明図である。人間の眼球を動かすことなくピンポイントで視力に優れている範囲は極めて狭い。中心視野から外れることにより人間の視力が劣る。弁別視野とは、視力などの視機能が優れている中心領域である。弁別視野は、視野角が約５度以内である。有効視野とは、眼球運動だけで瞬時に情報需要できる領域である。有効視野とは、視野角が水平に約３０度以内であり、視野角が垂直に約２０度以内である。安定注視野とは、眼球と頭部運動により無理なく注視でき、効果的な情報需要ができる領域である。安定注視野とは、視野角が水平に約６０〜９０度であり、視野角が垂直に約４５〜７０度以内である。
例えば、算出されたマウス位置の座標値が利用者の弁別視野または有効視野から外れた位置である場合、弁別視野または有効視野を限界点とすることにより、利用者は、マウスポインタから離れたオブジェクトを見失う事態を予防する。ここで、視点位置は現在の時刻におけるマウス位置とする。
図１３は、ディスプレイ上の視野例を示す説明図である。眼球からディスプレイ６０８までの距離がＬｍ［ｍｍ］である。ディスプレイ６０８のサイズはＸｍ×Ｙｍ［ｍｍ］である。視点位置は［Ｘｃ，Ｙｃ］である。
図１４は、視角度と視野幅例を示す説明図である。垂直の視覚についての垂直角度はＷｎｖと表し、水平視覚についての水平角度はＷｎｈと表す。垂直視野の視野幅はＹｎａと表し、水平視野の視野幅は、Ｘｎａと表す。ｎは視野の種類を表す。弁別視野の場合、ｎが０である。有効視野の場合、ｎが１である。安定注視野の場合、ｎが２である。
図１５は、各種定数定義表例を示す説明図である。表は、例えば、定数の種類ごとに識別名と、単位と、標準値とを有する。例えば、肉眼分解能はＲｅｓと表し、単位は［ｍｍ］であり、標準値は「０．１」である。例えば、弁別視野−水平角度はＷ０ｈと表し、単位は［度］であり、標準値は「５．０」である。例えば、弁別視野−垂直角度はＷ０ｖと表し、単位は［度］であり、標準値は「５．０」である。
例えば、有効視野−水平角度はＷ１ｈと表し、単位は［度］であり、標準値は「３０．０」である。例えば、有効視野−垂直角度はＷ１ｖと表し、単位は［度］であり、標準値は「２０．０」である。例えば、安定注視野−水平角度はＷ２ｈと表し、単位は［度］であり、標準値は「６０．０」である。例えば、安定注視野−水平角度はＷ２ｖと表し、単位は［度］であり、標準値は「４５．０」である。
図１６は、ディスプレイ上の各長さの定義例を示す説明図である。ディスプレイ６０８の水平長は、［ピクセル］単位の場合にＸｐと表し、［ｍｍ］単位の場合にＸｍと表す。視点位置は、［Ｘｃ，Ｙｃ］と表す。
ディスプレイ６０８の対角長は、［インチ］単位の場合にＤｉと表し、［ピクセル］単位の場合にＤｐと表し、［ｍｍ］単位の場合にＤｍと表す。ディスプレイ６０８の垂直長は、［ピクセル］単位の場合にＹｐと表し、［ｍｍ］単位の場合にＹｍと表す。
つぎに、クライアント端末装置１０２は、以下基本情報については予め用意しておく。クライアント端末装置１０２は、以下Ｄｉ、Ｘｐ、Ｙｐについて実行中のＯＳから取得できる。
Ｄｉ：［インチ］単位のディスプレイ対角長
Ｘｐ：［ピクセル］単位のディスプレイ水平長
Ｙｐ：［ピクセル］単位のディスプレイ垂直長
また、クライアント端末装置１０２は、［ｍｍ］単位のディスプレイ距離Ｌｍをディスプレイ距離簡易算出表に対してディスプレイ対角長を与えることにより求める。
図１７は、ディスプレイ距離簡易算出表例を示す説明図である。ディスプレイ距離簡易算出表は、例えば、ディスプレイ６０８のサイズを与えることにより距離Ｌｍを得ることが可能な表である。ここで、ディスプレイ距離簡易算出表のＤｉ１とＤｉ２とは、ディスプレイ６０８の対角長である。表によれば、対角長がＤｉ１以上であり、Ｄｉ２より小さい場合に、ディスプレイ６０８と人体の目との距離Ｌｍが設定された標準値である。例えば、表によれば、対角長が１インチ以上であり８インチより小さいディスプレイ６０８であれば、距離Ｌｍは、１５０［ｍｍ］である。例えば、表によれば、対角長が８インチ以上であり、１３インチより小さいディスプレイ６０８であれば、距離Ｌｍは、２００［ｍｍ］である。
クライアント端末装置１０２は、例えば、対角長Ｄｉを実行中のＯＳから取得し、取得した対角長Ｄｉをディスプレイ距離簡易算出表に与えることにより距離Ｌｍを得ることができる。クライアント端末装置１０２は、例えば、ディスプレイ６０８が変更された際などに距離Ｌｍを取得しておき、ＲＯＭ６０２、ＲＡＭ６０３、ディスク６０５などの記憶装置に記憶させておく。
［ピクセル］単位のディスプレイ対角長Ｄｐは以下の式（１）によって求めることができる。
Ｄｐ＝√（Ｘｐ＾２＋Ｙｐ＾２）・・・式（１）
［ｍｍ］単位のディスプレイ対角長は以下の式（２）によって求めることができる。
Ｄｍ＝Ｄｉ＊２．５４・・・式（２）
［ｍｍ］単位のディスプレイ水平長は以下式（３）によって求めることができる。
Ｘｍ＝Ｘｐ＊Ｄ／Ｄｐ・・・式（３）
［ｍｍ］単位のディスプレイ垂直長は以下式（４）によって求めることができる。
Ｙｍ＝Ｙｐ＊Ｄ／Ｄｐ・・・式（４）
つぎに、ディスプレイ６０８上の各視野における視野幅について説明する。弁別視野の視野幅はＸ０ａ［ｍｍ］とＹ０ａ［ｍｍ］である。クライアント端末装置１０２は、視野幅Ｘ０ａを式（５）によって求め、視野幅Ｙ０ａを式（６）によって求める。Ｗ０ｈとＷ０ｖの標準値は、図１５に示すように、５．０度である。
Ｘ０ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ０ｈ／２））＊Ｌｍ＊２・・・式（５）
Ｙ０ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ０ｖ／２））＊Ｌｍ＊２・・・式（６）
有効視野の視野幅はＸ１ａ［ｍｍ］とＹ１ａ［ｍｍ］である。クライアント端末装置１０２は、視野幅Ｘ１ａを式（７）によって求め、視野幅Ｙ１ａを式（８）によって求める。Ｗ１ｈとＷ１ｖの標準値は、図１５に示すように、それぞれ３０．０度と２０．０度である。
Ｘ１ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ１ｈ／２））＊Ｌｍ＊２・・・式（７）
Ｙ１ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ１ｖ／２））＊Ｌｍ＊２・・・式（８）
安定注視野の視野幅はＸ２ａ［ｍｍ］とＹ２ａ［ｍｍ］である。クライアント端末装置１０２は、視野幅Ｘ２ａを式（９）によって求め、視野幅Ｙ２ａを式（１０）によって求める。Ｗ２ｈとＷ２ｖの標準値は、図１５に示すように、それぞれ６０．０度と４５．０度である。
Ｘ２ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ２ｈ／２））＊Ｌｍ＊２・・・式（９）
Ｙ２ａ［ｍｍ］＝ｔａｎ（ＲＡＤ（Ｗ２ｖ／２））＊Ｌｍ＊２・・・式（１０）
図８に示す補正部８０４は、算出部８０３によって算出された位置情報がディスプレイ６０８の画面上の視野範囲に含まれるか否かを判定する。具体的に、補正部８０４は、例えば、現在の時刻の画面上の視点と、視野幅とに基づいて、視野幅に基づく画面上の視野範囲を特定する。そして、補正部８０４は、特定した視野範囲内に、算出部８０３によって算出された位置情報が含まれるか否かを判定する。ここで用いる視野幅は、弁別視野の視野幅、有効視野の視野幅、安定注視野の視野幅のいずれかを利用者によって選択させてもよい。
図１８は、視野範囲例を示す説明図である。補正部８０４は、例えば、視点から視野幅に基づいて楕円の領域を視野範囲として特定してもよい。これにより、人間の視野範囲を精度よく再現できる。また、補正部８０４は、例えば、視点から視野幅に基づいて視野始点（Ｘｎｓ，Ｙｎｓ）と視野終点（Ｘｎｅ，Ｙｎｅ）とに囲われた四角の領域を視野範囲として特定してもよい。これにより、計算時間の短縮を図ることができる。
補正部８０４は、例えば、視野範囲の視野始点および視野終点を以下の通り特定する。例えば、弁別視野の場合、視野始点（Ｘ０ｓ，Ｙ０ｓ）〜視野終点（Ｘ０ｅ，Ｙ０ｅ）によって特定される四角の領域が視野範囲である。補正部８０４は、例えば、以下式（１１）によって視野始点Ｘ０ｓを求め、式（１２）によって視野終点Ｘ０ｅを求める。また、補正部８０４は、例えば、弁別視野の場合、以下式（１３）によって視野始点Ｙ０ｓを求め、式（１４）によって視野終点Ｙ０ｅを求める。視野始点Ｘ０ｓと視野始点Ｙ０ｓと視野終点Ｘ０ｅと視野終点Ｙ０ｅとの単位は［ピクセル］である。
Ｘ０ｓ＝Ｍｉｎ（１，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ０ａ）／２）・・・式（１１）
Ｘ０ｅ＝Ｍａｘ（Ｘｐ，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ０ａ）／２）・・・式（１２）
Ｙ０ｓ＝Ｍｉｎ（１，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ０ａ）／２）・・・式（１３）
Ｙ０ｅ＝Ｍａｘ（Ｙｐ，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ０ａ）／２）・・・式（１４）
また、例えば、有効視野の場合、視野始点（Ｘ１ｓ，Ｙ１ｓ）〜視野終点（Ｘ１ｅ，Ｙ１ｅ）によって特定される四角の領域が視野範囲である。補正部８０４は、例えば、有効視野の場合、以下式（１５）によって視野始点Ｘ１ｓを求め、式（１６）によって視野終点Ｘ１ｅを求める。また、補正部８０４は、例えば、有効視野の場合、以下式（１７）によって視野始点Ｙ１ｓを求め、式（１８）によって視野終点Ｙ１ｅを求める。視野始点Ｘ１ｓと視野始点Ｙ１ｓと視野終点Ｘ１ｅと視野終点Ｙ１ｅとの単位は［ピクセル］である。
Ｘ１ｓ＝Ｍｉｎ（１，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ１ａ）／２）・・・式（１５）
Ｘ１ｅ＝Ｍａｘ（Ｘｐ，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ１ａ）／２）・・・式（１６）
Ｙ１ｓ＝Ｍｉｎ（１，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ１ａ）／２）・・・式（１７）
Ｙ１ｅ＝Ｍａｘ（Ｙｐ，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ１ａ）／２）・・・式（１８）
また、例えば、安定注視野の場合、視野始点（Ｘ２ｓ，Ｙ２ｓ）〜視野終点（Ｘ２ｅ，Ｙ２ｅ）によって特定される四角の領域が視野範囲である。補正部８０４は、例えば、安定注視野の場合、以下式（１９）によって視野始点Ｘ２ｓを求め、式（２０）によって視野終点Ｘ２ｅを求める。また、補正部８０４は、例えば、安定注視野の場合、以下式（２１）によって視野始点Ｙ２ｓを求め、式（２２）によって視野終点Ｙ２ｅを求める。視野始点Ｘ２ｓと視野始点Ｙ２ｓと視野終点Ｘ２ｅと視野終点Ｙ２ｅとの単位は［ピクセル］である。
Ｘ２ｓ＝Ｍｉｎ（１，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ２ａ）／２）・・・式（１９）
Ｘ２ｅ＝Ｍａｘ（Ｘｐ，Ｘｃ−（Ｘｐ／Ｘｍ＊Ｘ２ａ）／２）・・・式（２０）
Ｙ２ｓ＝Ｍｉｎ（１，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ２ａ）／２）・・・式（２１）
Ｙ２ｅ＝Ｍａｘ（Ｙｐ，Ｙｃ−（Ｙｐ／Ｙｍ＊Ｙ２ａ）／２）・・・式（２２）
図８に示す補正部８０４は、例えば、算出部８０３によって算出された位置情報が、特定した視野範囲に含まれるか否かを判定する。補正部８０４は、例えば、視野範囲に含まれると判定した場合、算出されたマウス位置の位置情報を補正しない。一方、補正部８０４は、例えば、視野範囲に含まれないと判定した場合、算出されたマウス位置情報を視野範囲に含まれる位置の位置情報に補正する。
図１９は、補正例１を示す説明図である。図１９の例では、弁別視野に対応する視野範囲が、視野始点（Ｘ０ｓ，Ｙ０ｓ）〜視野終点（Ｘ０ｅ，Ｙ０ｅ）に囲われた四角の領域である。補正部８０４は、例えば、算出された位置情報が、特定した視野範囲に含まれないと判定する。
このため、補正部８０４は、例えば、現在の時刻におけるマウス位置情報が示すマウス位置と、算出したマウス位置情報が示すマウス位置とを結ぶ直線と、視野範囲の外形と、の交点を特定する。そして、補正部８０４は、特定した交点を現在の時刻から時間Ｔ（ｔ１＋ｔ２）経過後の時刻におけるマウス位置としてマウス位置情報を補正する。
図２０は、補正例２を示す説明図である。図２０の例では、弁別視野に対応する視野範囲が楕円の領域である。補正部８０４は、例えば、視野範囲に算出したマウス位置が含まれないと判定する。このため、補正部８０４は、例えば、現在の時刻におけるマウス位置情報が示すマウス位置と、算出したマウス位置情報が示すマウス位置とを結ぶ直線と、視野範囲の外形線と、の交点を特定する。そして、補正部８０４は、特定した交点を現在の時刻から時間Ｔ（ｔ１＋ｔ２）経過後の時刻におけるマウス位置としてマウス位置情報を補正する。
（クライアント端末装置１０２が行う処理手順例）
図２１は、クライアント端末装置による操作情報の送信処理手順例を示すフローチャートである。クライアント端末装置１０２は、マウス操作を開始したか否かを判定する（ステップＳ２１０１）。マウス操作を開始していないと判定された場合（ステップＳ２１０１：Ｎｏ）、クライアント端末装置１０２は、ステップＳ２１０１へ戻る。マウス操作を開始したと判定された場合（ステップＳ２１０１：Ｙｅｓ）、クライアント端末装置１０２は、現在のマウス位置情報を受け付ける（ステップＳ２１０２）。クライアント端末装置１０２は、マウス位置情報と時刻とを関連付けて記憶する（ステップＳ２１０３）。
クライアント端末装置１０２は、時間Δｔ経過したか否かを判定する（ステップＳ２１０４）。時間Δｔ経過したと判定された場合（ステップＳ２１０４：Ｙｅｓ）、クライアント端末装置１０２は、現在のマウス位置情報を受け付ける（ステップＳ２１０５）。そして、クライアント端末装置１０２は、マウス位置情報と時刻とを関連付けて記憶し（ステップＳ２１０６）、ステップＳ２１０７へ移行する。
時間Δｔ経過していないと判定された場合（ステップＳ２１０４：Ｎｏ）、クライアント端末装置１０２は、マウス操作終了したか否かを判定する（ステップＳ２１０７）。マウス操作終了していないと判定された場合（ステップＳ２１０７：Ｎｏ）、クライアント端末装置１０２は、送信間隔Δｔｓｄ経過したか否かを判定する（ステップＳ２１０８）。本フローチャートの例では、送信間隔Δｔｓｄは所定時間Δｔの倍数とする。
送信間隔Δｔｓｄ経過していないと判定された場合（ステップＳ２１０８：Ｎｏ）、クライアント端末装置１０２は、ステップＳ２１０４へ戻る。送信間隔Δｔｓｄ経過したと判定された場合（ステップＳ２１０８：Ｙｅｓ）、クライアント端末装置１０２は、現在の時刻を含む指定回数分のマウス位置情報に基づき速度および加速度を算出する（ステップＳ２１０９）。
クライアント端末装置１０２は、マウス操作による移動方向を特定する（ステップＳ２１１０）。クライアント端末装置１０２は、マウス操作によりマウスポインタが同一方向に基準値を超える速度で移動したか否かを判断する（ステップＳ２１１１）。マウスポインタが同一方向に基準値を超える速度で移動したと判断された場合（ステップＳ２１１１：Ｙｅｓ）、クライアント端末装置１０２は、マウス位置算出処理を行う（ステップＳ２１１２）。
つぎに、クライアント端末装置１０２は、時間（ｔ１＋ｔ２）経過後のマウス位置情報を含むパケットを生成して送信し（ステップＳ２１１３）、ステップＳ２１０４へ移行する。
ステップＳ２１１１において、マウスポインタが同一方向に基準値を超える速度で移動していないと判断された場合（ステップＳ２１１１：Ｎｏ）、現在の時刻のマウス位置情報を含むパケットを生成して送信し（ステップＳ２１１４）、ステップＳ２１０４へ移行する。
ステップＳ２１０７において、マウス操作終了したと判定された場合（ステップＳ２１０７：Ｙｅｓ）、クライアント端末装置１０２は、一連の処理を終了する。
図２２は、図２１に示す算出処理手順例を示すフローチャートである。クライアント端末装置１０２は、マウス移動の軌跡が円弧線か直線かを判定する（ステップＳ２２０１）。円弧線であると判定された場合（ステップＳ２２０１：円弧線）、クライアント端末装置１０２は、円弧線分上における時間（ｔ１＋ｔ２）経過後のマウス位置情報を算出する（ステップＳ２２０２）。一方、直線であると判定された場合（ステップＳ２２０１：直線）、クライアント端末装置１０２は、直線上における時間（ｔ１＋ｔ２）後のマウス位置情報を算出する（ステップＳ２２０３）。
つぎに、クライアント端末装置１０２は、補正するか否かを判定する（ステップＳ２２０４）。補正するか否かは、利用者によって選択可能である。補正すると判定された場合（ステップＳ２２０４：Ｙｅｓ）、クライアント端末装置１０２は、現在のマウス位置を始点として視野範囲を特定する（ステップＳ２２０５）。そして、クライアント端末装置１０２は、算出した位置情報が視野範囲に含まれるように補正する（ステップＳ２２０６）。クライアント端末装置１０２は、補正後の位置情報を出力し（ステップＳ２２０７）、一連の処理を終了する。
補正しないと判定された場合（ステップＳ２２０４：Ｎｏ）、クライアント端末装置１０２は、算出した位置情報を出力し（ステップＳ２２０８）、一連の処理を終了する。
図２３は、クライアント端末装置による表示処理手順例を示すフローチャートである。クライアント端末装置１０２は、圧縮情報を含むパケットを受信する（ステップＳ２３０１）。そして、クライアント端末装置１０２は、伸長して画像を生成する（ステップＳ２３０２）。つぎに、クライアント端末装置１０２は、生成した画像をディスプレイ６０８に表示し（ステップＳ２３０３）、一連の処理を終了する。
また、図示省略するが、クライアント端末装置１０２は、マウス操作情報以外にもキーボードの操作情報などをサーバ１０１へ送信する。また、図示省略するが、クライアント端末装置１０２は、マウス操作やキーボード操作が発生しないときに、ｐｉｎｇコマンドを発行してＲＴＴを得る。そして、クライアント端末装置は、時間Ｔ（ｔ１＋ｔ２）を更新する。
（サーバ１０１が行う処理手順例）
図２４は、サーバによるパケット受信処理手順例を示すフローチャートである。サーバ１０１は、パケットを受信する（ステップＳ２４０１）。つぎに、サーバ１０１は、受信したパケットに含まれるマウス操作情報またはＫＢ操作情報をＯＳに送付し（ステップＳ２４０２）、一連の処理を終了する。ＫＢ操作情報は、キーボード６０７の操作情報である。
図２５は、サーバによる送信処理手順例を示すフローチャートである。サーバ１０１は、所定時間経過したか否かを判断する（ステップＳ２５０１）。ここでの所定時間は、パケットを監視する時間である。所定時間経過していないと判断された場合（ステップＳ２５０１：Ｎｏ）、サーバ１０１は、ステップＳ２５０１へ戻る。つぎに、所定時間経過したと判断された場合（ステップＳ２５０１：Ｙｅｓ）、サーバ１０１は、画面キャプチャを行い（ステップＳ２５０２）。ここでのキャプチャとは表示用の信号を画像の情報として記録することである。
サーバ１０１は、現在キャプチャした画面と前回キャプチャした画面との差分を抽出する（ステップＳ２５０３）。つぎに、サーバ１０１は、差分に基づいて動画と静止画とを分離する（ステップＳ２５０４）。そして、サーバ１０１は、動画および静止画を圧縮した圧縮情報を生成する（ステップＳ２５０５）。サーバ１０１は、圧縮情報を送信し（ステップＳ２５０６）、一連の処理を終了する。サーバ１０１は、具体的には、圧縮情報を含むパケット情報を送信する。
以上説明したように、クライアント端末装置１０２は、画面上でマウス移動が同一方向に閾値を超える速度である場合、通信遅延後のマウス位置を予測してサーバへ送信する。これにより、クライアント端末装置１０２は、通信時間経過後の時刻に予測したマウス位置に応じた画面の画像を表示できる。したがって、通信遅延を気にすることなく、利用者の操作感の向上を図ることができる。また、簡単かつ精度よく予測可能な場合に、通信時間経過後の時刻におけるマウス位置を予測する。これにより、計算時間による遅延を発生させることなく、予測外れの回避を図ることができる。
また、クライアント端末装置１０２は、画面上のマウス移動の軌跡が直線である場合に、直線の移動方向の延長線から通信時間経過後の時刻におけるマウス位置情報を算出する。一方、クライアント端末装置１０２は、画面上のマウス移動の軌跡が円弧線である場合に、円弧線の移動方向の延長線から通信時間経過後の時刻におけるマウス位置情報を算出する。
また、クライアント端末装置１０２は、算出した位置情報が表す位置が、現在の時刻における位置情報と特定の視野に応じた視野幅とに基づく画面上の視野範囲に含まれない場合、位置情報が表す位置を特定した視野範囲に含まれる位置となるように補正する。また、特定の視野は、弁別視野または有効視野である。これにより、クライアント端末装置１０２の利用者の視野から外れるような位置にオブジェクトを移動させることを抑制できる。
また、視野幅は、クライアント端末装置１０２が有する表示装置のサイズに基づく値である。
また、記憶部に位置情報を記憶させる時間間隔は、操作情報をサーバへ送信する時間間隔よりも短い。短時間でのマウス移動によって未来のマウス位置を予測でき、位置情報の算出精度の向上を図ることができる。また、記憶部に位置情報を記憶させる時間間隔が、操作情報をサーバへ送信する時間間隔以下の場合、サーバが未来のマウス位置を予測するような構成としてもよい。この際、クライアント端末装置１０２は、単に現在時刻におけるマウスの位置情報を送信し、サーバが、受信した位置情報をサーバが有する記憶部に時系列に格納する。そして、サーバが、受信した位置情報に基づいて未来のマウス位置を予測してもよい。
また、クライアント端末装置１０２は、特定の時刻から現在の時刻までの速度を算出し、算出した速度に基づいて、現在の時刻から通信時間を含む第１時間経過した後の時刻における図形の位置情報を算出する。これにより、位置情報を簡単な演算によって容易に算出することができ、算出時間の短縮を図ることができる。
また、クライアント端末装置１０２は、特定の時刻から現在の時刻までの加速度を算出し、算出した加速度に基づいて、現在の時刻から通信時間を含む第１時間経過した後の時刻における図形の位置情報を算出する。これにより、位置情報を簡単な演算によって容易に算出することができ、算出時間の短縮を図ることができる。
なお、本実施の形態で説明した仮想デスクトップ処理方法は、予め用意された仮想デスクトップ処理プログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本仮想デスクトップ処理プログラムは、磁気ディスク、光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュメモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、仮想デスクトップ処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）サーバにアプリケーションプログラムを実行させるクライアント端末装置に、
前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
受信した前記画像情報に含まれる画像を表示する、
処理を実行させることを特徴とする仮想デスクトッププログラム。
（付記２）前記位置情報を算出する処理では、
前記特定の時刻から前記現在の時刻までの前記位置情報が示す位置を結ぶ線が円弧線である場合、前記現在の時刻から前記第１時間経過した後の時刻における、前記円弧線の前記方向の延長線上にある前記図形の位置情報を算出し、
前記特定の時刻から前記現在の時刻までの位置情報が示す位置を結ぶ線が直線である場合、前記現在の時刻から前記通信時間経過した後の時刻における、前記直線の前記方向の延長線上にある前記図形の位置情報を算出する、
ことを特徴とする付記１に記載の仮想デスクトッププログラム。
（付記３）前記クライアント端末装置に、
前記現在の時刻における前記位置情報と、特定の視野に応じた視野幅と、に基づく、前記画面上の視野範囲を特定し、
算出した前記位置情報が表す位置が、特定した前記視野範囲に含まれない場合、算出した前記位置情報が表す位置を、特定した前記視野範囲に含まれる位置となるように補正する、
処理を実行させ、
前記サーバへ送信する処理では、
補正した前記位置情報を送信する、
ことを特徴とする付記１または２に記載の仮想デスクトッププログラム。
（付記４）前記特定の視野は、弁別視野または有効視野であることを特徴とする付記３に記載の仮想デスクトッププログラム。
（付記５）前記視野幅は、前記クライアント端末装置が有する表示装置のサイズに基づく値であることを特徴とする付記３または４に記載の仮想デスクトッププログラム。
（付記６）前記記憶部に前記位置情報を記憶させる時間間隔は、前記操作情報を前記サーバへ送信する時間間隔よりも短いことを特徴とする付記１〜５のいずれか一つに記載の仮想デスクトッププログラム。
（付記７）前記位置情報を算出する処理では、
前記記憶部に時系列に記憶された前記位置情報に基づいて、前記特定の時刻から前記現在の時刻までの速度を算出し、
算出した前記速度に基づいて、前記現在の時刻から前記第１時間以上の時間経過した後の時刻における前記図形の位置情報を算出する、
ことを特徴とする付記１〜６のいずれか一つに記載の仮想デスクトッププログラム。
（付記８）前記位置情報を算出する処理では、
前記記憶部に時系列に記憶された前記位置情報に基づいて、前記特定の時刻から前記現在の時刻までの加速度を算出し、
算出した前記加速度に基づいて、前記現在の時刻から前記第１時間経過した後の時刻における前記図形の位置情報を算出する、
ことを特徴とする付記１〜６のいずれか一つに記載の仮想デスクトッププログラム。
（付記９）サーバにアプリケーションプログラムを実行させるクライアント端末装置が、
前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
受信した前記画像情報に含まれる画像を表示する、
処理を実行することを特徴とする仮想デスクトップ処理方法。
（付記１０）サーバと、
前記サーバにアプリケーションプログラムを実行させるクライアント端末装置と、
を有する仮想デスクトップシステムであって、
前記クライアント端末装置が、
前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
受信した前記画像情報に含まれる画像を表示する、
処理を実行し、
前記サーバが、
前記クライアント端末装置から前記操作情報を受信し、
受信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を生成し、
生成した前記画像情報を前記クライアント端末装置に送信する、
処理を実行することを特徴とする仮想デスクトップシステム。
１００ 仮想デスクトップシステム
１０１ サーバ
１０２ クライアント端末装置
１１１ マウス
１１２ 記憶部
８０１ 受付部
８０２ 判定部
８０３ 算出部
８０４ 補正部
８０５，８１３ 送信部
８０６，８１１ 受信部
８０７ 表示部
８１２ 生成部
ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６ マウス位置
Ｘ０ａ，Ｙ０ａ，Ｘ１ａ，Ｙ１ａ，Ｘ２ａ，Ｙ２ａ 視野幅
Ｘ０ｓ，Ｙ０ｓ，Ｘ１ｓ，Ｙ１ｓ，Ｘ２ｓ，Ｙ２ｓ 視野始点
Ｘ０ｅ，Ｙ０ｅ，Ｘ１ｅ，Ｙ１ｅ，Ｘ２ｅ，Ｙ２ｅ 視野終点

Claims (6)

  1. サーバにアプリケーションプログラムを実行させるクライアント端末装置に、
    前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
    前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
    前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
    算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
    送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
    受信した前記画像情報に含まれる画像を表示する、
    処理を実行させることを特徴とする仮想デスクトッププログラム。
  2. 前記位置情報を算出する処理では、
    前記特定の時刻から前記現在の時刻までの前記位置情報が示す位置を結ぶ線が円弧線である場合、前記現在の時刻から前記第１時間経過した後の時刻における、前記円弧線の前記方向の延長線上にある前記図形の位置情報を算出し、
    前記特定の時刻から前記現在の時刻までの位置情報が示す位置を結ぶ線が直線である場合、前記現在の時刻から前記第１時間経過した後の時刻における、前記直線の前記方向の延長線上にある前記図形の位置情報を算出する、
    ことを特徴とする請求項１に記載の仮想デスクトッププログラム。
  3. 前記クライアント端末装置に、
    前記現在の時刻における前記位置情報と、特定の視野に応じた視野幅と、に基づく、前記画面上の視野範囲を特定し、
    算出した前記位置情報が表す位置が、特定した前記視野範囲に含まれない場合、算出した前記位置情報が表す位置を、特定した前記視野範囲に含まれる位置となるように補正する、
    処理を実行させ、
    前記サーバへ送信する処理では、
    補正した前記位置情報を送信する、
    ことを特徴とする請求項１または２に記載の仮想デスクトッププログラム。
  4. 前記記憶部に前記位置情報を記憶させる時間間隔は、前記操作情報を前記サーバへ送信する時間間隔よりも短いことを特徴とする請求項１〜３のいずれか一つに記載の仮想デスクトッププログラム。
  5. サーバにアプリケーションプログラムを実行させるクライアント端末装置が、
    前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
    前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
    前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
    算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
    送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
    受信した前記画像情報に含まれる画像を表示する、
    処理を実行することを特徴とする仮想デスクトップ処理方法。
  6. サーバと、
    前記サーバにアプリケーションプログラムを実行させるクライアント端末装置と、
    を有する仮想デスクトップシステムであって、
    前記クライアント端末装置が、
    前記クライアント端末装置が有する入力装置に対する操作によって得られる、前記サーバと前記クライアント端末装置との間で共有する画面上の前記操作の対象を表す図形の位置情報を時系列に記憶部に記憶させ、
    前記記憶部に時系列に記憶された前記位置情報に基づいて、前記位置情報を得た各時刻のうちの特定の時刻から現在の時刻までの間に、前記操作によって前記図形を前記画面上で同一の方向に閾値を超える速度で移動させたか否かを判定し、
    前記図形を同一の方向に前記閾値を超える速度で移動させたと判定した場合、前記記憶部に時系列に記憶された前記位置情報に基づいて、前記現在の時刻から、前記クライアント端末装置と前記サーバとの間の通信に要する通信時間を含む第１時間を経過した後の時刻における前記図形の位置情報を算出し、
    算出した前記位置情報を含む操作情報を、前記サーバへ送信し、
    送信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を前記サーバから受信し、
    受信した前記画像情報に含まれる画像を表示する、
    処理を実行し、
    前記サーバが、
    前記クライアント端末装置から前記操作情報を受信し、
    受信した前記操作情報に基づく前記アプリケーションプログラムの実行に応じた画面の画像を含む画像情報を生成し、
    生成した前記画像情報を前記クライアント端末装置に送信する、
    処理を実行することを特徴とする仮想デスクトップシステム。
JP2015215445A 2015-11-02 2015-11-02 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム Expired - Fee Related JP6515787B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015215445A JP6515787B2 (ja) 2015-11-02 2015-11-02 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム
US15/285,048 US10078383B2 (en) 2015-11-02 2016-10-04 Apparatus and method to display moved image data processed via a server at a predicted position on a screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015215445A JP6515787B2 (ja) 2015-11-02 2015-11-02 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム

Publications (2)

Publication Number Publication Date
JP2017090950A true JP2017090950A (ja) 2017-05-25
JP6515787B2 JP6515787B2 (ja) 2019-05-22

Family

ID=58637482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015215445A Expired - Fee Related JP6515787B2 (ja) 2015-11-02 2015-11-02 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム

Country Status (2)

Country Link
US (1) US10078383B2 (ja)
JP (1) JP6515787B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146461A (ja) * 2019-03-12 2020-09-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームシステム、プログラム、及び、ゲームの制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427528B (zh) * 2020-03-20 2023-07-25 北京字节跳动网络技术有限公司 显示方法、装置和电子设备
CN111414892B (zh) * 2020-04-09 2023-05-12 上海盛付通电子支付服务有限公司 直播中的信息发送方法
CN111682988B (zh) * 2020-06-18 2022-10-04 重庆京像微电子有限公司 远程控制方法、装置、存储介质和处理器
CN112732105B (zh) * 2020-12-31 2023-03-28 贵阳动视云科技有限公司 一种鼠标抖动控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654726A (en) * 1993-05-27 1997-08-05 International Business Machines Corporation Screen display sharing system
JPWO2006057185A1 (ja) * 2004-11-26 2008-08-07 株式会社セガ 情報処理装置、データ処理方法、プログラム及び記録媒体
JPWO2010095195A1 (ja) * 2009-02-17 2012-08-16 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、オブジェクト選択装置に用いられる集積回路、及びオブジェクト選択方法
JP2013050921A (ja) * 2011-08-31 2013-03-14 Fujitsu Ltd ポインタ位置補正方法、ポインタ位置補正プログラムおよびサーバ装置
JP2015212920A (ja) * 2014-04-16 2015-11-26 俊介 山内 先行画像生成プログラム、仮想マシーン制御プログラムおよびコンピュータ可読記憶媒体
JP2016018260A (ja) * 2014-07-04 2016-02-01 日本電気株式会社 クライアントサーバシステム、制御方法および制御プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454520A (ja) 1990-06-21 1992-02-21 Seiko Epson Corp マウスカーソルの表示方法
JPH05268134A (ja) 1992-03-23 1993-10-15 Fujitsu Ten Ltd 航行位置自立特定型ａｖｍシステムにおける移動局位置のモニタ方法
JP3511462B2 (ja) * 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
JP4069439B2 (ja) 2002-06-06 2008-04-02 ソニー株式会社 情報処理装置、表示制御方法、表示制御プログラム及び表示制御プログラム格納媒体
WO2006081634A2 (en) * 2005-02-04 2006-08-10 Barco N.V. Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
JP4720719B2 (ja) 2006-10-31 2011-07-13 日本電気株式会社 ポインタ制御装置、ポインタ制御方法及びポインタ制御プログラム
IL196923A (en) * 2009-02-05 2014-01-30 Elbit Systems Ltd Driving an imaging device on a suspended communication channel
US8972563B2 (en) * 2010-11-30 2015-03-03 Red Hat, Inc. Updating changes to caches
GB2496378B (en) * 2011-11-03 2016-12-21 Ibm Smart window creation in a graphical user interface
US9773333B2 (en) * 2012-06-12 2017-09-26 Sony Corporation Information processing device, information processing method, and program
JP6221214B2 (ja) * 2012-09-26 2017-11-01 富士通株式会社 システム、端末装置および画像処理方法
JP2015005228A (ja) 2013-06-21 2015-01-08 富士電機株式会社 カーソル移動制御装置、そのプログラム
WO2015081846A1 (en) * 2013-12-04 2015-06-11 City University Of Hong Kong A target pointing system for use in graphical user interface
US9426259B2 (en) * 2014-02-05 2016-08-23 Fen Research Limited Client server interaction for graphical/audio applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654726A (en) * 1993-05-27 1997-08-05 International Business Machines Corporation Screen display sharing system
JPWO2006057185A1 (ja) * 2004-11-26 2008-08-07 株式会社セガ 情報処理装置、データ処理方法、プログラム及び記録媒体
JPWO2010095195A1 (ja) * 2009-02-17 2012-08-16 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、オブジェクト選択装置に用いられる集積回路、及びオブジェクト選択方法
JP2013050921A (ja) * 2011-08-31 2013-03-14 Fujitsu Ltd ポインタ位置補正方法、ポインタ位置補正プログラムおよびサーバ装置
JP2015212920A (ja) * 2014-04-16 2015-11-26 俊介 山内 先行画像生成プログラム、仮想マシーン制御プログラムおよびコンピュータ可読記憶媒体
JP2016018260A (ja) * 2014-07-04 2016-02-01 日本電気株式会社 クライアントサーバシステム、制御方法および制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146461A (ja) * 2019-03-12 2020-09-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームシステム、プログラム、及び、ゲームの制御方法
JP7322341B2 (ja) 2019-03-12 2023-08-08 株式会社コナミデジタルエンタテインメント ゲーム装置、及び、ゲームシステム

Also Published As

Publication number Publication date
JP6515787B2 (ja) 2019-05-22
US10078383B2 (en) 2018-09-18
US20170123517A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6515787B2 (ja) 仮想デスクトッププログラム、仮想デスクトップ処理方法、および仮想デスクトップシステム
KR102401617B1 (ko) 증강 현실 효과들의 동적 점진적 열화
CN108810281B (zh) 丢帧补偿方法、装置、存储介质及终端
US20180324415A1 (en) Real-time automatic vehicle camera calibration
US12462486B2 (en) Adaptive mesh reprojection for low latency 6DOF rendering
US9716907B2 (en) Updating thin-client display based on a thin-out rate
CN115797401B (zh) 对齐参数的验证方法、装置、存储介质及电子设备
US20170269709A1 (en) Apparatus, method for image processing, and non-transitory medium storing program
JP2021174531A (ja) 目標追跡方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
JP5523086B2 (ja) 情報提示装置、情報提示方法、及びプログラム
JP2018531564A (ja) ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体
CN118365835A (zh) 渲染图像的方法、装置、电子设备和存储介质
KR20130128202A (ko) 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치
US20230351674A1 (en) Image processing device and image processing method
US20230224451A1 (en) Information processing apparatus, information processing method, and program
JP2017228241A (ja) 画面送信方法、画面送信装置、及びプログラム
CN106919376B (zh) 动态画面传输方法、伺服器装置及用户装置
EP3048524B1 (en) Document display support device, terminal, document display method, and computer-readable storage medium for computer program
JP5861684B2 (ja) 情報処理装置、及びプログラム
JPWO2015107672A1 (ja) 画像処理プログラム、画像処理方法、および画像処理装置
CN116027956A (zh) 一种笔迹显示方法、装置、设备及存储介质
JP5701964B2 (ja) 画面中継装置
CN119537630B (zh) 一种信息展示方法、装置、设备、存储介质及程序产品
JP2015005841A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN119545062A (zh) 一种直播画面处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6515787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees