JP2004086550A

JP2004086550A - Display screen update system

Info

Publication number: JP2004086550A
Application number: JP2002246529A
Authority: JP
Inventors: 忠匡 ▲高▼良; Tadamasa Takara; Takashi Masuno; 貴司増野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-08-27
Filing date: 2002-08-27
Publication date: 2004-03-18

Abstract

【課題】情報処理装置の表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、遠隔の表示端末装置で表示画面を快適に閲覧できるようにすること。
【解決手段】情報処理装置のビデオコントローラから出力される表示画面のフレームデータをフレーム単位で格納するメモリ領域、前後のフレーム間で比較を行い所定の矩形領域単位での相違を検出し、更新された矩形領域を抽出する手段、表示画面の更新された領域を通知するフラグを記録するフラグテーブル、フラグテーブルを参照して伝送すべき表示画面の伝送画面領域を決定する伝送画面領域決定手段、伝送画面領域の画素データを抽出する伝送画面データ抽出手段、伝送画面データを圧縮する画像圧縮手段、圧縮された伝送画面データを表示端末装置に伝送する通信手段を備える。
【選択図】　図５In a display screen updating system for an information processing apparatus, a load on a CPU of an information processing apparatus for transmitting a display screen is reduced, a remote display screen is quickly updated, and the display screen is updated by any drawing command. And make it possible to view the display screen comfortably on a remote display terminal device.
A memory area for storing frame data of a display screen output from a video controller of an information processing apparatus in frame units, a comparison is made between preceding and succeeding frames, and a difference in a predetermined rectangular area unit is detected and updated. Means for extracting a rectangular area, a flag table for recording a flag for notifying an updated area of the display screen, a transmission screen area determining means for determining a transmission screen area of a display screen to be transmitted with reference to the flag table, and transmission. A transmission screen data extraction unit for extracting pixel data of a screen area, an image compression unit for compressing transmission screen data, and a communication unit for transmitting the compressed transmission screen data to a display terminal device are provided.
[Selection diagram] FIG.

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置の表示画面更新システムに関し、特に情報処理装置の表示画面を通信回線を介して結ばれた遠隔の表示端末装置に伝送し、表示端末装置側に情報処理装置の表示画面を表示する情報処理装置の表示画面更新システムに関する。
【０００２】
【従来の技術】
近年、携帯電話や無線ＬＡＮ等の移動体通信の発展とともに、ノート型パーソナルコンピュータやＰＤＡなどの携帯型端末装置を用いたモバイルコンピューティングがさかんに行われており、これらの携帯型端末装置で、会社や自宅などの遠隔にあるパーソナルコンピュータ等の情報処理装置を操作して情報処理装置の画面を閲覧したいという要望が高まっている。
【０００３】
従来、電話回線やネットワーク等の通信回線を利用した情報処理装置の遠隔表示画面更新システムして、例えば、ＶＮＣ（Ｖｉｒｔｕａｌ　Ｎｅｔｗｏｒｋ　Ｃｏｍｐｕｔｉｎｇ）方式を用いた情報処理装置の遠隔表示画面更新システムがある。ＶＮＣ方式を用いた従来の情報処理装置の遠隔表示画面更新システムの全体構成を図２３に示す。情報処理装置３０１と、遠隔の表示端末装置３０２は通信回線３０３を介して接続されている。この従来の情報処理装置の遠隔表示画面更新システムにおいて、従来の情報処理装置は、制御装置であるＣＰＵ３０４と、ＣＰＵ３０４で処理される各種データや、処理の手順を示すプログラムを格納するメインメモリ３０５と、同じく各種データやプログラムを記録しているハードディスク等の大容量記憶装置３０６と、表示画面の画素データを格納する表示バッファ３０７と、ＣＰＵ３０４からの制御命令に従い、画面データの処理や、情報処理装置の表示装置に表示を行うビデオコントローラ３０８と、遠隔の表示端末装置３０２と通信を行う通信装置３０９と、ユーザからの操作を入力するための入力装置３１０から構成されており、情報処理装置３０１が描画する表示画面を遠隔の表示端末装置３０２に表示する。情報処理装置３０１上では、メインメモリ３０５や大容量記憶装置３０６に記憶されたオペレーションシステムや様々なアプリケーションプログラムがＣＰＵ３０４により実行されており、アプリケーションプログラムそれぞれが描画命令を発行し、その命令に従い、ＣＰＵ３０４やビデオコントローラ３０８が表示バッファ３０７に表示画面を描画している。
【０００４】
次に、ＶＮＣを利用した従来の情報処理装置の遠隔表示画面更新システムでは、各アプリケーションプログラムが発行する描画命令を監視し、表示画面の伝送領域候補を抽出し、抽出した表示画面の伝送領域候補を統合する。次に統合した伝送領域候補の画素データを表示バッファ３０７から読み出して、読み出した画素データの値を前回表示端末装置に伝送した画素データの値と比較し、前回から変化した更新画面領域を決定する。次に、決定した更新画面領域の画素データを表示バッファ３０７から読み出し、画素データを可逆圧縮して、通信装置３０９から遠隔の表示端末装置に伝送するといった方法で情報処理装置３０１の表示画面の伝送を実現している。
【０００５】
また、他の従来の情報処理装置の遠隔表示画面更新システムとして、他に特開平８−２９７６１７号公報のように、アプリケーションプログラムが発行する命令から描画命令だけを抽出し、その描画命令を通信回線を介して遠隔の表示端末装置に伝送し、遠隔の表示端末装置では、受け取った描画命令を実行することでコンピュータの表示画面を遠隔の表示端末装置に伝送するコンピュータの遠隔表示装置も提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＶＮＣ方式による従来の情報処理装置の遠隔表示画面更新システムにおいては、伝送候補領域の抽出、伝送候補領域の画素データの読み込み、画素データの比較などの処理をすべてＣＰＵで行うため、情報処理装置の負荷が非常に大きく、画面の更新が行われない場合でも負荷が高い。また、伝送候補領域の抽出から更新画面領域の決定までに時間を要するため、高速に変化する画面に迅速に対応できない。また、表示バッファから伝送する表示画面データを取り出すため、ビデオコントローラのアクセラレーション機能を使用する表示バッファに画素データを直接書き込まないような描画命令（例えば、ＷＩＮＤＯＷＳのＤｉｒｅｃｔ　Ｄｒａｗによる画面描画）によって描かれた表示画面には、表示バッファに画素データがないため対応できない。また、情報処理装置の描画画面は、遠隔の表示端末装置側でも忠実に再現することを要求される場合が多く、ボケや歪み等が許されない場合が多いことから、全更新画面を可逆圧縮して伝送していたため、ユーザが視覚的に認識できない画面更新によるデータや注視していない画面領域のデータ等の必ずしも必要でない画面データもユーザが視覚的に認識できるような画面の更新による画面データ等の本来、優先的に伝送すべき画面データも同条件で伝送するため、ユーザにとって、本来は不要なデータの伝送、データの処理が行われていた。
【０００７】
また、特開平８−２９７６１７号公報によるコンピュータの遠隔表示装置では、情報処理装置側で処理される描画コマンドをそのまま、遠隔の表示端末装置に送信して表示画面を更新させるため、迅速に表示画面を更新するには、遠隔の表示端末装置は、操作する情報処理装置と同等以上の描画処理能力が必要となり、遠隔の表示端末装置が携帯端末装置のような描画処理能力の低い端末装置であれば、迅速に表示画面を更新するができない。
【０００８】
それ故に、本発明の目的は、情報処理装置の遠隔表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示端末装置の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、ユーザが視覚的に違和感を感じることなく伝送するデータ量を削減でき、遠隔の表示端末装置は例えば、低消費電力が要求される携帯端末装置のような描画処理能力が情報処理装置よりも劣る場合でも、情報処理装置の表示画面を迅速に更新できることである。
【０００９】
【課題を解決するための手段】
前記従来の課題を解決するため、第１の発明（請求項１に対応）は、表示端末装置に表示画面を伝送する表示画面更新システムであって、ビデオコントローラと、ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、前記実表示画面フレーム記憶手段に記憶された２フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システムである。
【００１０】
また、第２の発明（請求項２に対応）は、表示端末装置に表示画面を伝送する表示画面更新システムであって、ビデオコントローラと、ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、前記ビデオコントローラから前記実表示画面フレーム記憶手段へのフレームのデータの出力記録と同時にその出力記録データと前記実表示画面フレーム記憶手段に記録された前フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システムである。
【００１１】
また、第３の発明（請求項３に対応）は、前記実表示画面フレーム記憶手段は２以上のメモリで構成され、フレーム毎に記憶するメモリを変更することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１２】
また、第４の発明（請求項４に対応）は、前記伝送画面データ抽出手段は前記伝送画面領域決定手段によって決定された伝送画面領域の画素データを前記実表示画面フレーム記憶手段から抽出することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１３】
また、第５の発明（請求項５に対応）は、前記実表示画面フレーム記憶手段に記録するフレームの間隔を定めるフレーム間隔数を格納し、前記フレーム間隔数毎に前記実表示画面フレーム記憶手段にフレームデータの記録をする制御を行うフレーム格納レート制御手段を有することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１４】
また、第６の発明（請求項６に対応）は、所定の期間毎もしくは所定のフレームの発生回数期間毎に表示画面が更新された更新回数を検出し、前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する表示画面更新回数検出手段を有することを特徴とする第５の発明記載の表示画面更新システムである。
【００１５】
また、第７の発明（請求項７に対応）は、前記通信手段の送信バッファの残量を検出し、前記バッファの残量に基づいて前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する送信バッファ残量検出手段を有することを特徴とする第５の発明記載の表示画面更新システムである。
【００１６】
また、第８の発明（請求項８に対応）は、前記更新矩形領域抽出手段は更新の有無を画面の相違が一定以上か否かにより抽出することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１７】
また、第９の発明（請求項９に対応）は、前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違が１画素でも所定の値以上の場合は更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００１８】
また、第１０の発明（請求項１０に対応）は、前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違を検出した数が所定の値以上の場合は更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００１９】
また、第１１の発明（請求項１１に対応）は、前記更新矩形領域抽出手段は所定の矩形領域の画素データを周波数成分へ変換して所定の周波数の成分に相違があると更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００２０】
また、第１２の発明（請求項１２に対応）は、前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送必要な相違未満の相違の有無を抽出し、前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域については所定時間毎に伝送画面領域として決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２１】
また、第１３の発明（請求項１３に対応）は、前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送不要な相違の有無を抽出し、前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域についてはフラグ発生回数が所定の回数以上となった場合に伝送画面領域として決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２２】
また、第１４の発明（請求項１４に対応）は、分割された画面領域毎に優先度を設定する領域優先度設定手段を有し、前記領域優先度設定手段で設定した優先度に基づいて画面領域毎の更新時間間隔を決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２３】
また、第１５の発明（請求項１５に対応）は、前記フラグテーブルの更新有のフラグが発生した回数を計数し、計数回数に応じて表示画面を幾つかの矩形領域から構成される複数の画面領域に分割して前記領域優先度設定手段に優先度を設定するフラグ更新回数計数手段を有することを特徴とする第１４の発明記載の表示画面更新システムである。
【００２４】
また、第１６の発明（請求項１６に対応）は、動作中のアプリケーションプログラムを検出して画面領域を検出するアプリケーションプログラム表示位置検出手段と、アプリケーションプログラムが描画する画面の特性を格納したアプリケーションプログラム描画画面特性テーブルを有し、前記アプリケーションプログラム表示位置検出手段が検出した画面領域と前記アプリケーションプログラム描画画面特性テーブルに格納された画面の特性に基づいて前記領域優先度設定手段に優先度を設定することを特徴とする第１４の発明記載の表示画面更新システムである。
【００２５】
また、第１７の発明（請求項１７に対応）は、分割された画面領域毎に圧縮方法を設定する領域別圧縮方法選択手段を有し、前記画像圧縮手段は前記領域別圧縮方法選択手段で選択した圧縮方法に基づいて伝送画面データに所定の圧縮処理を施すことを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システム。
【００２６】
【発明の実施の形態】
（実施の形態１）
図面により本発明の実施の形態１について説明する。図１は情報処理装置の遠隔表示画面更新システムの実施の形態１の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に自身の表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置２を結ぶ通信回線３で構成されている。
【００２７】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００２８】
メインメモリ５はオペレーションシステムのプログラムや各種アプリケーションプログラムを格納する半導体のＲＡＭやＲＯＭであり、大容量記憶装置６は、ハードディスク、ＣＤ−ＲＯＭ装置などであり、入力装置１０は、キーボード、マウスなどユーザが操作を入力するための装置であり、通信装置９はモデム、ＬＡＮ、無線ＬＡＮなどの表示端末装置と通信を行うための装置である。
【００２９】
ＣＰＵ４は、メインメモリ５や大容量記憶装置６に記録されているオペレーションシステムのプログラムや各種アプリケーションプログラムの命令に従って情報処理装置１の制御を行い、これらの各種プログラムの命令に従い、表示する画面データを表示バッファ７に随時書き込む制御装置である。
【００３０】
ビデオコントローラ８は、ＣＰＵ４からの命令に従い、表示画面の画面データの処理を行い、表示画面を表示装置で表示させるために、フレーム制御信号と表示画面のフレームデータの出力を行う装置である。
【００３１】
画像圧縮装置１１は、伝送する画面データを圧縮する装置であり、情報処理装置の画面は一般に、静止画が多く、表示内容の正確さが求められることが多いため、ハフマン符号化等の可逆圧縮を用いる。なお、ここで画像圧縮装置１１は、専用のハードウエア回路を用いてもいいし、アプリケーションプログラムをメインメモリ５や大容量記憶装置６に記録し、ＣＰＵ４によって処理するように構成してもかまわない。
【００３２】
また、メモリＡ１２、メモリＢ１３は、ビデオコントローラ８から出力される表示画面のフレームデータを格納する実表示フレーム記憶手段であって、ビデオコントローラ８から出力されるフレーム制御信号（例えば、垂直同期信号）に従い、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２、メモリＢ１３を交互に切り替えて、ビデオコントローラ８から出力される表示画面のフレームデータをピクセルクロックレートで格納する。
【００３３】
更新矩形領域抽出回路１５は、フレーム制御信号により、垂直非表示区間を検出して、メモリＡ１２、メモリＢ１３に格納された前後フレームの表示画面のフレームデータを１画素ずつ読み出して、比較し、相違を検出すると、フラグテーブル１６の相違のあった画素に対応したフラグに反映する。
【００３４】
図２はフラグと表示画面の関係を示した図である。表示画面領域を所定の矩形領域で分割した１つの矩形領域毎に１つのフラグが割り当てられており、例えば、図２に示されるように、８×８画素の矩形領域２１に対して１つのフラグ２２がフラグテーブル１６に割り当てられている。フラグテーブル１６は、システムバスＩ／Ｆ（インターフェイス）１７経由でＣＰＵ４から読み取ることができ、ＣＰＵ４は、フラグテーブル１６のどのフラグがセットされているかをみれば、どの領域を送ればよいのかわかる。図２の例では、８×８画素の矩形領域に１つのフラグを対応づけたが、１つのフラグに対応する矩形領域の大きさは、１６×１６画素とか１６×８画素であってもよく、これに限るものではない。
【００３５】
次に実施の形態１の情報処理装置の遠隔表示画面更新システムの動作について説明する。図３は、実施の形態１の情報処理装置の処理を示したフローチャートである。
【００３６】
まず、接続された表示端末装置２から表示画面要求を受け付けると、処理が開始され、ステップＳ１０１で、ビデオコントローラから１フレーム単位での表示画面のフレームデータの取り込みを開始する。次にステップＳ１０２で表示バッファに記録されている表示画面の全データを抽出する。次にステップＳ１０３で、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ１０４では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ１０５で更新矩形領域抽出回路１５がメモリＡ１２、メモリＢ１３に格納された表示画面のフレームデータを比較し、更新矩形領域が抽出されフラグテーブル１６への反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ１０６に進む。ステップＳ１０６では、フラグテーブル１６のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ１０７で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ１０８では、伝送すべき領域の表示画面データを表示バッファ７から抽出し、ステップＳ１０９では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ１１０で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ１０５へ戻り、次のフレーム間の更新矩形領域が抽出されるのを待ち、この処理を表示端末装置２から切断要求がくるまで繰り返す。
【００３７】
よって、本実施の形態により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域を抽出することが可能となる。
【００３８】
（実施の形態２）
図面により本発明の実施の形態２について説明する。図４は情報処理装置の遠隔表示画面更新システムの実施の形態２の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置を結ぶ通信回線３で構成されている。
【００３９】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００４０】
実施の形態２では、ビデオコントローラ８のフレーム制御信号（例えば、垂直同期信号）に従って、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２とメモリＡ１３を交互に切り替えて、表示画面のフレームデータをピクセルクロックレートで格納しつつ、同時に更新矩形領域抽出回路１５は、ビデオコントローラ８から出力された表示画面のフレームデータとメモリＡ１２もしくはメモリＢ１３の一方に格納された前回のフレームデータとをリアルタイムで比較し、所定の矩形領域内の画素データの相違を検出すると、フラグテーブル１６の対応するフラグに反映する。
【００４１】
実施の形態２の情報処理装置の遠隔表示画面更新システムの動作については、実施の形態１で説明した処理の流れと同様であり、実施の形態１の情報処理装置の遠隔表示画面更新システムの動作を示した図３のフローチャートで説明する。
【００４２】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ１０１で、ビデオコントローラ８から１フレーム単位での表示画面のフレームデータのメモリへの格納を開始する。次にＳ１０２で表示バッファに記録されている表示画面の全データを抽出する。次にステップＳ１０３で、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ１０４では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ１０５で更新矩形領域抽出回路１５がメモリＡ１２、メモリＢ１３の一方に取り込まれた前回のフレームデータと現在のビデオコントローラ８から出力されたフレームデータを比較し、更新矩形領域が抽出されフラグテーブルへの反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ１０６に進む。ステップＳ１０６では、フラグテーブル１６のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ１０７で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ１０８では、伝送すべき領域の表示画面データを表示バッファ７から抽出し、ステップＳ１０９では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ１１０で通信装置が受け取った圧縮済みの表示画面データを表示端末装置２に伝送する。そして、ステップ１０５へ戻り、次のフレーム間の更新矩形領域抽出処理の完了を待ち、この処理を表示端末装置から切断要求がくるまで繰り返す。
【００４３】
以上により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域をリアルタイム抽出することが可能となり、表示画面の更新に迅速に対応可能となる。
【００４４】
（実施の形態３）
図面により本発明の実施の形態３について説明する。図５は情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に自身の表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置２を結ぶ通信回線３で構成されている。
【００４５】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００４６】
実施の形態３では、ビデオコントローラ８のフレーム制御信号（垂直同期信号に従って、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２とメモリＡ１３を交互に切り替えて、表示画面のフレームデータをピクセルクロックレートで格納しつつ、同時に更新矩形領域抽出回路１５は、ビデオコントローラから出力された表示画面のフレームデータとメモリＡ１２もしくはメモリＡ１３の一方に格納された前回のフレームデータとをリアルタイムで比較し、所定の矩形領域内の画素データの相違を検出すると、フラグテーブル１６の対応するフラグに反映する。またメモリＡ１２とメモリＢ１３は、システムバスＩ／Ｆ１７を経由してＣＰＵ４から直接読み取ることができる。
【００４７】
次に実施の形態３の情報処理装置の遠隔表示画面更新システムの動作について説明する。図６は、実施の形態３の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャートである。
【００４８】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ２０１で、ビデオコントローラから１フレーム分の表示画面のフレームデータのメモリＡ１２への格納を開始する。次にステップＳ２０２で、１フレーム分の表示画面のフレームデータの格納が終了するのを待つ。１フレーム分の表示画面のフレームデータの格納が終了すると、ステップＳ２０３で、メモリＡ１２から格納した表示画面のフレームデータを抽出する。ステップＳ２０４では、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ２０５では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ２０６で更新矩形領域抽出回路１５がメモリＡ１２に取り込まれた表示画面のフレームデータとビデオコントローラから出力される次の表示画面のフレームデータとを比較し、更新矩形領域が抽出されフラグテーブルへの反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ２０７に進む。ステップＳ２０７では、フラグテーブルのフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ２０８で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ２０９では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリＢ１３から抽出し、ステップＳ２１０では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ２１１で通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ２０６へ戻り、次のフレームの更新矩形領域が抽出されるのを待ち、これを繰り返す。
【００４９】
以上により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域をリアルタイム抽出することが可能となり、表示画面の更新に迅速に対応可能で、さらに、ビデオコントローラから出力される実際の表示画面データを表示端末装置に伝送できるため、ビデオコントローラのアクセラレーション機能を使用した表示バッファに画素データを直接書き込まないような描画命令（例えば、ＷＩＮＤＯＷＳのＤｉｒｅｃｔ　Ｄｒａｗによる画面描画）によって描かれた表示画面の更新も可能となる。
【００５０】
なお、実施の形態３で、実表示フレーム記憶手段として、２つのメモリを使用する例で説明したが、メモリは１つでも２つ以上の複数あってもよいが、１つのメモリで実現するには、２つ以上のメモリで実現するよりも、帯域制限の少ないより高速なメモリが必要となる。
【００５１】
（実施の形態４）
次に本発明の実施の形態４について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態４の全体構成のブロック図を図７に示す。実施の形態４では、実施の形態３の構成に加えて、ビデオコントローラ８から出力される表示画面のフレームデータをフレーム単位で実表示画面フレーム記憶手段に複数フレーム間隔毎に格納するようにフレーム格納レート制御を行うフレーム格納レート制御回路３１を有する構成である。フレーム格納レート制御回路３１は、ビデオコントローラのフレーム制御信号からフレーム数を計数するカウンタと、メモリに格納するフレームレートを設定するフレームレート設定レジスタで構成されている。
【００５２】
フレーム格納レート制御回路は、ビデオコントローラのフレーム制御信号（例えば、垂直同期信号等）からフレーム数を計数し、計数した数がフレームレート設定レジスタに設定された数と一致すると、メモリ切り替え制御回路１４にメモリＡ１２とメモリＢ１３を切り替えさせ、一方のメモリにビデオコントローラの表示画面データの格納を開始させると同時にもう一方のメモリを更新矩形領域抽出回路１５に接続し、更新領域抽出処理を開始させる。そして、ビデオコントローラのフレーム制御信号（垂直同期信号等）からフレーム数を計数し、計数した数がフレームレート設定レジスタに設定された数と一致しない間は、メモリにビデオコントローラ８の表示画面データの格納する処理や更新矩形領域抽出処理は動作させない。
【００５３】
以上により、表示画面の更新に迅速に対応する必要がない場合には、ユーザが更新検出フレームレートを設定することにより、不必要な更新領域を抽出する処理を削減でき、情報処理装置１の消費電力を削減でき、さらに、不必要な更新領域の表示画面データを表示端末に伝送しなくて済み、伝送帯域の節約が可能となる。
【００５４】
（実施の形態５）
次に本発明の実施の形態５について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態５の全体構成は、実施の形態４と同様である。実施の形態５では、情報処理装置１が、所定の期間毎もしくは所定のフレーム格納回数期間毎にその期間内に表示画面が更新されたかどうかを判定する表示画面更新判定手段を有するように構成される。
【００５５】
次に表示画面更新判定手段の動作について図８のフローチャートを用いて説明する。まず、ステップＳ３０１で所定の時間、もしくは、所定のフレーム格納回数をカウントするタイマを動作させる。タイマは動作を開始すると、所定の時間、もしくは、所定のフレーム回数をカウントするたびにカウント終了通知を出す。次にステップＳ３０２で表示画面が更新された回数を数える表示画面更新回数計数処理を開始する。次にステップＳ３０３で、タイマのカウント終了通知を待つ。タイマのカウント終了通知を検出すると、ステップＳ３０４で表示画面更新回数計数処理のカウント値を読み込み、カウント値をクリアする。次に、ステップＳ３０５で、読み込んだ表示画面更新回数により、フレーム格納レート設定レジスタに所定の値を書き込み、フレーム格納レートを変更し、ステップＳ３０３に戻り、次の期間のカウント終了を待つ。
【００５６】
ここで、表示画面更新回数計数処理の動作について説明する。図９は、表示画面更新回数計数処理のフローチャートである。ステップＳ４０１で更新画面領域抽出回路１５が更新画面領域抽出処理が終了するのを待つ。更新画面領域抽出処理の終了を検出するとステップＳ４０２で、フラグテーブルに更新を通知するフラグがセットされているかを見て、セットされていれば、ステップＳ４０３で表示画面更新回数に１を足し、ステップＳ４０１に戻り、次のフレームの更新画面抽出処理が終了するのを待ち、フラグがセットされていなければ、何もしないで、ステップＳ４０１に戻り、次のフレームの更新画面抽出処理が終了するのを待つ。
【００５７】
以上により、表示画面の更新がほとんどない時では、更新検出フレームレートを下げることができ、不必要な更新領域を抽出する処理を削減でき、情報処理装置１の消費電力を削減できる。
【００５８】
（実施の形態６）
次に本発明の実施の形態６について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態６の全体構成は、実施の形態４と同様である。実施の形態６では、情報処理装置１の通信装置９は所定の大きさの送信バッファを持ち、情報処理装置１は、所定の時間毎に送信バッファの残量を検出する手段を有し、送信バッファの残量が所定の値以下であれば、フレーム格納レート制御回路３１のフレーム格納レートを下げ、残量が所定の値以上であれば、フレーム格納レート制御回路のフレーム格納レートを上げるように構成する。
【００５９】
次に、このフレーム格納レート制御の動作について図１０のフローチャートを用いて説明する。まず、ステップＳ５０１で所定の時間、もしくは、所定のフレーム格納回数をカウントするタイマを動作させる。タイマは動作を開始すると、所定の時間、もしくは、所定のフレーム回数をカウントするたびにカウント終了通知を出す。次にステップＳ５０２でタイマのカウント終了通知を待つ。タイマのカウント終了通知を検出すると、ステップＳ５０３で、通信装置９の送信バッファの残量を確認する。次にステップＳ５０４で通信装置９の送信バッファの残量が所定の値以上であれば、フレーム格納レート制御回路３１のフレーム格納レートを上げ、所定の値以下であれば、フレーム格納レートを下げるようにフレーム格納レートの設定を変更し、ステップＳ５０２に戻り、この処理を繰り返す。
【００６０】
以上により、通信装置のバッファの残量を確認することで、通信容量を越える無駄な更新領域を抽出する処理を削減でき、情報処理装置の消費電力を削減でき、さらに、不必要な更新領域の表示画面データを表示端末に伝送しなくて済み、伝送帯域の節約が可能となる。
【００６１】
（実施の形態７）
次に本発明の実施の形態７について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態７の全体構成は、実施の形態３と同様である。以下は、実施の形態７の更新矩形領域抽出回路１５の構成について述べる。
【００６２】
図１１に示されるように更新矩形領域抽出回路１５はビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素毎に各ＲＧＢ成分それぞれの差分の絶対値を演算する演算器４１と、演算の結果から所定矩形領域内の画素の相違が１画素でも所定の値以上であれば、所定の矩形領域に伝送すべき相違があると判断し、所定の矩形領域の画素が所定の値以下で零ではない場合、伝送すべき相違ではないが、相違はあると判断する更新判断回路４２とで構成される。
【００６３】
次に動作について説明する。更新矩形領域抽出処理が開始されると演算器４１は、ビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ずつ、各画素成分の差分の絶対値を計算する。次に、更新判断回路では、演算の結果、１画素毎の差分の絶対値が所定の値（例えば４）以上であれば、所定の矩形領域に伝送すべき相違があるとして、フラグテーブル１６のその画素が含まれる矩形領域に対応するフラグに反映し、１画素毎の差分の絶対値が所定の値（例えば４）より小さい場合には、伝送すべき相違ではないと判断して，フラグテーブル１６への反映は行わないように動作する。
【００６４】
以上により、前後のフレーム間で所定矩形領域内の各画素の色成分の変化がわずかである場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、人間の目でみて分からないようなわずかな色の変化しかない領域の表示端末装置の画面更新は行われず、伝送帯域の節約が可能となる。
【００６５】
（実施の形態８）
次に本発明の実施の形態８について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成と同様である。以下は、実施の形態８の更新矩形領域抽出回路１５の構成について述べる。
【００６６】
図１２に示されるように更新矩形領域抽出回路１５はビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ごとに比較する比較器５１と、比較器５１により検出された所定矩形領域内の画素の相違の数を計数する相違画素計数回路５２と、相違画素計数回路５２が計数した所定矩形領域内の画素の相違の数が所定の値以上であれば矩形領域内に伝送すべき領域があると判断し、所定の矩形領域内の画素の相違の数が所定の値よりも少ない場合、伝送すべき領域はないと判断する更新判断回路５３とで構成される。
【００６７】
次に動作について説明する。更新矩形領域抽出処理が開始されると比較器５１は、ビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ずつ、フラグテーブルの１フラグに対応する所定の矩形領域（例えば、８×８画素で構成される領域）単位で比較する。次に、相違画素計数回路５２は、１矩形領域内で相違があると検出された画素の数をカウントする。更新判断回路５３は、１矩形領域内のすべての画素の比較が終了し、相違画素計数回路５２によりカウントされた１矩形領域の相違画素の数が所定の値（例えば、１つの矩形領域が８×８画素の領域である場合、１６）以上であれば、所定の矩形領域に伝送すべき相違があるとして、フラグテーブルのその画素が含まれる矩形領域に対応するフラグに反映し、相違画素計数回路５２によりカウントされた１矩形領域の相違画素の数が所定の値（例えば、１つの矩形領域が８×８画素の領域である場合、１６）より小さい場合には、伝送すべき相違はないと判断して、フラグテーブルへの反映は行わないように動作する。
【００６８】
以上により、前後のフレーム間で所定矩形領域内の画素の変化した数が少ない場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、表示画面の大きく変化があった領域のみの更新画面データを伝送するだけで済み、伝送帯域の節約が可能となる。
【００６９】
（実施の形態９）
次に本発明の実施の形態９について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成と同様である。以下は、実施の形態９の更新矩形領域抽出回路１５の構成について述べる。
【００７０】
図１３に示されるように更新矩形領域抽出回路１５はビデオコントローラからのフレームデータと前回メモリに格納されたフレームデータとをそれぞれ所定の矩形領域単位で周波数成分に変換するＤＣＴ（離散コサイン変換）演算器６１と、ＤＣＴ演算器により得られた所定の矩形領域の周波数成分データを比較する比較器６２と、所定の周波数よりも低い周波数成分に相違があれば矩形領域内に伝送すべき領域があると判断し、所定の周波数よりも低い周波数成分に相違がなければ、伝送すべき領域はないと判断する更新判断回路６３とで構成される。
【００７１】
次に動作について説明する。更新矩形領域抽出処理が開始されると、更新矩形領域抽出回路１５は、ビデオコントローラからのフレームデータと前回メモリに格納されたフレームデータとをそれぞれフラグテーブルの１フラグに対応する所定の矩形領域（例えば、８×８画素で構成される領域）単位でＤＣＴ演算器６１で画素データを周波数成分のデータに変換する。次に、比較器６２は、それぞれの周波数成分ごとに比較する。更新判断回路６３は、比較器の結果を参照し、所定の低周波成分領域内で周波数成分に相違がある場合、所定の矩形領域に伝送すべき相違があるとして、フラグテーブルのその画素が含まれる矩形領域に対応するフラグに反映し、所定の低周波成分領域内で周波数成分に相違がない場合は、所定の低周波成分領域外の周波数領域で相違があっても所定の矩形領域に伝送すべき相違はないと判断して，フラグテーブルへの反映は行わないように動作する。なお、この実施の形態９では、画素データを周波数成分へ変換する手段として、ＤＣＴ変換を用いたが、これに限るものではなく、他の直交変換（例えばアダマール変換、カルーネンレーベ変換）を用いてもよい。
【００７２】
以上により、前後のフレーム間で所定矩形領域内の画素データの直流および低周波の成分が変化していない場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、人間の目では認識できない高周波成分のみが変化した領域の更新画面データは伝送されず、伝送帯域の節約が可能となる。
【００７３】
（実施の形態１０）
次に本発明の実施の形態１０について説明する。図１４は実施の形態１０の全体構成を示すブロック図である。実施の形態１０では、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、伝送通知フラグテーブル７１、更新通知フラグテーブル７２で構成される。
【００７４】
ここで、更新矩形領域抽出回路１５は、ビデオコントローラからのフレームデータと、前回メモリに格納されたフレームデータとを所定の矩形領域単位で演算を行った後、演算結果から所定の判断基準でこの矩形領域に伝送すべき相違があるかどうかを判定する判断をし、伝送すべき相違があると判断した場合は、伝送通知フラグテーブル７１の該当するフラグをセットし、相違はあるが伝送すべき相違でないと判断した場合には、更新通知フラグテーブル７２の該当するフラグをセットする。また、更新通知フラグテーブルのフラグは、伝送通知フラグテーブルの同一矩形領域に対応するフラグがセットされた場合は、クリアされる。なお、伝送すべき矩形領域かどうかの判断については、実施の形態７〜９で述べた矩形領域内のそれぞれの画素の色成分の差の絶対値を用いたり、矩形領域内で相違がある画素の数を用いたり、矩形領域の画素データを周波数成分に変換してどの周波数成分に相違があるかを用いて判断することが可能である。
【００７５】
次に本実施の形態１０の動作について説明する。図１５は、実施の形態１０の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャートである。
【００７６】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ６０１で、所定の時間を計測するタイマの動作を開始する。タイマは動作を開始すると、所定の時間をカウントするたびにカウント終了通知を出す。次にステップＳ６０２でビデオコントローラ８から１フレーム分のフレームデータのメモリＡ１２もしくはメモリＢ１３のいずれか一方への格納を開始する。次にステップＳ６０３で、１フレーム分のフレームデータの格納の終了を待つ。１フレーム分の表示画面のフレームデータの格納が終了すると、ステップＳ６０４で、メモリＡ１２、メモリＢ１３のいずれか一方に格納した表示画面のフレームデータを抽出する。ステップＳ６０５では、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ６０６では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。
【００７７】
次に、ステップＳ６０７で更新矩形領域抽出回路１５がメモリに格納されたフレームデータとビデオコントローラから出力される次のフレームデータから、伝送矩形領域の抽出処理が終了するのを待ち、伝送矩形領域抽出処理の完了を検出すると、ステップＳ６０８に進む。ステップＳ６０８では、タイマのカウント終了通知を受け取ったかどうかを確認し、カウント終了通知を受け取っていない場合は、所定の時間に到達していないので、ステップＳ６０９へ進み、ステップＳ６０９では、伝送通知フラグテーブル７１のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ６１０で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ６１１では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリＡ１２もしくはメモリＢ１３から抽出し、ステップＳ６１２では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ６１３で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置２に伝送する。そして、ステップＳ６０７へ戻り、次のフレームの伝送矩形領域が抽出されるのを待ち、これを繰り返す。そして、所定の時間が経過し、ステップＳ６０８でカウント終了通知を受け取ると、ステップＳ６１４へ進み、ステップＳ６１４では、伝送通知フラグテーブル７１のフラグ情報を読み出し、読んだフラグはクリアし、次のステップＳ６１５で更新通知フラグテーブル７２のフラグ情報を読み出し、読み出したフラグはクリアする。次に、ステップＳ６１６では、伝送通知フラグテーブル７１から抽出したフラグ情報に対応する画面領域と更新通知フラグテーブル７２から抽出したフラグ情報に対応する画面領域を伝送すべき画面領域として決定し、次にステップＳ６１１では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリから抽出し、ステップＳ６１２では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ６１３で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ６０７へ戻り、次のフレームの伝送矩形領域が抽出されるのを待ち、以降も同じ処理を繰り返す。
【００７８】
以上により、実施の形態１０によれば、前後のフレーム間で所定矩形領域の変化がわずかである場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、伝送帯域の節約が可能となり、さらに、前後のフレーム間で所定矩形領域の変化がわずかであり、その矩形領域は、伝送すべき領域ではないと判断された矩形領域も、一定時間毎に伝送されるため、正確な表示画面が求められる場合でも、定期的に全画面を更新する必要もなくなる。
【００７９】
（実施の形態１１）
次に本発明の実施の形態１１について説明する。実施の形態１１の全体構成は、実施の形態１０と同様であるが、図１６に示すように、更新通知フラグテーブル７２は、更新矩形領域抽出回路１５が、相違はあるが伝送すべき矩形領域でないと判断した場合に、フラグをセットする領域８１と、さらに各フラグ毎にフラグがセットされる回数を記憶するフラグセット回数記憶領域８２を持ち、更新矩形領域抽出回路が、更新通知フラグテーブル７２のそれぞれのフラグをセットする度に、フラグセット回数記憶領域８２の値をインクリメントし、その値が所定の値に達すると、フラグセット回数記憶領域８２の値とフラグをクリアし、伝送通知フラグテーブル７１の同じ矩形領域に対応するフラグをセットする。また、実施の形態１１の更新通知フラグテーブル７２のフラグ同様に、フラグ伝送通知フラグテーブル７１の同一矩形領域に対応するフラグがセットされた場合は、更新通知フラグテーブル７２のフラグはクリアされる。
【００８０】
このような構成の場合、前後のフレーム間で所定矩形領域の変化がわずかである場合には、伝送すべき領域ではないと判断され、表示端末装置に伝送されなかった矩形領域も、わずかな変化が一定回数検出された場合には、伝送通知フラグテーブルに反映され、伝送すべき領域として、表示端末装置に伝送が可能となり、表示画面が非常にゆっくりと変化するような場合にも対応が可能となる。
【００８１】
（実施の形態１２）
次に本発明の実施の形態１２について説明する。実施の形態１２の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００８２】
これを、図を用いて説明する。例えば、図１７は、表示画面の一例である。この画面では、いくつかのウインドウが重なり合っている。図１７では、ウインドウＸ１０１が最上位のウインドウであり、現在、アクティブである。
【００８３】
ここで、領域優先度設定手段は、このウインドウＸ１０１に対応する領域を領域Ａ１０２、それ以外の領域を領域Ｂ１０３として、それぞれに優先度を設定する。例えば、領域Ａ１０２の優先度を１、領域Ｂ１０３の優先度を４とする。優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／１０秒毎、優先度４の場合、４秒毎といった具合である。すると、情報処理装置は、１／１０秒毎に、領域Ａ１０２に対応するフラグテーブルのフラグを読み取り、領域Ａ１０２の更新された矩形領域のみを抽出して表示端末装置２に伝送し、４秒毎に領域Ｂ１０３に対応するフラグテーブルのフラグを読み取り、領域Ｂ１０３の更新された矩形領域を抽出して表示端末装置２に伝送する。
【００８４】
なお、この例では、領域を２つに分割したが、領域は幾つに分割してもよく、また、フラグ優先度のレベルに応じてそれぞれの領域を更新する更新時間で設定されていたが、たとえば、優先度１の場合、１フレーム毎、優先度４の場合は、４０フレーム毎といったようにフレーム数で設定されていてもよい。
【００８５】
以上により、表示画面を複数の画面領域に分割し、その分割した領域毎に画面を更新するレートを変更できるため、重要でない領域の更新レートを下げることにより、伝送するデータ量の削減が可能となる。
【００８６】
（実施の形態１３）
次に本発明の実施の形態１３について説明する。実施の形態１３の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は所定の時間内にフラグテーブルの各フラグがセットされた回数を計数するフラグ更新回数検出手段を持ち、計数された各フラグがセットされた回数に応じて、表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００８７】
次に、これを図を用いて説明する。図１８は、所定時間（例えば、１０秒間）にフラグがセットされた回数をフラグ更新回数計数手段によって計数した一例である。このフラグ更新回数検出手段は、例えば、主記憶に、フラグ更新回数を記録する領域を設け、フラグテーブルからフラグをリードするたびに、セットされているフラグがあれば、そのフラグに対応するフラグ更新回数を記録する領域に記録された更新回数をインクリメントすることによって実現できる。ここで、領域優先度設定手段は、まず、それぞれのフラグの更新回数によって、表示画面を複数の画面領域に分割する。例えば、図１８では、フラグの更新回数が０〜２回のグループである領域Ｘ１１１、３〜１０回のグループである領域Ｙ１１２、１０回以上のグループである領域Ｚ１１３としている。そして、最もフラグの更新回数が多い領域Ｚ１１３の優先度を１、次にフラグの更新回数が多い領域Ｙ１１２の優先度を２、最もフラグの更新回数が少ない領域Ｘ１１１の優先度を５と設定する。
【００８８】
ここで、優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／１０秒毎、優先度２の場合、１秒毎、優先度５の場合、５秒毎といった具合である。
【００８９】
すると、情報処理装置は、１／１０秒毎に、領域Ｚ１１３に対応するフラグテーブルのフラグを読み取り、領域Ｚ１１３の更新された矩形領域のみを抽出して表示端末装置２に伝送し、１秒毎に領域Ｙ１１２に対応するフラグテーブルのフラグを読み取り、領域Ｙ１１２の更新された矩形領域を抽出して表示端末装置２に伝送し、５秒毎に領域Ｘ１１１に対応するフラグテーブルのフラグを読み取り、領域Ｘ１１１の更新された矩形領域を抽出して表示端末装置２に伝送する。
【００９０】
以上、フラグ更新の頻度により、画面領域を複数の領域に分割して、その領域毎の画面の更新レートを変更でき、表示画面の変化の活性度が高い領域を優先して更新することが可能となる。
【００９１】
（実施の形態１４）
次に本発明の実施の形態１４について説明する。実施の形態１４の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は、現在動作しているアプリケーションプログラムを検出して、個々のアプリケーションプログラムが表示画面のどの領域に表示を行っているかを検出するアプリケーション表示位置検出手段と、個々のアプリケーションプログラムとそのアプリケーションプログラムが描画する画面の特性を対応づけたアプリケーションプログラム描画画面特性テーブルを持ち、アプリケーションプログラム表示位置検出手段が検出したアプリケーションプログラム描画領域毎にアプリケーションプログラム描画画面特性テーブルを用いて優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００９２】
次に、これを図を用いて説明する。アプリケーション表示位置検出手段は、例えば、情報処理装置１のオペレーションシステム上で、オペレーションシステムに対するコマンドをモニタするプログラムを動作させておき、オペレーションシステムに対して、各アプリケーションプログラムが発行する描画コマンドを検出することで、現在、アプリケーションプログラムが表示画面のどの領域に表示を行っているか知ることができる。また、あらかじめ、情報処理装置で実行されうるアプリケーションプログラムが描画する画面の特性（例えば、動画、静止画、文字列等）を関連付けたアプリケーションプログラム描画画面特性テーブル１２１を用意しておく。図１９はアプリケーションプログラム描画画面特性テーブルの一例を示す。
【００９３】
例えば、図２０では、アプリケーションプログラム▲１▼が表示画面の領域α１３１に描画を行っており、アプリケーションプログラム▲２▼が表示画面の領域β１３２に描画を行っている。ここで、アプリケーションプログラム表示位置検出手段により、領域α１３１は、アプリケーションプログラム▲１▼が描画を行っており、領域β１３２はアプリケーションプログラム▲２▼が描画を行っていることを検出できる。次に、図１９に示したアプリケーションプログラム描画画面特性テーブル１２１より、領域α１３１は動画が描画されている領域、領域β１３２は、文字列が描画されている領域、それ以外の領域γ１３３は、アプリケーションプログラムが描画を行っていない領域と判断でき、領域優先度設定手段は、例えば、領域α１３１は、動画が描画されているので優先度を１、領域β１３２は、文字列が描画されているので優先度を３、領域γ１３３は、アプリケーションプログラムが描画を行っていないので、優先度を１０と設定できる。
【００９４】
ここで、優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／３０秒毎、優先度３の場合、３秒毎、優先度１０の場合、１０秒毎といった具合である。
【００９５】
すると、情報処理装置は、１／３０秒毎に、領域α１３１に対応するフラグテーブルのフラグを読み取り、領域α１３１の更新された矩形領域のみを抽出して表示端末装置に伝送し、３秒毎に領域β１３２に対応するフラグテーブルのフラグを読み取り、領域β１３２の更新された矩形領域を抽出して表示画面に伝送し、１０秒毎に領域γ１３３に対応するフラグテーブルのフラグを読み取り、領域γ１３３の更新された矩形領域を抽出して表示画面に伝送する。
【００９６】
以上により、表示画面に描画を行っているアプリケーションプログラムを検出して、あらかじめ登録したアプリケーションプログラムが描画する画面特性を参照することにより、表示画面の画面特性に適した画面の更新を行うことが可能となる。
【００９７】
（実施の形態１５）
次に本発明の実施の形態１５について説明する。実施の形態１５の構成は実施の形態３の全体構成と同様であるが、図２１に示すように画像圧縮装置１１は、少なくとも１つの可逆圧縮手段１４１と少なくとも１つの非可逆圧縮手段１４２を持つようにする。可逆圧縮手段１４１は、例えば、ハフマン符号化、算術符号化等があり、また、非可逆圧縮手段１４２は、例えば、ＤＣＴ（離散コサイン変換）を利用したＪＰＥＧ等がある。
【００９８】
本方法では、情報処理装置１は表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に圧縮方法を設定する領域別圧縮方法選択手段を有し、分割された領域に対応する画面領域をそれぞれ領域別圧縮方法選択手段で選択された圧縮方法で圧縮して表示端末装置に伝送するようにする。
【００９９】
次に動作について説明する。図２２は、実施の形態１５の情報処理装置１の表示画面の一例である。この画面では、いくつかのウインドウが重なり合っている。図２２では、ウインドウＷ１５１が最上位のウインドウであり、現在、アクティブである。
【０１００】
領域別圧縮方法選択手段は、例えば、オペレーションシステムに現在、どのウインドウがアクティブであるかを問い合わせて、ウインドウＷ１５１がアクティブであることを認識し、ウインドウＷ１５１に対応する領域を領域Ａ１５２、それ以外の領域を領域Ｂ１５３として、それぞれに圧縮方法を設定する。例えば、領域Ａ１５２はアクティブウィンドウであり、ボケや歪みのない画像が求められるため、可逆圧縮手段１４１であるハフマン符号化を設定し、領域Ｂ１５３は、非アクティブな領域であるため、画像の正確さや鮮明さは要求されないため、非可逆圧縮手段１４２であるＪＰＥＧを設定する。すると、情報処理装置１は、領域Ａ１５２に対応するフラグテーブル１６のフラグを読み取り、領域Ａ１５２で更新された矩形領域を抽出し、伝送する矩形領域の画面データを可逆圧縮手段１４１によりハフマン符号化して表示端末装置２に伝送し、次に領域Ｂ１５３に対応するフラグテーブル１６のフラグを読み取り、領域Ｂ１５３で更新された矩形領域を抽出し、表示端末装置２に伝送する。
【０１０１】
なお、本実施の形態では、領域別圧縮方法選択手段は、表示画面領域を複数の領域に分割して、それぞれの領域の圧縮方法を設定する方法として、アクティブウインドウを検出して、そのアクティブウインドウの領域かそうでないかで表示画面領域を複数に分割して、圧縮方法を設定する方法で説明したが、例えば、実施の形態１３で説明したように所定時間のフラグの更新回数により、領域を複数に分割してそれぞれの領域の圧縮方法を設定してもよいし、実施の形態１４で説明したように、アプリケーションプログラムが描画する画面領域によって領域を分割して、それぞれの領域の圧縮方法を設定してもよい。
【０１０２】
以上により、表示画面を複数の画面領域に分割し、その分割した領域毎に圧縮方法を変更できるため、重要でない領域や動画の領域に非可逆圧縮を用いることができ、伝送するデータ量の削減が可能となる。
【０１０３】
【発明の効果】
本発明により、情報処理装置の表示画面を遠隔の表示画面に伝送し、表示する情報処理装置の遠隔表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示端末装置の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、ユーザが視覚的に違和感を感じることなく伝送するデータ量を削減でき、遠隔の表示端末装置は例えば、低消費電力が要求される携帯端末装置のような描画処理能力が情報処理装置よりも劣る場合でも、情報処理装置の表示画面を迅速に更新することができるといった効果がある。
【図面の簡単な説明】
【図１】情報処理装置の遠隔表示画面更新システムの実施の形態１の全体構成を示すブロック図
【図２】フラグと表示画面の関係を示した図
【図３】実施の形態１の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図４】情報処理装置の遠隔表示画面更新システムの実施の形態２の全体構成を示すブロック図
【図５】情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成を示すブロック図
【図６】実施の形態３の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図７】情報処理装置の遠隔表示画面更新システムの実施の形態４の全体構成を示すブロック図
【図８】実施の形態５の表示画面更新判定手段の処理を示したフローチャート
【図９】実施の形態５の表示画面更新回数計数処理を示したフローチャート
【図１０】実施の形態６のフレーム格納レート制御の処理を示したフローチャート
【図１１】実施の形態７の更新矩形領域抽出回路の構成を示すブロック図
【図１２】実施の形態８の更新矩形領域抽出回路の構成を示すブロック図
【図１３】実施の形態９の更新矩形領域抽出回路の構成を示すブロック図
【図１４】情報処理装置の遠隔表示画面更新システムの実施の形態１０の全体構成を示すブロック図
【図１５】実施の形態１０の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図１６】実施の形態１１の更新通知フラグテーブルの構成を示す図
【図１７】実施の形態１２の情報処理装置の表示画面の一例を示す図
【図１８】実施の形態１３の所定時間（例えば、１０秒間）にフラグがセットされた回数をフラグ更新回数計数手段によって計数した結果の一例を示す図
【図１９】実施の形態１４のアプリケーションプログラム描画画面特性テーブルの一例を示す図
【図２０】実施の形態１４の情報処理装置の表示画面の一例を示す図
【図２１】実施の形態１５の画像圧縮装置のブロック図
【図２２】実施の形態１５の情報処理装置の表示画面の一例を示す図
【図２３】従来の情報処理装置の遠隔表示画面更新システムの構成を示すブロック図
【符号の説明】
１　情報処理装置
２　表示端末装置
３　通信回線
４　ＣＰＵ
５　メインメモリ
６　大容量記憶装置
７　表示バッファ
８　ビデオコントローラ
９　通信装置
１０　入力装置
１１　画像圧縮装置
１２　メモリＡ
１３　メモリＢ
１４　メモリ切り替え制御回路
１５　更新矩形領域抽出回路
１６　フラグテーブル
１７　システムバスＩ／Ｆ（インターフェイス）
２１　８×８画素の矩形領域
２２　矩形領域に対応するフラグ
３１　フレーム格納レート制御回路
４１　ＲＧＢ成分毎に差分の絶対値を演算する演算器
４２　画素成分の差分の絶対値から所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断回路
５１　フレームデータを１画素毎に比較する比較器
５２　所定矩形領域内の画素の相違の数を計数する相違画素計数回路
５３　所定矩形領域内の画素の相違の数により所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断回路
６１　所定の矩形領域の画素を周波数成分に変換するＤＣＴ（離散コサイン変換）演算器
６２　所定の矩形領域の周波数成分を比較する比較器
６３　所定の周波数よりも低い周波数成分で相違があるかどうかで所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断器
７１　伝送通知フラグテーブル
７２　更新通知フラグテーブル
８１　更新通知フラグテーブルのフラグをセットする領域
８２　更新通知フラグテーブルのフラグセット回数記憶領域
１０１　ウインドウＸ
１０２　ウインドウＸに対応する領域Ａ
１０３　ウインドウＸ以外の表示画面の領域である領域Ｂ
１１１　更新回数が０〜２回である領域Ｘ
１１２　更新回数が３〜１０回である領域Ｙ
１１３　更新回数が１０回以上である領域Ｚ
１２１　アプリケーションプログラム描画画面特性テーブル
１３１　アプリケーションプログラム▲１▼が描画を行っている領域α
１３２　アプリケーションプログラム▲２▼が描画を行っている領域β
１３３　領域α、領域β以外の表示画面領域である領域γ
１４１　可逆圧縮手段
１４２　非可逆圧縮手段
１５１　ウインドウＷ
１５２　ウインドウＷに対応する領域Ａ
１５３　ウインドウＷ以外の表示画面の領域である領域Ｂ
３０３　通信回線
３０４　ＣＰＵ
３０５　メインメモリ
３０６　大容量記憶装置
３０７　表示バッファ
３０８　ビデオコントローラ
３０９　通信装置
３１０　入力装置
Ｓ１０１〜Ｓ６１６　フローチャートのステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a display screen updating system for an information processing apparatus, and in particular, transmits a display screen of an information processing apparatus to a remote display terminal device connected via a communication line, and displays the display screen of the information processing apparatus on the display terminal device side. The present invention relates to a display screen updating system for an information processing apparatus that displays a message.
[0002]
[Prior art]
In recent years, with the development of mobile communication such as mobile phones and wireless LANs, mobile computing using portable terminal devices such as notebook personal computers and PDAs has been actively performed. There is an increasing demand for operating a remote information processing device such as a personal computer such as a company or home to view the screen of the information processing device.
[0003]
2. Description of the Related Art Conventionally, as a remote display screen updating system for an information processing apparatus using a communication line such as a telephone line or a network, for example, there is a remote display screen updating system for an information processing apparatus using a VNC (Virtual Network Computing) system. FIG. 23 shows the overall configuration of a conventional remote display screen updating system for an information processing apparatus using the VNC method. The information processing device 301 and the remote display terminal device 302 are connected via a communication line 303. In this conventional remote display screen updating system for an information processing device, the conventional information processing device includes a CPU 304 as a control device, a main memory 305 for storing various data processed by the CPU 304 and a program indicating a processing procedure. Similarly, a large-capacity storage device 306 such as a hard disk for recording various data and programs, a display buffer 307 for storing pixel data of a display screen, a processing of screen data according to a control command from the CPU 304, and an information processing device A video controller 308 that performs display on a display device, a communication device 309 that communicates with a remote display terminal device 302, and an input device 310 for inputting an operation from a user. The display screen to be drawn is displayed on the remote display terminal device 302. On the information processing apparatus 301, the operation system and various application programs stored in the main memory 305 and the large-capacity storage device 306 are executed by the CPU 304. Each of the application programs issues a drawing command. And the video controller 308 draws a display screen in the display buffer 307.
[0004]
Next, in the conventional remote display screen updating system of the information processing apparatus using the VNC, a drawing command issued by each application program is monitored, transmission area candidates of the display screen are extracted, and transmission area candidates of the extracted display screen are extracted. To integrate. Next, the integrated transmission area candidate pixel data is read from the display buffer 307, the read pixel data value is compared with the pixel data value previously transmitted to the display terminal device, and the updated screen area changed from the previous time is determined. . Next, transmission of the display screen of the information processing apparatus 301 is performed by reading pixel data of the determined update screen area from the display buffer 307, reversibly compressing the pixel data, and transmitting the pixel data from the communication apparatus 309 to a remote display terminal apparatus. Has been realized.
[0005]
Another conventional remote display screen updating system for an information processing apparatus is to extract only a drawing command from a command issued by an application program and to transmit the drawing command to a communication line as disclosed in Japanese Patent Application Laid-Open No. 8-297617. A remote display device of a computer that transmits the display screen of the computer to the remote display terminal device by transmitting the received display command to the remote display terminal device by executing the received drawing command has also been proposed. I have.
[0006]
[Problems to be solved by the invention]
However, in the conventional remote display screen updating system of the information processing apparatus using the VNC method, the CPU performs all processes such as extraction of a transmission candidate area, reading of pixel data of the transmission candidate area, and comparison of pixel data. The load on the device is very large, and the load is high even when the screen is not updated. In addition, since it takes time from the extraction of the transmission candidate area to the determination of the update screen area, it is not possible to quickly cope with a rapidly changing screen. In addition, in order to extract display screen data to be transmitted from the display buffer, drawing is performed by a drawing command (for example, screen drawing by WINDOWS Direct Draw) that does not directly write pixel data to the display buffer using the acceleration function of the video controller. Display screen cannot be handled because there is no pixel data in the display buffer. In addition, the drawing screen of the information processing device is often required to be faithfully reproduced even on the remote display terminal device side, and in many cases, blurring or distortion is not allowed. Screen data by updating the screen so that the user can visually recognize screen data that is not necessarily required, such as data from a screen update that cannot be visually recognized by the user or data in a screen area that is not watched. Originally, since screen data to be transmitted preferentially is transmitted under the same conditions, transmission and processing of data that is originally unnecessary for the user have been performed.
[0007]
Further, in a remote display device of a computer disclosed in Japanese Patent Application Laid-Open No. 8-297617, a drawing command processed on the information processing device side is transmitted to a remote display terminal device as it is to update the display screen. Updating the remote display terminal device requires drawing processing capability equal to or higher than the information processing device to be operated, and if the remote display terminal device is a terminal device having a low drawing processing capability, such as a portable terminal device. In such a case, the display screen cannot be updated quickly.
[0008]
Therefore, an object of the present invention is to provide a remote display screen updating system for an information processing apparatus, which reduces the load on the CPU of the information processing apparatus for transmitting the display screen and quickly updates the display screen of the remote display terminal apparatus. In addition, the display screen can be updated by any drawing command, the amount of data to be transmitted can be reduced without the user feeling visually uncomfortable, and the remote display terminal device can be, for example, a portable device requiring low power consumption. Even if the drawing processing capability of a terminal device is inferior to that of an information processing device, a display screen of the information processing device can be quickly updated.
[0009]
[Means for Solving the Problems]
In order to solve the conventional problem, a first invention (corresponding to claim 1) is a display screen updating system for transmitting a display screen to a display terminal device, comprising a video controller and a display output from the video controller. Real display screen frame storage means for storing data of two frames of a screen; and updating for extracting data of presence or absence of update by comparing data of two frames stored in the real display screen frame storage means in units of a predetermined rectangular area. A rectangular area extracting means, a flag table for recording a flag based on the presence or absence of the update extracted by the updated rectangular area extracting means, and a screen area to be transmitted to the display terminal device based on the flag recorded in the flag table. Transmission screen area determination means, and transmission screen data extraction for extracting pixel data of the transmission screen area determined by the transmission screen area determination means Stages, image compression means for performing predetermined compression processing on the transmission screen data extracted by the transmission screen data extraction means, and communication means for transmitting the transmission screen data compressed by the image compression means to the display terminal device. A display screen updating system comprising:
[0010]
A second invention (corresponding to claim 2) is a display screen updating system for transmitting a display screen to a display terminal device, comprising: a video controller; and data for two frames of the display screen output from the video controller. Actual display screen frame storage means for storing the frame data output from the video controller to the actual display screen frame storage means at the same time as the output recording data and the previous frame recorded in the actual display screen frame storage means. An updated rectangular area extracting means for performing data comparison of a predetermined rectangular area unit to extract the presence or absence of an update; a flag table for recording a flag based on the presence or absence of the update extracted by the updated rectangular area extracting means; Screen area determining means for determining the screen area to be transmitted to the display terminal device based on the flag recorded in the Transmission screen data extraction means for extracting pixel data of the transmission screen area determined by the transmission screen area determination means, image compression means for performing a predetermined compression process on the transmission screen data extracted by the transmission screen data extraction means, Communication means for transmitting the transmission screen data compressed by the image compression means to the display terminal device.
[0011]
A third invention (corresponding to claim 3) is characterized in that the actual display screen frame storage means is constituted by two or more memories, and the memory to be stored is changed for each frame. A display screen updating system according to any one of the second inventions.
[0012]
In a fourth aspect (corresponding to claim 4), the transmission screen data extraction means extracts pixel data of a transmission screen area determined by the transmission screen area determination means from the actual display screen frame storage means. The display screen updating system according to any one of the first and second aspects of the present invention.
[0013]
A fifth invention (corresponding to claim 5) is characterized in that the actual display screen frame storage means stores a frame interval number that determines an interval of a frame to be recorded, and the real display screen frame storage means for each frame interval number. The display screen updating system according to any one of the first and second aspects of the present invention, further comprising a frame storage rate control means for controlling recording of frame data.
[0014]
A sixth invention (corresponding to claim 6) is characterized in that the number of updates of the display screen is updated every predetermined period or every predetermined number of frame occurrences, and the frame storage is performed based on the number of updates. The display screen updating system according to the fifth aspect of the present invention, further comprising a display screen update number detecting means for setting a frame interval number of the rate control means.
[0015]
Further, a seventh invention (corresponding to claim 7) is characterized in that a remaining amount of a transmission buffer of the communication means is detected, and a frame of the frame storage rate control means is determined based on the number of updates based on the remaining amount of the buffer. A display screen updating system according to a fifth aspect of the present invention, further comprising a transmission buffer remaining amount detecting means for setting the number of intervals.
[0016]
An eighth invention (corresponding to claim 8) is characterized in that the update rectangular area extracting means extracts the presence or absence of an update based on whether or not the difference between the screens is equal to or greater than a certain value. The display screen updating system according to any one of the inventions.
[0017]
A ninth invention (corresponding to claim 9) is characterized in that the update rectangular area extracting means determines that there is an update when the difference between the pixels in the predetermined rectangular area is at least a predetermined value even for one pixel. A display screen updating system according to an eighth aspect of the present invention.
[0018]
A tenth invention (corresponding to claim 10) is characterized in that the update rectangular area extracting means determines that there is an update when the number of detected pixel differences in a predetermined rectangular area is equal to or greater than a predetermined value. The display screen updating system according to an eighth aspect of the present invention.
[0019]
In an eleventh invention (corresponding to claim 11), the update rectangular area extracting means converts pixel data of a predetermined rectangular area into frequency components, and determines that there is an update when there is a difference between components of a predetermined frequency. A display screen updating system according to an eighth aspect, characterized in that:
[0020]
In a twelfth invention (corresponding to claim 12), the update rectangular area extracting means performs data comparison in a predetermined rectangular area unit to determine whether there is a difference required for transmission and whether there is a difference less than the difference required for transmission. Extracting, the flag table records a flag based on the presence / absence of the difference required for transmission and a flag based on the presence / absence of a difference less than the required transmission, and the transmission screen area determining means transmits the flag based on the output of the flag table. The rectangular area corresponding to the flag having the necessary difference is determined as the transmission screen area, and the rectangular area corresponding to the flag having the difference less than the required transmission difference is determined as the transmission screen area at predetermined time intervals. A display screen updating system according to any one of the first and second inventions.
[0021]
According to a thirteenth invention (corresponding to claim 13), the update rectangular area extracting means performs data comparison in a predetermined rectangular area unit to extract presence / absence of a difference required for transmission and presence / absence of a difference unnecessary for transmission. The flag table records a flag based on the presence / absence of a difference required for transmission and a flag based on the presence / absence of a difference less than the difference required for transmission, and the transmission screen area determining unit determines the difference required for transmission based on the output of the flag table. A rectangular area corresponding to a flag having a flag is determined as a transmission screen area, and a rectangular area corresponding to a flag having a difference less than the transmission required difference is determined as a transmission screen area when the number of flag occurrences is equal to or greater than a predetermined number. The display screen updating system according to any one of the first and second inventions, characterized in that the system is determined.
[0022]
Further, a fourteenth invention (corresponding to claim 14) has an area priority setting means for setting a priority for each divided screen area, and based on the priority set by the area priority setting means. The display screen updating system according to any one of the first and second inventions, wherein an update time interval is determined for each screen area.
[0023]
A fifteenth invention (corresponding to claim 15) counts the number of occurrences of the update flag in the flag table, and displays the display screen from a plurality of rectangular regions according to the count. The display screen updating system according to a fourteenth aspect of the present invention, further comprising a flag update number counting unit that divides the image into screen regions and sets a priority in the region priority setting unit.
[0024]
Further, a sixteenth invention (corresponding to claim 16) is an application program display position detecting means for detecting a screen area by detecting an operating application program, and an application program storing characteristics of a screen drawn by the application program. A drawing screen characteristic table, wherein a priority is set to the area priority setting means based on a screen area detected by the application program display position detecting means and a screen characteristic stored in the application program drawing screen characteristic table. A display screen updating system according to a fourteenth aspect, characterized in that:
[0025]
Also, a seventeenth invention (corresponding to claim 17) has an area-specific compression method selection means for setting a compression method for each of the divided screen areas, and the image compression means is an area-specific compression method selection means. The display screen updating system according to any one of the first and second inventions, wherein predetermined compression processing is performed on transmission screen data based on the selected compression method.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Embodiment 1 of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an overall configuration of a first embodiment of a remote display screen updating system of an information processing apparatus. A display terminal apparatus 2 for remotely displaying a display screen and a display screen of the remote display terminal apparatus 2 are provided. And a communication line 3 connecting the information processing device 1 and the display terminal device 2.
[0027]
Here, the information processing apparatus 1 includes a CPU 4, a main memory 5, a large-capacity storage device 6, a communication device 9, a video controller 8, a display buffer 7, an input device 10, an image compression device 11, and frame data of a display screen. The memory A12 and the memory B13, which are the actual display frame storage means, stored in the storage unit, a memory switching control circuit 14, an updated rectangular area extraction circuit 15, and a flag table 16.
[0028]
The main memory 5 is a semiconductor RAM or ROM for storing an operation system program or various application programs, the large-capacity storage device 6 is a hard disk, a CD-ROM device or the like, and the input device 10 is a user such as a keyboard and a mouse. Is a device for inputting an operation, and the communication device 9 is a device for communicating with a display terminal device such as a modem, a LAN, or a wireless LAN.
[0029]
The CPU 4 controls the information processing apparatus 1 according to instructions of the operation system and various application programs recorded in the main memory 5 and the large-capacity storage device 6, and displays screen data to be displayed according to the instructions of these various programs. This is a control device that writes to the display buffer 7 as needed.
[0030]
The video controller 8 is a device that processes screen data of a display screen in accordance with an instruction from the CPU 4 and outputs a frame control signal and frame data of the display screen to display the display screen on a display device.
[0031]
The image compression device 11 is a device for compressing screen data to be transmitted. Since the screen of an information processing device generally has many still images and requires accurate display contents in many cases, lossless compression such as Huffman coding is used. Is used. Here, the image compression device 11 may use a dedicated hardware circuit, or may be configured to record an application program in the main memory 5 or the large-capacity storage device 6 and process the application program by the CPU 4. .
[0032]
The memory A12 and the memory B13 are actual display frame storage means for storing frame data of a display screen output from the video controller 8, and a frame control signal (for example, a vertical synchronization signal) output from the video controller 8. , The memory switching control circuit 14 alternately switches the memory A12 and the memory B13 on a frame-by-frame basis, and stores the display screen frame data output from the video controller 8 at a pixel clock rate.
[0033]
The update rectangular area extraction circuit 15 detects the vertical non-display section based on the frame control signal, reads out the frame data of the display screen of the previous and next frames stored in the memories A12 and B13 one pixel at a time, compares them, and compares them. Is detected, the flag is reflected in the flag of the flag table 16 corresponding to the different pixel.
[0034]
FIG. 2 is a diagram showing the relationship between the flag and the display screen. One flag is assigned to each rectangular area obtained by dividing the display screen area by a predetermined rectangular area. For example, as shown in FIG. 2, one flag is assigned to a rectangular area 21 of 8 × 8 pixels. Reference numeral 22 is assigned to the flag table 16. The flag table 16 can be read from the CPU 4 via the system bus I / F (interface) 17, and the CPU 4 can see which flag of the flag table 16 is set to know which area to send. In the example of FIG. 2, one flag is associated with a rectangular region of 8 × 8 pixels, but the size of the rectangular region corresponding to one flag may be 16 × 16 pixels or 16 × 8 pixels. , But is not limited to this.
[0035]
Next, the operation of the remote display screen updating system of the information processing apparatus according to the first embodiment will be described. FIG. 3 is a flowchart illustrating a process of the information processing apparatus according to the first embodiment.
[0036]
First, when a display screen request is received from the connected display terminal device 2, the process is started, and in step S101, capture of frame data of the display screen in units of one frame from the video controller is started. Next, in step S102, all data of the display screen recorded in the display buffer is extracted. Next, in step S103, the extracted display screen data is compressed by the image compression device 11 and sent to the communication device 9. In step S104, the compressed display screen data received by the communication device is transmitted to the display terminal device. Next, in step S105, the update rectangular area extraction circuit 15 compares the frame data of the display screen stored in the memories A12 and B13, and waits until the update rectangular area is extracted and the reflection on the flag table 16 is completed. When the completion of the update rectangular area extraction processing is detected, the process proceeds to step S106. In step S106, the flag information in the flag table 16 is read, and the read flag is cleared. Next, a screen area to be transmitted is determined from the flag information extracted in step S107. Next, in step S108, the display screen data of the area to be transmitted is extracted from the display buffer 7, and in step S109, the extracted display screen data of the area to be transmitted is compressed by the image compression device 11, and send. Next, in step S110, the compressed display screen data received by the communication device 9 is transmitted to the display terminal device. Then, the process returns to step S105, and waits until an update rectangular area between the next frames is extracted. This processing is repeated until a disconnection request is received from the display terminal device 2.
[0037]
Therefore, according to the present embodiment, it is possible to extract an updated screen area between frames without imposing a burden on the CPU of the information processing apparatus.
[0038]
(Embodiment 2)
Embodiment 2 of the present invention will be described with reference to the drawings. FIG. 4 is a block diagram showing the overall configuration of a remote display screen updating system for an information processing apparatus according to a second embodiment. The display terminal apparatus 2 displays a display screen remotely and the display screen is transmitted to the remote display terminal apparatus 2. And a communication line 3 connecting the information processing device 1 and the display terminal device.
[0039]
Here, the information processing apparatus 1 includes a CPU 4, a main memory 5, a large-capacity storage device 6, a communication device 9, a video controller 8, a display buffer 7, an input device 10, an image compression device 11, and frame data of a display screen. The memory A12 and the memory B13, which are the actual display frame storage means, stored in the storage unit, a memory switching control circuit 14, an updated rectangular area extraction circuit 15, and a flag table 16.
[0040]
In the second embodiment, the memory switching control circuit 14 alternately switches the memory A12 and the memory A13 on a frame basis in accordance with a frame control signal (for example, a vertical synchronization signal) of the video controller 8, and changes the frame data of the display screen to a pixel clock. While storing at the same rate, the update rectangular area extraction circuit 15 simultaneously compares the frame data of the display screen output from the video controller 8 with the previous frame data stored in one of the memories A12 and B13 in real time, When a difference in pixel data within a predetermined rectangular area is detected, the difference is reflected on a corresponding flag in the flag table 16.
[0041]
The operation of the remote display screen updating system of the information processing apparatus according to the second embodiment is the same as the processing flow described in the first embodiment, and the operation of the remote display screen updating system of the information processing apparatus of the first embodiment. 3 will be described with reference to FIG.
[0042]
First, when a display screen request is received from the connected display terminal device 2, in step S101, the video controller 8 starts storing frame data of the display screen in the memory in units of one frame. Next, in S102, all data on the display screen recorded in the display buffer is extracted. Next, in step S103, the extracted display screen data is compressed by the image compression device 11 and sent to the communication device 9. In step S104, the compressed display screen data received by the communication device is transmitted to the display terminal device. Next, in step S105, the update rectangular area extraction circuit 15 compares the previous frame data loaded into one of the memories A12 and B13 with the current frame data output from the video controller 8, and extracts an update rectangular area. The process waits for the reflection in the flag table to end, and upon detecting the completion of the update rectangular area extraction processing, proceeds to step S106. In step S106, the flag information in the flag table 16 is read, and the read flag is cleared. Next, a screen area to be transmitted is determined from the flag information extracted in step S107. Next, in step S108, the display screen data of the area to be transmitted is extracted from the display buffer 7, and in step S109, the extracted display screen data of the area to be transmitted is compressed by the image compression device 11, and send. Next, in step S110, the compressed display screen data received by the communication device is transmitted to the display terminal device 2. Then, the process returns to step 105, and waits for completion of the update rectangular area extraction processing between the next frames, and repeats this processing until a disconnection request comes from the display terminal device.
[0043]
As described above, the update screen area between frames can be extracted in real time without imposing a burden on the CPU of the information processing apparatus, and the display screen can be quickly updated.
[0044]
(Embodiment 3)
Embodiment 3 of the present invention will be described with reference to the drawings. FIG. 5 is a block diagram showing an overall configuration of a remote display screen updating system of an information processing apparatus according to a third embodiment. The display terminal apparatus 2 for remotely displaying a display screen and the remote display terminal apparatus 2 have their own display screens. And a communication line 3 connecting the information processing device 1 and the display terminal device 2.
[0045]
Here, the information processing apparatus 1 includes a CPU 4, a main memory 5, a large-capacity storage device 6, a communication device 9, a video controller 8, a display buffer 7, an input device 10, an image compression device 11, and frame data of a display screen. The memory A12 and the memory B13, which are the actual display frame storage means, stored in the storage unit, a memory switching control circuit 14, an updated rectangular area extraction circuit 15, and a flag table 16.
[0046]
In the third embodiment, the frame control signal of the video controller 8 (the memory switching control circuit 14 alternately switches between the memory A12 and the memory A13 in frame units according to the vertical synchronization signal, and stores the frame data of the display screen at the pixel clock rate. At the same time, the update rectangular area extraction circuit 15 compares the frame data of the display screen output from the video controller with the previous frame data stored in one of the memories A12 or A13 in real time, and determines a predetermined rectangular area. When the difference between the pixel data in the memory is detected, the difference is reflected on the corresponding flag in the flag table 16. The memory A12 and the memory B13 can be read directly from the CPU 4 via the system bus I / F17.
[0047]
Next, the operation of the remote display screen updating system of the information processing apparatus according to the third embodiment will be described. FIG. 6 is a flowchart illustrating a process of the remote display screen updating system of the information processing apparatus according to the third embodiment.
[0048]
First, upon receiving a display screen request from the connected display terminal device 2, in step S201, the video controller starts storing frame data of a display screen for one frame in the memory A12. Next, in step S202, the process waits until the storage of the frame data of the display screen for one frame is completed. When the storage of the frame data of the display screen for one frame is completed, in step S203, the stored frame data of the display screen is extracted from the memory A12. In step S204, the extracted display screen data is compressed by the image compression device 11 and sent to the communication device 9. In step S205, the compressed display screen data received by the communication device is transmitted to the display terminal device. Next, in step S206, the update rectangular area extraction circuit 15 compares the frame data of the display screen fetched into the memory A12 with the frame data of the next display screen output from the video controller. The process waits for the reflection in the table to be completed, and upon detecting the completion of the update rectangular area extraction processing, proceeds to step S207. In step S207, the flag information in the flag table is read, and the read flag is cleared. Next, a screen area to be transmitted is determined from the flag information extracted in step S208. Next, in step S209, the display screen data of the area to be transmitted is extracted from the memory B13 storing the frame data of the current display screen. In step S210, the extracted display screen data of the area to be transmitted is subjected to image compression. The data is compressed by the device 11 and sent to the communication device 9. Next, in step S211, the compressed display screen data received by the communication device is transmitted to the display terminal device. Then, the process returns to step S206, and waits for the update rectangular area of the next frame to be extracted.
[0049]
As described above, the updated screen area between frames can be extracted in real time without burdening the CPU of the information processing apparatus, the display screen can be quickly updated, and the actual output from the video controller can be performed. Can be transmitted to the display terminal device, so that the image is drawn by a drawing command (for example, a screen drawing by DirectDraw of WINDOWS) that does not directly write the pixel data to the display buffer using the acceleration function of the video controller. The display screen can be updated.
[0050]
In the third embodiment, an example has been described in which two memories are used as the actual display frame storage means. However, one memory or two or more memories may be provided. Requires a faster memory with less bandwidth limitations than is realized with two or more memories.
[0051]
(Embodiment 4)
Next, a fourth embodiment of the present invention will be described. FIG. 7 is a block diagram showing the overall configuration of the remote display screen updating system of the information processing apparatus according to the fourth embodiment. In the fourth embodiment, in addition to the configuration of the third embodiment, frame storage is performed such that the frame data of the display screen output from the video controller 8 is stored in the actual display screen frame storage means for each frame at a plurality of frame intervals. This is a configuration having a frame storage rate control circuit 31 that performs rate control. The frame storage rate control circuit 31 includes a counter for counting the number of frames from a frame control signal of a video controller, and a frame rate setting register for setting a frame rate to be stored in a memory.
[0052]
The frame storage rate control circuit counts the number of frames from a frame control signal (for example, a vertical synchronization signal or the like) of the video controller, and when the counted number matches the number set in the frame rate setting register, the memory switching control circuit 14 Switch between the memory A12 and the memory B13, start storing the display screen data of the video controller in one of the memories, and simultaneously connect the other memory to the update rectangular area extraction circuit 15 to start the update area extraction processing. Then, the number of frames is counted from the frame control signal (vertical synchronization signal or the like) of the video controller. As long as the counted number does not match the number set in the frame rate setting register, the display screen data of the video controller 8 is stored in the memory. The storing process and the update rectangular area extracting process are not operated.
[0053]
As described above, when it is not necessary to quickly respond to the update of the display screen, the user can set the update detection frame rate, thereby reducing the process of extracting the unnecessary update area, and reducing the consumption of the information processing apparatus 1. Power can be reduced, and display screen data of an unnecessary update area does not need to be transmitted to the display terminal, so that a transmission band can be saved.
[0054]
(Embodiment 5)
Next, a fifth embodiment of the present invention will be described. The overall configuration of the fifth embodiment of the remote display screen updating system of the information processing apparatus is the same as that of the fourth embodiment. In the fifth embodiment, the information processing apparatus 1 is configured to include a display screen update determination unit that determines whether the display screen has been updated within a predetermined period or a predetermined number of frame storage periods during the period. You.
[0055]
Next, the operation of the display screen update determination means will be described with reference to the flowchart of FIG. First, in step S301, a timer for counting a predetermined time or a predetermined number of frames stored is operated. When the timer starts operating, the timer issues a count end notification for a predetermined time or every time a predetermined number of frames are counted. Next, in step S302, a display screen update frequency counting process for counting the number of times the display screen is updated is started. Next, in step S303, the control waits for a count end notification of the timer. When the count end notification of the timer is detected, the count value of the display screen update count process is read in step S304, and the count value is cleared. Next, in step S305, a predetermined value is written to the frame storage rate setting register according to the read display screen update number, the frame storage rate is changed, and the process returns to step S303 to wait for the end of counting in the next period.
[0056]
Here, the operation of the display screen update number counting process will be described. FIG. 9 is a flowchart of the display screen update number counting process. In step S401, the update screen area extraction circuit 15 waits until the update screen area extraction processing ends. When the end of the update screen area extraction processing is detected, it is checked in step S402 whether a flag for notifying the update is set in the flag table. If the flag is set, 1 is added to the display screen update count in step S403. Returning to step S401, the process waits for the next frame to complete the update screen extraction process. If the flag has not been set, the process returns to step S401 without any operation, and the process ends until the next frame update screen extraction process ends. wait.
[0057]
As described above, when there is almost no update of the display screen, the update detection frame rate can be reduced, the process of extracting unnecessary update areas can be reduced, and the power consumption of the information processing device 1 can be reduced.
[0058]
(Embodiment 6)
Next, a sixth embodiment of the present invention will be described. The overall configuration of the remote display screen updating system of the information processing apparatus according to the sixth embodiment is the same as that of the fourth embodiment. In the sixth embodiment, the communication device 9 of the information processing device 1 has a transmission buffer of a predetermined size, and the information processing device 1 has a unit for detecting the remaining amount of the transmission buffer at predetermined time intervals. If the remaining capacity of the buffer is equal to or less than a predetermined value, the frame storage rate of the frame storage rate control circuit 31 is reduced. If the remaining capacity is equal to or more than the predetermined value, the frame storage rate of the frame storage rate control circuit is increased. Constitute.
[0059]
Next, the operation of the frame storage rate control will be described with reference to the flowchart of FIG. First, in step S501, a timer that counts a predetermined time or a predetermined number of frames stored is operated. When the timer starts operating, the timer issues a count end notification for a predetermined time or every time a predetermined number of frames are counted. Next, in step S502, the process waits for a timer count end notification. When the count completion notification of the timer is detected, the remaining amount of the transmission buffer of the communication device 9 is checked in step S503. Next, in step S504, if the remaining amount of the transmission buffer of the communication device 9 is equal to or more than a predetermined value, the frame storage rate of the frame storage rate control circuit 31 is increased, and if not, the frame storage rate is decreased. , The setting of the frame storage rate is changed, the process returns to step S502, and this process is repeated.
[0060]
As described above, by confirming the remaining amount of the buffer of the communication device, it is possible to reduce the process of extracting a useless update area exceeding the communication capacity, reduce the power consumption of the information processing apparatus, and further reduce the unnecessary update area. It is not necessary to transmit the display screen data to the display terminal, and the transmission band can be saved.
[0061]
(Embodiment 7)
Next, a seventh embodiment of the present invention will be described. The overall configuration of the seventh embodiment of the remote display screen updating system of the information processing apparatus is the same as that of the third embodiment. Hereinafter, the configuration of the update rectangular area extraction circuit 15 according to the seventh embodiment will be described.
[0062]
As shown in FIG. 11, the update rectangular area extracting circuit 15 calculates the absolute value of the difference between each of the RGB components for each pixel by using the frame data from the video controller 8 and the frame data stored in the previous memory. If the difference between the pixels in the predetermined rectangular area is not less than the predetermined value from the result of the operation, even if one pixel is greater than the predetermined value, it is determined that there is a difference to be transmitted to the predetermined rectangular area, If the difference is not equal to or less than zero and is not a difference to be transmitted, the update decision circuit 42 determines that there is a difference.
[0063]
Next, the operation will be described. When the update rectangular area extraction process is started, the arithmetic unit 41 calculates the absolute value of the difference between the pixel components of the frame data from the video controller 8 and the frame data previously stored in the memory one pixel at a time. Next, in the update determination circuit, if the result of the calculation indicates that the absolute value of the difference for each pixel is equal to or greater than a predetermined value (for example, 4), it is determined that there is a difference to be transmitted to a predetermined rectangular area. When the absolute value of the difference for each pixel is smaller than a predetermined value (for example, 4), it is determined that the difference is not a difference to be transmitted, and the flag table is reflected. The operation is performed so that the information is not reflected on the 16.
[0064]
As described above, when the color component of each pixel in the predetermined rectangular area is slightly changed between the previous and subsequent frames, the rectangular area is determined to be not an area to be transmitted, and is not transmitted to the display terminal device. However, the screen of the display terminal device is not updated in an area where there is only a slight change in color that cannot be seen by the human eyes, and the transmission band can be saved.
[0065]
(Embodiment 8)
Next, an eighth embodiment of the present invention will be described. This is the same as the overall configuration of Embodiment 3 of the remote display screen updating system of the information processing device. Hereinafter, the configuration of the update rectangular area extraction circuit 15 according to the eighth embodiment will be described.
[0066]
As shown in FIG. 12, the update rectangular area extraction circuit 15 compares the frame data from the video controller 8 with the frame data stored in the previous memory on a pixel-by-pixel basis. A different pixel counting circuit 52 for counting the number of pixel differences in the predetermined rectangular area; and a rectangular area if the number of pixels in the predetermined rectangular area counted by the different pixel counting circuit 52 is equal to or greater than a predetermined value. An update determination circuit 53 that determines that there is an area to be transmitted and determines that there is no area to be transmitted when the number of pixel differences in the predetermined rectangular area is smaller than a predetermined value.
[0067]
Next, the operation will be described. When the update rectangular area extraction process is started, the comparator 51 compares the frame data from the video controller 8 and the frame data previously stored in the memory one pixel at a time with a predetermined rectangular area (one pixel) corresponding to one flag in the flag table. For example, the comparison is performed in units of (areas composed of 8 × 8 pixels). Next, the difference pixel counting circuit 52 counts the number of pixels detected as having a difference in one rectangular area. The update determination circuit 53 completes the comparison of all the pixels in one rectangular area, and sets the number of different pixels in one rectangular area counted by the different pixel counting circuit 52 to a predetermined value (for example, if one rectangular area is 8). In the case of an area of × 8 pixels, if it is 16) or more, it is determined that there is a difference to be transmitted to a predetermined rectangular area, the difference is reflected in a flag corresponding to the rectangular area including the pixel in the flag table, and the number of different pixels is counted. If the number of different pixels in one rectangular area counted by the circuit 52 is smaller than a predetermined value (for example, 16 when one rectangular area is an area of 8 × 8 pixels), there is no difference to be transmitted. Then, the operation is performed so that reflection on the flag table is not performed.
[0068]
As described above, when the number of changed pixels in the predetermined rectangular area between the previous and subsequent frames is small, it is determined that the rectangular area is not an area to be transmitted, and is not transmitted to the display terminal device. It is only necessary to transmit the update screen data in the area where the change has been significant, and the transmission band can be saved.
[0069]
(Embodiment 9)
Next, a ninth embodiment of the present invention will be described. This is the same as the overall configuration of Embodiment 3 of the remote display screen updating system of the information processing device. Hereinafter, the configuration of the update rectangular area extraction circuit 15 of the ninth embodiment will be described.
[0070]
As shown in FIG. 13, the update rectangular area extraction circuit 15 performs a DCT (discrete cosine transform) operation for converting the frame data from the video controller and the frame data previously stored in the memory into frequency components in predetermined rectangular area units. Unit 61, a comparator 62 for comparing frequency component data of a predetermined rectangular area obtained by the DCT calculator, and a region to be transmitted in the rectangular region if there is a difference between frequency components lower than the predetermined frequency. If there is no difference between the frequency components lower than the predetermined frequency, the update determination circuit 63 determines that there is no area to be transmitted.
[0071]
Next, the operation will be described. When the update rectangular area extraction process is started, the update rectangular area extraction circuit 15 stores the frame data from the video controller and the frame data stored in the previous memory in a predetermined rectangular area ( The pixel data is converted into frequency component data by the DCT calculator 61 in units of, for example, 8 × 8 pixels. Next, the comparator 62 makes a comparison for each frequency component. The update determination circuit 63 refers to the result of the comparator, and determines that there is a difference to be transmitted to a predetermined rectangular area if the frequency component is different within a predetermined low-frequency component area, and that the pixel in the flag table is included. If there is no difference in the frequency components within the predetermined low-frequency component region, the flag is transmitted to the predetermined rectangular region even if there is a difference in the frequency region outside the predetermined low-frequency component region. It is determined that there is no difference to be performed, and the operation is performed so that the difference is not reflected in the flag table. In the ninth embodiment, DCT transform is used as means for transforming pixel data into frequency components. However, the present invention is not limited to this, and other orthogonal transform (for example, Hadamard transform, Karhunen-Loeve transform) is used. You may.
[0072]
As described above, when the DC and low-frequency components of the pixel data in the predetermined rectangular area have not changed between the preceding and succeeding frames, the rectangular area is determined not to be the area to be transmitted, and the display terminal device Since the transmission is not transmitted, the updated screen data in the area where only the high-frequency component that cannot be recognized by the human eye is changed is not transmitted, and the transmission band can be saved.
[0073]
(Embodiment 10)
Next, a tenth embodiment of the present invention will be described. FIG. 14 is a block diagram showing the entire configuration of the tenth embodiment. In the tenth embodiment, the information processing device 1 includes a CPU 4, a main memory 5, a large-capacity storage device 6, a communication device 9, a video controller 8, a display buffer 7, an input device 10, an image compression device 11, and frame data of a display screen. , A memory A12 and a memory B13, which are real display frame storage means for storing frame by frame, a memory switching control circuit 14, an update rectangular area extraction circuit 15, a transmission notification flag table 71, and an update notification flag table 72.
[0074]
Here, the update rectangular area extraction circuit 15 calculates the frame data from the video controller and the frame data previously stored in the memory in a predetermined rectangular area unit, and then, based on the calculation result, a predetermined determination criterion. It is determined whether or not there is a difference to be transmitted in the rectangular area. If it is determined that there is a difference to be transmitted, the corresponding flag in the transmission notification flag table 71 is set. If it is determined that there is no difference, the corresponding flag in the update notification flag table 72 is set. The flag of the update notification flag table is cleared when the flag corresponding to the same rectangular area of the transmission notification flag table is set. The determination as to whether or not a rectangular area is to be transmitted is performed by using the absolute value of the color component difference of each pixel within the rectangular area described in the seventh to ninth embodiments, or by using a pixel having a difference within the rectangular area. , Or by converting pixel data in a rectangular area into frequency components and determining which frequency component has a difference.
[0075]
Next, the operation of the tenth embodiment will be described. FIG. 15 is a flowchart showing processing of the remote display screen updating system of the information processing device according to the tenth embodiment.
[0076]
First, when a display screen request is received from the connected display terminal device 2, in step S601, the operation of a timer for measuring a predetermined time is started. When the timer starts operating, it issues a count end notification each time it counts a predetermined time. Next, in step S602, the video controller 8 starts storing one frame of frame data in either the memory A12 or the memory B13. Next, in step S603, the process waits for the end of storing one frame of frame data. When the storage of the frame data of the display screen for one frame is completed, in step S604, the frame data of the display screen stored in one of the memory A12 and the memory B13 is extracted. In step S605, the extracted display screen data is compressed by the image compression device 11 and sent to the communication device 9. In step S606, the compressed display screen data received by the communication device is transmitted to the display terminal device.
[0077]
Next, in step S607, the update rectangular area extraction circuit 15 waits for the transmission rectangular area extraction processing to be completed based on the frame data stored in the memory and the next frame data output from the video controller. When the completion of the process is detected, the process proceeds to step S608. In step S608, it is confirmed whether or not the count end notification of the timer has been received. If the count end notification has not been received, the process has not reached the predetermined time, so the process proceeds to step S609. The flag information 71 is read, and the read flag is cleared. Next, a screen area to be transmitted is determined from the flag information extracted in step S610. Next, in step S611, the display screen data of the area to be transmitted is extracted from the memory A12 or B13 in which the frame data of the current display screen is stored. In step S612, the display screen data of the extracted area to be transmitted is extracted. Is compressed by the image compression device 11 and sent to the communication device 9. Next, in step S613, the compressed display screen data received by the communication device 9 is transmitted to the display terminal device 2. Then, the process returns to step S607 and waits for the transmission rectangular area of the next frame to be extracted, and repeats this. Then, when a predetermined time has elapsed and a count end notification is received in step S608, the process proceeds to step S614. In step S614, the flag information of the transmission notification flag table 71 is read, the read flag is cleared, and the next step S615 Reads the flag information of the update notification flag table 72, and clears the read flag. Next, in step S616, a screen area corresponding to the flag information extracted from the transmission notification flag table 71 and a screen area corresponding to the flag information extracted from the update notification flag table 72 are determined as screen areas to be transmitted. In step S611, the display screen data of the area to be transmitted is extracted from the memory in which the frame data of the current display screen is stored. In step S612, the extracted display screen data of the area to be transmitted is extracted by the image compression device 11. Compress and send to communication device 9. Next, in step S613, the compressed display screen data received by the communication device 9 is transmitted to the display terminal device. Then, the process returns to step S607 to wait for the transmission rectangular area of the next frame to be extracted, and the same processing is repeated thereafter.
[0078]
As described above, according to the tenth embodiment, when the change in the predetermined rectangular area between the previous and subsequent frames is slight, it is determined that the rectangular area is not an area to be transmitted, and is not transmitted to the display terminal device. Therefore, it is possible to save the transmission band, and furthermore, there is a slight change in the predetermined rectangular area between the preceding and succeeding frames, and the rectangular area determined not to be the area to be transmitted is also changed at regular intervals. Since the data is transmitted, even when an accurate display screen is required, it is not necessary to periodically update the entire screen.
[0079]
(Embodiment 11)
Next, an eleventh embodiment of the present invention will be described. The overall configuration of the eleventh embodiment is the same as that of the tenth embodiment. However, as shown in FIG. If it is determined that the flag is not set, a flag setting area 81 and a flag set number storage area 82 for storing the number of times the flag is set for each flag are provided. Each time the flag is set, the value of the flag set number storage area 82 is incremented. When the value reaches a predetermined value, the value and the flag of the flag set number storage area 82 are cleared, and the transmission notification flag table is set. A flag corresponding to the same rectangular area 71 is set. Further, similarly to the flag of the update notification flag table 72 of the eleventh embodiment, when the flag corresponding to the same rectangular area of the flag transmission notification flag table 71 is set, the flag of the update notification flag table 72 is cleared.
[0080]
In the case of such a configuration, when the change of the predetermined rectangular area between the previous and next frames is slight, it is determined that the area is not the area to be transmitted, and the rectangular area not transmitted to the display terminal device also has a slight change. Is detected a certain number of times, it is reflected in the transmission notification flag table, and it can be transmitted to the display terminal device as an area to be transmitted, and it is possible to respond even if the display screen changes very slowly It becomes.
[0081]
(Embodiment 12)
Next, a twelfth embodiment of the present invention will be described. The configuration of the twelfth embodiment is the same as the entire configuration of the third embodiment. In this method, the information processing apparatus 1 further divides the display screen into several screen areas, and for each of the divided areas, There is provided an area priority setting means for setting a priority, and a screen area corresponding to the area is updated at predetermined time intervals according to the set priority.
[0082]
This will be described with reference to the drawings. For example, FIG. 17 is an example of a display screen. In this screen, several windows are overlapped. In FIG. 17, window X101 is the highest-level window and is currently active.
[0083]
Here, the area priority setting means sets the priority to each of the area corresponding to the window X101 as the area A102 and the other areas as the area B103. For example, the priority of the area A102 is 1 and the priority of the area B103 is 4. There are various levels of priority, and the time for updating the screen is set in advance for each priority. For example, for priority 1, every 1/10 second, for priority 4, every 4 seconds And so on. Then, the information processing apparatus reads the flag of the flag table corresponding to the area A102 every 1/10 second, extracts only the updated rectangular area of the area A102, transmits the updated rectangular area to the display terminal device 2, and transmits the updated rectangular area every 4 seconds. The flag of the flag table corresponding to the area B103 is read, and the updated rectangular area of the area B103 is extracted and transmitted to the display terminal device 2.
[0084]
In this example, the area is divided into two. However, the area may be divided into any number, and the update time for updating each area according to the flag priority level is set. For example, the priority may be set by the number of frames, such as 1 frame for each frame, and 4 priority, for example, every 40 frames.
[0085]
As described above, since the display screen can be divided into a plurality of screen areas and the rate at which the screen is updated can be changed for each of the divided areas, the amount of data to be transmitted can be reduced by lowering the update rate for non-critical areas. Become.
[0086]
(Embodiment 13)
Next, a thirteenth embodiment of the present invention will be described. The configuration of the thirteenth embodiment is the same as the overall configuration of the third embodiment. In this method, the information processing apparatus 1 further updates the flag for counting the number of times each flag of the flag table is set within a predetermined time. Area priority setting means having a number-of-times detection means, dividing the display screen into several screen areas according to the number of times each flag is set, and setting a priority for each of the divided areas And updates the screen area corresponding to the area at predetermined time intervals according to the set priority.
[0087]
Next, this will be described with reference to the drawings. FIG. 18 is an example in which the number of times the flag is set during a predetermined time (for example, 10 seconds) is counted by the flag update number counting means. The flag update count detecting means may include, for example, an area for recording the flag update count in the main memory. Each time a flag is read from the flag table, if a flag is set, the flag update corresponding to the flag is performed. This can be realized by incrementing the number of updates recorded in the number recording area. Here, the area priority setting means first divides the display screen into a plurality of screen areas according to the number of updates of each flag. For example, in FIG. 18, an area X111 is a group in which the number of updates of the flag is 0 to 2, an area Y112 is a group of 3 to 10 times, and an area Z113 is a group of 10 or more times. Then, the priority of the area Z113 having the most updated flag is set to 1, the priority of the area Y112 having the second most updated flag is set to 2, and the priority of the area X111 having the least updated flag is set to 5. .
[0088]
Here, there are various levels of priority, and the time for updating the screen is set in advance for each priority. For example, in the case of the priority 1, every 1/10 second, and in the case of the priority 2, For example, every 1 second, and when the priority is 5, every 5 seconds.
[0089]
Then, the information processing apparatus reads the flag of the flag table corresponding to the area Z113 every 1/10 second, extracts only the updated rectangular area of the area Z113 and transmits it to the display terminal device 2, The flag of the flag table corresponding to the area Y112 is read, the updated rectangular area of the area Y112 is extracted and transmitted to the display terminal device 2, and the flag of the flag table corresponding to the area X111 is read every 5 seconds. The updated rectangular area of X111 is extracted and transmitted to the display terminal device 2.
[0090]
As described above, according to the flag update frequency, the screen area can be divided into a plurality of areas, the screen update rate can be changed for each area, and the area having a high degree of change in the display screen can be preferentially updated. It becomes.
[0091]
(Embodiment 14)
Next, a fourteenth embodiment of the present invention will be described. The configuration of the fourteenth embodiment is the same as the overall configuration of the third embodiment. In the present method, the information processing apparatus 1 further detects the currently operating application program and displays the individual application programs on the display screen. Application program display position detecting means for detecting in which area the image is displayed, and an application program drawing screen characteristic table in which each application program is associated with the characteristics of the screen drawn by the application program. An area priority setting unit configured to set a priority using an application program drawing screen characteristic table for each application program drawing area detected by the detection unit, and to set a screen area corresponding to the area according to the set priority; of To be updated every between.
[0092]
Next, this will be described with reference to the drawings. The application display position detecting means, for example, operates a program for monitoring a command for the operation system on the operation system of the information processing apparatus 1, and detects a drawing command issued by each application program for the operation system. By doing so, it is possible to know in which area of the display screen the application program is currently displaying. In addition, an application program drawing screen characteristic table 121 in which the characteristics of a screen (for example, a moving image, a still image, a character string, etc.) drawn by an application program that can be executed by the information processing apparatus are prepared in advance. FIG. 19 shows an example of the application program drawing screen characteristic table.
[0093]
For example, in FIG. 20, the application program (1) is drawing in the area α131 of the display screen, and the application program (2) is drawing in the area β132 of the display screen. Here, the application program display position detecting means can detect that the application program (1) is drawing in the area α131 and that the application program (2) is drawing in the area β132. Next, according to the application program drawing screen characteristic table 121 shown in FIG. 19, the region α131 is a region where a moving image is drawn, the region β132 is a region where a character string is drawn, and the other region γ133 is a region where the application program is drawn. Can be determined to be a region where drawing is not performed. For example, the region priority setting unit sets the priority to 1 because the moving image is drawn in the region α131, and the priority to the region β132 since the character string is drawn. In the area γ133, the priority can be set to 10 because the application program is not drawing.
[0094]
Here, there are various levels of priority, and the time for updating the screen is set in advance for each priority. For example, in the case of the priority 1, every 1/30 second, and in the case of the priority 3, For example, every 3 seconds, and when the priority is 10, every 10 seconds.
[0095]
Then, the information processing apparatus reads the flag of the flag table corresponding to the area α131 every 1/30 second, extracts only the updated rectangular area of the area α131 and transmits it to the display terminal device, and every 3 seconds The flag of the flag table corresponding to the area β132 is read, the updated rectangular area of the area β132 is extracted and transmitted to the display screen, and the flag of the flag table corresponding to the area γ133 is read every 10 seconds to update the area γ133. The extracted rectangular area is extracted and transmitted to the display screen.
[0096]
As described above, by detecting the application program that is drawing on the display screen and referring to the screen characteristics drawn by the application program registered in advance, it is possible to update the screen suitable for the screen characteristics of the display screen It becomes.
[0097]
(Embodiment 15)
Next, a fifteenth embodiment of the present invention will be described. The configuration of the fifteenth embodiment is the same as the overall configuration of the third embodiment. However, as shown in FIG. 21, the image compression device 11 has at least one lossless compression means 141 and at least one lossy compression means 142. To do. The lossless compression means 141 includes, for example, Huffman coding and arithmetic coding, and the irreversible compression means 142 includes, for example, JPEG using DCT (discrete cosine transform).
[0098]
In this method, the information processing apparatus 1 divides a display screen into several screen areas, and has a compression method selecting means for each area for setting a compression method for each of the divided areas. The screen areas to be compressed are compressed by the compression method selected by the area-specific compression method selection means and transmitted to the display terminal device.
[0099]
Next, the operation will be described. FIG. 22 is an example of a display screen of the information processing device 1 according to the fifteenth embodiment. In this screen, several windows are overlapped. In FIG. 22, the window W151 is the highest-level window and is currently active.
[0100]
The area-specific compression method selecting means, for example, inquires of the operating system which window is currently active, recognizes that the window W151 is active, and sets the area corresponding to the window W151 to the area A152, and other areas. The compression method is set for each of the regions as a region B153. For example, the area A152 is an active window, and an image free from blur and distortion is required. Therefore, Huffman coding as the lossless compression unit 141 is set, and the area B153 is an inactive area. Since sharpness is not required, JPEG as the irreversible compression means 142 is set. Then, the information processing apparatus 1 reads the flag of the flag table 16 corresponding to the area A152, extracts the rectangular area updated in the area A152, and performs Huffman encoding on the screen data of the rectangular area to be transmitted by the lossless compression unit 141. The data is transmitted to the display terminal device 2, then the flag of the flag table 16 corresponding to the region B 153 is read, the rectangular region updated in the region B 153 is extracted, and transmitted to the display terminal device 2.
[0101]
In the present embodiment, the area-specific compression method selection means detects an active window as a method of dividing the display screen area into a plurality of areas, and setting a compression method for each area. The display screen area is divided into a plurality of areas depending on whether the area is or not, and the method for setting the compression method has been described. For example, as described in the thirteenth embodiment, the area is determined by the number of updates of the flag for a predetermined time. The compression method for each area may be set by dividing the area, or as described in Embodiment 14, the area may be divided by the screen area drawn by the application program, and the compression method for each area may be set. May be set.
[0102]
As described above, since the display screen can be divided into a plurality of screen areas and the compression method can be changed for each of the divided areas, irreversible compression can be used for an unimportant area or a moving image area, thereby reducing the amount of data to be transmitted. Becomes possible.
[0103]
【The invention's effect】
According to the present invention, in a remote display screen updating system of an information processing apparatus for transmitting a display screen of an information processing apparatus to a remote display screen and displaying the information, a load on a CPU of the information processing apparatus for transmitting the display screen is reduced, The display screen of the display terminal device can be updated quickly, the display screen can be updated by any drawing command, the amount of data to be transmitted can be reduced without the user feeling visually uncomfortable, and the remote display terminal can be reduced. For example, the device has an effect that the display screen of the information processing device can be quickly updated even when the drawing processing capability is inferior to that of the information processing device, such as a portable terminal device requiring low power consumption.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a first embodiment of a remote display screen updating system of an information processing apparatus.
FIG. 2 is a diagram showing a relationship between a flag and a display screen.
FIG. 3 is a flowchart illustrating processing of a remote display screen updating system of the information processing apparatus according to the first embodiment;
FIG. 4 is a block diagram showing an entire configuration of a remote display screen updating system according to a second embodiment of the information processing apparatus;
FIG. 5 is a block diagram illustrating an overall configuration of a remote display screen updating system according to a third embodiment of the information processing apparatus;
FIG. 6 is a flowchart illustrating processing of a remote display screen updating system of the information processing apparatus according to the third embodiment;
FIG. 7 is a block diagram illustrating an overall configuration of a remote display screen updating system according to a fourth embodiment of the information processing apparatus;
FIG. 8 is a flowchart showing processing of a display screen update determination unit according to the fifth embodiment.
FIG. 9 is a flowchart showing a display screen update number counting process according to the fifth embodiment.
FIG. 10 is a flowchart showing processing of frame storage rate control according to the sixth embodiment;
FIG. 11 is a block diagram illustrating a configuration of an updated rectangular area extraction circuit according to a seventh embodiment.
FIG. 12 is a block diagram showing a configuration of an updated rectangular area extraction circuit according to the eighth embodiment.
FIG. 13 is a block diagram showing a configuration of an update rectangular area extraction circuit according to a ninth embodiment;
FIG. 14 is a block diagram showing an overall configuration of a remote display screen updating system according to a tenth embodiment of the information processing apparatus.
FIG. 15 is a flowchart showing processing of the remote display screen updating system of the information processing apparatus according to the tenth embodiment.
FIG. 16 is a diagram showing a configuration of an update notification flag table according to the eleventh embodiment.
FIG. 17 is a diagram illustrating an example of a display screen of the information processing apparatus according to the twelfth embodiment.
FIG. 18 is a diagram showing an example of the result of counting the number of times a flag is set during a predetermined time (for example, 10 seconds) by the flag update number counting means according to the thirteenth embodiment;
FIG. 19 is a diagram showing an example of an application program drawing screen characteristic table according to the fourteenth embodiment.
FIG. 20 is a diagram illustrating an example of a display screen of the information processing apparatus according to the fourteenth embodiment.
FIG. 21 is a block diagram of an image compression apparatus according to a fifteenth embodiment.
FIG. 22 is a diagram illustrating an example of a display screen of the information processing device according to the fifteenth embodiment.
FIG. 23 is a block diagram showing a configuration of a conventional remote display screen updating system for an information processing apparatus.
[Explanation of symbols]
1 Information processing device
2 Display terminal device
3 Communication line
4 CPU
5 Main memory
6 Mass storage device
7 Display buffer
8 Video controller
9 Communication equipment
10 Input device
11 Image compression device
12 Memory A
13 Memory B
14 Memory switching control circuit
15 Update rectangular area extraction circuit
16 Flag table
17 System bus I / F (interface)
218 8x8 pixel rectangular area
22 Flag corresponding to rectangular area
31 Frame storage rate control circuit
41 Calculator that calculates the absolute value of the difference for each RGB component
42 an update determining circuit for determining whether there is a difference to be transmitted to a predetermined rectangular area from an absolute value of a difference between pixel components
51 Comparator that compares frame data for each pixel
52 Difference pixel counting circuit for counting the number of pixel differences in a predetermined rectangular area
53 Update determination circuit for determining whether there is a difference to be transmitted in a predetermined rectangular area based on the number of pixel differences in the predetermined rectangular area
61 DCT (Discrete Cosine Transform) Operation Unit for Converting Pixels of Predetermined Rectangular Area into Frequency Components
62 Comparator for comparing frequency components in a predetermined rectangular area
63 Update judging device for judging whether or not there is a difference to be transmitted in a predetermined rectangular area based on whether there is a difference in a frequency component lower than a predetermined frequency
71 Transmission notification flag table
72 Update notification flag table
81 Area where flag of update notification flag table is set
82 Update notification flag table flag set count storage area
101 Window X
102 Area A corresponding to window X
103 Area B which is the area of the display screen other than window X
111 Area X where the number of updates is 0 to 2
112 Region Y where the number of updates is 3 to 10
113 Region Z where update count is 10 or more
121 Application program drawing screen characteristics table
131 Area α where application program (1) is drawing
132 Area β where application program (2) is drawing
133 area γ which is a display screen area other than area α and area β
141 Lossless compression means
142 Lossy compression means
151 Window W
152 Area A corresponding to window W
153 area B which is the area of the display screen other than window W
303 communication line
304 CPU
305 Main memory
306 Mass storage device
307 Display buffer
308 Video Controller
309 Communication device
310 input device
S101 to S616 Steps in the flowchart

Claims

A display screen updating system for transmitting a display screen to a display terminal device,
A video controller,
Actual display screen frame storage means for storing data for two frames of the display screen output from the video controller;
An updated rectangular area extracting means for performing data comparison of two frames stored in the actual display screen frame storing means in a predetermined rectangular area unit to extract presence / absence of update;
A flag table for recording a flag based on the presence or absence of the update extracted by the update rectangular area extracting means;
Transmission screen area determination means for determining a screen area to be transmitted to a display terminal device based on the flag recorded in the flag table,
Transmission screen data extraction means for extracting pixel data of the transmission screen area determined by the transmission screen area determination means,
Image compression means for performing a predetermined compression process on the transmission screen data extracted by the transmission screen data extraction means,
Communication means for transmitting the transmission screen data compressed by the image compression means to the display terminal device.

A display screen updating system for transmitting a display screen to a display terminal device,
A video controller,
Actual display screen frame storage means for storing data for two frames of the display screen output from the video controller;
Simultaneously with the output recording of the frame data from the video controller to the actual display screen frame storage means, the output record data and the data of the previous frame recorded in the actual display screen frame storage means are compared in a predetermined rectangular area unit. Update rectangular area extracting means for extracting presence or absence of update by
A flag table for recording a flag based on the presence or absence of the update extracted by the update rectangular area extracting means;
Transmission screen area determination means for determining a screen area to be transmitted to a display terminal device based on the flag recorded in the flag table,
Transmission screen data extraction means for extracting pixel data of the transmission screen area determined by the transmission screen area determination means,
Image compression means for performing a predetermined compression process on the transmission screen data extracted by the transmission screen data extraction means,
Communication means for transmitting the transmission screen data compressed by the image compression means to the display terminal device.

The actual display screen frame storage means is composed of two or more memories,
3. The display screen updating system according to claim 1, wherein a memory stored for each frame is changed.

3. The transmission screen data extraction unit extracts pixel data of a transmission screen area determined by the transmission screen area determination unit from the actual display screen frame storage unit. Display screen update system.

A frame storage rate control unit that stores a frame interval number that determines an interval of a frame to be recorded in the real display screen frame storage unit and controls recording of frame data in the real display screen frame storage unit for each frame interval number. The display screen updating system according to claim 1, further comprising:

A display screen update count detection for detecting the number of updates of the display screen every predetermined period or every generation period of a predetermined frame, and setting the number of frame intervals of the frame storage rate control means based on the number of updates 6. The display screen updating system according to claim 5, further comprising: means.

It has a transmission buffer remaining amount detecting unit that detects the remaining amount of the transmission buffer of the communication unit and sets the number of frame intervals of the frame storage rate control unit based on the number of updates based on the remaining amount of the buffer. The display screen updating system according to claim 5, characterized in that:

3. The display screen updating system according to claim 1, wherein the update rectangular area extracting unit extracts presence or absence of the update based on whether or not a difference between screens is equal to or more than a certain value.

9. The display screen updating system according to claim 8, wherein said update rectangular area extracting means determines that there is an update when a difference between pixels in a predetermined rectangular area is at least a predetermined value.

9. The display screen updating system according to claim 8, wherein the update rectangular area extracting means determines that there is an update when the number of detected pixel differences in the predetermined rectangular area is equal to or more than a predetermined value.

9. The display screen updating system according to claim 8, wherein the update rectangular area extracting means converts the pixel data of the predetermined rectangular area into frequency components, and determines that there is an update when there is a difference between the predetermined frequency components.

The update rectangular area extracting means performs data comparison in a predetermined rectangular area unit to extract the presence or absence of a difference required for transmission and the presence or absence of a difference less than the difference required for transmission,
The flag table records a flag based on the presence or absence of a difference required for transmission and a flag based on the presence or absence of a difference less than the difference required for transmission,
Based on the output of the flag table, the transmission screen area determination means determines a rectangular area corresponding to a flag having a difference required for transmission as a transmission screen area, and a rectangle corresponding to a flag having a difference less than the difference required for transmission. 3. The display screen updating system according to claim 1, wherein the area is determined as a transmission screen area at predetermined time intervals.

The update rectangular area extracting means performs data comparison in a predetermined rectangular area unit to extract the presence / absence of a difference required for transmission and the presence / absence of a difference unnecessary for transmission,
The flag table records a flag based on the presence or absence of a difference required for transmission and a flag based on the presence or absence of a difference less than the difference required for transmission,
Based on the output of the flag table, the transmission screen area determination means determines a rectangular area corresponding to a flag having a difference required for transmission as a transmission screen area, and a rectangle corresponding to a flag having a difference less than the difference required for transmission. 3. The display screen updating system according to claim 1, wherein the area is determined as a transmission screen area when the number of times of occurrence of the flag exceeds a predetermined number.

Having area priority setting means for setting a priority for each divided screen area,
3. The display screen updating system according to claim 1, wherein an update time interval for each screen area is determined based on the priority set by the area priority setting unit.

The display screen is divided into a plurality of screen areas composed of several rectangular areas according to the counted number, and the priority is given to the area priority setting means. 15. The display screen updating system according to claim 14, further comprising: a flag updating number counting unit for setting a flag.

An application program display position detecting means for detecting a screen area by detecting an active application program; and an application program drawing screen characteristic table storing characteristics of a screen drawn by the application program, wherein the application program display position detecting means 15. The display screen updating system according to claim 14, wherein a priority is set to said area priority setting means based on a screen area detected by the program and a screen characteristic stored in said application program drawing screen characteristic table.

An area compression method selection unit for setting a compression method for each of the divided screen areas, wherein the image compression means performs predetermined compression processing on the transmission screen data based on the compression method selected by the area compression method selection means 3. The display screen updating system according to claim 1, wherein: