[go: up one dir, main page]

JP2012133586A - Display device, screen image transfer method and program - Google Patents

Display device, screen image transfer method and program Download PDF

Info

Publication number
JP2012133586A
JP2012133586A JP2010285048A JP2010285048A JP2012133586A JP 2012133586 A JP2012133586 A JP 2012133586A JP 2010285048 A JP2010285048 A JP 2010285048A JP 2010285048 A JP2010285048 A JP 2010285048A JP 2012133586 A JP2012133586 A JP 2012133586A
Authority
JP
Japan
Prior art keywords
image
screen
display
compression
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010285048A
Other languages
Japanese (ja)
Inventor
Masanori Ishida
正徳 石田
Manabu Ota
学 太田
Kensuke Ono
健介 大野
Takashi Suzuki
喬 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010285048A priority Critical patent/JP2012133586A/en
Publication of JP2012133586A publication Critical patent/JP2012133586A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させる。
【解決手段】表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置において、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えて構成する。
【選択図】図２In a technique for sharing a screen by displaying a display screen displayed on a first display device on a second display device, the display screen displayed on the first display device is reduced to a second with a small delay. Display on the display device.
In a display device that includes a display unit and shares a screen by displaying a screen image displayed on the display unit on another device, the screen image displayed on the display unit is captured, and a captured image is captured. Capturing means for acquiring the image, a compression method suitable for the content of the captured image, an image compression means for compressing the captured image using the determined compression method, and generating a compressed image, and the image compression means And a transfer means for transferring the compressed image generated by the method to the other device.
[Selection] Figure 2

Description

本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。   The present invention relates to a technique for screen sharing by causing a display screen displayed on a display device to be displayed on another display device.

従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献１には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。   Conventionally, there is a technique for sharing a display screen among a plurality of devices. For example, in Patent Document 1, a display device to be monitored collects information on a screen to be displayed in response to a user operation, transmits the screen information to another display device, and the other display device displays the screen information. A technique for reproducing and monitoring a display screen based on this is described.

また、特許文献２には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献３には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献４，５がある。   Japanese Patent Application Laid-Open No. 2004-228688 describes a technique for sharing screen display contents among a plurality of terminal devices and sharing operations such as writing from the terminal to the screen. Patent Document 3 discloses a technology related to a collaborative work support system that displays a common screen among a plurality of users on a screen of a display device of each of a plurality of users, and supports collaborative work performed through the screen display. Is described. Other prior art documents related to the present application include Patent Documents 4 and 5.

特開２０１０−５５１５３号公報JP 2010-55153 A 特開２００６−３２３６０７号公報JP 2006-323607 A 特開平１１−６５９７５号公報JP-A-11-65975 特開２００１−５７６３７号公報JP 2001-57637 A 特開２００５−３２３６０７号公報JP 2005-323607 A

上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ（被アシスト側）が使用する表示装置（第１の表示装置）に表示される表示画面を、当該操作をアシストするユーザ（アシスト側）の表示装置（第２の表示装置）に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第１の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。   As described above, by using a technique for sharing a display screen among a plurality of display devices, for example, a display device (first display device) used by a user unfamiliar with the operation of the display device (assisted side). By displaying the display screen to be displayed on the display device (second display device) of the user (assist side) who assists the operation, the assist side user can see the display screen to the user on the assisted side. On the other hand, it is possible to remotely and carefully teach the operation method of the first display device.

表示画面を共有して操作のアシストを行う技術においては、適確なアシストを行うために、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが求められる。   In the technology of assisting operations by sharing the display screen, the display screen displayed on the assisted display device may be quickly displayed on the assist display device in order to perform appropriate assist. Desired.

例えば、アシスト側で順次操作指示を行い、被アシスト側にて指示に従って操作を行うことにより被アシスト側の表示装置に順次表示画面が表示される状況で、表示画面情報の転送に時間がかかる場合、アシスト側の表示装置には各操作から相当に遅れて各表示画面が表示されることになる。このような状況では、アシスト側は、どの指示に対応した表示画面かが分からなくなる可能性があるとともに、被アシスト側は、アシスト側からのガイダンスに遅れを感じ、スムーズなアシスト／被アシストを行うにあたって支障をきたす可能性がある。   For example, when the display screen information is displayed sequentially on the assisted display device by performing sequential operation instructions on the assist side and performing operations according to the instructions on the assisted side, it takes time to transfer the display screen information. The display screen on the assist side is displayed with a considerable delay from each operation. In such a situation, the assist side may not know which display screen corresponds to the instruction, and the assisted side feels behind the guidance from the assist side and performs smooth assist / assisted There is a possibility of causing trouble.

本発明は上記の点に鑑みてなされたものであり、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することを目的とする。   The present invention has been made in view of the above points, and in the technology for screen sharing by displaying the display screen displayed on the first display device on the second display device, It is an object of the present invention to provide a technique for displaying a displayed display screen on a second display device with a small delay.

上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えることを特徴とする表示装置として構成される。   In order to solve the above-described problems, the present invention is a display device that includes a display unit, and that displays a screen image displayed on the display unit on another device and shares the screen. Capturing the displayed screen image, capturing means for acquiring the captured image, and determining a compression method suitable for the content of the captured image, compressing the captured image using the determined compression method, The display device includes: an image compression unit to be generated; and a transfer unit that transfers the compressed image generated by the image compression unit to the other device.

前記画像圧縮手段は、例えば、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する。また、前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定するように構成してもよい。   The image compression unit determines the compression method based on, for example, the type of display information that is the basis of the screen image. Further, the image compression means analyzes the captured image and determines the compression method according to a ratio of an image of a predetermined type as an image type suitable for irreversible compression in the screen image. It may be configured.

また、前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する。   Further, the image compression means determines either the irreversible compression method or the reversible compression method as the compression method corresponding to the captured image so that the compression rate of the captured image becomes higher.

前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備えてもよく、その場合、前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する。   The display device further includes operation information acquisition / transfer means for acquiring operation information indicating a content of an operation performed on the screen image displayed on the display unit, and transferring the operation information to the other device. In that case, the capture unit obtains a captured image of the screen after the operation is performed, and the image compression unit is not displayed before the operation is performed from the captured image. The partial image displayed after the operation is acquired, a compression method for the partial image is determined, the partial image is compressed using the determined compression method, and a compressed partial image is generated. The compressed partial image is transferred to the other device after or simultaneously with the operation information being transferred to the other device by the operation information acquisition / transfer unit.

また、本発明は、上記表示装置が実行する画面画像転送方法、及び、コンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。   The present invention can also be configured as a screen image transfer method executed by the display device and a program for causing a computer to function as each means in the display device.

本発明によれば、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することが可能となる。   According to the present invention, in the technology for screen sharing by displaying the display screen displayed on the first display device on the second display device, the display screen displayed on the first display device is reduced in delay. Thus, it is possible to provide a technique for displaying on the second display device.

本発明の実施の形態に係るシステム構成図である。It is a system configuration figure concerning an embodiment of the invention. 表示装置１の機能構成図である。3 is a functional configuration diagram of the display device 1. FIG. 圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す図である。It is a figure which shows an example of the management table stored in the compression system management information storage part 155. FIG. 表示装置２の機能構成図である。3 is a functional configuration diagram of a display device 2. FIG. システムの動作概要を説明するための図である。It is a figure for demonstrating the operation | movement outline | summary of a system. 基本処理を説明するためのシーケンス図である。It is a sequence diagram for demonstrating a basic process. 操作（スクロール）を行う場合の処理を説明するためのシーケンス図である。It is a sequence diagram for demonstrating the process in the case of performing operation (scroll). 表示装置１に表示される画面画像の例を示す図である。4 is a diagram illustrating an example of a screen image displayed on the display device 1. FIG. 表示装置２に表示される画面画像の例を示す図である。6 is a diagram showing an example of a screen image displayed on the display device 2. FIG.

以下、図面を参照して本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(システム構成）
図１に、本発明の実施の形態に係るシステム構成を示す。図１に示すように、本実施の形態に係るシステムは、表示装置１と表示装置２が、通信ネットワーク３を介して接続された構成を有する。 (System configuration)
FIG. 1 shows a system configuration according to an embodiment of the present invention. As shown in FIG. 1, the system according to the present embodiment has a configuration in which a display device 1 and a display device 2 are connected via a communication network 3.

本実施の形態では、表示装置１、２は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク３は、画像データ等を送受信可能なネットワークである。   In the present embodiment, each of display devices 1 and 2 may be a PC or a mobile terminal such as a mobile phone. The communication network 3 is a network that can transmit and receive image data and the like.

本実施の形態では、表示装置１に表示される画面を表示装置２に表示させることを想定している。つまり、表示装置１に表示される画面情報等が表示装置２に送信され、表示装置２が当該画面情報等に基づいて画面表示を行う。   In the present embodiment, it is assumed that the screen displayed on the display device 1 is displayed on the display device 2. That is, screen information or the like displayed on the display device 1 is transmitted to the display device 2, and the display device 2 performs screen display based on the screen information or the like.

図２に、本実施の形態に係る表示装置１の機能構成図を示す。図２に示すように、表示装置１は、通信部１１、表示部１２、操作部１３、表示情報生成部１４、転送表示制御部１５を備えている。   FIG. 2 shows a functional configuration diagram of the display device 1 according to the present embodiment. As illustrated in FIG. 2, the display device 1 includes a communication unit 11, a display unit 12, an operation unit 13, a display information generation unit 14, and a transfer display control unit 15.

通信部１１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部１２は、いわゆるディスプレイであり、画像を表示する機能部である。操作部１３は、ユーザが表示装置１に対して情報入力や各種指示を行うためのボタンやキーボード等である。操作部１３は、表示部１２と一体に構成されるタッチスクリーンでもよい。   The communication unit 11 is a functional unit for communicating data and the like with other devices via the communication network 3. The display unit 12 is a so-called display and is a functional unit that displays an image. The operation unit 13 is a button, a keyboard, or the like for the user to input information and give various instructions to the display device 1. The operation unit 13 may be a touch screen configured integrally with the display unit 12.

表示情報生成部１４は、表示部１２に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部１４に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。   The display information generation unit 14 is a functional unit that generates display information to be displayed on the display unit 12 and includes functions corresponding to various applications and processing programs. Examples of applications included in the display information generation unit 14 include a Web browser, a camera application, and a mail application.

また、例えば、表示装置１が、携帯電話機である場合、表示情報生成部１４は、表示部１２に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。   In addition, for example, when the display device 1 is a mobile phone, the display information generation unit 14 displays an operation screen on the display unit 12 and receives a telephone number input to perform a process such as a call process, Various functions for displaying a screen are provided in a general mobile phone such as a phone book application for displaying and managing a phone book.

表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等であり、更に、表示部１２に表示される画面内の表示位置情報を含む。また、本実施の形態では、表示情報は、その種別を示す識別情報を含むものとする。例えば、表示情報を構成するファイルのファイル名（拡張子を除くファイル名）や、その拡張子は識別情報の一種である。   The display information is, for example, text information, image information, information in which text and an image are mixed, and further includes display position information in the screen displayed on the display unit 12. In the present embodiment, the display information includes identification information indicating the type. For example, the file name (file name excluding the extension) of the file constituting the display information and the extension are a kind of identification information.

転送表示制御部１５は、表示情報を表示部１２に表示するための処理を行うとともに、画面共有のために、表示装置２へ転送する転送用画面情報等を作成し、当該転送用画面情報等を、通信部１１を介して表示装置２に転送する機能部である。   The transfer display control unit 15 performs processing for displaying the display information on the display unit 12, creates transfer screen information to be transferred to the display device 2 for screen sharing, and the like. Is a functional unit that transfers the information to the display device 2 via the communication unit 11.

より詳細には、転送表示制御部１５は、表示処理部１５１、キャプチャ部１５２、キャプチャ画像格納部１５３、転送用画面情報生成転送部１５４、圧縮方式管理情報格納部１５５、操作情報取得転送部１５６を含む。   More specifically, the transfer display control unit 15 includes a display processing unit 151, a capture unit 152, a captured image storage unit 153, a transfer screen information generation / transfer unit 154, a compression method management information storage unit 155, and an operation information acquisition / transfer unit 156. including.

表示処理部１５１は、表示情報生成部１４から表示情報を受け取り、表示部１２に対して表示する機能部であり、表示情報（例えば、テキスト＋画像）を一時的に格納する記憶領域や、グラフィック用記憶領域（グラフィックメモリ等）を含み、表示のためのグラフィック処理を行う。また、表示処理部１５１は、操作部１３を介して表示情報生成部１４に対してなされるスクロール等の画面表示に関する操作情報を表示情報生成部１４から受け取り、当該操作情報に基づいてスクロール等に対応した画面表示を行う機能も有する。   The display processing unit 151 is a functional unit that receives display information from the display information generation unit 14 and displays the display information on the display unit 12. The display processing unit 151 temporarily stores display information (for example, text + image) or a graphic area. Storage area (graphic memory, etc.), and graphic processing for display is performed. The display processing unit 151 receives operation information related to screen display such as scrolling performed on the display information generation unit 14 via the operation unit 13 from the display information generation unit 14, and performs scrolling based on the operation information. It also has a function to display the corresponding screen.

キャプチャ部１５２は、表示処理部１５１により表示部１２に表示される画面画像を表示処理部１５１から取得（キャプチャ）し、キャプチャ画像格納部１５３に格納する機能部である。   The capture unit 152 is a functional unit that acquires (captures) the screen image displayed on the display unit 12 by the display processing unit 151 from the display processing unit 151 and stores the screen image in the captured image storage unit 153.

転送用画面情報生成部１５４は、圧縮方式管理情報格納部１５５を参照し、キャプチャ部１５２により取得されたキャプチャ画像に対して、適切な圧縮方式で圧縮処理を施すことにより圧縮画像を生成し、これを転送用画面情報として表示装置２に転送する機能部である。   The transfer screen information generation unit 154 refers to the compression method management information storage unit 155, generates a compressed image by performing compression processing with an appropriate compression method on the captured image acquired by the capture unit 152, and This is a functional unit that transfers this to the display device 2 as transfer screen information.

図３に、圧縮方式管理情報格納部１５５に格納されている管理テーブルの一例を示す。本実施の形態では、一例として、転送用画面情報生成部１５４は、圧縮を行おうとするキャプチャ画像に対応する表示情報の識別情報（種別）を表示処理部１５１から取得し、当該表示情報の識別情報を用いて管理テーブルを参照することにより、キャプチャ画像に施す圧縮処理の圧縮方式を決定している。   FIG. 3 shows an example of a management table stored in the compression method management information storage unit 155. In the present embodiment, as an example, the transfer screen information generation unit 154 acquires identification information (type) of display information corresponding to the captured image to be compressed from the display processing unit 151, and identifies the display information. By referring to the management table using the information, the compression method of the compression process applied to the captured image is determined.

例えば、管理テーブルに従って、キャプチャ画像に対応する表示情報がメールや電話帳情報であれば、圧縮方式として可逆圧縮（例えば、GIF、PNG等）を行うと決定し、キャプチャ画像に対応する表示情報がカメラ取得画像（例えば、写真、写真を設定した待ち受け画面、写真一覧画面等）であれば非可逆圧縮（例えば、JPEG等）を行うと決定する。このように圧縮方式を設定するのは、メール画面や電話帳画面のように色数の少ない画面では可逆圧縮の方が圧縮率を高くすることができ、カメラ画像等では非可逆圧縮の方が圧縮率を高くできるためである。画像の種別毎に圧縮率を高める圧縮方式を用いることにより、転送用画面情報のデータ量を減少させることができ、転送用画面情報を表示装置２に転送するのにかかる時間を短縮できる。   For example, according to the management table, if the display information corresponding to the captured image is mail or phonebook information, it is determined that lossless compression (for example, GIF, PNG, etc.) is performed as the compression method, and the display information corresponding to the captured image is If it is a camera-acquired image (for example, a photograph, a standby screen in which a photograph is set, a photograph list screen, etc.), it is determined to perform lossy compression (for example, JPEG). The compression method is set in this way because lossless compression can increase the compression rate on screens with a small number of colors, such as mail screens and phone book screens, and irreversible compression on camera images, etc. This is because the compression rate can be increased. By using a compression method that increases the compression rate for each type of image, the data amount of the transfer screen information can be reduced, and the time taken to transfer the transfer screen information to the display device 2 can be shortened.

また、上記のように、管理テーブルを参照することなく、表示情報を構成しているファイル形式（拡張子で判別可能）を調べ、そのファイル形式と同じ圧縮方式で圧縮を行ってもよい。例えば、圧縮対象のキャプチャ画像の元の画像ファイルがJPEGファイルであった場合、当該キャプチャ画像をJPEG（非可逆圧縮方式）で圧縮する。   Further, as described above, without referring to the management table, the file format constituting the display information (which can be identified by the extension) may be examined, and compression may be performed using the same compression method as that file format. For example, when the original image file of the capture image to be compressed is a JPEG file, the capture image is compressed by JPEG (lossy compression method).

なお、圧縮方式の決定方法は、上記の方法に限られるわけでなく、適切な圧縮方式を決定できるのであればどのような方法を用いてもよい。例えば、キャプチャ画像の画像解析を行って、非可逆圧縮に適した画像の面積の割合を算出して圧縮方式を決定してもよい。このような方法を含む他の方法の詳細については、後述する動作説明のところで説明する。また、圧縮方式の区分は、非可逆圧縮と圧縮方式の２区分に限られるわけでなく、例えば、非可逆圧縮の圧縮率を複数種類設定し、各々の圧縮率に対応する非可逆圧縮をそれぞれ異なる圧縮方式として設定してもよい。   The method for determining the compression method is not limited to the above method, and any method may be used as long as an appropriate compression method can be determined. For example, the compression method may be determined by performing image analysis of the captured image and calculating a ratio of the area of the image suitable for lossy compression. Details of other methods including such a method will be described in the explanation of operations described later. In addition, the compression method is not limited to two types of lossy compression and compression method. For example, a plurality of types of compression rates for lossy compression are set, and lossy compression corresponding to each compression rate is set. Different compression methods may be set.

操作情報取得転送部１５６は、表示情報生成部１４からスクロール等の画面表示に関わる操作情報を取得し、当該操作情報を表示装置２に転送するとともに、転送用画面情報生成転送部１５４に渡す。   The operation information acquisition / transfer unit 156 acquires operation information related to screen display such as scrolling from the display information generation unit 14, transfers the operation information to the display device 2, and passes it to the transfer screen information generation / transfer unit 154.

本実施の形態では、操作の例としてスクロールを取り上げ、操作情報はスクロール情報（画面画像を移動する方向（上、下、左、右、等）、及び、移動量（ピクセル数等）を含む）であるものとする。転送用画面情報生成転送部１５４は、操作情報取得転送部１５６からスクロール情報を受け取ると、スクロール前には画面内になかったがスクロールにより画面内に出現した部分の画像を判別し、当該画像のみに対して前述した圧縮を行って、転送する制御を行う。より詳細な処理内容については後に動作説明のところで説明する。   In the present embodiment, scrolling is taken as an example of the operation, and the operation information includes scroll information (including the direction in which the screen image is moved (up, down, left, right, etc.) and the amount of movement (number of pixels, etc.)). Suppose that Upon receiving the scroll information from the operation information acquisition / transfer unit 156, the transfer screen information generation / transfer unit 154 determines the image of the portion that was not in the screen before scrolling but has appeared in the screen by scrolling, and only the image is displayed. The above-described compression is performed on the data, and the transfer control is performed. More detailed processing contents will be described later in the explanation of the operation.

図４に、表示装置２の機能構成図を示す。なお、図４は、表示装置２において、表示装置１から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置２が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。   FIG. 4 shows a functional configuration diagram of the display device 2. Note that FIG. 4 mainly shows functions related to performing display using information received from the display device 1 in the display device 2, and includes other functions although not shown. For example, if the display device 2 is a mobile phone, it includes a mobile phone function and various applications.

図４に示すように、表示装置２は、通信部２１、表示部２２、表示制御部２３を備えている。   As illustrated in FIG. 4, the display device 2 includes a communication unit 21, a display unit 22, and a display control unit 23.

通信部２１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部２２は、いわゆるディスプレイであり、画像を表示する機能部である。   The communication unit 21 is a functional unit for communicating data and the like with other devices via the communication network 3. The display unit 22 is a so-called display and is a functional unit that displays an image.

表示制御部２３は、表示処理部２３１と操作情報提供部２３２を含む。表示処理部２３１は、表示装置１から受信する転送用画面情報（圧縮画像等）をデコードし、表示部２２に表示する機能を有する。操作情報提供部２３２は、表示装置１から受信する操作情報（スクロール情報）を表示処理部２３１に提供する機能を備える。表示処理部２３１がスクロール情報を受け取った場合、表示している画面画像をスクロール情報に従って移動させるとともに、すぐ後に表示装置１から受信する転送用画面情報（圧縮画像）をデコードして、スクロール移動により画面内で空欄となった部分にデコード画像を挿入して表示する機能も有する。   The display control unit 23 includes a display processing unit 231 and an operation information providing unit 232. The display processing unit 231 has a function of decoding transfer screen information (such as a compressed image) received from the display device 1 and displaying it on the display unit 22. The operation information providing unit 232 has a function of providing operation information (scroll information) received from the display device 1 to the display processing unit 231. When the display processing unit 231 receives the scroll information, the displayed screen image is moved according to the scroll information, and the transfer screen information (compressed image) received from the display device 1 immediately after is decoded, and the scroll movement is performed. It also has a function of inserting and displaying a decoded image in a blank area in the screen.

表示装置１における転送表示制御部１５は、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータ（表示情報生成部１４に相当する機能を含む）に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。また、表示装置２の表示制御部２３も、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。   The transfer display control unit 15 in the display device 1 executes a program describing processing corresponding to the function unit on a computer (including a function corresponding to the display information generation unit 14) having a CPU, a memory, a communication interface, and the like. This can be realized. The program can be recorded and distributed on a recording medium such as a portable memory. It is also possible to download the program from a server on the network and install it. The “computer” may be a mobile phone or the like having the function of “computer”. The display control unit 23 of the display device 2 can also be realized by causing a computer including a CPU, a memory, a communication interface, and the like to execute a program describing a process corresponding to the functional unit.

（システムの動作）
次に、本実施の形態におけるシステムの動作を説明する。まず、図５のシーケンスチャートを参照して、システムの動作概要を説明する。 (System operation)
Next, the operation of the system in this embodiment will be described. First, an outline of the operation of the system will be described with reference to the sequence chart of FIG.

まず、表示装置２が、画面共有要求を表示装置１に送信し（ステップ１）、表示装置１が、画面共有許可を表示装置２に送信することにより、画面共有が開始される。これ以降、表示装置１に表示される画面画像がキャプチャされ、圧縮処理がなされ（ステップ３）、圧縮画像である転送用画面情報が表示装置２に転送され（ステップ４）、表示装置２で画面画像の表示が行われる（ステップ５）ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、表示装置１において表示する画面画像内容に変更がある度に行うこととしてもよい。また、表示装置１のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。   First, the display device 2 transmits a screen sharing request to the display device 1 (step 1), and the display device 1 transmits screen sharing permission to the display device 2, whereby screen sharing is started. Thereafter, the screen image displayed on the display device 1 is captured and subjected to compression processing (step 3), transfer screen information as a compressed image is transferred to the display device 2 (step 4), and the screen is displayed on the display device 2. Screen sharing is realized by displaying an image (step 5). The screen image capture / transfer may be performed at regular time intervals, or may be performed whenever there is a change in the screen image content displayed on the display device 1. Moreover, it is good also as an opportunity that the user of the display apparatus 1 performed predetermined operation.

図５では、表示装置２から画面共有要求を送信し、表示装置１が画面共有許可を表示装置２に送る例を示したが、表示装置１から画面共有要求を送信し、表示装置２が画面共有許可を表示装置２に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。   FIG. 5 shows an example in which a screen sharing request is transmitted from the display device 2 and the display device 1 sends a screen sharing permission to the display device 2. However, the display device 1 transmits a screen sharing request and the display device 2 The sharing permission may be sent to the display device 2. Moreover, starting the screen sharing process by transmitting and receiving a screen sharing request and a screen sharing permission is merely an example, and screen sharing may be started by another procedure.

＜基本処理＞
以下ではまず、ある一の画面の表示情報が生成され、圧縮処理が施されて転送用画面情報が生成され、表示装置２に転送され、表示装置２に表示されるまでの基本処理を、図６を参照して説明する。 <Basic processing>
In the following, first, display information of a certain screen is generated, compression processing is performed, transfer screen information is generated, transferred to the display device 2, and displayed on the display device 2. FIG. This will be described with reference to FIG.

なお、キャプチャ画像の転送にあたっては、キャプチャ部１５２でキャプチャされた表示画面全体のキャプチャ画像を圧縮して転送してもよいし、処理対象の表示画面全体キャプチャ画像と1つ前の表示画面全体キャプチャ画像とを比較し、処理対象の表示画面全体キャプチャ画像における、両者間で差分のある部分の画像を圧縮して転送してもよい。以下で説明する圧縮方式の決定方法は、表示画面全体のキャプチャ画像そのものを圧縮・転送する場合でも、差分のある部分のキャプチャ画像を圧縮・転送する場合でも同様に適用できるものである。   In transferring the captured image, the captured image of the entire display screen captured by the capture unit 152 may be compressed and transferred, or the entire display screen captured image to be processed and the previous display screen captured The image may be compared and the portion of the display screen capture image to be processed that has a difference between them may be compressed and transferred. The method of determining the compression method described below can be applied in the same manner whether the captured image itself of the entire display screen is compressed / transferred or the captured image of a portion having a difference is compressed / transferred.

表示情報生成部１４が、表示部１２に表示するための表示情報を生成する（ステップ１１）。表示情報は、例えば、Ｗｅｂサーバから取得した画像入りのテキスト情報や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部１５１に渡され、表示処理部１５１が表示部１２への表示を行う（ステップ１２）。ここまでは、表示装置１における通常の画面表示処理である。   The display information generation unit 14 generates display information to be displayed on the display unit 12 (step 11). The display information is, for example, text information including an image acquired from a Web server, a photographic image read from a storage unit for display, or the like. The display information is transferred to the display processing unit 151, and the display processing unit 151 displays the information on the display unit 12 (step 12). Up to this point, normal screen display processing in the display device 1 has been performed.

続いて、キャプチャ部１５２が、表示部１２に表示されている画面画像を表示処理部１５１からキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ１３）。   Subsequently, the capture unit 152 captures the screen image displayed on the display unit 12 from the display processing unit 151 and stores it as a captured image in the captured image storage unit 153 (step 13).

次に、転送用画面情報生成転送部１５４は、ステップ１３で取得したキャプチャ画像に対する圧縮方式を決定する処理を行う（ステップ１４）。より詳細には、本例では、転送用画面情報生成転送部１５４は、キャプチャ画像に対応する表示情報の識別情報を表示処理部１５１から取得し、圧縮方式管理情報格納部１５５に格納された管理テーブルを参照することにより、当該識別情報（種別）に対応する圧縮方式を決定する。また、前述したように、表示情報である画像ファイルの形式（拡張子で判別）を把握し、当該画像ファイルと同じ圧縮方式を、キャプチャ画像圧縮のための圧縮方式として決定してもよい。   Next, the transfer screen information generation / transfer unit 154 performs a process of determining a compression method for the captured image acquired in Step 13 (Step 14). More specifically, in this example, the transfer screen information generation / transfer unit 154 acquires the identification information of the display information corresponding to the captured image from the display processing unit 151, and stores the management information stored in the compression method management information storage unit 155. The compression method corresponding to the identification information (type) is determined by referring to the table. Further, as described above, the format (determination based on the extension) of the image file that is display information may be grasped, and the same compression method as that of the image file may be determined as a compression method for capture image compression.

そして、決定された圧縮方式が非可逆圧縮であれば非可逆圧縮方式でキャプチャ画像の圧縮を行い、決定された圧縮方式が可逆圧縮であれば可逆圧縮方式でキャプチャ画像の圧縮を行うことにより圧縮画像を生成し（ステップ１５）、これを転送用画面情報として表示装置２に転送する（ステップ１６）。   If the determined compression method is lossy compression, the captured image is compressed by the lossy compression method. If the determined compression method is lossless compression, the captured image is compressed by the lossless compression method. An image is generated (step 15) and transferred to the display device 2 as transfer screen information (step 16).

転送用画面情報（圧縮画像）を受信した表示装置２では、表示処理部２３１が圧縮画像のデコードを行い（ステップ１７）、デコードした画面画像を表示部１２に表示する（ステップ１８）。   In the display device 2 that has received the transfer screen information (compressed image), the display processing unit 231 decodes the compressed image (step 17), and displays the decoded screen image on the display unit 12 (step 18).

上記の例では、表示情報の識別情報を用いることにより圧縮方式を決定したが、表示情報の識別情報を用いずに圧縮方式の決定を行う構成を採用してもよい。   In the above example, the compression method is determined by using the identification information of the display information. However, a configuration in which the compression method is determined without using the identification information of the display information may be employed.

この場合、例えば、転送用画面情報生成転送部１５４は、圧縮対象のキャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、第１の領域の面積が、キャプチャ画像全体の面積のうちの予め定めた割合以上であれば、圧縮対象のキャプチャ画像全体を非可逆圧縮すると決定し、予め定めた割合未満であればキャプチャ画像全体を可逆圧縮すると決定する。上記の「割合」は、例えば、実験等により、圧縮後のデータ量が最も少なくなる割合として予め決定しておけばよい。   In this case, for example, the transfer screen information generation / transfer unit 154 identifies an image of a predetermined type as an image suitable for irreversible compression such as a photographic image by analyzing a capture image to be compressed, and the image Area (first area) and other areas (images suitable for lossless compression) (for example, text area) (second area). If the area is greater than or equal to a predetermined ratio of the total area of the captured image, the entire captured image to be compressed is determined to be irreversibly compressed, and if the area is less than the predetermined ratio, the entire captured image is determined to be reversibly compressed. To do. The above “ratio” may be determined in advance as a ratio at which the amount of data after compression is the smallest, for example, through experiments.

また、非可逆圧縮を行う場合において、圧縮率を固定とせずに、圧縮率を画像の内容に応じて切替えてもよい。例えば、上記第１の領域のキャプチャ画像全体の面積に対する割合に応じて、非可逆圧縮の圧縮率を決定してもよい。この場合、例えば、上記割合が高ければ、すなわち、写真等の画像領域が大きければ、圧縮率を大きくし（強く圧縮する）、上記の割合が低ければ、すなわち、テキスト等の画像領域が大きければ、圧縮率を小さくする（弱く圧縮する）。   Further, in the case of performing irreversible compression, the compression rate may be switched according to the content of the image without fixing the compression rate. For example, the compression ratio of the irreversible compression may be determined according to the ratio of the first region to the area of the entire captured image. In this case, for example, if the ratio is high, that is, if the image area such as a photograph is large, the compression ratio is increased (strongly compressed), and if the ratio is low, that is, if the image area such as text is large. Reduce the compression rate (compress weakly).

このように、圧縮率を切り替える制御は、表示情報の識別情報を用いることにより圧縮方式を決定する前述した方法にも適用できる。この場合、例えば、非可逆圧縮で圧縮を行うと決定したキャプチャ画像について、上記と同様にして、第１の領域のキャプチャ画像全体の面積に対する割合を算出し、当該割合に応じて圧縮率を決定する。   Thus, the control for switching the compression rate can be applied to the above-described method for determining the compression method by using the identification information of the display information. In this case, for example, for the captured image determined to be compressed by irreversible compression, the ratio of the first region to the area of the entire captured image is calculated in the same manner as described above, and the compression ratio is determined according to the ratio. To do.

また、以下のような処理を行うように構成してもよい。   Moreover, you may comprise so that the following processes may be performed.

この例では、転送用画面情報生成転送部１５４は、キャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域（第１の領域とする）と、それ以外の画像（可逆圧縮に適した画像）の領域（例えば、テキストの領域）（第２の領域とする）に分類し、それぞれの領域の画面内での位置情報を、当該位置情報に対応する領域が第１の領域に該当するのかそれとも第２の領域に該当するのかを示す情報とともにメモリ等の記憶手段に保持する。そして、転送用画面情報生成転送部１５４は、記憶手段に保持した情報に基づき、キャプチャ画像を各領域に分割し、各領域の画像を各領域に対応する圧縮方式で圧縮し、各圧縮画像を、それに対応する位置情報とともに表示装置２に転送する。   In this example, the transfer screen information generation / transfer unit 154 identifies a predetermined type of image as an image suitable for irreversible compression, such as a photographic image, by analyzing the captured image, and the region of the image (the first image) 1 area) and other image areas (images suitable for lossless compression) (for example, text area) (second area), and the position of each area on the screen Information is held in a storage unit such as a memory together with information indicating whether the area corresponding to the position information corresponds to the first area or the second area. Then, the transfer screen information generation / transfer unit 154 divides the captured image into regions based on the information held in the storage unit, compresses the images in each region with a compression method corresponding to each region, and converts each compressed image into a compressed image. Then, it is transferred to the display device 2 together with the corresponding position information.

そして、表示装置２では、各圧縮画像をデコードし、対応する位置情報を用いて、デコードした各画像を画面内の適切な位置に表示することにより、結果として、表示装置１に表示された画面画像と同じ画面画像を表示する。   Then, the display device 2 decodes each compressed image and displays each decoded image at an appropriate position in the screen using the corresponding position information. As a result, the screen displayed on the display device 1 is displayed. Display the same screen image as the image.

＜操作情報を用いる場合の処理＞
次に、操作情報（スクロール情報）を用いる場合の処理例を図７の流れに沿って説明する。以下の処理では、上記の基本処理により、表示装置１と表示装置２に同じ画面画像が表示されているものとし、その状態で、表示装置１においてスクロール操作が行われるものとする。 <Processing when using operation information>
Next, a processing example in the case of using operation information (scroll information) will be described along the flow of FIG. In the following processing, it is assumed that the same screen image is displayed on the display device 1 and the display device 2 by the above-described basic processing, and the scroll operation is performed in the display device 1 in that state.

表示装置１において、操作部１３からスクロール操作が行われると（ステップ２１）、表示処理部１５１は、スクロール後の画面画像を表示部１２に表示する（ステップ２２）。このスクロール表示処理は、表示装置１における通常の表示処理である。ここでの処理では、例えば、図８（ａ）に示す画面画像がスクロールされて、図８（ｂ）に示すような画面画像になる。なお、本例において、図８（ａ）に示す画面画像は表示装置２にも表示されている画面画像である。   In the display device 1, when a scroll operation is performed from the operation unit 13 (step 21), the display processing unit 151 displays the screen image after scrolling on the display unit 12 (step 22). This scroll display process is a normal display process in the display device 1. In this process, for example, the screen image shown in FIG. 8A is scrolled to become a screen image as shown in FIG. In this example, the screen image shown in FIG. 8A is a screen image also displayed on the display device 2.

一方、例えば、連続するスクロール操作が終わったところで、もしくは、一定間隔でキャプチャを行っている場合におけるキャプチャタイミングで、キャプチャ部１５２は、スクロール後の画面画像をキャプチャし、キャプチャ画像としてキャプチャ画像格納部１５３に格納する（ステップ２３）。   On the other hand, the capture unit 152 captures the screen image after scrolling, for example, at the capture timing when the continuous scroll operation is finished or when capture is performed at a constant interval, and the capture image storage unit as the capture image It is stored in 153 (step 23).

転送用画面情報生成転送部１５４は、スクロール操作の情報を表示情報生成部１４から取得しており、取得した情報に基づいて、画像のキャプチャを行った時点でのスクロール方向（画面画像の移動方向）、及び、移動量（ピクセル数等）を決定し、これらの情報をスクロール情報としてメモリ等の記憶手段に保持する（ステップ２４）。ここでの移動量は、１つ前のキャプチャタイミングから、今回のキャプチャタイミングまでの移動量となる。   The transfer screen information generation / transfer unit 154 acquires the scroll operation information from the display information generation unit 14, and based on the acquired information, the scroll direction (the moving direction of the screen image) when the image is captured. ) And the amount of movement (number of pixels, etc.) are determined, and these pieces of information are stored in a storage means such as a memory as scroll information (step 24). The amount of movement here is the amount of movement from the previous capture timing to the current capture timing.

そして、転送用画面情報生成転送部１５４は、スクロール情報を表示装置２に転送する（ステップ２５）。スクロール情報を受信した表示装置２の操作情報提供部２３２は、スクロール情報を表示処理部２３１に渡し、表示処理部２３１は、スクロール情報に含まれる移動方向及び移動量にて、表示画面画像のスクロールを行い、スクロール後の画面画像を表示部２２に表示する（ステップ２６）。   Then, the transfer screen information generation / transfer unit 154 transfers the scroll information to the display device 2 (step 25). The operation information providing unit 232 of the display device 2 that has received the scroll information passes the scroll information to the display processing unit 231, and the display processing unit 231 scrolls the display screen image with the movement direction and movement amount included in the scroll information. The screen image after scrolling is displayed on the display unit 22 (step 26).

例えば、図９（ａ）に示す画面画像がスクロールされて、図９（ｂ）のような画面が表示される。この時点では、スクロールにより出現する画面画像は未だ表示装置１から転送されていないので、図９（ｂ）に示すように、スクロールした部分は空白の画像となっている。なお、この部分を空白にせず、予め定めた画像を表示装置２で用意しておき、それを表示することとしてもよい。
図７のステップ２７では、転送用画面情報生成転送部１５４は、キャプチャ画像格納部１５３に格納されているスクロール後のキャプチャ画像から、スクロール前にはなかったスクロールにより出現した画面画像（部分画像と呼ぶ）を、ステップ２４で取得・保持しておいたスクロール情報を用いて取得する（ステップ２７）。 For example, the screen image shown in FIG. 9A is scrolled to display a screen as shown in FIG. At this time, the screen image that appears by scrolling has not yet been transferred from the display device 1, and as shown in FIG. 9B, the scrolled portion is a blank image. Note that, instead of leaving this portion blank, a predetermined image may be prepared on the display device 2 and displayed.
In step 27 of FIG. 7, the transfer screen information generation / transfer unit 154 generates a screen image (partial image and image) that appears from the scrolled captured image stored in the captured image storage unit 153 by scrolling that was not before scrolling. Is acquired using the scroll information acquired and held in step 24 (step 27).

その後、部分画像に対して、圧縮方式を決定し（ステップ２８）、決定した圧縮方式で圧縮を行い（ステップ２９）、圧縮画像を表示装置２に転送する（ステップ３０）。ステップ２８における圧縮方式の決定にあたっては、「基本処理」のところで説明した方法のうちどの方法を用いてもよい。なお、図７に示す処理の順番は一例であり、これに限られるわけではない。例えば、スクロール情報の転送（ステップ２５）と、圧縮画像の転送（ステップ３０）を同時に行うようにしてもよい。   Thereafter, a compression method is determined for the partial image (step 28), compression is performed using the determined compression method (step 29), and the compressed image is transferred to the display device 2 (step 30). In determining the compression method in step 28, any of the methods described in the “basic processing” may be used. Note that the order of the processing illustrated in FIG. 7 is an example, and the present invention is not limited to this. For example, scroll information transfer (step 25) and compressed image transfer (step 30) may be performed simultaneously.

部分画像が圧縮された圧縮画像を受信した表示装置２では、表示処理部２３１が圧縮画像をデコードし（ステップ３１）、スクロール情報を用いて、デコードした画像を、図９（ｂ）に示す空白の部分に表示する（ステップ３２）。結果として、表示装置２において、表示装置１でのスクロール後の画面画像（図８（ｂ））と同じ画面画像が表示される。   In the display device 2 that has received the compressed image obtained by compressing the partial image, the display processing unit 231 decodes the compressed image (step 31), and uses the scroll information to convert the decoded image into the blank shown in FIG. 9B. (Step 32). As a result, the same screen image as the screen image after scrolling on the display device 1 (FIG. 8B) is displayed on the display device 2.

このように、スクロールにより出現した部分の画像だけを圧縮して転送できる構成としたことにより、転送する情報の量を減少させることができ、スクロール等の操作を行う場合でも、迅速に画面共有を行うことが可能となる。   As described above, by compressing and transferring only the portion of the image that appears by scrolling, the amount of information to be transferred can be reduced, and even when operations such as scrolling are performed, screen sharing can be performed quickly. Can be done.

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。   The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.

１、２ 表示装置
３ 通信ネットワーク
１１ 通信部
１２ 表示部
１３ 操作部
１４ 表示情報生成部
１５ 転送表示制御部
１５１ 表示処理部
１５２ キャプチャ部
１５３ キャプチャ画像格納部
１５４ 転送用画面情報生成転送部
１５５ 圧縮方式管理情報格納部
１５６ 操作情報取得転送部
２１ 通信部
２２ 表示部
２３ 表示制御部
２３１ 表示処理部
２３２ 操作情報提供部 DESCRIPTION OF SYMBOLS 1, 2 Display apparatus 3 Communication network 11 Communication part 12 Display part 13 Operation part 14 Display information generation part 15 Transfer display control part 151 Display processing part 152 Capture part 153 Capture image storage part 154 Transfer screen information generation transfer part 155 Compression method Management information storage unit 156 Operation information acquisition / transfer unit 21 Communication unit 22 Display unit 23 Display control unit 231 Display processing unit 232 Operation information providing unit

Claims (7)

表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段と
を備えることを特徴とする表示装置。 A display device that includes a display unit and performs screen sharing by displaying a screen image displayed on the display unit on another device,
Capture means for capturing a screen image displayed on the display unit and obtaining a captured image;
An image compression unit that determines a compression method corresponding to the captured image, compresses the captured image using the determined compression method, and generates a compressed image;
A display device comprising: a transfer unit that transfers the compressed image generated by the image compression unit to the other device. 前記画像圧縮手段は、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。 The display device according to claim 1, wherein the image compression unit determines the compression method based on a type of display information that is a source of the screen image. 前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定する
ことを特徴とする請求項１に記載の表示装置。 The image compression means analyzes the captured image and determines the compression method according to a ratio of an image of a predetermined type as an image type suitable for irreversible compression in the screen image. The display device according to claim 1. 前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の表示装置。 The image compression means determines either the irreversible compression method or the lossless compression method as the compression method corresponding to the captured image so that the compression rate of the captured image is higher.
The display device according to claim 1, wherein the display device is a display device. 前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備え、
前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、
前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、
前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の表示装置。 The display device further includes operation information acquisition and transfer means for acquiring operation information indicating a content of an operation performed on the screen image displayed on the display unit, and transferring the operation information to the other device.
The capture means acquires a captured image of the screen after the operation is performed,
The image compression means acquires from the captured image a partial image that is not displayed before the operation and is displayed after the operation, determines a compression method for the partial image, and determines the determined compression Compressing the partial image using a method to generate a compressed partial image;
The transfer means transfers the compressed partial image to the other apparatus after or simultaneously with the operation information being transferred to the other apparatus by the operation information acquisition and transfer means. The display apparatus of any one of these. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャステップと、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮ステップと、
前記画像圧縮ステップにより生成された圧縮画像を前記他の装置に転送する転送ステップと
を備えることを特徴とする画面画像転送方法。 A screen image transfer method executed by a display device that includes a display unit and performs screen sharing by displaying a screen image displayed on the display unit on another device,
A capture step of capturing a screen image displayed on the display unit and obtaining a captured image;
An image compression step of determining a compression method corresponding to the captured image, compressing the captured image using the determined compression method, and generating a compressed image;
And a transfer step of transferring the compressed image generated by the image compression step to the other device. 表示部を備えるコンピュータを、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置として機能させるためのプログラムであって、前記コンピュータを、
前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段、
前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段、
前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段、
として機能させるためのプログラム。 A program for causing a computer including a display unit to function as a display device that performs screen sharing by causing a screen image displayed on the display unit to be displayed on another device.
Capture means for capturing a screen image displayed on the display unit and acquiring a captured image;
An image compression unit that determines a compression method corresponding to the captured image, compresses the captured image using the determined compression method, and generates a compressed image;
Transfer means for transferring the compressed image generated by the image compression means to the other device;
Program to function as.
JP2010285048A 2010-12-21 2010-12-21 Display device, screen image transfer method and program Pending JP2012133586A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010285048A JP2012133586A (en) 2010-12-21 2010-12-21 Display device, screen image transfer method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285048A JP2012133586A (en) 2010-12-21 2010-12-21 Display device, screen image transfer method and program

Publications (1)

Publication Number Publication Date
JP2012133586A true JP2012133586A (en) 2012-07-12

Family

ID=46649113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285048A Pending JP2012133586A (en) 2010-12-21 2010-12-21 Display device, screen image transfer method and program

Country Status (1)

Country Link
JP (1) JP2012133586A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133210A (en) * 2010-12-22 2012-07-12 Ntt Docomo Inc Display device, screen image transfer method and program
JP2015041822A (en) * 2013-08-20 2015-03-02 キヤノン株式会社 Image communication device and control method thereof
JP2015172894A (en) * 2014-03-12 2015-10-01 富士通株式会社 Display processing apparatus, display processing method, and display processing program
JP2016071636A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Mirroring system and mirroring method
JP2016091425A (en) * 2014-11-07 2016-05-23 セイコーエプソン株式会社 Image supply apparatus, image supply method, and program
JP2016144026A (en) * 2015-02-02 2016-08-08 コニカミノルタ株式会社 Image forming remote operation system, image forming apparatus, and image transfer method in remote operation
JP2017135500A (en) * 2016-01-26 2017-08-03 Kddi株式会社 Terminal device, communication method, and program
JP2018124684A (en) * 2017-01-30 2018-08-09 サイレックス・テクノロジー株式会社 Image generation / transmission apparatus, image generation / transmission method, and program
CN110505471A (en) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 A head-mounted display device and its screen acquisition method and device
JP2021081943A (en) * 2019-11-19 2021-05-27 株式会社桑山瓦 Image sharing system for sharing image information of virtual reality (vr) and augmented reality
JP2021131412A (en) * 2020-02-18 2021-09-09 株式会社島津製作所 Display system, analyzer, method for control, and control program
US11186303B2 (en) 2017-06-16 2021-11-30 Mitsubishi Electric Corporation Train control and management system, central command device, screen information transmission system and screen information transmission method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139938A (en) * 1994-11-15 1996-05-31 Canon Inc Image processing device
JPH09198227A (en) * 1996-01-17 1997-07-31 Canon Inc Information processing system and its method and apparatus
JP2000029448A (en) * 1998-07-13 2000-01-28 Toshiba Corp Picture information providing system, image information display terminal, and server device
JP2004259163A (en) * 2003-02-27 2004-09-16 Sony Corp Display screen sharing system, transmission side terminal equipment, reception side terminal equipment, program, and display screen sharing method
JP2007235758A (en) * 2006-03-02 2007-09-13 Canon Inc Image encoding apparatus and method, computer program, and computer-readable storage medium
JP2008193603A (en) * 2007-02-07 2008-08-21 Toshiba Corp Communication apparatus, communication method, communication system and program
JP2009123032A (en) * 2007-11-15 2009-06-04 Sharp Corp Mobile terminal and method for controlling mobile terminal
JP2009230579A (en) * 2008-03-24 2009-10-08 Pioneer Electronic Corp Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium
JP2010055280A (en) * 2008-08-27 2010-03-11 Toshiba Corp Sever, screen transmission method, and computer program
JP2010157005A (en) * 2008-12-26 2010-07-15 Toshiba Corp Screen sharing system, setting change method, client device, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139938A (en) * 1994-11-15 1996-05-31 Canon Inc Image processing device
JPH09198227A (en) * 1996-01-17 1997-07-31 Canon Inc Information processing system and its method and apparatus
JP2000029448A (en) * 1998-07-13 2000-01-28 Toshiba Corp Picture information providing system, image information display terminal, and server device
JP2004259163A (en) * 2003-02-27 2004-09-16 Sony Corp Display screen sharing system, transmission side terminal equipment, reception side terminal equipment, program, and display screen sharing method
JP2007235758A (en) * 2006-03-02 2007-09-13 Canon Inc Image encoding apparatus and method, computer program, and computer-readable storage medium
JP2008193603A (en) * 2007-02-07 2008-08-21 Toshiba Corp Communication apparatus, communication method, communication system and program
JP2009123032A (en) * 2007-11-15 2009-06-04 Sharp Corp Mobile terminal and method for controlling mobile terminal
JP2009230579A (en) * 2008-03-24 2009-10-08 Pioneer Electronic Corp Screen sharing system, screen sharing method, server terminal control program, client terminal control program and recording medium
JP2010055280A (en) * 2008-08-27 2010-03-11 Toshiba Corp Sever, screen transmission method, and computer program
JP2010157005A (en) * 2008-12-26 2010-07-15 Toshiba Corp Screen sharing system, setting change method, client device, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133210A (en) * 2010-12-22 2012-07-12 Ntt Docomo Inc Display device, screen image transfer method and program
JP2015041822A (en) * 2013-08-20 2015-03-02 キヤノン株式会社 Image communication device and control method thereof
JP2015172894A (en) * 2014-03-12 2015-10-01 富士通株式会社 Display processing apparatus, display processing method, and display processing program
JP2016071636A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Mirroring system and mirroring method
JP2016091425A (en) * 2014-11-07 2016-05-23 セイコーエプソン株式会社 Image supply apparatus, image supply method, and program
JP2016144026A (en) * 2015-02-02 2016-08-08 コニカミノルタ株式会社 Image forming remote operation system, image forming apparatus, and image transfer method in remote operation
JP2017135500A (en) * 2016-01-26 2017-08-03 Kddi株式会社 Terminal device, communication method, and program
JP2018124684A (en) * 2017-01-30 2018-08-09 サイレックス・テクノロジー株式会社 Image generation / transmission apparatus, image generation / transmission method, and program
US11186303B2 (en) 2017-06-16 2021-11-30 Mitsubishi Electric Corporation Train control and management system, central command device, screen information transmission system and screen information transmission method
CN110505471A (en) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 A head-mounted display device and its screen acquisition method and device
JP2021081943A (en) * 2019-11-19 2021-05-27 株式会社桑山瓦 Image sharing system for sharing image information of virtual reality (vr) and augmented reality
JP2021131412A (en) * 2020-02-18 2021-09-09 株式会社島津製作所 Display system, analyzer, method for control, and control program
JP7650130B2 (en) 2020-02-18 2025-03-24 株式会社島津製作所 DISPLAY SYSTEM, ANALYSIS APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM

Similar Documents

Publication Publication Date Title
JP2012133586A (en) Display device, screen image transfer method and program
JP6239715B2 (en) System and method for transmitting information using image code
US20120042265A1 (en) Information Processing Device, Information Processing Method, Computer Program, and Content Display System
JP2006505862A (en) Method and system for performing image processing from mobile client device
JP2015532473A (en) Information processing method, apparatus, terminal, and server
WO2010081374A1 (en) Screenshot method and screenshot device
US20110287750A1 (en) Link server and program thereof, website browsing system, website browsing method, and website browsing program
WO2022156606A1 (en) Information processing method and apparatus, and electronic device
CN107908337A (en) Share the method and apparatus of picture material
CN113741765A (en) Page jump method, device, equipment, storage medium and program product
CN104410768A (en) Information transmitting method and apparatus
US20140181709A1 (en) Apparatus and method for using interaction history to manipulate content
JP5632733B2 (en) Display device, screen image transfer method, and program
US8395669B2 (en) Image data transmission apparatus and method, remote display control apparatus and control method thereof, program, and storage medium
CN105677851A (en) Interface screenshot method and user device
JP2013182450A (en) Location management program and location management device
EP2816493A1 (en) Contents sharing service
JP6213041B2 (en) Web page takeover system, web page takeover method, communication terminal, web page display method, and program
JP2003323381A (en) Multimedia content creation apparatus and multimedia content creation method
CN112799621A (en) Comment display method and system
JP2006155333A (en) Information browsing system, information transfer server, mobile terminal, and its program
JP2004078837A (en) Information processing apparatus, control method therefor, and program
JP2014096054A (en) Image transfer device
TWI501146B (en) Method, apparatus and monitoring system for performing information monitoring control
JP2011150389A (en) System for marking to other client

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111