JP2020154709A

JP2020154709A - Server, communication method, and communication program

Info

Publication number: JP2020154709A
Application number: JP2019052486A
Authority: JP
Inventors: 天宇トウ; Tianyu Tou
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2020-09-24
Anticipated expiration: 2039-03-20
Also published as: JP6750799B1

Abstract

To allow for minimizing battery consumption of a communication terminal. and optimizing content requested by the communication terminal for an external display.SOLUTION: A server 6 provided herein is connected to a communication terminal 1 and an external display 2 separate from the communication terminal 1 via a network, and configured to transform content requested by the communication terminal for the external display and send the transformed content to the extremal display.SELECTED DRAWING: Figure 1

Description

本発明は、サーバ、通信端末、通信システム、通信方法及び通信プログラムに関する。 The present invention relates to servers, communication terminals, communication systems, communication methods and communication programs.

タッチパネル、メモリ、及びバッテリ等の技術の進展により、内線電話、メール、チャット、文書閲覧、ビデオストリーミング、プリントなどを含むスマートフォンの多様な機能はすでにノートパソコンにも匹敵している。こうした高機能のスマートフォンは、プライベート利用だけでなく、ＢＹＯＤ（Bring your own device）端末として職場に持ち込まれ、業務にも利用されている。ＰＣ（Personal Computer）の入力Ｉ／Ｆ（interface）は、汎用で正確な入力の実現にフォーカスしてきたのに対して、スマートフォンのマルチタッチスクリーンは同等な入力機能に加えて、様々な操作スタイルをサポートする直感的で効率的な操作Ｉ／Ｆを有する。しかし、スマートフォンだけでは、狭く限られた画面サイズにより、視認性が低下し、結果的に、目の疲れなど症状を引き起こす恐れがある。そのため、ＰＣなしの状態でスマートフォンだけで、業務コンテンツの細かい確認と編集を行うことはまだ現実的ではなく、スマートフォンの業務での利用は限られている。 With advances in technologies such as touch panels, memory, and batteries, the various functions of smartphones, including extension phones, emails, chats, document viewing, video streaming, and printing, are already comparable to laptop computers. These high-performance smartphones are brought to the workplace as BYOD (Bring your own device) terminals and used for business as well as for private use. The input I / F (interface) of a PC (Personal Computer) has focused on the realization of general-purpose and accurate input, while the multi-touch screen of a smartphone has various operation styles in addition to the equivalent input function. It has an intuitive and efficient operation interface that supports it. However, with smartphones alone, visibility is reduced due to the narrow and limited screen size, and as a result, symptoms such as eye strain may occur. Therefore, it is not yet realistic to perform detailed confirmation and editing of business contents only with a smartphone without a PC, and the use of smartphones in business is limited.

そこで、オフィスの従業員のデスクやオープンスペース、会議室に置かれた外部ディスプレイが着目されている。しかし、外部ディスプレイは、ＰＣに接続して大画面での資料閲覧を想定しているため、ＢＹＯＤ端末と接続する際に、接続作業や画面遷移操作が複雑で手間がかかるという問題がある。 Therefore, attention is being paid to external displays placed on the desks, open spaces, and conference rooms of office employees. However, since the external display is supposed to be connected to a PC for viewing materials on a large screen, there is a problem that the connection work and the screen transition operation are complicated and time-consuming when connecting to the BYOD terminal.

この問題を解消するために、ディスプレイ装置で支援される第１通信インタフェース情報とカメラを通じて入力されたモバイル装置の第２通信インタフェース情報に基づいて、モバイル装置との通信連結を設定するディスプレイ装置が開示されている（特許文献１参照）。 In order to solve this problem, the display device that sets the communication connection with the mobile device based on the first communication interface information supported by the display device and the second communication interface information of the mobile device input through the camera is disclosed. (See Patent Document 1).

また、携帯通信端末が外部表示装置及び外部入力装置と接続した場合、携帯通信端末が外部表示装置と外部入力装置の組み合わせによる最適なユーザインタフェースを認識する通信接続システムが開示されている（特許文献２参照）。さらに、特許文献２には、スマートフォンで動作するＯＳ上に仮想的なＰＣ（所謂、仮想ＰＣ）を作成し、作成した仮想ＰＣ内で別のＯＳを動作させ、別のＯＳのユーザインタフェースをディスプレイに表示することも開示されている。 Further, a communication connection system is disclosed in which a mobile communication terminal recognizes an optimum user interface by combining an external display device and an external input device when the mobile communication terminal is connected to an external display device and an external input device (Patent Documents). 2). Further, in Patent Document 2, a virtual PC (so-called virtual PC) is created on an OS running on a smartphone, another OS is operated in the created virtual PC, and a user interface of the other OS is displayed. It is also disclosed to display in.

特開２０１５−１３０６６１号公報JP-A-2015-130661 特開２０１８−０４２２６０号公報JP-A-2018-042260

特許文献１のディスプレイ装置では、機器間の通信連絡を要請するユーザの操作に対応して各機器に設けられたカメラとディスプレイを通じて通信連結が自動的に行われる。しかし、外部ディスプレイとスマートフォンとの間のレイアウト及び操作の違いにより、ＢＹＯＤ端末を用いた場合の生産性はあまり改善されていない。 In the display device of Patent Document 1, communication connection is automatically performed through a camera and a display provided in each device in response to an operation of a user who requests communication communication between devices. However, due to differences in layout and operation between the external display and the smartphone, the productivity when using the BYOD terminal has not been improved so much.

また、特許文献２では、スマートフォンのバッテリ容量が限られているにもかかわらず、スマートフォン上で仮想ＰＣを使用してしまうと、スマートフォンのバッテリの消耗が激しいという問題がある。 Further, in Patent Document 2, although the battery capacity of the smartphone is limited, there is a problem that the battery of the smartphone is drastically consumed when the virtual PC is used on the smartphone.

本発明は、このような問題点を解決するためになされたものであり、通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイに適切に表示させる、サーバ、通信端末、通信システム、通信方法、及び通信プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and is a server, a communication terminal, which suppresses battery consumption of a communication terminal and appropriately displays the content requested by the communication terminal on an external display. It is an object of the present invention to provide a communication system, a communication method, and a communication program.

本発明の第１の態様にかかるサーバは、通信端末及び前記通信端末とは別体の外部ディスプレイとネットワークを介して接続され、
前記通信端末により要求されたコンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信する。 The server according to the first aspect of the present invention is connected to a communication terminal and an external display separate from the communication terminal via a network.
The content requested by the communication terminal is converted for the external display and transmitted to the external display.

本発明の第２の態様にかかる通信端末は、外部ディスプレイと関連付けるための、前記外部ディスプレイに表示される、識別コードを読み取る撮像部と、
コンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信するようにサーバに要求する制御部と、
を備える。 The communication terminal according to the second aspect of the present invention includes an imaging unit that reads an identification code displayed on the external display for associating with the external display.
A control unit that requests the server to convert the content for the external display and send it to the external display.
To be equipped.

本発明の第３の態様にかかる通信システムは、上記のサーバと、
上記の通信端末と、
前記通信端末とは別体の外部ディスプレイと、
を備える。 The communication system according to the third aspect of the present invention includes the above server and
With the above communication terminal
An external display separate from the communication terminal,
To be equipped.

本発明の第４の態様にかかる通信方法は、通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用にサーバで変換し、前記外部ディスプレイに送信する。 In the communication method according to the fourth aspect of the present invention, the content requested by the communication terminal is converted by the server for an external display separate from the communication terminal and transmitted to the external display.

本発明の第５の態様にかかる通信プログラムは、通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用に変換し、前記外部ディスプレイに送信する処理、をコンピュータに実行させる。 The communication program according to the fifth aspect of the present invention causes a computer to perform a process of converting content requested by a communication terminal for an external display separate from the communication terminal and transmitting the content to the external display. ..

本発明によれば、通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイに最適化させる、サーバ、通信端末、通信システム、通信方法、及び通信プログラムを提供することができる。 According to the present invention, it is possible to provide a server, a communication terminal, a communication system, a communication method, and a communication program that suppress the battery consumption of the communication terminal and optimize the content requested by the communication terminal for an external display. ..

本発明の実施形態にかかる通信システムの概要を説明する概略図である。It is the schematic explaining the outline of the communication system which concerns on embodiment of this invention. 本発明の実施形態にかかる通信システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the communication system which concerns on embodiment of this invention. 本発明の実施形態にかかる携帯通信端末の構成を示すブロック図である。It is a block diagram which shows the structure of the mobile communication terminal which concerns on embodiment of this invention. 本発明の実施形態にかかる各サーバの構成を示すブロック図である。It is a block diagram which shows the structure of each server which concerns on embodiment of this invention. 本発明の実施形態にかかるコンテンツ表示転送処理を示すフローチャートである。It is a flowchart which shows the content display transfer process which concerns on embodiment of this invention. ユーザアカウントと仮想ＰＣの関連付ける前の関連データベースのテーブルである。It is a table of the relational database before associating the user account with the virtual PC. 外部ディスプレイを登録した後の外部ディスプレイテーブルを示す。The external display table after registering the external display is shown. クライアントアプリケーションで外部ディスプレイに表示された識別コードを読み取る様子を示す図である。It is a figure which shows the state of reading the identification code displayed on the external display by a client application. ユーザアカウントと外部ディスプレイを関連付けた後の表示転送設定テーブルである。It is a display transfer setting table after associating a user account with an external display. クライアントアプリケーション上の「コンテンツ表示転送」ボタンの一例を説明する図である。It is a figure explaining an example of the "content display transfer" button on a client application. コンテンツ表示転送制御要求時の携帯通信端末からの送信データの一例を示すテーブルである。It is a table which shows an example of the transmission data from a mobile communication terminal at the time of content display transfer control request. コンテンツ表示転送制御要求時の携帯通信端末の受信データの一例を示すテーブルである。It is a table which shows an example of the received data of a mobile communication terminal at the time of content display transfer control request. コンテンツの表示転送が完了し、タッチスクリーンへのユーザ操作が開始された様子を示す図である。It is a figure which shows the state that the display transfer of a content is completed, and the user operation to a touch screen is started. 操作種別と数値化した操作度合データの一例を示す。An example of the operation type and the numerical operation degree data is shown. コンテンツ表示転送処理のシーケンス図である。It is a sequence diagram of a content display transfer process.

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. However, the present invention is not limited to the following embodiments. In addition, the following description and drawings have been simplified as appropriate to clarify the description.

図１は、本実施形態にかかる通信システムの概要を説明する概略図である。図２は、本発明の実施形態にかかる通信システムの全体構成を示すブロック図である。
通信システムは、携帯通信端末１、外部ディスプレイ２、外部ディスプレイ管理サーバ３、データベース４、コンテンツ表示転送制御サーバ５、仮想ＰＣ用サーバ６及びコンテンツサーバ７を備える。なお、図１において、実線は、有線ネットワークにより接続されていることを示している。また、点線は、無線ネットワークにより接続されていることを示している。また、図１の矢印は、識別コード２１を表示した外部ディスプレイ２が、コンテンツ８を表示した外部ディスプレイ２に切り替わることを示している。 FIG. 1 is a schematic diagram illustrating an outline of a communication system according to the present embodiment. FIG. 2 is a block diagram showing an overall configuration of a communication system according to an embodiment of the present invention.
The communication system includes a mobile communication terminal 1, an external display 2, an external display management server 3, a database 4, a content display transfer control server 5, a virtual PC server 6, and a content server 7. In addition, in FIG. 1, the solid line shows that it is connected by a wired network. The dotted line indicates that the device is connected by a wireless network. Further, the arrow in FIG. 1 indicates that the external display 2 displaying the identification code 21 is switched to the external display 2 displaying the content 8.

携帯通信端末１は、スマートフォン、タブレット、携帯電話、ラップトップ型ＰＣなどのＢＹＯＤ（Bring your own device）端末とすることができるが、以下では、スマートフォンを例として説明する。 The mobile communication terminal 1 can be a BYOD (Bring your own device) terminal such as a smartphone, a tablet, a mobile phone, or a laptop PC, but a smartphone will be described below as an example.

スマートフォンである携帯通信端末１は、第１のＯＳ（Operating System）（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）など）を搭載し、図２に示すように第１のＯＳ上で動作するクライアントアプリケーション１１を含む。クライアントアプリケーション１１は、後述する仮想ＰＣクラウドサービスを利用するためのアプリケーションで、携帯通信端末１のバックカメラでＱＲコード（登録商標）を読み取り、外部ディスプレイ管理サーバ３で外部ディスプレイ２と関連付けることができる。また、クライアントアプリケーション１１は、ユーザの入力により、コンテンツ表示転送制御サーバ５にコンテンツ表示転送を要求する。クライアントアプリケーション１１は、ユーザによるマルチタッチスクリーンへの操作データを表示転送・操作制御モジュール６３に送信する。 The mobile communication terminal 1 which is a smartphone is equipped with a first OS (Operating System) (for example, iOS (registered trademark) of Apple Inc., Android (registered trademark), etc.), and is the first OS as shown in FIG. Includes client application 11 running above. The client application 11 is an application for using a virtual PC cloud service described later, and can read a QR code (registered trademark) with the back camera of the mobile communication terminal 1 and associate it with the external display 2 with the external display management server 3. .. Further, the client application 11 requests the content display transfer control server 5 to transfer the content display by the input of the user. The client application 11 transmits the operation data to the multi-touch screen by the user to the display transfer / operation control module 63.

図３は、本発明の実施形態にかかる携帯通信端末の構成を示すブロック図である。携帯通信端末１は、図３に示すように、外部から映像を撮影する撮像部（例えば、カメラ）１１０と、外部から受信された映像信号を処理する映像処理部１２０と、映像処理部１２０によって処理される映像信号を映像で表示するディスプレイ部１３０と、ユーザの入力を受け付けるユーザ入力部１４０と、各種のデータを記憶する記憶部１５０と、外部と無線通信を行う通信部１６０と、携帯通信端末１の各構成要素を制御する制御部１００と、を含む。撮像部（例えば、カメラ）１１０は、イメージセンサ１１１（例えば、ＣＣＤ／ＣＭＯＳイメージセンサ）を含む。また、ディスプレイ部１３０は、タッチスクリーン１３１を含む。前述したクライアントアプリケーション１１は、これらの各構成要素を制御することができる。 FIG. 3 is a block diagram showing a configuration of a mobile communication terminal according to an embodiment of the present invention. As shown in FIG. 3, the mobile communication terminal 1 is composed of an imaging unit (for example, a camera) 110 that captures an image from the outside, a video processing unit 120 that processes a video signal received from the outside, and an image processing unit 120. Mobile communication with a display unit 130 that displays the processed video signal as a video, a user input unit 140 that accepts user input, a storage unit 150 that stores various data, and a communication unit 160 that performs wireless communication with the outside. A control unit 100 that controls each component of the terminal 1 is included. The imaging unit (eg, camera) 110 includes an image sensor 111 (eg, CCD / CMOS image sensor). Further, the display unit 130 includes a touch screen 131. The client application 11 described above can control each of these components.

外部ディスプレイ２は、携帯通信端末１のディスプレイ部１３０とは物理的に別体の外部表示装置である。本実施の形態では、会社の従業員のデスクやオープンスペース、会議室に置かれている、このような外部ディスプレイ２に、スマートフォンからのコンテンツを表示させるものである。さらに、スマートフォンのマルチタッチスクリーンから、外部ディスプレイ２に表示されたコンテンツを操作できるようにする。これにより、スマートフォンの業務利用を促進するものである。 The external display 2 is an external display device that is physically separate from the display unit 130 of the mobile communication terminal 1. In the present embodiment, the content from the smartphone is displayed on such an external display 2 placed on the desk, open space, or conference room of the employee of the company. Further, the content displayed on the external display 2 can be operated from the multi-touch screen of the smartphone. This promotes the business use of smartphones.

また、本例では、携帯通信端末１は、無線通信機能を有する通信部１６０により、図１に示すように、外部ディスプレイ管理サーバ３やコンテンツ表示転送制御サーバ５、仮想ＰＣ用サーバ等とネットワークを介して無線接続することができる。ここでいうネットワークには、ＬＡＮ、ＷＬＡＮ、セルラネットワーク、または他の適切な無線通信ネットワークなどが含まれる。これにより、専用のケーブルを用いずに、携帯通信端末１を外部ディスプレイ２と容易に接続することができる。 Further, in this example, the mobile communication terminal 1 is networked with the external display management server 3, the content display transfer control server 5, the virtual PC server, and the like, as shown in FIG. 1, by the communication unit 160 having a wireless communication function. You can connect wirelessly via. The network referred to here includes LAN, WLAN, cellular network, or other suitable wireless communication network. As a result, the mobile communication terminal 1 can be easily connected to the external display 2 without using a dedicated cable.

制御部１００は、記憶部１５０に格納された各種プログラム（クライアントアプリケーション１１を含む）に基づいて、各種制御を実行する機能を有する。制御部１００は、中央演算処理装置（ＣＰＵ）、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入出力ポート（Ｉ／Ｏ）等により実現される。 The control unit 100 has a function of executing various controls based on various programs (including the client application 11) stored in the storage unit 150. The control unit 100 is realized by a central processing unit (CPU), a read-only memory (ROM), a random access memory (RAM), an input / output port (I / O), and the like.

本通信システムでは、利用者は、携帯通信端末１の第１のＯＳ上で動作するクライアントアプリケーション１１を介して、コンテンツを外部ディスプレイ２へ転送することを要求すると、外部ディスプレイ２には、識別コード２１が表示される。 In this communication system, when the user requests that the content be transferred to the external display 2 via the client application 11 running on the first OS of the mobile communication terminal 1, the external display 2 receives an identification code. 21 is displayed.

外部ディスプレイ２は、サーバから映像を受信し、表示することができる。外部ディスプレイ２は、図１に示すように外部ディスプレイ管理サーバ３に有線で接続されている。外部ディスプレイ２の画面をオンにすると、外部ディスプレイ管理サーバ３に外部ディスプレイ２自身の接続情報（ＩＰアドレス、ポート）及び解像度情報が送信され、外部ディスプレイ管理サーバ３から受信した識別ＩＤ情報を含むＱＲコード（登録商標）２１の画像が外部ディスプレイ２に表示される。 The external display 2 can receive and display an image from the server. As shown in FIG. 1, the external display 2 is connected to the external display management server 3 by wire. When the screen of the external display 2 is turned on, the connection information (IP address, port) and resolution information of the external display 2 itself are transmitted to the external display management server 3, and the QR including the identification ID information received from the external display management server 3 is included. The image of the code (registered trademark) 21 is displayed on the external display 2.

外部ディスプレイ管理サーバ３には、ネットワーク内の固定ＵＲＬ（Uniform Resource Locator）でアクセスすることができる。また、外部ディスプレイ管理サーバ３は、外部ディスプレイ２からの登録要求で外部ディスプレイの接続情報（ＩＰアドレス、ポート）及び外部ディスプレイの解像度情報（図７）を受信すると、外部ディスプレイ２に割り当てた識別ＩＤ情報を含む識別コード（ＱＲコード（登録商標））画像を外部ディスプレイ２に送信する。データベース４は、その受信した情報（接続情報及び解像度情報）を格納する。外部ディスプレイ管理サーバ３は、クライアントアプリケーション１１から外部ディスプレイ２との関連付け要求を受信すると、データベース４にその関連付け情報を格納する。 The external display management server 3 can be accessed by a fixed URL (Uniform Resource Locator) in the network. Further, when the external display management server 3 receives the connection information (IP address, port) of the external display and the resolution information (FIG. 7) of the external display in the registration request from the external display 2, the identification ID assigned to the external display 2 is assigned. An identification code (QR code (registered trademark)) image including information is transmitted to the external display 2. The database 4 stores the received information (connection information and resolution information). When the external display management server 3 receives the association request with the external display 2 from the client application 11, the external display management server 3 stores the association information in the database 4.

データベース４は、外部ディスプレイ２の接続先情報（ＩＰアドレス、ポート）及び解像度情報を保存する。また、データベース４は、仮想ＰＣ６０の接続先情報（ＩＰアドレス、ポート）を保存する。データベース４は、外部ディスプレイ２、クライアントアプリケーション１１に紐づくユーザＩＤ、及び仮想ＰＣ６０の関連付け情報を保存する。 The database 4 stores the connection destination information (IP address, port) and resolution information of the external display 2. In addition, the database 4 stores the connection destination information (IP address, port) of the virtual PC 60. The database 4 stores the external display 2, the user ID associated with the client application 11, and the association information of the virtual PC 60.

利用者は、携帯通信端末１の撮像部１１０（例えば、バックカメラ）で外部ディスプレイ２に表示されている識別コード２１（例えば、ＱＲコード（登録商標））を読み取る。 The user reads the identification code 21 (for example, QR code (registered trademark)) displayed on the external display 2 by the imaging unit 110 (for example, a back camera) of the mobile communication terminal 1.

この識別コード２１としては、ＱＲコード（登録商標）、バーコード、データマトリックスコード、Ｍａｘｉコード、Ｖｅｒｉコード、カルラコード、ＤａＴａコード、Ｃｙｂｅｒコード、インタクタコードなどの二次元コードや、文字列などが含まれる。 The identification code 21 includes a two-dimensional code such as a QR code (registered trademark), a barcode, a data matrix code, a Maxi code, a Veri code, a Carla code, a DaTa code, a Cyber code, and an interactor code, and a character string. included.

識別コード２１を読み取ると、外部ディスプレイ管理サーバ３は、外部ディスプレイ２とユーザとの関連付けを行う。また、ユーザと仮想ＰＣ６０の関連付けが事前に登録されているため、仮想ＰＣ６０とユーザと外部ディスプレイ２の関連付けが得られる。こうした関連付け情報は、データベース４に格納される。 When the identification code 21 is read, the external display management server 3 associates the external display 2 with the user. Further, since the association between the user and the virtual PC 60 is registered in advance, the association between the virtual PC 60, the user, and the external display 2 can be obtained. Such association information is stored in the database 4.

コンテンツ表示転送制御サーバ５は、クライアントアプリケーション１１からコンテンツ表示転送要求を受け付けると、各端末（例えば、外部ディスプレイ２）にコンテンツの表示を転送する。 When the content display transfer control server 5 receives the content display transfer request from the client application 11, the content display transfer control server 5 transfers the display of the content to each terminal (for example, the external display 2).

コンテンツ表示転送制御サーバ５には、ネットワーク内の固定ＵＲＬでアクセスすることができる。また、コンテンツ表示転送制御サーバ５は、クライアントアプリケーション１１からコンテンツ表示転送要求を受け付けると、データベース４から取得した後述する仮想ＰＣ６０の表示出力Ｉ／Ｆ（仮想ディスプレイ）６２の接続先情報（ＩＰアドレス及びポート）及び解像度情報を、コンテンツ表示転送要求とともに仮想ＰＣ６０の表示転送・操作制御モジュール６３に送信する。コンテンツ表示転送制御サーバ５は、データベース４から取得した仮想ＰＣ６０の接続先情報（ＩＰアドレス、ポート）を携帯通信端末１のクライアントアプリケーション１１に返送する。 The content display transfer control server 5 can be accessed by a fixed URL in the network. Further, when the content display transfer control server 5 receives the content display transfer request from the client application 11, the connection destination information (IP address and IP address) of the display output I / F (virtual display) 62 of the virtual PC 60, which will be described later, acquired from the database 4 The port) and the resolution information are transmitted to the display transfer / operation control module 63 of the virtual PC 60 together with the content display transfer request. The content display transfer control server 5 returns the connection destination information (IP address, port) of the virtual PC 60 acquired from the database 4 to the client application 11 of the mobile communication terminal 1.

仮想ＰＣ用サーバ６は、個人利用者がリモート接続で利用する仮想ＰＣクラウドサービスを提供するサーバであり、仮想ＰＣ６０の実行環境である。仮想ＰＣとは、一般的にＰＣで稼働するＯＳ（Operating System）やアプリケーションをサーバ上に集約して管理し、実行するシステムである。実際に稼働するＯＳやアプリケーション、データはサーバ側で実行かつ保存され、その実行画面データのみを端末側に配信して利用される。これにより、携帯通信端末１は、比較的処理負荷の低いクライアントアプリケーション１１のみを実行するだけで、各種アプリケーション及びＯＳを利用することができる。結果的に、携帯通信端末１のバッテリ容量を節約することができる。なお、仮想ＰＣ用サーバ６は、パブリッククラウドサーバでもよいし、社内等のプライベートクラウドサーバでもよい。 The virtual PC server 6 is a server that provides a virtual PC cloud service used by individual users for remote connection, and is an execution environment of the virtual PC 60. A virtual PC is a system that centrally manages and executes an OS (Operating System) and applications that generally run on a PC on a server. The OS, applications, and data that actually run are executed and saved on the server side, and only the execution screen data is distributed to the terminal side for use. As a result, the mobile communication terminal 1 can use various applications and the OS only by executing the client application 11 having a relatively low processing load. As a result, the battery capacity of the mobile communication terminal 1 can be saved. The virtual PC server 6 may be a public cloud server or a private cloud server such as in-house.

本例では、スマートフォンは第１のＯＳ（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）で動作するのに対し、仮想ＰＣは、第１のＯＳとは異なる第２のＯＳ（例えば、Windows 10（登録商標）、MacOS（登録商標））で動作するものとする。また、携帯通信端末１であるスマートフォンと外部ディスプレイ２は、異なる解像度を有しているものとする。 In this example, the smartphone runs on the first OS (for example, Apple's iOS® and Android®), while the virtual PC runs on a second OS (for example, different from the first OS). For example, it is assumed that it operates on Windows 10 (registered trademark) and MacOS (registered trademark)), and that the smartphone and the external display 2 which are the mobile communication terminals 1 have different resolutions.

仮想ＰＣ用サーバ６上で動作する仮想ＰＣ６０は、図２に示すように、ＯＳ固有機能モジュール６１、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２、表示転送・操作制御モジュール６３及びスマートフォン表示出力モジュール６４を含む。 As shown in FIG. 2, the virtual PC 60 operating on the virtual PC server 6 includes an OS-specific function module 61, a display output I / F (virtual display) 62, a display transfer / operation control module 63, and a smartphone display output module 64. including.

ＯＳ固有機能モジュール６１は、クライアントアプリケーション１１から要求されたコンテンツ拡張子に対応した適切なアプリケーションを用いて、該当コンテンツを起動し、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２にコンテンツを出力する。ＯＳ固有機能モジュール６１は、携帯通信端末１とはアプリケーションを起動し、外部ディスプレイ２に適合したコンテンツに変換して、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に出力することができる。これにより、スマートフォンでは開けないコンテンツでも、仮想ＰＣ上で起動させて、外部ディスプレイに表示することができる。 The OS-specific function module 61 activates the corresponding content by using an appropriate application corresponding to the content extension requested from the client application 11, and outputs the content to the display output I / F (virtual display) 62. The OS-specific function module 61 can start an application with the mobile communication terminal 1, convert it into content suitable for the external display 2, and output it to the display output I / F (virtual display) 62. As a result, even contents that cannot be opened by a smartphone can be started on a virtual PC and displayed on an external display.

表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、携帯通信端末１のクライアントアプリケーション１１に関連付けられた外部ディスプレイ２と同じ解像度に設定される。表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、アプリケーションの画面表示内容を当該外部ディスプレイ２に転送することができる。表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、スマートフォン表示出力モジュール６４にも同じ画面表示を転送し表示する（ミラーリング）ことができる。 The display output I / F (virtual display) 62 is set to the same resolution as the external display 2 associated with the client application 11 of the mobile communication terminal 1. The display output I / F (virtual display) 62 can transfer the screen display contents of the application to the external display 2. The display output I / F (virtual display) 62 can transfer and display the same screen display to the smartphone display output module 64 (mirroring).

表示転送・操作制御モジュール６３は、コンテンツ表示転送制御サーバ５からコンテンツ表示転送要求、外部ディスプレイ２の接続先情報及び解像度情報を受信する。そして、表示転送・操作制御モジュール６３は、受信した外部ディスプレイ２の解像度情報を表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に設定し、当該仮想ディスプレイの映像出力を外部ディスプレイ２にリモート接続する。また、表示転送・操作制御モジュール６３は、ＯＳ固有機能モジュール６１でコンテンツを当該仮想ディスプレイにフルスクリーンで表示する。これにより、スマートフォンのコンテンツを、外部ディスプレイ２の解像度に合わせたアプリケーションの画面表示内容を表示させることができる。また、表示転送・操作制御モジュール６３は、携帯通信端末１であるスマートフォンのマルチタッチスクリーンへのユーザの操作情報を受信し、それを変換し、ＯＳ固有機能モジュール６１に送信して、コンテンツを操作する。これにより、ユーザは、スマートフォンのタッチスクリーンへの操作で、外部ディスプレイに表示されたコンテンツを操作することができる。 The display transfer / operation control module 63 receives the content display transfer request, the connection destination information of the external display 2, and the resolution information from the content display transfer control server 5. Then, the display transfer / operation control module 63 sets the received resolution information of the external display 2 in the display output I / F (virtual display) 62, and remotely connects the video output of the virtual display to the external display 2. In addition, the display transfer / operation control module 63 displays the content on the virtual display in full screen by the OS-specific function module 61. As a result, the content of the smartphone can be displayed on the screen of the application according to the resolution of the external display 2. Further, the display transfer / operation control module 63 receives the user's operation information on the multi-touch screen of the smartphone which is the mobile communication terminal 1, converts it, and transmits it to the OS-specific function module 61 to operate the content. To do. As a result, the user can operate the content displayed on the external display by operating the touch screen of the smartphone.

スマートフォン表示出力モジュール６４は、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２の映像をミラーリングしてクライアントアプリケーション１１の画面解像度情報を元に、スマートフォン画面表示用の映像にトリミング処理等により変換する。さらに、スマートフォン表示出力モジュール６４は、変換された映像を、クライアントアプリケーション１１にストリーミングする。これにより、スマートフォンのディスプレイの画面サイズに適合した映像に変換して、表示させることができる。 The smartphone display output module 64 mirrors the image of the display output I / F (virtual display) 62 and converts it into an image for displaying the smartphone screen by trimming or the like based on the screen resolution information of the client application 11. Further, the smartphone display output module 64 streams the converted video to the client application 11. As a result, it is possible to convert the image into an image suitable for the screen size of the display of the smartphone and display it.

コンテンツサーバ７は、ユーザに提供するコンテンツ（情報）を保有・管理しているサーバである。 The content server 7 is a server that holds and manages content (information) provided to users.

図４は、本実施形態におけるサーバ３，５，６，７のハードウェア構成例を示すブロック図である。図４に示すように、本実施形態のサーバ３，５，６，７は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３などを有するコンピュータである。ＣＰＵ２０１は、ＲＡＭ２０２、ＲＯＭ２０３、または、ハードディスク２０４に格納されたソフトウェアに従い演算および制御を行う。ＲＡＭ２０２は、ＣＰＵ２０１が各種処理を実行する際の一時記憶領域として使用される。ハードディスク２０４には、オペレーティングシステム（ＯＳ）や、後述の登録プログラムなどが記憶される。ディスプレイ２０５は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ２０５には、画像やアイコンなどのオブジェクト、および、ＧＵＩなどが表示される。入力部２０６は、ユーザがサーバに各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。Ｉ／Ｆ（インタフェース）部２０７は、ＩＥＥＥ８０２．１１ａなどの規格に対応した無線ＬＡＮ通信や有線ＬＡＮ通信を制御することができ、ＴＣＰ／ＩＰなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス２０８は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、および、ハードディスク２０４などとのデータのやり取りを制御する。なお、仮想ＰＣ６０自身はホストサーバーである仮想ＰＣ用サーバ６内でハードウェアリソースの一部を使って動作する。 FIG. 4 is a block diagram showing a hardware configuration example of the servers 3, 5, 6 and 7 in this embodiment. As shown in FIG. 4, the servers 3, 5, 6, and 7 of this embodiment are computers having a CPU 201, a RAM 202, a ROM 203, and the like. The CPU 201 performs calculations and controls according to software stored in the RAM 202, the ROM 203, or the hard disk 204. The RAM 202 is used as a temporary storage area when the CPU 201 executes various processes. The hard disk 204 stores an operating system (OS), a registration program described later, and the like. The display 205 is composed of a liquid crystal display and a graphic controller, and the display 205 displays objects such as images and icons, a GUI, and the like. The input unit 206 is a device for the user to give various instructions to the server, and is composed of, for example, a mouse or a keyboard. The I / F (interface) unit 207 can control wireless LAN communication and wired LAN communication corresponding to standards such as IEEE 802.11a, and is based on a protocol such as TCP / IP via the same communication network and the Internet. Communicate with external devices. The system bus 208 controls the exchange of data with the CPU 201, the RAM 202, the ROM 203, the hard disk 204, and the like. The virtual PC 60 itself operates by using a part of the hardware resources in the virtual PC server 6 which is the host server.

次に、図５乃至図１５を参照して通信システムの全体動作を説明する。図５は、コンテンツ表示転送処理を示すフローチャートである。 Next, the overall operation of the communication system will be described with reference to FIGS. 5 to 15. FIG. 5 is a flowchart showing the content display transfer process.

まず、ユーザは、会議室等に置かれた外部ディスプレイを利用するため、自身のスマートフォン（ＢＹＯＤ端末）のユーザアカウントと仮想ＰＣを関連付けるための事前設定を行う。クライアントアプリケーションのログインに使われるユーザアカウントを仮想ＰＣ６０と関連付ける必要がある。これにより、コンテンツ表示転送制御サーバ５がスマートフォンのクライアントアプリケーション１１からの要求を受け付けて、要求されたコンテンツを起動させるための仮想ＰＣ６０を特定することができる。 First, in order to use an external display placed in a conference room or the like, the user performs pre-setting for associating a user account of his / her smartphone (BYOD terminal) with a virtual PC. It is necessary to associate the user account used for logging in the client application with the virtual PC 60. As a result, the content display transfer control server 5 can receive the request from the client application 11 of the smartphone and specify the virtual PC 60 for activating the requested content.

ユーザは、携帯通信端末１のクライアントアプリケーション１１で開けないコンテンツを仮想ＰＣ６０上で表示させて、携帯通信端末１とは異なる解像度を有する外部ディスプレイ２に転送するように要求処理を開始する（ステップＳ１００）。まず、クライアントアプリケーション１１が外部ディスプレイ２と関連付けられているかを判定する（ステップＳ１０１）。 The user starts request processing to display the content that cannot be opened by the client application 11 of the mobile communication terminal 1 on the virtual PC 60 and transfer it to the external display 2 having a resolution different from that of the mobile communication terminal 1 (step S100). ). First, it is determined whether the client application 11 is associated with the external display 2 (step S101).

ここで、図６を参照してユーザアカウントと仮想ＰＣとの関連付け情報を管理するためのデータベースのテーブルについて説明する。図６は、ユーザアカウントと仮想ＰＣを関連付ける前の関連データベース４のテーブルである。仮想ＰＣテーブルには、主キーとして一意のシリアル番号（Ｎｏ）が示され、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが示され、ＩＰアドレスとして仮想ＰＣへのリモート接続用ＩＰアドレスが示され、ポートとして仮想ＰＣへのリモート接続用ポートが示されている。また、表示転送設定テーブルには、主キーとして一意のシリアル番号（Ｎｏ）が、ユーザＩＤとして利用者アカウントの一意の識別ＩＤが、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが示されている。ユーザアカウントと仮想ＰＣと外部ディスプレイを関連付ける前のため、表示転送設定テーブルの外部ディスプレイＩＤには、外部ディスプレイの識別ＩＤが示されていない。 Here, a database table for managing the association information between the user account and the virtual PC will be described with reference to FIG. FIG. 6 is a table of the relational database 4 before associating the user account with the virtual PC. In the virtual PC table, a unique serial number (No) is shown as the primary key, a unique identification ID of the virtual PC is shown as the virtual PC ID, and an IP address for remote connection to the virtual PC is shown as the IP address. , The port for remote connection to the virtual PC is shown as the port. Further, in the display transfer setting table, a unique serial number (No) is shown as a primary key, a unique identification ID of a user account is shown as a user ID, and a unique identification ID of a virtual PC is shown as a virtual PC ID. .. Since before associating the user account with the virtual PC and the external display, the identification ID of the external display is not shown in the external display ID of the display transfer setting table.

このように、クライアントアプリケーション１１が外部ディスプレイ２と関連付けられていない（ステップＳ１０１でＮｏ）場合には、ユーザは、以下のように関連付け動作を行う。スマートフォンを持ったユーザは、会議室等に置かれた外部ディスプレイ２を起動する（ステップＳ１０２）。外部ディスプレイ２は、起動後、自動的に外部ディスプレイ管理サーバ３へ登録要求として外部ディスプレイ２の接続先情報及び外部ディスプレイ２の解像度を送信する。外部ディスプレイ管理サーバ３は、図７に示すような外部ディスプレイテーブルを、データベース４に登録するか、又は、一意の外部ディスプライＩＤに基づき、既存のレコードのＩＰアドレスやポートを更新する（ステップＳ１０３）。 As described above, when the client application 11 is not associated with the external display 2 (No in step S101), the user performs the association operation as follows. The user holding the smartphone activates the external display 2 placed in the conference room or the like (step S102). After startup, the external display 2 automatically transmits the connection destination information of the external display 2 and the resolution of the external display 2 as a registration request to the external display management server 3. The external display management server 3 registers the external display table as shown in FIG. 7 in the database 4, or updates the IP address and port of the existing record based on the unique external display ID (step S103). ).

図７に示す外部ディスプレイテーブルには、外部ディスプレイ２への接続用のＩＰアドレスとして、「１９２．１６８．１．１」が、外部ディスプレイ２への接続用のポートとして、「８００１」が、外部ディスプレイ２の解像度として、「１９２０ｘ１４４０」が示されている。 In the external display table shown in FIG. 7, "192.168.1.1" is used as an IP address for connecting to the external display 2, and "8001" is used as a port for connecting to the external display 2. As the resolution of the display 2, "1920x1440" is shown.

データベース４への登録後（ステップＳ１０３）、外部ディスプレイ２には、外部ディスプレイ管理サーバ３から送付された識別コード２１の画像（識別ＩＤを含むＱＲコード（登録商標）画像）が表示される（ステップＳ１０４）。ユーザは、図８に示すように、クライアントアプリケーション１１により撮像部１１０を起動させ、外部ディスプレイ２に表示された識別コード２１を読み取り、携帯通信端末１と外部ディスプレイ２との関連付けを行う（ステップＳ１０５）。図９は、ユーザアカウントと外部ディスプレイを関連付けた後の表示転送設定テーブルを示す。図９の表示転送設定テーブルには、主キーとして一意のシリアル番号（Ｎｏ）が、ユーザＩＤとして利用者アカウントの一意の識別ＩＤが、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが、外部ディスプレイＩＤとして外部ディスプレイの一意の識別ＩＤが示されている。取得した外部ディスプレイ２の識別ＩＤ（D00001）とユーザＩＤ（U00001）を外部ディスプレイ管理サーバ３に送信して携帯通信端末１（スマートフォン）と外部ディスプレイ２の関連付けを要求する。以上により、関連付けは完了する。 After registration in the database 4 (step S103), the image of the identification code 21 (QR code (registered trademark) image including the identification ID) sent from the external display management server 3 is displayed on the external display 2 (step). S104). As shown in FIG. 8, the user activates the imaging unit 110 by the client application 11, reads the identification code 21 displayed on the external display 2, and associates the mobile communication terminal 1 with the external display 2 (step S105). ). FIG. 9 shows a display transfer setting table after associating a user account with an external display. In the display transfer setting table of FIG. 9, a unique serial number (No) is used as the primary key, a unique identification ID of the user account is used as the user ID, and a unique identification ID of the virtual PC is used as the virtual PC ID. A unique identification ID of the external display is shown as the ID. The acquired identification ID (D00001) and user ID (U00001) of the external display 2 are transmitted to the external display management server 3 to request the association between the mobile communication terminal 1 (smartphone) and the external display 2. With the above, the association is completed.

ユーザは、図１０に示すように、クライアントアプリケーション１１のタッチスクリーン１３１上で、「コンテンツ表示転送」ボタン１３２を押すことで、コンテンツ表示転送制御サーバ５にコンテンツ表示転送を要求する（ステップＳ１０６）。具体的には、ユーザＩＤ、スマートフォンの接続先（外部ディスプレイＩＤ）、スマートフォンの画面解像度、及びクライアントアプリケーション１１で指定した表示転送対象の（タッチスクリーン上に表示された）コンテンツのＵＲＩをコンテンツ表示転送制御サーバ５に送信し、コンテンツ表示転送制御を要求する。図１１は、コンテンツ表示転送制御要求時の携帯通信端末からの送信データの一例を示すテーブルである。図１１には、ユーザＩＤとして「Ｕ００００１」が、クライアントアプリケーション１１のＩＰアドレスとして「４９．１．１．１」が、クライアントアプリケーション１１のポートとして「６００１」が、クライアントアプリケーション１１の解像度として「３２０ｘ５６８」が、コンテンツＵＲＩとして表示転送対象コンテンツを取得するためのＵＲＩ（\\contents_server\ C00001.txt）が示されている。図１２は、コンテンツ表示転送制御要求時の携帯通信端末の受信データの一例を示す。図１２には、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３アクセス用のＩＰアドレスとして「192.168.2.1」が、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３アクセス用のポートとして「９００１」が示されている。 As shown in FIG. 10, the user requests the content display transfer control server 5 to transfer the content display by pressing the "content display transfer" button 132 on the touch screen 131 of the client application 11 (step S106). Specifically, the user ID, the connection destination of the smartphone (external display ID), the screen resolution of the smartphone, and the URI of the content (displayed on the touch screen) to be displayed and transferred specified in the client application 11 are transferred. It transmits to the control server 5 and requests the content display transfer control. FIG. 11 is a table showing an example of data transmitted from the mobile communication terminal at the time of requesting content display transfer control. In FIG. 11, "U00001" is used as the user ID, "49.1.1.1" is used as the IP address of the client application 11, "6001" is used as the port of the client application 11, and "320x568" is used as the resolution of the client application 11. Is displayed as a content URI. The URI (\\ contents_server \ C00001.txt) for acquiring the transfer target content is shown. FIG. 12 shows an example of the received data of the mobile communication terminal at the time of requesting the content display transfer control. In FIG. 12, “192.168.2.1” is used as the IP address for accessing the display transfer / operation control module 63 of the virtual PC server 6, and “192.168.2.1” is used as the port for accessing the display transfer / operation control module 63 of the virtual PC server 6. 9001 "is shown.

要求されたコンテンツを、仮想ＰＣ６０で起動し（外部ディスプレイ用の映像に変換し）、外部ディスプレイ２に映像を転送する（ステップＳ１０７）。 The requested content is activated by the virtual PC 60 (converted to an image for an external display), and the image is transferred to the external display 2 (step S107).

ユーザは、クライアントアプリケーション１１を用いて、携帯通信端末１のタッチスクリーン１３１を操作すると、表示転送・操作制御モジュール６３を介して仮想ＰＣ６０内のコンテンツを操作できるようになる（ステップＳ１０８）。図１３は、コンテンツ表示転送が完了後、携帯通信端末１のタッチスクリーン１３１へのユーザの入力による操作開始時の様子を示す。図１３に示すように、コンテンツ表示転送モード中は、カーソルがフォーカス枠に変更される。ユーザはスマートフォンのタッチスクリーンを操作するたびに、図１４に示すように、表示転送・操作制御モジュール６３に操作種別（例えば、スクロール（上、下、左、右）／ズーム（イン、アウト）、テキスト内容の編集）と数値化した操作度合データ（例えば、距離（スクロール）／スケール（ズーム））を送信する。これにより、表示転送・操作制御モジュール６３にユーザによる操作関連制御を要求し、ＯＳ固有機能モジュール６１経由で仮想ＰＣ用サーバ６内のコンテンツをスクロールしたり、ズームしたり、テキスト内容を編集したりすることができる。 When the user operates the touch screen 131 of the mobile communication terminal 1 by using the client application 11, the user can operate the content in the virtual PC 60 via the display transfer / operation control module 63 (step S108). FIG. 13 shows a state at the time of starting the operation by the user's input to the touch screen 131 of the mobile communication terminal 1 after the content display transfer is completed. As shown in FIG. 13, the cursor is changed to the focus frame during the content display transfer mode. Each time the user operates the touch screen of the smartphone, as shown in FIG. 14, the display transfer / operation control module 63 is set to the operation type (for example, scroll (up, down, left, right) / zoom (in, out)). (Edit text content) and digitized operation degree data (for example, distance (scroll) / scale (zoom)) are transmitted. As a result, the display transfer / operation control module 63 is requested to perform operation-related control by the user, and the content in the virtual PC server 6 is scrolled, zoomed, and the text content is edited via the OS-specific function module 61. can do.

以上説明した実施形態によれば、ユーザは、比較的処理負荷の低いクライアントアプリケーション１１のみを携帯通信端末１上で起動することにより、クラウド（仮想ＰＣ）上の様々なアプリケーションで開いたコンテンツを閲覧することができる。結果的に、携帯通信端末１のバッテリを節約することができる。 According to the embodiment described above, the user browses the contents opened by various applications on the cloud (virtual PC) by starting only the client application 11 having a relatively low processing load on the mobile communication terminal 1. can do. As a result, the battery of the mobile communication terminal 1 can be saved.

図１５は、コンテンツ表示転送処理のシーケンス図である。
ユーザが外部ディスプレイ２を起動すると、外部ディスプレイ２は外部ディスプレイ管理サーバ３に登録される（ステップＳ１）。外部ディスプレイ管理サーバ３は登録情報に関し、データベース４を更新する（ステップＳ２）。外部ディスプレイテーブルに外部ディスプライ自らのＩＰアドレス、ポート、解像度を新規登録するか、ＩＰアドレス、ポートなどの接続情報が変わった際に、割り当てられた外部ディスプレイＩＤに基づき、ＤＢを更新する。外部ディスプレイ２には、識別子情報である識別コード２１が表示され、ユーザは、クライアントアプリケーション１１により、撮像部１１０を起動して当該識別コード２１を読み取る（ステップＳ３）。読み取り後、外部ディスプレイ管理サーバ３において、携帯通信端末１と外部ディスプレイ２が関連付けられる（ステップＳ４）。この関連付け情報に関し、外部ディスプレイ管理サーバ３は、データベース４を更新する（ステップＳ５）。読み取った外部ディスプレイＩＤとユーザＩＤを関連付け、表示転送設定テーブルを更新する。 FIG. 15 is a sequence diagram of the content display transfer process.
When the user activates the external display 2, the external display 2 is registered in the external display management server 3 (step S1). The external display management server 3 updates the database 4 with respect to the registration information (step S2). When the external display table is newly registered with its own IP address, port, or resolution, or the connection information such as IP address or port changes, the DB is updated based on the assigned external display ID. The identification code 21 which is the identifier information is displayed on the external display 2, and the user activates the imaging unit 110 by the client application 11 to read the identification code 21 (step S3). After reading, the mobile communication terminal 1 and the external display 2 are associated with each other on the external display management server 3 (step S4). With respect to this association information, the external display management server 3 updates the database 4 (step S5). The read external display ID is associated with the user ID, and the display transfer setting table is updated.

その後、クライアントアプリケーション１１は、コンテンツ表示転送制御サーバ５に対して、コンテンツ表示転送を要求し、仮想ＰＣ用サーバ６上で動作する仮想ＰＣと外部ディスプレイ２との接続情報（図９参照）を取得する（ステップＳ６）。 After that, the client application 11 requests the content display transfer control server 5 to transfer the content display, and acquires the connection information (see FIG. 9) between the virtual PC operating on the virtual PC server 6 and the external display 2. (Step S6).

コンテンツ表示転送制御サーバ５はデータベース４から、外部ディスプレイ２の情報（図７）と仮想ＰＣ用サーバ６の情報（図６）を取得する（ステップＳ７）。ユーザＩＤに基づき、表示転送設定テーブル、仮想ＰＣテーブル、外部ディスプレイテーブルから必要な情報を取得する。コンテンツ表示転送制御サーバ５は、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３に、コンテンツ表示転送を要求する（ステップＳ８）。表示転送・操作制御モジュール６３は、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２を、外部ディスプレイ２の解像度に設定し、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２を外部ディスプレイ２とリモート接続する（ステップＳ９）。ＯＳ固有機能モジュール６１は、クライアントアプリケーション１１から要求されたコンテンツ拡張子に応じた適切なアプリケーションを用いて、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２にコンテンツを起動させ出力する（ステップＳ１０）。これにより、ユーザは、外部ディスプレイ上で適切にコンテンツを表示させることができる。表示転送・操作制御モジュール６３は、スマートフォン表示出力モジュール６４に、スマートフォンの解像度を設定し、スマートフォンへの接続先情報の設定を行う（ステップＳ１１）。ＯＳ固有機能モジュール６１は、コンテンツサーバ７から所望のコンテンツを読み取り（ステップＳ１２）、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に表示出力する（ステップＳ１３）。その後、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、外部ディスプレイ２にコンテンツ表示の転送を開始する（ステップＳ１４）。 The content display transfer control server 5 acquires the information of the external display 2 (FIG. 7) and the information of the virtual PC server 6 (FIG. 6) from the database 4 (step S7). Based on the user ID, the necessary information is acquired from the display transfer setting table, the virtual PC table, and the external display table. The content display transfer control server 5 requests the display transfer / operation control module 63 of the virtual PC server 6 to transfer the content display (step S8). The display transfer / operation control module 63 sets the display output I / F (virtual display) 62 to the resolution of the external display 2 and remotely connects the display output I / F (virtual display) 62 to the external display 2 (step). S9). The OS-specific function module 61 activates and outputs the content on the display output I / F (virtual display) 62 by using an appropriate application according to the content extension requested from the client application 11 (step S10). As a result, the user can appropriately display the content on the external display. The display transfer / operation control module 63 sets the resolution of the smartphone in the smartphone display output module 64, and sets the connection destination information to the smartphone (step S11). The OS-specific function module 61 reads desired content from the content server 7 (step S12) and displays and outputs it to the display output I / F (virtual display) 62 (step S13). After that, the display output I / F (virtual display) 62 starts transferring the content display to the external display 2 (step S14).

また、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、映像をスマートフォン表示出力モジュール６４に出力し、当該映像をスマートフォン上にミラーリングする（ステップＳ１５）。具体的には、仮想ＰＣで起動したコンテンツの画面表示を外部ディスプレイに転送しながら、コンテンツを起動した仮想ＰＣ上のアプリケーションにあるフォーカス枠を中心に、スマートフォンの画面サイズ部分の画面映像を同時にクライアントアプリケーション１１に返送する。 Further, the display output I / F (virtual display) 62 outputs an image to the smartphone display output module 64, and mirrors the image on the smartphone (step S15). Specifically, while transferring the screen display of the content started on the virtual PC to the external display, the screen image of the screen size part of the smartphone is simultaneously transferred to the client centering on the focus frame in the application on the virtual PC that started the content. Return to application 11.

スマートフォン表示出力モジュール６４は、クライアントアプリケーション１１でのコンテンツ表示を開始する（ステップＳ１６）。クライアントアプリケーション１１は、ユーザによるマルチタッチスクリーンにおける操作情報を表示転送・操作制御モジュール６３に送信し、操作制御を要求する（ステップＳ１７）。これにより、携帯通信端末１を用いて、外部ディスプレイ２に表示されたコンテンツを操作することができる（ステップＳ１８）。 The smartphone display output module 64 starts content display in the client application 11 (step S16). The client application 11 transmits the operation information on the multi-touch screen by the user to the display transfer / operation control module 63, and requests the operation control (step S17). As a result, the content displayed on the external display 2 can be operated by using the mobile communication terminal 1 (step S18).

以上、本実施の形態によれば、ユーザは、比較的処理負荷の低いクライアントアプリケーション１１のみを携帯通信端末１上で起動することにより、クラウド（仮想デスクトップ）上の様々なアプリケーションを使用することができる。また、画面サイズの小さいスマートフォンでの作業を、画面サイズの大きい外部ディスプレイで行うことで、生産性を向上させることができる。また、スマートフォンの無線通信機能により、外部ディスプレイに円滑に画面表示を反映することができる。例えば、メールチェックによる画面遷移と中断した思考の回復時間が削減されることにより、作業時間を確保する上に集中力をキープすることができることが生産性向上につながる。 As described above, according to the present embodiment, the user can use various applications on the cloud (virtual desktop) by starting only the client application 11 having a relatively low processing load on the mobile communication terminal 1. it can. In addition, productivity can be improved by performing work on a smartphone having a small screen size on an external display having a large screen size. In addition, the wireless communication function of the smartphone allows the screen display to be smoothly reflected on the external display. For example, by reducing the screen transition by mail check and the recovery time of interrupted thoughts, it is possible to secure the working time and keep the concentration, which leads to the improvement of productivity.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( Random Access Memory)) is included. The program may also be supplied to the computer by various types of transient computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施形態では、仮想ＰＣは、携帯通信端末（スマートフォン）の第１のＯＳ（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）とは異なる第２のＯＳ（例えば、Windows 10（登録商標）、MacOS（登録商標））で動作する例を説明した。しかし、これに限定されず、仮想ＰＣは、携帯通信端末と同一のＯＳであるが、バージョンが異なる場合にも適用可能である。そのため、携帯通信端末は、ラップトップ型ＰＣであってもよい。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, in the above embodiment, the virtual PC is a second OS (for example, Windows) different from the first OS of the mobile communication terminal (smartphone) (for example, iOS (registered trademark) of Apple Inc. and Android (registered trademark)). An example of operating on 10 (registered trademark) and MacOS (registered trademark)) has been described. However, the present invention is not limited to this, and the virtual PC is the same OS as the mobile communication terminal, but is also applicable when the version is different. It is possible, so the mobile communication terminal may be a laptop PC.

上記実施形態は、仮想ＰＣ６０の代わりにサーバ６が実行してもよい。 The above embodiment may be executed by the server 6 instead of the virtual PC 60.

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
通信端末及び、前記通信端末とは別体の外部ディスプレイ、とネットワークを介して接続され、
前記通信端末により要求されたコンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信する、
サーバ。
（付記２）
前記通信端末により要求されたコンテンツを前記通信端末用に変換し、前記通信端末に送信する、
付記１に記載のサーバ。
（付記３）
前記要求されたコンテンツの拡張子に対応するアプリケーションを起動させる、
付記１又は２に記載のサーバ。
（付記４）
外部ディスプレイと関連付けるための、前記外部ディスプレイに表示される、識別コードを読み取る撮像部と、
コンテンツを、前記外部ディスプレイ用に変換し、外部ディスプレイに送信するようにサーバに要求する制御部と、
を備える、通信端末。
（付記５）
前記制御部は、前記サーバと前記外部ディスプレイとの接続情報を取得する、付記４に記載の通信端末。
（付記６）
付記１乃至３のいずれか一項に記載のサーバと、
付記４又は５に記載の通信端末と、
前記通信端末とは別体の外部ディスプレイと、
を備える、
通信システム。
（付記７）
前記通信端末は、前記外部ディスプレイとは異なる解像度を有するディスプレイを備える、付記６に記載の通信システム。
（付記８）
前記通信端末は、タッチスクリーンを更に備え、前記タッチスクリーンへの操作データを前記サーバに送信し、
前記サーバは、前記操作データに従い、前記外部ディスプレイに送信するコンテンツを操作する、
付記６又は７に記載の通信システム。
（付記９）
前記外部ディスプレイの登録要求を受け付けると、
前記外部ディスプレイに割り当てた識別コード画像を前記外部ディスプレイに送信し表示させる、外部ディスプレイ管理サーバを更に備える、付記６乃至８のいずれか一項に記載の通信システム。
（付記１０）
前記外部ディスプレイの解像度を、前記サーバの表示出力インタフェースに設定し、
前記表示出力インタフェースを前記外部ディスプレイにリモート接続する、付記６乃至９のいずれか一項に記載の通信システム。
（付記１１）
通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用にサーバで変換し、前記外部ディスプレイに送信する、通信方法。
（付記１２）
前記通信端末により要求されたコンテンツを、前記通信端末用に前記サーバで変換し、前記通信端末に送信する、付記１１に記載の通信方法。
（付記１３）
通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用に変換し、前記外部ディスプレイに送信する処理、をコンピュータに実行させる通信プログラム。
（付記１４）
前記通信端末により要求されたコンテンツを、前記通信端末用に変換し、前記通信端末に送信する処理、をコンピュータに実行させる、付記１３に記載の通信プログラム。 Some or all of the above embodiments may also be described, but not limited to:
(Appendix 1)
It is connected to a communication terminal and an external display separate from the communication terminal via a network.
The content requested by the communication terminal is converted for the external display and transmitted to the external display.
server.
(Appendix 2)
The content requested by the communication terminal is converted for the communication terminal and transmitted to the communication terminal.
The server described in Appendix 1.
(Appendix 3)
Launch the application corresponding to the requested content extension,
The server according to Appendix 1 or 2.
(Appendix 4)
An imaging unit that reads an identification code displayed on the external display for associating with the external display.
A control unit that requests the server to convert the content for the external display and send it to the external display.
A communication terminal equipped with.
(Appendix 5)
The communication terminal according to Appendix 4, wherein the control unit acquires connection information between the server and the external display.
(Appendix 6)
The server according to any one of Appendix 1 to 3 and
With the communication terminal described in Appendix 4 or 5.
An external display separate from the communication terminal,
To prepare
Communications system.
(Appendix 7)
The communication system according to Appendix 6, wherein the communication terminal includes a display having a resolution different from that of the external display.
(Appendix 8)
The communication terminal further includes a touch screen, and transmits operation data to the touch screen to the server.
The server operates the content to be transmitted to the external display according to the operation data.
The communication system according to Appendix 6 or 7.
(Appendix 9)
When the registration request for the external display is received,
The communication system according to any one of Supplementary note 6 to 8, further comprising an external display management server that transmits and displays an identification code image assigned to the external display to the external display.
(Appendix 10)
The resolution of the external display is set to the display output interface of the server,
The communication system according to any one of Supplementary note 6 to 9, wherein the display output interface is remotely connected to the external display.
(Appendix 11)
A communication method in which content requested by a communication terminal is converted by a server for an external display separate from the communication terminal and transmitted to the external display.
(Appendix 12)
The communication method according to Appendix 11, wherein the content requested by the communication terminal is converted by the server for the communication terminal and transmitted to the communication terminal.
(Appendix 13)
A communication program that causes a computer to execute a process of converting content requested by a communication terminal for an external display separate from the communication terminal and transmitting the content to the external display.
(Appendix 14)
The communication program according to Appendix 13, wherein a computer executes a process of converting content requested by the communication terminal for the communication terminal and transmitting the content to the communication terminal.

１携帯通信端末
２外部ディスプレイ
３外部ディスプレイ管理サーバ
４データベース
５コンテンツ表示転送制御サーバ
６仮想ＰＣ用サーバ
７コンテンツサーバ
８コンテンツ
１１クライアントアプリケーション
２１識別コード
６０仮想ＰＣ
６１ＯＳ固有機能モジュール
６２表示出力Ｉ／Ｆ（仮想ディスプレイ）
６３表示転送・操作制御モジュール
６４スマートフォン表示出力モジュール
１００制御部
１１０撮像部
１１１イメージセンサ
１２０映像処理部
１３０ディスプレイ部
１３１タッチスクリーン
１４０ユーザ入力部
１５０記憶部
１６０通信部 1 Mobile communication terminal 2 External display 3 External display management server 4 Database 5 Content display transfer control server 6 Virtual PC server 7 Content server 8 Content 11 Client application 21 Identification code 60 Virtual PC
61 OS-specific function module 62 Display output I / F (virtual display)
63 Display transfer / operation control module 64 Smartphone display / output module 100 Control unit 110 Imaging unit 111 Image sensor 120 Video processing unit 130 Display unit 131 Touch screen 140 User input unit 150 Storage unit 160 Communication unit

Claims

It is connected to the communication terminal and an external display separate from the communication terminal via a network.
The content requested by the communication terminal is converted for the external display and transmitted to the external display.
server.

The content requested by the communication terminal is converted for the communication terminal and transmitted to the communication terminal.
The server according to claim 1.

Launch the application corresponding to the requested content extension,
The server according to claim 1 or 2.

An imaging unit that reads an identification code displayed on the external display for associating with the external display.
A control unit that requests the server to convert the content for the external display and send it to the external display.
A communication terminal equipped with.

The server according to any one of claims 1 to 3.
The communication terminal according to claim 4 and
An external display separate from the communication terminal,
To prepare
Communications system.

The communication system according to claim 5, wherein the communication terminal includes a display having a resolution different from that of the external display.

The communication terminal further includes a touch screen, and transmits operation data to the touch screen to the server.
The server operates the content to be transmitted to the external display according to the operation data.
The communication system according to claim 5 or 6.

When the registration request for the external display is received,
The communication system according to any one of claims 5 to 7, further comprising an external display management server that transmits and displays an identification code image assigned to the external display to the external display.

A communication method in which content requested by a communication terminal is converted by a server for an external display separate from the communication terminal and transmitted to the external display.

A communication program that causes a computer to execute a process of converting content requested by a communication terminal for an external display separate from the communication terminal and transmitting the content to the external display.