JP2017033397A

JP2017033397A - Operation information sharing device, application execution device, operation information sharing system, information processing device and program

Info

Publication number: JP2017033397A
Application number: JP2015154326A
Authority: JP
Inventors: 寿之大亦; Toshiyuki Omata; 千草山村; Chigusa Yamamura; 馬場　秋継; Akitsugu Baba; 秋継馬場; 松村　欣司; Kinji Matsumura; 欣司松村; 上原　道宏; Michihiro Uehara; 道宏上原
Original assignee: Nippon Hoso Kyokai NHK
Current assignee: Japan Broadcasting Corp
Priority date: 2015-08-04
Filing date: 2015-08-04
Publication date: 2017-02-09

Abstract

【課題】ユーザーによる様々な種類の操作を収集して共有し、アプリケーション側で、統一的な枠組みで利用することができるようにする。
【解決手段】操作情報共有装置における受信部は、操作に基づいて発生した操作データを操作入力装置から受信する。入力装置識別部は、操作データの送信元である操作入力装置を識別して識別情報を出力する。データ変換部は、操作データに入力装置識別部によって与えられた前記識別情報を付加し、操作イベントとして出力する。操作イベント送出部は、データ変換部から出力される操作イベントを、ネットワークを介して送出する。そして、アプリ実行装置側では、この操作イベントを受信するとともに、ジェスチャーに変換する。
【選択図】図２Various types of operations by users are collected and shared so that applications can use them in a unified framework.
A receiving unit in an operation information sharing device receives operation data generated based on an operation from an operation input device. The input device identification unit identifies an operation input device that is a transmission source of operation data and outputs identification information. The data conversion unit adds the identification information given by the input device identification unit to the operation data and outputs the operation data as an operation event. The operation event sending unit sends the operation event output from the data conversion unit via the network. The application execution device receives this operation event and converts it into a gesture.
[Selection] Figure 2

Description

本発明は、操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラムに関する。 The present invention relates to an operation information sharing device, an application execution device, an operation information sharing system, an information processing device, and a program.

近年、スマートフォン、タブレット、スマートウォッチ、スマートテレビなどネットワークに接続して利用するデバイスが増えている。さらには、ＩｏＴ（Internet of Things）の普及に伴い、今後さらに多種多様なデバイスの利活用が想定される。スマートフォン、タブレット、スマートウォッチなどのデバイスでは、ユーザーインタフェースとしてタッチスクリーンが一般的に利用されているが、今後は加速度センサーやイメージセンサーなど様々なセンサーのインタフェースとしての利用も予想される。多様なネットワーク対応デバイスが普及すると、個人ユーザーがそれぞれのデバイスの様々なユーザーインタフェースを用いてサービスにアクセスしながらも、複数のユーザーがそのサービスを一緒に利用するという状況が想定される。 In recent years, an increasing number of devices are connected to a network, such as smartphones, tablets, smart watches, and smart TVs. Furthermore, with the widespread use of IoT (Internet of Things), it is expected that a wider variety of devices will be used in the future. In devices such as smartphones, tablets, and smart watches, a touch screen is generally used as a user interface. However, it is expected to be used as an interface for various sensors such as an acceleration sensor and an image sensor in the future. When various network-compatible devices become widespread, it is assumed that a personal user accesses a service using various user interfaces of each device, but a plurality of users use the service together.

このような状況下において、多様なユーザーインタフェースで入力された多様なユーザー操作のデータを共有して利用するための技術や、ネットワーク接続機能を有するデバイスと有しないデバイスからのデータを一元的に管理するための技術が求められる。 Under such circumstances, technology for sharing and using data of various user operations input through various user interfaces, and data from devices with and without a network connection function are centrally managed. Technology to do this is required.

特許文献１には、手書きのストローク情報を複数のデバイスから収集し、収集した情報を複数のデバイス上共有する技術が記載されている。 Patent Document 1 describes a technique of collecting handwritten stroke information from a plurality of devices and sharing the collected information on the plurality of devices.

特開２０１４−１１００６１号公報JP 2014-110061 A

しかしながら特許文献１に記載された技術では、共有するユーザー操作が手書きのストロークに限定されており、多様なユーザーインタフェースを用いた多様なユーザー操作に対応できない。 However, with the technique described in Patent Document 1, the user operations to be shared are limited to handwritten strokes, and cannot be applied to various user operations using various user interfaces.

本発明は、上記の課題認識に基づいて行なわれたものであり、様々な種類の操作を収集して共有し、利用することのできる操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラムを提供するものである。 The present invention has been made on the basis of the above problem recognition, and can collect, share, and use various types of operations, an operation information sharing device, an application execution device, an operation information sharing system, and information A processing device and a program are provided.

［１］上記の課題を解決するため、本発明の一態様による操作情報共有装置は、ユーザーによる操作に基づいて発生した操作データを操作入力装置から受信する受信部と、前記操作データの送信元である操作入力装置を識別して識別情報を出力する入力装置識別部と、前記操作データに前記入力装置識別部によって与えられた前記識別情報を付加し、操作イベントとして出力するデータ変換部と、前記データ変換部から出力される前記操作イベントを、ネットワークを介して送出する操作イベント送出部と、を具備することを特徴とする。 [1] In order to solve the above-described problem, an operation information sharing device according to an aspect of the present invention includes a receiving unit that receives operation data generated based on an operation by a user from an operation input device, and a transmission source of the operation data An input device identifying unit that identifies the operation input device and outputs identification information; a data conversion unit that adds the identification information given by the input device identifying unit to the operation data and outputs the operation data; And an operation event transmission unit that transmits the operation event output from the data conversion unit via a network.

［２］また、本発明の一態様は、上記の操作情報共有装置において、前記データ変換部は、同一の前記操作入力装置からの同一種別の操作データを連続的に受け取ったときには、当該一連の操作に関して、操作開始、操作中、操作終了のいずれかを表す情報を付加して、前記操作イベントとして出力する、ことを特徴とする。 [2] Further, according to one aspect of the present invention, in the operation information sharing apparatus, when the data conversion unit continuously receives operation data of the same type from the same operation input device, With respect to the operation, information indicating any one of operation start, operation in progress, and operation end is added and output as the operation event.

［３］また、本発明の一態様は、上記の操作情報共有装置において、前記受信部は、前記操作データを、ネットワーク経由で、またはネットワークを経由せずに、いずれでも受信できる、ことを特徴とする。 [3] In addition, according to one aspect of the present invention, in the operation information sharing apparatus, the reception unit can receive the operation data either via a network or not via a network. And

［４］また、本発明の一態様によるアプリ実行装置は、アプリケーションを実行するためのアプリケーション実行部と、外部装置との間で通信コネクションを確立して、ユーザーによる操作に基づいて発生した操作データと当該操作データの送信元である操作入力装置を識別するための識別情報とを含んだ操作イベントを、前記外部装置から受信する操作イベント受信部と、を具備することを特徴とする。 [4] The application execution device according to one aspect of the present invention establishes a communication connection between an application execution unit for executing an application and an external device, and operation data generated based on an operation by a user And an operation event receiving unit that receives an operation event including identification information for identifying an operation input device that is a transmission source of the operation data from the external device.

［５］また、本発明の一態様は、上記のアプリ実行装置において、前記操作イベント受信部が受信した前記操作イベントに基づいてジェスチャーの種別を判定し得られたジェスチャー種別の情報を、前記アプリケーション実行部において実行される前記アプリケーションに提供するジェスチャー変換部、をさらに具備することを特徴とする。 [5] Further, according to one aspect of the present invention, in the application execution device, information on a gesture type obtained by determining a gesture type based on the operation event received by the operation event receiving unit It further comprises a gesture conversion unit provided to the application executed in the execution unit.

［６］また、本発明の一態様は、上記のアプリ実行装置において、前記ジェスチャー変換部は、前記操作イベントに基づいて前記ジェスチャーの種別を判定するためのパラメーターを設定可能とする、ことを特徴とする。 [6] In addition, according to one aspect of the present invention, in the application execution device, the gesture conversion unit can set a parameter for determining the type of the gesture based on the operation event. And

［７］また、本発明の一態様は、ユーザーによる操作に基づいて発生した操作データを送信する操作入力装置と、上記のいずれかの操作情報共有装置と、上記のいずれかのアプリ実行装置と、を具備することを特徴とする操作情報共有システムである。 [7] Further, according to one aspect of the present invention, an operation input device that transmits operation data generated based on an operation by a user, any one of the operation information sharing devices, and any one of the application execution devices described above. And an operation information sharing system.

［８］また、本発明の一態様は、上記のいずれかの操作情報共有装置と、上記のいずれかのアプリ実行装置と、の機能を備える情報処理装置である。 [8] One embodiment of the present invention is an information processing apparatus having the functions of any one of the above operation information sharing apparatuses and any one of the above application execution apparatuses.

［９］また、本発明の一態様は、コンピューターを、上記のいずれかの操作情報共有装置として機能させるためのプログラムである。 [9] One embodiment of the present invention is a program for causing a computer to function as any one of the operation information sharing apparatuses described above.

［１０］また、本発明の一態様は、アプリケーションを実行するためのアプリケーション実行部を備えるコンピューターを、上記のいずれかのアプリ実行装置として機能させるためのプログラム。 [10] According to another aspect of the present invention, there is provided a program for causing a computer including an application execution unit for executing an application to function as any one of the above-described application execution devices.

本発明によれば、多様なユーザーインタフェースを持つ多様な操作入力装置（デバイス）におけるユーザー操作に関する情報を、操作情報共有装置が取得し、複数のアプリ実行装置（デバイス）に送出する。アプリ実行装置は、操作イベントを受信できる。
アプリ実行装置における操作イベント受信部をプログラムで実現する場合には、そのプログラムを組み込んだアプリケーション（例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）による実行コードを含んだウェブアプリケーション）を、様々なアプリ実行装置で実行させることができる。これにより、アプリ実行装置は、他の装置（操作入力装置）の操作データを利用するアプリケーションを実現できる。 According to the present invention, the operation information sharing device acquires information related to user operations in various operation input devices (devices) having various user interfaces, and transmits the information to a plurality of application execution devices (devices). The application execution device can receive an operation event.
When the operation event receiving unit in the application execution device is realized by a program, an application incorporating the program (for example, a web application including an execution code by JavaScript (registered trademark)) is executed by various application execution devices. be able to. Thereby, the application execution apparatus can implement an application that uses operation data of another apparatus (operation input apparatus).

操作情報共有装置が、ネットワークに接続されていない操作入力装置からの操作データも処理できる場合には、ネットワーク接続非対応のセンサーデバイスも操作入力装置として用いることができる。 When the operation information sharing device can process operation data from an operation input device that is not connected to a network, a sensor device that does not support network connection can also be used as the operation input device.

アプリ実行装置におけるジェスチャー変換部が、ジェスチャーの種別を判定するためのパラメーターを設定可能とする場合には、サービスやデバイスに応じて適切な値を柔軟に設定することができる。 When the gesture conversion unit in the application execution device can set a parameter for determining the type of gesture, an appropriate value can be flexibly set according to the service or device.

本発明の実施形態による操作情報共有システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the operation information sharing system by embodiment of this invention. 同実施形態による操作情報共有装置の概略機能構成を示すブロック図である。It is a block diagram which shows schematic function structure of the operation information sharing apparatus by the embodiment. 同実施形態によるアプリ実行装置の概略機能構成を示すブロック図である。It is a block diagram which shows schematic function structure of the application execution apparatus by the embodiment. 同実施形態による操作データの構成とデータ例とを示す概略図である。It is the schematic which shows the structure and data example of the operation data by the same embodiment. 同実施形態による操作イベントのデータ構成とデータ例とを示す概略図である。It is the schematic which shows the data structure and data example of the operation event by the embodiment. 同実施形態による操作情報共有装置とアプリ実行装置との間でのデータ等のやり取りの概略手順を示すシーケンスチャートである。It is a sequence chart which shows the general | schematic procedure of exchange of the data etc. between the operation information sharing apparatus and application execution apparatus by the embodiment.

［第１実施形態］
次に、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態による操作情報共有システムの概略構成を示すブロック図である。同図に示すように、操作情報共有システム１は、操作情報共有装置１０と、単数または複数の操作入力装置１１および１２と、単数または複数のアプリ実行装置１５とを含んで構成される。なお、「アプリ」はアプリケーションプログラムの略である。
操作情報共有装置１０は、アプリ実行装置１５の各々との間で、通信ネットワークを介して接続される。また、操作情報共有装置１０は、操作入力装置１２の各々との間で、通信ネットワークを介して接続される。また、操作情報共有装置１０は、操作入力装置１１の各々と、通信ネットワークを介さずに直接接続される。 [First Embodiment]
Next, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a schematic configuration of an operation information sharing system according to the present embodiment. As shown in FIG. 1, the operation information sharing system 1 includes an operation information sharing device 10, one or more operation input devices 11 and 12, and one or more application execution devices 15. “App” is an abbreviation of application program.
The operation information sharing device 10 is connected to each of the application execution devices 15 via a communication network. The operation information sharing apparatus 10 is connected to each of the operation input apparatuses 12 via a communication network. The operation information sharing device 10 is directly connected to each of the operation input devices 11 without going through a communication network.

操作情報共有装置１０は、操作入力装置１１や操作入力装置１２から渡される操作入力の情報を集約し、ネットワークを介してそれらの情報を共有できるようにする装置である。操作情報共有装置１０は、操作入力装置１１や操作入力装置１２から収集した操作データを処理し、通信ネットワークを介してアプリ実行装置１５に供給する。操作情報共有装置１０は、例えば、パーソナルコンピューター（ＰＣ）を用いて実現される。なお、操作情報共有装置１０のより詳細な機能等については、後で別図を参照しながら詳述する。 The operation information sharing apparatus 10 is an apparatus that aggregates operation input information passed from the operation input apparatus 11 and the operation input apparatus 12 and allows the information to be shared via a network. The operation information sharing device 10 processes operation data collected from the operation input device 11 and the operation input device 12 and supplies the operation data to the application execution device 15 via the communication network. The operation information sharing apparatus 10 is realized using, for example, a personal computer (PC). Note that more detailed functions and the like of the operation information sharing apparatus 10 will be described in detail later with reference to other drawings.

操作入力装置１１および１２は、ユーザーによる操作に基づき、その操作の情報を取得または生成し、操作情報共有装置１０に渡す。操作入力装置１１および１２は、ユーザーによる操作を検知するためのセンサーを備えている。ここで、センサーとは、例えば人の指等によるタッチを検出するタッチセンサーや、加速度を検出する加速度センサーや、その他のセンサーである。タッチセンサーや加速度センサー自体は、既存技術により実現されるものである。操作入力装置１１および１２は、例えば、それらのセンサーを備えたスマートフォン（スマホ）あるいはタブレット端末として構成される。あるいは、操作入力装置１１および１２は、それらのセンサーを備え、画像ないしは映像を表示するための表示装置（例えば、液晶表示装置や有機ＥＬ表示装置）として構成される。操作入力装置１１および１２は、ユーザーによる操作を検知すると、入力された操作データを操作情報共有装置１０に送信する。操作入力装置１１と１２との相違点は、この操作データを操作情報共有装置１０に送信する際のインタフェースである。操作入力装置１１は、通信ネットワーク（例えば、インターネットプロトコルを用いたＩＰネットワーク）を介さず、直接、操作情報共有装置１０と結合され、操作データを渡す。操作入力装置１１は、例えば、ＵＳＢ（ユニバーサル・シリアル・バス）等のインタフェースを経由して、操作情報共有装置１０と独自のプロトコルで通信する。一方、操作入力装置１２は、通信ネットワーク（例えば、ＩＰネットワーク）を介して、操作情報共有装置１０との間でＨＴＴＰ（ハイパーテキスト転送プロトコル）やウェブソケット（WebSocket）などといった標準的なネットワークプロトコルで通信する。 The operation input devices 11 and 12 acquire or generate information on the operation based on the operation by the user and pass it to the operation information sharing device 10. The operation input devices 11 and 12 include a sensor for detecting an operation by a user. Here, the sensor is, for example, a touch sensor that detects a touch with a human finger, an acceleration sensor that detects acceleration, or other sensors. Touch sensors and acceleration sensors themselves are realized by existing technologies. The operation input devices 11 and 12 are configured as, for example, a smartphone (smartphone) or a tablet terminal that includes these sensors. Alternatively, the operation input devices 11 and 12 include those sensors and are configured as a display device (for example, a liquid crystal display device or an organic EL display device) for displaying an image or a video. When the operation input devices 11 and 12 detect an operation by the user, the operation input devices 11 and 12 transmit the input operation data to the operation information sharing device 10. The difference between the operation input devices 11 and 12 is an interface when the operation data is transmitted to the operation information sharing device 10. The operation input device 11 is directly coupled to the operation information sharing device 10 without passing through a communication network (for example, an IP network using the Internet protocol), and passes operation data. The operation input device 11 communicates with the operation information sharing device 10 using an original protocol via an interface such as a USB (Universal Serial Bus), for example. On the other hand, the operation input device 12 communicates with the operation information sharing device 10 via a communication network (for example, an IP network) using a standard network protocol such as HTTP (Hypertext Transfer Protocol) or Web socket (WebSocket). connect.

アプリ実行装置１５は、ユーザーがサービスを利用するためのアプリ（アプリケーションプログラム）を実行する環境を備えた装置である。アプリのプラットフォームとして、例えば、AndroidやiOSなどの様々なものが考えられる。本実施形態においては、アプリ実行装置１５は、ウェブブラウザの機能を備え、そのブラウザ上でウェブアプリを動作させることができるようになっている。ウェブアプリは、例えば、ＨＴＭＬ（ハイパーテキストマークアップ言語）とＪａｖａＳｃｒｉｐｔ（ジャバスクリプト，登録商標）を用いて記述される。アプリ実行装置１５が備えるウェブブラウザは、ＨＴＭＬで記述された文書データを解釈して表示させたり、ＪａｖａＳｃｒｉｐｔで記述された実行コードを実行させたりする機能を有している。アプリ実行装置１５は、例えば、テレビ放送の受信機能を備えたテレビ受像機として構成される。あるいは、アプリ実行装置１５は、スマートフォンやタブレット端末として構成される。 The application execution device 15 is a device having an environment for executing an application (application program) for a user to use a service. Various application platforms such as Android and iOS can be considered. In the present embodiment, the application execution device 15 has a web browser function and can operate a web application on the browser. The web application is described using, for example, HTML (Hypertext Markup Language) and JavaScript (Javascript, registered trademark). The web browser provided in the application execution device 15 has a function of interpreting and displaying document data described in HTML and executing an execution code described in JavaScript. The application execution device 15 is configured as a television receiver having a television broadcast reception function, for example. Alternatively, the application execution device 15 is configured as a smartphone or a tablet terminal.

図１に記載される各装置（操作情報共有装置１０、操作入力装置１１、操作入力装置１２、アプリ実行装置１５）のうちのいずれかの複数の装置の機能をまとめて一つの装置として実現しても良い。一例として、アプリ実行装置１５がテレビ受像機であり、操作入力装置１１がそのテレビ受像機の表示部（液晶表示装置）に設けられたタッチセンサー付き小型デバイスであるといった形態が考えられる。ただし、複数の装置の機能をまとめて一つの装置として実現する組み合わせは、これに限定されない。 The functions of any one of the devices (operation information sharing device 10, operation input device 11, operation input device 12, and application execution device 15) illustrated in FIG. 1 are collectively realized as one device. May be. As an example, a form in which the application execution device 15 is a television receiver and the operation input device 11 is a small device with a touch sensor provided in a display unit (liquid crystal display device) of the television receiver is conceivable. However, the combination which implement | achieves the function of a some apparatus collectively as one apparatus is not limited to this.

図２は、操作情報共有装置１０の概略機能構成を示すブロック図である。図示するように、操作情報共有装置１０は、操作入力装置インタフェース部１０１（受信部）と、ネットワーク入力インタフェース部１０２（受信部）と、操作イベント処理部１１０と、操作イベント送出部１２１と、ネットワーク出力インタフェース部１２５と、を含んで構成される。また、操作イベント処理部１１０は、データ変換部１１１と、入力装置識別部１１２と、を含んで構成される。以下に、これら各部の詳細について説明する。 FIG. 2 is a block diagram illustrating a schematic functional configuration of the operation information sharing apparatus 10. As illustrated, the operation information sharing apparatus 10 includes an operation input device interface unit 101 (reception unit), a network input interface unit 102 (reception unit), an operation event processing unit 110, an operation event transmission unit 121, a network And an output interface unit 125. The operation event processing unit 110 includes a data conversion unit 111 and an input device identification unit 112. Details of these parts will be described below.

操作入力装置インタフェース部１０１とネットワーク入力インタフェース部１０２は、それぞれ、ユーザーによる操作に基づいて発生した操作データを外部の操作入力装置から受信する受信部として機能する。つまり、受信部は、操作データを、ネットワーク経由で、またはネットワークを経由せずに、いずれの方法ででも受信できる。 The operation input device interface unit 101 and the network input interface unit 102 each function as a reception unit that receives operation data generated based on an operation by a user from an external operation input device. That is, the receiving unit can receive the operation data by any method via the network or without going through the network.

操作入力装置インタフェース部１０１は、操作入力装置１１と接続するためのインタフェース機能を有する。操作入力装置インタフェース部１０１が用いるインタフェースは、操作入力装置１１と接続性が担保できるものである。操作入力装置インタフェース部１０１は、操作入力装置１１から受信した操作データを、操作イベント処理部１１０に渡す。
ネットワーク入力インタフェース部１０２は、例えばＩＰネットワークを介して操作入力装置１２からの操作データを受信するためのネットワークインタフェース機能を有する。ネットワーク入力インタフェース部１０２は、ＨＴＴＰやウェブソケットなどといった標準的なネットワークプロトコルを用いて、転送されてくる操作データを受信する。そして、ネットワーク入力インタフェース部１０２は、操作入力装置１２から受信した操作データを、操作イベント処理部１１０に渡す。 The operation input device interface unit 101 has an interface function for connecting to the operation input device 11. The interface used by the operation input device interface unit 101 can ensure connectivity with the operation input device 11. The operation input device interface unit 101 passes the operation data received from the operation input device 11 to the operation event processing unit 110.
The network input interface unit 102 has a network interface function for receiving operation data from the operation input device 12 via, for example, an IP network. The network input interface unit 102 receives the transferred operation data using a standard network protocol such as HTTP or web socket. The network input interface unit 102 passes the operation data received from the operation input device 12 to the operation event processing unit 110.

操作イベント処理部１１０は、操作入力装置インタフェース部１０１およびネットワーク入力インタフェース部１０２から操作データを受信する。そして、操作イベント処理部１１０は、受信した操作データを、操作イベント送出部１２１によって処理可能な形態のデータに変換する。操作イベント処理部１１０によって変換された後のデータを、以後、操作イベントと呼ぶ。操作イベント処理部１１０が受信する操作データと、操作イベント処理部１１０によって変換された後の操作イベントデータとについては、後で別図を参照しながら詳述する。 The operation event processing unit 110 receives operation data from the operation input device interface unit 101 and the network input interface unit 102. The operation event processing unit 110 then converts the received operation data into data that can be processed by the operation event sending unit 121. The data converted by the operation event processing unit 110 is hereinafter referred to as an operation event. The operation data received by the operation event processing unit 110 and the operation event data converted by the operation event processing unit 110 will be described in detail later with reference to another drawing.

操作イベント送出部１２１は、操作イベント処理部１１０から渡される操作イベントを、ネットワーク出力インタフェース部１２５を経由してアプリ実行装置１５に送出する。
具体的には、操作イベント送出部１２１は、データ変換部１１１から出力される操作イベントを、ネットワークを介して送出する。操作情報共有装置１０からアプリ実行装置１５にデータを送信するための通信プロトコルとして、例えば、標準的なウェブブラウザが対応しているウェブソケット（WebSocket）を用いる。そして、操作イベント送出部１２１は、アプリ実行装置１５に含まれる操作イベント受信部１８１（後述）からからのリクエストを受信したときに、このリクエストに応答する。そして、このリクエストに基づいて、操作イベント送出部１２１は、両者間の接続が解除されるまでの間、通信路を確保するとともに、当該リクエストの送信元であるアプリ実行装置１５に対して、操作イベントのデータを順次送出する。
なお、操作イベント送出部１２１と、アプリ実行装置１５側の操作イベント受信部１８１との間の通信を行うために、上記ウェブソケット以外の通信プロトコルを適宜用いても良い。 The operation event sending unit 121 sends the operation event passed from the operation event processing unit 110 to the application execution device 15 via the network output interface unit 125.
Specifically, the operation event transmission unit 121 transmits the operation event output from the data conversion unit 111 via the network. As a communication protocol for transmitting data from the operation information sharing apparatus 10 to the application execution apparatus 15, for example, a web socket (WebSocket) supported by a standard web browser is used. When the operation event sending unit 121 receives a request from an operation event receiving unit 181 (described later) included in the application execution device 15, the operation event sending unit 121 responds to the request. Then, based on this request, the operation event sending unit 121 secures a communication path until the connection between the two is released, and performs an operation on the application execution device 15 that is the transmission source of the request. Send event data sequentially.
In addition, in order to perform communication between the operation event sending unit 121 and the operation event receiving unit 181 on the application execution device 15 side, a communication protocol other than the web socket may be used as appropriate.

ネットワーク出力インタフェース部１２５は、上記の操作イベント送出部１２１がアプリ実行装置１５に対して操作イベントのデータを送信するためのインタフェース機能を備える。ネットワーク出力インタフェース部１２５は、上記のウェブソケットにより伝送されるデータを、より下位のプロトコルを用いて転送する。
なお、ネットワーク出力インタフェース部１２５の機能とネットワーク入力インタフェース部１０２の機能とを共通化しても良い。 The network output interface unit 125 includes an interface function for the operation event transmission unit 121 to transmit operation event data to the application execution device 15. The network output interface unit 125 transfers the data transmitted through the web socket using a lower protocol.
Note that the function of the network output interface unit 125 and the function of the network input interface unit 102 may be shared.

前述の操作イベント処理部１１０は、データ変換部１１１と、入力装置識別部１１２とを含んで構成される。
データ変換部１１１は、受信した操作データに入力装置識別部１１２によって与えられる識別情報（操作入力装置を識別する情報）を付加し、操作イベントとして出力する。データ変換部１１１は、また、操作イベントの種別（event_type）を操作イベントに付加する。イベントの種別は、操作データの基となったセンサーの種別を表す情報を含むものである。例えば、タッチセンサーの場合、イベントの種別は、その操作が「touch」であることを表す情報を含む。また、操作入力装置から同一種別の操作データが連続的に入力された場合、種別として一連の操作開始、操作中、終了の情報を、操作の種別として付加する。例えば、タッチセンサーが検知した操作イベントであって、その一連の操作の開始時点における操作イベントに関しては、イベント種別は「touchstart」である。その一連の操作の操作中における操作イベントに関しては、イベント種別は「touchmove」である。その一連の操作の終了時点における操作イベントに関しては、イベント種別は「touchend」である。 The operation event processing unit 110 described above includes a data conversion unit 111 and an input device identification unit 112.
The data conversion unit 111 adds identification information (information for identifying the operation input device) given by the input device identification unit 112 to the received operation data, and outputs the operation event. The data conversion unit 111 also adds an operation event type (event_type) to the operation event. The event type includes information indicating the type of sensor that is the basis of the operation data. For example, in the case of a touch sensor, the event type includes information indicating that the operation is “touch”. Further, when operation data of the same type is continuously input from the operation input device, a series of operation start, operation in progress, and end information is added as the operation type. For example, for an operation event detected by the touch sensor and at the start of the series of operations, the event type is “touchstart”. For the operation event during the series of operations, the event type is “touchmove”. For the operation event at the end of the series of operations, the event type is “touchend”.

入力装置識別部１１２は、操作データの送信元である操作入力装置を識別して識別情報を出力する。入力装置識別部１１２は、その識別情報をデータ変換部１１１に供給する。なお、入力装置識別部１１２は、操作入力装置のアドレス（例えば、ＩＰアドレス）や、デバイス名等によって、あるいは操作入力装置との間で確立されているコネクションを識別する情報（例えば、コネクションの論理的な名前など）によって、操作入力装置を識別する。 The input device identification unit 112 identifies an operation input device that is a transmission source of operation data and outputs identification information. The input device identification unit 112 supplies the identification information to the data conversion unit 111. The input device identification unit 112 is information (for example, connection logic) that identifies a connection established with the operation input device address (for example, IP address), a device name, or the like, or with the operation input device. The operation input device is identified by a specific name.

図３は、アプリ実行装置の概略機能構成を示すブロック図である。図示するように、アプリ実行装置１５は、ネットワークインタフェース部１５１と、ウェブブラウザ部１６０（アプリケーション実行部）と、提示部１９１と、を含んで構成される。アプリ実行装置１５内のウェブブラウザ部１６０がアプリを実行させる。 FIG. 3 is a block diagram illustrating a schematic functional configuration of the application execution device. As shown in the drawing, the application execution device 15 includes a network interface unit 151, a web browser unit 160 (application execution unit), and a presentation unit 191. The web browser unit 160 in the application execution device 15 causes the application to be executed.

ネットワークインタフェース部１５１は、アプリ実行装置１５と操作情報共有装置１０とが通信ネットワークを介して通信を行うための機能を備えている。
ウェブブラウザ部１６０は、アプリケーションを実行させる機能を備えている。アプリは、ＨＴＭＬと、ＪａｖａＳｃｒｉｐｔと、ＣＳＳ（カスケーディング・スタイル・シート）とで構成される一般的なウェブアプリである。ウェブブラウザ部１６０は、ネットワークインタフェース部１５１を介して、外部の装置（操作情報共有装置１０など）との間でデータの送受信を行える。 The network interface unit 151 has a function for the application execution device 15 and the operation information sharing device 10 to communicate via a communication network.
The web browser unit 160 has a function of executing an application. The application is a general web application composed of HTML, JavaScript, and CSS (cascading style sheet). The web browser unit 160 can send and receive data to and from an external device (such as the operation information sharing device 10) via the network interface unit 151.

提示部１９１は、ウェブブラウザ部１６０から出力される画像や映像や音声などを外部のユーザーに対して提示する機能を備える。提示部１９１は、例えば、液晶ディスプレイ装置等の表示手段を備えるよう構成される。
なお、アプリ実行装置１５をテレビ受像機として構成する場合、提示部１９１は、上記のアプリからの出力をユーザーに提示するとともに、放送信号から抽出された映像や音声をもユーザーに提示する。 The presentation unit 191 has a function of presenting an image, video, audio, or the like output from the web browser unit 160 to an external user. The presentation unit 191 is configured to include display means such as a liquid crystal display device.
When the application execution device 15 is configured as a television receiver, the presentation unit 191 presents the output from the above application to the user and also presents the video and audio extracted from the broadcast signal to the user.

ウェブブラウザ部１６０についてさらに詳細に説明する。
ウェブブラウザ部１６０は、ＨＴＭＬ処理部１７１と、ＣＳＳ処理部１７２と、ＪａｖａＳｃｒｉｐｔ実行部１８０とを含んで構成される。さらに、ＪａｖａＳｃｒｉｐｔ実行部１８０は、操作イベント受信部１８１とジェスチャー変換部１８２とを含んで構成される。 The web browser unit 160 will be described in more detail.
The web browser unit 160 includes an HTML processing unit 171, a CSS processing unit 172, and a JavaScript execution unit 180. Furthermore, the JavaScript execution unit 180 includes an operation event reception unit 181 and a gesture conversion unit 182.

ＨＴＭＬ処理部１７１は、ＨＴＭＬで記述されたコンテンツを解釈し、テキストや画像や映像などを、定められた書式で画面等に配置する。なお、ＨＴＭＬ処理部１７１がコンテンツ（テキストや画像や映像など）の配置を決定する際には、下記のＣＳＳ処理部１７２が決定する表示属性にも従う。
ＣＳＳ処理部１７２は、階層化されたクラスごとに定義される属性を解決し、コンテンツ（テキストや画像や映像など）の提示のための属性（サイズや、位置や、色や、その他の属性）を決定する。 The HTML processing unit 171 interprets content described in HTML, and arranges text, images, videos, and the like on a screen or the like in a predetermined format. Note that when the HTML processing unit 171 determines the arrangement of content (text, image, video, etc.), it also follows the display attributes determined by the CSS processing unit 172 described below.
The CSS processing unit 172 resolves attributes defined for each hierarchical class, and attributes (size, position, color, and other attributes) for presenting content (text, images, videos, etc.) To decide.

ＪａｖａＳｃｒｉｐｔ実行部１８０は、ＪａｖａＳｃｒｉｐｔによって記述された実行コードを、例えばインタープリター形式で実行する。ＪａｖａＳｃｒｉｐｔのコードは、独立したファイルとして存在する場合もあり、またＨＴＭＬのファイルの中に埋め込まれる場合もある。 The JavaScript execution unit 180 executes the execution code described by JavaScript in an interpreter format, for example. The JavaScript code may exist as an independent file, or may be embedded in an HTML file.

操作イベント受信部１８１は、操作情報共有装置１０の操作イベント送出部１２１から送られてくる操作イベントのデータを受信する機能を備える。操作イベント受信部１８１は、ネットワークインタフェース部１５１を通して、操作イベント送出部１２１からの操作イベントを受信する。つまり、操作イベント受信部１８１は、外部装置との間で通信コネクションを確立して、ユーザーによる操作に基づいて発生した操作データと当該操作データの送信元である操作入力装置を識別するための識別情報とを含んだ操作イベントを、外部の操作情報共有装置１０から受信する。
ジェスチャー変換部１８２は、操作イベント受信部１８１が受信した操作イベント（または、複数の操作イベントの列）を、所定のルールに基づいてジェスチャーに変換する。ここで、ジェスチャーとは、操作イベントや、時系列にしたがった一連の操作イベント列から解釈される、より高次元な操作の単位である。なお、ジェスチャーの詳細については後述する。つまり、ジェスチャー変換部１８２は、操作イベント受信部１８１が受信した操作イベントに基づいて、ジェスチャーの種別を判定し得られたジェスチャー種別の情報を、ウェブブラウザ部１６０において実行されるアプリケーションに提供する。
また、ジェスチャー変換部１８２は、操作イベントに基づいてジェスチャーの種別を判定するためのパラメーターを設定可能とするが、このパラメーターの詳細については後述する。 The operation event receiving unit 181 has a function of receiving operation event data sent from the operation event sending unit 121 of the operation information sharing apparatus 10. The operation event receiving unit 181 receives an operation event from the operation event sending unit 121 through the network interface unit 151. That is, the operation event receiving unit 181 establishes a communication connection with an external device, and identifies the operation data generated based on the operation by the user and the operation input device that is the transmission source of the operation data. An operation event including information is received from the external operation information sharing apparatus 10.
The gesture conversion unit 182 converts the operation event (or a sequence of a plurality of operation events) received by the operation event reception unit 181 into a gesture based on a predetermined rule. Here, the gesture is a unit of higher-dimensional operation that is interpreted from an operation event or a series of operation event sequences according to time series. Details of the gesture will be described later. In other words, the gesture conversion unit 182 provides information on the gesture type obtained by determining the type of gesture based on the operation event received by the operation event reception unit 181 to the application executed in the web browser unit 160.
The gesture conversion unit 182 can set a parameter for determining the type of gesture based on the operation event. Details of this parameter will be described later.

操作イベント受信部１８１とジェスチャー変換部１８２の各々は、一例として、プログラムの機能として実現される。
操作イベント受信モジュール（モジュールは、プログラムの論理的なまとまりの単位）をＪａｖａＳｃｒｉｐｔ実行部１８０上で実行することにより、操作イベント受信部１８１が機能する。操作イベント受信モジュールには、操作情報共有装置１０より送出される操作イベントを受信するためのコードが記述されている。また、ジェスチャー変換モジュールをＪａｖａＳｃｒｉｐｔ実行部１８０上で実行することにより、ジェスチャー変換部１８２が機能する。ジェスチャー変換モジュールには、受信した操作イベントをジェスチャーに変換するためのコードが記述されている。
これらの操作イベント受信モジュールおよびジェスチャー変換モジュールは、例えば、アプリの一部として組み込まれる形で配布される。 Each of the operation event receiving unit 181 and the gesture converting unit 182 is realized as a function of a program as an example.
The operation event reception module 181 functions by executing an operation event reception module (a module is a unit of a logical unit of a program) on the JavaScript execution unit 180. In the operation event receiving module, a code for receiving an operation event sent from the operation information sharing apparatus 10 is described. The gesture conversion unit 182 functions by executing the gesture conversion module on the JavaScript execution unit 180. In the gesture conversion module, a code for converting the received operation event into a gesture is described.
These operation event reception module and gesture conversion module are distributed, for example, in a form incorporated as part of an application.

図４は、操作データの構成とデータ例とを示す概略図である。同図に示す操作データは、操作入力装置（１１または１２）から、操作情報共有装置１０に送られるデータである。また、この操作データは、操作情報共有装置１０内の操作イベント処理部１１０が受け取るデータである。図示するデータ例は、操作入力装置（１１または１２）が備えるタッチセンサーによって得られる時系列のデータである。同図における１行分のデータが、ある一時点におけるタッチセンサーからの出力に対応している。各行は、ｉｄと、ｘと、ｙとの、３つのデータ項目を含んでいる。ｉｄは、指を識別する情報である。本例では、ｉｄ＝０という値が、第０番目の指によるタッチであることを表している。ｘは、タッチセンサーにおいて検出されたｘ座標の値を表す情報である。ｙは、そのタッチセンサーにおいて検出されたｙ座標の値を表す情報である。タッチセンサーは、ｘおよびｙからなる２次元の座標により、タッチが検知された位置を示す。つまり、図示するデータは４行のデータを含んでいる。これらのデータは、ｉｄ＝０で識別される１本の指に関して、（ｘ，ｙ）＝（１００，２００）という座標で表される位置においてタッチ操作を開始し、（ｘ，ｙ）＝（１０３，２００）の位置まで移動することを表している。 FIG. 4 is a schematic diagram showing a configuration of operation data and a data example. The operation data shown in the figure is data sent from the operation input device (11 or 12) to the operation information sharing device 10. The operation data is data received by the operation event processing unit 110 in the operation information sharing apparatus 10. The illustrated data example is time-series data obtained by a touch sensor included in the operation input device (11 or 12). The data for one line in the figure corresponds to the output from the touch sensor at a certain temporary point. Each row contains three data items, id, x, and y. id is information for identifying a finger. In this example, a value of id = 0 represents a touch with the 0th finger. x is information representing the value of the x coordinate detected by the touch sensor. y is information representing the value of the y coordinate detected by the touch sensor. The touch sensor indicates a position where a touch is detected by two-dimensional coordinates including x and y. That is, the illustrated data includes four rows of data. These data start a touch operation at a position represented by coordinates (x, y) = (100, 200) for one finger identified by id = 0, and (x, y) = ( 103, 200).

図５は、操作イベントのデータ構成とデータ例とを示す概略図である。同図に示す操作イベントは、操作情報共有装置１０内の操作イベント処理部１１０が操作データを基に変換して生成するデータである。具体的には、操作イベント処理部１１０内のデータ変換部１１１がこのデータ変換処理を行う。 FIG. 5 is a schematic diagram showing the data structure and data example of an operation event. The operation event shown in the figure is data generated by the operation event processing unit 110 in the operation information sharing apparatus 10 converted based on the operation data. Specifically, the data conversion unit 111 in the operation event processing unit 110 performs this data conversion process.

図示するデータ例において、キーワード「device」は、デバイス名を表す。本データ例においてデバイス名の値は「touchsensorA」である。このデバイス名の情報は、予め操作情報共有装置１０に登録されていた情報に基づいて、データ変換部１１１が付加した情報である。このデバイス名は、入力装置識別部１１２に予め登録されている。そして、デバイスの接続中にはそのデバイスが操作情報共有装置によって認識されている。操作入力装置（１１または１２）からの操作データが操作イベント処理部１１０に入力された時点で、操作イベント処理部１１０は、デバイスを把握し適切なデバイス名を操作イベントに記述する。また、キーワード「event_type」は、操作イベントの種別を表す。操作イベントの種別は、センサーの種別（タッチセンサーや加速度センサーなど）ごとに定義されるものである。操作イベントの種別は、操作入力装置（１１または１２）側で宣言される場合と、操作情報共有装置１０の入力装置識別部１１２においてデバイスと関連付けて登録しておく場合とがある。図示する例において、操作イベントの種別は、「touchstart」、「touchmove」、「touchend」の３種類である。「touchstart」はタッチの開始（操作開始）を表し、「touchmove」はタッチ操作によって指が移動している状況（操作中）であることを表し、「touchend」はタッチの終了（操作終了）を表す。操作入力装置（１１または１２）側からは、ユーザーの操作時には、操作データが時系列に（ほぼ一定時間間隔で）連続的に入力される。したがって、データ変換部１１１は、それらの時系列のデータが一連の動作であるか否かの判定も行う。つまり、データ変換部１１１は、同一の操作入力装置（１１または１２）からの同一種別の操作データを連続的に受け取ったときには、当該一連の操作に関して、操作開始、操作中、操作終了のいずれかを表す情報を付加して、操作イベントとして出力する。なお、ここで、同一種別の操作データとは、例えば、連続する操作がいずれも「タッチ操作」である場合などである。
なお、図５のデータの各行における「id」および「x,y」のデータは、図４にも示した操作データから引き継いだ情報である。 In the illustrated data example, the keyword “device” represents a device name. In this data example, the value of the device name is “touchsensorA”. This device name information is information added by the data conversion unit 111 based on information registered in the operation information sharing apparatus 10 in advance. This device name is registered in advance in the input device identification unit 112. While the device is connected, the device is recognized by the operation information sharing apparatus. When operation data from the operation input device (11 or 12) is input to the operation event processing unit 110, the operation event processing unit 110 grasps the device and describes an appropriate device name in the operation event. The keyword “event_type” represents the type of operation event. The type of operation event is defined for each type of sensor (touch sensor, acceleration sensor, etc.). The type of operation event may be declared on the operation input device (11 or 12) side, or may be registered in association with a device in the input device identification unit 112 of the operation information sharing device 10. In the illustrated example, there are three types of operation events: “touchstart”, “touchmove”, and “touchend”. “Touchstart” indicates the start of touch (operation start), “touchmove” indicates that the finger is moving by touch operation (during operation), and “touchend” indicates the end of touch (operation end). Represent. From the operation input device (11 or 12) side, operation data is continuously input in time series (almost at regular time intervals) during user operation. Therefore, the data conversion unit 111 also determines whether or not the time series data is a series of operations. That is, when the data conversion unit 111 continuously receives operation data of the same type from the same operation input device (11 or 12), the data conversion unit 111 is any of operation start, operation in progress, and operation end for the series of operations. Is added and information is output as an operation event. Here, the same type of operation data is, for example, a case where all consecutive operations are “touch operations”.
Note that the “id” and “x, y” data in each row of the data in FIG. 5 is information inherited from the operation data shown in FIG.

なお、操作データと操作イベントについて、ここではＪＳＯＮ（ジェイソン、JavaScript Object Notation）形式で記述されているが、他の記述形式を用いても構わない。 Here, the operation data and the operation event are described in the JSON (Jason, JavaScript Object Notation) format here, but other description formats may be used.

次に装置間での処理のシーケンスについて説明する。
図６は、操作情報共有装置１０とアプリ実行装置１５との間でのデータ等のやり取りの概略手順を示すシーケンスチャートである。以下、同図に沿って手順を説明する。
まずステップＳ１において、アプリ実行装置１５側のウェブブラウザ部１６０は、アプリを起動する。そして、ＪａｖａＳｃｒｉｐｔ実行部１８０は、ＪａｖａＳｃｒｉｐｔのコードをロードする。 Next, a processing sequence between apparatuses will be described.
FIG. 6 is a sequence chart showing a schematic procedure for exchanging data and the like between the operation information sharing apparatus 10 and the application execution apparatus 15. The procedure will be described below with reference to FIG.
First, in step S1, the web browser unit 160 on the application execution device 15 side starts the application. Then, the JavaScript execution unit 180 loads the JavaScript code.

次にステップＳ２において、アプリ実行装置１５側の操作イベント受信部１８１は、操作情報共有装置１０側に対して、操作イベント取得リクエストを送る。そして、操作イベント受信部１８１は、操作情報共有装置１０側からの応答を待つ。操作情報共有装置１０側の操作イベント送出部１２１は、操作イベント受信部１８１から送られた操作イベント取得リクエストを受信する。 Next, in step S2, the operation event receiving unit 181 on the application execution device 15 side sends an operation event acquisition request to the operation information sharing device 10 side. Then, the operation event receiving unit 181 waits for a response from the operation information sharing apparatus 10 side. The operation event sending unit 121 on the operation information sharing apparatus 10 side receives the operation event acquisition request sent from the operation event receiving unit 181.

次にステップＳ３において、操作情報共有装置１０側の操作イベント送出部１２１は、上記の操作イベント取得リクエストを送信してきたアプリ実行装置１５を、送出先の一つとして登録する。これにより、当該アプリ実行装置は、操作イベントの送付先リストに加わる。より具体的には、操作情報共有装置１０は、操作イベント取得リクエストを受理するとともに、アプリ実行装置１５のＩＰアドレスなどデバイスを認識するための情報を登録し、ウェブソケットで操作イベントのデータを送信するための通信路を確立する。 Next, in step S3, the operation event sending unit 121 on the operation information sharing device 10 side registers the application execution device 15 that has sent the operation event acquisition request as one of the sending destinations. Thereby, the application execution device is added to the operation event transmission destination list. More specifically, the operation information sharing apparatus 10 accepts an operation event acquisition request, registers information for recognizing the device such as the IP address of the application execution apparatus 15, and transmits operation event data via a web socket. Establish a communication channel for

次にステップＳ４において、操作情報共有装置１０側の操作イベント送出部１２１は、ステップＳ２において受信した操作イベント取得リクエストに対する応答を、アプリ実行装置１５側に対して送信する。この応答は、リクエスト完了通知と呼ばれる。このリクエスト完了通知は、アプリ実行装置１５側がリクエストした操作イベントのデータを、そのアプリ実行装置１５に対して送出する準備が完了したことを通知するものである。アプリ実行装置１５側の操作イベント受信部１８１は、このリクエスト完了通知を受信する。そして、後続して送られてくるはずの操作イベントのデータを待つ。 Next, in step S4, the operation event sending unit 121 on the operation information sharing device 10 side transmits a response to the operation event acquisition request received in step S2 to the application execution device 15 side. This response is called a request completion notification. This request completion notification notifies that the preparation of sending the operation event data requested by the application execution device 15 side to the application execution device 15 is completed. The operation event receiving unit 181 on the application execution device 15 side receives this request completion notification. Then, it waits for operation event data that should be sent subsequently.

次にステップＳ５とＳ６とＳ７の各ステップにおいて、操作情報共有装置側の操作イベント送出部１２１は、操作イベントのデータを、アプリ実行装置１５に対して操作イベントのデータを送信する。そして、これらの各ステップにおいて、アプリ実行装置１５側の操作イベント受信部１８１は、この操作イベントのデータを受信する。また、操作イベント受信部１８１は、受信した操作イベントのデータを順次、ジェスチャー変換部１８２に渡す。ジェスチャー変換部１８２は、操作イベントをジェスチャーに変換するべきタイミングが到来するまで、受け取った操作イベントを例えば待ち行列形式の記憶手段に一時的に保管しておく。
なお、ジェスチャー変換部１８２が操作イベントをジェスチャーに変換するべきタイミングであるか否かとは無関係に、操作情報共有装置１０内の操作イベント送出部１２１は、操作イベントを次々にアプリ実行装置１５に向けて送り続ける。 Next, in each of steps S5, S6, and S7, the operation event sending unit 121 on the operation information sharing device side transmits operation event data to the application execution device 15 and operation event data. In each of these steps, the operation event receiving unit 181 on the application execution device 15 side receives data on the operation event. In addition, the operation event reception unit 181 sequentially passes the received operation event data to the gesture conversion unit 182. The gesture conversion unit 182 temporarily stores the received operation event in, for example, a queue-type storage unit until the timing for converting the operation event into a gesture has arrived.
Note that the operation event sending unit 121 in the operation information sharing device 10 directs the operation events to the application execution device 15 one after another regardless of whether or not the timing when the gesture conversion unit 182 should convert the operation event into a gesture. And keep sending.

次にステップＳ８において、アプリ実行装置１５側のジェスチャー変換部１８２は、その時点までに蓄積されている操作イベントの列を、ジェスチャーに変換するべきタイミングであることを判断する。そして、ジェスチャー変換部１８２は、蓄積されている操作イベントの列に基づいて、操作ジェスチャーを判定する。そして、ジェスチャー変換部１８２は、入力された操作イベント（の列）を変換した結果として、ジェスチャーを出力する。なお、操作イベントからジェスチャーへの変換の詳細については、後述する。 Next, in step S <b> 8, the gesture conversion unit 182 on the application execution device 15 side determines that it is time to convert the sequence of operation events accumulated up to that point into a gesture. Then, the gesture conversion unit 182 determines an operation gesture based on the accumulated sequence of operation events. Then, the gesture conversion unit 182 outputs a gesture as a result of converting the input operation event (sequence thereof). Details of the conversion from the operation event to the gesture will be described later.

ステップＳ８においてジェスチャー変換部１８２によって操作イベントのジェスチャーへの変換が行われているか否かに関わらず、操作情報共有装置１０側の操作イベント送出部１２１は、操作イベントを順次、送出していく。
同図においては、ステップＳ９において、またこのステップＳ９に後続する複数のステップの各々において、操作情報共有装置１０側の操作イベント送出部１２１は、操作イベントのデータをアプリ実行装置１５に向けて送出する。 Regardless of whether or not the operation event is converted into a gesture by the gesture conversion unit 182 in step S8, the operation event sending unit 121 on the operation information sharing device 10 side sequentially sends the operation events.
In the figure, in step S9 and in each of a plurality of steps subsequent to step S9, the operation event sending unit 121 on the operation information sharing apparatus 10 side sends operation event data to the application execution device 15. To do.

そして、以後は、操作情報共有装置１０とアプリ実行装置１５との間の通信接続が終了するまで、操作イベント送出部１２１は、操作イベントを送り続ける。そして、アプリ実行装置１５側のジェスチャー変換部１８２は、然るべきタイミングが来たときに、操作イベントをジェスチャーに変換して出力する処理を行う。 Thereafter, the operation event sending unit 121 continues to send operation events until the communication connection between the operation information sharing device 10 and the application execution device 15 is terminated. And the gesture conversion part 182 by the side of the application execution apparatus 15 performs the process which converts an operation event into a gesture and outputs it when an appropriate timing comes.

なお、上記の一連の処理において、ジェスチャー変換部１８２から出力される操作ジェスチャーのデータは、アプリ実行装置１５で実行されているアプリの他の部分に渡される。ジェスチャー変換部１８２を含むアプリがＪａｖａＳｃｒｉｐｔのプログラムとして実行される場合には、ジェスチャー変換部１８２（ジェスチャー変換モジュール）は、関数戻り値として、あるいはプロセス間通信等の手段で、変換結果であるジェスチャーを他のモジュールに渡す。 Note that in the series of processes described above, the operation gesture data output from the gesture conversion unit 182 is passed to the other part of the application being executed by the application execution device 15. When an application including the gesture conversion unit 182 is executed as a JavaScript program, the gesture conversion unit 182 (gesture conversion module) uses a function return value or means such as interprocess communication to convert a gesture as a conversion result. Pass to other modules.

上述したシーケンスでは、操作情報共有装置１０と１台のアプリ実行装置１５とのやりとりを説明したが、操作情報共有装置１０は、複数のアプリ実行装置１５に対して、同時並行的に操作イベントを送出することもできる。その場合、操作情報共有装置１０は、アプリ実行装置１５からの操作イベント取得リクエストを随時受け付け、そのアプリ実行装置１５との通信路を確立し、操作イベントを送出する。その間、操作情報共有装置１０は、他のアプリ実行装置１５との間でも並行して同様の処理を行う。 In the above-described sequence, the exchange between the operation information sharing device 10 and one application execution device 15 has been described. However, the operation information sharing device 10 sends an operation event to a plurality of application execution devices 15 simultaneously in parallel. It can also be sent out. In that case, the operation information sharing device 10 accepts an operation event acquisition request from the application execution device 15 as needed, establishes a communication path with the application execution device 15, and sends an operation event. Meanwhile, the operation information sharing apparatus 10 performs the same processing in parallel with other application execution apparatuses 15.

次に、ジェスチャー変換部１８２によるジェスチャー判定の詳細について説明する。ジェスチャー変換部１８２は、受信した連続する操作イベントのデータに基づいて、操作の特徴量を抽出し、ジェスチャーを判定する。以下で、タッチ操作の操作イベントに基づいて、タップ、長押し、フリック、ピンチ、回転といったジェスチャーを判定する例を説明する。ジェスチャー変換部１８２は、特徴量を抽出するためのパラメーターを予め設定できるようになっている。サービスの種類やデバイスの種類などに応じてこのパラメーターの値を変更することが可能である。また、ジェスチャー変換部１８２は、判定の結果として、ジェスチャーの種別のほかに、付加的な値を返す。 Next, details of gesture determination by the gesture conversion unit 182 will be described. Based on the received continuous operation event data, the gesture conversion unit 182 extracts an operation feature amount and determines a gesture. Hereinafter, an example in which gestures such as tap, long press, flick, pinch, and rotation are determined based on the operation event of the touch operation will be described. The gesture conversion unit 182 can set parameters for extracting feature amounts in advance. The value of this parameter can be changed according to the type of service, the type of device, etc. In addition to the gesture type, the gesture conversion unit 182 returns an additional value as the determination result.

（１）タップ
タップは、指先で一度触れる操作である。タップ操作に関するパラメーターは、１回のタップとして許容される操作時間（時間の長さの上限）と、１回のタップ中に許容されるｘ方向およびｙ方向それぞれの変位（変位の上限）である。ジェスチャー変換部１８２は、１回のタッチ操作が、パラメーターで指定される操作時間以下であり、且つ、その間の変位がパラメーターで許容される範囲内である時に、ジェスチャーの種別が「タップ」であると判定する。そして、ジェスチャー変換部１８２は、ジェスチャー種別「タップ」とともに、タップしたポイントを識別するＩＤと、タップしたポイントの座標（ｘ，ｙ）とを、戻り値として返す。 (1) Tap Tap is an operation of touching once with a fingertip. The parameters relating to the tap operation are the operation time allowed for one tap (upper limit of time length) and the displacements in the x and y directions allowed during one tap (upper limit of displacement). . The gesture conversion unit 182 indicates that the gesture type is “tap” when one touch operation is less than or equal to the operation time specified by the parameter and the displacement between them is within the range allowed by the parameter. Is determined. Then, the gesture conversion unit 182 returns an ID for identifying the tapped point and the coordinates (x, y) of the tapped point as a return value together with the gesture type “tap”.

（２）長押し
長押しは、指先で所定時間以上押し続ける操作である。長押し操作に関するパラメーターは、長押しと判定されるための最低継続時間と、１回の長押し中に許容されるｘ方向およびｙ方向それぞれの変位（変位の上限）である。ジェスチャー変換部１８２は、タッチ操作が、パラメーターで指定される最低継続時間以上であり、且つ、その間の変位がパラメーターで許容される範囲内である時に、ジェスチャーの種別が「長押し」であると判定する。そして、ジェスチャー変換部１８２は、ジェスチャー種別「長押し」とともに、長押ししたポイントを識別するＩＤと、長押ししたポイントの座標（ｘ，ｙ）とを、戻り値として返す。 (2) Long press The long press is an operation that keeps pressing with a fingertip for a predetermined time or longer. The parameters relating to the long press operation are the minimum duration for determining that the press is long and the displacements (upper limit of displacement) in the x direction and the y direction that are allowed during one long press. The gesture conversion unit 182 determines that the gesture type is “long press” when the touch operation is longer than the minimum duration specified by the parameter and the displacement therebetween is within the range allowed by the parameter. judge. Then, the gesture conversion unit 182 returns, together with the gesture type “long press”, an ID for identifying the long pressed point and the coordinates (x, y) of the long pressed point as a return value.

（３）フリック
フリックは、タッチセンサー面上に一旦置いた指をスライドさせて離す操作である。
フリック操作に関するパラメーターは、フリックとして許容される最大操作時間と、フリックとして許容される最小の変位量（ｘ方向への変位、ｙ方向への変位、またはｘ方向とｙ方向の変位を合成した変位量）である。ジェスチャー変換部１８２は、タッチ操作が、パラメーターで指定される最大操作時間以下であり、且つ、その間の変位がパラメーターで指定される最小変位量以上である時に、ジェスチャーの種別が「フリック」であると判定する。そして、ジェスチャー変換部１８２は、ジェスチャー種別「フリック」とともに、フリックしたポイントを識別するＩＤと、フリックした開始ポイントの座標（ｘ，ｙ）と、フリックによる変位量（ｄｘ，ｄｙ）を、戻り値として返す。 (3) Flick Flick is an operation of sliding and releasing a finger once placed on the touch sensor surface.
Parameters related to the flick operation are the maximum operation time allowed as a flick and the minimum amount of displacement allowed as a flick (displacement in the x direction, displacement in the y direction, or displacement combining the displacements in the x and y directions) Amount). The gesture conversion unit 182 indicates that the gesture type is “flick” when the touch operation is less than or equal to the maximum operation time specified by the parameter and the displacement therebetween is equal to or greater than the minimum displacement amount specified by the parameter. Is determined. Then, the gesture conversion unit 182 returns, together with the gesture type “flick”, the ID for identifying the flicked point, the coordinates (x, y) of the flicked start point, and the displacement amount (dx, dy) due to the flick. Return as.

（４）ピンチ
ピンチは、２本の指を近づけたり離したりする操作である。ピンチ操作に関するパラメーターは、ピンチであると判定する最小の縮尺と、２点間のイベント発生の時間差として許容される最大時間である。なお、上記の縮尺とは、２本の指によるタッチの位置に関して、最も近づいているときの２点間の距離と、最も遠いときの２点間の距離との比率である。ジェスチャー変換部１８２は、２点におけるタッチの連続した操作であり、最も近づいているときの２点間の距離と最も遠いときの２点間の距離との比率がパラメーターで指定される縮尺以上であり、且つ、その２点におけるイベント発生の時間差がパラメーターで指定される許容最大時間以下である時に、ジェスチャーの種別が「ピンチ」であると判定する。そして、ジェスチャー変換部１８２は、ジェスチャー種別「ピンチ」とともに、ピンチしたポイントを識別するＩＤと、２点間の中心座標（ｘ，ｙ）と、ピンチ開始時における２点間の距離に対するピンチ終了時の２点間の距離の縮尺の値とを、戻り値として返す。 (4) Pinch Pinch is an operation of bringing two fingers close or apart. The parameters relating to the pinch operation are a minimum scale for determining a pinch and a maximum time allowed as an event occurrence time difference between two points. In addition, said scale is the ratio of the distance between two points when the two fingers are closest to each other and the distance between the two points when they are farthest. The gesture conversion unit 182 is a continuous operation of touching at two points, and the ratio between the distance between the two points when the point is closest and the distance between the two points when the point is farthest is greater than or equal to the scale specified by the parameter When the time difference between the event occurrences at the two points is equal to or less than the maximum allowable time specified by the parameter, it is determined that the gesture type is “pinch”. The gesture conversion unit 182 then, together with the gesture type “pinch”, the ID for identifying the pinched point, the center coordinates (x, y) between the two points, and the end of the pinch for the distance between the two points at the start of the pinch The scale value of the distance between the two points is returned as a return value.

（５）回転
回転は、２本の指をタッチセンサー面に付けたまま面上で回転させる操作である。回転操作に関するパラメーターは、回転であると判定する最小の回転角度と、２点間のイベント発生の時間差として許容される最大時間である。なお、上記の回転角度とは、タッチしている２点を結ぶ直線の、回転開始時から回転終了時までの変位角の量である。ジェスチャー変換部１８２は、２点におけるタッチの連続した操作であり、回転角度がパラメーターで指定された最小回転角度以上であり、且つ、その２点におけるイベント発生の時間差がパラメーターで指定される許容最大時間以下である時に、ジェスチャーの種別が「回転」であると判定する。そして、ジェスチャー変換部１８２は、ジェスチャー種別「回転」とともに、回転したポイントを識別するＩＤと、２点間の中心座標（ｘ，ｙ）と、回転開始時の２点を結ぶ直線に対する回転終了時の２点を結ぶ直線の回転角度差とを、戻り値として返す。 (5) Rotation Rotation is an operation of rotating on the surface with two fingers attached to the touch sensor surface. The parameters related to the rotation operation are the minimum rotation angle that is determined to be rotation and the maximum time that is allowed as the time difference between the occurrence of events between two points. The above rotation angle is the amount of displacement angle of a straight line connecting two touched points from the start of rotation to the end of rotation. The gesture conversion unit 182 is a continuous operation of touch at two points, the rotation angle is equal to or larger than the minimum rotation angle specified by the parameter, and the time difference between the event occurrences at the two points is specified by the parameter. When the time is less than or equal to the time, it is determined that the gesture type is “rotation”. Then, the gesture conversion unit 182 completes the rotation with respect to the straight line connecting the two points at the start of rotation, the ID for identifying the rotated point, the center coordinate (x, y) between the two points, together with the gesture type “rotation”. The rotation angle difference of the straight line connecting the two points is returned as a return value.

次に、上述した実施形態に関して、複数の変形例を説明する。 Next, a plurality of modifications will be described with respect to the above-described embodiment.

［変形例１］
ジェスチャー変換部１８２をプログラムによって実現する場合、ジェスチャー種別ごとにモジュール化して、それらのモジュールをライブラリ等から選択してアプリケーションに組み込めるようにしても良い。また、ジェスチャー変換部がジェスチャーの判定に用いるためのパラメーターを、可変とすることができる。これらのパラメーターの値も、例えばアプリケーションごとに異なる値を設定するようにできる。これらにより、アプリケーション開発者に対して、利用するジェスチャーを取捨選択したり、柔軟に操作をハンドリングする手段を提供したりすることが可能となる。 [Modification 1]
When the gesture converting unit 182 is realized by a program, it may be modularized for each gesture type, and those modules may be selected from a library or the like and incorporated into an application. In addition, the parameters used by the gesture conversion unit for determining the gesture can be made variable. The values of these parameters can be set differently for each application, for example. As a result, it becomes possible to select a gesture to be used for an application developer or to provide a means for flexibly handling an operation.

［変形例２］
上記実施形態ではタッチセンサーによって検知されるタッチ操作を中心に説明した。タッチセンサー以外にも、例えば、加速度センサーや、画像センサーなどを用いて、操作をハンドリングすることができる。加速度センサーを用いる場合には、例えば、操作入力装置を傾ける操作や、操作入力装置を振ったり投げたりする操作などを検出して、ジェスチャーの種別としてアプリケーションに渡すことができる。画像センサーを用いる場合には、例えば、指を用いたサインや、身体によるポーズや、顔の表情などを操作として検出して、ジェスチャーの種別としてアプリケーションに渡すことができる。 [Modification 2]
In the above-described embodiment, the touch operation detected by the touch sensor has been mainly described. In addition to the touch sensor, the operation can be handled using, for example, an acceleration sensor or an image sensor. When the acceleration sensor is used, for example, an operation of tilting the operation input device or an operation of shaking or throwing the operation input device can be detected and passed to the application as a type of gesture. In the case of using an image sensor, for example, a sign using a finger, a pose by the body, a facial expression, and the like can be detected as an operation and passed to the application as a type of gesture.

［変形例３］
上記実施形態で説明した複数の装置の機能をまとめて、１台の装置として構成しても良い。例えば、操作入力装置（１１または１２）と、アプリ実行装置１５との機能をまとめて１台の装置（デバイス、情報処理装置）として構成しても良い。また、例えば、操作入力装置（１１または１２）と、操作情報共有装置１０との機能をまとめて１台の装置として構成しても良い。また、操作情報共有装置１０とアプリ実行装置１５との機能をまとめて１台の装置として構成しても良い。 [Modification 3]
The functions of a plurality of devices described in the above embodiments may be combined and configured as a single device. For example, the functions of the operation input device (11 or 12) and the application execution device 15 may be integrated and configured as one device (device, information processing device). Further, for example, the functions of the operation input device (11 or 12) and the operation information sharing device 10 may be integrated into a single device. In addition, the functions of the operation information sharing device 10 and the application execution device 15 may be integrated into a single device.

［変形例４］
上記実施形態では、操作イベントを操作情報共有装置１０側から送出して、それらの操作イベントに基づいてアプリ実行装置１５側でジェスチャーへの変換を行っていた。代わりに、ジェスチャーの判定を操作情報共有装置１０側で行い、判定されたジェスチャーの種別および付加的な値を、アプリ実行装置側に順次送出する形態としても良い。この場合、アプリ実行装置側では、操作イベント受信部１８１の代わりにジェスチャー受信部（不図示）を設けて、受信したジェスチャーの情報をアプリケーションに提供するようにする。 [Modification 4]
In the above embodiment, operation events are sent from the operation information sharing apparatus 10 side, and conversion to gestures is performed on the application execution apparatus 15 side based on these operation events. Instead, the gesture may be determined on the operation information sharing device 10 side, and the determined gesture type and additional value may be sequentially transmitted to the application execution device side. In this case, on the application execution device side, a gesture receiving unit (not shown) is provided instead of the operation event receiving unit 181 so that the received gesture information is provided to the application.

なお、上述した実施形態およびその変形例における操作情報共有装置、操作入力装置、アプリ実行装置の機能の全部または一部を、コンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 Note that all or part of the functions of the operation information sharing device, the operation input device, and the application execution device in the above-described embodiment and its modifications may be realized by a computer. In that case, the program for realizing these functions may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, a “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included, and a program that holds a program for a certain period of time. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

本発明は、テレビ受像機や、インターネット端末や、それらの機能を複合した情報機器等に利用することができる。 The present invention can be used for a television receiver, an Internet terminal, an information device that combines these functions, and the like.

１操作情報共有システム
１０操作情報共有装置
１１操作入力装置
１２操作入力装置
１５アプリ実行装置
１０１操作入力装置インタフェース部（受信部）
１０２ネットワーク入力インタフェース部（受信部）
１１０操作イベント処理部
１１１データ変換部
１１２入力装置識別部
１２１操作イベント送出部
１２５ネットワーク出力インタフェース部
１５１ネットワークインタフェース部
１６０ウェブブラウザ部（アプリケーション実行部）
１７１ＨＴＭＬ処理部
１７２ＣＳＳ処理部
１８０ＪａｖａＳｃｒｉｐｔ実行部
１８１操作イベント受信部
１８２ジェスチャー変換部
１９１提示部 1 Operation Information Sharing System 10 Operation Information Sharing Device 11 Operation Input Device 12 Operation Input Device 15 Application Execution Device 101 Operation Input Device Interface Unit (Reception Unit)
102 Network input interface unit (receiving unit)
110 Operation event processing unit 111 Data conversion unit 112 Input device identification unit 121 Operation event sending unit 125 Network output interface unit 151 Network interface unit 160 Web browser unit (application execution unit)
171 HTML processing unit 172 CSS processing unit 180 JavaScript execution unit 181 operation event reception unit 182 gesture conversion unit 191 presentation unit

Claims

A receiving unit that receives operation data generated based on an operation by the user from the operation input device;
An input device identifying unit that identifies an operation input device that is a transmission source of the operation data and outputs identification information;
A data conversion unit that adds the identification information given by the input device identification unit to the operation data and outputs the operation data as an operation event;
An operation event sending unit for sending the operation event output from the data conversion unit via a network;
An operation information sharing apparatus comprising:

When the data conversion unit continuously receives the same type of operation data from the same operation input device, the data conversion unit adds information indicating one of operation start, operation in progress, and operation end for the series of operations. And output as the operation event,
The operation information sharing apparatus according to claim 1.

The receiving unit can receive the operation data either via a network or not via a network.
The operation information sharing apparatus according to claim 1.

An application execution unit for executing the application;
Establishing a communication connection with an external device, an operation event including operation data generated based on an operation by a user and identification information for identifying an operation input device that is a transmission source of the operation data, An operation event receiving unit that receives from the external device;
An application execution device comprising:

A gesture conversion unit that provides information on a gesture type obtained by determining a gesture type based on the operation event received by the operation event reception unit to the application executed in the application execution unit;
The application execution device according to claim 4, further comprising:

The gesture conversion unit can set a parameter for determining the type of the gesture based on the operation event.
The application execution device according to claim 5.

An operation input device for transmitting operation data generated based on an operation by a user;
The operation information sharing device according to any one of claims 1 to 3,
The application execution device according to any one of claims 4 to 6,
An operation information sharing system comprising:

The operation information sharing device according to any one of claims 1 to 3,
The application execution device according to any one of claims 4 to 6,
Information processing apparatus having the functions of

Computer
The program for functioning as an operation information sharing apparatus as described in any one of Claim 1 to 3.

A computer having an application execution unit for executing an application,
The program for functioning as an application execution apparatus as described in any one of Claim 4-6.