JP5117121B2

JP5117121B2 - AV equipment operation control system

Info

Publication number: JP5117121B2
Application number: JP2007160491A
Authority: JP
Inventors: 健志幸田; 啓二片多
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2007-06-18
Filing date: 2007-06-18
Publication date: 2013-01-09
Anticipated expiration: 2027-06-18
Also published as: JP2008312153A

Description

本発明は、大型ディスプレイを備えたＡＶ（Audio Visual）システムにおいて、接続されたＡＶ機器の操作を制御する技術に関する。 The present invention relates to a technique for controlling the operation of a connected AV device in an AV (Audio Visual) system having a large display.

昨今のＡＶシステムにおいては、大画面のディスプレイを用いてコンテンツを視聴することが多い。ＡＶシステムには、例えば、ＳＴＢ（Set Top Box）、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＡＶアンプなど複数のＡＶ機器を接続するのが一般的である。このため、ＡＶシステムにおいては複数のリモコンが必要となるが、各ＡＶ機器は高機能化しているため、それぞれのリモコン操作も複雑化してきており、ユーザの学習が必要となっている。特に、操作メニューを大画面のディスプレイに表示させつつ、リモコンのボタン操作を行う場合には、ディスプレイ及びリモコンの双方を交互に見つつ操作する必要があるため、操作に煩わしさを感じるユーザも多い。 In recent AV systems, content is often viewed using a large-screen display. In general, a plurality of AV devices such as an STB (Set Top Box), a DVD (Digital Versatile Disc) player, and an AV amplifier are connected to the AV system. For this reason, a plurality of remote controllers are required in the AV system. However, since each AV device is highly functional, the operation of each remote controller has become complicated, requiring user learning. In particular, when operating the remote control buttons while displaying the operation menu on a large-screen display, it is necessary to operate while viewing both the display and the remote control alternately, so many users feel troublesome in the operation. .

ところで、不特定多数の人が使う公共機器、例えば、駅の券売機や銀行のＡＴＭ（Automatic Teller Machine）など、においては、タッチパネルを使用したユーザインターフェースが一般的である。タッチパネルは、操作させたい機能のコントロール（ボタン等）だけを適切な大きさに表示することができるとともに、コントロールの周囲に操作の目的や説明を具体的に表示できるので、操作の複雑さを解消でき、不特定多数のユーザが簡単に使えるユーザインターフェースである。（例えば、特許文献１、２参照。）。 By the way, in public equipment used by an unspecified number of people, for example, a ticket machine at a station or an ATM (Automatic Teller Machine) at a bank, a user interface using a touch panel is common. The touch panel can display only the controls (buttons, etc.) of the function you want to operate in an appropriate size, and can display the purpose and explanation of the operation specifically around the controls, eliminating the complexity of the operation. It is a user interface that can be used easily by an unspecified number of users. (For example, refer to Patent Documents 1 and 2.)

特開２００４−１９５５２７号公報JP 2004-195527 A 特開２００６−１２７１０１号公報JP 2006-127101 A

そのため、上述したＡＶシステムの大画面のディスプレイにタッチパネルのような不特定多数のユーザが簡単に使えるユーザインターフェースが適用できれば、ＡＶシステムの操作性を向上させることができる。 Therefore, if a user interface that can be easily used by an unspecified number of users such as a touch panel can be applied to the large-screen display of the AV system described above, the operability of the AV system can be improved.

しかしながら、大画面のディスプレイ（例えば、５０〜６０インチのＰＤＰ（Plasma Display Panel）など）に貼付するようなタッチパネルを作成することは物理的に困難であるという問題がある。また、大画面のディスプレイは適性距離（例えば、３〜４ｍ）離れて視聴するものであるため、この距離ではタッチパネルを操作できないという問題もある。 However, there is a problem that it is physically difficult to create a touch panel that is attached to a large-screen display (for example, a 50-60 inch PDP (Plasma Display Panel)). In addition, since a large-screen display is viewed at an appropriate distance (for example, 3 to 4 m), there is a problem that the touch panel cannot be operated at this distance.

また、ＡＶアンプなどのＡＶ機器は、ビデオ回路を持っていないので、タッチパネルインターフェースを用いたとしても、大画面のディスプレイに画像（操作メニュー）を表示できないという問題もある。さらには、ＤＶＤプレーヤのようにビデオ出力を有し、大画面のディスプレイに画像（操作メニュー）を表示できるＡＶ機器であったとしても、一般のＤＶＤプレーヤは、タッチパネル信号を理解することができないので、タッチパネルインターフェースを使うことができないという問題もある。 In addition, since AV equipment such as an AV amplifier does not have a video circuit, there is a problem in that an image (operation menu) cannot be displayed on a large-screen display even if a touch panel interface is used. Furthermore, even if the AV device has a video output and can display an image (operation menu) on a large-screen display like a DVD player, a general DVD player cannot understand a touch panel signal. There is also a problem that the touch panel interface cannot be used.

本発明は上記の事情を鑑みてなされたものであり、その課題の一例としては、大画面ディスプレイを備えたＡＶシステムにおいて、例えば、タッチパネルのような直感的に操作方法を理解させるユーザインターフェースを用いて、接続される装置がどのような種類のＡＶ機器であっても簡単に操作することができるＡＶ機器の操作制御技術を提供することにある。 The present invention has been made in view of the above circumstances. As an example of the problem, in an AV system including a large screen display, for example, a user interface such as a touch panel that allows an intuitive operation method is used. Thus, an object of the present invention is to provide an AV device operation control technology that can be easily operated regardless of the type of AV device to be connected.

上記の課題を達成するため、本発明に係るＡＶ機器の操作制御システムは、その一態様として、映像出力を有するＡＶ機器である被操作装置と、第１の表示画面を有する第１の表示装置及び前記被操作装置と接続され、前記被操作装置が出力した映像を前記第１の表示装置に表示する操作装置と、前記操作装置と相互に通信可能であり、前記第１の表示画面よりも小さな第２の表示画面を有し、前記第１の表示装置に表示された映像と同一の映像を表示する第２の表示装置を備えるとともに、前記被操作装置を操作指示するための操作信号を前記第２の表示画面を介してタッチパネル形式で入力する、携行可能な操作指示装置と、を備えるＡＶ機器の操作制御システムであって、前記被操作装置は、前記被操作装置を操作するメニューの映像、及び前記メニューの各操作対象の位置及び操作内容に関するメタ情報を動的に作成して、前記操作装置に送信し、前記操作装置は、受信したメニューの映像を前記第１の表示装置及び前記操作指示装置に送信し、前記操作指示装置から、前記操作信号を前記第２の表示画面上の位置情報として受信し、前記被操作装置から受信した前記メタ情報と、前記操作指示装置から受信した前記操作信号と、に基づいて、選択された操作対象を識別し、選択された操作対象の操作内容に従って操作を行い、操作結果を前記被操作装置に送信し、前記被操作装置は、受信した操作結果に応じて、自装置の制御を行うことを特徴とする。 In order to achieve the above object, an operation control system for an AV device according to the present invention includes, as one aspect, an operated device that is an AV device having video output, and a first display device having a first display screen. And an operating device that is connected to the operated device and displays the video output from the operated device on the first display device, and is capable of communicating with the operating device, than the first display screen. A second display device having a small second display screen and displaying the same image as the image displayed on the first display device is provided, and an operation signal for instructing operation of the operated device is provided. An operation control system for an AV device comprising a portable operation instruction device for inputting in a touch panel format via the second display screen, wherein the operated device is a menu for operating the operated device. Video And meta information related to the position and operation content of each operation target of the menu is dynamically created and transmitted to the operation device, and the operation device displays the received video of the menu in the first display device and the operation. Transmitted to the instruction device, received from the operation instruction device, the operation signal as position information on the second display screen, the meta information received from the operated device, and the received from the operation instruction device Based on the operation signal, the selected operation target is identified, the operation is performed according to the operation content of the selected operation target, the operation result is transmitted to the operated device, and the operated device receives the received operation According to the result, the apparatus is controlled.

以下、本発明の実施の形態を図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜操作制御システムの概念＞
（タッチパネルＵＩユニット）
図１は、本発明の実施の形態に係るＡＶ機器の操作制御システム（以下、操作制御システムという）１００の概略構成図である。操作制御システム１００は、大型のディスプレイを有する大画面ＴＶユニット１、小型のディスプレイを有し、ユーザが携行可能なタッチパネルユーザインターフェースユニット（以下、タッチパネルＵＩユニットという）２、及び大画面ＴＶユニット１に接続された複数のＡＶ機器３ａ、３ｂ、…、３ｎ（例えば、ＤＶＤレコーダやＡＶアンプなど。以下、接続されたＡＶ機器を総称するときはＡＶ機器３と表記する）を備えている。ここで、大画面ＴＶユニット１に表示される映像と、タッチパネルＵＩユニット２に表示される映像は同じであり、例えば、大画面ＴＶユニット１にＤＶＤレコーダ３ａで再生されている映像コンテンツが表示されているときは、タッチパネルＵＩユニット２にも同一の映像コンテンツが表示され、また、大画面ＴＶユニット１にＤＶＤレコーダ３ａの操作メニューが表示されているときは、タッチパネルＵＩユニット２にも同一の操作メニューが表示されている。このため、操作制御システム１００においては、ユーザは、映像コンテンツを視聴するときは、大画面ユニット１の大画面を見、ＡＶ機器３の操作を行うときは、携行するタッチパネルＵＩユニット２の画面を見るというような使い方ができる。なお、大画面ＴＶユニット１とタッチパネルＵＩユニット２は、無線で相互に通信可能な構成となっている。 <Concept of operation control system>
(Touch panel UI unit)
FIG. 1 is a schematic configuration diagram of an AV device operation control system (hereinafter referred to as an operation control system) 100 according to an embodiment of the present invention. The operation control system 100 includes a large screen TV unit 1 having a large display, a touch panel user interface unit (hereinafter referred to as a touch panel UI unit) 2 having a small display and portable by the user, and the large screen TV unit 1. A plurality of connected AV devices 3a, 3b,..., 3n (for example, a DVD recorder, an AV amplifier, etc .; hereinafter, the connected AV devices are collectively referred to as AV devices 3). Here, the video displayed on the large-screen TV unit 1 and the video displayed on the touch panel UI unit 2 are the same. For example, the video content reproduced by the DVD recorder 3a is displayed on the large-screen TV unit 1. The same video content is displayed on the touch panel UI unit 2, and the same operation is performed on the touch panel UI unit 2 when the operation menu of the DVD recorder 3 a is displayed on the large screen TV unit 1. Menu is displayed. Therefore, in the operation control system 100, when viewing the video content, the user looks at the large screen of the large screen unit 1, and when operating the AV device 3, the user views the screen of the touch panel UI unit 2 to be carried. You can use it like watching. The large screen TV unit 1 and the touch panel UI unit 2 are configured to be able to communicate with each other wirelessly.

大画面ＴＶユニット１は、大画面ディスプレイであるＰＤＰ（Plasma Display Panel）パネル１１と、チューナやメディアレシーバの機能を有するＰＤＰコントローラ１２と、から構成されている。なお、本実施の形態においては、大画面ＴＶユニット１として、プラズマＴＶを採用したが、これに限定されず、他の種類の大画面ＴＶでもよく、例えば、液晶ＴＶやブラウン管ＴＶなどでもよい。また、ＰＤＰパネル１１とＰＤＰコントローラ１２は、物理的に一体化された装置であっても、物理的に分離され、筐体が異なる装置のいずれであってもよい。 The large screen TV unit 1 includes a PDP (Plasma Display Panel) panel 11 which is a large screen display, and a PDP controller 12 having functions of a tuner and a media receiver. In the present embodiment, a plasma TV is adopted as the large screen TV unit 1, but the present invention is not limited to this, and other types of large screen TVs may be used, such as a liquid crystal TV or a cathode ray tube TV. Further, the PDP panel 11 and the PDP controller 12 may be either physically integrated devices or physically separated devices with different housings.

ＰＤＰコントローラ１２は、大画面ＴＶユニット１自身の操作メニュー画像や接続されたＡＶ機器３の操作メニュー画像をＰＤＰパネル１１に表示するとともに、タッチパネルＵＩユニット２にも同一画像を送信するようになっている。なお、タッチパネルＵＩユニット２には、画面の大きさに合わせて解像度を下げた画像が送信されるため、ＰＤＰコントローラ１２は、画像解像度を調整する機能も有する。また、ＰＤＰコントローラ１２は、タッチパネルＵＩユニット２から送信されたタッチパネル信号（ユーザがタッチパネル画面上のどの位置に触れたかを示す位置情報）を受け取って、表示された操作メニューの中の選択された項目を判断し、選択された項目の操作を行い、操作結果をＡＶ機器３に送信するようになっている。この結果、ＡＶ機器３は操作結果に従って、自装置を操作制御することができる。なお、ＰＤＰコントローラ１２とＡＶ機器３との間で行われるデータのやりとりに関しては、後述する。 The PDP controller 12 displays the operation menu image of the large screen TV unit 1 itself and the operation menu image of the connected AV device 3 on the PDP panel 11 and also transmits the same image to the touch panel UI unit 2. Yes. Note that the touch panel UI unit 2 transmits an image with a reduced resolution in accordance with the size of the screen, so the PDP controller 12 also has a function of adjusting the image resolution. The PDP controller 12 receives the touch panel signal (position information indicating which position on the touch panel screen the user has touched) transmitted from the touch panel UI unit 2 and selects the selected item in the displayed operation menu. The selected item is operated, and the operation result is transmitted to the AV device 3. As a result, the AV device 3 can control its own device according to the operation result. Data exchange between the PDP controller 12 and the AV device 3 will be described later.

タッチパネルＵＩユニット２は、タッチパネル機能を有する入出力装置であり、ＰＤＰコントローラ１２から送信されてきた映像をそのまま表示し、ユーザの操作により入力されたタッチパネル信号をそのままＰＤＰコントローラ１２に送信するようになっている。また、送信される映像が圧縮・暗号化されているので、その復号処理も行う。なお、本実施の形態においては、大画面ＴＶユニット１とタッチパネルＵＩユニット２は無線で接続される形態であったが、これに限定されず、有線で接続される形態であってもよい。 The touch panel UI unit 2 is an input / output device having a touch panel function, displays an image transmitted from the PDP controller 12 as it is, and transmits a touch panel signal input by a user operation to the PDP controller 12 as it is. ing. Since the transmitted video is compressed and encrypted, the decryption process is also performed. In the present embodiment, the large screen TV unit 1 and the touch panel UI unit 2 are connected in a wireless manner. However, the present invention is not limited to this, and may be connected in a wired manner.

このように操作制御システム１００においては、大画面ＴＶユニット１のディスプレイに直接、タッチパネルインターフェースを取り入れるのではなく、携行可能な小型のタッチパネルＵＩユニット２にタッチパネルインターフェースを取り入れて、大画面ＴＶユニット１に表示される映像と同一の映像をタッチパネルＵＩユニット２に表示するので、大画面ディスプレイを備えたＡＶシステムであっても、ユーザはタッチパネルを使うことができ、ＡＶ機器の操作を簡単とすることができる。 As described above, the operation control system 100 does not directly incorporate the touch panel interface into the display of the large screen TV unit 1 but incorporates the touch panel interface into the portable small touch panel UI unit 2 so that the large screen TV unit 1 can be used. Since the same video as the video to be displayed is displayed on the touch panel UI unit 2, the user can use the touch panel even in an AV system equipped with a large screen display, thereby simplifying the operation of the AV device. it can.

（大画面ＴＶユニットとＡＶ機器のデータのやりとり）
次に、上述したタッチパネルＵＩユニット２を介したタッチパネル信号をＡＶ機器３が理解する仕組みについて説明する。 (Data exchange between large screen TV unit and AV equipment)
Next, a mechanism in which the AV device 3 understands the touch panel signal via the touch panel UI unit 2 described above will be described.

本実施の形態における大画面ＴＶユニット１とＡＶ機器３とのデータのやりとりは、図２に示すように、操作される機器がサーバ（本実施の形態では、ＡＶ機器３が相当する）となり、操作する機器（本実施の形態では、大画面ＴＶユニット１のＰＤＰコントローラ１２が相当する）がクライアントとなった、Ｗｅｂサーバ・クライアント方式を採用する。Ｗｅｂサーバ・クライアント方式では、サーバ１がコンテンツのメタデータをクライアント３に送信し、クライアント１は、サーバ３から送信されたメタデータを解釈して、操作メニュー映像を作成し、ＰＤＰパネル１１及びタッチパネルＵＩユニット２にメニュー映像を表示する。また、クライアント１は、タッチパネルＵＩユニット２から受信したタッチパネル信号に基づいて操作を行い、操作結果をオブジェクト操作信号としてサーバ３に送信するようになっている。その結果、操作制御システム１００においては、ＡＶアンプなどビデオ回路（ビデオ出力）を有しないＡＶ機器３であっても、タッチパネルインターフェースを用いて、ＡＶ機器３の操作を制御することができる。 In the exchange of data between the large-screen TV unit 1 and the AV device 3 in the present embodiment, as shown in FIG. 2, the operated device is a server (in this embodiment, the AV device 3 corresponds), A Web server / client system is adopted in which the device to be operated (in this embodiment, the PDP controller 12 of the large-screen TV unit 1 corresponds) is the client. In the Web server / client method, the server 1 transmits content metadata to the client 3, and the client 1 interprets the metadata transmitted from the server 3 to create an operation menu video, and the PDP panel 11 and the touch panel. A menu image is displayed on the UI unit 2. The client 1 performs an operation based on the touch panel signal received from the touch panel UI unit 2 and transmits the operation result to the server 3 as an object operation signal. As a result, in the operation control system 100, even an AV device 3 that does not have a video circuit (video output) such as an AV amplifier can control the operation of the AV device 3 using the touch panel interface.

一方、図３は、Ｗｅｂサーバ・クライアント方式とは異なるリモート操作方式を説明するための図である。リモート操作方式では、タッチパネルＵＩユニット２に入力されたタッチパネル信号を、操作される機器（ＡＶ機器３）が理解する必要があるため、背景技術欄で述べたように以下のような問題点がある。すなわち、一般のＡＶ機器（例えば、ＤＶＤレコーダ）では、タッチパネルインターフェースを使うことができないし、ＡＶアンプなどのＡＶ機器は、ビデオ回路を持っていないので、タッチパネルインターフェースを用いたとしても、大画面のディスプレイに操作メニューの画像を表示することができないという問題点である。従って、本実施の形態の操作制御システム１００においては、このリモート操作方式を採用していない。 On the other hand, FIG. 3 is a diagram for explaining a remote operation method different from the Web server / client method. In the remote operation method, it is necessary for the device to be operated (AV device 3) to understand the touch panel signal input to the touch panel UI unit 2, and as described in the background section, there are the following problems. . That is, a general AV device (for example, a DVD recorder) cannot use a touch panel interface, and an AV device such as an AV amplifier does not have a video circuit. The problem is that the operation menu image cannot be displayed on the display. Therefore, the remote control method is not adopted in the operation control system 100 of the present embodiment.

ところで、ビデオ回路（ビデオ出力）を有するＢＤ（Blu-ray Disc）プレーヤやＤＶＤプレーヤにおいては、独自のナビゲーション機能やＪａｖａ（登録商標）プログラム実行機能を備えていたり、映像データがコピープロテクションのために暗号化されていることがある。このような場合には、クライアント１は、上述したナビゲーション機能、Ｊａｖａ（登録商標）プログラム実行機能、及びコピープロテクションの暗号を解読できる機能がないと、メニュー画像を表示することができない。すなわち、クライアント１には、サーバ３が有する独自機能を理解する機構が必要であるが、接続する各ＡＶ機器のすべてのこのような機能に対応するのは現実には困難である。そこで、本実施の形態の操作制御システム１００においては、上述したＷｅｂサーバ・クライアント方式を改良したＷｅｂサーバ・クライアント方式（以下、改良されたＷｅｂサーバ・クライアント方式という）を採用する。すなわち、ＡＶアンプなどビデオ出力を有しないＡＶ機器を操作可能とするためにＷｅｂサーバ・クライアント方式を採用するが、独自機能を有するＤＶＤプレーヤやＢＤプレーヤを操作可能とするために、ビデオ出力を有するＡＶ機器に対しては、新規な機構を追加する。 By the way, a BD (Blu-ray Disc) player or a DVD player having a video circuit (video output) has a unique navigation function or a Java (registered trademark) program execution function, or video data is used for copy protection. It may be encrypted. In such a case, the client 1 cannot display the menu image without the navigation function, the Java (registered trademark) program execution function, and the function that can decrypt the copy protection code. That is, the client 1 needs a mechanism for understanding the unique functions of the server 3, but it is actually difficult to cope with all such functions of each AV device to be connected. Therefore, the operation control system 100 according to the present embodiment employs a Web server / client method (hereinafter referred to as an improved Web server / client method) obtained by improving the Web server / client method described above. In other words, the Web server / client system is adopted to enable operation of AV equipment such as an AV amplifier that does not have video output, but has video output to enable operation of a DVD player or BD player having a unique function. For AV equipment, a new mechanism is added.

図４は、改良されたＷｅｂサーバ・クライアント方式を説明するための図である。改良されたＷｅｂサーバ・クライアント方式では、メニュー映像をクライアント１側で作成するのではなく、サーバ３側でリアルタイムに（所定の時間間隔ごと、例えば、０．４秒ごとなど、あるいは表示メニューの情報が更新されるごとに）メニュー映像（リアルタイム映像という）を作成し、作成したメニュー映像及びメニュー映像に関するメタデータ（詳しくは、メニューに表示される各オブジェクト（メニューボタン、ラジオボタン、セレクトリストなど）の画面上の位置に関する情報、及び各オブジェクトの操作内容（例えば、操作によりオン・オフの２値をとるなど）に関する情報を意味する。以降、リアルタイムメタデータという）を所定の時間間隔ごと、あるいは、表示メニューの情報が更新されるごとにクライアント１に送信するようになっている。本実施の形態では、サーバ３は、動的にメニュー映像及びメニュー映像に関するメタデータを作成して、送信するので、メニュー映像が変化しても、変化したメニュー映像に対応した操作制御が可能となっている。なお、上述したリアルタイムの時間間隔は、クライアント１がサーバ３にメタデータ（ＨＴＭＬ）の送信要求を出す間隔、クライアント１が受信したメタデータ（ＨＴＭＬ）を理解する時間、及び圧縮されたビデオデータのフレーム間隔等を加味して算出される。 FIG. 4 is a diagram for explaining an improved Web server / client system. In the improved Web server / client system, the menu video is not created on the client 1 side, but in real time (every predetermined time interval, for example, every 0.4 seconds, or display menu information) on the server 3 side. Menu video (called real-time video) and metadata about the created menu video and menu video (specifically, each object (menu button, radio button, select list, etc.) displayed in the menu) Information on the position on the screen, and information on the operation content of each object (for example, taking on / off binary values by operation, etc., hereinafter referred to as real-time metadata) at predetermined time intervals, or Every time the information in the display menu is updated, the client 1 It is adapted to Shin. In the present embodiment, since the server 3 dynamically creates and transmits the menu video and the metadata related to the menu video, operation control corresponding to the changed menu video is possible even if the menu video changes. It has become. The real-time time interval described above includes the interval at which the client 1 sends a request for transmitting metadata (HTML) to the server 3, the time for understanding the metadata (HTML) received by the client 1, and the compressed video data It is calculated taking into account the frame interval and the like.

クライアント１は、リアルタイム映像及びリアルタイムメタデータを受け取ると、メニューに表示される各オブジェクトの位置関係を把握できるので、タッチパネルＵＩユニット２から受信したタッチパネル信号（位置情報）と各オブジェクトの位置関係から、ユーザが選択したオブジェクトを判断でき、判断したオブジェクト（ユーザにより操作されたオブジェクト）の操作内容に従って、所望の操作を行い、操作結果をオブジェクト操作信号としてサーバ３に送信するようになっている。 When the client 1 receives the real-time video and the real-time metadata, the client 1 can grasp the positional relationship of each object displayed on the menu. Therefore, from the touch panel signal (position information) received from the touch panel UI unit 2 and the positional relationship of each object, An object selected by the user can be determined, a desired operation is performed in accordance with the operation content of the determined object (object operated by the user), and an operation result is transmitted to the server 3 as an object operation signal.

このように改良されたＷｅｂサーバ・クライアント方式においては、操作メニューの映像はビデオ回路を有するサーバ１側で作成されるので、クライアント１は操作メニューの映像を作成する必要がない。また、クライアント１は操作メニューのオブジェクトの位置を把握して、受信したタッチパネル信号がいずれのオブジェクトに対する操作であるかを理解すればよいので、各サーバ３が有する独自機能を理解するための複雑な構成を採用する必要もない。そのため、改良されたＷｅｂサーバ・クライアント方式においては、クライアント１が実装する機能を軽減して単純化することができる。 In the Web server / client system improved in this way, the operation menu video is created on the server 1 side having the video circuit, so that the client 1 does not need to create the operation menu video. Further, since the client 1 has only to know the position of the object on the operation menu and understand which object the received touch panel signal is for, it is complicated to understand the unique function of each server 3. There is no need to adopt a configuration. Therefore, in the improved Web server / client system, the functions implemented by the client 1 can be reduced and simplified.

図５は、改良されたＷｅｂサーバ・クライアント方式におけるクライアント１とサーバ３とのデータのやりとりを詳細に示す機能ブロック図である。ここでは、サーバ３はＤＶＤプレーヤであり、ＤＶＤに記録されたコンテンツのメニュー画面（例えば、複数のチャプタ項目を表示する）を表示し、ユーザがメニュー画面の中からいずれかの項目を選択した場合を想定して説明する。 FIG. 5 is a functional block diagram showing details of data exchange between the client 1 and the server 3 in the improved Web server / client system. Here, the server 3 is a DVD player, displays a menu screen of content recorded on the DVD (for example, displays a plurality of chapter items), and the user selects any item from the menu screen. An explanation will be given assuming this.

一般的に、リッチコンテンツのナビゲーションシステムは非常に複雑であり、ＡＶ機器ごとに異なる仕様となっている。このようなナビゲーションシステムを単一のタッチパネルＵＩシステムで理解し操作させることは難しい。加えて、メニューも色々なフォントやイメージで作られ、再生コンテンツデータも色々なコーディング（圧縮、コピープロテクション）が使われるので、単一のタッチパネルＵＩシステムで扱いきれない。 In general, a rich content navigation system is very complicated and has different specifications for each AV device. It is difficult to understand and operate such a navigation system with a single touch panel UI system. In addition, menus are created with various fonts and images, and playback content data uses various coding (compression, copy protection), so it cannot be handled by a single touch panel UI system.

これに対し、グラフィックユーザーインターフェース（ＧＵＩ）部分は、オブジェクト（ボタンなど）を選択する上下左右キーと、決定（Ｙｅｓ）キー、中止（Ｎｏ）キーの主に６つのキーと、ルートメニューや１つ前の画面に戻る補助キー、説明を表示させる説明キーなどでシンプルに作られている。本実施の形態では、この操作の部分だけをメタデータとして扱い、リアルタイムＨＴＭＬで抽象化して記述するものである。 On the other hand, the graphic user interface (GUI) portion has up, down, left and right keys for selecting an object (button, etc.), six keys, a decision (Yes) key, and a stop (No) key, a root menu, and one It is made simply with an auxiliary key to return to the previous screen, an explanation key to display the explanation, etc. In the present embodiment, only this operation part is handled as metadata, and is abstracted and described in real-time HTML.

まず、サーバ３は、図５に示すように、ＤＶＤに記録されたコンテンツをデコードし、メニュー画像をリアルタイムで作成し、クライアント１に送信する（リアルタイムビデオ）。一方、ナビゲーション機能により、メニュー画像に表示されるオブジェクト（ボタンなど）のメタデータをＨＴＭＬでリアルタイムに作成し、リアルタイムビデオと同期をとってクライアント１に送信する（リアルタイムＨＴＭＬ）。 First, as shown in FIG. 5, the server 3 decodes the content recorded on the DVD, creates a menu image in real time, and transmits it to the client 1 (real time video). On the other hand, metadata of objects (buttons, etc.) displayed in the menu image is created in real time in HTML by the navigation function, and transmitted to the client 1 in synchronization with the real time video (real time HTML).

クライアント１は、リアルタイムビデオを受信すると、ビデオプロセッサがメニュー画像をＰＤＰパネル１１に高解像度で出力表示するとともに、タッチパネルプロセッサがタッチパネルＵＩユニット２の解像度に合わせて、メニュー画像の解像度変換を行い、ワイヤレスアダプタを介して、低解像度のメニュー画像を無線でタッチパネルＵＩユニット２に送信する。 When the client 1 receives the real-time video, the video processor outputs and displays the menu image on the PDP panel 11 with high resolution, and the touch panel processor converts the resolution of the menu image in accordance with the resolution of the touch panel UI unit 2, and wirelessly. A low-resolution menu image is wirelessly transmitted to the touch panel UI unit 2 via the adapter.

ユーザはタッチパネルＵＩユニット２に表示されたメニュー画像を見て、所望の項目を選択すると（例えば、チャプタ１を選択する）、タッチパネルＵＩユニット２は操作位置を示すタッチパネル信号をクライアント１に無線で送信するので、クライアント１はタッチパネル信号と、サーバ３から送信されたリアルタイムメタデータとからユーザが操作したオブジェクト（例えば、チャプタ１のボタン）を判断し、このオブジェクを操作し（例えば、チャプタ１のボタンをオンの状態にする）、オブジェクト操作結果（例えば、チャプタ１のボタンはオンの状態である）をサーバ３に送信する。 When the user views a menu image displayed on the touch panel UI unit 2 and selects a desired item (for example, selects chapter 1), the touch panel UI unit 2 wirelessly transmits a touch panel signal indicating an operation position to the client 1. Therefore, the client 1 determines the object (for example, the button of chapter 1) operated by the user from the touch panel signal and the real-time metadata transmitted from the server 3, and operates this object (for example, the button of chapter 1). The object operation result (for example, the button of chapter 1 is in the on state) is transmitted to the server 3.

サーバ３は、クライアント１から送信されたオブジェクト操作結果に基づいて、自装置の操作制御を行う（チャプタ１のコンテンツを再生する）。 Based on the object operation result transmitted from the client 1, the server 3 controls the operation of its own device (plays back the content of the chapter 1).

このように本実施の形態では、サーバ３はタッチパネルＵＩユニット（タッチパネル信号）を全く理解していないが、クライアント１がタッチパネル信号をオブジェクト操作信号に変換して、サーバ３に送信するので、タッチパネルＵＩユニット２を介した操作をサーバ３は理解することができる。また、クライアント１も、サーバ３の独自機能を理解することができなくても、サーバ３がリアルタイムでメニュー画像及びメタデータを送信しているので、これらの情報とタッチパネル信号から、操作対象のオブジェクトを判断でき、選択されたオブジェクトに対する操作を実行することができる。 As described above, in this embodiment, the server 3 does not understand the touch panel UI unit (touch panel signal) at all, but the client 1 converts the touch panel signal into an object operation signal and transmits it to the server 3. The server 3 can understand the operation through the unit 2. Even if the client 1 cannot understand the unique function of the server 3, the server 3 transmits the menu image and metadata in real time. And the operation on the selected object can be executed.

図６は、図５のデータのやりとりを具体的なメニュー画面（４つの選択ボタンが表示されたメニュー画面）を例に挙げて説明する図である。図６に示すように、サーバ３で作成されたメニュー画面のメタデータ（ボタン１〜４の位置情報、及び操作情報）は、リアルタイムＨＴＭＬとして、クライアント１に送信される。また、サーバ３で作成されたメニュー映像は、リアルタイムビデオとして、クライアント１に送信される。この結果、メニュー映像はＰＤＰパネル１１に表示されるとともに、タッチパネルＵＩユニット２に表示される。なお、タッチパネルＵＩユニット２に表示されるメニュー映像は、画像解像度の調整をした画像（低解像度の画像）であり、また、ズームやスクロール機能を有する画像となっている。これは、タッチパネルＵＩユニット２の画面がＰＤＰパネル１１の画面の大きさに比べて小さいため、小さな画面用に付加的な機能を加えたものである。すなわち、小さな画面においては、ボタン等のオブジェクトの数が多いときは、画像がつぶれて各オブジェクトを識別できない等の欠点があるので、ズーム機能やスクロール機能を備えて、ユーザのタッチパネルＵＩユニット２に対する操作性を向上させるものである。また、タッチパネルＵＩユニット２に表示されるメニューには、接続されている他のＡＶ機器３の選択も可能とするボタン等のオブジェクトも付加されている。 FIG. 6 is a diagram for explaining the data exchange of FIG. 5 by taking a specific menu screen (a menu screen on which four selection buttons are displayed) as an example. As shown in FIG. 6, the metadata (position information and operation information of the buttons 1 to 4) of the menu screen created by the server 3 is transmitted to the client 1 as real-time HTML. The menu video created by the server 3 is transmitted to the client 1 as a real-time video. As a result, the menu image is displayed on the PDP panel 11 and also on the touch panel UI unit 2. Note that the menu video displayed on the touch panel UI unit 2 is an image (low-resolution image) in which the image resolution is adjusted, and also has an image having a zoom and scroll function. This is because the screen of the touch panel UI unit 2 is smaller than the screen of the PDP panel 11 and an additional function is added for a small screen. In other words, on a small screen, when there are a large number of objects such as buttons, there is a disadvantage that the image is crushed and each object cannot be identified. It improves operability. The menu displayed on the touch panel UI unit 2 is also added with an object such as a button that enables selection of another connected AV device 3.

＜実施例＞
次に、上述した特徴を有する操作制御システム１００の一実施例について説明する。 <Example>
Next, an embodiment of the operation control system 100 having the above-described features will be described.

（構成）
図７は、大画面ＴＶユニット１、タッチパネルＵＩユニット２、及びＡＶ機器３としてＤＶＤプレーヤ３ｃ及びスピーカ３ｄを備えた操作制御システム１００Ａの概略構成図、図９は、大画面ＴＶユニット１の機能ブロック図、図１０は、タッチパネルＵＩユニット２の機能ブロック図である。 (Constitution)
FIG. 7 is a schematic configuration diagram of an operation control system 100A provided with a large screen TV unit 1, a touch panel UI unit 2, and a DVD player 3c and a speaker 3d as AV equipment 3, and FIG. 10 and 10 are functional block diagrams of the touch panel UI unit 2.

大画面ＴＶユニット１は、図７及び図８に示すように、ＰＤＰパネル１１とＰＤＰコントローラ１２とから構成されている。ここで、ＰＤＰパネル１１は、適正な視聴位置にいるユーザの手がＰＤＰパネル１１に達しないような画面の大きさを有しており、好ましくは、３ｍ以上の距離を離して視聴する４２インチ以上の画面を有するのがよい。ＰＤＰコントローラ１２のビデオ・オーディオデータデコーダー１２１は、ＤＶＤプレーヤ３ｃから出力されたビデオ・オーディオデータを受け取って、信号処理をして、ＨＤ（Hi Definition）画像を生成し、ＰＤＰ信号発生器１２２を介して、ＨＤ画像をＰＤＰパネル１１に表示出力する。これに対して、ＵＩユニット画像発生器１２３は、ＨＤ画像をＱＶＧＡ（Quarter Video Graphics Array）圧縮画像に変換し、ＱＶＧＡ圧縮画像を無線ＬＡＮアダプター４を介して、タッチパネルＵＩユニット２に送信する。なお、オーディオデータは、スピーカアンプ１２４を介してスピーカ３ｄに出力される。 The large screen TV unit 1 includes a PDP panel 11 and a PDP controller 12, as shown in FIGS. Here, the PDP panel 11 has a screen size such that a user's hand at an appropriate viewing position does not reach the PDP panel 11, and is preferably 42 inches for viewing at a distance of 3 m or more. It is preferable to have the above screen. The video / audio data decoder 121 of the PDP controller 12 receives the video / audio data output from the DVD player 3c, performs signal processing, generates an HD (Hi Definition) image, and passes through the PDP signal generator 122. The HD image is displayed and output on the PDP panel 11. In response to this, the UI unit image generator 123 converts the HD image into a QVGA (Quarter Video Graphics Array) compressed image, and transmits the QVGA compressed image to the touch panel UI unit 2 via the wireless LAN adapter 4. The audio data is output to the speaker 3d through the speaker amplifier 124.

タッチパネルＵＩユニット２は、図９に示すように、７インチ（４８０×２４０ドット）ＬＣＤディスプレイ２１にタッチパネル２２を装着した入出力装置を有する。データプロセッサ２４は、ＰＤＰコントローラ１２から送信されたビデオ・オーディオデータを無線ＬＡＮユニット２３を介して受け取り、ビデオ・オーディオデータのデータ圧縮を解いて、生成した映像データをＬＣＤ信号発生器２５を介して、７インチＬＣＤパネル２１に表示する。なお、データプロセッサ２４により生成された音声データは、ヘッドホンアンプ２６を介してヘッドホンに出力される。また、タッチパネルコントローラ２７は、タッタパネル２６からタッチパネル信号を受け取り、データプロセッサ２４及び無線ＬＡＮユニット２３を介して、タッチパネル信号をＰＤＰコントローラ１２に送信する。 As shown in FIG. 9, the touch panel UI unit 2 includes an input / output device in which a touch panel 22 is attached to a 7-inch (480 × 240 dots) LCD display 21. The data processor 24 receives the video / audio data transmitted from the PDP controller 12 via the wireless LAN unit 23, uncompresses the data compression of the video / audio data, and generates the generated video data via the LCD signal generator 25. Displayed on the 7-inch LCD panel 21. The audio data generated by the data processor 24 is output to the headphones via the headphone amplifier 26. The touch panel controller 27 receives a touch panel signal from the tatter panel 26 and transmits the touch panel signal to the PDP controller 12 via the data processor 24 and the wireless LAN unit 23.

（動作）
図１０は、操作制御システム１００Ａの動作を示すシーケンス図であり、ＤＶＤプレーヤ３ｃにＤＶＤを挿入してからコンテンツを再生するまでの各装置における処理を示している。 (Operation)
FIG. 10 is a sequence diagram showing the operation of the operation control system 100A, and shows processing in each device from when a DVD is inserted into the DVD player 3c until the content is reproduced.

まず、ユーザがＤＶＤプレーヤ３ｃにＤＶＤ（例えば、映画コンテンツが記録されたＤＶＤ）を挿入すると（ステップＳ１０）、ＤＶＤプレーヤ３ｃは、ＤＶＤを読み取って、メニュー画像（リアルタイム映像）及びメニューの内容を示すメタデータ（リアルタイムメタデータ）を作成し、ＰＤＰコントローラ１２に送信する（ステップＳ２０）。 First, when a user inserts a DVD (for example, a DVD on which movie content is recorded) into the DVD player 3c (step S10), the DVD player 3c reads the DVD and shows the menu image (real-time video) and the contents of the menu. Metadata (real-time metadata) is created and transmitted to the PDP controller 12 (step S20).

次いで、ＰＤＰコントローラ１２は、ＤＶＤプレーヤ３ｃから受信したメニュー画像に従って、高解像度のメニュー画面を作成し、ＰＤＰパネル１１に送信し（ステップＳ３０）、また、低解像度のメニュー画面を作成し、タッチパネルＵＩユニット２に送信する（ステップＳ４０）。この結果、ＰＤＰパネル１１及びタッチパネルＵＩユニット２には、メニュー画面が表示される（ステップＳ５０，Ｓ６０）。 Next, the PDP controller 12 creates a high-resolution menu screen in accordance with the menu image received from the DVD player 3c, transmits it to the PDP panel 11 (step S30), creates a low-resolution menu screen, and creates a touch panel UI. It transmits to the unit 2 (step S40). As a result, a menu screen is displayed on the PDP panel 11 and the touch panel UI unit 2 (steps S50 and S60).

次いで、ユーザは大画面ＴＶユニット１からタッチパネルＵＩユニット２に視線を移して、タッチパネルＵＩユニット２に表示されたメニューを見て、メニュー項目のいずれかをタッチパネルに触れることで選択する（ステップＳ７０）。これにより、タッチパネルＵＩユニット２は、タッチパネル信号（触れた位置を示す位置情報）をＰＤＰコントローラ１２に送信する（ステップＳ８０）。 Next, the user moves his / her line of sight from the large screen TV unit 1 to the touch panel UI unit 2, looks at the menu displayed on the touch panel UI unit 2, and selects one of the menu items by touching the touch panel (step S70). . Thereby, the touch panel UI unit 2 transmits a touch panel signal (position information indicating a touched position) to the PDP controller 12 (step S80).

次いで、ＰＤＰコントローラ１２は、ＤＶＤプレーヤ３ｃから受け取ったメタデータとタッチパネルＵＩユニット２から受け取ったタッチパネル信号とを比較して、ユーザが選択したメニュー項目が何であるかを判断し（ステップＳ９０）、判断の結果、ユーザにより選択されたメニュー項目をＤＶＤプレーヤ３ｃに通知する（ステップＳ１００）。 Next, the PDP controller 12 compares the metadata received from the DVD player 3c with the touch panel signal received from the touch panel UI unit 2, and determines what the menu item selected by the user is (step S90). As a result, the menu item selected by the user is notified to the DVD player 3c (step S100).

ＤＶＤプレーヤ３ｃは、ユーザにより選択されたメニュー項目を受け取ると、当該メニュー項目に該当するコンテンツの再生を行う（ステップＳ１１０）。この結果、コテンツ再生が開始されるので、ユーザは視線をタッチパネルＵＩユニット２からＰＤＰパネル１１に移して、ＤＶＤの映像を鑑賞する。 When the DVD player 3c receives the menu item selected by the user, the DVD player 3c reproduces the content corresponding to the menu item (step S110). As a result, content playback is started, and the user moves his / her line of sight from the touch panel UI unit 2 to the PDP panel 11 to view the DVD video.

以上、述べたように本実施の形態の操作制御システム１００によれば、大画面ディスプレイを備えたＡＶシステムにおいて、タッチパネルのような直感的に操作方法を理解させるユーザインターフェースを用いて、接続される装置がどのような種類のＡＶ機器であっても簡単に操作することができる。すなわち、ＰＤＰコントローラ１２とＡＶ機器３との間の操作制御方式としてＷｅｂサーバ・クライアント方式を採用しているので、ＡＶアンプなどビデオ回路（ビデオ出力）を有しないＡＶ機器３であっても、ＰＤＰコントローラ１２はタッチパネルインターフェースを用いて、ＡＶ機器３の操作を制御することができる。また、独自機能を有するＤＶＤプレーヤやＢＤプレーヤなどのビデオ回路（ビデオ出力）を有するＡＶ機器３に対しては、改良されたＷｅｂサーバ・クライアント方式を採用し、ＡＶ機器（サーバ）３は、操作メニューに関するリアルタイム映像及び操作メニューに関するリアルタイムメタデータを作成して、ＰＤＰコントローラ（クライアント）１に送信し、ＰＤＰコントローラ（クライアント）１は、受信したリアルタイムメタデータ及びタッチパネルＵＩユニット２からのタッチパネル信号に基づいて、選択されたオブジェクト及び操作内容を把握し、タッチパネル信号をオブジェクト操作信号に変換して、ＡＶ機器（サーバ）３に送信するので、ＡＶ機器３の操作を制御することができる。 As described above, according to the operation control system 100 of the present embodiment, in an AV system having a large screen display, connection is made using a user interface such as a touch panel that intuitively understands the operation method. It can be easily operated regardless of the type of AV device. That is, since the Web server / client method is adopted as an operation control method between the PDP controller 12 and the AV device 3, even if the AV device 3 does not have a video circuit (video output) such as an AV amplifier, the PDP The controller 12 can control the operation of the AV device 3 using a touch panel interface. Further, an improved Web server / client system is adopted for the AV equipment 3 having a video circuit (video output) such as a DVD player or a BD player having a unique function. Real-time video relating to the menu and real-time metadata relating to the operation menu are created and transmitted to the PDP controller (client) 1. The PDP controller (client) 1 is based on the received real-time metadata and the touch panel signal from the touch panel UI unit 2. Thus, the selected object and the operation content are grasped, and the touch panel signal is converted into the object operation signal and transmitted to the AV device (server) 3. Therefore, the operation of the AV device 3 can be controlled.

以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。 While the embodiments of the present invention have been described above, various modifications and changes can be made to the embodiments of the present invention without departing from the spirit of the present invention.

例えば、過去に使用した機能（過去に選択されたメニュー項目）をクライアント１が履歴データとして記憶しておき、記憶した履歴データを一覧表示する操作履歴メニューを作成し（操作履歴メニューの映像及びメタデータ）、当該操作履歴メニューの中から検索又は選択をするようにして、ＡＶ機器３の操作を行うようにしてもよい。過去に選択した機能を容易にユーザが選択できるようにしたものである。特に、複数の階層に亘ってメニューが構成されているような場合には、複数の階層を遷移することなく、所望のメニュー項目を選択することができる。 For example, the client 1 stores functions used in the past (menu items selected in the past) as history data, and creates an operation history menu for displaying the stored history data as a list (video and meta data of the operation history menu). Data), the AV device 3 may be operated by searching or selecting from the operation history menu. The user can easily select a function selected in the past. In particular, when a menu is configured across a plurality of hierarchies, a desired menu item can be selected without transitioning between the plurality of hierarchies.

また、上記実施の形態の操作制御システム１００においては、ユーザが操作指示を行う入出力装置（操作指示装置という）として、タッチパネルＵＩユニット２を採用したが、操作指示装置はこれに限定されず、他の入出力装置であってもよい。例えば、（１）音声発話装置と音声認識装置、（２）点字ディスプレイとメカニカルボタンを操作指示装置としてもよい。上記実施形態の操作制御システム１００では、ＡＶ機器（サーバ）３がタッチパネル信号を理解していなくても、ＰＤＰコントローラ（クライアント）１２の機能により、ユーザはタッチパネルでＡＶ機器（サーバ）３を操作できた。同様にして、クライアント１が、例えば、（１）音声発話装置と音声認識装置、（２）点字ディスプレイとメカニカルボタンを理解でき、リアルタイムメタデータにこれらのオブジェクトに関するデータが含まれていれば、ユーザは上述した入出力装置を介してサーバ３を操作することができるからである。 In the operation control system 100 of the above embodiment, the touch panel UI unit 2 is adopted as an input / output device (referred to as an operation instruction device) for a user to perform an operation instruction. However, the operation instruction device is not limited to this, Other input / output devices may be used. For example, (1) a voice utterance device and a voice recognition device, and (2) a braille display and a mechanical button may be used as the operation instruction device. In the operation control system 100 of the above embodiment, even if the AV device (server) 3 does not understand the touch panel signal, the function of the PDP controller (client) 12 allows the user to operate the AV device (server) 3 with the touch panel. It was. Similarly, if the client 1 can understand, for example, (1) a voice utterance device and a voice recognition device, (2) a braille display and mechanical buttons, and the real-time metadata includes data on these objects, the user This is because the server 3 can be operated via the input / output device described above.

本発明の実施の形態に係る操作制御システムの概略構成図である。1 is a schematic configuration diagram of an operation control system according to an embodiment of the present invention. Ｗｅｂサーバ・クライアント方式を説明する図である。It is a figure explaining a Web server client system. リモート操作方式を説明する図である。It is a figure explaining a remote operation system. 改良されたＷｅｂサーバ・クライアント方式を説明する図である。It is a figure explaining the Web server client system improved. 本発明の実施の形態に係る操作制御システムの、改良されたＷｅｂサーバ・クライアント方式におけるクライアントとサーバとのデータのやりとりを詳細に示す機能ブロック図である。It is a functional block diagram which shows in detail the exchange of the data of the client and server in the improved Web server client system of the operation control system which concerns on embodiment of this invention. 図５に示すデータのやりとりを具体的なメニュー画面を用いて説明する図である。It is a figure explaining the exchange of data shown in FIG. 5 using a concrete menu screen. 本発明の実施の形態に係る操作制御システムの一例の構成図である。It is a block diagram of an example of the operation control system which concerns on embodiment of this invention. 図７の大画面ＴＶユニットの構成を詳しく示す図である。It is a figure which shows the structure of the large screen TV unit of FIG. 7 in detail. 図７のタッチパネルＵＩユニットの構成を詳しく示す図である。It is a figure which shows the structure of the touchscreen UI unit of FIG. 7 in detail. 図７の操作制御システムの動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the operation control system of FIG.

Explanation of symbols

１大画面ＴＶユニット（クライアント）
２タッチパネルＵＩユニット
３ＡＶ機器
１１ＰＤＰパネル
１２ＰＤＰコントローラ
１００，１００ＡＡＶ機器の操作制御システム 1 Large screen TV unit (client)
2 Touch Panel UI Unit 3 AV Equipment 11 PDP Panel 12 PDP Controller 100, 100A AV Equipment Operation Control System

Claims

An operated device which is an AV device having video output;
A first display device having a first display screen and an operation device connected to the operated device, and causing the first display device to display an image output from the operated device;
A portable device comprising a second display device capable of mutual communication with the operating device and having a second display screen smaller than the first display screen , wherein the first display device the same image and video that is displayed on, received from the operating device, with causes display on the second display device, the second display screen an operation signal for operating instructing the operated device An operation instruction device for inputting in touch panel format via
An operation control system for AV equipment comprising:
The operated device is:
The menu of the video content which the operating device is operated, as well as dynamically create meta-information about the position and operation contents of the operation target of the menu, and transmitted to the operating device,
The operating device is:
Transmitting the received menu image to the first display device and the operation instruction device;
Receiving the operation signal as position information on the second display screen from the operation instruction device;
Based on the meta information received from the operated device, the selected operation target is identified based on the meta information received from the operated device and the operation signal received from the operation instruction device, and based on the meta information received from the operated device. , Grasping the operation content of the selected operation object, and transmitting the identified operation object and the grasped operation content as an operation result to the operated device,
The operated device is:
An operation control system for an AV device, which controls the device according to a received operation result.

The operating device is:
Adjusting the resolution of the received menu image according to the resolution of the second display device ;
2. The operation control system for an AV device according to claim 1, wherein a video of a menu with an adjusted resolution is transmitted to the operation instruction device.

The operating device is:
Store the selected operation target in a predetermined storage unit,
An operation history menu image in which the operation objects stored in the predetermined storage unit are displayed as a list, and meta information on the position and operation content of each operation object in the operation history menu are created, and the created operation history menu image is displayed. Transmitting to the first display device and the operation instruction device;
From the operation instruction device, the operation signal for the operation history menu is received as position information on the second display screen,
The meta information of the operation history menu, and based on the operation instruction signal for the operation history menu received, as well as identifying the selected operation target from among the operation history menu, operation content of the operation target which is selected to understand, identified operation target and claim 1 or 2 AV equipment operation control system according and transmits the to the operated device operation content as an operation result of the grasp.

An operated device as a server device having video output;
An operating device as a client device connected to the first display device having a first display screen and the operated device, and causing the first display device to display an image output by the operated device;
A portable device comprising a second display device capable of mutual communication with the operation device and having a second display screen, the same as an image displayed on the first display device Is received from the operation device and can be displayed on the second display screen, and an operation signal for instructing operation of the operated device is displayed on the touch panel format via the second display screen. An operation instruction device for inputting in
The operated device in an operation control system comprising:
Means for dynamically creating meta-information about the menu of the content operated by the operated device, and the position and operation content of each operation target of the menu, and transmitting to the operating device;
The menu image received from the operated device is transmitted to the first display device and the operation instruction device, and the operation signal is received as position information on the second display screen from the operation instruction device. And the meta information received from the operated device by identifying the selected operation target based on the meta information received from the operated device and the operation signal received from the operation instruction device. From the operation device that grasps the operation content of the selected operation target based on the operation device that transmits the identified operation target and the grasped operation content to the operated device as an operation result,
Means for receiving the operation result and controlling the own device according to the received operation result;
A device to be operated.

An operated device as a server device having video output;
An operating device as a client device connected to the first display device having a first display screen and the operated device, and causing the first display device to display an image output by the operated device;
A portable device comprising a second display device capable of mutual communication with the operation device and having a second display screen, the same as an image displayed on the first display device Is received from the operation device and can be displayed on the second display screen, and an operation signal for instructing operation of the operated device is displayed on the touch panel format via the second display screen. An operation instruction device for inputting in
The operation device in an operation control system comprising:
The video of the menu and the meta information from the operated device that dynamically creates the video of the menu of the content operated by the operated device and the meta information related to the position and operation content of each operation target of the menu. Means for receiving;
The received menu image is transmitted to the first display device, and the resolution of the received menu image is adjusted according to the resolution of the second display device, and the resolution is adjusted. Means for transmitting to the operation instruction device;
Means for receiving the operation signal as position information on the second display screen from the operation instruction device;
Based on the meta information received from the operated device, the selected operation target is identified based on the meta information received from the operated device and the operation signal received from the operation instruction device, and based on the meta information received from the operated device. Means for grasping the operation content of the selected operation object, and transmitting the identified operation object and the grasped operation content as an operation result to the operated device;
With
The operation device receives the operation result from the operation device, and controls the device itself according to the received operation result.

Store the selected operation target in a predetermined storage unit,
An operation history menu image in which the operation objects stored in the predetermined storage unit are displayed as a list, and meta information on the position and operation content of each operation object in the operation history menu are created, and the created operation history menu image is displayed. Transmitting to the first display device and the operation instruction device;
From the operation instruction device, the operation signal for the operation history menu is received as position information on the second display screen,
Based on the meta information of the operation history menu and the received operation instruction signal for the received operation history menu, the operation target selected from the operation history menu is identified, and the operation content of the selected operation target The operation device according to claim 5, wherein the operation target identified and the content of the grasped operation are transmitted as an operation result to the operated device.

An operated device which is an AV device having video output;
A first display device having a first display screen and an operation device connected to the operated device, and causing the first display device to display an image output from the operated device;
A portable operation instruction device comprising a second display device capable of mutual communication with the operation device and having a second display screen smaller than the first display screen, The same video as the video displayed on the display device is received from the operation device and displayed on the second display screen, and an operation signal for instructing the operation of the operated device is displayed on the second display screen. The operation instruction device for inputting in a touch panel format via a display screen;
A device control method in an operation control system of an AV device comprising:
The operated device is:
A video of a menu of content operated by the operated device, and meta information regarding the position and operation content of each operation target of the menu are dynamically created and transmitted to the operating device,
The operating device is:
Transmitting the received menu image to the first display device and the operation instruction device;
Receiving the operation signal as position information on the second display screen from the operation instruction device;
Based on the meta information received from the operated device, the selected operation target is identified based on the meta information received from the operated device and the operation signal received from the operation instruction device, and based on the meta information received from the operated device. , Grasping the operation content of the selected operation object, and transmitting the identified operation object and the grasped operation content as an operation result to the operated device,
The operated device is:
A device control method, comprising: controlling the device according to a received operation result.