JP2004194011A

JP2004194011A - Remote operation control system, remote control device, remote operation method, program, and storage medium

Info

Publication number: JP2004194011A
Application number: JP2002359947A
Authority: JP
Inventors: Yoshikazu Shibamiya; 芳和柴宮; Takashi Yamamoto; 高司山本; Satoru Fukuda; 哲福田; Masaki Kutsuna; 正樹沓名; Katsuhiro Miyamoto; 勝弘宮本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2004-07-08

Abstract

【課題】インターネット端末側に専用のソフトウエアを用意することを不要にし、俊敏なリモート操作を可能にする。
【解決手段】被操作装置１２が、操作要素から成る第１の表示情報を、ネットワークＳ１１を介してリモート制御装置１１に送信する。リモート制御装置が、ネットワークＳ１６を介したリモート制御装置とリモート操作端末１５との間の通信状態を検出する。リモート制御装置は、第１の表示情報及び該通信状態に基づき第２の表示情報を生成しリモート操作端末に送信する。リモート操作端末は、第２の表示情報に基づき画像表示装置に操作要素を表示し、操作要素のうちユーザによって選択された１つを、操作情報としてリモート制御装置へ送信する。リモート制御装置は、操作情報に基づいて操作信号を生成し被操作装置へ送信する。被操作装置は、操作信号に基づき自装置の動作制御を行う。
【選択図】図１An object of the present invention is to eliminate the need for preparing dedicated software on the Internet terminal side, thereby enabling agile remote operation.
An operated device transmits first display information including an operation element to a remote control device via a network. The remote control device detects a communication state between the remote control device and the remote operation terminal 15 via the network S16. The remote control device generates second display information based on the first display information and the communication state, and transmits the second display information to the remote operation terminal. The remote operation terminal displays an operation element on the image display device based on the second display information, and transmits one of the operation elements selected by the user to the remote control device as operation information. The remote control device generates an operation signal based on the operation information and transmits the operation signal to the operated device. The operated device controls the operation of the own device based on the operation signal.
[Selection diagram] Fig. 1

Description

【０００１】
【発明の属する技術分野】
本発明は、リモート操作制御システム、リモート制御装置、リモート操作方法、プログラム、及び記憶媒体に関し、特に、第１のネットワークと、該第１のネットワークとは異なる第２のネットワークと、前記第１ネットワークに接続され、該第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う被操作装置と、前記第１及び第２のネットワークに接続されたリモート制御装置と、前記第２のネットワークに接続され、画像表示装置及び入力装置を備えたリモート操作端末とから成るリモート操作制御システム、該リモート操作制御システムにおけるリモート制御装置、該リモート操作制御システム及びリモート制御装置に適用されるリモート操作方法、該リモート操作方法をコンピュータに実行させるためのプログラム、及び該プログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】
近年、家庭用のオーディオビジュアル（ＡＶ）機器等では、規格ＩＥＥＥ１３９４に基づくネットワーク化が可能になり、該規格及び関連規格に基づいた、機器のリモート操作が可能となっている。
【０００３】
一方、インターネット用プロトコルＩＰ（Internet Protocol）をベースにし、携帯電話やパーソナルコンピュータ（以下「ＰＣ」という）を端末とするインターネット通信は既に広く普及しており、こうしたインターネット端末を利用して、前記家庭用のＡＶ機器等をリモート操作したいという要求が出てくるようになった。
【０００４】
例えば、こうした要求に応える装置が、家庭用のＡＶ機器等にＷＷＷサーバ機能を内蔵することにより、携帯電話やＰＣ等のＷＷＷブラウズ機能を持つ機器からＡＶ機器を制御することができる。ここでは、各ＡＶ機器にＩＰアドレスを割り当てるようにしている（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開平１０−１９１４６３号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の、インターネット端末を利用して、家庭用のＡＶ機器等をリモート操作する装置では、規格ＩＥＥＥ１３９４と、ＩＰベースインターネット環境とでプロトコルが異なるため、規格ＩＥＥＥ１３９４上で実現される良好なリモート制御を、インターネットを通じて実現するには、インターネット端末側に専用のソフトウエアを、リモート制御の都度用意する必要がある。
【０００７】
また、家庭内の各ＡＶ機器間を結ぶＩＥＥＥ１３９４ネットワークと家庭外のインターネットでは、家庭外のインターネットの混雑状況等に起因してデータ転送速度が異なり、俊敏な制御が阻害されることもあり得る。
【０００８】
本発明はこのような問題点に鑑みてなされたものであって、インターネット端末側に専用のソフトウエアを用意する必要がなく、かつ俊敏なリモート操作が可能なリモート操作制御システム、リモート制御装置、リモート操作方法、プログラム、及び記憶媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明によれば、第１のネットワークと、該第１のネットワークとは異なる第２のネットワークと、前記第１ネットワークに接続され、該第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う被操作装置と、前記第１及び第２のネットワークに接続されたリモート制御装置と、前記第２のネットワークに接続され、画像表示装置及び入力装置を備えたリモート操作端末とから成るリモート操作制御システムにおいて、前記被操作装置に設けられ、表示画像情報を含む少なくとも１つの操作要素から構成される第１の表示情報を、前記第１のネットワークを介して前記リモート制御装置に送信する第１の送信手段と、前記リモート制御装置に設けられ、前記第２のネットワークを介した前記リモート制御装置と前記リモート操作端末との間の通信状態を検出する検出手段と、前記リモート制御装置に設けられ、前記被操作装置から送信された前記第１の表示情報及び前記検出手段によって検出された前記通信状態に基づき、第２の表示情報を生成する生成手段と、前記リモート制御装置に設けられ、前記第２の表示情報を前記第２のネットワークを介して前記リモート操作端末に送信する第２の送信手段と、前記リモート操作端末に設けられ、前記リモート制御装置から送信された前記第２の表示情報に基づき、前記画像表示装置に操作要素を表示する表示手段と、前記リモート操作端末に設けられ、前記画像表示装置に表示された操作要素のうち、前記入力装置を用いてユーザによって選択された１つを、操作情報として前記第２のネットワークを介して前記リモート制御装置へ送信する第３の送信手段と、前記リモート制御装置に設けられ、前記リモート操作端末から送信された前記操作情報に基づいて前記操作信号を生成し、前記第１のネットワークを介して前記被操作装置へ送信する第４の送信手段とを有することを特徴とするリモート操作制御システムが提供される。
【００１０】
請求項１１記載の発明によれば、第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う被操作装置と前記第１ネットワークを介して接続されるとともに、前記第１のネットワークとは異なる第２のネットワークを介して、画像表示装置を備えたリモート操作端末と接続されるリモート制御装置において、表示画像情報を含む少なくとも１つの操作要素から構成される第１の表示情報を、前記第１のネットワークを介して前記被操作装置から受信する第１の受信手段と、前記第２のネットワークを介した前記リモート操作端末との間の通信状態を検出する検出手段と、前記被操作装置から受信した前記第１の表示情報及び前記検出手段によって検出された前記通信状態に基づき、第２の表示情報を生成する生成手段と、前記第２の表示情報を前記第２のネットワークを介して前記リモート操作端末に送信する第１の送信手段と、前記リモート操作端末において、前記送信された第２の表示情報に基づき前記画像表示装置に操作要素が表示され、該表示された操作要素のうちユーザによって選択された１つが、操作情報として前記第２のネットワークを介して返信されたとき、該操作情報を受信する第２の受信手段と、前記第２の受信手段によって受信された前記操作情報に基づいて前記操作信号を生成し、前記第１のネットワークを介して前記被操作装置へ送信する第２の送信手段とを有することを特徴とするリモート制御装置が提供される。
【００１１】
また、請求項１６記載の発明によれば、第１のネットワークと、該第１のネットワークとは異なる第２のネットワークと、前記第１ネットワークに接続され、該第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う被操作装置と、前記第１及び第２のネットワークに接続されたリモート制御装置と、前記第２のネットワークに接続され、画像表示装置及び入力装置を備えたリモート操作端末とから成るリモート操作制御システムに適用されるリモート操作方法において、前記被操作装置が、表示画像情報を含む少なくとも１つの操作要素から構成される第１の表示情報を、前記第１のネットワークを介して前記リモート制御装置に送信する第１の送信ステップと、前記リモート制御装置が、前記第２のネットワークを介した前記リモート制御装置と前記リモート操作端末との間の通信状態を検出する検出ステップと、前記リモート制御装置が、前記被操作装置から送信された前記第１の表示情報及び前記検出手段によって検出された前記通信状態に基づき、第２の表示情報を生成する生成ステップと、前記リモート制御装置が、前記第２の表示情報を前記第２のネットワークを介して前記リモート操作端末に送信する第２の送信ステップと、前記リモート操作端末が、前記リモート制御装置から送信された前記第２の表示情報に基づき、前記画像表示装置に操作要素を表示する表示ステップと、前記リモート操作端末が、前記画像表示装置に表示された操作要素のうち、前記入力装置を用いてユーザによって選択された１つを、操作情報として前記第２のネットワークを介して前記リモート制御装置へ送信する第３の送信ステップと、前記リモート制御装置が、前記リモート操作端末から送信された前記操作情報に基づいて前記操作信号を生成し、前記第１のネットワークを介して前記被操作装置へ送信する第４の送信ステップと、前記被操作装置が、前記第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う動作制御ステップとを有することを特徴とするリモート操作方法が提供される。
【００１２】
請求項１７記載の発明によれば、第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う被操作装置と前記第１ネットワークを介して接続されるとともに、前記第１のネットワークとは異なる第２のネットワークを介して、画像表示装置を備えたリモート操作端末と接続されるリモート制御装置に適用されるリモート操作方法において、表示画像情報を含む少なくとも１つの操作要素から構成される第１の表示情報を、前記第１のネットワークを介して前記被操作装置から受信する第１の受信ステップと、前記第２のネットワークを介した前記リモート操作端末との間の通信状態を検出する検出ステップと、前記被操作装置から受信した前記第１の表示情報及び前記検出ステップによって検出された前記通信状態に基づき、第２の表示情報を生成する生成ステップと、前記第２の表示情報を前記第２のネットワークを介して前記リモート操作端末に送信する第１の送信ステップと、前記リモート操作端末において、前記送信された第２の表示情報に基づき前記画像表示装置に操作要素が表示され、該表示された操作要素のうちユーザによって選択された１つが、操作情報として前記第２のネットワークを介して返信されたとき、該操作情報を受信する第２の受信ステップと、前記第２の受信ステップによって受信された前記操作情報に基づいて前記操作信号を生成し、前記第１のネットワークを介して前記被操作装置へ送信する第２の送信ステップとを有することを特徴とするリモート操作方法が提供される。
【００１３】
さらに、上記リモート操作方法をコンピュータに実行させるためのプログラム、及び上記リモート操作方法をプログラムとして記憶した、コンピュータにより読み出し可能な記憶媒体が提供される。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１５】
図１は、本発明に係るリモート操作制御システムの一実施の形態の全体構成を示すブロック図である。
【００１６】
図中１１は、ＴＶ装置であって、ＴＶ放送の受信、ＴＶ装置操作用のリモートコントローラからの受信、家庭内外の各ネットワークにそれぞれ接続された各装置とのデータの送受信、データのプロトコル変換、自装置の制御等を行う。また、こうした各送受信を通して得たＴＶ画像データ、その他の画像データ、各種アイコンデータ、制御情報等の表示を行う。
【００１７】
１２は、ビデオ記録装置（ＶＴＲ装置）であって、ＴＶ装置１１に接続されて、映像／音声等を記録・再生する。
【００１８】
Ｓ１１は、規格ＩＥＥＥ１３９４に基づく家庭内ネットワーク（以下「１３９４ネットワーク」と略記）であって、ＴＶ装置１１とＶＴＲ装置１２とを接続する。
【００１９】
１４は、ＴＶ装置１１と後述のインターネット網Ｓ１６とを接続する接続サービス部である。
【００２０】
Ｓ１５は、電話回線ネットワークであって、ＴＶ装置１１をインターネットサービス部１４に接続するために使用される。
【００２１】
１５は、インターネット接続可能な携帯端末であって、電話機としての通話機能、ＷＥＢサイトの閲覧機能を持つ他に、ＴＶ装置１１やＶＴＲ装置１２の操作制御機能を持つ。
【００２２】
１６は、携帯端末１５をインターネット網Ｓ１６に接続するための接続サービス部である。
【００２３】
Ｓ１６は、インターネット網であり、ＴＣＰ／ＩＰベースで各種データの送受信に使用される。
【００２４】
Ｓ１７は、携帯端末１５と接続サービス部１６を接続する無線ネットワークである。
【００２５】
なお、図１においては、１３９４ネットワークＳ１１にＴＶ装置１１とＶＴＲ装置１２とだけが接続されているが、該１３９４ネットワークＳ１１に各種ＡＶ機器、家電機器、パソコン装置等が接続され得る。
【００２６】
図２は、ＴＶ装置１１の内部構成を示すブロック図である。
【００２７】
図中１１０１は、アンテナ装置であって、外部よりＴＶ電波を受信し、高周波電気信号に変換し、チューナ部１１０２へ送る。
【００２８】
チューナ部１１０２は、アンテナ部１１０１より送られた高周波電気信号を増幅し、希望局を選局し、搬送波により変調されている高周波ＴＶ信号を復調し、デコーダ部１１０３へ出力する。
【００２９】
デコーダ部１１０３は、チューナ部１１０２より送られた信号を、画像データ、音声データ、他のデータ放送データ、電子番組ガイドデータ等の付加データに分離し、デコードを行う。画像データは画像制御部１１２１へ、音声データは音声制御部１１２３へ、その他のデータはバスＳ１１１へ出力する。
【００３０】
画像制御部１１２１は、デコーダ部１１０３よりの画像データ、ＶＴＲデコーダ部１１３１から送られる画像データ、バスＳ１１１から送られる画像データの１つを選択し、またはそれらを合成して、ＲＧＢ画像データ及び水平垂直同期信号として、表示器１１２２へ出力する。
【００３１】
表示器１１２２は、画像制御部１１２１よりＲＧＢ画像データ及び水平垂直同期信号を受け取り、画像表示を行う。
【００３２】
音声制御部１１２３は、デコーダ部１１０３からの音声データ、ＶＴＲデコーダ部１１３１から送られる音声データ、バスＳ１１１から送られる音声データの１つを選択し、またはそれらを合成し、さらに、音量、音質、臨場感などを制御して、音声出力部１１２４へ音声信号として出力する。
【００３３】
音声出力部１１２４は、音声制御部１１２３より送られた音声信号を増幅し、スピーカ（図示せず）より音声として出力する。
【００３４】
１１３０は、１３９４インターフェイス（ｉ／Ｆ）部であって、１３９４ネットワークＳ１１とＴＶ装置１１とのインターフェイスを行う。１３９４ネットワークＳ１１にＶＴＲ装置１２、各種ＡＶ機器、家電機器、パソコン装置等が接続される場合には、ＴＶ装置１１とそれらの機器との間で、データの送受信が行われ、機器の制御が行われ得る。
【００３５】
ＴＶ装置１１に１３９４ネットワークＳ１１を介してＶＴＲ装置１２を接続する場合、１３９４ｉ／Ｆ部１１３０は、画像データ及び音声データと、それ以外の制御データ等との分離を行い、画像データ及び音声データはデータバスＳ１１２へ出力し、それ以外のＶＴＲ装置１２の制御データ、トラック番号や撮影開始日時といった情報データ、ＶＴＲ視聴者が再生、早送り等のＶＴＲ操作を行うための操作データ等を、制御バスＳ１１１に出力する。
【００３６】
１３９４ｉ／Ｆ部１１３０は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）で規定された規格ＩＥＥＥ１３９４、その上位規格であるＩＥＣ（International Electrotechnical Commission）、１３９４ＴＡ（1394 Trade Association）で規定された規格ＩＥＣ６１８８３、Asynchronous Connection 規格、Turner、 VCR、 Panel等の subunit 規格などに基づき制御を行う。
【００３７】
１１４０はリモコン制御部であって、ＴＶ視聴者がリモートコントローラを操作した際に送信される各種データを受信し、該データを制御部１１９０へ転送する。なお、ＶＴＲ装置１２の操作パネルの操作画面をＴＶ装置１１に表示して該操作パネルを操作する場合も上記リモートコントローラが操作される。
【００３８】
１１５０は、書き換え可能で電源を切っても消滅しないタイプのメモリ部であって、このメモリ部１１５０には、１３９４ｉ／Ｆ部１１３０を通して入力されるＶＴＲ装置１２の操作パネルデータ、インターネット接続サービスに関わる使用料金等のネットワーク接続データ、モデム部１１８０より入力されるネットワーク調査データ、携帯端末調査データ、該携帯端末調査データに基づき生成される後述の端末表示操作パネル選択テーブルデータ、前記各種情報と後述の操作パネル要素部品より生成される操作端末表示用操作パネルデータ等が格納される。さらに、リモートコントローラ等から送られたＴＶ装置１１の動作に必要な各種データ、デコーダ部１１０３より出力されるＥＰＧデータ、各種のＴＶ放送付加データ等も格納される。
【００３９】
１１６０は、データＲＯＭ部であって、ＴＶ装置１１に接続され得るＶＴＲ装置１２を始めとする各種機器の操作機能コードに対応する操作パネルの要素部品（図８を参照して後述）を格納する。また、ＴＶ装置１１の動作に必要なＴＶチャネル情報、表示用フォント、アイコン、操作パネル、メッセージ、リモートコントローラ等のキーコード、各種テーブル等を格納する。
【００４０】
１１７０は、ＨＴＭＬ保存部であって、ＶＴＲ装置１２より転送された操作パネルデータ、あるいは、データＲＯＭ部１１６０内に格納された操作パネルデータを基に端末表示操作パネル選択テーブル（図１５を参照して後述）に基づき生成される操作端末表示用操作パネルデータをインターネットブラウザから閲覧、操作できるようにＨＴＭＬデータに変換したデータを保存するＨＴＭＬサーバである。
【００４１】
モデム部１１８０は、電話回線Ｓ１５を介してＴＶ装置１１と接続サービス部１４とがデータ交換するための変調／復調を行う。また、ＴＶ受信において有料放送の視聴の課金のための管理サーバへ視聴情報の送信等にもモデム部１１８０は使用される。
【００４２】
１１８５は、時計部であって、現在の年月時刻を提示可能であり、料金時間帯の検出、データ転送速度測定等に利用される。
【００４３】
制御部１１９０は、バスＳ１１１に接続されており、ＴＶ装置１１内各部を統括的に制御する。すなわち、アンテナ部１１０１、チューナ部１１０２、デコーダ部１１０３の制御を行い、チャネル切り替え設定や、データ放送データ、電子番組ガイドデータ等の保存を行う。
【００４４】
また、制御部１１９０は、画像制御部１１２１を制御し、デコーダ部１１０３から送られる放送ＴＶ画像データ、データ放送データ、電子番組データ、ＶＴＲデコーダ部１１３１から送られるＶＴＲ画像データ、バスＳ１１１から送られるＶＴＲ装置１２等のデバイスアイコン、操作パネル等の各種画像データについて、それらのうち１つの選択や、それらの合成等の表示設定制御を行う。
【００４５】
同様に、制御部１１９０は、音声制御部１１２３を制御し、各部より送られる音声データの合成、出力制御を行う。
【００４６】
こうした表示設定制御や合成出力制御は、ＴＶ装置１１の内部状況、放送データ情報、ＴＶ装置１１に接続された各種装置よりの情報、ＴＶ視聴者のリモートコントローラ操作により入力される操作データ情報などに基づき行われる。
【００４７】
また制御部１１９０は、リモコン制御部１１４０が受信したデータに応じて、あるいはＴＶ装置１１内部の状況の変化、放送受信データ、１３９４ｉ／Ｆ部１１３０よりのデータ、モデム部１１８０よりのデータに応じて、リモコン制御部１１４０より、ＶＴＲ装置１２のリモートコントローラ装置へ、制御データ及び表示データを送信させる。
【００４８】
操作パネル制御においては、制御部１１９０が、モデム部１１８０を介して、各接続サービス部１４，１６、各ネットワークＳ１５、Ｓ１６、Ｓ１７の混雑状況の調査、携帯端末１５の表示解像度、表示可能色数といった性能調査、こうした混雑状況と携帯端末１５に応じた操作パネルの選択、選択したＩＥＥＥ１３９４ベースの操作パネルデータのＨＴＭＬデータへの変換、ＨＴＭＬ保存部１１７０への格納、携帯端末１５へのＨＴＭＬ操作パネルデータの送信、携帯端末１５からの操作パネル制御データ（後述、ユーザアクション）の受信、この受信データのＩＥＥＥ１３９４ベース操作パネルへの再変換、ＶＴＲ装置１２への送信等を行う。
【００４９】
またＶＴＲ視聴においては、制御部１１９０が、１３９４ｉ／Ｆ部１１３０を制御し、装置接続有無の検出、ＶＴＲ装置１２の操作パネルデータの送受信等を行い、ＶＴＲ装置１２の視聴、制御を可能にする。
【００５０】
この他、後述する本実施の形態におけるＨＴＭＬデータ変換や、操作パネルの表示動作の制御は、すべて制御部１１９０により行われる。
【００５１】
なお、これらの制御動作に必要なワークエリアも制御部１１９０に存在する。
【００５２】
Ｓ１１１は、ＴＶ装置１１内の制御バスであって、前述したように、画像データ及び音声データの転送や、操作パネルデータ及び各部情報の転送に使用される。
【００５３】
図３は、ＶＴＲ装置１２の内部構成を示すブロック図である。
【００５４】
ＶＴＲ装置１２は、規格ＩＥＣ６１８８４で規定される仕様を基本としている。
【００５５】
本実施の形態におけるＶＴＲ装置１２のＴＶ装置１１との接続インターフェイスには、ＩＥＣ６１８８３、１３９４ＴＡのAsynchronous Connection、ＶＣＲsubunit、Panel subunit で規定されているものを中心に使用している。
【００５６】
１２０１は、ＶＣＲ部（レコーダ部）であって、ビデオテープの走行系機構部、該機構部の制御部、ビデオ信号の記録、再生、変復調部、付加情報の記録、再生部などからなる。後述の制御部１２０９により動作制御、付加情報データの転送などが行われ、ＶＣＲ部１２０１で記録、再生が行われる。
【００５７】
上記の付加情報データは、属性情報やメタデータとも呼ばれ、テープの記録位置を表すトラックナンバー、記録開始インデックスＩＤ、記録年月日時、録画モード、著作権情報等から成る。
【００５８】
１２０４は、データＲＯＭ部であって、リモート制御のためにＴＶ装置１１に表示する表示データ（操作パネル）、デバイスアイコンなどのデータを格納する。
【００５９】
１２０５は、１３９４ｉ／Ｆ部であり、前述した１３９４ｉ／Ｆ部１１３０と同様のものである。１３９４ｉ／Ｆ部１２０５は、制御バスＳ１２１及びデータバスＳ１２２からのデータを１３９４ネットワークＳ１１へ送転送し、ＶＴＲ装置１２内のデータの送受信を制御、管理する。
【００６０】
制御部１２０９は、制御バスＳ１２１より受け取った操作パネル、デバイスアイコン、制御コマンド等の制御に必要な各種データ、及びデータバスＳ１２２より受け取った映像／音声データを、１３９４ｉ／Ｆ部１２０５を介してＴＶ装置１１へ送信する。
【００６１】
また制御部１２０９は、ＴＶ装置１１の１３９４ｉ／Ｆ部１１３０より送信される操作パネルに対する後述のユーザアクションや、各種コマンドを受信し、これに基づき、ＶＣＲ部１２０１の動作制御や、操作パネルデータの送信を行う。
【００６２】
Ｓ１２１は、ＶＴＲ装置１２の制御バスであって、該バスを通して、前記各種データの転送や、ＶＣＲ部１２０１の制御が行われる。
【００６３】
Ｓ１２２は、ＶＣＲ部１２０１において記録、再生される画像／音声データ、及び付加情報データを、１３９４ｉ／Ｆ部１２０５へ転送するためのデータバスである。
【００６４】
図４は、ＴＶ装置１１、ＶＴＲ装置１２等のリモート操作にも使用される、電話機能を備えた携帯端末１５の内部構成を示すブロック図であり、図５は携帯端末１５の前面を示す外観図である。
【００６５】
図中１５０１はキー入力部であり、電話として使用するときのダイヤリング、文字の入力、携帯端末１５の制御等に使用される。
【００６６】
キー入力部１５０１中、１５０１ａは、左右上下位置にあるカーソルキーと中心位置の決定／実行キーとから成るキー部分である。１５０１ｂは、インターネット接続メニューキーであって、インターネット機能の一覧メニューを表示させるために使用される。
【００６７】
後述する操作パネルの操作は主にキー部分１５０１ａと、インターネット接続メニューキー１５０１ｂとによって行われる。
【００６８】
１５０２は音声入出力部であって、通話の際の音声の入出力、インターネット閲覧時や操作パネル操作時における確認音、警告音の出力等に使用される。
【００６９】
１５０３は表示部であって、横２５０ドット、縦３２０ドット、２５６色表示可能な表示装置であり、電話番号、メニュー等の表示、メールの表示、インターネット閲覧時のサイト表示、そして操作パネルの表示に使用される。
【００７０】
図６は、ＴＶ装置１１の操作に使用されるリモートコントローラの前面を示す外観図である。
【００７１】
リモートコントローラは、メニューキー６１、カーソルキー６２、実行取消キー６３、数字キー６４等を有し、ＴＶ装置１１及び各種操作パネルの操作を行うが、本実施の形態に直接関係するものではない。
【００７２】
次に、本発明に係る操作パネルの構成、制御コマンド、および操作パネルの転送手順について説明する。なおこれらはいずれも、前述のＩＥＥＥ１３９４、ＩＥＣ６１８８３、１３９４ＴＡの規格に準拠する。
【００７３】
まず、本発明に係る操作パネルの構成について説明する。
【００７４】
図７は、ＶＴＲ装置１２の備える操作パネルの表示画面を示す図である。
【００７５】
該操作パネルは、ボタン１１２、アイコン１１３、テキスト１１４、背景１１５等の各要素からなっており、これらでパネル要素（操作パネル全体）１１１を構成している。なお、本実施の形態における操作パネルは、２５６色使用で、横４００ドット、縦２５０ドットのサイズをもつ。
【００７６】
図８は、上記の操作パネルのデータ構造を示す図である。
【００７７】
すべての要素は、固有のＩＤを有する。
【００７８】
パネル要素は、操作パネルのタイトルとなる文字列データであるラベルと、表示画面上の操作パネルの位置及びサイズを表すデータとを有する。また、操作パネルの背景の色指定データ、背景に表示するビットマップデータ、表示する文字列に対するフォントの選択指定データをオプションとして保持する。また、画像及び音声のデータをストリームで転送するIsochronous 転送チャネルデータをオプションとして保持する。このオプションが指定された場合には、転送されるストリームからデコードされるオーディオビデオデータをパネル要素に表示することができる。
【００７９】
ボタン要素は、ユーザがボタンを押すまたは離すといったユーザアクション操作をしたときに、それらの操作を表示するためのデータであり、押されたときに表示するビットマップデータと、離されたときに表示するビットマップデータとを有する。
【００８０】
ビットマップの大きさはサイズデータで示され、表示位置は位置データで示される。位置データは、この要素が属するパネル要素内での相対位置を画素単位で指定したものである。なお、ボタン要素のタイトル（または機能的な説明）となるラベルへのリンクを保持し、表示する文字列に対するフォントの選択肢をオプションとして保持することができる。また本実施の形態では、ボタン要素は、再生、停止、録画といった機能コードが割り当てられており、該コードにより、ＴＶ装置１１において、該ボタン操作時の機能がわかる。該機能コードは機器の特殊な操作をする場合、存在しない場合もある。
【００８１】
アイコン要素は、ビットマップデータで表示され、ユーザが選択することのできる要素である。ビットマップデータ、ラベル、位置及びサイズのデータ、ラベルとなるテキストデータを保持し、フォントの選択肢をオプションとして保持することができる。複数のアイコンを連続的に表示することで、疑似アニメーション効果を出すことも可能である。
【００８２】
テキスト要素は、タイトルや説明を文字列で表示する要素であり、位置及びサイズのデータ、ラベルとなるテキストデータを保持する。また、背景色の指定とフォントの選択肢をオプションとして保持することができる。
【００８３】
次に、上記で説明した操作パネルに対するユーザアクション（ボタンの押下、解放など）により、操作機器（例えばＴＶ装置１１）と被操作機器（例えばＶＴＲ装置１２）との間で転送されるコマンドについて説明する。
【００８４】
ＧＵｉ_Ｕｐｄａｔｅ（ｏｐｅｎ）コマンドは、操作パネルを使用した制御を行う際、操作機器から被操作機器に対して、最初に発行されるコマンドであり、このコマンドの発行により、操作機器は被操作機器より、デバイスアイコン等の機器情報を得ると共に、操作機器と被操作機器との間に非同期接続（Asynchronous Connection）が確立される。
【００８５】
ＧＵｉ_Ｕｐｄａｔｅ（ｓｔａｒｔ）コマンドは、被操作機器の操作パネルにおける表示データに変化があった場合に新しい操作パネルデータを転送することにより操作機器にその変化を通知するように被操作機器に指示するコマンドであり、このコマンドを受け取った被操作機器は、ＧＵｉ_Ｕｐｄａｔｅ（ｓｔｏｐ）コマンドを受け取るまでこの指示に従う。
【００８６】
Ｐｕｓｈ_Ｇｕｉコマンドは、操作機器が被操作機器に直接、操作パネルデータの転送を要求するコマンドである。このコマンドを受信した被操作機器は、データＲＯＭ部１２０３から操作パネルデータを操作機器（ＴＶ装置１１）へ転送する。
【００８７】
Ｕｓｅｒ_ａｃｔｉｏｎコマンドは、操作機器に送信された操作パネルに対し、ユーザがリモートコントローラを使用して操作（ユーザアクション）を行った際、操作機器から被操作機器に対して発行されるコマンドである。該ｕｓｅｒ_ａｃｔｉｏｎコマンドでは、ボタン（要素）ＩＤと、ユーザアクションの内容とがａｃｔｉｏｎ_ｃｏｄｅとして一緒に送信される。
【００８８】
ユーザアクションとしては、キーの押下及び開放があり、キーが押された時（所定項目の選択後、実行キーが押された時）には押下のユーザアクションが、またそのキーが開放された時には開放のユーザアクションが、ａｃｔｉｏｎ_ｃｏｄｅと共に送信される。
【００８９】
被操作機器は、あらかじめ定められたユーザアクションに対応する制御を行う。
【００９０】
なお、被操作機器は、操作機器からユーザアクションの送信が無い場合でも、操作パネルが変化した場合は、操作パネルデータを操作機器に転送する。
【００９１】
ＧＵｉ_Ｕｐｄａｔｅ（ｓｔｏｐ）コマンドは、被操作機器に対する制御を終了させたい場合に操作機器が発行するコマンドである。
【００９２】
図９は、ＴＶ装置１１が独自に有する操作パネルの要素のうち、ＶＴＲ操作関連のものを示す図である。
【００９３】
この操作パネルの各要素は機能コードに対応しており、表示画面に応じて、テキスト表示、白黒（２値）表示、１６色表示の３種類が用意されている。また、該要素は、図１５を参照して後述する端末表示操作パネル選択テーブルにおける端末表示解像度の３種類のランクに応じて、テキスト表示、白黒（２値）表示、１６色表示とも各３種類ずつ用意されている。
【００９４】
ＶＴＲ装置１２より転送された操作パネルをＴＶ装置１１で表示する場合、ＴＶ装置１１が独自に有する操作パネルの要素のうち、ＶＴＲ装置１２の操作パネルの各要素の機能コードに対応する要素が代替えとして表示される。なお、こうした代替え表示は、後述するように、操作パネルを外部のインターネット端末（携帯端末１５等）に表示する際も、回線や端末の状況に応じて、図１５の端末表示操作パネル選択テーブルによって選択される方法によって行われる。
【００９５】
図１０は、携帯端末１５（操作端末）のインターネット接続メニュー画面を示す図である。この画面は、携帯端末１５のインターネット接続メニューキー１５０１ｂを操作することによって携帯端末１５に表示される。
【００９６】
このインターネット接続メニュー画面内の「５家庭内操作」を選択実行すると、携帯端末１５がインターネット網Ｓ１６を介して、本実施の形態では、予め設定された家庭内ネットワークのＴＶ装置１１に接続される。こうした選択実行は、携帯端末１５のキー入力部１５０１のキー部分１５０１ａを操作することによって行われる。
【００９７】
図１１は、携帯端末１５がＴＶ装置１１にインターネットを介して接続された直後に携帯端末１５に表示される機器操作サイトの画面を示す図である。
【００９８】
ここでは、家庭内ネットワークに接続されたＴＶ装置１１やＶＴＲ装置１２が操作対象として一覧表示される。携帯端末１５のユーザは、この一覧表示の中から操作したい機器を選択できる。
【００９９】
図１２は、図１１に示す画面において「ＶＴＲ１」（ＶＴＲ装置１２に相当）が選択された場合に表示される画面を示す図であり、この画面はテキスト表示が指定されている場合の画面である。（Ａ）は、操作項目「録画」が選択された画面であり、（Ｂ）は、選択された操作項目に従ってＶＴＲ装置１２が動作しているときの画面である。
【０１００】
図１３は、図１１に示す画面において「ＶＴＲ１」（ＶＴＲ装置１２に相当）が選択された場合に表示される画面を示す図であり、この画面は、１６色表示が指定され、選択された操作項目に従ってＶＴＲ装置１２が動作しているときの画面である。
【０１０１】
図１４は、本実施の形態における携帯端末１５で使用しているものより大きく、フルカラー表示可能な表示画面を備えるインターネット端末に、ＶＴＲ装置１２より転送された操作パネルをそのまま表示した場合の画面を示す図である。
【０１０２】
操作端末側を、このような表示画面を有する装置で構成するようにしてもよい。
【０１０３】
図１５は、端末表示操作パネル選択テーブルを示す図である。
【０１０４】
この端末表示操作パネル選択テーブルは、操作端末で表示可能な複数の操作パネルの中から、ネットワークの使用料金時間帯、ネットワーク速度、操作端末の表示性能（解像度、色数）に応じて、表示に適した操作パネルを選択するために使用される。
【０１０５】
該テーブルの中の表示可能な操作パネルは、操作端末の操作パネルサイズと、操作端末の表示性能に応じて決まる。図１５に示すテーブルは、操作端末（携帯端末１５）の操作パネルサイズが横２５０ドット、縦３２０ドットであって、表示性能が２５６色表示であり、ＶＴＲ装置１２の操作パネルサイズが横４００ドット、縦２５０ドットである場合における端末表示操作パネル選択テーブルになっている。図９を参照して前述したように、ＴＶ装置１１の有しているパネルデータは、操作端末の解像度ランクに対応できるように、３種類用意されている。
【０１０６】
図１６は、操作端末（携帯端末１５）からＶＴＲ装置１２に対するリモート操作制御時における、操作端末とＴＶ装置１１とＶＴＲ装置１２との間での各種制御信号の送受信を示すシーケンス図である。
【０１０７】
まず、携帯端末１５の操作者による操作に先立ち、ＴＶ装置１１が、１３９４ネットワークＳ１１に接続が確認されている機器に対して、Ｇｕｉ_Ｕｐｄａｔｅ（ｏｐｅｎ）コマンドを発行し、操作パネルで操作できる機器の調査を行い、操作できる機器のリストを生成する（ｓｔ３１０１、ｓｔ３１０２）。
【０１０８】
操作者が携帯端末１５を操作し、図１０に示すインターネットメニュー画面から「５家庭内操作」を選択し、実行する（ｓｔ３１８１）。
【０１０９】
携帯端末１５は、公衆回線網を介してＴＶ装置１１へ接続し、機器操作ＨＴＭＬサーバの公開を要求するとともに、携帯端末１５の機種名、表示性能（解像度、表示色数）をＴＶ装置１１へ通知する（ｓｔ３１８２）。
【０１１０】
その後、携帯端末１５は、すぐにこの接続回線を切断し、今度は、インターネットの接続サービス部１６へ接続し、ＴＶ装置１１の操作機器一覧ページを入手し表示する（ｓｔ３１８３）。
【０１１１】
ＴＶ装置１１は、携帯端末１５より機器操作ＨＴＭＬサーバの公開要求を受信すると、予め生成した操作可能機器リストを、この公開要求を送ってきた携帯端末１５の解像度に合わせ、各機器の選択がリンクとなるようＨＴＭＬデータに変換し、ＨＴＭＬ保存部１１７０内の操作機器一覧ページに保存する。同時に、インターネットの接続サービス部１４に接続し、前記ＨＴＭＬデータに変換された操作可能機器リストを操作機器一覧として公開する（ｓｔ３１５２、ｓｔ３１８３）。携帯端末１５は、操作機器一覧ページを検出できると、これを表示する（ｓｔ３１８３、図１１）。
【０１１２】
次に、ＴＶ装置１１は、携帯端末１５に転送速度調査パケットを転送し、応答を待つ。これを受信した携帯端末１５は、直ちにこれをＴＶ装置１１に返送し、これを受信したＴＶ装置１１は、該パケットの応答時間より、ＴＶ装置１１と携帯端末１５との間のネットワークの平均伝送速度を推定する。この際、時計部１１８５より現在時刻を検出しておく（ｓｔ３１８４）。
【０１１３】
携帯端末１５の操作者が、操作機器一覧ページの中からＶＴＲ装置１２を選択すると（ｓｔ３１８５）、これを検出したＴＶ装置１１は、ＶＴＲ装置１２にＧｕｉ_Ｕｐｄａｔｅ（ｏｐｅｎ）コマンドを発行し、操作パネル受信の初期化を行い、さらにＶＴＲ装置１２との間で非同期接続（Asynchronous Connection）を確立する（ｓｔ３１０５、ｓｔ３１０６）。
【０１１４】
次にＴＶ装置１１は、Ｇｕｉ_Ｕｐｄａｔｅ（ｓｔａｒｔ）コマンド、Ｐｕｓｈ_Ｇｕｉ_ＤａｔａコマンドをＶＴＲ装置１２に発行して、ＶＴＲ装置１２に操作パネルデータを要求する（ｓｔ３１０７、ｓｔ３１０８）。これを受信したＶＴＲ装置１２は、初期の操作パネルデータをＴＶ装置１１に送信する（ｓｔ３１０９）。
【０１１５】
ＴＶ装置１１は、ＶＴＲ装置１２より受信した操作パネルデータを基に、上記推定された平均伝送速度と、上記検出した時刻、上記受信した携帯端末１５の性能等から、現在、携帯端末１５が表示するのに最適な操作パネルデータを、図１５に示す端末表示操作パネル選択テーブルより選択し、携帯端末１５用の操作パネルデータを生成する。
【０１１６】
例えば、携帯端末１５は、横２５０ドット、縦３２０ドット、２５６色表示可能な表示部１５０３を有するので、検出した時刻が高料金時間帯に含まれ、ネットワーク速度（推定平均伝送速度）が遅い場合、上記選択テーブルより、図１２に示すようなテキスト表示の操作パネルが選択される。また、検出した時刻が高料金時間帯に含まれ、ネットワーク速度が早い場合、上記選択テーブルより、図１３に示すような１６色表示の操作パネルが選択される。
【０１１７】
ＶＴＲ装置１２の持つ操作パネルデータを使用する時以外は、操作パネルデータの生成が必要になるが、この際、ＶＴＲ装置１２のパネル要素の要素ＩＤ及び機能コードと、新しく生成される操作パネルのパネル要素の要素ＩＤ及び機能コードとが同じになるようにして生成が行われる。
【０１１８】
そしてＴＶ装置１１は、上記のように選択され生成された操作パネルデータをＨＴＭＬデータに変換し、ＨＴＭＬ保存部１１７０内の操作パネルページに保存する（ｓｔ３１５９）。
【０１１９】
操作パネルページに操作パネルデータが保存されると、携帯端末１５は、この操作パネルデータをＨＴＭＬ保存部１１７０から読み出して表示部１５０３に表示する（ｓｔ３１８９）。
【０１２０】
携帯端末１５の操作者は、キー入力部１５０１のカーソルキーで、操作したいボタンを選択し、決定／実行キーを押下して、ＶＴＲ装置１２を操作する。
【０１２１】
決定／実行キーが押下されると、ここでの操作情報がＴＶ装置１１で検出され（ｓｔ３１９０）、ＴＶ装置１１は、これを選択ボタンのボタン押下のユーザアクションとして、Ｕｓｅｒ_Ａｃｔｉｏｎコマンドに変換し（ｓｔ３１６０）、１３９４ネットワークＳ１１を介してＶＴＲ装置１２に転送する（ｓｔ３１１０）。
【０１２２】
これを受信したＶＴＲ装置１２は、ボタン押下に対応する装置動作を行う。
【０１２３】
また、対応した新たな操作パネルデータを、ＴＶ装置１１へ送信する（ｓｔ３１１１）。ＴＶ装置１１は、新たな操作パネルデータを受信したならば、前述と同様の手順によって、携帯端末１５用の操作パネルデータを生成してＨＴＭＬデータに変換し、ＨＴＭＬ保存部１７０へ保存する（ｓｔ３１６１）。これが、携帯端末１５で受信され、携帯端末１５で新たな操作パネルとして表示される（ｓｔ３１９１）。
【０１２４】
また、ＴＶ装置１１からＶＴＲ装置１２に対して、Ｕｓｅｒ_Ａｃｔｉｏｎコマンドの送信がない場合も、ＶＴＲ装置１２が新たな操作パネルデータをＴＶ装置１１へ送信した際、前述と同様の手順で、新たな操作パネルが携帯端末１５に表示される（ｓｔ３１１２、ｓｔ３１６２、ｓｔ３１９２）。
【０１２５】
操作者が携帯端末１５上で、操作を終了するボタンを選択し、決定／実行キーを押下すると、これを検出したＴＶ装置１１は、これをＧｕｉ_Ｕｐｄａｔｅ（ｓｔｏｐ）コマンドに変換し、ＶＴＲ装置１２へ発行する（ｓｔ３１９３、ｓｔ３１６３、ｓｔ３１１３）。
【０１２６】
Ｇｕｉ_Ｕｐｄａｔｅ（ｓｔｏｐ）コマンドを受信したＶＴＲ装置１２とＴＶ装置１１との間では、確立している非同期接続（Asynchronous Connection）を切断する処理を行い（ｓｔ３１１４）、ＴＶ装置１１がＶＴＲ装置１２に再度Ｇｕｉ_Ｕｐｄａｔｅ（ｓｔｏｐ）コマンドを発行し、ＶＴＲ装置１２との間の操作パネルによるリモート制御処理を終了する（ｓｔ３１１５）。
【０１２７】
さらにＴＶ装置１１は、インターネット接続の切断処理を行って、すべての処理を終了する（ｓｔ３１９９）。
【０１２８】
以上のようにして、本実施の形態では、ＩＰベースインターネット環境下の操作端末によって、規格ＩＥＥＥ１３９４環境下の被操作端末をリモート操作する際に、操作端末に専用のソフトウエアを用意する必要がなく、かつ、ネットワーク混雑状況等に応じて最適な操作パネル表示を行うので、高速なリモート操作が可能となる。
【０１２９】
［他の実施の形態］
上記の実施の形態では、ＨＴＭＬ保存部１１７０を、制御部１１９０と共にＴＶ装置１１内に具備するようにしたが、これに代わって、制御部１１９０とＨＴＭＬ保存部１１７０をＴＶ装置１１から独立した単独機器として具備するようにしてもよい。
【０１３０】
また上記の実施の形態では、操作端末を携帯端末１５としたが、操作端末は携帯端末１５に限られるものではなく、例えば携帯ノート型やデスクトップ型のパーソナルコンピュ−タ、ゲーム機等であって、インターネット接続及びＷｅｂサイト閲覧が可能な機器であれば、通信機能が無線、有線を問わず、どんな機器であってもよい。
【０１３１】
また上記の実施の形態では、インターネット接続網として外部ネットワークを例に挙げて説明したが、これに代わって、イーサネット（登録商標）等、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）ベースのネットワークであってもよい。またＨＴＴＰ（Hypertext Transfer Protocol）ベースのネットワークであってもよい。
【０１３２】
また、被操作端末は、規格ＩＥＥＥ１３９４に準拠し、操作パネルを有する機器であれば、どんなものであってもよい。
【０１３３】
また上記の実施の形態では、操作端末に送信すべき操作パネル要素を選択する際、例えばＶＴＲ装置１２より転送された操作パネルと、ＴＶ装置１１内にあらかじめ用意された機能コードに対応した要素部品とを基に、ＨＴＭＬ変換すべき操作パネルを決定したが、これに代わって、ＶＴＲ装置１２より転送されたパネル要素のみ使用し、所望の表示サイズ、色数へ拡大／縮小、減色、２値化等の処理を行うようにしてもよい。
【０１３４】
なお、本発明の目的は、実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【０１３５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１３６】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１３７】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１３８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１３９】
【発明の効果】
以上詳述したように本発明によれば、被操作装置が、表示画像情報を含む少なくとも１つの操作要素から構成される第１の表示情報を、第１のネットワークを介してリモート制御装置に送信する。また該リモート制御装置が、第２のネットワークを介したリモート制御装置とリモート操作端末との間の通信状態を検出する。前記リモート制御装置は、前記被操作装置から送信された前記第１の表示情報及び前記検出された通信状態に基づき、第２の表示情報を生成し、前記第２のネットワークを介して前記リモート操作端末に送信する。前記リモート操作端末は、前記リモート制御装置から送信された前記第２の表示情報に基づき、画像表示装置に操作要素を表示し、前記画像表示装置に表示された操作要素のうち、入力装置を用いてユーザによって選択された１つを、操作情報として前記第２のネットワークを介して前記リモート制御装置へ送信する。これを受け取ったリモート制御装置は、該操作情報に基づいて操作信号を生成し、前記第１のネットワークを介して前記被操作装置へ送信する。前記被操作装置は、前記第１ネットワークを介して受信した操作信号に基づき自装置の動作制御を行う。
【０１４０】
これにより、例えばＩＰベースインターネット環境下のリモート操作端末によって、規格ＩＥＥＥ１３９４環境下の被操作装置をリモート操作する際に、リモート操作端末に専用のソフトウエアを用意する必要がなく、かつ、第２のネットワークの混雑状況等に応じてリモート操作端末において操作要素の最適な表示を行うので、高速なリモート操作が可能となる。
【０１４１】
また、第１及び第２のネットワークが互いに異なる通信方式をベースにしていても、リモート操作端末から被操作装置を、それらの機器の種類、機能を問わずにリモート操作することが可能となる。
【０１４２】
さらに、リモート操作端末において、第２のネットワークの混雑状況、使用時間帯（料金設定と関連）、リモート操作端末の性能に適した操作要素の最適な表示（最適な操作パネルの表示）を行うことが可能であるので、より俊敏に、より低料金でリモート操作が行われ得る。
【図面の簡単な説明】
【図１】本発明に係るリモート操作制御システムの一実施の形態の全体構成を示すブロック図である。
【図２】ＴＶ装置の内部構成を示すブロック図である。
【図３】ＶＴＲ装置の内部構成を示すブロック図である。
【図４】ＴＶ装置、ＶＴＲ装置等のリモート操作にも使用される、電話機能を備えた携帯端末の内部構成を示すブロック図である。
【図５】携帯端末の前面を示す外観図である。
【図６】ＴＶ装置の操作に使用されるリモートコントローラの前面を示す外観図である。
【図７】ＶＴＲ装置の備える操作パネルの表示画面を示す図である。
【図８】操作パネルのデータ構造を示す図である。
【図９】ＴＶ装置が独自に有する操作パネルの要素のうち、ＶＴＲ操作関連のものを示す図である。
【図１０】携帯端末（操作端末）のインターネット接続メニュー画面を示す図である。
【図１１】携帯端末がＴＶ装置にインターネットを介して接続された直後に携帯端末に表示される機器操作サイトの画面を示す図である。
【図１２】図１１に示す画面において「ＶＴＲ１」が選択された場合に表示される画面を示す図であり、この画面はテキスト表示が指定されている場合の画面である。
【図１３】図１１に示す画面において「ＶＴＲ１」が選択された場合に表示される画面を示す図であり、この画面は、１６色表示が指定され、選択された操作項目に従ってＶＴＲ装置が動作しているときの画面である。
【図１４】本実施の形態における携帯端末で使用しているものより大きく、フルカラー表示可能な表示画面を備えるインターネット端末に、ＶＴＲ装置より転送された操作パネルをそのまま表示した場合の画面を示す図である。
【図１５】端末表示操作パネル選択テーブルを示す図である。
【図１６】操作端末（携帯端末）からＶＴＲ装置に対するリモート操作制御時における、操作端末とＴＶ装置とＶＴＲ装置との間での各種制御信号の送受信を示すシーケンス図である。
【符号の説明】
１１ＴＶ装置（リモート制御装置、検出手段、生成手段、第２の送信手段、第４の送信手段）
１２ビデオ記録装置（ＶＴＲ装置、被操作装置、第１の送信手段）
１４接続サービス部
１５携帯端末（リモート操作端末、表示手段、第３の送信手段）
１６接続サービス部
Ｓ１１家庭内ネットワーク（１３９４ネットワーク、第１のネットワーク）
Ｓ１５電話回線ネットワーク（第２のネットワーク）
Ｓ１６インターネット網
Ｓ１７無線ネットワーク[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a remote operation control system, a remote control device, a remote operation method, a program, and a storage medium, and particularly to a first network, a second network different from the first network, and the first network. A remote control device connected to the first and second networks, and a remote control device connected to the first and second networks, wherein the operated device controls the operation of the own device based on the operation signal received via the first network; A remote operation control system connected to a network and including a remote operation terminal having an image display device and an input device, a remote control device in the remote operation control system, a remote operation applied to the remote operation control system and the remote control device And a program for causing a computer to execute the remote operation method Arm, and a storage medium storing the program.
[0002]
[Prior art]
In recent years, networking based on the standard IEEE1394 has become possible for home audiovisual (AV) devices and the like, and remote operation of the devices based on the standards and related standards has become possible.
[0003]
On the other hand, Internet communication based on the Internet protocol IP (Internet Protocol) and using a mobile phone or a personal computer (hereinafter, referred to as a “PC”) as a terminal has already become widespread. Demands have arisen for remote operation of AV equipment for personal computers.
[0004]
For example, a device that meets such a request can control an AV device from a device having a WWW browsing function, such as a mobile phone or a PC, by incorporating a WWW server function in a home AV device or the like. Here, an IP address is assigned to each AV device (for example, see Patent Document 1).
[0005]
[Patent Document 1]
JP-A-10-191463
[0006]
[Problems to be solved by the invention]
However, in the above-described conventional apparatus for remotely operating home AV equipment or the like using an Internet terminal, the protocol differs between the standard IEEE 1394 and the IP-based Internet environment. In order to realize remote control through the Internet, it is necessary to prepare dedicated software on the Internet terminal side every time remote control is performed.
[0007]
Further, between the IEEE 1394 network connecting the respective AV devices in the home and the Internet outside the home, the data transfer rates are different due to the congestion of the Internet outside the home and the like, so that agile control may be hindered.
[0008]
The present invention has been made in view of such problems, there is no need to prepare dedicated software on the Internet terminal side, and a remote operation control system capable of agile remote operation, a remote control device, It is an object to provide a remote operation method, a program, and a storage medium.
[0009]
[Means for Solving the Problems]
To achieve the above object, according to the first aspect of the present invention, a first network, a second network different from the first network, and a first network connected to the first network. Operated device that controls the operation of its own device based on an operation signal received through the remote control device, a remote control device connected to the first and second networks, and an image display device connected to the second network And a remote operation control system including a remote operation terminal including an input device, wherein the first display information provided in the operated device and configured by at least one operation element including display image information is transmitted to the first display information. First transmitting means for transmitting to the remote control device via the network, and the second network provided in the remote control device. Detecting means for detecting a communication state between the remote control device and the remote operation terminal through the first display information and the detecting means provided in the remote control device and transmitted from the operated device Generating means for generating second display information based on the communication state detected by the remote control device, and providing the second display information to the remote operation terminal via the second network. Second transmission means for transmitting, display means provided in the remote operation terminal, and display means for displaying an operation element on the image display device based on the second display information transmitted from the remote control device; One of the operation elements provided on the operation terminal and displayed by the image display device and selected by the user using the input device is referred to as operation information. And a third transmitting means for transmitting to the remote control device via the second network, and the operation signal provided on the remote control device, based on the operation information transmitted from the remote operation terminal. And a fourth transmitting means for generating and transmitting to the operated device via the first network.
[0010]
According to the invention of claim 11, the operated device that controls the operation of the own device based on the operation signal received via the first network is connected via the first network and the first network. In a remote control device connected to a remote operation terminal equipped with an image display device via a second network different from the first display information including at least one operation element including display image information, First receiving means for receiving from the operated device via the first network; detecting means for detecting a communication state between the remote operation terminal via the second network; Generating means for generating second display information based on the first display information received from the device and the communication state detected by the detecting means; First transmitting means for transmitting the second display information to the remote operation terminal via the second network; and the image display device in the remote operation terminal, based on the transmitted second display information. Operating means for receiving the operation information when one of the displayed operation elements selected by the user is returned as operation information via the second network. And a second transmission unit that generates the operation signal based on the operation information received by the second reception unit and transmits the operation signal to the operated device via the first network. A featured remote control is provided.
[0011]
According to the invention of claim 16, a first network, a second network different from the first network, and an operation connected to the first network and received via the first network. An operated device that controls the operation of its own device based on a signal; a remote control device connected to the first and second networks; and an image display device and an input device connected to the second network. In a remote operation method applied to a remote operation control system including a remote operation terminal, the operated device may display first display information including at least one operation element including display image information on the first display information. A first transmission step of transmitting to the remote control device via a network, wherein the remote control device transmits the second network A detecting step of detecting a communication state between the remote control device and the remote operation terminal, wherein the remote control device is detected by the first display information and the detection means transmitted from the operated device. Generating a second display information based on the communication state, and a second step in which the remote control device transmits the second display information to the remote operation terminal via the second network. A transmitting step, a display step in which the remote operation terminal displays operation elements on the image display device based on the second display information transmitted from the remote control device, and the remote operation terminal displays the image display One of the operation elements displayed on the device, which is selected by the user using the input device, is designated as operation information by the second network. A third transmission step of transmitting to the remote control device via a network, the remote control device generating the operation signal based on the operation information transmitted from the remote operation terminal, A fourth transmission step of transmitting to the operated device via the control unit, and an operation control step of controlling the operation of the operated device based on the operation signal received via the first network. A remote operation method is provided.
[0012]
According to the invention described in claim 17, the operated device connected to the operated device that controls the operation of the own device based on the operation signal received via the first network via the first network and the first network In a remote operation method applied to a remote control device connected to a remote operation terminal equipped with an image display device via a second network different from the first network, the remote operation method includes at least one operation element including display image information. Detecting a communication state between a first receiving step of receiving the first display information from the operated device via the first network and the remote operation terminal via the second network; A detecting step, based on the first display information received from the operated device and the communication state detected by the detecting step. Generating a second display information, transmitting the second display information to the remote operation terminal via the second network, and transmitting the second display information to the remote operation terminal. An operation element is displayed on the image display device based on the displayed second display information, and one of the displayed operation elements selected by the user is returned as the operation information via the second network. A second receiving step of receiving the operation information; and generating the operation signal based on the operation information received in the second receiving step; And a second transmitting step of transmitting to the remote controller.
[0013]
Further, there are provided a program for causing a computer to execute the remote operation method, and a computer-readable storage medium storing the remote operation method as a program.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
FIG. 1 is a block diagram showing an entire configuration of an embodiment of a remote operation control system according to the present invention.
[0016]
In the figure, reference numeral 11 denotes a TV device, which receives a TV broadcast, receives from a remote controller for operating the TV device, transmits / receives data to / from each device connected to each network inside and outside the home, converts a protocol of data, It controls its own device. Also, it displays TV image data, other image data, various icon data, control information, and the like obtained through these transmissions and receptions.
[0017]
Reference numeral 12 denotes a video recording device (VTR device) which is connected to the TV device 11 and records and reproduces video / audio and the like.
[0018]
S11 is a home network (hereinafter abbreviated as "1394 network") based on the standard IEEE1394, and connects the TV device 11 and the VTR device 12.
[0019]
Reference numeral 14 denotes a connection service unit that connects the TV device 11 and an Internet network S16 described below.
[0020]
S15 is a telephone line network used for connecting the TV device 11 to the Internet service unit 14.
[0021]
Reference numeral 15 denotes a mobile terminal that can be connected to the Internet, and has a function of controlling the TV device 11 and the VTR device 12 in addition to having a telephone call function and a Web site browsing function.
[0022]
Reference numeral 16 denotes a connection service unit for connecting the mobile terminal 15 to the Internet network S16.
[0023]
S16 is an Internet network used for transmitting and receiving various data on a TCP / IP basis.
[0024]
S17 is a wireless network connecting the mobile terminal 15 and the connection service unit 16.
[0025]
In FIG. 1, only the TV device 11 and the VTR device 12 are connected to the 1394 network S11, but various AV devices, home appliances, personal computer devices, and the like can be connected to the 1394 network S11.
[0026]
FIG. 2 is a block diagram illustrating an internal configuration of the TV device 11.
[0027]
In the figure, reference numeral 1101 denotes an antenna device which receives a TV radio wave from the outside, converts it into a high-frequency electric signal, and sends it to the tuner unit 1102.
[0028]
The tuner unit 1102 amplifies the high-frequency electric signal sent from the antenna unit 1101, selects a desired station, demodulates a high-frequency TV signal modulated by a carrier wave, and outputs it to the decoder unit 1103.
[0029]
The decoder unit 1103 separates the signal sent from the tuner unit 1102 into additional data such as image data, audio data, other data broadcast data, electronic program guide data, and performs decoding. The image data is output to the image control unit 1121, the audio data is output to the audio control unit 1123, and the other data is output to the bus S111.
[0030]
The image control unit 1121 selects one of the image data from the decoder unit 1103, the image data sent from the VTR decoder unit 1131, and the image data sent from the bus S <b> 111, or combines them to form RGB image data and horizontal image data. The signal is output to the display 1122 as a vertical synchronization signal.
[0031]
The display 1122 receives the RGB image data and the horizontal / vertical synchronization signal from the image control unit 1121, and performs image display.
[0032]
The audio control unit 1123 selects one of the audio data from the decoder unit 1103, the audio data sent from the VTR decoder unit 1131, and the audio data sent from the bus S111, or synthesizes them. The presence / absence is controlled and output to the audio output unit 1124 as an audio signal.
[0033]
The audio output unit 1124 amplifies the audio signal sent from the audio control unit 1123, and outputs the amplified audio signal from a speaker (not shown).
[0034]
Reference numeral 1130 denotes a 1394 interface (i / F), which interfaces the 1394 network S11 with the TV device 11. When the VTR device 12, various AV devices, home appliances, personal computer devices, and the like are connected to the 1394 network S11, data is transmitted and received between the TV device 11 and the devices, and the devices are controlled. Can be.
[0035]
When the VTR device 12 is connected to the TV device 11 via the 1394 network S11, the 1394 i / F unit 1130 separates image data and audio data from other control data and the like. The data is output to a data bus S112, and other control data of the VTR device 12, information data such as a track number and a shooting start date and time, and operation data for a VTR viewer to perform VTR operations such as reproduction and fast-forwarding are transmitted to a control bus S111. Output to
[0036]
The 1394i / F unit 1130 includes a standard IEEE 1394 defined by the Institute of Electrical and Electronics Engineers (IEEE), a standard IEC (International Electrotechnical Commission) that is a higher standard thereof, a standard IEC 61883 defined by the 1394 TA (1394 Trade Association), and an asynchronous connection. Control is performed based on standards, subunit standards such as Turner, VCR, and Panel.
[0037]
A remote controller 1140 receives various data transmitted when the TV viewer operates the remote controller, and transfers the data to the controller 1190. The remote controller is also operated when the operation screen of the operation panel of the VTR device 12 is displayed on the TV device 11 to operate the operation panel.
[0038]
Reference numeral 1150 denotes a rewritable memory unit which does not disappear even when the power is turned off. The memory unit 1150 relates to the operation panel data of the VTR device 12 input through the 1394 i / F unit 1130 and the Internet connection service. Network connection data such as usage fee, network survey data input from the modem unit 1180, portable terminal survey data, terminal display operation panel selection table data to be described later generated based on the portable terminal survey data, the above-described various information and the following information The operation terminal display operation panel data generated from the operation panel element parts is stored. Further, various data necessary for the operation of the TV device 11 transmitted from a remote controller or the like, EPG data output from the decoder unit 1103, various TV broadcast additional data, and the like are also stored.
[0039]
Reference numeral 1160 denotes a data ROM unit for storing element parts (described later with reference to FIG. 8) of an operation panel corresponding to operation function codes of various devices such as a VTR device 12 which can be connected to the TV device 11. . Also, it stores TV channel information, display fonts, icons, operation panels, messages, key codes of a remote controller or the like, various tables, and the like necessary for the operation of the TV device 11.
[0040]
Reference numeral 1170 denotes an HTML storage unit, which is a terminal display operation panel selection table (see FIG. 15) based on operation panel data transferred from the VTR device 12 or operation panel data stored in the data ROM unit 1160. This is an HTML server that saves data converted into HTML data so that operation panel data for operation terminal display generated based on the operation panel data can be viewed and operated from an Internet browser.
[0041]
The modem unit 1180 performs modulation / demodulation for data exchange between the TV device 11 and the connection service unit 14 via the telephone line S15. In addition, the modem unit 1180 is also used for transmitting viewing information to a management server for charging for viewing a pay broadcast in TV reception.
[0042]
Reference numeral 1185 denotes a clock unit which can present the current date and time, and is used for detecting a charge time zone, measuring a data transfer speed, and the like.
[0043]
The control unit 1190 is connected to the bus S111 and controls each unit in the TV device 11 as a whole. That is, it controls the antenna unit 1101, tuner unit 1102, and decoder unit 1103, and performs channel switching settings and saves data broadcast data, electronic program guide data, and the like.
[0044]
Also, the control unit 1190 controls the image control unit 1121 to transmit broadcast TV image data, data broadcast data, electronic program data transmitted from the decoder unit 1103, VTR image data transmitted from the VTR decoder unit 1131, and transmitted from the bus S111. For various kinds of image data such as a device icon of the VTR device 12 and an operation panel, selection of one of them and display setting control such as synthesis thereof are performed.
[0045]
Similarly, the control unit 1190 controls the audio control unit 1123, and performs synthesis and output control of audio data sent from each unit.
[0046]
Such display setting control and composite output control are performed based on the internal state of the TV device 11, broadcast data information, information from various devices connected to the TV device 11, operation data information input by a TV viewer's remote controller operation, and the like. It is done based on.
[0047]
Control unit 1190 also responds to data received by remote control control unit 1140, or to changes in conditions inside TV device 11, broadcast reception data, data from 1394i / F unit 1130, and data from modem unit 1180. Then, the control data and the display data are transmitted from the remote control unit 1140 to the remote controller of the VTR device 12.
[0048]
In the operation panel control, the control unit 1190 checks the congestion status of each of the connection service units 14 and 16 and each of the networks S15, S16 and S17 via the modem unit 1180, the display resolution of the mobile terminal 15, and the number of displayable colors. Such as a performance investigation, selection of an operation panel according to such a congestion state and the mobile terminal 15, conversion of the selected IEEE 1394-based operation panel data to HTML data, storage in the HTML storage unit 1170, HTML operation panel to the mobile terminal 15 Transmission of data, reception of operation panel control data (to be described later, a user action) from the portable terminal 15, reconversion of the received data to an IEEE1394-based operation panel, transmission to the VTR device 12, and the like are performed.
[0049]
In VTR viewing, the control unit 1190 controls the 1394 i / F unit 1130 to detect the presence / absence of device connection, transmit / receive operation panel data of the VTR device 12, and the like, thereby enabling viewing and control of the VTR device 12. .
[0050]
In addition, control of the HTML data conversion and control of the display operation of the operation panel in the present embodiment to be described later are all performed by the control unit 1190.
[0051]
A work area necessary for these control operations also exists in the control unit 1190.
[0052]
S111 is a control bus in the TV device 11, and is used for transferring image data and audio data, and for transferring operation panel data and information of each unit, as described above.
[0053]
FIG. 3 is a block diagram showing the internal configuration of the VTR device 12.
[0054]
The VTR device 12 is based on the specifications defined by the standard IEC61884.
[0055]
As the connection interface between the VTR device 12 and the TV device 11 according to the present embodiment, mainly those specified in Asynchronous Connection, VCRsubunit and Panel subunit of IEC61883, 1394TA are used.
[0056]
Reference numeral 1201 denotes a VCR unit (recorder unit) which includes a video tape traveling system mechanism unit, a control unit of the mechanism unit, a video signal recording / reproduction, a modulation / demodulation unit, additional information recording / reproduction unit, and the like. Operation control, transfer of additional information data, and the like are performed by a control unit 1209 described later, and recording and reproduction are performed by the VCR unit 1201.
[0057]
The additional information data is also called attribute information or metadata, and includes a track number indicating a recording position of the tape, a recording start index ID, a recording date and time, a recording mode, copyright information, and the like.
[0058]
A data ROM unit 1204 stores display data (operation panel) to be displayed on the TV device 11 for remote control, and data such as device icons.
[0059]
Reference numeral 1205 denotes a 1394i / F unit, which is the same as the 1394i / F unit 1130 described above. The 1394 i / F unit 1205 transmits and transfers data from the control bus S121 and the data bus S122 to the 1394 network S11, and controls and manages transmission and reception of data in the VTR device 12.
[0060]
The control unit 1209 transmits various data necessary for controlling the operation panel, device icons, control commands, and the like received from the control bus S121 and the video / audio data received from the data bus S122 to the TV via the 1394i / F unit 1205. Transmit to the device 11.
[0061]
Also, the control unit 1209 receives a user action and various commands to be described later on the operation panel transmitted from the 1394i / F unit 1130 of the TV device 11, and based on these, controls the operation of the VCR unit 1201 and controls the operation panel data. Send.
[0062]
S121 is a control bus of the VTR device 12, through which the transfer of the various data and the control of the VCR unit 1201 are performed.
[0063]
S122 is a data bus for transferring image / audio data recorded and reproduced in the VCR unit 1201 and additional information data to the 1394i / F unit 1205.
[0064]
FIG. 4 is a block diagram showing an internal configuration of a portable terminal 15 having a telephone function, which is also used for remote operation of the TV device 11, the VTR device 12, and the like. FIG. FIG.
[0065]
In the figure, reference numeral 1501 denotes a key input unit, which is used for dialing, character input, control of the mobile terminal 15, and the like when used as a telephone.
[0066]
In the key input unit 1501, reference numeral 1501a is a key portion including a cursor key located at the left, right, up, and down positions and a center position determination / execute key. An Internet connection menu key 1501b is used to display a list menu of Internet functions.
[0067]
The operation of the operation panel described later is mainly performed by a key portion 1501a and an Internet connection menu key 1501b.
[0068]
Reference numeral 1502 denotes a voice input / output unit, which is used for input / output of voice during a call, output of a confirmation sound and a warning sound when browsing the Internet and operating an operation panel, and the like.
[0069]
Reference numeral 1503 denotes a display unit, which is a display device capable of displaying horizontal 250 dots, vertical 320 dots, and 256 colors, displaying a telephone number, menu, etc., displaying mail, displaying a site when browsing the Internet, and displaying an operation panel. Used for
[0070]
FIG. 6 is an external view showing a front surface of a remote controller used for operating the TV device 11.
[0071]
The remote controller has a menu key 61, a cursor key 62, an execution cancel key 63, a numeric key 64, and the like, and operates the TV device 11 and various operation panels, but is not directly related to the present embodiment.
[0072]
Next, the configuration of the operation panel, control commands, and the procedure for transferring the operation panel according to the present invention will be described. Note that these all conform to the above-mentioned IEEE 1394, IEC 61883, and 1394 TA standards.
[0073]
First, the configuration of the operation panel according to the present invention will be described.
[0074]
FIG. 7 is a view showing a display screen of an operation panel provided in the VTR device 12.
[0075]
The operation panel includes elements such as a button 112, an icon 113, a text 114, and a background 115, and these constitute a panel element (entire operation panel) 111. The operation panel according to the present embodiment uses 256 colors, and has a size of 400 horizontal dots and 250 vertical dots.
[0076]
FIG. 8 is a diagram showing a data structure of the operation panel.
[0077]
Every element has a unique ID.
[0078]
The panel element has a label, which is character string data serving as a title of the operation panel, and data indicating the position and size of the operation panel on the display screen. In addition, data for specifying the color of the background of the operation panel, bitmap data to be displayed on the background, and font selection and specification data for the character string to be displayed are stored as options. Also, isochronous transfer channel data for transferring image and audio data in a stream is held as an option. When this option is specified, the audio / video data decoded from the transferred stream can be displayed on the panel element.
[0079]
The button element is data for displaying the user's action operation such as pressing or releasing a button, and displays the bitmap data displayed when pressed and the bitmap data displayed when released. Bit map data to be stored.
[0080]
The size of the bitmap is indicated by size data, and the display position is indicated by position data. The position data specifies the relative position within the panel element to which this element belongs in pixel units. Note that a link to a label serving as a title (or a functional description) of the button element can be held, and a font choice for a character string to be displayed can be held as an option. Also, in the present embodiment, the button element is assigned a function code such as play, stop, or record, and the function at the time of operating the button can be recognized in the TV device 11 by the code. The function code may not be present when performing a special operation of the device.
[0081]
The icon element is an element displayed as bitmap data and can be selected by the user. Bitmap data, labels, position and size data, and text data as labels can be stored, and font options can be stored as options. By displaying a plurality of icons continuously, it is also possible to produce a pseudo-animation effect.
[0082]
The text element is an element for displaying a title or description as a character string, and holds position and size data and text data as a label. In addition, the specification of the background color and the choice of the font can be held as options.
[0083]
Next, a command transferred between the operation device (for example, the TV device 11) and the device to be operated (for example, the VTR device 12) by the user action (for example, pressing or releasing a button) on the operation panel described above will be described. I do.
[0084]
The GUi_Update (open) command is the first command issued from the operating device to the operated device when performing control using the operation panel. By issuing this command, the operating device is transmitted from the operated device to the operated device. As well as obtaining device information such as a device icon, an asynchronous connection is established between the operating device and the operated device.
[0085]
The GUi_Update (start) command is a command for instructing the operated device to notify the operation device of the change by transferring new operation panel data when there is a change in the display data on the operation panel of the operated device. Yes, the operated device that has received this command follows this instruction until it receives the GUi_Update (stop) command.
[0086]
The Push_Gui command is a command that the operating device requests the operated device to directly transfer the operation panel data. The operated device that has received this command transfers the operation panel data from the data ROM unit 1203 to the operation device (TV device 11).
[0087]
The User_action command is a command issued from the operation device to the operated device when the user performs an operation (user action) using the remote controller on the operation panel transmitted to the operation device. In the user_action command, the button (element) ID and the content of the user action are transmitted together as action_code.
[0088]
The user action includes pressing and releasing a key. When the key is pressed (when the execution key is pressed after selecting a predetermined item), the user action of pressing is performed, and when the key is released. An open user action is sent with the action_code.
[0089]
The operated device performs control corresponding to a predetermined user action.
[0090]
Note that the operated device transfers the operation panel data to the operation device even when the operation panel is changed, even when there is no transmission of a user action from the operation device.
[0091]
The GUi_Update (stop) command is a command issued by the operating device when it is desired to end control on the operated device.
[0092]
FIG. 9 is a diagram showing elements related to the VTR operation among the elements of the operation panel independently provided by the TV device 11.
[0093]
Each element of the operation panel corresponds to a function code, and three types of text display, monochrome (binary) display, and 16-color display are prepared according to the display screen. In addition, according to the three ranks of the terminal display resolution in the terminal display operation panel selection table described later with reference to FIG. 15, the text display, the black and white (binary) display, and the 16-color display each have three types. Are prepared.
[0094]
When the operation panel transferred from the VTR device 12 is displayed on the TV device 11, the elements corresponding to the function codes of the respective elements of the operation panel of the VTR device 12 among the elements of the operation panel independently provided by the TV device 11 are replaced. Will be displayed as Note that, as described later, such an alternative display is also performed by displaying the operation panel on an external Internet terminal (such as the portable terminal 15) according to the line and terminal status by using the terminal display operation panel selection table shown in FIG. Done by the method chosen.
[0095]
FIG. 10 is a diagram showing an Internet connection menu screen of the mobile terminal 15 (operation terminal). This screen is displayed on the mobile terminal 15 by operating the Internet connection menu key 1501b of the mobile terminal 15.
[0096]
When "5 home operation" is selected and executed in the Internet connection menu screen, the portable terminal 15 is connected to the TV device 11 of the home network set in advance in the present embodiment via the Internet network S16 in this embodiment. . Such selection is performed by operating the key portion 1501a of the key input unit 1501 of the mobile terminal 15.
[0097]
FIG. 11 is a diagram illustrating a screen of the device operation site displayed on the mobile terminal 15 immediately after the mobile terminal 15 is connected to the TV device 11 via the Internet.
[0098]
Here, a list of TV devices 11 and VTR devices 12 connected to the home network are displayed as operation targets. The user of the portable terminal 15 can select a device to be operated from the list display.
[0099]
FIG. 12 is a diagram showing a screen displayed when "VTR1" (corresponding to VTR device 12) is selected on the screen shown in FIG. 11, and this screen is a screen when text display is designated. is there. (A) is a screen on which the operation item “recording” is selected, and (B) is a screen when the VTR device 12 is operating according to the selected operation item.
[0100]
FIG. 13 is a diagram showing a screen displayed when "VTR1" (corresponding to the VTR device 12) is selected on the screen shown in FIG. This is a screen when the VTR device 12 is operating according to the operation items.
[0101]
FIG. 14 shows a screen when the operation panel transferred from the VTR device 12 is directly displayed on an Internet terminal having a display screen capable of full-color display, which is larger than that used in the portable terminal 15 in the present embodiment. FIG.
[0102]
The operation terminal side may be configured by a device having such a display screen.
[0103]
FIG. 15 is a diagram illustrating a terminal display operation panel selection table.
[0104]
The terminal display operation panel selection table is used to display, from among a plurality of operation panels that can be displayed on the operation terminal, display according to the network usage fee time zone, the network speed, and the display performance (resolution, number of colors) of the operation terminal. Used to select a suitable operation panel.
[0105]
The displayable operation panel in the table is determined according to the operation panel size of the operation terminal and the display performance of the operation terminal. The table shown in FIG. 15 shows that the operation terminal (portable terminal 15) has an operation panel size of 250 dots horizontally and 320 dots vertically, a display performance of 256 colors, and an operation panel size of the VTR device 12 of 400 dots horizontally. , Is a terminal display operation panel selection table in the case of 250 dots vertically. As described above with reference to FIG. 9, three types of panel data of the TV device 11 are prepared so as to correspond to the resolution rank of the operation terminal.
[0106]
FIG. 16 is a sequence diagram illustrating transmission and reception of various control signals between the operation terminal, the TV device 11, and the VTR device 12 during remote operation control of the VTR device 12 from the operation terminal (portable terminal 15).
[0107]
First, prior to the operation of the mobile terminal 15 by the operator, the TV device 11 issues a Gui_Update (open) command to a device confirmed to be connected to the 1394 network S11, and investigates a device that can be operated on the operation panel. Is performed to generate a list of operable devices (st3101, st3102).
[0108]
The operator operates the mobile terminal 15 to select and execute “5 home operation” from the Internet menu screen shown in FIG. 10 (st3181).
[0109]
The mobile terminal 15 connects to the TV device 11 via the public line network, requests disclosure of the device operation HTML server, and sends the model name and display performance (resolution, number of display colors) of the mobile terminal 15 to the TV device 11. This is notified (st3182).
[0110]
Thereafter, the mobile terminal 15 immediately disconnects the connection line, and then connects to the Internet connection service unit 16 to obtain and display the operation device list page of the TV device 11 (st3183).
[0111]
Upon receiving the device operation HTML server disclosure request from the mobile terminal 15, the TV device 11 matches the previously generated operable device list with the resolution of the mobile terminal 15 that has sent the disclosure request, and links the selection of each device. The HTML data is converted into HTML data and stored in the operation device list page in the HTML storage unit 1170. At the same time, it connects to the Internet connection service unit 14 and publishes the operable device list converted into the HTML data as an operation device list (st3152, st3183). When detecting the operation device list page, the mobile terminal 15 displays it (st3183, FIG. 11).
[0112]
Next, the TV device 11 transfers the transfer speed investigation packet to the portable terminal 15, and waits for a response. The portable terminal 15 that has received this immediately returns it to the TV device 11, and the TV device 11 that has received the packet transmits the average transmission of the network between the TV device 11 and the portable terminal 15 based on the response time of the packet. Estimate speed. At this time, the current time is detected from the clock unit 1185 (st3184).
[0113]
When the operator of the mobile terminal 15 selects the VTR device 12 from the operation device list page (st3185), the TV device 11 that has detected the selection issues a Gui_Update (open) command to the VTR device 12, and receives the operation panel. Is initialized, and an asynchronous connection (Asynchronous Connection) is established with the VTR device 12 (st3105, st3106).
[0114]
Next, the TV device 11 issues a Gui_Update (start) command and a Push_Gui_Data command to the VTR device 12, and requests the VTR device 12 for operation panel data (st3107, st3108). The VTR device 12 receiving this transmits the initial operation panel data to the TV device 11 (st3109).
[0115]
Based on the operation panel data received from the VTR device 12, the TV device 11 displays the mobile terminal 15 at present based on the estimated average transmission speed, the detected time, the received performance of the mobile terminal 15, and the like. The most suitable operation panel data is selected from the terminal display operation panel selection table shown in FIG. 15, and the operation panel data for the portable terminal 15 is generated.
[0116]
For example, since the mobile terminal 15 has the display unit 1503 capable of displaying 250 dots horizontally, 320 dots vertically, and 256 colors, the detected time is included in the high fee time zone, and the network speed (estimated average transmission speed) is low. From the selection table, a text display operation panel as shown in FIG. 12 is selected. When the detected time is included in the high fee time zone and the network speed is high, the operation panel of the 16-color display as shown in FIG. 13 is selected from the selection table.
[0117]
Except when the operation panel data of the VTR device 12 is used, it is necessary to generate the operation panel data. At this time, the element ID and function code of the panel element of the VTR device 12 and the newly generated operation panel The generation is performed such that the element IDs and the function codes of the panel elements are the same.
[0118]
Then, the TV device 11 converts the operation panel data selected and generated as described above into HTML data, and stores the HTML data in the operation panel page in the HTML storage unit 1170 (st3159).
[0119]
When the operation panel data is stored in the operation panel page, the portable terminal 15 reads out the operation panel data from the HTML storage unit 1170 and displays it on the display unit 1503 (st3189).
[0120]
The operator of the portable terminal 15 selects a button to be operated with the cursor keys of the key input unit 1501 and presses the enter / execute key to operate the VTR device 12.
[0121]
When the enter / execute key is pressed, the operation information here is detected by the TV device 11 (st3190), and the TV device 11 converts the operation information into a User_Action command as a user action of pressing a selection button (st3160). ), And transfer it to the VTR device 12 via the 1394 network S11 (st3110).
[0122]
Upon receiving this, the VTR device 12 performs a device operation corresponding to the button press.
[0123]
The corresponding new operation panel data is transmitted to the TV device 11 (st3111). Upon receiving the new operation panel data, the TV device 11 generates the operation panel data for the portable terminal 15 according to the same procedure as described above, converts it into HTML data, and stores it in the HTML storage unit 170 (st3161). ). This is received by the mobile terminal 15, and displayed as a new operation panel on the mobile terminal 15 (st3191).
[0124]
Further, even when the TV device 11 does not transmit a User_Action command to the VTR device 12, when the VTR device 12 transmits new operation panel data to the TV device 11, a new operation is performed in the same procedure as described above. The panel is displayed on the portable terminal 15 (st3112, st3162, st3192).
[0125]
When the operator selects a button for ending the operation on the portable terminal 15 and presses the enter / execute key, the TV device 11 that has detected the operation converts this into a Gui_Update (stop) command and sends it to the VTR device 12. Issuing (st3193, st3163, st3113).
[0126]
A process of disconnecting the established asynchronous connection (Asynchronous Connection) is performed between the VTR device 12 and the TV device 11 that have received the Gui_Update (stop) command (st3114), and the TV device 11 sends the Gui_Update to the VTR device 12 again. A (stop) command is issued, and the remote control processing by the operation panel with the VTR device 12 ends (st3115).
[0127]
Further, the TV device 11 performs a process of disconnecting the Internet connection, and ends all the processes (st3199).
[0128]
As described above, in the present embodiment, it is not necessary to prepare dedicated software for the operation terminal when the operation terminal under the standard IEEE 1394 environment is remotely operated by the operation terminal under the IP-based Internet environment. In addition, since an optimal operation panel display is performed according to the network congestion state and the like, high-speed remote operation is possible.
[0129]
[Other embodiments]
In the above-described embodiment, the HTML storage unit 1170 is provided in the TV device 11 together with the control unit 1190. Instead, the control unit 1190 and the HTML storage unit 1170 are provided separately from the TV device 11 independently. It may be provided as a device.
[0130]
In the above embodiment, the operation terminal is the portable terminal 15, but the operation terminal is not limited to the portable terminal 15, and may be a portable notebook or desktop personal computer, a game machine, or the like. Any device can be used as long as the device has a communication function of wireless or wired, as long as the device is capable of connecting to the Internet and browsing a Web site.
[0131]
In the above embodiment, an external network has been described as an example of the Internet connection network. However, instead of this, a network based on Transmission Control Protocol / Internet Protocol (TCP / IP) such as Ethernet (registered trademark) is used. There may be. Further, a network based on HTTP (Hypertext Transfer Protocol) may be used.
[0132]
The operated terminal may be any device that conforms to the standard IEEE1394 and has an operation panel.
[0133]
Further, in the above embodiment, when selecting an operation panel element to be transmitted to the operation terminal, for example, the operation panel transferred from the VTR device 12 and an element component corresponding to a function code prepared in advance in the TV device 11 The operation panel to be subjected to the HTML conversion is determined based on the above. Instead, only the panel elements transferred from the VTR device 12 are used to enlarge / reduce to the desired display size and the number of colors, reduce the number of colors, Processing such as conversion may be performed.
[0134]
It is to be noted that an object of the present invention is to supply a storage medium storing a program code of software for realizing the functions of the embodiments to a system or an apparatus, and to store the storage medium in a computer (or a CPU or an MPU) of the system or the apparatus. It is also achieved by reading and executing the program code stored in the medium.
[0135]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0136]
Examples of a storage medium for supplying the program code include a floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, and DVD. -RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, and the like can be used.
[0137]
When the computer executes the readout program code, not only the functions of the above-described embodiment are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. This also includes a case where some or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
[0138]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This also includes the case where the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0139]
【The invention's effect】
As described above in detail, according to the present invention, the operated device transmits the first display information including at least one operation element including the display image information to the remote control device via the first network. I do. Further, the remote control device detects a communication state between the remote control device and the remote operation terminal via the second network. The remote control device generates second display information based on the first display information transmitted from the operated device and the detected communication state, and performs the remote operation via the second network. Send to terminal. The remote operation terminal displays an operation element on an image display device based on the second display information transmitted from the remote control device, and uses an input device among the operation elements displayed on the image display device. One selected by the user is transmitted to the remote control device via the second network as operation information. The remote control device receiving this generates an operation signal based on the operation information, and transmits the operation signal to the operated device via the first network. The operated device controls the operation of the own device based on the operation signal received via the first network.
[0140]
Thus, for example, when the operated device under the standard IEEE 1394 environment is remotely operated by the remote operation terminal under the IP-based Internet environment, there is no need to prepare dedicated software for the remote operation terminal, and Optimal display of operation elements is performed on the remote operation terminal according to the congestion state of the network and the like, so that high-speed remote operation is possible.
[0141]
Further, even if the first and second networks are based on mutually different communication schemes, it becomes possible to remotely operate the operated device from the remote operation terminal regardless of the type and function of those devices.
[0142]
Further, in the remote operation terminal, the optimum display (display of the optimum operation panel) of the operation element suitable for the congestion status of the second network, the usage time zone (related to the charge setting), and the performance of the remote operation terminal is performed. Remote operation can be performed more agilely and at a lower cost.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an embodiment of a remote operation control system according to the present invention.
FIG. 2 is a block diagram showing an internal configuration of the TV device.
FIG. 3 is a block diagram showing an internal configuration of the VTR device.
FIG. 4 is a block diagram showing an internal configuration of a portable terminal having a telephone function, which is also used for remote operation of a TV device, a VTR device, and the like.
FIG. 5 is an external view showing a front surface of the portable terminal.
FIG. 6 is an external view showing a front surface of a remote controller used for operating the TV device.
FIG. 7 is a diagram showing a display screen of an operation panel provided in the VTR device.
FIG. 8 is a diagram showing a data structure of an operation panel.
FIG. 9 is a diagram showing elements related to a VTR operation among elements of an operation panel independently provided by the TV apparatus.
FIG. 10 is a diagram showing an Internet connection menu screen of a mobile terminal (operation terminal).
FIG. 11 is a diagram showing a screen of a device operation site displayed on the mobile terminal immediately after the mobile terminal is connected to the TV device via the Internet.
12 is a diagram showing a screen displayed when “VTR1” is selected on the screen shown in FIG. 11, and this screen is a screen when text display is designated.
13 is a diagram showing a screen displayed when "VTR1" is selected on the screen shown in FIG. 11, in which 16-color display is designated, and the VTR device operates according to the selected operation item; It is a screen when you are doing.
FIG. 14 is a diagram showing a screen when the operation panel transferred from the VTR device is displayed as it is on an Internet terminal having a display screen capable of displaying full color, which is larger than that used in the portable terminal according to the present embodiment. It is.
FIG. 15 is a diagram showing a terminal display operation panel selection table.
FIG. 16 is a sequence diagram showing transmission and reception of various control signals between the operation terminal, the TV device, and the VTR device when the operation terminal (portable terminal) performs remote operation control on the VTR device.
[Explanation of symbols]
11 TV device (remote control device, detection means, generation means, second transmission means, fourth transmission means)
12. Video recording device (VTR device, operated device, first transmission means)
14 Connection Service Department
15 Mobile terminal (remote operation terminal, display means, third transmission means)
16 Connection Service Department
S11 Home network (1394 network, first network)
S15 Telephone line network (second network)
S16 Internet network
S17 Wireless network

Claims

A first network, a second network different from the first network, and an operated device that is connected to the first network and controls operation of its own device based on an operation signal received via the first network. In a remote operation control system comprising a device, a remote control device connected to the first and second networks, and a remote operation terminal connected to the second network and having an image display device and an input device,
A first transmission unit provided on the operated device and configured to transmit first display information including at least one operation element including display image information to the remote control device via the first network; ,
Detection means provided in the remote control device, for detecting a communication state between the remote control device and the remote operation terminal via the second network;
A generation unit that is provided in the remote control device and that generates second display information based on the first display information transmitted from the operated device and the communication state detected by the detection unit;
A second transmission unit provided in the remote control device, for transmitting the second display information to the remote operation terminal via the second network;
A display unit provided in the remote operation terminal, for displaying an operation element on the image display device based on the second display information transmitted from the remote control device;
One of the operation elements provided on the remote operation terminal and displayed by the image display device, which is selected by the user using the input device, as the operation information, the remote control via the second network. Third transmission means for transmitting to the device;
A fourth transmission unit that is provided in the remote control device, generates the operation signal based on the operation information transmitted from the remote operation terminal, and transmits the operation signal to the operated device via the first network; A remote operation control system comprising:

The detecting means further detects a current time,
The generation unit generates the second display information based on the first display information transmitted from the operated device and the communication state and the current time detected by the detection unit. The remote operation control system according to claim 1, wherein

The detecting means further detects the performance of the remote operation terminal,
The generation unit generates the second display information based on the first display information transmitted from the operated device, the communication state detected by the detection unit, and the performance of the remote operation terminal. The remote operation control system according to claim 1, wherein:

The remote operation control system according to claim 1, wherein the first network is a network based on the standard IEEE1394.

2. The remote operation control system according to claim 1, wherein the second network is a network that performs communication based on IP (Internet Protocol).

The remote control device holds the second display information in an HTML data format,
6. The remote operation terminal according to claim 5, wherein the remote operation terminal accesses the second display information in the HTML data format held in the remote control device and displays an operation element on the image display device. Operation control system.

The remote operation control system according to claim 1, wherein the second network is a network that performs communication based on TCP (Transmission Control Protocol) or HTTP (Hypertext Transfer Protocol).

The generation unit generates the second display information based on the first display information, the communication state detected by the detection unit, and the display information generated by the remote control device. The remote operation control system according to claim 1.

The remote operation control system according to claim 1, wherein the remote control device is a television receiver, and the operated device is a VTR device.

The remote operation control system according to claim 1, wherein the remote operation terminal is a mobile phone terminal.

An operation target device that controls the operation of the own device based on an operation signal received via the first network is connected via the first network and via a second network different from the first network. In a remote control device connected to a remote operation terminal having an image display device,
First receiving means for receiving first display information including at least one operation element including display image information from the operated device via the first network;
Detecting means for detecting a state of communication with the remote operation terminal via the second network;
Generating means for generating second display information based on the first display information received from the operated device and the communication state detected by the detecting means;
First transmission means for transmitting the second display information to the remote operation terminal via the second network;
In the remote operation terminal, an operation element is displayed on the image display device based on the transmitted second display information, and one of the displayed operation elements selected by the user is the second operation information as the operation information. Second receiving means for receiving the operation information when returned via the network of
A second transmission unit that generates the operation signal based on the operation information received by the second reception unit and transmits the operation signal to the operated device via the first network. Remote control device.

The detecting means further detects a current time,
The generation unit generates the second display information based on the first display information transmitted from the operated device and the communication state and the current time detected by the detection unit. The remote control device according to claim 11, wherein

The detecting means further detects the performance of the remote operation terminal,
The generation unit generates the second display information based on the first display information transmitted from the operated device, the communication state detected by the detection unit, and the performance of the remote operation terminal. The remote control device according to claim 11, wherein:

The remote control device according to claim 11, wherein the first network is a network based on the standard IEEE1394.

The remote control device according to claim 11, wherein the second network is a network that performs communication based on Internet Protocol (IP).

A first network, a second network different from the first network, and an operated device that is connected to the first network and controls operation of its own device based on an operation signal received via the first network. Applied to a remote operation control system comprising a device, a remote control device connected to the first and second networks, and a remote operation terminal connected to the second network and having an image display device and an input device Remote operation method,
A first transmission step in which the operated device transmits first display information including at least one operation element including display image information to the remote control device via the first network;
A detection step in which the remote control device detects a communication state between the remote control device and the remote operation terminal via the second network;
A generation step in which the remote control device generates second display information based on the first display information transmitted from the operated device and the communication state detected by the detection unit;
A second transmission step in which the remote control device transmits the second display information to the remote operation terminal via the second network;
A display step in which the remote operation terminal displays an operation element on the image display device based on the second display information transmitted from the remote control device;
The remote operation terminal transmits one of the operation elements displayed on the image display device selected by the user using the input device to the remote control device via the second network as operation information. A third transmitting step of transmitting;
A fourth transmission step in which the remote control device generates the operation signal based on the operation information transmitted from the remote operation terminal, and transmits the operation signal to the operated device via the first network;
An operation control step of controlling the operation of the operated device based on an operation signal received via the first network.

An operation target device that controls the operation of the own device based on an operation signal received via the first network is connected via the first network and via a second network different from the first network. In a remote operation method applied to a remote control device connected to a remote operation terminal including an image display device,
A first receiving step of receiving first display information including at least one operation element including display image information from the operated device via the first network;
A detecting step of detecting a communication state with the remote operation terminal via the second network;
A generating step of generating second display information based on the first display information received from the operated device and the communication state detected by the detecting step;
A first transmission step of transmitting the second display information to the remote operation terminal via the second network;
In the remote operation terminal, an operation element is displayed on the image display device based on the transmitted second display information, and one of the displayed operation elements selected by the user is the second operation information as the operation information. A second receiving step of receiving the operation information when returned via the network of
A second transmission step of generating the operation signal based on the operation information received in the second reception step, and transmitting the operation signal to the operated device via the first network. Remote operation method.

A first network, a second network different from the first network, and an operated device that is connected to the first network and controls operation of its own device based on an operation signal received via the first network. Applied to a remote operation control system comprising a device, a remote control device connected to the first and second networks, and a remote operation terminal connected to the second network and having an image display device and an input device In a program for causing a computer to execute the remote operation method,
The remote operation method includes:
A first transmission step in which the operated device transmits first display information including at least one operation element including display image information to the remote control device via the first network;
A detection step in which the remote control device detects a communication state between the remote control device and the remote operation terminal via the second network;
A generation step in which the remote control device generates second display information based on the first display information transmitted from the operated device and the communication state detected by the detection unit;
A second transmission step in which the remote control device transmits the second display information to the remote operation terminal via the second network;
A display step in which the remote operation terminal displays an operation element on the image display device based on the second display information transmitted from the remote control device;
The remote operation terminal transmits one of the operation elements displayed on the image display device selected by the user using the input device to the remote control device via the second network as operation information. A third transmitting step of transmitting;
A fourth transmission step in which the remote control device generates the operation signal based on the operation information transmitted from the remote operation terminal, and transmits the operation signal to the operated device via the first network;
An operation control step of controlling the operation of the operated device based on an operation signal received via the first network.

An operation target device that controls the operation of the own device based on an operation signal received via the first network is connected via the first network and via a second network different from the first network. In a program for causing a computer to execute a remote operation method applied to a remote control device connected to a remote operation terminal including an image display device,
The remote operation method includes:
A first receiving step of receiving first display information including at least one operation element including display image information from the operated device via the first network;
A detecting step of detecting a communication state with the remote operation terminal via the second network;
A generating step of generating second display information based on the first display information received from the operated device and the communication state detected by the detecting step;
A first transmission step of transmitting the second display information to the remote operation terminal via the second network;
In the remote operation terminal, an operation element is displayed on the image display device based on the transmitted second display information, and one of the displayed operation elements selected by the user is the second operation information as the operation information. A second receiving step of receiving the operation information when returned via the network of
A second transmission step of generating the operation signal based on the operation information received in the second reception step, and transmitting the operation signal to the operated device via the first network. Program to do.

A first network, a second network different from the first network, and an operated device that is connected to the first network and controls operation of its own device based on an operation signal received via the first network. Applied to a remote operation control system comprising a device, a remote control device connected to the first and second networks, and a remote operation terminal connected to the second network and having an image display device and an input device In a computer-readable storage medium storing a remote operation method to be performed as a program,
The remote operation method includes:
A first transmission step in which the operated device transmits first display information including at least one operation element including display image information to the remote control device via the first network;
A detection step in which the remote control device detects a communication state between the remote control device and the remote operation terminal via the second network;
A generation step in which the remote control device generates second display information based on the first display information transmitted from the operated device and the communication state detected by the detection unit;
A second transmission step in which the remote control device transmits the second display information to the remote operation terminal via the second network;
A display step in which the remote operation terminal displays an operation element on the image display device based on the second display information transmitted from the remote control device;
The remote operation terminal transmits one of the operation elements displayed on the image display device selected by the user using the input device to the remote control device via the second network as operation information. A third transmitting step of transmitting;
A fourth transmission step in which the remote control device generates the operation signal based on the operation information transmitted from the remote operation terminal, and transmits the operation signal to the operated device via the first network;
An operation control step of controlling the operation of the operated device based on an operation signal received via the first network.

An operation target device that controls the operation of the own device based on an operation signal received via the first network is connected via the first network and via a second network different from the first network. In a computer-readable storage medium storing a remote operation method applied to a remote control device connected to a remote operation terminal having an image display device as a program,
The remote operation method includes:
A first receiving step of receiving first display information including at least one operation element including display image information from the operated device via the first network;
A detecting step of detecting a communication state with the remote operation terminal via the second network;
A generating step of generating second display information based on the first display information received from the operated device and the communication state detected by the detecting step;
A first transmission step of transmitting the second display information to the remote operation terminal via the second network;
In the remote operation terminal, an operation element is displayed on the image display device based on the transmitted second display information, and one of the displayed operation elements selected by the user is the second operation information as the operation information. A second receiving step of receiving the operation information when returned via the network of
A second transmission step of generating the operation signal based on the operation information received in the second reception step, and transmitting the operation signal to the operated device via the first network. Storage media.