JP2014064115A - 端末装置、遠隔操作システム及び遠隔操作方法 - Google Patents

Abstract

【課題】１台の端末装置で複数台の制御対象機器をより直感的に操作可能とする。
【解決手段】制御対象機器の機器情報、操作画面情報及び操作情報が格納された機器管理データベースと、撮影手段で撮影された制御対象機器の撮影画像のデータと機器管理データベースに格納されている機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、特定された制御対象機器の機器情報に基づいて機器管理データベースを参照し、制御対象機器に対応する操作情報を抽出する情報抽出手段と、撮影された撮影画像を表示する表示手段と、表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、操作入力手段により、抽出された操作情報によって規定された操作領域が操作されると、操作情報の中から操作領域に対応した操作信号を取得して制御対象機器に出力する出力手段と、を備える。
【選択図】図１

Description

本発明は、各種制御対象機器を１台の装置で遠隔操作する端末装置、遠隔操作システム及び遠隔操作方法に関する。

従来、ホームネットワークに接続された複数の情報家電を、拡張現実感技術を利用して遠隔操作する技術が開示されている（例えば、特許文献１参照）。

また、複数の電子機器を互いに区別して遠隔操作の対象として選択する技術が開示されている（例えば、特許文献２参照）。

特許文献１に記載の情報家電操作システムは、情報家電にマーカを備え、マーカ検出時に、対応する情報家電のステータス情報及び／又はコンテンツ情報を取得し、フレームメモリの画像データに、対応する情報家電のステータス情報及び／又はコンテンツ情報を含む操作インターフェースの画像データを合成し、操作インターフェースを通じて入力された動作パラメータ値及び／又はコンテンツ選択情報を対応する情報家電に送信する構成とされている。

また、特許文献２に記載の画像処理装置は、ユーザにより操作可能な物体を識別するための物体識別データ、及び各物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と、実空間内に存在する１つ以上の物体の位置を表現する環境マップであって、撮像装置を用いて前記実空間を撮影することにより得られる入力画像及び前記データ記憶部により記憶されている前記特徴データに基づいて生成される当該環境マップを記憶する環境マップ記憶部と、前記環境マップ記憶部により記憶されている前記環境マップに含まれる物体のうち、前記物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部と、を備えた構成とされている。

特開２０１２−３７９１９号公報 特開２０１１−１４６７９６号公報

特許文献１に記載の情報家電操作システムは、ＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠したネットワークに接続できる機器（情報家電）が操作の対象であり、ネットワークに接続できない機器は操作することができないといった問題があった。すなわち、従来のリモコン対応機器は操作できないといった問題があった。

また、特許文献２に記載の画像処理装置は、物体の位置を表現する環境マップを用いて機器を識別するので、機器の配置が変わると遠隔操作が困難になる可能性があるといった問題があった。また、特許文献２に記載の画像処理装置では、機器を操作するための制御コマンドを表示するコマンド欄が吹き出し（バルーン）の形で画面中央部に表示されており、ユーザは、そのコマンド欄を操作することで制御コマンドを操作対象の機器に送信するようになっている。そのため、操作対象の機器をリモコン上で操作するように直感的に操作することができないといった問題もあった。

本発明はかかる問題点を解決すべく創案されたもので、その目的は、操作対象機器をより直感的に操作できるとともに、操作性を向上させた端末装置、遠隔操作システム及び遠隔操作方法を提供することにある。

上記課題を解決するため、本発明の端末装置は、制御対象機器を遠隔操作する端末装置であって、前記制御対象機器の機器情報、操作画面情報及び前記操作画面情報の各種操作に対応した操作情報が格納された機器管理データベースと、前記制御対象機器を撮影する撮影手段と、撮影された前記制御対象機器の撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、特定された前記制御対象機器の前記機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する情報抽出手段と、前記撮影画像を表示する表示手段と、前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、を備えたことを特徴としている。

また、本発明の端末装置では、前記操作入力手段上の操作領域に対して、前記表示手段に表示された前記制御対象機器の対応する操作領域の表示位置に一致するように座標変換を行う構成としている。

本発明によれば、端末装置の表示手段に表示された制御対象機器の各種操作機能キー等を含む操作領域を表示画面上で直接操作することで、表示手段に表示されている制御対象機器がより直感的に操作可能となる。

また、本発明の端末装置では、前記情報抽出手段は、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、前記表示手段は、前記情報抽出手段にて抽出された前記操作画面情報を前記撮影画像に合成して表示する構成としてもよい。

また、本発明の端末装置では、前記表示手段に表示されている前記操作領域の表示を強調処理する強調処理手段を備えた構成としている。この場合、前記強調処理は、前記操作領域を拡大表示する処理とすることができる。また、前記強調処理は、前記操作領域を並べ替えて表示する処理とすることができる。さらに、前記強調処理は、前記操作領域自体または前記操作領域を含む周辺部を枠で囲む処理であり、前記出力手段は、前記枠で囲まれた領域内が操作されることで、前記枠内の操作領域に対応した前記操作信号を出力する構成とすることができる。さらにまた、前記強調処理は、前記操作領域に対応した吹き出し部を表示する処理であり、前記出力手段は、前記吹き出し部が操作されることで、前記吹き出し部に対応した前記操作領域の前記操作信号を出力する構成とすることができる。

また、本発明の端末装置では、前記撮影手段で複数の制御対象機器が撮影され、前記画像認識手段で複数の前記制御対象機器が認識された場合、前記表示手段は、認識された全ての制御対象機器の前記操作画面情報を前記撮影画像に合成して表示する構成とすることができる。表示手段に複数の操作画面情報を表示することで、同じ画面上で複数の操作画面情報を個別に操作可能となる。

また、本発明の端末装置では、前記複数の操作画面情報の表示から任意の一つの操作画面情報の表示に切り替える一方、前記一つの操作画面情報の表示から前記複数の操作画面情報の表示に切り替える切替手段を備えた構成としてもよい。すなわち、複数の操作画面情報が表示された状態から、ユーザの所望する任意の操作画面情報のみを表示可能とする。

また、本発明の端末装置では、前記撮影手段の撮影方向と前記出力手段の出力方向とが装置筐体上で同じ方向に配置された構成としている。

また、本発明の遠隔操作システムは、機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作システムであって、前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、前記端末装置から送信されてきた制御対象機器を特定する特定情報を受信する受信手段と、前記受信手段で受信した前記特定情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する前記操作情報を抽出する情報抽出手段と、抽出した前記操作情報を前記端末装置に送信する送信手段と、を備え、前記端末装置は、前記制御対象機器の機器情報が格納された既知機器データベースと、制御対象機器を撮影する撮影手段と、撮影した前記制御対象機器の撮影画像のデータと前記既知機器データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、前記画像認識手段にて特定された特定情報を前記機器管理サーバに送信する送信手段と、前記機器管理サーバから送信されてきた前記操作情報を受信する受信手段と、前記受信手段で受信した前記操作情報を前記既知機器データベースに格納する格納手段と、前記撮影手段で撮影された前記撮影画像を表示する表示手段と、前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、を備えたことを特徴としている。

また、本発明の遠隔操作システムは、機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作システムであって、前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、前記端末装置から送信されてきた前記制御対象機器の撮影画像データを受信する受信手段と、受信した前記撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、特定された前記制御対象機器の前記機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する情報抽出手段と、抽出した前記操作情報を端末装置に送信する送信手段と、を備え、前記端末装置は、前記制御対象機器の機器情報が格納された既知機器データベースと、制御対象機器を撮影する撮影手段と、前記撮影手段で撮影した制御対象機器の撮影画像データを前記機器管理データベースに送信する送信手段と、前記機器管理サーバから送信されてきた前記操作情報を受信する受信手段と、受信した前記操作情報を前記既知機器データベースに格納する格納手段と、前記撮影手段で撮影された前記撮影画像を表示する表示手段と、前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、を備えたことを特徴としている。

また、本発明の遠隔操作システムでは、前記情報抽出手段は、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、前記表示手段は、前記情報抽出手段にて抽出された前記操作画面情報を前記撮影画像に合成して表示する構成としてもよい。

本発明によれば、撮影手段で撮影され、表示手段に表示された制御対象機器または制御対象機器の操作画面情報を直接操作することで、表示手段に表示されている制御対象機器を遠隔操作する。これにより、機器管理データベースに格納されている全ての制御対象機器が本発明の端末装置１台のみで操作可能となる。また、機器管理データベースは機器管理サーバに格納されているので、新しい制御対象機器のデータを追加したり更新したりすることが容易となる。

本発明の遠隔操作方法は、撮影手段、画像認識手段、情報抽出手段、表示手段、操作入力手段、及び出力手段を備えた端末装置を用いて制御対象機器を遠隔操作する遠隔操作方法であって、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースを用い、前記撮影手段にて前記制御対象機器を撮影する撮影ステップと、前記画像認識手段が、撮影された前記制御対象機器の撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、前記情報抽出手段が、特定した前記制御対象機器の機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、前記表示手段が、抽出した前記操作画面情報を前記撮影画像のデータに合成して表示する表示ステップと、前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、を含むことを特徴としている。

また、本発明の遠隔操作方法は、機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作方法であって、前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、受信手段と、情報抽出手段と、送信手段と、を備え、前記端末装置は、撮影手段と、既知機器データベースと、画像認識手段と、送信手段と、受信手段と、表示手段と、操作入力手段と、出力手段と、を備え、前記端末装置の撮影手段が、制御対象機器を撮影する撮影ステップと、前記端末装置の画像認識手段が、撮影した前記制御対象機器の撮影画像データと前記既知機器データベースに格納されている機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、前記端末装置の送信手段が、前記画像認識手段にて特定された特定情報を前記機器管理サーバに送信する送信ステップと、前記機器管理サーバの受信手段が、前記特定情報を受信する受信ステップと、前記機器管理サーバの情報抽出手段が、受信した前記特定情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、前記機器管理サーバの送信手段が、抽出した前記操作情報を前記端末装置に送信する送信ステップと、前記端末装置の受信手段が、前記機器管理サーバから送信されてきた前記操作情報を受信する受信ステップと、前記端末装置の格納手段が、受信した前記操作情報を前記既知機器データベースに格納する格納ステップと、前記端末装置の表示手段が、前記撮影手段で撮影された前記撮影画像を表示する表示ステップと、前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記既知機器データベースに格納されている前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、を含むことを特徴としている。

また、本発明の遠隔操作方法は、機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作方法であって、前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、受信手段と、画像認識手段と、情報抽出手段と、送信手段と、を備え、前記端末装置は、撮影手段と、送信手段と、受信手段と、格納手段と、表示手段と、入力操作手段と、出力手段と、を備え、前記端末装置の撮影手段が、制御対象機器を撮影する撮影ステップと、前記端末装置の送信手段が、撮影した前記制御対象機器の撮影画像データを前記機器管理サーバに送信する送信ステップと、前記機器管理サーバの受信手段が、送信されてきた前記撮影画像データを受信する受信ステップと、前記機器管理サーバの画像認識手段が、受信した前記撮影画像データと前記機器管理データベースに格納されている機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、前記機器管理サーバの情報抽出手段が、前記特定した情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、前記機器管理サーバの送信手段が、抽出した前記操作情報を前記端末装置に送信する送信ステップと、前記端末装置の受信手段が、前記機器管理サーバから送信されてきた前記操作情報を受信する受信ステップと、前記端末装置の格納手段が、受信した前記操作情報を前記既知機器データベースに格納する格納ステップと、前記端末装置の表示手段が、前記撮影手段で撮影された前記撮影画像を表示する表示ステップと、前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記既知機器データベースに格納されている前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、を含むことを特徴としている。

また、本発明の遠隔操作方法は、前記抽出ステップでは、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、前記機器管理サーバでの前記送信ステップでは、抽出した前記操作画面情報及びを前記端末装置に送信し、前記端末装置の前記受信ステップでは、前記機器管理サーバから送信されてきた前記操作画面情報を受信し、前記格納ステップでは、受信した前記操作画面情報を前記既知機器データベースに格納し、前記出力ステップでは、前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記既知機器データベースに格納されている前記操作画面情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する構成としてもよい。

本発明によれば、撮影手段で撮影され、表示手段に表示された制御対象機器または制御対象機器の操作画面情報を直接操作することで、表示手段に表示されている制御対象機器を遠隔操作する。これにより、機器管理データベースに格納されている全ての制御対象機器が本発明の端末装置１台のみで操作可能となる。また、機器管理データベースは機器管理サーバに格納されているので、新しい制御対象機器のデータを追加したり更新したりすることが容易となる。

本発明によれば、表示手段に表示された制御対象機器の操作領域を、表示手段の画面上で直接操作することで、表示手段に表示されている制御対象機器を遠隔操作することができる。これにより、機器管理データベースに格納されている全ての制御対象機器が本発明の端末装置１台のみで操作できるため、制御対象機器ごとのリモコン装置が不要となる。

また、本発明によれば、端末装置の表示手段に表示された制御対象機器の各種操作機能キー等の操作領域を画面上で直接操作することで、表示手段に表示されている制御対象機器をより直感的に（すなわち、実際のリモコン装置や機器本体に設けられている操作機能キーを直接操作している感覚で）遠隔操作することができる。

本発明の実施の形態１に係る端末装置の概略構成図である。 機器管理データベースの構成例を示す説明図である。 （ａ）は、図２に示す機器管理データベースの中の機器画像データベースの構成例を示す説明図、（ｂ）は、図２に示す機器管理データベースの中のリモコン画像データベースの構成例を示す説明図、（ｃ）は、図２に示す機器管理データベースの中のコマンド定義データの構成例を示す説明図である。 機器管理データベースの他の構成例を示す説明図である。 （ａ）は、図４に示す機器管理データベースの中の操作パネル画像データベースの構成例を示す説明図、（ｂ）は、図４に示す機管理データベースの中のコマンド定義データの構成例を示す説明図である。 機器管理データベースのさらに他の構成例を示す説明図である。 （ａ）は、図６に示す機器管理データベースの中の機器画像データベースの構成例を示す説明図、（ｂ）は、図６に示す機器管理データベースの中のマスク画像データベースの構成例を示す説明図、（ｃ）は、図６に示す機器管理データベースの中のガイド画像データベースの構成例を示す説明図である。 図６に示す機器管理データベースの中のコマンド定義データの構成例を示す説明図である。 制御対象機器を遠隔操作する具体例１の処理を示すフローチャートである。 （ａ）〜（ｄ）は、具体例１に係る画面表示の説明図である。 制御対象機器を遠隔操作する具体例２の処理を示すフローチャートである。 （ａ）〜（ｅ）は、具体例２に係る画面表示の説明図である。 制御対象機器を遠隔操作する具体例３の処理を示すフローチャートである。 具体例３に係る画面の表示説明図である。 制御対象機器を遠隔操作する具体例４の処理を示すフローチャートである。 制御対象機器を遠隔操作する具体例４の処理を示すフローチャートである。 （ａ），（ｂ）は、具体例４に係る画面表示の説明図である。 本発明の実施の形態２に係る遠隔操作システムの概略構成図である。 （ａ），（ｂ）は、既知機器データベースの構成例を示す説明図である。 制御対象機器を遠隔操作する具体例５の処理を示すフローチャートである。 制御対象機器を遠隔操作する具体例５の処理を示すフローチャートである。 本発明の実施の形態３に係る遠隔操作システムの概略構成図である。 制御対象機器を遠隔操作する具体例６の処理を示すフローチャートである。 制御対象機器を遠隔操作する具体例６の処理を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照して説明する。なお、以下の実施の形態は、本発明を具現化した一例であって、本発明の技術的範囲を限定する性格のものではない。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る端末装置１の概略構成図を示している。

実施の形態１に係る端末装置１は、各種制御対象機器をこの装置１台でそれぞれ遠隔操作することのできる端末装置であって、機器管理データベース１１、操作入力部１２、表示部１３、撮影部１４、画像認識部１５、情報抽出部１６、画像合成部１７、制御コマンド送信部１８を備えており、画像認識部１５、情報抽出部１６及び画像合成部１７は制御装置１９によって構成されている。

制御装置１９は、図示は省略しているが、処理部と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備えて構成される。処理部は、ＣＰＵ（Central Processing Unit）を含み、ＲＯＭに格納されたプログラムを実行し、端末装置１各部を制御するとともに、データ処理を行う。ＲＯＭは、処理部が実行するプログラム及びデータが格納される。ＲＡＭは、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。

機器管理データベース１１は、各種制御対象機器の機器情報、操作画面情報及び操作画面情報の各種操作に対応した操作情報が制御対象機器ごとに対応つけて格納されている。

図２は、機器管理データベース１１の一構成例を示している。ただし、図２に示す機器管理データベース１１Ａは、制御対象機器がリモコン装置を有する場合のリモコン画像に対応した構成例である。

この機器管理データベース１１Ａは、機器情報である機器画像の項目欄１１ａ、メーカー名の項目欄１１ｂ、機種名の項目欄１１ｃ、型番の項目欄１１ｄ、操作画面情報であるリモコン画像の項目欄１１ｅ、操作情報であるコマンド定義データの項目欄１１ｆから構成されている。

機器画像の項目欄１１ａには、例えば図３（ａ）に示すように、機器の正面側から見た外観画像が格納されている。この機器画像は、後述する撮影部１４で撮影された機器画像との照合に用いられる画像データであり、独自の内部座標系（Ｘｉ，Ｙｉ）を持っている。画像データとしては、対象機器の画像データをビットマップで保持する方法の他、輪郭の形状や寸法等のデータ、ブロック別のフーリエ変換後のパラメータなどの特徴情報を保持してもよい。また、図３のような二次元画像ではなく立体的な三次元画像であってもよい。

なお、図３（ａ）では、機器画像としてテレビＡ，Ｂと、ＢＤ（または、ＤＶＤ）レコーダＣとが例示されているが、機器画像はこれらの機種に限定されるものではなく、例えばステレオコンポ、エアコン、扇風機、照明装置等、リモコン装置により制御可能な種々の機器（家電製品）の機器画像が格納されている。従って、メーカー名の項目欄１１ｂ、機種名の項目欄１１ｃ、型番の項目欄１１ｄ、リモコン画像の項目欄１１ｅ、コマンド定義データの項目欄１１ｆの各項目欄にもこれらの機器画像に対応したデータが格納されている。

メーカー名の項目欄１１ｂには、当該機器の製造メーカーの名前が格納されている。

機種名の項目欄１１ｃには、当該機器の機種名（例えば、名称や記号等）が格納されている。

型番の項目欄１１ｄには、当該機器の型番が格納されている。

リモコン画像の項目欄１１ｅには、例えば図３（ｂ）に示すように、当該機器の操作画面情報である専用のリモコン装置の画像（リモコン画像）が格納されている。

コマンド定義データの項目欄１１ｆには、リモコン装置の各種操作機能キー（以下、操作ボタンともいう。）に対応した操作情報が格納されている。すなわち、リモコン画像に各操作ボタンの相対的な位置をマッピングし、この位置に対応させてそれぞれのボタン操作と同等の機能を予めプログラムした状態で、コマンド定義データとして項目欄１１ｆに格納されている。

図３（ｃ）は、項目欄１１ｆに格納されているコマンド定義データの一構成例を示している。

項目欄１１ｆの各行には、対応するリモコン装置のコマンド定義データが格納されている。モコン装置のコマンド定義データは、各操作ボタンに対応した制御コマンド（操作信号：以下同じ）とボタン位置及びそのボタンの入力操作可能範囲（操作領域：以下同じ）とが対応付けて格納されており、各操作ボタンのボタン位置は、この例ではリモコン画像の左上を原点とする各ボタンの中心座標（Ｘｂ，Ｙｂ）と、その有効操作半径ｒとで定義され、この定義されたボタン位置が制御コマンドと対応付けられている。

図３（ｃ）を参照して具体的に説明すると、例えば、リモコン装置ＡＡのコマンド定義データＡＡＡでは、１行目の電源ボタンは、制御コマンド（＝１０）に対して、ボタン位置（Ｘｂ＝１２，Ｙｂ＝１５）、有効操作半径ｒ（＝８）が対応付けられており、２行目以降の各ボタンも同様である。他のリモコン装置ＡＢ，ＣＣ等の各コマンド定義データ（ＡＡＢ，ＣＣＣ）もそれぞれの機器に合わせて同様の構成となっている。

図４は、機器管理データベース１１の他の構成例を示している。ただし、図４に示す機器管理データベース１１Ｂは、例えばステレオコンポ等のように、制御対象機器の正面に操作パネルがある場合の、当該操作パネル画像に対応した構成例である。ただし、この例では、元々、赤外線のリモコン装置で制御可能な音楽レコーダ等を想定している。

この機器管理データベース１１Ｂは、機器情報である機器画像の項目欄１１ａ、メーカー名の項目欄１１ｂ、機種名の項目欄１１ｃ、型番の項目欄１１ｄ、操作画面情報である操作パネル画像の項目欄１１ｅ′、コマンド定義データの項目欄１１ｆ′から構成されている。このうち、項目欄１１ａ〜１１ｄは、上述の機器管理データベース１１Ａと同様の構成であるので説明を省略する。

操作パネル画像の項目欄１１ｅ′には、例えば図５（ａ）に示すように、当該機器の操作画面情報である操作パネル画像が格納されている。

コマンド定義データの項目欄１１ｆ′には、操作パネルの各種操作ボタンに対応した操作情報が格納されている。すなわち、操作パネル画像に各操作ボタンの相対的な位置をマッピングし、この位置に対応させてそれぞれのボタン操作と同等の機能を予めプログラムした状態で、コマンド定義データとして項目欄１１ｆ′に格納されている。

図５（ｂ）は、項目欄１１ｆ′に格納されているコマンド定義データの一構成例を示している。

項目欄１１ｆ′の各行には、対応する操作パネルの各種操作ボタンのコマンド定義データが格納されている。このコマンド定義データは、各操作ボタンに対応した制御コマンドとボタン位置及びそのボタンの入力操作可能範囲とが対応付けて格納されており、各操作ボタンのボタン位置は、この例では操作パネル画像の左上を原点とする各ボタンの中心座標（Ｘｂ，Ｙｂ）及びその中心座標からの各方向（二次元方向Ｘ，Ｙ）の有効距離からなる長方形の範囲として定義され、このボタン位置が制御コマンドと対応付けられている。また、項目欄１１ｆ′には、ボタン操作の前提となる状態（前提状態）、操作後の状態、表示コメント等の各小欄１１ｆ′１〜１１ｆ′３がそれぞれ設けられているとともに、操作ボタンの機能名やボタンに代替する操作可能範囲をバルーンとして表示（吹き出し表示）する場合のバルーン画面座標（Ｘ，Ｙ）も格納可能としている。バルーン画面座標（Ｘ，Ｙ）もバルーンの中心座標（Ｘｂ，Ｙｂ）及びその中心座標からの各方向（二次元方向Ｘ，Ｙ）の有効距離で設定可能としている。各バルーン画面座標はあらかじめ固定値を設定しておいてもよいし、画面の表示状況に応じて動的に設定してもよい。例えば、各バルーン相互や各ボタンの画面上の表示位置が重ならないように調整して設定するとよい。

図５（ｂ）を参照して具体的に説明すると、例えば操作パネルＢＢのコマンド定義データＢＢＢでは、その１行目の操作ボタンが表示コメント欄に記載の録音ボタンであり、録音ボタン操作を有効とするための前提状態がＳＴＯＰであり、録音ボタンの制御コマンド（＝Ｂ１）に対して、ボタン位置である内部座標（Ｘｂ＝２８±３，Ｙｂ＝４０±１５）が対応付けられており、操作後は、ＲＥＣ状態に遷移することを設定している。２行目以降も同様である。また、一時停止ボタンにはバルーン座標も定義されており、この例では、バルーン位置である画面座標（Ｘｂ＝１００±５０，Ｙｂ＝１５０±３０）が対応付けられている。なお、「一時停止」と「再開」は同じ位置において状態に応じて異なる表示と機能を奏するボタンであり、前提状態がＰＬＡＹの場合は一時停止、ＰＡＵＳＥの場合は再開の機能を有することを設定している。

図６は、機器管理データベース１１のさらに他の構成例を示している。図６に示す機器管理データベース１１Ｃは、扇風機に対応した機器管理データベースである。ここで説明する扇風機は、元々、専用のリモコン装置のボタン操作で、首を上下・左右に１単位角度（例えば１単位＝５度）ずつ動かせることが前提である。ただし、図６では、首の角度を変える動作に対応した機器管理データベースの構成例のみを示しており、機器正面に配置されている「電源オン／オフ」、風量の「弱」、「中」、「強」といった操作ボタンについては、図４に示した機器管理データベース１１Ｂと同様の構成とすることができるため、ここではこれら操作ボタンに対応したコマンド定義データの説明を省略する。

この機器管理データベース１１Ｃは、機器情報である機器画像の項目欄１１ａ、メーカー名の項目欄１１ｂ、機種名の項目欄１１ｃ、型番の項目欄１１ｄ、操作可能開始領域を示すマスク画像の項目欄１１ｇ、操作可能開始領域や操作可能方向などの注釈を表すガイド画像の項目欄１１ｈ、コマンド定義データの項目欄１１ｆ″から構成されている。

機器画像の項目欄１１ａには、図７（ａ）に示すように、機器の正面やや上方側から見た外観画像が格納されている。図７（ａ）は、視点の高さを羽根の中心とし、正面から台座のスイッチが見える程度に離れた外観画像である。このような外観上の凹凸のある立体構造を持った機器の画像照合は比較的困難であるが、例えば特徴点として特有の色や形状を持ったマークやバーコードなどを機器に複数つけるなどすることで、照合を容易にすることができる。

操作可能開始領域を示すマスク画像の項目欄１１ｇには、図７（ｂ）に示すように、照合に用いられる画像データである機器画像と同じ内部座標系を持ち、例えば操作開始可能領域のピクセルを「１」（図７（ｂ）では白抜き領域で示している。）、操作不可領域のピクセルを「０」（図７（ｂ）ではドットを付した領域で示している。）で埋めたピクセルマップ情報で保持している。この領域は、後述する有効なフリック操作が行われたかどうかの判定材料となる。

操作可能開始領域や操作可能方向などの注釈を表すガイド画像の項目欄１１ｈには、図７（ｃ）に示すように、照合に用いられる画像データである機器画像と同じ内部座標系を持ち、操作開始可能領域や操作可能方向などの注釈をベクトルデータで保持している。このガイド画像は、画面上の座標系に変換した上で、ユーザが分かり易いように、対象機器を撮影した画像に重ね合わせて表示される。

コマンド定義データの項目欄１１ｆ″には、扇風機の首振り方向に対応した操作情報である制御信号が格納されている。すなわち、マスク画像の操作可能領域に、首振り方向の各操作領域（扇風機の本体に設けられている上下左右の４つの操作ボタンに対応）の相対的な位置をマッピングし、この位置に対応させてそれぞれの領域の操作手法であるフリック操作（タッチしたまま所定の方向へ指を軽く弾く動作）と同等の機能（制御信号出力）を予めプログラムした上で、制御コマンドとしてコマンド定義データの項目欄１１ｆ″に格納されている。

図８は、項目欄１１ｆ″に格納されているコマンド定義データ（この例ではコマンド定義データＨＨＨを例示している。）の一構成例を示している。

項目欄１１ｆ″の各行には、対応する操作方向の各操作領域のコマンド定義データが格納されている。このコマンド定義データは、各操作領域に対応した制御コマンドと、操作領域の操作によって制御される制御方向を定義するフリック方向の欄と、コマンドを1回出力するために要するフリック操作の内部座標上の移動量のピクセル幅を定義するピクセルピッチ／コマンドとが対応付けられている。ここで、"／コマンド"は、“per command”すなわち"１コマンド毎"という意味である。

図８を参照して具体的に説明すると、例えばコマンド定義データＨＨＨでは、その１行目の操作領域が下方向の操作領域であり、下方向の操作領域の制御コマンド（＝Ｈ１）に対して、フリック方向である「＋Ｙ方向」と、前述のピクセルピッチ／コマンドである「１０」とが対応付けられており、２行目以降も同様である。

なお、これら機器管理データベース１１Ａ〜１１Ｃを用いた遠隔操作方法については後ほど具体例を示して説明する。

図１に戻って、操作入力部１２は、装置本体に設けられている操作ボタンや表示部１３上に重ねて配置されているタッチパネル（タッチパッド）等から構成されている。実施の形態１では、タッチパネルとして複数の指が触ったことを認識できるマルチタッチスクリーンを用いている。

表示部１３は、現実空間における画像に仮想空間における各種情報を合成して表示するための拡張現実画像を表示可能であり、液晶パネル、有機ＥＬパネル、プラズマパネル等の表示部品を用いて構成されている。

撮影部１４は、例えばＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを撮像素子に用いたカメラ１４ａであり、現実空間の制御対象機器を撮影し、その撮影画像のデータをＡ／Ｄ変換部１４ｂでＡ／Ｄ変換して画像認識部１５へ出力する。なお、カメラ１４ａとしては、ＷｅｂカメラやＨＤ（High-Definition）解像度の撮影カメラなどの汎用の撮像デバイスを利用することが可能である。

画像認識部１５は、撮影部１４で撮影された制御対象機器の撮影画像のデータと、機器管理データベース１１に格納されている機器情報の一つである機器画像のデータ（上記した照合用の画像データまたは特徴データ）とを比較（照合）して当該機器を認識し特定する処理を行う。

情報抽出部１６は、画像認識部１５で特定された制御対象機器の機器情報（上記した機種名等）をキーとして機器管理データベース１１を検索（参照）し、対応する操作画面情報（上記したリモコン画像や操作パネル画像等）及び操作情報（上記したコマンド定義データ）を抽出する。

画像合成部１７は、情報抽出部１６で抽出された操作画面情報（上記したリモコン画像や操作パネル画像等）を、最初に撮影した撮影画像に合成して表示部１３に表示する。

制御コマンド送信部１８は、表示部１３に表示されている操作画面情報（上記したリモコン画像や操作パネル画像）の任意の操作部（操作ボタン）が操作されると、抽出された操作情報（上記したコマンド定義データ）の中から、操作された操作部に対応した操作信号（上記した制御コマンド）を取得して制御対象機器に出力する。

本発明によれば、撮影部で撮影され、表示部に表示された制御対象機器の操作画面情報を直接操作することで、表示部に表示されている制御対象機器を遠隔操作することができる。これにより、機器管理データベースに格納されている全ての制御対象機器が本発明の端末装置１台のみで操作できるため、制御対象機器ごとのリモコン装置が不要となる。

＜遠隔操作の具体例１＞
上記実施の形態１に係る端末装置１において、図２及び図３（ａ）〜（ｃ）に示した機器管理データベース１１Ａを用いて制御対象機器を遠隔操作する具体例１について、図９に示すフローチャート及び図１０（ａ）〜（ｄ）に示す画面表示の説明図を参照して説明する。

ここでは、ユーザが、自宅等で例えばテレビを視聴する場合に、テレビ専用のリモコン装置ではなく、本発明の端末装置１である例えばスマートフォン等の携帯型端末装置を使用して遠隔操作する場合について説明する。

このとき、ユーザは、端末装置１の撮影部１４を用いて制御対象機器であるテレビを撮影し、端末装置１の表示画面をクリアして、撮影した画像を表示する（ステップＳ１）。図１０（ａ）は、撮影された機器画像の表示状態を示している。ここで、表示される画像は、カメラ機能のプレビュー画面のようなリアルタイムな動画像でもよいし、一旦撮影した静止画像でもよい。

画像認識部１５は、カメラ１４ａで撮影され、Ａ／Ｄ変換部１４ｂでＡ／Ｄ変換された撮影画像のデータと、機器管理データベース１１Ａに格納されている機器情報の一つである機器画像のデータとを比較（照合）して当該機器を認識し（ステップＳ２）、機器の特定に成功したか否かを確認する（ステップＳ３）。機器の特定は、本実施の形態１では形状を認識して行う。テレビの場合は、フレームの色や幅、スタンドの形状の他、メーカー名、機種名、型番の文字を認識に利用して特定してもよい。形状は、機器管理データベース１１Ａに格納されている機器画像の特徴データと照合する。照合の手法としては、画像における各種相関関数、フーリエ変換・特徴点抽出など、従来周知の画像照合技術を応用することができる。

機器の特定に成功すると（ステップＳ３でＹｅｓと判断されると）、情報抽出部１６は、画像認識部１５で特定された制御対象機器の機器情報である例えば機種名や型番等をキーとして機器管理データベース１１Ａを検索し、機器管理データベース１１Ａから対応する操作画面情報であるリモコン画像（例えば、ＡＡ）及び操作情報であるコマンド定義データ（例えば、ＡＡＡ）を読み込む（ステップＳ４）。

画像合成部１７は、情報抽出部１６で読み込んだリモコン画像（ＡＡ）を、画面座標系に変換し、最初に撮影した撮影画像に合成して表示部１３に表示する（ステップＳ５）。合成は、拡張現実感（ＡＲ：Augmented Reality）技術を用い、例えば周知のビデオシースルー方式で表示部１３に表示するようにしてもよい。

図１０（ｂ）は、撮影画像にリモコン画像を合成して表示した状態を示している。

これにより、端末装置１は、画面表示されたリモコン画像の操作による入力イベントの受け付け待ち状態となり（ステップＳ６）、その後、有効なコマンド操作（操作ボタンの有効な操作等）が行われたか否かを監視する（ステップＳ７）。

このとき、図１０（ｂ）に示す表示状態において、例えばリモコン画像を画面上でドラッグ操作（タッチしたまま指を滑らせる操作）して画面上を移動させたり、画面上で２本の指をピンチイン（画面上で２本の指の間隔を縮める操作）またはピンチアウト（画面上で２本の指の間隔を広げる操作）することで、リモコン画像を縮小または拡大（図１０（ｃ）参照）して、操作ボタンを押しやすい位置に表示（強調して表示）するようにしてもよい。また、表示されているリモコン画像の操作ボタン以外の場所をタッチすることで、図１０（ｄ）に示すように、表示画面にリモコン装置の操作ボタンのみを並べて表示（強調して表示）するようにしてもよい。このように操作ボタンを強調して表示することで、操作ボタンの位置が認識し易くなり、操作性が向上する。

また、蓋を開けたりスライドさせることで操作ボタンが出てくる構造のリモコン装置では、蓋開け用のボタンを表示したり、フリック操作で蓋を開けて操作ボタンを表示するようにしてもよい。

このリモコン画像は、撮影画像であるテレビが表示部１３に表示されている間中、合成して表示する。

ここで、画面に表示されたリモコン装置の操作方法としては、リモコン画像上の操作ボタンをそのまま指でタッチしてもよいし、画面に並べ替えて表示した操作ボタンを指でタッチしてもよい。

操作ボタンがタッチされたかどうかの判定は、次のようにして行う。

ユーザがリモコン画像の例えば電源ボタンをタッチしたとき、図３（ｃ）から、電源ボタンの中心座標は（Ｘｂ＝１２，Ｙｂ＝１５）、有効操作半径はｒ＝８である。そこで、タッチした箇所の画面座標（Ｘｔ，Ｙｔ）をリモコン画像上の座標（Ｘｃ，Ｙｃ）に変換（一次変換）して、ｒ１＝√（（Ｘｃ−Ｘｂ）²＋（Ｙｃ−Ｙｂ）²）を算出し、算出された値ｒ１が有効操作半径ｒ＝８に等しいかそれより小さい（ｒ≧ｒ１）場合に、電源ボタン（すなわち、電源ボタンの操作領域）がタッチされた（押された）と判定する。

このようにして任意の操作ボタンがタッチされると（ステップＳ７でＹｅｓと判断されると）、制御コマンド送信部１８は、操作された操作ボタンの制御コマンドを制御対象機器であるテレビに対して出力する（ステップＳ８）。具体的に説明すると、端末装置１の表示部１３に、例えば図２に示す機器管理データベース１１Ａの機器画像Ａの画像（図３（ａ）参照）とリモコン画像ＡＡ（図３（ｂ）参照）とが合成表示されている場合において、リモコン画像ＡＡ中の例えば「チャンネル＋」ボタンが操作されたとすると、制御コマンド送信部１８では、図３（ｃ）に示すリモコン画像ＡＡに対応したコマンド定義データＡＡＡの中から、「チャンネル＋」ボタンの制御コマンド「１Ａ」を取得し、これを制御対象機器であるテレビＡに向けて送信する。ここで、制御コマンド「１Ａ」の送信は、制御対象機器であるテレビＡが対応する方式（赤外線、無線ＬＡＮ、Bluetooth（登録商標）など）で送信する。

この後、表示部１３に表示されている機器画像が静止画像である場合（ステップＳ９でＮｏと判断された場合）には、ステップＳ６に戻って、入力イベントの受け付け待ち状態に復帰する。

一方、表示部１３に表示されている機器画像がカメラ機能のプレビュー画面のようなリアルタイムの動画像である場合（ステップＳ９でＹｅｓと判断された場合）には、ステップＳ１に戻って処理を継続する。なお、表示部１３に表示されている機器画像が動画像である場合、制御対象機器であるテレビが撮影範囲から外れた状態となると、ステップＳ３で機器特定に成功しない（Ｎｏと判断される）ことから、ステップＳ１に戻り、結果としてリモコン画像が表示されず、撮影画像だけの表示が繰り返される。

本具体例1によれば、端末装置1の表示部１３に表示されたリモコン画像の操作ボタンや並べ替えて表示された操作ボタンを直接操作することで、表示部１３に表示されているリモコン装置を直接操作している感覚で遠隔操作することができる。また、制御コマンドを赤外線方式で送信する場合、カメラ１４ａの撮影方向と制御コマンド送信部１８の送信方向とを端末装置１の図示しない装置筐体上で同じ方向に配置することにより、カメラ１４ａで撮影した制御対象機器が表示部に映っているときに制御コマンド送信部１８を制御対象機器に向けることができ、指向性のある赤外線信号を制御対象機器に向けて送信することができる。このことは、後の具体例２〜５の説明においても同様である。

また、本具体例１では、制御対象機器が撮影範囲から外れた状態となると表示画面のリモコン画像を表示しない例を示したが、リモコン画像を表示中にタッチすると継続して表示するようにしてもよい。このことは、以下の具体例２〜６についても同様である。

＜遠隔操作の具体例２＞
上記実施の形態１に係る端末装置１において、図２及び図３（ａ）〜（ｃ）に示した機器管理データベース１１Ａを用いて制御対象機器を遠隔操作する具体例２について、図１１に示すフローチャート及び図１２（ａ）〜（ｅ）に示す画面表示の説明図を参照して説明する。ただし、図１１に示すフローチャートでは、図９に示すフローチャートと同様のステップに同じステップ番号を付すこととし、必要に応じて各ステップの説明を行うものとする。

ここでは、ユーザが、自宅等で例えばＢＤ（またはＤＶＤ）レコーダに録画されている番組を再生してテレビで視聴する場合に、レコーダやテレビ専用のリモコン装置ではなく、本発明の端末装置１である例えばスマートフォン等の携帯型端末装置１台を使用して両機器を遠隔操作する場合について説明する。

ステップＳ１では、制御対象機器であるテレビとＢＤレコーダの２台を１画面に含めて撮影する。図１２（ａ）は、撮影された機器画像を表示部１３に表示している状態の一例を示している。

従って、ステップＳ２〜４の処理は、ステップＳ１１でＹｅｓと判断されるまで繰り返される（すなわち、テレビとＢＤレコーダの両方について処理される）。ここでは、テレビＡのリモコン画像（ＡＡ）及びコマンド定義データ（ＡＡＡ）と、ＢＤレコーダＣのリモコン画像（ＣＣ）及びコマンド定義データ（ＣＣＣ）とが読み込まれたものとして以下説明する。

その結果、ステップＳ５での合成表示では、表示部１３に図１２（ｂ）に示す状態でテレビＡとＢＤレコーダＣの各リモコン画像が表示される。

これにより、端末装置１は、画面表示されたリモコン画像の操作による入力イベントの受け付け待ち状態となり（ステップＳ７）、その後、有効なコマンド操作（操作ボタンの有効な操作等）が行われたか否かを監視する（ステップＳ８）。

このとき、図１２（ｂ）に示す表示状態において、例えば両リモコンを同時にタッチすると、図１２（ｄ）に示すように２つのリモコンを横並びに拡大表示するようにしてもよい。

また、図１２（ｂ）に示す表示状態において、テレビ用のリモコン画像ＡＡにタッチすると、図１２（ｃ）に示すように、テレビ用のリモコン画像ＡＡのみを画面中央部に拡大表示（強調表示）し、ＢＤレコーダ用のリモコン画像ＣＣにタッチすると、図１２（ｅ）に示すように、ＢＤレコーダ用のリモコン画像ＣＣのみを画面中央部に拡大表示（強調表示）するようにしてもよい。また、拡大表示した場合には、画面上に戻るボタンを表示し、この戻るボタンをタッチすることで元の表示に戻すようにしてもよい。

さらに、例えば、リモコン画像ＡＡを中央部に拡大表示している図１２（ｃ）に示す状態で、画面上を例えば左方向にフリック操作することで、図１２（ｅ）に示すように、ページを左方向に捲るようにしてもう一つのリモコン画像ＣＣを画面中央部に表示し、図１２（ｅ）に示す状態で、画面上を例えば右方向にフリック操作することで、図１２（ｃ）に示すように、ページを右方向に捲るようにして元のリモコン画像ＡＡを画面中央部に表示するようにしてもよい。

入力イベントの受け付け待ち状態において、例えばリモコン画像ＡＡ中の例えば「チャンネル＋」ボタン（すなわち、「チャンネル＋」ボタンの操作領域）が操作されたとすると（ステップＳ７でＹｅｓと判断されると）、制御コマンド送信部１８では、図３（ｃ）に示すリモコン画像ＡＡに対応したコマンド定義データＡＡＡの中から、「チャンネル＋」ボタンの制御コマンド「１Ａ」を取得（図３（ｃ）参照）し、これを制御対象機器であるテレビＡに向けて送信する（ステップＳ８）。

同様に、リモコン画像ＣＣ中の例えば「再生」ボタンが操作されたとすると（ステップＳ７でＹｅｓと判断されると）、制御コマンド送信部１８では、図３（ｃ）に示すリモコン画像ＣＣに対応したコマンド定義データＣＣＣの中から、「再生」ボタンの制御コマンド「１Ｅ」を取得（図３（ｃ）参照）し、これを制御対象機器であるＢＤレコーダＣに向けて送信する。

本具体例２によれば、端末装置1の表示部１３に表示された複数のリモコン画像の操作ボタンを直接操作することで、表示部１３に表示されているリモコン装置を直接操作している感覚で遠隔操作することができる。また、複数のリモコン装置を１台の端末装置１の表示画面上で個別に遠隔操作することができる。

＜遠隔操作の具体例３＞
上記実施の形態１に係る端末装置１において、図４及び図５（ｂ）に示した機器管理データベース１１Ｂを用いて制御対象機器を遠隔操作する具体例３について、図１３に示すフローチャート及び図１４に示す表示説明図を参照して説明する。ただし、図１３に示すフローチャートでは、図９に示すフローチャートと同様のステップに同じステップ番号を付すこととし、必要に応じて各ステップの説明を行うものとする。

ここでは、ユーザが、自宅等で例えばステレオコンポを操作して音楽を聴く場合に、コンポ専用のリモコン装置で遠隔操作するのではなく、本発明の端末装置１である例えばスマートフォン等の携帯型端末装置を使用して遠隔操作する場合について説明する。

ユーザは、端末装置１の撮影部１４を用いて制御対象機器であるステレオコンポを撮影し、端末装置１の表示画面をクリアして、撮影した画像を表示する（ステップＳ１）。撮影された機器画像は表示部１３に表示される。

画像認識部１５は、撮影画像のデータと、機器管理データベース１１Ｂに格納されている機器情報の一つである機器画像のデータとを比較（照合）して認識し（ステップＳ２）、撮影画像データの画面座標系（Ｘｏ，Ｙｏ）を、機器管理データベース１１Ｂのコマンド定義データの項目欄１１ｆ′に格納されている独自の内部座標系（Ｘｉ，Ｙｉ）に変換するための変換パラメータを抽出して、当該機器を特定する（ステップＳ２１）。そして、機器の特定に成功すると（ステップＳ３でＹｅｓと判断されると）、情報抽出部１６は、機器管理データベース１１Ｂを検索して、対応する操作画面情報である操作パネル画像（例えば、ＢＢ）及びコマンド定義データ（例えば、ＢＢＢ）を読み込む（ステップＳ４）。

その結果、ステップＳ５での合成処理では、表示部１３に図１４に示す状態で操作パネル画像が表示される。なお、操作パネルは撮影画像データに含まれることから、撮影画像内の操作パネルが充分に鮮明である場合は、必ずしも操作パネル画像を合成表示する必要は無い。

この後、端末装置１は、画面表示された操作パネル画像の操作による入力イベントの受け付け待ち状態となり（ステップＳ６）、その後、入力操作があれば、入力イベントに含まれる座標情報を前記変換パラメータにより内部座標に変換し、変換された内部座標がコマンド定義データの項目欄１１ｆ′内のボタン位置内部座標で規定された領域内に該当するかどうかを判定することにより、有効なコマンド操作（操作ボタンの有効な操作等）が行われたか否かを監視する（ステップＳ７）。

図１４に示す例は、制御対象機器であるステレオコンポの「状態」が“ＰＬＡＹ”である場合を示しており、図５（ｂ）に示すコマンド定義データにおいて、「前提状態」に“ＰＬＡＹ”が含まれる操作ボタン（すなわち、停止、早送、巻戻、一時停止の操作ボタン）のみを有効とし、有効な操作ボタンに、コマンド定義データで定めたガイド画像（図１４中破線で囲む長方形状の枠）ｆ１〜ｆ４、及び表示コメント（停止、早送、巻戻）を表示している。また、一時停止ボタン２４４は、バルーン（吹き出し部）ｂ１を設けてそこに表示コメント（一時停止）を表示している。

逆に言えば、ＰＬＡＹ中に、ＰＬＡＹやＲＥＣの操作ボタンを押すことを、この枠ｆ１〜ｆ４やバルーンｂ１を設けることで禁止している。禁止される操作ボタンの表示としては、単に表示しないという制御の他、グレーなど別の色での表示や網掛け表示などで有効な操作ボタンと区別するようにしてもよい。

ここで、ガイド画像である長方形の枠ｆ１〜ｆ４は、図５（ｂ）に示すコマンド定義データの中の「ボタン位置内部座標（Ｘ，Ｙ）」を画面座標に変換して表示したものである。例えば停止ボタン２４１は、コマンド定義データによって、ボタン位置内部座標が（４６±４，４０±１５）と定義されており、これは内部座標（４６，４０）を中心として、横方向に±４ピクセル、縦方向に±１５ピクセルの長方形の内部が有効操作領域であることを示している。図１４に示す例では、横方向には余裕が無いが縦方向には余裕があるため、有効操作領域を縦方向に長くとってボタンの操作有効面積を稼ぎ、表示画面上でのボタン操作を容易にしている。

また、一時停止ボタン２４４は、コマンド定義データによって、バルーン画面座標が（１００±５０，１５０±３０）と定義されており、これは画面座標（１００，１５０）を中心として、横方向に±５０ピクセル、縦方向に±３０ピクセルの長方形状のバルーンｂ１の内部が有効操作領域であることを示している。このバルーンｂ１を表示することで表示画面上でのボタン操作を容易にしている。

ここで、画面に表示された操作パネルの操作方法としては、操作パネル上の操作ボタンをそのまま指でタッチする。

入力イベントの待ち受け状態において、操作パネル画像ＢＢ中の例えば「停止」ボタン２４１が操作されたとすると（ステップＳ７でＹｅｓと判断されると）、制御コマンド送信部１８では、図５（ｂ）に示す操作パネル画像ＢＢに対応したコマンド定義データＢＢＢの中から、「停止」ボタンの制御コマンド「Ｂ３」を取得し、これを制御対象機器であるステレオコンポＢに向けて送信する（ステップＳ８）。

本具体例３によれば、端末装置1の表示部１３に表示された操作パネル画像の操作ボタンを直接操作することで、表示部１３に表示されている操作パネルを直接操作している感覚で遠隔操作することができる。

＜遠隔操作の具体例４＞
上記実施の形態１に係る端末装置１において、図６及び図８に示した機器管理データベース１１Ｃを用いて制御対象機器である扇風機を遠隔操作する（すなわち、首の角度を変える）具体例４について、図１５Ａ及び図１５Ｂに示すフローチャート、及び図１６（ａ），（ｂ）に示す表示説明図を参照して説明する。

ユーザが、自宅等の扇風機を操作する場合に、専用のリモコン装置で遠隔操作するのではなく、本発明の端末装置１である例えばスマートフォン等の携帯型端末装置を使用して遠隔操作する場合について説明する。ただし、扇風機のオン／オフ、風量の調整等の制御は上記具体例１〜３等と同じであるので、ここではこれらボタン操作の説明は省略し、具体例４では、扇風機の首の角度を変える操作についてのみ説明する。

ユーザは、端末装置１の撮影部１４を用いて制御対象機器である扇風機を撮影し、端末装置１の表示画面をクリアして、撮影した画像を表示する（ステップＳ６１）。撮影された機器画像は、図１６（ａ）に示すように、表示部１３に表示される。ここで、表示される画像は、カメラ機能のプレビュー画面のようなリアルタイムな動画像でもよいし、一旦撮影した静止画像でもよい。

画像認識部１５は、撮影画像のデータと、機器管理データベース１１Ｃに格納されている機器情報の一つである機器画像のデータとを比較（照合）して認識し（ステップＳ６２）、撮影画像データの画面座標系（Ｘｏ，Ｙｏ）を、機器管理データベース１１Ｃのコマンド定義データの項目欄１１ｆ″に格納されている独自の内部座標系（Ｘｉ，Ｙｉ）に変換するためのパラメータを抽出して、当該機器を特定する。（ステップＳ６３）。そして、機器の特定に成功したか否かを確認し（ステップＳ６４）、機器の特定に成功すると（ステップＳ６４でＹｅｓと判断されると）、画像認識部１５は、撮影画像のデータと機器管理データベース１１Ｃの機器画像の項目欄１１ａの特徴データとを照合して、対応する特徴点の座標を複数抽出し、撮影画像のデータの画面座標系（Ｘｏ，Ｙｏ）を、機器管理データベース１１Ｃのコマンド定義データの項目欄１１ｆ″に格納されている独自の内部座標系（Ｘｉ，Ｙｉ）に変換するためのパラメータを算出する（ステップＳ６５）。

情報抽出部１６は、画像認識部１５で特定された制御対象機器の機器情報である例えば機種名や型番等をキーとして機器管理データベース１１Ｃを検索し、対応する操作画面情報であるマスク画像（例えば、ＨＨ）及びガイド画像（例えば、ＨＨ１）の各データ、及び制御コマンドＨＨＨを抽出する（ステップＳ６６）。

画像合成部１７は、情報抽出部１６で抽出されたガイド画像ＨＨ１のデータを前記パラメータを用いて画面座標系に変換し、撮影画像に重ね合わせて表示部１３の画面に表示する（ステップＳ６７）。図１６（ｂ）は、このときの表示部１３の表示画面を示している。図１６（ｂ）中符号３１１で示す破線の円、及び円３１１の中に表示されている上下・左右方向の各矢印３１２がガイド画像に対応している。このガイド画像は、ユーザが見易いように、例えば赤色等で表示されている。

このガイド画像は、撮影画像の中で扇風機が認識・特定され、表示部１３に表示されている間中、重ね合わせて表示する。

この後、端末装置１は、画面表示された扇風機画像の操作による入力イベントの受け付け待ち状態となり（ステップＳ６８）、その後、フリック操作が行われたか否かを監視する（ステップＳ６９）。

ここで、フリック操作されると（ステップＳ６９でＹｅｓと判断されると）、制御装置１９は、フリック入力の開始点の画面座標（Ｘｏｓ，Ｙｏｓ）を機器管理データベース１１Ｃの内部座標系（Ｘｉｓ，Ｙｉｓ）に変換し（ステップＳ７０）、変換後の座標（Ｘｉｓ，Ｙｉｓ）を機器管理データベース１１Ｃに格納されているマスク画像ＨＨのデータと照合して（ステップＳ７１）、座標（Ｘｉｓ，Ｙｉｓ）が操作開始可能領域（操作領域）であるか否か、すなわち、座標（Ｘｉｓ，Ｙｉｓ）の位置がマスク画像ＨＨの内部（図７（ｂ）でマスクされない円内部）であるか否かを判断する（ステップＳ７２）。

その結果、座標（Ｘｉｓ，Ｙｉｓ）が操作開始可能領域である場合（ステップＳ７２でＹｅｓと判断された場合）には、表示画面上でのフリック入力開始点（Ｘｏｓ，Ｙｏｓ）から終了点（Ｘｏｅ，Ｙｏｅ）までのベクトル（Ｘｏｖ＝Ｘｏｅ−Ｘｏｓ，Ｙｏｖ＝Ｙｏｅ−Ｙｏｓ）を内部座標系のベクトル（Ｘｉｖ，Ｙｉｖ）に変換し（ステップＳ７３）、ベクトル（Ｘｉｖ，Ｙｉｖ）のそれぞれの成分の符号（正・負）に基づいて機器管理データベース１１Ｃのコマンド定義データの項目欄１１ｆ″を参照して、制御コマンドとピクセルピッチ／コマンドとを求める。

例えば、内部座標系のベクトル（Ｘｉｖ，Ｙｉｖ）が、（Ｘｉｖ，Ｙｉｖ）＝（４０，−２０）であったとすると、Ｘｉｖ＞０（すなわち、フリック方向が＋Ｘ方向）なので、これに対応する制御コマンドＨ３とピクセルピッチ／コマンド１０とを求め、Ｙｉｖ＜０（すなわち、フリック方向が−Ｙ方向）なので、これに対応する制御コマンドＨ２とピクセルピッチ／コマンド１０とをそれぞれ求める（ステップＳ７４）。

その結果、この例では、Ｘ軸に関する制御コマンドＨ３を４回（＝Ｘｉｖ／ピクセルピッチ＝４０／１０）、Ｙ軸に関する制御コマンドＨ２を２回（＝Ｙｉｖ／ピクセルピッチ＝２０／１０）、それぞれ制御対象機器である扇風機に向けて送信する（ステップＳ７５）。

これを受けて扇風機は、現在の首の方向から、右方向に４単位（２０度）、上方向に２単位（１０度）、首の向きを回転する。

すなわち、画面上でのフリック操作で画面上を弾く長さを長くすることで、１回の操作で制御し得る首の振り角度（回転角度）を大きくすることができ、画面上でのフリック操作で画面上を弾く長さを短くすることで、１回のフリック操作で制御し得る首の振り角度（回転角度）を小さくすることができる。

この後、表示部１３に表示されている機器画像が静止画像である場合（ステップＳ７６でＮｏと判断された場合）には、ステップＳ６８に戻って、入力イベントの受け付け待ち状態に復帰する。

一方、表示部１３に表示されている機器画像がプレビュー画面のようなリアルタイムの動画像である場合（ステップＳ７６でＹｅｓと判断された場合）には、ステップＳ６１に戻って処理を継続する。

本具体例４によれば、端末装置1の表示部１３に表示されたガイド画像の操作可能開始領域内を直接指でフリック操作することで、表示部１３に表示されている扇風機の首の向き角度を遠隔操作することができる。

なお、具体例４では、制御対象機器として扇風機を例示し、制御内容としてフリック操作による首振り角度の制御を例示しているが、制御対象機器及び制御内容はこれらに限定されるものではない。すなわち、種々の制御対象機器に応じて画面上に操作開始可能領域を表示（若しくは、表示せずに単に画面上に設定）し、この表示（若しくは設定）された操作可能領域を、フリック操作やスライド操作等を含む種々の操作方法で操作することで、制御対象機器を遠隔制御することも、本発明に含まれる概念である。

＜実施の形態２＞
図１７は、本発明の実施の形態２に係る遠隔操作システムの概略構成図を示している。

実施の形態２に係る遠隔操作システムは、機器管理サーバ５０と端末装置６０とがネットワークＮを通じて互いに通信を行うことにより、制御対象機器を遠隔操作するシステムである。

従って、実施の形態２に係る遠隔操作システム２では、機器管理サーバ５０が、機器管理データベース５１、情報抽出部５６、及び端末装置６０との間で通信を行うデータベース側通信部５２を備えており、端末装置６０は、既知機器データベース６１、操作入力部６２、表示部６３、カメラ６４ａ及びＡ／Ｄ変換部６４ｂを備えた撮影部６４、画像認識部６５、画像合成部６７、制御コマンド送信部６８、情報格納部７０、及び機器管理サーバ５０との間で通信を行う装置側通信部６６を備えている。画像認識部６５、画像合成部６７、情報格納部７０、及び既知機器データベース６１は制御装置６９に含まれている。

ここで、画像認識部６５は図１の画像認識部１５に対応し、情報抽出部５６は図１の情報抽出部１６に対応し、操作入力部６２は図１の操作入力部１２に対応し、表示部６３は図１の表示部１３に対応し、撮影部６４は図１の撮影部１４に対応し、画像合成部６７は図１の画像合成部１７に対応し、制御コマンド送信部６８は図１の制御コマンド送信部１８に対応し、制御装置６９は図１の制御装置１９に対応している。

また、情報格納部７０は、機器管理サーバ５０から送信されてきた情報を既知機器データベース６１に格納する処理を行う。

図１８（ａ）は、既知機器データベース６１の一構成例を示している。ただし、図１８（ａ）に示す既知機器データベース６１は、図２に示した機器管理データベース１１Ａに対応しており、制御対象機器がリモコン装置を有する場合のリモコン画像に対応した構成例である。

この既知機器データベース６１は、機器情報である機器画像の項目欄１１ａ１と、機器管理サーバ５０から受信した操作画面情報を格納するリモコン画像の項目欄１１と、機器管理サーバ５０から受信した操作情報を格納するコマンド定義データの項目欄１１ｆとで構成されている。すなわち、リモコン画像の項目欄１１ｅ１及びコマンド定義データの項目欄１１ｆ１は、最初は空欄となっており、機器管理サーバ５０側から制御対象機器の操作画面情報と操作情報とを受信するたびに、対応する制御対象機器の機器画像の項目欄１１ａ１に操作画面情報と操作情報とを対応させて順次格納（蓄積）していくことになる。端末装置６０では、この既知機器データベース６１に格納された操作画面情報及び操作情報に基づいて制御対象機器の操作を制御することになる。

本発明の遠隔操作システム２によれば、撮影部６４で撮影され、表示部６３に表示された制御対象機器の操作画面情報を直接操作することで、表示部６３に表示されている制御対象機器を遠隔操作することができる。これにより、機器管理データベース５１に格納されている全ての制御対象機器が本発明の端末装置１台のみで操作できるため、制御対象機器ごとのリモコン装置が不要となる。また、機器管理データベース５１は機器管理サーバ５０に格納されているので、新しい制御対象機器のデータを追加したり更新したりすることが容易にできる。さらに、制御対象機器の全データを端末装置６０側で持つ必要がないため、端末装置６０の負担が軽減される。さらに、端末装置６０側に格納された操作対象機器のデータは再び機器管理サーバ５０から取得する必要がないので、端末装置６０側のみの処理で操作対象機器の操作を制御することができる。

ここでは端末装置６０に既知機器データベース６１を持つ構成例を示したが、端末装置６０の負荷を更に軽減するため、端末装置６０に既知機器データベース６１を持たず、機器管理サーバ５０から受信した操作画面情報と操作情報をそのまま利用して制御対象機器の操作を制御するようにしてもよい。

＜遠隔操作の具体例５＞
次に、上記構成の遠隔操作システム２を用いて制御対象機器を遠隔操作する具体例５について、図１９Ａ及び図１９Ｂのフローチャートを参照して説明する。ただし、図１９Ａは端末装置６０のフローチャート、図１９Ｂは機器管理サーバ５０のフローチャートである。なお、具体例５は、端末装置６０側で撮影した撮影画像データ、及び機器管理サーバ５０側で抽出された操作画面情報及び操作情報を、機器管理サーバ５０と端末装置６０とで送受信する以外は、実質的に具体例１に対応しているため、具体例１で用いた機器管理データベース１１Ａを本具体例５でも用いることとする。また、図１０（ａ）に示す画面表示の説明図も併せて用いることとする。

ユーザは、端末装置６０の撮影部６４を用いて制御対象機器であるテレビを撮影し、端末装置１の表示画面をクリアして、撮影した画像を表示する（ステップＳ７１）。ここでは、図２に示した機器管理データベース１１Ａの機器画像Ａに対応するテレビが撮影されたものとする。

撮影された機器画像は表示部６３に表示される（図１０（ａ）参照）。

画像認識部６５は、撮影画像のデータと、既知機器データベース６１に格納されている機器情報である機器画像Ａのデータとを比較（照合）して認識し（ステップＳ７２）、機器の特定に成功したか否かを確認する（ステップＳ７３）。機器の特定は具体例１と同様に行うことができる。

装置側通信部６６は、このようにして特定された特定情報（特徴データまたは機器の撮影画像のデータ等）を、機器管理サーバ５０に送信し（ステップＳ７４）、その後、機器管理サーバ５０からの情報の受信待ち状態となる（ステップＳ７５）。

一方、機器管理サーバ５０は、端末装置６０からの特定情報の受信待ち状態となっている（ステップＳ９１）。この状態で端末装置６０からの特定情報を受信すると（ステップＳ９１でＹｅｓと判断されると）、この特定情報に基づいて機器管理データベース５１を検索し、対応する操作画面情報であるリモコン画像のデータ（例えば、ＡＡ）及び操作情報であるコマンド定義データ（例えば、ＡＡＡ）を抽出し（ステップＳ９２）、この抽出したリモコン画像のデータ及びコマンド定義データをデータベース側通信部５２及びネットワークＮを通じて端末装置６０側に送信する（ステップＳ９３）。

一方、端末装置６０は、機器管理サーバ５０からリモコン画像ＡＡのデータとコマンド定義データＡＡＡのデータとを受信すると（ステップＳ７５でＹｅｓと判断されると）、情報格納部７０は、受信したリモコン画像ＡＡのデータとコマンド定義データＡＡＡとを機器画像Ａに対応させて既知機器データベース６１に格納する。図１８（ｂ）は、既知機器データベース６１にモコン画像ＡＡのデータとコマンド定義データＡＡＡとが格納された状態を示している。

画像合成部６７は、既知機器データベース６１に格納されたリモコン画像ＡＡを、画面座標系に変換し、最初に撮影した撮影画像に合成して表示部６３に表示する（ステップＳ７６）。

この後のステップＳ７７〜Ｓ８０の処理は、具体例１で説明した図１３のステップＳ６〜Ｓ９の処理と同じであるので、ここでは説明を省略する。

本具体例５によれば、端末装置1の表示部６３に表示されたリモコン画像の操作ボタンを直接操作することで、表示部６３に表示されているリモコン装置を直接操作している感覚で遠隔操作することができる。

＜実施の形態３＞
図２０は、本発明の実施の形態３に係る遠隔操作システムの概略構成図を示している。

上記実施の形態２に係る遠隔操作システムと本実施の形態３に係る遠隔操作システムとの違いは、本実施の形態３に係る遠隔操作システムが、画像認識部５５を機器管理サーバ５０側に備えた構成とした点であり、その他の構成は上記実施の形態２に係る遠隔操作システムと同様であるので、ここでは同構成部材の詳細な説明は省略する。

本実施の形態３に係る遠隔操作システム２によれば、画像認識を機器管理サーバ５０側で行うことから、端末装置１側の負担を軽減することができる。

＜遠隔操作の具体例６＞
次に、上記構成の遠隔操作システム２を用いて制御対象機器を遠隔操作する具体例６について、図２１Ａ及び図２１Ｂのフローチャートを参照して説明する。ただし、図２１Ａは端末装置６０のフローチャート、図２１Ｂは機器管理サーバ５０のフローチャートである。なお、本具体例６も、端末装置６０側で撮影した撮影画像データ、及び機器管理サーバ５０側で抽出された操作画面情報及び操作情報を、機器管理サーバ５０と端末装置６０とで送受信する以外は、実質的に具体例１に対応しているため、具体例１で用いた機器管理データベース１１Ａを本具体例６でも用いることとする。また、図１５（ａ）に示す画面表示の説明図も併せて用いることとする。

ユーザは、端末装置６０の撮影部６４を用いて制御対象機器であるテレビを撮影し、端末装置１の表示画面をクリアして、撮影した画像を表示する（ステップＳ１０１）。ここでは、図２に示した機器管理データベース１１Ａの機器画像Ａに対応するテレビが撮影されたものとする。

撮影された機器画像は表示部６３に表示される（図１０（ａ）参照）。

装置側通信部６６は、このようにして撮影された撮影画像データを、機器管理サーバ５０に送信し（ステップＳ１０２）、機器管理サーバ５０から機器特定に失敗のエラーコードを受信したかどうかを判断する（ステップＳ１０３）。そして、エラーコードを受信した場合（ステップＳ１０３でＹｅｓと判断された場合）はステップＳ１０１に戻り、エラーコードを受信しなかった場合（ステップＳ１０３でＮｏと判断された場合）は、機器管理サーバ５０からの情報の受信待ち状態となる（ステップＳ１０４）。
一方、機器管理サーバ５０は、端末装置６０からの撮影画像データの受信待ち状態となっている（ステップＳ１１１）。この状態で端末装置６０から撮影画像データを受信すると（ステップＳ１１１でＹｅｓと判断されると）、画像認識部６５は、受信した撮影画像のデータと、機器管理データベース５１に格納されている機器情報である機器画像Ａのデータとを比較（照合）して認識し（ステップＳ１１２）、機器の特定に成功したか否かを確認する（ステップＳ１１３）。機器の特定は具体例１と同様に行うことができる。

機器の特定に成功すると（ステップＳ１１３でＹｅｓと判断されると）、情報抽出部５６は、特定された特定情報に基づいて機器管理データベース５１を検索し、対応する操作画面情報であるリモコン画像のデータ（例えば、ＡＡ）及び操作情報であるコマンド定義データ（例えば、ＡＡＡ）を抽出し（ステップＳ１１４）、この抽出したリモコン画像のデータ及びコマンド定義データをデータベース側通信部５２及びネットワークＮを通じて端末装置６０側に送信する（ステップＳ１１５）。一方、機器の特定に失敗した場合（ステップＳ１１３でＮｏと判断された場合）は、エラーコードを端末装置６０に送信する（ステップＳ１１６）。

端末装置６０は、機器管理サーバ５０から機器特定に失敗のエラーコードを受信したか否かを確認し、エラーコードを受信した場合（ステップＳ１０３でＹｅｓと判断された場合）はステップＳ１０１に戻る。一方、エラーコードを受信しなかった場合（ステップＳ１０３でＮｏと判断された場合）は、次に、機器管理サーバ５０からリモコン画像ＡＡのデータとコマンド定義データＡＡＡのデータとを受信したか否かを確認し（ステップＳ１０４）、リモコン画像ＡＡのデータとコマンド定義データＡＡＡのデータとを受信すると（ステップＳ１０４でＹｅｓと判断されると）、情報格納部７０は、受信したモコン画像ＡＡのデータとコマンド定義データＡＡＡとを機器画像Ａに対応させて既知機器データベース６１に格納する。

画像合成部６７は、既知機器データベース６１に格納されたリモコン画像ＡＡを、画面座標系に変換し、最初に撮影した撮影画像に合成して表示部６３に表示する（ステップＳ１０５）。

この後のステップＳ１０６〜Ｓ１０９の処理は、具体例１で説明した図１３のステップＳ６〜Ｓ９の処理と同じであるので、ここでは説明を省略する。

本具体例６によれば、端末装置1の表示部６３に表示されたリモコン画像の操作ボタンを直接操作することで、表示部６３に表示されているリモコン装置を直接操作している感覚で遠隔操作することができる。

なお、上記具体例２〜４についても、上記具体例１に対応した上記具体例５，６と同様にして、本実施の形態２，３に係る遠隔操作システムにおいて実施することができる。従って、本実施の形態２，３に係る遠隔操作システムによる上記具体例２〜４に対応した処理についての説明は、ここでは省略する。

今回開示した実施形態はすべての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれる。

１，６０ 端末装置（携帯型端末装置）
２ 遠隔操作システム
１１（１１Ａ〜１１Ｄ），５１ 機器管理データベース
１２，６２ 操作入力部（操作入力手段）
１３，６３ 表示部（表示手段）
１４，７４ 撮影部（撮影手段）
１４ａ，６４ａ カメラ
１４ｂ，６４ｂ Ａ／Ｄ変換部
１５，５５，６５ 画像認識部（画像認識手段）
１６，５６ 情報抽出部（情報抽出手段）
１７，６７ 画像合成部（画像合成手段）
１８，６８ 制御コマンド送信部（出力手段）
１９，６９ 制御装置
５０ 機器管理サーバ
６１ 既知機器データベース
７０ 情報格納部（情報格納手段）

Claims (18)

1. 制御対象機器を遠隔操作する端末装置であって、
   前記制御対象機器の機器情報、操作画面情報及び前記操作画面情報の各種操作に対応した操作情報が格納された機器管理データベースと、
   前記制御対象機器を撮影する撮影手段と、
   撮影された前記制御対象機器の撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、
   特定された前記制御対象機器の前記機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する情報抽出手段と、
   前記撮影画像を表示する表示手段と、
   前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、
   前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、
   を備えたことを特徴とする端末装置。
2. 請求項１に記載の端末装置であって、
   前記操作入力手段上の操作領域に対して、前記表示手段に表示された前記制御対象機器の対応する操作領域の表示位置に一致するように座標変換を行うことを特徴とする端末装置
3. 請求項１または請求項２に記載の端末装置であって、
   前記情報抽出手段は、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、
   前記表示手段は、前記情報抽出手段にて抽出された前記操作画面情報を前記撮影画像に合成して表示することを特徴とする端末装置。
4. 請求項３に記載の端末装置であって、
   前記表示手段に表示されている前記操作領域の表示を強調処理する強調処理手段を備えたことを特徴とする端末装置。
5. 請求項４に記載の端末装置であって、
   前記強調処理は、前記操作領域を拡大表示する処理であることを特徴とする端末装置。
6. 請求項４または請求項５に記載の端末装置であって、
   前記強調処理は、前記操作領域を並べ替えて表示する処理であることを特徴とする端末装置。
7. 請求項４から請求項６までのいずれか１項に記載の端末装置であって、
   前記強調処理は、前記操作領域自体または前記操作領域を含む周辺部を枠で囲む処理であり、
   前記出力手段は、前記枠で囲まれた領域内が操作されることで、前記操作領域に対応した操作信号を出力することを特徴とする端末装置。
8. 請求項４から請求項６までのいずれか１項に記載の端末装置であって、
   前記強調処理は、前記操作領域に対応した吹き出し部を表示する処理であり、
   前記出力手段は、前記吹き出し部が操作されることで、前記吹き出し部に対応した前記操作領域の操作信号を出力することを特徴とする端末装置。
9. 請求項３から請求項８までのいずれか１項に記載の端末装置であって、
   前記撮影手段で複数の制御対象機器が撮影され、前記画像認識手段で複数の前記制御対象機器が認識された場合、前記表示手段は、認識された全ての制御対象機器の前記操作画面情報を前記撮影画像に合成して表示することを特徴とする端末装置。
10. 請求項９に記載の端末装置であって、
    前記複数の操作画面情報の表示から任意の一つの操作画面情報の表示に切り替える一方、前記一つの操作画面情報の表示から前記複数の操作画面情報の表示に切り替える切替手段を備えたことを特徴とする端末装置。
11. 請求項１から請求項１０までのいずれか１項に記載の端末装置であって、
    前記撮影手段の撮影方向と前記出力手段の出力方向とが装置筐体上で同じ方向に配置されていることを特徴とする端末装置。
12. 機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作システムであって、
    前記機器管理サーバは、
    前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、
    前記端末装置から送信されてきた制御対象機器を特定する特定情報を受信する受信手段と、
    前記受信手段で受信した前記特定情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する前記操作情報を抽出する情報抽出手段と、
    抽出した前記操作情報を前記端末装置に送信する送信手段と、を備え、
    前記端末装置は、
    前記制御対象機器の機器情報が格納された既知機器データベースと、
    制御対象機器を撮影する撮影手段と、
    撮影した前記制御対象機器の撮影画像のデータと前記既知機器データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、
    前記画像認識手段にて特定された特定情報を前記機器管理サーバに送信する送信手段と、
    前記機器管理サーバから送信されてきた前記操作情報を受信する受信手段と、
    前記受信手段で受信した前記操作情報を前記既知機器データベースに格納する格納手段と、
    前記撮影手段で撮影された前記撮影画像を表示する表示手段と、
    前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、
    前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、
    を備えたことを特徴とする遠隔操作システム。
13. 機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作システムであって、
    前記機器管理サーバは、
    前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、
    前記端末装置から送信されてきた前記制御対象機器の撮影画像データを受信する受信手段と、
    受信した前記撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する画像認識手段と、
    特定された前記制御対象機器の前記機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する情報抽出手段と、
    抽出した前記操作情報を端末装置に送信する送信手段と、を備え、
    前記端末装置は、
    前記制御対象機器の機器情報が格納された既知機器データベースと、
    制御対象機器を撮影する撮影手段と、
    前記撮影手段で撮影した制御対象機器の撮影画像データを前記機器管理データベースに送信する送信手段と、
    前記機器管理サーバから送信されてきた前記操作情報を受信する受信手段と、
    受信した前記操作情報を前記既知機器データベースに格納する格納手段と、
    前記撮影手段で撮影された前記撮影画像を表示する表示手段と、
    前記表示手段の表示画面上の任意の位置を指示して操作入力する操作入力手段と、
    前記操作入力手段により、抽出された前記操作情報によって規定された操作領域が操作されると、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力手段と、
    を備えたことを特徴とする遠隔操作システム。
14. 請求項１２または請求項１３に記載の遠隔操作システムであって、
    前記情報抽出手段は、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、
    前記表示手段は、前記情報抽出手段にて抽出された前記操作画面情報を前記撮影画像に合成して表示することを特徴とする遠隔操作システム。
15. 撮影手段、画像認識手段、情報抽出手段、表示手段、操作入力手段、及び出力手段を備えた端末装置を用いて制御対象機器を遠隔操作する遠隔操作方法であって、
    前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースを用い、
    前記撮影手段にて前記制御対象機器を撮影する撮影ステップと、
    前記画像認識手段が、撮影された前記制御対象機器の撮影画像のデータと前記機器管理データベースに格納されている前記機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、
    前記情報抽出手段が、特定した前記制御対象機器の機器情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、
    前記表示手段が、抽出した前記操作画面情報を前記撮影画像のデータに合成して表示する表示ステップと、
    前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、
    を含むことを特徴とする遠隔操作方法。
16. 機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作方法であって、
    前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、受信手段と、情報抽出手段と、送信手段と、を備え、
    前記端末装置は、撮影手段と、既知機器データベースと、画像認識手段と、送信手段と、受信手段と、表示手段と、操作入力手段と、出力手段と、を備え、
    前記端末装置の撮影手段が、制御対象機器を撮影する撮影ステップと、
    前記端末装置の画像認識手段が、撮影した前記制御対象機器の撮影画像データと前記既知機器データベースに格納されている機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、
    前記端末装置の送信手段が、前記画像認識手段にて特定された特定情報を前記機器管理サーバに送信する送信ステップと、
    前記機器管理サーバの受信手段が、前記特定情報を受信する受信ステップと、
    前記機器管理サーバの情報抽出手段が、受信した前記特定情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、
    前記機器管理サーバの送信手段が、抽出した前記操作情報を前記端末装置に送信する送信ステップと、
    前記端末装置の受信手段が、前記機器管理サーバから送信されてきた前記操作情報を受信する受信ステップと、
    前記端末装置の格納手段が、受信した前記操作情報を前記既知機器データベースに格納する格納ステップと、
    前記端末装置の表示手段が、前記撮影手段で撮影された前記撮影画像を表示する表示ステップと、
    前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記既知機器データベースに格納されている前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、
    を含むことを特徴とする遠隔操作方法。
17. 機器管理サーバと端末装置との間の通信により制御対象機器を遠隔操作する遠隔操作方法であって、
    前記機器管理サーバは、前記制御対象機器の機器情報及び操作情報が格納された機器管理データベースと、受信手段と、画像認識手段と、情報抽出手段と、送信手段と、を備え、
    前記端末装置は、撮影手段と、送信手段と、受信手段と、格納手段と、表示手段と、入力操作手段と、出力手段と、を備え、
    前記端末装置の撮影手段が、制御対象機器を撮影する撮影ステップと、
    前記端末装置の送信手段が、撮影した前記制御対象機器の撮影画像データを前記機器管理サーバに送信する送信ステップと、
    前記機器管理サーバの受信手段が、送信されてきた前記撮影画像データを受信する受信ステップと、
    前記機器管理サーバの画像認識手段が、受信した前記撮影画像データと前記機器管理データベースに格納されている機器情報の一つである機器画像のデータとを比較して当該機器を認識し特定する特定ステップと、
    前記機器管理サーバの情報抽出手段が、前記特定した情報に基づいて前記機器管理データベースを参照し、前記制御対象機器に対応する操作情報を抽出する抽出ステップと、
    前記機器管理サーバの送信手段が、抽出した前記操作情報を前記端末装置に送信する送信ステップと、
    前記端末装置の受信手段が、前記機器管理サーバから送信されてきた前記操作情報を受信する受信ステップと、
    前記端末装置の格納手段が、受信した前記操作情報を前記既知機器データベースに格納する格納ステップと、
    前記端末装置の表示手段が、前記撮影手段で撮影された前記撮影画像を表示する表示ステップと、
    前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記出力手段が、前記既知機器データベースに格納されている前記操作情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力する出力ステップと、
    を含むことを特徴とする遠隔操作方法。
18. 請求項１５から請求項１７までのいずれか１項に記載の遠隔操作方法であって、
    前記抽出ステップでは、前記制御対象機器の前記操作情報に対応する操作画面情報をさらに抽出し、
    前記機器管理サーバでの前記送信ステップでは、抽出した前記操作画面情報及びを前記端末装置に送信し、
    前記端末装置の前記受信ステップでは、前記機器管理サーバから送信されてきた前記操作画面情報を受信し、
    前記格納ステップでは、受信した前記操作画面情報を前記既知機器データベースに格納し、
    前記出力ステップでは、前記表示手段の表示画面上の任意の位置が前記操作入力手段により指示されることにより、抽出された前記操作情報によって規定された操作領域が操作されると、前記既知機器データベースに格納されている前記操作画面情報の中から前記操作領域に対応した操作信号を取得して前記制御対象機器に出力することを特徴とする遠隔操作方法。

Images