JP2008108184A - タッチパネル搭載装置、外部装置、及び外部装置の操作方法 - Google Patents

Abstract

【課題】容易にタッチパネル搭載装置のディスプレイ及びタッチパネルを利用して外部装置を操作することができるようにする。
【解決手段】タッチパネル搭載装置において、外部装置がタッチパネル搭載装置の表示部において表示させることが可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を記憶している記憶手段と、接続又は内蔵された外部装置から、前記表示部において表示させている画面の通知を受ける画面通知受信手段（ステップ４１）と、外部装置から通知を受けた画面における各操作用図形の画面情報に基づく表示位置と、タッチパネルセンサが出力するタッチ位置とに基づいて、操作された操作用図形を認識する認識手段（ステップ４２〜４４）と、認識手段により認識された操作用図形を外部装置に通知する図形通知手段（ステップ４５）とを設ける。
【選択図】図４

Description

本発明は、表示部及びタッチパネルセンサを備えたタッチパネル搭載装置、該装置に対して接続又は内蔵させることが可能な外部装置、並びに該表示部及びタッチパネルセンサを用いて外部装置を操作する方法に関する。
に関する。

近年、カーナビゲーション機能に加え、音楽や映像ソフトも楽しむことができるようにしたいわゆるＡＶナビが市場に出回っている。ＡＶナビ等の操作はほとんどがタッチパネルにより行うことができるようになっている。ＡＶナビにおいて、操作用のボタン図形はオン・スクリーン・ディスプレイ（以下、「ＯＳＤ」という。）上に表示される。ボタン図形の表示位置と、タッチパネルセンサから入力されるタッチ位置の座標データとを比較することにより、ＡＶナビは、どのボタン図形が操作されたかを認識することができる。

図５はこのようなタッチパネル搭載装置の一例を示すブロック図である。このタッチパネル搭載装置は、ナビゲーション装置やＤＶＤ再生装置等の内部装置により構成され、それらの装置が共用する表示装置を備える。表示装置上のユーザが見る画面は、ナビゲーション装置やＤＶＤ再生装置等が表示装置において出力する映像５１、映像５１に重ねて表示されるＯＳＤ５２、及び表示装置上に設けられたタッチパネルセンサ５３を重ねたものとして構成される。ＯＳＤ５２上には、システムコントローラ５５からの描画指示に基づいて指示された位置に、ＯＳＤ／タッチパネル・コントローラ５４がボタン図形５２ａ及び５２ｂを表示する。

ユーザがＯＳＤ５２上の所望のボタン図形５２ａ又は５２ｂをタッチパネルセンサ５３上からタッチすると、タッチ位置の座標データがタッチパネルセンサ５３からＯＳＤ・タッチパネルコントローラ５４に送られる。ＯＳＤ・タッチパネルコントローラ５４は、この座標データと、ボタン図形５２ａ及び５２ｂの表示位置とを比較することにより、タッチされたボタン図形５２ａ又は５２ｂを特定し、システムコントローラ５５に通知する。システムコントローラ５５は、この通知を受けると、タッチされたボタン図形５２ａ又は５２ｂに対応する動作が行われるように、必要な指示を行う。

このようなタッチパネルを備えた車載装置として、後付けされる機器についても、そのタッチパネルにより操作することができるようにしたものが知られている（たとえば、特許文献１参照）。この装置においては、後付けされる機器を操作するための表示を行う機能を含む制御プログラムを、タッチパネルを備えた車載装置に対し、パソコン等の機器を用いて記憶させ、該制御プログラムによって、後付けされる機器を車載装置のタッチパネルで操作することができるようにしている。

また、この例のように車載装置のディスプレイを使用して、新たに追加する機器を制御することができるようにした他の例としては、追加する機器に専用のタッチパネルを、車載装置のディスプレイに装着するようにしたものも知られている（たとえば、特許文献２参照）。

特開２０００−３４４０２７号公報 特開２００５−２０２５２８号公報

しかしながら、上述図５のタッチパネル搭載装置によれば、図６に示すように、タッチパネル搭載装置５０に対して外部装置６０を接続し、外部装置６０のシステムコントローラ６１がタッチパネル搭載装置５０に対して、外部装置６０を操作するためのボタン図形５１ａ及び５１ｂの画像データを送り、映像５１として表示させるようにしたとしても、ボタン図形５１ａ又は５１ｂがタッチされた場合にタッチパネル搭載装置５０はそれが何を意味するのかを認識することができない。タッチパネルセンサ５３からタッチ位置の座標データが送られてきても、ＯＳＤ・タッチパネルコントローラ５４は、ボタン図形５１ａ及び５１ｂの表示位置を把握していないため、タッチされたのがボタン図形５１ａ又は５１ｂのいずれかであるかを特定することができないからである。したがって、外部装置６０がタッチパネル搭載装置５０のオプション品である場合であっても、外部装置６０をタッチパネル５３で操作することができるようにすることができない。このため、外部装置６０の操作性を向上させることができない。

また、上述のタッチパネルを備えた車載装置に対して機器を後付けする技術によれば、パソコン等の入力機器を用いることにより、後付した機器を操作するためのボタン図形の表示等を行う機能を含む制御プログラムを、パソコン等を用いて車載装置に設定する必要がある。したがって、後付けした機器を操作できるようになるまでに時間を要するとともに、パソコン等による設定操作が煩雑である。

さらに、上述の追加機器に専用のタッチパネルを車載装置に装着する技術によれば、タッチパネルを装着する必要があるので、追加機器を操作することができるようになるまでに手間がかかる。また、車載装置のディスプレイにタッチパネルを取り付けることによって美観を損なうおそれもある。

本発明の目的は、このような従来技術の問題点に鑑み、タッチパネル搭載装置に対して外部装置を接続する場合に、容易にタッチパネル搭載装置のディスプレイ及びタッチパネルを利用して外部装置を操作することができるようにする技術を提供することにある。

この目的を達成するため、第１の発明に係るタッチパネル搭載装置は、タッチパネル搭載装置に接続され又は内蔵され得る外部装置によって使用可能な表示部と、前記表示部上に設けられたタッチパネルセンサと、前記外部装置が前記表示部において表示させることが可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を記憶している記憶手段と、接続又は内蔵された前記外部装置から、前記表示部において表示させている画面の通知を受ける画面通知受信手段と、前記外部装置から通知を受けた画面における各操作用図形の前記画面情報に基づく表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作された操作用図形を認識する認識手段と、前記認識手段により認識された操作用図形を前記外部装置に通知する図形通知手段とを具備することを特徴とする。

ここで、タッチパネル搭載装置としては、たとえば、カーナビゲーション装置が該当する。画面情報には、各操作用図形の機能に関する情報を含めるようにしてもよい。その場合、各操作用図形はその機能によっても識別することができる。操作用図形としては、たとえば操作ボタンの図形が該当する。操作用図形の操作としては、たとえば、操作用図形をタッチする操作や、操作用図形を所定時間内に２度タッチする操作等が該当する。外部装置としては、たとえば、ＣＤチェンジャやハンドフリー電話が該当する。

この構成において、外部装置がタッチパネル搭載装置に接続又は内蔵され、外部装置から、タッチパネル搭載装置の表示部において表示させている画面の通知を受けると、ユーザは、この表示中の画面における操作用図形を操作することにより、外部装置を操作することが可能となる。すなわち、表示中の画面における操作用図形の表示位置は、記憶手段が記憶しているその画面の画面情報に含まれている。そして、表示中の画面におけるいずれかの操作用図形をタッチパネルセンサを介してユーザがタッチすると、表示中の画面における各操作用図形の表示位置と、タッチパネルセンサからのタッチ位置とに基づいて操作された操作用図形が認識され、外部装置に通知される。この通知を受けると、外部装置は、通知された操作用図形に対応する動作を行う。これによれば、ユーザは、外部装置を、タッチパネル搭載装置に対して接続又は内蔵させるだけで、直ちに、その表示部及びタッチパネルセンサを利用して、外部装置を操作することができる。

第２の発明に係るタッチパネル搭載装置は、第１発明において、指示された各表示位置において操作用図形を、オンスクリーンディスプレイの表示要素として前記表示部上に表示するとともに、その各操作用図形の表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作が行われた操作用図形を特定する特定手段を備え、前記認識手段は、前記特定手段に対し、前記外部装置から通知を受けた画面について、対応する前記画面情報に含まれる各表示位置の操作用図形を透明のものとして表示させ、操作が行われた操作用図形を特定させることにより、前記特定手段の機能を利用して、前記操作された操作用図形の認識を行うものであることを特徴とする。ここで、特定手段としては、たとえば、グラフィカルユーザインタフェースを制御する所定のアプリケーションプログラムを用いて実現されるボタン機能を利用したものが該当する。

第３の発明に係る外部装置は、所定のタッチパネル搭載装置に対して接続又は内蔵され、該タッチパネル搭載装置の表示部において、必要な画面を表示させることが可能な外部装置であって、前記タッチパネル搭載装置の表示部において表示させている画面を前記タッチパネル搭載装置に通知する画面通知手段と、前記画面通知手段による通知の後、通知した画面における操作用図形のうち、操作されたと認識されたものの通知を前記タッチパネル搭載装置から受信する図形通知受信手段とを備え、前記図形通知受信手段が操作用図形の通知を受信したとき、その操作用図形に対応する動作を行うことを特徴とする。

第４の発明に係る外部装置の操作方法は、所定のタッチパネル搭載装置が備える表示部及びその上に設けられたタッチパネルセンサを用いて所定の外部装置を操作する方法に関する。この方法は、前記表示部において外部装置が表示可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を、タッチパネル搭載装置の記憶手段に記憶させる工程と、タッチパネル搭載装置に外部装置を接続又は内蔵させる工程と、外部装置が、必要な画面を前記表示部において表示させる工程と、外部装置が、前記表示工程で表示させた画面をタッチパネル搭載装置に通知する工程と、タッチパネル搭載装置が、前記通知工程で通知された画面における各操作用図形の表示位置を前記画面情報に基づいて取得する工程と、タッチパネル搭載装置が、前記取得工程で取得した各操作用図形の表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作された操作用図形を認識する工程と、タッチパネル搭載装置が、前記認識工程で認識した操作用図形を外部装置に通知する工程と、外部装置が、この通知工程により通知された操作用図形に対応する動作を行う工程とを具備することを特徴とする。

本発明によれば、タッチパネル搭載装置において、その表示部において外部装置が表示可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を記憶している記憶手段を設け、外部装置から、表示中の画面の通知を受けた場合、その画面における各操作用図形の前記画面情報に基づく表示位置と、タッチパネルセンサからのタッチ位置とに基づいて、操作された操作用図形を認識し、外部装置に通知するようにしたため、ユーザは、外部装置を、タッチパネル搭載装置に接続又は内蔵するだけで直ちに、その表示部及びタッチパネルセンサを利用して、外部装置を操作することができる。

また、指示された各位置において操作用図形を、オンスクリーンディスプレイの表示要素としてタッチパネル搭載装置の表示部上に表示するとともに、その各操作用図形の表示位置と、タッチパネルセンサからのタッチ位置とに基づいて、操作が行われた操作用図形を特定する特定手段を設け、この機能を利用して、操作された操作用図形の認識を行うようにしたため、グラフィカルユーザインタフェースを制御する既存のアプリケーションプログラムを用いて、操作された操作用図形の認識を行うことができる。

また、外部装置において、タッチパネル搭載装置の表示部において表示中の画面をタッチパネル搭載装置に通知し、その後、通知した画面における操作用図形のうち、操作されたと認識されたものの通知をタッチパネル搭載装置から受けたとき、その操作用図形に対応する動作を行うようにしたため、ユーザは、外部装置を、タッチパネル搭載装置に接続又は内蔵するだけで直ちに、その表示部及びタッチパネルセンサを利用して、外部装置を操作することができる。

図１は、本発明の一実施形態に係る車載システムの構成を示すブロック図である。このシステムはタッチパネル搭載装置１０、及びこれに接続された外部装置１６により構成される。外部装置１６は、タッチパネル搭載装置１０のオプション機器である。タッチパネル搭載装置１０は、ナビゲーション装置やＤＶＤ再生装置等の内部機器を含み、外部装置１６によっても使用可能なディスプレイを備える。

タッチパネル搭載装置１０のディスプレイ上では、内部機器や外部装置１６による映像１１及びＯＳＤ（オンスクリーンディスプレイ）１２の表示が行われる。タッチパネル搭載装置１０のディスプレイにはタッチパネルセンサ１３が設けられており、これを介してユーザがＯＳＤ１２上に表示されるボタン図形１２ａ及び１２ｂをタッチすることができるようになっている。タッチパネルセンサ１３はタッチされた位置の座標データを出力する機能を有する。

タッチパネル搭載装置１０は、ＯＳＤ１２における表示要素としてのボタン図形１２ａ及び１２ｂの表示や、タッチされたボタン図形１２ａ又は１２ｂの特定を行うＯＳＤ／タッチパネル・コントローラ１４、並びにタッチパネル搭載装置１０の各部を制御するシステムコントローラ１５を備える。ＯＳＤ／タッチパネル・コントローラ１４は、システムコントローラ１５からの指示に基づき、指示された各表示位置においてボタン図形１２ａ及び１２ｂをＯＳＤ１２の表示要素として表示するとともに、ボタン図形１２ａ及び１２ｂの表示位置と、タッチパネルセンサ１３が出力するタッチ位置とに基づいて、タッチされたボタン図形１２ａ又は１２ｂを特定し、システムコントローラ１５に通知する機能を有する。

外部装置１６はその各部を制御するシステムコントローラ１７を備える。システムコントローラ１７は、タッチパネル搭載装置１０に対し、そのディスプレイ上に、映像１１としてボタン図形１１ａ及び１１ｂを含む画面を表示させる機能を有する。また、タッチパネル搭載装置１０のシステムコントローラ１５との間で通信を行う機能を有する。システムコントローラ１７は、システムコントローラ１５に対し、現在どの画面を映像１１として表示させているかを通知することができる。

システムコントローラ１５が有する不揮発性のメモリには、タッチパネル搭載装置１０の製造段階において予め、オプション機器である外部装置１６が、タッチパネル搭載装置１０のディスプレイにおいて映像１１として表示させ得る各画面に対応する画面情報が記憶されている。この記憶は、たとえばタッチパネル搭載装置１０の製造時において予めなされている。この画面情報には、各画面における各ボタン図形の表示位置及びそれに割り当てられた機能に関する情報が含まれる。各画面はそれに付された番号や名称によって区別される。また、各ボタン図形は、それに割り当てられた機能や名称によって区別される。

システムコントローラ１５は、外部装置１６のシステムコントローラ１７との間で通信を行う機能を有する。システムコントローラ１５は、システムコントローラ１７からの、いずれの画面を映像１１として表示させているかの情報に基づき、その画面における各ボタン図形１１ａ及び１１ｂの表示位置において透明なボタン図形１２ａ及び１２ｂを表示するように、ＯＳＤ／タッチパネル・コントローラ１４に対して指示することができる。そして、ＯＳＤ／タッチパネル・コントローラ１４から、ボタン図形１２ａ又は１２ｂがタッチされた旨の通知を受けると、その旨をシステムコントローラ１７に通知する。

図３は外部装置１６のシステムコントローラ１７による処理の一部を示すフローチャートである。処理を開始すると、システムコントローラ１７は、まず、ステップ３１において、表示すべき画面の画像データをタッチパネル搭載装置１０に転送し、映像１１として描画させる。この画面には、ユーザにより外部装置１６を操作するためにタッチされるボタン図形１１ａ及び１１ｂの表示が含まれる。

次に、ステップ３２において、上記描画させた画面を、タッチパネル搭載装置１０のシステムコントローラ１５に通知する。この通知により、ＯＳＤ１２においてボタン図形１１ａ及び１１ｂに対応する透明のボタン図形１２ａ及び１２ｂがＯＳＤ１２上に表示され、いずれかのボタン図形がタッチされた場合には、その旨がシステムコントローラ１５から通知されることになる。

次に、ステップ３３において、システムコントローラ１５からのボタン図形１１ａ又は１１ｂがタッチされた旨の通知を待機する。ボタン図形１１ａ又は１１ｂがタッチされた旨の通知を受けると、ステップ３４へ進み、タッチされたと通知された方のボタン図形１１ａ又は１１ｂに割り当てられた機能を実行するための動作が行われるように、各部への指示を行う。これにより、図３の処理が終了する。

この機能の実行に伴い、タッチパネル搭載装置１０のディスプレイ上に表示させている画面を変更する必要がある場合には、再度、図３の処理が同様にして行われ、変更後の画面において、ボタン図形のタッチが検出され、タッチされたボタン図形に対応する機能が実行されることになる。

図４はタッチパネル搭載装置１０のシステムコントローラ１５及びＯＳＤ／タッチパネル・コントローラ１４による処理の一部を示すフローチャートである。処理を開始すると、システムコントローラ１５は、まず、ステップ４１において、外部装置１６がタッチパネル搭載装置１０のディスプレイにおいて映像１１として描画させた画面の通知を待機する。この通知は、図３のステップ３２において、外部装置１６のシステムコントローラ１７からなされるものである。

この通知を受けると、ステップ４２へ進み、通知があった画面の画面情報を不揮発性メモリから読み出し、その画面情報に基づき、ＯＳＤ／タッチパネル・コントローラ１４に対し、対応するボタン図形の表示を行うように指示する。この指示には、読み出した画面情報において特定されている各ボタン図形の表示位置が含まれる。この通知を受けると、ＯＳＤ／タッチパネル・コントローラ１４は、ＯＳＤ１２において、指示された各表示位置において、透明なボタン図形１２ａ及び１２ｂの表示を行う。

次に、ＯＳＤ／タッチパネル・コントローラ１４は、ステップ４３において、タッチパネルセンサ１３からの座標データの通知を待機する。タッチパネルセンサ１３はユーザによってタッチされたとき、そのタッチ位置の座標データをＯＳＤ／タッチパネル・コントローラ１４に通知する。座標データの通知を受けると、ＯＳＤ／タッチパネル・コントローラ１４は、その座標データと、ボタン図形１２ａ及び１２ｂの表示位置とに基づいて、ボタン図形１２ａ又は１２ｂのいずれかがタッチされたかどうかを判定する。いずれもタッチされてはいないと判定した場合には、ステップ４３に戻り、さらに座標データの通知を待機する。

ボタン図形１２ａ又は１２ｂのいずれかがタッチされたと判定した場合には、ステップ４５へ進み、タッチされたボタン図形１２ａ又は１２ｂがタッチされた旨を外部装置システムコントローラ１５に通知する。システムコントローラ１５はこの通知を外部装置１６のシステムコントローラ１７に転送する。この通知は図３のステップ３３において、外部装置１６のシステムコントローラ１７によって受信されることになる。これにより図４の処理は終了する。

なお、ＯＳＤ／タッチパネル・コントローラ１４による透明なボタン図形１２ａ及び１２ｂの表示、並びにそのいずれかがタッチされたかどうかの判定には、グラフィカルユーザインタフェースを制御する既存のアプリケーションプログラムのボタン機能を使用することができる。また、このような機能によらずに、ボタン図形１２ａ及び１２ｂの表示位置及びタッチパネルセンサ１３からのタッチ位置とを比較し、ボタン図形１２ａ又は１２ｂの表示位置の所定の範囲内にタッチ位置が含まれるかどうかに基づき、ボタン図形１２ａ又は１２ｂがタッチされたかどうかを判定するようにしてもよい。

本実施形態によれば、タッチパネル搭載装置１０のオプション機器としての外部装置１６を、タッチパネル搭載装置１０のタッチパネルによって操作することができるので、ユーザに大きなメリットを与えることができる。図３及び図４の処理を繰り返すことによって外部装置１６のすべての操作を、タッチパネル搭載装置１０で表示させた画面を通じて行うことができるので、外部装置１６の操作性を向上させることができる。その際、従来のように、パソコン等の入力機器によってタッチパネル搭載装置１０に対するボタンの設定を行う必要や、外部装置１６専用のタッチパネルをタッチパネル搭載装置１０において装着する必要もない。

図２は本発明の別の実施形態に係る車載システムの構成を示すブロック図である。この場合、外部装置１６はタッチパネル搭載装置１０に内蔵されている。他の点については、図１の形態のものと同様であり、動作も図３及び図４で示されるものと同様である。本実施形態によれば、既存の製品を外部装置１６として内蔵した、新しいタッチパネル搭載装置１０を開発する場合に、システムコントローラ１５の不揮発メモリに記憶される画面情報として、その外部装置１６がタッチパネル搭載装置１０のディスプレイで表示可能な各画面に対応するものを用い、システムコントローラ１５およびシステムコントローラ１６が互いに通信できる手段と受信した通知を実行する手段を用意するだけで、外部装置１６の機能を含むすべての機能をタッチパネル搭載装置１０のタッチパネルで操作することができるようにすることができるので、開発量を抑制することができる。

なお、本発明は上述実施形態に限定されることなく、適宜変形して実施することができる。たとえば、上述においては、操作用図形の操作としてボタン図形をタッチする操作について説明しているが、これ限らず、ボタン図形を所定時間内に２度タッチする操作や、ボタン図形をドラッグするような操作であってもよい。このような場合、外部装置１６に対しては、タッチされたボタンを通知する代わりに、操作されたボタン及び操作の種類や内容を併せて通知するようにしてもよい。

本発明の一実施形態に係る車載システムの構成を示すブロック図である。 本発明の別の実施形態に係る車載システムの構成を示すブロック図である。 図１のシステムにおける外部装置のシステムコントローラによる処理の一部を示すフローチャートである。 図１のシステムにおけるタッチパネル搭載装置のシステムコントローラ及びＯＳＤ／タッチパネル・コントローラによる処理の一部を示すフローチャートである。 従来のタッチパネル搭載装置の一例を示すブロック図である。 従来のタッチパネル搭載装置のける問題点を示すためのブロック図である。

符号の説明

１１，５１：映像、１１ａ，１１ｂ：ボタン図形、１２，５２：ＯＳＤ（オンスクリーンディスプレイ）、１２ａ，１２ｂ：透明のボタン図形、１３，５３：タッチパネルセンサ、１４，５４：ＯＳＤ／タッチパネル・コントローラ、１５，５５：システムコントローラ、１６，６０：外部装置、１７，６１：システムコントローラ、５１ａ，５１ｂ，５２ａ，５２ｂ：ボタン図形。

Claims (4)

1. タッチパネル搭載装置に接続され又は内蔵され得る外部装置によって使用可能な表示部と、
   前記表示部上に設けられたタッチパネルセンサと、
   前記外部装置が前記表示部において表示させることが可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を記憶している記憶手段と、
   接続又は内蔵された前記外部装置から、前記表示部において表示させている画面の通知を受ける画面通知受信手段と、
   前記外部装置から通知を受けた画面における各操作用図形の前記画面情報に基づく表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作された操作用図形を認識する認識手段と、
   前記認識手段により認識された操作用図形を前記外部装置に通知する図形通知手段とを具備することを特徴とするタッチパネル搭載装置。
2. 指示された各表示位置において操作用図形を、オンスクリーンディスプレイの表示要素として前記表示部上に表示するとともに、その各操作用図形の表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作が行われた操作用図形を特定する特定手段を備え、
   前記認識手段は、前記特定手段に対し、前記外部装置から通知を受けた画面について、対応する前記画面情報に含まれる各表示位置の操作用図形を透明のものとして表示させ、操作が行われた操作用図形を特定させることにより、前記特定手段の機能を利用して、前記操作された操作用図形の認識を行うものであることを特徴とする請求項１に記載のタッチパネル搭載装置。
3. 所定のタッチパネル搭載装置に対して接続又は内蔵され、該タッチパネル搭載装置の表示部において、必要な画面を表示させることが可能な外部装置であって、
   前記タッチパネル搭載装置の表示部において表示させている画面を前記タッチパネル搭載装置に通知する画面通知手段と、
   前記画面通知手段による通知の後、通知した画面における操作用図形のうち、操作されたと認識されたものの通知を前記タッチパネル搭載装置から受信する図形通知受信手段とを備え、
   前記図形通知受信手段が操作用図形の通知を受信したとき、その操作用図形に対応する動作を行うことを特徴とする外部装置。
4. 所定のタッチパネル搭載装置が備える表示部及びその上に設けられたタッチパネルセンサを用いて所定の外部装置を操作する方法であって、
   前記表示部において外部装置が表示可能な各画面に関する情報であって、各画面における各操作用図形の表示位置に関する情報を含む画面情報を、タッチパネル搭載装置の記憶手段に記憶させる工程と、
   タッチパネル搭載装置に外部装置を接続又は内蔵させる工程と、
   外部装置が、必要な画面を前記表示部において表示させる工程と、
   外部装置が、前記表示工程で表示させた画面をタッチパネル搭載装置に通知する工程と、
   タッチパネル搭載装置が、前記通知工程で通知された画面における各操作用図形の表示位置を前記画面情報に基づいて取得する工程と、
   タッチパネル搭載装置が、前記取得工程で取得した各操作用図形の表示位置と、前記タッチパネルセンサが出力するタッチ位置とに基づいて、操作された操作用図形を認識する工程と、
   タッチパネル搭載装置が、前記認識工程で認識した操作用図形を外部装置に通知する工程と、
   外部装置が、この通知工程により通知された操作用図形に対応する動作を行う工程とを具備することを特徴とする外部装置の操作方法。

Images