WO2013150637A1

WO2013150637A1 - 端末装置、表示装置、キャリブレーション方法及びキャリブレーションプログラム

Info

Publication number: WO2013150637A1
Application number: PCT/JP2012/059382
Authority: WO
Inventors: 俊一郎長尾; 洋三竹原; 村田　利幸
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2012-04-05
Filing date: 2012-04-05
Publication date: 2013-10-10
Anticipated expiration: 2014-10-05
Also published as: JP5706039B2; JPWO2013150637A1; US20150109262A1

Description

端末装置、表示装置、キャリブレーション方法及びキャリブレーションプログラム

　本発明は、相互に接続された端末装置と表示装置のタッチ入力のキャリブレーションに関する。

　近年、カーナビゲーション装置などの車載機と、スマートフォンなどの端末装置とを接続して利用することが行われている。

　例えば、特許文献１には、携帯端末と車載機を連携させ、車載機から携帯端末で実行されるアプリケーションを操作するシステムが記載されている。

　非特許文献１は、スマートフォンにインストールされたアプリケーションに専用のモジュールを組み込むことにより、スマートフォンの表示画像を車載機に送信して車載機の表示部に表示し、かつ、車載機の表示部に対するタッチ入力によってスマートフォンのアプリケーションを操作する技術を提案している。

　なお、特許文献２は、表示モードの変更と同時に自動的にタッチパネルのキャリブレーションを行う手法を記載している。

特開２０１０－１３０６７０号公報特開２００６－３０９４６６号公報

AppRadio Pioneer Electronics USA http://www.pioneerelectronics.com/PUSA/Car/AppRadio

　非特許文献１のように、スマートフォンの表示画像を表示装置に送信して表示する場合、スマートフォンと表示装置とで表示画像の画素数やアスペクト比は必ずしも一致しない。よって、スマートフォンの機種によっては、出力する画像のアスペクト比を確保するために、出力画像の上下／左右に黒枠のエリアが付加される場合がある。即ち、表示装置のタッチパネルに表示される画像は、スマートフォンの表示画像の上下／左右に黒枠のエリアを付加した画像となる。

　この場合、黒枠のエリアは表示画像内であるので、表示装置は黒枠のエリアが表示されているか否かを判別することはできない。そのため、表示装置のタッチパネル上で黒枠の部分がタッチされた場合、そのエリアはスマートフォンとしてはボタンなどが無いエリアであるにも関わらず、スマートフォン側では表示画像内のエリアがタッチされたと判定してしまう恐れがある。また、表示装置のタッチパネルに表示されている画像のエリアと、実際のタッチエリアとが一致しないため、黒枠のエリアより内側のエリアでもユーザによるタッチ座標がずれる可能性がある。

　この点、特許文献３は、表示装置の表示モードが変更されるたびにタッチパネルのキャリブレーションを行うことを記載している。しかし、この手法では、開発時に対応予定の表示装置ごとにキャリブレーションの調整が必要となる。また、予定された表示装置に対してのみキャリブレーションが可能であり、新たな表示装置が接続された場合には対応することができない。

　本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、新たな表示装置が接続された場合であっても、端末装置と表示装置の表示画像のずれに起因する入力位置のずれを容易に補正できるようにすることを目的とする。

　請求項１に記載の発明は、端末装置であって、第１の画像を表示する表示部と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力部と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を、前記表示装置から取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得部と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、を備えることを特徴とする。

　請求項４に記載の発明は、表示部を備える端末装置により実行されるキャリブレーション方法であって、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を有することを特徴とする。

　請求項５に記載の発明は、表示部及びコンピュータを備える端末装置により実行されるキャリブレーションプログラムであって、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を前記コンピュータに実行させることを特徴とする。

　請求項６に記載の発明は、端末装置と通信可能な表示装置であって、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して表示する表示部と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得部と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、前記第１の画像上の入力位置を前記端末装置に送信する通信部と、を備えることを特徴とする。

　請求項７に記載の発明は、表示部を備え、端末装置と通信可能な表示装置により実行されるキャリブレーション方法であって、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、を有することを特徴とする。

　請求項８に記載の発明は、表示部及びコンピュータを備え、端末装置と通信可能な表示装置により実行されるキャリブレーションプログラムであって、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、を前記コンピュータに実行させることを特徴とする。

本発明の第１実施例に係るシステムの構成を示す。図１に示すシステムの機能構成を示すブロック図である。アスペクト比を調整するために黒枠が付加された画像の例を示す。入力位置の変換方法の一例を示す。入力位置の変換処理のフローチャートである。キャリブレーション画像の一例を示す。本発明の第２実施例に係るシステムの構成を示す。

　本発明の好適な実施形態では、端末装置は、第１の画像を表示する表示部と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力部と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を、前記表示装置から取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得部と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、を備える。

　上記の端末装置は、例えばスマートフォンなどであり、表示部に第１の画像を表示するとともに、第１の画像を一部に含む第２の画像を、ナビゲーション装置などの表示装置に出力する。また、端末装置は、第２の画像に対する第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得する。表示装置に表示された第２の画像に対してユーザがタッチ入力を行うと、その入力位置が表示装置から端末装置へ送信される。端末装置は、キャリブレーション情報に基づいて、第２の画像上の入力位置を第１の画像上の入力位置に変換する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　上記の端末装置の一態様では、前記キャリブレーション情報取得部は、外部から取得したキャリブレーション情報を端末装置内の記憶部に保存し、前記変換部は、過去に取得したキャリブレーション情報が記憶部に記憶されている場合には、当該記憶部に記憶されているキャリブレーション情報を使用する。これにより、外部のサーバからキャリブレーション情報を毎回取得する必要が無くなり、通信量を減らすことができる。

　上記の端末装置の他の一態様は、キャリブレーション画像を前記表示装置に供給するキャリブレーション画像出力部と、前記表示装置に表示されたキャリブレーション画像に対するユーザのタッチ入力の位置を示すキャリブレーション入力位置を前記表示装置から取得するキャリブレーション入力位置取得部と、取得したキャリブレーション入力位置に基づいて、キャリブレーション情報を生成するキャリブレーション情報生成部と、生成されたキャリブレーション情報を外部のサーバへ送信する通信部と、を備える。

　この態様では、外部のサーバからキャリブレーション情報を取得できないような場合に、キャリブレーション画像に対するユーザの入力に基づいて、キャリブレーション情報を作成することができる。また、作成したキャリブレーション情報をサーバにアップロードすることにより、多数のユーザで共有することが可能となる。

　本発明の他の好適な実施形態では、表示部を備える端末装置により実行されるキャリブレーション方法は、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を有する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　本発明の他の好適な実施形態では、表示部及びコンピュータを備える端末装置により実行されるキャリブレーションプログラムは、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を前記コンピュータに実行させる。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　本発明の他の好適な実施形態は、端末装置と通信可能な表示装置であって、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して表示する表示部と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得部と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、前記第１の画像上の入力位置を前記端末装置に送信する通信部と、を備える。

　上記の表示装置は、例えばナビゲーション装置であり、端末装置としてのスマートフォンと通信可能に構成される。表示装置は、端末装置に表示されている第１の画像を一部に含む第２の画像を受信し、表示部に表示する。また、表示装置は、第２の画像に対する第１の画像の相対的位置関係を示すキャリブレーション情報を端末装置から取得する。ユーザが第２の画像に対してタッチ入力を行うと、表示装置はその入力位置を取得し、キャリブレーション情報に基づいて第１の画像に対する入力位置に変換して端末装置へ送信する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　本発明の他の好適な実施形態では、表示部を備え、端末装置と通信可能な表示装置により実行されるキャリブレーション方法は、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、を有する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　本発明の他の好適な実施形態では、表示部及びコンピュータを備え、端末装置と通信可能な表示装置により実行されるキャリブレーションプログラムは、前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、を前記コンピュータに実行させる。これにより、端末装置の表示部と表示装置の表示部の仕様が異なる場合でも、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。

　上記のキャリブレーションプログラムは、好適には記憶媒体に記憶して取り扱うことができる。

　以下、図面を参照して本発明の好適な実施例について説明する。

　［第１実施例］
　（構成）
　図１は、本発明の第１実施例に係る端末装置を含むシステムの構成を示す。図１に示すように、本システムは、サーバ１と、スマートフォン１０と、表示装置２０とにより構成される。

　スマートフォン１０と表示装置２０とは相互に通信可能に構成される。スマートフォン１０は、本発明の端末装置に相当する。表示装置２０は車両に搭載される装置であり、例えばナビゲーション装置、車載用のＡＶ機器などが挙げられる。

　本システムでは、スマートフォン１０の表示画像を表示装置２０に送信し、表示装置２０に表示する。ユーザが表示装置２０に対して操作入力を行うと、表示装置２０はその操作入力に対応する信号をスマートフォン１０へ送信する。これにより、ユーザは、表示装置２０に対して操作入力を行うことにより、スマートフォン１０を操作することができる。

　スマートフォン１０は、液晶ディスプレイなどを用いたタッチパネル（表示部）１４に画像を表示する。スマートフォン１０は、例えばＨＤＭＩ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）などにより、タッチパネル１４に表示した画像Ｄ１を表示装置２０に送信する。

　表示装置２０は、液晶ディスプレイなどを用いたタッチパネル（表示部）２１を備える。表示装置２０は、スマートフォン１０から画像Ｄ１を受信し、タッチパネル２１に表示する。また、表示装置２０は、タッチパネル２１に対してユーザが行った操作入力を検出し、その入力位置（位置座標）Ｄ２をスマートフォン１０へ送信する。入力位置Ｄ２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のＳＰＰ（Ｓｅｒｉａｌ　Ｐｏｒｔ　Ｐｒｏｆｉｌｅ）などによりスマートフォン１０へ送信される。

　サーバ１はデータベース２を備える。データベース２には、後述するように、キャリブレーション情報が記憶される。スマートフォン１０は、無線通信機能などによりサーバ１にアクセスし、キャリブレーション情報をダウンロードすることができる。

　図２は、図１に示すシステムの機能構成を示すブロック図である。スマートフォン１０は、アプリケーション１１と、画像出力部１２と、制御部１３と、タッチパネル１４と、通信部１５及び１６とを備える。

　アプリケーション１１は、スマートフォン１０上で実行されるアプリケーションであり、本実施例では上述のように表示装置２０によりスマートフォン１０を操作するためのものである。なお、アプリケーション１１は、実際にはＣＰＵなどのコンピュータが予め用意されたプログラムを実行することにより実現される。なお、アプリケーション１１は、本発明の入力位置取得部、キャリブレーション情報取得部、キャリブレーション画像出力部、キャリブレーション位置情報取得部、及び、キャリブレーション情報生成部として機能する。

　画像出力部１２は、スマートフォン１０の表示画像をアプリケーション１１から受け取り、画像Ｄ１として表示装置２０へ送信する。

　制御部１３は、スマートフォン１０全体を制御するものであり、実際にはスマートフォン１０に搭載されたＯＳ及び基本的なアプリケーションにより実現される。制御部１３は、スマートフォン１０上で動作する各種のアプリケーションにより生成された画像Ｄ１２をタッチパネル１４に表示するとともにアプリケーション１１に供給する。

　通信部１５は、サーバ１との間で無線通信を行い、サーバ１からキャリブレーション情報３を受信するための通信機能を有する。通信部１６は表示装置２０からユーザの操作入力に対応する入力位置Ｄ２を受信するための通信機能を有する。

　一方、表示装置２０は、タッチパネル２１と、通信部２２と、入力部２３とを備える。タッチパネル２１は、ユーザが所望の操作入力を行う際に使用される。入力部２３は、タッチパネル２１に対してユーザが行った操作入力を検出し、その入力位置Ｄ２を通信部２２に送る。通信部２２は、入力位置Ｄ２をスマートフォン１０へ送信する。

　次に、アプリケーション１１が行う処理について説明する。アプリケーション１１は、スマートフォン１０で実行される各種のアプリケーションが生成する画像Ｄ１２を制御部１３から受け取り、画像出力部１２に送る。画像出力部１２は、画像Ｄ１２を画像Ｄ１として表示装置２０へ送信する。表示装置２０は、受信した画像Ｄ１をタッチパネル２１に表示する。これにより、スマートフォン１０の表示画像が表示装置２０のタッチパネル２１に表示される。

　ユーザは、表示装置２０の表示画像を見て、表示装置２０のタッチパネル２１に対して操作入力を行う。具体的には、ユーザは、タッチパネル２１に表示された画像中のボタンにタッチするなどして操作入力を行う。この操作入力は入力部２３により検出され、対応する入力位置Ｄ２が通信部２２を介してスマートフォン１０へ送信される。

　スマートフォン１０では、通信部１６が入力位置Ｄ２を受信し、アプリケーション１１へ供給する。アプリケーション１１は、スマートフォン１０に対するユーザの操作入力の入力位置を取得し、その入力位置を制御部１３へ供給する。制御部１３は、表示画像Ｄ１２と、アプリケーション１１から受け取った入力位置に基づいて、ユーザが行った操作入力に対応する処理を実行する。こうして、表示装置２０からスマートフォン１０を操作することが可能となる。

　（入力位置の変換方法）
　さて、このようにスマートフォン１０の画像を表示装置２０に送信して表示する場合、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネル２１の仕様、具体的には画素数やアスペクト比などが一致しているとは限らない。よって、スマートフォン１０は、画像を表示装置２０に送信する際に、画素数やアスペクト比などを調整するために、画像の上下左右に黒枠を付加することがある。例えば、上述のＨＤＭＩの規格では、伝送する画像のアスペクト比は、１６：９又は４：３に固定されているが、スマートフォン１０のタッチパネル１４のアスペクト比は機種によってまちまちである。よって、スマートフォン１０は、ＨＤＭＩにより画像を出力する場合に画像出力部１２により機種ごとに異なる黒枠を付加してアスペクト比を調整することがある。

　図３は、アスペクト比を調整するために黒枠が付加された画像の例を示す。スマートフォン１０のタッチパネル１４には画像ＩＭが表示されている。この画像ＩＭは、あるアルバムに属する複数の曲のリストと、以前の画面に戻る「ＢＡＣＫ」ボタンとを含んでいる。この画像ＩＭを表示装置２０に送信して表示する場合、スマートフォン２０はＨＤＭＩ規格に適合するようにアスペクト比を調整した画像ＩＭｘを画像Ｄ２として表示装置２０に送信する。表示装置２０のタッチパネル２１に表示される画像ＩＭｘは、スマートフォン１０に表示されている画像ＩＭの外周に黒枠エリアＢＫが付加されたものとなっている。

　この場合、黒枠エリアＢＫもタッチパネル２１内に表示されているので、ユーザは黒枠エリアＢＫに対してもタッチ入力が可能である。しかし、黒枠エリアＢＫはスマートフォン１０の画像ＩＭには存在せず、操作入力エリアではないので、黒枠エリアＢＫに対するタッチ入力は不適当な入力として処理されなければならない。また、スマートフォン１０に表示されている画像ＩＭと表示装置２０に表示されている画像ＩＭｘとはスケールが異なるので、黒枠エリアＢＫの内側のエリアに対するタッチ入力についても、その位置座標をスマートフォン１０の画像ＩＭ上における位置座標に変換する必要がある。そこで、本実施例では、アプリケーション１１が変換部１１ｘとして機能し、この変換処理を行うこととした。

　具体的には、変換部１１ｘは、タッチパネル２１における入力位置Ｄ２（即ち、画像ＩＭｘにおける入力位置）を表示装置２０から受け取り、これをスマートフォン１０のタッチパネル１４における入力位置（即ち、画像ＩＭにおける入力位置）に変換する。この際、変換部１１ｘは主として以下の２つの処理を行う。

　第１に、黒枠エリアＢＫに対するタッチ入力が単なるタッチ（即ち、ほぼ１点にタッチしてその後にタッチ位置を移動せずに離すタイプの入力）である場合、変換部１１ｘはそのタッチ入力を単純に無視する。一方、黒枠エリアＢＫに対するタッチ入力が、いわゆるドラッグなどのタッチ位置の移動を伴う入力である場合、変換部１１ｘは、黒枠エリアＢＫに対するタッチ入力の入力位置を、その位置に最も近い黒枠エリアＢＫの内側のエリア（以下、「正規エリア」と呼ぶ。）の位置に変換する。これらいずれかの手法により、変換部１１ｘは黒枠エリアＢＫに対して行われたタッチ入力を処理する。

　第２に、変換部１１ｘは、正規エリアに対するタッチ入力の入力位置を、スマートフォン１０のタッチパネル１４上の対応する位置に変換する。これにより、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネル２１の画素数が異なっていても、表示装置２０のタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。

　図４は、上記の変換方法の一例を示す。まず、横方向について考える。表示装置２０のタッチパネル２１の横方向のドット数を「Ｗ」とし、タッチパネル２１に表示される黒枠エリアＢＫの左右の幅をそれぞれ「Ｗａ」、「Ｗｂ」とする。また、スマートフォン１０のタッチパネル１４の横方向のドット数を「Ｗｓ」とする。

　この場合、表示装置２０のタッチパネル２１上の入力位置「Ｘ」をスマートフォン１０のタッチパネル１４上の入力位置「ｘｓ」に変換する式は以下の通りである。

　　ｘｓ＝０　　：Ｘ＜Ｗａのとき
　　ｘｓ＝Ｗｓ＊（ＸーＷａ）／｛Ｗ－（Ｗａ＋Ｗｂ）｝　：Ｗａ＜Ｘ＜Ｗｂのとき
　　ｘｓ＝Ｗｓ　：Ｘ＞（Ｗ－Ｗｂ）のとき
　縦方向についても同様である。表示装置２０のタッチパネル２１の縦方向のドット数を「Ｈ」とし、タッチパネル２１に表示される黒枠エリアＢＫの上下の幅をそれぞれ「Ｈｂ」、「Ｈａ」とし、スマートフォン１０のタッチパネル１４の縦方向のドット数を「Ｈｓ」とする。

　この場合、表示装置２０のタッチパネル２１上の入力位置「Ｙ」をスマートフォン１０のタッチパネル１４上の入力位置「ｙｓ」に変換する式は以下の通りである。

　　ｙｓ＝０　　：Ｙ＜Ｈａのとき
　　ｙｓ＝Ｈｓ＊（ＹーＨａ）／｛Ｈ－（Ｈａ＋Ｈｂ）｝　：Ｈａ＜Ｙ＜Ｈｂのとき
　　ｙｓ＝Ｈｓ　：Ｙ＞（Ｈ－Ｈｂ）のとき
　なお、黒枠エリアＢＫに対するタッチ入力が単なるタッチである場合には、上述のように変換部１１ｘはそのタッチ入力を無視すればよい。

　以上の変換方法によれば、表示装置２０のタッチパネル２１に黒枠エリアＢＫを含む画像ＩＭｘが表示された場合でも、タッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。

　さて、上記の変換を実行するためには、スマートフォン１０のタッチパネル１４のドット数（縦方向のドット数：Ｈｓ、横方向のドット数：Ｗｓ）と、表示装置２０のタッチパネル２１のドット数（縦方向のドット数：Ｈ、横方向のドット数：Ｗ）と、黒枠エリアＢＫの上下左右の幅（Ｗａ、Ｗｂ、Ｈａ、Ｈｂ）とが必要となる。アプリケーション１１は、これらのうちスマートフォン１０のタッチパネル１４のドット数をスマートフォン１０の制御部１３などから取得することができ、表示装置２０のタッチパネル２１のドット数を表示装置２０から取得することができる。一方、黒枠エリアＢＫの上下左右の幅は、スマートフォン１０及び表示装置２０が通常所持している情報ではない。

　そこで、アプリケーション１１は、黒枠エリアＢＫの上下左右の幅を、キャリブレーション情報３としてサーバ１から取得する。具体的に、黒枠エリアＢＫの上下左右の幅は、スマートフォン１０のタッチパネル１４の仕様と、表示装置のタッチパネル２１の仕様に基づいて決まることになる。そこで、サーバ１は、スマートフォン１０と表示装置２０の組合せに対応付けて、黒枠エリアＢＫの上下左右の幅をキャリブレーション情報３として予め保持しておく。例えば、サーバ１は、スマートフォン１０の機種名などを示すＩＤと、表示装置２０の機種名などを示すＩＤとの組合せに対応付けて、黒枠エリアＢＫの上下左右の幅を示すキャリブレーション情報３を記憶しておく。スマートフォン１０は、表示装置２０に接続されたときに当該表示装置２０のＩＤを取得し、スマートフォン１０のＩＤと表示装置２０のＩＤとをサーバ１に送信し、それらの組合せに対応するキャリブレーション情報３をサーバ１から取得する。そして、スマートフォン１０は、取得したキャリブレーション情報３を使用して、上記のように、表示装置２０のタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に変換する。

　（入力位置の変換処理）
　図５は、入力位置の変換処理のフローチャートである。この処理は、スマートフォン１０内のアプリケーション１１により実行される。なお、前提として、スマートフォン１０と表示装置２０とが相互に通信可能な状態にされているものとする。また、この処理は、スマートフォン１０上でアプリケーション１１が起動されたときに実行される。

　まず、アプリケーション１１が起動されると、それが初回の起動であるか否かが判定される（ステップＳ１１）。なお、この判定は、例えばアプリケーション１１内に記憶された処理の履歴情報などに基づいて行われる。

　初回の起動である場合、通常はアプリケーション１１内には未だキャリブレーション情報が存在しない。よって、アプリケーション１１はスマートフォン１０のＩＤと表示装置２０のＩＤを特定してそれらの組合せに対応するキャリブレーション情報をサーバ１に要求し、対応するキャリブレーション情報を取得してスマートフォン１０内の記憶部などに保存する（ステップＳ１２）。そして、処理はステップＳ１４へ進む。

　一方、初回の起動でない場合（ステップＳ１１；Ｎｏ）、アプリケーション１１はスマートフォン１０の記憶部などにキャリブレーション情報があるか否かを判定する（ステップＳ１３）。なお、この場合のキャリブレーション情報は、現在使用しているスマートフォン１０と表示装置２０との組合せに対応するキャリブレーション情報を意味する。キャリブレーション情報が無い場合（ステップＳ１３；Ｎｏ）、アプリケーション１１はサーバ１からキャリブレーション情報を取得する（ステップＳ１２）。一方、キャリブレーション情報がある場合（ステップＳ１３；Ｙｅｓ）、処理はステップＳ１４へ進む。

　ステップＳ１４では、アプリケーション１１は、キャリブレーション情報の取得が成功したか否かを判定する。即ち、アプリケーション１１は、ステップＳ１２又はＳ１３の処理により、キャリブレーション情報が用意できたか否かを判定する。アプリケーション１１がキャリブレーション情報の取得に成功した場合（ステップＳ１４：Ｙｅｓ）、処理はステップＳ１５へ進む。

　一方、アプリケーション１１がキャリブレーション情報の取得に成功しなかった場合（ステップＳ１４；Ｎｏ）、アプリケーション１１は、表示装置２０を利用してキャリブレーション情報を自ら作成する処理を行う。具体的には、アプリケーション１１は、表示装置２０にキャリブレーション画像を送信し、表示装置２０のタッチパネル２１にキャリブレーション画像を表示させる（ステップＳ１６）。なお、キャリブレーション情報の取得に成功しない理由としては、当該スマートフォン１０と表示装置２０の組合せに対応するキャリブレーション情報がサーバ１に存在しない場合や、サーバ１との通信が正常にできなかった場合などが考えられる。

　キャリブレーション画像の一例を図６に示す。図６の例では、アプリケーション１１は、黒枠エリアＢＫとの区別がつくように、正規エリアを淡色などで表現した画像をキャリブレーション画像として表示装置２０に送信する。この場合、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネルの画素数やアスペクト比などの違いに基づいて、キャリブレーション画像には黒枠エリアＢＫが含まれる。さらに、アプリケーション１１は、マークＣ１～Ｃ４により黒枠エリアＢＫの内側の四隅の位置を示し、ユーザに黒枠エリアＢＫの内側の四隅をタッチさせる。ユーザがマークＣ１～Ｃ４の位置にタッチすると、表示装置２０は、各位置の座標を取得し、スマートフォン１０へ送信する。

　アプリケーション１１は、黒枠エリアＢＫの内側の四隅に対応する位置座標を取得し、黒枠エリアＢＫの上下左右の幅を算出することにより、キャリブレーション情報を生成し、スマートフォン１０の記憶部などに保存する（ステップＳ１７）。さらに、アプリケーション１１は、生成したキャリブレーション情報を、スマートフォンのＩＤ及び表示装置のＩＤとともにサーバ１へアップロードする（ステップＳ１８）。これにより、サーバには、当該スマートフォンと表示装置との組合せに対応するキャリブレーション情報が用意されることになり、その後に別のユーザによる使用が可能となる。そして、処理はステップＳ１５へ進む。

　ステップＳ１５では、アプリケーション１１は、用意されたキャリブレーション情報を使用して入力位置を変換する（ステップＳ１５）。即ち、表示装置２０のタッチパネル２１に対する入力位置を表示装置２０から取得し、スマートフォン１０のタッチパネル１４に対する入力位置に変換する。そして、変換により得られた入力位置Ｄ１３をスマートフォン１０の制御部１３に供給し、変換処理を終了する。なお、スマートフォン１０の制御部１３は、その入力位置Ｄ１３に基づいて、ユーザによる操作入力を処理する。

　以上説明したように、第１実施例では、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネル２１との間で画素数やアスペクト比などの仕様が異なり、表示装置２０の表示画像に黒枠エリアＢＫが表示される場合でも、表示装置２０のタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。

　アプリケーション１１は、入力位置の変換に使用されるキャリブレーション情報がスマートフォン１０内に保存されている場合にはそれを用いるので、サーバ１からダウンロードする必要が無い。また、アプリケーション１１は、キャリブレーション情報がサーバ１から入手できないような場合には、図６に例示するキャリブレーション画像を用いて、ユーザの入力に基づいてキャリブレーション情報を生成するので、サーバ１に情報が無い新機種のスマートフォンや表示装置などを使用する場合でも変換処理が可能となる。なお、キャリブレーション画像を用いてキャリブレーション情報を作成する作業は、上記のようにキャリブレーション情報を入手不可能な場合に行うことには限らない。例えばキャリブレーション情報の作成処理をスマートフォン１０のメニューなどに登録しておいて、利用者が希望するときに実行可能としてもよい。

　また、アプリケーション１１は、そうして作成したキャリブレーション情報をサーバ１へアップロードするので、その後は他のユーザもそのキャリブレーション情報を利用することができる。なお、サーバ１は、複数のスマートフォンからキャリブレーション情報を受信した場合には、それらの精度を分析したり、平均化処理を行ったりして、より精度の高いキャリブレーション情報を保持するようにすることができる。

　[第２実施例]
　上記の第１実施例では入力位置の変換処理をスマートフォン１０側で行っているが、以下に述べる第２実施例では入力位置の変換処理を表示装置２０側で行う。

　図７は、第２実施例によるシステムの構成を示す。図１と比較すると理解されるように、スマートフォン１０のアプリケーション１１内部にあった変換部１１ｘの代わりに、表示装置２０内に変換部２４が設けられている。また、スマートフォン１０のアプリケーション１１は、サーバ１から取得したキャリブレーション情報Ｄ３を表示装置２０の変換部２４に提供する。なお、キャリブレーション情報Ｄ３を表示装置２０に提供する方法はＢｌｕｔｏｏｔｈを利用する、新たなインターフェースを設けるなど、各種の方法を採用できる。

　表示装置２０において、入力部２３はタッチパネル２１に対するユーザのタッチ入力を検出し、その入力位置Ｄ２１を変換部２４へ送る。変換部２４は、第１実施例と同様の方法で、表示装置２０のタッチパネル２１における入力位置Ｄ２１を、スマートフォン１０のタッチパネル１４における入力位置Ｄ２に変換し、変換後の入力位置Ｄ２をスマートフォン１０へ送信する。即ち、第２実施例では、表示装置２０は、表示装置２０に対する入力位置を、スマートフォン１０のタッチパネル１４に適合した入力位置に変換した上で、スマートフォン１０へ送信する。よって、スマートフォン１０のアプリケーション１１は、表示装置２０から受信した入力位置Ｄ２をそのまま用いて必要な処理を行うことができる。

　なお、第１実施例に無い利点としては以下のものが挙げられる。第１実施例においては、ユーザが黒枠エリアＢＫ内にタッチ入力した場合でも、その入力位置がスマートフォン１０へ送信され、アプリケーション１１の変換部１１ｘにより変換又は無視されることになる。よって、最終的に適正な入力として採用されないにも関わらず、入力位置がスマートフォン１０へ送信される。これに対して、第２実施例においては、黒枠エリアＢＫに対するタッチ入力は変換部２４により無視される。即ち、表示装置２０はその入力位置をスマートフォン１０へ送信しないので、不要な情報の送信を減らすことができる。

　なお、第２実施例では、一端サーバ１から取得したキャリブレーション情報Ｄ３は、スマートフォン１０が保存しておいてもよいし、表示装置２０が保存しておいてもよい。スマートフォン１０が保存しておく場合には、スマートフォン１０が表示装置２０と接続される度に、スマートフォン１０から表示装置２０にキャリブレーション情報Ｄ３を送信し、表示装置２０の変換部２４で使用すればよい。一方、表示装置２０がキャリブレーション情報Ｄ３を保存している場合には、表示装置２０はスマートフォン１０からキャリブレーション情報Ｄ３を取得する必要はない。

　[変形例]
　上記の実施例では、キャリブレーション情報を取得できない場合に、アプリケーション１１がキャリブレーション画像を用いてキャリブレーション情報を生成することとしている（図５のステップＳ１６～Ｓ１７、図６を参照）。この際に、スマートフォン１０と表示装置２０との間の接続認証処理を同時に実行することとしてもよい。接続認証処理とは、スマートフォン１０と表示装置２０とが接続されていることを確認する処理である。具体的な方法としては、図６に示す黒枠エリアＢＫの四隅のマークＣ１～Ｃ４にタッチ順序を示す番号を表示する。スマートフォン１０は、表示装置２０からタッチ入力の入力位置とともに、タッチ順序（タッチ時刻など）の情報も取得し、ユーザがタッチ順序通りにタッチしたことを確認することにより認証成功と判断する。これによれば、キャリブレーション情報を生成する処理と、接続認証処理とを同時に実行することができる。

　本発明は、車載の表示装置に限らず、タッチ入力などの操作手段を備える表示装置にスマートフォンなどの端末装置を接続する場合に利用することができる。

　１　サーバ
　１０　スマートフォン
　１１　アプリケーション
　１１ｘ、２４　変換部
　１２　画像出力部
　１３　制御部
　１４、２１　タッチパネル
　２０　表示装置

Claims

　第１の画像を表示する表示部と、
　前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力部と、
　前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を、前記表示装置から取得する入力位置取得部と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得部と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、
　を備えることを特徴とする端末装置。
　前記キャリブレーション情報取得部は、外部から取得したキャリブレーション情報を端末装置内の記憶部に保存し、
　前記変換部は、過去に取得したキャリブレーション情報が記憶部に記憶されている場合には、当該記憶部に記憶されているキャリブレーション情報を使用することを特徴とする請求項１に記載の端末装置。
　キャリブレーション画像を前記表示装置に供給するキャリブレーション画像出力部と、
　前記表示装置に表示されたキャリブレーション画像に対するユーザのタッチ入力の位置を示すキャリブレーション入力位置を前記表示装置から取得するキャリブレーション入力位置取得部と、
　取得したキャリブレーション入力位置に基づいて、キャリブレーション情報を生成するキャリブレーション情報生成部と、
　生成されたキャリブレーション情報を外部のサーバへ送信する通信部と、
　を備えることを特徴とする請求項１又は２に記載の端末装置。
　表示部を備える端末装置により実行されるキャリブレーション方法であって、
　前記表示部に第１の画像を表示する表示工程と、
　前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、
　前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、
　を有することを特徴とするキャリブレーション方法。
　表示部及びコンピュータを備える端末装置により実行されるキャリブレーションプログラムであって、
　前記表示部に第１の画像を表示する表示工程と、
　前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、
　前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得するキャリブレーション情報取得工程と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、
　を前記コンピュータに実行させることを特徴とするキャリブレーションプログラム。
　端末装置と通信可能な表示装置であって、
　前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して表示する表示部と、
　前記第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を取得する入力位置取得部と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得部と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、
　前記第１の画像上の入力位置を前記端末装置に送信する通信部と、
　を備えることを特徴とする表示装置。
　表示部を備え、端末装置と通信可能な表示装置により実行されるキャリブレーション方法であって、
　前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、
　前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、
　前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、
　を有することを特徴とするキャリブレーション方法。
　表示部及びコンピュータを備え、端末装置と通信可能な表示装置により実行されるキャリブレーションプログラムであって、
　前記端末装置に表示されている第１の画像を一部に含む第２の画像を、前記端末装置から取得して前記表示部に表示する表示工程と、
　前記第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を取得する入力位置取得工程と、
　前記第２の画像に対する前記第１の画像の相対的位置関係を示すキャリブレーション情報を前記端末装置から取得するキャリブレーション情報取得工程と、
　前記キャリブレーション情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、
　前記第１の画像上の入力位置を前記端末装置に送信する送信工程と、
　を前記コンピュータに実行させることを特徴とするキャリブレーションプログラム。
　請求項５又は８に記載のキャリブレーションプログラムを記憶したことを特徴とする記憶媒体。