JP5697525B2 - 通信端末、サーバ、触覚フィードバック生成方法および通信システム - Google Patents

Description

本発明は、通信端末、サーバ、触覚フィードバック生成方法および通信システムに関するものである。

近年、携帯電話やゲーム機等の通信端末において、ユーザによる入力のインターフェースとしてタッチセンサを採用するものが増えてきている。タッチセンサを利用したインターフェースは、ユーザが直感的に操作することができるという利点がある。

タッチセンサを利用したインターフェースにおいては、ユーザは画面上に表示されるボタン等を触って通信端末を操作する。しかし、このようなタッチ操作は触覚フィードバックを生じないため、触った領域がボタン領域であるか否かの判断が困難である。

また、操作中の指にボタン領域が隠れてしまい、ボタン領域に書かれている文字列が見えなくなる場合がある。このような場合、複数のボタン領域が近接していると、ユーザの意図と異なるボタンを誤って押下してしまうことがある。これにより、例えば誤って押したボタンが契約に関するボタンであった場合などはユーザが大きな不利益を受ける危険性がある。

ユーザに触覚フィードバックを与えるため、例えば、タッチセンサが入力を受け付けるとユーザの指にクリック感のような触感を与える装置が提案されている（例えば、特許文献１参照）

特許第４６３３１８３号公報

上記特許文献１の装置によれば、タッチセンサを利用したインターフェースに表示されるボタンに対するタッチ操作を受け付けた際に、ユーザの指などに振動を与えることができる。これにより、ユーザはクリック感のような感覚を得ることができ、ボタン領域を認識することも可能となる。

上記のような振動を提供するためには、通信端末上に表示されている画像情報内の操作ボタン等とユーザに提供される振動とが対応付けられている必要がある。しかしながら、例えば、画像情報としてＷｅｂページを表示する場合、全てのＷｅｂページの全ての操作ボタンに振動情報が対応付けられていることを期待することは現実的ではない。したがって、Ｗｅｂページ内における振動情報が対応付けられていない操作ボタンを触った場合、ユーザは触覚フィードバックを得ることができない。なお、ここでは画像情報の一例としてＷｅｂページを例に挙げたが、「画像情報」との用語はこれに限定されるものではなく、通信端末に表示され得るあらゆる画像の情報を意味するものとする。

したがって、かかる点に鑑みてなされた本発明の目的は、ボタン領域と触覚情報とが対応付けられていない画像情報に対しても、ボタン領域と触覚情報を結びつけた画像を表示することができる通信端末、サーバ、触覚フィードバック生成方法および通信システムを提供することにある。

上記目的を達成する第１の観点に係る通信端末の発明は、
表示部と、
前記表示部上に配置されたタッチセンサと、
触覚フィードバックを生成する触覚フィードバック生成部と、
サーバと通信する通信部と、
前記表示部に表示する画像情報を前記サーバに送信するように前記通信部を制御する制御部と、
前記通信部を介して前記サーバから受け取った、前記画像情報に触覚情報が付与された触覚情報付き画像情報に基づいて、前記表示部に当該触覚情報付き画像情報を表示する画像構成部と
を備え、
前記制御部は、前記表示部が前記触覚情報付き画像情報を表示中に、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する前記タッチセンサのタッチ面への入力を検知すると、当該通信端末に触覚フィードバックを生成するように前記触覚フィードバック生成部を制御する
ことを特徴とする。

第２の観点に係る発明は、第１の観点に係る通信端末において、
前記制御部は、前記画像情報に併せて前記表示部の画像設定情報を前記サーバに送信するように前記通信部を制御し、
前記画像構成部は、前記画像情報および前記画像設定情報に基づいて前記画像情報に触覚情報が付与された触覚情報付き画像情報に基づいて、前記表示部に当該触覚情報付き画像情報を表示する
ことを特徴とする。

上記目的を達成する第３の観点に係るサーバの発明は、
通信端末と通信するサーバであって、
前記通信端末と通信する通信部と、
前記通信端末から受け取った画像情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成する画像解析部と、
前記触覚情報付き画像情報を前記通信端末に送信するように前記通信部を制御する制御部と
を備えることを特徴とする。

第４の観点に係る発明は、第３の観点に係るサーバにおいて、
前記画像解析部は、前記通信端末から受け取った前記画像情報および画像設定情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成する
ことを特徴とする。

第５の観点に係る発明は、第３または第４のいずれかの観点に係るサーバにおいて、さらに、オブジェクトの種類に対応する触覚情報を記憶する記憶部を備え、
前記画像解析部は、前記オブジェクトの種類に対応する触覚情報に基づいて、前記触覚情報付き画像情報を生成する
ことを特徴とする。

第６の観点に係る発明は、第５の観点に係るサーバにおいて、前記オブジェクトの種類に対応する触覚情報が前記記憶部に記憶されていない場合は、前記制御部は、Ｗｅｂサーバから当該オブジェクトの種類に対応する触覚情報を入手するように前記通信部を制御することを特徴とする。

第７の観点に係る発明は、第３〜第６のいずれかの観点に係るサーバにおいて、
前記画像解析部は、前記画像情報のうち前記通信端末の表示領域のみについて前記触覚付き画像情報を生成した段階で、当該触覚情報付き画像情報を前記通信端末に送信するように前記通信部を制御し、
その後、前記画像情報の残りの領域についての触覚付き画像触覚情報を生成する
ことを特徴とする。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明を方法として実現させた第８の観点に係る触覚フィードバック生成方法の発明は、
第１または第２の観点に係る通信端末と第３〜第７のいずれかの観点に係るサーバとを含む通信システムにおける触覚フィードバック生成方法であって、
前記通信端末が、画像情報を前記サーバに送信するステップと、
前記サーバが、前記画像情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成するステップと、
前記サーバが、前記触覚情報付き画像情報を前記通信端末に送信するステップと、
前記通信端末が、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する当該通信端末への入力を検知すると、当該通信端末に触覚フィードバックを生成するステップと
を含むことを特徴とする。

また、本発明を通信システムとして実現させた第９の観点に係る通信システムの発明は、
第１または第２の観点に係る通信端末と、第３〜第７のいずれかの観点に係るサーバとを備える通信システムであって、
前記通信端末は、画像情報を前記サーバに送信し、
前記サーバは、前記画像情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成し、
前記サーバは、前記触覚情報付き画像情報を前記通信端末に送信し、
前記通信端末は、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する当該通信端末への入力を検知すると、当該通信端末に触覚フィードバックを生成する
ことを特徴とする。

本発明によれば、ボタン領域と触覚情報とが対応付けられていない画像情報に対しても、ボタン領域と触覚情報を結びつけた画像を表示することができる。

本発明の一実施形態に係る通信システムの概略構成図である。 図１に示した通信端末の概略構成を示す機能ブロック図である。 図２に示した通信端末の実装構造の一部を示す概略構成図である。 図１に示した解析サーバの概略構成を示す機能ブロック図である。 図１に示した通信システムの動作を示すシーケンス図である。 図１に示した通信端末が表示するＷｅｂページの一例を示す図である。 図１に示した通信端末が表示するＷｅｂページの他の例の一部領域を示す図である。 図１に示した通信端末が表示領域をスライド操作する様子を示す図である。 図１に示した通信端末の画像情報を段階的に解析する様子を示す図である。 図１に示した解析サーバの動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る通信システムの概略構成を示す図である。通信端末１は、無線通信により基地局５と通信し、基地局５を介してネットワーク４に接続する。ネットワーク４には、Ｗｅｂページなどの情報を提供するサーバであるＷｅｂサーバ３が接続する。また、解析サーバ２もネットワーク４に接続する。解析サーバ２は、通信端末１が表示しようとするＷｅｂサーバ３が提供するＷｅｂページなどについて、ボタン領域と触覚情報を対応付ける。なお、本実施形態では、通信端末１と基地局５とが無線通信する場合を示したが、これは無線通信に限るものではなく有線通信であってもよい。

図２は、通信端末１の概略構成を示す機能ブロック図である。通信端末１は、制御部１０２、表示部１０４、タッチセンサ１０６、荷重検出部１０８、触覚フィードバック生成部１１０、通信部１１２、画面構成部１１４および記憶部１１６を備える。

制御部１０２は、通信端末１の各機能部をはじめとして通信端末１の全体を制御および管理するものであり、ＣＰＵ等の好適なプロセッサによって構成される。制御部１０２は、画像情報および画像設定情報を解析サーバ２に送信するように通信部１１２を制御する。画像設定情報には、Ｗｅｂページを表示するブラウザの種類、Ｗｅｂページなどの画像情報のうち表示部１０４に表示される領域（以下、「表示領域」という）の座標などの情報が含まれる。

表示部１０４は、例えば液晶ディスプレイ（ＬＣＤ）または有機ＥＬディスプレイなどで構成される。表示部１０４の前面には、ユーザの指などによるタッチ面１０６Ａ（図３参照）への入力を検出するタッチセンサ１０６が配設される。

タッチセンサ１０６は、そのタッチ面１０６Ａに対する指やスタイラスペンなどによる入力を検出するもので、抵抗膜方式、静電容量方式、光学式等のタッチ位置の二次元位置情報を出力する公知の透明なタッチセンサからなり、表示部１０４の前面に配設される。このタッチセンサ１０６からの位置情報は、制御部１０２に供給される。ユーザの指やスタイラスなどのタッチ面１０６Ａに接触する対象のことを、以下「入力対象」と称する。また、これ以後、入力対象としてユーザの指を例に説明するが、これは一例であり、入力対象をユーザの指に限定するものではない。なお、タッチセンサ１０６が入力を検出する上で、ユーザの指等がタッチセンサ１０６を物理的に接触することは必須ではない。例えば、タッチセンサ１０６が光学式である場合には、タッチセンサ１０６は、赤外線が指等により遮られた位置を検出するため、物理的な接触がない場合でも入力を検出することができる。

荷重検出部１０８は、タッチセンサ１０６のタッチ面１０６Ａに対する押圧荷重を検出するもので、例えば圧電素子、歪みゲージセンサなどを用いて構成する。荷重検出部１０８は、検出した押圧荷重のデータを制御部１０２に対して出力する。なお、例えば、触覚フィードバック生成部１１０および荷重検出部１０８を共に圧電素子を用いて構成する場合は、触覚フィードバック生成部１１０および荷重検出部１０８を共通の圧電素子により一体化して構成することができる。圧電素子は、圧力が加えられると電力を発生し、電力が加えられると変形するという性質を有するためである。なお、本発明における「入力の検出」は、入力対象によるタッチセンサ１０６への接触を検知する場合であってもよく、入力対象によるタッチセンサ１０６への押圧荷重が所定荷重閾値を超えた場合に検知する場合であってもよい。

触覚フィードバック生成部１１０は、タッチセンサ１０６のタッチ面１０６Ａに触覚フィードバックを伝えるもので、例えば、圧電素子または超音波振動子などを用いて構成する。この触覚フィードバック生成部１１０が振動することにより、タッチセンサ１０６に接触または押圧しているユーザの指などに対して触覚フィードバックを与えることができる。なお、本発明における触覚フィードバック生成部１１０は、タッチセンサ１０６のタッチ面１０６Ａを直接的または間接的に振動させるものであればよく、例えば、触覚フィードバック生成部を振動モータ（偏心モータ）とし、タッチセンサ１０６のタッチ面１０６Ａを直接的に振動させたり、タッチセンサ１０６を保持する保持部材や通信端末の筐体を振動させてタッチ面１０６Ａを間接的に振動させたりするように構成してもよい。

また、触覚フィードバック生成部１１０は、制御部１０２が圧電素子に印加する駆動電圧を変化させると、ユーザの指に異なる触覚フィードバックを与える。制御部１０２は、駆動電圧の周波数、振幅、波形などを変化させることができる。周波数および振幅は、大小を変化させることができ、波形は、サイン波、矩形波または三角波などとすることができる。

通信部１１２は、基地局５を介してネットワーク４と接続し、解析サーバ２とデータの送受信を実行する。

画像構成部１１４は、通信部１１２を介して解析サーバ２から受け取った触覚情報付きの画像情報（以下、「触覚情報付き画像情報」という）に基づいて表示部１０４が表示する画像を構成する。

記憶部１１６は、解析サーバ２から受け取った触覚情報を触覚フィードバック生成部１１０が呈示する振動情報などと対応付けたものを記憶する。ここで、振動情報とは、振動の仕方（周波数、位相、振動間隔、振動回数など）や振動の強さ（振幅など）等により規定されるものである。また、記憶部１１６は、ワークメモリなどとしても機能する。

図３は、図２に示したタッチセンサ１０６、触覚フィードバック生成部１１０および表示部１０４の実装構造の概略構成例を示すもので、図３（ａ）は要部断面図、図３（ｂ）は要部平面図である。表示部１０４は、筐体６１内に収納保持される。表示部１０４上には、弾性部材からなるインシュレータ６２を介して、タッチセンサ１０６が保持される。なお、タッチセンサ１０６は、図３（ｂ）に仮想線で示す表示部１０４の表示領域Ａから外れた４隅に配設されたインシュレータ６２を介して表示部１０４上に保持されている。

また、筐体６１には、表示部１０４の表示領域Ａから外れたタッチセンサ１０６の表面領域を覆うようにアッパカバー６３が設けられ、このアッパカバー６３とタッチセンサ１０６との間に、弾性部材からなる防塵用のインシュレータ６４が配設されている。

なお、タッチセンサ１０６は、タッチ面１０６Ａを有する表面部材が、例えば透明フィルムやガラスで構成され、裏面部材がガラスやアクリルで構成されて、インシュレータ６４を介してタッチ面１０６Ａが押圧されると、押圧部分が押圧力に応じて微少量撓む（歪む）とともに、裏面部材を含むタッチセンサ１０６の全体が微少量撓む構造となっている。

触覚フィードバック生成部１１０は、２つの圧電素子７１を有する。圧電素子７１は、タッチセンサ１０６を湾曲変位させるように、タッチセンサ１０６の裏面上で、アッパカバー６３で覆われる対向する２辺の近傍にそれぞれ装着する。なお、圧電素子７１は、好適には、タッチセンサ１０６の押下による撓み方向と、圧電素子７１の湾曲方向とが一致するようにタッチセンサ１０６に装着する。図３では、タッチセンサ１０６が平面視で長方形状を有しているので、２つの圧電素子７１は、対向する２つの長辺の近傍で長辺に沿って装着されている。なお、図３（ｂ）においては、図３（ａ）に示した筐体６１、アッパカバー６３およびインシュレータ６４の図示を省略している。

図４は、解析サーバ２の概略構成を示す機能ブロック図である。解析サーバ２は、制御部２０２、ページ管理部２０４、画像解析部２０６、端末画面構成部２０８、通信部２１０、端末情報管理部２１２および記憶部２１４を備える。

制御部２０２は、解析サーバ２の各機能部をはじめとして解析サーバ２の全体を制御および管理するものであり、ＣＰＵ等の好適なプロセッサによって構成される。

ページ管理部２０４は、画像解析部２０６がすでに解析済みのＷｅｂページの情報を記憶し管理する。

画像解析部２０６は、例えばＷｅｂページなど、通信端末１が表示部１０４に表示する画像情報を解析し、ボタン領域と触覚情報との対応付けなどを行う。詳細は、後述するいくつかの実施形態において説明する。

端末画面構成部２０８は、通信端末１から画像情報および画像設定情報をもとに、通信端末１が表示部１０４に表示する画像の擬似画像を構成する。画像解析部２０６は、端末画面構成部２０８が構成する擬似画像を基に画像を解析する。

通信部２１０は、ネットワーク４と接続し、通信端末１およびＷｅｂサーバ３とデータの送受信を実行する。

端末情報管理部２１２は、通信端末１の情報を管理する。端末情報管理部２１２は、複数台存在する通信端末１の各々に付与されたＩＤ（識別子）と画像設定情報を関連付けて記憶する。

記憶部２１４は、文字列や画像（以下、「オブジェクト」という）の種類などに対応付けられた触覚情報を記憶する。触覚情報は、文字列の内容に応じたものとしユーザに直感的な触覚フィードバックを与えるものとすることができる。例えば、文字列が「同意してダウンロードする」のように重要な文字列の場合は、警告的なイメージを感じさせるような触覚情報を対応付けることができる。また、記憶部２１４は、ワークメモリなどとしても機能する。

また、記憶部２１４に、通信端末１から受け取った画像情報内のオブジェクトに対応する触覚情報が記憶されていない場合は、制御部２０２が当該オブジェクトに対応する触覚情報をＷｅｂサーバに要求する。

以下、図１に示した通信システムの動作を図５に示すシーケンス図を参照しながら説明する。

通信端末１は、解析サーバ２に画像設定情報を送信する。解析サーバ２は、受け取った画像設定情報を通信端末１のＩＤ（以下、「端末ＩＤ」という）に対応付けて、端末情報管理部２１２に記憶する（ステップＳ１０１）。

通信端末１は、Ｗｅｂページの表示要求を解析サーバ２に送信する（ステップＳ１０２）。解析サーバ２は、当該Ｗｅｂページを端末ＩＤに対応付けてページ管理部２０４に記憶し、当該ＷｅｂページのデータをＷｅｂサーバ３に要求する（ステップＳ１０３）。解析サーバ２は、Ｗｅｂサーバから当該Ｗｅｂページのデータを受け取る（ステップＳ１０４）。なお、通信端末１の画像情報および画像設定情報が画像解析部２０６によって解析可能な情報である場合には、ステップＳ１０３およびステップＳ１０５を省略することができる。

解析サーバ２がＷｅｂサーバ３からＷｅｂページのデータを受け取ると、端末画面構成部２０８は、ステップＳ１０１において通信端末１から取得した画像設定情報に基づいてＷｅｂページを構成する。画像解析部２０６は、構成されたＷｅｂページに基づいて、Ｗｅｂページ上のボタン領域について、位置、形状、種類などを解析し、通信端末１が表示する画像情報に触覚情報を付与する（ステップＳ１０５）。解析サーバ２は、触覚情報付き画像情報を通信端末１に送信する（ステップＳ１０６）。

通信端末１が解析サーバ２から触覚情報付き画像情報を受け取ると、画像構成部１１４は、当該触覚情報付き画像情報に基づいて表示画面を構成する。表示部１０４は、画像構成部１１４によって構成された表示画面を表示する。タッチセンサ１０６がボタン領域への入力を検知すると、触覚フィードバック生成部１１０は、当該ボタン領域に対応付けられている触覚情報に基づいて入力対象に触覚フィードバックを呈示する（ステップＳ１０７）。

通信端末１は、表示領域の拡大縮小や表示に使用している文字フォントの変更などのような画像設定情報の更新が生じた場合、更新された当該画像設定情報を解析サーバ２に送信する（ステップＳ１０８）。解析サーバ２は、更新された画像設定情報を受け取ると、表示画像内におけるボタンの領域などを再度解析して触覚情報付き画像情報を更新する（ステップＳ１０９）。解析サーバ２は、更新した触覚情報付き画像情報を通信端末１に送信する（ステップＳ１１０）。

次に、図６に示すＷｅｂページを参照して、解析サーバ２の画像解析部２０６による動作について説明する。

ソース１として示した部分は、Ｗｅｂページ内の「ニュース」というボタンに対応するソースを示すものである。ソース２として示した部分は、Ｗｅｂページ内の「ソフトウェアダウンロード」というボタンに対応するソースを示すものである。

画像解析部２０６は、ソース１の記述内容を解析することにより、このボタン領域に「ニュース」という文字列が表示されることを判定する。画像解析部２０６は、記憶部２１４から「ニュース」という文字列に対応する触覚情報を読み出して「ニュース」と表示されるボタン領域に関連付ける。

画像解析部２０６は、ソース２の記述内容を解析することにより、このボタン領域には画像（support_01.jpg）が表示されること、および、「ソフトウェアダウンロード」という文字列が表示されることを判定する。画像解析部２０６は、記憶部２１４から「画像（support_01.jpg）」に対応する触覚情報、または、「ソフトウェアダウンロード」という文字列に対応する触覚情報を読み出して、いずれかの触覚情報をボタン領域に関連付ける。

このように複数のオブジェクトが同一のボタンに表示される場合は、画像解析部２０６は、優先順位をつけていずれかのオブジェクトの触覚情報をボタン領域に対応付ける。例えば、いずれか１つの触覚情報しか存在しない場合は、画像解析部２０６は、触覚情報が存在するオブジェクトの触覚情報をボタン領域に対応付ける。複数の触覚情報が存在する場合は、画像解析部２０６は、例えば、文字列を画像よりも優先する、または、マッチングの認識率が高いオブジェクトを優先するなどとすることができる。ここでマッチングとは、ボタン領域内のオブジェクトと記憶部２１４内のオブジェクトとを対比し認識率を算出することをいう。

画像解析部２０６は、文字列や画像などのオブジェクトに対応する触覚情報が記憶部２１４に記憶されているか否かを判定する場合、所定の閾値を超える認識率を有するか否かで判定することができる。

図７にＷｅｂページの他の例の一部領域を示す。ソース３として示した部分は、Ｗｅｂページ内の「同意してダウンロード」というボタンに対応するソースを示すものである。ユーザは、「同意してダウンロード」と表示されるボタンを押下する際は、「ニュース」と表示されるボタンを押下する場合よりも慎重な判断をする必要がある。したがって、「同意してダウンロード」というような重要度が高い文字列には、ユーザに強い注意を促す触覚情報（例えば、強い振動のような刺激を感じる触覚情報）を対応付けて記憶部２１４に記憶されていることが望ましい。このようにすれば、ユーザが表示部１０４において「同意してダウンロード」というボタンが表示されている領域を触った際に、触覚フィードバック発生部１１０は強い振動のような注意を促す触覚フィードバックをユーザに呈示し、ユーザにボタンを押下することに対する注意を促すことができる。

図８は、ユーザが通信端末１の表示部１０４においてスライド操作をした場合の様子を示す図である。図８（Ａ）において、ユーザは押下しない程度に表示部１０４に指を置き、図８（Ｂ）に示すように左上方向に画面をスライドさせている。図８（Ｃ）は、Ｗｅｂページ全体を示し、このうち符号ａで示す領域が図８（Ａ）で示したスライド操作前の表示領域であり、符号ｂで示す領域が図８（Ｂ）で示したスライド操作後の表示領域である。

図８（Ａ）から図８（Ｂ）の表示へのユーザによるスライド操作があった場合、制御部１０２は、スライドに伴って更新された画像設定情報を解析サーバ２に送信する。解析サーバ２が更新された画像設定情報を受け取ると、画像解析部２０６は、受け取った画像設定情報内の座標情報に基づいて、ボタン領域に触覚情報を対応付ける。制御部２０２は、更新された触覚情報付き画像情報を通信部２１０を介して通信端末１に送信する。

図９は、画像解析部２０６がＷｅｂページの画像を解析する際に、解析する領域を徐々に広げていく様子を示す。

図９において符号αで示す領域は、通信端末１から受け取った画像設定情報における表示領域である。画像解析部２０６は、最初に領域αについてのみ、ボタン領域と触覚情報とを対応付けた触覚情報付き画像情報を生成し、制御部２０２は、当該触覚情報付き画像情報を通信端末１に送信する。

その後、画像解析部２０６は、解析する領域を領域β、領域γのように徐々に広げていく。このようにすることで、通信端末１がＷｅｂページを最初に表示する際のレスポンスを早くすることができる。また、その後に、通信端末１の表示領域がスライド操作により移動したり、拡大により広がったりしても、画像解析部２０６は、前もってＷｅｂページ全体の解析をすすめているため大幅な遅れなく対応することができる。

図１０は、解析サーバ２の動作を示すフローチャートである。

通信端末１は、Ｗｅｂページへのアクセスを要求する（ステップＳ２０１）。ページ管理部２０４は、アクセス要求があったＷｅｂページのＵＲＬをページ管理部２０４に記憶しているか否かを判定する（ステップＳ２０２）。ページ管理部２０４は、ステップＳ２０２においてＹｅｓと判定した場合、当該ＵＲＬのソースがページ管理部２０４に記憶しているソースと同一か否かを判定する（ステップＳ２０３）。

ページ管理部２０４は、ステップＳ２０３においてＹｅｓと判定した場合、ページ管理部２０４に記憶しているソースをもとにマッチング処理を実行する（ステップＳ２０４）。ページ管理部２０４は、マッチングの結果が所定の閾値を超えているか否かを判定する（ステップＳ２０５）。ページ管理部２０４がステップＳ２０５においてＹｅｓと判定した場合、制御部２０２は、触覚情報付き画像情報を通信部２１０を介して通信端末１に送信する（ステップＳ２０８）。

ステップＳ２０２においてＮｏと判定された場合、ステップＳ２０３においてＮｏと判定された場合、および、ステップＳ２０５においてＮｏと判定された場合は、画像解析部２０６は、重要度の高い文字種別からマッチング処理を実行し（ステップＳ２０６）、ページ管理部２０４に記憶する（ステップＳ２０７）。制御部２０２は、ステップＳ２０７に続いてステップＳ２０８を実行する。

このように、本実施形態によれば、通信端末１は、ボタン領域と触覚情報とが対応付けられていないＷｅｂページを表示する際も、解析サーバ２から当該Ｗｅｂページについての触覚情報付き画像情報を取得して、表示部１０４にボタン領域と触覚情報を結びつけた画像を表示することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

また、上記実施の形態の説明における表示部１０４およびタッチセンサ１０６は、表示部１０４とタッチセンサ１０６との両機能を共通の基板に持たせる等により、一体化した装置によって構成されるようにしてもよい。このように表示部１０４とタッチセンサ１０６との両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものを挙げることができる。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置をタッチ入力するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することによって、タッチ位置を検出することができる。

また、本発明における「触覚フィードバック」とは、振動を与えることに限定されるものではなく、ユーザの感覚に訴えるものであれば音や光などのようなものでもよい。

１ 通信端末
２ 解析サーバ
１０２ 制御部
１０４ 表示部
１０６ タッチセンサ
１０８ 荷重検出部
１１０ 触覚フィードバック生成部
１１２ 通信部
１１４ 画像構成部
１１６ 記憶部
２０２ 制御部
２０４ ページ管理部
２０６ 画像解析部
２０８ 端末画面構成部
２１０ 通信部
２１２ 端末情報管理部
２１４ 記憶部

Claims (7)

1. 表示部と、
   前記表示部上に配置されたタッチセンサと、
   触覚フィードバックを生成する触覚フィードバック生成部と、
   サーバと通信する通信部と、
   前記表示部に表示する画像情報および前記表示部の画像設定情報を前記サーバに送信するように前記通信部を制御する制御部と、
   前記通信部を介して前記サーバから受け取った、前記画像情報および前記画像設定情報に基づいて前記画像情報に触覚情報が付与された触覚情報付き画像情報に基づいて、前記表示部に当該触覚情報付き画像情報を表示する画像構成部と
   を備え、
   前記制御部は、前記表示部が前記触覚情報付き画像情報を表示中に、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する前記タッチセンサのタッチ面への入力を検知すると、前記タッチセンサのタッチ面に触覚フィードバックを生成するように前記触覚フィードバック生成部を制御する
   ことを特徴とする通信端末。
2. 通信端末と通信するサーバであって、
   前記通信端末と通信する通信部と、
   前記通信端末から受け取った画像情報および画像設定情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成する画像解析部と、
   前記触覚情報付き画像情報を前記通信端末に送信するように前記通信部を制御する制御部と
   を備えることを特徴とするサーバ。
3. 請求項２に記載のサーバにおいて、さらに、オブジェクトの種類に対応する触覚情報を記憶する記憶部を備え、
   前記画像解析部は、前記オブジェクトの種類に対応する触覚情報に基づいて、前記触覚情報付き画像情報を生成する
   ことを特徴とするサーバ。
4. 請求項３に記載のサーバにおいて、前記オブジェクトの種類に対応する触覚情報が前記記憶部に記憶されていない場合は、前記制御部は、Ｗｅｂサーバから当該オブジェクトの種類に対応する触覚情報を入手するように前記通信部を制御することを特徴とするサーバ。
5. 請求項２〜４のいずれか１項に記載のサーバにおいて、
   前記画像解析部は、前記画像情報のうち前記通信端末の表示領域のみについて前記触覚情報付き画像情報を生成した段階で、当該触覚情報付き画像情報を前記通信端末に送信するように前記通信部を制御し、
   その後、前記画像情報の残りの領域についての触覚情報付き画像情報を生成することを特徴とするサーバ。
6. 請求項１に記載の通信端末と請求項２〜５のいずれか１項に記載のサーバとを含む通信システムにおける触覚フィードバック生成方法であって、
   前記通信端末が、画像情報を前記サーバに送信するステップと、
   前記サーバが、前記画像情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成するステップと、
   前記サーバが、前記触覚情報付き画像情報を前記通信端末に送信するステップと、
   前記通信端末が、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する当該通信端末への入力を検知すると、当該通信端末に触覚フィードバックを生成するステップと
   を含むことを特徴とする触覚フィードバック生成方法。
7. 請求項１に記載の通信端末と、請求項２〜５のいずれか１項に記載のサーバとを備える通信システムであって、
   前記通信端末は、画像情報を前記サーバに送信し、
   前記サーバは、前記画像情報に基づいて、当該画像情報に触覚情報を対応付けて触覚情報付き画像情報を生成し、
   前記サーバは、前記触覚情報付き画像情報を前記通信端末に送信し、
   前記通信端末は、前記触覚情報付き画像情報において触覚情報を付与された領域に対応する当該通信端末への入力を検知すると、当該通信端末に触覚フィードバックを生成することを特徴とする通信システム。