JP2016009315A

JP2016009315A - Touch control device, touch control method, and program

Info

Publication number: JP2016009315A
Application number: JP2014129205A
Authority: JP
Inventors: 洋平藤谷; Yohei Fujitani
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-24
Filing date: 2014-06-24
Publication date: 2016-01-18

Abstract

【課題】ユーザによる入力操作を装置が受け付けた否かをユーザが直感的に認識できる仕組みを提供することを目的とする。【解決手段】表示手段に対応して設けられた入力面への操作子によるタッチ操作の開始及び終了を検知する検知手段と、前記タッチ操作の開始が検知された場合に、前記操作子に与える触感を生成する第１の触感生成手段を制御して第１の触感を生成した後、前記タッチ操作の終了が検知された場合に、筐体を振動させることによりユーザに与える触感を生成する第２の触感生成手段を制御して第２の触感を生成する触感制御手段とを有することを特徴とする。【選択図】図１PROBLEM TO BE SOLVED: To provide a mechanism for a user to intuitively recognize whether or not an apparatus has accepted an input operation by the user. SOLUTION: A detection means for detecting the start and end of a touch operation by an operator on an input surface provided corresponding to a display means, and a detection means provided to the operator when the start of the touch operation is detected. After controlling the first tactile sensation generating means for generating the tactile sensation to generate the first tactile sensation, when the end of the touch operation is detected, the housing is vibrated to generate the tactile sensation given to the user. It is characterized by having a tactile sensation control means for controlling the tactile sensation of 2 and generating a second tactile sensation. [Selection diagram] Fig. 1

Description

本発明は、触感制御装置、触感制御方法及びプログラムに関する。 The present invention relates to a tactile sensation control device, a tactile sensation control method, and a program.

近年、ユーザに振動を与えてイベントを通知する触覚フィードバック（以下、触感ＦＢ）を提供する装置が考えられている。また、ユーザの直感的操作でカメラを操作するジェスチャ機能としては、タップ操作や振る操作があり、タッチパネル上でのタッチ操作としては、プレス操作、ドラック操作、フリック操作がある。特許文献１には、フリックされたオブジェクトの終端に達すると振動する方法やフリックされたオブジェクトが静止するにつれて急速に減少していく振幅で振動する方法が開示されている。 In recent years, there has been considered an apparatus that provides tactile feedback (hereinafter referred to as tactile sensation FB) that gives vibration to a user and notifies an event. In addition, as a gesture function for operating the camera by a user's intuitive operation, there are a tap operation and a shaking operation, and as a touch operation on the touch panel, there are a press operation, a drag operation, and a flick operation. Patent Document 1 discloses a method of vibrating when the end of the flicked object is reached, or a method of vibrating with an amplitude that rapidly decreases as the flicked object stops.

特表２０１１−５１７８１０号公報Special table 2011-517810 gazette

しかしながら、従来技術においては、ユーザがフリック操作を行った際に、装置がフリック操作を受け付けたか否かを、ユーザが確認し難い。また、フリック操作後は、操作子がタッチパネル上にない。このため、タッチパネルを振動させることにより、操作子に触感を与えることができない。 However, in the prior art, when the user performs a flick operation, it is difficult for the user to confirm whether or not the apparatus has accepted the flick operation. In addition, after the flick operation, the operation element is not on the touch panel. For this reason, a touch feeling cannot be given to an operation element by vibrating a touch panel.

本発明はこのような問題点に鑑みなされたもので、ユーザによる入力操作を装置が受け付けた否かをユーザが直感的に認識できる仕組みを提供することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to provide a mechanism that allows the user to intuitively recognize whether or not the apparatus has accepted an input operation by the user.

そこで、本発明は、触感制御装置であって、表示手段に対応して設けられた入力面への操作子によるタッチ操作の開始及び終了を検知する検知手段と、前記タッチ操作の開始が検知された場合に、前記操作子に与える触感を生成する第１の触感生成手段を制御して第１の触感を生成した後、前記タッチ操作の終了が検知された場合に、筐体を振動させることによりユーザに与える触感を生成する第２の触感生成手段を制御して第２の触感を生成する触感制御手段とを有することを特徴とする。 Therefore, the present invention is a tactile sensation control device, wherein a detection unit that detects the start and end of a touch operation by an operator on an input surface provided corresponding to a display unit, and the start of the touch operation are detected. If the end of the touch operation is detected after the first tactile sensation is generated by controlling the first tactile sensation generating means for generating the tactile sensation to be given to the operation element, the housing is vibrated. And tactile sensation control means for generating second tactile sensation by controlling second tactile sensation generating means for generating a tactile sensation given to the user.

本発明によれば、ユーザによる入力操作を装置が受け付けた否かをユーザが直感的に認識できる仕組みを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the mechanism in which a user can recognize intuitively whether the apparatus received input operation by a user can be provided.

電子機器を示す図である。It is a figure which shows an electronic device. 全体処理を示すフローチャートである。It is a flowchart which shows the whole process. 表示画面の一例を示す図である。It is a figure which shows an example of a display screen. シングルタッチ処理を示すフローチャートである。It is a flowchart which shows a single touch process. マルチタッチ処理を示すフローチャートである。It is a flowchart which shows a multi-touch process. タッチアップ後処理を示すフローチャートである。It is a flowchart which shows a touch-up post-process. 電子機器の動作の説明図である。It is explanatory drawing of operation | movement of an electronic device.

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、触感制御装置としての電子機器１００を示す図である。電子機器１００は、携帯電話等により構成することができる。図１に示すように、内部バス１５０に対して、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９及び通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して、撮像部１１２、荷重検出部１２１、触感生成部１２２及び触感生成部１２３が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ等）を有している。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が格納されている。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭ等を有している。
なお、後述する電子機器１００の機能や処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an electronic device 100 as a tactile sensation control device. The electronic device 100 can be configured by a mobile phone or the like. As shown in FIG. 1, the CPU 101, the memory 102, the nonvolatile memory 103, the image processing unit 104, the display 105, the operation unit 106, the recording medium I / F 107, the external I / F 109, and the communication I / O are connected to the internal bus 150. F110 is connected. An imaging unit 112, a load detection unit 121, a tactile sensation generation unit 122, and a tactile sensation generation unit 123 are connected to the internal bus 150. Each unit connected to the internal bus 150 can exchange data with each other via the internal bus 150.
The memory 102 includes, for example, a RAM (a volatile memory using a semiconductor element). The CPU 101 controls each unit of the electronic device 100 using the memory 102 as a work memory, for example, according to a program stored in the nonvolatile memory 103. The nonvolatile memory 103 stores image data, audio data, other data, various programs for operating the CPU 101, and the like. The non-volatile memory 103 has, for example, a hard disk (HD), a ROM, and the like.
Note that the functions and processing of the electronic device 100 described later are realized by the CPU 101 reading a program stored in the nonvolatile memory 103 and executing this program.

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、画像データに対して各種画像処理を施す。画像処理が施される画像データとしては、不揮発性メモリ１０３や記録媒体１０８に格納された画像データ、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像データ、撮像部１１２で撮像された画像データ等がある。
画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０４は、例えば、特定の画像処理を施すための専用の回路ブロックである。また、画像処理の種別によっては、画像処理部１０４ではなく、ＣＰＵ１０１がプログラムに従って画像処理を実行することもできる。 The image processing unit 104 performs various image processing on the image data based on the control of the CPU 101. Image data to be subjected to image processing includes image data stored in the non-volatile memory 103 and the recording medium 108, a video signal acquired through the external I / F 109, image data acquired through the communication I / F 110, There are image data captured by the imaging unit 112 and the like.
The image processing performed by the image processing unit 104 includes A / D conversion processing, D / A conversion processing, image data encoding processing, compression processing, decoding processing, enlargement / reduction processing (resizing), noise reduction processing, and color conversion. Processing etc. are included. The image processing unit 104 is a dedicated circuit block for performing specific image processing, for example. Also, depending on the type of image processing, the CPU 101 can execute image processing according to a program instead of the image processing unit 104.

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面等を表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成し、これをディスプレイ１０５に出力するように、電子機器１００の各部を制御する。そして、ディスプレイ１０５は、映像信号に基づいて映像を表示する。
なお、他の例としては、電子機器１００は、ディスプレイ１０５を有さず、ディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースを有することとしてもよい。この場合には、電子機器１００は、外付けのモニタ（テレビ等）に対し画像等を表示するものとする。 The display 105 displays an image, a GUI screen configuring a GUI (Graphical User Interface), and the like based on the control of the CPU 101. The CPU 101 generates a display control signal according to a program, generates a video signal to be displayed on the display 105, and controls each unit of the electronic device 100 so as to output it to the display 105. The display 105 displays a video based on the video signal.
As another example, electronic device 100 may not have display 105 but may have an interface for outputting a video signal to be displayed on display 105. In this case, the electronic device 100 displays an image or the like on an external monitor (such as a television).

操作部１０６は、キーボード等の文字情報入力デバイスや、マウスやタッチパネル１２０等ポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等、ユーザ操作を受け付けるための入力デバイスである。タッチパネル１２０は、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報を出力する入力デバイスである。なお、タッチパネル１２０は、入力面の一例である。
記憶媒体Ｉ／Ｆ１０７には、メモリーカードやＣＤ、ＤＶＤ等の記録媒体１０８が装着可能である。記憶媒体Ｉ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、装着された記録媒体１０８へのデータの書き込みを行う。 The operation unit 106 is an input device for accepting user operations such as a character information input device such as a keyboard, a pointing device such as a mouse and a touch panel 120, a button, a dial, a joystick, a touch sensor, and a touch pad. The touch panel 120 is an input device that is configured to be two-dimensionally superimposed on the display 105 and outputs coordinate information corresponding to the touched position. The touch panel 120 is an example of an input surface.
A recording medium 108 such as a memory card, CD, or DVD can be attached to the storage medium I / F 107. The storage medium I / F 107 reads data from the loaded recording medium 108 and writes data to the loaded recording medium 108 based on the control of the CPU 101.

外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１等と通信（電話通信を含む）して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
撮像部１１２は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子、ズームレンズ、フォーカスレンズ、シャッター、絞り、測距部、Ａ／Ｄ変換器等を有するカメラユニットである。撮像部１１２は、静止画及び動画を撮像することができる。撮像部１１２により撮像された画像の画像データは、画像処理部１０４に送信され、画像処理部１０４において、各種処理を施された後、静止画ファイル又は動画ファイルとして記録媒体１０８に記録される。 The external I / F 109 is an interface that is connected to an external device by a wired cable or wirelessly to input / output a video signal or an audio signal. The communication I / F 110 is an interface for communicating with an external device, the Internet 111, etc. (including telephone communication) and transmitting / receiving various data such as files and commands.
The imaging unit 112 is a camera unit having an imaging element such as a CCD sensor or a CMOS sensor, a zoom lens, a focus lens, a shutter, an aperture, a distance measuring unit, an A / D converter, and the like. The imaging unit 112 can capture still images and moving images. The image data of the image captured by the imaging unit 112 is transmitted to the image processing unit 104, and after various processing is performed in the image processing unit 104, the image data is recorded on the recording medium 108 as a still image file or a moving image file.

ＣＰＵ１０１は、タッチパネル１２０から出力されたタッチ位置の座標情報を、内部バス１５０を介して受信する。そして、ＣＰＵ１０１は、座標情報に基づいて、以下の操作や状態を検出する。
・タッチパネル１２０を指やペンで触れる操作（以下、タッチダウンと称する）。
・タッチパネル１２０を指やペンで触れている状態（以下、タッチオンと称する）。
・タッチパネル１２０を指やペンで触れたまま移動する操作（以下、ムーブと称する）。
・タッチパネル１２０へ触れていた指やペンを離す操作（以下、タッチアップと称する）。
・タッチパネル１２０に何も触れていない状態（以下、タッチオフと称する）。
ＣＰＵ１０１はまた、シングルタッチのタッチダウン、マルチタッチのタッチダウン等、操作の種類と接点数とを組み合わせを、異なる操作として検出することができる。
ＣＰＵ１０１はさらに、ムーブを検出した場合には、タッチ位置の座標変化に基づいて、指やペンの移動方向を判定する。具体的には、ＣＰＵ１０１は、タッチパネル１２０上における移動方向の垂直成分及び水平成分それぞれを判定する。 The CPU 101 receives the coordinate information of the touch position output from the touch panel 120 via the internal bus 150. Then, the CPU 101 detects the following operations and states based on the coordinate information.
An operation of touching the touch panel 120 with a finger or a pen (hereinafter referred to as touchdown).
A state where the touch panel 120 is touched with a finger or a pen (hereinafter referred to as touch-on).
An operation of moving the touch panel 120 while touching it with a finger or a pen (hereinafter referred to as a move).
An operation of releasing a finger or pen that has been touching the touch panel 120 (hereinafter referred to as touch-up).
A state in which nothing touches the touch panel 120 (hereinafter referred to as touch-off).
The CPU 101 can also detect a combination of the type of operation and the number of contacts, such as single-touch touchdown and multi-touch touchdown, as different operations.
Further, when the CPU 101 detects a move, the CPU 101 determines the moving direction of the finger or pen based on the coordinate change of the touch position. Specifically, the CPU 101 determines a vertical component and a horizontal component in the moving direction on the touch panel 120.

ＣＰＵ１０１はまた、ストローク、フリック及びドラッグの各操作を検出する。ＣＰＵ１０１は、タッチダウンから一定のムーブを経てタッチアップが行われた場合に、ストロークを検出する。ＣＰＵ１０１は、所定距離以上且つ所定速度以上のムーブが検出され、続けてタッチアップが検出された場合に、フリックを検出する。ＣＰＵ１０１はまた、所定距離以上且つ所定速度未満のムーブが検出された場合に、ドラッグを検出する。
なお、フリックは、タッチパネル１２０上（入力面上）に指を触れたまま、ある程度の距離だけ素早く動かし、そのまま指をタッチパネル１２０から離す操作である。すなわち、フリックは、タッチパネル１２０上を指ではじくように素早くなぞる操作である。 The CPU 101 also detects stroke, flick, and drag operations. The CPU 101 detects a stroke when touch-up is performed through a certain move from touch-down. The CPU 101 detects a flick when a move of a predetermined distance or more and a predetermined speed or more is detected and a touch-up is subsequently detected. The CPU 101 also detects a drag when a move greater than a predetermined distance and less than a predetermined speed is detected.
The flick is an operation in which the finger is quickly moved by a certain distance while touching the touch panel 120 (on the input surface), and the finger is released from the touch panel 120 as it is. That is, the flick is an operation of quickly tracing the touch panel 120 with a finger.

タッチパネル１２０は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
荷重検出部１２１は、接着等によりタッチパネル１２０と一体に設けられている。荷重検出部１２１は、歪みゲージセンサであり、タッチ操作の押圧力に応じてタッチパネル１２０が微少量撓む（歪む）ことを利用して、タッチパネル１２０に加わる荷重（押圧力）を検出する。他の例としては、荷重検出部１２１は、ディスプレイ１０５と一体に設けられてもよい。この場合、荷重検出部１２１は、ディスプレイ１０５を介して、タッチパネル１２０に加わる荷重を検出する。 The touch panel 120 may be any of various types of touch panels such as a resistive film type, a capacitance type, a surface acoustic wave type, an infrared type, an electromagnetic induction type, an image recognition type, and an optical sensor type. good.
The load detection unit 121 is provided integrally with the touch panel 120 by adhesion or the like. The load detection unit 121 is a strain gauge sensor, and detects a load (pressing force) applied to the touch panel 120 by utilizing the fact that the touch panel 120 is bent (distorted) by a small amount according to the pressing force of the touch operation. As another example, the load detection unit 121 may be provided integrally with the display 105. In this case, the load detection unit 121 detects a load applied to the touch panel 120 via the display 105.

触感生成部１２２は、タッチパネル１２０を操作する指やペン等の操作子に与える触感を生成する。すなわち、触感生成部１２２は、タッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる。触感生成部１２２は、接着等によりタッチパネル１２０と一体に設けられている。触感生成部１２２は、圧電（ピエゾ）素子、より具体的には圧電振動子であり、ＣＰＵ１０１の制御の下、任意の振幅及び周波数で振動する。これにより、タッチパネル１２０が湾曲振動し、タッチパネル１２０の振動が操作子に触感として伝わる。すなわち、触感生成部１２２は、自身が振動することにより、操作子に触感を与えるものである。
他の例としては、触感生成部１２２は、ディスプレイ１０５と一体に設けられていてもよい。この場合、触感生成部１２２は、ディスプレイ１０５を介して、タッチパネル１２０を湾曲振動させる。 The tactile sensation generating unit 122 generates a tactile sensation to be given to an operator such as a finger or a pen that operates the touch panel 120. That is, the tactile sensation generating unit 122 generates a stimulus that can be sensed by the touching user through the touched part. The tactile sensation generating unit 122 is provided integrally with the touch panel 120 by adhesion or the like. The tactile sensation generating unit 122 is a piezoelectric element, more specifically, a piezoelectric vibrator, and vibrates with an arbitrary amplitude and frequency under the control of the CPU 101. Thereby, the touch panel 120 is curved and vibrated, and the vibration of the touch panel 120 is transmitted to the operator as a tactile sensation. That is, the tactile sensation generating unit 122 gives a tactile sensation to the operation element by vibrating itself.
As another example, the tactile sensation generating unit 122 may be provided integrally with the display 105. In this case, the tactile sensation generating unit 122 causes the touch panel 120 to bend and vibrate via the display 105.

なお、ＣＰＵ１０１は、触感生成部１２２の振幅及び周波数を変更し、様々なパターンで触感生成部１２２を振動させることにより、様々なパターンの触感を生成させることができる。 Note that the CPU 101 can generate various patterns of tactile sensation by changing the amplitude and frequency of the tactile sensation generating section 122 and vibrating the tactile sensation generating section 122 with various patterns.

また、ＣＰＵ１０１は、タッチパネル１２０おいて検出されたタッチ位置と、荷重検出部１２１により検出された押圧力に基づいて、触感を制御することができる。例えば、操作子のタッチ操作に対応し、ＣＰＵ１０１が、ディスプレイ１０５に表示されたボタンアイコンに対応するタッチ位置を検出し、荷重検出部１２１が、所定値以上の押圧力を検出したとする。この場合、ＣＰＵ１０１は、１周期前後の振動を生成する。これにより、ユーザは、あたかも機械的なボタンを押しこんだ際のクリック感のような触感を知覚することができる。
さらにＣＰＵ１０１は、ボタンアイコンの位置へのタッチを検出している状態で所定値以上の押圧力を検出した場合にのみ、ボタンアイコンの機能を実行するものとする。すなわち、ＣＰＵ１０１は、単にボタンアイコンに触れた場合のように弱い押圧力を検知した場合には、ボタンアイコンの機能を実行しない。これにより、ユーザは、機械的なボタンを押しこんだ際と同じような感覚で操作を行うことができる。
なお、荷重検出部１２１は、歪みゲージセンサに限定されるものではない。他の例としては、荷重検出部１２１は、圧電素子を有してもよい。この場合、荷重検出部１２１は、押圧力に応じて圧電素子から出力される電圧に基づいて、荷重を検出する。さらに、この場合の荷重検出部１２１としての圧力素子は、触感生成部１２２としての圧力素子と共通であってもよい。 In addition, the CPU 101 can control the tactile sensation based on the touch position detected on the touch panel 120 and the pressing force detected by the load detection unit 121. For example, it is assumed that the CPU 101 detects a touch position corresponding to the button icon displayed on the display 105 in response to the touch operation of the operator, and the load detection unit 121 detects a pressing force equal to or greater than a predetermined value. In this case, the CPU 101 generates vibrations around one cycle. As a result, the user can perceive a tactile sensation such as a click feeling when pressing a mechanical button.
Further, the CPU 101 executes the function of the button icon only when the pressing force of a predetermined value or more is detected in a state where the touch to the position of the button icon is detected. That is, the CPU 101 does not execute the button icon function when a weak pressing force is detected, such as when the button icon is simply touched. Thereby, the user can perform an operation with the same feeling as when pressing a mechanical button.
The load detection unit 121 is not limited to a strain gauge sensor. As another example, the load detection unit 121 may include a piezoelectric element. In this case, the load detection unit 121 detects the load based on the voltage output from the piezoelectric element according to the pressing force. Furthermore, the pressure element as the load detection unit 121 in this case may be the same as the pressure element as the tactile sensation generation unit 122.

また、触感生成部１２２は、圧力素子による振動を生成するものに限定されるものではない。他の例としては、触感生成部１２２は、電気的な触感を生成するものであってもよい。例えば、触感生成部１２２は、導電層パネルと絶縁体パネルを有する。ここで、導電層パネルと絶縁体パネルは、タッチパネル１２０と同様に、ディスプレイ１０５に重ね合わされ、平面的に設けられている。そして、ユーザが絶縁体パネルに触れると、導電層パネルに正電荷がチャージされる。すなわち、触感生成部１２２は、導電層パネルに正電荷をチャージすることにより、電気刺激としての触感を生成することができる。また、触感生成部１２２は、ユーザに、クーロン力により皮膚が引っ張られるような感覚（触感）を与えるものであってもよい。
また他の例としては、触感生成部１２２は、正電荷をチャージするか否かを、パネル上の位置毎に選択可能な導電層パネルを有してもよい。そして、ＣＰＵ１０１は、正電荷のチャージ位置を制御する。これにより、触感生成部１２２は、ユーザに「ゴツゴツ感」、「ザラザラ感」、「さらさら感」等、様々な触感を与えることができる。
また、他の例としては、触感生成部１２２は、タッチパネル１２０の表面を超音波振動させることにより触感を生成してもよい。超音波振動により、タッチパネル１２０と指との間に高圧の空気膜が形成される。そこで、触感生成部１２２は、この空気膜の浮揚作用により「ツルツル感」を与え、浮揚作用の大きさを瞬時に切り替えることにより「ザラザラ感」を与えてもよい。 Further, the tactile sensation generating unit 122 is not limited to the one that generates vibration by the pressure element. As another example, the tactile sensation generating unit 122 may generate an electric tactile sensation. For example, the tactile sensation generating unit 122 includes a conductive layer panel and an insulator panel. Here, like the touch panel 120, the conductive layer panel and the insulator panel are superimposed on the display 105 and provided in a plane. When the user touches the insulator panel, a positive charge is charged in the conductive layer panel. That is, the tactile sensation generating unit 122 can generate a tactile sensation as an electrical stimulus by charging the conductive layer panel with a positive charge. Further, the tactile sensation generating unit 122 may give the user a feeling (tactile sensation) such that the skin is pulled by the Coulomb force.
As another example, the tactile sensation generating unit 122 may include a conductive layer panel that can select whether to charge a positive charge for each position on the panel. Then, the CPU 101 controls the positive charge position. As a result, the tactile sensation generating unit 122 can give the user various tactile sensations such as “rough sensation”, “gritty feeling”, and “smooth feeling”.
As another example, the tactile sensation generating unit 122 may generate a tactile sensation by ultrasonically vibrating the surface of the touch panel 120. Due to the ultrasonic vibration, a high-pressure air film is formed between the touch panel 120 and the finger. Therefore, the tactile sensation generating unit 122 may give a “smooth feeling” by the levitation action of the air film, and give a “gritty feeling” by instantaneously switching the size of the levitation action.

触感生成部１２３は、電子機器１００の筐体（全体）を振動させることにより、触感を生成する。触感生成部１２３は、例えば偏心モーター等を有し、公知のバイブレーション機能等を実現する。これにより、電子機器１００は、触感生成部１２３が生成する振動により、電子機器１００を持つユーザの手等に触感を与えることができる。 The tactile sensation generating unit 123 generates a tactile sensation by vibrating the casing (entire) of the electronic device 100. The tactile sensation generating unit 123 includes, for example, an eccentric motor and realizes a known vibration function and the like. Thereby, the electronic device 100 can give a tactile sensation to the user's hand or the like having the electronic device 100 by the vibration generated by the tactile sensation generating unit 123.

図２は、電子機器１００による、全体処理を示すフローチャートである。不図示の電源スイッチが操作され電源がオンに切り替わると、Ｓ２００において、ＣＰＵ１０１は、フラグや制御変数等を初期化する。次に、Ｓ２０１において、ＣＰＵ１０１は、図３に例示した表示画面３００をディスプレイ１０５上に表示出力する。図３に示す表示画面３００は、拡大表示中のＧＵＩ画面である。表示画面３００上には、拡大表示中の拡大画像３０１、タッチ操作可能なＧＵＩボタン３０２及び全体表示中の全体画像３０３等が表示されている。
次に、Ｓ２０２において、ＣＰＵ１０１は、タッチパネル１２０へのユーザによる操作子を用いたタッチ操作を検知したか否かを確認する（検知処理）。ＣＰＵ１０１は、タッチ操作を検知した場合には（Ｓ２０２でＹｅｓ）、処理をＳ２０３へ進める。ＣＰＵ１０１は、タッチ操作を検知しなかった場合には（Ｓ２０２でＮｏ）、処理をＳ２０２へ進め、タッチ操作の入力待ちの状態となる。 FIG. 2 is a flowchart showing overall processing by the electronic device 100. When a power switch (not shown) is operated and the power is turned on, in S200, the CPU 101 initializes a flag, a control variable, and the like. Next, in S 201, the CPU 101 displays and outputs the display screen 300 illustrated in FIG. 3 on the display 105. A display screen 300 shown in FIG. 3 is a GUI screen during enlarged display. On the display screen 300, an enlarged image 301 that is being enlarged, a GUI button 302 that can be touch-operated, an entire image 303 that is currently being displayed, and the like are displayed.
Next, in S 202, the CPU 101 confirms whether or not a touch operation using the operator by the user on the touch panel 120 has been detected (detection process). If the CPU 101 detects a touch operation (Yes in S202), the process proceeds to S203. If the CPU 101 does not detect the touch operation (No in S202), the CPU 101 advances the process to S202, and waits for input of the touch operation.

Ｓ２０３において、ＣＰＵ１０１は、Ｓ２０２において受け付けた操作がタッチダウンか否かを確認する。ＣＰＵ１０１は、タッチダウンである場合には（Ｓ２０３でＹｅｓ）、処理をＳ２０４へ進める。ＣＰＵ１０１は、タッチダウンでない場合には（Ｓ２０３でＮｏ）、処理をＳ２１０へ進める。Ｓ２０４において、ＣＰＵ１０１は、Ｓ２０２において受け付けた操作がシングルタッチか否かを確認する。ＣＰＵ１０１は、シングルタッチの場合には（Ｓ２０４でＹｅｓ）、処理をＳ２０５へ進める。ＣＰＵ１０１は、シングルタッチでない場合、すなわちマルチタッチの場合には（Ｓ２０４でＮｏ）、処理をＳ２０８へ進める。 In S203, the CPU 101 confirms whether or not the operation received in S202 is a touchdown. If it is touchdown (Yes in S203), the CPU 101 advances the process to S204. If the CPU 101 is not touchdown (No in S203), the process proceeds to S210. In S204, the CPU 101 confirms whether or not the operation received in S202 is a single touch. In the case of single touch (Yes in S204), the CPU 101 advances the process to S205. If the CPU 101 is not a single touch, that is, if it is a multi-touch (No in S204), the process proceeds to S208.

Ｓ２０５において、ＣＰＵ１０１は、シングルタッチ処理を行う。シングルタッチ処理については、図４を参照しつつ、後に詳述する。次に、Ｓ２０６において、ＣＰＵ１０１は、タッチアップ操作の有無を確認する。ＣＰＵ１０１は、タッチアップを検知した場合、すなわちタッチ操作の終了を検知した場合には（Ｓ２０６でＹｅｓ）、処理をＳ２０７へ進める。ＣＰＵ１０１は、タッチアップを検知しなかった場合には（Ｓ２０６でＮｏ）、処理をＳ２０４へ進める。Ｓ２０７において、ＣＰＵ１０１は、タッチアップ後処理を行う。タッチアップ後処理については、図６を参照しつつ、後に詳述する。その後、ＣＰＵ１０１は、処理をＳ２０２へ進める。
一方、Ｓ２０８において、ＣＰＵ１０１は、マルチタッチ処理を行う。マルチタッチ処理については、図５を参照しつつ、後に詳述する。次に、Ｓ２０９において、ＣＰＵ１０１は、Ｓ２０２において受け付けたマルチタッチのうち先のタッチダウン操作のタッチに対するタッチアップ操作の有無を確認する。ＣＰＵ１０１は、タッチアップ操作を検知した場合には（Ｓ２０９でＹｅｓ）、処理をＳ２０７へ進める。ＣＰＵ１０１は、タッチアップ操作を検知しなかった場合には（２０９でＮｏ）、処理をＳ２０４へ進める。また、Ｓ２１０において、ＣＰＵ１０１は、Ｓ２０２において入力されたタッチイベントに応じた、その他の処理を行う。その後、ＣＰＵ１０１は、処理をＳ２０２へ進める。 In S205, the CPU 101 performs single touch processing. The single touch process will be described in detail later with reference to FIG. Next, in S206, the CPU 101 confirms whether or not a touch-up operation is performed. If the CPU 101 detects a touch-up, that is, if it detects the end of a touch operation (Yes in S206), the CPU 101 advances the process to S207. If the CPU 101 has not detected touch-up (No in S206), the process proceeds to S204. In S207, the CPU 101 performs post-touchup processing. The post-touch-up process will be described later in detail with reference to FIG. Thereafter, the CPU 101 advances the process to S202.
On the other hand, in S208, the CPU 101 performs multi-touch processing. The multi-touch process will be described later in detail with reference to FIG. Next, in S209, the CPU 101 confirms whether or not there is a touch-up operation for the touch of the previous touch-down operation among the multi-touches accepted in S202. If the CPU 101 detects a touch-up operation (Yes in S209), the process proceeds to S207. If the CPU 101 has not detected a touch-up operation (No in 209), the process proceeds to S204. In S210, the CPU 101 performs other processing in accordance with the touch event input in S202. Thereafter, the CPU 101 advances the process to S202.

図４は、図２を参照しつつ説明した、シングルタッチ処理（Ｓ２０５）における詳細な処理を示すフローチャートである。Ｓ４００において、ＣＰＵ１０１は、シングルタッチのタッチ位置が図３の拡大画像３０１上か否かを判断する。ＣＰＵ１０１は、ユーザが拡大画像３０１上でシングルタッチしている場合（Ｓ４００でＹｅｓ）、Ｓ４０１において、ユーザ操作が拡大画像３０１のムーブであるか否かを判断する。
ＣＰＵ１０１は、ユーザ操作が拡大画像３０１のムーブである場合（Ｓ４０１でＹｅｓ）、Ｓ４０２において、ＣＰＵ１０１は、ムーブ操作の実行中であることを示すムーブフラグにオンを設定する。なお、ムーブフラグは、メモリ１０２に記憶されているものとする。次に、Ｓ４０３において、ＣＰＵ１０１は、触感生成部１２２を制御し、操作子に与える第１の触感を生成する（触感制御処理）。 FIG. 4 is a flowchart showing detailed processing in the single touch processing (S205) described with reference to FIG. In S400, the CPU 101 determines whether or not the touch position of the single touch is on the enlarged image 301 in FIG. When the user performs a single touch on the enlarged image 301 (Yes in S400), the CPU 101 determines whether or not the user operation is a move of the enlarged image 301 in S401.
When the user operation is a move of the enlarged image 301 (Yes in S401), the CPU 101 sets on a move flag indicating that the move operation is being executed in S402. It is assumed that the move flag is stored in the memory 102. Next, in S403, the CPU 101 controls the tactile sensation generating unit 122 to generate a first tactile sensation to be given to the operation element (tactile sensation control processing).

このように、ムーブ操作に基づいてユーザに対し触感が与えられるので、ユーザは、電子機器１００がムーブ操作を受け付けたことを触感により認識することができる。
なお、Ｓ４０３において、ＣＰＵ１０１は、触感生成部１２２を制御しムーブ操作中のタッチ位置のみ振動させても良いし、ムーブ操作中のタッチ位置を含むタッチパネル１２０全体を振動させても良い。 Thus, since a tactile sensation is given to the user based on the move operation, the user can recognize from the tactile sensation that the electronic device 100 has accepted the move operation.
In S403, the CPU 101 may control the tactile sensation generating unit 122 to vibrate only the touch position during the move operation, or may vibrate the entire touch panel 120 including the touch position during the move operation.

次に、Ｓ４０４において、ＣＰＵ１０１は、ムーブ操作に基づいて拡大画像３０１の位置情報を更新する。ここで、位置情報は、拡大画像３０１のサイズ、表示位置を示す情報である。次に、Ｓ４０５において、ＣＰＵ１０１は、ユーザ操作に応じた画面をディスプレイ１０５に表示する。ムーブ操作中の場合には、拡大表示中のＧＵＩ画面が表示される。
Ｓ４０１において、ＣＰＵ１０１は、ユーザ操作が拡大画像３０１のムーブでない場合には（Ｓ４０１でＮｏ）、処理をＳ４０６へ進める。Ｓ４０６において、ＣＰＵ１０１は、ムーブフラグにオフを設定する。次に、Ｓ４０７において、ＣＰＵ１０１は、ムーブしていない場合の処理、すなわちその他の処理を実行する。Ｓ４０７において、ＣＰＵ１０１は、例えば、図３に示す表示画面３００の端を四隅がタッチされた場合に、タッチ方向に拡大画像３０１の位置情報を更新する。そして、ＣＰＵ１０１は、処理をＳ４０５へ進める。このように位置情報が更新された場合には、Ｓ４０５において、ＣＰＵ１０１は、更新後の表示画面３００をディスプレイ１０５に表示する。 In step S 404, the CPU 101 updates position information of the enlarged image 301 based on the move operation. Here, the position information is information indicating the size and display position of the enlarged image 301. In step S 405, the CPU 101 displays a screen corresponding to the user operation on the display 105. When the move operation is being performed, an enlarged GUI screen is displayed.
In S401, if the user operation is not to move the enlarged image 301 (No in S401), the CPU 101 advances the process to S406. In S406, the CPU 101 sets the move flag to OFF. In step S 407, the CPU 101 executes processing when the move is not performed, that is, other processing. In S407, for example, when the four corners of the end of the display screen 300 illustrated in FIG. 3 are touched, the CPU 101 updates the position information of the enlarged image 301 in the touch direction. Then, the CPU 101 advances the process to S405. When the position information is updated in this way, the CPU 101 displays the updated display screen 300 on the display 105 in S405.

また、Ｓ４００において、ＣＰＵ１０１は、シングルタッチのタッチ位置が拡大画像３０１上でない場合（Ｓ４００でＮｏ）、処理をＳ４０８へ進める。Ｓ４０８において、ＣＰＵ１０１は、シングルタッチのタッチ位置がＧＵＩボタン３０２上か否かを確認する。ＣＰＵ１０１は、タッチ位置がＧＵＩボタン３０２上の場合（Ｓ４０８でＹｅｓ）、処理をＳ４０９へ進める。Ｓ４０９において、ＣＰＵ１０１は、ユーザがＧＵＩボタン３０２の選択中であることを示す選択フラグにオンを設定する。選択フラグは、メモリ１０２に記憶されているものとする。
次に、Ｓ４１０において、ＣＰＵ１０１は、ＧＵＩボタン３０２が選択されたことを示すためにＧＵＩボタン３０２の色を選択色に変更し、処理をＳ４０５へ進める。この場合、Ｓ４０５において、ＣＰＵ１０１は、変更結果をディスプレイ１０５上に表示出力する。
Ｓ４０８において、ＣＰＵ１０１は、シングルタッチのタッチ位置がＧＵＩボタン３０２上でない場合（Ｓ４０８でＮｏ）、処理をＳ４１１へ進める。Ｓ４１１において、ＣＰＵ１０１は、その他の機能を実施する。例えば、図３の表示画面３００における全体画像３０３がシングルタッチされた場合には、Ｓ４１１において、ＣＰＵ１０１は、画面表示を拡大画面（表示画面３００）から全体表示に変更する。 In S400, if the touch position of the single touch is not on the enlarged image 301 (No in S400), the CPU 101 advances the process to S408. In step S 408, the CPU 101 confirms whether the single touch touch position is on the GUI button 302. If the touch position is on the GUI button 302 (Yes in S408), the CPU 101 advances the process to S409. In step S409, the CPU 101 sets on a selection flag indicating that the user is selecting the GUI button 302. It is assumed that the selection flag is stored in the memory 102.
Next, in S410, the CPU 101 changes the color of the GUI button 302 to the selected color to indicate that the GUI button 302 has been selected, and advances the processing to S405. In this case, the CPU 101 displays and outputs the change result on the display 105 in S405.
In S408, when the touch position of the single touch is not on the GUI button 302 (No in S408), the CPU 101 advances the process to S411. In S411, the CPU 101 performs other functions. For example, when the entire image 303 on the display screen 300 in FIG. 3 is single-touched, in S411, the CPU 101 changes the screen display from the enlarged screen (display screen 300) to the entire display.

図５は、図２を参照しつつ説明した、マルチタッチ処理（Ｓ２０８）における詳細な処理を示すフローチャートである。Ｓ５００において、ＣＰＵ１０１は、マルチタッチの先にタッチしたタッチ位置が拡大画像３０１上か否かを判断する。ＣＰＵ１０１は、タッチ位置が拡大画像３０１上である場合（Ｓ５００でＹｅｓ）、Ｓ５０１において、ユーザ操作が拡大画像３０１のムーブであるか否かを判断する。
ＣＰＵ１０１は、ユーザ操作が拡大画像３０１のムーブである場合（Ｓ５０１でＹｅｓ）、Ｓ５０２において、ムーブフラグにオンを設定する。ＣＰＵ１０１は、ユーザ操作が拡大画像３０１のムーブでない場合（Ｓ５０１でＮｏ）、処理をＳ５０６へ進める。Ｓ５０３において、ＣＰＵ１０１は、触感生成部１２２を制御し、操作子に与える第１の触感を生成する（触感制御処理）。次に、Ｓ５０４において、ＣＰＵ１０１は、ムーブ操作に基づいて拡大画像３０１の拡大縮小サイズを更新する。 FIG. 5 is a flowchart showing detailed processing in the multi-touch processing (S208) described with reference to FIG. In step S 500, the CPU 101 determines whether the touch position touched before the multi-touch is on the enlarged image 301. If the touch position is on the enlarged image 301 (Yes in S500), the CPU 101 determines whether the user operation is a move of the enlarged image 301 in S501.
When the user operation is to move the enlarged image 301 (Yes in S501), the CPU 101 sets the move flag to ON in S502. If the user operation is not to move the enlarged image 301 (No in S501), the CPU 101 advances the process to S506. In step S 503, the CPU 101 controls the tactile sensation generating unit 122 to generate a first tactile sensation to be given to the operator (tactile sensation control processing). In step S 504, the CPU 101 updates the enlargement / reduction size of the enlarged image 301 based on the move operation.

この時、ＣＰＵ１０１は、先にタッチダウンしたタッチ位置から他方のタッチダウンしたタッチ位置が近くなる方向にムーブした場合は表示中の拡大画像３０１を縮小するように位置情報を変更する。また、ＣＰＵ１０１は、先にタッチダウンしたタッチ位置から他方のタッチダウンしたタッチ位置が遠くなる方向にムーブした場合は表示中の拡大画像３０１を拡大するように位置情報を更新する。
なお、Ｓ５０５，Ｓ５０６，Ｓ５０７の処理は、それぞれ図４を参照しつつ説明したＳ４０５，Ｓ４０６，Ｓ４０７の処理と同様である。 At this time, the CPU 101 changes the position information so that the enlarged image 301 being displayed is reduced when moving from the touch position touched down first to the direction in which the other touched touch position approaches. Further, the CPU 101 updates the position information so that the enlarged image 301 being displayed is enlarged when the other touch-down touch position moves away from the touch position touched down first.
Note that the processes of S505, S506, and S507 are the same as the processes of S405, S406, and S407 described with reference to FIG.

ＣＰＵ１０１は、マルチタッチの先にタッチしたタッチ位置が拡大画像３０１上でない場合（Ｓ５００でＮｏ）、処理をＳ５０８へ進める。Ｓ５０８において、ＣＰＵ１０１は、マルチタッチの先にタッチした位置がＧＵＩボタン３０２上か否かを判断する。ＣＰＵ１０１は、先にタッチした位置がＧＵＩボタン３０２上である場合（Ｓ５０８でＹｅｓ）、ＣＰＵ１０１は、Ｓ５０９，Ｓ５１０及びＳ５０５を実行する。
また、Ｓ５０８において、ＣＰＵ１０１は、マルチタッチの先にタッチしたタッチ位置がＧＵＩボタン３０２上でない場合（Ｓ５０８でＮｏ）、Ｓ５１１及びＳ５０５の処理を実行する。なお、Ｓ５０９，Ｓ５１０，Ｓ５１１の処理は、図４を参照しつつ説明したＳ４０９，Ｓ４１０，Ｓ４１１の処理と同様である。 If the touch position touched before the multi-touch is not on the enlarged image 301 (No in S500), the CPU 101 advances the process to S508. In step S 508, the CPU 101 determines whether the position touched at the tip of multi-touch is on the GUI button 302. When the previously touched position is on the GUI button 302 (Yes in S508), the CPU 101 executes S509, S510, and S505.
In S508, if the touch position touched before the multi-touch is not on the GUI button 302 (No in S508), the CPU 101 executes the processes of S511 and S505. Note that the processing of S509, S510, and S511 is the same as the processing of S409, S410, and S411 described with reference to FIG.

図６は、図２を参照しつつ説明した、タッチアップ後処理（Ｓ２０７）における詳細な処理を示すフローチャートである。Ｓ６００において、ＣＰＵ１０１は、処理時点において第１の触感を生成中か否かを確認する。ＣＰＵ１０１は、第１の触感生成中である場合には（Ｓ６００でＹｅｓ）、処理をＳ６０１へ進める。ＣＰＵ１０１は、第１の触感を生成中でない場合には（Ｓ６００でＮｏ）、処理をＳ６０２へ進める。Ｓ６０１において、ＣＰＵ１０１は、触感生成部１２２を制御し、第１の触感の生成を停止する。
次に、Ｓ６０２において、ＣＰＵ１０１は、ユーザによるムーブ操作が実行中か否かを確認すべく、メモリ１０２に記憶されているムーブフラグを確認する。ＣＰＵ１０１は、ムーブフラグにオンが設定されている場合には（Ｓ６０２でＹｅｓ）、処理をＳ６０３へ進める。ＣＰＵ１０１は、ムーブフラグにオフが設定されている場合には（Ｓ６０２でＮｏ）、処理をＳ６１４へ進める。そして、Ｓ６１４において、ＣＰＵ１０１は、必要に応じて表示画面の更新を行う。
Ｓ６０３において、ＣＰＵ１０１は、フリック操作の有無を確認する。ここで、フリック操作は、所定速度以上でムーブ操作を行った後にタッチアップを行う操作である。ＣＰＵ１０１は、フリック操作を検知した場合には（Ｓ６０３でＹｅｓ）、処理をＳ６０４へ進める。ＣＰＵ１０１は、フリック操作を検知しなかった場合には（Ｓ６０３でＮｏ）、処理をＳ６０９へ進める。 FIG. 6 is a flowchart showing detailed processing in the post-touch-up processing (S207) described with reference to FIG. In S600, the CPU 101 confirms whether or not the first tactile sensation is being generated at the time of processing. If the first tactile sensation is being generated (Yes in S600), the CPU 101 advances the process to S601. If the first tactile sensation is not being generated (No in S600), the CPU 101 advances the process to S602. In step S 601, the CPU 101 controls the tactile sensation generating unit 122 and stops generating the first tactile sensation.
In step S 602, the CPU 101 confirms the move flag stored in the memory 102 to confirm whether the move operation by the user is being executed. If the move flag is set to ON (Yes in S602), the CPU 101 advances the process to S603. If the move flag is set to OFF (No in S602), the CPU 101 advances the process to S614. In step S614, the CPU 101 updates the display screen as necessary.
In step S603, the CPU 101 confirms whether or not a flick operation has been performed. Here, the flick operation is an operation for performing a touch-up after performing a move operation at a predetermined speed or higher. When the CPU 101 detects a flick operation (Yes in S603), the CPU 101 advances the process to S604. If the CPU 101 does not detect the flick operation (No in S603), the process proceeds to S609.

Ｓ６０４において、ＣＰＵ１０１は、触感生成部１２３を制御し、電子機器１００の全体を振動させる第２の触感を生成する（触感制御処理）。次に、Ｓ６０５において、ＣＰＵ１０１は、第２の触感の生成開始タイミングから所定時間が経過したか否かを確認する。なお、Ｓ６０５において参照される所定時間は、固定値であってもよく、フリック速度に応じて定まる値であってもよい。
ＣＰＵ１０１は、所定時間が経過していない場合には（Ｓ６０５でＮｏ）、処理をＳ６０６へ進める。Ｓ６０６において、ＣＰＵ１０１は、第２の触感の強度を一定量だけ弱くする。すなわち、ＣＰＵ１０１は、触感生成部１２３に対し、振動量を一定量だけ減少させる。その後、ＣＰＵ１０１は、処理をＳ６０５へ進める。このように、フリック操作後にＳ６０５及びＳ６０６の処理を繰り返すことにより、ＣＰＵ１０１は、第２の触感の強度を徐々に減少させることができる。なお、Ｓ６０６において弱める割合は、常に固定値であってもよく、また他の例としては、減少割合を繰り返し回数に応じて変化させてもよい。 In step S604, the CPU 101 controls the tactile sensation generating unit 123 to generate a second tactile sensation that vibrates the entire electronic device 100 (tactile sensation control processing). In step S 605, the CPU 101 confirms whether a predetermined time has elapsed from the generation start timing of the second tactile sensation. The predetermined time referred to in S605 may be a fixed value or a value determined according to the flick speed.
If the predetermined time has not elapsed (No in S605), the CPU 101 advances the process to S606. In S606, the CPU 101 weakens the strength of the second tactile sensation by a certain amount. That is, the CPU 101 causes the tactile sensation generating unit 123 to reduce the vibration amount by a certain amount. Thereafter, the CPU 101 advances the process to S605. As described above, the CPU 101 can gradually decrease the strength of the second tactile sensation by repeating the processes of S605 and S606 after the flick operation. Note that the rate of weakening in S606 may always be a fixed value, and as another example, the rate of decrease may be changed according to the number of repetitions.

Ｓ６０５において、所定時間が経過すると（Ｓ６０５でＹｅｓ）、ＣＰＵ１０１は、処理をＳ６０７へ進める。Ｓ６０７において、ＣＰＵ１０１は、触感生成部１２３を制御し、第２の触感を停止する。次に、Ｓ６０８において、ＣＰＵ１０１はフリック操作によって移動する位置に情報を更新する。次に、Ｓ６１４において、ＣＰＵ１０１は、更新後の位置情報に基づいて表示画面の更新を行う。 When the predetermined time has elapsed in S605 (Yes in S605), the CPU 101 advances the process to S607. In step S 607, the CPU 101 controls the tactile sensation generating unit 123 to stop the second tactile sensation. In step S 608, the CPU 101 updates information to a position where the CPU 101 moves by a flick operation. Next, in S614, the CPU 101 updates the display screen based on the updated position information.

また、Ｓ６０９において、ＣＰＵ１０１は、タッチアップ操作が行われた位置がＧＵＩボタン３０２上か否かを確認する。ＣＰＵ１０１は、タッチアップ操作の位置がＧＵＩボタン３０２上の場合には（Ｓ６０９でＹｅｓ）、処理をＳ６１０へ進める。ＣＰＵ１０１は、タッチアップ操作の位置がＧＵＩボタン３０２上でない場合には（Ｓ６０９でＮｏ）、処理をＳ６１３へ進める。
Ｓ６１０において、ＣＰＵ１０１は、メモリ１０２に記憶されている選択フラグを確認する。ＣＰＵ１０１は、選択フラグにオンが設定されている場合には（Ｓ６１０でＹｅｓ）、処理をＳ６１１へ進める。ＣＰＵ１０１は、選択フラグにオフが設定されている場合には（Ｓ６１０でＮｏ）、処理をＳ６１４へ進める。この場合、ＣＰＵ１０１は、Ｓ６１４において、必要に応じて画面表示の更新を行う。なお、本実施形態においては、ユーザがＧＵＩボタン３０２上でタッチダウンしてムーブした場合において、ＧＵＩボタン３０２でタッチアップした場合には、電子機器１００は、このＧＵＩボタン３０２の機能を実行する。但し、ユーザがムーブして、タッチアップ位置がＧＵＩボタン３０２から外れた場合には、電子機器１００は、このＧＵＩボタン３０２の機能を実行しないこととする。 In step S 609, the CPU 101 confirms whether the position where the touch-up operation is performed is on the GUI button 302. If the position of the touch-up operation is on the GUI button 302 (Yes in S609), the CPU 101 advances the process to S610. If the position of the touch-up operation is not on the GUI button 302 (No in S609), the CPU 101 advances the process to S613.
In step S 610, the CPU 101 confirms the selection flag stored in the memory 102. If the selection flag is set to ON (Yes in S610), the CPU 101 advances the process to S611. If the selection flag is set to OFF (No in S610), the CPU 101 advances the process to S614. In this case, the CPU 101 updates the screen display as necessary in S614. In the present embodiment, when the user touches down and moves on the GUI button 302, and the user touches up with the GUI button 302, the electronic device 100 executes the function of the GUI button 302. However, when the user moves and the touch-up position deviates from the GUI button 302, the electronic device 100 does not execute the function of the GUI button 302.

Ｓ６１１において、ＣＰＵ１０１は、触感生成部１２３を制御し、電子機器１００の全体を振動させる第２の触感を生成する（触感制御処理）。このように、電子機器１００は、タッチアップ時に、電子機器１００の全体を振動させることにより、タッチしていたＧＵＩボタン３０２の機能を受け付けたことをユーザに通知することができる。
次に、Ｓ６１２において、ＣＰＵ１０１は、直前にタッチされていたＧＵＩボタン３０２に対応する機能を実行する。ＣＰＵ１０１は、例えば、拡大表示画面から別ウィンドウに遷移する機能や拡大表示中の画像の拡縮を行う。次に、Ｓ６１４において、ＣＰＵ１０１は、前述のように必要に応じて表示画面の更新を行う。ＣＰＵ１０１は、例えば、タッチダウン時にＧＵＩボタン３０２の色を変更した場合には、Ｓ６１４において、すなわちタッチアップ時に、元の色に戻した画面を表示する。
また、Ｓ６１３においては、ＣＰＵ１０１は、必要に応じてその他の処理を行う。例えば、ＧＵＩボタン３０２でタッチダウンしたが有効範囲外の位置でタッチアップした場合は、ＣＰＵ１０１は、選択したＧＵＩボタン３０２の機能は実行しない。すなわち、その他の処理は行わない。その後、Ｓ６１４において、ＣＰＵ１０１は、前述のように必要に応じて表示画面の更新を行う。 In S 611, the CPU 101 controls the tactile sensation generating unit 123 to generate a second tactile sensation that vibrates the entire electronic device 100 (tactile sensation control processing). As described above, the electronic device 100 can notify the user that the function of the touched GUI button 302 has been received by vibrating the entire electronic device 100 during touch-up.
Next, in S612, the CPU 101 executes a function corresponding to the GUI button 302 touched immediately before. The CPU 101 performs, for example, a function for transitioning from an enlarged display screen to another window or an image being enlarged and reduced. Next, in S614, the CPU 101 updates the display screen as necessary as described above. For example, when the color of the GUI button 302 is changed at the time of touchdown, the CPU 101 displays a screen returned to the original color at S614, that is, at the time of touchup.
In S613, the CPU 101 performs other processing as necessary. For example, when the GUI button 302 is touched down but touched up at a position outside the effective range, the CPU 101 does not execute the function of the selected GUI button 302. That is, no other processing is performed. Thereafter, in S614, the CPU 101 updates the display screen as necessary as described above.

図７を参照しつつ、図４及び図６を参照しつつ説明した電子機器１００の動作について説明する。図７には、図３に示す表示画面３００が示されている。図７（ａ）に示すように、ユーザが拡大表示中の画像、すなわち拡大画像３０１を指７１０でタッチダウンし、表示画面３００の右方向（矢印Ａの方向）にムーブ操作を行ったとする。この場合、図７（ｂ）に示すように、ムーブ操作に応じて拡大画像３０１の表示位置が表示画面３００の右側に移動する。電子機器１００は、ムーブ操作を検知後第１の触感を生成しており、指７１０には、第１の触感７２０が伝わっている。
そして、図７（ｃ）に示すように、ユーザがムーブ操作を継続した後、タッチアップを行うと、電子機器１００は、第１の触感の生成を停止し、第２の触感７３０を生成する。これにより、電子機器１００の全体が振動する。このため、ユーザが指７１０を離した後においても、ユーザは、電子機器１００が受け付けた入力操作を認識することができる。 The operation of the electronic device 100 described with reference to FIGS. 4 and 6 will be described with reference to FIG. FIG. 7 shows the display screen 300 shown in FIG. As shown in FIG. 7A, assume that the user touches down an enlarged image, that is, an enlarged image 301 with a finger 710 and performs a move operation in the right direction of the display screen 300 (in the direction of arrow A). In this case, as shown in FIG. 7B, the display position of the enlarged image 301 moves to the right side of the display screen 300 in accordance with the move operation. The electronic device 100 generates a first tactile sensation after detecting the move operation, and the first haptic 720 is transmitted to the finger 710.
Then, as illustrated in FIG. 7C, when the user performs touch-up after continuing the move operation, the electronic device 100 stops generating the first tactile sensation and generates the second tactile sensation 730. . Thereby, the whole electronic device 100 vibrates. For this reason, even after the user releases the finger 710, the user can recognize the input operation accepted by the electronic device 100.

以上のように、本実施形態に係る電子機器１００は、ユーザがムーブ操作を行った際に、タッチ位置での触感を通じて、操作が受け付けられていることをユーザに通知することができる。また、電子機器１００は、ムーブ後にタッチアップ（フリック操作）した後においては、電子機器１００の全体を振動させることで、タッチアップ後に継続する処理をユーザに通知することができる。 As described above, the electronic device 100 according to the present embodiment can notify the user that the operation is accepted through the tactile sensation at the touch position when the user performs the move operation. In addition, after touch-up (flick operation) after the move, electronic device 100 can notify the user of processing that continues after touch-up by vibrating the entire electronic device 100.

また、本実施形態の変更例としては、図４に示すシングルタッチ処理におけるＳ４０３において第１の触感を生成させた状態で、ＣＰＵ１０１は、Ｓ４０３の処理後さらに、電子機器１００の全体を振動させる第２の触感を生成してもよい。電子機器１００は同様に、図５に示すマルチタッチ処理におけるＳ５０３において第１の触感を生成させた状態において、ＣＰＵ１０１は、Ｓ５０３の処理後さらに、第２の触感を生成してもよい。これにより、ユーザは、ムーブ操作中からムーブ操作後まで継続して、第２の触感を認識することができる。
このように、本例においては、電子機器１００は、ムーブ操作と、ムーブ操作後に得られる第２の触感とに関連性を持たせることができる。これにより、ユーザは、フリック時の第２の触感がいずれの操作に応じて生じたものかを直感的に把握することができる。 As a modification of the present embodiment, the CPU 101 further vibrates the entire electronic device 100 after the processing of S403 in a state where the first tactile sensation is generated in S403 in the single touch processing shown in FIG. Two tactile sensations may be generated. Similarly, the electronic device 100 may generate a second tactile sensation after the processing of S503 in a state where the first tactile sensation is generated in S503 in the multi-touch process shown in FIG. As a result, the user can recognize the second tactile sensation continuously during the move operation and after the move operation.
As described above, in this example, the electronic device 100 can associate the move operation with the second tactile sensation obtained after the move operation. As a result, the user can intuitively understand which operation causes the second tactile sensation at the time of flicking.

さらに、本変更例において、電子機器１００は、ムーブ時の位置変化に基づいて、第２の触感の強度、すなわち振動の大きさを変更してもよい。また、本変更例において、電子機器１００は、第１の触感と共に第２の触感を生成し、その後タッチアップが検知された場合に、第２の触感の強度をタッチアップ検知前に比べて大きい値に変更してもよい。これにより、ユーザは、電子機器１００がタッチアップを検知したことを把握することができる。また、電子機器１００は、第１の触感と共に第２の触感を生成する場合の駆動に係る最大負荷量を減らすことができる。 Furthermore, in the present modification example, electronic device 100 may change the strength of the second tactile sensation, that is, the magnitude of vibration, based on the position change during the move. In this modification, electronic device 100 generates the second tactile sensation together with the first tactile sensation, and when the touch-up is detected thereafter, the strength of the second tactile sensation is larger than that before the touch-up detection. You may change it to a value. Thereby, the user can grasp that electronic device 100 detected touch-up. In addition, the electronic device 100 can reduce the maximum load amount related to driving when the second tactile sensation is generated together with the first tactile sensation.

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program.

以上、上述した各実施形態によれば、ユーザによる入力操作を装置が受け付けた否かをユーザが直感的に認識できる仕組みを提供することができる。 As described above, according to each of the embodiments described above, it is possible to provide a mechanism that allows the user to intuitively recognize whether or not the apparatus has accepted an input operation by the user.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

１００電子機器、１０１ＣＰＵ、１０２メモリ、１２０タッチパネル、１２２，１２３触感生成部 100 electronic device, 101 CPU, 102 memory, 120 touch panel, 122, 123 touch generation unit

Claims

Detecting means for detecting the start and end of a touch operation by an operator on an input surface provided corresponding to the display means;
When the start of the touch operation is detected, after the first tactile sensation generating means for generating the first tactile sensation is generated by controlling the first tactile sensation generating means for generating the tactile sensation given to the operation element, the end of the touch operation is detected. And a tactile sensation control unit that generates a second tactile sensation by controlling a second tactile sensation generating unit that generates a tactile sensation given to the user by vibrating the housing.

The tactile sensation control means gradually weakens the strength of the second tactile sensation after the flick operation when the touch operation is a flick operation in which an operator moves on the input surface at a predetermined speed or higher. The tactile sensation control device according to claim 1.

3. The tactile sensation control device according to claim 2, wherein, when the touch operation is not a flick operation, the tactile sensation control unit does not generate the second tactile sensation when the end of the touch operation is detected. .

Detecting means for detecting the start and end of a touch operation by an operator on an input surface provided corresponding to the display means;
When the start of the touch operation is detected, the first tactile sensation generating unit that generates the tactile sensation to be given to the operation element is controlled to generate the first tactile sensation, and the user is further made to vibrate by vibrating the casing. A second tactile sensation is generated by controlling the second tactile sensation generating means for generating the tactile sensation to be applied, and then the end of the touch operation is detected when the end of the touch operation is detected. A tactile sensation control device comprising tactile sensation control means that is larger than before tactile.

The tactile sensation control apparatus according to claim 4, wherein the tactile sensation control unit stops the first tactile sensation when the end of the touch operation is detected.

A tactile sensation control method executed by a tactile sensation control device,
A detection step for detecting the start and end of a touch operation by an operator on an input surface provided corresponding to the display means;
When the start of the touch operation is detected, after the first tactile sensation generating means for generating the first tactile sensation is generated by controlling the first tactile sensation generating means for generating the tactile sensation given to the operation element, the end of the touch operation is detected. And a tactile sensation control step for generating a second tactile sensation by controlling a second tactile sensation generating unit that generates a tactile sensation given to the user by vibrating the housing.

Computer
Detecting means for detecting the start and end of a touch operation by an operator on an input surface provided corresponding to the display means;
When the start of the touch operation is detected, after the first tactile sensation generating means for generating the first tactile sensation is generated by controlling the first tactile sensation generating means for generating the tactile sensation given to the operation element, the end of the touch operation is detected. And a program for controlling the second tactile sensation generating unit that generates a tactile sensation to be given to the user by vibrating the housing to function as a tactile sensation control unit that generates the second tactile sensation.