[go: up one dir, main page]

JP2014139776A - Display controller, display control method, and program - Google Patents

Display controller, display control method, and program Download PDF

Info

Publication number
JP2014139776A
JP2014139776A JP2013250511A JP2013250511A JP2014139776A JP 2014139776 A JP2014139776 A JP 2014139776A JP 2013250511 A JP2013250511 A JP 2013250511A JP 2013250511 A JP2013250511 A JP 2013250511A JP 2014139776 A JP2014139776 A JP 2014139776A
Authority
JP
Japan
Prior art keywords
display
display position
movement
attribute
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013250511A
Other languages
Japanese (ja)
Inventor
Motoki Ikeda
元気 池田
Hiroshi Sumio
弘 角尾
Masahito Yamamoto
雅仁 山本
Yoichi Kashibuchi
洋一 橿渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013250511A priority Critical patent/JP2014139776A/en
Priority to US14/104,311 priority patent/US20140173532A1/en
Publication of JP2014139776A publication Critical patent/JP2014139776A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチUIを具備する表示装置において、スワイプ操作時による表示位置の移動の方向を、補正ないし抑制するものがある。しかし、要望しないタイミングにおいて補正・抑制されてしまう場合があり不便である。
【解決手段】表示しているオブジェクトの属性に応じて、表示位置の移動を抑制する。
【選択図】図6
A display device having a touch UI corrects or suppresses the direction of movement of a display position during a swipe operation. However, it may be inconvenient because it may be corrected and suppressed at an undesired timing.
The movement of the display position is suppressed according to the attribute of the displayed object.
[Selection] Figure 6

Description

本発明は、表示制御装置、表示制御方法、及びプログラムに関する。   The present invention relates to a display control device, a display control method, and a program.

従来、パーソナルコンピュータやPDA、スマートフォン、タブレットなど比較的小さな表示装置上で画素数の大きい文書のページ画像を表示する際に、ページ画像の一部を逐次的に表示することが行われている。一般に、ページ画像はテキストや見出し、図、写真、表などの複数のオブジェクトから構成される。ユーザは、こうしたオブジェクトに沿って文書を読み進めるために、順次、ページの所望の範囲が表示装置に表示されるよう、表示位置の移動(スクロール)や拡大縮小の操作を繰り返す必要がある。   Conventionally, when displaying a page image of a document having a large number of pixels on a relatively small display device such as a personal computer, a PDA, a smartphone, or a tablet, a part of the page image is sequentially displayed. Generally, a page image is composed of a plurality of objects such as text, a headline, a figure, a photo, and a table. In order to read the document along such an object, the user needs to repeatedly move (scroll) the display position and perform enlargement / reduction operations so that the desired range of the page is sequentially displayed on the display device.

こうした表示位置の移動や拡大縮小の操作は、スイッチやホイール、トラックボール、ジョイスティック、タッチスクリーンなどの操作入力装置を操作することによって行われる。特に近年では、高精度なタッチスクリーンを用いた装置が普及している。こうした装置では、スワイプ操作やフリック操作による縦・横・斜めの任意の方向への表示位置の移動や、ピンチアウトおよびピンチイン操作による拡大縮小といった直接的な操作(ダイレクトマニピュレーション)が提供されている。   Such movement of the display position and enlargement / reduction operation are performed by operating an operation input device such as a switch, a wheel, a trackball, a joystick, or a touch screen. Particularly in recent years, devices using high-precision touch screens have become widespread. In such an apparatus, a direct operation (direct manipulation) such as movement of a display position in any direction of vertical, horizontal, and diagonal by swipe operation or flick operation, and enlargement / reduction by pinch-out and pinch-in operation is provided.

更に、特許文献1には、スワイプ操作による表示位置の移動の方向を、水平方向ないし垂直方向に補正する技術が開示されている。操作者の個人差や操作位置に起因して生ずる水平方向ないし垂直方向へのスワイプ操作のずれを学習して表示位置の移動操作に補正して反映するものである。   Further, Patent Document 1 discloses a technique for correcting the direction of movement of a display position by a swipe operation in a horizontal direction or a vertical direction. A shift in the swipe operation in the horizontal direction or the vertical direction caused by the individual difference of the operator or the operation position is learned and corrected and reflected in the movement operation of the display position.

また、アップル社のiPad(登録商標)やiPhone(登録商標)に搭載のWebブラウザでは、スワイプ操作による表示位置の移動を、水平方向ないし垂直方向に固定し抑制する技術が実施されている。すなわち、スワイプ操作の初動を、精度よく水平方向ないし垂直方向に操作することにより、指を離すまでの後続するスワイプ操作による表示位置の移動を、水平方向のみ、ないし垂直方向のみに抑制するものである。例えば、テキストを読み進めていく場合などでは、テキストの組み方向に沿って、表示位置を移動させたい。ここで、組み方向とは、例えば本文のような日本語横書きであれば、水平方向に向かって左から右に進む方向である。前述の表示位置の移動の補正や抑制を行う技術によれば、こうした場合において、所望の方向(組み方向)に対して直角方向に表示位置がずれてしまうことを低減するため、便利である。   In addition, in a Web browser installed in Apple's iPad (registered trademark) or iPhone (registered trademark), a technique is implemented in which the movement of the display position due to the swipe operation is fixed and suppressed in the horizontal direction or the vertical direction. In other words, the initial movement of the swipe operation is accurately controlled in the horizontal direction or the vertical direction, so that the movement of the display position by the subsequent swipe operation until the finger is released is suppressed only in the horizontal direction or only in the vertical direction. is there. For example, when reading text, the display position should be moved along the text composition direction. Here, the composition direction is a direction that proceeds from left to right in the horizontal direction in the case of Japanese horizontal writing such as text. According to the technique for correcting and suppressing the movement of the display position described above, it is convenient in such a case because the display position is prevented from being displaced in a direction perpendicular to the desired direction (assembly direction).

特開2011−70554号公報JP 2011-70554 A

しかしながら、特許文献1の技術や、iPad(登録商標)やiPhone(登録商標)で実施されている技術では、オブジェクトの種別に依らず、表示位置の移動の補正や抑制が起動される。例えば、表示装置に表示しているオブジェクトが、人物や風景を収めた写真である場合、スワイプ操作を指示する指の移動に応じて表示位置を移動させたい。しかし、ユーザが意図せず補正や抑制が起動する場合があり、その場合には所望の方向へ表示位置を移動させることがでない。   However, in the technique of Patent Document 1 and the technique implemented in iPad (registered trademark) or iPhone (registered trademark), correction or suppression of movement of the display position is activated regardless of the type of object. For example, when the object displayed on the display device is a photograph containing a person or landscape, the display position should be moved in accordance with the movement of the finger that instructs the swipe operation. However, there are cases where correction or suppression is activated unintentionally by the user, in which case the display position cannot be moved in a desired direction.

本発明に係る表示制御装置は、画像データに含まれるオブジェクトの属性に基づいて、前記画像データが示す画像の表示位置の移動を制御する制御手段を有することを特徴とする。   The display control apparatus according to the present invention includes control means for controlling movement of a display position of an image indicated by the image data based on an attribute of an object included in the image data.

本発明によれば、表示対象のオブジェクトに応じて、適切な表示位置の移動処理を行うことができる。   According to the present invention, it is possible to perform an appropriate display position movement process according to an object to be displayed.

携帯情報端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of a portable information terminal. アプリケーションプログラムの構成概念を示すブロック図である。It is a block diagram which shows the structural concept of an application program. ジェスチャイベントの名称と、各イベントが発生したときにジェスチャイベント処理部へ送信する情報を示した概念図である。It is the conceptual diagram which showed the name of a gesture event, and the information transmitted to a gesture event process part, when each event generate | occur | produces. タッチUIの初期表示処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of the initial display process of touch UI. 携帯情報端末のタッチUIの表示例を示す画面図である。It is a screen figure which shows the example of a display of touch UI of a portable information terminal. 表示制御装置の表示位置の移動処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of the movement process of the display position of a display control apparatus. 文字属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a character attribute object movement suppression determination process. 表属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a table attribute object movement suppression determination process. グラフィック属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a graphic attribute object movement suppression determination process. グラフィック属性のオブジェクトとしての棒グラフや帯グラフの一例を示した図である。It is the figure which showed an example of the bar graph and band graph as an object of a graphic attribute. 移動範囲制限処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a movement range restriction | limiting process. 携帯情報端末の部分領域表示モードにおけるタッチUIの表示例を示す画面図である。It is a screen figure which shows the example of a display of touch UI in the partial region display mode of a portable information terminal. 携帯情報端末のタッチUIの表示例を示す画面図である。It is a screen figure which shows the example of a display of touch UI of a portable information terminal. 携帯情報端末のタッチUIの表示例を示す画面図である。It is a screen figure which shows the example of a display of touch UI of a portable information terminal. 表示位置の移動処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of the movement process of a display position. 携帯情報端末のタッチUIの表示例を示す画面図である。It is a screen figure which shows the example of a display of touch UI of a portable information terminal.

以下、本発明を実施するための形態について図面を用いて説明する。   Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

図1は、携帯情報端末100の構成例を示すブロック図である。本実施例では、表示制御装置の一例として携帯情報端末を例に挙げて説明するが、例えばMFP(Multifunction Peripheral)のように表示画面が比較的小さい装置に適用してもよい。また、表示画面が比較的大きい汎用コンピュータなどにおいても、表示画面中のページ画像の表示位置の移動が必要になるユースケースも考えられる。このような場合、表示制御装置は汎用コンピュータであってもよい。   FIG. 1 is a block diagram illustrating a configuration example of the portable information terminal 100. In this embodiment, a portable information terminal will be described as an example of a display control device. However, the present invention may be applied to a device having a relatively small display screen such as an MFP (Multifunction Peripheral). In addition, even in a general-purpose computer having a relatively large display screen, there may be a use case in which the display position of the page image in the display screen needs to be moved. In such a case, the display control device may be a general-purpose computer.

携帯情報端末100は、メインボード150、LCD101、タッチパネル102、ボタンデバイス103から構成される。また、LCD101とタッチパネル102をまとめてタッチUI104と呼称する。   The portable information terminal 100 includes a main board 150, an LCD 101, a touch panel 102, and a button device 103. The LCD 101 and the touch panel 102 are collectively referred to as a touch UI 104.

メインボード150は、CPU105、無線LANモジュール106、電源コントローラ107、ディスプレイコントローラ(DISPC)108、パネルコントローラ(PANELC)109を有する。また、メインボード150は、ROM110、RAM111、二次電池112、タイマー113を有する。そして、各モジュールは、バス(不図示)によって接続されている。   The main board 150 includes a CPU 105, a wireless LAN module 106, a power controller 107, a display controller (DISPC) 108, and a panel controller (PANELC) 109. The main board 150 includes a ROM 110, a RAM 111, a secondary battery 112, and a timer 113. Each module is connected by a bus (not shown).

CPU105は、この携帯情報端末100全体を制御するためのコントローラである。CPU105は、バスに接続されている各モジュールを制御する。CPU105は、ROM110に格納されているブートプログラムによりOS(オペレーティングシステム)を起動する。このOSの上で、同じくROM110に格納されているアプリケーションプログラムを実行する。このアプリケーションプログラムは、アプリケーション画像データの内容を閲覧するプログラムである。アプリケーション画像データとは、本実施例で説明する表示対象となる画像データのことである。アプリケーション画像データには各種のオブジェクトデータが含まれる。なお、後述するオブジェクトの種別を示す情報は、アプリケーション画像データに含まれていてもよいし、あるいはアプリケーション画像データを解析することで取得してもよい。   The CPU 105 is a controller for controlling the entire portable information terminal 100. The CPU 105 controls each module connected to the bus. The CPU 105 starts an OS (operating system) by a boot program stored in the ROM 110. On this OS, an application program that is also stored in the ROM 110 is executed. This application program is a program for browsing the contents of application image data. The application image data is image data to be displayed as described in this embodiment. The application image data includes various object data. Note that information indicating the type of an object to be described later may be included in the application image data, or may be acquired by analyzing the application image data.

RAM111は、CPU105のメインメモリやワークエリア、LCD101に表示するビデオイメージ用エリア、アプリケーション画像データの保存領域として機能する。   The RAM 111 functions as a main memory and work area for the CPU 105, a video image area displayed on the LCD 101, and a storage area for application image data.

ディスプレイコントローラ(DISPC)108は、CPU105の要求に応じて、RAM111に展開されたビデオイメージ出力を高速に切り替えるとともに、LCD101に同期信号を出力する。結果として、RAM111のビデオイメージが、DISPC108の同期信号に同期してLCD101に出力され、LCD101上にイメージが表示される。   The display controller (DISPC) 108 switches the video image output developed in the RAM 111 at high speed and outputs a synchronization signal to the LCD 101 in response to a request from the CPU 105. As a result, the video image in the RAM 111 is output to the LCD 101 in synchronization with the synchronization signal from the DISPC 108, and the image is displayed on the LCD 101.

パネルコントローラ(PANELC)109は、CPU105の要求に応じて、タッチパネル102およびボタンデバイス103を制御する。その制御によって、タッチパネル102へのタッチ(指またはスタイラスペンなどの指示物がタッチパネル102に接近または接触すること)位置や、ボタンデバイス103上の押下されたキーコードなどが、CPU105に通知される。タッチ位置は、タッチパネル102の横方向の絶対位置を示す座標値(以下、「X座標」)と、縦方向の絶対位置を示す座標値(以下、「Y座標」)から成る。タッチパネル102は複数箇所の押下を検知することが可能で、その場合CPU105にはタッチ入力位置数分の押下位置情報が通知される。   A panel controller (PANELC) 109 controls the touch panel 102 and the button device 103 in response to a request from the CPU 105. With this control, the CPU 105 is notified of the touch position on the touch panel 102 (a finger or an indicator such as a stylus pen approaches or touches the touch panel 102), the pressed key code on the button device 103, and the like. The touch position includes a coordinate value (hereinafter, “X coordinate”) indicating the absolute position in the horizontal direction of the touch panel 102 and a coordinate value (hereinafter, “Y coordinate”) indicating the absolute position in the vertical direction. The touch panel 102 can detect pressing at a plurality of places, and in this case, the CPU 105 is notified of pressing position information for the number of touch input positions.

無線LANモジュール106は、CPU105の制御に基づいて、LANに接続された無線アクセスポイント(不図示)上の無線LANモジュールとの無線通信を確立し、携帯情報端末100との通信を仲介する。無線LANモジュール106には、例えばIEEE802.11bなどがある。   Based on the control of the CPU 105, the wireless LAN module 106 establishes wireless communication with a wireless LAN module on a wireless access point (not shown) connected to the LAN, and mediates communication with the portable information terminal 100. The wireless LAN module 106 includes, for example, IEEE 802.11b.

電源コントローラ107は、外部電源(不図示)と接続され電力の供給を受ける。これによって、電源コントローラ107に接続された二次電池112を充電しながら、且つ、携帯情報端末100全体に電力を供給する。電源コントローラ107により外部電源から電力が供給されないときは、二次電池112が電力を携帯情報端末100全体に電力を供給する。   The power controller 107 is connected to an external power source (not shown) and receives power. Thus, power is supplied to the entire portable information terminal 100 while charging the secondary battery 112 connected to the power supply controller 107. When power is not supplied from the external power source by the power controller 107, the secondary battery 112 supplies power to the entire portable information terminal 100.

タイマー113は、CPU105の制御に基づいて、後述するジェスチャイベント発生部201へのタイマー割込を発生させる。   The timer 113 generates a timer interrupt to a gesture event generating unit 201 described later based on the control of the CPU 105.

次に、携帯情報端末100のCPU105が実行するアプリケーションプログラムについて説明する。図2は、CPU105が実行するアプリケーションプログラムの構成概念を示すブロック図である。   Next, an application program executed by the CPU 105 of the portable information terminal 100 will be described. FIG. 2 is a block diagram showing a configuration concept of an application program executed by the CPU 105.

CPU105は、アプリケーションプログラムをROM110より読み出してRAM111に記憶して実行することができる。以降に示すアプリケーションプログラムに含まれる各部は、以下の構成の組み合わせによって実現される。すなわち、例えばCPU105と、RAM111のうちアプリケーションプログラムを記憶している領域と、RAM111のうちCPU105がアプリケーションプログラムを実行して得られる情報(計算結果等)を記憶する領域である。   The CPU 105 can read an application program from the ROM 110, store it in the RAM 111, and execute it. Each unit included in the application program described below is realized by a combination of the following configurations. That is, for example, the CPU 105 and the RAM 111 are areas for storing application programs, and the RAM 111 is an area for storing information (calculation results, etc.) obtained by the CPU 105 executing the application programs.

ジェスチャイベント発生部201は、タッチパネル102からのタッチ入力を、パネルコントローラ109を介して受け付けて、後述する各種ジェスチャイベントを発生させる。ジェスチャイベント発生部201は、発生させたジェスチャイベントを、ジェスチャイベント処理部202へ送信する。   The gesture event generation unit 201 receives a touch input from the touch panel 102 via the panel controller 109 and generates various gesture events described later. The gesture event generating unit 201 transmits the generated gesture event to the gesture event processing unit 202.

ジェスチャイベント処理部202は、ジェスチャイベント発生部201が発生させたジェスチャイベントを受信して、各ジェスチャイベントと、アプリケーション画像データとに応じて処理を実行する。ジェスチャイベント処理部202は、表示モード処理部203と表示位置移動処理部204と拡大・縮小処理部205とを含む。   The gesture event processing unit 202 receives the gesture event generated by the gesture event generation unit 201 and executes processing according to each gesture event and application image data. The gesture event processing unit 202 includes a display mode processing unit 203, a display position movement processing unit 204, and an enlargement / reduction processing unit 205.

表示モード処理部203は、アプリケーション画像データをタッチUI104に表示する際の表示モードの切り替えや、表示するオブジェクトの選択を行う。   The display mode processing unit 203 switches display modes when displaying application image data on the touch UI 104 and selects an object to be displayed.

表示位置移動処理部204は、ユーザによるタッチパネル102へのスワイプ操作に対する処理を行う。   The display position movement processing unit 204 performs processing for a swipe operation performed on the touch panel 102 by the user.

拡大・縮小処理部205は、ユーザによるタッチパネル102へのピンチイン操作やピンチアウト操作に対する処理を行う。ピンチイン操作やピンチアウト操作に応じて、タッチUI104に表示内容を拡大・縮小して更新させる。   The enlargement / reduction processing unit 205 performs processing for a pinch-in operation and a pinch-out operation performed on the touch panel 102 by the user. In response to a pinch-in operation or a pinch-out operation, the display content is enlarged and reduced on the touch UI 104 and updated.

次に、図3を用いて、ジェスチャイベント発生部201が発生させるジェスチャイベントについて説明する。図3は、ジェスチャイベントの名称と、各イベントが発生したときにジェスチャイベント処理部202へ送信する情報とを示した概念図である。   Next, a gesture event generated by the gesture event generation unit 201 will be described with reference to FIG. FIG. 3 is a conceptual diagram showing the names of gesture events and information to be transmitted to the gesture event processing unit 202 when each event occurs.

301は、タッチ押下イベントであり、タッチパネル102へのタッチ入力位置の座標値とタッチ座標数とを送信する。タッチ座標とは、最新のタッチ位置を示すX座標とY座標とで表される1組の座標値である。また、タッチ座標数とは、タッチ位置の数を示している。なお、タッチ座標は、タッチパネル102へユーザの指が触れたとき、指が移動したとき、指が離れたときに、タイマー113からの割り込みが発生し、更新する。   301 is a touch press event, and transmits the coordinate value of the touch input position to the touch panel 102, and the number of touch coordinates. The touch coordinates are a set of coordinate values represented by an X coordinate and a Y coordinate indicating the latest touch position. The number of touch coordinates indicates the number of touch positions. The touch coordinates are updated when an interrupt from the timer 113 is generated when the user's finger touches the touch panel 102, when the finger moves, or when the finger is released.

302は、スワイプイベントであり、最新のタッチ座標の座標値と、最新の座標値と直前の座標値との差分から計算した移動距離と、を送信する。ここで、スワイプとは、指先をタッチパネル102に接触させたまま、1方向に移動(滑らすような)動作のことをいう。   Reference numeral 302 denotes a swipe event, which transmits the coordinate value of the latest touch coordinate and the movement distance calculated from the difference between the latest coordinate value and the previous coordinate value. Here, “swipe” refers to an operation of moving (sliding) in one direction while keeping the fingertip in contact with the touch panel 102.

303は、ピンチインイベントであり、最新の2点のタッチ座標の中心座標値、及び、2点のタッチ座標を結ぶ直線の縮小距離から計算したピンチインの縮小率を送信する。ここで、ピンチインとは、2つの指先をタッチパネル102に接触させたまま、互いに近づける(つまむような)動作のことをいう。   Reference numeral 303 denotes a pinch-in event, which transmits the pinch-in reduction ratio calculated from the latest center coordinate value of the two touch coordinates and the reduction distance of the straight line connecting the two touch coordinates. Here, pinch-in refers to an operation in which two fingertips are brought close to each other (pinch) while being in contact with the touch panel 102.

304は、ピンチアウトイベントであり、最新の2点のタッチ座標の中心座標値、及び、2点のタッチ座標を結ぶ直線の拡大距離から計算したピンチアウトの拡大率を送信する。ここで、ピンチアウトとは、2つの指先をタッチパネル102に接触させたまま、互いに遠ざける(指を広げるような)動作のことをいう。   Reference numeral 304 denotes a pinch-out event, which transmits the center coordinate value of the latest two touch coordinates and the pinch-out enlargement ratio calculated from the enlargement distance of the straight line connecting the two touch coordinates. Here, “pinch out” refers to an operation in which two fingertips are kept away from each other while touching the touch panel 102 (such as spreading fingers).

305は、2点スワイプイベントであり、最新の2点のタッチ座標の座標値、及び、2点のタッチ座標の最新の座標値と直前の座標値との差分から計算した移動距離を送信する。2点スワイプイベントは、2点のタッチ座標が同じ方向に移動している場合に発生させる。   Reference numeral 305 denotes a two-point swipe event that transmits the latest two touch coordinate values and the movement distance calculated from the difference between the two latest touch coordinate values and the previous coordinate value. The two-point swipe event is generated when the touch coordinates of the two points are moving in the same direction.

306は、ローテートイベントであり、最新の2点のタッチ座標の座標値から計算した回転の中心座標値、及び、2点のタッチ座標の最新の座標値と直前の座標値とから計算した回転角度を送信する。ここで、ローテートとは、2つの指先をタッチパネル102に接触させたまま、2つの指先をタッチパネル102に対して回転させる動作のことを言う。   Reference numeral 306 denotes a rotate event, which is a rotation center coordinate value calculated from the coordinate values of the latest two touch coordinates and a rotation angle calculated from the latest coordinate value and the immediately preceding coordinate value of the two touch coordinates. Send. Here, “rotate” refers to an operation of rotating two fingertips with respect to the touch panel 102 while keeping the two fingertips in contact with the touch panel 102.

307は、フリックイベントであり、最新のタッチ座標の座標値、及び、最新の座標値と直前の座標値とから計算した指の移動速度を送信する。ここで、フリックとは、スワイプ中に指を離す(指をはじくような)動作のことを言う。   Reference numeral 307 denotes a flick event, which transmits the coordinate value of the latest touch coordinates and the moving speed of the finger calculated from the latest coordinate value and the previous coordinate value. Here, “flick” refers to an operation of releasing a finger during swiping (like repelling a finger).

308は、タッチ解除イベントであり、タッチパネル102からユーザの指が離れたときの最新のタッチ座標の座標値、及び、座標数を送信する。   Reference numeral 308 denotes a touch release event, which transmits the coordinate value and the number of coordinates of the latest touch coordinates when the user's finger is released from the touch panel 102.

309は、ダブルタップイベントであり、最新のタッチ座標の座標値を送信する。ここで、ダブルタップとは、タッチパネル102へ指を接触させる動作と、これより所定の時間内に指を離す操作を一組の動作(後述のシングルタップイベント)とし、この一組の動作を所定の時間内に連続して2回実施する動作のことを言う。   Reference numeral 309 denotes a double tap event, which transmits the coordinate value of the latest touch coordinate. Here, the double tap is a set of operations (a single tap event described later) that includes the operation of bringing a finger into contact with the touch panel 102 and the operation of releasing the finger within a predetermined time. This is an operation that is performed twice in succession.

310は、シングルタップイベントであり、最新のタッチ座標の座標値が送信される。ここで、シングルタップとは、前述のとおり、タッチパネル102へ指を接触させる動作から、所定の時間内に指を離す動作のことを言う。   310 is a single tap event, and the coordinate value of the latest touch coordinate is transmitted. Here, as described above, the single tap refers to an operation of releasing a finger within a predetermined time from an operation of bringing a finger into contact with the touch panel 102.

311は、ロングタップイベントであり、最新のタッチ座標の座標値が送信される。ここで、ロングタップとは、タッチパネル102へ指を接触させる動作から、所定の時間以上経過した後に、タッチパネルから指を離す動作のことを言う。   311 is a long tap event, and the coordinate value of the latest touch coordinate is transmitted. Here, the long tap refers to an operation of releasing the finger from the touch panel after a predetermined time or more has elapsed since the operation of bringing the finger into contact with the touch panel 102.

312は、タッチアンドホールドイベントであり、最新のタッチ座標の座標値が送信される。ここで、タッチアンドホールドイベントとは、タッチパネル102にユーザの指が触れてから一度も移動することなく所定の時間以上経過させる動作を言う。   312 is a touch and hold event, and the coordinate value of the latest touch coordinate is transmitted. Here, the touch and hold event refers to an operation in which a predetermined time or more elapses without moving even after the user's finger touches the touch panel 102.

なお、ここでは、ユーザのタッチ入力の例として指を使った場合を示すが、タッチ入力はスタイラスペンなどによる入力でも良い。   Here, a case where a finger is used is shown as an example of the user's touch input, but the touch input may be input with a stylus pen or the like.

さて、ここからは、アプリケーション画像データの内容を、タッチUI104に表示する様子について説明していく。   Now, how to display the contents of the application image data on the touch UI 104 will be described.

図4および図5を用いて、アプリケーション画像データの内容の初期表示処理を説明する。図4は、アプリケーション画像データの内容の初期表示処理の手順を示したフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示モード処理部203として実行することにより実現される。表示モード処理部203は、アプリケーション画像データを、無線LANモジュール106を介して外部別体機器(ここではMFP)から受信すると、本処理を開始する。   The initial display processing of the contents of the application image data will be described with reference to FIGS. FIG. 4 is a flowchart showing the procedure of the initial display process of the contents of the application image data. This flowchart is realized by the CPU 105 executing the application program as the display mode processing unit 203. When the display mode processing unit 203 receives application image data from an external separate device (here, MFP) via the wireless LAN module 106, the display mode processing unit 203 starts this processing.

まず、ステップS401において、表示モード処理部203は、受信したアプリケーション画像データをRAM111に記憶する。   First, in step S <b> 401, the display mode processing unit 203 stores the received application image data in the RAM 111.

次に、ステップS402において、表示モード処理部203は、RAM111に保存したアプリケーション画像データにおける先頭ページと、それに含まれるオブジェクトとを読み込む。   In step S <b> 402, the display mode processing unit 203 reads the first page in the application image data stored in the RAM 111 and the objects included therein.

ステップS403において、表示モード処理部203は、読み込んだ先頭ページに含まれる文字、写真、グラフィックの全てのオブジェクトについて、オブジェクトの始点の座標と幅や高さに応じて、表示画像データを生成する。そして、RAM111のビデオイメージエリアに当該表示画像データを書き込み、ディスプレイコントローラ108を介して、タッチUI104に表示内容を更新させる。尚、以下の説明では、前述の表示画像データの生成からタッチUI104に表示内容を更新させるまでの処理を、単に「タッチパネル102に表示内容を更新させる」のように記載する場合がある。   In step S403, the display mode processing unit 203 generates display image data for all the objects of characters, photos, and graphics included in the read first page according to the coordinates, width, and height of the start point of the object. Then, the display image data is written in the video image area of the RAM 111, and the display content is updated on the touch UI 104 via the display controller 108. In the following description, the processing from the generation of the display image data described above until the display content is updated on the touch UI 104 may be simply described as “the display content is updated on the touch panel 102”.

図5は、携帯情報端末100のタッチUI104の表示例を示す画面図である。表示モード処理部203がステップS403を実行し終えると、タッチUI104には図5に示すように、先頭ページの内容が表示される。このとき、表示モード処理部203は、タッチUI104の幅に合わせて先頭ページの表示倍率を決定する。表示モード処理部203は、当該表示倍率に拡縮したときのページの高さがタッチUI104よりも小さい場合は、タッチUI104の中央に表示されるように、タッチUI104上の座標において、ページ500の始点を決定する。また、前記表示倍率に拡縮したときのページ500の高さがタッチUI104よりも大きい場合は、タッチUI104上の座標において、ページ500の始点をタッチUI104の始点(例えば画面の左上)に合うように決定する。   FIG. 5 is a screen diagram illustrating a display example of the touch UI 104 of the portable information terminal 100. When the display mode processing unit 203 finishes executing step S403, the content of the first page is displayed on the touch UI 104 as shown in FIG. At this time, the display mode processing unit 203 determines the display magnification of the first page according to the width of the touch UI 104. The display mode processing unit 203 displays the start point of the page 500 at the coordinates on the touch UI 104 so that the page is displayed at the center of the touch UI 104 when the page height when enlarged or reduced to the display magnification is smaller than the touch UI 104. To decide. When the height of the page 500 when enlarged or reduced to the display magnification is larger than the touch UI 104, the start point of the page 500 is aligned with the start point of the touch UI 104 (for example, the upper left of the screen) in the coordinates on the touch UI 104. decide.

ここで、図5を用いて、ページ500に含まれる各オブジェクトについて説明しておく。
オブジェクト504は、組み方向が横書きである、文字属性のオブジェクトである。
オブジェクト505は、組み方向が縦書きである、文字属性のオブジェクトである。
オブジェクト506は、グラフィック属性のオブジェクトである。
オブジェクト507は、先頭行と先頭列にヘッダを有する、表オブジェクトである。
オブジェクト508は、棒グラフである、グラフィック属性のオブジェクトである。
オブジェクト509は、写真属性のオブジェクトである。
尚、図5の各オブジェクトを囲む破線は、説明をわかり易くするために描いたものであり、実際にはページ500上には存在しない。
Here, each object included in the page 500 will be described with reference to FIG.
An object 504 is a character attribute object whose writing direction is horizontal writing.
An object 505 is a character attribute object whose composition direction is vertical writing.
An object 506 is a graphic attribute object.
An object 507 is a table object having a header in the first row and first column.
The object 508 is a graphic attribute object which is a bar graph.
An object 509 is a photograph attribute object.
Note that the broken lines surrounding each object in FIG. 5 are drawn for easy understanding, and do not actually exist on the page 500.

以上、アプリケーション画像データの内容を、タッチUI104に表示する様子について説明した。ここからは、表示内容に対するスワイプ操作に応じて、表示位置を移動する様子について説明していく。なお、以下ではスワイプ操作に応じた処理として説明を行うが、本実施例はスワイプ操作に限定されるものではない。例えばフリック操作のように、表示位置の移動を指示する操作であれば上述したいずれの態様の操作であってもよい。本実施例では、タッチUI104に表示しているオブジェクトの属性に応じて、オブジェクトに対応する画像の表示位置の移動を抑制する制御を行う。   In the above, the state in which the content of the application image data is displayed on the touch UI 104 has been described. From now on, the manner in which the display position is moved in response to a swipe operation on the display content will be described. In the following description, processing according to the swipe operation will be described. However, the present embodiment is not limited to the swipe operation. For example, any operation described above may be used as long as the operation is an instruction to move the display position, such as a flick operation. In the present embodiment, control for suppressing the movement of the display position of the image corresponding to the object is performed according to the attribute of the object displayed on the touch UI 104.

次に、図6を用いて、本実施例における表示位置の移動処理について説明する。図6は、本実施例における、表示位置の移動処理の手順を示したフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。表示位置移動処理部204は、タッチUI104を介してタッチ操作やスワイプ操作、タッチ解除操作を検知し、本処理を開始する。   Next, display position movement processing in the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing the procedure of display position movement processing in the present embodiment. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204. The display position movement processing unit 204 detects a touch operation, a swipe operation, or a touch release operation via the touch UI 104, and starts this processing.

まず、ステップS600において、表示位置移動処理部204は、イベントの種別を判定する。ユーザは、スワイプ操作を行う場合、まず、タッチUI104をタッチする。これにより、ジェスチャイベント発生部201は、タッチ押下イベントを生成して、ジェスチャイベント処理部202へ通知する。よってこの場合は、ステップS600において、表示位置移動処理部204は、タッチ押下イベントであると判定しステップS601へ遷移する。表示位置移動処理部は、後述するようにステップS601以降の処理を行う。ユーザは、タッチした後、タッチUI104をタッチしたまま指を滑らせる。これにより、ジェスチャイベント発生部201は、スワイプイベントを生成して、ジェスチャイベント処理部202へ通知する。よってこの場合は、ステップS600において、表示位置移動処理部204は、スワイプイベントであると判定しステップS609へ遷移する。表示位置移動処理部204は、後述するようにステップS609以降の処理を行う。最後に、ユーザは、スワイプ操作を終える際に、タッチUI104から指を離す。これにより、ジェスチャイベント発生部201は、タッチ解除イベントを生成して、ジェスチャイベント処理部202へ通知する。よってこの場合は、ステップS600において、表示位置移動処理部204は、タッチ解除イベントであると判定し、ステップS621へ遷移する。   First, in step S600, the display position movement processing unit 204 determines the type of event. When performing the swipe operation, the user first touches the touch UI 104. As a result, the gesture event generating unit 201 generates a touch press event and notifies the gesture event processing unit 202 of it. Therefore, in this case, in step S600, the display position movement processing unit 204 determines that the event is a touch press event, and the process proceeds to step S601. The display position movement processing unit performs the processing after step S601 as will be described later. After touching, the user slides his / her finger while touching the touch UI 104. Thereby, the gesture event generating unit 201 generates a swipe event and notifies the gesture event processing unit 202 of the swipe event. Therefore, in this case, in step S600, the display position movement processing unit 204 determines that the event is a swipe event, and the process proceeds to step S609. The display position movement processing unit 204 performs processing from step S609 onward as described later. Finally, the user releases his / her finger from the touch UI 104 when finishing the swipe operation. As a result, the gesture event generating unit 201 generates a touch release event and notifies the gesture event processing unit 202 of it. Therefore, in this case, in step S600, the display position movement processing unit 204 determines that the event is a touch release event, and the process proceeds to step S621.

まず、ステップS600において、タッチ押下イベントであると判定した場合の処理から説明していく。   First, the processing when it is determined in step S600 that the event is a touch press event will be described.

ステップS601において、表示位置移動処理部204は、タッチ押下イベントのタッチ入力位置の座標値から、タッチ操作が、モード切替ボタン、次へボタン、前へボタンなどの操作ボタンの領域に対して成されたか否かを判定する。タッチ入力位置の座標値が、操作ボタンの領域に含まれていなければ、タッチ操作が、操作ボタンに対して成されたものではないと判定し、ステップS602へ遷移する。そうでないと判定する場合、すなわち、タッチ入力位置の座標値が操作ボタンの領域であると判定した場合、処理を終了する。   In step S601, the display position movement processing unit 204 performs a touch operation on the operation button area such as the mode switching button, the next button, and the previous button from the coordinate value of the touch input position of the touch pressing event. It is determined whether or not. If the coordinate value of the touch input position is not included in the operation button area, it is determined that the touch operation is not performed on the operation button, and the process proceeds to step S602. If it is determined that this is not the case, that is, if it is determined that the coordinate value of the touch input position is the region of the operation button, the process is terminated.

ステップS602において、表示位置移動処理部204は、基準オブジェクトを決定する。ここで基準オブジェクトとは、現在読み込んでいるページ中のオブジェクトであって、表示位置の移動の抑制方法を判定するために基準とするオブジェクトのことである。表示位置移動処理部204は基準オブジェクトを次のようにして決定する。例えば、ページ内の領域であって、タッチUI104に表示されている領域に占める各オブジェクトの面積比を計算し、一番占有面積が多い(一番表示されている)オブジェクトを基準オブジェクトと決定することができる。あるいは、当該タッチUI104に表示されている領域の左上端点や、当該領域矩形の中心点を含む矩形ブロックを有するオブジェクトを基準オブジェクトと決定してもよい。また、スワイプ操作に先だってユーザにより実行されたタッチ操作のタッチ位置を含む矩形ブロックを有するオブジェクトを基準オブジェクトと決定してもよい。以上のようにして、基準オブジェクトを決定することができるが、本実施例では最初に示した方法(各オブジェクトの表示領域における面積比により決定)を用いることとする。   In step S602, the display position movement processing unit 204 determines a reference object. Here, the reference object is an object in the page that is currently being read, and is an object used as a reference for determining a method for suppressing the movement of the display position. The display position movement processing unit 204 determines the reference object as follows. For example, the area ratio of each object that is an area in the page and is displayed in the area displayed on the touch UI 104 is calculated, and the object having the largest occupied area (most displayed) is determined as the reference object. be able to. Alternatively, an object having a rectangular block including the upper left end point of the area displayed on the touch UI 104 or the center point of the area rectangle may be determined as the reference object. Further, an object having a rectangular block including a touch position of a touch operation executed by the user prior to the swipe operation may be determined as the reference object. As described above, the reference object can be determined. In this embodiment, the first method (determined by the area ratio of each object in the display area) is used.

ステップS603において、表示位置移動処理部204は、ステップS602で決定した基準オブジェクトの属性が文字属性であるか否かを判定する。文字属性であると判定する場合にはステップS604へ遷移し、そうでないと判定する場合にはステップS605へ遷移する。オブジェクトの属性を示す情報については、アプリケーション画像データに含まれる。あるいは、表示位置移動処理部204は、アプリケーション画像データを解析してオブジェクトの属性を判定してもよい。オブジェクトの属性の解析手法については公知の技術を適用することができる。例えば、画像データを所定の大きさの矩形ブロックに分割し、矩形ブロックの大きさや形状に基づいてオブジェクトの属性を特定することができる。例えば、縦横比が1に近く大きさが一定の範囲の矩形ブロックのオブジェクトについては文字オブジェクトと特定することができる。また、扁平な画素ブロックまたは一定の大きさ以上でかつ四角形の白画素ブロックを整列良く内包する黒画素ブロックのオブジェクトについてはグラフィックオブジェクトと特定することができる。また、グラフィックオブジェクトのうち、文字属性を一定の範囲で含むオブジェクトを表オブジェクトと特定することができる。   In step S603, the display position movement processing unit 204 determines whether the attribute of the reference object determined in step S602 is a character attribute. When it determines with it being a character attribute, it changes to step S604, and when it determines with it not being so, it changes to step S605. Information indicating the attribute of the object is included in the application image data. Alternatively, the display position movement processing unit 204 may determine application attributes by analyzing application image data. A known technique can be applied to the method for analyzing the attribute of the object. For example, the image data can be divided into rectangular blocks of a predetermined size, and the attributes of the object can be specified based on the size and shape of the rectangular block. For example, a rectangular block object having an aspect ratio close to 1 and a fixed size can be specified as a character object. Further, an object of a flat pixel block or a black pixel block having a certain size and including a square white pixel block in a well-aligned manner can be specified as a graphic object. Further, among graphic objects, an object including character attributes within a certain range can be specified as a table object.

ステップS604において、表示位置移動処理部204は、文字属性オブジェクト移動抑制判定処理を実行する。これは、文字属性のオブジェクトを基準とした表示位置の移動の抑制方法を決定する処理である。詳細については後述する。   In step S604, the display position movement processing unit 204 executes a character attribute object movement suppression determination process. This is a process of determining a method for suppressing the movement of the display position with reference to the character attribute object. Details will be described later.

ステップS605において、表示位置移動処理部204は、ステップS602で決定した基準オブジェクトの属性が表属性であるか否かを判定する。表属性であると判定する場合にはステップS606へ遷移し、そうでないと判定する場合にはステップS607へ遷移する。   In step S605, the display position movement processing unit 204 determines whether or not the attribute of the reference object determined in step S602 is a table attribute. If it is determined that the attribute is a table attribute, the process proceeds to step S606. If it is not determined, the process proceeds to step S607.

ステップS606において、表示位置移動処理部204は、表属性オブジェクト移動抑制判定処理を実行する。これは、表属性のオブジェクトを基準とした表示位置の移動の抑制方法を決定する処理である。詳細については後述する。   In step S606, the display position movement processing unit 204 executes a table attribute object movement suppression determination process. This is a process of determining a method for suppressing the movement of the display position based on the table attribute object. Details will be described later.

ステップS607において、表示位置移動処理部204は、ステップS602で決定した基準オブジェクトの属性がグラフィック属性であるか否かを判定する。グラフィック属性であると判定する場合にはステップS608へ遷移し、そうでないと判定する場合には処理を終了する。すなわち、文字属性、グラフィック属性、および表属性以外の属性であると判定した場合、処理を終了する。   In step S607, the display position movement processing unit 204 determines whether the attribute of the reference object determined in step S602 is a graphic attribute. If it is determined that the attribute is a graphic attribute, the process proceeds to step S608; otherwise, the process ends. That is, when it is determined that the attribute is other than the character attribute, the graphic attribute, and the table attribute, the process ends.

ステップS608において、表示位置移動処理部204は、グラフィック属性オブジェクト移動抑制判定処理を実行する。これはグラフィック属性のオブジェクトを基準とした表示位置の移動の抑制方法を決定する処理である。詳細については後述する。   In step S608, the display position movement processing unit 204 executes graphic attribute object movement suppression determination processing. This is a process for determining a method for suppressing the movement of the display position with reference to an object having a graphic attribute. Details will be described later.

尚、ステップS604、ステップS606、およびステップS608において、表示位置の移動の抑制方法は以下のいずれかに決定することができる。
・水平方向のみ抑制、これは、水平方向へのみ、表示位置の移動を抑制するものである。すなわち、垂直方向への移動を許可し、水平方向の移動を禁止する。
・垂直方向のみ抑制、これは、垂直方向へのみ表示位置の移動を抑制するものである。すなわち、水平方向への移動を許可し、垂直方向の移動を禁止する。
・両方向抑制、これは、水平方向と垂直方向のいずれかの方向への表示位置の移動を抑制するものであり、いずれの方向を抑制するかは、後述のステップS610において決定する。
In step S604, step S606, and step S608, the method for suppressing the movement of the display position can be determined as one of the following.
-Only the horizontal direction is suppressed, which suppresses the movement of the display position only in the horizontal direction. That is, the movement in the vertical direction is permitted and the movement in the horizontal direction is prohibited.
-Only the vertical direction is suppressed, which suppresses the movement of the display position only in the vertical direction. That is, the movement in the horizontal direction is permitted and the movement in the vertical direction is prohibited.
Bidirectional suppression, which suppresses movement of the display position in either the horizontal direction or the vertical direction, and which direction is to be suppressed is determined in step S610 described later.

表示位置移動処理部204は、決定した表示位置の移動の抑制方法を、RAM111に記憶して管理する。   The display position movement processing unit 204 stores and manages the determined display position movement suppression method in the RAM 111.

次に、ステップS600において、スワイプイベントであると判定した場合の処理について説明していく。   Next, a process when it is determined in step S600 that the event is a swipe event will be described.

ステップS609において、表示位置移動処理部204は、タッチ押下イベント受信以降、初回のスワイプイベントの受信であり、かつ表示位置の移動の抑制方法を両方向抑制と決定しているか否かを判定する。そうであると判定する場合には、ステップS610へ遷移し、そうではないと判定する場合には、ステップS613へ遷移する。   In step S609, the display position movement processing unit 204 determines whether or not the first swipe event has been received since the touch press event was received, and the display position movement suppression method has been determined to be bi-directional suppression. If it is determined that this is the case, the process proceeds to step S610. If it is not, the process proceeds to step S613.

初回のスワイプイベントの受信であり、かつ表示位置の移動の抑制方法を両方向抑制と決定している場合、ステップS610において、表示位置移動処理部204は、受信したスワイプイベントに含まれる移動量を分析する。すなわち表示位置移動処理部204は、受信したスワイプイベントに含まれる最新と直前のタッチ座標の位置より、水平方向と垂直方向の成分にベクトル分解する。そして、両方向成分の大きさを比較する。水平方向成分の方が大きいと判定する場合には、ステップS611へ遷移し、そうではないと判定する場合には、ステップS612へ遷移する。   When the first swipe event is received and the display position movement suppression method is determined to be bi-directional suppression, in step S610, the display position movement processing unit 204 analyzes the movement amount included in the received swipe event. To do. That is, the display position movement processing unit 204 performs vector decomposition into horizontal and vertical components based on the latest and previous touch coordinate positions included in the received swipe event. Then, the magnitudes of the bidirectional components are compared. If it is determined that the horizontal component is larger, the process proceeds to step S611. If it is not determined, the process proceeds to step S612.

ステップS611において、表示位置移動処理部204は、水平成分が垂直成分よりも大きいので、表示位置移動の抑制方法を、両方向抑制であって、本スワイプ操作においては垂直方向を抑制する、と決定する。つまり、ステップS611において表示位置移動処理部204は、水平方向への移動を許可し、垂直方向への移動を禁止すると決定する。一方、ステップS612では、垂直成分が水平成分よりも大きいので、表示位置移動の抑制方法を、両方向抑制であって、本スワイプ操作においては水平方向を抑制する、と決定する。そして、当該決定した抑制の方向を、RAM111に記憶して管理する。   In step S611, since the horizontal component is larger than the vertical component, the display position movement processing unit 204 determines that the display position movement suppression method is bi-directional suppression, and the vertical direction is suppressed in this swipe operation. . That is, in step S611, the display position movement processing unit 204 determines that the movement in the horizontal direction is permitted and the movement in the vertical direction is prohibited. On the other hand, in step S612, since the vertical component is larger than the horizontal component, it is determined that the display position movement suppression method is bi-directional suppression, and the horizontal direction is suppressed in this swipe operation. Then, the determined direction of suppression is stored in the RAM 111 and managed.

2回目以降のスワイプイベント受信時には、ステップS609でNoと判定されるので、ステップS610からステップS612は実行されない。しかしながら、先に実行されているステップS610からS612の結果RAM111に記憶されている抑制の方向を参照して表示位置の移動を制御する。尚、ステップS604、ステップS606、およびステップS608において、水平方向のみ抑制や垂直のみ方向抑制と判定された場合には、当該ステップにおいて、当該決定した抑制方法をRAM111に記憶している。よって、初回であり両方向抑制でない場合、及び、2回目以降のスワイプイベント受信時には、このRAMに記憶されている抑制の方向を参照して表示位置の移動を制御する。これは次のステップS613における処理である。   When the second and subsequent swipe events are received, it is determined No in step S609, and thus steps S610 to S612 are not executed. However, the movement of the display position is controlled with reference to the direction of suppression stored in the RAM 111 as a result of steps S610 to S612 executed previously. In step S604, step S606, and step S608, when it is determined that only the horizontal direction is suppressed or only the vertical direction is suppressed, the determined suppression method is stored in the RAM 111 in this step. Therefore, when it is the first time and the bi-directional suppression is not performed, and when the second and subsequent swipe events are received, the movement of the display position is controlled with reference to the direction of suppression stored in the RAM. This is the process in the next step S613.

ステップS613において、表示位置移動処理部204は、これまでの処理において抑制方法を決定している否かを判定する。この判定はRAM111に、決定した抑制方法を記録しているか否かを確認することにより行われる。抑制方法を決定していると判定する場合には、表示位置移動処理部204は、ステップS614へ遷移し、決定していないと判定する場合には、ステップS618へ遷移する。   In step S613, the display position movement processing unit 204 determines whether a suppression method has been determined in the processes so far. This determination is made by confirming whether or not the determined suppression method is recorded in the RAM 111. If it is determined that the suppression method has been determined, the display position movement processing unit 204 proceeds to step S614. If it is determined that the suppression method has not been determined, the display position movement processing unit 204 proceeds to step S618.

ステップS614において、表示位置移動処理部204は、スワイプイベントに含まれる移動量について、表示位置の移動を抑制する方向の成分の積算値を計算する。スワイプイベントに含まれる移動量は、スワイプイベントに含まれる最新のタッチ位置座標と直前のタッチ位置座標とから、水平方向(X軸方向)の成分と垂直方向(Y軸方向)の成分とにベクトル分解することができる。ベクトル分解して得た、両方向の成分のうち、抑制する方向の値を、スワイプイベント到着の度に加算し、RAM111に記憶する。   In step S614, the display position movement processing unit 204 calculates an integrated value of components in a direction in which the movement of the display position is suppressed with respect to the movement amount included in the swipe event. The amount of movement included in the swipe event is a vector for the component in the horizontal direction (X-axis direction) and the component in the vertical direction (Y-axis direction) from the latest touch position coordinates and the previous touch position coordinates included in the swipe event. Can be disassembled. Of the components in both directions obtained by vector decomposition, the value of the direction to be suppressed is added each time a swipe event arrives and stored in the RAM 111.

そして、ステップS615において、表示位置移動処理部204は、予め規定の閾値(解除閾値)とステップS614で計算した積算値とを比較する。この解除閾値は、例えば、タッチUI104の表示領域の水平方向/垂直方向の幅の1/3の値、などというように、ユーザの入力誤差ではなく、確からしく抑制方向への移動指示と判定できる値に決定しておけばよい。解除閾値よりも抑制方向の移動量の積算値の方が大きいと判定する場合には、ステップS616に遷移し、小さいと判定する場合には、ステップS617に遷移する。   In step S615, the display position movement processing unit 204 compares a predetermined threshold value (release threshold value) with the integrated value calculated in step S614 in advance. This release threshold value can be determined not as a user input error but as an instruction to move in the suppression direction accurately, for example, a value that is 1/3 of the horizontal / vertical width of the display area of the touch UI 104. The value should be determined. When it is determined that the integrated value of the movement amount in the suppression direction is larger than the release threshold, the process proceeds to step S616, and when it is determined to be small, the process proceeds to step S617.

ステップS616において、表示位置移動処理部204は、ステップS613で計算した積算値の分だけ、表示位置の移動の抑制方向について移動すると決定する。本実施例では、オブジェクトの属性に応じて表示位置の移動の抑制を行う。このため、抑制された方向には表示位置を移動することができなくなってしまう。そこで、抑制する方向について、解除閾値を超える移動指示がユーザにより成された場合には、例外的に抑制方向への移動も行うようにする。ステップS614、ステップS615、およびステップS616により、例外的な抑制方向への移動を実現している。また、ステップS616において、表示位置移動処理部204は、抑制方向の移動量の積算値を0に初期化する。   In step S616, the display position movement processing unit 204 determines to move in the display position movement suppression direction by the integrated value calculated in step S613. In this embodiment, the movement of the display position is suppressed according to the attribute of the object. For this reason, the display position cannot be moved in the suppressed direction. Therefore, when the user gives a movement instruction that exceeds the release threshold for the direction to be suppressed, the movement in the suppression direction is also performed exceptionally. Step S614, step S615, and step S616 realize exceptional movement in the restraining direction. In step S616, the display position movement processing unit 204 initializes the integrated value of the amount of movement in the suppression direction to zero.

ステップS617において、表示位置移動処理部204は、抑制方法に応じてページ始点を移動し、表示位置の移動を行う。より詳細には、次の処理を行う。スワイプイベントに含まれる最新のタッチ座標の位置と直前のタッチ座標の位置とにより、スワイプイベントに含まれる移動量を水平方向の成分と垂直方向の成分にベクトル分解する。そして、抑制する方向成分を0に補正する。更に、ステップS616において、抑制方向へもステップS614で計算した積算値に応じて移動すると決定している場合には、当該積算値を当該抑制の方向の成分に加算する。以上により求めたベクトルに応じて、ページ始点のX座標およびY座標を移動する。   In step S617, the display position movement processing unit 204 moves the page start point according to the suppression method, and moves the display position. More specifically, the following processing is performed. Based on the latest touch coordinate position and the previous touch coordinate position included in the swipe event, the amount of movement included in the swipe event is vector-decomposed into a horizontal component and a vertical component. And the direction component to suppress is correct | amended to 0. Further, in step S616, when it is determined that the movement is also performed in the suppression direction according to the integrated value calculated in step S614, the integrated value is added to the component in the suppression direction. The X and Y coordinates of the page start point are moved according to the vector obtained as described above.

ステップS613において抑制方法が決定されていないと判定した場合には、ステップS618において、表示位置移動処理部204は、スワイプイベントの内容に応じて、ページ始点を移動し、表示位置の移動を行う。   If it is determined in step S613 that the suppression method has not been determined, in step S618, the display position movement processing unit 204 moves the page start point and moves the display position according to the content of the swipe event.

ステップS619において、表示位置移動処理部204は、移動範囲制限処理を実行する。これは、部分領域表示モードである際に、好適に表示位置を補正する処理である。部分領域表示モードと移動範囲制限処理との詳細は後述する。   In step S619, the display position movement processing unit 204 executes a movement range restriction process. This is a process of preferably correcting the display position in the partial area display mode. Details of the partial area display mode and the movement range restriction process will be described later.

最後に、ステップS620において、表示位置移動処理部204は、以上の処理において決定されたページの始点に応じて、タッチUI104に表示内容を更新させる。   Finally, in step S620, the display position movement processing unit 204 causes the touch UI 104 to update the display content according to the start point of the page determined in the above processing.

一方、ステップS600でタッチ解除イベントであると判定した場合には、次の処理を行う。   On the other hand, if it is determined in step S600 that the event is a touch release event, the following processing is performed.

ステップS621において、表示位置移動処理部204は、RAM111に記憶した、表示位置の移動の抑制方法に関する情報を削除する。具体的には、表示位置移動処理部204はステップS604、ステップS606、ステップS608、ステップS611、ステップS612においてRAM111に記憶した情報を削除する。また、ステップS614で計算しRAM111に記憶した、抑制方向の移動量の積算値も削除する。   In step S621, the display position movement processing unit 204 deletes the information related to the display position movement suppression method stored in the RAM 111. Specifically, the display position movement processing unit 204 deletes the information stored in the RAM 111 in step S604, step S606, step S608, step S611, and step S612. Further, the integrated value of the amount of movement in the suppression direction calculated in step S614 and stored in the RAM 111 is also deleted.

尚、本実施例では、携帯情報端末100は、ユーザがタッチUI104にタッチしスワイプ操作を行うと、画面下端に水平方向のスクロールバーを、画面右端に垂直方向のスクロールバーを、それぞれ表示することができる。この時、本処理において決定した表示位置の移動を抑制する方向に応じて、画面右端および左端のスクロールバーの表示態様を変じることができる。なお、スクロールバーは、画面上端や画面左端に表示してもよい。本実施例では、例えば抑制する方向に該当するスクロールバーは、透明度の高い半透明の色で描画し、抑制しない方向については、不透明な色で描画する。ステップS620では、以上のようにしてスクロールバーを表示すべく、タッチUI104に表示内容を更新させることもできる。尚、表示位置の移動を抑制する方向に応じて、タッチUI104の表示方法を制御する方法については、この例の方法に限定するものではなく、別な方法を用いてもよい。   In this embodiment, when the user touches the touch UI 104 and performs a swipe operation, the portable information terminal 100 displays a horizontal scroll bar at the lower end of the screen and a vertical scroll bar at the right end of the screen. Can do. At this time, the display mode of the scroll bars at the right end and the left end of the screen can be changed according to the direction in which the movement of the display position determined in this process is suppressed. The scroll bar may be displayed at the upper end or the left end of the screen. In the present embodiment, for example, the scroll bar corresponding to the direction to be suppressed is drawn with a translucent color having high transparency, and the direction not to be suppressed is drawn with an opaque color. In step S620, the display content can be updated on the touch UI 104 to display the scroll bar as described above. Note that the method of controlling the display method of the touch UI 104 according to the direction in which the movement of the display position is suppressed is not limited to the method of this example, and another method may be used.

次に、図7を用いて、本実施例における、図6のS604に示した、文字属性オブジェクト移動抑制判定処理について説明する。図7は、文字属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。   Next, the character attribute object movement suppression determination process shown in S604 of FIG. 6 in the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing the procedure of the character attribute object movement suppression determination process. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204.

ステップS700において、表示位置移動処理部204は、文字属性であるオブジェクトの組方向を取得する。文字の組み方向は、アプリケーション画像データに含まれている。また、アプリケーション画像データを解析して文字の組み方向を取得してもよい。例えば、文字属性のオブジェクトのうち、特定領域について画素値に対する水平・垂直の射影を取る。そして、射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きとして、組方向を取得することができる。   In step S700, the display position movement processing unit 204 acquires the set direction of the object that is the character attribute. The text composition direction is included in the application image data. Further, the application image data may be analyzed to acquire the text composition direction. For example, horizontal / vertical projections of pixel values are taken for specific areas among objects having character attributes. The projection variance is then evaluated. When the horizontal projection variance is large, the writing direction can be acquired as horizontal writing, and when the vertical projection variance is large, the writing direction can be acquired as vertical writing.

ステップS701において、表示位置移動処理部204は、文字の組み方向を判定し、組み方向が横書きであると判定する場合には、ステップS702へ遷移し、縦書きであると判定する場合にはステップS703へ遷移する。   In step S <b> 701, the display position movement processing unit 204 determines the text composition direction. If the text composition direction is determined to be horizontal writing, the process proceeds to step S <b> 702. The process proceeds to S703.

ステップS702において、表示位置移動処理部204は、表示位置の移動の抑制方法を、垂直方向のみ抑制と決定する。本処理の対象であるオブジェクトは、横書きの文字であるため、文字の組み方向である水平方向へ表示位置を移動し、垂直方向にずれが生じないようにするものである。   In step S702, the display position movement processing unit 204 determines that the display position movement suppression method is suppression only in the vertical direction. Since the object to be processed is a horizontally written character, the display position is moved in the horizontal direction, which is the character assembling direction, so that the vertical direction is not displaced.

一方、ステップS703において、表示位置移動処理部204は、表示位置の移動の抑制方法を、水平方向のみ抑制と決定する。この場合、本処理対象のオブジェクトは、縦書きの文字であるため、文字の組み方向である垂直方向へ表示位置を移動し、水平方向にずれが生じないようにするものである。   On the other hand, in step S703, the display position movement processing unit 204 determines that the method for suppressing the movement of the display position is to suppress only the horizontal direction. In this case, since the object to be processed is a vertically written character, the display position is moved in the vertical direction, which is the character assembling direction, so that no deviation occurs in the horizontal direction.

次に、図8を用いて、本実施例における、図6のS606に示した、表属性オブジェクト移動抑制判定処理について説明する。図8は、表属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。   Next, the table attribute object movement suppression determination process shown in S606 of FIG. 6 in the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing the procedure of the table attribute object movement suppression determination process. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204.

ステップS800において、表示位置移動処理部204は、ヘッダ位置を検出する。ヘッダ位置は、例えば、先頭行(一番上の行)と先頭列(一番左の列)の文字のフォント種がボールドであるか否かや、ベクトル化した際のベクトルデータの近似曲線の太さ、表罫線の太さ、表の各セルの背景色などによって検出することができる。   In step S800, the display position movement processing unit 204 detects the header position. The header position is, for example, whether the font type of the characters in the first row (top row) and first column (leftmost column) is bold, or the approximate curve of the vector data when vectorized It can be detected by the thickness, the thickness of the table ruled line, the background color of each cell of the table, and the like.

ステップS801において、表示位置移動処理部204は、ヘッダが先頭行のみにあるか否かを判定する。先頭行のみにあると判定する場合には、ステップS802へ遷移し、そうではないと判定する場合には、ステップS803へ遷移する。   In step S801, the display position movement processing unit 204 determines whether or not the header is only in the first line. If it is determined that the current position is only in the first row, the process proceeds to step S802. If it is not determined, the process proceeds to step S803.

ステップS802において、表示位置移動処理部204は、ヘッダである先頭行をタッチUI104に表示しているか否かを判定する。例えば、表示位置移動処理部204は、現在のページの始点と、処理対象の表属性のオブジェクトのブロック矩形の領域および当該領域中の先頭行の位置とにより、ヘッダである先頭行をタッチUI104に表示しているか否かを判定する。表示していないと判定する場合、すなわち、ヘッダは先頭行のみであるが、その先頭行を表示していない場合には、ステップS806に遷移し、図7で示したステップS702と同様に、垂直方向のみ抑制と決定する。これは、先頭行にのみヘッダがある場合、当該表オブジェクトを参照する際には、まず先頭行のヘッダの内容を確認し、そして、その行に沿って読み進めるといった操作を想定したものである。すなわち、行方向(水平方向)にそって表示位置を移動し、垂直方向にずれを生じないようにするものである。一方、ステップS802において、先頭行を表示していると判定した場合には、ステップS805へ遷移する。   In step S <b> 802, the display position movement processing unit 204 determines whether or not the first line as a header is displayed on the touch UI 104. For example, the display position movement processing unit 204 sets the first line as a header on the touch UI 104 based on the start point of the current page, the block rectangular area of the table attribute object to be processed, and the position of the first line in the area. It is determined whether it is displayed. When it is determined that it is not displayed, that is, when the header is only the first line, but the first line is not displayed, the process proceeds to step S806, and the vertical line is the same as in step S702 shown in FIG. Only the direction is determined to be suppressed. This assumes that when there is a header only on the first line, when referring to the table object, the contents of the header of the first line are first checked and then read along that line. . That is, the display position is moved along the row direction (horizontal direction) so as not to cause a shift in the vertical direction. On the other hand, if it is determined in step S802 that the top row is displayed, the process proceeds to step S805.

ステップS803において、表示位置移動処理部204は、ヘッダが先頭列のみにあるか否かを判定する。先頭列のみにあると判定する場合には、ステップS804へ遷移し、そうでないと判定する場合には、ステップS805へ遷移する。   In step S803, the display position movement processing unit 204 determines whether the header is only in the first column. If it is determined that it is only in the first column, the process proceeds to step S804. If it is not determined, the process proceeds to step S805.

ステップS804において、表示位置移動処理部204は、現在のページの始点と、処理対象の表属性のオブジェクトのブロック矩形の領域および当該領域中の先頭列の位置とにより、ヘッダである先頭列をタッチUI104に表示しているか否かを判定する。表示していないと判定する場合、すなわち、ヘッダは先頭列のみであるが、その先頭列を表示していない場合には、ステップS807に遷移し、図7で示したステップS703と同様に、水平方向のみ抑制と決定する。これは、先頭列にのみヘッダがある場合、当該表オブジェクトを参照する際には、まず先頭列のヘッダの内容を確認し、そして、その列に沿って読み進めるといった操作を想定したものである。すなわち、列方向(垂直方向)にそって表示位置を移動し、水平方向にずれを生じないようにするものである。一方、ステップS804において、先頭列を表示していると判定する場合には、ステップS805へ遷移する。   In step S804, the display position movement processing unit 204 touches the first column, which is the header, based on the start point of the current page, the block rectangular area of the table attribute object to be processed, and the position of the first column in the area. It is determined whether it is displayed on the UI 104. When it is determined that it is not displayed, that is, when the header is only the first column, but the first column is not displayed, the process proceeds to step S807, and in the same way as step S703 shown in FIG. Only the direction is determined to be suppressed. This assumes that when there is a header only in the first column, when referring to the table object, the contents of the header of the first column are first checked and then read along that column. . That is, the display position is moved along the column direction (vertical direction) so as not to cause a shift in the horizontal direction. On the other hand, if it is determined in step S804 that the first column is displayed, the process proceeds to step S805.

ステップS805において、表示位置移動処理部204は、表示位置の移動の抑制方法を、両方向抑制と決定する。先頭行と先頭列の両方がヘッダである場合、あるいは、先頭行にも先頭列にもヘッダがない場合には、スワイプ操作をして、行か列のいずれかに沿って表示位置を移動することが想定される。スワイプ操作により指示された表示位置の移動方向について、水平方向と垂直方向の成分を比較(ステップS611)し、大きい方の方向へのみ移動するようにすることにより、ユーザが意図した方向と直角方向へのずれを生じないようにするものである。また、本フローチャートに依れば、次の場合にも、ステップS805の処理を実行する。すなわち、先頭行のみにヘッダがある場合であって、かつそのヘッダをタッチUI104に表示している場合と、先頭列にのみヘッダがある場合であって、かつそのヘッダをタッチUI104に表示している場合である。先頭行のみにヘッダが存在する場合には、前述のとおり、行に沿って表示位置を移動するが、先頭行のヘッダを表示している場合には、表示位置を垂直方向へ移動して順次各ヘッダの内容を参照することが想定される。故に、先頭行のみにヘッダが存在する場合であっても、当該ヘッダを表示している場合には、行方向あるいは列方向に沿って表示位置を移動できるようにするものである。先頭列にのみヘッダが存在する場合についても、同様である。   In step S805, the display position movement processing unit 204 determines that the display position movement suppression method is bidirectional suppression. If both the first row and the first column are headers, or if there is no header in either the first row or the first column, swipe to move the display position along either the row or the column. Is assumed. By comparing the horizontal direction and vertical direction components with respect to the movement direction of the display position instructed by the swipe operation (step S611), and moving only in the larger direction, the direction perpendicular to the direction intended by the user is obtained. This is to prevent the deviation from occurring. Further, according to this flowchart, the process of step S805 is executed also in the following case. That is, when there is a header only in the first row and the header is displayed on the touch UI 104, and when there is a header only in the first column and the header is displayed on the touch UI 104 This is the case. When the header exists only in the first line, the display position is moved along the line as described above. However, when the header of the first line is displayed, the display position is moved in the vertical direction sequentially. It is assumed that the contents of each header are referred to. Therefore, even when the header exists only in the first row, the display position can be moved along the row direction or the column direction when the header is displayed. The same applies to the case where the header exists only in the first column.

次に、図9と図10を用いて、本実施例における、図6のS608に示した、グラフィック属性オブジェクト移動抑制判定処理について説明する。図9は、グラフィック属性オブジェクト移動抑制判定処理の手順を示すフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。また、図10は、本処理の対象であるグラフィック属性のオブジェクトとしての棒グラフや帯グラフの一例を示した図である。   Next, the graphic attribute object movement suppression determination process shown in S608 of FIG. 6 in the present embodiment will be described with reference to FIGS. FIG. 9 is a flowchart illustrating a procedure of the graphic attribute object movement suppression determination process. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204. FIG. 10 is a diagram illustrating an example of a bar graph or a band graph as a graphic attribute object that is the target of this processing.

まず、ステップS900において、表示位置移動処理部204は、グラフ情報を取得する。グラフ情報は、グラフの種別を示す情報であり、アプリケーション画像データに含まれる。あるいは、アプリケーション画像データを解析して生成されたグラフ情報を取得してもよい。例えば、公知の手法によってオブジェクトをベクトル化することによってグラフ情報を取得することができる。   First, in step S900, the display position movement processing unit 204 acquires graph information. The graph information is information indicating the type of graph and is included in the application image data. Alternatively, the graph information generated by analyzing the application image data may be acquired. For example, graph information can be acquired by vectorizing an object by a known method.

ステップS901において、表示位置移動処理部204は、本処理の対象であるグラフィック属性のオブジェクトが棒グラフであるか否かを判定する。ステップS900でグラフ情報が取得され、かつ、当該情報が棒グラフであることを示す場合、ステップS902へ遷移し、そうでない場合、ステップS904へ遷移する。   In step S <b> 901, the display position movement processing unit 204 determines whether or not the graphic attribute object to be processed is a bar graph. If the graph information is acquired in step S900 and the information indicates that it is a bar graph, the process proceeds to step S902, and if not, the process proceeds to step S904.

ステップS902において、表示位置移動処理部204は、棒グラフの方向を取得する。グラフの方向はグラフ情報に含まれている。あるいは、グラフバーの形状や軸の位置より決定することもできる。例えば、図10(a)の棒グラフ1000の場合、各グラフバーの水平方向の幅の総和は、垂直方向の幅の総和に比して大きい。また、縦軸はグラフ左端部に存在する。小さな表示領域のタッチUI104で、このような棒グラフを参照する場合、縦軸脇のラベルを確認し、水平方向へグラフバーに沿って、スワイプ操作により表示位置を移動させながら参照することが想定される。よって、この場合は、棒グラフの方向は、水平方向と決定することができる。表示位置移動処理部204は、ステップS902において、このようにしてグラフの方向を取得する。   In step S902, the display position movement processing unit 204 acquires the direction of the bar graph. The direction of the graph is included in the graph information. Alternatively, it can be determined from the shape of the graph bar and the position of the axis. For example, in the case of the bar graph 1000 in FIG. 10A, the sum of the horizontal widths of the graph bars is larger than the sum of the vertical widths. The vertical axis exists at the left end of the graph. When referring to such a bar graph with the touch UI 104 of a small display area, it is assumed that the label on the side of the vertical axis is confirmed and the display position is moved by swiping the graph bar horizontally along the graph bar. The Therefore, in this case, the direction of the bar graph can be determined as the horizontal direction. In step S902, the display position movement processing unit 204 acquires the graph direction in this way.

ステップS903において、表示位置移動処理部204は、ステップS902において取得したグラフの方向を判定する。グラフの方向が水平方向であると判定する場合には、ステップS906に遷移し、図7で示したステップS702と同様に垂直方向のみ抑制と決定する。一方、グラフの方向が垂直方向であると判定する場合には、ステップS907に遷移し、図7で示したステップS703と同様に水平方向のみ抑制と決定する。   In step S903, the display position movement processing unit 204 determines the direction of the graph acquired in step S902. If it is determined that the direction of the graph is the horizontal direction, the process proceeds to step S906, and it is determined that only the vertical direction is suppressed, similarly to step S702 illustrated in FIG. On the other hand, when it is determined that the direction of the graph is the vertical direction, the process proceeds to step S907, and similarly to step S703 illustrated in FIG.

ステップS904において、表示位置移動処理部204は、本処理の対象であるグラフィック属性のオブジェクトが帯グラフであるか否かを判定する。ステップS900でグラフ情報が取得され、かつ、当該情報が帯グラフであることを示す場合、図8で示したステップS805と同様に両方向抑制と決定する。例えば、図10(b)の帯グラフ1001のように、帯グラフは、各グラフバー内の構成比率が、グラフバー間で点線で結ばれるなどしており、ユーザがグラフバー間を比較しながら参照することが想定される。よって、帯グラフの場合は、棒グラフのようにグラフ方向に沿って表示位置を移動することと、軸方向に沿って表示位置を移動することがあると考えられる。よって、両方向抑制と決定し、初回のスワイプイベントを判定し(S611)、抑制方向を決定するものである。   In step S904, the display position movement processing unit 204 determines whether or not the graphic attribute object that is the target of this processing is a band graph. When the graph information is acquired in step S900 and the information indicates that it is a band graph, it is determined to suppress both directions as in step S805 illustrated in FIG. For example, as in the band graph 1001 in FIG. 10B, the band graph has a configuration ratio in each graph bar connected by a dotted line between the graph bars, and the user compares the graph bars while comparing the graph bars. Reference is assumed. Therefore, in the case of a band graph, it is considered that the display position may be moved along the graph direction like a bar graph and the display position may be moved along the axial direction. Therefore, it is determined to suppress both directions, the first swipe event is determined (S611), and the suppression direction is determined.

次に、図11を用いて、図6のステップS619に示した、移動範囲制限処理について説明する。移動範囲制限処理は、部分領域表示モードである際に、好適に表示位置を補正する処理である。図11は、移動範囲制限処理の手順を示すフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。   Next, the movement range restriction process shown in step S619 of FIG. 6 will be described using FIG. The movement range restriction process is a process for preferably correcting the display position in the partial area display mode. FIG. 11 is a flowchart showing the procedure of the movement range restriction process. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204.

まず、図5と図12を用いて部分表示モードについて説明する。携帯情報端末100は、図5に示すようなページ全体を表示するのに適したページ表示モードと、図12に示すように、ページ内の各オブジェクトを拡大表示するのに適した部分領域表示モードの2つの表示モードを有することができる。本実施例では、アプリケーション画像データを携帯情報端末100が受信した直後は、ページ表示モードである。部分領域表示モードは、図12に示すように、ページ500内の各オブジェクトが大きく表示されるように、ページ500の表示倍率と始点を制御する表示モードである。オブジェクト504を拡大表示対象のオブジェクトとして選択したときに表示される画面を図12に示す。また、本実施例では、図12に示すように、拡大表示対象のオブジェクト(ここではオブジェクト504)以外の領域が、半透明グレーで表示されるよう、半透明マスク1201を、ページ500の内容の上に重ねて表示する。このような半透明マスクを重ねて表示することにより、対象のオブジェクト以外が暗く表示されるので、対象のオブジェクトが強調表示され、ユーザは表示対象になっているオブジェクトを認識しやすくなる。   First, the partial display mode will be described with reference to FIGS. The portable information terminal 100 has a page display mode suitable for displaying the entire page as shown in FIG. 5 and a partial area display mode suitable for displaying each object in the page in an enlarged manner as shown in FIG. Can have two display modes. In the present embodiment, the page display mode is immediately after the mobile image terminal 100 receives the application image data. As shown in FIG. 12, the partial area display mode is a display mode for controlling the display magnification and start point of the page 500 so that each object in the page 500 is displayed in a large size. FIG. 12 shows a screen displayed when the object 504 is selected as an object to be enlarged. Further, in this embodiment, as shown in FIG. 12, the translucent mask 1201 is set to the content of the page 500 so that the area other than the object to be enlarged (object 504 in this case) is displayed in translucent gray. Display overlaid on top. By displaying such a semi-transparent mask in an overlapping manner, objects other than the target object are displayed darkly, so that the target object is highlighted and the user can easily recognize the object to be displayed.

また、図12において、モード切替ボタン501は、表示モードを、ページ表示モードと「部分領域表示モード」の間で切り替えるためのボタンである。表示モード処理部203は、モード切替ボタン501への指示に応じて、モード切替処理を実行する。   In FIG. 12, a mode switching button 501 is a button for switching the display mode between the page display mode and the “partial area display mode”. The display mode processing unit 203 executes mode switching processing in response to an instruction to the mode switching button 501.

次へボタン502は、部分領域表示モードにおいて、現在表示中のオブジェクトから、その次のオブジェクトを表示するためのものである。表示モード処理部203は、次へボタン502への指示に応じて、次のオブジェクトを選択する。   The next button 502 is used to display the next object from the currently displayed objects in the partial area display mode. The display mode processing unit 203 selects the next object in response to an instruction to the next button 502.

前へボタン503は、部分領域表示モードにおいて、現在表示中のオブジェクトから、その前のオブジェクトを表示するためのものである。表示モード処理部203は、前へボタン503への指示に応じて、前のオブジェクトを選択する。   The previous button 503 is used to display the previous object from the currently displayed object in the partial area display mode. The display mode processing unit 203 selects the previous object in response to an instruction to the previous button 503.

尚、表示モード処理部203は、表示モードがページ表示モードの場合には、次へボタン502と前へボタン503を指示不可に制御することができる。   When the display mode is the page display mode, the display mode processing unit 203 can control the next button 502 and the previous button 503 not to be instructed.

図11では、このような部分領域表示モードを用いる場合に好適に表示位置を補正する処理を説明する。   FIG. 11 illustrates a process for correcting the display position suitably when such a partial area display mode is used.

ステップS1100において、表示位置移動処理部204は、現在の表示モードを取得して、部分領域表示モードであるか判定する。表示モードが部分領域表示モードである場合にはステップS1101に進み、ページ表示モードである場合には何も行わずに処理を終了する。   In step S1100, the display position movement processing unit 204 acquires the current display mode, and determines whether it is the partial area display mode. If the display mode is the partial area display mode, the process proceeds to step S1101, and if the display mode is the page display mode, the process ends without performing anything.

ステップS1101において、表示位置移動処理部204は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの幅が、タッチUI104の画面の幅より大きいか否かを判定する。このとき、前記オブジェクトの幅がタッチUIの画面幅よりも大きい場合には、ステップS1102に進み、そうでない場合には、ステップS1104に進む。   In step S <b> 1101, the display position movement processing unit 204 determines whether the width of the currently read object when displayed at the display magnification of the current page is larger than the screen width of the touch UI 104. At this time, if the width of the object is larger than the screen width of the touch UI, the process proceeds to step S1102, and if not, the process proceeds to step S1104.

ステップS1102において、表示位置移動処理部204は、オブジェクトの左端または右端がタッチUI104の画面内に移動したかを判定する。その結果、オブジェクトの左端または右端がタッチUIの画面内に移動したと判定した場合には、ステップS1103に進み、そうでない場合には、ステップS1106に進む。   In step S <b> 1102, the display position movement processing unit 204 determines whether the left end or right end of the object has moved within the screen of the touch UI 104. As a result, if it is determined that the left end or right end of the object has moved into the screen of the touch UI, the process proceeds to step S1103, and if not, the process proceeds to step S1106.

ステップS1103において、表示位置移動処理部204は、ページの始点のX座標を補正して、画面内に移動された該オブジェクトの左端または右端をタッチUI104の画面の端に移動させて戻す。これは、オブジェクトの幅がタッチUIの画面幅に収まらない場合においても、できるだけ該オブジェクトが表示される領域を多くするためである。   In step S <b> 1103, the display position movement processing unit 204 corrects the X coordinate of the start point of the page, moves the left end or right end of the object moved within the screen to the end of the screen of the touch UI 104, and returns it. This is to increase the area where the object is displayed as much as possible even when the width of the object does not fit within the screen width of the touch UI.

また、ステップS1104において、表示位置移動処理部204は、オブジェクトの左端または右端がタッチUI104の画面外に移動したかを判定する。その結果、オブジェクトの左端または右端がタッチUI104の画面外にあると判定した場合には、ステップS1105に進み、そうでない場合には、ステップS1106に進む。   In step S <b> 1104, the display position movement processing unit 204 determines whether the left end or right end of the object has moved outside the screen of the touch UI 104. As a result, when it is determined that the left end or the right end of the object is outside the screen of the touch UI 104, the process proceeds to step S1105. Otherwise, the process proceeds to step S1106.

ステップS1105において、表示位置移動処理部204は、ページの始点のX座標を補正して、当該オブジェクトの左端または右端を画面の端に移動させて戻す。これは、オブジェクトの幅がタッチUIの画面幅に収まるので、該オブジェクトの全体が表示されるようにするためである。   In step S1105, the display position movement processing unit 204 corrects the X coordinate of the start point of the page, moves the left end or right end of the object to the end of the screen, and returns it. This is because the entire width of the object fits within the screen width of the touch UI so that the entire object is displayed.

ステップS1106において、表示位置移動処理部204は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの高さが、タッチUI104の画面の高さより大きいか否かを判定する。このとき、前記オブジェクトの高さがタッチUIの画面高さよりも大きい場合には、ステップS1108に進み、そうでない場合には、ステップS1109に進む。   In step S <b> 1106, the display position movement processing unit 204 determines whether the height of the currently read object when displayed at the display magnification of the current page is greater than the height of the screen of the touch UI 104. At this time, if the height of the object is larger than the screen height of the touch UI, the process proceeds to step S1108; otherwise, the process proceeds to step S1109.

ステップS1107において、表示位置移動処理部204は、スワイプイベントの移動距離に応じてオブジェクトを含むページの表示位置を移動した際に、オブジェクトの上端または下端がタッチUI104の画面内に移動したかを判定する。その結果、オブジェクトの上端または下端がタッチUIの画面内にあると判定した場合には、ステップS1108に進み、そうでない場合には、処理を終了する。   In step S <b> 1107, the display position movement processing unit 204 determines whether the upper end or lower end of the object has moved within the screen of the touch UI 104 when the display position of the page including the object is moved according to the movement distance of the swipe event. To do. As a result, if it is determined that the upper or lower end of the object is within the touch UI screen, the process proceeds to step S1108; otherwise, the process ends.

ステップS1108において、表示位置移動処理部204は、ページの始点のY座標を補正して、画面内に移動されたオブジェクトの上端または下端を画面の端に移動させて戻し、できるだけ該オブジェクトが表示されるようにする。   In step S1108, the display position movement processing unit 204 corrects the Y coordinate of the start point of the page, moves the upper end or lower end of the object moved within the screen back to the end of the screen, and displays the object as much as possible. So that

ステップS1109において、表示位置移動処理部204は、オブジェクトの上端または下端がタッチUIの画面外に移動したかを判定する。オブジェクトの上端または下端がタッチUIの画面外に移動したと判定した場合には、ステップS1110に進み、そうでない場合には、処理を終了する。   In step S1109, the display position movement processing unit 204 determines whether the upper end or lower end of the object has moved outside the screen of the touch UI. If it is determined that the upper end or lower end of the object has moved outside the screen of the touch UI, the process proceeds to step S1110, and if not, the process ends.

ステップS1110において、表示位置移動処理部204は、ページの始点のY座標を補正して、当該オブジェクトの上端または下端を画面内に移動させて戻し、該オブジェクトの全体が表示されるようにする。   In step S1110, the display position movement processing unit 204 corrects the Y coordinate of the start point of the page and moves the upper end or lower end of the object back to the screen so that the entire object is displayed.

このように、オブジェクトの移動範囲を制限することで、ユーザは、オブジェクトの端部を容易に識別することができる。   Thus, by limiting the movement range of the object, the user can easily identify the end of the object.

次に、図13と図14を用いて、表示位置の移動処理により成されるタッチUI104における表示内容について説明する。図13および図14は、携帯情報端末100のタッチUI104の表示例を示す画面図である。   Next, display contents on the touch UI 104 formed by the display position moving process will be described with reference to FIGS. 13 and 14. FIG. 13 and FIG. 14 are screen diagrams illustrating display examples of the touch UI 104 of the portable information terminal 100.

図13(a)は、図5で示したページ500のページ表示モードの表示を、拡大表示した場合の画面である。拡大表示は、ピンチアウト操作により成す事ができる。また、図13(b)は、図5に示したオブジェクト504の部分領域表示モードにおいて、拡大表示した場合の画面である。図13(a)は、図示の通り、オブジェクト504とオブジェクト507と、オブジェクト508が表示されているが、その面積比はオブジェクト504が一番大きい。また、図13(b)は、部分領域表示モードであり、オブジェクト504が拡大表示されている。つまり、図13(a)も(b)のいずれの場合も、図6のステップS602で判定される基準オブジェクトはオブジェクト504である。そしてオブジェクト504は、組み方向が横書きの文字属性である。よって、これらの画面表示時のタッチUI104に対して、ユーザがスワイプ操作を行った場合、携帯情報端末100は、表示位置の移動を、垂直方向へは抑制し、水平方向へのみ成す。例えば、ユーザが、文字属性であって横書きであるオブジェクト504を、スワイプ操作によって、組み方向に沿って読み進めようとしているとする。この時、矢印1301により模式的に示したスワイプ操作の軌跡(矢印始点から矢印終点まで指をタッチしながら滑らせた)を、意図せず行ってしまった場合でも、表示位置は垂直方向へずれず、水平方向へのみ移動する。ただし、矢印1302のように、解除閾値を超える垂直方向成分の移動量を有するスワイプ操作を成した場合には、意図して垂直方向の移動指示を行っているため、当該移動量の分、垂直方向へも表示位置を移動させる。一方、基準オブジェクトがオブジェクト505のような、組み方向が縦書きの文字属性のオブジェクトの場合には、矢印1301のようなスワイプ操作に対する表示位置の移動を、水平方向へは抑制し、垂直方向へのみ成す。なお、矢印1301、1302はスワイプ動作の軌跡を示しているに過ぎず、画面表示されたものではない点に留意されたい。   FIG. 13A is a screen when the display of the page display mode of the page 500 shown in FIG. 5 is enlarged. The enlarged display can be made by a pinch-out operation. FIG. 13B is a screen when the enlarged display is performed in the partial area display mode of the object 504 shown in FIG. In FIG. 13A, as shown, an object 504, an object 507, and an object 508 are displayed, but the object 504 has the largest area ratio. FIG. 13B shows a partial area display mode in which the object 504 is displayed in an enlarged manner. That is, in both cases of FIG. 13A and FIG. 13B, the reference object determined in step S602 of FIG. The object 504 is a character attribute whose writing direction is horizontal writing. Therefore, when the user performs a swipe operation on the touch UI 104 when the screen is displayed, the portable information terminal 100 suppresses the movement of the display position in the vertical direction and performs only in the horizontal direction. For example, it is assumed that the user tries to read an object 504 that is a character attribute and is written horizontally along the assembly direction by a swipe operation. At this time, even if the swipe operation locus (slid from the arrow start point to the arrow end point) is shown unintentionally, the display position does not move vertically. It moves only in the horizontal direction. However, when a swipe operation having a movement amount of the vertical direction component exceeding the release threshold is performed as indicated by an arrow 1302, a vertical movement instruction is intentionally performed. The display position is also moved in the direction. On the other hand, in the case where the reference object is an object having a character attribute with a vertical writing direction such as the object 505, the movement of the display position in response to the swipe operation as indicated by the arrow 1301 is suppressed in the horizontal direction and the vertical direction. Only made. It should be noted that the arrows 1301 and 1302 merely show the trajectory of the swipe operation and are not displayed on the screen.

尚、図13(a)において、符号1303は水平方向のスクロールバーであり、符号1304は垂直方向のスクロールバーである。図13(a)の場合は、垂直方向への表示領域の移動を抑制するため、携帯情報端末100は、水平方向スクロールバー1303に比して、垂直方向スクロールバー1304を、透明度が高い色で表示する。これによって、垂直方向への表示位置の移動を抑制していることを示唆する。   In FIG. 13A, reference numeral 1303 is a horizontal scroll bar, and reference numeral 1304 is a vertical scroll bar. In the case of FIG. 13A, in order to suppress the movement of the display area in the vertical direction, the portable information terminal 100 displays the vertical scroll bar 1304 in a color with higher transparency than the horizontal scroll bar 1303. indicate. This suggests that the movement of the display position in the vertical direction is suppressed.

また、図13(b)の部分領域表示モードにおいては、水平方向のスクロールバー1303が表示され、垂直方向のスクロールバーが表示されていない例を示しているが、垂直方向のスクロールバーが表示されてもよい。   Further, in the partial area display mode of FIG. 13B, an example is shown in which the horizontal scroll bar 1303 is displayed and the vertical scroll bar is not displayed, but the vertical scroll bar is displayed. May be.

また、図14(a)は、図5に示したオブジェクト507を部分領域表示モードにおいて、拡大表示した場合の画面である。なお、ページ表示モードを拡大して表示した場合であっても、以下の説明は同様である。オブジェクト507は表属性であり、かつ図示のとおり、先頭行と先頭列にヘッダを有している。よって、図14(a)の画面表示時のタッチUI104に対してユーザがスワイプ操作を行った場合、これにより生じる初回のスワイプイベントの移動量の水平成分と垂直成分の大小に応じて、いずれか一方の方向への移動を抑制する。そして、もう一方の方向へのみ表示位置を移動する。例として、初回のスワイプイベントが矢印1400のように示される場合、水平成分(矢印1401)と垂直成分(矢印1402)を比較すると、図示のとおり、水平成分の方が大きい。よってこの場合は、水平成分の移動量に応じて、水平方向へのみ表示位置を移動する。例えば、ユーザが、ある行ヘッダに注目して、当該行の各列の値を読み進めようとしている場合に、意図せず矢印1400のようなスワイプ操作を行ってしまっても、垂直方向にずれを生じない。尚、ある列ヘッダに注目して、当該列の各行の値を読み進めようとしている場合には、ユーザは、水平成分に比して垂直成分の方が大きいスワイプ操作を成せばよい。これにより、水平方向への移動を抑制し、垂直方向へのみ表示位置を移動することができる。また、ユーザがタッチ解除操作を行えば、垂直方向あるいは水平方向への抑制は解除し、次のスワイプ操作の初回のスワイプイベントに応じて抑制方法を決定し直す。このため、ユーザが都度、行方向へ読み進めたり、列方向へ読み進めたり、観点を変えて操作することができる。   FIG. 14A shows a screen when the object 507 shown in FIG. 5 is enlarged and displayed in the partial area display mode. The following description is the same even when the page display mode is enlarged and displayed. The object 507 is a table attribute and has a header in the first row and first column as shown in the figure. Therefore, when the user performs a swipe operation on the touch UI 104 when the screen is displayed in FIG. 14A, either the horizontal component or the vertical component of the movement amount of the first swipe event caused thereby is selected. Suppresses movement in one direction. Then, the display position is moved only in the other direction. As an example, when the first swipe event is indicated by an arrow 1400, when the horizontal component (arrow 1401) is compared with the vertical component (arrow 1402), the horizontal component is larger as illustrated. Therefore, in this case, the display position is moved only in the horizontal direction according to the movement amount of the horizontal component. For example, when the user is paying attention to a certain row header and trying to read the value of each column of the row, even if the user unintentionally performs a swipe operation like the arrow 1400, the vertical direction shifts. Does not occur. Note that when paying attention to a column header and trying to read the value of each row of the column, the user may perform a swipe operation in which the vertical component is larger than the horizontal component. Thereby, the movement in the horizontal direction can be suppressed and the display position can be moved only in the vertical direction. If the user performs a touch release operation, the suppression in the vertical direction or the horizontal direction is canceled, and the suppression method is determined again according to the first swipe event of the next swipe operation. Therefore, each time the user can read in the row direction or read in the column direction, the user can operate from different viewpoints.

また、基準オブジェクトが、行ヘッダも列ヘッダも有しない表属性のオブジェクトの場合には、携帯情報端末100は、オブジェクト507と同様に表示位置の移動を抑制する。   When the reference object is a table attribute object that has neither a row header nor a column header, the portable information terminal 100 suppresses the movement of the display position in the same manner as the object 507.

基準オブジェクトが行ヘッダのみを有する表属性のオブジェクトの場合には、携帯情報端末100は、オブジェクト504の場合と同じように、表示位置の移動を、垂直方向へは抑制し、水平方向へのみ成す。ただし、タッチUI104の表示領域に、行ヘッダを表示している場合には携帯情報端末100は、オブジェクト507と同様に表示位置の移動を抑制する。   When the reference object is a table attribute object having only a row header, the portable information terminal 100 suppresses the movement of the display position in the vertical direction and performs only in the horizontal direction as in the case of the object 504. . However, when the row header is displayed in the display area of the touch UI 104, the portable information terminal 100 suppresses the movement of the display position similarly to the object 507.

基準オブジェクトが列ヘッダのみを有する表属性オブジェクトの場合には、携帯情報端末100は、オブジェクト505の場合と同じように、表示位置の移動を、水平方向へは抑制し、垂直方向へのみ成す。ただし、タッチUI104の表示領域に、列ヘッダを表示している場合には、携帯情報端末100は、オブジェクト507と同様に表示位置の移動を抑制する。   When the reference object is a table attribute object having only a column header, the portable information terminal 100 suppresses the movement of the display position in the horizontal direction and performs only in the vertical direction as in the case of the object 505. However, when the column header is displayed in the display area of the touch UI 104, the portable information terminal 100 suppresses the movement of the display position as with the object 507.

図14(b)は、図5に示したオブジェクト509を部分領域表示モードにおいて、拡大表示した場合の画面である。なお、ページ表示モードを拡大して表示した場合であっても、以下の説明は同様である。オブジェクト509は、写真属性のオブジェクトであるため、図14(b)の画面表示時のタッチUI104に対して、ユーザがスワイプ操作を行っても、いずれの方向へも抑制は行わない。ユーザは、写真中の所望の箇所を、スワイプ操作により表示させることができる。その際、携帯情報端末100は、不要に、移動方向の抑制を実行することはない。   FIG. 14B shows a screen when the object 509 shown in FIG. 5 is enlarged and displayed in the partial area display mode. The following description is the same even when the page display mode is enlarged and displayed. Since the object 509 is a photographic attribute object, even if the user performs a swipe operation on the touch UI 104 when the screen is displayed in FIG. 14B, no suppression is performed in any direction. The user can display a desired portion in the photograph by a swipe operation. At that time, the portable information terminal 100 does not unnecessarily suppress the movement direction.

尚、図14(a)の場合、ユーザが、タッチUI104をタッチした段階では、未だいずれの方向に表示位置の移動を抑制するかは決定していない。よって、図示のように、水平方向スクロールバー1303も垂直方向スクロールバー1304も、共に透明度の低い(不透明な)色で表示してもよい。ユーザが、タッチした状態から指を滑らせてスワイプ操作を行うと、携帯情報端末100は、初回のスワイプイベントに応じて水平方向と垂直方向のいずれかについて、表示領域の移動の抑制が行う。この時、当該方向のスクロールバーを、図13(a)の垂直方向スクロールバー1304のように、透明度が高い色で表示する。また、図14(b)はいずれの方向へも表示領域の移動の抑制を成さないため、水平方向スクロールバー1303も垂直方向スクロールバー1304も、常に透明度の低い(不透明な)色で表示する。   In the case of FIG. 14A, when the user touches the touch UI 104, it is not yet determined in which direction the movement of the display position is suppressed. Therefore, as shown in the figure, both the horizontal scroll bar 1303 and the vertical scroll bar 1304 may be displayed in a color with low transparency (opaque). When the user performs a swipe operation by sliding his / her finger from the touched state, the portable information terminal 100 suppresses movement of the display area in either the horizontal direction or the vertical direction in response to the first swipe event. At this time, the scroll bar in this direction is displayed in a color with high transparency, like the vertical scroll bar 1304 in FIG. In FIG. 14B, since the movement of the display area is not suppressed in any direction, both the horizontal scroll bar 1303 and the vertical scroll bar 1304 are always displayed in a color with low transparency (opaque). .

図14(c)は、図5に示したオブジェクト508を部分領域表示モードにおいて、拡大表示した場合の画面である。ページ表示モードを拡大して表示した場合であっても、以下の説明は同様である。オブジェクト509は、グラフィック属性であり、かつ、棒グラフであるオブジェクトである。そしてそのグラフ方向は水平方向である。よって図14(c)の画面表示時のタッチUI104に対して、ユーザがスワイプ操作を行った場合、携帯情報端末100は、表示位置の移動を、オブジェクト504の場合と同じように、表示位置の移動を抑制する。基準オブジェクトが、グラフ方向が垂直方向の棒グラフであるグラフィック属性の場合には、オブジェクト505の場合と同じように、表示位置の移動を抑制する。基準オブジェクトが、帯グラフの場合には、オブジェクト507の場合と同じように、表示位置の移動を抑制する。   FIG. 14C shows a screen when the object 508 shown in FIG. 5 is enlarged and displayed in the partial area display mode. The following description is the same even when the page display mode is enlarged and displayed. An object 509 is an object that has a graphic attribute and is a bar graph. The graph direction is the horizontal direction. Therefore, when the user performs a swipe operation on the touch UI 104 when the screen is displayed in FIG. 14C, the portable information terminal 100 moves the display position in the same way as the object 504. Suppress movement. When the reference object has a graphic attribute in which the graph direction is a vertical bar graph, the movement of the display position is suppressed as in the case of the object 505. When the reference object is a band graph, the movement of the display position is suppressed as in the case of the object 507.

以上のように、本実施例によれば、表示対象であるオブジェクトの属性に応じて、表示位置の移動を抑制することができる。当該オブジェクトの特徴を加味した表示位置の移動を提供することができるため、携帯端末のような小さな画面の表示装置であっても、文書を好適に閲覧することができる。   As described above, according to the present embodiment, the movement of the display position can be suppressed according to the attribute of the object to be displayed. Since the movement of the display position in consideration of the characteristics of the object can be provided, even a display device with a small screen such as a portable terminal can appropriately view a document.

尚、本実施例では、タッチ解除イベントの受信により、スワイプ操作を終了する例を示したが、タイマー113を利用し、タッチ解除イベントを受信してから一定期間が経過した後に、スワイプ操作を終了するようにしてもよい。一定時間が経過した後に、ステップS621を実行することができる。また、一定期間内であれば、再度タッチ押下イベントを受信した後、スワイプ操作を継続することもできる。表示位置の移動方向を抑制している場合には、一定時間経過後に抑制が解除される。あるいは、タッチ解除イベントの受信がなくとも、一定期間スワイプ操作が成されなかった場合(スワイプイベントを受信しない、あるいは受信しても移動量が予め定義した閾値以下のごく少量)に、ステップS621を実行するようにしてもよい。そして、これら一定期間は、基準オブジェクトの属性に応じて定義してもよい。   In this embodiment, the swipe operation is terminated when the touch release event is received. However, the swipe operation is terminated after a certain period of time has elapsed since the touch release event was received using the timer 113. You may make it do. Step S621 can be executed after a predetermined time has elapsed. Also, within a certain period, after receiving the touch press event again, the swipe operation can be continued. When the movement direction of the display position is suppressed, the suppression is released after a certain time has elapsed. Alternatively, even if no touch release event has been received, if a swipe operation has not been performed for a certain period of time (no swipe event is received, or even if it is received, the movement amount is very small below a predetermined threshold), step S621 is performed. You may make it perform. These fixed periods may be defined according to the attributes of the reference object.

また、解除閾値の値は、基準オブジェクトの属性に応じて定義してもよい。   Further, the release threshold value may be defined according to the attribute of the reference object.

更に、水平(垂直)方向への表示位置の移動の抑制を行う条件として、次を考慮してもよい。基準オブジェクトの矩形ブロックの水平(垂直)方向のサイズと、タッチUI104の表示領域の水平(垂直)方向のサイズとを比較して、一定以上の比率であることを考慮してもよい。つまり、表示位置の移動の最大量が、さして大きくはない場合には、移動方向の抑制は行わないようにするものである。   Furthermore, the following may be considered as a condition for suppressing the movement of the display position in the horizontal (vertical) direction. By comparing the size of the rectangular block of the reference object in the horizontal (vertical) direction with the size of the display area of the touch UI 104 in the horizontal (vertical) direction, it may be considered that the ratio is a certain ratio or more. That is, when the maximum amount of movement of the display position is not so large, the movement direction is not suppressed.

また、本実施例では、両方向抑制の場合、タッチ押下イベントの受信後の最初のスワイプイベントを判定して、水平方向を抑制するか垂直方向を抑制するかを決定した。しかし、初回ではなく、最初の数回とし、当該回数分のスワイプイベントの水平成分や垂直成分をそれぞれ加算した上で、大小を比較してもよい。   In the present embodiment, in the case of bi-directional suppression, the first swipe event after reception of a touch press event is determined to determine whether to suppress the horizontal direction or the vertical direction. However, it may be the first several times instead of the first time, and the magnitude components may be compared after adding the horizontal component and vertical component of the swipe event corresponding to the number of times.

実施例1では、スワイプ操作が成されると、表示対象のオブジェクト(基準オブジェクト)の属性に応じて、表示位置の移動を抑制する例を示した。しかしながら、スワイプ操作の初動で指を精度よく水平方向ないし垂直方向に動かすことができなかった場合に、意図と異なる動作をする可能性がある。本実施例では、特定の操作が成されたことを条件に、表示対象のオブジェクトの属性に応じて、表示位置の移動の抑制を行う例を示す。これは、特に、表示装置をきちんと保持できない利用シーンなどで有用である。特定の操作として、閾値以内の誤差範囲である真水平方向へのスワイプ操作や真垂直方向へのスワイプ操作を例に説明する。   In the first embodiment, when the swipe operation is performed, the example in which the movement of the display position is suppressed according to the attribute of the object to be displayed (reference object) is shown. However, if the finger cannot be moved in the horizontal direction or the vertical direction with high accuracy by the initial movement of the swipe operation, there is a possibility that the movement is different from the intended one. In the present embodiment, an example in which the movement of the display position is suppressed according to the attribute of the object to be displayed on condition that a specific operation has been performed. This is particularly useful in usage scenes where the display device cannot be held properly. As a specific operation, a swipe operation in a true horizontal direction or a swipe operation in a true vertical direction, which is an error range within a threshold, will be described as an example.

図15を用いて、本実施例における表示位置の移動処理について説明する。図15は、本実施例における、表示位置の移動処理の手順を示したフローチャートである。本フローチャートは、アプリケーションプログラムを、CPU105が表示位置移動処理部204として実行することにより実現される。表示位置移動処理部204は、タッチUI104を介してタッチ操作やスワイプ操作、タッチ解除操作を検知し、本処理を開始する。   With reference to FIG. 15, display position movement processing in the present embodiment will be described. FIG. 15 is a flowchart showing the procedure of display position movement processing in the present embodiment. This flowchart is realized by the CPU 105 executing the application program as the display position movement processing unit 204. The display position movement processing unit 204 detects a touch operation, a swipe operation, or a touch release operation via the touch UI 104, and starts this processing.

本処理は、実施例1の図6において示した処理と、処理内容の類似点が多いため、ここでは差異点であるステップS1500〜ステップS1503についてのみ説明する。   Since this process has many similarities to the process shown in FIG. 6 of the first embodiment, only steps S1500 to S1503 which are different points will be described here.

ステップS1500において、表示位置移動処理部204は、初回のスワイプイベントの受信か否かを判定する。初回のスワイプイベントの受信であると判定する場合には、ステップS1501へ遷移し、そうでないと判定する場合には、ステップS1503へ遷移する。   In step S1500, the display position movement processing unit 204 determines whether or not a first swipe event has been received. If it is determined that the first swipe event has been received, the process proceeds to step S1501, and if not, the process proceeds to step S1503.

ステップS1501において、表示位置移動処理部204は、受信したスワイプイベントに含まれる移動量を、同じくスワイプイベントに含まれる最新と直前のタッチ座標の位置より、水平方向と垂直方向の成分にベクトル分解する。そして、抑制する方向の成分が予め規定の閾値(抑制閾値)以内であるか否かを判定する。この抑制閾値は、例えば、タッチUI104の表示領域の水平方向/垂直方向の幅の1/5の値、などというよう決定しておけばよい。ユーザが意図して水平方向ないし垂直方向にスワイプ操作をしたにも関わらず生じてしまう、水平方向に対する垂直方向、ないし、垂直方向に対する水平方向の入力誤差を、容易に吸収できる値が好ましい。抑制する方向の成分が抑制閾値よりも小さい場合には、ステップS1502へ遷移し、そうでない場合には、ステップS1503へ遷移する。   In step S1501, the display position movement processing unit 204 vector-decomposes the movement amount included in the received swipe event into horizontal and vertical components based on the latest and previous touch coordinate positions that are also included in the swipe event. . Then, it is determined whether or not the component in the suppression direction is within a predetermined threshold (suppression threshold) in advance. This suppression threshold value may be determined as, for example, a value that is 1/5 of the horizontal / vertical width of the display area of the touch UI 104. A value that can easily absorb a vertical direction with respect to the horizontal direction or an input error in the horizontal direction with respect to the vertical direction that occurs even though the user intentionally performs a swipe operation in the horizontal direction or the vertical direction is preferable. If the component in the suppression direction is smaller than the suppression threshold, the process proceeds to step S1502, and if not, the process proceeds to step S1503.

ステップS1502において、表示位置移動処理部204は、表示位置の移動の抑制を実施すると決定する。そして、抑制実施と決定した旨をRAM111に記憶して管理する。ステップS1501の判定により、ユーザが意図的に真水平方向ないし真垂直方向に表示位置を移動させようとしていると解釈できる。これを受けて、表示位置移動の抑制を行うと決定するものである。   In step S1502, the display position movement processing unit 204 determines to suppress the movement of the display position. Then, the RAM 111 is stored and managed to the effect that the suppression has been determined. Based on the determination in step S1501, it can be interpreted that the user intentionally moves the display position in the true horizontal direction or the true vertical direction. In response to this, it is decided to suppress the movement of the display position.

ステップS1503において、表示位置移動処理部204は、表示位置の移動の抑制を行うか否かを判定する。これはステップS1502において、RAM111に抑制実施と決定した旨を記憶しているか否かにより成す。抑制を行うと決定されている場合には、図6のステップS617に示した処理を実行する。すなわち、抑制方法に応じてページ始点を移動し、表示位置を移動する。そうでない場合には、図6のステップS618に示した処理を実行する。すなわち、スワイプイベントの内容に応じて、ページ始点を移動し、表示位置を移動する。   In step S1503, the display position movement processing unit 204 determines whether to suppress the movement of the display position. This is done depending on whether or not it is determined in step S1502 that the RAM 111 has been determined to be suppressed. If it is determined to be suppressed, the process shown in step S617 of FIG. 6 is executed. That is, the page start point is moved according to the suppression method, and the display position is moved. Otherwise, the process shown in step S618 of FIG. 6 is executed. That is, the page start point is moved and the display position is moved according to the content of the swipe event.

以上のように、本実施例によれば、特定の操作が成されたことを条件に、表示対象であるオブジェクトの属性に応じて、表示位置の移動を抑制することができる。実施例2によれば、不要な際に抑制が実行されてしまう不便さを低減できる。   As described above, according to the present embodiment, it is possible to suppress the movement of the display position according to the attribute of the object to be displayed on the condition that a specific operation has been performed. According to the second embodiment, it is possible to reduce inconvenience that the suppression is executed when unnecessary.

尚、「特定の操作」としては、本実施例に示した方法以外にも、例えば、操作ボタンを表示し、当該操作ボタンへの指示を検知するなど、他の方法でもよい。   As the “specific operation”, other methods such as displaying an operation button and detecting an instruction to the operation button other than the method shown in the present embodiment may be used.

また、基準オブジェクトに応じて、いずれの方向に表示位置の移動抑制を実行できるかをユーザに提示可能に構成してもよい。例えば、表示位置移動処理部204が、ダブルタップイベントを受信した場合に、基準オブジェクトを判定し、ステップS604やステップS606、ステップS608を実行する。これにより決定した表示位置の移動の抑制方法に従って、タッチUI104の表示を更新させる。例えば、図16に示すように、水平方向に表示位置の移動抑制が実行され得る場合には、マーク1600を表示させる。垂直方向に表示位置の移動抑制が実行され得る場合には、マーク1601を表示させる。なお、マーク1600やマーク1601は、その表示位置によって、移動抑制の方向をユーザに提示している表示部品の例を示しているが、マーク自体に移動抑制の方向がわかるアイコン(表示部品)を用意してもよい。   Moreover, you may comprise so that a user can be shown to which direction a movement suppression of a display position can be performed according to a reference | standard object. For example, when the display position movement processing unit 204 receives a double tap event, the display position movement processing unit 204 determines a reference object, and executes Step S604, Step S606, and Step S608. The display of the touch UI 104 is updated according to the method for suppressing the movement of the display position determined in this way. For example, as shown in FIG. 16, when the movement of the display position can be suppressed in the horizontal direction, the mark 1600 is displayed. When the movement of the display position can be suppressed in the vertical direction, the mark 1601 is displayed. Note that the mark 1600 and the mark 1601 show examples of display components that present the direction of movement suppression to the user depending on the display position, but an icon (display component) that indicates the direction of movement suppression is displayed on the mark itself. You may prepare.

また、本実施例では、ステップS1500において、タッチ押下イベントの受信後の最初のスワイプイベントを判定して、抑制を実施するか否かを決定した。しかし、初回ではなく、最初の数回のスワイプイベントを判定し、当該回数分のスワイプイベントの水平成分や垂直成分をそれぞれ加算した上で、大小を比較してもよい。   In this embodiment, in step S1500, the first swipe event after receiving the touch press event is determined, and it is determined whether or not to perform the suppression. However, instead of the first time, the first few swipe events may be determined, and the horizontal components and vertical components of the swipe events corresponding to the number of times may be added, and the magnitudes may be compared.

<その他の実施例>
本実施例では、タッチパネルディスプレイを用いる例について説明した。しかしながら、本発明はタッチパネルディスプレイに限定されるものではない。トラックボールを有するマウスやジョイスティックのように、ページ内の表示位置の移動(スクロール)をする際に、垂直方法及び水平方向への移動が同時に行うことが可能なデバイスにも本発明を適用することは可能である。
<Other examples>
In this embodiment, an example using a touch panel display has been described. However, the present invention is not limited to a touch panel display. The present invention is also applied to a device that can simultaneously move in the vertical direction and the horizontal direction when moving (scrolling) the display position in the page, such as a mouse or joystick having a trackball. Is possible.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (16)

画像データに含まれるオブジェクトの属性に基づいて、前記画像データが示す画像の表示位置の移動を制御する制御手段を有することを特徴とする表示制御装置。   A display control apparatus comprising: control means for controlling movement of a display position of an image indicated by the image data based on an attribute of an object included in the image data. 前記制御手段は、前記表示位置の移動を水平方向、または垂直方向に抑制する制御を行うことを特徴とする請求項1に記載の表示制御装置。   The display control apparatus according to claim 1, wherein the control unit performs control to suppress movement of the display position in a horizontal direction or a vertical direction. 前記制御手段は、前記オブジェクトに対応する画像の表示位置の移動を制御することを特徴とする請求項1または2に記載の表示制御装置。   The display control apparatus according to claim 1, wherein the control unit controls movement of a display position of an image corresponding to the object. 前記制御手段は、スワイプ操作に応じて前記表示位置の移動を制御することを特徴とする請求項1から3のいずれか一項に記載の表示制御装置。   The display control apparatus according to claim 1, wherein the control unit controls movement of the display position in accordance with a swipe operation. 前記画像データに含まれる、表示対象のオブジェクトの属性を判定する判定手段をさらに有し、
前記制御手段は、前記判定手段によって前記表示対象のオブジェクトの属性が文字属性であると判定された場合、文字の組み方向に対して直角方向への表示位置の移動を抑制することを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。
A determination unit configured to determine an attribute of the display target object included in the image data;
The control means suppresses the movement of the display position in the direction perpendicular to the direction of character combination when the determination means determines that the attribute of the object to be displayed is a character attribute. The display control apparatus as described in any one of Claim 1 to 4.
前記画像データに含まれる、表示対象のオブジェクトの属性を判定する判定手段をさらに有し、
前記制御手段は、前記判定手段によって前記表示対象のオブジェクトの属性が表属性であると判定された場合、水平方向または垂直方向への表示位置の移動を抑制することを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。
A determination unit configured to determine an attribute of the display target object included in the image data;
The control unit suppresses movement of a display position in a horizontal direction or a vertical direction when the determination unit determines that the attribute of the object to be displayed is a table attribute. 5. The display control device according to any one of 4.
前記判定手段が、前記表属性のオブジェクトが行のヘッダを有しかつ列のヘッダを有しないと判定した場合、前記制御手段は、前記表属性のオブジェクトに対して垂直方向への表示位置の移動のみを抑制することを特徴とする請求項6に記載の表示制御装置。   When the determining means determines that the table attribute object has a row header and no column header, the control means moves the display position in the vertical direction with respect to the table attribute object. The display control apparatus according to claim 6, wherein only display is suppressed. 前記判定手段が、表示領域に行のヘッダを含むと判定した場合、前記制御手段は前記表属性のオブジェクトに対して水平方向または垂直方向への表示位置の移動を抑制することを特徴とする請求項7に記載の表示制御装置。   The control means suppresses movement of a display position in a horizontal direction or a vertical direction with respect to the table attribute object when the determination means determines that the display area includes a row header. Item 8. The display control device according to Item 7. 前記判定手段が、前記表属性のオブジェクトが列のヘッダを有しかつ行のヘッダを有しないと判定した場合、前記制御手段は、前記表属性のオブジェクトに対して水平方向への表示位置の移動のみを抑制することを特徴とする請求項6に記載の表示制御装置。   When the determining means determines that the table attribute object has a column header and no row header, the control means moves the display position in the horizontal direction with respect to the table attribute object. The display control apparatus according to claim 6, wherein only display is suppressed. 前記判定手段が、前記表属性のオブジェクトが、表示領域に列のヘッダを含むと判定した場合、前記制御手段は前記表属性のオブジェクトに対して水平方向または垂直方向への表示位置の移動を抑制することを特徴とする請求項9に記載の表示制御装置。   When the determination unit determines that the table attribute object includes a column header in the display area, the control unit suppresses movement of the display position in the horizontal direction or the vertical direction with respect to the table attribute object. The display control apparatus according to claim 9. 前記画像データに含まれる、表示対象のオブジェクトの属性を判定する判定手段をさらに有し、
前記表示対象のオブジェクトの属性が、文字属性、グラフィック属性、および表属性以外の属性であると前記判定手段によって判定された場合、前記制御手段はいずれの方向へも表示位置の移動を抑制しないことを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。
A determination unit configured to determine an attribute of the display target object included in the image data;
When the determination unit determines that the attribute of the display target object is an attribute other than a character attribute, a graphic attribute, and a table attribute, the control unit does not suppress the movement of the display position in any direction. The display control apparatus according to claim 1, wherein:
前記制御手段による表示位置の移動の制御の実施を指示する操作を検知する検知手段をさらに有し、
前記制御手段は、前記検知手段による検知した場合に、前記制御を行うことを特徴とする請求項1から11のいずれか一項に記載の表示制御装置。
And further comprising detection means for detecting an operation for instructing execution of control of movement of the display position by the control means,
The display control apparatus according to claim 1, wherein the control unit performs the control when detected by the detection unit.
前記制御手段による表示位置の移動の抑制が成される方向を示す表示部品と抑制が成されない方向とを示す表示部品とを表示する表示手段をさらに有することを特徴とする請求項1から12のいずれか一項に記載の表示制御装置。   13. The display unit according to claim 1, further comprising a display unit that displays a display component indicating a direction in which the movement of the display position by the control unit is suppressed and a display component indicating a direction in which the suppression is not performed. The display control apparatus according to any one of the above. 複数のオブジェクトを含む画像データを入力する入力手段と、
前記入力手段で入力された画像データが示す画像を表示する表示手段と、
前記表示手段で表示された、オブジェクトに対応する画像に対するスワイプ動作を検知する検知手段と
を有する表示制御装置であって、
前記検知手段でのスワイプ動作の検知に応じて行われる、前記表示手段で表示されている前記オブジェクトに対応する画像の表示位置の移動の方向は、オブジェクトの種別に応じて異なることを特徴とする表示制御装置。
An input means for inputting image data including a plurality of objects;
Display means for displaying an image indicated by the image data input by the input means;
A display control device having detection means for detecting a swipe operation on an image corresponding to the object displayed by the display means,
The direction of movement of the display position of the image corresponding to the object displayed on the display unit, which is performed in response to the detection of the swipe operation by the detection unit, differs depending on the type of the object. Display control device.
画像データに含まれるオブジェクトの属性に基づいて、前記画像データが示す画像の表示位置の移動を制御する制御ステップを有することを特徴とする表示制御方法。   A display control method comprising a control step of controlling movement of a display position of an image indicated by the image data based on an attribute of an object included in the image data. コンピュータを、請求項1から14のいずれか一項に記載の表示制御装置として機能させるためのプログラム。   The program for functioning a computer as a display control apparatus as described in any one of Claims 1-14.
JP2013250511A 2012-12-19 2013-12-03 Display controller, display control method, and program Pending JP2014139776A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013250511A JP2014139776A (en) 2012-12-19 2013-12-03 Display controller, display control method, and program
US14/104,311 US20140173532A1 (en) 2012-12-19 2013-12-12 Display control apparatus, display control method, and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012277304 2012-12-19
JP2012277304 2012-12-19
JP2013250511A JP2014139776A (en) 2012-12-19 2013-12-03 Display controller, display control method, and program

Publications (1)

Publication Number Publication Date
JP2014139776A true JP2014139776A (en) 2014-07-31

Family

ID=50932530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250511A Pending JP2014139776A (en) 2012-12-19 2013-12-03 Display controller, display control method, and program

Country Status (2)

Country Link
US (1) US20140173532A1 (en)
JP (1) JP2014139776A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185569A (en) * 2017-04-24 2018-11-22 富士通株式会社 Information processing apparatus, display control program and display control method
JP2021026673A (en) * 2019-08-08 2021-02-22 富士通コネクテッドテクノロジーズ株式会社 Portable terminal device, information processing method, and information processing program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835255B2 (en) * 2013-03-19 2015-12-24 カシオ計算機株式会社 Graph display device and graph display program
JP6188490B2 (en) 2013-08-28 2017-08-30 キヤノン株式会社 Image display apparatus, control method, and computer program
JP6261237B2 (en) 2013-08-28 2018-01-17 キヤノン株式会社 Image display apparatus, image display apparatus control method, and computer program
JP6287018B2 (en) * 2013-10-04 2018-03-07 富士通株式会社 Visualization method, display method, information processing apparatus, visualization program, and display program
JP5924555B2 (en) * 2014-01-06 2016-05-25 コニカミノルタ株式会社 Object stop position control method, operation display device, and program
EP3299948A4 (en) * 2015-05-19 2018-12-26 Kyocera Document Solutions Inc. Display device and display control method
JP6458750B2 (en) * 2016-03-02 2019-01-30 京セラドキュメントソリューションズ株式会社 Display operation device and program
US12353700B2 (en) * 2023-07-31 2025-07-08 Oracle International Corporation Diagram navigation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595922B1 (en) * 1998-01-26 2006-07-05 웨인 웨스터만 Method and apparatus for integrating manual input
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US8689132B2 (en) * 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
JP5089214B2 (en) * 2007-03-27 2012-12-05 キヤノン株式会社 Image processing method and apparatus, computer program, and storage medium
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8624925B2 (en) * 2009-10-16 2014-01-07 Qualcomm Incorporated Content boundary signaling techniques
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8209630B2 (en) * 2010-01-26 2012-06-26 Apple Inc. Device, method, and graphical user interface for resizing user interface content
US8754862B2 (en) * 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
US8766984B2 (en) * 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
WO2012068407A2 (en) * 2010-11-17 2012-05-24 Imerj LLC Multi-screen email client
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US8941675B2 (en) * 2011-04-05 2015-01-27 Blackberry Limited Backing store memory management for rendering scrollable webpage subregions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185569A (en) * 2017-04-24 2018-11-22 富士通株式会社 Information processing apparatus, display control program and display control method
JP2021026673A (en) * 2019-08-08 2021-02-22 富士通コネクテッドテクノロジーズ株式会社 Portable terminal device, information processing method, and information processing program

Also Published As

Publication number Publication date
US20140173532A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
JP2014139776A (en) Display controller, display control method, and program
KR102339674B1 (en) Apparatus and Method for displaying
EP2835731B1 (en) Image display apparatus, image display method, and image display program
US9772769B2 (en) Mobile terminal device and display control method thereof
US8830184B2 (en) Image displaying device, image displaying method, and program for displaying images
US20120038542A1 (en) Information Processing Apparatus, Information Processing Method and Program
KR20100130671A (en) Apparatus and Method for Providing Selection Area in Touch Interface
US20190286310A1 (en) Widget Area Adjustment Method and Apparatus
US20160246548A1 (en) Image processing apparatus, image processing method, and storage medium storing program
JP5220157B2 (en) Information processing apparatus, control method therefor, program, and storage medium
WO2014148358A1 (en) Information terminal, operating region control method, and operating region control program
US9588660B2 (en) Mobile electronic device, method for controlling mobile electronic device, program, and information storage medium
US9753548B2 (en) Image display apparatus, control method of image display apparatus, and program
EP2746922A2 (en) Touch control method and handheld device utilizing the same
JP5880024B2 (en) Information processing apparatus and program
US9292185B2 (en) Display device and display method
JP2014021933A (en) Projection device, and projection method
US10303346B2 (en) Information processing apparatus, non-transitory computer readable storage medium, and information display method
JP6700749B2 (en) Information processing apparatus, control method of information processing apparatus, and program
JP2017215857A (en) Display, display method, and program
JP2015049837A (en) Portable terminal device
JP6362110B2 (en) Display control device, control method therefor, program, and recording medium
KR20140109062A (en) Method and apparatus for gesture recognition
JP2001056746A (en) Pointing device, display controller and storage medium
CN112764623A (en) Content editing method and device