[go: up one dir, main page]

WO2011068004A1 - 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム - Google Patents

遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム Download PDF

Info

Publication number
WO2011068004A1
WO2011068004A1 PCT/JP2010/069466 JP2010069466W WO2011068004A1 WO 2011068004 A1 WO2011068004 A1 WO 2011068004A1 JP 2010069466 W JP2010069466 W JP 2010069466W WO 2011068004 A1 WO2011068004 A1 WO 2011068004A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
point
contact
operation command
swipe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/069466
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US13/510,111 priority Critical patent/US8866773B2/en
Priority to CN201080061528.XA priority patent/CN102714765B/zh
Priority to BR112012012647-4A priority patent/BR112012012647A2/pt
Priority to EP10834457.3A priority patent/EP2509335B1/en
Priority to RU2012121715/07A priority patent/RU2552637C2/ru
Publication of WO2011068004A1 publication Critical patent/WO2011068004A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface

Definitions

  • the present invention relates to a remote operation device, a remote operation system, a remote operation method, and a program.
  • remote control devices such as commanders equipped with a touch panel display are becoming popular in order to remotely control electronic devices such as television receivers.
  • a remote control device that detects a swipe and hold operation in which an arbitrary contact start point is specified on a touch panel provided on a touch panel display, and transmits an operation command corresponding to the detection result to an electronic device.
  • a swipe and hold operation designating an arbitrary contact start point is to touch an arbitrary location within the touch detection area of the touch panel with a finger, etc., and move the finger touched on the touch panel on the touch panel (swipe) This is an operation of holding (holding) the touch panel while touching it.
  • a swipe and hold operation designating an arbitrary contact start point allows the user to perform an operation without confirming the display on the touch panel, so that the user can concentrate on viewing content displayed on the electronic device.
  • the remote operation device transmits an operation command indicating the start of movement in the direction corresponding to the operation direction to the electronic device in response to the swipe operation. Then, the remote operation device transmits an operation command indicating stop of movement in response to the release of the hold operation after the swipe operation.
  • the electronic device performs processing such as cursor movement and content display switching on the display in accordance with the received operation command.
  • the present invention is intended to provide a remote operation device, a remote operation system, a remote operation method, and a program capable of improving the operability of the swipe and hold operation.
  • the display panel the operation detection unit that detects the movement of the contact point by the continuous contact operation on the display panel, and the first movement moved from the contact start point and the contact start point.
  • the first direction is obtained from the positional relationship between the points, an operation command indicating the start of movement in the first direction is generated, and the positional relationship between the contact start point and the second moving point moved from the first moving point is determined.
  • a command generation unit that obtains an operation command for obtaining a second direction and indicating a stop of movement in the first direction and a start of movement in the second direction when the first direction and the second direction are different.
  • a command transmission unit that transmits the generated operation command to the electronic device.
  • the first direction is obtained from the positional relationship between the contact start point and the first movement point, and an operation command indicating the start of movement in the first direction is transmitted.
  • the second direction is obtained from the positional relationship between the contact start point and the second movement point, and the first direction and the second direction are different, the movement in the first direction is stopped, and the second direction An operation command indicating the start of movement in the direction is sent. Therefore, since the moving direction can be changed without once releasing the contact state, the operability of the swipe and hold operation can be improved.
  • the command generation unit obtains a first distance between the contact start point and the first movement point and a second distance between the contact start point and the second movement point, and calculates the first distance and the second distance. When the difference between them is equal to or greater than a predetermined threshold, an operation command indicating stop of movement may be generated.
  • the command generation unit may determine the distance between the contact start point and the movement point, and may generate an operation command indicating the start of movement when the calculated distance is equal to or greater than a predetermined threshold value.
  • the command generation unit may generate an operation command indicating continuation of movement until an operation command indicating stop of movement is transmitted after an operation command indicating start of movement is transmitted.
  • the command generation unit may generate an operation command indicating stop of movement when a contact point is not detected after the operation command indicating start of movement is transmitted to the electronic device.
  • the operation command may include information indicating the speed of movement set according to the distance between the contact start point and the movement point.
  • the operation command may be used to move a movement target displayed on the electronic device.
  • a remote operation system having the remote operation device and an electronic device remotely operated by the remote operation device.
  • the movement of the contact point due to the continuous contact operation with respect to the display panel is detected, and the first relationship is obtained from the positional relationship between the contact start point and the first movement point moved from the contact start point. From the positional relationship between the contact start point and the second movement point moved from the first movement point, an operation command indicating the start of movement in the first direction is generated and transmitted to the electronic device.
  • An electronic device that obtains an operation command indicating the stop of the movement in the first direction and the start of the movement in the second direction when the second direction is obtained and the first direction and the second direction are different.
  • a remote control method is provided, including transmitting to the remote control.
  • the program for causing a computer to execute the remote operation method.
  • the program may be provided using a computer-readable recording medium or may be provided via communication means.
  • a remote operation device As described above, according to the present invention, it is possible to provide a remote operation device, a remote operation system, a remote operation method, and a program capable of improving the operability of the swipe and hold operation.
  • FIG. 1 is a diagram showing an overview of a remote control device 100 according to an embodiment of the present invention.
  • a swipe and hold operation in which an arbitrary contact start point SP is designated with a finger P or the like is performed on the touch panel 101 a provided on the touch panel display 101.
  • a continuous operation in which the contact state is maintained is performed from the contact start point SP to the first movement point MP1, the second movement point MP2,.
  • the first direction (for example, the right direction) is obtained from the positional relationship between the contact start point SP and the first movement point MP1, and an operation command C1 indicating the start of movement in the first direction is an electronic device (not shown).
  • the second direction for example, the upward direction
  • the first direction is changed.
  • An operation command C2 indicating stop of movement and start of movement in the second direction is transmitted to the electronic device. Therefore, it is possible to instruct a change in the moving direction while maintaining continuity of operation.
  • the first distance L1 between the contact start point SP and the first movement point MP1 and the second distance L2 between the contact start point SP and the second movement point MP2 are obtained. Then, when the difference ⁇ L between the first distance L1 and the second distance L2 is equal to or greater than a predetermined threshold LT, an operation command C3 indicating stop of movement is transmitted to the electronic device. Therefore, it is possible to instruct the stop of the movement while maintaining the continuity of the operation.
  • FIG. 2 is a diagram showing the configuration of the remote control system according to the embodiment of the present invention.
  • FIG. 3 is a block diagram showing a main configuration of the commander 100 according to the embodiment of the present invention. In the following description, it is assumed that the remote operation device 100 is the commander 100 having the touch panel display 101.
  • the commander 100 constitutes a part of a remote operation system for remotely operating an electronic device such as the television receiver 10 or the like.
  • the commander 100 is an example of an electronic device having a touch panel display 101 such as a PDA, a mobile phone, or a digital music player.
  • the television receiver 10 is an example of an electronic device that is remotely operated by a user using the commander 100.
  • the commander 100 performs one-way communication or two-way communication with the television receiver 10 not via a network or via a wired or wireless network.
  • the commander 100 transmits an operation command C to the television receiver 10 in response to a contact operation with the user's finger P or the like on the touch panel 101 a provided on the touch panel display 101.
  • the commander 100 detects a swipe and hold operation designating an arbitrary contact start point SP on the touch panel 101a, and transmits an operation command C corresponding to the detection result to the television receiver 10.
  • the television receiver 10 performs processing such as movement of the cursor CU and content display switching on the display 11.
  • the contact state is not released.
  • a second operation for moving and holding the finger P from the first movement point MP1 to the second movement point MP2 is performed. Therefore, on the display 11, the cursor CU is moved from the content Ca to the content Cb according to the first operation, and is moved from the content Cb to the content Cc according to the second operation.
  • the commander 100 includes a touch panel display 101, a control unit 103, a memory 105, and a communication unit 107.
  • the touch panel display 101 is configured by laminating a display panel 101b on a touch panel 101a (operation detection unit).
  • a touch panel 101a As the touch panel 101a, a resistive film type, capacitance type, ultrasonic type, infrared type panel or the like is used.
  • a liquid crystal display (LCD) or the like is used as the display panel 101b.
  • the touch panel 101a detects a contact state of a finger P, a stylus, etc. with respect to the panel surface.
  • the touch panel 101a supplies a contact signal to the control unit 103 when the finger P comes into contact with the panel surface, and supplies a release signal to the control unit 103 when the finger P moves away from the panel surface. Further, the touch panel 101a supplies a coordinate signal representing the XY coordinates corresponding to the contact position to the control unit 103 while the finger P is in contact with the panel surface.
  • the control unit 103 includes a CPU, a RAM, a ROM, and the like.
  • the CPU uses the RAM as a working memory, executes a program stored in the ROM, and controls each unit of the commander 100.
  • the control unit 103 also functions as a command generation unit and a command transmission unit by executing the program.
  • the memory 105 is a nonvolatile memory such as an EEPROM and stores display data, command information, and the like.
  • the communication unit 107 transmits a predetermined operation command C to the television receiver 10 in response to an operation input by the user.
  • the control unit 103 decodes the coordinate signal supplied from the touch panel 101a to generate coordinate data, and controls each unit of the commander 100 based on the contact / release signal and the coordinate data.
  • the control unit 103 reads command information from the memory 105 and supplies the command information to the communication unit 107 in response to an operation input by the user.
  • the communication unit 107 transmits a predetermined operation command C to the television receiver 10 based on the command information.
  • the control unit 103 reads the data stored in the memory 105, generates display data of a graphical user interface (GUI) screen, and supplies the display data to the display panel 101b.
  • the display panel 101b displays a GUI screen based on the display data.
  • GUI graphical user interface
  • the control unit 103 determines a swipe and hold operation designating an arbitrary contact start point SP based on the contact signal / release signal and the coordinate data.
  • the control unit 103 sets the corresponding coordinate data as the coordinates of the contact start point SP.
  • the control unit 103 determines that the swipe operation has been performed when the continuous change of the coordinate data is confirmed in a state where the contact signal is continuously input.
  • the control unit 103 determines that the hold operation has been performed when the substantially constant coordinate data is confirmed while the contact signal is continuously input, and moves the coordinate data. Set as the coordinates of the point MP.
  • the control unit 103 determines that the swipe and hold operation is ended.
  • the control unit 103 determines the positional relationship (distance L, angle R) between the contact start point SP and the movement point MP from the coordinates of the contact start point SP and the movement point MP, and generates an operation command C according to the determination result. Then, the control unit 103 controls the communication unit 107 to transmit the generated operation command C to the television receiver 10.
  • the control unit 103 sets the first direction from the positional relationship between the contact start point SP and the first movement point MP1, and generates an operation command C1 indicating the start of movement in the first direction. Further, the control unit 103 sets the second direction from the positional relationship between the contact start point SP and the second movement point MP2, and when the first direction and the second direction are different, the control unit 103 moves to the first direction. An operation command C2 indicating the stop of movement and the start of movement in the second direction is generated.
  • control unit 103 calculates a first distance L1 between the contact start point SP and the first movement point MP1, and a second distance L2 between the contact start point SP and the second movement point MP2. Then, when the difference ⁇ L between the first distance L1 and the second distance L2 is greater than or equal to a predetermined threshold LT, an operation command C3 indicating stop of movement is generated.
  • FIG. 4 is a diagram illustrating parameters that define the swipe and hold operation.
  • FIG. 5 is a table showing an operation command C generated in response to the swipe and hold operation.
  • FIG. 6 is a flowchart showing a procedure of remote operation processing.
  • FIG. 7 is a flowchart showing the determination criteria for the key code.
  • 8A to 8C are diagrams for explaining remote operation processing.
  • the commander 100 performs remote operation processing of the television receiver 10 in response to the swipe and hold operation.
  • the swipe and hold operation is defined by parameters of reference coordinates P0, movement coordinates P1, P2,..., Swipe distances L1, L2,..., Swipe angles R1, R2,.
  • the reference coordinate P0 represents the center coordinate of the contact start point SP where the finger P first touches the touch panel 101a during the swipe and hold operation.
  • the movement coordinates P1, P2,... Are the center coordinates of the movement point MP1 moved and held from the contact start point SP with the finger P touching the touch panel 101a, or the next moved and held from the movement point MP1. It represents the center coordinates of the moving point MP2.
  • the swipe distances L1, L2,... And the swipe angles R1, R2,... Respectively represent a scalar value and a vector angle of a vector connecting the contact start point SP and each moving point MP1, MP2,.
  • the finger P moves from the contact start point SP to the first and second movement points MP1 and MP2 during the swipe and hold operation.
  • the reference coordinates P0 are defined as the coordinates of the contact start point SP
  • the movement coordinates P1, P2 are defined as the coordinates of the first and second movement points MP1, MP2.
  • the swipe distances L1 and L2 and the swipe angles R1 and R2 of the first and second movement points MP1 and MP2 are calculated as a scalar value and a vector angle of a vector connecting the contact start point SP and each of the movement points MP1 and MP2.
  • the swipe angles R1 and R2 are expressed in radians.
  • the commander 100 generates the operation command C in response to the swipe and hold operation.
  • the operation command C includes information such as a key code, a control code, and a strength parameter I.
  • the key code is information for designating the moving direction.
  • the control code is a code such as “start” code indicating start of movement according to the key code, “stop” indicating stop of movement, “continuation” indicating continuation of movement, and the like.
  • the strength parameter I is a parameter indicating the speed of movement, acceleration, etc. according to the key code.
  • the commander 100 performs remote operation processing of the television receiver 10 according to the processing procedure shown in FIG.
  • the remote operation processing is executed when the contact state of the finger P with the touch panel 101a is detected.
  • the control unit 103 initializes the maximum swipe distance LM, that is, substitutes 0 for LM (step S101).
  • the maximum swipe distance LM is used to determine a movement stop instruction, as will be described later.
  • the control unit 103 determines the input status of the swipe operation by the user (S103). When the swipe operation is detected, the control unit 103 calculates the swipe distance L and the swipe angle R (S105). The control unit 103 determines whether the swipe distance L is equal to or greater than a predetermined first threshold LT1 (S107). The first threshold LT1 is used to determine the effectiveness of the detected swipe operation. Here, the control unit 103 performs a subsequent process when the swipe distance L is equal to or greater than the first threshold LT1, and returns to the process of step S103 when the swipe distance L is less than the first threshold LT1.
  • the control unit 103 sets the key code K1 corresponding to the swipe angle R according to the determination criterion shown in FIG. 7 (S109). Then, the control unit 103 controls the communication unit 107 to transmit the operation command C accompanied by the key code K1 and the control code “start” to the television receiver 10 (S111). In response to the operation command C, the television receiver 10 starts moving processing in the direction corresponding to the key code.
  • the key code “right” is set (S153), and ⁇ / 4 ⁇ R ⁇ 3 ⁇ / If it is 4 (S155), the key code “up” is set (S157). Further, when the swipe angle R is 3 ⁇ / 4 ⁇ R ⁇ 5 ⁇ / 4 (S159), the key code “left” is set (S161), and in other cases, that is, 5 ⁇ / 4 ⁇ R ⁇ 7 ⁇ / 4. The key code “lower” is set in (S163).
  • the key code determination criteria are not limited to the above example. For example, the key code “up” and “down” settings are reversed, or the key code “left” and “right” settings are reversed. Or you may.
  • the control unit 103 determines the input status of the next swipe operation by the user (S113). When the next swipe operation is detected, the control unit 103 calculates the swipe distance L and the swipe angle R (S115). Note that instead of detecting the next swipe operation, when the release of the contact state (release signal) is detected, the control unit 103 controls the communication unit 107 to accompany the key code K1 and the control code “stop”. An operation command C is transmitted to the television receiver 10. The television receiver 10 stops the movement process in response to the operation command C.
  • the control unit 103 determines whether the swipe distance L is equal to or greater than the maximum swipe distance LM (S117).
  • the control unit 103 performs the process of step S119 when the swipe distance L is greater than or equal to the maximum swipe distance LM, and performs the process of step S127 when the swipe distance L is less than the maximum swipe distance LM.
  • the swipe distance L is equal to or greater than the maximum swipe distance LM, it means that a swipe operation away from the contact start point SP is input.
  • the swipe distance L is less than the maximum swipe distance LM, a swipe operation approaching the contact start point SP is performed. Means that it was entered.
  • the control unit 103 substitutes the swipe distance L for the maximum swipe distance LM, that is, updates the maximum swipe distance LM with the swipe distance L ( S119).
  • the control unit 103 sets the key code K2 corresponding to the swipe angle R in accordance with the determination criterion shown in FIG. 7 (S121), as in the process of step S109.
  • the control unit 103 determines whether the key code K1 matches the key code K2 (S123). Here, the control unit 103 returns to the process of step S113 when the key codes K1 and K2 match, and performs the process of step S129 when they do not match. If the key codes K1 and K2 match, it means that the swipe operation is determined as an operation in the same direction as the previous swipe operation. If they do not match, the operation is determined as an operation in a different direction from the previous swipe operation. Means that
  • the second threshold LT2 is used to determine a movement stop instruction.
  • the control unit 103 performs the subsequent process when the difference ⁇ L is equal to or greater than the second threshold LT2, and performs the process of step S121 when the difference ⁇ L is less than the second threshold LT2.
  • the difference ⁇ L is equal to or larger than the second threshold LT2 it means that the swipe operation is determined as an operation for canceling the previous swipe operation.
  • the control unit 103 controls the communication unit 107 to The operation command C accompanied by K1 and the control code “stop” is transmitted to the television receiver 10 (S129).
  • the television receiver 10 stops the movement process in response to the operation command C.
  • the control unit 103 initializes the maximum swipe distance LM (S131). Then, the control unit 103 returns to the process of step S107, and determines whether or not the swipe distance L calculated in the process of step S115 is equal to or greater than the first threshold LT1.
  • 8A to 8C show specific examples of the swipe and hold operation in which an arbitrary contact start point SP is designated.
  • a swipe and hold operation is performed in which the finger P (not shown) is continuously moved from the contact start point SP to the first movement point MP1 and the second movement point MP2.
  • the movement direction is instructed by the movement from the first movement point MP1 to the second movement point MP2.
  • the swipe distance L1 is greater than or equal to the first threshold LT1, and the swipe angle R1 is R1 ⁇ / 4, so the key code “right” is set as the key code K1. Therefore, the commander 100 transmits the operation command C accompanied by the key code “right” and the control code “start” to the television receiver 10. In response to the operation command C, for example, the television receiver 10 starts to move the cursor CU in the right direction on the display 11.
  • the maximum swipe distance LM is updated with the swipe distance L2. Since the swipe angle R2 is ⁇ / 4 ⁇ R2 ⁇ 3 ⁇ / 4, the key code “up”, that is, a key code different from the key code K1, is set as the key code K2. Therefore, the commander 100 transmits the operation command C accompanied by the key code “right” and the control code “stop” to the television receiver 10. The television receiver 10 stops the movement of the cursor CU in the right direction in response to the operation command C. Further, the maximum swipe distance LM is initialized with the change of the moving direction.
  • the key code “up” is set as the key code K1. Therefore, the commander 100 transmits the operation command C accompanied by the key code “up” and the control code “start” to the television receiver 10. In response to the operation command C, the television receiver 10 starts to move upward instead of moving the cursor CU to the right.
  • the commander 100 transmits an operation command C accompanied by the key code “up” and the control code “stop” to the television receiver 10.
  • the television receiver 10 stops the upward movement of the cursor CU.
  • a swipe and hold operation in which the finger P is continuously moved from the contact start point SP to the first movement point MP1 and the second movement point MP2 is performed.
  • the stop of the movement is instructed by the movement from the first movement point MP1 to the second movement point MP2.
  • the commander 100 transmits an operation command C with the key code “right” and the control code “start” to the television receiver 10.
  • the television receiver 10 starts to move the cursor CU in the right direction on the display 11.
  • the swipe distance L2 is less than the maximum swipe distance LM, and the difference ⁇ L (LM ⁇ L2) between the maximum swipe distance LM and the swipe distance L2 is calculated as a value greater than or equal to the second threshold LT2.
  • the commander 100 transmits an operation command C accompanied by the key code “right” and the control code “stop” to the television receiver 10.
  • the television receiver 10 stops the movement of the cursor CU in the right direction in response to the operation command C. Further, as the movement stops, the maximum swipe distance LM is initialized.
  • the commander 100 does not transmit the operation command C to the television receiver 10. Therefore, the television receiver 10 maintains a state where the movement of the cursor CU is stopped. Then, when the release of the contact state is detected, the commander 100 ends the remote operation process.
  • the commander 100 transmits the operation command C accompanied by the key code “right” and the control code “start” to the television receiver 10.
  • the television receiver 10 starts moving the cursor CU in the right direction.
  • a swipe and hold operation for continuously moving the finger P from the contact start point SP to the first movement point MP1, the second movement point MP2, and the third movement point MP3 is performed.
  • the resumption of movement is instructed by movement from the second movement point MP2 to the third movement point MP3.
  • the commander 100 transmits an operation command C with the key code “right” and the control code “start” to the television receiver 10.
  • the television receiver 10 starts moving the cursor CU in the right direction.
  • the commander 100 transmits an operation command C accompanied by the key code “right” and the control code “stop” to the television receiver 10.
  • the television receiver 10 stops the movement of the cursor CU in the right direction in response to the operation command C.
  • the television receiver 10 maintains a state where the movement of the cursor CU is stopped.
  • the swipe distance L3 is equal to or greater than the maximum swipe distance LM, and the swipe angle R3 is ⁇ / 4 ⁇ R3 ⁇ 3 ⁇ / 4. Is set. Therefore, the commander 100 transmits the operation command C accompanied by the key code “up” and the control code “start” to the television receiver 10. In response to the operation command C, the television receiver 10 starts moving the cursor CU upward.
  • FIG. 9 is a flowchart showing a modification of the procedure of the remote operation process.
  • the description which overlaps with the remote control process shown in FIG. 6 is abbreviate
  • the strength parameter I corresponding to the swipe distance L is used as a parameter for defining the swipe and hold operation.
  • the strength parameter I is set as a value proportional to the swipe distance L in order to instruct the movement speed, acceleration, and the like.
  • control unit 103 calculates the strength parameter I together with the swipe distance L and the swipe angle R.
  • step S211 the control unit 103 controls the communication unit 107 to transmit the operation command C with the strength parameter I to the television receiver 10 together with the key code K1 and the control code “start”.
  • the television receiver 10 starts moving processing in the direction corresponding to the key code.
  • the value of the strength parameter I is large, the moving speed in the direction corresponding to the key code increases.
  • step S224 when the key codes K1 and K2 match, the control unit 103 determines whether the strength parameter I calculated in step S205 and the strength parameter I calculated in step S215 are different values. .
  • the control unit 103 performs subsequent processing when the values are different, and returns to the processing of step S213 when the values are the same.
  • step S245 the control unit 103 transmits the operation command C accompanied by the strength parameter I to the television receiver 10 together with the key code K1 and the control code “continuation”. Thereby, the update value of the strength parameter I is transmitted.
  • the television receiver 10 continues the movement process in the direction corresponding to the key code at a speed corresponding to the updated strength parameter I.
  • the control unit 103 controls the communication unit 107 to replace the control codes “start” and “stop” with a value other than the invalid value and the invalid value as the strength parameter I. May be transmitted to the television receiver 10.
  • the television receiver 10 starts the movement process in the direction corresponding to the key code when the value other than the invalid value is confirmed, and moves in the direction corresponding to the key code when the invalid value is confirmed. To stop.
  • the control unit 103 may control the communication unit 107 to transmit an operation command C accompanied by the strength parameter I to the television receiver 10 instead of the key code.
  • the strength parameter I is set, for example, as a positive value in the case of the upward operation command C and as a negative value in the case of the downward operation command C.
  • the television receiver 10 can start moving upward when a positive value is confirmed, and can start moving downward when a negative value is confirmed.
  • the first direction is obtained from the positional relationship between the contact start point SP and the first movement point MP1, and the movement starts in the first direction.
  • An operation command C1 indicating is transmitted.
  • the second direction is obtained from the positional relationship between the contact start point SP and the second movement point MP2, and the first direction and the second direction are different, the movement in the first direction is stopped, and An operation command C2 indicating the start of movement in the second direction is transmitted. Therefore, since the moving direction can be changed without once releasing the contact state, the operability of the swipe and hold operation can be improved.
  • the operation command C including a single key code is transmitted has been described.
  • the operation command C may include a plurality of key codes such as the key codes “up” and “right”.
  • the television receiver 10 performs a moving process in an oblique direction such as the upper right.
  • the swipe distance L is calculated as the scalar value of the vector connecting the contact start point SP and the moving point MP has been described.
  • the swipe distance L may be calculated as a cosine value or a sine value of a vector.
  • another operation command C is not transmitted between the operation command with the control code “start” and the operation command C with the control code “stop”.
  • the operation command C ′ accompanied by the control code “continuation” may be periodically transmitted. Thereby, even if a trouble occurs between the transmissions of both operation commands C, the television receiver 10 can stop the movement process when the operation command C ′ accompanied by the control code “continuation” is not received.
  • TV receiver 100 Commander 101 Touch panel display 101a Touch panel SP Contact start point MP1, MP2, MP3 Moving point L1, L2, L3 Swap distance R1, R2, R3 Swap angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】スワイプ＆ホールド操作の操作性を向上可能な、遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラムを提供する。 【解決手段】表示パネル１０１ｂと、表示パネルに対する継続的な接触操作による接触点の移動を検出する操作検出部１０１ａと、接触開始点ＳＰと接触開始点から移動した第１の移動点ＭＰ１の位置関係から第１の方向を求め、第１の方向への移動の開始を示す操作コマンドＣ１を生成し、接触開始点と第１の移動点から移動した第２の移動点ＭＰ２の位置関係から第２の方向を求め、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止および第２の方向への移動の開始を示す操作コマンドＣ２を生成するコマンド生成部と、生成した操作コマンドをテレビ受像装置１０に送信するコマンド送信部とを備える。

Description

遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム
　本発明は、遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラムに関する。
　近年、テレビ受像装置等の電子機器を遠隔操作するために、タッチパネルディスプレイを搭載したコマンダ等の遠隔操作装置が普及しつつある。また、タッチパネルディスプレイに設けられたタッチパネル上で任意の接触開始点を指定したスワイプ＆ホールド操作を検出し、検出結果に応じた操作コマンドを電子機器に送信する遠隔操作装置が知られている。
　ここで、任意の接触開始点を指定したスワイプ＆ホールド操作とは、タッチパネルの接触検知領域内で任意の箇所に指等で触れ、タッチパネルに触れた状態の指等をタッチパネル上で移動（スワイプ）した後に、タッチパネルに触れた状態で保持（ホールド）する操作である。任意の接触開始点を指定したスワイプ＆ホールド操作によって、ユーザは、タッチパネルの表示を確認せずに操作を行うことができるので、電子機器に表示されるコンテンツ等の視聴に集中することができる。
　遠隔操作装置は、スワイプ操作に応じて、操作方向に対応する方向への移動の開始を示す操作コマンドを電子機器に送信する。そして、遠隔操作装置は、スワイプ操作後のホールド操作の解除に応じて、移動の停止を示す操作コマンドを送信する。一方、電子機器は、受信した操作コマンドに応じて、ディスプレイ上でカーソルの移動、コンテンツの表示切替え等の処理を行う。
　しかし、従来のスワイプ＆ホールド操作で移動方向を変更する場合、第１の方向へのスワイプ＆ホールド操作の後に、タッチパネルに対する指等の接触状態を一旦解除した上で、第２の方向へのスワイプ＆ホールド操作を行う必要があった。同様に、移動を停止する場合、第１の方向へのスワイプ＆ホールド操作の後に、タッチパネルに対する指等の接触状態を解除する必要があった。
　このため、接触状態の解除により操作の連続性が失われ、また接触状態を適切なタイミングで解除できずに所望の操作コマンドを入力できず、操作性が低下してしまう場合があった。
　そこで、本発明は、スワイプ＆ホールド操作の操作性を向上可能な、遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラムを提供しようとするものである。
　本発明の第１の観点によれば、表示パネルと、表示パネルに対する継続的な接触操作による接触点の移動を検出する操作検出部と、接触開始点と接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、第１の方向への移動の開始を示す操作コマンドを生成し、接触開始点と第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止および第２の方向への移動の開始を示す操作コマンドを生成するコマンド生成部と、生成した操作コマンドを電子機器に送信するコマンド送信部とを備える、遠隔操作装置が提供される。
　かかる構成によれば、接触開始点と第１の移動点の位置関係から第１の方向が求められ、第１の方向への移動の開始を示す操作コマンドが送信される。そして、接触開始点と第２の移動点の位置関係から第２の方向が求められ、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止、および第２の方向への移動の開始を示す操作コマンドが送信される。よって、接触状態を一旦解除しなくても、移動方向を変更することができるので、スワイプ＆ホールド操作の操作性を向上させることができる。
　上記コマンド生成部は、接触開始点と第１の移動点間の第１の距離と、接触開始点と第２の移動点間の第２の距離を求め、第１の距離と第２の距離間の差分が所定の閾値以上である場合に、移動の停止を示す操作コマンドを生成してもよい。
　上記コマンド生成部は、接触開始点と移動点間の距離を求め、求めた距離が所定の他の閾値以上である場合に、移動の開始を示す操作コマンドを生成してもよい。
　上記コマンド生成部は、移動の開始を示す操作コマンドが送信された後、移動の停止を示す操作コマンドが送信されるまで、移動の継続を示す操作コマンドを生成してもよい。
　上記コマンド生成部は、移動の開始を示す操作コマンドが電子機器に送信された後に接触点が検出されない場合に、移動の停止を示す操作コマンドを生成してもよい。
　上記操作コマンドは、接触開始点と移動点間の距離に応じて設定される、移動の速度を示す情報を含んでもよい。
　上記操作コマンドは、電子機器に表示される移動対象を移動させるために用いられてもよい。
　また、本発明の第２の観点によれば、上記遠隔操作装置と、遠隔操作装置により遠隔操作される電子機器を有する遠隔操作システムが提供される。
　また、本発明の第３の観点によれば、表示パネルに対する継続的な接触操作による接触点の移動を検出し、接触開始点と接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、第１の方向への移動の開始を示す操作コマンドを生成して電子機器に送信し、接触開始点と第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止および第２の方向への移動の開始を示す操作コマンドを生成して電子機器に送信することを含む、遠隔操作方法が提供される。
　また、本発明の第４の観点によれば、上記遠隔操作方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
　以上説明したように本発明によれば、スワイプ＆ホールド操作の操作性を向上可能な、遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラムを提供することができる。
本発明の実施形態に係る遠隔操作装置の概要を示す図である。 本発明の実施形態に係る遠隔操作システムの構成を示す図である。 本発明の実施形態に係るコマンダの主要な構成を示すブロック図である。 スワイプ＆ホールド操作を定義するパラメータを示す図である。 スワイプ＆ホールド操作に応じて生成される操作コマンドを示す表である。 遠隔操作処理の手順を示すフロー図である。 キーコードの判定基準を示すフロー図である。 遠隔操作処理を説明する図である。 遠隔操作処理を説明する図である。 遠隔操作処理を説明する図である。 遠隔操作処理の手順の変形例を示すフロー図である。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　［１．遠隔操作装置１００の概要］
　まず、図１を参照しながら、本発明の実施形態に係る遠隔操作装置１００の概要について説明する。図１は、本発明の実施形態に係る遠隔操作装置１００の概要を示す図である。
　図１に示すように、遠隔操作装置１００では、タッチパネルディスプレイ１０１に設けられたタッチパネル１０１ａ上で指Ｐ等により任意の接触開始点ＳＰを指定したスワイプ＆ホールド操作が行われる。スワイプ＆ホールド操作では、接触開始点ＳＰから第１の移動点ＭＰ１、第２の移動点ＭＰ２、…というように、接触状態を維持した継続的な操作が行われる。
　そして、接触開始点ＳＰと第１の移動点ＭＰ１の位置関係から第１の方向（例えば右方向）が求められ、第１の方向への移動の開始を示す操作コマンドＣ１が電子機器（不図示）に送信される。また、接触開始点ＳＰと第２の移動点ＭＰ２の位置関係から第２の方向（例えば上方向）が求められ、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止と、第２の方向への移動の開始を示す操作コマンドＣ２が電子機器に送信される。よって、操作の連続性を維持した状態で、移動方向の変更を指示することができる。
　また、遠隔操作装置１００では、接触開始点ＳＰと第１の移動点ＭＰ１間の第１の距離Ｌ１と、接触開始点ＳＰと第２の移動点ＭＰ２間の第２の距離Ｌ２が求められる。そして、第１の距離Ｌ１と第２の距離Ｌ２間の差分ΔＬが所定の閾値ＬＴ以上である場合に、移動の停止を示す操作コマンドＣ３が電子機器に送信される。よって、操作の連続性を維持した状態で、移動の停止を指示することができる。
　［２．遠隔操作装置１００の構成］
　つぎに、図２および図３を参照しながら、本発明の実施形態に係る遠隔操作装置１００の構成について説明する。図２は、本発明の実施形態に係る遠隔操作システムの構成を示す図である。図３は、本発明の実施形態に係るコマンダ１００の主要な構成を示すブロック図である。なお、以下では、遠隔操作装置１００がタッチパネルディスプレイ１０１を有するコマンダ１００である場合を想定して説明する。
　図２に示すように、コマンダ１００は、テレビ受像装置１０等の電子機器を遠隔操作する遠隔操作システムの一部を構成する。コマンダ１００は、ＰＤＡ、携帯電話、デジタル音楽プレイヤ等、タッチパネルディスプレイ１０１を有する電子機器の一例である。テレビ受像装置１０は、コマンダ１００を用いてユーザにより遠隔操作される電子機器の一例である。
　コマンダ１００は、ネットワークを介さずに、または有線または無線のネットワークを介してテレビ受像装置１０との間で、一方向通信または双方向通信を行う。コマンダ１００は、タッチパネルディスプレイ１０１に設けられたタッチパネル１０１ａに対するユーザの指Ｐ等による接触操作に応じて操作コマンドＣをテレビ受像装置１０に送信する。
　ここで、コマンダ１００は、タッチパネル１０１ａ上で任意の接触開始点ＳＰを指定したスワイプ＆ホールド操作を検出し、検出結果に応じた操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、受信した操作コマンドＣに応じて、ディスプレイ１１上でカーソルＣＵの移動、コンテンツの表示切替え等の処理を行う。
　図２に示す例において、タッチパネル１０１ａ上では、接触開始点ＳＰから第１の移動点ＭＰ１へ指Ｐを移動して保持する第１の操作が行われた後に、接触状態を解除せずに、第１の移動点ＭＰ１から第２の移動点ＭＰ２へ指Ｐを移動して保持する第２の操作が行われている。このため、ディスプレイ１１上では、第１の操作に応じて、カーソルＣＵがコンテンツＣａからコンテンツＣｂに移動され、第２の操作に応じて、コンテンツＣｂからコンテンツＣｃに移動される。
　図３に示すように、コマンダ１００は、タッチパネルディスプレイ１０１、制御部１０３、メモリ１０５、通信部１０７を含む。
　タッチパネルディスプレイ１０１は、タッチパネル１０１ａ（操作検出部）に表示パネル１０１ｂを積層して構成される。タッチパネル１０１ａとしては、抵抗膜方式、静電容量方式、超音波方式、赤外線方式等のパネルが利用される。表示パネル１０１ｂとしては、液晶ディスプレイ（ＬＣＤ）等が利用される。
　タッチパネル１０１ａは、パネル面に対する指Ｐ、スタイラス等の接触状態を検出する。タッチパネル１０１ａは、パネル面に指Ｐが接触した時点で接触信号を制御部１０３に供給し、パネル面から指Ｐが離れた時点で解除信号を制御部１０３に供給する。また、タッチパネル１０１ａは、パネル面に指Ｐが接触している間、接触位置に対応したＸ－Ｙ座標を表す座標信号を制御部１０３に供給する。
　制御部１０３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、ＣＰＵは、ＲＡＭを作業メモリとして用いて、ＲＯＭに格納されているプログラムを実行し、コマンダ１００の各部を制御する。制御部１０３は、プログラムの実行により、コマンド生成部、コマンド送信部としても機能する。
　メモリ１０５は、ＥＥＰＲＯＭ等の不揮発性メモリであり、表示データ、コマンド情報等を格納している。通信部１０７は、ユーザによる操作入力に応じて、所定の操作コマンドＣをテレビ受像装置１０に送信する。
　制御部１０３は、タッチパネル１０１ａから供給された座標信号をデコードして座標データを生成し、接触／解除信号および座標データに基づいて、コマンダ１００の各部を制御する。制御部１０３は、ユーザによる操作入力に応じて、コマンド情報をメモリ１０５から読み出し、通信部１０７に供給する。通信部１０７は、コマンド情報に基づいて、所定の操作コマンドＣをテレビ受像装置１０に送信する。制御部１０３は、メモリ１０５に記憶されているデータを読出してグラフィカル・ユーザ・インターフェイス（ＧＵＩ）画面の表示データを生成し、表示データを表示パネル１０１ｂに供給する。表示パネル１０１ｂは、表示データに基づいてＧＵＩ画面を表示する。
　制御部１０３は、接触信号／解除信号および座標データに基づいて、任意の接触開始点ＳＰを指定したスワイプ＆ホールド操作を判定する。
　制御部１０３は、解除信号が入力された後に接触信号が始めて入力されると、対応する座標データを接触開始点ＳＰの座標として設定する。制御部１０３は、接触信号が継続して入力されている状態で、座標データの継続的な変化を確認すると、スワイプ操作が行われたと判定する。
　制御部１０３は、スワイプ操作が行われたと判定した後に、接触信号が継続して入力されている状態で、略一定の座標データを確認すると、ホールド操作が行われたと判定し、座標データを移動点ＭＰの座標として設定する。制御部１０３は、接触信号が継続して入力された後に解除信号が入力されると、スワイプ＆ホールド操作が終了されたと判定する。
　制御部１０３は、接触開始点ＳＰと移動点ＭＰの座標から接触開始点ＳＰと移動点ＭＰの位置関係（距離Ｌ、角度Ｒ）を判定し、判定結果に応じた操作コマンドＣを生成する。そして、制御部１０３は、通信部１０７を制御して、生成した操作コマンドＣをテレビ受像装置１０に送信する。
　制御部１０３は、接触開始点ＳＰと第１の移動点ＭＰ１の位置関係から第１の方向を設定し、第１の方向への移動の開始を示す操作コマンドＣ１を生成する。また、制御部１０３は、接触開始点ＳＰと第２の移動点ＭＰ２の位置関係から第２の方向を設定し、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止と、第２の方向への移動の開始を示す操作コマンドＣ２を生成する。
　また、制御部１０３は、接触開始点ＳＰと第１の移動点ＭＰ１間の第１の距離Ｌ１と、接触開始点ＳＰと第２の移動点ＭＰ２間の第２の距離Ｌ２を算出する。そして、第１の距離Ｌ１と第２の距離Ｌ２間の差分ΔＬが所定の閾値ＬＴ以上である場合に、移動の停止を示す操作コマンドＣ３を生成する。
　［３．遠隔操作処理］
　つぎに、図４～図８を参照しながら、前述したコマンダ１００を用いたテレビ受像装置１０の遠隔操作処理について説明する。図４は、スワイプ＆ホールド操作を定義するパラメータを示す図である。図５は、スワイプ＆ホールド操作に応じて生成される操作コマンドＣを示す表である。図６は、遠隔操作処理の手順を示すフロー図である。図７は、キーコードの判定基準を示すフロー図である。図８Ａ～８Ｃは、遠隔操作処理を説明する図である。
　前述したように、コマンダ１００は、スワイプ＆ホールド操作に応じて、テレビ受像装置１０の遠隔操作処理を行う。図４に示すように、スワイプ＆ホールド操作は、基準座標Ｐ０、移動座標Ｐ１、Ｐ２、…、スワイプ距離Ｌ１、Ｌ２、…、スワイプ角度Ｒ１、Ｒ２、…の各パラメータにより定義される。
　ここで、基準座標Ｐ０は、スワイプ＆ホールド操作に際して、指Ｐがタッチパネル１０１ａに最初に触れた接触開始点ＳＰの中心座標を表している。移動座標Ｐ１、Ｐ２、…は、指Ｐがタッチパネル１０１ａに触れた状態で接触開始点ＳＰから移動して保持された移動点ＭＰ１の中心座標、または移動点ＭＰ１から移動して保持された次の移動点ＭＰ２の中心座標を表している。スワイプ距離Ｌ１、Ｌ２、…およびスワイプ角度Ｒ１、Ｒ２、…は、接触開始点ＳＰと各移動点ＭＰ１、ＭＰ２、…を結ぶベクトルのスカラ値およびベクトル角度を各々に表している。
　例えば、スワイプ＆ホールド操作に際して、指Ｐが接触開始点ＳＰから第１、第２の移動点ＭＰ１、ＭＰ２に移動する場合を想定する。この場合、基準座標Ｐ０は、接触開始点ＳＰの座標として定義され、移動座標Ｐ１、Ｐ２は、第１、第２の移動点ＭＰ１、ＭＰ２の座標として定義される。また、第１、第２の移動点ＭＰ１、ＭＰ２のスワイプ距離Ｌ１、Ｌ２およびスワイプ角度Ｒ１、Ｒ２は、接触開始点ＳＰと各移動点ＭＰ１、ＭＰ２を結ぶベクトルのスカラ値およびベクトル角度として算出される。なお、スワイプ角度Ｒ１、Ｒ２は、ラジアン表記されている。
　前述したように、コマンダ１００は、スワイプ＆ホールド操作に応じて操作コマンドＣを生成する。図５に示すように、操作コマンドＣは、キーコード、制御コード、強さパラメータＩ等の情報を含む。キーコードは、移動方向を指定する情報である。制御コードは、キーコードに従った移動の開始を示す「開始」コード、移動の停止を示す「停止」、移動の継続を示す「継続」等のコードである。強さパラメータＩは、キーコードに従った移動の速度、加速度等を示すパラメータである。
　コマンダ１００は、図６に示す処理手順に従ってテレビ受像装置１０の遠隔操作処理を行う。なお、遠隔操作処理は、タッチパネル１０１ａに対する指Ｐの接触状態が検出されている場合に実行される。
　遠隔操作処理の開始に際して、制御部１０３は、最大スワイプ距離ＬＭを初期化する、つまりＬＭに０を代入する（ステップＳ１０１）。最大スワイプ距離ＬＭは、後述するように、移動の停止指示を判定するために利用される。
　制御部１０３は、ユーザによるスワイプ操作の入力状況を判定する（Ｓ１０３）。スワイプ操作が検出されると、制御部１０３は、スワイプ距離Ｌおよびスワイプ角度Ｒを算出する（Ｓ１０５）。制御部１０３は、スワイプ距離Ｌが所定の第１の閾値ＬＴ１以上であるかを判定する（Ｓ１０７）。第１の閾値ＬＴ１は、検出されたスワイプ操作の有効性を判定するために利用される。ここで、制御部１０３は、スワイプ距離Ｌが第１の閾値ＬＴ１以上である場合に後続の処理を行い、第１の閾値ＬＴ１未満である場合にステップＳ１０３の処理に復帰する。
　ステップＳ１０７の処理でスワイプ距離Ｌが第１の閾値ＬＴ１以上である場合に、制御部１０３は、図７に示す判定基準に従って、スワイプ角度Ｒに応じたキーコードＫ１を設定する（Ｓ１０９）。そして、制御部１０３は、通信部１０７を制御して、キーコードＫ１および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する（Ｓ１１１）。テレビ受像装置１０は、操作コマンドＣに応じて、キーコードに対応する方向への移動処理を開始する。
　図７に示す判定基準では、スワイプ角度ＲがＲ＜π／４または７π／４≦Ｒである場合（Ｓ１５１）にキーコード「右」が設定され（Ｓ１５３）、π／４≦Ｒ＜３π／４である場合（Ｓ１５５）にキーコード「上」が設定される（Ｓ１５７）。また、スワイプ角度Ｒが３π／４≦Ｒ＜５π／４である場合（Ｓ１５９）にキーコード「左」が設定され（Ｓ１６１）、上記以外、つまり５π／４≦Ｒ＜７π／４である場合にキーコード「下」が設定される（Ｓ１６３）。なお、キーコードの判定基準は、上記例に限定されるものではなく、例えば、キーコード「上」と「下」の設定を逆にしたり、キーコード「左」と「右」の設定を逆にしたりしてもよい。
　操作コマンドＣを送信すると、制御部１０３は、ユーザによる次のスワイプ操作の入力状況を判定する（Ｓ１１３）。次のスワイプ操作が検出されると、制御部１０３は、スワイプ距離Ｌおよびスワイプ角度Ｒを算出する（Ｓ１１５）。なお、次のスワイプ操作の検出に代えて、接触状態の解除（解除信号）が検出されると、制御部１０３は、通信部１０７を制御して、キーコードＫ１および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、移動処理を停止する。
　スワイプ距離Ｌおよびスワイプ角度Ｒを算出すると、制御部１０３は、スワイプ距離Ｌが最大スワイプ距離ＬＭ以上であるかを判定する（Ｓ１１７）。ここで、制御部１０３は、スワイプ距離Ｌが最大スワイプ距離ＬＭ以上である場合にステップＳ１１９の処理を行い、最大スワイプ距離ＬＭ未満である場合にステップＳ１２７の処理を行う。なお、スワイプ距離Ｌが最大スワイプ距離ＬＭ以上である場合、接触開始点ＳＰから遠ざかるスワイプ操作が入力されたことを意味し、最大スワイプ距離ＬＭ未満である場合、接触開始点ＳＰに近づくスワイプ操作が入力されたことを意味する。
　ステップＳ１１７の処理でスワイプ距離Ｌが最大スワイプ距離ＬＭ以上である場合に、制御部１０３は、最大スワイプ距離ＬＭにスワイプ距離Ｌを代入する、つまり、最大スワイプ距離ＬＭをスワイプ距離Ｌで更新する（Ｓ１１９）。つぎに、制御部１０３は、ステップＳ１０９の処理と同様に、図７に示す判定基準に従ってスワイプ角度Ｒに応じたキーコードＫ２を設定する（Ｓ１２１）。
　そして、制御部１０３は、キーコードＫ１がキーコードＫ２と一致するかを判定する（Ｓ１２３）。ここで、制御部１０３は、キーコードＫ１、Ｋ２が一致する場合にステップＳ１１３の処理に復帰し、一致しない場合にステップＳ１２９の処理を行う。なお、キーコードＫ１、Ｋ２が一致する場合、スワイプ操作が先のスワイプ操作と同一方向への操作として判定されたことを意味し、一致しない場合、先のスワイプ操作と異なる方向への操作として判定されたことを意味する。
　一方、ステップＳ１１７の処理でスワイプ距離Ｌが最大スワイプ距離ＬＭ未満である場合に、制御部１０３は、スワイプ距離Ｌと最大スワイプ距離ＬＭの差分ΔＬ（＝ＬＭ－Ｌ）が所定の第２の閾値ＬＴ２以上であるかを判定する（Ｓ１２７）。第２の閾値ＬＴ２は、移動の停止指示を判定するために利用される。ここで、制御部１０３は、差分ΔＬが第２の閾値ＬＴ２以上である場合に後続の処理を行い、第２の閾値ＬＴ２未満である場合にステップＳ１２１の処理を行う。なお、差分ΔＬが第２の閾値ＬＴ２以上である場合、スワイプ操作が先のスワイプ操作を解除する操作として判定されたことを意味する。
　ステップＳ１２３の処理でキーコードＫ１、Ｋ２が一致しない場合、またはステップＳ１２７の処理で差分ΔＬが第２の閾値ＬＴ２以上である場合に、制御部１０３は、通信部１０７を制御して、キーコードＫ１および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する（Ｓ１２９）。テレビ受像装置１０は、操作コマンドＣに応じて、移動処理を停止する。つぎに、制御部１０３は、最大スワイプ距離ＬＭを初期化する（Ｓ１３１）。そして、制御部１０３は、ステップＳ１０７の処理に復帰し、ステップＳ１１５の処理で算出したスワイプ距離Ｌが第１の閾値ＬＴ１以上であるかを判定する。
　図８Ａ～８Ｃには、任意の接触開始点ＳＰを指定したスワイプ＆ホールド操作の具体例が示されている。
　図８Ａに示す例では、接触開始点ＳＰから第１の移動点ＭＰ１、第２の移動点ＭＰ２に指Ｐ（不図示）を継続して移動させるスワイプ＆ホールド操作が行われている。図８Ａに示す例では、第１の移動点ＭＰ１から第２の移動点ＭＰ２への移動により移動方向の変更が指示されている。
　第１の移動点ＭＰ１では、スワイプ距離Ｌ１が第１の閾値ＬＴ１以上であり、スワイプ角度Ｒ１がＲ１＜π／４であるので、キーコードＫ１としてキーコード「右」が設定される。よって、コマンダ１００は、キーコード「右」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、例えば、ディスプレイ１１上でカーソルＣＵの右方向への移動を開始させる。
　第２の移動点ＭＰ２では、スワイプ距離Ｌ２が最大スワイプ距離ＬＭ以上であるので、最大スワイプ距離ＬＭがスワイプ距離Ｌ２で更新される。また、スワイプ角度Ｒ２がπ／４≦Ｒ２＜３π／４であるので、キーコードＫ２としてキーコード「上」、つまりキーコードＫ１と異なるキーコードが設定される。よって、コマンダ１００は、キーコード「右」および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動を停止させる。また、移動方向の変更に伴い、最大スワイプ距離ＬＭが初期化される。
　ここで、スワイプ距離Ｌ２が第１の閾値ＬＴ１以上であり、スワイプ角度Ｒ２がπ／４≦Ｒ２＜３π／４であるので、キーコードＫ１としてキーコード「上」が設定される。よって、コマンダ１００は、キーコード「上」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動に代えて、上方向への移動を開始させる。
　そして、接触状態の解除が検出されると、コマンダ１００は、キーコード「上」および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの上方向への移動を停止させる。
　図８Ｂに示す例では、接触開始点ＳＰから第１の移動点ＭＰ１、第２の移動点ＭＰ２に指Ｐを継続して移動させるスワイプ＆ホールド操作が行われている。図８Ｂに示す例では、第１の移動点ＭＰ１から第２の移動点ＭＰ２への移動により移動の停止が指示されている。
　第１の移動点ＭＰ１では、コマンダ１００は、キーコード「右」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、ディスプレイ１１上でカーソルＣＵの右方向への移動を開始させる。
　第２の移動点ＭＰ２では、スワイプ距離Ｌ２が最大スワイプ距離ＬＭ未満であり、最大スワイプ距離ＬＭとスワイプ距離Ｌ２の差分ΔＬ（ＬＭ－Ｌ２）が第２の閾値ＬＴ２以上の値として算出される場合を想定する。この場合、コマンダ１００は、キーコード「右」および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動を停止させる。また、移動の停止に伴い、最大スワイプ距離ＬＭが初期化される。
　ここで、第２の移動点ＭＰ２で算出されたスワイプ距離Ｌ２が第１の閾値ＬＴ１未満である場合を想定する。この場合、コマンダ１００は、操作コマンドＣをテレビ受像装置１０に送信しない。よって、テレビ受像装置１０は、カーソルＣＵの移動を停止させた状態を維持する。そして、接触状態の解除が検出されると、コマンダ１００は、遠隔操作処理を終了する。
　なお、第２の移動点ＭＰ２で算出されたスワイプ距離Ｌ２が第１の閾値ＬＴ１以上である場合、スワイプ角度Ｒ２がＲ２＜π／４であるので、キーコードＫ１としてキーコード「右」が設定される。よって、コマンダ１００は、キーコード「右」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動を開始させる。
　図８Ｃに示す例では、接触開始点ＳＰから第１の移動点ＭＰ１、第２の移動点ＭＰ２、第３の移動点ＭＰ３に指Ｐを継続して移動させるスワイプ＆ホールド操作が行われている。図８Ｃに示す例では、第２の移動点ＭＰ２から第３の移動点ＭＰ３への移動により移動の再開が指示されている。
　第１の移動点ＭＰ１では、コマンダ１００は、キーコード「右」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動を開始させる。
　第２の移動座標では、コマンダ１００は、キーコード「右」および制御コード「停止」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの右方向への移動を停止させる。
　ここで、第２の移動点ＭＰ２で算出されたスワイプ距離Ｌ２が第１の閾値ＬＴ１未満である場合を想定する。この場合、コマンダ１００は、操作コマンドＣをテレビ受像装置１０に送信しない。よって、テレビ受像装置１０は、カーソルＣＵの移動を停止させた状態を維持する。
　つぎに、第３の移動点ＭＰ３では、スワイプ距離Ｌ３が最大スワイプ距離ＬＭ以上であり、スワイプ角度Ｒ３がπ／４≦Ｒ３＜３π／４であるので、キーコードＫ１としてキーコード「上」が設定される。よって、コマンダ１００は、キーコード「上」および制御コード「開始」を伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、カーソルＣＵの上方向への移動を開始させる。
　［４．遠隔操作処理の変形例］
　つぎに、図９を参照しながら、前述したコマンダ１００を通じたテレビ受像装置１０の遠隔操作処理の変形例について説明する。図９は、遠隔操作処理の手順の変形例を示すフロー図である。なお、以下では、図６に示す遠隔操作処理と重複する説明を省略する。
　図９に示す遠隔操作処理の変形例では、スワイプ＆ホールド操作を定義するパラメータとして、スワイプ距離Ｌに応じた強さパラメータＩが利用される。強さパラメータＩは、移動の速度、加速度等を指示するために、スワイプ距離Ｌに比例する値等として設定される。
　ステップＳ２０５およびＳ２１５の処理では、スワイプ操作および次のスワイプ操作が検出されると、制御部１０３は、スワイプ距離Ｌおよびスワイプ角度Ｒとともに、強さパラメータＩを算出する。
　ステップＳ２１１の処理では、制御部１０３は、通信部１０７を制御して、キーコードＫ１および制御コード「開始」とともに、強さパラメータＩを伴う操作コマンドＣをテレビ受像装置１０に送信する。テレビ受像装置１０は、操作コマンドＣに応じて、キーコードに対応する方向への移動処理を開始する。ここで、強さパラメータＩの値が大きい場合、キーコードに対応する方向への移動速度が大きくなる。
　ステップＳ２１６の処理では、制御部１０３は、強さパラメータＩの値（絶対値）が無効値（値＝０等）以外の最小値ＩＭであるかを判定する。ここで、制御部１０３は、最小値ＩＭである場合に後続の処理を行い、最小値ＩＭでない場合にステップＳ２２１の処理を行う。なお、強さパラメータＩの値が無効値以外の最小値ＩＭである場合、移動の停止指示が行われた可能性があることを意味し、無効値以外の最小値ＩＭでない場合、移動の停止指示が行われた可能性がないことを意味する。
　ステップＳ２２４の処理では、キーコードＫ１、Ｋ２が一致する場合に、制御部１０３は、ステップＳ２０５で算出した強さパラメータＩとステップＳ２１５で算出した強さパラメータＩが異なる値であるかを判定する。ここで、制御部１０３は、異なる値である場合に後続の処理を行い、同一の値である場合にステップＳ２１３の処理に復帰する。
　ステップＳ２４５の処理では、制御部１０３は、キーコードＫ１および制御コード「継続」とともに、強さパラメータＩを伴う操作コマンドＣをテレビ受像装置１０に送信する。これにより、強さパラメータＩの更新値が送信される。テレビ受像装置１０は、操作コマンドＣに応じて、更新された強さパラメータＩに対応する速度で、キーコードに対応する方向への移動処理を継続する。
　なお、強さパラメータＩを利用する場合、制御部１０３は、通信部１０７を制御して、制御コード「開始」および「停止」に代えて、強さパラメータＩとして無効値以外の値および無効値を各々に伴う操作コマンドＣをテレビ受像装置１０に送信してもよい。この場合、テレビ受像装置１０は、無効値以外の値を確認した場合にキーコードに対応する方向への移動処理を開始し、無効値を確認した場合にキーコードに対応する方向への移動処理を停止する。
　また、強さパラメータＩを利用する場合、制御部１０３は、通信部１０７を制御して、キーコードに代えて、強さパラメータＩを伴う操作コマンドＣをテレビ受像装置１０に送信してもよい。ここで、強さパラメータＩは、例えば上方向への操作コマンドＣの場合に正値、下方向への操作コマンドＣの場合に負値として設定される。この場合、テレビ受像装置１０は、正値を確認した場合に上方向への移動を開始し、負値を確認した場合に下方向への移動を開始することができる。
　［５．まとめ］
　以上説明したように本発明の実施形態に係るコマンダ１００によれば、接触開始点ＳＰと第１の移動点ＭＰ１の位置関係から第１の方向が求められ、第１の方向への移動の開始を示す操作コマンドＣ１が送信される。そして、接触開始点ＳＰと第２の移動点ＭＰ２の位置関係から第２の方向が求められ、第１の方向と第２の方向が異なる場合に、第１の方向への移動の停止、および第２の方向への移動の開始を示す操作コマンドＣ２が送信される。よって、接触状態を一旦解除しなくても、移動方向を変更することができるので、スワイプ＆ホールド操作の操作性を向上させることができる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、上記説明では、単一のキーコードを含む操作コマンドＣを送信する場合について説明した。しかし、操作コマンドＣは、キーコード「上」および「右」等のように、複数のキーコードを含んでもよい。この場合、テレビ受像装置１０では、右上等のように、斜め方向への移動処理が行われる。
　また、上記説明では、接触開始点ＳＰと移動点ＭＰを結ぶベクトルのスカラ値としてスワイプ距離Ｌを算出する場合について説明した。しかし、スワイプ距離Ｌは、ベクトルのコサイン値またはサイン値として算出されてもよい。
　また、上記説明では、制御コード「開始」を伴う操作コマンドと、制御コード「停止」を伴う操作コマンドＣの間に他の操作コマンドＣが送信されない。しかし、両操作コマンドＣの送信の間には、制御コード「継続」を伴う操作コマンドＣ´が定期的に送信されてもよい。これにより、両操作コマンドＣの送信の間にトラブルが生じた場合でも、テレビ受像装置１０は、制御コード「継続」を伴う操作コマンドＣ´が受信されない場合に移動処理を停止させることができる。
　また、上記説明では、スワイプ＆ホールド操作に応じて、ディスプレイ上でカーソルＣＵが移動される場合について説明した。しかし、スワイプ＆ホールド操作に応じて、再生コンテンツの早送り／巻戻し等、表示コンテンツの切替え等が行われてもよい。
　　１０　　テレビ受像装置
　　１００　　コマンダ
　　１０１　　タッチパネルディスプレイ
　　１０１ａ　　タッチパネル
　　ＳＰ　　接触開始点
　　ＭＰ１、ＭＰ２、ＭＰ３　　移動点
　　Ｌ１、Ｌ２、Ｌ３　　スワップ距離
　　Ｒ１、Ｒ２、Ｒ３　　スワップ角度

Claims (10)

  1. 　表示パネルと、
    　前記表示パネルに対する継続的な接触操作による接触点の移動を検出する操作検出部と、
    　接触開始点と前記接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、前記第１の方向への移動の開始を示す操作コマンドを生成し、前記接触開始点と前記第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、前記第１の方向と前記第２の方向が異なる場合に、前記第１の方向への移動の停止および前記第２の方向への移動の開始を示す操作コマンドを生成するコマンド生成部と、
    　前記生成した操作コマンドを電子機器に送信するコマンド送信部と
    　を備える、遠隔操作装置。
  2. 　前記コマンド生成部は、前記接触開始点と前記第１の移動点間の第１の距離と、前記接触開始点と前記第２の移動点間の第２の距離を求め、前記第１の距離と前記第２の距離間の差分が所定の閾値以上である場合に、移動の停止を示す操作コマンドを生成する、請求項１に記載の遠隔操作装置。
  3. 　前記コマンド生成部は、前記接触開始点と移動点間の距離を求め、前記求めた距離が所定の他の閾値以上である場合に、前記移動の開始を示す操作コマンドを生成する、請求項１に記載の遠隔操作装置。
  4. 　前記コマンド生成部は、前記移動の開始を示す操作コマンドが送信された後、前記移動の停止を示す操作コマンドが送信されるまで、移動の継続を示す操作コマンドを生成する、請求項１に記載の遠隔操作装置。
  5. 　前記コマンド生成部は、前記移動の開始を示す操作コマンドが前記電子機器に送信された後に接触点が検出されない場合に、前記移動の停止を示す操作コマンドを生成する、請求項１に記載の遠隔操作装置。
  6. 　前記操作コマンドは、前記接触開始点と前記移動点間の距離に応じて設定される、移動の速度を示す情報を含む、請求項１に記載の遠隔操作装置。
  7. 　前記操作コマンドは、前記電子機器に表示される移動対象を移動させるために用いられる、請求項１に記載の遠隔操作装置。
  8. 　遠隔操作装置と、前記遠隔操作装置により遠隔操作される電子機器を有し、
    　前記遠隔操作装置は、
    　表示パネルと、
    　前記表示パネルに対する継続的な接触操作による接触点の移動を検出する操作検出部と、
    　接触開始点と前記接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、前記第１の方向への移動の開始を示す操作コマンドを生成し、前記接触開始点と前記第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、前記第１の方向と前記第２の方向が異なる場合に、前記第１の方向への移動の停止および前記第２の方向への移動の開始を示す操作コマンドを生成するコマンド生成部と、
    　前記生成した操作コマンドを前記電子機器に送信するコマンド送信部と
    　を備える、遠隔操作システム。
  9. 　表示パネルに対する継続的な接触操作による接触点の移動を検出し、
    　接触開始点と接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、前記第１の方向への移動の開始を示す操作コマンドを生成して電子機器に送信し、
    　前記接触開始点と前記第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、前記第１の方向と前記第２の方向が異なる場合に、前記第１の方向への移動の停止および前記第２の方向への移動の開始を示す操作コマンドを生成して前記電子機器に送信すること
    　を含む、遠隔操作方法。
  10. 　表示パネルに対する継続的な接触操作による接触点の移動を検出し、
    　接触開始点と接触開始点から移動した第１の移動点の位置関係から第１の方向を求め、前記第１の方向への移動の開始を示す操作コマンドを生成して電子機器に送信し、
    　前記接触開始点と前記第１の移動点から移動した第２の移動点の位置関係から第２の方向を求め、前記第１の方向と前記第２の方向が異なる場合に、前記第１の方向への移動の停止および前記第２の方向への移動の開始を示す操作コマンドを生成して前記電子機器に送信すること
    　を含む、遠隔操作方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/069466 2009-12-02 2010-11-02 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム Ceased WO2011068004A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/510,111 US8866773B2 (en) 2009-12-02 2010-11-02 Remote control apparatus, remote control system, remote control method, and program
CN201080061528.XA CN102714765B (zh) 2009-12-02 2010-11-02 远程操作设备、远程操作系统、远程操作方法
BR112012012647-4A BR112012012647A2 (pt) 2009-12-02 2010-11-02 aparelho, sistema e método de controle remoto, e, programa.
EP10834457.3A EP2509335B1 (en) 2009-12-02 2010-11-02 Remote operation device, remote operation system, remote operation method, and program
RU2012121715/07A RU2552637C2 (ru) 2009-12-02 2010-11-02 Устройство дистанционного управления, система дистанционного управления, способ дистанционного управления и программа

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-274913 2009-12-02
JP2009274913A JP5458842B2 (ja) 2009-12-02 2009-12-02 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2011068004A1 true WO2011068004A1 (ja) 2011-06-09

Family

ID=44114862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069466 Ceased WO2011068004A1 (ja) 2009-12-02 2010-11-02 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム

Country Status (7)

Country Link
US (1) US8866773B2 (ja)
EP (1) EP2509335B1 (ja)
JP (1) JP5458842B2 (ja)
CN (1) CN102714765B (ja)
BR (1) BR112012012647A2 (ja)
RU (1) RU2552637C2 (ja)
WO (1) WO2011068004A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073357A (ja) * 2011-09-27 2013-04-22 Dainippon Printing Co Ltd 携帯機器、ページ切り換え方法及びページ切り換えプログラム
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5531612B2 (ja) * 2009-12-25 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
JP5694867B2 (ja) * 2011-06-27 2015-04-01 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
CN102799358B (zh) * 2012-06-20 2017-08-08 南京中兴软件有限责任公司 光标显示位置的确定方法及装置
US9411507B2 (en) * 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method
CN102984569A (zh) * 2012-11-29 2013-03-20 中兴通讯股份有限公司 一种控制电视界面焦点的方法、装置和系统
KR102157332B1 (ko) * 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
CN103530052B (zh) * 2013-09-27 2017-09-29 华为技术有限公司 一种界面内容的显示方法和用户设备
WO2015069259A1 (en) * 2013-11-07 2015-05-14 Intel Corporation Controlling primary and secondary displays from a single touchscreen
JP2015127872A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、及び、プログラム
JP2015135648A (ja) * 2014-01-20 2015-07-27 シャープ株式会社 入力操作装置、及び、デジタル放送受信機
CN105022519A (zh) * 2014-04-30 2015-11-04 周祥宇 一种选中物体的方法
KR20150142347A (ko) * 2014-06-11 2015-12-22 삼성전자주식회사 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
WO2015193977A1 (ja) * 2014-06-17 2015-12-23 株式会社東芝 電子機器、方法、及びプログラム
CN104536679B (zh) * 2014-10-30 2016-10-12 深圳市中兴移动通信有限公司 一种交互显示方法、装置及终端
JP6017607B2 (ja) * 2015-02-18 2016-11-02 京セラドキュメントソリューションズ株式会社 認証装置および画像形成装置
CN104850347A (zh) * 2015-05-05 2015-08-19 天脉聚源（北京）教育科技有限公司 一种进度条拖动的实现方法及装置
US11755193B2 (en) 2015-07-20 2023-09-12 Michael Stewart Shunock Method and system for receiving feedback from a user
CN105045505A (zh) * 2015-07-22 2015-11-11 惠州Tcl移动通信有限公司 用于操作电脑的系统、穿戴设备及其操作电脑的方法
KR102508833B1 (ko) * 2015-08-05 2023-03-10 삼성전자주식회사 전자 장치, 전자 장치의 문자 입력 방법
CN107422973B (zh) * 2017-07-10 2021-02-26 广州视源电子科技股份有限公司 一种控制装置及控制方法
CN109445658A (zh) * 2018-10-19 2019-03-08 北京小米移动软件有限公司 一种切换显示模式的方法、装置、移动终端和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062503A (ja) * 2002-07-29 2004-02-26 Sony Corp 電子機器、オーディオ機器および機器操作処理方法
JP2005049994A (ja) * 2003-07-30 2005-02-24 Canon Inc カーソルの制御方法
JP2008191791A (ja) * 2007-02-01 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003065190A2 (en) * 2002-01-29 2003-08-07 Meta4Hand Inc. Computer pointer control
JP2005004994A (ja) 2003-06-09 2005-01-06 Jst Mfg Co Ltd プラグ型コネクタ及びこれを含む電気コネクタ
JP4172645B2 (ja) * 2004-03-31 2008-10-29 任天堂株式会社 入力位置との関係でゲームオブジェクトの動作を変化させるゲームプログラム
US7432916B2 (en) * 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
RU61488U1 (ru) * 2006-10-12 2007-02-27 Алексей Николаевич Федоров Пульт дистанционного управления электронными устройствами
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
RU71844U1 (ru) * 2007-08-23 2008-03-20 Евгений Леонидович Ковалев Пульт дистанционного управления с кнопкой-клавишей для затемнения видеоизображения (варианты)
RU85007U1 (ru) * 2009-02-04 2009-07-20 Александр Николаевич Степанов Пульт управления (варианты)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062503A (ja) * 2002-07-29 2004-02-26 Sony Corp 電子機器、オーディオ機器および機器操作処理方法
JP2005049994A (ja) * 2003-07-30 2005-02-24 Canon Inc カーソルの制御方法
JP2008191791A (ja) * 2007-02-01 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073357A (ja) * 2011-09-27 2013-04-22 Dainippon Printing Co Ltd 携帯機器、ページ切り換え方法及びページ切り換えプログラム
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard
US9146672B2 (en) * 2013-04-10 2015-09-29 Barnes & Noble College Booksellers, Llc Multidirectional swipe key for virtual keyboard

Also Published As

Publication number Publication date
JP2011119937A (ja) 2011-06-16
RU2012121715A (ru) 2013-11-27
CN102714765B (zh) 2015-09-16
US20120229410A1 (en) 2012-09-13
RU2552637C2 (ru) 2015-06-10
EP2509335B1 (en) 2017-09-27
EP2509335A4 (en) 2014-04-16
EP2509335A1 (en) 2012-10-10
BR112012012647A2 (pt) 2020-08-11
JP5458842B2 (ja) 2014-04-02
CN102714765A (zh) 2012-10-03
US8866773B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
JP5458842B2 (ja) 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム
JP5418187B2 (ja) 接触操作判定装置、接触操作判定方法およびプログラム
JP5370144B2 (ja) 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
KR100980741B1 (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
CN108965608B (zh) 一种闹钟设置方法、折叠终端及计算机可读存储介质
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US20120235926A1 (en) Handheld devices and related data transmission methods
US9544524B2 (en) Remote controller, remote control system and program
KR101584950B1 (ko) 전자 장치와 상기 전자 장치의 제어 방법 및 원격 제어 장치와 상기 원격 제어 장치의 제어 방법
CN107896508A (zh) 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
KR20140035870A (ko) 스마트 에어 마우스
KR101872272B1 (ko) 제어 기기를 이용한 전자기기의 제어 방법 및 장치
KR101878144B1 (ko) 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR20120126255A (ko) 아이템 표시 제어 방법 및 장치
CN111399715B (zh) 一种界面显示方法及电子设备
CN109521933A (zh) 一种显示控制方法及移动终端
US11526320B2 (en) Multi-screen interface control method and terminal device
KR20110134810A (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
CN110515507B (zh) 一种图标显示方法及终端
CN108815844B (zh) 移动终端及其游戏控制方法、电子设备及存储介质
HK1210293A1 (en) A method and device for controlling a display device
US10969899B2 (en) Dynamically adaptive sensing for remote hover touch
CN110531905B (zh) 一种图标控制方法及终端
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
CN111240549B (zh) 显示控制方法、电子设备及介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080061528.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834457

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2010834457

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13510111

Country of ref document: US

Ref document number: 2010834457

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012121715

Country of ref document: RU

Ref document number: 4599/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012012647

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012012647

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120525