[go: up one dir, main page]

KR20140117067A - Method for processing input by touch motion - Google Patents

Method for processing input by touch motion Download PDF

Info

Publication number
KR20140117067A
KR20140117067A KR1020130031942A KR20130031942A KR20140117067A KR 20140117067 A KR20140117067 A KR 20140117067A KR 1020130031942 A KR1020130031942 A KR 1020130031942A KR 20130031942 A KR20130031942 A KR 20130031942A KR 20140117067 A KR20140117067 A KR 20140117067A
Authority
KR
South Korea
Prior art keywords
virtual plane
touch
motion
setting
gui
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020130031942A
Other languages
Korean (ko)
Inventor
김상식
정성관
이원겸
박준석
신용철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130031942A priority Critical patent/KR20140117067A/en
Publication of KR20140117067A publication Critical patent/KR20140117067A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 모션을 이용한 입력을 처리하는 방법은 가상 면 터치 감지 모듈이, 제어 대상 디스플레이에 상응하는 가상 면에 대한 터치 모션(touch motion)을 감지하는 단계 및 GUI(graphical user interface) 제어 모듈이, 감지 결과에 따라 상기 제어 대상 디스플레이의 GUI를 제어하는 단계를 포함한다.A method for processing an input using a touch motion includes the steps of sensing a touch motion of a virtual surface corresponding to a control target display and a graphical user interface (GUI) And controlling the GUI of the control target display in accordance with the control information.

Description

터치 모션을 이용한 입력을 처리하는 방법{METHOD FOR PROCESSING INPUT BY TOUCH MOTION}[0001] METHOD FOR PROCESSING INPUT BY TOUCH MOTION [0002]

본 발명의 개념에 따른 실시 예는 터치 모션을 이용한 입력을 처리하는 방법에 관한 것으로, 특히 가상 면을 이용하여 상기 터치 모션을 감지하고, 감지 결과에 따라 입력을 처리하는 방법에 관한 것이다.An embodiment according to the concept of the present invention relates to a method of processing an input using a touch motion, and more particularly to a method of detecting the touch motion using a virtual plane and processing input according to a detection result.

전자기기, 예컨대 스마트 TV(smart television), 인터넷 TV(internet television), 커넥티드 TV(connected television), 및 오픈 하이브리드 TV(open hybrid television) 등은 주로 리모컨(remote controller)을 사용하여 제어된다.Electronic devices such as smart television, internet television, connected television, and open hybrid television are mainly controlled using a remote controller.

상기 전자기기는 상기 리모컨을 이용하여 쉽게 제어될 수 있지만, 상기 전자기기가 점점 복잡해짐에 따라 점점 복잡한 구조의 리모컨이 요구된다. 특히 상기 리모컨의 버튼의 개수가 늘어남에 따라, 각 버튼의 기능을 기억하는 데에는 불편함이 있다. The electronic device can be easily controlled using the remote controller, but as the electronic device becomes more complicated, a remote controller having a more complicated structure is required. Particularly, as the number of buttons of the remote control increases, it is inconvenient to memorize the functions of the buttons.

또한, 동작 인식을 통하여 제어되는 전자기기는 미리 정의된 동작들, 예컨대, 특별한 손모양, 관절의 꺾임, 및 손의 움직임 등에 의해 제어될 수 있다. 하지만, 사용자는 상기 미리 정의된 동작들을 암기해야하는 불편함이 있다.In addition, electronic devices controlled through motion recognition can be controlled by predefined operations, such as special hand shapes, flexion of the joints, hand movements, and the like. However, the user has the inconvenience of memorizing the above-described predefined operations.

본 발명이 이루고자 하는 기술적 과제는 가상 면을 이용하여 상기 터치 모션을 감지하고, 감지 결과에 따라 입력을 처리하는 방법을 제공하는 것이다.According to an aspect of the present invention, there is provided a method of detecting touch motion using a virtual surface and processing input according to a detection result.

본 발명의 실시 예에 따른 터치 모션을 이용한 입력을 처리하는 방법은 가상 면 터치 감지 모듈이, 제어 대상 디스플레이에 상응하는 가상 면에 대한 터치 모션(touch motion)을 감지하는 단계, 및 GUI(graphical user interface) 제어 모듈이, 감지 결과에 따라 상기 제어 대상 디스플레이의 GUI를 제어하는 단계를 포함할 수 있다.A method of processing an input using touch motion according to an exemplary embodiment of the present invention includes a step of sensing a touch motion of a virtual surface corresponding to a control target display and a step of detecting a touch motion of a graphical user interface control module may control the GUI of the control target display according to the detection result.

실시 예에 따라, 상기 가상 면 터치 감지 모듈은, 상기 터치 모션이 상기 가상 면을 통과한 깊이에 기초하여 상기 터치 모션을 감지할 수 있다.According to an embodiment, the virtual surface touch detection module may sense the touch motion based on a depth of the virtual motion of the touch motion.

실시 예에 따라, 상기 GUI 제어 모듈은, 상기 깊이에 따라 상기 GUI를 서로 다르게 제어할 수 있다.According to an embodiment, the GUI control module can control the GUI differently according to the depth.

실시 예에 따라, 상기 가상 면은 곡면 또는 구면일 수 있다.According to an embodiment, the imaginary plane may be a curved surface or a spherical surface.

실시 예에 따라, 상기 GUI 제어 모듈은, 감지된 상기 터치 모션의 패턴(pattern)에 따라 상기 디스플레이의 상기 GUI를 서로 다르게 제어할 수 있다.According to the embodiment, the GUI control module can control the GUI of the display differently according to the detected pattern of the touch motion.

실시 예에 따라, 상기 가상 면의 제1좌표계의 제1좌표들 각각은 상기 제어 대상 디스플레이의 제2좌표계의 제2좌표들 각각과 일대일 대응될 수 있다.According to an embodiment, each of the first coordinates of the first coordinate system of the virtual surface may correspond one-to-one to each of the second coordinates of the second coordinate system of the controlled display.

실시 예에 따라, 상기 GUI 제어 모듈은, 상기 제1좌표들 중 어느 하나의 제1좌표에 상응하는 상기 터치 모션이 감지된 경우, 상기 어느 하나의 제1좌표에 대응되는 제2좌표에 위치한 GUI가 선택되도록 제어할 수 있다.According to the embodiment, when the touch motion corresponding to the first coordinate of any one of the first coordinates is sensed, the GUI control module displays the GUI, which is located at the second coordinate corresponding to any one of the first coordinates, Can be selected.

실시 예에 따라, 상기 터치 모션을 감지하는 단계 이전에, 가상 면 설정 모듈이, 사용자의 가상 면 설정 모션에 따라 상기 가상 면을 설정하는 단계를 더 포함할 수 있다.According to the embodiment, before the step of sensing the touch motion, the virtual plane setting module may further include setting the virtual plane according to the virtual plane setting motion of the user.

실시 예에 따라, 상기 가상 면을 설정하는 단계는, 상기 가상 면 설정 모션에 따라 상기 가상 면의 모서리들 중의 적어도 두 개의 모서리들을 설정함으로써 상기 가상 면을 설정할 수 있다.According to an embodiment, the step of setting the virtual plane may set the virtual plane by setting at least two of the corners of the virtual plane according to the virtual plane setting motion.

실시 예에 따라, 상기 가상 면을 설정하는 단계는, 사용자의 상기 터치 모션을 이용하여 상기 가상 면을 설정할 수 있다.According to an embodiment, the step of setting the virtual plane may set the virtual plane using the touch motion of the user.

실시 예에 따라, 상기 가상 면을 설정하는 단계는, 사용자의 입력 궤적에 상응하는 상기 가상 면 설정 모션에 따라 상기 가상 면을 설정할 수 있다.According to an embodiment, the step of setting the virtual plane may set the virtual plane according to the virtual plane setting motion corresponding to the input trajectory of the user.

본 발명의 실시 예에 따른 방법은 가상 면을 터치하는 터치 모션을 통하여 간편하게 GUI(graphical user interface)를 제어할 수 있는 효과가 있다.The method according to the embodiment of the present invention has an effect that a graphical user interface (GUI) can be easily controlled through a touch motion that touches a virtual surface.

또한, 가상 면 설정 모션을 통하여 상기 가상 면을 사용자의 임의대로 설정할 수 있는 효과가 있다.Further, there is an effect that the virtual plane can be set as desired by the user through the virtual plane setting motion.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 터치 모션 입력 시스템의 개념도이다.
도 2는 도 1에 도시된 가상 면을 이용하여 터치 모션을 입력받는 방법을 설명하기 위한 도면이다.
도 3은 도 1에 도시된 터치 모션 입력 장치의 일 실시 예에 따른 블록도이다.
도 4는 도 1에 도시된 가상 면을 설정하는 방법의 일 실시 예를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 가상 면을 설정하는 방법의 다른 실시 예를 설명하기 위한 도면이다.
도 6는 도 1에 도시된 가상 면을 설정하는 방법의 또 다른 실시 예를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 터치 모션을 이용한 입력을 처리하는 방법의 플로우차트이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to more fully understand the drawings recited in the detailed description of the present invention, a detailed description of each drawing is provided.
1 is a conceptual diagram of a touch-motion input system according to an embodiment of the present invention.
FIG. 2 is a view for explaining a method of receiving a touch motion using the virtual plane shown in FIG.
3 is a block diagram according to an embodiment of the touch-motion input device shown in FIG.
4 is a view for explaining an embodiment of a method of setting the virtual plane shown in FIG.
5 is a view for explaining another embodiment of the method for setting the virtual plane shown in Fig.
FIG. 6 is a diagram for explaining another embodiment of the method for setting the virtual plane shown in FIG.
7 is a flowchart of a method of processing input using touch motion according to an embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.Specific structural and functional descriptions of embodiments of the present invention disclosed herein are illustrated for purposes of illustrating embodiments of the inventive concept only, And can be embodied in various forms and should not be construed as limited to the embodiments set forth herein.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The embodiments according to the concept of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail herein. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first and / or second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein Do not.

본 명세서에서 모듈(module)이라 함은 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다. As used herein, a module may refer to a functional or structural combination of hardware to perform the method according to an embodiment of the present invention or software that can drive the hardware.

따라서 상기 모듈은 프로그램 코드와 상기 프로그램 코드를 수행할 수 있는 하드웨어 리소스(resource)의 논리적 단위 또는 집합을 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나 한 종류의 하드웨어를 의미하는 것은 아니다.Accordingly, the module may mean a logical unit or a set of hardware resources capable of executing the program code and the program code, and does not necessarily mean a physically connected code or a kind of hardware.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 터치 모션 입력 시스템의 개념도이다.1 is a conceptual diagram of a touch-motion input system according to an embodiment of the present invention.

도 1을 참조하면, 터치 모션 입력 시스템(touch motion input system;10)은 디스플레이(display;100), 터치 모션 입력 장치(touch motion input device;200), 및 가상 면(300)을 포함할 수 있다.Referring to FIG. 1, a touch motion input system 10 may include a display 100, a touch motion input device 200, and a virtual surface 300 .

터치 모션 입력 시스템(10)은 디스플레이(100)를 포함하는 다양한 형태의 시스템으로 구현될 수 있다. 특히, 터치 모션 입력 시스템(10)은 TV(예컨대 스마트 TV(smart television), 인터넷 TV(internet television), 커넥티드 TV(connected television), 및 오픈 하이브리드 TV(open hybrid television) 등)를 포함하는 시스템으로 구현될 수 있다.The touch-motion input system 10 may be implemented with various types of systems including the display 100. In particular, the touch-motion input system 10 includes a system including a TV (e.g., smart television, internet television, connected television, and open hybrid television) Lt; / RTI >

디스플레이(100)는 다양한 장치들과 접속되어, 상기 장치들에 의해 처리되는 화면을 디스플레이할 수 있다. 디스플레이(100)는 다양한 형태의 GUI(graphical user interface; 예컨대, 110)를 디스플레이할 수 있다.The display 100 may be connected to various devices to display a screen processed by the devices. Display 100 may display various types of graphical user interfaces (e.g., 110).

터치 모션 입력 장치(200)는 가상 면(300)의 터치 포인트(touch point;TP) 로 입력되는 사용자의 터치 모션(touch motion)을 감지하고, 감지 결과에 따라 상기 터치 포인트(TP)에 상응하는 GUI(110)를 제어할 수 있다.The touch motion input device 200 senses a touch motion of a user input through a touch point TP of the virtual surface 300 and generates a touch point TP corresponding to the touch point TP The GUI 110 can be controlled.

실시 예에 따라, 터치 모션 입력 장치(200)는 사용자의 터치 모션을 감지하기 위한 3D 이미지 센서(예컨대, TOF(time of flight) 이미지 센서)를 포함할 수 있다.According to an embodiment, the touch-motion input device 200 may include a 3D image sensor (e.g., a time of flight (TOF) image sensor) for sensing the user's touch motion.

가상 면(300)은 물리적인 형태로 존재하는 면이 아니며, 터치 모션을 입력받기 위하여 터치 모션 입력 장치(200)에 의해 설정 또는 정의된 가상의 영역을 의미할 수 있다. 실시 예에 따라 가상 면(300)은 평면, 곡면, 또는 구면 형태로 설정 또는 정의될 수 있다.The virtual plane 300 does not exist in a physical form, but may be a virtual region set or defined by the touch motion input device 200 in order to receive a touch motion. Depending on the embodiment, the virtual plane 300 may be set or defined in a planar, curved, or spherical shape.

가상 면(300)과 사용자의 손이 물리적으로 접촉되는 것은 아니며, 터치 포인트(TP)는 가상 면(300)에서 사용자의 터치 모션이 입력(또는 감지)된 지점 또는 좌표를 의미할 수 있다.The touch point TP may refer to a point or a coordinate point at which the user's touch motion is input (or detected) on the virtual surface 300. In this case,

가상 면(300)의 좌표계에 포함된 좌표들 각각은 디스플레이(100)의 좌표계에 포함된 좌표들 각각과 일대일 대응될 수 있다. 즉, 가상 면(300)의 특정 지점은 디스플레이(100)의 특정 지점과 매칭 될 수 있다.Each of the coordinates included in the coordinate system of the virtual plane 300 may correspond to each of the coordinates included in the coordinate system of the display 100 in a one-to-one correspondence. That is, a specific point of the virtual plane 300 may match a specific point of the display 100.

터치 모션에 대해서는 도 2를 참조하여 상세히 설명된다.The touch motion will be described in detail with reference to Fig.

도 2는 도 1에 도시된 가상 면을 이용하여 터치 모션을 입력받는 방법을 설명하기 위한 도면이다.FIG. 2 is a view for explaining a method of receiving a touch motion using the virtual plane shown in FIG.

도 1과 도 2를 참조하면, 사용자의 입력, 예컨대 손을 이용한 입력이 가상 면(300)의 후면 방향으로 일정한 깊이(d) 이상 통과한 경우, 터치 모션 입력 장치(200)는 상기 사용자의 입력을 터치 모션으로 인식할 수 있다.1 and 2, when the input of the user, for example, the input using the hand, passes the predetermined depth d or more in the rear direction of the virtual plane 300, the touch- Can be recognized as a touch motion.

즉, 터치 모션은 가상 면(300)의 후면 방향으로 일정한 깊이(d) 이상을 통과한 사용자의 입력을 의미할 수 있다.That is, the touch motion may mean the input of a user who has passed a certain depth d or more in the rear direction of the virtual plane 300.

도 3은 도 1에 도시된 터치 모션 입력 장치의 일 실시 예에 따른 블록도이다.3 is a block diagram according to an embodiment of the touch-motion input device shown in FIG.

도 1 내지 도 3을 참조하면, 터치 모션 입력 장치(200)는 메모리(205), 가상 면 터치 감지 모듈(210), GUI 제어 모듈(220), 및 가상 면 설정 모듈(230)을 포함할 수 있다.1 to 3, the touch-motion input device 200 may include a memory 205, a virtual surface touch sensing module 210, a GUI control module 220, and a virtual plane setting module 230 have.

가상 면 터치 감지 모듈(210), GUI 제어 모듈(220), 및 가상 면 설정 모듈(230) 각각은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 구성들 각각이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아니다.Each of the virtual surface touch sensing module 210, the GUI control module 220 and the virtual surface setting module 230 may be functionally and logically separated and each of the components may be separated into separate physical devices It does not mean that it is written in a separate code.

메모리(205)는 가상 면 터치 감지 모듈(210), GUI 제어 모듈(220), 및 가상 면 설정 모듈(230) 각각의 동작에 필요한 데이터를 저장할 수 있다.The memory 205 may store data necessary for operation of the virtual surface touch detection module 210, the GUI control module 220, and the virtual plane setting module 230, respectively.

가상 면 터치 감지 모듈(210)은 디스플레이(100)에 상응하는 가상 면(300)에 대한 사용자의 터치 모션을 감지할 수 있다.The virtual surface touch sensing module 210 may sense the user's touch motion with respect to the virtual surface 300 corresponding to the display 100. [

가상 면 터치 감지 모듈(210)은 3D 이미지 센서(미도시)를 포함할 수 있다. The virtual surface touch sensing module 210 may include a 3D image sensor (not shown).

예컨대, 가상 면 터치 감지 모듈(210)은, 상기 3D 이미지 센서(미도시)에 의해 감지된 사용자의 손가락과 디스플레이(100) 사이의 거리가 가상 면(300)과 디스플레이(100) 사이의 거리(미리 설정된 거리)보다 가까운 경우, 터치 포인트(TP)에 관한 정보(예컨대, 터치 포인트(TP)의 좌표 정보)를 GUI 제어 모듈(220)로 전송할 수 있다.For example, the virtual surface touch sensing module 210 may determine that the distance between the user's finger sensed by the 3D image sensor (not shown) and the display 100 is less than the distance between the virtual surface 300 and the display 100 (Coordinate information of the touch point TP, for example) to the GUI control module 220 when the touch point TP is closer than the predetermined distance.

다른 실시 예에 따라, 가상 면 터치 감지 모듈(210)은 터치 포인트(TP)에 관한 정보 외에도, 사용자의 손가락이 가상 면(300)을 통과한 깊이(d)에 관한 정보를 GUI 제어 모듈(220)로 전송할 수 있다.In accordance with another embodiment, the virtual surface touch detection module 210 provides information about the depth d of the user's finger through the virtual surface 300, in addition to information about the touch point TP, to the GUI control module 220 ).

GUI 제어 모듈(220)은 가상 면 터치 감지 모듈(210)로부터 전송된 터치 포인트(TP)에 관한 정보에 기초하여, 터치 포인트(TP)에 대응되는 디스플레이(100)의 GUI(110)를 제어하기 위한 신호를 디스플레이(100)로 전송할 수 있다. 예컨대, GUI 제어 모듈(220)은 GUI(110)를 선택하기 위한 신호를 디스플레이(100)로 전송할 수 있다.The GUI control module 220 controls the GUI 110 of the display 100 corresponding to the touch point TP based on the information about the touch point TP transmitted from the virtual surface touch sensing module 210 To the display (100). For example, the GUI control module 220 may send a signal to the display 100 to select the GUI 110. [

실시 예에 따라, GUI 제어 모듈(220)은 가상 면 터치 감지 모듈(210)에 의해 감지된 사용자의 터치 모션의 패턴(pattern)에 따라 GUI(110)를 서로 다르게 제어하기 위한 신호를 디스플레이(100)로 전송할 수 있다.The GUI control module 220 displays a signal for controlling the GUI 110 differently according to the pattern of the touch motion of the user sensed by the virtual surface touch sense module 210 on the display 100 ).

예컨대, 동일한 터치 포인트(TP)에 사용자의 터치 모션이 2회 반복하여 입력되는 경우, GUI 제어 모듈(220)은 GUI(100)를 더블 클릭하기 위한 신호를 디스플레이(100)로 전송할 수 있다.For example, when the user's touch motion is repeatedly input to the same touch point TP twice, the GUI control module 220 may transmit a signal to the display 100 to double-click the GUI 100. [

예컨대, 사용자의 터치 모션이 감지된 상태에서 터치 포인트(TP)가 연속적으로 이동하는 경우, GUI 제어 모듈(220)은 GUI(100)를 드래그(drag)하기 위한 신호를 디스플레이(100)로 전송할 수 있다.The GUI control module 220 can transmit a signal for dragging the GUI 100 to the display 100 when the touch point TP continuously moves in a state where the user's touch motion is detected have.

다른 실시 예에 따라, GUI 제어 모듈(220)은 가상 면 터치 감지 모듈(210)로부터 전송된 깊이(d)에 관한 정보에 따라 GUI(110)를 서로 다르게 제어하기 위한 신호를 디스플레이(100)로 전송할 수 있다.According to another embodiment, the GUI control module 220 may provide a signal to the display 100 to control the GUI 110 differently according to information about the depth d transmitted from the virtual surface touch sense module 210 Lt; / RTI >

가상 면 설정 모듈(230)은 사용자의 가상 면 설정 모션을 감지하고, 상기 가상 면 설정 모션에 따라 가상 면(300)을 설정 또는 정의할 수 있다.The virtual plane setting module 230 can detect the virtual plane setting motion of the user and set or define the virtual plane 300 according to the virtual plane setting motion.

실시 예에 따라, 가상 면 설정 모듈(230)은 사용자의 가상 면 설정 모션을 감지하기 위한 이미지 센서를 포함할 수 있다. 다른 실시 예에 따라, 가상 면 설정 모듈(230)은 면 터치 감지 모듈(210)과 이미지 센서를 공유할 수도 있다.According to an embodiment, the virtual plane setting module 230 may include an image sensor for sensing the virtual plane setting motion of the user. According to another embodiment, the virtual plane setting module 230 may share an image sensor with the surface touch sensing module 210.

상기 가상 면 설정 모션은 가상 면(300)을 설정 또는 정의하기 위해 사용자가 취할 수 있는 다양한 모션을 의미한다. 상기 가상 면 설정 모션은 도 4 내지 도 6을 참조하여 상세히 설명된다.The virtual plane setting motion refers to various motions that a user can take to set or define the virtual plane 300. [ The virtual plane setting motion will be described in detail with reference to Figs.

도 4는 도 1에 도시된 가상 면을 설정하는 방법의 일 실시 예를 설명하기 위한 도면이다. 도 5는 도 1에 도시된 가상 면을 설정하는 방법의 다른 실시 예를 설명하기 위한 도면이다. 도 6는 도 1에 도시된 가상 면을 설정하는 방법의 또 다른 실시 예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of a method of setting the virtual plane shown in FIG. 5 is a view for explaining another embodiment of the method for setting the virtual plane shown in Fig. FIG. 6 is a diagram for explaining another embodiment of the method for setting the virtual plane shown in FIG.

도 4를 참조하면, 사용자는 가상 면(300)의 모서리들 중의 적어도 두 개의 모서리들을 설정하기 위한 가상 면 설정 모션을 통하여 가상 면(300)을 설정 또는 정의할 수 있다. 상기 두 개의 모서리들은 서로 대각선 방향에 위치할 수 있다.4, a user may set or define a virtual plane 300 through a virtual plane motion to set at least two of the corners of the virtual plane 300. For example, The two corners may be positioned diagonally to each other.

이 경우, 왼손의 엄지 손가락과 오른손의 새끼 손가락에 의해 가상 면(300)의 세로 폭이 설정되고, 왼손의 새끼 손가락과 오른손의 엄지 손가락에 의해 가상 면(300)의 가로 폭이 설정될 수 있다.In this case, the vertical width of the virtual plane 300 is set by the thumb of the left hand and the little finger of the right hand, and the horizontal width of the virtual plane 300 can be set by the thumb of the left hand and the thumb of the right hand .

도 5를 참조하면, 가상 면 설정 모션은 입력 궤적(TR)을 가질 수 있으며, 가상 면 설정 모듈(230)은 입력 궤적(TR)을 이용하여 가상 면(300)을 설정 또는 정의할 수 있다.Referring to FIG. 5, the virtual plane setting motion may have an input trajectory TR, and the virtual plane setting module 230 may set or define the virtual plane 300 using the input trajectory TR.

이 경우, 가상 면 설정 모듈(230)은 입력 궤적(TR)의 시작점과 끝점을 모서리로 하는 가상 면(300)을 설정할 수 있다.In this case, the virtual plane setting module 230 can set the virtual plane 300 having the start point and the end point of the input trajectory TR as the corners.

도 5를 참조하면, 가상 면 설정 모션은 터치 모션을 활용하여 수행될 수도 있다.Referring to FIG. 5, the virtual plane setting motion may be performed using a touch motion.

터치 포인트들(TP1 내지 TP4) 각각은 사용자에 의한 터치 모션이 감지된 부분으로써, 가상 면 설정 모듈(230)은 터치 포인트들(TP1 내지 TP4)을 모서리로 하는 가상 면(300)을 설정 또는 정의할 수 있다. 실시 예에 따라, 두 개의 터치 포인트들을 이용하여 가상 면(300)을 설정할 수도 있으며, 본 발명의 범위가 가상 면(300)을 설정 또는 정의하기 위한 터치 포인트들의 개수에 의해 한정되는 것은 아니다.Each of the touch points TP1 to TP4 is a portion where a touch motion is sensed by the user and the virtual plane setting module 230 sets or defines a virtual plane 300 having the touch points TP1 to TP4 as corners. can do. According to an embodiment, the virtual surface 300 may be set using two touch points, and the scope of the present invention is not limited by the number of touch points for setting or defining the virtual surface 300.

도 7은 본 발명의 실시 예에 따른 터치 모션을 이용한 입력을 처리하는 방법의 플로우차트이다.7 is a flowchart of a method of processing input using touch motion according to an embodiment of the present invention.

도 1 내지 도 7을 참조하면, 가상 면 터치 감지 모듈(210)은 가상 면(300)에 대한 터치 모션을 감지할 수 있다(S10).Referring to FIGS. 1 to 7, the virtual surface touch sensing module 210 may sense a touch motion with respect to the virtual surface 300 (S10).

실시 예에 따라, S10 단계 이전에, 가상 면 설정 모듈(230)은 가상 면 설정 모션에 따라 가상 면(300)을 설정 또는 정의할 수 있다.According to an embodiment, before step S10, the virtual plane setting module 230 may set or define the virtual plane 300 according to the virtual plane setting motion.

GUI 제어 모듈(220)은 감지 결과에 따라, 디스플레이(100)에 디스플레이된 GUI(110)을 제어하기 위한 신호를 생성하고, GUI(110)는 상기 신호에 의해 제어될 수 있다(S12).The GUI control module 220 generates a signal for controlling the GUI 110 displayed on the display 100 according to the detection result, and the GUI 110 can be controlled by the signal (S12).

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10 : 터치 모션 입력 시스템
100 : 제어 대상 디스플레이
110 : GUI(graphical user interface)
200 : 터치 모션 입력 장치
300 : 가상 면10: Touch-motion input system
100: Control target display
110: graphical user interface (GUI)
200: Touch-motion input device
300: virtual face

Claims (11)

가상 면 터치 감지 모듈이, 제어 대상 디스플레이에 상응하는 가상 면에 대한 터치 모션(touch motion)을 감지하는 단계; 및
GUI(graphical user interface) 제어 모듈이, 감지 결과에 따라 상기 제어 대상 디스플레이의 GUI를 제어하는 단계를 포함하는 터치 모션을 이용한 입력을 처리하는 방법.Sensing a touch motion of a hypothetical surface touch sensing module with respect to a virtual surface corresponding to a control target display; And
Controlling a graphical user interface (GUI) control module to control a GUI of the controlled display according to a detection result. 제1항에 있어서, 상기 가상 면 터치 감지 모듈은,
상기 터치 모션이 상기 가상 면을 통과한 깊이에 기초하여 상기 터치 모션을 감지하는 터치 모션을 이용한 입력을 처리하는 방법.2. The touch sensing device of claim 1,
Wherein the touch motion is detected based on a depth of the virtual motion of the touch motion. 제2항에 있어서, 상기 GUI 제어 모듈은,
상기 깊이에 따라 상기 GUI를 서로 다르게 제어하는 터치 모션을 이용한 입력을 처리하는 방법.3. The system according to claim 2,
And controlling the GUI differently according to the depth. 제1항에 있어서,
상기 가상 면은 곡면 또는 구면인 터치 모션을 이용한 입력을 처리하는 방법.The method according to claim 1,
Wherein the virtual surface is a curved surface or a spherical surface. 제1항에 있어서, 상기 GUI 제어 모듈은,
감지된 상기 터치 모션의 패턴(pattern)에 따라 상기 디스플레이의 상기 GUI를 서로 다르게 제어하는 터치 모션을 이용한 입력을 처리하는 방법.The system according to claim 1, wherein the GUI control module comprises:
Wherein the GUI of the display is controlled differently according to the detected pattern of touch motions. 제1항에 있어서,
상기 가상 면의 제1좌표계의 제1좌표들 각각은 상기 제어 대상 디스플레이의 제2좌표계의 제2좌표들 각각과 일대일 대응되는 터치 모션을 이용한 입력을 처리하는 방법.The method according to claim 1,
Wherein each of the first coordinates of the first coordinate system of the virtual surface corresponds to one of the second coordinates of the second coordinate system of the control target display. 제6항에 있어서, 상기 GUI 제어 모듈은,
상기 제1좌표들 중 어느 하나의 제1좌표에 상응하는 상기 터치 모션이 감지된 경우, 상기 어느 하나의 제1좌표에 대응되는 제2좌표에 위치한 GUI가 선택되도록 제어하는 터치 모션을 이용한 입력을 처리하는 방법.7. The system of claim 6, wherein the GUI control module comprises:
When a touch motion corresponding to a first coordinate of any one of the first coordinates is sensed, a GUI located at a second coordinate corresponding to any one of the first coordinates is selected, How to process. 제1항에 있어서, 상기 터치 모션을 감지하는 단계 이전에,
가상 면 설정 모듈이, 사용자의 가상 면 설정 모션에 따라 상기 가상 면을 설정하는 단계를 더 포함하는 터치 모션을 이용한 입력을 처리하는 방법.The method of claim 1, further comprising: prior to sensing the touch motion,
Wherein the virtual plane setting module further comprises setting the virtual plane according to the virtual plane setting motion of the user. 제8항에 있어서, 상기 가상 면을 설정하는 단계는,
상기 가상 면 설정 모션에 따라 상기 가상 면의 모서리들 중의 적어도 두 개의 모서리들을 설정함으로써 상기 가상 면을 설정하는 터치 모션을 이용한 입력을 처리하는 방법.9. The method of claim 8, wherein the setting of the virtual plane comprises:
And setting the virtual plane by setting at least two edges of the corners of the virtual plane according to the virtual plane setting motion. 제8항에 있어서, 상기 가상 면을 설정하는 단계는,
사용자의 상기 터치 모션을 이용하여 상기 가상 면을 설정하는 터치 모션을 이용한 입력을 처리하는 방법.9. The method of claim 8, wherein the setting of the virtual plane comprises:
And processing the input using the touch motion to set the virtual plane using the touch motion of the user. 제8항에 있어서, 상기 가상 면을 설정하는 단계는,
사용자의 입력 궤적에 상응하는 상기 가상 면 설정 모션에 따라 상기 가상 면을 설정하는 터치 모션을 이용한 입력을 처리하는 방법.9. The method of claim 8, wherein the setting of the virtual plane comprises:
And setting the virtual plane according to the virtual plane setting motion corresponding to a user's input trajectory.
KR1020130031942A 2013-03-26 2013-03-26 Method for processing input by touch motion Ceased KR20140117067A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031942A KR20140117067A (en) 2013-03-26 2013-03-26 Method for processing input by touch motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031942A KR20140117067A (en) 2013-03-26 2013-03-26 Method for processing input by touch motion

Publications (1)

Publication Number Publication Date
KR20140117067A true KR20140117067A (en) 2014-10-07

Family

ID=51990534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031942A Ceased KR20140117067A (en) 2013-03-26 2013-03-26 Method for processing input by touch motion

Country Status (1)

Country Link
KR (1) KR20140117067A (en)

Similar Documents

Publication Publication Date Title
CN102541365B (en) System and method for generating multi-touch commands
US7411575B2 (en) Gesture recognition method and touch system incorporating the same
JP6333568B2 (en) Proximity motion recognition device using sensor and method using the device
US9977507B2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
US8339359B2 (en) Method and system for operating electric apparatus
US9020194B2 (en) Systems and methods for performing a device action based on a detected gesture
CN103809733B (en) Human-computer interaction system and method
US11054896B1 (en) Displaying virtual interaction objects to a user on a reference plane
KR102347248B1 (en) Method and apparatus for recognizing touch gesture
CN102270037B (en) Freehand man-machine interface operating system and method thereof
JP6711817B2 (en) Information processing apparatus, control method thereof, program, and storage medium
US20160349925A1 (en) Information processing apparatus for recognizing user operation based on an image
JP2012027515A (en) Input method and input device
CN103853339A (en) Input device and electronic device
US9122346B2 (en) Methods for input-output calibration and image rendering
CN104978018B (en) Touch system and touch method
JP2014123316A (en) Information processing system, information processing device, detection device, information processing method, detection method, and computer program
US9940900B2 (en) Peripheral electronic device and method for using same
KR101360322B1 (en) Apparatus and method for controlling electric boards using multiple hand shape detection and tracking
JP2013109538A (en) Input method and device
KR20140117067A (en) Method for processing input by touch motion
CN104102332B (en) Display device and its control system and method
TWI444875B (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and imaging sensor
US20150268734A1 (en) Gesture recognition method for motion sensing detector
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130326

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140228

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20140818

Patent event code: PE09021S02D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20150204

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20140818

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20140228

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I