KR20200065732A - Apparatus and method for providing user-defined shape pattern recognition interface - Google Patents
Apparatus and method for providing user-defined shape pattern recognition interface Download PDFInfo
- Publication number
- KR20200065732A KR20200065732A KR1020180152474A KR20180152474A KR20200065732A KR 20200065732 A KR20200065732 A KR 20200065732A KR 1020180152474 A KR1020180152474 A KR 1020180152474A KR 20180152474 A KR20180152474 A KR 20180152474A KR 20200065732 A KR20200065732 A KR 20200065732A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- input information
- control information
- smart
- user input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치에 관한 것이다. 본 발명은 사용자 입력 정보가 센싱되면, 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 전송하는 적어도 하나 이상의 스마트 단말; 및 상기 스마트 단말로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하고, 사용자 입력 정보에 대응되는 기기의 기능 제어를 매칭하여 등록하는 스마트 디스플레이 기기를 포함한다.The present invention relates to a device for providing a user-defined shape pattern recognition interface. The present invention, when the user input information is sensed, at least one smart terminal for transmitting by including the user input information in the user-defined control information; And a smart display device that determines user input information included in the user-defined control information when the user-defined base control information is input from the smart terminal, and matches and registers function control of a device corresponding to the user input information. do.
Description
본 발명은 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치에 관한 것으로, 더욱 상세하게는 스마트 단말의 센서로부터 사용자의 손동작 및 모양 패턴 이미지를 입력받아서 스마트 디스플레이 기기에 이벤트를 전달하여 상호작용할 수 있는 손동작 포인팅 인터페이스 기술과 사용자가 정의한 모양 패턴으로 이벤트를 만들고, 상호작용할 수 있도록 추가 확장 가능한 사용자 정의 기반 모양 패턴 인식 인터페이스 기술에 관한 것이다. The present invention relates to an apparatus for providing a user-defined shape pattern recognition interface, and more specifically, a hand gesture pointing interface capable of receiving a user's hand gesture and shape pattern image from a sensor of a smart terminal and transmitting an event to the smart display device to interact. It is related to technology and user-defined shape patterns, and additionally expandable user-defined shape pattern recognition interface technology for interaction.
최근까지 가상환경의 스마트 디스플레이(스마트 TV, 데스크탑 PC 등)와 스마트 단말(핸드폰, 립모션 등)의 교육, 게임 등 연동형 제스처 인식 인터페이스는 손동작과 손가락을 사용한 인터페이스에 제한되어 있었다. Until recently, interlocked gesture recognition interfaces such as education and games of smart displays (smart TVs, desktop PCs, etc.) in virtual environments and smart terminals (cell phones, lip motions, etc.) were limited to interfaces using hand gestures and fingers.
이와 같이, 손과 손가락에 제한된 제스처 인터페이스의 한계로 인해 생성할 수 있는 제스처 이벤트 수가 적고, 손 범위로 제한한 동작 유사성으로 인해 제스처 이벤트 인식의 오류 빈도가 높은 문제점이 있었다. As such, there is a problem in that the number of gesture events that can be generated is limited due to the limitation of the gesture interface limited to the hands and fingers, and the error frequency of gesture event recognition is high due to the similarity of motion limited to the hand range.
또한, 종래의 손동작 제스처 인식 인터페이스는 이벤트를 발생시키는 동작 범위가 손과 손가락으로 제한되어 있어서 손동작의 개수와 그 조합만으로 이루어져 있다. In addition, in the conventional gesture gesture recognition interface, the range of motion for generating an event is limited to hands and fingers, and thus only consists of the number of gestures and the combination thereof.
손동작과 손가락에 기반한 손동작은 개수가 적고, 손 포즈의 조합은 그 모양이 비슷하고 복잡하여 사용자가 기억하고 사용하기에는 불편한 점이 많고, 인식 오류 빈도도 높은 문제점이 있다. The number of hand gestures and finger-based hand gestures is small, and the combination of hand poses is similar in shape and complicated, so there are many inconveniences for users to remember and use, and there is a problem of frequent recognition errors.
본 발명은 종래 문제점을 해결하기 위해 안출된 것으로, 스마트 디스플레이스 기기에서 모션 센서를 탑재한 스마트 단말을 활용하여 비접촉식으로 손가락 제스처 인식 인터페이스를 적용할 때 공간 환경의 디스플레이에서 다양한 사용자 정의의 모양 패턴으로 보다 쉽고 직관적인 제어를 가능하게 하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치를 제공하는데 있다. The present invention has been devised to solve the conventional problems, and when applying a finger gesture recognition interface in a non-contact manner by utilizing a smart terminal equipped with a motion sensor in a smart displays device, a variety of user-defined shape patterns are displayed in a display in a spatial environment. It is to provide an apparatus for providing a user-defined shape pattern recognition interface that enables easier and more intuitive control.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치는 사용자 입력 정보가 센싱되면, 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 전송하는 적어도 하나 이상의 스마트 단말; 및 상기 스마트 단말로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하고, 그에 따른 기기의 기능 제어를 수행하는 스마트 디스플레이 기기를 포함한다. The apparatus for providing a user-defined based shape pattern recognition interface according to an embodiment of the present invention for achieving the above object includes at least one smart terminal that transmits by including user input information in the user-defined control information when the user input information is sensed. ; And a smart display device that determines user input information included in the user-defined control information when the user-defined control information is input from the smart terminal, and performs function control of the device.
그리고 상기 스마트 단말은, 사용자의 수행 정보를 센싱하는 센싱부; 상기 센싱된 수행 정보로부터 사용자 입력 정보를 검출하는 입력정보 검출부; 상기 센싱한 사용자 입력 정보를 사용자 정의 기반 제어정보에 매칭시키는 제어정보 매칭부; 상기 매칭된 사용자 정의 기반 제어정보를 스마트 디스플레이 기기에 전송하는 제어정보 전송부; 및 상기 매칭된 사용자 정의 기반 제어정보를 사용자 입력 정보와 함께 저장하는 저장부를 포함한다. In addition, the smart terminal includes a sensing unit that senses user performance information; An input information detector configured to detect user input information from the sensed performance information; A control information matching unit matching the sensed user input information to user-defined control information; A control information transmitting unit transmitting the matched user-defined control information to a smart display device; And a storage unit that stores the matched user-defined control information together with user input information.
또한, 상기 센싱부는 x, y 및 z축의 회전 값 또는 회전 크기 값을 포함하는 가속도 데이터를 센싱하는 모션 센서인 것이 바람직하다. In addition, the sensing unit is preferably a motion sensor that senses acceleration data including rotational values or rotational magnitude values of the x, y, and z axes.
한편, 상기 센싱부는, 실시간으로 사용자의 손동작 및 모양 패턴 이미지를 입력받은 후 배경 이미지와 손 이미지를 샘플링하고 동작을 인식하는 깊이 카메라를 포함할 수 있다. Meanwhile, the sensing unit may include a depth camera that samples the background image and the hand image and recognizes the operation after receiving the user's hand and shape pattern images in real time.
상기 스마트 디스플레이 기기는, 상기 스마트 단말로부터 제공되는 3축 회전 값을 디스플레이 내 모션 이동 값으로 변경하기 위해 변환계수를 통해 디스플레이 화면 크기에 대응되도록 제어한다. The smart display device controls to correspond to the display screen size through a conversion factor to change the 3-axis rotation value provided from the smart terminal to a motion movement value in the display.
그리고 상기 스마트 디스플레이는, 현재 이동 값 대비 이전 이동 값에 칼만 필터를 적용할 수 있다. In addition, the smart display may apply a Kalman filter to a previous movement value compared to a current movement value.
또한, 상기 스마트 디스플레이 기기는, 뎁스 카메라로부터 포인터의 움직임 데이터를 생성하고, 생성된 움직임 데이터를 이용하여 제스처 분석을 수행할 수 있다. In addition, the smart display device may generate motion data of the pointer from the depth camera, and perform gesture analysis using the generated motion data.
본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 방법은 스마트 단말과 스마트 디스플레이 기기의 상호 연동형 사용자 정의 기반 제어정보를 인식하는 방법에 있어서, 스마트 단말이 사용자 입력 정보를 센싱하는 단계; 상기 스마트 단말이 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 상기 스마트 디스플레이기기로 전송하는 단계; 및 스마트 디스플레이 기기가 상기 스마트 단말로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하고, 그에 따른 기기의 기능 제어를 수행하는 단계;를 포함한다. A method for providing a user-defined based shape pattern recognition interface according to an embodiment of the present invention includes: a method for recognizing user-defined control information based on interworking between a smart terminal and a smart display device, the smart terminal sensing user input information; ; The smart terminal including user input information in user-defined control information and transmitting it to the smart display device; And when the smart display device inputs user-defined control information from the smart terminal, determines user input information included in the user-defined control information and performs function control of the device accordingly.
본 발명의 일 실시예에 따르면, 스마트 디스플레이용 교육, 게임, 엔터테인먼트 등의 콘텐츠 개발에서 스마트 디스플레이 기기와 스마트 단말이 서로 연동하여 구동할 수 있도록 함으로써, 스마트 단말에서 발생하는 다양한 컨트롤 이벤트가 스마트 디스플레이에 전달되게 하기 위해 모바일 디바이스를 페어링하고, 사용자의 손동작 뿐만 아니라 사용자가 직접 정의한 모양 패턴으로 실시간 동작을 인식하는 인터페이스는 상호작용이 많은 콘텐츠를 제어할 수 있는 효과가 있다. According to an embodiment of the present invention, by enabling a smart display device and a smart terminal to operate in conjunction with each other in content development such as education, games, and entertainment for smart display, various control events occurring in the smart terminal are displayed on the smart display. The interface for recognizing the real-time motion in a shape pattern defined by the user as well as the user's hand gesture to pair the mobile device in order to be delivered has the effect of controlling a lot of interactive content.
또한, 본 발명의 일 실시예에 따르면, 스마트 단말의 전면 카메라로부터 실시간으로 사용자의 손동작 및 모양 패턴 이미지를 입력받아서 배경 이미지와 손 이미지를 샘플링하고, 동작을 인식하여 이벤트를 전송하는 인터페이스 기술로, 복잡한 장치나 서비스에 광범위한 상호 작용이 가능하며, 사용자가 선호하는 모양으로 이벤트를 정의하고 입력하므로, 쉽고 직관적이어서 체감형 교육, 게임, 엔터테인먼트 등 컨텐츠 제작에 활용도가 높은 효과가 있다. In addition, according to an embodiment of the present invention, an interface technology for receiving a user's hand gesture and shape pattern image in real time from a front camera of a smart terminal, sampling a background image and a hand image, and recognizing the operation to transmit an event, A wide range of interactions are possible with complex devices or services, and since events are defined and entered in a user's preferred form, it is easy and intuitive, making it highly effective in creating content such as tangible education, games, and entertainment.
본 발명의 일 실시예에 따르면, 스마트 디스플레이와 모바일 디바이스간에 연동형 콘텐츠를 사용자가 선호하는 인터페이스로 보다 쉽고 다양하고 신속하게 상호작용하기 위하여 모션 센서를 탑재한 스마트 단말을 활용할 수 있는 장점이 있다. According to an embodiment of the present invention, there is an advantage that a smart terminal equipped with a motion sensor can be utilized to easily and variously and quickly interact with interlocked content between a smart display and a mobile device with a user's preferred interface.
또한, 전면 카메라로부터 입력되는 실시간 사용자의 손동작 이벤트에 사용자 정의의 모양 패턴 인터페이스를 추가 확장하여 보다 쉽고 직관적으로 스마트 디스플레이의 교육, 게임, 엔터테인먼트 등의 콘텐츠를 제어할 수 있는 장점이 있다.In addition, there is an advantage in that it is possible to more easily and intuitively control contents of education, games, entertainment, etc. of a smart display by additionally extending a user-defined shape pattern interface to a real-time user gesture event input from the front camera.
도 1은 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치를 설명하기 위한 구성 블록도.
도 2는 도 1의 스마트 단말의 세부 구성을 설명하기 위한 구성 블록도.
도 3은 본 발명의 일 실시예에서의 터치를 통해 입력되는 사용자 입력 정보를 설명하기 위한 참고도.
도 4는 본 발명의 다른 실시예의 센싱부를 통해 입력되는 사용자 입력 정보를 설명하기 위한 참고도.
도 5는 본 발명의 다른 실시예에서 스마트 단말과 스마트 디스플레이 기기의 상호 연동 과정을 설명하기 위한 참고도.
도 6은 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 방법을 설명하기 위한 순서도이다. 1 is a block diagram illustrating a device for providing a user-defined shape pattern recognition interface according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of the smart terminal of FIG. 1.
3 is a reference diagram for describing user input information input through a touch in an embodiment of the present invention.
4 is a reference diagram for describing user input information input through a sensing unit according to another embodiment of the present invention.
5 is a reference diagram for explaining a process of interworking between a smart terminal and a smart display device in another embodiment of the present invention.
6 is a flowchart illustrating a method for providing a user-defined based shape pattern recognition interface according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and the ordinary knowledge in the technical field to which the present invention pertains. It is provided to fully inform the holder of the scope of the invention, and the invention is only defined by the scope of the claims. Meanwhile, the terms used in the present specification are for explaining the embodiments and are not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, "comprises" and/or "comprising" refers to the components, steps, operations and/or elements mentioned above, the presence of one or more other components, steps, operations and/or elements. Or do not exclude additions.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치를 설명하기 위한 구성 블록도이다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. 1 is a block diagram illustrating a user-defined shape pattern recognition interface providing apparatus according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치는 적어도 하나 이상의 스마트 단말(100)과 스마트 디스플레이 기기(200)로 이루어진다. As illustrated in FIG. 1, an apparatus for providing a user-defined based shape pattern recognition interface according to an embodiment of the present invention includes at least one
이러한, 스마트 단말(100)과 스마트 디스플레이 기기(200)는 스마트 단말(100)에서 발생한 다양한 컨트롤 이벤트 즉, 사용자 입력 정보가 스마트 디스플레이 기기(200)에 전달되게 하기 위해 페어링되는 것이 바람직하다. The
스마트 단말(100)은 사용자 입력 정보가 센싱되면, 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 전송한다. 본 실시예에서의 스마트 단말(100)은 스마트폰인 것이 바람직하나 이를 한정하는 것은 아니다. When the user input information is sensed, the
도 2는 도 1의 스마트 단말(100)의 세부 구성을 설명하기 위한 구성 블록도이다. FIG. 2 is a block diagram illustrating a detailed configuration of the
이를 위해, 스마트 단말(100)은 도 2에 도시된 바와 같이, 센싱부(110), 입력정보 검출부(120), 제어정보 매칭부(130), 제어정보 전송부(140) 및 저장부(150)를 포함한다. To this end, the
센싱부(110)는 사용자의 수행 정보를 센싱하는 역할을 한다. 이때, 본 발명의 일 실시예에서의 센싱부(110)는 터치스크린인 것이 바람직하나 마우스 등과 같은 입력 수단이 이용될 수도 있다. The
그리고 입력정보 검출부(120)는 상기 센싱된 수행 정보로부터 사용자 입력 정보를 검출한다. 즉, 입력정보 검출부(120)는 센싱부(110)를 통해 사용자의 수행 정보가 센싱되면, 센싱된 수행 정보가 어떤 사용자 입력 정보인지를 판단한다. 이를 위해, 사용자 입력 정보는 저장부(150)에 기 저장되어 관리되는 것이 바람직하며, 입력정보 검출부(120)는 입력된 사용자 입력 정보를 상기 저장부에 저장된 사용자 입력 정보와 비교함으로써 판단할 수 있다. In addition, the input
한편, 입력정보 검출부(120)는 미리 정의된 모양 데이터 패턴(삼각형, 사각형, 원, 체크 등) 템플릿을 기준으로, 사용자가 터치를 통해 입력한 사용자 입력 정보(모양 패턴 데이터)와 유사성을 계산하여 판단하는 최근접 이웃 분류(Nearest Neighbor Classification) 방식의 알고리즘이 이용되는 것이 바람직하다. On the other hand, the
여기서 사용자 입력 정보는 모양 패턴 데이터로써 하기의 [수학식 1]에서와 같이 패턴 인식 템플릿과 기하학의 득점 함수(euclidean scoring function)에 입력되어 분류된다. Here, the user input information is classified into pattern pattern data as input to the pattern recognition template and the euclidean scoring function as shown in [Equation 1] below.
여기서, p는 입력 데이터의 집합이고, q는 템플릿 데이터의 집합이다. Here, p is a set of input data, and q is a set of template data.
이와 같이, 모양 패턴 인식은 템플릿 매칭 기법을 사용하는데 인식 대상이 되는 모양 패턴(삼각형, 사각형, 원, 체크 등) 포인트 데이터를 미리 계산하여 저장부에 저장한다. 이후, 스마트 단말(100)은 사용자가 센싱부(110)인 터치스크린의 정해진 구역 안에서 화면을 터치함으로써 인식할 모양 패턴 데이터를 입력받을 수 있다. As described above, the shape pattern recognition uses a template matching technique, and pre-calculates shape pattern (triangle, square, circle, check, etc.) point data to be recognized and stores it in the storage unit. Thereafter, the
한편, 사용자 입력 정보는 사용자의 터치에 따라 입력되는 다양한 모양 또는 패턴 정보인 것이 바람직하다. 본 실시예에서의 사용자 입력 정보는 도 3에 도시된 바와 같이, 원(a), 세모(b), 체크(c), 및 네모(d) 형태의 모양 또는 패턴 터치 정보이나, 그 형태 및 패턴을 한정하는 것은 아니다. Meanwhile, the user input information is preferably various shapes or pattern information input according to a user's touch. As illustrated in FIG. 3, the user input information in this embodiment is the shape or pattern touch information in the form of circle (a), triangle (b), check (c), and square (d), but the form and pattern It is not limited.
제어정보 매칭부(130)는 상기 검출된 사용자 입력 정보를 사용자 정의 기반 제어정보에 매칭시키는 역할을 한다. 이렇게 매칭된 사용자 정의 기반 제어정보는 저장부(150)에 저장됨으로써, 추후 사용자가 입력하는 사용자 입력 정보를 판단할 수 있다. 여기서, 사용자 정의 기반 제어정보는 스마트 디스플레이 기기(200)의 기능 정보인 것이 바람직하고, 사용자 정의 기반 제어정보는 스마트 디스플레이 기기(200)로부터 제공받는 것이 바람직하다. The control
제어정보 전송부(140)는 상기 매칭된 사용자 정의 기반 제어정보를 스마트 디스플레이 기기(200)에 전송하는 역할을 한다. 이때, 제어정보 전송부(140)는 스마트 디스플레이 기기(200)와 다양한 통신 수단을 이용할 수 있다. The control
저장부(150)는 상기 매칭된 사용자 정의 기반 제어정보를 사용자 입력 정보와 함께 저장한다. 즉, 저장부(150)에 저장되는 사용자 입력 정보는 화면 포인트의 집합의 형태로 저장되고, 각 템플릿과 기하학의 득점을 계산함으로써, 가장 유사한 패턴을 검출할 수 있다. 이때, 패턴의 회전을 고려하기 위해 -45도와 +45도로 입력 패턴을 회전하여 스코어를 계산하고, 마지막으로 유사성이 90% 이상이면 해당 템플릿과 일치하는 패턴으로 판단한다. The
그리고 스마트 디스플레이 기기(200)는 상기 스마트 단말(100)로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하고, 상기 스마트 디스플레이 기기가 사용자 입력 정보에 대응되는 기기의 기능 제어를 매칭하여 등록한다.Further, when the user-defined control information is input from the
본 발명의 일 실시예에 따르면, 스마트 단말을 통해 사용자의 다양한 사용자 입력 정보를 센싱하고, 그 센싱된 사용자 입력 정보를 사용자 정의 기반 제어정보에 매칭하여 스마트 디스플레이 기기에 전달함으로써, 사용자 별 스마트 디스플레이 기기의 기능 제어를 수행할 수 있는 효과가 있다. According to an embodiment of the present invention, by sensing various user input information of a user through a smart terminal, and matching the sensed user input information to a user-defined control information, and transmitting it to a smart display device, a smart display device for each user There is an effect that can perform the function control of.
이하, 하기에서는 본 발명의 다른 실시예에서의 스마트 단말(100)은 일 실시예에서와 달리, 센싱부(110)가 도 4의 (a)에 도시된 같이 x, y 및 z축의 크기를 포함하는 가속도 데이터를 센싱하거나 도 4의 (b)에 도시된 바와 같이 회전 값을 포함하는 회전 데이터를 센싱하는 모션 센서로 이루어진다. Hereinafter, the
이에, 스마트 단말(100)은 센서부(110)를 통해 로테이션 벡터 값을 센싱한다. Accordingly, the
그러면, 입력정보 검출부(120)는 각 축을 기준으로 스마트 단말(100)의 회전 크기를 각도로 변경한다. 한편, 스마트 단말(100)의 기종에 따라 iOS 단말은 모션 센서의 회전 크기 데이터(최소 -1.5 ~ +1.5)를 이용하고, 안드로이드 단말은 모션 센서의 로테이션 벡터 값(최소 -180 ~ 최대 180)을 이용한다. Then, the input
한편, 본 발명의 일 실시예에 따른 스마트 디스플레이 기기(200)는 스마트 단말(100)로부터 제공되는 로테이션 벡터 값 중 Z축과 X축의 회전각도 값을 이용하여 디스플레이상 포인터의 움직임 값을 계산할 수 있다. 즉, 스마트 디스플레이 기기(200)는 뎁스 카메라로부터 포인터의 움직임 데이터를 생성하고, 생성된 움직임 데이터를 이용하여 제스처 분석을 수행한다. Meanwhile, the
본 발명의 일 실시예에서 Z축의 회전 크기는 도 5의 (a)에 도시된 바와 같이, 스마트 디스플레이 기기(200)의 가로 방향의 움직임 데이터(WM)를, X축의 회전 크기는 도 5의 (b)에 도시된 바와 같이, 스마트 디스플레이 기기(200)의 세로 방향의 움직임 데이터(HM)에 대응되며, Y축 회전의 크기는 도 5의 (c)에 도시된 바와 같이, 스마트 디스플레이 기기(200)의 대각선 방향 움직임 데이터(DM)에 대응되는 것으로 설명하고 있으나, 스마트 단말(100)의 회전 값에 따라 스마트 디스플레이 기기(200)의 움직임 데이터의 이동을 한정하지 않고 사용자 정의에 따라 다양한 기능에 이용될 수 있다. In one embodiment of the present invention, as shown in (a) of FIG. 5 (a), the rotational size of the Z-axis represents motion data WM in the horizontal direction of the
이때, 스마트 디스플레이 기기(200)는 상기 스마트 단말(100)로부터 제공되는 3축 회전 값을 디스플레이 내 모션 이동 값으로 변경하기 위해 변환계수를 통해 디스플레이 화면 크기에 대응되도록 제어하는 것이 바람직하다. At this time, the
그리고 상기 스마트 디스플레이 기기는 현재 이동 값 대비 이전 이동 값에 칼만 필터를 적용하는 것이 바람직하다.In addition, the smart display device preferably applies a Kalman filter to a previous movement value compared to a current movement value.
한편, 스마트 디스플레이 기기(200)는 스마트 단말(100)말 단위로 사용자 입력 정보와 매칭된 사용자 정의 기반 제어정보를 관리할 수 있다. Meanwhile, the
이와 같이, 스마트 단말(100) 단위로 사용자 입력 정보와 매칭된 사용자 정의 기반 제어정보를 관리함으로써, 스마트 단말을 사용하는 사용자의 정의에 따른 사용자별 스마트 디스플레이 기기의 기능 제어를 수행할 수 있는 장점이 있다. As described above, by managing user-based control information matching the user input information in units of the
뿐만 아니라, 본 발명의 다른 실시예에서의 센싱부(110)는 실시간으로 사용자의 손동작 및 모양 패턴 이미지와 같은 사용자 입력 정보를 입력받은 후 배경 이미지와 손 이미지를 샘플링하고 동작을 인식하는 깊이 카메라가 이용될 수도 있다. In addition, in another embodiment of the present invention, the
이와 같이, 본 발명의 다른 실시예에 따르면, 사용자의 손 동작 뿐만 아니라 사용자가 직접 정의한 모양 패턴으로 실시간 동작을 인식함으로써, 상호작용이 많은 콘텐츠를 제어하기에 매우 효과적이다. As described above, according to another embodiment of the present invention, by real-time motion recognition in a shape pattern defined by the user as well as the user's hand motion, it is very effective to control interactive content.
이하, 하기에서는 본 발명의 일 실시예에 따른 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 방법에 대하여 도 6을 참조하여 설명하기로 한다. Hereinafter, a method for providing a user defined base shape pattern recognition interface according to an embodiment of the present invention will be described with reference to FIG. 6.
이러한, 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 방법은 스마트 단말(100)과 스마트 디스플레이 기기(200)의 상호 연동에 의해 수행된다. The method for providing the user-defined shape pattern recognition interface is performed by interworking between the
먼저, 스마트 단말(100)이 사용자 입력 정보를 센싱한다(S100). First, the
이어서, 스마트 단말(100)이 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 상기 스마트 디스플레이 기기(200)로 전송한다(S200). Subsequently, the
이후, 스마트 단말(100)로부터 사용자 정의 기반 제어정보가 입력되면, 스마트 디스플레이 기기(200)가 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단(S300)하고, 그 사용자 입력 정보에 대응되는 기기의 기능 제어를 매칭하여 등록한다. Thereafter, when user-defined control information is input from the
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.As described above, the configuration of the present invention has been described in detail with reference to the accompanying drawings, but this is only an example, and those skilled in the art to which the present invention pertains have various modifications and changes within the scope of the technical spirit of the present invention. Of course this is possible. Therefore, the protection scope of the present invention should not be limited to the above-described embodiments and should be defined by the following claims.
100 : 스마트 단말 110 : 센싱부
120 : 입력정보 검출부 130 : 제어정보 매칭부
140 : 제어정보 전송부 150 : 저장부
200 : 스마트 디스플레이 기기 100: smart terminal 110: sensing unit
120: input information detection unit 130: control information matching unit
140: control information transmission unit 150: storage unit
200: smart display device
Claims (8)
상기 스마트 단말로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하고, 사용자 입력 정보에 대응되는 기기의 기능 제어를 매칭하여 등록하는 스마트 디스플레이 기기;를 포함하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
When the user input information is sensed, at least one smart terminal for transmitting by including the user input information in the user-defined control information; And
Includes a smart display device for determining user input information included in the user-defined control information and matching and registering function control of a device corresponding to the user input information when user-defined control information is input from the smart terminal. Device that provides a custom-based shape pattern recognition interface.
상기 스마트 단말은,
사용자의 수행 정보를 센싱하는 센싱부;
상기 센싱된 수행 정보로부터 사용자 입력 정보를 검출하는 입력정보 검출부;
상기 센싱한 사용자 입력 정보를 사용자 정의 기반 제어정보에 매칭시키는 제어정보 매칭부;
상기 매칭된 사용자 정의 기반 제어정보를 스마트 디스플레이 기기에 전송하는 제어정보 전송부; 및
상기 매칭된 사용자 정의 기반 제어정보를 사용자 입력 정보와 함께 저장하는 저장부;를 포함하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
According to claim 1,
The smart terminal,
A sensing unit that senses user performance information;
An input information detector configured to detect user input information from the sensed performance information;
A control information matching unit matching the sensed user input information to user-defined control information;
A control information transmitting unit transmitting the matched user-defined control information to a smart display device; And
And a storage unit that stores the matched user-defined control information together with user input information.
상기 센싱부는,
x, y 및 z축의 회전 값 또는 회전 크기 값을 포함하는 가속도 데이터를 센싱하는 모션 센서인 것을 특징으로 하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
According to claim 2,
The sensing unit,
Device for providing a user-defined shape pattern recognition interface, which is a motion sensor that senses acceleration data including rotational values or rotational magnitude values of the x, y, and z axes.
상기 센싱부는,
실시간으로 사용자의 손동작 및 모양 패턴 이미지를 입력받은 후 배경 이미지와 손 이미지를 샘플링하고 동작을 인식하는 깊이 카메라인 것을 특징으로 하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
According to claim 2,
The sensing unit,
A device for providing a user-defined shape pattern recognition interface, which is a depth camera that samples a background image and a hand image and recognizes the motion after receiving the user's hand gesture and shape pattern images in real time.
상기 스마트 디스플레이 기기는,
상기 스마트 단말로부터 제공되는 3축 회전 값을 디스플레이 내 모션 이동 값으로 변경하기 위해 변환계수를 통해 디스플레이 화면 크기에 대응되도록 제어하는 것인 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
According to claim 3,
The smart display device,
A device for providing a user-defined based shape pattern recognition interface that controls the 3-axis rotation value provided from the smart terminal to correspond to the display screen size through a conversion factor to change the motion movement value in the display.
상기 스마트 디스플레이는,
현재 이동 값 대비 이전 이동 값에 칼만 필터를 적용하는 것인 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
The method of claim 5,
The smart display,
Apparatus for providing a user-defined shape pattern recognition interface that applies a Kalman filter to a previous shift value relative to a current shift value.
상기 스마트 디스플레이 기기는,
뎁스 카메라로부터 포인터의 움직임 데이터를 생성하고, 생성된 움직임 데이터를 이용하여 제스처 분석을 수행하는 것을 특징으로 하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치.
According to claim 1,
The smart display device,
Apparatus for providing a user-defined shape pattern recognition interface, characterized by generating motion data of a pointer from a depth camera and performing gesture analysis using the generated motion data.
스마트 단말이 사용자 입력 정보를 센싱하는 단계;
상기 스마트 단말이 사용자 정의 기반 제어정보에 사용자 입력 정보를 포함시켜 상기 스마트 디스플레이기기로 전송하는 단계;
스마트 디스플레이 기기가 상기 스마트 단말로부터 사용자 정의 기반 제어정보가 입력되면, 상기 사용자 정의 기반 제어정보에 포함된 사용자 입력 정보를 판단하는 단계; 및
상기 스마트 디스플레이 기기가 사용자 입력 정보에 대응되는 기기의 기능 제어를 매칭하여 등록하는 단계;를 수행하는 단계;를 포함하는 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 방법.
In the method for recognizing the interlocking user-defined control information based on the interaction between the smart terminal and the smart display device,
Sensing, by the smart terminal, user input information;
The smart terminal including user input information in user-defined control information and transmitting it to the smart display device;
When a smart display device inputs user-defined control information from the smart terminal, determining user input information included in the user-defined control information; And
A method of providing a user defined base shape pattern recognition interface, comprising: performing; registering and matching the functional control of the device corresponding to the user input information by the smart display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180152474A KR20200065732A (en) | 2018-11-30 | 2018-11-30 | Apparatus and method for providing user-defined shape pattern recognition interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180152474A KR20200065732A (en) | 2018-11-30 | 2018-11-30 | Apparatus and method for providing user-defined shape pattern recognition interface |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200065732A true KR20200065732A (en) | 2020-06-09 |
Family
ID=71082205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180152474A Withdrawn KR20200065732A (en) | 2018-11-30 | 2018-11-30 | Apparatus and method for providing user-defined shape pattern recognition interface |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200065732A (en) |
-
2018
- 2018-11-30 KR KR1020180152474A patent/KR20200065732A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9841827B2 (en) | Command of a device by gesture emulation of touch gestures | |
CN102810008B (en) | A kind of air input, method and input collecting device in the air | |
CN108845668B (en) | Human-computer interaction system and method | |
US9538147B2 (en) | Method and system for determining proper positioning of an object | |
JP2020052991A (en) | Gesture recognition-based interactive display method and device | |
US20150062004A1 (en) | Method and System Enabling Natural User Interface Gestures with an Electronic System | |
US20140317576A1 (en) | Method and system for responding to user's selection gesture of object displayed in three dimensions | |
US20150220158A1 (en) | Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion | |
EP2790089A1 (en) | Portable device and method for providing non-contact interface | |
US10296096B2 (en) | Operation recognition device and operation recognition method | |
CN104081307A (en) | Image processing apparatus, image processing method, and program | |
US20170003762A1 (en) | Systems and methods for text entry | |
JPWO2012011263A1 (en) | Gesture input device and gesture input method | |
JP2004280834A (en) | Motion recognition system using virtual writing plane and its recognition method | |
KR20140060818A (en) | Remote controller and display apparatus, control method thereof | |
KR101392936B1 (en) | User Customizable Interface System and Implementing Method thereof | |
WO2021004413A1 (en) | Handheld input device and blanking control method and apparatus for indication icon of handheld input device | |
CN106598422B (en) | hybrid control method, control system and electronic equipment | |
CN113569635B (en) | Gesture recognition method and system | |
KR101564089B1 (en) | Presentation Execution system using Gesture recognition. | |
CN105630204A (en) | Mouse simulation system and method | |
KR20200065732A (en) | Apparatus and method for providing user-defined shape pattern recognition interface | |
KR102322968B1 (en) | a short key instruction device using finger gestures and the short key instruction method using thereof | |
CN105302310B (en) | A kind of gesture identifying device, system and method | |
KR20120016379A (en) | Object control device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181130 |
|
PG1501 | Laying open of application | ||
PC1203 | Withdrawal of no request for examination |