KR101116689B1 - Apparatus and method for outputting an information based on dot-code using gesture recognition - Google Patents
Apparatus and method for outputting an information based on dot-code using gesture recognition Download PDFInfo
- Publication number
- KR101116689B1 KR101116689B1 KR1020100014746A KR20100014746A KR101116689B1 KR 101116689 B1 KR101116689 B1 KR 101116689B1 KR 1020100014746 A KR1020100014746 A KR 1020100014746A KR 20100014746 A KR20100014746 A KR 20100014746A KR 101116689 B1 KR101116689 B1 KR 101116689B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- specific
- dot code
- menu
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 학습용이나 교육용, 완구용 등의 인쇄물 상에서, 사용자가 스캐너 기능의 도트코드 장치를 이용해 특정 범위를 지정하면서 인쇄물 상에서 도트코드 장치로 특정 제스처를 하면, 그 특정 제스처에 따라 특정 범위 내 도트코드 기반 정보를 문자나 음성 또는 영상으로 출력하거나 사전 기능이나 번역 기능 등 특정 기능을 통해 출력할 수 있도록 된, 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치에 관한 것이다.
본 발명은 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물 상에서, 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처 등의 제1 제스처(Gesture)로 특정 메뉴를 선택하고, 밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처 등의 제2 제스처로 특정 범위를 설정하며, 특정 범위가 끝나는 부분에서 인쇄물 상에서 떼어내는 제스처, 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처 등의 제3 제스처에 따라 특정 범위 내 도트코드 기반 정보를 음성출력 메뉴나 사전 기능 메뉴, 번역 기능 메뉴 등의 특정 메뉴의 기능에 따라 출력하는 것을 특징으로 한다.
본 발명에 의하면, 텍스트 정보가 도트코드와 함께 인쇄된 학습용이나 교육용, 완구용 등의 인쇄물 상에서 사용자는 도트코드 장치를 이용해 설정된 제스처를 입력하여 특정 메뉴를 선택하거나 특정 범위를 지정하거나 지정된 범위의 텍스트 정보에 대한 특정 기능을 쉽게 실행할 수 있다. 따라서, 학습용이나 교육용, 완구용 등의 인쇄물에 대하여 기 정의되어 있는 한정적인 명령을 수행하는 것이 아니라, 사용자가 정의한 범위 내에서 여러가지 기능을 유기적, 복합적으로 수행할 수 있어 다중 기능으로 이용할 수 있다.According to the present invention, on a printed matter such as learning, education, or toy, in which text information including letters, numbers, symbols, and pictures are printed together with a dot code, a user designates a specific range using a dot code device having a scanner function. When you make a specific gesture with a dot code device, you can output dot code-based information within a specific range by text, voice, or video according to the specific gesture, or output it through a specific function such as a dictionary function or a translation function. A dot code based information output method and apparatus are provided.
According to the present invention, a downward gesture (↓), a checkered gesture (√), a diagonal gesture (＼, ／) on a printed matter in which text information including letters, numbers, symbols, and pictures are printed together with a dot code. , Gestures to select a specific menu with the first gesture (Gesture) such as a circle gesture (○), a dot gesture ( ? ), A question mark gesture ( ? ), Or a gesture using a specific character. Set a specific range with a second gesture, such as a box-shaped gesture, a circle-shaped gesture, or a start and end quotation mark, a peel-off gesture on the substrate at the end of the specific range, and a 45-degree angle on the substrate. According to the third gesture such as a gesture (↗), a check-shaped gesture (√), or a gesture for writing a specific character, dot code-based information within a specific range is displayed in the voice output menu, dictionary function menu, and translation function menu. Characterized in that the output according to the function of a specific menu and the like.
According to the present invention, a user inputs a gesture set using a dot code device to select a specific menu, designate a specific range, or designate a text in a specified range on printed matters such as learning, education, and toys for which text information is printed together with a dot code. You can easily execute specific functions on the information. Therefore, instead of performing a limited command predefined for printed matters such as learning, education, and toys, various functions can be performed organically and complexly within a user-defined range, and thus can be used as multiple functions.
Description
본 발명은 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치에 관한 것으로서, 더욱 자세하게는 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물(예를 들어, 학습용, 교육용, 완구용 등) 상에서, 사용자가 도트코드를 획득 인식할 수 있는 장치(이하 '도트코드 장치'라 칭함)를 이용해 특정 범위를 지정하면서 인쇄물 상에서 도트코드 장치로 특정 제스처를 하면, 그 특정 제스처에 따라 특정 범위 내 도트코드 기반 정보를 문자나 음성 또는 영상으로 출력하거나 사전 기능이나 번역 기능 등 특정 기능을 통해 출력할 수 있도록 된, 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for outputting dot code-based information using gesture recognition, and more particularly, to a printed matter (for example, learning and education) in which text information including letters, numbers, symbols, and pictures is printed together with a dot code. , Toys, etc.), when a user makes a specific gesture with a dot code device on a printed matter while designating a specific range using a device capable of acquiring and recognizing a dot code (hereinafter, referred to as a 'dot code device'), Accordingly, the present invention relates to a method and apparatus for outputting dot code-based information using gesture recognition, which enables output of dot code-based information within a specific range as a text, voice, or video, or through a specific function such as a dictionary function or a translation function.
「도트 코드」기술은 printed steganography라고 하는 인쇄물 상의 정보 은폐기술을 기반으로 한다. 보이지 않는 (스텔스)잉크 혹은 카본(Carbon)이 함유된 잉크를 이용하여 인쇄물에 정보를 은폐하는 것이다.Dot code technology is based on a technology for hiding information on printed materials called printed steganography. The invisible (stealth) ink or carbon-containing ink is used to cover up information on the print.
이와 관련된 선행 기술은 인쇄물 상의 특정 영역, 혹은 전체에 도트 코드를 배치하여, 이를 해석할 수 있는 장치를 그 도트 코드에 근접시키면, 기 정의된 기능을 하도록 되어 있다. 구체적으로 예를 들면, 동화책에 도트 코드를 그 위에 인쇄하여, 장치를 그 동화책 위에 가져가면, 장치는 그림 혹은 특정 영역에 은폐되어 있는 도트 코드의 영상만을 획득하여 미리 정의되어 있는 기능, 예를 들어 소리를 재생한다. 또 다른 예로, x,y의 좌표를 의미하는 도트 코드를 노트(인쇄물) 전체에 인쇄하여, 장치를 그 노트 위에서 움직이게 되면, 움직인 정보, 즉 x,y의 좌표를 획득하고, PC 등과 같이 화면이 장착된 장치에서 x,y좌표 정보를 복원하여 보여 줌으로써 사용자가 쓴 필기의 내용을 복원하여 보여 줄 수 있다. 도트 코드의 장치와 인쇄물이 원활히 작동하기 위해서는, 인쇄물의 기획 단계에서 어떤 식으로 인쇄물이 작동할 것인지에 대한 정의와 도트 코드의 분배 및 할당이 필요하며, 다시 할당된 도트 코드는 장치 속에 내장이 되어, 그 장치가 동작할 시점에 어떤 행위를 할지 장치가 인지하고 있어야 한다. 더 나아가, 장치가 획득한 도트 코드가 어떤 행위를 하는지 알 수 없는 경우, 네트워크와의 접속을 통하여 해당 도트 코드가 어떤 동작을 해야 하는지 물어 본 다음, 그 동작을 수행하는 방법도 개발되고 있다. In the related art, when a dot code is placed in a specific area or the whole of a printed matter and a device capable of interpreting it is brought close to the dot code, a predetermined function is performed. Specifically, for example, when a dot code is printed on a fairy tale book and the device is placed on the fairy tale book, the device acquires only a picture or an image of a dot code concealed in a specific area, for example, a predefined function, for example. Play the sound. As another example, a dot code representing the coordinates of x and y is printed on the entire note (printed), and when the device is moved on the note, the movement information, that is, the coordinates of x and y is obtained, and a screen such as a PC is displayed. The mounted device may restore and display the contents of the writing written by the user by restoring and displaying the x and y coordinate information. In order for the device and printed material of the dot code to work smoothly, it is necessary to define how the printed material will work in the planning stage of the printed matter, and to distribute and assign the dot code, and the reassigned dot code is embedded in the device. The device must be aware of what to do at the time the device operates. Furthermore, when the device does not know what action the acquired dot code is performing, a method of asking the corresponding dot code to perform an operation through a connection with a network and then developing a method for performing the operation is also being developed.
그러나 이 모든 일련의 동작들은, 인쇄물을 개발할 시점에 모든 동작 방법을정의해야 한다는 것을 가정으로 하고 있어, 다양한 서비스에 대응하기 위해서는 기획과 컨텐츠 제작에 많은 수고와 노력이 들어가며, 응용 하고자 하는 분야에 따라 컨텐츠의 제작이 현실적으로 불가능한 경우도 발생한다.However, all of these series of operations assume that all operation methods should be defined at the time of developing the printed matter. Therefore, in order to cope with various services, much effort and effort are required in planning and content production, and according to the field of application. It also happens that the production of content is practically impossible.
좀 더 구체적인 예를 들면, 도트 코드가 적용된 영자 신문이 있다고 가정하고, 그 영자 신문을 통해, 특정 단어, 혹은 문장을 읽어 주는 기능을 제공하고자 한다면, 인쇄물을 만드는 주체는 모든 단어에 대하여 각각의 음성을 정의하고, 조합이 가능한 모든 문장에 대하여 음성을 정의해야 된다. 이때, 두 가지의 문제를 야기 할 수 있다. 첫 번째, 모든 음성과 문장에 대한 음원을 확보하고 있어야 한다. 이때 이 모든 음원을 반도체 메모리에 저장한다고 하면, 그 용량이 매우 커지며, 이는 상용화 된 제품에서 사용하지 못할 우려가 있다. 두 번째, 문장의 경우, 현재 클릭한 곳(지면에 장치를 가져 가는 행위)에서 어디까지를 읽어 주어야 하는지에 대한 모호함이 존재한다. 따라서 제품의 품질에 영향을 끼칠 우려가 있다.
As a more specific example, suppose you have an English newspaper with a dot code, and if you want to provide the ability to read a specific word or sentence through the English newspaper, the person making the print has a voice for every word. Must be defined and the voice defined for all possible combinations of sentences. At this time, two problems may occur. First, a sound source must be secured for all voices and sentences. At this time, if all these sound sources are stored in the semiconductor memory, the capacity becomes very large, which may not be used in commercial products. Second, in the case of sentences, there is an ambiguity about where to read from where you are currently clicked (the device is taken to the ground). Therefore, there is a risk of affecting the quality of the product.
전술한 문제점을 해결하기 위한 본 발명의 목적은 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물(예를 들어, 학습용, 교육용, 완구용 등) 상에서, 사용자가 도트코드를 획득 인식할 수 있는 장치(이하 '도트코드 장치'라 칭함)를 이용해 특정 범위를 지정하면서 인쇄물 상에서 도트코드 장치로 특정 제스처를 하면, 그 특정 제스처에 따라 특정 범위 내 도트코드 기반 정보를 문자나 음성 또는 영상으로 출력하거나 사전 기능이나 번역 기능 등 특정 기능을 통해 출력할 수 있도록 된, 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치를 제공함에 있다.
SUMMARY OF THE INVENTION An object of the present invention for solving the above-described problems is that a user may dot on a printed material (eg, for learning, education, toy, etc.) in which text information including letters, numbers, symbols, and pictures is printed together with a dot code. If you make a specific gesture with a dot code device on a print while designating a specific range using a device capable of acquiring and recognizing a code (hereinafter, referred to as a 'dot code device'), the dot code-based information within a specific range may be written according to the specific gesture. In addition, the present invention provides a method and apparatus for outputting dot code-based information using gesture recognition, which can be output through voice or video or through a specific function such as a dictionary function or a translation function.
전술한 목적을 달성하기 위한 본 발명에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치는, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물 상에서, 도트코드 장치를 이용하여 제1 제스처(Gesture)로 특정 메뉴를 선택하고 제2 제스처로 특정 범위를 설정하며, 제3 제스처로 상기 특정 범위 내 도트코드 기반 정보를 상기 특정 메뉴의 기능에 따라 출력한다.A dot code-based information output device using gesture recognition according to the present invention for achieving the above object, using a dot code device on a printed material in which text information including letters, numbers, symbols, and pictures is printed with a dot code Select a specific menu with a first gesture, set a specific range with a second gesture, and output dot code based information within the specific range with a third gesture according to a function of the specific menu.
또한, 상기 제1 제스처는 상기 인쇄물 상에 별도로 마련된 명령어 아이콘 또는 심볼을 상기 도트코드 장치로 접촉하거나, 명령 실행 대상이 되는 부분의 인쇄물에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처, 명령의 시작이 인지 가능한 제스처를 포함한다.In addition, the first gesture may be a gesture (↓) or a checker that draws a command icon or a symbol separately provided on the printed matter in contact with the dot code device or draws down in contact with the printed matter of a portion to be executed. Gestures (√), diagonal gestures (＼, ／), circle gestures (○), dot gestures ( ? ), Question mark gestures (?), Gestures for specific characters, the beginning of commands Include possible gestures.
또한, 상기 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴를 포함하거나, 상기 도트코드 장치가 PC 단말기, 셋탑박스(Settop Box) 단말기, 유선 혹은 무선으로 연동이 되는 경우에 사전, 번역, 음성 출력을 포함하여 비디오, 웹사이트의 브라우징하는 메뉴를 포함한다.In addition, the specific menu may include a dictionary function menu, a translation function menu, and a voice output function menu, or the dot code device may be interworked with a PC terminal, a settop box terminal, wired or wirelessly. If included, menus for browsing the website, videos, including dictionaries, translations, and voice output.
또한, 상기 제2 제스처는 상기 인쇄물 상에서 범위를 설정할 수 있는 제스처이고,밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo'), 시작 부분을 한번 접촉한 후 끝 부분을 한번 접촉하는 제스처를 포함한다.In addition, the second gesture is a gesture capable of setting a range on the printed matter, an underlined gesture, a box-shaped gesture, a circle-shaped gesture, a gesture of starting and ending quotation marks (“ooooooo”, “ooooooo”). ), A gesture of touching the beginning once and then touching the end once.
또한, 상기 제3 제스처는 범위의 설정이 끝났음을 의미하는 제스처이고, 상기 특정 범위가 끝나는 부분에서 상기 인쇄물 상에서 떼어내는 순간의 제스처, 상기 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처를 포함한다.In addition, the third gesture is a gesture indicating that the setting of the range is finished, a gesture at the time of detaching from the printed matter at the end of the specific range, a gesture of drawing a diagonal line at a 45 degree angle on the printed matter, and a check Shape gestures (√), including gestures for writing certain characters.
또한, 상기 특정 문자를 쓰는 제스처는, 문자로써 특정 기능의 실행을 알릴 수 있는 제스처이고, 읽기 메뉴로 R을 쓰는 제스처, 번역 기능 메뉴로 T를 쓰는 제스처, 사전 기능 메뉴로 D를 쓰는 제스처를 포함한다.In addition, the gesture for writing the specific letter is a gesture that can inform the execution of a specific function as a character, and includes a gesture for writing R as a read menu, a gesture for writing T as a translation function menu, and a gesture for writing D as a dictionary function menu. do.
그리고, 상기 도트코드 장치는 상기 도트코드를 스캔하여 인식하는 기능을 갖는 디지털 펜(Digital Pen) 형태이다.
The dot code device is in the form of a digital pen having a function of scanning and recognizing the dot code.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치는, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보에 대응되는 도트코드가 인쇄된 인쇄물; 상기 인쇄물 상에 인쇄된 상기 텍스트 정보에 대한 특정 메뉴를 선택하기 위한 제1 제스처(Gesture), 상기 텍스트 정보에 대해 특정 범위를 설정하기 위한 제2 제스처, 상기 특정 범위 내 도트코드 기반 정보를 상기 특정 메뉴의 기능에 따라 출력하도록 요청하는 제3 제스처를 상기 인쇄물 상에서 행하는 코드 스캔부; 상기 인쇄물의 물리적인 위치에 대응할 수 있도록 인쇄물이 만들어질 때, 각 인쇄물의 각 페이지에 대한 텍스트 정보와 그에 대한 좌표가 합쳐져 생성된 메타 정보를 저장하고 있는 텍스트 메모리부; 상기 텍스트 정보를 음성으로 재생하여 출력하는 음성 재생부; 상기 텍스트 정보 중 선택된 단어나 문구를 사전 기능에 따라 제공하기 위한 사전 관련 정보를 저장하고 있는 사전 정보부; 상기 텍스트 정보나 상기 특정 범위에 해당하는 텍스트 정보를 번역하기 위한 번역 관련 정보를 저장하고 있는 번역 정보부; 상기 제1 제스처를 인식하여 상기 특정 메뉴 모드를 실행하고, 상기 제2 제스처를 인식하여 상기 텍스트 정보에 대해 특정 범위를 설정하며, 상기 제3 제스처를 인식하여 상기 특정 범위 내 상기 텍스트 정보를 상기 특정 메뉴의 기능에 따라 출력하도록 제어하는 제어부; 및 상기 제1 제스처에 의한 상기 특정 메뉴 모드임을 나타내거나, 상기 제2 제스처에 의한 상기 특정 범위가 설정되었음을 나타내거나, 상기 제3 제스처에 의한 상기 특정 범위 내 상기 텍스트 정보를 디스플레이하는 표시부를 포함한다.On the other hand, the dot code-based information output device using the gesture recognition according to the present invention for achieving the above object, the printout is printed dot code corresponding to the text information including letters, numbers, symbols and pictures; The first gesture for selecting a specific menu for the text information printed on the printed matter, the second gesture for setting a specific range for the text information, and the dot code based information within the specific range. A code scanning unit for performing a third gesture on the printed matter requesting to output according to a function of a menu; A text memory unit for storing meta information generated by combining text information of each page of each printed matter and coordinates thereof when the printed matter is made to correspond to the physical position of the printed matter; A voice reproducing unit for reproducing and outputting the text information as voice; A dictionary information unit for storing dictionary related information for providing a word or phrase selected from the text information according to a dictionary function; A translation information unit storing translation-related information for translating the text information or text information corresponding to the specific range; Recognizing the first gesture to execute the specific menu mode, recognizing the second gesture to set a specific range for the text information, and recognizing the third gesture to specify the text information within the specific range. A control unit controlling to output according to a function of a menu; And a display unit which indicates that the specific menu mode is set by the first gesture, that the specific range is set by the second gesture, or displays the text information within the specific range by the third gesture. .
또한, 상기 일련의 출력들을 PC 단말기나 셋탑박스에서 행할 수 있도록 정보를 유/무선으로 송출하는 유/무선 통신부를 더 포함한다.The apparatus may further include a wired / wireless communication unit for transmitting information to the wired / wireless unit so that the series of outputs may be performed in a PC terminal or a set-top box.
또한, 상기 제어부는, 상기 제1 제스처에 의해 음성 출력 기능이 선택되고, 상기 제2 제스처에 의해 상기 텍스트 정보 중 특정 범위가 설정되며, 상기 제3 제스처에 의해 상기 음성 출력 기능의 실행을 요청 받으면, 상기 특정 범위 내 상기 텍스트 정보를 TTS(Text To Speech) 기능으로 상기 음성 재생부를 통해 음성으로 출력하도록 제어한다.The controller may further include selecting a voice output function by the first gesture, setting a specific range of the text information by the second gesture, and receiving a request to execute the voice output function by the third gesture. And outputs the text information within the specific range as a voice through the voice reproducing unit using a text to speech (TTS) function.
또한, 상기 제어부는 상기 제1 제스처에 의하여 번역 출력 기능이 선택 되고, 상기 제2 제스처에 의하여 상기 텍스트 정보 중 특정 범위가 설정되며, 상기 제3 제스처에 의해 범위 내의 문자에 대한 번역 실행을 요청받으며, 상기 특정 범위 내에 상기 텍스트 정보를 원하는 언어로 번역하여 상기 텍스트 정보를 디스플레이 하는 표시부로 출력하도록 제어한다.In addition, the control unit is selected by the translation output function by the first gesture, a specific range of the text information is set by the second gesture, the third gesture is requested to execute the translation of the characters within the range; And translating the text information into a desired language within the specific range and outputting the text information to a display unit displaying the text information.
또한, 상기 제1 제스처는 상기 인쇄물 상에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처를 포함한다.In addition, the first gesture is a gesture (↓), a check-like gesture (√), an oblique gesture (＼, ／), a circle drawing gesture (○), a point that is drawn downward while being in contact with the printed matter. Gestures for taking pictures ( ? ), Gestures for drawing question marks (?), And gestures for writing specific characters.
또한, 상기 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴를 포함한다.The specific menu may also include a dictionary function menu, a translation function menu, and a voice output function menu.
또한, 상기 제2 제스처는 밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo')를 포함한다.In addition, the second gesture may include an underlined gesture, a box-shaped gesture, a circle-shaped gesture, and a gesture of starting and ending quotation marks (“ooooooo”, “ooooooo”).
또한, 상기 제3 제스처는 상기 특정 범위가 끝나는 부분에서 상기 인쇄물 상에서 떼어내는 순간의 제스처, 상기 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처를 포함한다.In addition, the third gesture may be a gesture at the moment of detaching from the printed matter at a portion where the specific range ends, a gesture of twisting a diagonal line at an angle of 45 degrees on the printed matter (↗), a checkered gesture (√), and a specific character. It includes a gesture.
그리고, 상기 특정 문자를 쓰는 제스처는, 읽기 메뉴로 R을 쓰는 제스처, 번역 기능 메뉴로 T를 쓰는 제스처, 사전 기능 메뉴로 D를 쓰는 제스처를 포함한다.
The gesture for writing the specific letter includes a gesture for writing R as a read menu, a gesture for writing T as a translation function menu, and a gesture for writing D as a dictionary function menu.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 방법은, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물로부터 도트코드를 스캔하는 도트코드 장치의 제스처 인식을 이용한 도트코드 기반 정보 출력 방법으로서, (a) 제1 제스처(Gesture) 입력으로 상기 텍스트 정보에 대한 특정 메뉴를 선택하는 단계; (b) 상기 텍스트 정보에 대해 제2 제스처 입력으로 특정 범위를 설정하는 단계; (c) 제3 제스처 입력으로 상기 특정 범위 내 텍스트 정보를 상기 특정 메뉴 기능에 따라 출력하도록 요청받는 단계; 및 (d) 상기 특정 범위 내 상기 텍스트 정보에 대한 도트코드 기반 정보를 상기 특정 메뉴의 기능에 따라 출력하는 단계를 포함한다.
On the other hand, the dot code-based information output method using the gesture recognition according to the present invention for achieving the above object, the text information including the letters and numbers, symbols and pictures scan the dot code from the printed material printed with the dot code A dot code-based information output method using gesture recognition of a dot code device, the method comprising: (a) selecting a specific menu for the text information as a first gesture input; (b) setting a specific range with a second gesture input for the text information; (c) being requested to output text information within the specific range according to the specific menu function as a third gesture input; And (d) outputting dot code based information on the text information within the specific range according to the function of the specific menu.
본 발명에 따르면, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물(예를 들어, 학습용이나 교육용, 완구용 등) 상에서 사용자는 도트코드 장치를 이용해 설정된 제스처를 입력하여 특정 메뉴를 선택하거나 특정 범위를 지정하거나 지정된 범위의 텍스트 정보에 대한 특정 기능을 쉽게 실행할 수 있다. 따라서, 학습용이나 교육용, 완구용 등의 인쇄물에 대하여 기 정의되어 있는 한정적인 명령을 수행하는 것이 아니라, 사용자가 정의한 범위 내에서 여러가지 기능을 유기적, 복합적으로 수행할 수 있어 다중 기능으로 이용할 수 있다.
According to the present invention, a user inputs a gesture set using a dot code device on a printed matter (for example, for learning, education, or toy use) in which text information including letters, numbers, symbols, and pictures is printed together with a dot code. This allows you to easily select specific menus, specify specific ranges, or perform specific functions on text information in a specified range. Therefore, instead of performing a limited command predefined for printed matters such as learning, education, and toys, various functions can be performed organically and complexly within a user-defined range, and thus can be used as multiple functions.
도 1은 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치의 전체 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치에서 도트코드 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 실시예에 따른 각각의 제스처 형태를 나타낸 도면이다.1 is a block diagram showing the overall configuration of a dot code-based information output apparatus using gesture recognition according to an embodiment of the present invention.
2 is a block diagram schematically illustrating an internal configuration of a dot code device in a dot code-based information output device using gesture recognition according to an embodiment of the present invention.
3 is a flowchart illustrating a dot code-based information output method using gesture recognition according to an embodiment of the present invention.
4 is a view showing each gesture form according to an embodiment of the present invention.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치의 전체 구성을 나타낸 구성도이다.1 is a block diagram showing the overall configuration of a dot code-based information output apparatus using gesture recognition according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치(100)는, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 그에 대응되는 도트코드와 함께 인쇄된 인쇄물(110) 상에서, 제1 제스처(Gesture)로 특정 메뉴를 선택하고 제2 제스처로 특정 범위를 설정하며, 제3 제스처로 특정 범위 내 도트코드 기반 정보를 특정 메뉴의 기능에 따라 출력하는 도트코드 장치(120)를 포함한다.Referring to FIG. 1, the dot code-based
여기서, 제1 제스처는 특정 메뉴를 선택하기 위한 제스처로써, 예컨대, 인쇄물(110) 상에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처 등을 포함하고, 이 외에도 명령의 시작을 인지 가능한 다양한 모양의 제스처를 포함할 수 있다. 그리고, 인쇄물(110) 상에 특정 메뉴들이 별도로 도트코드로 인쇄되어 있는 경우, 예를 들면, 명령어 아이콘 등이 도트코드로 인쇄된 경우, 도트코드 장치(120)를 그 도트코드에 접촉하는 제스처를 통해 특정 메뉴를 선택할 수 있다.Here, the first gesture is a gesture for selecting a specific menu, for example, a gesture (↓), a check-like gesture (√), a diagonal gesture (＼, /, Circle gestures (○), dot gestures ( ? ), Question mark gestures (?), Gestures for writing specific characters, and more. It may include. In addition, when specific menus are separately printed in dot code on the printed
또한, 특정 메뉴는 예컨대, 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴를 포함하고, 이 외에도 동영상 출력 기능 메뉴 등 다른 기능 메뉴를 포함할 수 있다.In addition, the specific menu may include, for example, a dictionary function menu, a translation function menu, a voice output function menu, and may include other function menus such as a video output function menu.
또한, 제2 제스처는 학습용이나 교육용, 완구용 등의 지면에 인쇄된 텍스트 정보 중 특정 범위를 지정하기 위한 제스처로써, 예컨대, 밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo') 등을 포함한다.In addition, the second gesture is a gesture for designating a specific range of text information printed on a sheet of paper for learning, education, toys, etc., for example, an underline gesture, a box shape gesture, a circle gesture, a start and Include end-of-quotes gestures ("ooooooo", "ooooooo"), and so on.
또한, 제3 제스처는 선택된 특정 메뉴를 실행하도록 명령하는 제스처로써, 예컨대, 특정 범위가 끝나는 부분에서 인쇄물(110) 상에서 떼어내는 순간의 제스처, 인쇄물(110) 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처 등을 포함한다. In addition, the third gesture is a gesture for instructing to execute the selected specific menu, for example, a gesture at the time of detaching from the printed
이때, 특정 문자를 쓰는 제스처는, 읽기 메뉴로 R을 쓰는 제스처, 번역 기능 메뉴로 T를 쓰는 제스처, 사전 기능 메뉴로 D를 쓰는 제스처 등을 포함할 수 있으며, 이 외에도 다른 문자를 쓰는 제스처 등 범위의 설정이 끝났음을 의미할 수 있는 제스처를 통해 특정 메뉴를 실행하도록 할 수 있다.
In this case, the gesture of writing a specific letter may include a gesture of using R as a read menu, a gesture of using T as a translation function menu, a gesture of writing D as a dictionary function menu, and a range of gestures using other characters. A specific menu may be executed through a gesture that may mean that the setting of the is completed.
도 2는 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치에서 도트코드 장치의 내부 구성을 개략적으로 나타낸 구성도이다.2 is a block diagram schematically illustrating an internal configuration of a dot code device in a dot code-based information output device using gesture recognition according to an embodiment of the present invention.
도 2를 참조하면, 본 발명에 따른 도트코드 장치(120)는, 코드 스캔부(210), 텍스트 메모리부(220), 음성 재생부(230), 사전 정보부(240), 번역 정보부(250), 제어부(260) 및 표시부(270)를 포함한다.Referring to FIG. 2, the
코드 스캔부(210)는 인쇄물(110)에 접촉하는 부분으로, 인쇄물(110) 상에 인쇄된 텍스트 정보에 대한 특정 메뉴를 선택하기 위한 제1 제스처(Gesture), 텍스트 정보에 대해 특정 범위를 설정하기 위한 제2 제스처, 특정 범위 내 도트코드 기반 정보를 특정 메뉴의 기능에 따라 출력하도록 요청하는 제3 제스처를 인쇄물(110) 상에서 행하게 된다.The
텍스트 메모리부(220)는 인쇄물의 물리적인 위치에 대응할 수 있도록 인쇄물이 만들어 질 때, 각 인쇄물의 각 페이지에 대한 텍스트 정보와 그에 대한 좌표가 합쳐져 생성된 메타 정보를 저장하고 있다. 따라서, 텍스트 메모리부(220)는 코드 스캔부(210)가 제2 제스처로 특정 범위를 지정하면, 그 특정 범위에 해당하는 텍스트 정보를 제공하게 된다.When the printed matter is made to correspond to the physical position of the printed matter, the
음성 재생부(230)는 텍스트 정보를 음성으로 재생하여 출력한다. 이때, 음성 재생부(230)는 특정 범위에 해당하는 텍스트 정보를 TTS(Text To Speech) 기능을 통해 음성으로 제공한다.The
사전 정보부(240)는 텍스트 정보 중 선택된 단어나 문구를 사전 기능에 따라 제공하기 위한 사전 관련 정보를 저장하고 있다. 예컨대, 사용자가 코드 스캔부(210)를 통해 제1 제스처로 사전 기능 메뉴를 선택하고 제2 제스처로 특정 단어를 지정하고 제3 제스처로 실행을 요청하면, 제어부(260)가 사전 정보부(240)를 통해 그 특정 단어에 해당하는 사전 관련 정보를 표시부(270) 상에 디스플레이하게 되는 것이다.The
번역 정보부(250)는 텍스트 정보나 특정 범위에 해당하는 텍스트 정보를 번역하기 위한 번역 관련 정보를 저장하고 있다.The
제어부(260)는 제1 제스처를 인식하여 특정 메뉴 모드를 실행하고, 제2 제스처를 인식하여 텍스트 정보에 대해 특정 범위를 설정하며, 제3 제스처를 인식하여 특정 범위 내 텍스트 정보를 특정 메뉴의 기능에 따라 출력하도록 제어하는 제어한다.The
또한, 제어부(260)는, 예를 들면, 제1 제스처에 의해 음성 출력 기능이 선택되고, 제2 제스처에 의해 텍스트 정보 중 특정 범위가 설정되며, 제3 제스처에 의해 음성 출력 기능의 실행을 요청받으면, 특정 범위 내 텍스트 정보를 TTS(Text To Speech) 기능으로 음성 재생부(230)를 통해 음성으로 출력하도록 제어한다.In addition, the
표시부(270)는 제1 제스처에 의한 특정 메뉴 모드임을 나타내거나, 제2 제스처에 의한 특정 범위가 설정되었음을 나타내거나, 제3 제스처에 의한 특정 범위 내 텍스트 정보를 디스플레이하는 등 도트코드 장치(110)의 동작 상태를 표시한다.The
한편, 본 발명에 따른 도트코드 장치(110)는 전술한 코드 스캔부(210), 텍스트 메모리부(220), 음성 재생부(230), 사전 정보부(240), 번역 정보부(250), 제어부(260) 및 표시부(270) 이외에도 도트코드 기반 정보를 주변 장치에 유선 신호로 송신하거나, 무선 신호로 주변에 있는 블루투스 장치나 무선 출력 장치에 전송하기 위한 유/무선 통신부 등을 포함할 수 있다.
Meanwhile, the
도 3은 본 발명의 실시예에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 방법을 설명하기 위한 동작 흐름도이다.3 is a flowchart illustrating a dot code-based information output method using gesture recognition according to an embodiment of the present invention.
도 3을 참조하면, 본 발명에 따른 제스처 인식을 이용한 도트코드 기반 정보 출력 장치(100)에서, 사용자가 도트코드 장치(120)를 인쇄물(110)에 접촉한 상태로 제1 제스처(Gesture)를 입력함에 따라 제어부(260)는 코드 스캔부(210)를 통해 제1 제스처를 인식하여 텍스트 정보에 대한 특정 메뉴를 선택한다(S310).Referring to FIG. 3, in a dot code-based
예컨대, 사용자가 도트코드 장치(120)를 인쇄물(110)에 접촉한 상태에서, 인쇄물(110) 상에 접촉한 상태로 아래로 직선을 긋는 제스처(↓)나, 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처 중 도트코드 장치(120)에 특정 메뉴를 선택하기 위해 설정되어 있는 제1 제스처를 수행한다. 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴, 동영상 출력 기능 메뉴 등을 포함한다. 예컨대, 사용자는 도트코드 장치(120)로 인쇄물(110) 상에서 도 4에 도시된 바와 같이 아래로 직선을 긋는 제1 제스처를 수행할 수 있다.For example, when the user contacts the printed
따라서, 도트코드 장치(120)의 코드 스캔부(210)로 제1 제스처가 입력됨에 따라 제어부(260)는 제1 제스처를 인식하고, 동작 모드를 예컨대, 제1 제스처에 설정되어 있는 음성출력 기능 모드나, 번역 기능 모드, 사전 기능 모드 등으로 특정 기능 모드로 전환한다(S320).Accordingly, as the first gesture is input to the
이때, 인쇄물(110)에 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보로 특정 메뉴가 인쇄되어 있고, 그 인쇄된 특정 메뉴에 도트코드가 인쇄되어 있는 경우에, 사용자는 도트코드 장치(120)의 코드 스캔부(210)를 인쇄물(110) 상의 특정 메뉴에 접촉하여 특정 메뉴를 선택할 수 있고, 이에 따라 제어부(260)는 코드 스캔부(210)를 통해 인쇄물(110)로부터 특정 메뉴에 대응된 도트코드를 인식하여, 장치의 동작 모드를 해당 특정 기능 모드로 전환시킬 수 있다.In this case, when a specific menu is printed on the
이어, 사용자가 인쇄물(110) 상에 인쇄되어 있는 텍스트 정보에 대해 도트코드 장치(120)를 통해 제2 제스처를 입력함에 따라 제어부(260)는 코드 스캔부(210)를 통해 제2 제스처를 인식하여 텍스트 정보에 대한 특정 범위를 설정한다(S330).Subsequently, the
예컨대, 사용자가 도트코드 장치(120)를 인쇄물(110) 상에 접촉한 상태에서, 도 4에 도시된 바와 같이 텍스트 정보에 대해 밑줄을 긋는 제스처나, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo') 중 하나의 제스처를 수행하게 되면, 제어부(260)는 코드 스캔부(210)를 통해 제2 제스처를 인식하여 텍스트 정보 중 제2 제스처에 해당하는 특정 범위를 설정한다.For example, in a state in which the user contacts the
이어, 사용자가 도트코드 장치(120)로 인쇄물(110) 상에서 제2 제스처를 행하여 제2 제스처가 끝나는 순간에 바로 이어 제3 제스처를 입력함에 따라 제어부(260)는 코드 스캔부(210)로부터 특정 범위 내 텍스트 정보를 특정 메뉴 기능에 따라 출력하도록 요청받는다(S340).Subsequently, as the user performs the second gesture on the printed
예컨대, 사용자가 도트코드 장치(120)를 인쇄물(110) 상에 접촉한 상태에서, 도 4에 도시된 바와 같이 인쇄물(110) 상에서 특정 범위가 끝나는 부분에서 45도 각도로 사선을 긋는 제스처(↗)나, 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처 등을 입력할 수 있다.For example, in a state in which the user contacts the
따라서, 제어부(260)는 특정 범위 내 텍스트 정보에 대한 도트코드 기반 정보를 특정 메뉴의 기능에 따라 출력한다(S350).Accordingly, the
예컨대, 도 4에 도시된 바와 같이 직선을 아래로 긋는 제1 제스처 입력으로 음성 출력 메뉴를 선택할 수 있고, 밑줄을 긋는 제2 제스처 입력으로 텍스트 정보 중 특정 범위를 설정하며, 특정 범위가 끝나는 지점에서 45도 각도로 사선을 긋는 제3 제스처 입력으로 음성 출력 기능의 실행을 요청할 수 있으며, 이에 따라 제어부(260)는 특정 범위 내 텍스트 정보를 TTS(Text To Speech) 기능에 따라 음성 재생부(230)를 통해 음성으로 출력하게 된다. 도 4는 본 발명의 실시예에 따른 각각의 제스처 형태를 나타낸 도면이다.For example, as illustrated in FIG. 4, a voice output menu may be selected as a first gesture input that draws a straight line down, a specific range of text information is set by a second gesture input that is underlined, and at a point where a specific range ends. A third gesture input may be requested to be executed at a 45-degree angle, so that the voice output function may be requested. Accordingly, the
한편, 제1 제스처에 의해 번역 기능 메뉴가 선택되고, 제2 제스처에 의해 번역 대상의 범위가 설정되며, 제3 제스처에 의해 번역 실행이 요청되면, 제어부(260)는 번역 정보부(250)에 근거해 특정 범위에 해당하는 텍스트 정보를 일본어, 중국어, 독일어, 불어, 영어, 한국어 등으로 번역하여 표시부(270)를 통해 디스플레이할 수 있다.On the other hand, if the translation function menu is selected by the first gesture, the range of the translation target is set by the second gesture, and the translation execution is requested by the third gesture, the
전술한 바와 같이 본 발명에 의하면, 문자와 숫자, 기호 및 그림이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 학습용이나 교육용, 완구용 등의 인쇄물 상에서, 사용자가 스캐너 기능의 도트코드 장치를 이용해 특정 범위를 지정하면서 인쇄물 상에서 도트코드 장치로 특정 제스처를 하면, 그 특정 제스처에 따라 특정 범위 내 도트코드 기반 정보를 문자나 음성 또는 영상으로 출력하거나 사전 기능이나 번역 기능 등 특정 기능을 통해 출력할 수 있도록 된, 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치를 실현할 수 있다.As described above, according to the present invention, on a printed matter such as learning, education, or toy, in which text information including letters, numbers, symbols, and pictures is printed together with a dot code, a user specifies using a dot code device having a scanner function. If you make a specific gesture with a dot code device on a print while specifying a range, you can output dot code-based information within a specific range as text, voice, or video according to the specific gesture, or output it through a specific function such as a dictionary function or a translation function. It is possible to realize a dot code-based information output method and apparatus using gesture recognition.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
As those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features, the embodiments described above are intended to be illustrative in all respects and should not be considered as limiting. Should be. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
본 발명은 학습용이나 교육용, 완구용 등으로 문자와 숫자, 기호 및 그림 등이 포함된 텍스트 정보가 도트코드와 함께 인쇄된 인쇄물과, 인쇄물 상에 접촉하여 도트코드를 스캔하여 특정 기능을 실행하는 도트코드 장치(예를 들어, 디지털 펜) 등에 적용할 수 있다.
The present invention is a printed matter printed with the dot code is a text information, including letters, numbers, symbols, pictures, etc. for learning, education, toys, etc., and the dot to contact the printed matter to perform a specific function by scanning the dot code It can be applied to a code device (for example, a digital pen).
100 : 도트코드 기반 정보 출력 장치 110 : 인쇄물
120 : 도트코드 장치 210 : 코드 스캔부
220 : 텍스트 메모리부 230 : 음성 재생부
240 : 사전 정보부 250 : 번역 정보부
260 : 제어부 270 : 표시부100: dot code based information output device 110: printed matter
120: dot code device 210: code scanning unit
220: text memory unit 230: voice playback unit
240: dictionary information book 250: translation information book
260
Claims (20)
On a printed material in which text information including letters, numbers, symbols, and pictures are printed with a dot code, a specific menu is selected with a first gesture using a dot code device, and a specific range is set with a second gesture, A dot code-based information output apparatus using gesture recognition, characterized in that for outputting the dot code-based information within the specific range as a third gesture in accordance with the function of the specific menu.
상기 제1 제스처는 상기 인쇄물 상에 별도로 마련된 명령어 아이콘 또는 심볼을 상기 도트코드 장치로 접촉하거나, 명령 실행 대상이 되는 부분의 인쇄물에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처와 같이 명령의 시작을 인지 가능한 다양한 모양의 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 1,
The first gesture may be a gesture (↓) or a check-shaped gesture of contacting a command icon or a symbol separately provided on the printed matter with the dot code device or touching down the printed matter of a part to be executed. √), bevel gestures (＼, ／), circle gestures (○), dot gestures ( ? ), Question mark gestures (?), And the use of specific characters. Dot code-based information output device using gesture recognition, characterized in that it comprises one or more of a variety of gestures.
상기 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴, 동영상 출력 기능 메뉴 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 1,
The specific menu may include one or more of a dictionary function menu, a translation function menu, a voice output function menu, and a video output function menu.
상기 제2 제스처는 상기 인쇄물 상에서 범위를 설정할 수 있는 제스처이고,밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo'), 시작 부분을 한번 접촉한 후 끝 부분을 한번 접촉하는 제스처와 같이 범위를 인지시킬 수 있는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 1,
The second gesture is a gesture capable of setting a range on the printed matter, an underline gesture, a box shape gesture, a circle gesture, a start and end quote gesture (“ooooooo”, “ooooooo”), A dot code-based information output apparatus using gesture recognition, characterized in that it comprises one or more of the gestures that can recognize the range, such as a gesture of touching the start portion once and then touching the end portion once.
상기 제3 제스처는 범위의 설정이 끝났음을 의미하는 제스처이고, 상기 특정 범위가 끝나는 부분에서 상기 인쇄물 상에서 떼어내는 제스처, 상기 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처와 같이 명령의 끝을 나타낼 수 있는 다양한 형태의 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 1,
The third gesture is a gesture indicating that the setting of the range is finished, a gesture of detaching from the printed matter at a portion at which the specific range ends, a gesture of cutting a diagonal at a 45 degree angle on the printed matter, and a checkered gesture ( √), Dot code-based information output device using a gesture recognition, characterized in that it comprises one or more of the various types of gestures that can indicate the end of the command, such as a gesture of writing a specific character.
상기 특정 문자를 쓰는 제스처는, 문자로써 특정 기능의 실행을 알릴 수 있는 제스처이고, 읽기 메뉴로 R을 쓰는 제스처, 번역 기능 메뉴로 T를 쓰는 제스처, 사전 기능 메뉴로 D를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
6. The method according to claim 2 or 5,
The gesture of writing a specific letter is a gesture capable of informing the execution of a specific function as a character, and using at least one of a gesture of writing R as a reading menu, a gesture of writing T as a translation function menu, and a gesture of writing D as a dictionary function menu. Dot code-based information output device using gesture recognition, characterized in that it comprises.
상기 도트코드 장치는 상기 도트코드를 스캔하여 인식하는 기능을 갖는 디지털 펜(Digital Pen) 형태인 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method according to any one of claims 1 to 3,
The dot code device is a dot code-based information output device using gesture recognition, characterized in that the digital pen (Digital Pen) form having a function of scanning and recognizing the dot code.
상기 인쇄물 상에 인쇄된 상기 텍스트 정보에 대한 특정 메뉴를 선택하기 위한 제1 제스처(Gesture), 상기 텍스트 정보에 대해 특정 범위를 설정하기 위한 제2 제스처, 상기 특정 범위 내 도트코드 기반 정보를 상기 특정 메뉴의 기능에 따라 출력하도록 요청하는 제3 제스처를 상기 인쇄물 상에서 행하는 코드 스캔부;
상기 인쇄물의 물리적인 위치에 대응할 수 있도록 인쇄물이 만들어질 때, 각 인쇄물의 각 페이지에 대한 텍스트 정보와 그에 대한 좌표가 합쳐져 생성된 메타 정보를 저장하고 있는 텍스트 메모리부;
상기 텍스트 정보를 음성으로 재생하여 출력하는 음성 재생부;
상기 텍스트 정보 중 선택된 단어나 문구를 사전 기능에 따라 제공하기 위한 사전 관련 정보를 저장하고 있는 사전 정보부;
상기 텍스트 정보나 상기 특정 범위에 해당하는 텍스트 정보를 번역하기 위한 번역 관련 정보를 저장하고 있는 번역 정보부;
상기 제1 제스처를 인식하여 상기 특정 메뉴 모드를 실행하고, 상기 제2 제스처를 인식하여 상기 텍스트 정보에 대해 특정 범위를 설정하며, 상기 제3 제스처를 인식하여 상기 특정 범위 내 상기 텍스트 정보를 상기 특정 메뉴의 기능에 따라 출력하도록 제어하는 제어부; 및
상기 제1 제스처에 의한 상기 특정 메뉴 모드임을 나타내거나, 상기 제2 제스처에 의한 상기 특정 범위가 설정되었음을 나타내거나, 상기 제3 제스처에 의한 상기 특정 범위 내 상기 텍스트 정보를 디스플레이하는 표시부;
를 포함하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
Printed matter in which dot codes corresponding to text information including letters, numbers, symbols, and pictures are printed;
The first gesture for selecting a specific menu for the text information printed on the printed matter, the second gesture for setting a specific range for the text information, and the dot code based information within the specific range. A code scanning unit for performing a third gesture on the printed matter requesting to output according to a function of a menu;
A text memory unit for storing meta information generated by combining text information of each page of each printed matter and coordinates thereof when the printed matter is made to correspond to the physical position of the printed matter;
A voice reproducing unit for reproducing and outputting the text information as voice;
A dictionary information unit for storing dictionary related information for providing a word or phrase selected from the text information according to a dictionary function;
A translation information unit storing translation-related information for translating the text information or text information corresponding to the specific range;
Recognizing the first gesture to execute the specific menu mode, recognizing the second gesture to set a specific range for the text information, and recognizing the third gesture to specify the text information within the specific range. A control unit controlling to output according to a function of a menu; And
A display unit indicating that the specific menu mode is generated by the first gesture, that the specific range is set by the second gesture, or displaying the text information within the specific range by the third gesture;
Dot code-based information output device using gesture recognition comprising a.
상기 제어부는, 상기 제1 제스처에 의해 음성 출력 기능이 선택되고, 상기 제2 제스처에 의해 상기 텍스트 정보 중 특정 범위가 설정되며, 상기 제3 제스처에 의해 상기 음성 출력 기능의 실행을 요청받으면, 상기 특정 범위 내 상기 텍스트 정보를 TTS(Text To Speech) 기능으로 상기 음성 재생부를 통해 음성으로 출력하도록 제어하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The control unit, when the voice output function is selected by the first gesture, a specific range of the text information is set by the second gesture, and when the voice gesture is requested to be executed by the third gesture, A dot code-based information output apparatus using gesture recognition, characterized in that for controlling the text information within a specific range to be output as a voice through the voice reproducing unit with a text to speech (TTS) function.
상기 제1 제스처는 상기 인쇄물 상에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The first gesture is a gesture of drawing down (↓), a checkered gesture (√), an oblique gesture (＼, /), a circle drawing gesture (○), and a dot while touching the printed matter. gestures (?) gestures to draw a question mark (?), the dot code based on the information output device using a gesture recognition comprising one or more of the gesture to write a specific character.
상기 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The specific menu may include one or more of a dictionary function menu, a translation function menu, and a voice output function menu.
상기 제2 제스처는 밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo') 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The second gesture may include one or more of an underlined gesture, a box-shaped gesture, a circle-shaped gesture, and a gesture of starting and ending quotation marks (“ooooooo”, “ooooooo”). Dot-code based information output device using a.
상기 제3 제스처는 상기 특정 범위가 끝나는 부분에서 상기 인쇄물 상에서 떼어내는 제스처, 상기 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The third gesture may be one or more of a gesture of peeling off the printed material at a portion at which the specific range ends, a gesture of drawing an oblique line at an angle of 45 degrees on the printed matter (↗), a checkered gesture (√), and a gesture of writing a specific character. Dot code-based information output device using gesture recognition, comprising a.
상기 특정 문자를 쓰는 제스처는, 읽기 메뉴로 R을 쓰는 제스처, 번역 기능 메뉴로 T를 쓰는 제스처, 사전 기능 메뉴로 D를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 장치.
The method of claim 8,
The gesture for writing a specific character may include one or more of a gesture of writing R as a reading menu, a gesture of writing T as a translation function menu, and a gesture of writing D as a dictionary function menu. Information output device.
(a) 제1 제스처(Gesture) 입력으로 상기 텍스트 정보에 대한 특정 메뉴를 선택하는 단계;
(b) 상기 텍스트 정보에 대해 제2 제스처 입력으로 특정 범위를 설정하는 단계;
(c) 제3 제스처 입력으로 상기 특정 범위 내 텍스트 정보를 상기 특정 메뉴 기능에 따라 출력하도록 요청받는 단계; 및
(d) 상기 특정 범위 내 상기 텍스트 정보에 대한 도트코드 기반 정보를 상기 특정 메뉴의 기능에 따라 출력하는 단계;
를 포함하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
A dot code-based information output method using gesture recognition of a dot code device in which text information including letters, numbers, symbols, and pictures is scanned from a printed material printed with a dot code,
(a) selecting a specific menu for the text information as a first gesture input;
(b) setting a specific range with a second gesture input for the text information;
(c) being requested to output text information within the specific range according to the specific menu function as a third gesture input; And
(d) outputting dot code based information on the text information within the specific range according to a function of the specific menu;
Dot code based information output method using gesture recognition comprising a.
상기 (a) 단계에서 상기 제1 제스처 입력으로 음성 출력 메뉴가 선택되고, 상기 (b) 단계에서 상기 제2 제스처 입력으로 상기 텍스트 정보 중 특정 범위가 설정되며, 상기 (c) 단계에서 상기 제3 제스처 입력으로 상기 음성 출력 기능의 실행을 요청받으면, 상기 (d) 단계는 상기 특정 범위 내 상기 텍스트 정보를 TTS(Text To Speech) 기능에 따라 음성으로 출력하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
The method of claim 15,
In step (a), a voice output menu is selected as the first gesture input, and in step (b), a specific range of the text information is set as the second gesture input, and in step (c), the third range is selected. When the voice input function is requested to be executed by a gesture input, the step (d) includes outputting the text information within the specific range as voice according to a TTS (Text To Speech) function. How to output based information.
상기 제1 제스처는 상기 인쇄물 상에 접촉한 상태로 아래로 긋는 제스처(↓), 체크 모양의 제스처(√), 사선 모양의 제스처(＼, ／), 원을 그리는 제스처(○), 점을 찍는 제스처(?), 물음표를 그리는 제스처(?), 특정 문자를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
The method of claim 15,
The first gesture is a gesture of drawing down (↓), a checkered gesture (√), an oblique gesture (＼, /), a circle drawing gesture (○), and a dot while touching the printed matter. gestures (?) gestures to draw a question mark (?), based on a dot code information output method using gesture recognition comprising one or more of the gesture to write a specific character.
상기 특정 메뉴는 사전(Dictionary) 기능 메뉴, 번역(translation) 기능 메뉴, 음성출력 기능 메뉴 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
The method of claim 15,
And the specific menu comprises at least one of a dictionary function menu, a translation function menu, and a voice output function menu.
상기 제2 제스처는 밑줄을 긋는 제스처, 박스 모양을 그리는 제스처, 원을 그리는 제스처, 시작과 끝을 따옴표로 하는 제스처("ooooooo", 'ooooooo') 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
The method of claim 15,
The second gesture may include one or more of an underlined gesture, a box-shaped gesture, a circle-shaped gesture, and a gesture of starting and ending quotation marks (“ooooooo”, “ooooooo”). Dot code based information output method using
상기 제3 제스처는 상기 특정 범위가 끝나는 부분에서 상기 인쇄물 상에서 떼어내는 제스처, 상기 인쇄물 상에서 45도 각도로 사선을 긋는 제스처(↗), 체크 모양의 제스처(√), 특정 문자를 쓰는 제스처 중 하나 이상을 포함하는 것을 특징으로 하는 제스처 인식을 이용한 도트코드 기반 정보 출력 방법.
The method of claim 15,
The third gesture may be one or more of a gesture of peeling off the printed material at a portion at which the specific range ends, a gesture of drawing an oblique line at an angle of 45 degrees on the printed matter (↗), a checkered gesture (√), and a gesture of writing a specific character. Dot code-based information output method using gesture recognition, characterized in that it comprises a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100014746A KR101116689B1 (en) | 2010-02-18 | 2010-02-18 | Apparatus and method for outputting an information based on dot-code using gesture recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100014746A KR101116689B1 (en) | 2010-02-18 | 2010-02-18 | Apparatus and method for outputting an information based on dot-code using gesture recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110094981A KR20110094981A (en) | 2011-08-24 |
| KR101116689B1 true KR101116689B1 (en) | 2012-06-12 |
Family
ID=44930902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100014746A Active KR101116689B1 (en) | 2010-02-18 | 2010-02-18 | Apparatus and method for outputting an information based on dot-code using gesture recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101116689B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101473161B1 (en) | 2012-10-31 | 2014-12-16 | 송민우 | Multimedia Player Device for Sensing Pattern Code and Drive Method of the Same |
| KR101727671B1 (en) * | 2015-11-26 | 2017-04-17 | 박철우 | Method of processing inquiry triggered by smart pen, and mobile device capable of processing thereof |
| WO2017090856A1 (en) * | 2015-11-26 | 2017-06-01 | 박철우 | Method for providing wrong answer feedback note using smart pen and mobile device for processing same |
| KR102075382B1 (en) * | 2018-05-15 | 2020-02-11 | 한국전자통신연구원 | Apparatus for providing content for visually impaired people and method for providing the content using the same |
| KR102645176B1 (en) * | 2023-01-31 | 2024-03-06 | 주식회사 더코더 | Dot group encoding method and apparatus, and decoding method and apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060040612A (en) * | 2004-06-03 | 2006-05-10 | 리이프프로그 엔터프라이시스, 인코포레이티드 | Interactive interface generated by the user |
| KR20070047198A (en) * | 2005-11-01 | 2007-05-04 | 리이프프로그 엔터프라이시스, 인코포레이티드 | Method and device for associating user records with user recordable elements |
| US20070274561A1 (en) | 1999-05-19 | 2007-11-29 | Rhoads Geoffrey B | Methods and devices employing optical sensors and/or steganography |
| KR20080106621A (en) * | 2007-06-04 | 2008-12-09 | 제노젠(주) | Paper-based digital notebook, digital pen, workstation, information transfer server, handwriting information processing method and information management system |
-
2010
- 2010-02-18 KR KR1020100014746A patent/KR101116689B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070274561A1 (en) | 1999-05-19 | 2007-11-29 | Rhoads Geoffrey B | Methods and devices employing optical sensors and/or steganography |
| KR20060040612A (en) * | 2004-06-03 | 2006-05-10 | 리이프프로그 엔터프라이시스, 인코포레이티드 | Interactive interface generated by the user |
| KR20070047198A (en) * | 2005-11-01 | 2007-05-04 | 리이프프로그 엔터프라이시스, 인코포레이티드 | Method and device for associating user records with user recordable elements |
| KR20080106621A (en) * | 2007-06-04 | 2008-12-09 | 제노젠(주) | Paper-based digital notebook, digital pen, workstation, information transfer server, handwriting information processing method and information management system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110094981A (en) | 2011-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8944824B2 (en) | Multi-modal learning system | |
| CN101506867B (en) | Keyboards with input-sensitive display devices | |
| US20080042970A1 (en) | Associating a region on a surface with a sound or with another region | |
| US20110171617A1 (en) | System and method for teaching pictographic languages | |
| KR101116689B1 (en) | Apparatus and method for outputting an information based on dot-code using gesture recognition | |
| US20090248960A1 (en) | Methods and systems for creating and using virtual flash cards | |
| US20160132182A1 (en) | Digital Cursor Display Linked to a Smart Pen | |
| JP2005508031A (en) | Adaptable stroke order system based on radicals | |
| US20150193410A1 (en) | System for editing a text of a portable terminal and method thereof | |
| KR20190063853A (en) | Method and apparatus for moving an input field | |
| JP2014081950A (en) | Data processing system applying optical identification devices, method thereof, operation method thereof, and computer-readable recording medium | |
| US20190122405A1 (en) | Display device, display method, and recording medium | |
| JP2007219218A (en) | Electronic equipment for language learning and translation reproducing method | |
| JP6227133B2 (en) | Symbol image search service providing method and symbol image search server used therefor | |
| JP2008242541A (en) | Electronic form input system | |
| JP2019200233A (en) | Lesson support system, information processing device, lesson support method, and program | |
| KR20170061573A (en) | Method of providing wrong answer notes using smart pen and mobile device capable of processing thereof | |
| JP2006318069A (en) | Data reproducing apparatus and method, and computer program therefor | |
| KR20160086169A (en) | Method for Learning English Phonics Using User's Terminal utilizing the overlapping mode of English alphabet and Korean, and Media Being Recorded with Program Executing the Method for Learning English Phonics | |
| JP2018061071A (en) | Content creation device, content reproduction device, program, and content creation and reproduction system | |
| JP7036483B1 (en) | Programs, information processing equipment and information processing methods | |
| JP7494507B2 (en) | Display device, display method, and program | |
| KR102634047B1 (en) | English pronunciation card and system for providing english pronunciation learning service using thereof | |
| JP5660966B2 (en) | Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device | |
| JP2012108899A (en) | Electronic equipment, network system and content edition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20100218 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20110715 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120112 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20120208 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20120209 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20150210 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150210 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160318 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160318 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170216 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170216 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180208 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190211 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200214 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210201 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220209 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230208 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250630 Start annual number: 14 End annual number: 14 |