[go: up one dir, main page]

KR102469722B1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102469722B1
KR102469722B1 KR1020180113627A KR20180113627A KR102469722B1 KR 102469722 B1 KR102469722 B1 KR 102469722B1 KR 1020180113627 A KR1020180113627 A KR 1020180113627A KR 20180113627 A KR20180113627 A KR 20180113627A KR 102469722 B1 KR102469722 B1 KR 102469722B1
Authority
KR
South Korea
Prior art keywords
touch
display
color
area
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180113627A
Other languages
English (en)
Other versions
KR20200034183A (ko
Inventor
하지혜
김관형
김상호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180113627A priority Critical patent/KR102469722B1/ko
Priority to US16/550,075 priority patent/US10872444B2/en
Priority to CN201910896806.6A priority patent/CN110955367B/zh
Publication of KR20200034183A publication Critical patent/KR20200034183A/ko
Application granted granted Critical
Publication of KR102469722B1 publication Critical patent/KR102469722B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 카메라, 터치 디스플레이 및 터치 디스플레이를 촬영하도록 카메라를 제어하고, 카메라를 통해 촬영된 이미지에서 오브젝트가 식별되면, 이미지에 기초하여 터치 디스플레이 상에서 오브젝트의 제1 위치를 획득하며, 터치 디스플레이 상에서 오브젝트의 터치 입력이 감지되면, 제1 위치가 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하고, 제1 위치가 제2 위치로부터 기설정된 거리 이내이면, 식별된 오브젝트에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그 제어 방법 { DISPLAY APPARATUS AND CONTROL METHODS THEREOF }
본 개시는 디스플레이 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 전자 칠판으로 사용 가능한 디스플레이 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있으며, 터치 디스플레이를 구비하여 전자 칠판으로 사용될 수 있는 디스플레이 장치 등이 보급되고 있다.
종래의 전자 칠판은 별도의 UI를 제공하여 터치 궤적의 색상, 크기, 두께 및 형태 중 적어도 하나를 변경할 수 있게 하였다. 다만, 별도의 UI를 통해 설정을 변경하여야 하며, 설정 메뉴가 다양해짐에 따라 설정이 복잡하고 어렵게 되었다.
최근에는 카메라 등을 통해 사용자가 사용하는 터치펜의 색상에 따라 터치 궤적의 색상을 변경하는 전자 칠판도 개발되었다.
다만, 복수의 카메라를 포함하여 제조 단가가 상승하는 문제가 있었다. 또는, 하나의 카메라를 이용하더라도 그 기능 상에 제약이 많은 문제가 있었다. 예를 들면, 복수의 터치펜을 이용하여 동시에 터치를 수행하는 경우, 종래의 전자 칠판은 복수의 터치펜 각각이 어느 터치 지점에 대응되는지 인식할 수 없었다. 따라서, 종래의 전자 칠판은 제1 터치펜이 붉은색이고, 제2 터치펜이 노란색인 경우, 제1 터치 궤적을 붉은색으로 할지 또는 노란색으로 디스플레이할지 구분할 수 없었다. 또한, 제2 터치 궤적에 대하여도 동일한 문제가 있었다.
또는, 터치 입력이 있을 후에야 카메라를 통해 터치펜의 색상 등을 감지함에 따라 터치 궤적이 디스플레이 되기까지 지연이 발생하는 문제가 있었다.
또는, 카메라를 전자 칠판의 정면에 이격된 상태로 형성하여, 전자 칠판의 부피가 커지거나, 카메라와 전자 칠판 사이에 사용자가 위치하여 터치펜이 인식되지 않는 문제도 있었다.
따라서, 제조 단가를 낮추면서 부피가 작으며, 터치 궤적의 디스플레이 지연을 최소화하고, 복수의 터치 입력에 따른 복수의 터치 궤적을 디스플레이할 수 있는 전자 칠판의 개발이 필요하게 되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 제조 비용을 절감하고, 터치 궤적의 디스플레이에 있어서 지연을 최소화하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치는 터치 디스플레이, 카메라 및 상기 터치 디스플레이를 촬영하도록 상기 카메라를 제어하고, 상기 카메라를 통해 촬영된 이미지에서 오브젝트가 식별되면, 상기 이미지에 기초하여 상기 터치 디스플레이 상에서 상기 오브젝트의 제1 위치를 획득하며, 상기 터치 디스플레이 상에서 상기 오브젝트의 터치 입력이 감지되면, 상기 제1 위치가 상기 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하고, 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리 이내이면, 상기 식별된 오브젝트에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어하는 프로세서를 포함한다.
여기서, 상기 프로세서는 상기 이미지로부터 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 상기 식별된 정보에 기초하여 상기 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정할 수 있다.
그리고, 상기 프로세서는 상기 카메라를 통해 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하고, 상기 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 상기 오브젝트로 식별할 수 있다.
여기서, 색 온도 별 색상 정보가 저장된 스토리지를 더 포함하며, 상기 프로세서는 상기 이미지에 포함된 상기 터치 디스플레이의 베젤 색상에 기초하여 상기 이미지의 색 온도를 식별하고, 상기 식별된 색 온도에 대응되는 색상 정보에 기초하여 상기 움직임이 있는 영역을 필터링하며, 상기 필터링 결과에 기초하여 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별할 수 있다.
한편, 상기 프로세서는 상기 이미지로부터 상기 터치 디스플레이에 대응되는 제1 영역 및 상기 오브젝트에 대응되는 제2 영역을 식별하며, 상기 제1 영역을 상기 터치 디스플레이의 형태에 대응되도록 변환하고, 상기 변환된 제1 영역에 대응되도록 상기 제2 영역의 위치를 변경하고, 상기 변환된 제1 영역에 대한 상기 제2 영역의 변경된 위치에 기초하여 상기 제1 위치를 식별할 수 있다.
그리고, 스토리지를 더 포함하고, 상기 프로세서는 상기 이미지로부터 상기 오브젝트가 식별되면, 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 상기 스토리지에 저장하고, 상기 터치 디스플레이를 통해 상기 오브젝트의 터치 입력이 감지되면, 상기 스토리지에 저장된 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 상기 오브젝트의 기능을 식별하고, 상기 식별된 기능에 기초하여 상기 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는 상기 오브젝트의 형태 및 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리를 초과하면, 상기 터치 궤적을 디스플레이하지 않도록 상기 터치 디스플레이를 제어할 수 있다.
그리고, 상기 카메라는 상기 터치 디스플레이의 일측에 형성되어 상기 터치 디스플레이의 화면을 촬영할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 상기 디스플레이 장치에 구비된 터치 디스플레이를 촬영하는 단계, 상기 촬영된 이미지에서 오브젝트가 식별되면, 상기 이미지에 기초하여 상기 터치 디스플레이 상에서 상기 오브젝트의 제1 위치를 획득하는 단계, 상기 터치 디스플레이 상에서 상기 오브젝트의 터치 입력이 감지되면, 상기 제1 위치가 상기 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하는 단계 및 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리 이내이면, 상기 식별된 오브젝트에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하는 단계를 포함한다.
여기서, 상기 디스플레이하는 단계는 상기 이미지로부터 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 상기 식별된 정보에 기초하여 상기 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정할 수 있다.
그리고, 상기 획득하는 단계는 상기 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하는 단계 및 상기 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 상기 오브젝트로 식별하는 단계를 포함할 수 있다.
여기서, 상기 오브젝트로 식별하는 단계는 상기 이미지에 포함된 상기 터치 디스플레이의 베젤 색상에 기초하여 상기 이미지의 색 온도를 식별하는 단계, 상기 식별된 색 온도에 대응되는 색상 정보에 기초하여 상기 움직임이 있는 영역을 필터링하는 단계 및 상기 필터링 결과에 기초하여 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별하는 단계를 포함할 수 있다.
한편, 상기 획득하는 단계는 상기 이미지로부터 상기 터치 디스플레이에 대응되는 제1 영역 및 상기 오브젝트에 대응되는 제2 영역을 식별하는 단계, 상기 제1 영역을 상기 터치 디스플레이의 형태에 대응되도록 변환하고, 상기 변환된 제1 영역에 대응되도록 상기 제2 영역의 위치를 변경하는 단계 및 상기 변환된 제1 영역에 대한 상기 제2 영역의 변경된 위치에 기초하여 상기 제1 위치를 식별하는 단계를 포함할 수 있다.
그리고, 상기 이미지로부터 상기 오브젝트가 식별되면, 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 저장하는 단계를 더 포함하고, 상기 디스플레이하는 단계는 상기 저장된 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 상기 오브젝트의 기능을 식별하고, 상기 식별된 기능에 기초하여 상기 터치 궤적을 디스플레이할 수 있다.
그리고, 상기 디스플레이하는 단계는 상기 오브젝트의 형태 및 상기 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리를 초과하면, 상기 터치 궤적을 디스플레이하지 않을 수 있다.
그리고, 상기 촬영하는 단계는 상기 터치 디스플레이의 일측에 형성된 카메라에 의해 상기 터치 디스플레이의 화면을 촬영할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 디스플레이 장치는 하나의 카메라를 이용하여 터치펜을 미리 인식해두고, 터치가 감지되면 인식해둔 터치펜에 기초하여 터치 궤적을 디스플레이함에 따라 지연을 최소화하고, 제조 비용을 절감할 수 있다.
도 1a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 1b는 디스플레이 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 형태를 설명하기 위한 도면이다.
도 3a 내지 도 3d는 본 개시의 일 실시 예에 따른 이미지에서 오브젝트를 식별하는 방법을 설명하기 위한 도면들이다.
도 4는 본 개시의 다른 실시 예에 따른 이미지에서 오브젝트를 식별하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 터치 디스플레이 상에서 오브젝트의 제1 위치를 획득하는 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 개시의 다양한 실시 예에 따른 터치 입력에 따른 동작을 설명하기 위한 도면들이다.
도 7은 본 개시의 일 실시 예에 따른 오브젝트의 기능을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 오브젝트의 형태가 터치 궤적에 영향을 미치는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 개시의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1a는 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 나타내는 블록도이다.
도 1a에 따르면, 디스플레이 장치(100)는 터치 디스플레이(110), 카메라(120) 및 프로세서(130)를 포함한다.
디스플레이 장치(100)는 터치 입력을 수신하여 터치 입력에 대응되는 터치 궤적을 디스플레이하는 장치일 수 있다. 예를 들어, 디스플레이 장치는 스마트폰, 태블릿 PC 등일 수 있으며, 터치 입력을 수신하고, 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있는 장치라면 어떠한 장치라도 무방하다.
터치 디스플레이(110)는 프로세서(130)의 제어에 따라 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있다.
터치 디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 터치 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
터치 디스플레이(110)는 터치 감지부와 결합하여 터치 스크린으로 구현될 수 있다. 여기서, 터치 감지부는 터치 패널을 포함할 수 있다. 터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 터치 디스플레이(110)의 아래에 실장될 수 있다.
터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
또는, 터치 디스플레이(110)는 터치 패널 대신 적외선 센서를 통해 터치 좌표를 산출할 수도 있다. 예를 들어, 복수의 적외선 송신기(tx)가 디스플레이 장치(100)의 좌측 및 상측 베젤에 구비되고, 복수의 적외선 송신기(tx)에 대응되는 복수의 적외선 수신기(rx)가 디스플레이 장치의 우측 및 하측 베젤에 구비될 수 있다. 디스플레이 장치의 좌측 베젤에 구비된 적외선 송신기(tx)는 디스플레이 장치의 우측 베젤 방향으로 적외선을 방출하며, 디스플레이 장치의 좌측 베젤에 구비된 적외선 수신기(rx)가 이를 수신할 수 있다. 그리고, 디스플레이 장치의 상측 베젤에 구비된 적외선 송신기(tx)는 디스플레이 장치의 하측 베젤 방향으로 적외선을 방출하며, 디스플레이 장치의 하측 베젤에 구비된 적외선 수신기(rx)가 이를 수신할 수 있다.
이때, 오브젝트가 디스플레이 장치의 표면을 위치하는 경우, 일부 적외선 수신기(rx)는 적외선을 수신하지 못하며, 적외선을 수신하지 못한 적외선 수신기(rx)의 베젤에서의 위치에 따라 오브젝트의 x, y 좌표가 결정될 수도 있다.
한편, 터치 디스플레이(110)는 펜 인식 패널을 더 포함할 수도 있다. 펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 터치 디스플레이(110)의 아래에 실장될 수 있다.
펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.
프로세서(130)는 펜 인식 패널의 펜 인식 여부에 따라 카메라(120) 및 터치 패널의 동작 모드를 변경할 수 있다. 예를 들어, 프로세서(130)는 펜 인식 패널에서 펜이 인식되지 않는 경우, 카메라(120) 및 터치 패널을 비활성화시켜 전력 소모를 감소시킬 수 있다. 이후, 프로세서(130)는 펜 인식 패널에서 펜이 인식되면, 카메라(120) 및 터치 패널을 비활성화시킬 수 있다. 프로세서(130)는 카메라(120)를 활성화시켜 터치 디스플레이(110)를 촬영하도록 카메라(120)를 제어하고, 터치 패널을 활성화시켜 터치 디스플레이(110) 상의 터치 입력을 터치 패널을 통해 감지할 수 있다.
또한, 프로세서(130)는 카메라(120)가 활성화되면 펜 인식 패널을 비활성화시킬 수도 있다. 프로세서(130)는 카메라(120)를 통해 촬영된 이미지에서 오브젝트가 식별되지 않으면, 펜 인식 패널을 활성화시킬 수도 있다.
한편, 프로세서(130)는 펜 인식 패널에 통해 터치 입력이 감지된 위치에 기초하여 터치 궤적을 디스플레이할 수도 있다. 이에 대한 구체적인 설명은 후술한다.
카메라(120)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(120)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다. 카메라(120)는 터치 디스플레이(110)의 일측에 형성되어 터치 디스플레이(110)의 화면을 촬영할 수 있다.
카메라(120)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 카메라(120)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
프로세서(130)는 디스플레이 장치(100)에 구비된 구성을 제어함으로써 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 터치 디스플레이(110)를 촬영하도록 카메라(120)를 제어하고, 카메라(120)를 통해 촬영된 이미지에서 오브젝트를 식별할 수 있다. 예를 들어, 프로세서(130)는 이미지에서 터치펜을 식별할 수 있다. 구체적으로, 프로세서(130)는 특정 무늬가 있는 터치펜을 식별할 수 있다. 또는, 프로세서(130)는 사용자의 팔을 식별하고, 사용자의 팔의 일측에 위치한 터치펜을 식별할 수도 있다. 여기서, 카메라(120)는 터치 디스플레이(110)의 화면을 촬영하도록 설치된 상태일 수 있다.
또는, 프로세서(130)는 카메라(120)를 통해 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하고, 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 오브젝트로 식별할 수도 있다.
예를 들어, 사용자가 터치펜을 이용하여 터치 디스플레이(110)를 터치하는 경우, 프로세서(130)는 카메라(120)를 통해 터치가 입력되는 장면을 복수의 연속된 이미지로 촬영할 수 있다. 그리고, 프로세서(130)는 복수의 연속된 이미지로부터 사용자의 팔이 움직이는 영역을 식별하고, 식별된 영역 중 피부색을 제거하여 터치펜을 식별할 수 있다. 또는, 프로세서(130)는 식별된 영역 중 두꺼운 부분을 제거하여 상대적으로 얇은 터치펜을 식별할 수도 있다.
또는, 디스플레이 장치(100)는 색 온도 별 색상 정보가 저장된 스토리지(미도시)를 더 포함하며, 프로세서(130)는 이미지에 포함된 터치 디스플레이(110)의 베젤 색상에 기초하여 이미지의 색 온도를 식별하고, 식별된 색 온도에 대응되는 색상 정보에 기초하여 움직임이 있는 영역을 필터링하며, 필터링 결과에 기초하여 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별할 수도 있다.
즉, 디스플레이 장치(100)는 베젤 색상에 대한 정보를 저장하고 있으며, 프로세서(130)는 촬영 이미지에 포한된 터치 디스플레이(110)의 베젤 색상과 저장된 정보에 기초하여 이미지의 색 온도를 식별할 수 있다. 그리고, 프로세서(130)는 식별된 색 온도에 대응되는 색상 정보에 기초하여 움직임이 있는 영역을 필터링할 수 있다. 가령, 프로세서(130)는 식별된 색 온도에 대응되는 색상 정보 중 붉은 색상 범위만을 필터링하여 오브젝트가 필터링된 영역 내에 포함되어 있는지 식별할 수 있다. 만약, 오브젝트가 적색의 터치펜인 경우, 필터링된 영역은 터치펜 형태의 이미지를 포함할 수 있다. 또는, 프로세서(130)는 식별된 색 온도에 대응되는 색상 정보 중 노란 색상 범위만을 필터링하여 오브젝트가 필터링된 영역 내에 포함되어 있는지 식별할 수 있다. 오브젝트가 적색의 터치펜인 경우라면, 필터링된 영역은 특정 형태를 식별할 수 없다. 프로세서(130)는 이러한 동작을 기설정된 종류의 색상 범위로 반복하여 오브젝트를 식별할 수 있다. 상술한 예에서 필터링된 영역이 적색의 터치펜 형태를 포함하는 경우, 프로세서(130)는 식별된 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별할 수 있다.
이미지의 색 온도를 식별하는 동작은 카메라(120) 화이트 밸런스 기능의 동작 과정에서 발생하는 문제점을 해결하기 위함이다. 일반적으로, 카메라(120)는 촬영 범위 내의 색상 정보에 기초하여 화이트 밸런스를 조정할 수 있다. 이때, 촬영 범위 내의 대부분이 파란색 또는 초록색 등인 경우라면, 화이트 밸런스 기능의 오동작으로, 촬영 이미지의 색상이 왜곡될 수 있다. 즉, 촬영 이미지 내의 터치 디스플레이(110)의 베젤 색상 및 오브젝트의 색상 모두 왜곡될 수 있다. 따라서, 프로세서(130)는 동일하게 왜곡된 터치 디스플레이(110)의 베젤 색상을 이용하여 오브젝트의 왜곡된 색상으로부터 실제 오브젝트 색상에 가까운 색상을 획득할 수 있다.
한편, 프로세서(130)는 이미지에서 오브젝트가 식별되면, 이미지에 기초하여 터치 디스플레이(110) 상에서 오브젝트의 제1 위치를 획득할 수 있다.
구체적으로, 프로세서(130)는 이미지로부터 터치 디스플레이(110)에 대응되는 제1 영역 및 오브젝트에 대응되는 제2 영역을 식별하며, 제1 영역을 터치 디스플레이(110)의 형태에 대응되도록 변환하고, 변환된 제1 영역에 대응되도록 제2 영역의 위치를 변경하고, 변환된 제1 영역에 대한 제2 영역의 변경된 위치에 기초하여 제1 위치를 식별할 수 있다.
이는 카메라(120)가 터치 디스플레이(110)의 일측에 배치됨에 따른 것으로, 카메라(120)에 의해 촬영된 이미지는 직사각형 형태의 터치 디스플레이(110)가 아닌 찌그러진 사각형 형태의 터치 디스플레이(110)를 포함하게 된다. 즉, 실제로 직사각형 형태의 터치 디스플레이(110)가 다른 형태로 촬영될 수 있다. 따라서, 이미지 내에 포함된 터치 디스플레이(110) 상의 오브젝트의 상대적인 위치는 실제 터치 디스플레이(110) 상의 오브젝트의 상대적인 위치와 다를 수 있다. 이상의 동작은 이러한 왜곡을 보정하기 위함이다.
한편, 프로세서(130)는 터치 디스플레이(110) 상에서 오브젝트의 터치 입력이 감지되면, 제1 위치가 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하고, 제1 위치가 제2 위치로부터 기설정된 거리 이내이면, 식별된 오브젝트에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 이미지로부터 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 식별된 정보에 기초하여 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정할 수 있다.
예를 들어, 프로세서(130)는 이미지로부터 적색의 터치펜을 식별하고, 적색의 터치 궤적이 디스플레이되도록 터치 디스플레이(110)를 제어할 수 있다.
만약, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 터치 궤적을 디스플레이하지 않도록 터치 디스플레이(110)를 제어할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 제1 위치에 기초하여 제2 위치를 보정할 수도 있다. 예를 들어, 프로세서(130)는 제1 위치의 좌표값 및 제2 위치의 좌표값을 평균한 좌표값으로 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다.
또는, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 제1 위치를 무시하고 제2 위치에 기초하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다.
만약, 터치 디스플레이(110)가 펜 인식 패널을 포함하는 경우, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 펜 인식 패널을 통해 감지된 제3 위치를 더 고려하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다.
예를 들어, 프로세서(130)는 제1 위치 및 제2 위치 중 제3 위치에 더 가까운 위치에 기초하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다. 또는, 프로세서(130)는 제1 위치의 좌표값, 제2 위치의 좌표값 및 제3 위치의 좌표값을 평균한 좌표값으로 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다.
한편, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 제1 위치를 획득하는 알고리즘을 수정할 수도 있다. 예를 들어, 프로세서(130)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 이미지 내에 포함된 터치 디스플레이(110) 상의 오브젝트의 상대적인 위치로부터 제2 위치가 획득되도록 제1 위치를 획득하는 알고리즘을 수정할 수도 있다.
한편, 디스플레이 장치(100)는 스토리지(미도시)를 더 포함하고, 프로세서(130)는 이미지로부터 오브젝트가 식별되면, 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 스토리지에 저장하고, 터치 디스플레이(110)를 통해 오브젝트의 터치 입력이 감지되면, 스토리지에 저장된 정보에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
즉, 프로세서(130)는 촬영된 이미지를 통해 오브젝트에 대한 정보를 기저장하고, 터치 디스플레이(110)에 터치가 입력되면 곧바로 오브젝트에 대한 정보에 기초하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다. 프로세서(130)는 이러한 동작을 통해 터치 궤적이 디스플레이 되기까지의 지연을 최소화할 수 있다.
한편, 프로세서(130)는 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 오브젝트의 기능을 식별하고, 식별된 기능에 기초하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
예를 들어, 프로세서(130)는 오브젝트가 원기둥 형태인 경우 터치 입력에 대응되도록 터치 궤적을 디스플레이하고, 오브젝트가 직육면체 형태인 경우 터치 입력에 대응되도록 기 디스플레이되어 있는 컨텐츠 요소를 삭제할 수 있다.
또는, 프로세서(130)는 오브젝트의 형태 및 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수도 있다.
예를 들어, 프로세서(130)는 오브젝트가 별 형태인 경우 터치 입력에 대응되는 터치 궤적을 따라 별 형태의 컨텐츠 요소가 연속적으로 디스플레이되도록 터치 디스플레이(110)를 제어할 수도 있다.
도 1b는 디스플레이 장치(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 디스플레이 장치(100)는 터치 디스플레이(110), 카메라(120) 및 프로세서(130)를 포함할 수 있다. 또한, 도 1b에 따르면, 디스플레이 장치(100)는 스토리지(140), 통신부(150), 스피커(160), 버튼(170), 마이크(180)를 더 포함할 수도 있다. 도 1b에 도시된 구성요소들 중 도 1a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 스토리지(140)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 제1 내지 n 인터페이스(134-1 ~ 134-n), 버스(135)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 제1 내지 n 인터페이스(134-1 ~ 134-n) 등은 버스(135)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(134-1 내지 134-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 스토리지(140)에 액세스하여, 스토리지(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(140)에 저장된 각종 프로그램 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 스토리지(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 스토리지(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(133)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 메인 CPU(133)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 획득할 수 있다. 메인 CPU(133)는 획득된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 생성된 화면은 터치 디스플레이(110)의 디스플레이 영역 내에 표시된다.
한편, 프로세서(130)는 오디오 데이터에 대한 처리를 수행할 수 있다. 프로세서(130)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리를 수행할 수 있다.
또한, 프로세서(130)는 비디오 데이터에 대한 처리를 수행할 수 있다. 프로세서(130)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 상술한 프로세서(130)의 동작은 스토리지(140)에 저장된 프로그램에 의해 이루어질 수 있다.
스토리지(140)는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 오브젝트 인식 모듈, 오브젝트 정보 모듈, 및 색상 정보 모듈 등과 같이 다양한 데이터를 저장한다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(150)는 와이파이 칩(151), 블루투스 칩(152), 무선 통신 칩(153), NFC 칩(154) 등을 포함할 수 있다.
와이파이 칩(151), 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(153)은 IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(154)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
또한, 통신부(150)는 HDMI, MHL, USB, DP, 썬더볼트, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 더 포함할 수 있다. 프로세서(130)는 통신부(150)의 유선 통신 인터페이스를 통해 외부 장치와 연결될 수 있다. 이 경우, 프로세서(130)는 유선 통신 인터페이스를 통해 외부 장치로부터 데이터를 수신할 수 있다.
스피커(160)는 프로세서(130)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.
버튼(170)은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크(180)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
이상과 같은 방법을 통해 프로세서(130)는 터치 입력 후 터치 궤적이 디스플레이 되기까지의 지연을 최소화할 수 있다.
이하에서는 도면을 통해서 디스플레이 장치(100)의 동작을 좀더 구체적으로 설명한다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 형태를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 터치 디스플레이(110)를 포함할 수 있다. 또한, 디스플레이 장치(100)는 터치 디스플레이(110)의 일측에 형성된 카메라(120)를 더 포함할 수 있다.
여기서, 카메라(120)는 터치 디스플레이(110)의 좌측 상단에 형성된 것으로 도시되었으나, 이는 일 실시 예에 불과하다. 예를 들어, 카메라(120)는 터치 디스플레이(110)의 우측 상단에 형성될 수도 있으며, 터치 디스플레이의 화면을 촬영할 수 있다면 얼마든지 다른 위치에 형성될 수도 있다.
또한, 카메라(120)는 사용자에 의해 터치 디스플레이의 화면이 가려지는 것을 최소화하는 위치에 형성될 수 있다. 예를 들어, 카메라(120)가 터치 디스플레이(110)의 정면으로 돌출된 형태로 형성되는 경우, 사용자의 터치 입력이 있는 동안 사용자의 머리, 목 등이 촬영될 수도 있다. 즉, 이 경우는 카메라(120)가 터치 디스플레이(110)의 좌측 상단에 형성된 경우보다 터치 디스플레이의 화면이 더 가려진 채로 촬영이 이루어지게 되며, 카메라(120)의 설치 위치로서 부적절할 수 있다.
한편, 카메라(120)는 사용자의 터치 입력을 방해하지 않는 위치에 형성될 수 있다.
이하에서는 설명의 편의를 위하여, 카메라(120)가 터치 디스플레이(110)의 좌측 상단에 형성된 것으로 설명한다.
도 3a 내지 도 3d는 본 개시의 일 실시 예에 따른 이미지에서 오브젝트를 식별하는 방법을 설명하기 위한 도면들이다.
프로세서(130)는 도 3a에 도시된 바와 같이, 터치 디스플레이(110)를 촬영하도록 카메라(120)를 제어할 수 있다.
특히, 프로세서(130)는 복수의 촬영을 통해 복수의 연속된 이미지를 획득할 수 있다. 또는, 프로세서(130)는 동영상 촬영을 수행하도록 카메라(120)를 제어할 수도 있다.
프로세서(130)는 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하고, 움직임이 있는 영역을 제외한 나머지 배경 영역을 제거할 수 있다. 그리고, 프로세서(130)는 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 오브젝트로 식별할 수 있다.
또는, 프로세서(130)는 도 3b에 도시된 바와 같이, 복수의 연속된 이미지로부터 양팔의 움직임이 있는 영역들을 식별하고, 각 영역에서 팔, 손을 식별할 수 있다. 그리고, 프로세서(130)는 손의 일 측으로부터 일정 영역을 관심 영역(region of interest, ROI, 310, 320)으로 식별할 수 있다. 여기서, 손의 타 측은 팔과 연결된 부분이고, 손의 일 측은 손의 타 측과 반대 방향일 수 있다. 특히, 프로세서(130)는 복수의 연속된 이미지 중 가장 최근의 이미지에서 관심 영역(310, 320)을 식별할 수 있다.
프로세서(130)는 관심 영역(310, 320) 각각을 필터링하여 오브젝트를 식별할 수 있다. 예를 들어, 프로세서(130)는 도 3c에 도시된 바와 같이, 청색 필터를 이용하여 관심 영역(310, 320) 각각을 필터링할 수 있다. 이 경우, 관심 영역(310, 320) 내의 오브젝트가 청색인 경우, 도 3c의 가운데와 같이 오브젝트가 검은색으로 표시되고, 나머지 영역은 흰색이 될 수 있다. 프로세서(130)는 필터링된 관심 영역(310, 320)에서 기설정된 형태의 영역이 식별되면, 필터링에 이용된 필터의 색상을 오브젝트의 색상으로 획득하고, 필터링된 관심 영역(310, 320)에서 기설정된 형태의 영역에 기초하여 오브젝트의 크기, 형태를 획득할 수 있다. 여기서, 기설정된 형태는 디스플레이 장치(100)가 기저장하고 있을 수 있다. 예를 들어, 디스플레이 장치(100)는 직사각형 형태, 원 형태 등을 기설정된 형태로서 저장할 수 있다.
만약, 프로세서(130)는 적색 필터를 이용하여 관심 영역(310, 320) 각각을 필터링하였으나, 관심 영역(310, 320) 각각으로부터 기설정된 형태의 영역이 식별되지 않으면, 다른 색상의 필터로 관심 영역(310, 320) 각각에 대한 필터링을 반복할 수 있다.
이러한 방법을 통해, 프로세서(130)는 다양한 색상의 오브젝트를 식별할 수 있다. 가령, 프로세서(130)는 제1 관심 영역(310)에서 청색 오브젝트를 식별하고, 제2 관심 영역(320)에서 적색 오브젝트를 식별할 수 있다.
그리고, 프로세서(130)는 터치 디스플레이(110)에 터치 입력이 이루어지기 전에 오브젝트를 식별할 수 있다. 즉, 프로세서(130)는 이미지로부터 식별된 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 스토리지(140)에 저장해둘 수 있다. 또한, 프로세서(130)는 이미지에 기초하여 터치 디스플레이(110) 상에서 오브젝트의 제1 위치를 획득할 수 있다.
프로세서(130)는 터치 디스플레이(110) 상에서 오브젝트의 터치 입력이 감지될 때까지 오브젝트의 제1 위치를 연속적으로 획득할 수 있다. 가령, 오브젝트를 감지하기까지 10개의 이미지가 필요하다고 가정하면, 프로세서(130)는 10개의 이미지를 이용하여 오브젝트의 색상, 크기, 형태 및 제1 위치를 획득할 수 있다. 오브젝트에 대한 정보가 획득된 이후에도 프로세서(130)는 터치 디스플레이(110)를 촬영하도록 카메라(120)를 제어할 수 있다. 프로세서(130)는 10개의 이미지 이후에 촬영되는 이미지로부터는 오브젝트의 제1 위치만을 획득할 수 있다.
한편, 프로세서(130)는 이미지의 색 온도를 더 고려하여 오브젝트를 식별할 수도 있다. 예를 들어, 디스플레이 장치(100)는 도 3d에 도시된 바와 같이, 색 온도 별 베젤 색상을 저장할 수 있다. 그리고, 프로세서(130)는 이미지에 포함된 터치 디스플레이(110)의 베젤 색상에 기초하여 이미지의 색 온도를 식별하고, 식별된 색 온도에 대응되는 색상 정보에 기초하여 관심 영역(310, 320)을 필터링하며, 필터링 결과에 기초하여 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별할 수 있다.
이때, 색 온도가 변경되면, 필터링에 이용되는 필터도 변경될 수 있다. 가령, 3180K의 색 온도에서 이용되는 적색 필터는 3450K의 색 온도에서 이용되는 적색 필터와 미차가 있을 수 있다.
이상에서는 복수의 이미지를 이용하여 오브젝트를 식별하는 방법을 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 이미지 한장으로부터 오브젝트를 식별할 수도 있으며, 이에 대하여는 도 4에서 설명한다.
도 4는 본 개시의 다른 실시 예에 따른 이미지에서 오브젝트를 식별하는 방법을 설명하기 위한 도면이다.
디스플레이 장치(100)는 기설정된 패턴을 저장하고, 프로세서(130)는 이미지에서 기설정된 패턴이 식별되면, 식별된 패턴으로부터 기설정된 범위의 영역을 관심 영역으로 설정할 수 있다.
예를 들어, 디스플레이 장치(100)는 도 4에 도시된 바와 같이, 터치펜의 3개의 라인에 대응되는 패턴을 저장하고, 프로세서(130)는 이미지로부터 3개의 라인이 식별되면, 식별된 라인으로부터 기설정된 범위의 영역을 관심 영역으로 설정할 수 있다. 이때, 프로세서(130)는 3개의 라인이 평행한지 여부, 3개의 라인의 색상 등에 기초하여 3개의 라인이 기설정된 패턴인지 식별할 수 있다.
프로세서(130)는 관심 영역으로부터 오브젝트의 색상, 크기, 형태 및 제1 위치 중 적어도 하나를 획득할 수 있다.
이상과 같은 방법을 통해, 프로세서(130)는 하나의 이미지로부터 오브젝트를 식별할 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 터치 디스플레이(110) 상에서 오브젝트의 제1 위치를 획득하는 방법을 설명하기 위한 도면이다.
카메라(120)는 도 2에 도시된 바와 같이, 터치 디스플레이(110)의 일측에 형성된 상태이며, 그에 따라 카메라(120)에 의해 촬영된 이미지는 도 3a와 같을 수 있다. 가령, 터치 디스플레이(110)는 직사각형 형태이나, 이미지에서 터치 디스플레이(110)는 직사각형 형태가 아닐 수 있다.
프로세서(130)는 도 5의 상단에 도시된 바와 같이, 이미지로부터 터치 디스플레이(110)에 대응되는 제1 영역(ACBD) 및 오브젝트에 대응되는 제2 영역(510-1)을 식별할 수 있다. 설명의 편의를 위하여, 도 5의 상단은 제2 영역(510-1)이 일 지점인 것으로 도시하였다.
프로세서(130)는 제1 영역(ACBD)을 도 5의 하단에 도시된 바와 같이, 터치 디스플레이(110)의 형태에 대응되도록 변환하고, 변환된 제1 영역(A'C'B'D')에 대응되도록 제2 영역(510-1)의 위치를 변경하고, 변환된 제1 영역(A'C'B'D')에 대한 제2 영역(510-1)의 변경된 위치(510-2)에 기초하여 제1 위치를 식별할 수 있다.
프로세서(130)는 이러한 동작을 통해, 실제 터치 디스플레이(110)의 어느 지점에 오브젝트가 위치하는지 식별할 수 있다.
도 6a 및 도 6b는 본 개시의 다양한 실시 예에 따른 터치 입력에 따른 동작을 설명하기 위한 도면들이다.
프로세서(130)는 도 6a에 도시된 바와 같이, 터치 디스플레이(110) 상에서 오브젝트의 터치 입력이 감지되면, 제1 위치(610-2)가 터치 입력이 감지된 제2 위치(620)로부터 기설정된 거리 이내인지 식별할 수 있다. 여기서, 제1 위치(610-2)는 도 5에서 설명한 바와 같이, 카메라(120)에 의해 촬영된 이미지 내의 오브젝트의 위치(610-1)로부터 획득된 위치일 수 있다.
프로세서(130)는 제1 위치(610-2)가 제2 위치(620)로부터 기설정된 거리 이내이면, 식별된 오브젝트에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
또는, 프로세서(130)는 제1 위치(610-2)가 제2 위치(620)로부터 기설정된 거리를 초과하면, 터치 궤적을 디스플레이하지 않도록 터치 디스플레이(110)를 제어할 수 있다.
이러한 동작을 통해 프로세서(130)는 기저장해둔 오브젝트에 대한 정보를 어느 터치 궤적이 이용할지를 결정할 수 있다.
즉, 프로세서(130)는 도 6b에 도시된 바와 같이, 제1 오브젝트 및 제2 오브젝트가 식별되면, 터치 입력이 감지되기 전에 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보를 스토리지(140)에 저장할 수 있다. 여기서, 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보 각각은 제1 오브젝트의 제1 위치 및 제2 오브젝트의 제1 위치를 포함할 수 있다.
이후, 프로세서(130)는 복수의 터치 입력이 감지되면, 복수의 터치 입력이 감지된 제2 위치들과 제1 오브젝트의 제1 위치 및 제2 오브젝트의 제1 위치를 비교하여 복수의 터치 입력 각각에 대응되는 오브젝트를 식별할 수 있다.
제1 터치 입력에 제1 오브젝트가 대응되고, 제2 터치 입력에 제2 오브젝트가 대응되면, 프로세서(130)는 제1 오브젝트에 대한 정보에 기초하여 제1 터치 입력에 대응되는 제1 터치 궤적(630) 및 제2 오브젝트에 대한 정보에 기초하여 제2 터치 입력에 대응되는 제2 터치 궤적(640)을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 오브젝트의 기능을 설명하기 위한 도면이다.
프로세서(130)는 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 오브젝트의 기능을 식별하고, 식별된 기능에 기초하여 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
예를 들어, 프로세서(130)는 도 7에 도시된 바와 같이, 오브젝트가 지우개 기능에 대응되는 오브젝트인 경우, 터치 궤적(710)에 대응되도록 기 디스플레이되어 있는 컨텐츠 요소(720)를 삭제할 수 있다.
또는, 프로세서(130)는 오브젝트가 샤픈(sharpen) 기능에 대응되는 오브젝트인 경우, 터치 궤적에 대응되도록 기 디스플레이되어 있는 컨텐츠 요소에 포함된 선을 날카롭게 보정할 수 있다.
또는, 프로세서(130)는 오브젝트가 블러(blur) 기능에 대응되는 오브젝트인 경우, 터치 궤적에 대응되도록 기 디스플레이되어 있는 컨텐츠 요소를 흐리게 보정할 수 있다.
이때, 오브젝트의 기능은 터치 입력이 이루어진 영역에만 영향을 미칠 수 있다.
여기서, 지우개 기능을 갖는 오브젝트는 지우개와 같이 직육면체 형태이고, 샤픈 기능을 갖는 오브젝트는 송곳과 같은 형태일 수 있으며, 블러 기능을 갖는 오브젝트는 끝 부분이 돔 형태일 수 있다. 다만, 이에 한정되는 것은 아니며, 얼마든지 다른 형태로 오브젝트의 기능을 구분할 수도 있다. 또는, 오브젝트의 기능은 색상, 크기 및 형태 중 적어도 하나에 기초하여 구분될 수도 있다.
디스플레이 장치(100)는 오브젝트의 형태 등에 따른 기능을 기저장하고 있을 수 있다.
한편, 이상에서 설명한 기능 외에도 얼마든지 다양한 기능을 갖는 오브젝트가 있을 수 있다.
도 8은 본 개시의 일 실시 예에 따른 오브젝트의 형태가 터치 궤적에 영향을 미치는 동작을 설명하기 위한 도면이다.
프로세서(130)는 오브젝트의 형태 및 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
예를 들어, 프로세서(130)는 도 8에 도시된 바와 같이, 구 형태의 오브젝트에 의해 터치 입력이 감지되면, 비록 터치 궤적은 선 형태(810)이나, 선 형태(810)의 터치 궤적을 따라 별 모양을 연속적으로 디스플레이할 수도 있다.
즉, 터치 디스플레이(110)는 선 형태(810)가 터치 입력을 감지하나, 터치 입력이 감지되지 않은 영역에도 별 모양이 디스플레이될 수 있다.
다만, 이에 한정되는 것은 아니며, 오브젝트의 형태 및 그에 따라 디스플레이되는 모양은 얼마든지 다양할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 디스플레이 장치에 구비된 터치 디스플레이를 촬영한다(S910). 그리고, 촬영된 이미지에서 오브젝트가 식별되면, 이미지에 기초하여 터치 디스플레이 상에서 오브젝트의 제1 위치를 획득한다(S920). 그리고, 터치 디스플레이 상에서 오브젝트의 터치 입력이 감지되면, 제1 위치가 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별한다(S930). 그리고, 제1 위치가 제2 위치로부터 기설정된 거리 이내이면, 식별된 오브젝트에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이한다(S940).
여기서, 디스플레이하는 단계(S940)는 이미지로부터 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 식별된 정보에 기초하여 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정할 수 있다.
한편, 획득하는 단계(S920)는 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하는 단계 및 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 오브젝트로 식별하는 단계를 포함할 수 있다.
여기서, 오브젝트로 식별하는 단계는 이미지에 포함된 터치 디스플레이의 베젤 색상에 기초하여 이미지의 색 온도를 식별하는 단계, 식별된 색 온도에 대응되는 색상 정보에 기초하여 움직임이 있는 영역을 필터링하는 단계 및 필터링 결과에 기초하여 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별하는 단계를 포함할 수 있다.
한편, 획득하는 단계(S920)는 이미지로부터 터치 디스플레이에 대응되는 제1 영역 및 오브젝트에 대응되는 제2 영역을 식별하는 단계, 제1 영역을 터치 디스플레이의 형태에 대응되도록 변환하고, 변환된 제1 영역에 대응되도록 제2 영역의 위치를 변경하는 단계 및 변환된 제1 영역에 대한 제2 영역의 변경된 위치에 기초하여 제1 위치를 식별하는 단계를 포함할 수 있다.
그리고, 이미지로부터 오브젝트가 식별되면, 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 저장하는 단계를 더 포함하고, 디스플레이하는 단계(S940)는 저장된 정보에 기초하여 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있다.
한편, 디스플레이하는 단계(S940)는 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 오브젝트의 기능을 식별하고, 식별된 기능에 기초하여 터치 궤적을 디스플레이할 수 있다.
그리고, 디스플레이하는 단계(S940)는 오브젝트의 형태 및 터치 입력에 대응되는 터치 궤적을 디스플레이할 수 있다.
한편, 디스플레이하는 단계(S940)는 제1 위치가 제2 위치로부터 기설정된 거리를 초과하면, 터치 궤적을 디스플레이하지 않을 수 있다.
그리고, 촬영하는 단계(S910)는 터치 디스플레이의 일측에 형성된 카메라에 의해 터치 디스플레이의 화면을 촬영할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 디스플레이 장치는 하나의 카메라를 이용하여 터치펜을 미리 인식해두고, 터치가 감지되면 인식해둔 터치펜에 기초하여 터치 궤적을 디스플레이함에 따라 지연을 최소화하고, 제조 비용을 절감할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 장치 110 : 터치 디스플레이
120 : 카메라 130 : 프로세서
140 : 스토리지 150 : 통신부
160 : 스피커 170 : 버튼
180 : 마이크

Claims (20)

  1. 터치 디스플레이;
    카메라; 및
    상기 터치 디스플레이를 촬영하도록 상기 카메라를 제어하고,
    상기 카메라를 통해 촬영된 이미지에서 오브젝트가 식별되면, 상기 이미지에 기초하여 상기 터치 디스플레이 상에서 상기 오브젝트의 제1 위치를 획득하며,
    상기 터치 디스플레이 상에서 상기 오브젝트의 터치 입력이 감지되면, 상기 제1 위치가 상기 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하고,
    상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리 이내이면, 상기 식별된 오브젝트에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어하고, 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리를 초과하면, 상기 터치 궤적을 디스플레이하지 않도록 상기 터치 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지로부터 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 상기 식별된 정보에 기초하여 상기 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정하는, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하고,
    상기 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 상기 오브젝트로 식별하는, 디스플레이 장치.
  4. 제3항에 있어서,
    색 온도 별 색상 정보가 저장된 스토리지;를 더 포함하며,
    상기 프로세서는,
    상기 이미지에 포함된 상기 터치 디스플레이의 베젤 색상에 기초하여 상기 이미지의 색 온도를 식별하고,
    상기 식별된 색 온도에 대응되는 색상 정보에 기초하여 상기 움직임이 있는 영역을 필터링하며,
    상기 필터링 결과에 기초하여 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별하는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지로부터 상기 터치 디스플레이에 대응되는 제1 영역 및 상기 오브젝트에 대응되는 제2 영역을 식별하며,
    상기 제1 영역을 상기 터치 디스플레이의 형태에 대응되도록 변환하고, 상기 변환된 제1 영역에 대응되도록 상기 제2 영역의 위치를 변경하고,
    상기 변환된 제1 영역에 대한 상기 제2 영역의 변경된 위치에 기초하여 상기 제1 위치를 식별하는, 디스플레이 장치.
  6. 제1항에 있어서,
    스토리지;를 더 포함하고,
    상기 프로세서는,
    상기 이미지로부터 상기 오브젝트가 식별되면, 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 상기 스토리지에 저장하고,
    상기 터치 디스플레이를 통해 상기 오브젝트의 터치 입력이 감지되면, 상기 스토리지에 저장된 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 상기 오브젝트의 기능을 식별하고, 상기 식별된 기능에 기초하여 상기 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 형태 및 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하도록 상기 터치 디스플레이를 제어하는, 디스플레이 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 카메라는,
    상기 터치 디스플레이의 일측에 형성되어 상기 터치 디스플레이의 화면을 촬영하는, 디스플레이 장치.
  11. 디스플레이 장치의 제어 방법에 있어서,
    상기 디스플레이 장치에 구비된 터치 디스플레이를 촬영하는 단계;
    상기 촬영된 이미지에서 오브젝트가 식별되면, 상기 이미지에 기초하여 상기 터치 디스플레이 상에서 상기 오브젝트의 제1 위치를 획득하는 단계;
    상기 터치 디스플레이 상에서 상기 오브젝트의 터치 입력이 감지되면, 상기 제1 위치가 상기 터치 입력이 감지된 제2 위치로부터 기설정된 거리 이내인지 식별하는 단계; 및
    상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리 이내이면, 상기 식별된 오브젝트에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하고, 상기 제1 위치가 상기 제2 위치로부터 상기 기설정된 거리를 초과하면, 상기 터치 궤적을 디스플레이하지 않는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 이미지로부터 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 식별하고, 상기 식별된 정보에 기초하여 상기 터치 궤적의 색상, 크기 및 형태 중 적어도 하나를 결정하는, 제어 방법.
  13. 제11항에 있어서,
    상기 획득하는 단계는,
    상기 촬영된 복수의 연속된 이미지로부터 움직임이 있는 영역을 식별하는 단계; 및
    상기 움직임이 있는 영역에서 기설정된 형태 및 기설정된 색상 중 적어도 하나에 대응되는 영역을 제거한 나머지 영역을 상기 오브젝트로 식별하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 오브젝트로 식별하는 단계는,
    상기 이미지에 포함된 상기 터치 디스플레이의 베젤 색상에 기초하여 상기 이미지의 색 온도를 식별하는 단계;
    상기 식별된 색 온도에 대응되는 색상 정보에 기초하여 상기 움직임이 있는 영역을 필터링하는 단계; 및
    상기 필터링 결과에 기초하여 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나를 식별하는 단계;를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 획득하는 단계는,
    상기 이미지로부터 상기 터치 디스플레이에 대응되는 제1 영역 및 상기 오브젝트에 대응되는 제2 영역을 식별하는 단계;
    상기 제1 영역을 상기 터치 디스플레이의 형태에 대응되도록 변환하고, 상기 변환된 제1 영역에 대응되도록 상기 제2 영역의 위치를 변경하는 단계; 및
    상기 변환된 제1 영역에 대한 상기 제2 영역의 변경된 위치에 기초하여 상기 제1 위치를 식별하는 단계;를 포함하는, 제어 방법.
  16. 제11항에 있어서,
    상기 이미지로부터 상기 오브젝트가 식별되면, 상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나의 정보를 저장하는 단계;를 더 포함하고,
    상기 디스플레이하는 단계는,
    상기 저장된 정보에 기초하여 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하는, 제어 방법.
  17. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 오브젝트의 색상, 크기 및 형태 중 적어도 하나에 기초하여 상기 오브젝트의 기능을 식별하고, 상기 식별된 기능에 기초하여 상기 터치 궤적을 디스플레이하는, 제어 방법.
  18. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 오브젝트의 형태 및 상기 터치 입력에 대응되는 터치 궤적을 디스플레이하는, 제어 방법.
  19. 삭제
  20. 제11항에 있어서,
    상기 촬영하는 단계는,
    상기 터치 디스플레이의 일측에 형성된 카메라에 의해 상기 터치 디스플레이의 화면을 촬영하는, 제어 방법.
KR1020180113627A 2018-09-21 2018-09-21 디스플레이 장치 및 그 제어 방법 Active KR102469722B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180113627A KR102469722B1 (ko) 2018-09-21 2018-09-21 디스플레이 장치 및 그 제어 방법
US16/550,075 US10872444B2 (en) 2018-09-21 2019-08-23 Display apparatus and control method thereof
CN201910896806.6A CN110955367B (zh) 2018-09-21 2019-09-20 显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180113627A KR102469722B1 (ko) 2018-09-21 2018-09-21 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200034183A KR20200034183A (ko) 2020-03-31
KR102469722B1 true KR102469722B1 (ko) 2022-11-22

Family

ID=69884947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180113627A Active KR102469722B1 (ko) 2018-09-21 2018-09-21 디스플레이 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10872444B2 (ko)
KR (1) KR102469722B1 (ko)
CN (1) CN110955367B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
CN107209609A (zh) 2015-02-09 2017-09-26 平蛙实验室股份公司 包括在传输面板上方和内部投射和检测光束的装置的光学触摸系统
US10775937B2 (en) 2015-12-09 2020-09-15 Flatfrog Laboratories Ab Stylus identification
US10896806B2 (en) * 2016-11-03 2021-01-19 En2Core Technology, Inc. Inductive coil structure and inductively coupled plasma generation system
KR102762581B1 (ko) 2016-12-07 2025-02-05 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
CN110300950B (zh) 2017-02-06 2023-06-16 平蛙实验室股份公司 触摸感测系统中的光学耦合
EP3602257A4 (en) 2017-03-22 2021-01-13 Flatfrog Laboratories TOUCH INDICATOR ERASER
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
CN110400548B (zh) * 2019-07-05 2021-02-02 深圳市华星光电技术有限公司 显示器的白平衡调整系统及其调整方法
CN114730228A (zh) 2019-11-25 2022-07-08 平蛙实验室股份公司 一种触摸感应设备
EP4100822A4 (en) 2020-02-08 2024-02-28 FlatFrog Laboratories AB TOUCH DEVICE WITH LOW LATENCY INTERACTIONS
JP7681911B2 (ja) 2020-02-10 2025-05-23 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
US11611719B2 (en) * 2020-12-04 2023-03-21 Dragonfruit Ai, Inc. Management of video playback speed based on objects of interest in the video data
KR102433373B1 (ko) * 2022-03-29 2022-08-18 유환아이텍(주) 전자 칠판의 터치 입력에 대한 id 생성 장치 및 방법
CN115061588B (zh) * 2022-07-08 2024-07-12 深圳市学之友科技有限公司 一种点阵数码笔及其制造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013873A (ja) 2016-07-19 2018-01-25 株式会社リコー 情報処理装置、情報表示システム、電子黒板システム、情報処理方法
KR101859713B1 (ko) 2017-01-10 2018-05-21 주식회사 하이딥 사용자 인터페이스 제공을 위한 터치 입력 장치 및 방법

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5042437Y2 (ko) 1972-02-01 1975-12-02
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
ES2396587T3 (es) 2000-07-05 2013-02-22 Smart Technologies Ulc Método y aparato táctil en base a cámara
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
JP4111897B2 (ja) * 2003-09-16 2008-07-02 日立ソフトウエアエンジニアリング株式会社 ウインドウの制御方法
KR100753597B1 (ko) 2005-11-22 2007-08-30 (주)유비콤기술 전자칠판 시스템
US20100110007A1 (en) * 2007-01-30 2010-05-06 Takayuki Akimoto Input system and method, and computer program
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
JP5371626B2 (ja) * 2009-08-18 2013-12-18 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
KR20110138975A (ko) * 2010-06-22 2011-12-28 삼성전기주식회사 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
JP5680976B2 (ja) * 2010-08-25 2015-03-04 株式会社日立ソリューションズ 電子黒板システム及びプログラム
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
WO2012111227A1 (ja) * 2011-02-16 2012-08-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 タッチ式入力装置、電子機器および入力方法
JP5754216B2 (ja) * 2011-04-04 2015-07-29 セイコーエプソン株式会社 入力システム及びペン型入力機器
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US9097739B2 (en) * 2011-06-27 2015-08-04 The Johns Hopkins University System for lightweight image processing
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
US20130257825A1 (en) * 2012-03-31 2013-10-03 Smart Technologies Ulc Interactive input system and pen tool therefor
US9551922B1 (en) * 2012-07-06 2017-01-24 Amazon Technologies, Inc. Foreground analysis on parametric background surfaces
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
KR102146244B1 (ko) * 2013-02-22 2020-08-21 삼성전자주식회사 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
US10289203B1 (en) * 2013-03-04 2019-05-14 Amazon Technologies, Inc. Detection of an input object on or near a surface
US20140267089A1 (en) * 2013-03-18 2014-09-18 Sharp Laboratories Of America, Inc. Geometric Shape Generation using Multi-Stage Gesture Recognition
TWI557646B (zh) * 2013-03-25 2016-11-11 鴻海精密工業股份有限公司 電子白板系統、電子書寫筆及電子書寫方法
WO2014169225A1 (en) * 2013-04-12 2014-10-16 Iconics, Inc. Virtual touch screen
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
WO2015047223A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
TWI511006B (zh) * 2014-02-07 2015-12-01 Wistron Corp 光學影像式觸控系統與觸控影像處理方法
EP3108330B1 (en) * 2014-02-17 2021-10-20 Apple Inc. Method and device for detecting a touch between a first object and a second object
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10664090B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
KR20160107684A (ko) 2015-03-05 2016-09-19 인포뱅크 주식회사 전자 칠판 시스템
US9804709B2 (en) * 2015-04-28 2017-10-31 Samsung Display Co., Ltd. Vector fill segment method and apparatus to reduce display latency of touch events
JP6618276B2 (ja) * 2015-05-29 2019-12-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10048842B2 (en) * 2015-06-15 2018-08-14 Google Llc Selection biasing
KR20170000196A (ko) * 2015-06-23 2017-01-02 삼성전자주식회사 객체의 속성 기반의 상태 변화 효과를 출력하기 위한 방법 및 그 전자 장치
KR20170004702A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 디스플레이 장치 및 제어 방법
WO2017022966A1 (en) * 2015-08-05 2017-02-09 Samsung Electronics Co., Ltd. Electric white board and control method thereof
US9658702B2 (en) * 2015-08-12 2017-05-23 Smart Technologies Ulc System and method of object recognition for an interactive input system
JP6711817B2 (ja) * 2015-08-20 2020-06-17 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10114499B2 (en) * 2015-08-24 2018-10-30 Apple Inc. Enhanced handling of remote controller touchpad input data
US9933901B2 (en) * 2015-08-24 2018-04-03 Apple Inc. Reduction of media application response time through prediction of remote controller input data
US9710314B2 (en) * 2015-08-24 2017-07-18 Apple Inc. Dynamic throttling of remote controller components based on media application requirements
US20170083201A1 (en) * 2015-09-22 2017-03-23 Samsung Electronics Co., Ltd. Method and system for navigation and selection in electronic device
CA2942773C (en) * 2015-09-25 2023-06-27 Smart Technologies Ulc System and method of pointer detection for interactive input
CN108139825B (zh) * 2015-09-30 2021-10-15 株式会社理光 电子黑板、存储介质和信息显示方法
US20180321493A1 (en) * 2015-11-11 2018-11-08 Lg Electronics Inc. Hmd and method for controlling same
KR101765202B1 (ko) 2016-04-15 2017-08-04 (주)컴버스테크 화면 밖의 부분이 터칭되면 미리 설정된 기능이 실행되는 전자칠판
WO2018004967A1 (en) * 2016-06-12 2018-01-04 Apple Inc. Digital touch on live video
CN106873892A (zh) * 2017-01-23 2017-06-20 努比亚技术有限公司 一种快捷操作方法和设备
CN106843737B (zh) * 2017-02-13 2020-05-08 北京新美互通科技有限公司 文本输入方法、装置及终端设备
KR101949493B1 (ko) * 2017-02-20 2019-02-19 네이버 주식회사 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
KR20190035341A (ko) 2017-09-26 2019-04-03 삼성전자주식회사 전자칠판 및 그 제어방법
US10572072B2 (en) * 2017-09-29 2020-02-25 Apple Inc. Depth-based touch detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013873A (ja) 2016-07-19 2018-01-25 株式会社リコー 情報処理装置、情報表示システム、電子黒板システム、情報処理方法
KR101859713B1 (ko) 2017-01-10 2018-05-21 주식회사 하이딥 사용자 인터페이스 제공을 위한 터치 입력 장치 및 방법

Also Published As

Publication number Publication date
CN110955367B (zh) 2024-06-18
US20200098147A1 (en) 2020-03-26
KR20200034183A (ko) 2020-03-31
US10872444B2 (en) 2020-12-22
CN110955367A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
KR102469722B1 (ko) 디스플레이 장치 및 그 제어 방법
US10645292B2 (en) User terminal apparatus and control method thereof
US10021294B2 (en) Mobile terminal for providing partial attribute changes of camera preview image and method for controlling the same
US10013083B2 (en) Utilizing real world objects for user input
US10067562B2 (en) Display apparatus and image correction method thereof
KR102308201B1 (ko) 사용자 단말 장치 및 그 제어 방법
US11301120B2 (en) Display apparatus and controlling method thereof
CN103176744B (zh) 一种显示设备及其信息处理方法
KR20130115174A (ko) 디지털 베젤을 제공하기 위한 장치 및 방법
JP6229069B2 (ja) モバイルターミナル、バーチャルボタンを処理する方法
US20140104161A1 (en) Gesture control device and method for setting and cancelling gesture operating region in gesture control device
US10969827B2 (en) Electronic device and method for controlling user interface therein
WO2014105012A1 (en) System and method for gesture based touchscreen control of displays
EP3101528B1 (en) Method for controlling a display of an electronic device and the electronic device thereof
US20150084893A1 (en) Display device, method for controlling display, and recording medium
CN105446619A (zh) 用于识别物体的装置和方法
CN105302404A (zh) 鼠标指针快速移动的方法及系统
US20200296291A1 (en) User terminal apparatus and control method thereof
KR102180820B1 (ko) 디스플레이 장치 및 그 제어 방법
EP3313054B1 (en) System with an electronic device having auxiliary device
KR20160024208A (ko) 전자 장치의 근접 감지 방법 및 그 전자 장치
US20150015510A1 (en) Electronic device and method for drawing pictures
US20250377783A1 (en) Electronic apparatus and controlling method thereof
US20240069647A1 (en) Detecting method, detecting device, and recording medium
US20180239486A1 (en) Control method, electronic blackboard system, display device, and program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180921

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210616

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180921

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220617

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221101

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221117

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221118

End annual number: 3

Start annual number: 1

PG1601 Publication of registration