[go: up one dir, main page]

KR102171817B1 - 디스플레이 장치 및 제어 방법 - Google Patents

디스플레이 장치 및 제어 방법 Download PDF

Info

Publication number
KR102171817B1
KR102171817B1 KR1020140030414A KR20140030414A KR102171817B1 KR 102171817 B1 KR102171817 B1 KR 102171817B1 KR 1020140030414 A KR1020140030414 A KR 1020140030414A KR 20140030414 A KR20140030414 A KR 20140030414A KR 102171817 B1 KR102171817 B1 KR 102171817B1
Authority
KR
South Korea
Prior art keywords
mode
motion
display device
recognized
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140030414A
Other languages
English (en)
Other versions
KR20150107452A (ko
Inventor
이봉석
이동훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020140030414A priority Critical patent/KR102171817B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15760639.3A priority patent/EP3117622B1/en
Priority to CN201580013392.8A priority patent/CN106105247B/zh
Priority to EP19196490.7A priority patent/EP3598765A1/en
Priority to CN202210154577.2A priority patent/CN114578951B/zh
Priority to PCT/KR2015/002385 priority patent/WO2015137742A1/en
Priority to US14/657,462 priority patent/US10191554B2/en
Publication of KR20150107452A publication Critical patent/KR20150107452A/ko
Application granted granted Critical
Publication of KR102171817B1 publication Critical patent/KR102171817B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치 및 그의 제어 방법이 제공된다. 본 디스플레이 장치의 제어 방법은 오브젝트가 인식된 경우, 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하고, 모드 전환 UI를 이용하여 기설정된 사용자 모션이 인식된 경우, 디스플레이 장치의 모드를 사용자 모션을 이용하여 상기 디스플레이 장치를 제어하는 상기 모션 태스크 모드로 전환하며, 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이한다.

Description

디스플레이 장치 및 제어 방법{DISPLAY APPARATUS AND METHOD FOR CONTROLLING DISPLAY APPARATUS THEREOF}
본 발명은 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 모션 인식부를 통해 입력된 사용자 모션에 따라 제어되는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA, 태블렛 PC 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 디스플레이 장치의 다양한 기능을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 디스플레이 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 사용자가 디스플레이 장치의 다양한 기능을 효율적으로 사용하기에는 어려움이 있었다. 가령, 디스플레이 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않았다.
이러한 번거로움을 극복하기 위해, 근래에는 디스플레이 장치를 조금 더 편리하고 직관적으로 제어하기 위한 모션 인식 기술이 개발되고 있다. 즉, 사용자의 모션을 인식하여 디스플레이 장치를 제어하는 기술이 각광을 받고 있다.
그러나, 기존의 모션 인식 기술은 기설정된 사용자 모션이 인식되면 디스플레이 장치를 제어하는 UI를 바로 화면에 보여주기 때문에, 의도치 않은 오인식이 발생할 경우에 UI로 인하여 컨텐츠 시청이 방해될 수 있다는 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 두 단계의 모션 인식을 통하여 모션 태스크를 수행할 수 있는 디스플레이 장치 및 그의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법은, 오브젝트를 인식하는 단계; 상기 오브젝트가 인식된 경우, 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하는 단계; 상기 모드 전환 UI를 이용한 기설정된 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 사용자 모션을 이용하여 상기 디스플레이 장치를 제어하는 상기 모션 태스크 모드로 전환하는 단계; 및 상기 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이하는 단계;를 포함한다.
그리고, 상기 모드 전환 UI를 디스플레이하는 단계는, 상기 모션 태스크 모드로의 전환을 위한 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 디스플레이할 수 있다.
또한, 상기 전환하는 단계는, 사용자 모션에 따라 이동된 포인터가 상기 모드 전환 아이콘 상으로 이동된 후 상기 모드 전환 아이콘을 선택하는 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환할 수 있다.
그리고, 상기 모드 전환 UI를 디스플레이하는 단계는, 상기 모션 태스크 모드로의 전환을 위한 사용자의 기설정된 모션 패턴을 안내하는 모션 패턴 안내 UI를 디스플레이할 수 있다.
또한, 상기 전환하는 단계는, 상기 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환할 수 있다.
그리고, 상기 디스플레이 장치는, 상기 오브젝트가 인식되기 전에는 일반 구동 모드로 구동하며, 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드로 전환할 수 있다.
또한, 상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 기설정된 사용자 모션이 인식되지 않은 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드에서 일반 구동 모드로 전환할 수 있다.
그리고, 상기 모션 태스크 모드는, 상기 인식된 오브젝트를 추적하여 인식된 사용자 모션에 따라 제어할 수 있다.
또한, 상기 오브젝트는, 사용자의 손, 손가락, 팔, 얼굴 및 물체 중 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 다른, 디스플레이 장치는, 사용자 모션을 인식하는 모션 인식부; 영상을 디스플레이하는 디스플레이부; 및 상기 모션 인식부를 통해 오브젝트가 인식된 경우, 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 모션 인식부를 통해 상기 모드 전환 UI를 이용한 기설정된 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 사용자 모션을 이용하여 상기 디스플레이 장치를 제어하는 상기 모션 태스크 모드로 전환하며, 상기 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 모션 태스크 모드로의 전환을 위한 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 사용자 모션에 따라 이동된 포인터가 상기 모드 전환 아이콘 상으로 이동된 후 상기 모드 전환 아이콘을 선택하는 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환할 수 있다.
그리고, 상기 제어부는, 상기 모션 태스크 모드로의 전환을 위한 사용자의 기설정된 모션 패턴을 안내하는 모션 패턴 안내 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환할 수 있다.
그리고, 상기 제어부는, 상기 오브젝트가 인식되기 전에는 일반 구동 모드로 구동하며, 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드로 전환할 수 있다.
또한, 상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 기설정된 사용자 모션이 인식되지 않은 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드에서 일반 구동 모드로 전환할 수 있다.
그리고, 상기 모션 태스크 모드는, 상기 인식된 오브젝트를 추적하여 인식된 사용자 모션에 따라 제어될 수 있다.
또한, 상기 오브젝트는, 사용자의 손, 손가락, 팔, 얼굴 및 물체 중 하나일 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 두 단계의 모션 인식을 통하여 오인식으로 인한 불편함이 없이 디스플레이 장치의 모션 태스크를 수행할 수 있다. 이에 따라, 사용자가 편리하게 사용할 수 있는 디스플레이 장치 제어 기능을 제공할 수 있다.
도 1 및 도 2는 본 발명의 다양한 실시예에 따른, 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 디스플레이 장치가 인식하는 오브젝트를 설명하기 위한 도면,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 모드 전환 아이콘과 포인터를 이용하여 모션 태스크 모드로 전환하는 방법을 설명하기 위한 도면,
도 5a 내지 도 6c는 본 발명의 일 실시예에 따른, 모션 패턴 안내 UI와 패턴에 대응되는 사용자 모션을 이용하여 모션 태스크 모드로 전환하는 방법을 설명하기 위한 도면,
도 7 및 도 8은 본 발명의 다양한 실시예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 개략적으로 나타낸 블럭도이다. 도 1을 참조하면, 디스플레이 장치(100)는 모션 인식부(110), 디스플레이부(120), 제어부(130)를 포함한다. 디스플레이 장치(100)는 스마트 TV일 수 있으나, 이는 일 실시예에 불과할 뿐 스마트 폰, 태블릿 PC, 노트북 PC, 모니터, 전자 액자, 키오스크 등과 같은 디스플레이 유닛을 구비한 다양한 장치로 구현될 수 있으며 이에 한정되는 것은 아니다.
모션 인식부(110)는 오브젝트를 촬영하여 사용자 모션을 인식한다. 구체적으로, 모션 인식부(110)는 촬영 장치(예를 들어, 카메라 등)를 이용하여 오브젝트를 촬영하고 인식하며, 인식된 오브젝트의 움직임을 추적하여 사용자 모션을 인식할 수 있다.
디스플레이부(120)는 제어부(130)의 제어에 따라 수신된 영상 데이터 또는 다양한 UI를 디스플레이한다. 특히, 디스플레이부(120)는 모드 전환 UI 및 모션 태스크 UI를 디스플레이할 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 구성을 제어한다. 특히, 모션 인식부(110)를 통해 오브젝트가 인식된 경우, 제어부(130)는 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하도록 디스플레이부(120)를 제어하며, 모션 인식부(110)를 통해 모드 전환 UI를 이용한 기설정된 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치의 모드를 사용자 모션을 이용하여 디스플레이 장치(100)를 제어하는 모션 태스크 모드로 전환하고, 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
구체적으로, 모션 인식부(110)를 통해 기설정된 모양의 오브젝트(예를 들어, 주먹을 쥔 사용자의 손 등)가 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 본 발명의 일 실시예로, 제어부(130)는 모션 태스크 모드로의 전환을 위한 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 또 다른 실시예로, 제어부(130)는 모션 태스크 모드로의 전환을 위한 사용자의 기설정된 모션 패턴(예를 들어, 손을 좌우로 흔드는 모션 패턴)을 안내하는 모션 패턴 안내 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
한편, 제어부(130)는 모션 인식부(110)에 오브젝트가 인식되기 전에는 디스플레이 장치(100)의 구동 모드를 일반 구동 모드로 구동할 수 있으나, 모션 인식부(110)에 오브젝트가 인식된 경우에 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드로 전환할 수 있다. 이때, 파워 구동 모드는 일반 구동 모드에 비해 제어부(130)가 모션 인식부(110)를 제어하는데 사용하는 자원(예를 들어, CPU 클락 수)을 증가시키는 모드일 수 있다.
그리고, 모션 인식부(110)를 통해 모드 전환 UI를 이용한 기설정된 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 사용자 모션을 이용하여 디스플레이 장치(100)를 제어하는 모션 태스크 모드로 전환할 수 있다. 예를 들어, 디스플레이부(120)에 모드 전환 아이콘 및 포인터가 디스플레이된 경우, 사용자 모션에 따라 이동된 포인터가 모드 전환 아이콘 상으로 이동된 후 모드 전환 아이콘을 선택하는 사용자 모션이 인식되면, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환할 수 있다. 또 다른 예로, 디스플레이부(120)에 모션 패턴 안내 UI가 디스플레이된 경우, 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식되면, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환할 수 있다.
그리고, 모션 태스크 모드로 전환된 경우, 제어부(130)는 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 모션 태스크 UI에는 볼륨 조절, 채널 조절 등을 수행하기 위한 아이콘이 포함될 수 있다.
한편, 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 기설정된 사용자 모션이 인식되지 않은 경우, 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드에서 일반 구동 모드로 전환할 수 있다.
상술한 바와 같은 디스플레이 장치(100)에 의해, 사용자는 사용자 모션의 오인식으로 인하여 의도치않는 모드 전환을 방지할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 상세히 나타낸 블럭도이다. 도 2를 참조하면, 디스플레이 장치(100)는 모션 인식부(110), 디스플레이부(120), 제어부(130), 저장부(140), 영상 수신부(150), 영상 처리부(160), 오디오 처리부(170), 오디오 출력부(180) 및 인터페이스부(190)을 포함한다.
모션 인식부(110)는 오브젝트를 촬영하여 사용자 모션을 인식한다. 구체적으로, 모션 인식부(110)는 촬영 장치(예를 들어, 카메라 등)를 이용하여 오브젝트를 촬영하고 인식하며, 인식된 오브젝트의 움직임을 추적하여 사용자 모션을 인식할 수 있다. 또한, 모션 인식부(110)는 오브젝트 및 사용자의 모션을 촬영한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(130)에 제공한다. 예를 들어, 모션 인식부(110)는 렌즈 및 이미지센서로 구성되는 카메라 유닛으로 구현될 수 있다. 또한, 모션 인식부(110)는 디스플레이 장치(100)와 일체형뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 모션 인식부(110)는 디스플레이 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다. 이때, 오브젝트는 도 3a 및 도 3b에 도시된 바와 같이, 사람의 손 또는 막대모양의 물체일 수 있다. 또한, 손가락, 팔, 얼굴을 포함한 다양한 신체 부위와 배경과 구분될 수 있는 물체 등이 오브젝트로써 인식될 수 있다. 그리고, 모션 인식부(110)는 인식될 수 있는 오브젝트를 기설정하여 저장할 수도 있다. 기설정된 오브젝트를 이용할 경우에는 모션 인식부(110)가 오브젝트의 형태나 움직임 등을 파악할 때 이점이 있을 수 있다. 예를 들어, 기설정된 모양의 오브젝트를 이용하여 사용자의 모션을 인식하는 경우, 모션 인식부(110)가 오브젝트의 모양을 파악하는데 소요되는 시간 등을 줄일 수 있을 것이다.
디스플레이부(120)는 다양한 소스로부터 입력된 영상 신호를 표시한다. 예를 들어, 디스플레이부(120)는 영상 수신부를 통해 수신된 영상 신호에 대응되는 영상을 표시할 수 있다. 또한, 디스플레이부(120)는 외부 단자 입력부를 통해 입력되는 영상 데이터(예를 들어, 동영상)를 표시할 수 있다.
특히, 디스플레이 장치(100)의 모션 인식부(110)에서 기설정된 오브젝트(예를 들어, 손가락을 두 개 편 사용자의 손 등)를 인식한 경우, 디스플레이부(120)는 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이할 수 있다. 예를 들어, 모드 전환 UI는 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 포함할 수 있다. 또 다른 예로, 모드 전환 UI는 사용자의 기설정된 모션 패턴을 안내하는 모션 패턴 안내 UI를 포함할 수 있다.
그리고, 디스플레이 장치(100)의 모션 인식부(110)에서 기설정된 사용자 모션을 인식한 경우, 디스플레이부(120)는 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이할 수 있다. 이때, 모션 태스크 UI는 디스플레이 장치(100)의 기능을 제어하기 위한 아이콘들을 포함할 수 있다. 예를 들어, 디스플레이 장치(100)가 스마트 TV인 경우에, 모션 태스크 UI에는 채널 조절, 볼륨 조절, 인터넷 브라우징, 저장된 컨텐츠(예를 들어, 동영상, 음악, 사진 등) 검색 및 재생, 연결된 외부 장치 검색 등의 기능 중 적어도 하나를 수행할 수 있는 아이콘들이 포함될 수 있다.
저장부(140)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램 및 데이터 등을 저장한다. 또한, 저장부(140)에는 RAM(random access memory)과 ROM(read-only memory)이 포함될 수 있다. 관련 분야에 잘 알려져 있듯이, ROM은 단방향(uni-directionally)으로 CPU에 데이터와 명령을 전송하는 역할을 하고, RAM은 일반적으로 양방향(bi-directional)으로 데이터와 명령을 전송하는데 사용된다.
영상 수신부(150)는 스트림 신호 등을 수신하여 제어부(130)에 전달하거나, 영상 처리부(160)에 전달한다.
영상 처리부(160)는 콘텐츠를 구성하는 영상 정보에 대한 신호를 처리한다. 영상 처리부(160)는 스트림 신호가 수신되면 이를 역 다중화하여 영상신호, 음향 신호, 데이터 신호로 분리할 수 있다. 역 다중화된 영상 신호가 부호화된 영상 신호인 경우, 영상 처리부(160)는 디코더를 이용하여 복호화를 수행한다. 예를 들어, 영상 처리부(160)는 MPEG-2 규격의 부호화 영상 신호를 MPEG-2 디코더로 복호화할 수 있고, DMB(Digital Multimedia Broadcasting)나 DVB-H의 H.264 규격 영상 신호를 H.264 디코더로 복호화 할 수 있다. 또한, 영상 처리부(160)는 영상 신호의 밝기, 틴트, 색조 등을 처리할 수 있다.
오디오 처리부(170)는 각 컨텐츠의 오디오 데이터에 대해 오디오 디코딩, 노이즈 필터링, 증폭 등과 같은 다양한 오디오 신호 처리를 수행하여 오디오 신호를 생성한다. 오디오 처리부(170)에서 생성된 오디오 신호는 오디오 출력부(180)로 제공된다.
오디오 출력부(180)는 오디오 처리부(170)에서 생성한 오디오 신호를 출력한다. 오디오 출력부(180)는 디스플레이 장치(100)와 일체형뿐 아니라 분리형일 수 있으며, 분리형 오디오 출력부(180)의 경우에는 디스플레이 장치(100)와 유선 또는 무선으로 연결된다.
인터페이스부(190)는 디스플레이 장치(100)가 사용자와 명령 등을 주고 받을 수 있도록 한다. 예를 들어, 키패드, 터치 스크린, 리모트 컨트롤러, 마우스 등이 이에 해당 될 수 있다.
제어부(130)는 모션 인식부(110), 디스플레이부(120) 등 디스플레이 장치(100)의 다른 구성부들을 제어한다. 제어부(130)는 CPU(Central Processing Unit) 및 디스플레이 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
모션 인식부(110)을 통해 오브젝트 및 사용자 모션이 인식된 경우, 제어부(130)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 제어부(130)는 모션 인식부(110)을 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 오브젝트 영역으로 분리하여, 연속되는 오브젝트의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(130)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트를 감지한다. 제어부(130)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(130)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다. 이때, 제어부(130)는 저장된 오브젝트의 움직임을 프레임으로부터 검출된 오브젝트의 움직임과 비교하여, 기설정된 사용자의 움직임인지를 판단할 수 있다.
제어부(130)는 추적된 오브젝트의 형태 및 움직임에 따라 모션을 판단한다. 예를 들어, 제어부(130)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(130)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 결정된 시간(예를 들어, 800ms) 내에 결정된 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어나지 않는 경우, 제어부(130)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어난 경우, 제어부(130)는 사용자의 모션을 슬랩으로 판단할 수 있다. 다른 일 예로, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(130)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(130)는 사용자의 모션을 슬랩으로 판단한다.
제어부(130)는 상술한 바와 같이, 인식된 모션을 이용하여, 디스플레이 장치(100)에서 모션 태스크 기능을 수행한다.
특히, 모션 인식부(110)에 기설정된 모양의 오브젝트가 인식된 경우, 제어부(130)는 모션 태스크 모드로 전환하기 위한 모션 전환 UI를 디스플레이하도록 디스플레이부(120)를 제어한다. 디스플레이된 모션 전환 UI를 이용하여 기설정된 사용자 모션이 모션 인식부(110)를 통해 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 사용자 모션을 이용하여 디스플레이 장치(100)를 제어하는 모션 태스크 모드로 전환시킨다. 또한, 제어부(130)는 모션 태스크 모드를 수행하기 위한 모션 태스크 UI를 디스플레이하도록 디스플레이부(120)를 제어한다.
본 발명의 일 실시예로, 제어부(130)는 모션 태스크 모드로의 전환을 위하여 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 사용자 모션에 따라 이동된 포인터가 상기 모드 전환 아이콘 상으로 이동된 후 모드 전환 아이콘을 선택하는 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환할 수 있다.
구체적으로, 모션 인식부(110)에 오브젝트가 인식된 경우, 도 4a에 도시된 바와 같이, 제어부(130)는 화면의 일 부분에 모드 전환 아이콘과 사용자 모션에 따라 이동하는 포인터를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 모드 전환 아이콘과 포인터는 사용자 시청 방해를 최소화하기 위하여 투명 또는 반투명의 특성을 가질 수도 있다. 한편, 모드 전환 아이콘에는 사용자 모션에 따라 이동하는 포인터를 이용하여 수행해야 할 동작을 안내하는 문구가 들어갈 수도 있다. 예를 들어, 사용자가 모드 전환 아이콘을 그랩(grab)하는 동작이 요구되는 경우에는 도 4a에 도시된 바와 같이 'Grab here'과 같은 문구가 아이콘 안에 삽입될 수 있다. 이와 같은 안내 문구를 통하여 사용자는 보다 직관적으로 디스플레이 장치(100)를 제어할 수 있을 것이다. 또한, 도 4b에 도시된 바와 같이, 사용자 모션에 따라 이동된 포인터가 모드 전환 아이콘 상으로 이동하여 모드 전환 아이콘을 선택하는 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이때, 모드 전환 아이콘을 선택하는 사용자 모션은 그랩(grab), 클릭, 드래그, 쉐이크 등을 포함할 수 있다. 디스플레이 장치(100)가 모션 태스크 모드로 전환된 경우, 도 4c에 도시된 바와 같이, 제어부(130)는 모션 태스크 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 또한, 제어부(130)는 인식된 오브젝트를 추적하여 인식된 사용자 모션에 따라 모션 태스크 UI 상의 아이콘들을 이용하여 디스플레이 장치(100)의 여러 기능들이 수행되도록 할 수 있다. 예를 들어, 제어부(130)는 도 4c의 좌우에 도시된 것과 같은 볼륨 조절, 채널 조절 기능을 수행할 수 있다. 또한, 제어부(130)는 도 4c의 우측 상단에 나타난 아이콘들을 이용하여 인터넷 브라우징, 미디어 컨텐츠 탐색, 예약 설정 등의 기능을 수행할 수도 있다.
본 발명의 다른 실시예로, 제어부(130)는 모션 태스크 모드로의 전환을 위하여 사용자의 기설정된 모션 패턴을 안내하는 모션 패턴 안내 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환할 수 있다.
구체적으로, 모션 인식부(110)에 오브젝트가 인식된 경우, 도 5a에 도시된 바와 같이, 제어부(130)는 화면의 일 부분에 모션 패턴 안내 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 모션 패턴 안내 UI는 사용자 시청 방해를 최소화하기 위하여 투명 또는 반투명의 특성을 가질 수도 있다. 예를 들어, 모션 패턴 안내 UI는 사용자가 취해야 하는 모션을 안내 문구와 간단한 화살표 등으로 나타낼 수 있다. 도 5a에 도시된 바와 같이, 제어부(130)는 손을 흔들어 달라고 안내하는 'Shake hand' 문구와 함께 양방향 화살표를 같이 디스플레이부(120)에 표시하도록 하여, 사용자가 취해야 할 모션을 직관적으로 이해할 수 있게 돕는다. 또한, 도 5b에 도시된 바와 같이, 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이때, 제어부(130)는 사용자 모션에 따라 이동하는 포인터를 추가로 디스플레이하도록 디스플레이부(120)를 제어하여, 사용자 모션을 인식하는 상태를 사용자가 확인하게 할 수도 있다. 예를 들어, 손을 흔들어 달라고 안내하는 모션 패턴 안내 UI에 따라 사용자가 손을 흔들 경우, 제어부(130)는 화면의 일 부분에 사용자가 손을 흔드는 움직임에 대응하여 포인터가 좌우로 움직이는 모습이 디스플레이되도록 디스플레이부(120)를 제어할 수 있다. 디스플레이 장치(100)가 모션 태스크 모드로 전환된 경우, 도 5c에 도시된 바와 같이, 제어부(130)는 모션 태스크 UI를 디스플레이하도록 디스플레이부(120)를 제어한다. 또한, 제어부(130)는 인식된 오브젝트를 추적함으로써 인식된 사용자 모션에 따라 모션 태스크 UI 상의 아이콘들을 이용하여 디스플레이 장치(100)의 여러 기능들이 수행되도록 할 수 있다. 예를 들어, 제어부(130)는 도 5c의 좌우에 도시된 것과 같은 볼륨 조절, 채널 조절 기능을 수행할 수 있다. 또한, 제어부(130)는 도 5c의 우측 상단에 나타난 아이콘들을 이용하여 인터넷 브라우징, 미디어 컨텐츠 탐색, 예약 설정 등의 기능을 수행할 수도 있다.
모션 인식부(110)에 오브젝트가 인식된 경우의 다른 실시예로, 도 6a에 도시된 바와 같이, 제어부(130)는 화면의 일 부분에 모션 패턴 안내 UI를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 모션 패턴 안내 UI는 사용자 시청 방해를 최소화하기 위하여 투명 또는 반투명의 특성을 가질 수도 있다. 예를 들어, 모션 패턴 안내 UI는 사용자가 취해야 하는 모션을 안내 문구와 애니메이션 가이드가 들어갈 수 있다. 도 6a에 도시된 바와 같이, 제어부(130)는 손가락을 이용하여 클릭하는 동작을 취하라고 안내하는 'Click' 문구와 함께 손가락을 이용하여 클릭하는 동작을 보여주는 애니메이션을 같이 디스플레이부(120)에 표시하도록 하여, 사용자가 취해야 할 모션을 직관적으로 이해할 수 있게 돕는다. 또한, 도 6b에 도시된 바와 같이, 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션이 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 모드를 모션 태스크 모드로 전환한다. 예를 들어, 손가락을 이용하여 클릭하라고 안내하는 모션 패턴 안내 UI에 따라 사용자가 클릭하는 동작을 할 경우, 디스플레이 장치(100)의 모드는 모션 태스크 모드로 전환된다. 디스플레이 장치(100)가 모션 태스크 모드로 전환된 경우, 도 6c에 도시된 바와 같이, 제어부(130)는 모션 태스크 UI를 디스플레이하도록 디스플레이부(120)를 제어한다. 또한, 제어부(130)는 인식된 오브젝트를 추적함으로써 인식된 사용자 모션에 따라 모션 태스크 UI 상의 아이콘들을 이용하여 디스플레이 장치(100)의 여러 기능들이 수행되도록 할 수 있다. 예를 들어, 제어부(130)는 도 6c의 좌우에 도시된 것과 같은 볼륨 조절, 채널 조절 기능을 수행할 수 있다. 또한, 제어부(130)는 도 6c의 우측 상단에 나타난 아이콘들을 이용하여 인터넷 브라우징, 미디어 컨텐츠 탐색, 예약 설정 등의 기능을 수행할 수도 있다.
본 발명의 일 실시예에 따르면, 제어부(130)는 오브젝트가 인식되기 전에는 디스플레이 장치(100)를 일반 구동 모드로 구동하게 하며, 오브젝트가 모션 인식부(110)에 의해 인식된 경우, 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드로 전환할 수 있다. 이때, 파워 구동 모드는 일반 구동 모드에 비해 제어부(130)가 모션 인식부(110)를 제어하는데 사용하는 자원(예를 들어, 소비 전력)을 증가시키는 모드일 수 있다.
구체적으로, 디스플레이 장치(100)는 다양한 기능을 수행하므로, 전력 및 디스플레이 장치(100)의 자원을 효율적으로 사용할 필요성이 요구된다. 모션 인식부(110)가 사용자의 모션을 인식하는 기능을 수행할 때에도 마찬가지이다. 따라서, 제어부(130)는 오브젝트가 인식되기 전에는 디스플레이 장치(100)를 일반 구동 모드로 구동하게 하여 모션 인식부(110)를 제어하는데 사용하는 자원 분배를 줄인다. 예를 들어, 제어부(130)는 CPU 클락 수, 소비 전력, 허용 메모리 용량 등을 낮추도록 할 수 있다. 하지만, 모션 인식부(110)에 오브젝트가 인식된 경우에는, 정확한 사용자 모션 인식이 우선시 되는바, 제어부(130)는 디스플레이 장치(100)를 파워 구동 모드로 전환할 수 있다. 디스플레이 장치(100)가 파워 구동 모드로 전환된 경우, 제어부(130)는 모션 인식부(110)를 제어하는데 사용하는 자원 배분을 늘려서, CPU 클락 수, 소비 전력, 허용 메모리 용량 등을 일시적으로 높여 정확하고 빠른 사용자 모션 인식이 가능하도록 할 수 있다. 또한, 디스플레이 장치(100)가 파워 구동 모드로 전환된 경우에 제어부(130)는 모션 인식부(110)를 구성하는 카메라나 촬영된 영상 프레임 등의 해상도를 높이거나, 사용자 모션을 인식하는데 사용하는 카메라의 수를 증가시키도록 할 수도 있다. 상술한 바와 같은 특징에 의하여, 사용자 모션 인식이 우선적으로 필요한 경우와 아닌 경우를 구분하는 고효율, 저전력의 디스플레이 장치(100)가 구현될 수 있을 것이다.
본 발명의 다른 실시예에 따르면, 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 기설정된 사용자 모션이 인식되지 않은 경우, 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드에서 일반 구동 모드로 전환할 수 있다. 예를 들어, 사용자가 다른 곳에 있는 사람을 부르기 위하여 손을 펴서 들어올린 경우에, 모션 인식부(110)는 사용자의 펼쳐진 손을 오브젝트로 인식하게 되고, 제어부(130)는 디스플레이부(120)가 모드 전환 UI를 디스플레이하도록 하고, 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드로 전환할 수 있다. 이러한 오인식의 경우에는 기설정된 시간이 경과 할 때까지 사용자의 기설정된 모션이 인식되지 않을 것이므로, 제어부(130)는 디스플레이 장치(100)의 구동 모드를 파워 구동 모드에서 일반 구동 모드로 다시 전환할 수 있다.
파워 구동 모드의 경우 사용자 모션 인식은 정확하고 빠르게 할 수 있으나, 사용 전력 등이 높기 때문에, 사용자 모션 인식을 위하여 장시간 파워 구동 모드를 유지하고 있는 것은 디스플레이 장치(100)에 있어서 비효율적일 수 있다. 따라서 제어부(130)는 모드 전환 UI가 디스플레이된 후 기설정된 시간 동안만 디스플레이 장치(100)의 구동 모드를 파워 구동 모드를 유지하게 할 수 있다. 또한, 혹시 존재할 수 있는 오브젝트 오인식으로 인해 디스플레이 장치(100)가 파워 구동 모드로 전환된 경우에, 제어부(130)가 기설정된 시간이 지나면 디스플레이 장치(100)의 구동 모드를 일반 구동 모드로 다시 전환하기 때문에, 오브젝트 오인식으로 인한 불필요한 CPU 자원, 전력 등의 소모가 방지될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 모션 태스크 모드로 전환된 경우에, 제어부(130)는 인식된 오브젝트를 추적함으로써 인식된 사용자 모션에 따라 디스플레이 장치(100)를 제어할 수 있다. 구체적으로, 모션 태스크 모드로 전환된 경우, 제어부(130)는 모션 태스크 UI에 여러 기능을 수행하는 아이콘들을 디스플레이하도록 디스플레이부(120)를 제어할 수 있고, 제어부(130)는 사용자 모션에 대응하는 움직임을 갖는 포인터 등을 이용하여 아이콘들을 선택함으로써 각 아이콘들로 표현된 디스플레이 장치(100)의 해당 기능을 실행시킬 수 있다.
한편, 모션 태스크 모드로 전환된 경우에, 제어부(130)는 선별적 모션 트래킹을 통하여 선택된 오브젝트만을 추적하여 인식된 사용자 모션에 따라 디스플레이 장치(100)를 제어할 수도 있다. 구체적으로, 모션 태스크 모드로 전환되기 위하여는 오브젝트가 모션 인식부(110)에 인식되는 것이 선행되어야 한다. 이때, 인식된 오브젝트의 형태, 위치 등의 정보를 이용하여, 제어부(130)는 그와 유사한 형태이고, 근접한 위치에 있는 오브젝트에 대하여만 모션 인식을 하도록 모션 인식부(110)를 제어할 수 있다. 예를 들어, 모션 태스크 모드에서 제어부(130)는 모션 태스크 모드로의 전환을 위해 인식시킨 오브젝트를 움직임으로써 디스플레이 장치(100)를 제어할 수 있다. 이때 모션 태스크 모드로의 전환을 위해 인식시킨 오브젝트에 대한 모션 인식을 선별적으로 처리할 경우, 제어부(130)는 디스플레이 장치(100)의 자원을 효율적으로 사용할 수 있다. 다만, 모션 태스크 모드에서 추척하는 인식된 오브젝트는, 모션 태스크 모드로의 전환을 위해 인식시킨 오브젝트만으로 한정되는 것은 아니다.
상술한 바와 같은 디스플레이 장치(100)에 의해, 사용자는 두 단계의 모션 인식을 통하여 오인식으로 인한 불편함이 없이 디스플레이 장치의 모션 태스크를 수행할 수 있게 된다.
이하에서는 도 7 및 도 8을 참조하여 디스플레이 장치의 제어 방법에 대해 설명하기로 한다.
도 7을 참조하면, 우선 디스플레이 장치(100)는 오브젝트를 인식한다(S710). 이때, 오브젝트는 사용자의 손, 손가락, 팔, 얼굴 및 물체 중 하나일 수 있다.
오브젝트가 인식된 경우, 디스플레이 장치(100)는 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이 한다(S720). 이때, 모드 전환 UI는 모드 전환 아이콘 및 사용자 모션에 따라 이동하는 포인터를 디스플레이하는 것일 수 있다. 또한, 모드 전환 UI는 모션 패턴 안내 UI를 디스플레이하는 것일 수 있다.
디스플레이 장치(100)는 모드 전환 UI를 이용한 기설정된 사용자 모션이 인식되었는지 판단한다(S730). 이때, 기설정된 사용자 모션은 사용자 모션에 따라 이동된 포인터가 모드 전환 아이콘 상으로 이동된 후 모드 전환 아이콘을 선택하는 사용자 모션일 수 있다. 또한, 기설정된 사용자 모션은 모션 패턴 안내 UI에 대응되는 패턴을 가지는 사용자 모션일 수 있다.
기설정된 사용자 모션이 인식되면(S730-Y), 디스플레이 장치(100)는 모션 태스크 모드로 전환된다(S740). 그리고, 디스플레이 장치(100)는 모션 태스크 모드를 수행하기 위하여 모션 태스크 UI를 디스플레이한다.
상술한 바와 같은 디스플레이 장치(100)의 제어 방법에 의해, 사용자는 사용자 모션의 오인식으로 인하여 의도치않은 모드 전환을 방지할 수 있게 된다.
도 8을 참조하면, 디스플레이 장치(100)는 오브젝트 인식 전에는 일반 구동 모드로 구동한다(S810).
디스플레이 장치(100)는 오브젝트를 인식하고(S820), 오브젝트가 인식된 경우에 디스플레이 장치(100)는 구동 모드를 파워 구동 모드로 전환한다(S830). 파워 구동 모드는 일반 구동 모드에 비해 사용자 모션을 인식하는데 사용하는 자원(예를 들어, 소비 전력)을 증가시키는 모드일 수 있다. 예를 들어, 파워 구동 모드는 사용자 모션을 인식하는데 사용하는 CPU 클락 수, 소비 전력 등 자원 사용을 일시적으로 높이거나, 사용자 모션을 인식하는데 사용하는 카메라의 수를 증가시키거나, 카메라나 영상 프레임의 해상도를 올리는 구동 모드일 수 있다.
디스플레이 장치(100)는 모드 전환 UI를 디스플레이한다(S840). 모드 전환 UI가 디스플레이된 후, 디스플레이 장치(100)는 기설정된 시간 내에 기설정된 사용자 모션이 인식되는지 판단한다(S850).
기설정된 시간 내에 기설정된 사용자 모션이 인식된 경우(S850-Y), 디스플레이 장치(100)는 모션 태스크 모드로 전환되고(S860), 디스플레이 장치(100)는 모션 태스크 UI를 디스플레이한다(S870).
기설정된 시간 내에 기설정된 사용자 모션이 인식되지 않는 경우(S850-N), 디스플레이 장치(100)의 구동 모드는 파워 구동 모드에서 일반 구동 모드로 전환된다(S880). 특히, 오브젝트 오인식으로 인하여 파워 구동 모드로 전환된 경우에, 디스플레이 장치(100)는 기설정된 시간이 지나면 일반 구동 모드로 다시 전환되기 때문에 불필요한 CPU 자원 및 전력 소모를 방지할 수 있다.
본 발명의 일 실시예에 따를 때, 모션 태스크 모드는 인식된 오브젝트를 추적함으로써 인식된 사용자 모션에 따라 제어될 수 있다. 구체적으로, 모션 태스크 모드로 전환된 경우, 모션 태스크 UI에는 여러 기능을 수행하는 아이콘들이 표시될 수 있고, 사용자는 사용자 모션에 대응하는 움직임을 갖는 포인터 등을 이용하여 아이콘들을 선택함으로써 각 아이콘들로 표현된 해당 기능을 실행시켜 디스플레이 장치(100)를 제어할 수 있다. 한편, 이러한 오브젝트에 대한 모션 인식을 선별적으로 처리하는 방법을 실시하는 경우, 디스플레이 장치(100)의 자원은 효율적으로 사용될 수 있을 것이다.
또한, 상술한 바와 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100: 디스플레이 장치 110: 모션 인식부
120: 디스플레이부 130: 제어부

Claims (18)

  1. 디스플레이 장치의 제어 방법에 있어서,
    기설정된 제1 형상의 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 중간 모드로 전환하고, 상기 디스플레이 장치의 모드를 상기 중간 모드에서 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하는 단계;
    상기 중간 모드에서 상기 모드 전환 UI가 디스플레이된 상태에서, 기설정된 제2 형상의 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 상기 중간 모드에서 상기 모션 태스크 모드로 전환하는 단계; 및
    상기 모션 태스크 모드에서 인식된 상기 오브젝트의 모션에 따라, 적어도 하나의 기능을 실행하기 위한 모션 태스크 UI를 디스플레이하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 모드 전환 UI를 디스플레이하는 단계는,
    상기 모션 태스크 모드로의 전환을 위한 모드 전환 아이콘을 디스플레이하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 모션 태스크 모드로 전환하는 단계는,
    상기 오브젝트의 모션에 따라 이동된 포인터가 상기 모드 전환 아이콘 상으로 이동된 후 상기 모드 전환 아이콘을 선택하는 상기 오브젝트의 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 모드 전환 UI를 디스플레이하는 단계는,
    상기 모션 태스크 모드로의 전환을 위하여, 사용자로 하여금 상기 오브젝트를 통해 상기 기설정된 제2 형상에 대응되는 모션을 수행하도록 가이드하는 UI를 디스플레이하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 모션 태스크 모드로 전환하는 단계는,
    상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 상기 기설정된 제2 형상의 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 디스플레이 장치는,
    상기 오브젝트가 인식되기 전에는 일반 구동 모드로 구동하며, 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드로 전환하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 상기 기설정된 제2 형상의 상기 오브젝트가 인식되지 않은 경우, 상기 디스플레이 장치의 모드를 전환하여 상기 중간 모드의 상기 모드 전환 UI가 더 이상 디스플레이되지 않도록 하는 단계;를 더 포함하는, 제어 방법.
  8. 제1항에 있어서,
    상기 모션 태스크 모드는, 상기 인식된 오브젝트를 추적하여 인식된 사용자 모션에 따라 제어되는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 오브젝트는,
    사용자의 손, 손가락, 팔, 얼굴 및 물체 중 하나인 것을 특징으로 하는 제어 방법.
  10. 디스플레이 장치에 있어서,
    카메라;
    디스플레이부; 및
    제어부;를 포함하고,
    상기 제어부는,
    상기 카메라를 통해 기설정된 제1 형상의 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 중간 모드로 전환하고, 상기 디스플레이 장치의 모드를 상기 중간 모드에서 모션 태스크 모드로 전환하기 위한 모드 전환 UI를 디스플레이하도록 상기 디스플레이부를 제어하며,
    상기 중간 모드에서 상기 모드 전환 UI가 디스플레이된 상태에서, 상기 카메라를 통해 기설정된 제2 형상의 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 상기 중간 모드에서 상기 모션 태스크 모드로 전환하며,
    상기 모션 태스크 모드에서 인식된 상기 오브젝트의 모션에 따라, 적어도 하나의 기능을 실행하기 위한 모션 태스크 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 모션 태스크 모드로의 전환을 위한 모드 전환 아이콘을 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 오브젝트의 모션에 따라 이동된 포인터가 상기 모드 전환 아이콘 상으로 이동된 후 상기 모드 전환 아이콘을 선택하는 상기 오브젝트의 모션이 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환하는 것을 특징으로 하는 디스플레이 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 모션 태스크 모드로의 전환을 위하여, 사용자로 하여금 상기 오브젝트를 통해 상기 기설정된 제2 형상에 대응되는 모션을 수행하도록 가이드하는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 상기 기설정된 제2 형상의 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 모드를 상기 모션 태스크 모드로 전환하는 것을 특징으로 하는 디스플레이 장치.
  15. 제10항에 있어서,
    상기 제어부는,
    상기 오브젝트가 인식되기 전에는 일반 구동 모드로 구동하며, 상기 오브젝트가 인식된 경우, 상기 디스플레이 장치의 구동 모드를 파워 구동 모드로 전환하는 것을 특징으로 하는 디스플레이 장치.
  16. 제10항에 있어서,
    상기 제어부는,
    상기 모드 전환 UI가 디스플레이된 후 기설정된 시간 내에 상기 기설정된 제2 형상의 상기 오브젝트가 인식되지 않은 경우, 상기 디스플레이 장치의 모드를 전환하여 상기 중간 모드의 상기 모드 전환 UI가 더 이상 디스플레이되지 않도록 하는 것을 특징으로 하는 디스플레이 장치.
  17. 제10항에 있어서,
    상기 모션 태스크 모드는, 상기 인식된 오브젝트를 추적하여 인식된 사용자 모션에 따라 제어되는 것을 특징으로 하는 디스플레이 장치.
  18. 제10항에 있어서,
    상기 오브젝트는,
    사용자의 손, 손가락, 팔, 얼굴 및 물체 중 하나인 것을 특징으로 하는 디스플레이 장치.





KR1020140030414A 2014-03-14 2014-03-14 디스플레이 장치 및 제어 방법 Active KR102171817B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140030414A KR102171817B1 (ko) 2014-03-14 2014-03-14 디스플레이 장치 및 제어 방법
CN201580013392.8A CN106105247B (zh) 2014-03-14 2015-03-12 显示装置及其控制方法
EP19196490.7A EP3598765A1 (en) 2014-03-14 2015-03-12 Display apparatus and controlling method thereof
CN202210154577.2A CN114578951B (zh) 2014-03-14 2015-03-12 显示装置及其控制方法
EP15760639.3A EP3117622B1 (en) 2014-03-14 2015-03-12 Display apparatus and controlling method thereof
PCT/KR2015/002385 WO2015137742A1 (en) 2014-03-14 2015-03-12 Display apparatus and controlling method thereof
US14/657,462 US10191554B2 (en) 2014-03-14 2015-03-13 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030414A KR102171817B1 (ko) 2014-03-14 2014-03-14 디스플레이 장치 및 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200138456A Division KR102250720B1 (ko) 2020-10-23 2020-10-23 디스플레이 장치 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20150107452A KR20150107452A (ko) 2015-09-23
KR102171817B1 true KR102171817B1 (ko) 2020-10-29

Family

ID=54068835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030414A Active KR102171817B1 (ko) 2014-03-14 2014-03-14 디스플레이 장치 및 제어 방법

Country Status (5)

Country Link
US (1) US10191554B2 (ko)
EP (2) EP3598765A1 (ko)
KR (1) KR102171817B1 (ko)
CN (2) CN106105247B (ko)
WO (1) WO2015137742A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD758441S1 (en) * 2013-11-22 2016-06-07 Lg Electronics Inc. Multimedia terminal with graphical user interface
USD757818S1 (en) * 2013-12-30 2016-05-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD755244S1 (en) * 2013-12-30 2016-05-03 Samsung Electronics Co., Ltd. Display screen with animated icon
USD755245S1 (en) * 2013-12-30 2016-05-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR102215072B1 (ko) * 2014-01-03 2021-02-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR101899924B1 (ko) 2014-08-04 2018-09-18 주식회사 엘지화학 고흡수성 수지 및 이의 제조 방법
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
US10388322B1 (en) 2018-10-29 2019-08-20 Henry M. Pena Real time video special effects system and method
US11641439B2 (en) * 2018-10-29 2023-05-02 Henry M. Pena Real time video special effects system and method
US11218646B2 (en) 2018-10-29 2022-01-04 Henry M. Pena Real time video special effects system and method
US10404923B1 (en) 2018-10-29 2019-09-03 Henry M. Pena Real time video special effects system and method
US12452383B2 (en) 2018-10-29 2025-10-21 Henry M. Pena Fast and/or slow motion compensating timer display
KR102761431B1 (ko) * 2019-03-13 2025-02-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102842323B1 (ko) * 2023-01-17 2025-08-04 국립경국대학교 산학협력단 사용자별 행동 인지 동작형 스마트 홈 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100117959A1 (en) * 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Motion sensor-based user motion recognition method and portable terminal using the same
US20130076990A1 (en) * 2011-08-05 2013-03-28 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844490A (ja) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
EP1148411A3 (en) * 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
KR20100050828A (ko) * 2008-11-06 2010-05-14 엘지전자 주식회사 유저 인터페이스 방법과 이를 이용한 이동 단말기
US8246458B2 (en) * 2009-03-25 2012-08-21 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
KR101623007B1 (ko) 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101194883B1 (ko) 2010-03-19 2012-10-25 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101736177B1 (ko) * 2010-09-13 2017-05-29 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
KR20120080072A (ko) 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101896947B1 (ko) 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
JP2012194915A (ja) 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
CN102830891A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种非接触式手势控制设备及其锁定和解锁方法
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR20130047890A (ko) 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법
KR20130050620A (ko) * 2011-11-08 2013-05-16 현대모비스 주식회사 모션 인식을 이용한 ｕｉ 조작방법 및 이를 이용한 멀티미디어 장치
US20130194173A1 (en) * 2012-02-01 2013-08-01 Ingeonix Corporation Touch free control of electronic systems and associated methods
KR102066564B1 (ko) * 2012-02-09 2020-01-15 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9225891B2 (en) 2012-02-09 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
TW201334494A (zh) * 2012-02-10 2013-08-16 Mixartron Ltd 用於手機的電池外接裝置及具有該裝置的翻頁式保護套
JP2014109885A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 表示装置及び通知方法
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN103295028B (zh) * 2013-05-21 2018-09-04 深圳Tcl新技术有限公司 手势操作控制方法、装置及智能显示终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100117959A1 (en) * 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Motion sensor-based user motion recognition method and portable terminal using the same
US20130076990A1 (en) * 2011-08-05 2013-03-28 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same

Also Published As

Publication number Publication date
CN106105247B (zh) 2022-03-08
WO2015137742A1 (en) 2015-09-17
EP3117622A4 (en) 2017-11-15
EP3117622B1 (en) 2023-04-26
US10191554B2 (en) 2019-01-29
EP3117622A1 (en) 2017-01-18
KR20150107452A (ko) 2015-09-23
CN114578951B (zh) 2024-08-09
US20150261305A1 (en) 2015-09-17
EP3598765A1 (en) 2020-01-22
CN106105247A (zh) 2016-11-09
CN114578951A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
KR102171817B1 (ko) 디스플레이 장치 및 제어 방법
KR102337682B1 (ko) 디스플레이 장치 및 그의 제어 방법
US10999619B2 (en) Display apparatus and control method thereof
KR102062310B1 (ko) 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법
US10565288B2 (en) Video streaming in a web browser
JP6316540B2 (ja) カメラ装置及びその制御方法
KR102187236B1 (ko) 프리뷰 방법 및 이를 구현하는 전자 장치
US20160011718A1 (en) Combined touch input and offset non-touch gesture
EP2590424A2 (en) Electronic apparatus and method for controlling thereof
KR20140115906A (ko) 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
CN104871116B (zh) 信息处理装置、信息处理方法及介质
US10474324B2 (en) Uninterruptable overlay on a display
KR20170117843A (ko) 멀티 스크린 제공 방법 및 그 장치
EP2894544A1 (en) Display apparatus and method for controlling display apparatus thereof
KR20160097520A (ko) 디스플레이 장치 및 그의 ui 디스플레이 방법
US20160334880A1 (en) Gesture recognition method, computing device, and control device
KR102250720B1 (ko) 디스플레이 장치 및 제어 방법
CN108073291B (zh) 一种输入方法和装置、一种用于输入的装置
KR102070598B1 (ko) 카메라 장치 및 그의 제어 방법
KR102382497B1 (ko) 디스플레이 장치 및 이의 제어 방법
US20160091986A1 (en) Handheld device, motion operation method, and computer readable medium
KR102203756B1 (ko) 디스플레이장치 및 그 제어방법
KR20130078490A (ko) 전자 장치 및 그의 제어 방법
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
KR20120047566A (ko) 스마트 티비 컨트롤 시스템 및 조작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6