[go: up one dir, main page]

KR102303115B1 - 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 - Google Patents

웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 Download PDF

Info

Publication number
KR102303115B1
KR102303115B1 KR1020140068225A KR20140068225A KR102303115B1 KR 102303115 B1 KR102303115 B1 KR 102303115B1 KR 1020140068225 A KR1020140068225 A KR 1020140068225A KR 20140068225 A KR20140068225 A KR 20140068225A KR 102303115 B1 KR102303115 B1 KR 102303115B1
Authority
KR
South Korea
Prior art keywords
augmented reality
wearable device
virtual object
reality information
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140068225A
Other languages
English (en)
Other versions
KR20150140043A (ko
Inventor
진영태
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020140068225A priority Critical patent/KR102303115B1/ko
Priority to CN201580028440.0A priority patent/CN106462247A/zh
Priority to PCT/KR2015/005387 priority patent/WO2015186925A1/en
Priority to EP15802338.2A priority patent/EP3152639A4/en
Priority to US14/725,396 priority patent/US10484673B2/en
Publication of KR20150140043A publication Critical patent/KR20150140043A/ko
Application granted granted Critical
Publication of KR102303115B1 publication Critical patent/KR102303115B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 디바이스의 증강 현실 정보 제공 방법은 웨어러블 디바이스의 증강 현실 정보 제공 방법에 있어서, 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하는 단계; 카메라 모듈을 통해 수집된 영상을 통해, 사용자의 손가락이 구부러지는지 여부를 판단하는 단계; 및 상기 사용자의 손가락이 구부러졌다고 판단되면, 상기 증강 현실 정보를 변경하여 디스플레이에 표시하는 단계를 포함할 수 있다.

Description

웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법{Method For Providing Augmented Reality Information And Wearable Device Using The Same}
본 발명은 사용자의 손 제스처(gesture)를 추적하여 증강 현실 정보에 포함된 가상 오브젝트(virtual object)를 변경할 수 있는 웨어러블 디바이스(Wearable Device)및 웨어러블 디바이스 의 증강 현실 정보 제공 방법에 관한 것이다.
일반적으로 스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistant), 랩탑 PC(Laptop Personal Computer) 및 손목 시계(Wrist watch), HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등의 전자 장치는 최근 전화 기능뿐 만 아니라 다른 다양한 기능(예를 들어, 소셜 네트워크 서비스(SNS), 인터넷, 멀티미디어, 증강 현실 정보 표시)을 포함한다.
본 발명은 사용자의 제스처를 수집 분석하여 제스처에 대응하는 증강 현실 정보를 변경할 수 있는 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법을 제공한다.
본 발명의 일 실시예에 따른 웨어러블 디바이스의 증강 현실 정보 제공 방법은 웨어러블 디바이스의 증강 현실 정보 제공 방법에 있어서, 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하는 단계; 카메라 모듈을 통해 수집된 영상을 통해, 사용자의 손가락이 구부러지는지 여부를 판단하는 단계; 및 상기 사용자의 손가락이 구부러졌다고 판단되면, 상기 증강 현실 정보를 변경하여 디스플레이에 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스는 카메라 모듈; 디스플레이; 및 프로세서를 포함하며, 상기 프로세서는 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하게 제어하고, 상기 카메라 모듈을 통해 수집된 영상을 통해 사용자의 손가락이 구부러지는지 여부를 판단하며, 상기 사용자의 손가락이 구부러졌다고 판단되면, 상기 증강 현실 정보를 변경하여 디스플레이에 표시하게 제어할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스의 증강 현실 정보 제공 방법은 웨어러블 디바이스의 증강 현실 정보 제공 방법에 있어서, 사용자의 손동작을 감지하는 단계; 및 감지된 상기 사용자의 손동작에 기반하여 상기 증강 현실 정보를 변경하여 디스플레이에 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스는 카메라 모듈; 디스플레이; 및 프로세서를 포함하며, 상기 프로세서는 사용자의 손동작을 감지하고, 감지된 상기 사용자의 손동작에 기반하여 상기 증강 현실 정보를 변경하여 디스플레이에 표시하게 제어하는 포함할 수 있다.
본 발명에 따른 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법은 사용자의 제스처에 따라 증강 현실 정보를 제공함으로써, 사용자와 전자 장치 간의 직관적인 상호 작용을 극대화할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 있어서 웨어러블 디바이스 를 포함하는 네트워크 환경을 도시한다.
도 2는 본 발명의 실시예들에 따른 웨어러블 디바이스 의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 있어서 웨어러블 디바이스 의 블록도를 도시한다.
도 4는 본 발명에 따른 증강 현실 정보 제공 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 있어서 사용자 입력 신호 감지 방법을 나타내는 순서도이다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 있어서 웨어러블 디바이스 의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스 의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스 의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스의 증강 현실 정보 제공 방법을 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 일 실시예에 있어서 웨어러블 디바이스(Wearable Device) (100)를 포함하는 네트워크 환경(101)을 도시한다.
도 1을 참조하면, 웨어러블 디바이스(100)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 및 애플리케이션 제어 모듈(170)을 포함할 수 있다.
버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
프로세서(120)는 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 및 애플리케이션 제어 모듈(170))로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는 프로세서(120) 또는 다른 구성요소들(예: 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 및 애플리케이션 제어 모듈(170))로부터 수신되거나 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리(130)는 커널(131), 미들웨어(132), 애플리케이션 프로그래밍 인터페이스(API: application programming interface, 133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널(131)은 나머지 다른 프로그래밍 모듈들 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 (110), 프로세서(120) 또는 메모리(130))을 제어 또는 관리할 수 있다. 또한, 커널(131)은 미들웨어(132), API(133) 또는 애플리케이션(134)에서 웨어러블 디바이스(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(132)는 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(132)는 애플리케이션(134)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 애플리케이션(134) 중 적어도 하나의 애플리케이션에 웨어러블 디바이스(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130))를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.
API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예에 따르면, 애플리케이션(134)은 SMS/MMS 애플리케이션, 이메일 애플리케이션, 달력 애플리케이션, 알람 애플리케이션, 건강 관리(health care) 애플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 애플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 애플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 애플리케이션(134)은 웨어러블 디바이스(100)와 외부 전자 장치(예: 전자 장치 104) 사이의 정보 교환과 관련된 애플리케이션일 수 있다. 정보 교환과 관련된 애플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 애플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 애플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 애플리케이션은 웨어러블 디바이스(100)의 다른 애플리케이션(예: SMS/MMS 애플리케이션, 이메일 애플리케이션, 건강 관리 애플리케이션 또는 환경 정보 애플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치 104)로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 알림 전달 애플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치 104)로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 애플리케이션은, 예를 들면, 웨어러블 디바이스(100)와 통신하는 외부 전자 장치(예: 전자 장치 104)의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시예에 따르면, 애플리케이션(134)은 외부 전자 장치(예: 전자 장치 104)의 속성(예: 전자 장치의 종류)에 따라 지정된 애플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 애플리케이션(134)은 음악 재생과 관련된 애플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 애플리케이션(134)은 건강 관리와 관련된 애플리케이션을 포함할 수 있다. 일 실시예에 따르면, 애플리케이션(134)은 웨어러블 디바이스(100)에 지정된 애플리케이션 또는 외부 전자 장치(예: 서버 106 또는 전자 장치 104)로부터 수신된 애플리케이션 중 적어도 하나를 포함할 수 있다.
입출력 인터페이스(140)는, 입출력 장치(예: 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 버스(110)를 통해 프로세서(120), 메모리(130), 통신 인터페이스(160), 또는 애플리케이션 제어 모듈(170)에 전달할 수 있다. 예를 들면, 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 프로세서(120)로 제공할 수 있다. 또한, 입출력 인터페이스(140)는, 예를 들면, 버스(110)를 통해 프로세서(120), 메모리(130), 통신 인터페이스(160), 또는 애플리케이션 제어 모듈(170)로부터 수신된 명령 또는 데이터를 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 입출력 인터페이스(140)는 프로세서(120)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
디스플레이(150)는 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다.
통신 인터페이스(160)는 웨어러블 디바이스(100)와 외부 장치(예: 전자 장치 104 또는 서버 106) 간의 통신을 연결할 수 있다. 예를 들면, 통신 인터페이스(160)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치와 통신할 수 있다. 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 네트워크(162)는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 웨어러블 디바이스(100)와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 애플리케이션(134), 애플리케이션 프로그래밍 인터페이스(133), 미들웨어(132), 커널(131) 또는 통신 인터페이스(160) 중 적어도 하나에서 지원될 수 있다.
애플리케이션 제어 모듈(170)은, 다른 구성요소들(예: 프로세서(120), 메모리(130), 입출력 인터페이스(140), 또는 통신 인터페이스(160))로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 사용자에게 제공할 수 있다. 예를 들면, 애플리케이션 제어 모듈(170)은, 웨어러블 디바이스(100)에 구비된 접속 부품의 정보를 인식하고, 접속 부품의 정보를 메모리(130)에 저장하고, 접속 부품의 정보에 기반하여, 애플리케이션(134)을 실행시킬 수 있다.
도 2는 본 발명의 실시예들에 따른 웨어러블 디바이스(200)의 블록도를 도시한다. 예를 들어, 웨어러블 디바이스(200)는 도 1에 도시된 웨어러블 디바이스(100)의 전체 또는 일부를 구성할 수 있다.
도 2를 참조하면, 웨어러블 디바이스(200)는 하나 이상의 애플리케이션 프로세서(AP: application processor, 210), 통신 모듈(220), SIM(subscriber identification module) 카드(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 및 모터(298)를 포함할 수 있다.
AP(210)는 운영체제 또는 응용 프로그램을 구동하여 AP(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 예를 들어, AP(210)는 SoC(system on chip) 로 구현될 수 있다. 일 실시예에 따르면, AP(210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(160))은 웨어러블 디바이스(200)(예: 도 1의 웨어러블 디바이스(100))와 네트워크를 통해 연결된 다른 전자 장치들(예: 도 1의 전자 장치(104) 또는 서버(106)) 간의 통신에서 데이터 송수신을 수행할 수 있다. 일 실시예에 따르면, 통신 모듈(220)은 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)을 포함할 수 있다.
셀룰러 모듈(221)은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 예를 들어, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드(224))을 이용하여 통신 네트워크 내에서 웨어러블 디바이스의 구별 및 인증을 수행할 수 있다. 일 실시예에 따르면, 셀룰러 모듈(221)은 AP(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 셀룰러 모듈(221)은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
일 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 예를 들어, 셀룰러 모듈(221)은 SoC로 구현될 수 있다. 셀룰러 모듈(221)은(예: 커뮤니케이션 프로세서) 메모리(230) 또는 전력관리 모듈(295) 등의 구성요소들이 AP(210)와 별개의 구성요소로 도시되어 있으나, 일 실시예에 따르면, AP(210)가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈(221))를 포함하도록 구현될 수 있다.
일 실시예에 따르면, AP(210) 또는 셀룰러 모듈(221)(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP(210) 또는 셀룰러 모듈(221)은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다. AP(210) 및/또는 셀룰러 모듈(221)은 도 1에서 전술한 프로세서(120)의 전체 또는 일부를 구성할 수 있다.
예를 들어, Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 각각은 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다.
셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228)이 각각 별개의 블록으로 도시되었으나, 일 실시예에 따르면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈(221)에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈(223)에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
RF 모듈(229)은 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 예를 들어, RF 모듈(229)은 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 예를 들어, RF 모듈(229)은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품 도체 또는 도선 등을 더 포함할 수 있다. 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228)이 하나의 RF 모듈(229)을 서로 공유하는 것으로 도시되어 있으나, 일 실시예에 따르면, 셀룰러 모듈(221), Wifi 모듈(223), BT 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
SIM 카드(224_1~N)는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 웨어러블 디바이스(200)의 특정 위치에 형성된 슬롯(225_1~N)에 삽입될 수 있다. SIM 카드(224_1~N)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 도 1의 메모리(130))는 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 예를 들어, 내장 메모리(232)는 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 내장 메모리(232)는 Solid State Drive (SSD)일 수 있다. 외장 메모리(234)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 웨어러블 디바이스(200)과 기능적으로 연결될 수 있다. 일 실시예에 따르면, 웨어러블 디바이스(200)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
센서 모듈(240)은 물리량을 계측하거나 웨어러블 디바이스(200)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 예를 들어, 센서 모듈(240)은 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infrared) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력 장치(250)는 터치 패널(touch panel, 252), 펜 센서(pen sensor, 254), 키(key, 256) 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 예를 들어, 터치 패널(252)은 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.
예를 들어, 펜 센서(254)는 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 예를 들어, 키 (256)는 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 초음파(ultrasonic) 입력 장치(258)는 초음파 신호를 발생하는 입력 도구를 통해, 웨어러블 디바이스(200)에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시예에 따르면, 웨어러블 디바이스(200)는 통신 모듈(220)을 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이(260)(예: 도 1의 디스플레이(150))는 패널(262), 홀로그램 장치(264) 또는 프로젝터(266)를 포함할 수 있다. 예를 들어, 패널(262)은 LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 예를 들어, 패널(262)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 예를 들어, 스크린은 웨어러블 디바이스(200)의 내부 또는 외부에 위치할 수 있다. 일 실시예에 따르면, 디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
예를 들어, 인터페이스(270)는 HDMI(high-definition multimedia interface, 272), USB(universal serial bus, 274), 광 인터페이스(optical interface, 276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 예를 들어, 인터페이스(270)는 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 예를 들어, 오디오 모듈(280)의 적어도 일부 구성요소는 도 1 에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 예를 들어, 오디오 모듈(280)은 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
일 실시예에 따르면, 카메라 모듈(291)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
전력 관리 모듈(295)은 웨어러블 디바이스(200)의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력 관리 모듈(295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
예를 들어, PMIC는 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 일 실시예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
예를 들어, 배터리 게이지는 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(296)는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 웨어러블 디바이스(200)에 전원을 공급할 수 있다. 예를 들어, 배터리(296)는 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(297)는 웨어러블 디바이스(200) 혹은 그 일부(예: AP(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 웨어러블 디바이스(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 예를 들어, 모바일 TV지원을 위한 처리 장치는 DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어 플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 일 실시예에 있어서 웨어러블 디바이스의 전술한 구성요소들 각각은 하나 또는 그 의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 웨어러블 디바이스의 종류에 따라서 달라질 수 있다. 본 발명에 따른 웨어러블 디바이스는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 웨어러블 디바이스의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 있어서 웨어러블 디바이스(200)의 블록도를 도시한다. 웨어러블 디바이스(200)는 안경 또는 고글 형태의 착용할 수 있는 HUD(Head-Up Display)일 수 있다. 웨어러블 디바이스(200)는 페이스 플레이트(face plate, 201) 및 지지 파트(202)를 포함할 수 있다. 페이스 플레이트(201)는 사용자의 얼굴 전면에 착용될 수 있다. 페이스 플레이트(201)는 다양한 구성요소에 의해 사용자의 얼굴 전면에 지지될 수 있다. 일 실시예에서, 지지 파트(202)는 페이스 플레이트(201)의 일부에 결합되어 페이스 플레이트(201)가 사용자의 안면에 지지되게 한다. 지지 파트(202)는 페이스 플레이트(202)가 사용자의 얼굴의 눈 주위로 밀착되게 한다. 추가적으로 또는 대체적으로, 지지 파트(201)는 안경 다리(eyeglass temples), 헬멧(helmets) 또는 스트랩(straps)으로 구성될 수 있다.
페이스 플레이트(201)는 사용자가 착용하기 쉽도록 모양이나 구조를 가질 수 있다. 예를 들어, 페이스 플레이트(201)의 모양이나 구조는 사용자의 눈을 덮는 외형일 수 있다. 폐이스 플레이트(201)의 모양이나 구조는 사용자의 코에 의해 지지될 수 있도록 코 형상의 홈(nose recess)을 포함할 수 있다.
페이스 플레이트(201) 및/또는 지지 파트(202)는 사용자가 착용하기 쉬운 재료로 구성될 수 있다. 페이스 플레이트(201) 및/또는 지지 파트(202)는 사용자가 편안한 착용감을 느낄 수 있는 가벼운 재료(예를 들어, 플라스틱)로 구성될 수 있다.
페이스 플레이트(201) 및/또는 지지 파트(202)는 내부 및/또는 외부에 도 2에서 상술한 하나 이상의 애플리케이션 프로세서(AP: application processor, 210), 통신 모듈(220), SIM(subscriber identification module) 카드(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 및 모터(298)를 포함할 수 있다.
웨어러블 디바이스(200)는 페이스 플레이트(291) 전면에 카메라 모듈(291)을 포함할 수 있다. 웨어러블 디바이스(200)는 전면에 위치한 카메라 모듈(291)을 통해 사용자의 시선 방향의 외부 영상을 획득할 수 있다. 페이스 플레이트(201)는 적어도 하나 이상의 렌즈(205A, 205B)를 포함할 수 있다. 적어도 하나 이상의 렌즈(205A, 205B)는 디스플레이(260)로서 동작할 수 있다. 웨어러블 디바이스(200)는 적어도 하나 이상의 렌즈(205A, 205B)를 패널(262)로 구현할 수 있고, 웨어러블 디바이스(200)는 패널(262)로 구현된 적어도 하나 이상의 렌즈(205A, 205B)를 통해 영상을 표시할 수 있다. 다른 실시예에서, 웨어러블 디바이스(200)는 프로젝터(266)를 통해 빛을 렌즈에 투사하여 영상을 표시할 수 있다. 웨어러블 디바이스(200)는 사용자 시선 방향에 위치한 카메라 모듈(291)을 통해 현실 영상을 획득하고, 웨어러블 디바이스(200)는 획득한 현실 영상을 분석하여 현실 영상에 대응되는 증강 현실 정보를 디스플레이(260)에 표시할 수 있다.
도 4는 본 발명에 따른 증강 현실 정보 제공 방법을 나타내는 순서도이다.
웨어러블 디바이스(200)는 410 동작에서, 대기 상태에서 동작한다. 프로세서(120)는 웨어러블 디바이스(200)를 대기 상태로 제어할 수 있다. 프로세서(120)는 대기 상태에서 대기 모드로 동작하거나, 임의의 애플리케이션, 프로그램 또는 서비스를 구동 중일 수 있다.
웨어러블 디바이스(200)는 420 동작에서, 증강 현실 정보의 표시 요청이 감지되었는지 여부를 판단한다. 프로세서(120)는 입력 장치(250)를 통하여 증강 현실 정보 표시를 요청하는 사용자 입력이 감지되었는지 여부를 판단할 수 있다. 현실 정보 표시를 요청하는 사용자 입력은 카메라 모듈(291) 또는 입출력 인터페이스(140)을 통해 입력된 사용자의 제스처, 마이크(288) 또는 입출력 인터페이스(140)을 통해 입력된 음성 입력, 입출력 인터페이스(140)을 통해 입력된 터치 입력, 또는 입출력 인터페이스(140)를 통해 입력되는 사용자 명령, 데이터 중 하나일 수 있다.
웨어러블 디바이스(200)는 사용자의 손을 이용한 동작과 같은 사용자 제스처를 현실 정보 표시를 요청하는 사용자 입력으로 감지할 수 있다. 예를 들어, 사용자 제스처는 사용자가 손가락을 구부리거나 손동작을 변경하는 것을 의미한다. 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 정해진 동작으로 변경되는 것을 감지할 수 있다. 추가적으로 또는 대체적으로, 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 정해진 각도 이상으로 변경되는 것을 감지할 수 있다. 추가적으로 또는 대체적으로, 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 3차원 공간 상의 위치에 정해진 시간 동안 정지해 있으면, 현실 정보 표시를 요청하는 사용자 입력으로 감지할 수 있다.
프로세서(120)는 통신 모듈(220)을 통하여 증강 현실 정보 표시 요청에 대응하는 데이터가 수신되면 증강 현실 정보가 요청되는지 여부를 판단할 수 있다. 또는, 웨어러블 디바이스(200)에서 제공하는 애플리케이션, 프로그램 또는 서비스를 통해 증강 현실 정보의 표시가 요청되었는지 여부를 판단할 수 있다. 또는, 프로세서(120)는 카메라 모듈(291)을 통해 수신되는 사용자의 제스처에 따라 증강 현실 정보의 표시를 요청하는 사용자 입력이 감지되었는지 여부를 판단할 수 있다. 증강 현실 정보 요청이 감지되지 않으면, 웨어러블 디바이스(200)는 대기 상태를 유지할 수 있다. 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 정해진 동작으로 변경되는 것을 감지하거나 사용자의 손 또는 손가락이 정해진 각도 이상으로 변경되는 것을 감지하면, 사용자로부터 증강 현실 정보의 표시 요청이 있는 것으로 판단할 수 있다.
증강 현실 정보 요청이 있는 것으로 판단되면, 웨어러블 디바이스(200)는 430 동작에서 증강 현실 정보를 표시할 수 있다. 프로세서(120)는 증강 현실 정보 요청이 있는 것으로 판단되면 증강 현실 정보를 표시할 수 있다. 프로세서(120)는 카메라 모듈(291)을 통해 수집된 영상에 증강 현실 정보를 결합하여 표시하도록 디스플레이(260)를 제어할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석한다. 프로세서(120)는 분석된 오브젝트(object) 중에서 증강 현실 정보 제공의 대상이 되는 오브젝트를 판단한다. 프로세서(120)는 증강 현실 정보 제공의 대상이 되는 오브젝트에 증강 현실 정보에 포함된 가상 오브젝트(virtual object)를 표시할 수 있다. 가상 오브젝트는 증강 현실 정보 제공의 대상이 되는 오브젝트와 관련된 아이콘 또는 텍스트화된 정보일 수 있으며, 또는 현실에 존재하는 인물, 건물, 자연물 등을 이미지화한 것일 수 있다. 웨어러블 디바이스(200)는 사용자 시선 방향의 현실과 가상 오브젝트가 오버레이될 수 있게 디스플레이(260)를 제어할 수 있다. 추가적으로 또는 대체적으로, 웨어러블 디바이스(200)는 현실 오브젝트와 가상 오브젝트가 오버레이될 수 있게 디스플레이(260)를 제어할 수 있다. 가상 오브젝트가 현실 오브젝트에 오버레이 표시될 때, 웨어러블 디바이스(200)는 현실 오브젝트가 사용자에게 보일 수 있도록 투명 또는 반투명으로 디스플레이(260)에 표시될 수 있다.
증강 현실 정보 제공의 대상이 되는 오브젝트는, 예를 들어, 텍스트, 인물, 건물, 자연물, 바코드, QR 코드, 책, 영화 포스터 등일 수 있다. 통신 모듈(220)은 증강 현실 정보의 업로드 및 다운로드를 위한 통신 채널 형성을 지원하며, 사용자 선택에 따라 특정 증강 현실 정보의 전송 또는 수신을 지원할 수 있다.
웨어러블 디바이스(200)는 증강 현실 정보를 표시하기 위해, 웨어러블 디바이스(200)는 카메라 모듈(291)을 기반으로 증강 현실 정보의 배경이 되는 오브젝트를 수집하여 가상 공간을 구축하고, 구축된 가상 공간 상에 증강 현실 정보를 배치할 수 있다. 웨어러블 디바이스(200)는 센서 모듈(240) 및/또는 통신 모듈(220)을 이용하여 가상 공간 상에 배치할 증강 현실 정보의 배치 방식을 정의하도록 지원할 수 있다. 및/또는 통신 모듈(220)은 웨어러블 디바이스(200)의 움직임과 관련된 정보, 예를 들어, 웨어러블 디바이스(200)의 움직임 방향, 움직임 거리, 움직임 속도 등을 감지할 수 있다. 움직임 방향은 전후 좌우 상하 및 해당 방향 기준 사이의 모든 방향을 포함한다. 센서 모듈(240) 및/또는 통신 모듈(220)은 센서 모듈(240) 내에 포함된 자이로 센서(240B), 가속도 센서(240E) 및 GPS 모듈(227) 등을 이용하여 웨어러블 디바이스(200)의 움직임과 관련된 정보를 수집할 수 있다. 센서 모듈(240) 및/또는 통신 모듈(220)은 증강 현실 정보 표시 요청이 있으면 자동으로 활성화되거나 또는 증강 현실 정보 표시 시 자동으로 활성화될 수 있다. 센서 모듈(240) 및/또는 통신 모듈(220)은 감지한 신호를 프로세서(120)에 제공하고, 프로세서(120)는 감지된 신호에 기초하여 가상 공간을 구축하고, 가상 공간 상에 배치할 증강 현실 정보의 배치 방식을 판단할 수 있다. 배경이 되는 오브젝트는 증강 현실 정보를 매핑(mapping)할 수 있는 가상 공간에 배치된 적어도 하나 이상의 이미지 요소일 수 있으며, 카메라 모듈(291)로부터 수집한 영상에서 특정 부분에 해당할 수 있다.
웨어러블 디바이스(200)는 440 동작에서, 증강 현실 정보의 변경을 요청하는 사용자 입력 신호를 감지할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 영상을 수집한다. 웨어러블 디바이스(200)는 수집된 영상에서 증강 현실 정보의 변경을 요청하는 사용자 입력 신호를 추출할 수 있다. 이때, 사용자 입력 신호는 사용자의 제스처일 수 있다. 사용자의 제스처는 사용자의 손 동작일 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 사용자의 손이 수신되면 사용자의 손의 움직임을 추적할 수 있다. 추적한 사용자의 손 동작을 분석하고, 분석한 제스처에 따라 변경된 증강 현실 정보를 제공할 수 있다. 이때, 웨어러블 디바이스(200)는 분석한 제스처에 매핑되는 명령을 기 저장할 수 있다.
증강 현실 정보의 변경을 요청하는 사용자 입력은 카메라 모듈(291) 또는 입출력 인터페이스(140)을 통해 입력된 사용자의 제스처, 마이크(288) 또는 입출력 인터페이스(140)을 통해 입력된 음성 입력, 입출력 인터페이스(140)을 통해 입력된 터치 입력, 또는 입출력 인터페이스(140)를 통해 입력되는 사용자 명령, 데이터 중 하나일 수 있다.
웨어러블 디바이스(200)는 사용자의 손을 이용한 동작과 같은 사용자 제스처를 감지할 수 있다. 예를 들어, 사용자 제스처는 사용자가 손가락을 구부리거나 손동작을 변경하는 것을 의미한다. 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 정해진 동작으로 변경되는 것을 감지할 수 있다. 추가적으로 또는 대체적으로, 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 정해진 각도 이상으로 변경되는 것을 감지할 수 있다. 추가적으로 또는 대체적으로, 웨어러블 디바이스(200)는 사용자의 손 또는 손가락이 구부러지거나 휘어지는 것 또는 이동하는 것을 감지하여 현실 정보 표시를 요청하는 사용자 입력으로 감지할 수 있다.
웨어러블 디바이스(200)는 450 동작에서, 감지된 사용자 입력 신호에 따라 증강 현실 정보를 변경할 수 있다. 웨어러블 디바이스(200)는 분석한 제스처에 매핑되는 명령에 따라 증강 현실 정보를 변경할 수 있다. 본 발명의 실시예에 따르면, 분석한 제스처에 매핑되는 명령에 따라 변경되는 증강 현실 정보는, 예를 들어, 증강 현실 정보 제공의 대상이 되는 오브젝트에 대한 상세한 정보 표시, 가상 오브젝트 선택에 관한 표시, 가상 오브젝트에 대한 확대 또는 축소 표시, 가상 오브젝트의 표시 방향 전환에 관한 것이다.
도 5는 본 발명의 일 실시예에 있어서 사용자 입력 신호 감지 방법을 나타내는 순서도이다.
웨어러블 디바이스(200)는 441 동작에서, 카메라 모듈(291)을 통해 영상을 수집한다. 웨어러블 디바이스(200)는 443 동작에서, 수집된 영상에서 사용자 제스처를 추출한다. 여기서, 사용자의 제스처는 사용자의 손 동작으로서, 프로세서(120)는 수집된 영상에서 사용자의 손 동작을 추출할 수 있다. 웨어러블 디바이스(200)는 445 동작에서, 추출된 사용자 제스처를 분석한다. 웨어러블 디바이스(200)는 분석한 제스처에 매핑되는 명령을 기 저장할 수 있다. 프로세서(120)는 추출된 사용자 제스처가 의미하는 바가 예를 들어, 증강 현실 정보 제공의 대상이 되는 오브젝트에 대한 상세한 정보의 표시를 요청하는 제스처인지, 가상 오브젝트 선택에 관한 제스처인지, 가상 오브젝트에 대한 확대 또는 축소 요청에 관한 제스처인지, 가상 오브젝트 표시 방향 전환 요청에 관한 제스처인지 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 한 손 또는 양 손의 한 손가락 끝이 가상 오브젝트를 향하면, 가상 오브젝트의 선택에 관한 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 한 손가락이 정해진 각도로 변경되면, 가상 오브젝트에 대한 상세한 정보를 요청하는 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 끝 정해진 각도로 변경되고 양 손이 점점 가까워지면 가상 오브젝트에 대한 축소 요청에 관한 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 한 손가락 끝 정해진 각도로 변경되고 양 손이 점점 멀어지면 가상 오브젝트에 대한 확대 요청에 관한 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 끝 정해진 각도로 변경되고 양 손이 점점 가까워지면 가상 오브젝트에 대한 축소 요청에 관한 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 두 손가락 끝의 위 아래가 반전되면 가상 오브젝트의 조감도(air view) 표시 요청에 관한 제스처로 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 중 왼손의 손가락은 사용자 방향으로 향하고, 오른손의 손가락은 사용자의 반대 방향을 향하면 가상 오브젝트의 왼쪽을 표시하는 요청에 관한 제스처 판단할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 중 오른손의 손가락은 사용자 방향으로 향하고, 왼손의 손가락은 사용자의 반대 방향을 향하면 가상 오브젝트의 오른쪽을 표시하는 요청에 관한 제스처 판단할 수 있다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 있어서 웨어러블 디바이스(200)의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 6a에서, 웨어러블 디바이스(200)는 디스플레이(260)에 적어도 하나 이상의 증강 현실 정보(20, 21, 30)를 표시하도록 제어할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 표시할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트가 건물이라면, 건물을 이미지화한 가상 오브젝트(20)가 표시되게 디스플레이(260)를 제어할 수 있다. 또, 웨어러블 디바이스(200)는 현실 영상에 포함된 오브젝트를 식별할 수 있는 아이콘(21)이 표시되게 디스플레이(260)를 제어할 수 있다. 현실 영상에 포함된 오브젝트를 식별할 수 있는 아이콘(21)은 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20)와 관련된 정보를 포함할 수 있다. 예를 들어, 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20)가 건물이고, 건물 내에 서점(book store)가 위치하고 있으면, 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20)에 근접한 지점에 현실 영상에 포함된 오브젝트를 식별할 수 있는 아이콘(21)을 표시할 수 있다. 이때, 사용자(10)가 한 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20) 또는 현실 영상에 포함된 오브젝트를 식별할 수 있는 아이콘(21)를 지시하면, 웨어러블 디바이스(200)는 사용자(10)가 한 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20) 또는 현실 영상에 포함된 오브젝트를 식별할 수 있는 아이콘(21)에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 손가락 끝의 정해진 영역을 윈도우(window, 30)로 표시할 수 있다.
도 6b에서, 사용자(10)가 한 손가락을 정해진 각도(11)로 변경하는 제스처를 취하면, 웨어러블 디바이스(200)는 사용자(10)의 한 손가락이 정해진 각도(11)로 변경되는 것을 추적할 수 있다. 추가적으로 대체적으로, 웨어러블 디바이스(200)는 사용자(10)의 한 손가락이 구부러지는 것(11)을 추적하거나 감지할 수 있다. 웨어러블 디바이스(200)는 사용자(10)의 한 손가락이 정해진 각도(11)로 변경되면, 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보를 요청하는 것으로 판단할 수 있다. 추가적으로 대체적으로, 웨어러블 디바이스(200)는 사용자(10)의 한 손가락이 구부리면(11), 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보를 요청하는 것으로 판단할 수 있다.
사용자(10)가 한 손가락을 정해진 각도(11)로 움직이는 제스처를 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보를 요청하는 것으로 판단하여, 웨어러블 디바이스(200)는 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보(22)가 표시되게 디스플레이(260)를 제어할 수 있다. 예를 들어, 증강 현실 정보 제공의 대상이 되는 오브젝트(20)가 서점(book store)이라면, 서점(book store)에 관한 영업시간, 서점의 위치, 전화번호와 같은 텍스트 정보 및 관련된 이미지 정보를 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보(22)로서 표시되게 디스플레이(260)를 제어할 수 있다.
사용자(10)가 한 손가락이 구부러지거나 휘어지면 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보를 요청하는 것으로 판단하여, 웨어러블 디바이스(200)는 증강 현실 정보 제공의 대상이 되는 오브젝트(20)에 대한 상세한 정보(22)가 표시되게 디스플레이(260)를 제어할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스(200)의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 7a에서, 웨어러블 디바이스(200)는 디스플레이(260)에 적어도 하나 이상의 증강 현실 정보(20, 31, 32)를 표시하도록 제어할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 표시할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트가 건물이라면, 건물을 이미지화한 가상 오브젝트(20)가 표시되게 디스플레이(260)를 제어할 수 있다. 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20)를 지시하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(20)에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 두 손가락 끝의 정해진 영역을 윈도우(window, 31, 32)로 표시할 수 있다.
도 7b에서, 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고, 양 손(12, 13)을 점점 가깝게 움직이는 제스처를 취하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고 양 손(12, 13)을 점점 가깝게 움직이는 것을 추적하거나 감지할 수 있다. 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고 양 손(12, 13)을 점점 가깝게 움직이는 제스처를 가상 오브젝트의 축소 요청에 관한 제스처로 판단할 수 있다. 웨어러블 디바이스(200)는 가상 오브젝트의 축소 요청에 관한 제스처에 따라 축소된 가상 오브젝트를 변경하여 제공할 수 있다.
도 7b에서, 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 가깝게 움직이면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 가깝게 움직이는 것을 추적하거나 감지할 수 있다. 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 가깝게 움직이는 것으로 판단되면, 웨어러블 디바이스(200)는 가상 오브젝트의 축소 요청에 관한 제스처에 따라 축소된 가상 오브젝트를 변경하여 제공할 수 있다.
도 7c에서, 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고, 양 손(12, 13)을 점점 멀게 움직이는 제스처를 취하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고 양 손(12, 13)을 점점 멀게 움직이는 것을 추적할 수 있다. 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 정해진 각도(14, 15)로 변경하고 양 손(12, 13)을 점점 멀게 움직이는 제스처를 가상 오브젝트의 확대 요청에 관한 제스처로 판단할 수 있다. 웨어러블 디바이스(200)는 가상 오브젝트의 확대 요청에 관한 제스처에 따라 확대된 가상 오브젝트를 변경하여 제공할 수 있다.
도 7c에서, 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 멀게 움직이면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 멀게 움직이는 것을 추적하거나 감지할 수 있다. 사용자가 양 손(12, 13)을 구부리고(14, 15) 양 손(12, 13)을 점점 멀게 움직이는 것으로 판단되면, 웨어러블 디바이스(200)는 가상 오브젝트의 확대 요청에 관한 제스처에 따라 확대된 가상 오브젝트를 변경하여 제공할 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스(200)의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 8a에서, 웨어러블 디바이스(200)는 디스플레이(260)에 적어도 하나 이상의 증강 현실 정보(17a, 17b, 18a, 18b)를 표시하도록 제어할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 표시할 수 있다. 예를 들어, 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트가 건물이라면, 건물을 이미지화한 가상 오브젝트가 표시되게 디스플레이(260)를 제어할 수 있다. 사용자가 양 손(12, 13)의 네 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 지시하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 네 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 네 손가락 끝의 정해진 영역을 윈도우(17a, 17b, 18a, 18b)로 표시할 수 있다. 예를 들어, 사용자가 왼손(12)의 엄지와 검지, 오른손(13)의 엄지와 검지를 이용하여 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 지시하면, 웨어러블 디바이스(200)는 사용자가 왼손(12)의 엄지와 검지, 오른손(13)의 엄지와 검지를 이용하여 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 네 손가락 끝의 정해진 영역을 윈도우(17a, 17b, 18a, 18b)로 표시되게 디스플레이(260)를 제어할 수 있다.
도 8b에서, 도 8a와 같이 양 손(12, 13)의 네 손가락으로 가상 오브젝트에 대한 선택하는 제스처 이후에 각 손의 두 손가락의 상하가 반전되는 제스처가 감지되면, 웨어러블 디바이스(200)는 가상 오브젝트의 조감도(air view) 표시 요청에 관한 제스처로 판단할 수 있다. 예를 들어, 왼손(12)의 엄지와 검지의 상하가 반전되고(19a), 오른손(13)의 엄지와 검지의 상하가 반전되는(19b) 제스처가 감지되면 가상 오브젝트의 조감도(air view) 표시 요청에 관한 제스처로 판단하여 웨어러블 디바이스(200)는 도 8c와 같은 조감도(air view)를 증강 현실 정보로 표시되게 디스플레이(260)를 제어할 수 있다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스(200)의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 9a에서, 웨어러블 디바이스(200)는 디스플레이(260)에 적어도 하나 이상의 증강 현실 정보(40a, 40b, 60)를 표시하도록 제어할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(60)를 표시할 수 있다. 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 지시하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 두 손가락 끝의 정해진 영역을 윈도우(40a, 40b)로 표시할 수 있다.
도 9b에서, 도 9a와 같이 양 손(12, 13)의 네 손가락으로 가상 오브젝트에 대한 선택하는 제스처 이후에 각 손의 한 손가락이 변경되는 제스처(50a, 50b)가 감지되면, 가상 오브젝트의 표시 방향 전환에 관한 요청으로 판단할 수 있다.
예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 중 왼손(12)의 손가락은 사용자 방향으로 향하고, 오른손(13)의 손가락은 사용자의 반대 방향을 향하면 가상 오브젝트의 왼쪽을 표시하는 요청에 관한 제스처로 판단할 수 있다. 가상 오브젝트의 왼쪽을 표시하는 요청에 관한 제스처로 판단되면, 웨어러블 디바이스(200)는 도 9c와 같이, 화면 중심에서 왼쪽에 위치한 가상 오브젝트(60)를 중심으로 위치이동 시키는 증강 현실 정보를 제공할 수 있다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 있어서 웨어러블 디바이스의 증강 현실 정보 제공 방법을 나타내는 도면이다.
도 10a에서, 웨어러블 디바이스(200)는 디스플레이(260)에 적어도 하나 이상의 증강 현실 정보(40a, 40b, 60)를 표시하도록 제어할 수 있다. 웨어러블 디바이스(200)는 카메라 모듈(291)을 통해 수집된 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트(60)를 표시할 수 있다. 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트를 지시하면, 웨어러블 디바이스(200)는 사용자가 양 손(12, 13)의 두 손가락으로 현실 영상에 포함된 오브젝트에 대응하여 이미지화된 가상 오브젝트에 대한 선택을 요청하는 제스처로 판단하여, 가상 오브젝트가 선택되었음을 나타내는 식별자로서 두 손가락 끝의 정해진 영역을 윈도우(40a, 40b)로 표시할 수 있다.
도 10b에서, 도 10a와 같이 양 손(12, 13)의 네 손가락으로 가상 오브젝트에 대한 선택하는 제스처 이후에 각 손의 한 손가락이 변경되는 제스처(50a, 50b)가 감지되면, 가상 오브젝트의 표시 방향 전환에 관한 요청으로 판단할 수 있다.
예를 들어, 웨어러블 디바이스(200)는 사용자의 양 손의 손가락 중 왼손(12)의 손가락은 사용자 반대 방향으로 향하고, 오른손(13)의 손가락은 사용자의 방향을 향하면 가상 오브젝트의 오른쪽을 표시하는 요청에 관한 제스처로 판단할 수 있다. 가상 오브젝트의 왼쪽을 표시하는 요청에 관한 제스처로 판단되면, 웨어러블 디바이스(200)는 도 10c와 같이, 화면 중심에서 왼쪽에 위치한 가상 오브젝트(70)를 중심으로 위치이동 시키는 증강 현실 정보를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 웨어러블 디바이스의 증강 현실 정보 제공 방법에 있어서, 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하는 단계; 카메라 모듈을 통해 수집된 영상을 통해, 사용자의 손가락이 구부러지는지 여부를 판단하는 단계; 및 상기 사용자의 손가락이 구부러졌다고 판단되면, 상기 증강 현실 정보를 변경하여 디스플레이에 표시하는 단계를 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (24)

  1. 웨어러블 디바이스의 증강 현실 정보 제공 방법에 있어서,
    카메라 모듈을 통해 캡쳐된 이미지를 이용하여 증강 현실 정보를 생성하는 단계;
    상기 증강 현실 정보는 각각의 가상 오브젝트가 관심 지점의 복수의 실제 오브젝트 중 하나에 대응하는 복수의 가상 오브젝트를 포함하며, 상기 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하는 단계;
    상기 카메라 모듈을 통해 수집된 영상을 통해, 상기 증강 현실 정보 속에서 사용자의 적어도 하나의 손가락을 감지하는 단계; 및
    상기 적어도 하나의 손가락과 연관되며, 상기 관심 지점인 실제 오브젝트에 대응하는 가상 오브젝트를 선택하는 제 1 윈도우를 표시하는 단계;
    상기 적어도 하나의 손가락이 적어도 미리 정해진 각도로 구부러진 것을 감지한 경우, 상기 제 1 윈도우와 다르며 상기 가상 오브젝트에 대응하는 상기 실제 오브젝트에 대한 세부 정보를 제공하는 제 2 윈도우를 상기 제 1 윈도우로부터 전환하여 표시하는 단계를 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 적어도 하나의 손가락이 구부러진 상태에서 상기 적어도 하나의 손가락이 이동하면, 상기 증강 현실 정보를 변경하여 디스플레이에 표시하는 단계 더 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  5. 제 1항에 있어서,
    상기 적어도 하나의 손가락을 감지하는 단계는
    상기 증강 현실 정보에서 상기 사용자의 적어도 두개의 손가락들을 감지하는 단계를 더 포함하며,
    상기 적어도 두개의 손가락들을 감지하는 동작에 따라,
    상기 가상 오브젝트를 축소하여 표시하는 동작,
    상기 가상 오브젝트를 확대하여 표시하는 동작, 또는
    상기 가상 오브젝트를 이동하여 표시하는 동작 중 하나를 수행하는 단계를 더 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  6. 카메라 모듈;
    디스플레이; 및
    프로세서를 포함하며,
    상기 카메라 모듈을 통해 캡쳐된 이미지를 이용하여 증강 현실 정보를 생성하고,
    상기 증강 현실 정보는 각각의 가상 오브젝트가 관심 지점의 복수의 실제 오브젝트 중 하나에 대응하는 복수의 가상 오브젝트를 포함하며, 상기 증강 현실 정보를 기능적으로 연결된 디스플레이에 표시하도록 제어하며,
    상기 카메라 모듈을 통해 수집된 영상을 통해, 상기 증강 현실 정보 속에서 사용자의 적어도 하나의 손가락을 감지하고,
    상기 적어도 하나의 손가락과 연관되며, 상기 관심 지점인 실제 오브젝트에 대응하는 가상 오브젝트를 선택하는 제 1 윈도우를 표시하도록 제어하며,
    상기 적어도 하나의 손가락이 적어도 미리 정해진 각도로 구부러진 것을 감지한 경우, 상기 제 1 윈도우와 다르며 상기 가상 오브젝트에 대응하는 상기 실제 오브젝트에 대한 세부 정보를 제공하는 제 2 윈도우를 상기 제 1 윈도우로부터 전환하여 표시하도록 제어하는 웨어러블 디바이스.
  7. 삭제
  8. 삭제
  9. 제 6항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 손가락이 구부러진 상태에서 상기 적어도 하나의 손가락이 이동하면, 상기 증강 현실 정보를 변경하여 상기 디스플레이에 표시하게 제어하는 웨어러블 디바이스.
  10. 제 6항에 있어서,
    상기 프로세서는
    상기 증강 현실 정보에서 상기 사용자의 적어도 두개의 손가락들을 감지하며,
    상기 적어도 두개의 손가락들을 감지하는 동작에 따라,
    상기 가상 오브젝트를 축소하여 표시하는 동작,
    상기 가상 오브젝트를 확대하여 표시하는 동작, 또는
    상기 가상 오브젝트를 이동하여 표시하는 동작 중 하나를 수행하는 웨어러블 디바이스.
  11. 증강 현실 정보 제공 방법에 있어서,
    전자 장치와 웨어러블 디바이스 간의 통신 채널을 수립하는 단계;
    상기 웨어러블 디바이스의 카메라 모듈을 통해 복수의 실제 오브젝트를 포함하는 이미지를 캡쳐하는 단계;
    상기 웨어러블 디바이스가 상기 캡쳐된 이미지를 이용하여 증강 현실을 생성하기 위해 상기 캡쳐된 이미지를 상기 전자 장치에 전송하는 단계;
    상기 증강 현실 정보는 각각의 가상 오브젝트가 관심 지점의 복수의 실제 오브젝트 중 하나에 대응하는 복수의 가상 오브젝트를 포함하며,
    상기 웨어러블 디바이스가 사용자의 적어도 하나의 손가락을 감지하는 동작에 반응하여, 상기 적어도 하나의 손가락과 연관되며, 상기 관심 지점인 실제 오브젝트에 대응하는 가상 오브젝트를 선택하는 제 1 윈도우를 표시하기 위해 상기 적어도 하나의 손가락의 각각의 위치를 상기 전자 장치로 전송하는 단계;
    상기 증강 현실을 수신하고 상기 증강 현실을 디스플레이 모듈에 표시하는 단계; 및
    상기 적어도 하나의 손가락이 적어도 미리 정해진 각도로 구부러진 것을 감지한 경우, 상기 제 1 윈도우와 다르며 상기 가상 오브젝트에 대응하는 상기 실제 오브젝트에 대한 세부 정보를 제공하는 제 2 윈도우를 상기 제 1 윈도우로부터 전환하여 표시하는 단계를 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  12. 제 11항에 있어서,
    상기 사용자의 손동작은
    상기 적어도 하나의 손가락의 구부림 및 상기 적어도 하나의 손가락의 이동 중 적어도 하나를 포함하는 것을 특징으로 하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  13. 삭제
  14. 제 11항에 있어서,
    상기 증강 현실 정보에서 상기 사용자의 적어도 두개의 손가락들을 감지하는 단계를 더 포함하며,
    상기 적어도 두개의 손가락들을 감지하는 동작에 따라,
    상기 가상 오브젝트를 축소하여 표시하는 동작,
    상기 가상 오브젝트를 확대하여 표시하는 동작, 또는
    상기 가상 오브젝트를 이동하여 표시하는 동작 중 하나를 수행하는 단계를 더 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  15. 제 11항에 있어서,
    상기 증강 현실을 표시하는 단계는
    상기 가상 오브젝트를 투명 또는 반투명하게 처리하여, 상기 오브젝트에 오버레이하여 표시하는 단계를 더 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  16. 이미지를 캡쳐하는 카메라 모듈;
    전자 장치와 통신을 수립하는 통신 모듈;
    디스플레이 모듈; 및
    프로세서를 포함하며,
    웨어러블 디바이스가 상기 캡쳐된 이미지를 이용하여 증강 현실 정보를 생성하기 위해 상기 캡쳐된 이미지를 상기 전자 장치에 전송하고,
    상기 증강 현실 정보는 각각의 가상 오브젝트가 관심 지점의 복수의 실제 오브젝트 중 하나에 대응하는 복수의 가상 오브젝트를 포함하며, 상기 웨어러블 디바이스가 사용자의 적어도 하나의 손가락을 감지하는 동작에 반응하여, 상기 적어도 하나의 손가락과 연관되며, 상기 관심 지점인 실제 오브젝트에 대응하는 가상 오브젝트를 선택하는 제 1 윈도우를 표시하기 위해 상기 적어도 하나의 손가락의 각각의 위치를 상기 전자 장치로 전송하며,
    상기 증강 현실을 수신하고 상기 증강 현실을 상기 디스플레이 모듈에 표시하고,
    상기 적어도 하나의 손가락이 적어도 미리 정해진 각도로 구부러진 것을 감지한 경우, 상기 제 1 윈도우와 다르며 상기 가상 오브젝트에 대응하는 상기 실제 오브젝트에 대한 세부 정보를 제공하는 제 2 윈도우를 상기 제 1 윈도우로부터 전환하여 표시하는 웨어러블 디바이스.
  17. 제 16항에 있어서,
    상기 사용자의 손동작은
    상기 적어도 하나의 손가락의 구부림 및 상기 적어도 하나의 손가락의 이동 중 적어도 하나를 포함하는 것을 특징으로 하는 웨어러블 디바이스.
  18. 삭제
  19. 제 16항에 있어서,
    상기 프로세서는
    상기 증강 현실 정보에서 상기 사용자의 적어도 두개의 손가락들을 감지하며,
    상기 적어도 두개의 손가락들을 감지하는 동작에 따라,
    상기 가상 오브젝트를 축소하여 표시하는 동작,
    상기 가상 오브젝트를 확대하여 표시하는 동작, 또는
    상기 가상 오브젝트를 이동하여 표시하는 동작 중 하나를 수행하는 웨어러블 디바이스.
  20. 제 16항에 있어서,
    상기 프로세서는
    상기 가상 오브젝트를 투명 또는 반투명하게 처리하여, 상기 오브젝트에 오버레이하여 상기 디스플레이 모듈에 표시하게 제어하는 웨어러블 디바이스.
  21. 제 1항에 있어서,
    상기 세부 정보는
    상기 가상 오브젝트와 연관된 상기 실제 오브젝트를 설명하는 텍스트 또는 이미지 중 적어도 하나를 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  22. 제 1항에 있어서,
    상기 가상 오브젝트는
    아이콘인 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  23. 제 1항에 있어서,
    상기 제 1 윈도우를 표시하는 단계는
    상기 증강 현실 정보 내의 상기 가상 오브젝트의 위치에 상기 윈도우를 전환하는 단계를 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
  24. 제 1항에 있어서,
    상기 제 1 윈도우를 표시하는 단계는
    상기 증강 현실 정보 내에서 상기 적어도 하나의 손가락의 위치에 따라 상기 제 1 윈도우를 표시하는 단계를 포함하는 웨어러블 디바이스의 증강 현실 정보 제공 방법.
KR1020140068225A 2014-06-05 2014-06-05 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 Active KR102303115B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140068225A KR102303115B1 (ko) 2014-06-05 2014-06-05 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
CN201580028440.0A CN106462247A (zh) 2014-06-05 2015-05-28 用于提供增强现实信息的可穿戴设备和方法
PCT/KR2015/005387 WO2015186925A1 (en) 2014-06-05 2015-05-28 Wearable device and method for providing augmented reality information
EP15802338.2A EP3152639A4 (en) 2014-06-05 2015-05-28 Wearable device and method for providing augmented reality information
US14/725,396 US10484673B2 (en) 2014-06-05 2015-05-29 Wearable device and method for providing augmented reality information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140068225A KR102303115B1 (ko) 2014-06-05 2014-06-05 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20150140043A KR20150140043A (ko) 2015-12-15
KR102303115B1 true KR102303115B1 (ko) 2021-09-16

Family

ID=54766958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140068225A Active KR102303115B1 (ko) 2014-06-05 2014-06-05 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법

Country Status (5)

Country Link
US (1) US10484673B2 (ko)
EP (1) EP3152639A4 (ko)
KR (1) KR102303115B1 (ko)
CN (1) CN106462247A (ko)
WO (1) WO2015186925A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230222704A1 (en) * 2022-01-10 2023-07-13 General Reality Systems, LLC Systems and methods for visualizing natural spaces using metaverse technologies
KR20240033983A (ko) * 2022-09-06 2024-03-13 주식회사 피앤씨솔루션 태양광 패널을 활용한 전력생산이 가능한 증강현실 글래스 장치
US12321526B2 (en) 2021-11-16 2025-06-03 Samsung Electronics Co., Ltd. Wearable electronic device for displaying virtual object and method of controlling the same

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
CN108351713B (zh) 2015-10-14 2022-03-08 麦克赛尔株式会社 输入终端装置和操作输入方法
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
CN113917704B (zh) * 2015-12-30 2025-03-11 依视路国际公司 基于测量值和外部电子装置所获得的信息来控制眼科系统的方法
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
KR101807241B1 (ko) 2016-09-12 2017-12-08 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
KR20180080012A (ko) * 2017-01-03 2018-07-11 주식회사 한국스포츠예술차세대플랫폼 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
SE541650C2 (en) 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
DE102017215074A1 (de) * 2017-08-29 2019-02-28 Siemens Healthcare Gmbh Verfahren und Auswahleinheit zum Auswählen eines virtuellen Objekts oder eines Bildparameterwerts
EP3489800A1 (de) * 2017-11-27 2019-05-29 EUCHNER GmbH + Co. KG Sicherheitssystem
TWI633500B (zh) * 2017-12-27 2018-08-21 中華電信股份有限公司 擴增實境應用產生系統及方法
CN110058673A (zh) * 2018-01-17 2019-07-26 广西米克尔森科技股份有限公司 一种虚拟现实与增强现实展示内容互换技术
EP3707584B1 (en) 2018-02-09 2024-06-05 Samsung Electronics Co., Ltd. Method for tracking hand pose and electronic device thereof
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
KR20190108727A (ko) * 2018-03-15 2019-09-25 민상규 접이식 가상현실 장비
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
CN110163045B (zh) * 2018-06-07 2024-08-09 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备
US10908419B2 (en) 2018-06-28 2021-02-02 Lucyd Ltd. Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
US12216341B2 (en) 2018-06-28 2025-02-04 Lucyd Ltd. Wireless smartglasses with quick connect front frames
CN109814719B (zh) * 2018-07-26 2024-04-26 亮风台（上海）信息科技有限公司 一种基于穿戴眼镜的显示信息的方法与设备
CN110072046B (zh) * 2018-08-24 2020-07-31 北京微播视界科技有限公司 图像合成方法和装置
KR102647656B1 (ko) * 2018-09-04 2024-03-15 삼성전자주식회사 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
CN112840379B (zh) * 2018-10-15 2024-11-26 索尼公司 信息处理装置、信息处理方法及计算机可读介质
KR102154270B1 (ko) * 2018-11-28 2020-09-09 임훈 이미지 인식을 이용하여 ar영상을 제공하는 서버
CN119766984A (zh) * 2018-11-30 2025-04-04 Pcms控股公司 显示3d对象的方法和系统
USD899495S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900205S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD900203S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899493S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899499S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899498S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900920S1 (en) 2019-03-22 2020-11-03 Lucyd Ltd. Smart glasses
USD899496S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900204S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899500S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899494S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900206S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899497S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
US11258880B2 (en) * 2019-06-24 2022-02-22 Amazon Technologies, Inc. Wearable device for controlling endpoint devices
CN110333785B (zh) * 2019-07-11 2022-10-28 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
KR102313622B1 (ko) * 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
JP2021034992A (ja) * 2019-08-29 2021-03-01 セイコーエプソン株式会社 光学装置及び装着型表示装置
KR102862950B1 (ko) * 2019-11-25 2025-09-22 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
USD954135S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Round smartglasses having flat connector hinges
USD955467S1 (en) 2019-12-12 2022-06-21 Lucyd Ltd. Sport smartglasses having flat connector hinges
USD954136S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Smartglasses having pivot connector hinges
USD958234S1 (en) 2019-12-12 2022-07-19 Lucyd Ltd. Round smartglasses having pivot connector hinges
US11496797B2 (en) * 2019-12-13 2022-11-08 At&T Intellectual Property I, L.P. Methods, systems, and devices for providing augmented reality content based on user engagement
USD954137S1 (en) 2019-12-19 2022-06-07 Lucyd Ltd. Flat connector hinges for smartglasses temples
USD974456S1 (en) 2019-12-19 2023-01-03 Lucyd Ltd. Pivot hinges and smartglasses temples
CN111158478B (zh) * 2019-12-26 2023-02-03 维沃移动通信有限公司 响应方法及电子设备
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11282523B2 (en) * 2020-03-25 2022-03-22 Lucyd Ltd Voice assistant management
CN111766947B (zh) * 2020-06-30 2024-11-12 歌尔科技有限公司 一种显示方法、装置、可穿戴设备及介质
KR102734523B1 (ko) * 2020-07-01 2024-11-27 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
CN114564162B (zh) * 2020-11-27 2024-09-10 华为技术有限公司 一种数据传输方法、电子设备、系统及存储介质
US12223104B2 (en) 2020-12-22 2025-02-11 Meta Platforms Technologies, Llc Partial passthrough in virtual reality
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
US12183035B1 (en) 2021-03-08 2024-12-31 Meta Platforms, Inc. System and method for positioning a 3D eyeglasses model
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
WO2022220459A1 (en) 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
KR102522142B1 (ko) * 2021-07-05 2023-04-17 주식회사 피앤씨솔루션 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법
KR20230030930A (ko) * 2021-08-26 2023-03-07 삼성전자주식회사 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
KR20230072757A (ko) 2021-11-18 2023-05-25 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
US20230196765A1 (en) * 2021-12-21 2023-06-22 Meta Platforms Technologies, Llc Software-based user interface element analogues for physical device elements
CN114724248A (zh) * 2022-04-20 2022-07-08 Oppo广东移动通信有限公司 控制方法、控制装置、车辆、计算机设备和介质
EP4519754A1 (en) * 2022-05-05 2025-03-12 Universal City Studios LLC Augmented reality tattoo
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
CN120500674A (zh) * 2023-03-21 2025-08-15 三星电子株式会社 用于识别显示图像的区域的可穿戴装置和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
US20120056847A1 (en) * 2010-07-20 2012-03-08 Empire Technology Development Llc Augmented reality proximity sensing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100310036B1 (ko) 1999-03-26 2001-11-02 전영삼 눈의 수직 움직임 추정 방법과 그를 이용한 전자기기의 원격 조절 장치
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
KR100396924B1 (ko) 2001-02-27 2003-09-03 한국전자통신연구원 생체신호를 이용한 전자기기 제어 장치 및 그 방법
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
KR101001617B1 (ko) * 2007-12-17 2010-12-17 한국전자통신연구원 가상 모바일 정보기기의 사용성 평가 시스템 및 그 방법
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
TWI501130B (zh) 2010-10-18 2015-09-21 Ind Tech Res Inst 虛擬觸控輸入系統
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR20120062170A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 가상 모니터 제어장치 및 그 제어방법
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
JP2013061848A (ja) 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置
CN115167675A (zh) * 2011-09-19 2022-10-11 视力移动技术有限公司 增强现实设备
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
US20120056847A1 (en) * 2010-07-20 2012-03-08 Empire Technology Development Llc Augmented reality proximity sensing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12321526B2 (en) 2021-11-16 2025-06-03 Samsung Electronics Co., Ltd. Wearable electronic device for displaying virtual object and method of controlling the same
US20230222704A1 (en) * 2022-01-10 2023-07-13 General Reality Systems, LLC Systems and methods for visualizing natural spaces using metaverse technologies
KR20240033983A (ko) * 2022-09-06 2024-03-13 주식회사 피앤씨솔루션 태양광 패널을 활용한 전력생산이 가능한 증강현실 글래스 장치
KR102800654B1 (ko) * 2022-09-06 2025-04-30 주식회사 피앤씨솔루션 태양광 패널을 활용한 전력생산이 가능한 증강현실 글래스 장치

Also Published As

Publication number Publication date
WO2015186925A1 (en) 2015-12-10
EP3152639A4 (en) 2018-01-31
CN106462247A (zh) 2017-02-22
KR20150140043A (ko) 2015-12-15
EP3152639A1 (en) 2017-04-12
US10484673B2 (en) 2019-11-19
US20150358614A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
KR102303115B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
KR102294945B1 (ko) 기능 제어 방법 및 그 전자 장치
JP7123128B2 (ja) インタフェース表示方法及び装置
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
EP3149598B1 (en) Data processing method and electronic device thereof
US9823762B2 (en) Method and apparatus for controlling electronic device using touch input
US9952711B2 (en) Electronic device and method of processing screen area of electronic device
KR102271833B1 (ko) 전자 장치, 그 제어 방법 및 기록 매체
KR102414356B1 (ko) 전자 장치 및 그의 햅틱 피드백 제공 방법
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
CN108353161B (zh) 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法
US20170214786A1 (en) Electronic device and method thereof based on motion recognition
KR20160059264A (ko) 화면 제어 방법 및 그 방법을 처리하는 전자 장치
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR20160059765A (ko) 전자 장치의 디스플레이 방법 및 장치
KR20150129423A (ko) 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20160061105A (ko) 전력 소모를 줄이기 위한 전력 제어 방법 및 장치
KR20160063812A (ko) 화면 구성 방법, 전자 장치 및 저장 매체
KR20160005895A (ko) 전자 장치 및 전자 장치의 인터페이스 제공 방법, 전자 장치를 위한 액세서리
KR20150127989A (ko) 사용자 인터페이스 제공 방법 및 장치
KR102656528B1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
KR102641881B1 (ko) 전방위 영상을 획득하는 방법 및 장치
KR102519578B1 (ko) 전자 장치의 화면 표시 방법 및 그 장치
KR20170002051A (ko) 한 손 조작 사용자 인터페이스 구현 방법 및 이를 수행하는 전자 장치
KR20150132963A (ko) 디스플레이를 이용한 입력 처리 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140605

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190515

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140605

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201020

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20210309

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210809

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210910

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210913

End annual number: 3

Start annual number: 1

PG1601 Publication of registration