[go: up one dir, main page]

KR102051418B1 - 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치 - Google Patents

영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치 Download PDF

Info

Publication number
KR102051418B1
KR102051418B1 KR1020120109435A KR20120109435A KR102051418B1 KR 102051418 B1 KR102051418 B1 KR 102051418B1 KR 1020120109435 A KR1020120109435 A KR 1020120109435A KR 20120109435 A KR20120109435 A KR 20120109435A KR 102051418 B1 KR102051418 B1 KR 102051418B1
Authority
KR
South Korea
Prior art keywords
image
objects
depth information
touch screen
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120109435A
Other languages
English (en)
Other versions
KR20140042544A (ko
Inventor
권동욱
김민호
김경일
이기상
이상보
이진경
진영구
최진욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120109435A priority Critical patent/KR102051418B1/ko
Priority to US14/041,888 priority patent/US10101874B2/en
Publication of KR20140042544A publication Critical patent/KR20140042544A/ko
Application granted granted Critical
Publication of KR102051418B1 publication Critical patent/KR102051418B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영상에 포함된 객체에 대한 직관적인 조작을 가능하도록 하는 사용자 인터페이스 제어 방법을 제공한다. 이를 위해 본 발명은, 사용자 인터페이스 제어 장치에 장착된 제1영상 입력부를 통해 전방의 제1영상을 입력받는 과정과, 상기 제1영상 입력부와 반대편에 장착된 제2영상 입력부를 통해 후방의 사용자 입력 수단에 대한 제2영상을 입력받는 과정과, 상기 제2영상을 이용하여 상기 사용자 입력 수단과의 거리를 측정하고, 측정된 거리가 짧아질수록 상기 제1영상 내의 복수개의 객체들 중 깊이가 얕은 객체부터 깊은 객체 순으로 선택 가능한 객체를 변경하여 표시하는 과정으로 이루어진다. 이와 같이, 전면 영상 내에서 멀리 있는 즉, 깊이가 깊은 객체는 사용자가 사용자 입력 수단을 사용자 인터페이스 제어 장치쪽으로 멀리 뻗어 선택하고, 가까이 있는 객체 즉, 깊이가 얕은 객체는 사용자 입력 수단을 가까이 뻗어 선택하므로, 영상 내 객체에 대한 직관적인 선택이 가능하게 된다.

Description

영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치{USER INTERFACE CONTROLLING DEVICE AND METHOD FOR SELECTING OBJECT IN IMAGE AND IMAGE INPUT DEVICE}
본 발명은 사용자 인터페이스 제어 장치 및 방법에 관한 것으로, 특히 영상에 포함된 객체를 사용자가 용이하게 선택하기 위한 사용자 인터페이스 제어 장치 및 방법에 관한 것이다.
최근 들어, 통신 기술의 급속한 발전으로 인해 전자 기기에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(User Interface: UI) 및 그를 이용한 다양한 기능들이 제공되고 있다. 또한, 전자 기기에서는 다양한 기능들을 제어하기 위한 다양한 입력 방식들을 제공한다.
최근 인간과 컴퓨터 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스 기술인 키보드나 마우스를 대체해 보다 자연스러운 컴퓨팅 환경을 제공할 수 있는 상호적인 디스플레이(Interactive Display) 등의 분야가 급성장하고 있다.
종래의 상호적인 디스플레이(Interactive Display)는 일반적으로 디스플레이 표면에서 멀티 터치 및 근접 터치(Hovering)를 통한 UI를 조작하는 방법을 제공한다. 마우스나 키보드가 시선과 조작 공간이 불일치 하는 간접적인 상호작용(Indirect Interaction)인데 반해, 멀티 터치 및 근접 터치(Hovering)는 조작 대상을 바라보는 시선과 조작 공간이 일치하는 직접적인 상호작용(Direct interaction)을 제공함으로써, 더 자연스러운 조작을 가능하게 한다. 하지만 멀티터치의 경우 디스플레이 표면에서만 조작이 가능한 2차원 상호작용 방법이고, 따라서 UI 등의 조작 대상이 3차원인 경우에도 실제 물체를 조작하는 듯한 직관적인 조작이 불가능하다. 근접 터치의 경우 손의 정보만을 이용해 몰입감 및 일체감 있는 객체의 조작을 제공하지 못한다.
상기한 바와 같이 종래에는 전자 기기의 제어를 위한 특정 입력 수단들에 직접 입력을 발생함으로써 전자 기기의 제어가 가능할 뿐이다. 이에 따라 실시간 처리를 바탕으로 미리 구축된 실세계 정보(증강 정보)가 실제로 관찰되는 실세계의 영상(실사 영상)에 겹쳐서 표현되는 경우 사용자는 실사 영상 내의 객체에 대한 부가 정보를 볼 수는 있지만, 그 객체에 대한 조작이 불가능하다는 제약이 있다. 따라서 실사 영상 내의 객체에 대해 상호 작용(interaction)을 용이하도록 하는 방법을 제공한다면, 실제 사용자가 주시하는 객체에 대한 직관적인 조작이 용이할 것이다.
따라서 본 발명은 영상에 포함된 객체를 사용자가 용이하게 선택하기 위한 사용자 인터페이스 제어 장치 및 방법을 제공한다.
또한 본 발명은 영상에 포함된 객체에 대한 직관적인 조작을 가능하도록 하는 사용자 인터페이스 제어 장치 및 방법을 제공한다.
상기한 바를 달성하기 위한 본 발명은, 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치에 있어서, 사용자 입력 수단을 촬영한 제1영상을 출력하는 제1영상 입력부와, 제1영상 입력부와 반대편에 배치되며, 전방을 촬영한 제2영상을 출력하는 제2영상 입력부와, 상기 제2영상을 표시하는 표시부와, 상기 제2영상 내의 복수개의 객체를 인식하고, 상기 사용자 입력 수단과 상기 표시부와의 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하도록 제어하는 제어부를 포함함을 특징으로 한다.
또한 본 발명은, 복수개의 객체를 포함하는 영상을 출력하는 영상 입력 장치에 있어서, 사용자 입력 수단을 촬영한 제1영상을 출력하며, 상기 사용자 입력 수단과 상기 영상 입력 장치와의 거리를 나타내는 상기 제1영상에 대한 깊이 정보를 제공하는 제1영상 입력부와, 제1영상 입력부와 반대편에 배치되며, 서로 다른 깊이를 가지는 복수개의 객체들 중 상기 사용자 입력 수단과 상기 영상 입력 장치와의 거리가 짧아질수록 깊이가 얕은 객체부터 깊은 객체의 순서로 선택되는 상기 복수개의 객체를 포함하는 제2영상을 출력하는 제2영상 입력부를 포함함을 특징으로 한다.
또한 본 발명은, 사용자 인터페이스 제어 장치에서 영상에 포함된 객체를 선택하기 위한 방법에 있어서, 전방을 촬영한 제1영상 내의 복수개의 객체를 인식하여 표시하는 과정과, 후방의 사용자 입력 수단을 촬영한 제2영상을 근거로 상기 사용자 입력 수단과 상기 사용자 인터페이스 제어 장치와의 거리를 측정하는 과정과, 상기 측정된 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하는 과정을 포함함을 특징으로 한다.
본 발명에 따르면, 실사 영상 내의 객체에 대해 상호 작용(interaction)을 위한 방법을 제공함으로써, 실제 사용자가 주시하는 객체에 대한 직관적인 조작이 용이한 이점이 있다. 또한 본 발명은 사용자 입력 수단의 원근을 깊이 센서를 이용하여 인식하며, 그 사용자 입력 수단의 멀고 가까운 정도에 따라 객체를 선택함으로써 영상 내에서 객체들의 일부가 서로 겹쳐서 표시되더라도 객체 선택이 용이한 이점이 있다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 내부 블록 구성도,
도 2는 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 전면 사시도,
도 3은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 후면 사시도,
도 4는 본 발명의 실시예에 따른 실제 공간을 촬영함에 따른 촬영 영상과 깊이 영상을 나타낸 예시도,
도 5는 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 선택 가능한 객체를 표시한 화면예시도,
도 6은 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 사용자 입력 수단이 근접함에 따라 선택되는 객체가 변경되는 경우를 설명하기 위한 화면예시도,
도 7은 본 발명의 일실시예에 따라 선택된 객체에 대한 확대 기능을 설명하기 위한 화면예시도,
도 8은 본 발명의 실시예에 따라 사용자 입력 수단의 이동에 따른 객체 선택 과정을 설명하기 위한 동작 흐름도.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명은 영상에 포함된 객체에 대한 직관적인 조작을 가능하도록 하는 사용자 인터페이스 제어 방법을 제공한다. 이를 위해 본 발명은, 사용자 인터페이스 제어 장치에 장착된 제1영상 입력부를 통해 전방의 제1영상을 입력받는 과정과, 상기 제1영상 입력부와 반대편에 장착된 제2영상 입력부를 통해 후방의 사용자 입력 수단에 대한 제2영상을 입력받는 과정과, 상기 제2영상을 이용하여 상기 사용자 입력 수단과의 거리를 측정하고, 측정된 거리가 짧아질수록 상기 제1영상 내의 복수개의 객체들 중 깊이가 얕은 객체부터 깊은 객체 순으로 선택 가능한 객체를 변경하여 표시하는 과정으로 이루어진다. 이와 같이, 전면 영상 내에서 멀리 있는 즉, 깊이가 깊은 객체는 사용자가 사용자 입력 수단을 사용자 인터페이스 제어 장치쪽으로 멀리 뻗어 선택하고, 가까이 있는 객체 즉, 깊이가 얕은 객체는 사용자 입력 수단을 가까이 뻗어 선택하므로, 영상 내 객체에 대한 직관적인 선택이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 내부 블록 구성도를 예시하고 있다. 도 1에서는 사용자 인터페이스 제어 장치의 예로, 이동 단말을 예시하나, 사용자 인터페이스 제어 장치는 휴대폰, 스마트폰, 태블릿PC, 게임기 등 사용자 입력 수단을 인식하여 입력 명령으로 사용 가능한 장치이면 모두 가능하다. 이하에서는 설명의 편의를 위해, 사용자 인터페이스 제어 장치가 이동 단말인 경우를 예로 들어 설명한다.
도 1을 참조하면, 이동 단말(100)은 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치, 휴대폰, 스마트폰, 태블릿PC 및 서버를 포함한다.
먼저, 이동 단말(100)은 표시부 및 디스플레이 컨트롤러를 포함한다. 표시부는 LCD 패널로 구현될 수 있으며, 이러한 LCD 패널이 터치스크린 형태로 구현된 경우 그 표시부는 입력수단으로도 동작하게 된다. 본 발명의 실시예에서는 상기 표시부 및 디스플레이 컨트롤러가 각각 터치스크린(190) 및 터치스크린 컨트롤러(195)인 경우를 예로 들어 설명한다.
또한, 이동 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 영상 입력 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 및 동영상 재생 모듈(143) 중 적어도 하나를 포함한다. 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함한다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다.
이러한 제어부(110)는 CPU(Central Processing Unit) 등으로 구성될 수 있으며, 본 발명에 따라 전방을 촬영한 영상 내에서 복수개의 객체를 인식하여 터치스크린(190) 상에 표시한 후, 사용자 입력 수단을 촬영한 영상을 근거로 그 사용자 입력 수단과 이동 단말(100)과의 거리를 측정하고, 측정된 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하도록 제어하는 역할을 한다. 다시 말하면, 제어부(110)는 사용자 입력 수단과 이동 단말(100)과의 거리가 짧아질수록 상기 복수개의 객체들 중 깊이가 얕은 객체부터 깊은 객체의 순서로 상기 선택 가능한 객체를 변경하여 표시하도록 제어한다. 이와 반대로, 제어부(110)는 사용자 입력 수단과 이동 단말(100)과의 거리가 짧아질수록 상기 복수개의 객체들 중 깊이가 깊은 객체부터 얕은 객체의 순서로 상기 선택 가능한 객체를 변경하여 표시하도록 제어할 수도 있다.
이와 같이 제어부(110)는 사용자 입력 수단에 대한 깊이 정보를 전방의 복수개의 객체에 대한 깊이 정보에 매칭함으로써, 그 사용자 입력 수단이 터치스크린(190)을 향해 이동함에 따라 그 사용자 입력 수단의 깊이 정보에 대응하는 곳에 위치한 객체가 선택되도록 하는 동작을 수행한다. 이러한 경우 사용자는 그 사용자 입력 수단을 터치스크린(190) 가까이 이동시키게 되면, 실제 사용자 입력 수단이 터치스크린(190) 상에 표시되는 객체에 닿지 않더라도 마치 그 사용자 입력 수단이 깊이가 얕은 순에서 깊은 순으로 차례로 각 객체에 닿은 듯한 효과를 볼 수 있게 된다.
이후, 제어부(110)는 어느 하나의 객체가 선택되면 선택된 객체에 대한 정보 검색, 줌인/줌아웃 등의 기능을 수행한다. 이러한 복수개의 객체들 중 사용자 입력 수단과의 거리에 따라 선택 가능한 객체를 결정하는 동작에 대한 구체적인 설명은 후술하기로 한다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 이동 단말(100)이 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 이동 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 이동 단말(100)과 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data associationn), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
이동 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 이동 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 예를 들어, 미디어 오브젝트가 선택되는 경우 오디오 재생 모듈(142)를 통해 선택된 미디어 오브젝트에 해당하는 음악을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일) 도는 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오 재생 모듈(142)과 동영상 재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)은 제어부(100)에 포함될 수 있다.
영상 입력 모듈(150)은 제어부(110)의 제어에 따라 정지 영상 또는 동영상을 촬영하는 제1영상입력부(151) 및 제2영상입력부(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1영상입력부(151) 또는 제2영상입력부(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1영상입력부(151)는 상기 이동 단말(100) 전면에 배치되고, 제2영상입력부(152)는 상기 이동 단말(100)의 후면에 배치될 수 있다. 이러한 영상 입력 모듈(150)은 이동 단말(100)에 장착되며, 본 발명의 실시예에 따른 영상 입력 모듈(150)이 장착 가능한 기기이면 모두 본 발명이 적용 가능함은 물론이다.
제1영상 입력부(151)는 이동 단말(100) 전면에 배치되므로 사용자의 손, 스타일러스 펜 등의 사용자 입력 수단을 촬영한 제1영상을 출력한다. 이에 따라 제어부(110)는 사용자 입력 수단을 촬영한 제1영상에 기반하여, 사용자 입력 수단에 대한 정보를 생성할 수 있다. 예를 들어, 사용자의 손동작에 대한 정보를 생성할 수 있다. 이러한 사용자 입력 수단에 대한 정보는, 사용자 입력 수단의 이동 경로 예를 들어, 이동 단말(100)의 터치스크린(190)을 향하여 이동하는지 터치스크린(190)으로부터 멀어지는지 등의 정보, 두 손가락을 벌리는지의 정보, 손가락으로 객체를 선택하는 체크 동작을 하는지 등에 대한 정보를 포함할 수 있다.
또한 제2영상 입력부(152)는 제1영상 입력부(151)와 반대편 즉, 이동 단말(100) 후면에 배치되므로 전방을 촬영한 제2영상을 출력한다. 이때, 제2영상 입력부(152)는 상기 제2영상 내에서 상기 복수개의 객체를 인식한 후, 상기 복수개의 객체에 대한 깊이 정보를 제공하는 깊이 센서를 포함할 수 있다. 이와 유사하게 제1영상 입력부(151)도 사용자 입력 수단과의 거리를 나타내는 깊이 정보를 제공하는 깊이 센서를 포함할 수 있다. 이와 같이 깊이 센서를 각각 포함하는 제1영상 입력부(151) 및 제2영상 입력부(152)는 하나 이상의 객체들의 깊이 정보를 갖는 깊이 영상을 획득할 수 있다. 이때, 본 발명의 실시예에서는 이동 단말(100)로부터 객체 위치까지의 물리적 거리 즉, 깊이 정보를 획득하기 위해 TOF(Time Of Flight) 방식의 깊이 센서가 이용될 수 있다. TOF 방식 이외에도 깊이 정보를 측정 및/또는 계산하기 위해 다른 기술들이 이용될 수 있음은 물론이다.
한편, 제1영상 입력부(151) 및 제2영상 입력부(152)는 깊이 센서를 포함하여 구성될 수 있으며, 별도로 분리된 형태로 배치될 수 있다. 이러한 경우 제어부(110)는 깊이 센서들로부터의 깊이 정보를 이용하여 각 객체에 대한 원근감을 결정할 수 있다. 다르게는 제어부((110)에서 깊이 정보를 획득하기 위한 알고리즘을 통해 이동 단말(100)로부터 객체 위치까지의 물리적 거리를 획득할 수 있다.
또한, 영상 입력 모듈(150)은 추가로 제3영상입력부를 더 포함할 수 있다. 이러한 경우 제1영상입력부(151)와 제3영상입력부(도시하지 않음)는 인접(예, 제1 영상입력부(151)와 제3영상입력부의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지 영상 또는 3차원 동영상을 촬영할 수 있다. 이와 같이 3차원 정지 영상이 촬영되는 경우 제어부(110)는 3차원 정지 영상 내의 복수개의 객체를 인식한 후, 3차원 정지 영상 내에서 사용자 입력 수단과의 측정 거리에 따라 선택되는 객체를 표시자를 이용하여 표시할 수 있다. 여기서, 객체 검출을 위한 알고리즘으로는 사람의 경우에는 얼굴 또는 손 인식 알고리즘, 물건의 경우에는 템플릿 기반 매칭 알고리즘 등 일반적인 인식 알고리즘이 사용될 수 있다.
이러한 경우 복수개의 객체를 포함하는 입체 영상을 표시함으로써, 사용자는 보다 직관적으로 복수개의 객체 중 어느 하나를 선택할 수 있을 뿐만 아니라 선택된 객체에 대한 원근감을 파악할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 이동 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 이동 단말(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 이동 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있다. 이러한 버튼(161)은 홈 버튼(161a), 메뉴 버튼(161b), 돌아가기 버튼(back button)(161c), 볼륨 버튼(161e, 161f, 161g) 및 전원/잠금 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 이동 단말(100) 외부로 출력할 수 있다. 스피커(163)는 이동 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 이동 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 이동 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 이동 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190)을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 이동 단말(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 이동 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 이동 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 이동 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 이동 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 이동 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
센서 모듈(170)은 이동 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 이동 단말(100)에 대한 접근 여부를 검출하는 근접센서, 이동 단말(100)의 기울어짐을 검출하는 지자기 센서, 이동 단말(100)의 동작을 검출하는 모션 센서 등을 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(170)의 센서는 이동 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다. 또한 본 발명의 실시예에 따라 센서모듈(170)은 전방에 위치한 객체까지의 물리적 거리 또는 사용자 입력 수단까지의 물리적 거리를 나타내는 깊이 정보를 획득하는 깊이 센서를 포함할 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 이동 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 제어부(110) 내 롬, 램 또는 이동 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원공급부(180)는 제어부(110)의 제어에 따라 이동 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 이동 단말(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 이동 단말(100)로 공급할 수 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락), 터치가능한 입력 수단(예, 스타일러스 펜), 압력 방식에 의한 눌림 등을 통해 적어도 하나의 입력을 수신할 수 있다. 또한, 터치스크린(190)은 적어도 하나의 입력 중에서, 터치의 연속적인 움직임 즉, 터치 위치의 이동 동작의 패턴을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식, 압력 방식(pressure-type), 전자기 공진(EMR:Electro-Magnetic Resonance) 방식 등으로 구현될 수 있다.
본 발명의 실시예에 따르면, 터치스크린(190)은 제2영상 입력부(152)를 통해 촬영되는 전방의 영상을 표시한다. 이때, 전방의 영상에 대한 영상 인식 알고리즘을 통해 복수개의 객체가 인식되면, 터치스크린(190) 상에는 인식된 복수개의 객체에 대한 표시자(indicator)를 함께 출력한다. 예를 들어, 표시자를 이용하여 해당 객체에 대한 테두리를 표시함으로써 인식된 복수개의 객체들을 알리는 것이다. 그리고나서 사용자가 사용자 입력 수단을 이동 단말(100)의 터치스크린(190)으로 가까이 가져감에 따라 복수개의 객체들 중 선택 가능한 객체의 테두리의 색을 변화시키거나 음영으로 표시할 수 있다. 이러한 표시자를 각각의 객체에 위치시킨 후 그 표시자를 변화시킴으로써 사용자가 복수개의 객체들 중 현재 선택 가능한 객체를 파악할 수 있도록 한다. 이와 유사하게 체크 박스 형태의 표시자를 통해 복수개의 객체들 중 해당 객체가 선택되었음을 보여줄 수 있다. 이와 달리 복수개의 객체들 중 어느 하나의 객체에 표시자를 위치시킨 후, 사용자 입력 수단과의 거리가 달라짐에 따라 상기 표시자를 이동시켜 현재 선택된 객체를 보여줄 수도 있다. 이와 같이 어느 하나의 객체가 선택됨에 따라 선택된 객체에 대한 부가 정보가 검색되어 그 부가 정보와 함께 표시될 수 있으며, 다르게는 선택된 객체가 확대 또는 축소되어 표시될 수 있다.
터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 이에 따라 제어부(110)는 터치스크린 컨트롤러(195)를 통해 최초 터치 입력 위치로부터 그 터치 입력 위치의 변화에 따른 출력값을 제공받는다. 이러한 출력값은 (X, Y) 등의 좌표 형태를 가지는 디지털 신호이며, 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다. 더 나아가, 터치스크린 컨트롤러(195)는 터치스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.
또한, 터치스크린(190)은 사용자의 신체 및 터치 가능한 입력 수단에 의한 입력을 동시에 입력받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 수단의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력값을 터치스크린 컨트롤러(195)에 제공하고, 터치스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린(190)으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 수단에 의한 입력인지를 구분할 수 있다. 예를 들어, 터치스크린(190)은 정전용량(capacitive) 방식의 터치스크린 패널과 EMR 방식의 터치스크린 패널이 조합된 구조를 가질 수 있다.
도 2는 본 발명의 일 실시예에 따른 모바일 장치의 전면 사시도이다. 도 3은 본 발명의 일 실시예에 따른 모바일 장치의 후면 사시도이다.
도 2를 참조하면, 장치(100)의 전면(100a) 중앙에는 터치스크린(190)이 배치된다. 상기 터치스크린(190)은 장치(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도 2에서는, 상기 터치스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 장치(100)의 전원을 켰을 때 상기 터치스크린(190) 상에 표시되는 첫 화면이다. 또한 상기 장치(100)가 여러 페이지의 서로 다른 홈화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(191-4)는 상기 터치스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.
상기 터치스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.
홈 버튼(161a)은 터치스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(161a)이 터치되면, 상기 터치스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 터치스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.
장치(100)의 전면(100a) 가장자리에는 제1영상입력부(151)와 깊이 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 장치(100)의 후면(100c)에는 도 3에 도시된 바와 같이 제2영상입력부(152), 플래시(flash, 153), 깊이 센서(170c), 스피커(163)가 배치될 수 있다. 전면의 깊이 센서(170a)는 사용자의 손, 손동작, 스타일러스 펜 등의 사용자 입력 수단을 촬영한 영상에서 그 영상에 포함된 객체 즉, 사용자 입력 수단에 대한 깊이 정보를 출력한다. 반면, 후면의 깊이 센서(170c)는 전방의 객체들을 촬영한 영상에서 그 객체들 각각에 대한 깊이 정보를 출력한다. 이와 같이 깊이 센서(170a, 170c)들을 이용한다면 영상에 포함된 각 객체에 대한 원근감을 나타내는 깊이값을 획득할 수 있다.
장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160d)과, 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e)과, 방송 수신을 위한 지상파 DMB 안테나(141a)와, 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 장치(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.
또한, 장치(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 장치(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
이하, 본 발명에서 이용되는 깊이 정보에 대해 간략하게 설명하기 위해 도 4를 참조한다. 도 4를 참조하면, 이동 단말(100)의 후면에 장착된 제2영상 입력부(152)를 통해 전방의 실제 공간을 촬영하게 되면, 일반적인 이미지 센서가 장착된 카메라 모듈의 경우 컬러의 촬영 영상(405)을 출력하게 된다. 이때, 깊이 센서를 이용한다면 실제 공간에 위치한 각 객체들과 연관된 깊이 영상을 촬영할 수 있다. 이러한 깊이 센서는 카메라와 같은 제2영상 입력부(152)와 일체로 구현될 수 있으며, 다르게는 별도로 분리된 형태로 구현될 수도 있다. 이러한 깊이 센서는 실제 공간에 위치한 각 객체들까지의 원근감을 나타내는 깊이 영상(410)을 출력하게 된다. 이러한 깊이 영상을 이용한다면 각 객체까지의 깊이 정보를 생성할 수 있다.
도 4에서와 같이 현실 공간(400)에 다수의 물리적 객체가 존재하는 경우 이동 단말(100)은 영상 인식 알고리즘을 통해 촬영 영상(405)에서 그 다수의 물리적 객체를 인식한다. 도 5(a)에서는 영상 인식 처리 과정을 통해 인식된 복수개의 객체들(505, 510, 515)이 표시되는 경우를 예시하고 있다. 이때, 이동 단말(100)은 사용자가 인식된 결과를 볼 수 있도록 인식된 객체들에 대해 표시자를 이용하여 표시할 수 있다. 이때, 복수개의 객체에 대한 인식이 완료되면, 이동 단말(100)은 그 복수개의 객체들 각각에 대한 부가 정보를 검색하여 도 5(b)에 도시된 바와 같이 검색된 부가 정보(520, 525, 530)를 각 객체에 매칭시켜 표시할 수 있다. 도 5(a)에서는 인식된 객체들이 각각 TV(505), 냉장고(510), 에어컨(515)인 경우를 예시하고 있으며, 도 5(b)에서는 TV(505)에 대한 부가 정보(520), 냉장고(510)에 대한 부가 정보(530), 에어컨(515)에 대한 부가 정보(535)가 현실 공간의 영상에 매칭되어 표시되는 경우를 예시하고 있다. 이와 같이 본 발명에 따르면 각 물리적 객체의 위치를 고려하여 증강 현실 정보가 중첩되어 표시될 수 있다.
이때, 도 5(b)에 도시된 바와 같이 사용자의 손가락을 터치스크린 방향(535)을 향하여 움직이게 되면, 복수개의 객체들(505, 510, 515) 중 어느 하나가 선택되게 된다.
도 6은 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 사용자 입력 수단이 근접함에 따라 선택되는 객체가 변경되는 경우를 설명하기 위한 화면예시도이다. 여기서, 복수개의 객체들 예컨대 TV, 에어컨, 냉장고의 순으로 깊이값이 커짐을 가정한다.
먼저, 도 6(a)은 사용자 입력 수단이 터치스크린에 일정 거리 내에 근접하기 전의 상태를 나타내고 있다. 사용자 입력 수단과의 거리가 일정 거리 이상 먼 경우 복수개의 객체들 중 깊이가 가장 얕은 객체(600) 예컨대, TV가 선택되는 경우를 예시하고 있다. 도 6(b)는 사용자 입력 수단이 터치스크린에 근접함에 따라 선택된 객체가 변경되어 표시되는 상태를 나타낸다. 사용자 입력 수단이 터치스크린 방향(610)으로 이동함에 따라 도 6(a)에서의 깊이가 얕은 객체 예컨대, TV에서 그 TV보다 깊이가 깊은 객체(605) 예컨대, 에어컨으로 선택 가능한 객체가 변경되어 표시된다. 이에 따라 사용자 입력 수단이 터치스크린 방향(610)으로 더 이동하게 되면 가장 깊이가 깊은 객체 예컨대, 냉장고가 선택될 것이다.
다음으로, 사용자 입력 수단이 이동함에 따라 선택 가능한 객체가 변경되어 표시되는 상태에서 어느 하나의 객체가 선택된 경우의 동작은 도 7에서와 같다.
도 7은 본 발명의 일실시예에 따라 선택된 객체에 대한 확대 기능을 설명하기 위한 화면예시도이다. 도 7에 도시된 바와 같이 복수개의 객체들(700, 705, 710)이 서로 일부가 겹쳐져 표시되거나 손가락 면적보다 작은 객체(710)의 경우에도 사용자 입력 수단과의 거리에 따라 순차적으로 객체들이 선택되므로, 선택의 용이할 뿐만 아니라 선택의 정확도도 높일 수 있다. 여기서, 일부가 가려진 객체(710)에 대한 영역은 그 객체의 가려지지 않은 부분의 가로/세로 등의 길이를 이용하여 가려진 부분을 추정함으로써 생성되는 가상의 사각형 형태를 가지게 될 것이다. 이러한 경우 객체(710)의 보이는 부분이 작을지라도 사용자 입력 수단을 객체(710)를 향하여 근접시킴에 따라 가상의 사각형 형태 안으로 들어오게 되면 그 객체(710)가 선택될 수 있어, 선택의 정확도가 높아지게 된다.
이와 같이 사용자 입력 수단을 깊이 방향으로 이동함에 따라 제1객체(700)로부터 제2객체, 제3객체(705)가 차례로 선택 가능한 객체로 표시자를 통해 표시되게 된다. 만일 제2객체(710)에 표시자가 위치한 상태에서 사용자가 선택 등의 손동작을 하거나 터치 입력을 하면, 터치 입력에 따라 선택된 제2객체(710)를 확대(715)하여 볼 수 있게 된다. 이외에도 선택된 객체에 대해 축소, 정보 검색 등 선택된 객체에 대해 다양한 사용자 인터페이스를 제공하는 것이 가능하다. 예를 들어, 복수개의 객체들 중 선택된 객체에 대한 제어 명령을 전송함으로써 TV를 온/오프하는 등의 제어도 가능할 것이다. 한편 도 7에서는 실내에서의 겹쳐진 객체들 중 어느 하나를 선택하는 경우를 예로 들어 설명하였으나, 실외에서 건물 등에 대한 증강 현실 서비스를 제공하는 경우 사용자 입력 수단을 깊이 방향으로 이동시켜 객체를 선택하는 방식은 가려진 건물들 중 어느 하나의 건물을 선택하는 경우에도 적용될 수 있다.
도 8은 본 발명의 실시예에 따른 이동 단말에서의 동작 흐름도이다.
도 8을 참조하면, 이동 단말(100)은 800단계에서 전방을 촬영한 제1영상을 수신하면 805단계에서 제1영상 내의 복수개의 객체들을 인식하여 표시한다. 또한 810단계에서 후방의 사용자 입력 수단을 촬영한 제2영상을 수신하면 815단계에서 제2영상을 근거로 사용자 입력 수단과의 거리를 측정한다. 다음으로, 820단계에서 상기 복수개의 객체들 중 상기 측정된 거리에 대응하는 객체가 선택되었음을 표시한다. 이어, 825단계에서 측정된 거리가 변경되는지를 판단한다. 측정된 거리가 변경되지 않으면 810단계로 되돌아가 사용자 입력 수단에 대한 촬영을 계속 수행한다. 만일 측정된 거리가 변경되는 경우 830단계에서 변경된 거리에 따라 선택 가능한 객체를 변경하여 표시한다. 만일 표시자가 위치한 객체에 대한 선택이 없으면 810단계로 되돌아간다. 반면, 835단계에서 표시자가 위치한 객체에 대한 선택이 있으면 840단계에서 터치 입력에 따라 선택된 객체에 대한 줌인/줌아웃을 수행한다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 사용자 인터페이스 제어 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 사용자 인터페이스 제어 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 사용자 인터페이스 제어 장치가 영상에서 객체를 선택하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 영상에서 객체를 선택하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 사용자 인터페이스 제어 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 사용자 인터페이스 제어 장치의 요청 또는 자동으로 해당 프로그램을 상기 사용자 인터페이스 제어 장치로 전송하는 제어부를 포함할 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    제1 센서;
    제2 센서;
    상기 제2 센서에 인접하게 배치되는 카메라;
    터치 스크린; 및
    상기 제1 센서를 통해, 사용자 입력에 대한 제1 깊이 정보를 획득하고,
    상기 제2 센서를 통해, 서로가 부분적으로 중첩된 복수의 객체들의 제2 깊이 정보를 획득하고,
    상기 부분적으로 중첩된 복수의 객체들을 촬영한 영상을 획득하도록 상기 카메라를 제어하고,
    상기 부분적으로 중첩된 복수의 객체들이 촬영된 영상이 표시되도록 상기 터치 스크린을 제어하고,
    상기 제2 깊이 정보에 기반하여, 상기 부분적으로 중첩된 복수의 객체들 중 상기 제1 깊이 정보에 대응하는 깊이 정보를 갖는 객체를 확인하고,
    상기 확인된 객체의 표시가 변경되어 표시되도록 제어하는 제어부;를 포함하는 전자 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제1 깊이 정보에 기반하여, 상기 복수의 객체들 중 상기 제2 깊이 정보가 나타내는 값이 작은 객체부터 큰 객체의 순서로 변경하여 표시하도록 제어하는, 전자 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 제어부는,
    상기 제1 깊이 정보에 기반하여 상기 사용자 입력과 상기 터치 스크린과의 거리를 측정하는 전자 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 확인된 객체에 대한 테두리를 표시하거나, 상기 테두리의 색을 변경하거나 또는 상기 확인된 객체를 확대 또는 축소시켜 표시하여, 상기 확인된 객체의 표시를 변경하도록 제어하는 전자 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 터치 스크린 상의 터치 입력에 기반하여, 상기 확인된 객체가 확대 또는 축소되어 표시되도록 상기 터치 스크린을 제어하는 전자 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 객체들 각각에 대응하는 정보가 상기 촬영된 영상에서 상기 복수의 객체들 각각에 대응하여 표시되도록 상기 터치 스크린을 제어하는 전자 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법에 있어서,
    사용자 입력에 대한 제1 깊이 정보 및 서로가 부분적으로 중첩된 복수의 객체들의 제2 깊이 정보를 획득하는 동작;
    상기 부분적으로 중첩된 복수의 객체들을 촬영한 영상을 획득하는 동작;
    상기 부분적으로 중첩된 복수의 객체들이 촬영된 영상을 표시하는 동작;
    상기 제2 깊이 정보에 기반하여, 상기 부분적으로 중첩된 복수의 객체들 중 상기 제1 깊이 정보에 대응하는 깊이 정보를 갖는 객체를 확인하는 동작; 및
    상기 확인된 객체의 표시를 변경하여 표시하는 동작;을 포함하는, 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 제1 깊이 정보에 기반하여, 상기 사용자 입력과 상기 전자 장치와의 거리를 측정하는 동작;을 더 포함하는, 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
  16. 제13항에 있어서,
    상기 제1 깊이 정보에 기반하여, 상기 복수의 객체들 중 상기 제2 깊이 정보가 나타내는 값이 작은 객체부터 큰 객체의 순서로 변경하여 표시하는 동작;을 더 포함하는, 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
  17. 삭제
  18. 제13항에 있어서,
    상기 확인된 객체를 변경하여 표시하는 동작;은,
    상기 확인된 객체에 대한 테두리를 표시하는 동작, 상기 테두리의 색을 변경하는 동작, 또는 상기 확인된 객체를 확대 또는 축소시켜 표시하는 동작 중 적어도 하나를 포함하는, 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
  19. 제13항에 있어서,
    상기 복수의 객체들 각각에 대응하는 정보를 상기 촬영된 영상에서 상기 복수의 객체들 각각에 대응하여 표시하는 동작;을 더 포함하는, 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
  20. 제13항에 있어서,
    상기 전자 장치의 터치 스크린을 통해 입력된 터치 입력에 기반하여, 상기 확인된 객체를 확대 또는 축소하여 표시하는 동작;을 더 포함하는. 전자 장치에서 영상에 포함된 객체를 확인하기 위한 방법.
KR1020120109435A 2012-09-28 2012-09-28 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치 Active KR102051418B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120109435A KR102051418B1 (ko) 2012-09-28 2012-09-28 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US14/041,888 US10101874B2 (en) 2012-09-28 2013-09-30 Apparatus and method for controlling user interface to select object within image and image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109435A KR102051418B1 (ko) 2012-09-28 2012-09-28 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154062A Division KR102160954B1 (ko) 2019-11-27 2019-11-27 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Publications (2)

Publication Number Publication Date
KR20140042544A KR20140042544A (ko) 2014-04-07
KR102051418B1 true KR102051418B1 (ko) 2019-12-03

Family

ID=50386528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109435A Active KR102051418B1 (ko) 2012-09-28 2012-09-28 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Country Status (2)

Country Link
US (1) US10101874B2 (ko)
KR (1) KR102051418B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135958A (ko) * 2019-11-27 2019-12-09 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015142023A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
WO2016180927A1 (en) * 2015-05-13 2016-11-17 Lumigon A/S Wireless communications device
IL239524A0 (en) * 2015-06-18 2015-11-30 Eran Jedwab System and method for deploying sensor-based surveillance systems
KR102402048B1 (ko) 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
AU2015275252A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Systems and method to modify display of augmented reality content
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170351336A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight based gesture control devices, systems and methods
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106648290B (zh) * 2016-09-23 2020-03-24 浙江慧脑信息科技有限公司 一种三维场景和对象展示控制方法
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
CN106851052B (zh) * 2017-01-16 2020-05-26 联想(北京)有限公司 一种控制方法及电子设备
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
JP7277187B2 (ja) * 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
EP3991067B1 (en) 2019-06-26 2025-02-26 Google LLC Radar-based authentication status feedback
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
KR102828469B1 (ko) 2019-08-30 2025-07-03 구글 엘엘씨 모바일 디바이스에 대한 입력 방법
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN113892072B (zh) 2019-08-30 2024-08-09 谷歌有限责任公司 启用用于暂停的雷达姿势的视觉指示器的方法和电子设备
KR102416386B1 (ko) 2019-08-30 2022-07-05 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
US11908088B2 (en) * 2021-06-09 2024-02-20 Red Hat, Inc. Controlling virtual resources from within an augmented reality environment
KR102360172B1 (ko) * 2021-06-25 2022-02-08 배원석 사용자와 3d 객체 간 인터랙션을 제어하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093778A1 (en) 2009-10-20 2011-04-21 Lg Electronics Inc. Mobile terminal and controlling method thereof

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
KR101151300B1 (ko) * 2009-09-14 2012-06-08 에스케이플래닛 주식회사 터치기구의 접근 인지를 이용한 휴대단말 및 그의 객체 표시 방법
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
KR101694154B1 (ko) * 2010-06-29 2017-01-09 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101317401B1 (ko) * 2010-08-25 2013-10-10 주식회사 팬택 객체 저장이 가능한 단말 장치 및 방법
KR101815020B1 (ko) 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
US20120075433A1 (en) * 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US8994646B2 (en) * 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US8421752B2 (en) * 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2013016018A (ja) * 2011-07-04 2013-01-24 Canon Inc 表示制御装置、制御方法及びプログラム
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US8681179B2 (en) * 2011-12-20 2014-03-25 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality
US20130265276A1 (en) * 2012-04-09 2013-10-10 Amazon Technologies, Inc. Multiple touch sensing modes
US20130303247A1 (en) * 2012-05-08 2013-11-14 Mediatek Inc. Interaction display system and method thereof
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
US9377866B1 (en) * 2013-08-14 2016-06-28 Amazon Technologies, Inc. Depth-based position mapping
KR102197964B1 (ko) * 2014-01-29 2021-01-04 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093778A1 (en) 2009-10-20 2011-04-21 Lg Electronics Inc. Mobile terminal and controlling method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135958A (ko) * 2019-11-27 2019-12-09 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Also Published As

Publication number Publication date
US20140096084A1 (en) 2014-04-03
KR20140042544A (ko) 2014-04-07
US10101874B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US11061480B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
KR102028952B1 (ko) 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
KR102158098B1 (ko) 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
KR102097452B1 (ko) 프로젝터를 포함하는 전자 장치 및 그 제어 방법
US20160048209A1 (en) Method and apparatus for controlling vibration
AU2019246927A1 (en) Electronic device for providing hovering input effects and method for controlling the same
EP4425314A2 (en) Method and apparatus for providing a changed shortcut icon corresponding to a status thereof
KR101815720B1 (ko) 진동 제어 방법 및 장치
KR102145577B1 (ko) 사용자 인터페이스 표시 방법 및 장치
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
US20140281962A1 (en) Mobile device of executing action in display unchecking mode and method of controlling the same
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
KR102022050B1 (ko) 패럴랙스 스크롤 기능을 가지는 모바일 장치 및 그 제어 방법
KR102118091B1 (ko) 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
KR102123406B1 (ko) 멀티 터치 입력을 지원하는 터치스크린을 구비한 모바일 단말기 및 그의 제어 방법
KR20140110646A (ko) 사용자 단말 및 사용자 단말에서 화면 표시 방법
KR102146832B1 (ko) 스타일러스 펜의 입력 지점을 측정하는 전자 장치 및 그 제어 방법
KR102160954B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR20150026110A (ko) 아이콘들을 관리하는 방법 및 이를 위한 모바일 단말기
KR102482630B1 (ko) 사용자 인터페이스 표시 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7