[go: up one dir, main page]

KR101815020B1 - 인터페이스 제어 장치 및 방법 - Google Patents

인터페이스 제어 장치 및 방법 Download PDF

Info

Publication number
KR101815020B1
KR101815020B1 KR1020110046174A KR20110046174A KR101815020B1 KR 101815020 B1 KR101815020 B1 KR 101815020B1 KR 1020110046174 A KR1020110046174 A KR 1020110046174A KR 20110046174 A KR20110046174 A KR 20110046174A KR 101815020 B1 KR101815020 B1 KR 101815020B1
Authority
KR
South Korea
Prior art keywords
dimensional
information
interaction
user
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110046174A
Other languages
English (en)
Other versions
KR20120020045A (ko
Inventor
유병인
최창규
한재준
박두식
류희섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/212,838 priority Critical patent/US9141189B2/en
Publication of KR20120020045A publication Critical patent/KR20120020045A/ko
Priority to US14/842,448 priority patent/US9710068B2/en
Application granted granted Critical
Publication of KR101815020B1 publication Critical patent/KR101815020B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인터페이스 제어 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 마우스, 키보드 등의 별도의 장치를 이용하지 않고, 사용자의 손의 동작 및 시선에 대한 정보를 이용하여 UI 객체를 제어함으로써, 직관적이고 몰입감과 일체감이 높은 UI 제어 방법을 제공할 수 있다. 또한, 사용자의 손의 동작을 센싱하는 관심 영역을 연산하고, 관심 영역 안에서의 사용자의 손의 동작에 기반하여 UI 객체를 제어함으로써, 사용자와 센서 사이의 거리에 상관 없이 사용자는 동일한 방법 및 감각으로 UI 객체를 제어할 수 있다. 또한, 사용자의 시선의 위치 및 방향에 기반하여 뷰포인트의 위치 및 방향을 조정함으로써, 운동 시차에 기반한 양안 입체 영상을 제공할 수 있다.

Description

인터페이스 제어 장치 및 방법{Apparatus and Method for Controlling Interface}
본 발명의 실시예들은 인터페이스 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 장치 및 방법에 관한 것이다.
최근 인간과 컴퓨터 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스 기술인 키보드나 마우스를 대체해 보다 자연스러운 컴퓨팅 환경을 제공할 수 있는 상호적인 디스플레이(Interactive Display) 등의 분야가 급성장하고 있다.
종래의 상호적인 디스플레이(Interactive Display)는 일반적으로 디스플레이 표면에서 멀티 터치 및 근접 터치(Hovering)를 통한 UI를 조작하는 방법을 제공한다. 마우스나 키보드가 시선과 조작 공간이 불일치 하는 간접적인 상호작용(Indirect Interaction)인데 반해, 멀티터치 및 근접 터치(Hovering)는 조작 대상을 바라보는 시선과 조작 공간이 일치하는 직접적인 상호작용(Direct interaction)을 제공함으로써, 더 자연스러운 조작을 가능하게 한다. 하지만 멀티터치의 경우 디스플레이 표면에서만 조작이 가능한 2차원 상호작용 방법이고, 따라서 UI 등의 조작 대상이 3차원인 경우에도 실제 물체를 조작하는 듯한 직관적인 조작이 불가능하다. 근접 터치의 경우 손의 정보만을 이용해 몰입감 및 일체감 있는 객체의 조작을 제공하지 못한다.
한편, 최근 3D 영상을 제공 하는 디스플레이 장치가 범용화 되고 있다. 인간이 입체를 느끼는 방식은 크게 좌/우 양안에 각각 영상을 입력을 제공해주는 입체(Stereoscopic) 방식과, 인간의 시점에 따라 물체의 원근 및 좌/우 상 이동양이 달라지는 운동 시차(Motion Parallax) 방식이 있다. 이러한 3D 영상의 제공에 대한 수요는 계속하여 증가하고 있는 추세이다.
본 명세서에서는 더욱 몰입감 및 일체감을 제공할 수 있는 3D UI 및 3D UI를 제어하는 새로운 장치 및 방법에 대해서 제안한다.
본 발명의 일실시예에 따른 인터페이스 제어 장치는 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신하는 수신부, 상기 영상 정보에 기반하여, 상기 사용자의 손의 동작에 대한 모션(Motion) 정보 및 상기 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성하는 처리부 및 상기 적어도 하나의 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)를 제어하는 제어부를 포함한다.
본 발명의 일실시예에 따른 인터페이스 제어 방법은 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신하는 단계, 상기 영상 정보에 기반하여 상기 사용자의 손의 동작에 대한 모션(Motion) 정보 및 상기 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성하는 단계 및 상기 적어도 하나의 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)를 제어하는 단계를 포함한다.
마우스, 키보드 등의 별도의 장치를 이용하지 않고, 사용자의 손의 동작 및 시선에 대한 정보를 이용하여 운동시차 및 양안입체 영상에 기반한 2D/3D UI 객체를 제어함으로써, 직관적이고 몰입감과 일체감이 높은 UI 제어 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 인터페이스 제어 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 인터페이스 제어 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 관심 영역을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 영상을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 제어 시작 인터액션 및 제어 종료 인터액션을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 인터액션을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 고정 인터액션을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 인터액션에 대한 도면이다.
도 9는 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 고정 인터액션을 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 조작 영역을 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부의 구성을 나타내는 도면이다.
도 12는 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스를 나타내는 도면이다.
도 13은 본 발명의 일실시예에 따른 인터페이스 제어 장치가 사용자의 위치에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 동작을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 인터페이스 제어 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 인터페이스 제어 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 시스템은 인터페이스 제어 장치(100), 센서(110) 및 디스플레이 장치(140)를 포함한다.
센서(Sensor)(110)는 사용자(120)와 연관된 영상(Image)을 센싱(Sensing)한다. 일실시예에 따른 센서(110)는 카메라(Camera)로 구현될 수 있다. 센서(110)는 센서(110)로부터 사용자(120)까지의 거리에 대한 깊이 영상(Depth Image)을 촬영하고, 촬영된 깊이 영상을 포함하는 영상 정보를 인터페이스 제어 장치(100)로 전송할 수 있다.
실시예에 따라서는, 센서(110)는 사용자(10)와 연관된 색상 영상(Color Image) 및 IR 영상을 더 촬영하고, 촬영된 색상 영상 및 IR 영상을 더 포함하는 영상 정보를 인터페이스 제어 장치(100)로 전송할 수 있다.
인터페이스 제어 장치(100)는 센서(110)로부터 사용자(120)와 연관된 영상 정보를 수신한다. 또한, 인터페이스 제어 장치(100)는 수신한 영상 정보에 기반하여, 사용자(120)의 손(122)의 동작에 대한 모션(Motion) 정보를 생성할 수 있다.
일실시예에 따른 모션 정보는 사용자(120)의 손(122)의 이동 경로(예를 들어, 위로 이동하는지, 아래로 이동하는지 등), 손(122)의 자세(Posture)(예를 들어, 손바닥을 펼친 상태인지, 주먹을 쥔 상태인지 등) 및 손(122)의 개수(즉, 한손을 이용하는지, 양손을 모두 이용하는지에 대한 정보) 중 적어도 하나에 대한 정보를 포함할 수 있다.
실시예에 따라서는, 인터페이스 제어 장치(100)는 수신한 영상 정보에 기반하여, 사용자(120)의 시선(121)에 대한 시선 정보를 생성할 수 있다.
일실시예에 따른 시선 정보는 사용자(120)의 시선(121)의 방향, 시선(121)이 닿는 곳의 위치 및 사용자(120)의 머리의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.
인터페이스 제어 장치(100)는 모션 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(2-Dimension or 3-Dimension Graphical User Interface, 2D/3D GUI)(130)를 제어한다. 2차원 또는 3차원 그래픽 사용자 인터페이스(130)은 적어도 하나의 UI 객체(UI Object)(131, 132, 133)를 표시할 수 있다.
실시예에 따라서는, 모션 정보에 따른 사용자(120)의 손(122)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(130) 중 웹브라우저 UI 객체(131)의 위치에 대응하고, 손(122)의 동작이 웹브라우저 UI 객체(131)를 드래그(Drag)하는 동작(즉, 드래그 인터액션(Drag Interaction))에 대응하는 경우, 인터페이스 제어 장치(100)는 웹브라우저 UI 객체(131)가 손(122)의 이동 방향으로 드래그되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 제어할 수 있다.
일실시예에 따른 인터페이스 제어 장치(100)는 영상 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 생성할 수 있다. 또한, 인터페이스 제어 장치(100)는 생성된 2차원 또는 3차원 그래픽 사용자 인터페이스(130)를 디스플레이 장치(140)로 출력할 수 있다.
일실시예에 따른 디스플레이 장치(140)는 3차원 프로젝터(3D Projector), 3차원 TV(3D TV) 등을 포함할 수 있다. 일실시예에 따른 디스플레이 장치(140)는 Dual FHD, Side by Side, Up and Down, Horizontal Interlace, Vertical Interlace 등의 3D 영상 전달 포맷을 입력으로 하여 입체 영상을 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 인터페이스 제어 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치(200)는 수신부(201), 처리부(202) 및 제어부(203)를 포함한다.
수신부(201)는 센서(210)로부터 사용자(220)와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신한다.
처리부(202)는 영상 정보에 기반하여 사용자(220)의 손(222)의 동작에 대한 모션 정보 및 사용자(220)의 시선(221)에 대한 시선 정보 중 적어도 하나의 정보를 생성한다.
일실시예에 따른 처리부(202)는 수신된 영상 정보를 분석하여, 사용자(220)의 손(222)의 동작을 인지하고, 손(222)의 동작에 대한 모션 정보를 생성할 수 있다.
실시예에 따라서는, 처리부(202)는 민 쉬프트(The Mean Shift)를 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 위치에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 레벨 세트(Level Set) 별로 색 모메트(Hue Moment)를 특징(Feature)으로 사용한 아다부스트(Adaboost) 기반의 형태 매칭(Shape Matching)을 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 자세에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 MSE(Mean Square Error)를 이용하여, 영상 정보로부터 사용자(220)의 손(222)의 이동 경로에 대한 정보를 추출할 수 있다.
본 발명의 일측에 따르면, 처리부(202)는 수신된 영상 정보에 기반하여 관심 영역(Region of Interest, ROI)(250)을 연산할 수 있다. 또한, 처리부(202)는 연산된 관심 영역(250) 안에서의 사용자(220)의 손(222)의 동작에 대한 모션 정보를 생성할 수 있다.
일실시예에 따른 처리부(202)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)에 대한 제어가 시작되면, 사용자(220)의 손(222)의 위치에 관심 영역(250)을 생성할 수 있다.
관심 영역(250)은, 사용자(220)의 위치에 상관 없이 동일한 관심 영역의 제공이 필요한 경우, 사용자(220)의 손(222)의 동작에 대한 모션 정보를 생성하기 위한 센서(210)로부터 수신된 영상의 일부 영역을 나타낸다. 실시예에 따라서는, 처리부(202)는 관심 영역(250) 밖에서 이루어지는 손(222)의 동작에 대해서는 모션 정보를 생성하지 않을 수 있다. 이하 도 3을 참조하여, 관심 영역에 대해서 상세히 설명한다.
도 3은 본 발명의 일실시예에 따른 관심 영역을 나타내는 도면이다.
도 3을 참조하면, 제1 케이스(310)는 사용자의 손(312)이 관심 영역(311) 안에서 이동하는 경우를 나타내고, 제2 케이스(320)는 사용자의 손(322)이 관심 영역(321) 밖에서 이동하는 경우를 나타낸다.
제1 케이스(310)의 경우, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 손(312)의 동작에 대한 모션 정보를 생성할 수 있다. 예를 들어, 인터페이스 제어 장치는 영상 정보를 분석하여 사용자의 손(312)이 좌에서 우로 이동하는 동작임을 인지하고, 손(312)이 좌에서 우로 이동하는 동작에 대한 모션 정보를 생성할 수 있다.
제2 케이스(320)의 경우, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 손(322)의 동작에 대한 모션 정보를 생성하지 않을 수 있다. 즉, 일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석하여 사용자의 손(322)이 관심 영역(321) 밖에서 이동하는 것으로 인지되는 경우, 손(322)의 동작에 대한 모션 정보를 생성하지 않을 수 있다. 이 경우, 모션 정보가 생성되지 않기 때문에, 2차원 또는 3차원 그래픽 사용자 인터페이스에 대한 제어가 발생하지 않는다.
다시 도 2를 참조하면, 일실시예에 따른 처리부(202)는 관심 영역(250)의 너비(ROIwidth)(251) 및 높이(ROIheight)(252)를 연산함으로써, 관심 영역(250)을 연산할 수 있다.
처리부(202)는 하기 수식 1을 이용하여, 관심 영역(250)의 너비(251)를 연산할 수 있다. 또한, 처리부(202)는 하기 수식 2를 이용하여, 관심 영역(250)의 높이(252)를 연산할 수 있다.
[수식 1]
Figure 112011036435265-pat00001
[수식 2]
Figure 112011036435265-pat00002
단, ROIwidth(pixel) : 관심 영역(250)의 너비(251)
Dcur : 센서(110) 및 사용자(120) 사이의 거리에 대한 센티미터(centimeter) 값(Dcur is the distance in centimeter between camera and the user)
Imagewidth 및 Imageheight : 깊이 영상의 높이 및 너비(Imagewidth and Imageheight are the width and the height of the depth image in pixel)
FoVwidth 및 FoVwidth : 깊이 카메라의 렌즈로 인한 시야의 높이 및 너비(FoVwidth and FoVheight are the width and the height of the field of view due to the lens of the depth camera)
Kwidth : 공기 중의 관심 영역(250) 창의 평균 너비(Kwidth is the average width of ROI window in the air)
Kheight : 공기 중의 관심 영역(250) 창의 평균 높이(Kheight is the average height of ROI window in the air)
본 발명의 일측에 따르면, 처리부(202)는 깊이 영상의 현재 프래임(Frame) 및 적어도 하나의 이전 프래임 간의 깊이 차이값을 연산하고, 연산된 깊이 차이값에 기반하여 모션 정보를 생성할 수 있다. 이하 도 4를 참조하여 깊이 영상을 이용하여 모션 정보를 생성하는 동작에 대해서 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 깊이 영상을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 깊이 영상은 복수 개의 프래임(411, 412, 413, 414)를 포함할 수 있다. 현재 프래임(411)은 현재 시간 t에서의 깊이 영상을 나타내고, 적어도 하나의 이전 프래임(412, 413, 414)는 현재 시간 t 이전 시간에서의 깊이 영상을 나타낸다.
일실시예에 따른 인터페이스 제어 장치는 현재 프래임(411) 및 적어도 하나의 이전 프래임(412, 413, 414) 간의 깊이 차이값을 연산할 수 있다. 예를 들어, 인터페이스 제어 장치는 현재 프래임(411) 및 이전 프래임(412) 간의 제1 깊이 차이값을 연산하고, 현재 프래임(411) 및 이전 프래임(413) 간의 제2 깊이 차이값을 연산하며, 현재 프래임(411) 및 이전 프래임(414) 간의 제3 깊이 차이값을 연산할 수 있다.
인터페이스 제어 장치는 연산된 깊이 차이값에서 깊이값의 차이가 기준값을 초과하는 픽셀(Pixel)들의 영역을 추출할 수 있다. 예를 들어, 제1 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제1 영역을 추출하고, 제2 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제2 영역을 추출하며, 제3 깊이 차이값에서 깊이 차이값이 기준값을 초과하는 픽셀들에 대한 제3 영역을 추출할 수 있다.
인터페이스 제어 장치는 기준값을 초과하는 픽셀들에 대한 영역들이 복수 개인 경우, 복수 개의 영역들 중 교집합을 이루는 픽셀들(431)을 추출할 수 있다. 예를 들어, 인터페이스 제어 장치는 제1 영역, 제2 영역 및 제3 영역 모두에 포함되는 픽셀들을 추출할 수 있다.
인터페이스 제어 장치는 교집합을 이루는 픽셀들을 분석하여, 모션 정보를 생성할 수 있다. 실시예에 따라서는, 인터페이스 제어 장치는 영상의 영상비(Aspect Ratio), 영상의 사이즈(Size) 및 모멘트 벡터(Moment Vector)의 방향 중 적어도 하나를 더 고려하여, 모션 정보를 생성할 수 있다. 예를 들어, 추출된 제1 영역, 제2 영역 및 제3 영역 모두에 포함되는 픽셀들을 분석한 결과, 깊이값이 감소하고 있는 경우, 깊이값이 감소하는 것은 센서와 사용자 사이의 거리가 작아지는 것을 의미하므로, 인터페이스 제어 장치는 사용자가 손을 앞으로 내미는 동작을 인식하고, 손을 앞으로 내미는 동작에 대한 모션 정보를 생성할 수 있다.
다시 도 2를 참조하면, 제어부(203)는 생성된 적어도 하나의 정보(모션 정보 또는 시선 정보)에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어한다.
2차원 또는 3차원 그래픽 사용자 인터페이스(230)은 적어도 하나의 UI 객체(UI Object)(231, 232, 233)를 표시할 수 있다.
실시예에 따라서는, 모션 정보에 따른 사용자(220)의 손(222)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 동영상 재생 UI 객체(232)의 위치에 대응하고, 손(222)의 동작이 동영상 재생 UI 객체(232)를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 제어부(203)는 동영상 재생 UI 객체(232)가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
본 발명의 일측에 따르면, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 시작을 신호하는 제어 시작 인터액션 및 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 종료를 신호하는 제어 종료 인터액션에 대응하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 시작 또는 종료할 수 있다.
즉, 제어부(203)는 모션 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 시작할 수 있다. 또한, 제어부(203)는 모션 정보가 제어 종료 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어를 종료할 수 있다.
이하 도 5를 참조하여, 제어 시작 인터액션 및 제어 종료 인터액션에 대해서 상세히 설명한다.
도 5는 본 발명의 일실시예에 따른 제어 시작 인터액션 및 제어 종료 인터액션을 나타내는 도면이다.
도 5를 참조하면, 표(500)는 제어 시작 인터액션(510) 및 제어 종료 인터액션(520)을 나타낸다.
일실시예에 따른 제어 시작 인터액션(510)은 사용자가 손을 들어올리는 동작(511) 및 사용자가 손을 미는 동작(512) 중 적어도 하나를 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 들어올리는 동작(511)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 들어올리는 동작(511)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 제어 시작 인터액션(510)에 대응하므로, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다. 실시예에 따라서는, 모션 정보가 제어 시작 인터액션(510)에 대응하는 경우, 인터페이스 제어 장치는 관심 영역을 사용자의 손의 위치에 생성하고, 관심 영역 안에서의 사용자의 손의 동작에 대한 모션 정보에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다.
일실시예에 따른 제어 종료 인터페이스(520)은 사용자가 손을 내리는 동작(521)을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 내리는 동작(521)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 내리는 동작(521)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 제어 종료 인터액션(520)에 대응하므로, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료할 수 있다.
다시 도 2를 참조하면, 일실시예에 따른 인터페이스 제어 장치(200)는 데이터베이스(미도시)를 더 포함할 수 있다.
데이터베이스는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어하는 복수 개의 인터액션을 저장할 수 있다.
본 발명의 일측에 따르면, 제어부(203)는 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 있는 경우, 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
또한, 제어부(203)는 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 없는 경우, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 컨트롤 포인트(Control Point)의 이동을 제어할 수 있다.
이하 도 6을 참조하여, 본 발명의 일실시예에 따른 인터액션에 대해서 상세히 설명한다.
도 6은 본 발명의 일실시예에 따른 인터액션을 나타내는 도면이다.
도 6을 참조하면, 표(600)는 복수 개의 인터액션(610, 620, 630, 640, 650, 660)을 나타낸다.
본 발명의 일측에 따르면, 복수 개의 인터액션은 실행 인터액션(610), 취소 인터액션(620), 드래그&드롭(Drag&Drop) 인터액션(630), 스크롤링(Scrolling) 인터액션(640), 회전(Rotation) 인터액션(650) 및 스케일링(Scaling) 인터액션(660) 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 실행 인터액션(610)은 사용자의 손이 소정의 시간(t second) 동안 정지해 있는 동작(611) 및 사용자가 손을 썸스-업(Thumbs-Up) 자세로 하는 동작(612) 중 적어도 하나를 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 소정의 시간 동안 정지해 있는 동작(611)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 소정의 시간 동안 정지해 있는 동작(611)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 실행 인터액션(610)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 실행되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
또 다른 예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 썸즈-업 자세로 하는 동작(612)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 썸즈-업 자세로 하는 동작(612)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 실행 인터액션(610)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 실행되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 취소 인터액션(620)은 사용자가 손을 썸즈-다운(Thumbs-Down) 자세로 하는 동작(621)을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 썸즈-다운 자세로 하는 동작(621)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 썸즈-다운 자세로 하는 동작(621)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 취소 인터액션(620)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체에 대한 작업이 취소되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 드래그&드롭 인터액션(630)은 사용자가 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 손으로 주먹을 쥐고(632), 주먹을 쥔 채로 이동하며, 주먹을 펴는(633) 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 드래그&드롭 인터액션(630)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(631)가 주먹이 펴지는 곳으로 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 스크롤링 인터액션(640)은 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)이 인지되는 경우, 인터페이스 제어 장치는 사용자가 손을 기준값을 초과하는 속도로 이동하는 동작(641)에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스크롤링 인터액션(640)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체가 손이 이동하는 방향으로 스크롤링 되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 회전 인터액션(650)은 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 양손을 주먹을 쥐고(652) 회전하는(653) 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 회전 인터액션(650)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(651)가 주먹을 쥐고(652) 회전하는(653) 각도만큼 회전되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 스케일링 인터액션(660)은 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작을 포함할 수 있다. 또한, 일실시예에 따른 스케일링 인터액션(660)은 사용자가 양손을 주먹을 쥐고(662) 서로 같은쪽으로 좁히는 일련의 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작 또는 양손을 주먹을 쥐고(662) 서로 같은 쪽으로 좁히는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 양손을 주먹을 쥐고(662) 서로 반대쪽으로 벌리는(663) 일련의 동작 또는 양손을 주먹을 쥐고(662) 서로 같은 쪽으로 좁히는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스케일링 인터액션(660)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 손이 위치하는 곳에 대응하는 UI 객체(661)가 주먹을 쥐고(662) 벌어지는(663) 거리 또는 좁혀지는 거리만큼 크기 변환(확대 또는 축소)되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
상술한 복수 개의 인터액션(실행 인터액션(610), 취소 인터액션(620), 드래그&드롭(Drag&Drop) 인터액션(630), 스크롤링(Scrolling) 인터액션(640), 회전(Rotation) 인터액션(650) 및 스케일링(Scaling) 인터액션(660))은 본 발명의 일실시예에 해당하며, 본 발명이 이에 제한되지 않는다.
다시 도 2를 참조하면, 일실시예에 따른 제어부(203)는 모션 정보가 정밀(High Precision) 인터액션에 대응하는 경우, 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
일실시예에 따른 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)의 제어 범위를 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 전체가 아닌 소정의 영역으로 한정할 수 있는데, 이 때, 조작 영역은 제어 범위가 한정되는 소정의 영역을 나타낸다.
실시예에 따라서는, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 조작 영역을 제외한 나머지 부분을 어둡게 표시하는 형태로 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역을 소정의 크기로 확대하여 표시할 수 있다.
본 발명의 일측에 따르면, 정밀 인터액션은 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 처리부(202)는 사용자(220)가 양손을 사용자(220)의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다. 즉, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스 중 양손 중 기준값을 초과하는 시간 동안 정지하여 있는 손의 위치에 대응하는 영역이 조정 영역으로 표시되고, 양손 중 나머지 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
이하 도 7을 참조하여, 정밀 인터액션에 대해서 상세히 설명한다.
도 7은 본 발명의 일실시예에 따른 고정 인터액션을 나타내는 도면이다.
도 7을 참조하면, 정밀 인터액션에 대응하는 모션 정보가 인지되기 전의 상태(700)에서 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(710)에 포함되는 적어도 하나의 UI 객체(711, 712, 713)를 디스플레이 화면에 표시할 수 있다.
일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석한 결과, 사용자가 사용자의 앞으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 사용자의 앞으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 장치는 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(710)를 제어할 수 있다.
실시예에 따라서는, 인터페이스 제어 장치는 사용자의 손의 위치에 관심 영역(720)을 연산하여 생성할 수 있다. 이 때, 정밀 인터액션은 사용자가 관심 영역(720) 안으로 양손을 이동시키고, 양손(731, 732) 중 어느 하나의 손(731)을 기준값을 초과하는 시간 동안 정지시키는 동작일 수 있다.
정밀 인터액션에 대응하는 모션 정보가 인지된 후의 상태(750)를 참조하면, 인터페이스 제어 장치는 양손(781, 782) 중 정지되어 있는 손(781)의 위치에 대응하여 조작 영역(761)을 표시할 수 있다.
실시예에 따라서는, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(760) 중 조작 영역(761) 외의 영역을 어둡게 표시할 수 있다. 예를 들어, 조작 영역(761) 외의 영역에 있는 UI 객체(762, 763)는 어둡게 표시될 수 있다.
또한, 인터페이스 제어 장치는 조작 영역(761)이 표시되면, 양손 중 나머지 손(782)의 이동에 대응하여 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(760)를 제어할 수 있다.
실시예에 따라서는, 인터페이스 제어 장치는 관심 영역(770) 안의 양손(781, 782) 중 정지되어 있는 손(781)의 위치에 대응하여 조작 영역(761)을 표시할 수 있다.
다시 도 2를 참조하면, 본 발명의 일측에 따른 처리부(202)는 영상 정보에 기반하여 사용자(220)의 시선(221)에 대한 시선 정보를 생성할 수 있다.
실시예에 따라서는, 처리부(202)는 영상 정보로부터 사용자(220)의 머리의 위치에 대한 정보 및 사용자(220)의 머리의 회전에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 머리의 위치에 대한 정보 및 머리의 회전에 대한 정보에 기반하여 시선 정보를 생성할 수 있다.
실시예에 따라서는, 처리부(202)는 MCT(Modified Census Transform) 기반의 아다부스트 방법(Adaboost Method)을 이용하여, 영상 정보로부터 사용자(220)의 머리의 위치에 대한 정보를 추출할 수 있다. 또한, 처리부(202)는 ASM(Active Shape Model)을 이용하여, 영상 정보로부터 사용자(220)의 머리의 회전에 대한 정보를 추출할 수 있다.
이 때, 일실시예에 따른 제어부(203)는 사용자(220)의 손(222)에 대한 모션 정보 및 사용자(220)의 시선(221)에 대한 시선 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
실시예에 따라서는, 시선 정보에 따른 사용자(220)의 시선(221)의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 동영상 재생 UI 객체(232)의 위치에 대응하고, 손(222)의 동작이 동영상 재생 UI 객체(232)를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 제어부(203)는 동영상 재생 UI 객체(232)가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
일실시예에 따른 데이터베이스는 모션 정보 및 시선 정보에 기반하는 복수 개의 인터액션을 저장할 수 있다. 이 때, 제어부(203)는 복수 개의 인터액션 중 시선 정보 및 모션 정보에 대응하는 인터액션이 있는 경우, 시선 정보 및 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
이하 도 8을 참조하여, 본 발명의 일실시예에 따른 사용자(220)의 시선(221)을 이용한 인터액션에 대해서 상세히 설명한다.
도 8은 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 인터액션에 대한 도면이다.
도 8을 참조하면, 표(800)는 사용자의 시선을 이용하는 복수 개의 인터액션(810, 830)을 나타낸다.
본 발명의 일측에 따르면, 사용자의 시선을 이용하는 복수 개의 인터액션은 회전 인터액션(810) 및 스케일링 인터액션(830) 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 회전 인터액션(810)은 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 소정의 시간 동안 시선(821)을 정지한 채, 양손을 주먹 쥐고(823) 회전하는(824)하는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 회전 인터액션(810)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 시선(821)에 대응하는 UI 객체(822)가, 사용자가 주먹을 쥐고(823) 회전하는(824) 각도만큼 회전되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 스케일링 인터액션(830)은 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작을 포함할 수 있다. 또한, 일실시예에 따른 스케일링 인터액션(830)은 사용자가 양손을 주먹 쥐고(843) 서로 같은쪽으로 좁히는 일련의 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작 또는 양손을 주먹을 쥐고(843) 서로 같은 쪽으로 좁히는 일련의 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자가 소정의 시간 동안 시선(841)을 정지한 채, 양손을 주먹 쥐고(843) 서로 반대쪽으로 벌리는(844) 일련의 동작 또는 양손을 주먹을 쥐고(843) 서로 같은 쪽으로 좁히는 일련의 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 스케일링 인터액션(830)에 대응하므로, 인터페이스 제어 장치는, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스 상의 적어도 하나의 UI 객체 중 사용자의 시선(841)에 대응하는 UI 객체(842)가 주먹을 쥐고(843) 벌어지는(844) 거리 또는 좁혀지는 거리만큼 크기 변환(확대 또는 축소)되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
상술한 사용자의 시선을 이용하는 복수 개의 인터액션(회전 인터액션(810) 및 스케일링 인터액션(830))은 본 발명의 일실시예에 해당하며, 본 발명이 이에 제한되지 않는다.
다시 도 2를 참조하면, 일실시예에 따른 제어부(203)는 시선 정보 및 모션 정보가 사용자(220)의 시선(221)을 이용하는 정밀(High Precision) 인터액션에 대응하는 경우, 시선 정보 및 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 제어부(203)는 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
본 발명의 일측에 따르면, 사용자(220)의 시선(221)을 이용하는 정밀 인터액션은 사용자(220)가 시선을 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 처리부(202)는 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 사용자(220)의 시선(221)을 이용하는 정밀 인터액션에 대응하므로, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다. 즉, 제어부(203)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230) 중 사용자(220)의 시선(221)에 대응하는 영역이 조정 영역으로 표시되고, 사용자(220)의 손(222)의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 제어할 수 있다.
이하 도 9 및 도 10을 참조하여, 사용자(220)의 시선(221)을 이용하는 정밀 인터액션에 대해서 상세히 설명한다.
도 9는 본 발명의 일실시예에 따른 사용자의 시선을 이용하는 고정 인터액션을 나타내는 도면이다.
도 9를 참조하면, 정밀 인터액션에 대응하는 시선 정보 및 모션 정보가 인지되기 전의 상태(900)에서 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(910)에 포함되는 적어도 하나의 UI 객체(911, 912, 913)를 디스플레이 화면에 표시할 수 있다.
일실시예에 따른 인터페이스 제어 장치는 영상 정보를 분석한 결과, 사용자(920)가 시선(921)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 인터페이스 제어 장치는 사용자(220)가 시선(221)을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 장치는 시선 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스(910)를 제어할 수 있다.
정밀 인터액션에 대응하는 시선 정보 및 모션 정보가 인지된 후의 상태(950)를 참조하면, 인터페이스 제어 장치는 사용자(970)의 시선(971)에 대응하여 조작 영역(961)을 표시할 수 있다. 실시예에 따라서는, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(960) 중 조작 영역(961) 외의 영역을 어둡게 표시할 수 있다. 예를 들어, 조작 영역(961) 외의 영역에 있는 UI 객체(962, 963)는 어둡게 표시될 수 있다.
또한, 인터페이스 제어 장치는 조작 영역(961)이 표시되면, 사용자(970)의 손(972)의 이동에 대응하여 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(960)를 제어할 수 있다.
실시예에 따라서는, 인터페이스 제어 장치는 사용자(970)의 손(972)의 위치에 관심 영역(980)을 연산하여 생성할 수 있다. 또한, 인터페이스 제어 장치는 관심 영역(980) 안에서의 사용자(970)의 손(972)의 이동에 대응하여 관심 영역(980) 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스(960)를 제어할 수 있다.
도 10은 본 발명의 일실시예에 따른 조작 영역을 나타내는 도면이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 영상 정보로부터 사용자의 머리(1010)의 회전 각도를 추출하고, 사용자의 머리(1010)의 회전 각도를 이용하여 조작 영역(1024)의 중심점 (x1, y1, z1)(1023)을 연산할 수 있다.
이 때, 일실시예에 따른 인터페이스 제어 장치는 하기 수식 3 내지 수식 6을 이용하여 조작 영역(1024)의 중심점 (x1, y1, z1)(1023)을 연산할 수 있다.
[수식 3]
Figure 112011036435265-pat00003
이 때, d(1031)는 디스플레이 장치로부터 사용자의 머리(1010)의 위치까지의 거리를 나타낸다. 또한, 사용자의 머리(1010)의 위치는 좌표축(1040)에 대한 좌표 (xo, yo, zo)값(1014)으로 표시될 수 있다.
[수식 4]
Figure 112011036435265-pat00004
[수식 5]
Figure 112011036435265-pat00005
[수식 6]
Figure 112011036435265-pat00006
이 때, rx(1011)는 머리(1010)의 피치(Pitch)값을, ry(1013)는 머리(1010)의 요(Yaw)값을, rz(1012)는 머리(1010)의 롤(Roll)값을 각각 나타낸다.
인터페이스 제어 장치는 연산된 조작 영역(1024)의 중심점 (x1, y1, z1)(1023)에 소정의 dx, dy, dz값을 더함으로써, 조작 영역을 표시할 수 있다.
다시 도 2를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치(200)는 생성부(204) 및 출력부(205)를 더 포함할 수 있다.
생성부(204)는 영상 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 생성할 수 있다.
출력부(205)는 2차원 또는 3차원 그래픽 사용자 인터페이스(230)를 디스플레이 장치(240)로 출력할 수 있다.
도 11은 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부의 구성을 나타내는 도면이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치의 생성부(1110)는 뷰포인트 조정부(View Point Adjustment Unit)(1120), 3차원 신 렌더링부(3D Scene Rendering Unit)(1130) 및 3D GUI 생성부(1140)를 포함할 수 있다.
뷰포인트 조정부(1120)는 센서로부터 수신된 영상 정보로부터 사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출할 수 있다. 또한, 뷰포인트 조정부(1120)는 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하고, 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
본 발명의 일측에 따르면, 뷰포인트 조정부(1120)는 센서의 센싱 범위 안에 복수 명의 사용자가 있는 경우, 복수 명의 사용자 중 제어 시작 인터액션을 입력한 주사용자가 있는지 여부를 판단할 수 있다.
또한, 뷰포인트 조정부(1120)는 복수 명의 사용자 중 주사용자가 있는 경우, 주사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 주사용자의 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 주사용자의 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
또한, 뷰포인트 조정부(1120)는 주사용자가 없는 경우, 복수 명의 사용자 각각의 왼쪽 눈 및 오른쪽 눈의 평균 위치에 대한 정보를 추출하고, 복수 명의 사용자 각각의 왼쪽 눈의 평균 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 복수 명의 사용자 각각의 오른쪽 눈의 평균 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
3차원 신 렌더링부(1130)는 왼쪽 뷰포인트의 위치에 기반하여 왼쪽 3차원 신을 렌더링할 수 있다. 또한, 3차원 신 렌더링부(1130)는 오른쪽 뷰포인트의 위치에 기반하여 오른쪽 3차원 신을 렌더링할 수 있다.
3D GUI 생성부(1140)는 렌더링된 왼쪽 3차원 신 및 렌더링된 오른쪽 3차원 신을 결합하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다.
이하 도 12 및 도 13을 참조하여, 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스에 대해서 상세히 설명한다.
도 12는 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스를 나타내는 도면이다.
도 12를 참조하면, 본 발명의 일실시예에 따른 2차원 또는 3차원 그래픽 사용자 인터페이스는 3차원 큐브 뷰(3D Cube View)(1210), 3차원 썸네일 뷰(3D Thumbnail View)(1220) 및 3차원 슬라이드 뷰(3D Slide View)(1230) 중 적어도 하나의 형식으로 적어도 하나의 UI 객체를 표시할 수 있다.
3차원 큐브 뷰(1210)는 적어도 하나의 UI 객체(UI Object)(1211, 1212, 1213)를 큐브 형식으로 표시할 수 있다. 또한, 3차원 썸네일 뷰(1220)는 적어도 하나의 UI 객체(1221)를 썸네일 이미지 형식으로 표시할 수 있다. 또한, 3차원 슬라이드 뷰(1230)는 적어도 하나의 UI 객체(1231)를 슬라이드 형식으로 표시할 수 있다.
일실시예에 따른 인터페이스 제어 장치는 뷰 전환 인터액션에 대응하는 모션 정보가 인지되는 경우, 3차원 큐브 뷰(1210), 3차원 썸네일 뷰(1220) 및 3차원 슬라이드 뷰(1230) 중 어느 하나로 뷰를 전환할 수 있다. 일실시예에 따른 뷰 전환 인터액션은 스케일링 인터액션일 수 있다.
도 13은 본 발명의 일실시예에 따른 인터페이스 제어 장치가 사용자의 위치에 대응하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 동작을 나타내는 도면이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 장치는 영상 정보로부터 사용자(1314, 1324, 1334)의 위치 및 사용자(1314, 1324, 1334)의 시선(1311, 1321, 1331)의 방향에 대한 정보를 추출할 수 있다.
이 때, 일실시예에 따른 인터페이스 제어 장치는 사용자(1314, 1324, 1334)의 위치에 대한 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(1310, 1320, 1330)와 연관된 뷰 포인트의 위치를 조정할 수 있다.
또한, 인터페이스 제어 장치는 사용자(1314, 1324, 1334)의 시선(1311, 1321, 1331)의 방향에 대한 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스(1310, 1320, 1330)와 연관된 뷰 포인트의 방향을 조정할 수 있다.
예를 들어, 사용자(1314)의 위치가 디스플레이 장치(1312)의 왼쪽 측면이고, 사용자(1314)의 시선(1311)의 방향이 디스플레이 장치(1312)의 오른쪽 측면을 향하는 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1310)의 UI 객체(1313)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1310)의 오른쪽 측면에 표시할 수 있다.
또한, 사용자(1324)의 위치가 디스플레이 장치(1322)의 정면이고, 사용자(1324)의 시선(1321)의 방향이 디스플레이 장치(1322)의 정면인 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1320)의 UI 객체(1323)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1320)의 중앙 부분에 표시할 수 있다.
또한, 사용자(1334)의 위치가 디스플레이 장치(1332)의 오른쪽 측면이고, 사용자(1334)의 시선(1331)의 방향이 디스플레이 장치(1332)의 왼쪽 측면을 향하는 경우, 인터페이스 제어 장치는 2차원 또는 3차원 그래픽 사용자 인터페이스(1330)의 UI 객체(1333)를 2차원 또는 3차원 그래픽 사용자 인터페이스(1330)의 왼쪽 측면에 표시할 수 있다.
도 14는 본 발명의 일실시예에 따른 인터페이스 제어 방법을 나타내는 흐름도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 인터페이스 제어 방법은 센서로부터 사용자와 연관된 깊이 영상(Depth Image)을 포함하는 영상 정보를 수신한다(S1410).
인터페이스 제어 방법은 영상 정보에 기반하여 사용자의 손의 동작에 대한 모션 정보 및 사용자의 시선에 대한 시선 정보 중 적어도 하나의 정보를 생성한다(S1420).
일실시예에 따른 인터페이스 제어 방법은 수신된 영상 정보를 분석하여, 사용자의 손의 동작을 인지하고, 손의 동작에 대한 모션 정보를 생성할 수 있다.
실시예에 따라서는, 인터페이스 제어 방법은 민 쉬프트(The Mean Shift)를 이용하여, 영상 정보로부터 사용자의 손의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 레벨 세트(Level Set) 별로 색 모메트(Hue Moment)를 특징(Feature)으로 사용한 아다부스트(Adaboost) 기반의 형태 매칭(Shape Matching)을 이용하여, 영상 정보로부터 사용자의 손의 자세에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 MSE(Mean Square Error)를 이용하여, 영상 정보로부터 사용자의 손의 이동 경로에 대한 정보를 추출할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 수신된 영상 정보에 기반하여 관심 영역을 연산할 수 있다. 또한, 인터페이스 제어 방법은 연산된 관심 영역 안에서의 사용자의 손의 동작에 대한 정보를 생성할 수 있다.
관심 영역은 사용자의 위치에 상관 없이 동일한 관심 영역의 제공이 필요한 경우, 사용자의 손의 동작에 대한 모션 정보를 생성하기 위한 센서로부터 수신된 영상의 일부 영역을 나타낸다. 실시예에 따라서는, 인터페이스 제어 방법은 관심 영역 밖에서 이루어지는 손의 동작에 대해서는 모션 정보를 생성하지 않을 수 있다.
일실시예에 따른 인터페이스 제어 방법은 관심 영역의 너비(ROIwidth) 및 높이(ROIheight)를 연산함으로써, 관심 영역을 연산할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 깊이 영상의 현재 프래임(Frame) 및 적어도 하나의 이전 프래임 간의 깊이 차이값을 연산하고, 연산된 깊이 차이값에 기반하여 모션 정보를 생성할 수 있다.
인터페이스 제어 방법은 모션 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어한다(S1430).
2차원 또는 3차원 그래픽 사용자 인터페이스는 적어도 하나의 UI 객체(UI Object)를 표시할 수 있다.
실시예에 따라서는, 모션 정보에 따른 사용자의 손의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스 중 동영상 재생 UI 객체의 위치에 대응하고, 손의 동작이 동영상 재생 UI 객체를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 인터페이스 제어 방법은 동영상 재생 UI 객체가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 시작을 신호하는 제어 시작 인터액션 및 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 종료를 신호하는 제어 종료 인터액션에 대응하여, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작 또는 종료할 수 있다.
즉, 인터페이스 제어 방법은 모션 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작할 수 있다. 또한, 인터페이스 제어 방법은 모션 정보가 제어 종료 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 있는 경우, 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
또한, 인터페이스 제어 방법은 복수 개의 인터액션 중 모션 정보에 대응하는 인터액션이 없는 경우, 모션 정보에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스의 컨트롤 포인트(Control Point)의 이동을 제어할 수 있다.
일실시예에 따른 인터페이스 제어 방법은 모션 정보가 정밀(High Precision) 인터액션에 대응하는 경우, 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어 범위를 2차원 또는 3차원 그래픽 사용자 인터페이스 전체가 아닌 소정의 영역으로 한정할 수 있는데, 이 때, 조작 영역은 제어 범위가 한정되는 소정의 영역을 나타낸다.
실시예에 따라서는, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 조작 영역을 제외한 나머지 부분을 어둡게 표시하는 형태로 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역을 소정의 크기로 확대하여 표시할 수 있다.
본 발명의 일측에 따르면, 정밀 인터액션은 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작이 인지되는 경우, 인터페이스 제어 방법은 사용자가 양손을 사용자의 앞으로 이동시키고, 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작에 대한 모션 정보를 생성할 수 있다. 이 때, 모션 정보가 정밀 인터액션에 대응하므로, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 양손 중 기준값을 초과하는 시간 동안 정지하여 있는 손의 위치에 대응하는 영역이 조정 영역으로 표시되고, 양손 중 나머지 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
본 발명의 일측에 따른 인터페이스 제어 방법은 영상 정보에 기반하여 사용자의 시선에 대한 시선 정보를 생성할 수 있다.
실시예에 따라서는, 인터페이스 제어 방법은 영상 정보로부터 사용자의 머리의 위치에 대한 정보 및 사용자의 머리의 회전에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 머리의 위치에 대한 정보 및 머리의 회전에 대한 정보에 기반하여 시선 정보를 생성할 수 있다.
실시예에 따라서는, 인터페이스 제어 방법은 MCT(Modified Census Transform) 기반의 아다부스트 방법(Adaboost Method)을 이용하여, 영상 정보로부터 사용자의 머리의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 ASM(Active Shape Model)을 이용하여, 영상 정보로부터 사용자의 머리의 회전에 대한 정보를 추출할 수 있다.
이 때, 일실시예에 따른 인터페이스 제어 방법은 사용자의 손에 대한 모션 정보 및 사용자의 시선에 대한 시선 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
실시예에 따라서는, 시선 정보에 따른 사용자의 시선의 위치가 2차원 또는 3차원 그래픽 사용자 인터페이스 중 동영상 재생 UI 객체의 위치에 대응하고, 손의 동작이 동영상 재생 UI 객체를 실행(Play)하는 동작(즉, 실행 인터액션(Play Interaction))에 대응하는 경우, 인터페이스 제어 방법은 동영상 재생 UI 객체가 재생되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 데이터베이스는 모션 정보 및 시선 정보에 기반하는 복수 개의 인터액션을 저장할 수 있다. 이 때, 인터페이스 제어 방법은 복수 개의 인터액션 중 시선 정보 및 모션 정보에 대응하는 인터액션이 있는 경우, 시선 정보 및 모션 정보에 대응하는 인터액션에 기반하여 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
일실시예에 따른 인터페이스 제어 방법은 시선 정보 및 모션 정보가 사용자의 시선을 이용하는 정밀(High Precision) 인터액션에 대응하는 경우, 시선 정보 및 모션 정보에 대응하는 조작 영역을 표시할 수 있다. 또한, 인터페이스 제어 방법은 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
본 발명의 일측에 따르면, 사용자의 시선을 이용하는 정밀 인터액션은 사용자가 시선을 기준값을 초과하는 시간 동안 정지시키는 동작을 포함할 수 있다.
예를 들어, 영상 정보를 분석한 결과, 사용자가 시선을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작이 인지되는 경우, 인터페이스 제어 방법은 사용자가 시선을 기준값을 초과하는 시간 동안 한 곳에 정지시키고 움직이지 않는 동작에 대한 시선 정보를 생성할 수 있다. 이 때, 시선 정보가 사용자의 시선을 이용하는 정밀 인터액션에 대응하므로, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다. 즉, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스 중 사용자의 시선에 대응하는 영역이 조정 영역으로 표시되고, 사용자의 손의 위치에 대응하여 조정 영역 안의 컨트롤 포인트가 이동되도록 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 영상 정보에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다. 또한, 인터페이스 제어 방법은 2차원 또는 3차원 그래픽 사용자 인터페이스를 디스플레이 장치로 출력할 수 있다.
인터페이스 제어 방법은 센서로부터 수신된 영상 정보로부터 사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출할 수 있다. 또한, 인터페이스 제어 방법은 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하고, 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
본 발명의 일측에 따르면, 인터페이스 제어 방법은 센서의 센싱 범위 안에 복수 명의 사용자가 있는 경우, 복수 명의 사용자 중 제어 시작 인터액션을 입력한 주사용자가 있는지 여부를 판단할 수 있다.
또한, 인터페이스 제어 방법은 복수 명의 사용자 중 주사용자가 있는 경우, 주사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 주사용자의 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 주사용자의 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
또한, 인터페이스 제어 방법은 주사용자가 없는 경우, 복수 명의 사용자 각각의 왼쪽 눈 및 오른쪽 눈의 평균 위치에 대한 정보를 추출하고, 복수 명의 사용자 각각의 왼쪽 눈의 평균 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 복수 명의 사용자 각각의 오른쪽 눈의 평균 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정할 수 있다.
인터페이스 제어 방법은 왼쪽 뷰포인트의 위치에 기반하여 왼쪽 3차원 신을 렌더링할 수 있다. 또한, 인터페이스 제어 방법은 오른쪽 뷰포인트의 위치에 기반하여 오른쪽 3차원 신을 렌더링할 수 있다.
인터페이스 제어 방법은 렌더링된 왼쪽 3차원 신 및 렌더링된 오른쪽 3차원 신을 결합하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 인터페이스 제어 장치
110: 센서
120: 사용자
130: 2차원 또는 3차원 그래픽 사용자 인터페이스

Claims (26)

  1. 사용자와 연관된 영상(Image)을 획득하는 센서; 및
    상기 사용자와 상기 센서 간의 거리, 상기 영상의 크기 및 공기 중의 관심 영역 창(window)의 크기에 기반하여 관심 영역(Region of Interest)의 크기를 결정하고, 상기 관심 영역의 크기에 기반한 사용자 입력(user input)과 연관된 정보를 생성하고, 상기 정보에 기반하여 인터페이스를 제어하는 처리부
    를 포함하는 인터페이스 제어 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 처리부는
    하기 수식 1을 이용하여 상기 관심 영역(Region of Interest, ROI)의 너비를 연산하고, 하기 수식 2를 이용하여 상기 관심 영역의 높이를 연산하는 인터페이스 제어 장치.
    [수식 1]
    Figure 112017042927714-pat00007

    [수식 2]
    Figure 112017042927714-pat00008

    단, ROIwidth(pixel) : 관심 영역의 너비
    Dcur : 센서 및 사용자 사이의 거리에 대한 센티미터(centimeter) 값
    Imagewidth 및 Imageheight : 깊이 영상의 높이 및 너비
    FoVwidth 및 FoVwidth : 깊이 카메라의 렌즈로 인한 시야의 높이 및 너비
    Kwidth : 공기 중의 관심 영역 창의 평균 너비
    Kheight : 공기 중의 관심 영역 창의 평균 높이
  4. 제1항에 있어서,
    상기 처리부는
    상기 영상의 현재 프래임 및 적어도 하나의 이전 프래임 간의 깊이 차이값을 연산하고, 상기 깊이 차이값에 기반하여 상기 정보를 생성하는 인터페이스 제어 장치.
  5. 제1항에 있어서,
    상기 처리부는
    상기 영상으로부터 상기 사용자의 머리의 위치에 대한 정보 및 상기 머리의 회전에 대한 정보를 추출하고, 상기 머리의 위치에 대한 정보 및 상기 머리의 회전에 대한 정보에 기반하여 시선 정보를 생성하는 인터페이스 제어 장치.
  6. 제1항에 있어서,
    상기 정보는
    상기 사용자의 손의 이동에 대한 정보 및 상기 손의 자세(Posture)에 대한 정보 중 적어도 하나를 포함하는 인터페이스 제어 장치.
  7. 제1항에 있어서,
    상기 처리부는
    상기 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작하고,
    상기 정보가 제어 종료 인터액션에 대응하는 경우, 상기 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료하는 인터페이스 제어 장치.
  8. 제7항에 있어서,
    상기 제어 시작 인터액션은
    상기 사용자가 손을 들어올리는 동작 및 상기 사용자가 상기 손을 미는 동작 중 적어도 하나를 포함하는 인터페이스 제어 장치.
  9. 제7항에 있어서,
    상기 제어 종료 인터액션은
    상기 사용자가 손을 내리는 동작을 포함하는 인터페이스 제어 장치.
  10. 제1항에 있어서,
    상기 처리부는
    상기 정보가 정밀 인터액션에 대응하는 경우, 상기 정보에 대응하는 조작 영역을 표시하고, 상기 조작 영역 안의 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 인터페이스 제어 장치.
  11. 제10항에 있어서,
    상기 정밀 인터액션은
    상기 사용자가 양손을 상기 사용자의 앞으로 이동시키고, 상기 양손 중 어느 하나를 기준값을 초과하는 시간 동안 정지시키는 동작을 포함하는 인터페이스 제어 장치.
  12. 제1항에 있어서,
    상기 처리부는
    2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 복수 개의 인터액션 중 상기 정보에 대응하는 인터액션이 있는 경우, 상기 정보에 대응하는 인터액션에 기반하여 상기 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하고,
    상기 복수 개의 인터액션 중 상기 정보에 대응하는 인터액션이 없는 경우, 상기 정보에 기반하여 상기 2차원 또는 3차원 그래픽 사용자 인터페이스의 컨트롤 포인트의 이동을 제어하는 인터페이스 제어 장치.
  13. 제12항에 있어서,
    상기 복수 개의 인터액션은
    실행 인터액션, 취소 인터액션, 드래그&드롭(Drag&Drop) 인터액션, 스크롤링(Scrolling) 인터액션, 회전(Rotation) 인터액션 및 스케일링(Scaling) 인터액션 중 적어도 하나를 포함하는 인터페이스 제어 장치.
  14. 제13항에 있어서,
    상기 실행 인터액션은
    상기 사용자가 손을 썸스-업(Thumbs-Up) 자세로 하는 동작을 포함하는 인터페이스 제어 장치.
  15. 제13항에 있어서,
    상기 취소 인터액션은
    상기 사용자가 손을 썸스-다운(Thumbs-Down) 자세로 하는 동작을 포함하는 인터페이스 제어 장치.
  16. 제1항에 있어서,
    상기 영상은
    상기 사용자와 연관된 색상 영상 및 IR 영상을 더 포함하는 인터페이스 제어 장치.
  17. 제1항에 있어서,
    상기 영상에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성하는 생성부; 및
    상기 2차원 또는 3차원 그래픽 사용자 인터페이스를 디스플레이 장치로 출력하는 출력부
    를 더 포함하는 인터페이스 제어 장치.
  18. 제17항에 있어서,
    상기 생성부는
    상기 영상으로부터 상기 사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 상기 왼쪽 눈의 위치에 대응하여 왼쪽 뷰포인트의 위치를 조정하며, 상기 오른쪽 눈의 위치에 대응하여 오른쪽 뷰포인트의 위치를 조정하는 뷰포인트 조정부;
    상기 왼쪽 뷰포인트의 위치에 기반하여 왼쪽 3차원 신을 렌더링하고, 상기 오른쪽 뷰포인트의 위치에 기반하여 오른쪽 3차원 신을 렌더링하는 3차원 신 렌더링부; 및
    상기 렌더링된 왼쪽 3차원 신 및 상기 렌더링된 오른쪽 3차원 신을 결합하여, 상기 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성하는 3D GUI 생성부
    를 포함하는 인터페이스 제어 장치.
  19. 제18항에 있어서,
    상기 뷰포인트 조정부는
    상기 센서의 센싱 범위 안에 복수 명의 사용자가 있고, 상기 복수 명의 사용자 중 제어 시작 인터액션을 입력한 주사용자가 있는 경우, 상기 주사용자의 왼쪽 눈 및 오른쪽 눈의 위치에 대한 정보를 추출하고, 상기 주사용자의 왼쪽 눈의 위치에 대응하여 상기 왼쪽 뷰포인트의 위치를 조정하며, 상기 주사용자의 오른쪽 눈의 위치에 대응하여 상기 오른쪽 뷰포인트의 위치를 조정하는 인터페이스 제어 장치.
  20. 제19항에 있어서,
    상기 뷰포인트 조정부는
    상기 주사용자가 없는 경우, 상기 복수 명의 사용자 각각의 왼쪽 눈 및 오른쪽 눈의 평균 위치에 대한 정보를 추출하고, 상기 복수 명의 사용자 각각의 왼쪽 눈의 평균 위치에 대응하여 상기 왼쪽 뷰포인트의 위치를 조정하며, 상기 복수 명의 사용자 각각의 오른쪽 눈의 평균 위치에 대응하여 상기 오른쪽 뷰포인트의 위치를 조정하는 인터페이스 제어 장치.
  21. 제1항에 있어서,
    상기 인터페이스는
    적어도 하나의 UI 객체를 큐브 형식으로 표시하는 3차원 큐브 뷰, 상기 적어도 하나의 UI 객체를 썸네일 이미지 형식으로 표시하는 3차원 썸네일 뷰 및 상기 적어도 하나의 UI 객체를 슬라이드 형식으로 표시하는 3차원 슬라이드 뷰 중 적어도 하나를 이용하여 상기 적어도 하나의 UI 객체를 표시하는 인터페이스 제어 장치.
  22. 센서로부터 사용자와 연관된 영상(Image)을 획득하는 단계;
    상기 사용자와 상기 센서 간의 거리, 상기 영상의 크기 및 공기 중의 관심 영역 창(window)의 크기에 기반하여 관심 영역(Region of Interest)의 크기를 결정하는 단계;
    상기 관심 영역의 크기에 기반한 사용자 입력(user input)과 연관된 정보를 생성하는 단계; 및
    상기 정보에 기반하여 인터페이스를 제어하는 단계
    를 포함하는 인터페이스 제어 방법.
  23. 제22항에 있어서,
    상기 제어하는 단계는,
    상기 정보가 제어 시작 인터액션에 대응하는 경우, 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 시작하고,
    상기 정보가 제어 종료 인터액션에 대응하는 경우, 상기 2차원 또는 3차원 그래픽 사용자 인터페이스의 제어를 종료하는 인터페이스 제어 방법.
  24. 제22항에 있어서,
    상기 제어하는 단계는,
    2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하는 복수 개의 인터액션 중 상기 정보에 대응하는 인터액션이 있는 경우, 상기 정보에 대응하는 인터액션에 기반하여 상기 2차원 또는 3차원 그래픽 사용자 인터페이스를 제어하고,
    상기 복수 개의 인터액션 중 상기 정보에 대응하는 인터액션이 없는 경우, 상기 정보에 기반하여 상기 2차원 또는 3차원 그래픽 사용자 인터페이스의 컨트롤 포인트의 이동을 제어하는 인터페이스 제어 방법.
  25. 제22항에 있어서,
    상기 영상에 기반하여, 2차원 또는 3차원 그래픽 사용자 인터페이스를 생성하는 단계; 및
    상기 2차원 또는 3차원 그래픽 사용자 인터페이스를 디스플레이 장치로 출력하는 단계
    를 더 포함하는 인터페이스 제어 방법.
  26. 제22항 내지 제25항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020110046174A 2010-08-26 2011-05-17 인터페이스 제어 장치 및 방법 Active KR101815020B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/212,838 US9141189B2 (en) 2010-08-26 2011-08-18 Apparatus and method for controlling interface
US14/842,448 US9710068B2 (en) 2010-08-26 2015-09-01 Apparatus and method for controlling interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100082848 2010-08-26
KR1020100082848 2010-08-26

Publications (2)

Publication Number Publication Date
KR20120020045A KR20120020045A (ko) 2012-03-07
KR101815020B1 true KR101815020B1 (ko) 2018-01-31

Family

ID=46128814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110046174A Active KR101815020B1 (ko) 2010-08-26 2011-05-17 인터페이스 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101815020B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12449908B2 (en) 2020-12-31 2025-10-21 Samsung Electronics Co., Ltd. Augmented reality device, and method for controlling augmented reality device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
EP2626771B1 (en) * 2012-02-09 2018-01-10 Samsung Electronics Co., Ltd Display apparatus and method for controlling a camera mounted on a display apparatus
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101394604B1 (ko) * 2012-05-21 2014-05-13 주식회사 에스원 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102117261B1 (ko) * 2013-03-05 2020-06-01 삼성전자주식회사 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9449392B2 (en) 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
KR102294193B1 (ko) 2014-07-16 2021-08-26 삼성전자주식회사 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
KR101647969B1 (ko) * 2014-09-12 2016-08-12 재단법인대구디지털산업진흥원 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
KR101914194B1 (ko) * 2016-11-30 2018-11-01 조선대학교산학협력단 관성센서 및 뎁스 카메라를 이용한 모션 취득 시스템 및 이를 이용한 모션 취득 방법
KR101883866B1 (ko) 2016-12-23 2018-08-01 단국대학교 산학협력단 지면 접촉식 손가락 입력 장치 및 방법
KR101998786B1 (ko) 2017-08-31 2019-07-10 단국대학교 산학협력단 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법
KR102808499B1 (ko) * 2019-11-11 2025-05-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US20040242988A1 (en) * 2003-02-24 2004-12-02 Kabushiki Kaisha Toshiba Operation recognition system enabling operator to give instruction without device operation
US20050059488A1 (en) * 2003-09-15 2005-03-17 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20060038881A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display
US20080030460A1 (en) * 2000-07-24 2008-02-07 Gesturetek, Inc. Video-based image control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030460A1 (en) * 2000-07-24 2008-02-07 Gesturetek, Inc. Video-based image control system
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US20040242988A1 (en) * 2003-02-24 2004-12-02 Kabushiki Kaisha Toshiba Operation recognition system enabling operator to give instruction without device operation
US20050059488A1 (en) * 2003-09-15 2005-03-17 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20060038881A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12449908B2 (en) 2020-12-31 2025-10-21 Samsung Electronics Co., Ltd. Augmented reality device, and method for controlling augmented reality device

Also Published As

Publication number Publication date
KR20120020045A (ko) 2012-03-07

Similar Documents

Publication Publication Date Title
KR101815020B1 (ko) 인터페이스 제어 장치 및 방법
US9141189B2 (en) Apparatus and method for controlling interface
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US8890812B2 (en) Graphical user interface adjusting to a change of user's disposition
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
TWI516093B (zh) 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US9456203B2 (en) Information processing apparatus, stereoscopic display method, and program
US20110107216A1 (en) Gesture-based user interface
JP2025505466A (ja) ユーザー制御３次元シーン
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
US20150002419A1 (en) Recognizing interactions with hot zones
GB2524473A (en) Controlling a computing-based device using gestures
US9432652B2 (en) Information processing apparatus, stereoscopic display method, and program
KR20120105864A (ko) 가상 객체 제어 장치 및 방법
US8988500B2 (en) Information processing apparatus, stereoscopic display method, and program
US20150033157A1 (en) 3d displaying apparatus and the method thereof
JP5341126B2 (ja) 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
KR101288590B1 (ko) 적외선 카메라를 이용한 모션제어 장치 및 방법
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
Zhang et al. Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction
GB2547701A (en) Method and apparatus for autostereoscopic display platform

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9