[go: up one dir, main page]

KR101511819B1 - 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어 - Google Patents

영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어 Download PDF

Info

Publication number
KR101511819B1
KR101511819B1 KR1020117007673A KR20117007673A KR101511819B1 KR 101511819 B1 KR101511819 B1 KR 101511819B1 KR 1020117007673 A KR1020117007673 A KR 1020117007673A KR 20117007673 A KR20117007673 A KR 20117007673A KR 101511819 B1 KR101511819 B1 KR 101511819B1
Authority
KR
South Korea
Prior art keywords
input signal
motion
command
instruction
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020117007673A
Other languages
English (en)
Other versions
KR20110086687A (ko
Inventor
도르 기본
오퍼 사드카
일야 코텔
이골 부니모비치
Original Assignee
익스트림 리얼리티 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 익스트림 리얼리티 엘티디. filed Critical 익스트림 리얼리티 엘티디.
Publication of KR20110086687A publication Critical patent/KR20110086687A/ko
Application granted granted Critical
Publication of KR101511819B1 publication Critical patent/KR101511819B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상 센서에 기반한 인간 기계장치 인터페이스("IBHMI")를 제공하는 방법 시스템 및 이에 연관된 모듈들 및 소프트웨어 구성요소들이 기술된다. 본 발명의 일부 실시예들에 따르면, IBHMI의 출력은 제 1 맵핑 테이블에 기반한 출력 스트링 또는 디지털 출력 명령으로 전환될 수 있다. IBHMI 맵핑 모듈은 IBHMI으로부터 하나 이상의 출력을 수신할 수 있고, 연산 플랫폼에 연관된 동일한 기능성 또는 또 다른 기능성을 진행하는 제 1 어플리케이션을 위한 스트링 또는 명령을 발생시킬 시에 제 1 맵핑 테이블을 참조할 수 있다. 맵핑 모듈은 키보드, 마우스, 조이스틱, 터치패드 또는 연산 플랫폼에 호환되고, 적합하거나, 조화되는 다른 인터페이스 장치에 필적할 수 있고, 이때 상기 연산 플랫폼 상에는 제 1 어플리케이션이 진행된다.

Description

영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어{METHOD SYSTEM AND SOFTWARE FOR PROVIDING IMAGE SENSOR BASED HUMAN MACHINE INTERFACING}
본 발명은 일반적으로 인간 기계장치 인터페이스(human machine interfaces)의 분야에 관한 것이다. 특히, 본 발명은 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 이에 연관된 모듈들 및 소프트웨어 구성요소에 관한 것이다.
소프트웨어 역사 중 가장 큰 패턴들 중 하나는 연산 집약적 설계(computation-intensive design)에서 표시 집약적 설계(presentation-intensive design)로의 이동이다. 기계장치들이 더욱더 강력해짐에 따라서, 발명자들은 표시에 대한 전원의 부분을 꾸준하게 증가시키기 위해 박차를 가해왔다. 역사의 진행은 편리하게 3 시대: 뱃치(batch)(1945년-1968년), 명령-라인(command-line)(1969년-1983년) 및 그래픽(1984년 이후)으로 나눌 수 있다. 상기 진행은 물론 디지털 컴퓨터의 발명과 함께 시작되었다. 중대한 신규 인터페이스 기술이 실험실에서 일어나고 중요한 방식으로 인터페이스에 관한 사용자의 기대치를 변화시키기 시작할 시에 후자 2 시대에 대한 시작 일자는 그 해에 이루어졌다. 이러한 기술들은 상호 작용하는 타임 셰어링(timesharing) 및 그래픽 사용자 인터페이스이다.
뱃치 시대에서, 연산장치 파워(computing power)는 매우 부족하고 비용이 비쌌다. 그 시대의 가장 큰 컴퓨터들은 오늘날의 통상적인 토스터 또는 마이크로 웨이브보다 초당 논리 주기들이 작은 명령을 가지고, 오늘날의 차량, 디지털 시계 또는 셀 폰보다 아주 작은 비트를 가졌다. 이에 따라서, 사용자 인터페이스는 원시적이었다. 사용자들은 주위에 다른 방식보다는 오히려 컴퓨터들을 수용해야 하고; 사용자 인터페이스는 오버헤드(overhead)로서 간주되고, 그리고 소프트웨어는 가능한 오버헤드가 적은 상태에서 프로세서가 최대한 이용되도록 설계되었다.
뱃치 기계장치에 대한 사용자 인터페이스들의 입력 측은 주로 천공 카드 또는 종이 유형과 같은 균등물 매체이었다. 출력 측은 라인 프린터들(line printers)을 이러한 매체에 추가시켰다. 시스템 작동자의 콘솔(console)의 제한 점을 제외하고는, 인간은 실시간으로 뱃치 기계장치들과 전혀 상호 작용되지 않았다.
포함된 뱃치 기계장치로 잡(job)을 하게 되면, 프로그램 및 데이터세트를 나타내는 천공 카드의 덱(deck)을 준비해야 했다. 천공 프로그램 카드들은 컴퓨터 그 자체 상에서 이행되지는 않았지만, 그러나 작동이 잘되지 않는 유명한 발키(balky)인 전용 타이프라이터와 같은 기계장치들(specialized typewriter-like machines)에서 이행되어, 기계장치가 손상되는 경향이 있었다. 소프트웨어 인터페이스는 이와 유사하게, 가능한 가장 작은 컴파일러 및 해석 프로그램에 의해 분석되는 매우 엄격한 신택스들(syntaxes)로도 작동되지 않았다.
카드들이 천공되면, 카드들은 잡의 대기 행렬 및 대기 시간에 있게 되었다. 결국, 작동자들은 컴퓨터에 덱을 공급하고, 또 다른 데이터세트 또는 도움이 되는 소프트웨어를 공급하기 위해 자기테이프들을 장착했다. 잡은 최종 결과물, 또는 (전체적으로 너무 자주(all too often)) 부속된 에러 로그를 가진 중단 통보를 포함한 출력 정보를 발생시켰다. 계속되는 진행은 또한 자기 테이프 상의 결과물을 기입하거나, 이후에 연산장치에 사용되는 일부 데이터 카드들을 발생시켰다.
단일 잡에 대한 총처리 시간(turnaround time)은 종종 하루 종일 걸릴 수 있다. 매우 운이 좋은 경우라면 몇 시간에 해결될 수 있고; 실시간 응답은 없다. 그러나, 카드 대기 행렬보다 나쁜 결말을 맞을 수 있고; 일부 컴퓨터는 실제로, 아주 지루하고 콘솔 스위치들을 사용한 2 진 코드의 프로그램 작동의 에러 처리가 발생되기가 쉬웠다. 초기의 기계장치들은, 실제로 플러그판들(plugboards)로 공지된 장치들을 사용하여, 상기 기계장치들에 논리 프로그램을 통합하기 위해 부분적으로 재기입되어야 했다.
초기 뱃치 시스템들은 현재 진행되는 잡에게 전체 컴퓨터를 제공하고; 프로그램 덱들 및 테이프들은, I/O 장치들과 통신하고 다른 하우스키핑(housekeeping)이 필요할 만큼 이행되도록, 동작 시스템 코드로서 고려될 수도 있다. 1957 년 이후 뱃치 기간의 중간 시점에서, 다양한 그룹들은 소위 "로드-앤-고(load-and-go)" 시스템들이라 하는 것으로 실험이 시작되었다. 이렇게 사용된 모니터 프로그램은 항상 컴퓨터 상에서 남아 있게 된다. 프로그램들은 서비스용 모니터라 불렸다. 모니터의 또 다른 기능은 제공된 잡들에 관한 보다 나은 에러 검사 기능이었고, 이는 에러들을 좀 더 빠르게 잡아내고, 보다 많은 정보 처리 기능을 가지며, 그리고 사용자들에게 보다 유용한 피드백을 발생시켰다. 이로써, 모니터들은 동작 시스템들 및 명확하게 설계된 사용자 인터페이스들 모두에 대한 제 1 단계를 나타내었다.
뱃치 모니터들로부터 발전된 명령-라인 인터페이스들(CLI들)은 시스템 콘솔에 연결되었다. 이들의 상호 작용 모델은 일련의 요청-응답 처리이고, 요청은 전문 어휘의 텍스트 명령들(textual commands)로서 표현되었다. 대기 시간은 뱃치 시스템들보다 훨씬 짧고, 며칠 또는 몇 시간에서 몇 초까지 떨어지게 되었다. 이에 따라서, 명령-라인 시스템들은, 사용자가 초기 결과에 대한 실시간 또는 거의 실시간 피드백에 응답하여, 처리의 나중 단계들에 관한 사용자의 의사를 변하도록 했다. 소프트웨어는 이전에 가능하지 않은 방식으로 분류 탐색적(exploratory)이고, 상호 작용이 이루어지도록 할 수 있었다. 그러나 이러한 인터페이스들은 상대적으로 많은 연상 기호 로드(mnemonic load)를 사용자에게 여전히 제공할 있어서, 통달하는데 많은 노력과 배우는 시간이 필요했다.
명령-라인 인터페이스들은 타임 셰어링 컴퓨터들의 상승과 밀접하게 연관되었다. 타임 셰어링 시대의 개념은 1950 년대로 거슬러 올라간다; 가장 영향력이 있는 초기 실험은 1965 년 후에 MULTICS 동작 시스템이었고; 오늘날 명령-라인 인터페이스들의 가장 영향력 있는 것은 1969 년대부터 시작된 Unix 그 자체였고, 그 후에도 가장 영향력 있는 형태로 이행되어왔다.
초기 명령-라인 시스템들은 텔레타이프들(teletypes)과 컴퓨터를 결합시켰어, 인간들 사이에서 유선 이상으로 정보의 전송을 조정하는데 효과적으로 증명된 성숙 기술(mature technology)을 구성했다. 텔라타이프들은 원래 자동 전보 송수신용 장치들로 발명되어 왔고; 이들의 역사는 1902 년대로 거슬러 올라가고, 1920 년대에는 이미 편집실 및 기타 장소에서 구현되었다. 이들을 재사용함으로써, 경제뿐만 아니라, 심리학 및 최소 놀람의 법칙(the Rule of Least Surprise) 문제에서도 확실하게 고려해 볼 수 있게 되었고; 텔라타이프들은 많은 엔지니어 및 사용자에 정통한 시스템과 인터페이스하는 포인트를 제공했다.
1970 년대 중반에 비디오-표시 단자들(VDT들)의 널리 보급된 사용으로, 명령-라인 시스템들의 제 2 단계로 접어들게 되었다. 기호들이 프린터 헤드 또는 캐리지(carriage)보다 더 빠르게 스크린의 인광체 도트들(phosphor dots)에 분출되기 때문에, 이러한 컷 대기 시간(cut latency)은 더 이동할 수 있다. 이들은 코스트 피쳐(cost picture) 중 잉크 및 종이 소모품을 삭감함으로써, 상호 작용 프로그램에 대한 보수적인 저항을 진압하는데 도움을 주고, 1950 년대 및 1960 년대 후반의 제 1 TV를 발생시켰고, 심지어 1940 년대의 컴퓨터 선구자들에 있어 텔레타이프들보다 대표적이고 편안함을 안겨다 주었다.
마찬가지로 특히, 접근하기 쉬운 스크린, 빠르고 원래 상태로 변형될 수 있는 2 차원 표시의 텍스트의 존재는 소프트웨어 설계자들이 문자 그대로 보다 오히려 시각화로 나타낼 수 있는 인터페이스들을 배포시키도록 했다. 이러한 부류의 선구적인 어플리케이션들은 컴퓨터 게임들 및 텍스트 편집기들이었고; 로구(rogue)(6), 및 Vl(1) 등의 초기 표본들 중 일부 정밀한 전래물들은 여전히 UNIX 전통 방식의 살아있는 부분이다.
스크린 비디오 표시는 전체적으로 새롭지 않고, 1961 년대의 PDP-1 만큼 빨리 미니컴퓨터들 상에서 나타났다. 그러나, 직렬 케이블들을 통해 부착된 VDT들로 이동될 때까지, 매우 값비싼 컴퓨터 각각은 하나의 어드레스가능한 표시만을 그의 콘솔 상에서 지원할 수 있었다. 이러한 상황에서, 통상적인 시각화(Ul)가 개발되는 것은 어려웠고; 상기와 같은 인터페이스들은, 전체 컴퓨터들이 단일 사용자에게 사용되는데 있어, 적어도 일시적으로 제공될 수 있는 드문 환경에서만 구현되는 원-오프츠(one-offs)이었다.
1962 년대로 거슬러 올라가면, 지금 그래픽 사용자 인터페이스라 불리는 산발성 실험들(sporadic experiments) 및 PDP-1 상의 선구적인 SPACEWAR 게임이 있었다. 기계장치 상에 있는 디스플레이는 단지 문자 단말기가 아니라, 벡터 그래픽을 지원하기 위해 구현될 수 있는 변형된 오실로스코프(oscilloscope)이었다. 토클 스위치들이 주로 사용되었지만, SPACEWAR 인터페이스 또한, 제 1 조합한 트랙볼(crude trackballs)의 특징을 가지게 되었으며, 사용자 그 자체에 의해 맞춤형 제작을 할 수 있게 되었다. 10 년 후에, 1970 년대 초기에, 이러한 실험들은 비디오 게임 산업계에서 나타났으며, 실제로 SPACEWAR의 아케이드 버전(arcade version)을 생성하는 시도도 시작되었다.
PDP-1 콘솔 디스플레이는 World War II의 레이더 디스플레이 튜브들로부터 20 년 일찍 시작되었는데, 이는 MIT의 린콜 랩들(Lincoln Labs)에서 소형 연산장치의 일부 중요 선구자들이 그 전에 레이더 기술자인 사실이 반영된 것이었다. 1962년의 동일 해에 대륙에 걸쳐서, 또 다른 이전 레이더 기술자가 Stanford Research Institute에서 서로 다른 흔적을 나타내기 시작했다. 그의 이름은 도그 앤겔바트(Doug Engelbart)이었다. 그는 이렇게 매우 이른 그래픽 표시의 개인적인 경험과 반네바 부쉬(Vannevar Bush)의 중요 논문 모두에 의해 고취되었다. 생각해 보면, 오늘날 하이퍼텍스트(hypertext)라 하는 버전은 1945 년대에 나타나기 시작했다.
1968 년 12월에, 앤겔바트 및 SRI로부터의 그의 팀은 제 1 하이퍼텍스트 시스템, NLS/Augment에 관해 90 분의 공개 시연을 열었다. 공개 시연은 3 개의 버튼 마우스(앤겔바트의 발명), 다수의 윈도우 인터페이스를 가진 그래픽 표시들, 하이퍼링크들 및 온-스크린 화상 회의(on-screen video conferencing)의 첫 등장을 포함했다. 이 데모는 1991 년대의 World Wide Web의 발명에 이르기까지, 25 년 동안 컴퓨터 과학을 통하여 전파된 결과의 흥분을 만들어냈다.
이로써, 1960 년대 초기에, 그래픽 표시는 사용자 경험이 강제적으로 되도록 할 수 있다는 것을 이미 이해하게 되었다. 마우스와 균등한 포인팅 장치들은 이미 발명되었고, 1960 년대 후반의 많은 메인 프레임들(mainframes)은 PDP-1의 것에 필적하도록 하는 표시 성능을 가졌다. Univac 1108 메인프레임의 콘솔에 대한 1968 년도의 매우 이른 비디오 게임은, 2004 년도에 구입한다면 비용이 거의 4500만 달러에 이른다.
비디오 게임들은 컴퓨터들보다 초기에 대중 판매용 장치들로 자리 잡아갔는데, 이는 이들이 매우 싸고 간단한 프로세서들 상에서 하드웨어용 프로그램들이 진행되었기 때문이었다. 그러나, 일반적인 목적을 가지는 컴퓨터에 있어서, 오슬로스코프 디스플레이들은 진화적으로 막다른 길(evolutionary dead end)에 들어서게 되었다. 컴퓨터와 정상적으로 상호 작용하는 그래픽, 시각화 인터페이스들을 사용하는 개념은 몇 년을 기다려야 했고, 1970 년대의 직렬-라인 특성(VDT)의 진보된 그래픽 성능을 가진 버전에 의해 실제로 잡혀갔다.
1970 년대의 초기 PARC 시스템들 이래로, 알토(Alto)에 의해 구현된 WIMP(Windows, Icons, Mice, Pointer) 모델이라 불리는 GUI들의 설계는 거의 완전하게 우위를 차지해 갔다. 연산장치 및 디스플레이 컴퓨터웨어는 10 년에 걸쳐서 큰 변화를 보여왔고, 이는 WIMP의 범위를 넘어서 생각하기에 놀라울 정도로 어렵다는 것을 증명해왔다.
몇 차례 시도가 있어 왔다. 아마도, VR(virtual reality) 인터페이스들이 가장 두드러져 보일 수 있는데, 상기 VR 인터페이스들에서, 사용자는 주위를 이동할 수 있었으며, 몰입형 그래픽 3-D 환경(immersive graphical 3-D environments) 내에서 몸짓 동작을 할 수 있었다. VR은 1980 년대 중반 이래로 큰 연구 분야에서 인기가 있었다. 수년 동안 모의 비행 장치들의 설계자들에 잘 알려진 근본적인 문제점은 VR이 인간 고유 수용성 시스템(human proprioceptive system)을 혼란스럽게 만들 수 있다는 점; 심지어 적당한 속도로의 VR 움직임으로 인해, 두되가 인체의 실세계 움직임의 내부 귀의 통보와 움직임의 시작 시뮬레이션을 일치시키려고 할 시에, 현기증 및 메스꺼움을 유발시킬 수 있다는 점이다.
제프 레스킨(Jef Raskin)의 프로젝트(인간적인 환경, The Humane Environment, THE)는 GUI들의 줌 월드 모델을 조사하였다. THE에서, 스크린은 2-D 가상 세계 상의 창(window)이었고, 상기 2-D 가상 세계에서, 데이터 및 프로그램들은 공간적인 장소에 의해 구성되었다. 상기 세상의 객체들은 기준 평면 상의 높이에 따라 상세하게 여러 등급들로 표시될 수 있고, 가장 기본적인 선택 동작은 이들을 줌 인(zoom in) 및 랜드 온(land on)시키는 것이다.
예일 대학교에서 라이프스트림 프로젝트(Lifestreams project)는 완전하게 반대 방향으로 나아가고, 실제로 GUI를 분리-공간화(de-spatializing)시킨다. 사용자의 문헌들은 수정일에 의해 구성된 일종의 월드-라인(world-line) 또는 시간적인 스트림(temporal stream)으로서 나타나고, 다양한 방식으로 필터링될 수 있다.
이러한 3 개의 접근법들 모두는 참조의 주요 형태로서, 물건의 명칭을 정하는 것 및 명칭을 사용하는 것을 피하기 위해 시도된 정황을 위하여 종래의 파일 시스템들을 버린다. 이는, 이들이 파일 시스템들, 및 최대 지속성 및 효과적인 특성 중 하나처럼 보이는 UNIX의 구조의 계층적 명칭 공간을 매칭시키는 것을 어렵게 한다. 그럼에도 불구하고, 이러한 초기 실험들 중 하나는 여전하게 NLS/Augment의 엔겔하드(Engelhard)의 1968 년 데모만큼 중요하다는 것을 입증할 수 있다.
인간-기계장치-인터페이스의 개선된 시스템 및 방법에 대한 사용자 인터페이스들의 분야가 필요하다.
본 발명은 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 이와 연관된 모듈들 및 소프트웨어 구성요소들에 관한 것이다. 본 발명의 일부 실시예들에 따라서, IBHMI의 출력은 제 1 맵핑 테이블에 기반한 출력 스트링(output string) 또는 디지털 출력 명령으로 전환될 수 있다. IBHMI 맵핑 모듈은 IBHMI으로부터 하나 이상의 출력을 수신할 수 있고, 연산 플랫폼(computing platform)에 연관된 동일한 기능성 또는 또 다른 기능성을 진행하는 제 1 어플리케이션을 위한 스트링 또는 명령을 발생시킬 시에 제 1 맵핑 테이블을 참조할 수 있다. 맵핑 모듈은 키보드, 마우스, 조이스틱, 터치패드 또는 연산 플랫폼에 호환되고, 적합하거나, 조화되는 다른 인터페이스 장치에 필적할 수 있고, 이때 상기 연산 플랫폼 상에는 제 1 어플리케이션이 진행된다. 본 발명의 일부 실시예들에 따라서, IBHMI, 맵핑 모듈 및 제 1 어플리케이션은 동일한 연산 플랫폼 상에서 진행될 수 있다. 본 발명의 추가적인 실시예들에 따라서, IBHMI, 맵핑 모듈 및 제 1 어플리케이션은 단일 어플리케이션 또는 프로젝트에 통합될 수 있다.
본 발명의 일부 실시예들에 따라서, 제 1 맵핑 테이블은 맵핑 모듈이 액세스되는 이산 데이터 테이블(discrete data table)의 부분일 수 있거나, 또는 맵핑 테이블은 맵핑 모듈 그 자체로 통합될 수 있다(예를 들면, 객체 코드(object code)와 함께 포함됨). 제 1 맵핑 테이블은 제 1 어플리케이션에 연관될 수 있어서, 제 1 움직임/위치 타입(예를 들면, 우측 암(right arm)의 상승)의 위치의 움직임의 검출에 연관된 IBHMI의 제 1 출력은 맵핑 모듈에 의해 수신될 수 있고, 제 1 어플리케이션에 제공된 제 1 입력 명령(예를 들면, 스크롤 라이트(scroll right))에 맵핑될 수 있다. 제 1 맵핑 테이블에 따라서, 제 2 움직임/위치 타입(예를 들면, 좌측 암의 상승)의 움직임 또는 위치의 검출에 연관된 IBHMI1의 제 2 출력은 맵핑 모듈에 의해 수신될 수 있고, 제 1 어플리케이션에 제공된 제 2 입력 명령(예를 들면, 스크롤 레프트)에 맵핑될 수 있다. 맵핑 테이블은 IBHMI의 가능한 출력 일부 또는 모두에 대한 맵핑 기록을 포함할 수 있다. 맵핑 테이블은 제 1 어플리케이션의 가능한 입력 스트링들 또는 명령들 일부 또는 모두에 대한 맵핑 기록을 포함할 수 있다. 맵핑 테이블은 비-휘발성 메모리에 저장될 수 있거나, 또는 연산 플랫폼의 동작 메모리에 남아 있을 수 있다. 맵핑 테이블은 구성 파일 또는 프로파일 파일의 부분일 수 있다.
본 발명의 추가적인 실시예들에 따라서, 맵핑 모듈은, 제 2 테이블이 제 1 어플리케이션 또는 가능한 제 2 또는 제 3 어플리케이션에 연관될 수 있는 제 2 맵핑 테이블을 액세스할 수 있다. 제 2 맵핑 테이블은 하나 이상의 맵핑 기록을 포함할 수 있고, 상기 하나 이상의 맵핑 기록의 일부 중 맵핑 기록은 제 1 맵핑 테이블의 해당 기록과 동일할 수 있고, 일부 기록은 제 1 맵핑 테이블의 해당 기록과는 다를 수 있다. 이에 따라서, 맵핑 모듈이 제 2 맵핑 테이블을 사용할 시에, 동일한 IBHMI 출력 일부 또는 모두는 맵핑 모듈에 의해 발생된 상이한 출력 스트링 또는 명령을 초래할 수 있다.
본 발명의 추가적인 실시예들에 따라서, IBHMI 맵핑 테이블 발생기가 제공된다. 테이블 발생기는 IBHMI로부터 주어진 출력을 수신할 수 있고, 사용자에게 하나 이상의 선택권을 제공할 수 있고, 상기 하나 이상의 선택권에 관하여 출력 스트링 또는 명령은 주어진 IBHMI 출력에 연관된다. 상기 주어진 출력은, 영상 센서로부터 얻어진 영상(예를 들면, 비디오)에 검출되는 주어진 타입의 움직임/위치에 응답하여 IBHMI에 의해 발생될 수 있다. 상기 주어진 출력은, 영상/비디오 파일에 검출된 주어진 타입의 움직임/위치에 응답하여 IBHMI에 의해 발생될 수 있다. 본 발명의 추가적인 실시예들에 따라서, 맵핑 테이블 발생기는 각 출력에 연관된, 검출된 움직임/위치 타입의 그래픽 표시를 포함하여, 가능한 IBHMI 출력 일부 또는 모두를 저장할 수 있다. 발생기의 그래픽 사용자 인터페이스는, 맵핑되는 출력 스트링/명령, 또는 그렇지 않으면 주어진 움직임/위치 타입에 연관되는(예를 들면, 관련되는) 출력 스트링/명령을 선택하기 위해, 주어진 움직임/위치 타입 및 선택의 표시(선택적으로: 컴퓨터 발생)를 사용자에게 제공할 수 있다.
본 발명의 추가적인 실시예들에 따라서, 인간 모델을 포함하는 그래픽 인터페이스는 상관관계 단계를 위해 사용될 수 있다. 그래픽 모델(이용가능한 입력 수단을 사용함)을 움직임/이동시킴으로써, 사용자는 컴퓨터 이벤트들(예를 들면, 컴퓨터-시스템 또는 어플리케이션의 가능한 입력 신호)에 서로 관련된, 포착된 움직임(captured motion)(예를 들면, 위치, 이동, 몸짓 또는 이외의 기타)- 사용자(예를 들면, 사용자의 신체를 사용함)에 의해 나중에 흉내를 낼 수 있는 움직임을 선택할 수 있다. 대안적으로, 포착되고 서로 관련된 움직임은 광학적으로, 음성으로 획득될 수 있고, 기록되고/기록되거나, 정의된다.
나아가, 코드는 컴퓨터 이벤트들(상관관계 모듈)에 대한 포착된 움직임의 액세스 및 사용(예를 들면, 그래픽 인터페이스, SDK API를 통함)을 위한 다른 어플리케이션들에 의해 사용되기 위해 만들어질 수 있어서, 이러한 다른 어플리케이션 및 이들의 고유 사용자에 의해 나중에 상관관계/프로파일이 생성/개선될 수 있다.
상관관계들의 세트들은 프로파일로 그룹화될 수 있는 반면에, 프로파일은 서로 관련된 한 세트의 상관관계들(예를 들면, 특정하게 컴퓨화된 어플리케이션의 개시 및/또는 제어에 필요한 모든 컴퓨터 이벤트들에 대한 상관관계들)을 포함할 수 있다. 예를 들면: 하나 이상의 사용자들은 주어진 컴퓨터-시스템-또는-어플리케이션을 위해 프로파일화된 하나 이상의 이동을 "구현"할 수 있다. 이는 다수의 세트들의 서로 다른(또는 부분적으로 다른) 신체 이동을, 주어진 컴퓨터-시스템-또는-어플리케이션을 제어하는 가능한 입력 신호 또는 명령의 동일 목록과 서로 관련되게 하기 위해 행해질 수 있다.
본 발명의 일부 실시예들에 따라서, 주어진 프로파일이 완료되면(즉, 필요한 모든 컴퓨터 이벤트들에 대한 움직임이 정의됨), 사용자는 상기 컴퓨터 이벤트들을 실행하기 위한 이러한 움직임(예를 들면, 사용자 몸체 이동)을 사용하여 시작할 수 있다. 따라서, 컴퓨터-시스템-또는-어플리케이션을 제어하는 것은 사용자 고유의 정의에 의해 프로파일화된다. 사용자는 이들의 고유 사용자 또는 다른 사용자를 위해 프로파일들을 생성할 수 있다.
상관관계를 가지면, 포착된 움직임의 실행은 컴퓨터 이벤트들을 개시 및/또는 제어하기 위해 사용될 수 있다. 확실하게 실행되면, 포착되고 상관관계된 움직임은 해당 컴퓨터 이벤트, 예를 들면, 어플리케이션 실행가능한 명령(예를 들면, 키보드, 마우스 또는 조이스틱 작동에 이전에 할당된 명령)(이에 제한되지 않음)을 발생시킨다.
본 발명에 관한 내용은 특히 지적되고, 본원의 결말 부분에서 명확하게 청구된다. 그러나, 본 발명은 본 발명의 목적, 특징 및 이점과 함께, 동작 구성 및 방법 모두로서, 첨부된 도면과 함께 제시될 시에 다음의 상세한 설명을 참조함으로써 가장 잘 이해될 수 있고, 상기 첨부된 도면에서:
도 1은 신호 전환 모듈을 도시한 블럭도;
도 2는 신호 전환 시스템을 도시한 블럭도;
도 3a 및 3b는 IBHMI 신호 전환 시스템의 2 개의 개별 실시예의 실시 단계들을 나타내는 반-도시된 도면(semi-pictorial diagrams);
도 4는 본 발명의 일부 실시예들에 따른 신호 전환 시스템의 개선 단계에 연관된 기능 블럭도 및 신호 흐름도를 나타내는 반-도시된 도면;
도 5a, 5b 및 5c는 본 발명의 일부 실시예들에 따른 맵핑 테이블 발생기 실행 흐름의 단계들을 포함하는 각각의 순서도이다.
본 발명의 간료성 및 명료성에 대해 도면들에 도시된 소자들이 반드시 축척화될 필요가 없다는 것을 인식할 것이다. 예를 들면, 일부 소자들의 치수는 명료성을 위해 다른 소자들에 대해 과장될 수 있다. 나아가,고려된 적합한 참조 번호는 해당 소자들 또는 이와 유사한 소자들을 나타내기 위해 도면들에서 반복될 수 있다.
다음의 상세한 설명에 있어서, 수많은 특정 상세한 설명은 본 발명의 이해를 통해 제공되기 위해 설명된다. 그러나, 기술 분야의 당업자라면, 본 발명이 이러한 특정 상세한 설명 없이 실행될 수 있다는 것을 이해할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 구성요소들 및 회로들은 본 발명을 명확하게 하기 위해 설명을 상세하게 하지 않는다.
특히 별다른 지시가 없는 한, 다음 설명으로부터 명백해지는 바와 같이, 용어, 예를 들면, "처리", "연산", "계산", "판별" 등을 사용하는 본 명세서 전체가, 물리적, 예를 들면, 연산 시스템의 레지스터 및/또는 메모리 내의 전자 데이터 양을 연산 시스템의 메모리, 레지스터 또는 정보 저장, 전송 또는 디스플레이 장치들과 같은 다른 것들 내의 물리적 양으로서 유사하게 나타나는 다른 데이터들로 처리하고/처리하거나 변환시키는 컴퓨터 또는 연산 시스템, 또는 이와 유사한 전자 연산 장치의 작동 및/또는 처리를 일컫는다는 것을 인식해야 한다.
본 발명의 실시예들은 본원에서 동작을 실행하는 장치를 포함할 수 있다. 이 장치는 원하는 목적에 대해 특별하게 구성될 수 있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 작동되거나 또는 재구성된 일반적인 목적을 가진 컴퓨터를 포함할 수 있다. 상기와 같은 컴퓨터 프로그램은 컴퓨터 판독가능 저장 매체, 예를 들면, 플로피 디스크들, 광학 디스크들, CD-ROM들, 자기 광학 디스크들, 판독 전용 메모리들(ROM들), 랜덤 액세스 메모리들(RAM들), 전기적으로 프로그램가능한 판독 전용 메모리들(EPROM들), 전기적으로 제거가능하고 프로그램가능한 판독 전용 메모리들(EEPROM들), 자기 또는 광학 카드들, 또는 전자 명령들을 저장하기에 적합하고 컴퓨터 시스템 버스에 연결될 수 있는 다른 유형의 매체를 포함하지만, 이에 한정되지 않는 컴퓨터 판독가능 저장 매체에 저장될 수 있다.
본원에서 나타난 처리 및 표시는 본래부터 특별한 컴퓨터 또는 다른 장치에 관한 것은 아니다. 다양한 일반적인 목적을 가진 시스템들은 본원의 개시에 따른 프로그램들로 사용될 수 있거나, 또는 원하는 방법을 실행하기 위해 보다 특별한 장치를 구성하기에 편리할 수 있다. 다양한 이러한 시스템들에 대한 원하는 구조는 하술로부터 분명해질 것이다. 게다가, 본 발명의 실시예들은 특별한 프로그램 언어와 관련하여 기술되지 않는다. 다양한 프로그램 언어가 본원에서 기술된 바와 같이, 본 발명의 개시를 이행하기 위해 사용될 수 있다는 것을 인식해야 한다.
삭제
이제, 도 1을 참조하면, 신호 전환 소자, 예를 들면 신호 전환 모듈(100)이 도시된다. 신호 전환 모듈(100)은 출력 스트링을 디지털 출력 명령으로 전환할 수 있다. 신호 전환 모듈(100)은 포착된 움직임, 예를 들면, 포착된 움직임 출력(104)에 연관된 제 1 신호를 전환시키고, 변환시키거나 변형시켜서 어플리케이션 명령(106)과 같은 제 1 어플리케이션에 연관된 제 2 신호로 전환시킬 수 있는 맵핑 모듈, 예를 들면 맵핑 모듈(102)로 더 구성된다. 포착된 움직임 출력은 비디오 스트림, 그래픽 파일, 멀티미디어 신호일 수 있지만, 이러한 예들에 제한되지 않는다. 적용은 컴퓨터 게임, 콘솔 게임(console game), 콘솔 장치, 및 동작 시스템일 수 있지만, 그러나 이러한 예들에 제한되지 않는다.
본 발명의 일부 실시예들에 따라서, 맵핑 모듈(102)은 키보드, 마우스, 조이스틱, 터치패드 또는 제 1 어플리케이션이 진행되는 연산 플랫폼과 호환되는 다른 인터페이스 장치와 필적할 수 있다.
본 발명의 일부 실시예들에 따라서, 제 1 맵핑 테이블, 예를 들면, 맵핑 테이블(108)은, 맵핑 모듈(102)이 액세스하는 이산 데이터 테이블의 부분일 수 있거나, 또는 맵핑 테이블(108)은, 예를 들면, 맵핑 테이블이 객체 코드와 함께 포함되는 경우 맵핑 모듈(102) 그 자체로 통합될 수 있다. 맵핑 테이블(108)은 제 1 어플리케이션에 연관될 수 있어서, 제 1 움직임/위치 타입(예를 들면, 우측 암의 상승)의 위치의 움직임의 검출에 연관된 포착된 움직임 출력(104)은 맵핑 모듈(102)에 의해 수신될 수 있고, 제 1 어플리케이션에 제공된 입력 명령(106)(예를 들면, 스크롤 라이트)에 맵핑될 수 있다. 맵핑 테이블(108)에 따라서, 제 2 움직임/위치 타입(예를 들면, 좌측 암의 상승)의 움직임 또는 위치의 검출에 연관될 수 있는 포착된 움직임 출력(110)은 맵핑 모듈(102)에 의해 수신될 수 있고, 제 1 어플리케이션에 제공된 어플리케이션 명령(112)(예를 들면, 스크롤 레프트)에 맵핑될 수 있다. 맵핑 테이블(108)은 포착된 움직임 출력(104 및 110)과 같은 포착된 움직임 출력 일부 또는 모두에 대한 맵핑 기록을 포함할 수 있다. 맵핑 테이블은 어플리케이션 명령(106 및 112)과 같은 제 1 어플리케이션의 가능한 입력 스트링들 또는 명령들 일부 또는 모두에 대한 맵핑 기록을 포함할 수 있다.
본 발명의 추가적인 실시예에 따라서, 맵핑 모듈(102)은 제 1 어플리케이션 또는 가능한 제 2 또는 제 3 어플리케이션에 연관될 수 있는 맵핑 테이블(114)과 같은 제 2 맵핑 테이블을 액세스할 수 있다. 맵핑 테이블(114)은 하나 이상의 맵핑 기록을 포함할 수 있고, 상기 하나 이상의 맵핑 기록의 일부 중 맵핑 기록은 맵핑 테이블(108)의 해당 기록 및 일부 기록과 동일할 수 있고, 데이터 파일들 또는 이미지 파일들은 맵핑 테이블(108)의 해당 기록과는 다를 수 있다. 이에 따라서, 맵핑 모듈(102)이 맵핑 테이블(114)을 사용할 시에, 포착된 움직임(110)은 어플리케이션 명령(116)을 초래하면서, 포착된 움직임 출력(104)은 어플리케이션 명령(106)(맵핑 테이블(108)을 사용할 시에 동일한 결과물에 해당됨)을 초래한다. 맵핑 기록은 이산 데이터 파일의 부분, 예를 들면, 구성 파일 또는 프로파일 파일의 부분일 수 있다. 맵핑 기록은 IBHMI API 등의 실행하능한 코드 또는 제 1 어플리케이션 또는 제 2 어플리케이션과 통합될 수 있다.
도 2를 참조하면, 신호 전환 시스템(200)과 같은 신호 전환 시스템이 도시된다. 신호 전환 시스템(200)은 포착된 움직임, 예를 들면, 포착된 움직임 출력(204)에 연관된 제 1 신호를 전환할 수 있는 맵핑 모듈, 예를 들면, 맵핑 모듈(202)로 구성될 수 있고, 상기 제 1 신호를 제 1 어플리케이션, 예를 들면, 어플리케이션 명령(206)에 연관된 제 2 신호로 전환할 수 있다. 신호 전환 시스템(200)은 포착된 이동 감지 장치, 예를 들면, 영상 센서에 기반한 인간 기계장치 인터페이스(human machine interface)(IBHMI)(220)를 더 포함할 수 있고, 상기 인간 기계장치 인터페이스(IBHMI)(220)는 한 세트의 영상을 획득할 수 있고, 실질적으로 각 영상은 서로 다른 시점에 연관되고, 포착된 움직임 출력(204)을 출력한다. 신호 전환 시스템(200)은 연산 플랫폼, 예를 들면, 연산 플랫폼(224)에 연관된 게임 어플리케이션과 같은 어플리케이션을 더 포함할 수 있다. IBHMI(220)는 디지털 카메라, 비디오 카메라, 개인 휴대 정보 단말기, 및 이동 및/또는 셀폰, 비디오, 사진 등의 멀티미디어 신호를 감지 및/또는 저장하기 위해 구성된 기타 장치들을 포함할 수 있다.
신호 전환 시스템(200)이 도 1의 신호 전환 모듈(100)에 대하여 기술된 바와 같이, 동일한 기능성을 본질적으로 가질 수 있다는 것을 이해해야 한다. 나아가, 일부 실시예들에서, 포착된 움직임 출력(204)은 도 1의 포착된 움직임 출력(104), 및/또는 포착된 움직임 출력(110) 모두와 본질적으로 동일할 수 있다. 본 발명의 일부 실시예들에서, 맵핑 모듈(202)은 도 1의 맵핑 모듈(102)과 본질적으로 동일할 수 있다. 본 발명의 일부 실시예들에서, 어플리케이션 명령(206)은 도 1의 어플리케이션 명령(106, 112 및/또는 116) 모두와 본질적으로 동일할 수 있다.
선택적으로, 본 발명의 일부 실시예들에 따라서, IBHMI(220), 맵핑 모듈(202) 및/또는 어플리케이션(222)은 동일한 연산 플랫폼(224) 상에서 진행될 수 있다. 연산 플랫폼(224)은 퍼스널 컴퓨터, 컴퓨터 시스템, 서버, 집적 회로 및 기타 등을 포함하지만, 이러한 예들에 제한되지 않는다.
이제, 도 3a 및 3b를 참조하면, 본 발명의 실시예들의 2 개의 개별적인 실행도를 도시한다. 도 3a의 실행도를 따라서, 맵핑 모듈은 어플리케이션에 의해 사용된 API의 부분이다. API는 움직임 포착 엔진(예를 들면, IBHMI)에 기능적으로 연관되고, IBHMI 구성 프로파일은 맵핑 테이블을 포함한다. 도 3b는 맵핑 테이블 모듈 및 맵핑 테이블이 어플리케이션에 통합되어 실행되는 것을 도시한다.
도 3a는 신호 전환 시스템의 실행 단계, 예를 들면 실행 단계(400A)의 반-도시된 도면을 도시한다. 움직임(402)과 같은 움직임은 비디오 카메라(403) 등의 모니터 센서에 의해 포착된다. 포착된 움직임 출력, 예를 들면, 출력(404)은 한 세트의 영상을 나타낼 수 있고, 각 영상은 실질적으로 서로 다른 시점에서 비디오, 오디오/비디오, 멀티미디어 신호 등에 연관된다. 그 후에, 움직임 포착 엔진, 예를 들면, 움직임 포착 엔진(405)은 포착된 움직임 출력을, 어플리케이션, 예를 들면, 어플리케이션 명령(407)에 연관된 명령으로 전환시킨다. 움직임 포착 엔진(405)은 전환을 구성, 실행 또는 이행시키기 위해 IBHMI 구성 프로파일, 예를 들면, IBHMI 구성 프로파일(406)을 사용할 수 있고, 구성된 IBHMI는 포착된 움직임 출력(404) 및 어플리케이션 명령(407) 사이의 상관관계를 정의하고, 움직임 포착 엔진(405)에서 내장될 수 있다. 그 후, 어플리케이션 명령(407)은 인터페이스 어플리케이션(408) 등의 인터페이스 연산 시스템 또는 어플리케이션의 입력으로서 API를 통하여 전송된다. 실행 단계(400A)는 움직임(402)을 어플리케이션 명령(407)으로 전환하고, IBHMI 구성 프로파일(406)에 정의된, 미리 정의된 상관관계에 의해 움직임 포착 엔진을 통해 인터페이스 어플리케이션의 명령을 실행한다. 도 3b는 API에 대한 필요성을 제거하기 위해 어플리케이션에 통합된 도 3a의 다양한 구성요소들을 도시한다.
이제, 도 4를 참조하면, 도 4는 IBHMI 맵핑 테이블(예를 들면, 구성 파일)발생기/구성기의 상징적인 블럭도를 도시한다. 발생기는 맵핑 모듈 및 맵핑 테이블을 포함한 API를 통하여 어플리케이션에 의해 사용될 수 있는 맵핑 테이블을 가진 구성 파일을 발생시킬 수 있다. 추가적인 실시예들에 따라서, 발생기는 어플리케이션 프로젝트(application project)와 기능/콜 라이브러리(function/call libraries)(즉, SDK))를 연결할 수 있고, 상기 어플리케이션은 내장된 IBHMI 및 맵핑 모듈과 함께 발생될 수 있다.
이제, 도 5a를 참조하면, 도 5a는 순서도(500)에서 도시된 바와 같이, 맵핑 테이블 발생기 실행 순서도를 도시한다. 맵핑 테이블 발생기는 단계(502)에서 제시된 바와 같이 포착된 움직인 장치로부터 주어진 출력을 수신할 수 있고, 이때 상기 출력은 단계(501)에서 기술된 바와 같이, 가상적인 동시 라이브 영상으로부터 나타날 수 있다. 그 후, 테이블 발생기는 단계(503)에서 기술된 바와 같이, 주어진 포착된 움직임 출력에 연관되는 출력 스트링 또는 명령에 대한 하나 이상의 선택권을 사용자에게 제공할 수 있다. 본 발명의 일부 실시예들에서, 주어진 포착된 움직임 출력은 영상 센서로부터 얻어진 영상(예를 들면, 비디오)에서 검출되는 주어진 타입의 움직임/위치에 응답하여 IBHMI에 의해 발생될 수 있다. 그 후, 사용자는 단계(504)에 의해 기술된 바와 같이, 요청된 상관관계를 선택할 수 있다. 그 후, 맵핑 테이블 발생기는 추가적인 포착된 움직임을 수신하거나, 단계(505)에 기술된 바와 같이 다음의 단계로 연속되도록 진행될 수 있다. 처리 마지막에서, 상기 테이블 발생기는 단계(506)에 기술된 바와 같이, HMI 구성 프로파일을 생성할 수 있다. 단계(506)에 기술된 HMI 구성 프로파일은 도 1의 맵핑 모듈(102)과 같은 맵핑 모듈 또는 맵핑 테이블(108)과 같은 맵핑 테이블의 부분일 수 있다.
이제, 도 5b를 참조하면, 도 5b는 순서도(600)에서 제시된 바와 같이, 맵핑 테이블 발생기를 나타내는 순서도를 도시한다. 맵핑 테이블 발생기는 단계(602)에서 도시된 바와 같이, 저장 메모리로부터, 주어진 포착된 움직임 출력을 수신할 수 있다. 저장 메모리는 포착된 움직임 장치의 부분, 연산 플랫폼의 부분, 맵핑 테이블 발생기의 부분 등일 수 있지만, 이러한 예들에 제한되지 않는다. 나아가, 단계(602)에 기술된 저장 메모리는 플래시 메모리(flash memory), 하드 드라이브 또는 다른 것일 수 있지만, 이러한 예들에 제한되지 않는다. 단계들(603-606)은 상술된 도 5a의 해당 단계들(503-506)과 본질적으로 동일할 수 있다는 것을 이해하여야 한다.
이제, 도 5c를 참조하면, 도 5c는 순서도(700)에 도시된 바와 같이, 맵핑 테이블 발생기를 나타내는 순서도를 도시한다. 맵핑 테이블 발생기는 각 출력에 연관된 움직임/위치의 그래픽 표시를 포함하여, 가능한 IBHMI 출력의 일부 또는 모두를 저장할 수 있다. 맵핑 테이블 발생기의 그래픽 사용자 인터페이스(GUI)는, 단계(701)에 도시된 바와 같이, 맵핑되는 출력 스트링/명령, 또는 그렇지 않으면 주어진 움직임/위치 타입에 연관되는 출력 스트링/명령을 선택하기 위해, 주어진 움직임/위치 타입 및 선택의 표시(선택적으로: 컴퓨터 발생)를 사용자에게 제공할 수 있다. 그 후, 사용자는 단계(702)에 제시된 바와 같이, 어플리케이션 명령에 연관되는 움직임/위치를 선택할 수 있다. 단계들(703-706)이 기술된 바와 같이, 도 5a의 해당 단계들(503-506)과 본질적으로 동일하다는 것을 이해하여야 한다.
본 발명의 특정 특징이 본원에서 제시되고 기술되었지만, 많은 변형, 대체, 변화 및 균등물은 분야의 당업자에게 일어날 수 있을 것이다. 그러나, 첨부된 청구항들이 본 발명의 권리 범위 내에 포함될 시에는 상기와 같은 변형 및 변화 모두를 다룰 수 있다는 것을 이해하여야 한다.

Claims (14)

  1. 신호 전환 시스템으로서,
    제 1 움직임을 포착하고 포착된 제 1 움직임에 관련된 제 1 입력 신호를 발생하도록 구성된 입력 신호 발생 수단;
    사용자에 의한 제 1 명령 지정을 수용하도록 구성되며, 제 1 명령은 제 1 어플리케이션에 연관된 명령인, 명령 지정 수용 수단;
    입력 신호 발생 수단에 의해 발생하는 제 1 입력 신호를, 명령 지정 수용 수단에 의해 수용되는 제 1 명령과 연관시키는 제 1 구성 프로파일을 발생하도록 구성된 프로파일 발생 수단;
    제 1 구성 프로파일에 따라, 제 1 입력 신호를 제 1 명령으로 전환하도록 구성된 신호 전환 수단;
    스크린 상에, 인간 그래픽 모델을 표시하여 움직임 타입에 대한 하나 이상의 옵션을 제공하도록 구성된 움직임 타입 제공 수단; 및
    사용자에 의해 선택된 움직임 타입으로서, 스크린 상에 그래픽 모델을 이동시켜 사용자에 의해 정의된 움직임 타입을 수용하도록 구성된 움직임 타입 수용 수단;을 포함하고,
    상기 프로파일 발생 수단은 제 1 구성 프로파일로서 구성 프로파일을 발생하고, 구성 프로파일은, 움직임 타입 수용 수단에 의해 수용된 움직임 타입과 연관된 제 2 입력 신호를, 명령 지정 수용 수단에 의해 수용된 제 1 명령과 연관시키며,
    입력 신호 발생 수단은 움직임 타입 범위 내에 포함되는 제 2 움직임을 포착하고 제 2 입력 신호를 발생하고,
    신호 전환 수단은 제 1 구성 프로파일에 따라 제 2 입력 신호를 제 1 명령으로 전환하는, 신호 전환 시스템.
  2. 제 1 항에 있어서,
    제 1 어플리케이션과 연관될 명령에 대한 사용자 선택에 있어서 하나 이상의 옵션을 제공하도록 구성된 옵션 제공 수단을 더 포함하며,
    명령 지정 수용 수단은 하나 이상의 옵션으로부터 사용자에 의한 명령에 대한 선택을 수용하는, 신호 전환 시스템.
  3. 제 1 항에 있어서,
    포착된 제 1 움직임을 저장하도록 구성된 저장 수단을 포함하고,
    입력 신호 발생 수단은, 저장 수단에 저장된 포착된 제 1 움직임과 연관된 제 1 입력 신호를 발생하는, 신호 전환 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    입력 신호 발생 수단은 제 3 움직임을 포착하고 포착된 제 3 움직임과 연관된 제 3 입력 신호를 발생하고,
    명령 지정 수용 수단은 사용자에 의한 제 2 명령 지정을 수용하고, 제 2 명령은 제 2 어플리케이션과 연관되는 명령이며,
    프로파일 발생 수단은, 입력 신호 발생 수단에 의해 발생한 제 3 입력 신호를 명령 지정 수용 수단에 의해 수용된 제 2 명령과 연관시키는, 제 2 구성 프로파일을 발생하고,
    신호 전환 수단은, 제 2 구성 프로파일에 따라, 제 3 입력 신호를 제 2 명령으로 전환하는, 신호 전환 시스템.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    명령 지정 수용 수단은, 사용자에 의한 제 2 명령 지정을 수용하고, 제 2 명령은, 제 2 어플리케이션과 연관되며,
    프로파일 발생 수단은, 입력 신호 발생 수단에 의해 발생한 제 1 입력 신호를, 명령 지정 수용 수단에 의해 수용된 제 2 명령과 연관시키는 제 3 구성 프로파일을 발생하고,
    신호 전환 수단은, 제 3 구성 프로파일에 따라 제 1 입력 신호를 제 2 명령으로 전환하는, 신호 전환 시스템.




  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020117007673A 2008-09-04 2009-09-06 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어 Active KR101511819B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9407808P 2008-09-04 2008-09-04
US61/094,078 2008-09-04
PCT/IL2009/000862 WO2010026587A1 (en) 2008-09-04 2009-09-06 Method system and software for providing image sensor based human machine interfacing

Publications (2)

Publication Number Publication Date
KR20110086687A KR20110086687A (ko) 2011-07-29
KR101511819B1 true KR101511819B1 (ko) 2015-04-13

Family

ID=41796797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117007673A Active KR101511819B1 (ko) 2008-09-04 2009-09-06 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어

Country Status (7)

Country Link
US (1) US20110163948A1 (ko)
EP (1) EP2342642A1 (ko)
JP (2) JP5599400B2 (ko)
KR (1) KR101511819B1 (ko)
CA (1) CA2735992A1 (ko)
IL (1) IL211548A (ko)
WO (1) WO2010026587A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1789928A4 (en) 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
JP5540002B2 (ja) 2008-10-24 2014-07-02 エクストリーム リアリティー エルティーディー． 画像センサ式ヒューマンマシンインターフェイスを提供するための方法、システムと関連モジュール、およびソフトウエアコンポーネント
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
EP2480951A4 (en) 2009-09-21 2014-04-30 Extreme Reality Ltd METHOD, CIRCUITS, DEVICES AND SYSTEMS FOR A HUMAN MACHINE INTERFACE WITH AN ELECTRONIC DEVICE
EP2628303A1 (en) 2011-01-23 2013-08-21 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
CA2826288C (en) 2012-01-06 2019-06-04 Microsoft Corporation Supporting different event models using a single input source
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN102707882A (zh) * 2012-04-27 2012-10-03 深圳瑞高信息技术有限公司 虚拟图标触摸屏应用程序的操控转换方法及触摸屏终端
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN204480228U (zh) * 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
EP3133467A1 (en) * 2015-08-17 2017-02-22 Bluemint Labs Universal contactless gesture control system
WO2017212641A1 (ja) * 2016-06-10 2017-12-14 三菱電機株式会社 ユーザインタフェース装置及びユーザインタフェース方法
DK201670616A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices and Methods for Accessing Prevalent Device Functions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001246161A (ja) 1999-12-31 2001-09-11 Square Co Ltd ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体
US20070259717A1 (en) 2004-06-18 2007-11-08 Igt Gesture controlled casino gaming system
US20080013826A1 (en) 2006-07-13 2008-01-17 Northrop Grumman Corporation Gesture recognition interface system

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4376950A (en) * 1980-09-29 1983-03-15 Ampex Corporation Three-dimensional television system using holographic techniques
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5515183A (en) * 1991-08-08 1996-05-07 Citizen Watch Co., Ltd. Real-time holography system
US5691885A (en) * 1992-03-17 1997-11-25 Massachusetts Institute Of Technology Three-dimensional interconnect having modules with vertical top and bottom connectors
JP3414417B2 (ja) * 1992-09-30 2003-06-09 富士通株式会社 立体画像情報伝送システム
JPH06161652A (ja) * 1992-11-26 1994-06-10 Hitachi Ltd ペン入力コンピュータ及びそれを用いた書類審査システム
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
US5835133A (en) * 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5909218A (en) * 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US5852450A (en) * 1996-07-11 1998-12-22 Lamb & Company, Inc. Method and apparatus for processing captured motion data
US5831633A (en) * 1996-08-13 1998-11-03 Van Roy; Peter L. Designating, drawing and colorizing generated images by computer
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
JPH10188028A (ja) * 1996-10-31 1998-07-21 Konami Co Ltd スケルトンによる動画像生成装置、該動画像を生成する方法、並びに該動画像を生成するプログラムを記憶した媒体
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6243106B1 (en) * 1998-04-13 2001-06-05 Compaq Computer Corporation Method for figure tracking using 2-D registration and 3-D reconstruction
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6303924B1 (en) * 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6529643B1 (en) * 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
US6657670B1 (en) * 1999-03-16 2003-12-02 Teco Image Systems Co., Ltd. Diaphragm structure of digital still camera
DE19917660A1 (de) * 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6597801B1 (en) * 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
US7123292B1 (en) * 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
EP1117072A1 (en) * 2000-01-17 2001-07-18 Koninklijke Philips Electronics N.V. Text improvement
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6906687B2 (en) * 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US7116330B2 (en) * 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US7061532B2 (en) * 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
WO2002099541A1 (en) * 2001-06-05 2002-12-12 California Institute Of Technology Method and method for holographic recording of fast phenomena
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
AU2002361483A1 (en) * 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
AU2003292490A1 (en) * 2003-01-17 2004-08-13 Koninklijke Philips Electronics N.V. Full depth map acquisition
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1627294A2 (en) * 2003-05-01 2006-02-22 Delta Dansk Elektronik, Lys & Akustik A man-machine interface based on 3-d positions of the human body
WO2005036456A2 (en) * 2003-05-12 2005-04-21 Princeton University Method and apparatus for foreground segmentation of video sequences
US7831088B2 (en) * 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
JP2005020227A (ja) * 2003-06-25 2005-01-20 Pfu Ltd 画像圧縮装置
JP2005025415A (ja) * 2003-06-30 2005-01-27 Sony Corp 位置検出装置
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
WO2005103863A2 (en) * 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
WO2005093637A1 (de) * 2004-03-29 2005-10-06 Hoffmann Andre Verfahren und system zur identifikation, verifikation, erkennung und wiedererkennung
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7366278B2 (en) * 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
EP1789928A4 (en) * 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
GB0424030D0 (en) * 2004-10-28 2004-12-01 British Telecomm A method and system for processing video data
US7386150B2 (en) * 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification
US7903141B1 (en) * 2005-02-15 2011-03-08 Videomining Corporation Method and system for event detection by multi-scale image invariant analysis
US7774713B2 (en) * 2005-06-28 2010-08-10 Microsoft Corporation Dynamic user experience with semantic rich objects
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
CN101479765B (zh) * 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US8022935B2 (en) * 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7936932B2 (en) * 2006-08-24 2011-05-03 Dell Products L.P. Methods and apparatus for reducing storage size
US20080104547A1 (en) * 2006-10-25 2008-05-01 General Electric Company Gesture-based communications
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
US8756516B2 (en) * 2006-10-31 2014-06-17 Scenera Technologies, Llc Methods, systems, and computer program products for interacting simultaneously with multiple application programs
US7885480B2 (en) * 2006-10-31 2011-02-08 Mitutoyo Corporation Correlation peak finding method for image correlation displacement sensing
US8793621B2 (en) * 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
US7916944B2 (en) * 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
CN101802760B (zh) * 2007-08-30 2013-03-20 奈克斯特控股有限公司 具有改进照明的光学触摸屏
US9451142B2 (en) * 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
EP2327061A4 (en) * 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
CA2748037C (en) * 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8466934B2 (en) * 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001246161A (ja) 1999-12-31 2001-09-11 Square Co Ltd ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体
US20070259717A1 (en) 2004-06-18 2007-11-08 Igt Gesture controlled casino gaming system
US20080013826A1 (en) 2006-07-13 2008-01-17 Northrop Grumman Corporation Gesture recognition interface system

Also Published As

Publication number Publication date
KR20110086687A (ko) 2011-07-29
EP2342642A1 (en) 2011-07-13
WO2010026587A1 (en) 2010-03-11
US20110163948A1 (en) 2011-07-07
IL211548A (en) 2015-10-29
JP5599400B2 (ja) 2014-10-01
JP2013175242A (ja) 2013-09-05
CA2735992A1 (en) 2010-03-11
IL211548A0 (en) 2011-05-31
JP2012502344A (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101511819B1 (ko) 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어
US20230152936A1 (en) 3D Interactions with Web Content
KR101660134B1 (ko) 애플리케이션들 간의 객체들의 드래그 앤 드롭
US11704142B2 (en) Computer application with built in training capability
KR102470907B1 (ko) 잉크 스트로크 편집 및 조작 기법
US11010141B2 (en) Graphical interface to generate instructions to control a representation by an output interface of one or more objects
US10013059B2 (en) Haptic authoring tool for animated haptic media production
US20120317509A1 (en) Interactive wysiwyg control of mathematical and statistical plots and representational graphics for analysis and data visualization
WO2017065991A1 (en) Generation of application behaviors
CN102981818A (zh) 基于情境的动画库
Dörner et al. Content creation and authoring challenges for virtual environments: from user interfaces to autonomous virtual characters
JP5866085B1 (ja) ユーザインタフェース装置およびユーザインタフェース装置の画面表示方法
JP2015504199A (ja) 入力マッピング領域
Lamberti et al. Extensible GUIs for remote application control on mobile devices
CN119862103A (zh) 协作混合现实对象的测试
EP2889738A1 (en) Computer-implemented method for designing a three-dimensional modeled object
EP3479220B1 (en) Customizable compact overlay window
CN110147260B (zh) 实现场景过渡动画的方法、介质、装置和计算设备
KR101110226B1 (ko) 컴퓨터, 입력 방법, 및 컴퓨터 판독 가능 매체
CN113407078A (zh) 字符图标的编辑方法、装置、存储介质及终端
US10552022B2 (en) Display control method, apparatus, and non-transitory computer-readable recording medium
Krekhov MorphableUI: a hypergraph-based approach to distributed multimodal interaction for rapid prototyping and changing environments
Donchyts et al. Benefits of the use of natural user interfaces in water simulations
US9733783B1 (en) Controlling a user interface
CN117971220A (zh) 控件显示方法、介质、装置和计算设备

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20110401

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140905

Comment text: Request for Examination of Application

A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20140929

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150209

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150407

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150407

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181005

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20181005

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190404

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190404

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200831

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210315

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220310

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230328

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240402

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250211

Start annual number: 11

End annual number: 11