[go: up one dir, main page]

KR20170085000A - 햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들 - Google Patents

햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20170085000A
KR20170085000A KR1020170003484A KR20170003484A KR20170085000A KR 20170085000 A KR20170085000 A KR 20170085000A KR 1020170003484 A KR1020170003484 A KR 1020170003484A KR 20170003484 A KR20170003484 A KR 20170003484A KR 20170085000 A KR20170085000 A KR 20170085000A
Authority
KR
South Korea
Prior art keywords
haptic
user
signal
sensor
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020170003484A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-헤르난데즈
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170085000A publication Critical patent/KR20170085000A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 명세서에 개시된 하나의 예시적인 시스템은 신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하도록 구성되는 프로세서를 포함한다. 프로세서는 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하도록 또한 구성된다. 프로세서는 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하도록 또한 구성된다. 프로세서는 햅틱 효과와 연관되는 햅틱 신호를 전송하도록 또한 구성된다. 예시적인 시스템은 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스를 추가로 포함한다.

Description

햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR HAPTICALLY-ENABLED NEURAL INTERFACES}
본 발명은 사용자 인터페이스 디바이스 분야와 관련된다. 보다 상세하게는, 본 발명은 햅틱 가능 신경 인터페이스(haptically-enabled neural interface) 분야와 관련된다.
컴퓨터에 기초한 시스템들이 더 보편적이 됨에 따라, 연구자들은 사용자가 그를 통해 이러한 시스템들과 상호 작용할 수 있는 새로운 인터페이스들을 탐구하고 있다. 최근에 개발된 한 가지 인터페이스는 뇌-컴퓨터 인터페이스(BCI: brain-computer interface)와 같은 신경 인터페이스이다. BCI는 사용자의 뇌와 외부 컴퓨팅 디바이스 사이의 직접 통신 경로를 포함할 수 있다. 일부 BCI들은 사용자의 뇌 또는 두개골에 이식된 탐침들 또는 전극들을 이용하는데, 이것들은 직접적으로 사용자의 뇌로부터 외부 컴퓨팅 디바이스에게 전기적 신호들을 전송한다. 다른 BCI들은 사용자의 머리 외부(예를 들어, 사용자의 이마)에 결합되어 사용자의 두개골을 통해 사용자의 뇌로부터 전기적 신호들(예를 들어, 전자기파)을 검출하고 외부 컴퓨팅 디바이스에게 센서 신호들을 전송하는 센서들을 사용한다. 신경 인터페이스들은 햅틱 능력을 포함함으로써 향상될 수 있다.
본 개시 내용의 실시예들은 햅틱 가능 신경 인터페이스들을 개시한다. 일 실시예에서, 본 개시 내용의 시스템은 신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하도록 구성되는 프로세서를 포함할 수 있다. 프로세서는 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하도록 또한 구성될 수 있다. 프로세서는 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하도록 또한 구성될 수 있다. 프로세서는 햅틱 효과와 관련되는 햅틱 신호를 전송하도록 또한 구성될 수 있다. 시스템은 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스를 추가로 포함할 수 있다.
또 다른 실시예에서, 본 개시 내용의 방법은 신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하는 단계를 포함할 수 있다. 본 방법은 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하는 단계를 또한 포함할 수 있다. 본 방법은 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계를 또한 포함할 수 있다. 본 방법은 햅틱 출력 디바이스에게 햅틱 효과와 연관되는 햅틱 신호를 전송하는 단계를 추가로 포함할 수 있다. 햅틱 출력 디바이스는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성될 수 있다. 또 다른 실시예는 그러한 방법을 구현하기 위한 컴퓨터 판독가능 매체를 포함한다.
이 예시적 실시예들은 본 발명 대상의 범위를 제한하거나 한정하기 위한 것이 아니라, 본 발명의 이해를 돕기 위한 예를 제공하기 위해 언급되는 것이다. 예시적 실시예들이 상세한 설명에서 논의되고 있으며, 추가적인 설명이 제공되어 있다. 다양한 실시예들에 의해 제공되는 이점은 본 명세서를 검토함으로써 및/또는 특허청구범위 대상의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.
충분한 설명으로 구현을 가능케 하는 개시 내용이 명세서의 나머지 부분에서 보다 구체적으로 제시된다. 명세서는 다음의 첨부된 도면을 참조한다.
도 1은 햅틱 가능 신경 인터페이스들을 위한 시스템의 예시적 실시예를 보여준다;
도 2는 일 실시예에 따른 햅틱 가능 신경 인터페이스들을 위한 시스템을 보여주는 블록도이다;
도 3은 햅틱 가능 신경 인터페이스들을 위한 시스템의 실시예를 보여준다;
도 4는 햅틱 가능 신경 인터페이스들을 위한 시스템의 또 다른 실시예를 보여준다; 및
도 5는 일 실시예에 따른 햅틱 가능 신경 인터페이스들을 제공하기 위한 방법을 수행하기 위한 단계들의 흐름도이다.
이제, 다양한 대안적이고 예시적인 실시예들 및 첨부 도면들에 대한 참조가 상세하게 이루어질 것이다. 각각의 예는 설명을 위해 제공되며 제한 사항으로 제공되지 않는다. 통상의 기술자에게는 수정 및 변형이 이루어질 수 있음이 명백할 것이다. 사례를 들면, 일 실시예의 일부로서 도시되거나 설명된 특징들은 또 다른 실시예에서 사용되어 또 다시 추가 실시예를 산출할 수 있다. 따라서, 본 개시 내용은 첨부된 청구항 및 그 균등물의 범위 내에 드는 수정 및 변형을 포함하는 것으로 의도된다.
햅틱 가능 신경 인터페이스들의 예시적 예들
도 1은 햅틱 가능 신경 인터페이스들을 위한 시스템(100)의 예시적 실시예를 보여준다. 시스템(100)은 컴퓨팅 디바이스(112)를 포함한다. 시스템(100)은 또한 (예를 들어, 컴퓨팅 디바이스와의 유선 또는 무선 통신으로) 컴퓨팅 디바이스(112)와의 전기 통신 상태에 있는 하나 이상의 신경 센서(106, 108, 110)를 포함한다. 신경 센서들(106, 108, 110)은 사용자의 뇌(104), 척추, 및/또는 신경과 같은 사용자의 신경계의 적어도 일부분과 전기적으로 결합하도록 구성된다. 신경 센서들(106, 108, 110)이 사용자의 뇌(104)로부터 뇌 신호를 검출하기 위해 위치될 때, 시스템(100)은 뇌-컴퓨터 인터페이스(BCI)로서 지칭될 수 있다. 그러나 실시예들은 뇌-컴퓨터 인터페이스들로만 제한되지 않고, 시스템(100)은 사용자의 신경계의 적어도 일부분을 통하여 전파되는 신경 신호들을 검출하기 위해 (예를 들어, 사용자의 몸의 어딘가에, 또는 근처에) 위치되는 임의의 수 및 구성의 신경 센서들(106, 110, 108)을 포함할 수 있다.
도 1에 도시된 실시예에서, 시스템(100)은 사용자의 두개골 내에 위치된 및/또는 사용자의 뇌(104)에 직접 결합되는 신경 센서(106)(예를 들어, 전극)를 포함한다. 일부 실시예들에서, 신경 센서(106)는 사용자의 뇌(104)의 일부분에 직접 이식된다. 그러한 신경 센서(106)는 사용자의 뇌(104)와 접촉하고 또한 직접적으로 사용자의 뇌(104)로부터 전기적 신호들을 수신할 수 있다. 덧붙여 또는 대안적으로, 시스템 (100)은 사용자의 두개골에 (예를 들어, 사용자의 머리 외측에) 외부적으로 결합된 하나 이상의 신경 센서(108, 110)를 포함할 수 있다. 예를 들어, 예시적 실시예에서, 시스템(100)은 사용자의 이마에 결합되는 어느 한 신경 센서(108) 및 사용자 머리의 뒤쪽에 또는 상부에 결합되는 또 다른 신경 센서(110)를 포함한다. 그와 같은 신경 센서들(108, 110)은 사용자의 두개골 및/또는 두피를 통하여 사용자의 뇌(104)에 의해 출력되는 전기적 신호들(예를 들어, 신경 신호들)을 검출할 수 있다. 신경 센서들(106, 108, 110)은 사용자의 뇌(104)에 의해 출력되는 전기적 신호들과 관련되거나 또는 다른 방식으로 사용자의 신경계와 관련되는 센서 신호들을 컴퓨팅 디바이스(112)에게 전송하도록 구성된다.
예시적 실시예에서, 컴퓨팅 디바이스(112)는 신경 센서들(106, 108, 110)로부터 센서 신호들을 수신하고 및 이 센서 신호들에 기초하여 하나 이상의 햅틱 효과(예를 들어, 질감, 진동, 치는 느낌, 찌르는 느낌, 및/또는 인지된 마찰 계수에서의 변화)를 결정하도록 구성된다. 컴퓨팅 디바이스(112)는 햅틱 효과와 관련되는 하나 이상의 햅틱 신호들을 하나 이상의 햅틱 출력 디바이스(114, 116)에게 전송하도록 구성된다. 햅틱 출력 디바이스들(114, 116)은 컴퓨팅 디바이스(112)로부터 햅틱 신호들을 수신하고 햅틱 효과들을 출력하도록 구성된다.
일부 실시예들에서, 컴퓨팅 디바이스(112)는 햅틱 출력 디바이스(114)를 포함할 수 있다. 그러한 실시예에서, 사용자(102)는 햅틱 출력 디바이스(114)에 의해 출력되는 햅틱 효과를 인지하기 위해 컴퓨팅 디바이스(112)를 꽉 쥐거나 잡을 수 있다.
예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(112)는 가상 환경을 발생한다. 본 명세서에 사용되는 것처럼, 가상 환경은 부분적으로 또는 전적으로 가상인 환경을 포함한다. 예를 들어, 가상 환경은 증강 현실 환경, 가상 현실 환경, 비디오 게임 환경, 기타 등등을 포함할 수 있다. 그러한 일 실시예에서, 컴퓨팅 디바이스(112)는 가상 군사 게임과 같은 비디오 게임을 실행할 수 있다. 컴퓨팅 디바이스(112)는 비디오 게임과 연관된 콘텐츠를 디스플레이상에 표시할 수 있다. 예를 들어, 컴퓨팅 디바이스(112)는 사용자(102)에 의해 제어 가능한 가상 물체(예를 들어, 문자, 차량 또는 무기)와 함께 비디오 게임과 연관되는 가상 전쟁 구역을 표시할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(112)는 신경 센서들(106, 108, 110)로부터 센서 신호들을 수신하고 센서 신호들에 기초하여 가상 환경 내의 가상 물체와의 상호 작용 및/또는 이것의 조작을 결정한다. 컴퓨팅 디바이스(112)는 상호 작용 및/또는 조작이 가상 환경 내에서 일어나도록 야기할 수 있다. 그러므로, 사용자는 사용자의 마음으로 가상 물체와 상호 작용하고 및/또는 이것을 조작할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(112)는 가상 환경 내의 가상 물체의 상호 작용 및/또는 조작에 기초하여 햅틱 효과를 결정하고 햅틱 효과가 출력되도록 야기할 수 있다. 예를 들어, 컴퓨팅 디바이스(112)는 신경 센서들(106, 108, 110)으로부터 센서 신호들을 수신하고 및 센서 신호들에 기초하여 가상 물체가 움직여야 하는지, 예를 들어 울퉁불퉁한 지형에 걸쳐서 전진해야 하는지를 결정할 수 있다. 예시적 실시예에서, 컴퓨팅 디바이스(112)는 또한 가상 물체의 움직임과 연관되는 햅틱 효과들을 결정하고 출력한다. 예를 들어, 가상 물체가 울퉁불퉁한 지형을 가로지름에 따라, 컴퓨팅 디바이스(112)는, 예를 들어 울퉁불퉁한 지형을 시뮬레이션하도록 구성되는 하나 이상의 진동을 결정하고 출력할 수 있다. 이런 방식으로, 사용자(102)는 사용자의 뇌(104)로부터의 신호들을 통해 가상 물체들과 상호 작용하고 및/또는 이것을 조작하고 및 연관된 햅틱 효과들을 수신할 수 있다.
이상에서의 예시적 실시예의 설명은 단지 일 예로서 제공되어 있다. 본 발명의 다양한 기타 실시예들이 본 명세서에 기술되어 있고, 이 실시예들의 변동들이 통상의 기술자에 의해 이해될 것이다. 다양한 실시예들에 의해 제공되는 이점은 본 명세서를 검토함으로써 및/또는 특허청구범위 대상의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.
햅틱 가능 신경 인터페이스들을 위한 예시적 시스템들
도 2는 일 실시예에 따른 햅틱 가능 신경 인터페이스 햅틱 효과들을 위한 시스템을 보여주는 블록도이다. 시스템은 컴퓨팅 디바이스(201)를 포함한다. 일부 실시예들에서, 컴퓨팅 디바이스(201)는 두부 장착형 컴퓨팅 디바이스, 모바일 디바이스(예를 들어, 스마트폰, 태블릿, e-리더, 또는 랩톱 컴퓨터), 데스크톱 컴퓨터, 휴대용 게임 디바이스를 포함한다. 기타 실시예들에서, 컴퓨팅 디바이스(201)는 착용가능 디바이스(예를 들어, 반지, 구두, 완장, 소매, 재킷, 안경, 장갑, 시계, 손목밴드, 팔찌, 의류, 모자, 머리띠, 및/또는 보석류)를 포함할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(201)의 컴포넌트들(예를 들어, 프로세서(202), 네트워크 디바이스들(210), 센서(230), 기타 등등)은 단일 하우징 내에 통합될 수 있다. 기타 실시예들에서, 컴포넌트들은 (예를 들어, 다중 하우징 또는 위치들 중에) 분포되고 서로 전기 통신 상태에 있을 수 있다. 컴퓨팅 디바이스(201)는 도 2에 묘사된 모든 컴포넌트들을 포함하거나 그렇지 않을 수 있다. 예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(201)는 스피커(22), 후각 디바이스(234), 및 디스플레이(216)를 포함하지 않을 수 있다.
도 2에 도시되는 실시예에서, 컴퓨팅 디바이스(201)는 버스(206)를 경유해 다른 하드웨어와 통신 상태에 있는 프로세서(202)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형적(tangible)(및 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(204)는 컴퓨팅 디바이스(201)의 동작을 구성하는 프로그램 컴포넌트들을 구체화할 수 있다. 도시된 실시예에서, 컴퓨팅 디바이스(201)는 하나 이상의 네트워크 인터페이스 디바이스(210), 입/출력(I/O) 인터페이스 컴포넌트들(212) 및 스토리지(214)를 추가로 포함한다.
네트워크 디바이스(210)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, 블루투스, 또는 셀 방식 전화 네트워크들에 액세스하기 위한 무선 인터페이스(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)가 있지만 이들로만 제한되지는 않는다.
I/O 컴포넌트들(212)은, 데이터를 입력하거나 데이터를 출력하는데 사용되는 하나 이상의 디스플레이(216), 게임 제어기, 키보드, 마우스, 조이스틱, 카메라, 버튼, 스피커, 마이크로폰, 및/또는 다른 하드웨어와 같은 디바이스들에 대한 유선 또는 무선 접속을 용이하게 하기 위해 사용될 수 있다. 스토리지(214)는, 컴퓨팅 디바이스(201)에 포함되거나 프로세서(202)에 결합되는 자기, 광학 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다.
일부 실시예들에서, 컴퓨팅 디바이스(201)는 하나 이상의 센서(230)를 포함한다. 센서(230)는 센서(230) 신호들을 프로세서(202)에게 전송하도록 구성된다. 센서들(230)은, 예를 들어, 카메라, 자이로스코프, 가속도계, GPS(global positioning system) 유닛, 범위 센서, 또는 깊이 센서를 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(201)는 센서(230)로부터의 센서 신호들에 기초하여 가상 물체를 조작하고 및/또는 햅틱 효과를 발생할 수 있다.
컴퓨팅 디바이스(201)는 또한 디스플레이(216), 스피커(222), 및/또는 후각 디바이스(234)를 포함할 수 있다. 디스플레이(216)는 (예를 들어, 프로세서(202)로부터) 비디오 신호를 수신하고 및 하나 이상의 이미지를 사용자에게 출력하도록 구성되는 임의의 컴포넌트들을 포함한다. 디스플레이(216)는, 예를 들어, 헤드 장착 디스플레이, 텔레비전, 프로젝터, 컴퓨터 모니터, 및/또는 LCD(liquid crystal display)를 포함할 수 있다. 일부 실시예들에서, 디스플레이(216)는 터치-스크린 디스플레이를 형성하기 위해 터치 감지 표면과 통합될 수 있다. 스피커(222)는 오디오 신호를 (예를 들어, 프로세서(202)로부터) 수신하고 및 하나 이상의 소리를 출력하도록 구성되는 임의의 컴포넌트들을 포함한다. 후각 디바이스(234)는 후각 신호를 (예를 들어, 프로세서(202)로부터) 수신하고 및 사용자가 인식할 수 있는 하나 이상의 냄새를 출력하도록 구성되는 컴포넌트들을 포함한다. 후각 디바이스(234)는 하나 이상의 냄새를 발생하기 위한 임의의 수 및 구성의 향수, 향료, 액체, 고체, 겔, 및/또는 가스를 포함할 수 있다. 후각 디바이스(234)는 후각 신호를 수신하고 및 목표 냄새를 발생하기 위해 향수, 향료, 액체, 고체, 겔, 및/또는 가스 중 하나 이상을 출력할 수 있다.
시스템은 또한 신경 센서(232)를 포함한다. 신경 센서(232)는 사용자의 신경계로부터 전기적 신호들(예를 들어, 신경 신호들)을 검출하고 및 하나 이상의 연관된 센서 신호들을 프로세서(202)에게 전송하도록 구성된다. 신경 센서(232)는 유선 인터페이스, 또는 IEEE 802.11, 블루투스 또는 무선 인터페이스와 같은 무선 인터페이스를 경유해 프로세서(202)와 통신 상태에 있을 수 있다. 신경 센서 (232)는 하나 이상의 탐침; 뇌파도(EEG) 전극과 같은 전극; 분광 센서; 자기 공명 영상 시스템(예를 들어, fMRI 시스템); 및/또는 용량성 센서를 포함할 수 있다. 덧붙여 또는 대안적으로, 신경 센서(232)는 배터리 및/또는 다른 전원, 프로세서, 메모리, 전기적 자극 디바이스, 자력계, 및/또는 다른 컴포넌트를 포함할 수 있다.
일부 실시예들에서, 신경 센서(232)는 출력 디바이스를 포함한다. 신경 센서(232)는 사용자로 하여금 실제로 존재하지 않을 수 있고 및/또는 물리적으로 사용자에 의해 검출되지 않을 수 있는 감각들(예를 들어, 맛, 냄새, 비주얼, 소리, 및/또는 촉감)을 인식하도록 야기하기 위해 사용자의 신경계(예를 들어, 사용자의 뇌) 중 적어도 일부분을 자극할 수 있다. 예를 들어, 신경 센서(232)는 프로세서(202)로부터 햅틱 신호를 수신하고 및 그에 응답하여 사용자로 하여금 실제로 물리적으로 존재하지 않을 수 있는 촉감을 인식하도록 야기하도록 구성되는 방식으로 사용자의 뇌 또는 또 다른 몸체 부분을 자극하도록 구성될 수 있다. 그러한 촉감은 명백한 햅틱 효과로서 지칭될 수 있다. 예를 들어, 핀이 실제로 사용자의 팔을 실제로 찌르지는 않았다 하더라도, 신경 센서(232)는 사용자로 하여금 사용자의 팔에서 핀의 찌름을 인식하도록 야기하게 구성되는 방식으로, 사용자의 뇌 또는 사용자의 팔에서의 신경을 자극할 수 있다.
일부 실시예들에서, 신경 센서(232)는 덧붙여 또는 대안적으로 사용자로 하여금 맛, 냄새, 비주얼, 소리, 및/또는 다른 감각을 인식하도록 야기하게 구성되는 방식으로 사용자의 신경계를 자극할 수 있다. 예를 들어, 신경 센서(232)는 사용자로 하여금 시각, 청각, 후각, 또는 다른 감각을 인식하도록 야기하기 위해 사용자의 뇌에 하나 이상의 전류 펄스를 인가하도록 구성되는 전기적 자극 디바이스를 포함할 수 있다.
일부 실시예들에서, 신경 센서(232)는 감각을 발생하기 위해 경두개 자기 자극(TMS: transcranial magnetic stimulation)을 이용할 수 있다. 예를 들어, 신경 센서(232)는 90mm MagStimTM 원형 코일을 포함할 수 있다. 신경 센서(232)는 사용자의 뇌의 운동 피질 영역(motor cortex region)을 자극하기 위해 (예를 들어, 사용자의 머리에 대하여 같은 높이로) 배치될 수 있다. 프로세서(202)는 전기적 신호(예를 들어, 하나 이상의 펄스를 포함함)가 신경 센서(232)에게 전송되는 것을 야기할 수 있다. 일부 실시예들에서, 프로세서(202)는 자극 디바이스(예를 들어, MagstimTM 자기 자극기)가 자극 디바이스로 하여금 신경 센서(232)에게 전기적 신호를 전송하도록 야기하게 작동시킬 수 있다. 신경 센서(232)는 전기적 신호에 응답하여 전자기파를 발생할 수 있다. 전자기파는 사용자의 뇌의 운동 피질 영역에서 전기 전류를 유도하여, 예를 들어 사용자로 하여금 몸체 부분을 움직이게 야기하거나 또는 사용자가 몸체 부분을 움직였다는 것을 인식하도록 야기할 수 있다. 일부 실시예들에서, 프로세서(202)는 자극 디바이스로 하여금 자극 디바이스의 최대 가능한 출력(예를 들어, 2.0 T)의 58% 와 65% 사이의 출력으로 사용자의 뇌를 자극하도록 야기하게 구성되는 신호를 전송할 수 있다. 이것은 사용자가 특별한 감각을 인식하도록 야기할 수 있다.
이 시스템은 프로세서(202)와 통신 상태에 있는 하나 이상의 햅틱 출력 디바이스(218, 220)를 추가로 포함한다. 햅틱 출력 디바이스들(218, 220)은 햅틱 신호에 응답하여 햅틱 효과를 출력하도록 구성된다. 일부 실시예들에서, 햅틱 출력 디바이스(218, 220)는, 예를 들어, 진동, 인식된 마찰 계수에서의 변화, 시뮬레이팅된 질감, 찌르는 감각, 및/또는 표면 변형을 비롯한 햅틱 효과를 출력하도록 구성된다. 게다가, 일부 햅틱 효과들은 동일하거나 상이한 유형의 다중 햅틱 출력 디바이스(218, 220)를 순차적으로 및/또는 한꺼번에 사용할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스들(218, 220)은 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)의 컴포넌트를 진동시킴으로써 햅틱 효과를 출력할 수 있다. 그러한 실시예들에서, 햅틱 출력 디바이스들(218, 220)은, 예를 들어 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA; linear resonant actuator) 중 하나 이상을 포함할 수 있다.
컴퓨팅 디바이스(201)는 내부 햅틱 출력 디바이스(218)를 포함할 수 있다. 덧붙여 또는 대안적으로, 컴퓨팅 디바이스(201)는 컴퓨팅 디바이스(201)로부터 원격에 있는 햅틱 출력 디바이스(220)와 유선 또는 무선 통신 상태에 있을 수 있다. 예를 들어, 도 2에 도시된 실시예에서, 햅틱 출력 디바이스(220)는 컴퓨팅 디바이스(201)의 외부에 있고 또한 이더넷, USB, 또는 IEEE 1394와 같은 유선 인터페이스를 경유해 컴퓨팅 디바이스(201)와 통신 상태에 있다. 기타 실시예들에서, 햅틱 출력 디바이스(220)는 IEEE 802.11, 블루투스, 또는 무선 인터페이스와 같은 무선 인터페이스를 경유해 컴퓨팅 디바이스(201)와 통신 상태에 있을 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(220)는, 예를 들어 신발, 소매, 재킷, 안경, 장갑, 반지, 시계, 손목 밴드, 팔찌, 의류, 모자, 조끼, 허리띠, 헬멧, 머리띠, 및/또는 장신구를 포함하는 착용가능 디바이스에 결합될 수 있다. 기타 실시예들에서, 햅틱 출력 디바이스(220)는 사용자의 손가락, 팔, 손, 발, 다리, 머리, 등, 흉부, 목, 및/또는 다른 몸체 부분과 같은 사용자의 몸체의 일부분에 결합될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스들(218, 220)은 햅틱 신호에 응답하여 질감을 시뮬레이팅하거나 표면상의 인지된 마찰 계수를 변조시키는 햅틱 효과를 출력하도록 구성될 수 있다. 그런 일 실시예에서, 햅틱 출력 디바이스들(218, 220)은 초음파 액추에이터를 포함할 수 있다. 또 다른 그와 같은 실시예들에서, 햅틱 출력 디바이스들(218, 220)은 햅틱 효과를 출력하기 위해 정전 인력을 이용하도록 구성되는 정전 액추에이터를 포함할 수 있다. 햅틱 효과는 질감을 시뮬레이팅하거나 표면을 따라 감지된 마찰 계수를 변조하는 것일 수 있다. 그러한 실시예에서, 정전 액추에이터가 정전 액추에이터 근처의 또는 이것을 터치하는 몸체 부분과 용량성으로 결합할 수 있다. 물체와 도전성 층 사이의 인력 레벨을 변경하는 것은 시뮬레이팅된 질감 또는 표면을 따른 인지된 마찰 계수를 변경할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스들(218, 220)은 변형 햅틱 효과를 출력하기 위해 (예를 들어, 컴퓨팅 디바이스(201) 또는 또 다른 표면을 휘어지게 하거나 변형시키기 위해) 구성되는 유체를 포함한다. 예를 들어, 유체는 스마트 겔 또는 유동학적(예를 들어, 자기 유변(magneto-rheological) 또는 전기 유변) 유체를 포함할 수 있다. 자극에 응답하여, 스마트 겔 또는 유동학적 유체는 물리적 상태가 변경되거나 및/또는 형상에서 변형될 수 있다. 이는 컴퓨팅 디바이스(201) 또는 또 다른 표면이 변형되도록 야기할 수 있다.
기타 실시예들에서, 햅틱 출력 디바이스들(218, 220)은 컴퓨팅 디바이스(201)의 표면이 형상에서 변형되도록 야기하기 위해 컴퓨팅 디바이스(201)의 표면에 대항하여 물리적으로 밀고 및/또는 이것을 당기도록 구성되는 기계적 변형 디바이스를 포함한다. 또한, 다른 기법들 또는 방법들이 표면을 변형시키는데 사용될 수 있다. 예를 들어, 햅틱 출력 디바이스들(218,220)은 (예를 들어, 이들로만 제한되는 것은 아니지만, 섬유들, 나노튜브들, 전기활성 폴리머들, 압전 소자들, 또는 형상 기억 합금들을 포함하는) 표면 재구성가능 햅틱 기판으로부터의 접촉에 기초하여 그 표면을 변형시키거나 또는 그 질감을 변경하도록 구성되는 플렉시블 표면 층(flexible surface layer)을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스들(218, 220)은, 예를 들어 공기 또는 유체 포켓들, 재료들의 국지적 변형, 공진 기계적 요소들, 압전 재료들, MEMS(micro-electromechanical systems) 요소들 또는 펌프들, 열 유체 포켓들, 가변 다공성 막들(variable porosity membranes), 또는 층류 변조(laminar flow modulation)에 의해 변형된다.
메모리(204)를 다시 참고하면, 프로그램 컴포넌트들(224, 226, 228)은 디바이스가 햅틱 가능 신경 인터페이스를 제공하기 위해 일부 실시예들에서 어떻게 구성될 수 있는지를 보여주기 위해 묘사된다. 이 예에서, 신경 신호 해석 모듈(224)은 신경 센서(232)로부터 센서 신호들을 해석하기 위해 프로세서(202)를 구성한다. 예를 들어, 신경 신호 해석 모듈(224)은 신경 센서(232)로부터 센서 신호들을 수신할 수 있고 또한 예를 들어 도 5에 관하여 더 상세히 기술하는 대로, 센서 신호들에 기초하여 가상 환경에서의 가상 물체와의 특별한 입력 및/또는 상호 작용을 결정하기 위해 센서 신호들 중 하나 이상의 특성들을 알고리즘 및/또는 룩업 테이블에 적용할 수 있다.
일부 실시예들에서, 신경 신호 해석 모듈(224)은 룩업 테이블을 포함한다. 컴퓨팅 디바이스(201)는 신경 센서(들)(232)로부터의 하나 이상의 센서 신호의 하나 이상의 특성을 사용자가 인식하는 자극으로 매핑하기 위해 룩업 테이블을 이용할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 룩업 테이블을 이용하여 신경 센서(들)(232)로부터의 센서 신호의 특정 패턴, 또는 신경 센서(들)(232)로부터의 하나 이상의 센서 신호의 하나 이상의 특성을 특정 자극(예를 들어, 특정 소리, 이미지, 냄새, 맛, 또는 사용자가 인식하는 다른 자극들)에 매핑할 수 있다.
일부 실시예들에서, 신경 신호는 (예를 들어, 뇌파 검사를 이용하여) 기록될 수 있고 및 룩업 테이블에서의 특정 자극에 매핑될 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 알려진(예를 들어, 미리 결정된) 이미지, 소리, 냄새, 맛, 및/또는 다른 자극을 출력할 수 있다. 사용자는 자극을 인식할 수 있어서, 신경 센서 (232)가 자극과 연관되는 센서 신호들을 전송하도록 야기한다. 컴퓨팅 디바이스(201)는 신경 센서(232)로부터 센서 신호들을 수신할 수 있고 수신된 센서 신호들 중 하나 이상의 특성을 (예를 들어, 룩업 테이블에서의) 특정 자극과 연관시킬 수 있다. 컴퓨팅 디바이스(201)는 예를 들어 룩업 테이블을 구축하기 위해 임의 횟수로 이 이 절차를 반복할 수 있다. 그 후에, 컴퓨팅 디바이스(201)는 사용자가 인식하는 알려지지 않은 자극을 식별하기 위해 룩업 테이블을 이용할 수 있다.
햅틱 효과 결정 모듈(226)은 데이터를 분석하여 발생시킬 햅틱 효과를 결정하는 프로그램 컴포넌트를 나타낸다. 구체적으로는, 햅틱 효과 결정 모듈(226)은, 신경 센서(232)로부터의 센서 신호들 및/또는 가상 환경에서 일어나는 이벤트에 기초하여, 출력할 햅틱 효과를 결정하는 코드 및 그 효과를 시뮬레이팅하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 다양한 햅틱 효과들이, 신경 센서(232)로부터의 센서 신호들에 기초하여 결정되는 대로의 사용자의 기분(예를 들어, 행복함, 슬픔, 무서워함, 스트레스 받음, 기타 등등)에 기초하여 선택될 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(226)은, 가상 물체의 크기, 색, 로케이션, 움직임, 및/또는 다른 특성들에 기초하여, 출력할 햅틱 효과를 결정하는 코드 및 그 효과를 시뮬레이팅하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 프로세서(202)는, 신경 신호 해석 모듈(224)을 이용하여, 신경 센서(232)로부터의 해당 센서 신호들이 가상 물체가 가상 환경 내에서 조작되어야 한다(예로, 가상 스키어가 가상 스키 슬로프 아래로 특별한 방식으로 이동하여야 한다)는 것을 나타낸다는 것을 결정할 수 있다. 프로세서(202)는 그에 응답하여 가상 환경 내에서 가상 물체를 움직일 수 있다. 햅틱 효과 결정 모듈(226)은, 가상 물체의 운동에 기초하여, 출력할 하나 이상의 햅틱 효과를 결정할 수 있다. 예를 들어, 햅틱 효과 결정 모듈(226)은 모굴, 점프, 또는 가상 스키 슬로프의 다른 특징을 시뮬레이팅하도록 구성되는 햅틱 효과를 결정할 수 있다.
햅틱 효과 발생 모듈(228)은 프로세서(202)로 하여금 선택된 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스(218, 220)에게 햅틱 신호를 전송하도록 야기하는 프로그래밍을 나타낸다. 예를 들어, 햅틱 효과 발생 모듈(228)은 햅틱 출력 디바이스(218)에게 전송할 저장된 파형들 또는 커맨드들에 접근할 수 있다. 또 다른 예에서, 햅틱 효과 발생 모듈(228)은 햅틱 신호를 결정할 알고리즘들을 포함할 수 있다. 햅틱 효과 발생 모듈(228)은 햅틱 효과를 위한 타깃 로케이션을 결정하는 알고리즘들을 포함할 수 있다. 타깃 장소는, 예를 들어, 햅틱 효과를 출력할 사용자의 신체상의 로케이션을 포함할 수 있다.
모듈들(224, 226, 및 228)이 도 2에서 메모리(204) 내에 프로그램 컴포넌트들로서 묘사되어 있지만, 일부 실시예들에서, 모듈들(224, 226, 및/또는 228)은 하드웨어를 포함할 수 있다. 예를 들어, 모듈들(224, 226, 및/또는 228)은 아날로그 투 디지털 변환기, 프로세서, 마이크로컨트롤러, 비교기, 증폭기, 트랜지스터, 및 다른 아날로그 또는 디지털 회로부를 포함할 수 있다.
도 3은 햅틱 가능 신경 인터페이스들을 위한 시스템의 실시예를 보여준다. 신경 센서(304)는 사용자 보기, 듣기, 냄새 맡기, 느끼기, 맛보기, 및/또는 사용자의 환경에서의 자극에 의해 다른 식으로 자극되는 것에 응답하여 컴퓨팅 디바이스(302)에게 전기적 신호들을 전송할 수 있다. 신경 센서(304)가 사용자의 뇌로부터 신호를 검출하기 위해 사용자의 머리상에 위치된 것으로 도 3에 묘사되어 있지만, 다른 실시예에서는 신경 센서(304)가 사용자의 신경계의 다른 부분에 의해 출력되거나 그를 통해 전파되는 전기적 신호들을 검출하기 위해 사용자의 신체의 다른 부분들(예를 들어, 팔, 다리, 손, 발, 등, 척추 등)에 결합될 수 있다.
컴퓨팅 디바이스(302)는 신경 센서(304)로부터의 센서 신호들에 기초하여 하나 이상의 입력(예를 들어, 커맨드)을 결정하도록 구성된다. 예를 들어, 컴퓨팅 디바이스(302)는 센서 신호가 진폭, 위상, 주파수, 파형, 지속기간, 및/또는 특정 입력을 대표하는 다른 특성 또는 특성들의 조합을 포함한다는 것을 결정할 수 있다. 컴퓨팅 디바이스(302)는 특성들에 기초하여 입력을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 센서 신호 특성들을 특정 입력들에게 매핑하는 메모리에 저장된 룩업 테이블을 참고함으로써 입력을 결정할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 신경 센서(304)로부터의 센서 신호들을 통해 사용자에 관한 정보를 결정하고 및/또는 사용자로부터 입력을 수신할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 사용자가 특정 기분(예를 들어, 행복, 공포, 흥분, 슬픔, 기타 등등)을 갖는다는 것; 사용자가 특정 생각 모드(예를 들어, 창조적, 논리적, 감정적, 기타 등등)에 관여한다는 것; 사용자의 뇌의 특정 영역(들)(예를 들어, 전두엽, 두정엽, 측두엽, 후두엽)이 자극된다는 것; 사용자가 청각적으로, 촉각적으로, 및/또는 시각적으로 자극되고 있다는 것; 및/또는 센서 신호들에 기초한 사용자에 관한 다른 정보를 결정할 수 있다. 정보는 입력이거나, 다른 경우에는 이것을 포함할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 입력에 기초하여 하나 이상의 기능(예를 들어, 디지털 동작들)을 실행한다. 기능은, 예를 들어, 가상 환경에서 가상 물체를 조작하고 및/또는 그와 상호 작용하는 것(예를 들어, 가상 환경에서 비디오 게임 문자를 움직이는 것), (예를 들어, 인터넷을 통해) 물건을 구입하는 것, 웹페이지를 여는 것, 문서 인쇄를 개시하는 것, 경보 또는 메시지를 보내는 것, (예를 들어, 하나 이상의 서버에 질의함으로써) 물체에 관한 정보를 결정하는 것, 전화 번호로 전화하는 것, 사진 찍기, 데이터 저장, 프로그램 옵션 또는 설정을 선택하는 것, 소리 녹음, 소리 출력, 미디어 콘텐츠를 재생하는 것, 데이터를 송신하고, 및/또는 데이터를 수신하는 것을 포함할 수 있다.
예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(302)는 증강 현실 애플리케이션, 가상 현실 애플리케이션, 비디오 게임을 실행하도록 구성되고, 및/또는 사용자가 그를 통해 가상 환경에서의 하나 이상의 가상 물체와 상호 작용할 수 있는 가상 사용자 인터페이스(예를 들어, 3차원적 사용자 인터페이스)를 발생할 수 있다. 일부 실시예들에서, 사용자는 특정 궤적을 따른 가상 물체의 이동, 가상 물체와의 상호 작용, 및/또는 가상 물체의 특정 조작을 상상할 수 있다. 사용자의 뇌는 그에 응답하여 전기적 신호를 발생할 수 있고, 이것은 컴퓨팅 디바이스(302)에 의해 수신되고 해석될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 특정 궤적을 따라 가상 물체를 움직이고, 가상 물체와의 상호 작용에 대한 응답을 발생하고, 및/또는 사용자의 뇌로부터의 전기적 신호들에 기초하여 특정 방식으로 가상 물체를 조작할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 신경 센서(304)로부터의 센서 신호들(예를 들어, 신경 센서(304)와 연관되는 하나 이상의 입력)에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 출력한다. 예를 들어, 컴퓨팅 디바이스(302)는 사용자의 뇌로부터의 전기적 신호의 진폭 또는 주파수에 비례하는 햅틱 효과(예를 들어, 진동)를 출력할 수 있다. 또 다른 예로서, 컴퓨팅 디바이스(302)는, 센서 신호들에 기초하여, 사용자가 특정 색 또는 물체를 보는 것, 특정 소리를 듣는 것, 특정 맛을 맛보는 것, 및/또는 특정 냄새를 맡는 것을 결정할 수 있고 및 연관된 햅틱 효과를 출력할 수 있다. 사례를 들면, 컴퓨팅 디바이스(302)는 사용자가 피 또는 적색을 포함하는 물체를 보고 있다는 것을 결정할 수 있고 및 (예를 들어, 위험을 신호하기 위해) 강한 진동을 출력할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 사용자가 인식하는 하나 이상의 감각을 향상시키거나 감소시키도록 구성된 햅틱 효과들을 출력할 수 있다. 예를 들어, 사용자는 특정 특성(예를 들어, 울퉁불퉁함)을 포함하는 표면(예를 들어, 테이블, 의자, 책상, 도로, 마루, 벽, 기타 등등)과 상호 작용할 수 있다. 신경 센서(304)는 상호 작용과 연관되는 전기적 신호들을 검출하고 연관된 센서 신호들을 컴퓨팅 디바이스(302)에 전송할 수 있다. 컴퓨팅 디바이스(302)는 센서 신호들에 기초하여 사용자가 울퉁불퉁한 표면을 터치하고 있다는 것을 결정할 수 있다. 컴퓨팅 디바이스(302)는 특정 특성을 향상시키도록 구성되는 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는, 사용자의 손 또는 손가락과 연관되는 햅틱 출력 디바이스(308)를 통해, 표면이 더욱 울퉁불퉁하게 느껴지도록 하게 구성되는 강한 진동을 출력할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 가상 물체, 가상 환경, 및/또는 가상 환경 내에 발생하는 이벤트의 특성에 적어도 부분적으로 기초하여 햅틱 효과를 출력한다. 이벤트는 가상 물체의 존재(예를 들어, 증강 현실 응용에서의 가상 가구 조각의 존재); 가상 물체의 조작(예를 들어, 가상 물체의 움직임 또는 튀어 오름); 스케일, 로케이션, 오리엔테이션, 색, 또는 가상 물체의 다른 특성에서의 변화; 가상 폭발, 사격, 및/또는 충돌; 게임 캐릭터들 간의 상호 작용; 새로운 수준으로의 진전; 가상 캐릭터의 생명 상실 및/또는 죽음; 및/또는 특정 가상 지형을 가로질러 가는 것; 기타 등등을 포함할 수 있다.
예를 들어, 컴퓨팅 디바이스(302)는 가상 지형, 가상 물체의 질감, 가상 물체의 온도, 가상 물체와의 충격 또는 타격, 가상 발포, 기타 등등을 시뮬레이팅하도록 구성되는 하나 이상의 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 신발에서와 같이 사용자의 발과 연관되는 햅틱 출력 디바이스(318), 및/또는 장갑(312)에서와 같이 사용자의 손과 연관되는 햅틱 출력 디바이스(308)를 통하여 햅틱 효과들을 출력할 수 있다. 사례를 들면, 컴퓨팅 디바이스(302)는 사용자가 (예를 들어, 사용자의 뇌로) 가상 닌자를 제어할 수 있는 가상 무협 게임을 실행할 수 있다. 컴퓨팅 디바이스(302)는 날카로운 가상 물체(예를 들어, 가상 검 또는 표창(shuriken))와 접촉하는 가상 닌자에 응답하여 찔리는 감각을 출력할 수 있다. 컴퓨팅 디바이스(302)는 (예를 들어, 도구, 주먹, 발에 의해) 타격을 입은 가상 닌자에 응답하여 충격을 시뮬레이팅하도록 구성되는 햅틱 효과, 및/또는 온도를 지닌 가상 물체(예를 들어, 용암)에 접근하는 가상 닌자에 응답하여 온도(예를 들어, 열)를 시뮬레이팅하도록 구성되는 햅틱 효과를, 덧붙여 또는 대안적으로, 출력할 수 있다.
또 다른 예로서, 컴퓨팅 디바이스(302)는 사용자가 그 또는 그녀의 뇌를 통해 가상 자동차를 제어할 수 있는 가상 주행 게임을 실행할 수 있다. 컴퓨팅 디바이스(302)는 모래, 포장된 거리, 장애물 또는 패인 구멍들 위에 걸쳐서 주행하는 가상 자동차, 및/또는 한 차례 시합을 승리하거나 패배한 사용자에 응답하여 하나 이상의 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 모래 위에 걸쳐서 주행하는 가상 자동차에 응답하여 (예를 들어, 햅틱 출력 디바이스(318)를 통해) 사용자의 발에 모래를 밟은 감각을 시뮬레이팅하도록 구성되는 햅틱 효과를 출력할 수 있다. 컴퓨팅 디바이스(302)는 장애물 또는 패인 구멍들 위에 걸쳐서 주행하는 가상 자동차에 응답하여 (예를 들어, 햅틱 출력 디바이스(318) 및/또는 햅틱 출력 디바이스(306)를 통해) 사용자의 발 또는 흉부에 강한 진동을 출력할 수 있다. 컴퓨팅 디바이스(302)는 (예를 들어, 사용자의 신체에 결합되고 및/또는 착용 가능 물품과 연관되는) 햅틱 출력 디바이스들(306, 308, 310, 318) 중 임의의 수 및 조합을 통해 임의 수의 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 실제 공간에서의 물체와의 사용자 상호 작용(예를 들어, 사용자가 사지 또는 신체 부분으로 물체와 접촉하는 것)과 연관되는 하나 이상의 햅틱 효과를 출력한다. 물체는, 예를 들어, 버튼, 노브, 슬라이더, 및/또는 스위치(예를 들어, 광 스위치)를 포함할 수 있다. 일부 실시예들에서, 햅틱 효과는 사용자 상호 작용을 확인하도록 구성된다. 예를 들어, 컴퓨팅 디바이스(302)는 사용자가 물체와 접촉했거나 다른 식으로 물체를 조작한 것(예를 들어, 광 스위치를 켬)을 확인하도록 구성되는 (햅틱 출력 디바이스(308)를 통한) 진동을 출력할 수 있다. 이것은, 예를 들어 하나 이상의 의학적 상태 때문에 사용자의 사지(예를 들어, 손가락들)에서의 민감도가 감소된 사용자가 그러한 사용자 상호 작용이 발생했다고 결정하는 것을 도울 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 실제 공간에서의 신체 부분(예를 들어, 사지)의 조작(예를 들어, 움직임)과 연관되는 햅틱 효과를 출력할 수 있다. 사례를 들면, 사용자는 (예를 들어, 사용자의 손을 새로운 위치로 움직이거나 표면과 접촉하기 위해) 사지를 조작하려고 시도할 수 있다. 일부 실시예들에서, 사용자는 신체 부분이 실제로 움직였는지의 여부를 보거나 달리 검출하지 못할 수 있다(예를 들어, 사용자가 시각 장애인이라면). 컴퓨팅 디바이스(302)는 신체 부분이 움직인 것을 확인하도록 구성되는 제1 햅틱 효과(진동) 및/또는 신체 부분이 움직이지 않은 것을 사용자에게 통지하도록 구성되는 제2 햅틱 효과를 출력할 수 있다.
또 다른 예로서, 사용자는 하나 이상의 물체(예를 들어, 테이블 또는 의자)와 상호 작용하기 위해 신체 부분을 이용할 수 있다. 사용자는 어떤 이유로 촉감을 인식하지 못할 수 있다. 사례를 들면, 사용자는 신경을 손상시켰을 수 있거나, 사지의 전부 또는 일부를 잃었을 수 있다. 이는 사용자가 상호 작용과 연관되는 촉감들 및/또는 물체를 직접 인식하는 것을 막을 수 있다. 사례를 들면, 사용자는 질감 또는 물체와 연관되는 다른 특성을 물리적으로 감지하지 못할 수 있다. 컴퓨팅 디바이스(302)는 신경 센서(304)로 하여금 사용자가 특성을 인식하도록 야기하게 구성되는 방식으로 사용자의 신경계를 자극하도록 야기할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는, 사용자로 하여금 사용자가 목제 질감을 갖는 표면과 접촉하고 있다는 것을 인식하도록 야기하게 구성되는 방식으로 신경 센서(304)로 하여금 사용자의 뇌를 자극하도록 야기할 수 있다.
일부 실시예들에서, 사용자는, 하나 이상의 물체(예를 들어, 소파 또는 벽)와 상호 작용하기 위해, 인공 사지(316)와 같은 중간 디바이스를 사용할 수 있다. 사용자가 사지를 잃었다면, 사용자는, 예를 들어 중간 디바이스를 사용할 수 있다. 중간 디바이스(및/또는 사지의 상실)는 사용자가 상호 작용과 연관되는 촉감들 및/또는 물체를 직접 인식하는 것을 방지할 수 있다. 예를 들어, 사용자는 질감 또는 물체와 연관되는 다른 특성을 물리적으로 감지하지 못할 수 있다. 일부 실시예들에서, 중간 디바이스는 물체의 특성을 검출하고 연관된 센서 신호들을 컴퓨팅 디바이스(302)에 전송하도록 구성되는 센서(320)(예를 들어, 인공 사지(316)에 결합된 카메라)를 포함한다. 예를 들어, 센서(320)는 물체의 질감을 검출하고 컴퓨팅 디바이스(302)에게 연관된 센서 신호들을 전송할 수 있다. 컴퓨팅 디바이스(302)는 센서 신호들을 수신할 수 있고 및 사용자로 하여금 특성을 인식하도록 야기하게 구성되는 방식으로 신경 센서(304)로 하여금 사용자의 신경계를 자극하도록 야기할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는, 사용자로 하여금 사용자가 벽돌 질감을 갖는 표면과 접촉하고 있다는 것을 인식하도록 야기하게 구성되는 방식으로 신경 센서(304)로 하여금 사용자의 뇌를 자극하도록 야기할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 조작(예를 들어, 움직임)과 연관되는 햅틱 효과 및/또는 인공 사지(316)의 시도된 조작을 출력할 수 있다. 사례를 들면, 사용자는 (예를 들어, 길을 따라 걷기 위해) 인공 사지(316)를 조작하려고 시도할 수 있다. 그러나 사용자는 (예를 들어, 사용자가 시각 장애인이라면) 인공 사지(316)가 실제로 움직였는지의 여부를 보거나 다른 식으로 검출하지 못할 수 있다. 컴퓨팅 디바이스(302)는 인공 사지(316)가 움직인 것을 확인하도록 구성되는 제1 햅틱 효과(예를 들어, 햅틱 출력 디바이스(310)를 통한 진동) 및/또는 인공 사지(316)가 움직이지 않은 것을 사용자에게 통지하도록 구성되는 제2 햅틱 효과를 출력할 수 있다.
도 4는 햅틱 가능 신경 인터페이스들을 위한 시스템의 또 다른 실시예를 보여준다. 시스템은 제1 사용자(402)를 포함한다. 이 실시예에서, 신경 센서(404)는 제1 사용자의 머리에 결합되고 또한 제1 컴퓨팅 디바이스(406)와 전기적 통신 상태에 있다. 시스템은 또한 제2 사용자(408)를 포함한다. 이 실시예에서, 신경 센서(410)는 제2 사용자의 머리에 결합되고 또한 제2 컴퓨팅 디바이스(412)와 전기적 통신 상태에 있다. 사용자들은 동일한 물리적 로케이션 또는 상이한 물리적 로케이션들(예를 들어, 상이한 방들, 집들, 도시들, 및/또는 국가들)에 있을 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(406, 412)는 유선 또는 무선 인터페이스를 통해 서로 통신한다. 컴퓨팅 디바이스들(406, 412)은 서로(예를 들어, 블루투스를 통해) 직접 통신 상태에 또는 서로 간접 통신 상태에 있을 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스들(406, 412)은 네트워크(414)를 경유해 서로 통신 상태에 있다. 네트워크(414)는 다이얼-업(dial-up) 네트워크, 근거리 네트워크(LAN), 광역 네트워크(WAN), 공중 교환 전화 네트워크(PSTN), 셀 방식 네트워크, WiFi 네트워크, 인터넷, 인트라넷 또는 하드 와이어드(hard-wired) 및/또는 무선 통신 링크들의 임의의 조합을 포함하지만, 이것에만 한정되지는 않는 임의의 적절한 수 또는 유형의 네트워크들 또는 링크들일 수 있다. 네트워크(414)는 하나 이상 서브-네트워크를 포함할 수 있다.
컴퓨팅 디바이스들(406, 412)은 덧붙여 또는 대안적으로 네트워크(414)를 경유해 하나 이상의 원격 서버(예를 들어, 클라우드 서버들, 웹 서버들 또는 다른 서버들), 데이터베이스들, 및/또는 컴퓨팅 디바이스(416)와 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스(416)는 비디오 게임을 실행할 수 있다. 사용자들(402, 408)은 게임을 플레이하기 위해 (예를 들어, 뇌 신호를 통해) 자신들의 제각기 컴퓨팅 디바이스들(406, 412)을 작동시킬 수 있다. 컴퓨팅 디바이스들(406, 412)은 게임 플레이를 실시하기 위해 컴퓨팅 디바이스(416)에게 데이터를 전송할 수 있고, 그로부터 데이터를 수신할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스들(406, 412, 416) 중 하나 이상은 가상 환경을 발생하도록 구성되는 프로그램(예를 들어, 증강 현실 애플리케이션, 가상 현실 애플리케이션, 및/또는 비디오 게임)을 실행할 수 있다. 사용자들(402, 408)은 가상 환경을 통해 서로 상호 작용할 수 있다. 예를 들어, 컴퓨팅 디바이스(416)는 사용자들(402, 408)이 한 사람 이상의 가상 병사를 제어할 수 있는 가상 군사 게임을 실행할 수 있다. 그러한 실시예에서, 각각의 신경 센서(404, 410)는 제각기 사용자의 신경계로부터 전기적 신호를 검출할 수 있고 및 연관된 센서 신호들을 제각기 사용자의 컴퓨팅 디바이스(406, 412)에 전송할 수 있다. 컴퓨팅 디바이스들(406, 412)은 센서 신호들에 기초하여 가상 환경 내의 동일 가상 물체 또는 상이한 가상 물체들을 조작할 수 있다. 예를 들어, 컴퓨팅 디바이스들(406, 412)은 센서 신호들에 기초하여 군사 게임에서 상이한 가상 병사들을 조작할 수 있다. 이것은 사용자들로 하여금 자신들의 뇌를 사용하여 가상 물체들을 조작하는 것을 허용할 수 있다.
컴퓨팅 디바이스들(406, 412)은, 예를 들어 도 3에 묘사된 것처럼, 하나 이상의 햅틱 출력 디바이스들과 전기적 통신 상태에 있다. 앞서 논의한 대로, 일부 실시예들에서, 신경 센서들(404, 410)은 햅틱 출력 디바이스일 수 있거나 이것들을 포함할 수 있다. 컴퓨팅 디바이스들(406, 412)은 동일한 햅틱 효과, 또는 상이한 햅틱 효과들(예를 들어, 진동들, 질감들, 찔리는 느낌들, 및/또는 타격 느낌들)을 각각의 제각기 사용자(402, 408)에게 출력할 수 있다. 예를 들어, 앞서 기술된 군사 게임 실시예에서, 양 사용자의 가상 병사들로부터 실질적으로 등거리인 로케이션에서 발생하는 폭발에 응답하여, 컴퓨팅 디바이스들(406, 412)은 동일 햅틱 효과(예를 들어, 진동)를 사용자들(402, 408)에게 출력할 수 있다. 컴퓨팅 디바이스(406)는 덧붙여 또는 대안적으로 제1 사용자의 가상 캐릭터가 (예를 들어, 가상 무기를 발사하는) 작업을 수행한 것에 응답하여 사용자(402)에게 햅틱 효과(예를 들어, 진동)를 출력할 수 있는 반면, 컴퓨팅 디바이스(412)는 어떤 햅틱 효과도 출력하지 않을 수 있다(예를 들어, 제2 사용자의 가상 캐릭터가 가상 무기를 쥐고 있지 않거나 및/또는 가상 무기로부터 특정 거리만큼 떨어져 있기 때문에).
일부 실시예들에서, 컴퓨팅 디바이스(406)는 제1 사용자(402)가 인식하는 소리, 비주얼, 맛, 촉감, 냄새, 및/또는 다른 감각과 연관되는 제1 사용자(402)의 신경계로부터의 하나 이상의 전기적 신호를 (예를 들어, 신경 센서(404)를 통해) 검출하도록 구성된다. 컴퓨팅 디바이스(406)는 감각과 연관된 데이터를 또 다른 컴퓨팅 디바이스(412)에 전송하도록 구성된다. 다른 컴퓨팅 디바이스(412)는 데이터를 수신할 수 있고 및 데이터에 기초하여 제2 사용자(408)에 의해 인식 가능한 하나 이상의 감각들을 발생할 수 있다. 예를 들어, 컴퓨팅 디바이스(412)는 제2 사용자(408)로 하여금 감각을 인식하도록 야기하게 구성되는 방식으로 신경 센서(410)로 하여금 제2 사용자의 뇌를 자극하도록 야기할 수 있다. 그러므로, 둘 이상의 사용자(402, 408)는 서로 간에 감각을 공유할 수 있다.
예를 들어, 사용자(402)는 실제 공간(예를 들어, 고양이와 같은 동물)에서 또는 가상 환경에서 물체와 상호 작용할 수 있고, 사용자의 뇌는 그에 응답하여 물체(예를 들어, 털의 질감, 고양이가 내는 가르랑 소리, 및/또는 시각적으로 보이는 고양이 외관)와 연관되는 전기적 신호들을 발생할 수 있다. 컴퓨팅 디바이스(406)는 연관된 데이터를 원격 컴퓨팅 디바이스(412)에게 전송할 수 있다. 컴퓨팅 디바이스(412)는 데이터에 기초하여 제2 사용자(408)에게 하나 이상의 감각을 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(412)는, 예를 들어 물체의 질감(예를 들어, 고양이 털의 질감)을 시뮬레이팅하도록 구성되는 햅틱 효과를 출력할 수 있다. 컴퓨팅 디바이스(412)는 덧붙여 또는 대안적으로, 예를 들어 물체에 의해 이뤄지는 소리(예를 들어, 고양이가 내는 가르랑 소리)를 시뮬레이팅하도록 구성되는 소리를 출력할 수 있다. 컴퓨팅 디바이스(412)는 덧붙여 또는 대안적으로, 예를 들어 물체의 외관을 시뮬레이팅하도록 구성되는 비주얼을 출력할 수 있다. 이것은 원격 사용자(408)로 하여금 물체의 하나 이상의 특성 및/또는 제1 사용자(402)가 인식하는 하나 이상의 감각들을 인식하도록 할 수 있다.
또 다른 예로서, 컴퓨팅 디바이스(412)는 증강 현실 환경 또는 가상 현실 환경과 같은 가상 환경을 (예를 들어, 증강 현실 안경 또는 고글과 같은 디스플레이(409)를 통해) 출력할 수 있다. 일부 실시예들에서, 사용자(408)는 가상 환경에서의 가상 물체를 터치하거나 다른 식으로 조작할 수 있다. 예를 들어, 사용자(408)는 가상 환경에서의 가상 물체에 대응하는 실제 공간에서의 로케이션까지 도달할 수 있고 이를 터치할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(412)는 (예를 들어, 카메라, 깊이 센서, 범위 센서, 기타 등등과 같은 하나 이상의 센서들을 통해) 가상 물체의 조작을 검출하도록 구성된다. 컴퓨팅 디바이스(412)는 가상 물체와 연관되는 데이터 및/또는 가상 물체의 조작을 원격 컴퓨팅 디바이스(406)에게 전송할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(406)는 데이터를 수신할 수 있고 및 그에 응답하여 데이터에 기초하여 제1 사용자(402)에게 하나 이상의 감각을 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(406)는, 예를 들어 가상 물체의 질감(예를 들어, 가상 애완동물의 질감)을 시뮬레이팅하도록 구성되는 햅틱 효과를 출력할 수 있다.
또 다른 예로서, 사용자들(402, 408)은 전쟁 구역에 있는 병사들일 수 있다. 각각의 사용자들(402, 408)은 전장의 상이한 지역들을 탐색할 수 있고 또한 컴퓨팅 디바이스들(406, 412)을 통해 이들이 인식한 감각들을 공유할 수 있다. 예를 들어, 사용자(402)가 어떤 적의 요새에 진입할 때, 컴퓨팅 디바이스(406)는 연관된 데이터를 컴퓨팅 디바이스(412)에게 전송할 수 있고, 이것은 제1 사용자(402)에 의해 인식되는 소리, 맛, 냄새, 시각, 촉각, 및/또는 감각들을 시뮬레이팅하도록 구성되는 하나 이상의 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(412)는 제1 사용자(402)에 의해 인식되는 총격에 기초하여 소리를 출력할 수 있다. 컴퓨팅 디바이스(412)는 덧붙여 또는 대안적으로, 예를 들어 (제1 사용자(402)에 의해 인식된 대로) 총격이 그로부터 이뤄진 방향을 나타내도록 구성되는 햅틱 효과(예를 들어, 진동)를 출력할 수 있다. 이것은 제1 사용자(402)가 예를 들어 어려움에 처해 있다는 것을 제2 사용자(408)에게 신속하게(예를 들어, 실질적으로 즉시로) 전달할 수 있고, 그래서 제2 사용자(408)는 지원을 제공할 수 있다.
또 하나의 예로서, 위에서 기술된 전쟁 구역 실시예에서, 제1 사용자(402)는 적 병사가 제2 사용자(408)에게 (예를 들어, 배후에서) 접근하고 있음을 볼 수 있다. 컴퓨팅 디바이스(406)는 이 비주얼을 나타내는 제1 사용자의 뇌로부터의 전기적 신호들을 (예를 들어, 신경 센서(404)를 통해) 검출할 수 있고, 연관된 데이터를 컴퓨팅 디바이스(412)에게 전송할 수 있다. 컴퓨팅 디바이스(412)는 디스플레이(409)상의 (예를 들어, 적 병사의) 비주얼, 소리, 및/또는 예를 들어 제2 사용자(408)에게 위험을 통지하도록 구성되는 햅틱 효과를 출력할 수 있다. 이는 제1 사용자(402)가, 예를 들어 컴퓨팅 디바이스(406)의 물리적 사용자 인터페이스 컴포넌트들(예를 들어, 버튼, 스위치, 노브)과 상호 작용해야만 할 필요 없이 가치 있고 잠재적으로 생명을 구하는 정보를 제2 사용자(408)에게 신속하게 전달할 수 있게 한다.
햅틱 가능 신경 인터페이스를 위한 예시적 방법
도 5는 일 실시예에 따라 햅틱 가능 신경 인터페이스를 제공하기 위한 방법을 수행하기 위한 단계의 흐름도이다. 일부 실시예들에서, 도 5에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이런 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 5에 보여진 하나 이상의 단계는 생략되거나 상이한 순서로 수행될 수 있다. 이와 유사하게, 일부 실시예들에서, 도 5에 보여지지 않은 추가적 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 2에 보여진 컴퓨팅 디바이스(201)에 관하여 앞서 기술한 컴포넌트들을 참조하여 기술된다.
본 방법(500)은 프로세서(202)가 신경 센서(232)로부터 센서 신호를 수신하는 단계(502)에서 시작한다. 신경 센서(232)는 사용자의 신경계에 의해 출력되거나, 및/또는 그를 통해 전파되는 하나 이상의 전기적 신호들(예를 들어, 전자기 파동)을 검출하고 또한 연관된 센서 신호들을 프로세서(202)에게 전송하도록 구성된다. 센서 신호는 사용자가 인식하는 감각(예를 들어, 소리, 비주얼, 맛, 촉감, 냄새 등)과 연관되는 데이터를 포함할 수 있다. 예를 들어, 일 실시예에서, 데이터는 사용자가 인식하는 물체(예를 들어, 나무조각)의 질감과 연관되는 데이터를 포함할 수 있다.
센서 신호는 아날로그 신호 또는 디지털 신호를 포함할 수 있다. 일부 실시예들에서, 센서 신호는 사용자의 뇌에 의해 출력되는 전기적 신호와 연관되는 데이터로 인코딩될 수 있다. 예를 들어, 신경 센서(232)는 펄스 폭 변조, 주파수 변조, 진폭 변조, 및/또는 센서 신호 내에 데이터를 인코딩하기 위한 임의의 기술을 이용할 수 있다.
본 방법(500)은 프로세서(202)가 센서 신호에 기초하여 입력을 결정하는 단계(504)에서 계속된다. 입력은, 본 명세서에 사용되는 것처럼, 사용자에 의해 프로세서(202)에게 제공되는 임의의 정보를 포함한다. 예를 들어, 입력은 가상 환경에서의 가상 물체와의 사용자 상호 작용을 포함할 수 있다.
일부 실시예들에서, 프로세서(202)는 센서 신호가 특정 입력을 대표하는 하나 이상의 특성(예를 들어, 진폭, 위상, 주파수, 파형, 지속 기간, 및/또는 다른 특성)을 포함한다는 것을 결정한다. 일부 실시예들에서, 프로세서(202)는 센서 신호에 기초하여 입력을 결정하기 위해 신경 신호 해석 모듈(224)에 포함되는 프로그래밍에 의존할 수 있다. 예를 들어, 신경 신호 해석 모듈(224)은 룩업 테이블을 포함할 수 있다. 프로세서(202)는 센서 신호의 하나 이상의 특성에 기초하여 입력을 결정하기 위해 룩업 테이블을 참고할 수 있다. 예를 들어, 프로세서(202)는 룩업 테이블을 참고할 수 있고 또한 센서 신호(및/또는 센서 신호 내에 암호화된 디지털 데이터)의 진폭 및/또는 주파수에 기초하여 사용자가 특정 촉감을 인식한 것을 입력이 포함한다는 것을 결정할 수 있다. 기타 실시예들에서, 프로세서(202)는 센서 신호의 하나 이상의 특성에 기초하여 입력을 결정하기 위해 알고리즘을 적용할 수 있다. 예를 들어, 신경 신호 해석 모듈(224)은 센서 신호에 기초하여 입력을 결정하기 위해 프로세서(202)에 의해 사용 가능한 하나 이상의 알고리즘을 포함할 수 있다.
프로세서(202)는 센서 신호들에 기초하여 입력을 결정하기 위해 기술의 임의의 수 및 조합을 이용할 수 있다. 예를 들어, 프로세서(202)는 센서 신호들에 기초하여 입력들을 결정하기 위해 룩업 테이블들 및 알고리즘들의 조합을 사용할 수 있다. 일부 실시예들에서, 사용자들은, 사용자가 특정 센서 신호들과 연관되는 것을 선호했을 입력들의 "프로필"을 사용자가 결정하고 메모리(204)에 저장할 수 있는 "입력 프로필들"을 가질 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 이용가능한 입력들의 리스트로부터 선택할 수 있고 또한 큰 크기와 높은 주파수의 센서 신호와 같은 특정 센서 신호와 이런 입력들 중 하나를 연관시킬 수 있다. 그러한 실시예에서, 프로세서(202)는 센서 신호에 기초하여 입력을 결정하기 위해 사용자의 입력 프로필을 참고할 수 있다.
본 방법(500)은 프로세서(202)가 햅틱 효과를 결정하는 단계(506)에서 계속한다. 프로세서(202)는 입력 및/또는 센서 신호의 특성(예를 들어, 유형)에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 사례를 들면, 일 실시예에서, 프로세서(202)는 입력이 사용자가 울퉁불퉁한 물체를 인식하는 것과 연관된다면 진동을 포함하는 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 프로세서(202)는 이벤트에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 이벤트는 실제 공간에서, 컴퓨팅 디바이스상에서, 및/또는 가상 환경 내에서 발생할 수 있다. 예를 들어, 이벤트는 프로그램 활동(예를 들어, 게임 활동); 컴퓨팅 디바이스(201)와의 상호 작용(예를 들어, 모바일 디바이스를 기울이거나 움직이는 것, 터치 스크린 디스플레이와 상호 작용하는 것); 가상 환경에서의 가상 물체와의 상호 작용; 컴퓨팅 디바이스(201)에서의 상태의 변화; 데이터 수신하기; 데이터 송신하기; 및/또는 사용자의 신체 부분(예를 들어, 팔, 다리 또는 인공 사지)의 움직임을 포함할 수 있다.
예를 들어, 프로세서(202)는 센서 신호에 기초하여 가상 환경 내에서의 사용자의 가상 캐릭터를 조작하고 및/또는 상호 작용(예를 들어, 움직임)할 수 있다. 프로세서(202)는 조작 및/또는 상호 작용에 적어도 부분적으로 기초하여 추가로 햅틱 효과를 결정할 수 있다. 예를 들어, 조작 및/또는 상호 작용이 사용자가 또 다른 가상 물체(예를 들어, 나무, 차량, 및/또는 또 다른 가상 캐릭터)와 부딪치는 결과를 낳는다면, 프로세서(202)는 강한 진동을 포함하는 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(201)는 연관된 "햅틱 프로필들"을 저장할 수 있는데, 여기서 사용자가 특정 입력들과 연관되기를 선호하는 햅틱 효과들의 "프로필"을 사용자가 결정하여 메모리(204)에 저장할 수 있다. 예를 들어, 일 실시예에서, 사용자는 옵션들의 리스트로부터 사용자가 어느 햅틱 효과가 특정 입력들과 연관되는 것을 선호하는 지를 선택할 수 있는데, 그런 입력들은 사용자가 특정 비주얼을 본 것, 특정 소리를 들은 것, 특정 가상 물체를 조작한 것, 기타 등등과 연관되는 것이다. 일부 실시예들에서, 리스트는, 예를 들어, 펄스화된 진동, 낮은 크기의 진동, 또는 시뮬레이팅된 질감과 같은 햅틱 효과들을 포함할 수 있다. 일부 실시예들에서, 프로세서(202)는 어느 햅틱 효과를 발생할지를 결정하기 위해서 사용자의 햅틱 프로필을 참고할 수 있다. 예를 들어, 사용자의 햅틱 프로필이 (예를 들어, 가상 군사 게임에서) 가상 적 병사를 포함하는 비주얼을 펄스화된 진동을 포함하는 햅틱 효과와 연관시키면, 사용자가 가상 적 병사를 본 것에 응답하여, 프로세서(202)는 펄스화된 진동을 포함하는 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 프로세서(202)는 복수의 햅틱 효과를 결정한다. 복수의 햅틱 효과들 각각은 입력 및/또는 관련 센서 신호의 상이한 특성과 연관될 수 있다. 예를 들어, 프로세서(202)는 입력이 그로부터 결정된 센서 신호의 진폭에 기초하여 제1 햅틱 효과(예를 들어, 진동)를 결정할 수 있다. 센서 신호의 크기는 얼마나 강하게 사용자가 특정 자극을 인식했는지를(예를 들어, 얼마나 강하게 사용자가 권투 시합에서 상대에 의한 머리에 대한 가격을 인식했는지를) 나타낼 수 있다. 프로세서 (202)는 또한 센서 신호에 인코딩된 디지털 데이터와 연관되는 제2 햅틱 효과를 결정할 수 있다. 디지털 데이터는 자극의 유형(예를 들어, 머리에 대한 가격)을 대표할 수 있다. 일부 실시예들에서, 프로세서(202)는 또 다른 사용자에게 복수의 햅틱 효과를 출력하도록 구성되는 원격 디바이스에게 햅틱 효과들과 연관되는 신호들을 전송할 수 있다. 복수의 햅틱 효과에 기초하여, 다른 사용자는 자극의 하나 이상의 특성(예를 들어, 자극이 머리에 대한 가격이었고 사용자가 이를 강하게 인식했다는 것)을 결정할 수 있다.
일부 실시예들에서, 프로세서(202)는 특정 햅틱 효과가 다른 햅틱 효과보다 높은 우선순위를 갖는다고 결정하고, 그에 따라서 높은 우선순위 효과만을 출력한다. 사례를 들면, 프로세서(202)는 제1 유형의 자극과 연관되는 햅틱 효과가 제2 유형의 자극과 연관되는 또 다른 햅틱 효과보다 더 높은 우선순위를 갖는다는 것을 결정하고, 따라서 제1 유형의 자극과 연관되는 햅틱 효과만을 출력한다. 대안적으로, 프로세서(202)는 가장 강렬 효과만이 출력되어야 한다고 결정할 수 있다. 따라서, 일부 실시예들에서, 프로세서는 저강도 진동과 고강도 진동을 결정할 수 있지만, 고강도 진동만을 출력할 수 있다.
본 방법(500)은 프로세서(202)가 (예를 들어, 센서 신호에 적어도 부분적으로 기초하여) 오디오, 비주얼, 냄새, 맛, 및/또는 다른 효과를 결정하는 단계(508)에서 계속한다. 프로세서 (202)는 (예를 들어, 알고리즘들 및/또는 룩업 테이블들과 같이) 햅틱 효과를 결정하는 것과 관련하여 단계(506)에서 설명된 방법들 중 임의의 것을 예를 들어 사용하여 효과를 결정할 수 있다.
예를 들어, 센서 신호는 사용자가 특정 비주얼을 보고 및/또는 대응하는 소리를 듣는 것을 나타낼 수 있다. 소리가 총성을 포함하면, 프로세서(202)는 룩업 테이블을 참고할 수 있고 총성을 포함하는 오디오 효과를 결정할 수 있다. 프로세서 (202)는 오디오 효과와 연관되는 신호를 원격 사용자에게 오디오 효과를 출력하도록 구성되는 원격 디바이스에 전송할 수 있다. 그러므로, 원격 사용자는 최초 사용자가 듣고 있는 것을 들을 수 있다.
또 다른 예로서, 프로세서(202)가 룩업 테이블을 참고하고 및/또는 알고리즘을 적용하여 사용자가 무서움, 행복함, 스트레스 받음, 기타 등등과 같은 특정 기분을 갖는다는 것을 결정할 수 있다. 프로세서(202)는 사용자의 기분을 변경하도록 구성되는 오디오, 비주얼, 냄새, 및/또는 다른 감각을 결정할 수 있다. 예를 들어, 프로세서(202)는 사용자를 진정시키기 위해 구성되는 비주얼(예를 들어, 강아지 비주얼), 사용자의 행복 레벨을 높이도록 구성되는 냄새(예를 들어, 사과 파이의 냄새 또는 맛), 및/또는 사용자를 편하게 하기 위해 구성되는 소리(예를 들어, 바다 소리)를 결정할 수 있다.
본 방법(500)은 프로세서(202)가 햅틱, 오디오, 비주얼, 냄새, 맛, 및/또는 다른 효과와 연관되는 신호를 전송하는 단계(510)에서 계속한다. 일부 실시예들에서, 저장된 알고리즘에 접근하고 효과와 연관되는 파라미터들을 입력함으로써 신호가 발생될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터들에 기초하여 (예를 들어, 액추에이터 또는 스피커를 위한) 구동 신호의 발생하는 데 있어서 사용하기 위한 데이터를 출력할 수 있다. 또 다른 예로서, 신호는 햅틱 출력 디바이스, 스피커(222), 디스플레이(216), 후각 디바이스(234), 맛 디바이스, 및/또는 다른 감각 발생 디바이스에 의해 디코딩되도록 구성되는 데이터를 포함할 수 있다. 사례를 들면, 햅틱 출력 디바이스(218, 200)는 그 자체가 진폭 및 주파수와 같은 파라미터들을 특정하는 커맨드들에 응답할 수 있다.
프로세서(202)는 햅틱 출력 디바이스(218, 220), 스피커(222), 디스플레이(216), 후각 디바이스(234), 맛 디바이스, 및/또는 감각을 발생하도록 구성되는 또 다른 디바이스에게 신호를 전송할 수 있다. 일부 실시예들에서, 신호는 햅틱 출력 디바이스로 하여금 햅틱 효과를 발생하도록 야기하게 구성되는 햅틱 신호를 포함할 수 있다. 신호는 스피커(222)로 하여금 오디오 효과를 출력하도록 야기하게 구성되는 오디오 신호; 디스플레이(216)로 하여금 비주얼 효과를 출력하도록 야기하게 구성되는 비디오 신호; 후각 디바이스(234)가 냄새를 출력하도록 야기하게 구성되는 후각 신호; 및/또는 맛 디바이스가 특정 맛을 출력하도록 야기하게 구성되는 맛 신호를 덧붙여 또는 대안적으로 포함할 수 있다.
일부 실시예들에서, 프로세서(202)는 신호를 신경 센서(232)에게 전송한다. 신경 센서(232)는 사용자로 하여금 효과(예를 들어, 맛, 냄새, 비주얼, 소리, 및/또는 분명한 햅틱 효과)를 인식하도록 야기하기 위해 사용자의 신경계를 자극할 수 있다. 예를 들어, 프로세서(202)는 신경 센서(232)로하여금 사용자의 뇌에게 특정 조합의 전기적 펄스들을 출력하도록 야기하게 구성되는 고 레벨 커맨드를 신경 센서(232)에게 전송할 수 있다. 이 전기적 펄스들은 사용자로 하여금 효과들 중 하나 이상을 인식하도록 야기하게 구성될 수 있다.
일부 실시예들에서, 프로세서(202)는 신호를 원격 디바이스에게 전송한다. 원격 디바이스는 원격 사용자에 의해 이용 가능한 신경 인터페이스를 포함할 수 있다. 원격 디바이스는 신호를 수신하고 햅틱, 오디오, 비주얼, 냄새, 맛, 및/또는 다른 효과를 출력하도록 구성될 수 있다. 예를 들어, 원격 디바이스는 신호를 수신하고 연관된 소리, 냄새, 및 맛을 원격 사용자에게 출력할 수 있다. 그러한 실시예에서, 원격 사용자는 최초 사용자에 의해 감지된 감각들(또는 감각들의 수정된 버전들)을 인식할 수 있다.
햅틱 가능 신경 인터페이스들의 장점
햅틱 가능 신경 인터페이스들에 대한 수많은 장점이 있다. 그와 같은 시스템들은 사용자가 가상 환경에서 (예를 들어, 사용자의 뇌로부터의 신호를 이용하여) 가상 물체와 상호 작용함에 따라 더 몰입되는 경험을 제공할 수 있고, 그에 의해 전체적 사용자 만족도를 높일 수 있다. 예를 들어, 일부 실시예들에서, 증강 현실 애플리케이션은 카메라 데이터를 오버레이하는 가상 개를 출력할 수 있다. 사용자가 가상 개를 귀여워하기로 상상하는 것에 응답하여, 햅틱 가능 신경 인터페이스는 가상 개의 털을 시뮬레이팅하도록 구성되는 햅틱 효과를 출력할 수 있다. 그 결과, 사용자는 가상 개를 보다 실감나게 인식할 수 있다.
일부 실시예들에서, 햅틱 가능 신경 인터페이스들은 사용자에 대한 확인을 제공할 수 있다. 예를 들어, 일부 실시예들에서, 증강 현실 애플리케이션은 버튼을 포함하는 가상 물체를 출력할 수 있다. 사용자가 가상 버튼과 상호 작용하는 것을 상상함에 따라, 컴퓨팅 디바이스는 (예를 들어, 사용자의 손가락에 결합된 햅틱 출력 디바이스에게) 햅틱 효과를 출력할 수 있고, 그에 의해 버튼 누름을 확인하게 된다. 일부 실시예들에서, 확인성 햅틱 피드백은 향상된 사용자 경험을 제공할 수 있다.
일부 실시예들에서, 햅틱 가능 신경 인터페이스는 사용자로 하여금 사용자가 그렇지 않았더라면 느낄 수 없었을 물체들의 특성들을 인식하도록 할 수 있다. 예를 들어, 사용자는 인공 사지를 이용하여 질감 있는 물체와 상호 작용하고 물체의 질감을 시뮬레이팅하도록 구성되는 햅틱 피드백을 수신할 수 있다. 또 다른 예로서, 사용자는 인공 사지를 움직이고 또한 움직임을 확인하거나 및/또는 다른 식으로는 움직임의 특성(예를 들어, 얼마나 멀리 인공 사지가 움직였는지 또는 인공 사지가 움직이지 않았는지)을 사용자에게 통지하는 햅틱 피드백을 수신하려고 시도할 수 있다.
일부 실시예들에서, 햅틱 가능 신경 인터페이스들은, 예를 들어 물리적 사용자 인터페이스 디바이스(예를 들어, 버튼, 스위치, 노브, 키보드, 및/또는 터치 감지 표면)와 물리적으로 상호 작용해야만 하지 않고서 다중 사용자가 높은 속도의 스피드로 통신하게 허용할 수 있다. 예를 들어, 제1 신경 인터페이스는 제1 사용자가 (예를 들어, 자동차 사고로, 전투에서 부상당하여) 다쳤거나 및/또는 의식을 잃은 것을 검출하고 연관된 데이터를 제2 사용자의 신경 인터페이스에 전송할 수 있다. 제2 사용자의 신경 인터페이스는, 부상 및 응급 상황을 제2 사용자에게 통지하기 위해 그런 것처럼, 제2 사용자에게 제1 사용자의 의학적 및/또는 생리학적 상태를 통지하도록 구성되는 하나 이상의 효과를 출력할 수 있다. 이것은, 예를 들어, 제2 사용자가 제1 사용자에게 지원을 제공하게 할 수 있다.
일부 실시예들에서, 어느 한 사용자는 또 다른 사용자에 의해 접촉되거나 달리 조작된 물체들의 특성들을 인식할 수 있다. 예를 들어, 제1 사용자가 쇼핑하고 있고 또한 제1 사용자가 생각하기로는 제2 사용자가 좋아할 것이라고 여기는 의류 제품(예를 들어, 셔츠, 바지, 양말, 모자, 재킷, 드레스, 신발, 기타 등등)을 찾을 수 있다. 제1 사용자는 의류와 상호 작용할 수 있고 의류의 질감 및/또는 재료를 인식할 수 있다. 제1 사용자의 신경 인터페이스는 상호 작용 및/또는 의류 제품과 연관되는 데이터를 제2 사용자의 신경 인터페이스에 전송할 수 있다. 제2 사용자의 신경 인터페이스는 제2 사용자로 하여금 의류 제품을 보고, 느끼고, 냄새 맡고, 및/또는 다른 경우에는 그 특성들을 감지하도록 야기하게 구성되는 하나 이상의 효과를 출력할 수 있다. 이는 제2 사용자로 하여금 제1 사용자가 의류 제품을 구매해야 하는지를 결정하게 할 수 있다. 따라서, 사용자들은, 예를 들어, 보다 정보에 근거한 구매 결정을 내리기 위해 서로 간에서 감각들을 공유 할 수 있다.
일반적 고려사항
앞서 논의된 본 방법, 시스템, 및 디바이스는 예들이다. 다양한 구성들은, 적절한 대로, 다양한 절차들 또는 컴포넌트들을 생략, 치환 또는 추가할 수 있다. 사례를 들면, 대안 구성들에서, 방법들은 기술된 것과는 상이한 순서로 수행될 수 있고, 및/또는 다양한 국면들이 추가되고, 생략되고, 및/또는 조합될 수 있다. 또한, 소정 구성들과 관련하여 기술되는 특징들은 다양한 다른 구성들에 조합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 발전하므로, 요소들 중 다수가 예들에 불과하고 또한 본 개시 내용 또는 청구항들의 범위를 제한하지 않는다.
예시적 구성들(구현들을 포함함)에 대한 철저한 이해를 제공하기 위해 구체적인 상세 사항들이 설명에 제공되었다. 그렇지만, 구성들이 이런 구체적인 상세 사항들 없이도 실시될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들이 구성들을 불명료하게 하는 것을 피하기 위해 불필요한 상세 사항 없이 보여졌다. 이 설명은 예시적 구성들만을 제공하고, 청구항들의 범위, 적용성, 또는 구성을 제한하지 않는다. 오히려, 구성들에 대한 앞서의 설명은 기술된 기법들을 구현하는 것을 가능하게 하는 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 본 개시 내용의 사상 또는 범위를 벗어나지 않고서, 요소들의 기능 및 배열에 다양한 변경들이 행해질 수 있다.
또한, 구성은 흐름도 또는 블록도로 묘사되는 절차로서 기술될 수 있다. 각각이 동작들을 순차 처리로서 설명하기는 하지만, 많은 동작들이 병행적으로 또는 동시에 수행될 수 있다. 게다가, 동작들의 순서는 재배열될 수 있다. 절차는 도면에 포함되지 않은 추가적 단계를 가질 수 있다. 더욱이, 본 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이것들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 구현될 때, 필수 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.
몇몇 예시적 구성들을 기술하였지만, 본 개시 내용의 사상을 벗어나지 않고서 다양한 수정들, 대안 구축물들, 및 등가물들이 사용될 수 있다. 예를 들어, 전술한 요소들은 더 큰 시스템의 컴포넌트들일 수 있는데, 여기서 다른 규칙들이 본 발명의 응용보다 우선하거나 다른 방식으로 이것을 수정할 수 있다. 또한, 이상의 요소들이 고려되기 전에, 그 동안에, 또는 그 후에 다수의 단계가 취해질 수 있다. 그에 따라, 이상의 설명은 청구항들의 범위의 경계를 만들지 않는다.
본 명세서에서 "~하도록 적응되는" 또는 "~하도록 구성되는" 용어의 사용은 추가적인 작업들 또는 단계들을 수행하도록 적응되거나 구성되는 디바이스들을 배제하지 않는 개방적이고 포함적인 언어로서 의도된다. 또한, "~에 기초하여"라는 용어의 사용은, 하나 이상의 기재된 조건들 또는 값들에 "기초하는" 절차, 단계, 계산, 또는 다른 액션이, 실제상, 기재된 것들을 넘어서는 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포함적인 것으로 의도된다. 본 명세서에 포함되는 제목, 리스트, 및 번호 매기기는 설명의 편의를 위한 것일 뿐이고 제한적이 되고자 하는 것은 아니다.
본 발명의 주제의 양태들에 따른 실시예들은, 디지털 전자 회로로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합들로 구현될 수 있다. 일 실시예에서, 컴퓨터는 한 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 RAM(Random Access Memory) 등의 컴퓨터 판독가능 매체를 포함하거나 이것에의 접근을 갖는다. 프로세서는, 센서 샘플링 루틴, 선택 루틴들, 및 앞서 기술된 방법들을 수행하기 위한 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장되는 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이런 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field-programmable gate arrays), 및 상태 머신들을 포함할 수 있다. 이런 프로세서들은 PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-only memories), EPROM들(electronically programmable read-only memories), 또는 EEPROM들, 또는 다른 유사한 디바이스들을 추가로 포함할 수 있다.
그러한 프로세서들은 매체, 예를 들어, 프로세서에 의해 실행될 때 프로세서로 하여금 프로세서에 의해 수행되거나 도움을 받아 본 명세서에 설명되는 단계들을 수행하게 야기할 수 있는 명령어들을 저장할 수 있는 유형의(tangible) 컴퓨터 판독 가능 매체를 포함할 수 있거나, 또는 이것과 통신 상태에 있을 수 있다. 컴퓨터 판독 가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독 가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 스토리지 디바이스들을 포함할 수 있지만, 이것들에만 제한되지는 않는다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이것들에만 제한되지는 않는다.
또한, 라우터, 사적 또는 공공 네트워크, 또는 다른 전송 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 프로세서, 및 기술되는 프로세싱은 하나 이상의 구조에 있을 수 있으며, 하나 이상의 구조에 걸쳐 분산될 수 있다. 프로세서는 본 명세서에서 기술되는 하나 이상의 방법(또는 방법들 중 일부분들)을 수행해 내기 위한 코드를 포함할 수 있다.
본 발명의 주제가 그 특정 실시예들과 관련하여 상세히 설명되었지만, 통상의 기술자는, 전술한 내용을 이해하게 되면, 그러한 실시예들의 변경들, 변형들, 및 균등물들을 쉽게 만들어 낼 수 있음을 알 것이다. 따라서, 본 개시 내용은 제한적인 목적보다는 예시적 목적으로 제시되는 것이며, 통상의 기술자에게 쉽게 명백해질, 본 발명의 주제에 대한 그러한 변형사항들, 변경사항들 및/또는 추가사항들의 포함을 배제하는 것이 아니다.

Claims (23)

  1. 시스템으로서:
    프로세서 - 상기 프로세서는:
    신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하고;
    상기 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하고;
    상기 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고; 및
    상기 햅틱 효과와 연관되는 햅틱 신호를 전송하도록 구성됨- ; 및
    상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스
    를 포함하는 시스템.
  2. 제1항에 있어서, 상기 신경 인터페이스는 상기 신경계와 연관되는 상기 전기적 신호를 검출하고 및 상기 센서 신호를 전송하도록 구성되는 센서를 포함하며, 상기 센서는 뇌파도(EEG) 전극, 분광 센서, 자기 공명 영상 시스템, 또는 용량성 센서 중 적어도 하나를 포함하는
    시스템.
  3. 제2항에 있어서, 상기 프로세서는:
    상기 센서 신호에 적어도 부분적으로 기초하여 오디오 효과를 결정하고; 및
    스피커로 하여금 상기 오디오 효과를 출력하도록 야기하게 구성되는 오디오 신호를 전송하도록 추가로 구성되는
    시스템.
  4. 제3항에 있어서, 상기 프로세서는:
    상기 센서 신호에 적어도 부분적으로 기초하여 비주얼 효과를 결정하고; 및
    디스플레이로 하여금 상기 비주얼 효과를 출력하도록 야기하게 구성되는 디스플레이 신호를 전송하도록 추가로 구성되는
    시스템.
  5. 제1항에 있어서, 상기 가상 환경은 증강 현실 환경을 포함하고, 상기 프로세서는 상기 증강 현실 환경에서의 이벤트에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하도록 추가로 구성되는
    시스템.
  6. 제1항에 있어서, 상기 햅틱 효과는 제1 햅틱 효과이고, 상기 프로세서는:
    상기 센서 신호에 기초하여 신체 부분의 움직임을 결정하고; 및
    상기 움직임에 적어도 부분적으로 기초하여 제2 햅틱 효과를 결정하도록 추가로 구성되는
    시스템.
  7. 제6항에 있어서, 상기 제2 햅틱 효과는 상기 신체 부분의 움직임을 확인하거나 상기 신체 부분에 의해 접촉되는 표면의 특성을 시뮬레이팅하도록 구성되는
    시스템.
  8. 제1항에 있어서, 상기 신경 인터페이스는 제1 신경 인터페이스이고, 상기 프로세서는 원격 사용자에 의해 사용 가능한 제2 신경 인터페이스를 포함하는 원격 디바이스에게 상기 햅틱 신호를 전송하도록 추가로 구성되며, 상기 햅틱 신호는 상기 원격 디바이스로 하여금 상기 햅틱 효과를 출력하도록 야기하게 구성되는
    시스템.
  9. 방법으로서:
    신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하는 단계;
    상기 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하는 단계;
    상기 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
    햅틱 출력 디바이스에게 상기 햅틱 효과와 연관되는 햅틱 신호를 전송하는 단계 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성됨 -
    를 포함하는 방법.
  10. 제9항에 있어서, 상기 신경 인터페이스는 상기 신경계와 연관되는 전기적 신호를 검출하고 및 상기 센서 신호를 전송하도록 구성되는 센서를 포함하며, 상기 센서는 뇌파도(EEG) 전극, 분광 센서, 자기 공명 영상 시스템, 또는 용량성 센서 중 적어도 하나를 포함하는
    방법.
  11. 제10항에 있어서,
    상기 센서 신호에 적어도 부분적으로 기초하여 오디오 효과를 결정하는 단계; 및
    스피커로 하여금 상기 오디오 효과를 출력하도록 야기하게 구성되는 오디오 신호를 전송하는 단계
    를 추가로 포함하는 방법.
  12. 제11항에 있어서,
    상기 센서 신호에 적어도 부분적으로 기초하여 비주얼 효과를 결정하는 단계; 및
    디스플레이로 하여금 상기 비주얼 효과를 출력하도록 야기하게 구성되는 디스플레이 신호를 전송하는 단계
    를 추가로 포함하는 방법.
  13. 제9항에 있어서, 상기 가상 환경은 증강 현실 환경을 포함하고, 상기 햅틱 효과는 상기 증강 현실 환경에서의 이벤트에 적어도 부분적으로 기초하는
    방법.
  14. 제9항에 있어서, 상기 햅틱 효과는 제1 햅틱 효과이고,
    상기 센서 신호에 기초하여 신체 부분의 움직임을 결정하는 단계; 및
    상기 움직임에 적어도 부분적으로 기초하여 제2 햅틱 효과를 결정하는 단계
    를 추가로 포함하는 방법.
  15. 제14항에 있어서, 상기 제2 햅틱 효과는 상기 신체 부분의 움직임을 확인하거나 상기 신체 부분에 의해 접촉되는 표면의 특성을 시뮬레이팅하도록 구성되는
    방법.
  16. 제9항에 있어서, 상기 신경 인터페이스는 제1 신경 인터페이스이고,
    제2 신경 인터페이스를 포함하는 원격 디바이스에게 상기 햅틱 신호를 전송하는 단계 - 상기 햅틱 신호는 상기 원격 디바이스로 하여금 상기 햅틱 효과를 출력하도록 야기하게 구성됨 -
    를 추가로 포함하는 방법.
  17. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    신경계와 연관되는 전기적 신호를 검출하도록 구성되는 신경 인터페이스로부터 센서 신호를 수신하고;
    상기 센서 신호에 기초하여 가상 환경에서의 가상 물체와의 상호 작용을 결정하고;
    상기 가상 환경에서의 가상 물체와의 상호 작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고; 및
    햅틱 출력 디바이스에게 상기 햅틱 효과와 연관되는 햅틱 신호를 전송하도록 야기하게 구성되는 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성됨 -
    비일시적 컴퓨터 판독가능 매체.
  18. 제17항에 있어서, 상기 신경 인터페이스는 상기 햅틱 출력 디바이스를 포함하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 센서 신호에 적어도 부분적으로 기초하여 오디오 효과를 결정하고; 및
    스피커로 하여금 상기 오디오 효과를 출력하도록 야기하게 구성되는 오디오 신호를 전송하도록 야기하게 구성되는 프로그램 코드
    를 추가로 포함하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 센서 신호에 적어도 부분적으로 기초하여 비주얼 효과를 결정하고; 및
    디스플레이로 하여금 상기 비주얼 효과를 출력하도록 야기하게 구성되는 디스플레이 신호를 전송하도록 야기하게 구성되는 프로그램 코드
    를 추가로 포함하는 비일시적 컴퓨터 판독 가능 매체.
  21. 제17항에 있어서, 상기 가상 환경은 증강 현실 환경을 포함하고, 상기 햅틱 효과는 상기 증강 현실 환경에서의 이벤트에 적어도 부분적으로 기초하는
    비일시적 컴퓨터 판독 가능 매체.
  22. 제17항에 있어서, 상기 햅틱 효과는 제1 햅틱 효과이고, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    상기 센서 신호에 기초하여 신체 부분의 움직임을 결정하고; 및
    상기 움직임에 적어도 부분적으로 기초하여 제2 햅틱 효과를 결정하도록 야기하게 구성되는 프로그램 코드 - 상기 제2 햅틱 효과는 상기 신체 부분의 움직임을 확인하거나 상기 신체 부분에 의해 접촉되는 표면의 특성을 시뮬레이팅하도록 구성됨 -
    를 추가로 포함하는 비일시적 컴퓨터 판독 가능 매체.
  23. 제17항에 있어서, 상기 신경 인터페이스는 제1 신경 인터페이스이고,
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    제2 신경 인터페이스를 포함하는 원격 디바이스에게 상기 햅틱 신호를 전송하도록 야기하게 구성되는 프로그램 코드 - 상기 햅틱 신호는 상기 원격 디바이스로 하여금 상기 햅틱 효과를 출력하도록 야기하게 구성됨 -
    를 추가로 포함하는 비일시적 컴퓨터 판독 가능 매체.
KR1020170003484A 2016-01-13 2017-01-10 햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들 Ceased KR20170085000A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/994,720 US10031580B2 (en) 2016-01-13 2016-01-13 Systems and methods for haptically-enabled neural interfaces
US14/994,720 2016-01-13

Publications (1)

Publication Number Publication Date
KR20170085000A true KR20170085000A (ko) 2017-07-21

Family

ID=57850900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170003484A Ceased KR20170085000A (ko) 2016-01-13 2017-01-10 햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (3) US10031580B2 (ko)
EP (1) EP3193241A1 (ko)
JP (2) JP7089846B2 (ko)
KR (1) KR20170085000A (ko)
CN (1) CN106990834A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318215B1 (ko) 2021-04-12 2021-10-27 (주)이지템 가상 심박동 기기 및 그 기기의 구동 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857590B2 (en) * 2014-10-11 2018-01-02 Floyd Steven Hall, Jr. Method and system for press-on displays for fashionable eyewear and nosewear
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US10551909B2 (en) * 2016-04-07 2020-02-04 Qubit Cross Llc Virtual reality system capable of communicating sensory information
US10506940B2 (en) * 2016-10-25 2019-12-17 Boston Scientific Neuromodulation Corporation Stimulation progamming aid using a sensory projection
US11064915B2 (en) * 2016-10-27 2021-07-20 Norman L Johnson Functional reach assessment device and method
US11402909B2 (en) 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
US10990175B2 (en) * 2018-10-29 2021-04-27 Cognixion Brain computer interface for augmented reality
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
KR102150282B1 (ko) * 2017-07-13 2020-09-01 한국전자통신연구원 멀티미디어 콘텐츠와 연관되는 후각 정보 생성 장치 및 방법
CN107596682A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 一种vr虚拟互动滑雪的实现方法和系统
KR101824848B1 (ko) * 2017-11-07 2018-02-01 전윤재 육류 가공시 속재료를 넣기 위한 삽입기구
US10916059B2 (en) * 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
KR102387573B1 (ko) 2017-12-12 2022-04-18 삼성전자주식회사 내부 장치, 외부 장치, 사용자 단말 및 전자 장치 및 이들의 동작 방법
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US10572017B2 (en) * 2018-04-20 2020-02-25 Immersion Corporation Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
US11294467B2 (en) * 2018-12-18 2022-04-05 Immersion Corporation Systems and methods for integrating environmental haptics in virtual reality
US11086398B2 (en) * 2019-06-07 2021-08-10 Microsoft Technology Licensing, Llc Haptic rendering
US20210056391A1 (en) * 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
US11079874B2 (en) * 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
CN114830069B (zh) * 2019-12-18 2025-04-08 奈克斯特曼德公司 脑计算机接口
CN112083803B (zh) * 2020-08-28 2023-11-28 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法
WO2022139643A1 (en) * 2020-12-22 2022-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
FR3131026A1 (fr) * 2021-12-16 2023-06-23 Orange Interface-stimulateur neuronal, Interface neuronale directe, equipement electronique, procédé d’initialisation d’interface-stimulateur neuronal et procéde de contrôle d’un equipement electronique
EP4500308A4 (en) 2022-05-20 2025-07-02 Samsung Electronics Co Ltd METHOD AND DEVICE FOR GENERATING INFORMATION
EP4666154A1 (en) * 2023-02-16 2025-12-24 Juan Manuel Cruz Hernandez Systems and methods for neural haptic signals
WO2025213059A1 (en) * 2024-04-04 2025-10-09 Synchron Australia Pty Limited Systems for controlling one or more devices using a signal control unit
US12461596B2 (en) 2024-04-04 2025-11-04 Synchron Australia Pty Limited Systems for controlling one or more devices using a signal control unit
JP7693167B1 (ja) * 2024-06-14 2025-06-17 株式会社ハルタ 行動錯覚生成システム。

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09508553A (ja) * 1994-02-09 1997-09-02 ユニヴァーシティ オブ アイオワ リサーチ ファンデーション ヒト大脳皮質神経補てつ物
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US8508469B1 (en) 1995-12-01 2013-08-13 Immersion Corporation Networked applications including haptic feedback
JP2001014082A (ja) * 1999-06-25 2001-01-19 Sentan Kagaku Gijutsu Incubation Center:Kk 神経インターフェイスシステム
US7305268B2 (en) * 2000-07-13 2007-12-04 Northstar Neurscience, Inc. Systems and methods for automatically optimizing stimulus parameters and electrode configurations for neuro-stimulators
CN1254296C (zh) 2001-05-11 2006-05-03 皇家菲利浦电子有限公司 一种标示语言启动的装置和操作一组装置的方法
JP2006323649A (ja) * 2005-05-19 2006-11-30 Mitsubishi Electric Corp 味発生装置および香り発生装置および感覚発生装置
US20060264774A1 (en) * 2005-08-25 2006-11-23 Outland Research, Llc Neurologically Controlled Access to an Electronic Information Resource
WO2007117649A2 (en) * 2006-04-06 2007-10-18 Immersion Corporation Systems and methods for enhanced haptic effects
JP5244348B2 (ja) * 2007-09-04 2013-07-24 国立大学法人 筑波大学 装着式動作補助装置及びその制御方法
JPWO2009035100A1 (ja) 2007-09-14 2010-12-24 独立行政法人産業技術総合研究所 バーチャルリアリティ環境生成装置及びコントローラ装置
US11325029B2 (en) 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
US8290596B2 (en) 2007-09-26 2012-10-16 Medtronic, Inc. Therapy program selection based on patient state
US20090088659A1 (en) * 2007-09-27 2009-04-02 Immersion Corporation Biological Sensing With Haptic Feedback
WO2010124247A2 (en) * 2009-04-24 2010-10-28 Advanced Brain Monitoring, Inc. Adaptive performance trainer
JP5477740B2 (ja) * 2009-11-02 2014-04-23 独立行政法人情報通信研究機構 多感覚インタラクションシステム
WO2011123059A1 (en) * 2010-03-31 2011-10-06 Agency For Science, Technology And Research Brain- computer interface system and method
KR101505060B1 (ko) * 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
JP5486123B1 (ja) * 2013-10-12 2014-05-07 純馬 青木 匂い呈示装置および方法
US9955895B2 (en) * 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
US20150187188A1 (en) 2013-12-30 2015-07-02 Aliphcom Communications using tactile stimuli on wearable devices
JP2015130168A (ja) 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US10437341B2 (en) 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
CN106133636B (zh) 2014-03-21 2020-01-21 意美森公司 用于触觉使能的弯曲装置的系统和方法
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US10409361B2 (en) 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
US9830781B2 (en) 2014-06-13 2017-11-28 Verily Life Sciences Llc Multipurpose contacts for delivering electro-haptic feedback to a wearer
CN204360325U (zh) * 2015-01-15 2015-05-27 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互系统
US9655532B2 (en) * 2015-06-19 2017-05-23 Michael Blake Wearable physiological monitoring and notification system based on real-time heart rate variability analysis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318215B1 (ko) 2021-04-12 2021-10-27 (주)이지템 가상 심박동 기기 및 그 기기의 구동 방법

Also Published As

Publication number Publication date
JP2017126337A (ja) 2017-07-20
JP7089846B2 (ja) 2022-06-23
CN106990834A (zh) 2017-07-28
US20180341331A1 (en) 2018-11-29
US10386924B2 (en) 2019-08-20
US10031580B2 (en) 2018-07-24
JP2021193575A (ja) 2021-12-23
US20170199569A1 (en) 2017-07-13
US11237633B2 (en) 2022-02-01
US20200057500A1 (en) 2020-02-20
EP3193241A1 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
US11237633B2 (en) Systems and methods for haptically-enabled neural interfaces
US20230214022A1 (en) Wearable Electronic Haptic Feedback System for VR and Gaming Systems
US20230070523A1 (en) System and method for representing virtual object information with haptic stimulation
US20170131775A1 (en) System and method of haptic feedback by referral of sensation
US10437335B2 (en) Wearable electronic, multi-sensory, human/machine, human/human interfaces
KR101630864B1 (ko) 감정을 전달하는 방법 및 시스템
US10695574B2 (en) Sensory input through non-invasive brain stimulation
EP3089727B1 (en) Wearable devices for sensory stimulation and manipulation, and physiological data acquisition
US11809629B1 (en) Wearable electronic device for inducing transient sensory events as user feedback
US11294451B2 (en) Virtual reality system capable of communicating sensory information
Pfeiffer et al. Haptic feedback for wearables and textiles based on electrical muscle stimulation
US12182328B2 (en) Wearable electronic device for inducing transient sensory events as user feedback
Beckhaus et al. Unconventional human computer interfaces
Longo et al. Using brain-computer interface to control an avatar in a virtual reality environment
JP7017777B2 (ja) 情報処理装置、情報処理方法、および、情報処理装置用プログラム
Kruijff Unconventional 3D user interfaces for virtual environments
Kanwer et al. Emerging Developments in Haptic Technologies: AI, Brain-Computer Interfaces, and Integration of Neurofeedback
Gupta Emerging Developments in Haptic Technologies

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170110

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211206

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170110

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240405

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241210

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D