[go: up one dir, main page]

CN106990834A - 用于触觉使能的神经接口的系统和方法 - Google Patents

用于触觉使能的神经接口的系统和方法 Download PDF

Info

Publication number
CN106990834A
CN106990834A CN201710022334.2A CN201710022334A CN106990834A CN 106990834 A CN106990834 A CN 106990834A CN 201710022334 A CN201710022334 A CN 201710022334A CN 106990834 A CN106990834 A CN 106990834A
Authority
CN
China
Prior art keywords
haptic
signal
user
sensor
haptic effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710022334.2A
Other languages
English (en)
Inventor
君·曼扭尔·克鲁斯-赫南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN106990834A publication Critical patent/CN106990834A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及用于触觉使能的神经接口的系统和方法。本文所公开的一个说明性系统包括被配置成接收来自神经接口的传感器信号的处理器,所述神经接口被配置成对与神经系统相关联的电信号进行检测。处理器还被配置成基于传感器信号来确定与虚拟环境中的虚拟对象的交互。处理器还被配置成至少部分地基于与虚拟环境中的虚拟对象的交互来确定触觉效果。处理器还被配置成传送与触觉效果相关联的触觉信号。所述说明性系统可以进一步包括触觉输出设备,所述触觉输出设备被配置成接收触觉信号并输出触觉效果。

Description

用于触觉使能的神经接口的系统和方法
技术领域
本发明涉及用户接口设备的领域。更具体地说,本发明涉及触觉使能的神经接口。
背景技术
随着基于计算机的系统越来越普及,研究人员正在探索新的接口,用户可通过这些新的接口与这些系统进行交互。一个最近开发的接口是诸如脑机接口(BCI)的神经接口。BCI可包括用户大脑与外部计算设备之间的直接通信路径。一些BCI使用植入到用户大脑或颅骨中的探针或电极,所述探针或电极将电信号直接从用户大脑传送到外部计算设备。其它BCI使用被耦合到用户头部外部的传感器(例如,被耦合到用户前额),所述传感器对通过用户颅骨的来自用户大脑的电信号(例如,电磁波)进行检测并且将传感器信号传送到外部计算设备。可以通过包括触觉能力来改进神经接口。
发明内容
本公开的实施例包括触觉使能的神经接口。在一个实施例中,本公开的系统可以包括被配置成接收来自神经接口的传感器信号的处理器,所述神经接口被配置成对与神经系统相关联的电信号进行检测。处理器还可以被配置成基于传感器信号来确定与虚拟环境中的虚拟对象的交互。处理器还可以被配置成至少部分地基于与虚拟环境中的虚拟对象的交互来确定触觉效果。处理器还可以被配置成传送与触觉效果相关联的触觉信号。所述系统可以进一步包括触觉输出设备,所述触觉输出设备被配置成接收触觉信号并输出触觉效果。
在另一实施例中,本公开的方法可以包括:接收来自神经接口的传感器信号,所述神经接口被配置成对与神经系统相关联的电信号进行检测。所述方法还可以包括:基于传感器信号来确定与虚拟环境中的虚拟对象的交互。所述方法还可以包括:至少部分地基于与虚拟环境中的虚拟对象的交互来确定触觉效果。所述方法可以进一步包括:将与触觉效果相关联的触觉信号传送到触觉输出设备。触觉输出设备可以被配置成接收触觉信号并输出触觉效果。又一实施例包括用于实现这样的方法的计算机可读介质。
提及这些实施例并不旨在限制或者限定本主题的范围,而是提供示例以帮助理解它们。在具体实施方式中对说明性实施例进行讨论,并且在那里提供进一步的描述。通过检查本说明书和/或通过实施要求保护的主题的一个或多个实施例可以进一步理解各种实施例所提供的优点。
附图说明
在说明书的其余部分中更具体地阐述了完整且能够实现的公开。本说明书参考以下附图。
图1示出了用于触觉使能的神经接口的系统的说明性实施例;
图2是示出了根据一个实施例的用于触觉使能的神经接口的系统的框图。
图3示出了用于触觉使能的神经接口的系统的实施例;
图4示出了用于触觉使能的神经接口的系统的另一实施例;以及
图5是根据一个实施例的用于执行用于提供触觉使能的神经接口的方法的步骤的流程图。
具体实施方式
详细描述
现在将详细参考各种及替选的说明性实施例和附图。每个示例是作为解释而非限制被提供的。对于本领域普通技术人员来说显而易见的是可做出修改和变型。例如,图示为或描述为一个实施例的一部分的特征可以在另一实施例中使用以产生更进一步的实施例。因而,本公开旨在包括落入在所附权利要求及其等效体的范围之内的修改和变化。
触觉使能的神经接口的说明性示例
图1示出了用于触觉使能的神经接口的系统100的说明性实施例。系统100包括计算设备112。系统100还包括与计算设备112进行电通信(例如,进行有线或无线通信)的一个或多个神经传感器106、108、110。神经传感器106、108、110被配置成与诸如用户大脑104、脊柱、和/或神经的用户的神经系统的至少一部分电耦合。当神经传感器106、108、110被定位用于对来自用户大脑104的脑信号进行检测时,可将系统100称为脑机接口(BCI)。但是实施例不限于脑机接口,并且系统100可以包括被定位用于对通过用户神经系统的至少一部分传播的神经信号进行检测(例如,在用户身体上或附近的任何地方)的任何数目和配置的神经传感器106、110、108。
在图1所示的实施例中,系统100包括被定位在用户颅骨之内的和/或与用户大脑104直接耦合的神经传感器106(例如,电极)。在一些实施例中,传感器106被直接植入到用户大脑104的一部分之中。这样的神经传感器106可以与用户大脑104接触并且直接接收来自用户大脑104的电信号。另外地或替选地,系统100可以包括外部被耦合到用户颅骨(例如,被耦合到用户头部的外部)的一个或多个神经传感器108,110。例如,在说明性实施例中,系统100包括被耦合到用户额头的一个神经传感器108以及被耦合到用户头部的后面或顶部的另一神经传感器110。这种神经传感器108,110可以检测用户大脑104通过用户颅骨和/或头皮输出的电信号(例如,神经信号)。神经传感器106、108、110被配置成将与用户大脑104所输出的电信号相关联的传感器信号或者否则与用户的神经系统相关联的传感器信号传送到计算设备112。
在说明性实施例中,计算设备112被配置成接收来自神经传感器106、108、110的传感器信号并且基于该传感器信号来确定一个或多个触觉效果(例如,纹理、振动、抚摸感觉、刺痛感觉、和/或所感知到的摩擦系数的变化)。计算设备112被配置成将与触觉效果相关联的一个或多个触觉信号传送到一个或多个触觉输出设备114,116。触觉输出设备114,116被配置成接收来自计算设备112的触觉信号并输出触觉效果。
在一些实施例中,计算设备112可以包括触觉输出设备114。在这样的实施例中,用户102可以抓住或握住计算设备112以感知触觉输出设备114所输出的触觉效果。
例如,在一些实施例中,计算设备112生成虚拟环境。如在本文所使用的,虚拟环境包括部分或完全是虚拟的环境。例如,虚拟环境可包括增强现实环境、虚拟现实环境、视频游戏环境等。在一个这样的实施例中,计算设备112可以执行诸如虚拟军事游戏的视频游戏。计算设备112可以在显示器上显示与视频游戏相关联的内容。例如,计算设备112可以显示与视频游戏相关联的虚拟战区以及可由用户102控制的虚拟对象(例如,角色、车辆、或者武器)。在一些实施例中,计算设备112接收来自神经传感器106、108、110的传感器信号并且基于该传感器信号来确定与虚拟环境内的虚拟对象的交互和/或对虚拟环境中的虚拟对象的操纵。计算设备112可以使得该交互和/或操纵在虚拟环境内发生。因而,用户可以能够利用用户的思想与虚拟对象交互和/或操纵虚拟对象。
在一些实施例中,计算设备112可基于与虚拟环境内的虚拟对象的交互和/或对虚拟环境内的虚拟对象的操纵来确定触觉效果并且使得触觉效果被输出。例如,计算设备112可以接收来自神经传感器106、108、110的传感器信号并且基于该传感器信号确定出虚拟对象应在例如凹凸不平的地形上向前移动。在说明性实施例中,计算设备112还确定并输出与虚拟对象的移动相关联的触觉效果。例如,当虚拟对象穿过凹凸不平的地形时,计算设备112可以确定并输出被配置成例如模拟凹凸不平的地形的一个或多个振动。按照这种方式,用户102可经由来自用户大脑104的信号与虚拟对象交互和/或操纵虚拟对象并且接收相关触觉效果。
上述对说明性实施例的描述仅作为示例。在本文对本发明的各种其它实施例进行描述,并且本领域技术人员应理解这样的实施例的变型。通过检查本说明书和/或通过实施要求保护的主题的一个或多个实施例可以进一步理解各种实施例所提供的优点。
用于触觉使能的神经接口的说明性系统
图2是示出了根据一个实施例的用于触觉使能的神经接口触觉效果的系统的框图。该系统包括计算设备201。在一些实施例中,计算设备201包括头戴式计算设备、移动设备(例如,智能电话、平板计算机、电子阅读器、或者膝上型计算机)、台式计算机、或者便携式游戏设备。在其它实施例中,计算设备201可以包括可穿戴设备(例如,戒指、鞋、臂章、袖子、夹克、眼镜、手套、手表、腕带、手镯、衣服、帽子、头带、和/或首饰)。
在一些实施例中,可以将计算设备201的组件(例如,处理器202、网络设备210、传感器230等)集成到单个外壳内。在其它实施例中,组件可以是分布式的(例如,分布在多个外壳或位置之间)并且彼此进行电通信。计算设备201可以包括或者可以不包括在图2中所描绘的所有组件。例如,在一些实施例中,计算设备201可以不包括扬声器222、嗅觉设备234、以及显示器216。
在图2所示的实施例中,计算设备201包括经由总线206与其它硬件进行通信的处理器202。可包括诸如RAM、ROM、EEPROM等的任何适当有形(且非暂时性)的计算机可读介质的存储器204体现为用于配置计算设备201的操作的程序组件。在所示实施例中,计算设备201进一步包括一个或多个网络设备210、输入/输出(I/O)接口组件212、以及储存器214。
网络设备210可表示促进网络连接的任何组件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394的有线接口和/或诸如IEEE 802.11、蓝牙、或者用于接入蜂窝电话网络的无线电接口(例如,用于接入CDMA、GSM、UMTS、或其它移动通信网络的收发器/天线)的无线接口。
I/O组件212可以用于促进到设备的有线或无线连接,所述设备诸如一个或多个显示器216、游戏控制器、键盘、鼠标、操纵杆、相机、按钮、扬声器、麦克风、和/或用于输入数据或者输出数据的其它硬件这样的。储存器214表示诸如磁盘、光盘、或者其它存储介质的包括在计算设备201之中的或者与处理器202相耦合的非易失性储存器。
在一些实施例中,计算设备201包括一个或多个传感器230。传感器230被配置成将传感器230信号传送到处理器202。例如,传感器230可以包括相机、陀螺仪、加速度计、全球定位系统(GPS)单元、距离传感器、或者深度传感器。在一些实施例中,计算设备201可以基于来自传感器230的传感器信号来操纵虚拟对象和/或生成触觉效果。
计算设备201还可以包括显示器216、扬声器222、和/或嗅觉设备234。显示器216包括被配置成接收视频信号(例如,来自处理器202)并且向用户输出一个或多个图像的任何组件。例如,显示器216可以包括头戴式显示器、电视机、投影仪、计算机监视器、和/或液晶显示器(LCD)。在一些实施例中,可以将显示器216与触敏表面集成在一起以形成触摸屏显示器。扬声器222包括被配置成接收音频信号(例如,来自处理器202)并输出一个或多个声音的任何组件。嗅觉设备234包括被配置成接收嗅觉信号(例如,来自处理器202)并输出用户可感知到的一种或多种气味的组件。嗅觉设备234可以包括用于生成一种或多种气味的任何数目和配置的香味、香水、液体、固体、凝胶、和/或气体。嗅觉设备234可以接收嗅觉信号并且输出香味、香水、液体、固体、凝胶、和/或气体中的一种或多种以生成目标气味。
系统还包括神经传感器232。神经传感器232被配置成检测来自用户神经系统的电信号(例如,神经信号)并且将一个或多个相关传感器信号传送到处理器202。神经传感器232可以经由诸如IEEE802.11、蓝牙、或者无线电接口的有线接口或无线接口与处理器202进行通信。神经传感器232可以包括:一个或多个探针;诸如脑电图(EEG)电极的电极;光谱传感器;磁共振成像系统(例如,fMRI系统);和/或电容传感器。另外或替选地,神经传感器232可以包括电池和/或其它电源、处理器、存储器、电刺激设备、磁力计、和/或其它组件。
在一些实施例中,神经传感器232包括输出设备。神经传感器232可以能够刺激用户的神经系统的至少一部分(例如,用户大脑)以使得用户感知实际上可能不存在的和/或用户可能不能物理地检测的感觉(例如,味觉、气味、视觉、声音、和/或触觉感觉)。例如,神经传感器232可以被配置成接收来自处理器202的触觉信号并且按照被配置成使得用户感知可能实际上并不物理存在的触觉感觉这样的方式来响应地刺激用户大脑或另一身体部位。可以将这样的触觉感觉称为明显触觉效果。例如,神经传感器232可以按照被配置成使得用户感知到用户手臂上的针刺的方式来刺激用户大脑或用户手臂中的神经,即使针可能实际上没有实际刺到用户的手臂。
在一些实施例中,神经传感器232可以按照被配置为使得用户感知到味觉、气味、视觉、声音、和/或其它感觉的方式来附加地或替选地刺激用户的神经系统。例如,神经传感器232可以包括电刺激设备,该电刺激设备被配置成将一个或多个电脉冲施加到用户大脑以用于使得用户感知到视觉、听觉、嗅觉、或其它感觉。
在一些实施例中,神经传感器232可使用经颅磁刺激(TMS)以生成感觉。例如,神经传感器232可包括90mm的MagStim TM圆线圈。神经传感器232可被定位在用于刺激用户大脑的运动皮层区域(例如,与用户头部齐平)。处理器202可使得将电信号(例如,包括一个或多个脉冲)传送到神经传感器232。在一些实施例中,处理器202可操作刺激设备(例如,Magstim TM磁刺激器)以使得刺激设备将电信号传送到神经传感器232。神经传感器232可响应于该电信号而生成电磁场。电磁场可以在用户大脑的运动皮层区域中感应电流,例如,使得用户移动身体部位或感知到用户已移动身体部位。在一些实施例中,处理器202可传送下述信号,该信号被配置成使得刺激设备以在刺激设备的最大可能输出(例如,2.0T)的58%与65%之间刺激用户大脑。这可以使得用户感知到特定感觉。
该系统进一步包括与处理器202进行通信的一个或多个触觉输出设备218,220。触觉输出设备218,220被配置成响应于触觉信号而输出触觉效果。在一些实施例中,触觉输出设备218,220被配置成输出包括例如振动、所感知到的摩擦系数的变化、模拟纹理、刺痛感觉、和/或表面变形的触觉效果。另外,一些触觉效果可以按顺序和/或一致地使用相同或不同类型的多个触觉输出设备218,220。
在一些实施例中,触觉输出设备218,220可以通过使计算设备201或计算设备201的组件振动而输出触觉效果。在这样的实施例中,触觉输出设备218,220可以包括例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(ERM)、或者线性谐振致动器(LRA)中的一个或多个。
计算设备201可以包括内部触觉输出设备218。附加地或替选地,计算设备201可以与远离计算设备201的触觉输出设备220进行有线或无线通信。例如,在图2所示的实施例中,触觉输出设备220在计算设备201外部并且经由诸如以太网、USB、或者IEEE 1394的有线接口与计算设备201进行通信。在其它实施例中,触觉输出设备220可以经由诸如IEEE802.11、蓝牙、或者无线电接口的无线接口与计算设备201进行通信。在一些实施例中,触觉输出设备220可以被耦合到可穿戴设备,该可穿戴设备包括例如鞋、袖子、夹克、眼镜、手套、戒指、手表、腕带、手镯、服装制品、帽子、背心、皮带、头盔、头带、和/或首饰。在其它实施例中,触觉输出设备220可以被耦合到诸如用户的手指、手臂、手、脚、腿、头、背部、胸部、颈部、和/或其它身体部位的用户身体的一部分。
在一些实施例中,触觉输出设备218,220可以被配置成响应于触觉信号而输出用于模拟纹理或者用于对所感知到的表面上的摩擦系数进行调制的触觉效果。在一个这样的实施例中,触觉输出设备218,220可以包括超声致动器。在另一这样的实施例中,触觉输出设备218,220可以包括被配置成使用静电吸引以输出触觉效果的静电致动器。触觉效果可以模拟纹理或者对所感知到的沿着表面的摩擦系数进行调制。在这样的实施例中,静电致动器可以与靠近或接触静电致动器的身体部位电容性地耦合。改变对象与导电层之间的吸引力水平可改变所模拟的纹理或者所感知到的沿着表面的摩擦系数。
在一些实施例中,触觉输出设备218,220包括被配置成输出变形触觉效果(例如,用于使计算设备201或另一表面弯曲或变形)的流体。例如,该流体可以包括智能凝胶或流变(例如,磁流变或电流变)流体。响应于刺激,智能凝胶或流变流体可改变物理状态和/或使形状变形。这可以使得计算设备201或另一表面变形。
在其它实施例中,触觉输出设备218,220包括机械变形设备,该机械变形设备被配置成物理地推动和/或拉动计算设备201的表面以使得计算设备201的表面在形状上变形。更进一步,可以使用其它技术或方法来使表面变形。例如,触觉输出设备218,220可以包括柔性表面层,该柔性表面层被配置成基于来自表面可重配置的触觉衬底(包括但不限于例如纤维、纳米管、电活性聚合物、压电元件、或者形状记忆合金)的接触使其表面变形或改变其纹理。在一些实施例中,触觉输出设备218,220例如是变形的空气或流体腔、材料的局部变形、谐振机械元件、压电材料、微机电系统(“MEMS”)元件或泵、热流体腔、可变孔隙率膜、或者层状流调制。
转到存储器204,描绘了程序组件224,226,228以示出在一些实施例中设备如何被配置以提供触觉使能的神经接口。在该示例中,神经信号解译模块224配置处理器202以对来自神经传感器232的传感器信号进行解译。例如,神经信号解译模块224可以接收来自神经传感器232的传感器信号并将传感器信号的一个或多个特性应用于算法和/或查找表以基于该传感器信号来确定特定输入和/或与虚拟环境中的虚拟对象的交互,例如如参考图5更详细描述的。
在一些实施例中,神经信号解译模块224包括查找表。计算设备201可以使用查找表将来自神经传感器232的一个或多个传感器信号的一个或多个特性映射到用户所感知到的刺激。例如,计算设备201可以使用查找表将来自神经传感器232的传感器信号的特定模式或者来自神经传感器232的一个或多个传感器信号的一个或多个特性映射到特定刺激(例如,用户所感知到的特定声音、图像、气味、味觉、或其它刺激)。
在一些实施例中,可记录神经信号(例如,使用脑电图)并将其映射到查找表中的特定刺激。例如,计算设备201可以输出已知的(例如,预定的)图像、声音、气味、味觉、和/或其它刺激。用户可以感知到刺激,这使得神经传感器232传送与刺激相关联的传感器信号。计算设备201可以接收来自神经传感器232的传感器信号并且将所接收到的传感器信号的一个或多个特性与特定刺激相关联(例如,在查找表中)。计算设备201可以重复该过程任意多次以例如构建查找表。此后,计算设备201可以使用查找表以识别用户所感知到的未知刺激。
触觉效果确定模块226表示用于分析数据以确定要生成的触觉效果的程序组件。尤其是,触觉效果确定模块226可以包括用于基于来自神经传感器232的传感器信号和/或在虚拟环境中发生的事件来确定要输出的触觉效果以及用于选择要提供的一个或多个触觉效果以便模拟效果的代码。例如,可以基于如根据来自神经传感器232的传感器信号所确定的用户情绪(例如,快乐、悲伤、害怕、有压力等)来选择不同的触觉效果。
在一些实施例中,触觉效果确定模块226可以包括用于基于虚拟对象的大小、颜色、位置、移动、和/或其它特性来确定要输出的触觉效果的代码以及用于选择要提供的一个或多个触觉效果以便模拟效果的代码。例如,处理器202可以使用神经信号解译模块224确定出来自神经传感器232的传感器信号指示出虚拟对象应当在虚拟环境内被操纵(例如,虚拟滑雪者应以特定方式沿着虚拟滑雪坡道向下移动)。处理器202可以响应地使虚拟对象在虚拟环境内移动。触觉效果确定模块226可以基于虚拟对象的移动来确定要输出的一个或多个触觉效果。例如,触觉效果确定模块226可以确定被配置成模拟虚拟滑雪坡道的雪上技巧、跳跃、或者其它特征的触觉效果。
触觉效果生成模块228表示用于使得处理器202将触觉信号传送到触觉输出设备218,220以生成所选触觉效果的编程。例如,触觉效果生成模块228可以访问要发送到触觉输出设备218的已存储的波形或命令。作为另一示例,触觉效果生成模块228可以包括用于确定触觉信号的算法。触觉效果生成模块228可以包括用于确定触觉效果的目标位置的算法。例如,目标位置可以包括用户身体上的输出触觉效果的位置。
虽然在图2中将模块224,226和228描绘为存储器204内的程序组件,但是在一些实施例中,模块224,226和/或228可以包括硬件。例如,模块224,226和/或228可以包括模数转换器、处理器、微控制器、比较器、放大器、晶体管、以及其它模拟或数字电路。
图3示出了用于触觉使能的神经接口的系统的实施例。神经传感器304可以响应于用户看到、听到、闻到、感觉到、品尝到、和/或否则被用户环境中的刺激所刺激到而将电信号传送到计算设备302。虽然在图3中将神经传感器304描述为被定位于用户头部上以用于对来自用户大脑的信号进行检测,但是在其它实施例中,神经传感器304可以被耦合到用户身体的其它部分(例如,手臂、腿、手、脚、背、脊柱等)以用于检测由用户神经系统的其它部分输出的或者通过用户神经系统的其它部分传播的电信号。
计算设备302被配置成基于来自神经传感器304的传感器信号来确定一个或多个输入(例如,命令)。例如,计算设备302可以确定传感器信号包括幅度、相位、频率、波形、持续时间、和/或其它特性或表示特定输入的特性的组合。计算设备302可以基于该特性来确定输入。例如,计算设备302可以通过查阅存储在存储器中的用于将传感器信号特性映射到特定输入的查找表来确定输入。
在一些实施例中,计算设备302可以确定与用户有关的信息和/或经由来自神经传感器304的传感器信号接收来自用户的输入。例如,计算设备302可以基于传感器信号来确定:用户具有特定心情(例如,幸福、恐惧、兴奋、悲伤等);用户正在参与特定的思维模式(例如,创造性的、逻辑的、情感的等);用户大脑的特定区域(例如,额叶、顶叶、颞叶、枕叶)被刺激;用户在听觉上、触觉上、和/或视觉上被刺激;和/或与用户有关的其它信息。该信息可以是或者否则包括输入。
在一些实施例中,计算设备302基于输入执行一个或多个功能(例如,数字操作)。例如,功能可以包括操纵虚拟环境中的虚拟对象和/或与虚拟环境中的虚拟对象交互(例如,使视频游戏角色在虚拟环境中移动)、购买对象(例如,经由互联网)、打开网页、发起文档打印、发送告警或消息、确定与对象有关的信息(例如,通过查询一个或多个服务器)、呼叫电话号码、拍摄照片、保存数据、选择程序选项或设置、记录声音、输出声音、播放媒体内容、发送数据、和/或接收数据。
例如,在一些实施例中,计算设备302被配置成执行增强现实应用、虚拟现实应用、视频游戏、和/或可以生成虚拟用户界面(例如,三维用户界面),用户通过所述虚拟用户界面可与虚拟环境中的一个或多个虚拟对象进行交互。在一些实施例中,用户可想象虚拟对象沿着特定轨迹的移动、与虚拟对象的交互、和/或对虚拟对象的特定操纵。用户大脑可以响应地生成电信号,该电信号可以由计算设备302接收并解译。在一些实施例中,计算设备302可以使虚拟对象沿着特定轨迹移动,生成对与虚拟对象的交互的响应,和/或基于来自用户大脑的电信号来以特定方式操纵虚拟对象。
在一些实施例中,计算设备302至少部分地基于来自神经传感器304的传感器信号(例如,与神经传感器304相关联的一个或多个输入)输出一个或多个触觉效果。例如,计算设备302可以输出与来自用户大脑的电信号的振幅或频率成比例的触觉效果(例如,振动)。作为另一示例,计算设备302可以基于传感器信号确定出用户正看到特定颜色或对象、听到特定声音、品尝特定味道、和/或闻到特定气味,并输出相关触觉效果。例如,计算设备302可以确定出用户正看到包括血液或红色的对象,并且输出强烈的振动(例如,用信号表示危险)。
在一些实施例中,计算设备302可以输出被配置成增强或降低用户所感知的一个或多个感觉的触觉效果。例如,用户可以与包括特定特性(例如,凹凸不平)的表面(例如,桌子、椅子、书桌、道路、地板、墙壁等)进行交互。神经传感器304可检测与交互相关联的电信号并将相关传感器信号传送到计算设备302。计算设备302可以基于传感器信号确定出用户正在触摸凹凸不平的表面。计算设备302可以输出被配置成增强特定特性的触觉效果。例如,计算设备302可以经由与用户的手或手指相关联的触觉输出设备308而输出被配置成使得表面感觉更加凹凸不平的强烈振动。
在一些实施例中,计算设备302至少部分地基于虚拟对象、虚拟环境、和/或在虚拟环境内发生的事件的特性来输出触觉效果。事件可以包括:虚拟对象的存在(例如,虚拟家具件在增强现实应用中的存在);对虚拟对象的操纵(例如,使虚拟对象移动或弹起);虚拟对象的尺度、位置、取向、颜色、或其它特性的变化;虚拟爆炸、枪声、和/或碰撞;游戏角色之间的交互;进入新的级别;失去生命和/或虚拟角色的死亡;和/或遍历特定虚拟地形;等等。
例如,计算设备302可以输出一个或多个触觉效果,所述一个或多个触觉效果被配置成模拟虚拟地形、虚拟对象的纹理、虚拟对象的温度、与虚拟对象的碰撞或打击、虚拟枪火等。在一些实施例中,计算设备302经由与用户的脚相关联的触觉输出设备318(诸如在鞋中)和/或与用户的手相关联的触觉输出设备308(诸如在手套312中)输出触觉效果。例如,计算设备302可以执行用户可控制虚拟武士的虚拟武术游戏(例如,利用用户大脑)。计算设备302可以响应于虚拟武士接触尖锐的虚拟对象(例如,虚拟剑或武士剑)而输出刺痛感觉。计算设备302可以附加地或替选地输出被配置成响应于虚拟武士接收到打击(例如,用物体、拳头、或脚)而模拟碰撞的触觉效果或者被配置成响应于虚拟武士接近包括温度的虚拟对象(例如,熔岩)而模拟温度(例如,热)的触觉效果。
作为另一个示例,计算设备302可以执行用户可经由他或她的大脑来控制虚拟汽车的虚拟赛车游戏。计算设备302可以响应于虚拟汽车在沙滩上、铺设的街道、凹凸不平或坑洼上行驶和/或用户赢得或输掉一轮而输出一个或多个触觉效果。例如,计算设备302可以输出被配置成响应于虚拟汽车在沙滩上行驶而对用户的脚模拟沙滩感觉(例如,经由触觉输出设备318)的触觉效果。计算设备302可以响应于虚拟汽车在凹凸不平或坑洼上行驶而输出对用户的脚或胸部输出强烈振动(例如,经由触觉输出设备318和/或触觉输出设备306)。计算设备302可经由任何数目和组合的(例如,被耦合到用户身体的和/或与可穿戴物品相关联的)触觉输出设备306,308,310,318来输出任何数目的触觉效果。
在一些实施例中,计算设备302输出与和现实空间中的对象的用户交互(例如,用户用肢体或身体部位接触对象)相关联的一个或多个触觉效果。例如,对象可以包括按钮、旋钮、滑块、和/或开关(例如,灯开关)。在一些实施例中,触觉效果被配置成确认用户交互。例如,计算设备302可以输出被配置成确认用户接触或者否则操纵对象(例如,拨动灯开关)的振动(经由触觉输出设备308)。例如,这可以帮助由于一个或多个医疗状况而使用户肢体(例如,手指)的灵敏度降低的用户确定发生了这样的用户交互。
在一些实施例中,计算设备302可以输出与对真实空间中的身体部位(例如,肢体)的操纵(例如,移动)相关联的触觉效果。例如,用户可以尝试操纵肢体(例如,使用户的手移动到新的定位或接触表面)。在一些实施例中,用户可能无法看见或以其他方式检测到身体部位是否实际移动(例如,如果用户是盲人)。计算设备302可以输出被配置成确认身体部位移动的第一触觉效果(例如,振动)和/或被配置成向用户通知身体部位没有移动的第二触觉效果。
作为另一示例,用户可以使用身体部位与一个或多个对象(例如,桌子或椅子)交互。用户可能由于某些原因而不能感知到触觉感觉。例如,用户可能神经受损或可能已经失去了肢体的全部或一部分。这可能妨碍了用户直接感知与交互和/或对象相关联的触觉感觉。例如,用户可能不能物理地感测纹理或与对象相关联的其它特性。计算设备302可以使得神经传感器304按照被配置成使得用户感知到特性的方式来刺激用户的神经系统。例如,计算设备302可以使得神经传感器304按照被配置成使得用户感知到用户正在接触包括木材纹理的表面这样的方式来刺激用户大脑。
在一些实施例中,用户可以使用诸如假肢316的中间设备来与一个或多个对象(例如,沙发或墙壁)交互。例如,如果用户已经失去了肢体,那么用户可以使用中间设备。中间设备(和/或失去肢体)可以妨碍用户直接感知与交互和/或对象相关联的触觉感觉。例如,用户可能不能物理地感测纹理或与对象相关联的其它特性。在一些实施例中,中间设备包括被配置成检测对象的特性并且将相关传感器信号传送到计算设备302的传感器320(例如,与假肢316相耦合的相机)。例如,传感器320可以检测对象的纹理并且将相关传感器信号传送到计算设备302。计算设备302可以接收传感器信号并且使得神经传感器304按照被配置成使得用户感知到该特性的方式来刺激用户的神经系统。例如,计算设备302可以使得神经传感器304按照被配置成使得用户感知到用户正在接触包括砖纹理的表面这样的方式来刺激用户大脑。
在一些实施例中,计算设备302可以输出与对假肢316的操纵(例如,移动)和/或对假肢316的尝试操纵相关联的触觉效果。例如,用户可以尝试操纵假肢316(例如,沿着小路走)。但是,用户可能无法看到或以其它方式检测假肢316是否实际移动(例如,如果用户盲人)。计算设备302可以输出被配置成确认假肢316移动了的第一触觉效果(例如,经由触觉输出设备310的振动)和/或被配置成向用户通知假肢肢体316没有移动的第二触觉效果。
图4示出了用于触觉使能的神经接口的系统的另一实施例。该系统包括第一用户402。在该实施例中,神经传感器404与第一用户的头部相耦合并且与第一计算设备406电通信。该系统还包括第二用户408。在该实施例中,神经传感器410与第二用户的头部相耦合并且与第二计算设备412电通信。用户可以在相同物理位置或不同物理位置(例如,在不同房间、房屋、城市、和/或国家)。
在一些实施例中,计算设备406,412经由有线或无线接口彼此通信。计算设备406,412可彼此直接通信(例如,经由蓝牙)或者彼此间接通信。在一些实施例中,计算设备406,412经由网络414彼此通信。网络414可以是任何合适数目或类型的网络或链路,其包括但不限于拨号网络、局域网(LAN)、广域网(WAN)、公共交换电话网络(PSTN)、蜂窝网络、WiFi网络、互联网、内联网、或者硬连线和/无线通信链路的任何组合。网络414可以包括一个或多个子网络。
计算设备406,412可以另外或替选地经由网络414与一个或多个远程服务器(例如,云服务器、web服务器、或其它服务器)、数据库、和/或计算设备416进行通信。例如,计算设备416可以执行视频游戏。用户402,408可以操作其相应的计算设备406,412(例如,经由大脑信号)来玩游戏。计算设备406,412可以将数据传送到计算设备416以及接收来自计算设备416的数据以实现玩游戏。
在一些实施例中,计算设备406,412,416中的一个或多个可以执行被配置成生成虚拟环境的程序(例如,增强现实应用、虚拟现实应用、和/或视频游戏)。用户402,408可以能够经由虚拟环境彼此进行交互。例如,计算设备416可以执行用户402,408能够对一个或多个虚拟士兵进行控制的虚拟军事游戏。在这样的实施例中,每个神经传感器404,410可以对来自相应用户神经系统的电信号进行检测并将相关传感器信号传送到相应用户的计算设备406,412。计算设备406,412可以基于传感器信号来操纵虚拟环境内的相同虚拟对象或不同虚拟对象。例如,计算设备406,412可以基于传感器信号来操纵军事游戏中的不同虚拟士兵。这可以允许用户使用他们的大脑来操纵虚拟对象。
计算设备406,412与一个或多个触觉输出设备进行电通信(例如,如图3所示)。如上所述,在一些实施例中,神经传感器404,410可是或者可包括触觉输出设备。计算设备406,412可以向每个相应用户402,408输出相同触觉效果或不同触觉效果(例如,振动、纹理、刺痛感觉、和/或抚摸感觉)。例如,在如上所述的军事游戏实施例中,响应于在距两个用户的虚拟士兵基本上等距离的位置处发生了爆炸,计算设备406,412可以向用户402,408输出相同触觉效果(例如,振动)。计算设备406可以附加地或替选地响应于第一用户的虚拟角色执行任务(例如,虚拟武器开火)而向用户402输出触觉效果(例如,振动),而计算设备412可以不输出触觉效果(例如,因为第二用户的虚拟角色未持有虚拟武器和/或距虚拟武器特定距离)。
在一些实施例中,计算设备406被配置成对来自第一用户402的神经系统的与声音、视觉、味觉、触觉感觉、气味、和/或第一用户402所感知的其它感觉相关联的一个或多个电信号进行检测(例如,经由神经传感器404)。计算设备406被配置成将与感觉相关联的数据传送给另一计算设备412。其它计算设备412可以接收数据并且基于该数据生成第二用户408可感知的一个或多个感觉。例如,计算设备412可以使得神经传感器410按照被配置成使得第二用户408感知到感觉的方式来刺激第二用户大脑。因而,两个或更多用户402,408可以能够在彼此之间共享感觉。
例如,用户402可以与真实空间中的对象(例如,诸如猫的动物)或虚拟环境中的对象进行交互,并且用户大脑可以响应地生成与对象相关联的电信号(例如,毛皮的纹理、猫所发出的呜呜声、和/或视觉上猫的外观)。计算设备406可以将相关数据传送到远程计算设备412。计算设备412可以基于该数据向第二用户408输出一个或多个感觉。例如,计算设备412可以输出例如被配置成模拟对象的纹理(例如,猫皮的纹理)的触觉效果。计算设备412可以附加地或替选地输出声音,例如被配置成模拟由对象发出的声音(例如,猫的呜呜声)。例如,计算设备412可以附加地或替选地输出被配置成模拟对象的外观的视觉。这可以允许远程用户408感知对象的一个或多个特性和/或第一用户402所感知到的一个或多个感觉。
作为另一示例,计算设备412可以输出诸如增强现实环境或虚拟现实环境的虚拟环境(例如,经由诸如增强现实眼镜或护目镜这样的显示器409)。在一些实施例中,用户408可以触摸或以其它方式操纵虚拟环境中的虚拟对象。例如,用户408可以触及并触摸与虚拟环境中的虚拟对象相对应的真实空间中的位置。在一些实施例中,计算设备412被配置成检测对虚拟对象的操纵(例如,经由诸如相机、深度传感器、范围传感器等的一个或多个传感器)。计算设备412可以将与虚拟对象相关联的数据和/或对虚拟对象的操纵传送到远程计算设备406。在一些实施例中,计算设备406可以接收数据并且基于该数据响应地向第一用户402输出一个或多个感觉。例如,计算设备406可以输出例如被配置成模拟虚拟对象的纹理(例如,虚拟宠物的纹理)的触觉效果。
作为又一示例,用户402,408可以是战区中的士兵。用户402,408中的每一个可以能够勘查战场的不同部分并且经由计算设备406,412共享他们感知到的感觉。例如,当用户402进入任何敌方据点时,计算设备406可以将相关数据传送到计算设备412,计算设备412可以输出被配置成模拟声音、味觉、气味、视觉、触觉、和/或由第一用户402所感知到的感觉的一个或多个效果。例如,计算设备412可以基于第一用户402所感知到的枪声而输出声音。计算设备412可以附加地或替选地输出被配置成例如指示出枪响的方向(如第一用户402所感知到的)的触觉效果(例如,振动)。这可以快速地(例如,基本上瞬时地)向第二用户408通信第一用户402处于危急状态,例如因此第二用户408可以提供支持。
作为又一示例,在上述战区实施例中,第一用户402可以看到敌方士兵正在接近第二用户408(例如,从后面)。计算设备406可以检测(例如,经由神经传感器404)来自第一用户大脑的指示该视觉的电信号,并且将相关数据传送到计算设备412。计算设备412可以在显示器409上输出被配置成例如向第二用户408通知危险的视觉(例如,敌人士兵的视觉)、声音、和/或触觉效果。这可以允许第一用户402快速地将有价值的且潜在地救生信息通信到第二用户408,例如,在不必与计算设备406的物理用户接口组件(例如,按钮、开关、旋钮)进行交互的情况下。
用于触觉使能的神经接口的说明性方法
图5是根据一个实施例的用于执行用于提供触觉使能的神经接口的方法的步骤的流程图。在一些实施例中,图5中的步骤可以是以例如通用计算机、移动设备、或服务器中的处理器这样的处理器所执行的程序代码来实现的。在一些实施例中,这些步骤可以是由一组处理器来实现的。在一些实施例中,图5中所示的一个或多个步骤可以省略或以不同的顺序来执行。类似地,在一些实施例中,还可以执行图5中未示出的附加步骤。下面的步骤是参考上面就图2中所示的计算设备201所描述的组件来描述的。
当处理器202接收到来自神经传感器232的传感器信号时,方法500开始于步骤502处。神经传感器232被配置成对由用户的神经系统所输出的和/或通过用户的神经系统传播的一个或多个电信号(电磁波)进行检测并且将相关传感器信号传送到处理器202。传感器信号可以包括与用户所感知到的感觉(例如,声音、视觉、味觉、触觉感觉、气味等)相关联的数据。例如,在一个实施例中,数据可以包括与用户所感知的对象(例如,一块木材)的纹理相关联的数据。
传感器信号可以是模拟信号或数字信号。在一些实施例中,可以用与用户大脑所输出的电信号相关联的数据对传感器信号进行编码。例如,神经传感器232可以使用脉冲宽度调制、频率调制、幅度调制、和/或任何其它技术以对传感器信号内的数据进行编码。
当处理器202基于传感器信号确定输入时,方法500在步骤504处继续。如本文所使用的,输入包括由用户提供给处理器202的任何信息。例如,输入可以包括与虚拟环境中的虚拟对象的用户交互。
在一些实施例中,处理器202确定传感器信号包括表示特定输入的一个或多个特性(例如,振幅、相位、频率、波形、持续时间、和/或其它特性)。在一些实施例中,处理器202可以依赖于包含在神经信号解译模块224之中的编程以基于传感器信号来确定输入。例如,神经信号解译模块224可以包括查找表。处理器202可以查阅查找表以基于传感器信号的一个或多个特性来确定输入。例如,处理器202可以查阅查找表并且基于传感器信号的幅度和/或频率(和/或编码在传感器信号内的数字数据)来确定出输入包括用户感知到特定触觉感觉。在其它实施例中,处理器202可以应用算法以基于传感器信号的一个或多个特性来确定输入。例如,神经信号解译模块224可以包括处理器202可用于基于传感器信号来确定输入的一个或多个算法。
处理器202可以使用任何数目和组合的技术以基于传感器信号来确定输入。例如,处理器202可以使用查找表和算法的组合以基于传感器信号来确定输入。在一些实施例中,用户可以具有“输入简档”,在该“输入简档”中用户可确定出用户想要的与特定传感器信号相关联的输入的“简档”并将其保存在存储器204中。例如,在一些实施例中,用户可从可用输入的列表中选择并使这些输入中的一个与特定传感器信号(诸如高幅高频传感器信号)相关联。在这样的实施例中,处理器202可以查阅用户的输入简档以基于传感器信号来确定输入。
当处理器202确定触觉效果时,方法500在步骤506处继续。处理器202至少部分地基于输入的特性(例如,类型)和/或传感器信号来确定触觉效果。例如,在一个实施例中,如果输入与用户感知到凹凸不平的对象相关联,则处理器202可以确定包括振动的触觉效果。
在一些实施例中,处理器202至少部分地基于事件来确定触觉效果。事件可以在计算设备上的真实空间中和/或在虚拟环境内发生。例如,事件可以包括:节目活动(例如,游戏活动);与计算设备201的交互(例如,使移动设备倾斜或移动、与触摸屏显示器进行交互);与虚拟环境中的虚拟对象的交互;计算设备201的状态的变化;接收数据;发送数据;和/或用户身体部位(例如,手臂、腿、或假肢)的移动。
例如,处理器202可以基于传感器信号来操纵虚拟环境内的用户的虚拟角色和/或与其进行交互(例如,移动)。处理器202可以进一步至少部分地基于该操纵和/或交互来确定触觉效果。例如,如果该操纵和/或交互导致用户的虚拟角色与另一虚拟对象(例如,树、车辆、和/或另一虚拟角色)碰撞,则处理器202可以确定包括强烈振动的触觉效果。
在一些实施例中,计算设备201可以存储相关的“触觉简档”,在该“触觉简档”中用户可确定出用户想要的与特定输入相关联的触觉效果的“简档”并将其保存在存储器204中。例如,在一个实施例中,用户可从选项的列表中选择用户想要的与特定输入(诸如与用户看到特定视觉、听到特定声音、操纵特定虚拟对象等相关联的输入)相关联的触觉效果。在一些实施例中,该列表可以包括例如诸如脉冲振动、低幅度振动、或者模拟纹理的触觉效果。在一些实施例中,处理器202可以查阅用户的触觉简档以确定要生成的触觉效果。例如,如果用户的触觉简档将包括虚拟敌方士兵的视觉(例如,在虚拟军事游戏中)与包括脉冲振动的触觉效果相关联,则响应于用户看到虚拟敌方士兵,处理器202可以确定包括脉冲振动的触觉效果。
在一些实施例中,处理器202确定多个触觉效果。多个触觉效果的每一个可以与输入和/或相关传感器信号的不同特性相关联。例如,处理器202可以基于从其确定输入的传感器信号的幅度来确定第一触觉效果(例如,振动)。传感器信号的幅度可以指示用户感知到特定刺激有多强烈(例如,用户感知到在拳击比赛中对手对头部的打击有多强烈)。处理器202还可以确定与编码在传感器信号中的数字数据相关联的第二触觉效果。数字数据可以表示刺激的类型(例如,对头部的打击)。在一些实施例中,处理器202可以将与触觉效果相关联的信号传送到被配置成向另一用户输出多个触觉效果的远程设备。基于多个触觉效果,其他用户可以能够确定刺激的一个或多个特性(例如,刺激是对头部的打击并且用户强烈地感知到它)。
在一些实施例中,处理器202确定特定触觉效果具有比另一触觉效果更高的优先级,并且因而仅输出高优先级效果。例如,处理器202可以确定与第一类型的刺激相关联的触觉效果具有比与第二类型的刺激相关联的另一触觉效果更高的优先级并且因而仅输出与第一类型的刺激相关联的触觉效果。替选地,处理器202可以确定仅输出最强烈的效果。因而,在一些实施例中,处理器可以确定低强烈振动和高强烈振动,但是仅输出高强烈振动。
当处理器202确定音频、视觉、嗅觉、味觉、和/或其它效果(例如,至少部分地基于传感器信号)时,方法500在步骤508处继续。处理器202可以使用例如在步骤506中对于确定触觉效果所描述的任何方法(例如,诸如算法和/或查找表)来确定效果。
例如,传感器信号可以指示用户看到特定视觉和/或听到对应声音。如果声音包括枪声,则处理器202可以查阅查找表并确定包括枪声的音频效果。处理器202可以将与该音频效果相关联的信号传送到被配置成向远程用户输出音频效果的远程设备。因而,远程用户可以听到用户所听到的原始声音。
作为另一示例,处理器202可以查阅查找表和/或应用算法以确定出用户具有诸如害怕、快乐、有压力等这样的特定情绪。处理器202可以确定音频、视觉、嗅觉、和/或被配置成改变用户心情的其它感觉。例如,处理器202可以确定被配置成使用户平静的视觉(例如,小狗的视觉)、被配置成增加用户的幸福水平(例如,苹果派的气味或味道)的气味或味道、和/或被配置成使用户放松的声音(例如,海洋的声音)。
当处理器202传送与触觉、音频、视觉、嗅觉、味觉、和/或其它效果相关联的信号时,方法500在步骤510处继续。在一些实施例中,该信号可以是通过访问所存储的算法并输入与效果相关联的参数而生成的。例如,算法可以基于幅度和频率参数而输出用于生成驱动信号(例如,用于致动器或扬声器)的数据。作为另一示例,信号可以包括被配置成由触觉输出设备、扬声器222、显示器216、嗅觉设备234、味觉设备、和/或其它感觉生成设备所解码的数据。例如,触觉输出设备218,200本身可以响应于指定诸如幅度和频率的参数的命令。
处理器202可以将信号传送到触觉输出设备218,220、扬声器222、显示器216、嗅觉设备234、味觉设备、和/或被配置成生成感觉的其它设备。在一些实施例中,信号可以包括被配置成使得触觉输出设备生成触觉效果的触觉信号。该信号可以附加地或替选地包括:被配置成使得扬声器222输出音频效果的音频信号。被配置成使得显示器216输出视觉效果的视频信号;被配置成使得嗅觉设备234输出气味的嗅觉信号;和/或被配置成使得味觉设备输出特定味道的味觉信号。
在一些实施例中,处理器202将信号传送到神经传感器232。神经传感器232可以能够刺激用户的神经系统以使得用户感知到效果(例如,味觉、气味、视觉、声音、和/或明显的触觉效果)。例如,处理器202可以将高级命令传送到被配置成使得神经传感器232向用户大脑输出特定组合的电脉冲的神经传感器232。电脉冲可被配置成使得用户感知到一个或多个效果。
在一些实施例中,处理器202将信号传送到远程设备。该远程设备可以包括可由远程用户使用的神经接口。远程设备可以被配置成接收信号并输出触觉、音频、视觉、嗅觉、味觉、和/或其它效果。例如,远程设备可以接收信号并向远程用户输出相关声音、气味、以及味觉。在这样的实施例中,远程用户能够感知到原始用户所感测到的感觉(或修改版本的感觉)。
触觉使能的神经接口的优点
触觉使能的神经接口有许多优点。当用户与虚拟环境中的虚拟对象交互(例如,使用来自用户大脑的信号)时,这样的系统可以提供更加沉浸式的体验,从而提高了整体用户满意度。例如,在一些实施例中,增强现实应用可以输出覆盖相机数据的虚拟狗。响应于用户设想抚摸虚拟狗,触觉使能的神经接口可以输出被配置成模拟虚拟狗的毛皮的触觉效果。其结果是,用户可以更真实地感知到虚拟狗。
在一些实施例中,触觉使能的神经接口可以向用户提供确认,例如,在一些实施例中,增强现实应用可以输出包括按钮的虚拟对象。作为与虚拟按钮交互的用户设想,计算设备可以输出触觉效果(例如,向与用户手指相耦合的触觉输出设备),从而确认按钮按下。在一些实施例中,确认触觉反馈可以提供增强的用户体验。
在一些实施例中,触觉使能的神经接口可以允许用户感知用户可能不能感觉到的对象的特性。例如,用户可以能够使用假肢与具有纹理的对象进行交互并且接收被配置成模拟对象的纹理的触觉反馈。作为另一示例,用户可以试图移动假肢并且接收确认移动和/或以其它方式向用户通知移动的特性(例如,假肢移动多远或假肢没有移动)的触觉反馈。
在一些实施例中,触觉使能的神经接口可以允许多个用户以高速率进行通信,例如不必与物理用户接口设备(例如,按钮、开关、旋钮、键盘、和/或触敏表面)进行物理交互。例如,第一神经接口可以能够检测到第一用户受伤(例如,在车祸中或在战斗中受伤)和/或无意识并且向第二用户的神经接口传送相关数据。第二用户的神经接口可以输出被配置成向第二用户通知医疗和/或第二用户的生理状态(诸如向第二用户通知受伤和/或紧急情况)的一个或多个效果。例如,这可以允许第二用户向第一用户提供帮助。
在一些实施例中,一个用户可以能够感知另一个用户所接触的或以其它方式操纵的对象的特性。例如,第一用户可以购物并找到第一用户认为第二用户可能喜欢的服装制品(例如,衬衫、裤子、袜子、帽子、夹克、裙子、鞋等)。第一用户可以与服装进行交互并且感知服装的纹理和/或材料。第一用户的神经接口可以将与该交互和/或服装制品相关联的数据传送到第二用户的神经接口。第二用户的神经接口可以输出被配置成可使第二用户看到、感觉到、闻到、和/或以其它方式感测到服装制品的特性的一个或多个效果。这可以允许第二用户确定出第一用户是否应该购买该服装制品。因而,用户可以能够彼此共享感觉以例如作出更明智的购买决定。
总论
上面所讨论的方法、系统、以及设备是示例。各种配置可以适当地省略、替换、或者添加各种过程或组件。例如,在替选配置中,方法可以以与所述不同的顺序执行,和/或各种阶段可以被添加、省略、和/或组合。此外,在各种其它配置中可以对就某些配置所描述的特性进行组合。可以按照类似方式对配置的不同方面和元素进行组合。此外,技术进步并且因而,许多元素是示例性的并且不对本公开或权利要求的范围做出限制。
在该描述中给出了具体细节以提供对示例性配置(包括实施方式)的透彻理解。然而,可以在没有这些具体细节的情况下实现配置。例如,众所周知的电路、过程、算法、结构、以及技术已经在没有不必要的细节的情况下被示出以避免使该配置模糊难懂。该描述仅提供了示例性配置,并且不对权利要求的范围、适用性、或配置做出限制。相反,对配置的先前描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下,可以对元素的功能和安排做出各种变化。
此外,可以将配置描述为被描绘为流程图或框图的过程。虽然每一个可以将操作描述为顺序过程,但是许多操作也可并行或并发执行。此外,可以对操作的顺序进行重排。过程可以具有图中未包括的附加步骤。此外,方法的示例可以是由硬件、软件、固件、中间件、微代码、硬件描述语言、或者其任何组合来实现的。当以软件、固件、中间件、或微代码实现时,可以将用于执行必要任务的程序代码或代码段存储在诸如存储介质的非暂时性计算机可读介质中。处理器可以执行所描述的任务。
已经描述了若干示例性配置,在不脱离本公开的精神的情况下,可以使用各种修改、替选结构、以及等效体。例如,上述元素可以是较大系统的组件,其中其它规则可以优于本发明的应用或者以其它方式修改本发明的应用。此外,在考虑上述元件之前、期间、或者之后可以进行一些步骤。因此,上述描述并不限定权利要求的范围。
在本文对“适于”和“配置成”的使用意指开放式和包容性语言,其并不排斥适于或被配置成执行附加任务或步骤的设备。另外,“基于”的使用意指开放式和包容性,因为“基于”一个或多个上述条件或值的过程、步骤、计算、或其它动作实际上可以基于出所列举的那些之外的附加条件或值。本文所包括的标题、列表、以及编号仅仅是为了便于说明而不意味着限制。
根据本主题方面的实施例可是以数字电子电路、计算机硬件、固件、软件、或者前述组合来实现的。在一个实施例中,计算机可以包括一个或多个处理器。处理器包括诸如与处理器相耦合的随机存取存储器(RAM)的计算机可读介质或者对其具有访问。处理器执行存储在存储器中的计算机可执行程序指令,诸如执行包括传感器采样例程、选择例程、以及用于执行上述方法的其它例程的一个或多个计算机程序。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。这样的处理器可以进一步包括诸如PLC的可编程电子设备、可编程中断控制器(PIC)、可编程逻辑设备(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或者其它类似设备。
这样的处理器可以包括介质或者可以与例如可以存储下述指令的有形计算机可读介质的介质进行通信,所述指令当被处理器执行指令时可使得处理器执行本文所述的如由处理器所执行或辅助的步骤。计算机可读介质的实施例可以包括但不限于电存储设备、光存储设备、磁存储设备、或能够向诸如web服务器中的处理器这样的处理器提供计算机可读指令的其它存储设备。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器片、ROM、RAM、ASIC、已配置的处理器、所有光学介质、所有磁带或其它磁介质、或者计算机处理器可通过其读取的任何其它介质。此外,各种其它设备可以包括诸如路由器、专用或公共网络、或其它传输设备的计算机可读介质。所述处理器和处理可以在一个或多个结构中描述,并且可以散布于一个或多个结构。处理器可以包括用于执行本文所述的一个或多个方法(或方法的一部分))的代码。
尽管已经就其具体实施例详细描述了本主题,但是将理解的是本领域普通技术人员一旦获得了对前文的理解则可以很容易产生对这样的实施例的更改、变型、及等效体。因此,应当理解的是为了示例的目的而不是限制性目的呈现了本公开,并且对于本领域普通技术人员来说显而易见的是本公开不排除包括对本主题的这样的修改、变型、和/或添加。

Claims (23)

1.一种系统,包括:
处理器,所述处理器被配置成:
接收来自神经接口的传感器信号,所述神经接口被配置成对与神经系统相关联的电信号进行检测;
基于所述传感器信号来确定与虚拟环境中的虚拟对象的交互;
至少部分地基于与所述虚拟环境中的所述虚拟对象的所述交互来确定触觉效果;以及
传送与所述触觉效果相关联的触觉信号;以及
触觉输出设备,所述触觉输出设备被配置成接收所述触觉信号并输出所述触觉效果。
2.根据权利要求1所述的系统,其中所述神经接口包括传感器,所述传感器被配置成对与所述神经系统相关联的所述电信号进行检测并且传送所述传感器信号,所述传感器包括以下中的至少一个:脑电图(EEG)电极、光谱传感器、磁共振成像系统、或者电容传感器。
3.根据权利要求2所述的系统,其中所述处理器进一步被配置为:
至少部分地基于所述传感器信号来确定音频效果;以及
传送被配置为使得扬声器输出所述音频效果的音频信号。
4.根据权利要求3所述的系统,其中所述处理器进一步被配置为:
至少部分地基于所述传感器信号来确定视觉效果;以及
传送被配置为使得显示器输出所述视觉效果的显示信号。
5.根据权利要求1所述的系统,其中所述虚拟环境包括增强现实环境,并且其中所述处理器进一步被配置为至少部分地基于所述增强现实环境中的事件来确定所述触觉效果。
6.根据权利要求1所述的系统,其中所述触觉效果是第一触觉效果,并且其中所述处理器进一步被配置为:
基于所述传感器信号来确定身体部位的移动;以及
至少部分地基于所述移动来确定第二触觉效果。
7.根据权利要求6所述的系统,其中所述第二触觉效果被配置成确认所述身体部位的所述移动或模拟所述身体部位所接触的表面的特性。
8.根据权利要求1所述的系统,其中所述神经接口是第一神经接口,并且其中所述处理器进一步被配置成将所述触觉信号传送到远程用户可使用的包括第二神经接口的远程设备,所述触觉信号被配置成使得所述远程设备输出所述触觉效果。
9.一种方法,包括:
接收来自神经接口的传感器信号,所述神经接口被配置成对与神经系统相关联的电信号进行检测;
基于所述传感器信号来确定与虚拟环境中的虚拟对象的交互;
至少部分地基于与所述虚拟环境中的所述虚拟对象的所述交互来确定触觉效果;以及
将与所述触觉效果相关联的触觉信号传送到触觉输出设备,所述触觉输出设备被配置成接收所述触觉信号并输出所述触觉效果。
10.根据权利要求9所述的方法,其中所述神经接口包括传感器,所述传感器被配置成对与所述神经系统相关联的所述电信号进行检测并且传送所述传感器信号,所述传感器包括以下中的至少一个:脑电图(EEG)电极、光谱传感器、磁共振成像系统、或者电容传感器。
11.根据权利要求10所述的方法,进一步包括:
至少部分地基于所述传感器信号来确定音频效果;以及
传送被配置为使得扬声器输出所述音频效果的音频信号。
12.根据权利要求11所述的方法,进一步包括:
至少部分地基于所述传感器信号来确定视觉效果;以及
传送被配置为使得显示器输出所述视觉效果的显示信号。
13.根据权利要求9所述的方法,其中所述虚拟环境包括增强现实环境,并且其中所述触觉效果至少部分地基于所述增强现实环境中的事件。
14.根据权利要求9所述的方法,其中所述触觉效果是第一触觉效果,并且进一步包括:
基于所述传感器信号来确定身体部位的移动;以及
至少部分地基于所述移动来确定第二触觉效果。
15.根据权利要求14所述的方法,其中所述第二触觉效果被配置成确认所述身体部位的所述移动或模拟所述身体部位所接触的表面的特性。
16.根据权利要求9所述的方法,其中所述神经接口是第一神经接口,并且进一步包括:
将所述触觉信号传送到包括第二神经接口的远程设备,所述触觉信号被配置成使得所述远程设备输出所述触觉效果。
17.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质包括程序代码,所述程序代码当由处理器执行时,被配置成使得所述处理器:
接收来自神经接口的传感器信号,所述神经接口被配置成对与神经系统相关联的电信号进行检测;
基于所述传感器信号来确定与虚拟环境中的虚拟对象的交互;
至少部分地基于与所述虚拟环境中的所述虚拟对象的所述交互来确定触觉效果;以及
将与所述触觉效果相关联的触觉信号传送到触觉输出设备,所述触觉输出设备被配置成接收所述触觉信号并输出所述触觉效果。
18.根据权利要求17所述的非暂时性计算机可读介质,其中所述神经接口包括所述触觉输出设备。
19.根据权利要求18所述的非暂时性计算机可读介质,进一步包括程序代码,所述程序代码当由所述处理器执行时,被配置成使得所述处理器:
至少部分地基于所述传感器信号来确定音频效果;以及
传送被配置为使得扬声器输出所述音频效果的音频信号。
20.根据权利要求19所述的非暂时性计算机可读介质,进一步包括程序代码,所述程序代码当由所述处理器执行时,被配置成使得所述处理器:
至少部分地基于所述传感器信号来确定视觉效果;以及
传送被配置为使得显示器输出所述视觉效果的显示信号。
21.根据权利要求17所述的非暂时性计算机可读介质,其中所述虚拟环境包括增强现实环境,并且其中所述触觉效果至少部分地基于所述增强现实环境中的事件。
22.根据权利要求17所述的非暂时性计算机可读介质,其中所述触觉效果是第一触觉效果,并且进一步包括程序代码,所述程序代码当由所述处理器执行时,被配置成使得所述处理器:
基于所述传感器信号来确定身体部位的移动;以及
至少部分地基于所述移动来确定第二触觉效果,所述第二触觉效果被配置成确认所述身体部位的所述移动或模拟所述身体部位所接触的表面的特性。
23.根据权利要求17所述的非暂时性计算机可读介质,其中所述神经接口是第一神经接口,并且进一步包括程序代码,所述程序代码当由所述处理器执行时,被配置成使得所述处理器:
将所述触觉信号传送到包括第二神经接口的远程设备,所述触觉信号被配置成使得所述远程设备输出所述触觉效果。
CN201710022334.2A 2016-01-13 2017-01-12 用于触觉使能的神经接口的系统和方法 Pending CN106990834A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/994,720 US10031580B2 (en) 2016-01-13 2016-01-13 Systems and methods for haptically-enabled neural interfaces
US14/994,720 2016-01-13

Publications (1)

Publication Number Publication Date
CN106990834A true CN106990834A (zh) 2017-07-28

Family

ID=57850900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710022334.2A Pending CN106990834A (zh) 2016-01-13 2017-01-12 用于触觉使能的神经接口的系统和方法

Country Status (5)

Country Link
US (3) US10031580B2 (zh)
EP (1) EP3193241A1 (zh)
JP (2) JP7089846B2 (zh)
KR (1) KR20170085000A (zh)
CN (1) CN106990834A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107596682A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 一种vr虚拟互动滑雪的实现方法和系统
CN110389657A (zh) * 2018-04-20 2019-10-29 意美森公司 用于增强或虚拟现实环境的跨平台动态触觉效果设计工具
CN110389659A (zh) * 2018-04-20 2019-10-29 意美森公司 针对增强或虚拟现实环境提供动态触觉回放的系统和方法
CN111417443A (zh) * 2017-12-06 2020-07-14 环球城市电影有限责任公司 交互式视频游戏系统
CN112083803A (zh) * 2020-08-28 2020-12-15 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法
CN113950657A (zh) * 2019-06-07 2022-01-18 微软技术许可有限责任公司 触觉渲染
CN114630738A (zh) * 2019-08-20 2022-06-14 思维机器学习公司 用于模拟感测数据和创建感知的系统和方法
CN114730242A (zh) * 2019-11-19 2022-07-08 思睿逻辑国际半导体有限公司 用于确定与虚拟按钮的有效人为交互的系统和方法
CN114830069A (zh) * 2019-12-18 2022-07-29 奈克斯特曼德公司 脑计算机接口

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857590B2 (en) * 2014-10-11 2018-01-02 Floyd Steven Hall, Jr. Method and system for press-on displays for fashionable eyewear and nosewear
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US10551909B2 (en) * 2016-04-07 2020-02-04 Qubit Cross Llc Virtual reality system capable of communicating sensory information
US10506940B2 (en) * 2016-10-25 2019-12-17 Boston Scientific Neuromodulation Corporation Stimulation progamming aid using a sensory projection
US11064915B2 (en) * 2016-10-27 2021-07-20 Norman L Johnson Functional reach assessment device and method
US11402909B2 (en) 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
US10990175B2 (en) * 2018-10-29 2021-04-27 Cognixion Brain computer interface for augmented reality
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
KR102150282B1 (ko) * 2017-07-13 2020-09-01 한국전자통신연구원 멀티미디어 콘텐츠와 연관되는 후각 정보 생성 장치 및 방법
KR101824848B1 (ko) * 2017-11-07 2018-02-01 전윤재 육류 가공시 속재료를 넣기 위한 삽입기구
KR102387573B1 (ko) 2017-12-12 2022-04-18 삼성전자주식회사 내부 장치, 외부 장치, 사용자 단말 및 전자 장치 및 이들의 동작 방법
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
US11294467B2 (en) * 2018-12-18 2022-04-05 Immersion Corporation Systems and methods for integrating environmental haptics in virtual reality
WO2022139643A1 (en) * 2020-12-22 2022-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
KR102318215B1 (ko) 2021-04-12 2021-10-27 (주)이지템 가상 심박동 기기 및 그 기기의 구동 방법
FR3131026A1 (fr) * 2021-12-16 2023-06-23 Orange Interface-stimulateur neuronal, Interface neuronale directe, equipement electronique, procédé d’initialisation d’interface-stimulateur neuronal et procéde de contrôle d’un equipement electronique
EP4500308A4 (en) 2022-05-20 2025-07-02 Samsung Electronics Co Ltd METHOD AND DEVICE FOR GENERATING INFORMATION
EP4666154A1 (en) * 2023-02-16 2025-12-24 Juan Manuel Cruz Hernandez Systems and methods for neural haptic signals
WO2025213059A1 (en) * 2024-04-04 2025-10-09 Synchron Australia Pty Limited Systems for controlling one or more devices using a signal control unit
US12461596B2 (en) 2024-04-04 2025-11-04 Synchron Australia Pty Limited Systems for controlling one or more devices using a signal control unit
JP7693167B1 (ja) * 2024-06-14 2025-06-17 株式会社ハルタ 行動錯覚生成システム。

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059138A1 (en) * 1995-11-30 2008-03-06 Immersion Corporation Tactile feedback man-machine interface device
CN101809525A (zh) * 2007-09-27 2010-08-18 英默森公司 具有触觉反馈的生物感测
CN102985002A (zh) * 2010-03-31 2013-03-20 新加坡科技研究局 脑机接口系统及方法
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法
CN104922899A (zh) * 2014-03-19 2015-09-23 意美森公司 用于共享触觉体验的系统与方法
WO2015143124A1 (en) * 2014-03-21 2015-09-24 Immersion Corporation Systems and methods for haptically-enabled curved devices
WO2015187570A1 (en) * 2014-06-03 2015-12-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09508553A (ja) * 1994-02-09 1997-09-02 ユニヴァーシティ オブ アイオワ リサーチ ファンデーション ヒト大脳皮質神経補てつ物
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US8508469B1 (en) 1995-12-01 2013-08-13 Immersion Corporation Networked applications including haptic feedback
JP2001014082A (ja) * 1999-06-25 2001-01-19 Sentan Kagaku Gijutsu Incubation Center:Kk 神経インターフェイスシステム
US7305268B2 (en) * 2000-07-13 2007-12-04 Northstar Neurscience, Inc. Systems and methods for automatically optimizing stimulus parameters and electrode configurations for neuro-stimulators
CN1254296C (zh) 2001-05-11 2006-05-03 皇家菲利浦电子有限公司 一种标示语言启动的装置和操作一组装置的方法
JP2006323649A (ja) * 2005-05-19 2006-11-30 Mitsubishi Electric Corp 味発生装置および香り発生装置および感覚発生装置
US20060264774A1 (en) * 2005-08-25 2006-11-23 Outland Research, Llc Neurologically Controlled Access to an Electronic Information Resource
WO2007117649A2 (en) * 2006-04-06 2007-10-18 Immersion Corporation Systems and methods for enhanced haptic effects
JP5244348B2 (ja) * 2007-09-04 2013-07-24 国立大学法人 筑波大学 装着式動作補助装置及びその制御方法
JPWO2009035100A1 (ja) 2007-09-14 2010-12-24 独立行政法人産業技術総合研究所 バーチャルリアリティ環境生成装置及びコントローラ装置
US11325029B2 (en) 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
US8290596B2 (en) 2007-09-26 2012-10-16 Medtronic, Inc. Therapy program selection based on patient state
WO2010124247A2 (en) * 2009-04-24 2010-10-28 Advanced Brain Monitoring, Inc. Adaptive performance trainer
JP5477740B2 (ja) * 2009-11-02 2014-04-23 独立行政法人情報通信研究機構 多感覚インタラクションシステム
KR101505060B1 (ko) * 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
JP5486123B1 (ja) * 2013-10-12 2014-05-07 純馬 青木 匂い呈示装置および方法
US9955895B2 (en) * 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
US20150187188A1 (en) 2013-12-30 2015-07-02 Aliphcom Communications using tactile stimuli on wearable devices
JP2015130168A (ja) 2013-12-31 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9830781B2 (en) 2014-06-13 2017-11-28 Verily Life Sciences Llc Multipurpose contacts for delivering electro-haptic feedback to a wearer
CN204360325U (zh) * 2015-01-15 2015-05-27 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互系统
US9655532B2 (en) * 2015-06-19 2017-05-23 Michael Blake Wearable physiological monitoring and notification system based on real-time heart rate variability analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059138A1 (en) * 1995-11-30 2008-03-06 Immersion Corporation Tactile feedback man-machine interface device
CN101809525A (zh) * 2007-09-27 2010-08-18 英默森公司 具有触觉反馈的生物感测
CN102985002A (zh) * 2010-03-31 2013-03-20 新加坡科技研究局 脑机接口系统及方法
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法
CN104922899A (zh) * 2014-03-19 2015-09-23 意美森公司 用于共享触觉体验的系统与方法
WO2015143124A1 (en) * 2014-03-21 2015-09-24 Immersion Corporation Systems and methods for haptically-enabled curved devices
WO2015187570A1 (en) * 2014-06-03 2015-12-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107596682A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 一种vr虚拟互动滑雪的实现方法和系统
CN111417443A (zh) * 2017-12-06 2020-07-14 环球城市电影有限责任公司 交互式视频游戏系统
CN111417443B (zh) * 2017-12-06 2025-03-25 环球城市电影有限责任公司 交互式视频游戏系统
CN110389657A (zh) * 2018-04-20 2019-10-29 意美森公司 用于增强或虚拟现实环境的跨平台动态触觉效果设计工具
CN110389659A (zh) * 2018-04-20 2019-10-29 意美森公司 针对增强或虚拟现实环境提供动态触觉回放的系统和方法
CN113950657B (zh) * 2019-06-07 2024-05-28 微软技术许可有限责任公司 触觉渲染
CN113950657A (zh) * 2019-06-07 2022-01-18 微软技术许可有限责任公司 触觉渲染
CN114630738A (zh) * 2019-08-20 2022-06-14 思维机器学习公司 用于模拟感测数据和创建感知的系统和方法
CN114630738B (zh) * 2019-08-20 2024-02-20 思维机器学习公司 用于模拟感测数据和创建感知的系统和方法
CN114730242B (zh) * 2019-11-19 2023-07-04 思睿逻辑国际半导体有限公司 用于确定与虚拟按钮的有效人为交互的系统和方法
CN114730242A (zh) * 2019-11-19 2022-07-08 思睿逻辑国际半导体有限公司 用于确定与虚拟按钮的有效人为交互的系统和方法
CN114830069A (zh) * 2019-12-18 2022-07-29 奈克斯特曼德公司 脑计算机接口
US12422927B2 (en) 2019-12-18 2025-09-23 Nextmind Sas Brain-computer interface
CN112083803B (zh) * 2020-08-28 2023-11-28 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法
CN112083803A (zh) * 2020-08-28 2020-12-15 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法

Also Published As

Publication number Publication date
JP2017126337A (ja) 2017-07-20
JP7089846B2 (ja) 2022-06-23
US20180341331A1 (en) 2018-11-29
US10386924B2 (en) 2019-08-20
US10031580B2 (en) 2018-07-24
JP2021193575A (ja) 2021-12-23
US20170199569A1 (en) 2017-07-13
US11237633B2 (en) 2022-02-01
KR20170085000A (ko) 2017-07-21
US20200057500A1 (en) 2020-02-20
EP3193241A1 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
CN106990834A (zh) 用于触觉使能的神经接口的系统和方法
JP7253017B2 (ja) 反射を利用する拡張現実システムおよび方法
US11467668B2 (en) System and method for representing virtual object information with haptic stimulation
US20170131775A1 (en) System and method of haptic feedback by referral of sensation
CN108170262B (zh) 触觉环绕功能
CN105094311B (zh) 用于基于视口的增强现实触觉效果的系统和方法
KR101630864B1 (ko) 감정을 전달하는 방법 및 시스템
US10470971B2 (en) Garment with remote controlled vibration array
US12248635B2 (en) Spatially aware computing hub and environment
JP4989383B2 (ja) 情報処理装置、情報処理方法
US12416967B2 (en) Spatially aware computing hub and environment
CN110633006A (zh) 用于虚拟现实用户的真实世界触觉交互
US20170216675A1 (en) Fitness-based game mechanics
US20200078260A1 (en) Garment with remote controlled vibration array
KR20180123525A (ko) 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 소자 배치 구조체
Pfeiffer et al. Haptic feedback for wearables and textiles based on electrical muscle stimulation
CN105718045A (zh) 用于与对象进行触觉使能的交互的系统和方法
Kang et al. Pneumatic and acoustic suit: multimodal haptic suit for enhanced virtual reality simulation
CN110465083A (zh) 虚拟环境中的地图区域控制方法、装置、设备及介质
CN110478899A (zh) 虚拟环境中的地图区域控制方法、装置、设备及介质
Rodriguez et al. An Arduino-based device for visually impaired people to play videogames
Longo et al. Using brain-computer interface to control an avatar in a virtual reality environment
Ghisio et al. An open platform for full body interactive sonification exergames
Dix et al. TouchIT: understanding design in a physical-digital world
Sohal et al. Custom VR Chair with Synchronized Immersive Experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170728