CN109116979A - 可变注视取向虚拟环境中的触觉维度 - Google Patents
可变注视取向虚拟环境中的触觉维度 Download PDFInfo
- Publication number
- CN109116979A CN109116979A CN201810648732.XA CN201810648732A CN109116979A CN 109116979 A CN109116979 A CN 109116979A CN 201810648732 A CN201810648732 A CN 201810648732A CN 109116979 A CN109116979 A CN 109116979A
- Authority
- CN
- China
- Prior art keywords
- point
- attentively
- interest
- haptic effect
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及可变注视取向虚拟环境中的触觉维度。呈现了在虚拟环境中使用触觉维度生成触觉效果的方法和系统。该方法包括识别虚拟环境内的兴趣点并基于该兴趣点生成多个触觉维度。触觉维度定义兴趣点区域。另外,确定用户的注视取向,并且基于该注视取向,确定指向兴趣点区域的用户注视的量。如果指向兴趣点区域的用户注视的量低于阈值量,则生成触觉效果。
Description
技术领域
一个实施例一般而言涉及触觉系统,并且具体地涉及在可变注视取向虚拟环境中使用触觉维度来生成触觉效果。
背景技术
触觉是触感和力反馈技术,其通过将诸如力、振动和运动之类的触觉反馈效果(例如,“触觉效果”)应用于用户而利用用户的触摸感觉。诸如移动设备、触摸屏设备和个人计算机之类的设备可以被配置为生成触觉效果。一般,可以在设备的操作系统(“OS”)内对能够生成触觉效果的嵌入式硬件(例如致动器)的调用进行编程。这些调用指定要播放的触觉效果。例如,当用户使用例如按钮、触摸屏、操纵杆、控制杆、轮子或一些其他控件与设备交互时,设备的OS可以通过控制电路向嵌入式硬件发送命令。嵌入式硬件然后产生适当的触觉效果。
在常规的虚拟现实(“VR”)或增强现实(“AR”)环境中,或者在诸如视频或游戏之类的其他应用中,可以向用户呈现虚拟环境的视图。在一些实施例中,通常在使用头戴式显示器时,环境由360度视图组成。此外,视频或游戏具有对视频或游戏的内容或目的最为重要的特定感兴趣区域。在这种情况下,用户可能注视(即,指向或观看)除了特定感兴趣区域以外的东西并因此错过预期内容。当使用带有游戏或视频的计算机、平板电脑或手持设备(其中用户可以通过滑动手指或使用鼠标或其他指向设备来改变他们的视线)时,也可能发生这种情况。
发明内容
在本公开的实施例中,呈现了一种在可变注视取向虚拟环境中生成触觉维度的系统和方法。可变注视取向环境是指用户能够在虚拟环境内对其视图进行一些控制的任何游戏、视频或交互系统。虚拟环境旨在意味着可以在头戴式显示器、手持设备、智能电话或其他显示设备中显示的任何类型的现实、虚拟现实、增强现实等。该方法包括识别虚拟环境内的兴趣点并基于该兴趣点生成多个触觉维度。触觉维度定义兴趣点区域。此外,确定用户的注视取向,并且基于该注视取向,确定指向兴趣点区域的用户注视的量。如果指向兴趣点区域的用户注视的量低于阈值量,则生成触觉效果以将用户的注视重新定向到虚拟环境中的主要内容。
附图说明
并入本文并且构成说明书的一部分的附图示出了本发明,并且与说明书一起进一步用于解释本发明的原理并且使(一个或多个)相关领域的技术人员能够制作和使用本发明。
另外,附图标记的最左边数字识别附图标记首次出现的图(例如,附图标记“310”指示这样编号的元素在图3中首次被标记或首次出现)。另外,后面跟着字母表的不同字母或其他独特标记(例如,撇号)的具有相同附图标记的元素指示在结构、操作或形式上相同但是可以被识别为在不同时间点反复出现或在不同空间位置的元素。
图1示出根据本公开的实施例的启用触觉的虚拟现实系统的框图。
图2是根据本公开的实施例的其中用户的注视指向兴趣点区域的360度虚拟环境的图示。
图3是根据本公开的实施例的其中用户的注视指向触觉效果区域的360度虚拟环境的图示。
图4是根据实施例的使用触觉维度生成器的触觉生成系统的示意图。
图5是根据本公开的实施例的利用触觉维度生成触觉效果的图1的系统的功能的流程图。
具体实施方式
一个实施例生成定义虚拟环境中的区域的触觉维度以帮助用户指引他们的注视。这样的方向引导用户能够查看期望的内容,诸如兴趣点。如果用户的注视不是指向兴趣点,则生成触觉效果以引导用户将他/她的注视取向改变回兴趣点。触觉维度还用于定义游戏或视频中的区域,以帮助用户指引他们的注视。用户的“注视(gaze)”是用户在游戏或视频内的视野。因此,例如,当使用诸如智能电话之类的手持设备时,用户的注视是在显示器上看到的内容。注视还可以包括深度分量,其中看到的内容包括用户距兴趣点有多近或多远。例如,注视可以包括水平轴(X轴)和垂直轴(Y轴)上的旋转跟踪(tracking)或眼睛跟踪,以及z轴上的深度跟踪。因此,触觉维度适用于其中用户可以控制可以看到的内容的方向或移动的虚拟现实、增强现实、以及任何其他类型的游戏或视频。
虽然这里描述的实施例是用于特定应用的说明性实施例,但应该理解,本发明不限于此。访问本文提供的教导的本领域技术人员将认识到在其范围内的附加修改、应用和实施例以及其中本发明将具有显著实用性的附加领域。
图1是可以实现本发明的实施例的启用触觉的系统10的框图。系统10可以包括具有机械或电气选择按钮13和触敏屏幕15的智能设备11(例如,智能电话、平板电脑、智能手表等)。系统10还可以是用户所持有的任何设备,诸如游戏手柄、动作棒(motion wand)、头戴式显示器或设备等。
系统10的内部是在系统10上生成触觉效果的触觉反馈系统。触觉反馈系统包括控制器或处理器12。耦接到处理器12的是存储器20和驱动器系统16,驱动器系统16耦接到触觉输出设备18。处理器12可以是任何类型的通用处理器,或者可以是专门设计成提供触觉效果的处理器,诸如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的相同处理器,或者可以是分开的处理器。处理器12可以基于高级参数来决定要播放的触觉效果以及效果的播放顺序。通常,定义特定触觉效果的高级参数包括幅度、频率和持续时间。诸如流式电机命令之类的低级参数还可以用于确定特定的触觉效果。如果触觉效果包括在生成触觉效果时这些参数的一些变化或者基于用户的交互的这些参数的变化,则该触觉效果可以被认为是“动态的”。
处理器12将控制信号输出到驱动器系统16,驱动器系统16包括用于向触觉输出设备18供应所需的电流和电压(即,“电机信号”)以使得生成期望的触觉效果的电子组件和电路。系统10可以包括多个触觉输出设备18,并且每个触觉输出设备18可以包括驱动器系统16,这些驱动器系统16全部耦接到处理器12。存储器20可以是任何类型的暂态或非暂态存储设备或计算机可读介质,诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)。通信介质可以包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其它数据,并且包括任何信息传递介质。
存储器20存储由处理器12执行的指令,诸如操作系统指令。在这些指令中,存储器20包括触觉效果许可模块22,触觉效果许可模块22包括当由处理器12执行时基于许可生成触觉效果的指令,如下面更详细地公开的。存储器20还可以位于处理器12的内部,或者位于内部和外部存储器的任何组合。
触觉输出设备18可以是生成触觉效果的任何类型的设备,并且可以物理地位于系统10的任何区域中以能够对用户身体的期望区域创建期望的触觉效果。在一些实施例中,系统10包括数十个或甚至数百个触觉输出设备18,并且触觉输出设备可以是不同类型的,以便能够在用户身体的大概每个区域生成触觉效果以及生成任何类型的触觉效果。触觉输出设备18可以位于系统10的任何部分(包括智能设备11的任何部分),或者可以远程地耦接到系统10的任何部分,例如可穿戴设备或头戴式显示器。
在一个实施例中,触觉输出设备18是生成振动触感触觉效果的致动器。用于此目的的致动器可以包括电磁致动器,诸如其中通过马达移动偏心质块的偏心旋转质块(“ERM”)、其中附接到弹簧的质块被来回驱动的线性谐振致动器(“LRA”)、或诸如压电、电活性聚合物(“EAP”)或形状记忆合金之类的“智能材料”。触觉输出设备18还可以是诸如静电摩擦(“ESF”)设备或超声表面摩擦(“USF”)设备之类的设备,或者是利用超声触觉换能器引起声辐射压力的设备。其他设备可以使用触觉基板和柔性或可变形表面,并且设备可以使用空气喷口等提供喷射的触觉输出,例如一股空气。触觉输出设备18还可以是提供热触觉效果(例如,加热或冷却)的设备。
系统10还包括耦接到处理器12的传感器28。传感器28可以用于检测系统10的用户的任何类型的性质(例如生物标志物,诸如体温、心率等)、或者用户的情境或当前情境(例如,用户的位置、周围的温度等)。
传感器28可以被配置为检测能量形式或其他物理性质,例如但不限于声音、移动、加速度、生理信号、距离、流量、力/压力/应变/弯曲、湿度、线性位置、取向/倾角、无线电频率、旋转位置、旋转速度、开关的操纵、温度、振动或可见光强度。传感器28还可以被配置为将检测到的能量或其他物理性质转换为电信号或表示虚拟传感器信息的任何信号。传感器28可以是任何设备,例如但不限于加速度计、心电图仪、脑电图仪、肌电图仪、眼电图仪、电腭图仪、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外传感器、超声波传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏电阻器、测压元件(load cell)、LuSense CPS2155、微型压力换能器、压电传感器、应变仪、湿度计、线性位置触摸传感器、线性电位计(或滑块)、线性可变差动变压器、罗盘、倾角计、磁性标签(或射频识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热阻器或温度换能集成电路)、麦克风、光度计、高度计、生物学监测器、照相机或光敏电阻。
系统10还包括允许系统10通过因特网/云(未示出)进行通信的通信接口25。互联网/云可以为系统10提供远程存储和处理并且允许系统10与相似或不同类型的设备通信。此外,这里描述的处理功能中的任何处理功能可以由远离系统10并经由通信接口25通信的处理器/控制器执行。
在一个实施例中,虚拟环境可以向用户提供360度虚拟环境。通过使用头戴式显示器(“HMD”),用户可以看到任何方向。用户所看的地方还被称为用户的“注视”。尽管360度的虚拟环境向用户呈现了沉浸式的体验,但是用户可能会被其他内容分散注意力,或者只是在“探索”,并可能错过游戏或视频中的“主要”内容。通常,这当前一般利用罗盘或箭头的显示来解决,该罗盘或箭头的显示通知用户他们正在离开体验或视频的主要内容以及往何处指引他们的注视以返回到主要内容。在另一个实施例中,向用户呈现具有小于360度视图的虚拟环境或游戏,诸如利用智能电话,在这种情况下用户的注视或视野可以由用户通过与设备的交互(例如,在触摸屏上的手势或通过使用按键或按钮)来控制。360度或更小的视图只是特定视频或游戏的设计选择。
在一个实施例中,不是使用罗盘或其他显示图标,而是在他们应当引导他们的注视到该处以朝着兴趣点移动的地方向用户提供触觉信息,这尤其是但不限于360度环境,但同样适用于诸如智能电话(例如,智能设备11)之类的设备。触觉屏障的构建方式是在兴趣点周围定义一个区域,该区域通过触觉来“围住(fence)”兴趣点。如果用户导航到兴趣点区域之外,则生成触觉效果,从而通知用户他们正在远离主要内容导航。
图2是根据实施例的360度虚拟环境200的图示。虚拟环境200包括360度的内容210。内容210被分成两个区域:触觉效果区域214和兴趣点区域(“POI区域”)216。触觉效果区域214是单个连续区域,但是由于360度视角在两个部分中示出。虚拟环境200还包括兴趣点212。此外,在虚拟环境200中,用户的注视220被引导至兴趣点212。
POI区域216被定义为围绕兴趣点212的区域。POI区域216的位置和大小也被称为触觉维度。此外,触觉维度还可以被称为触觉屏障。如果用户的注视220完全被定向在POI区域216内并且因此在触觉维度(或触觉屏障)内,则不需要提示或引导用户改变他/她的注视的取向或方向。
当前的360度最先进的视频系统中的一些视频系统采用视觉罗盘。视觉罗盘指向主要内容并显示用户相对于主要内容的相对注视。然而,当佩戴头戴式显示器或在智能电话或其他设备上时,使用视觉罗盘通常不可用或者不适用于360度视频。
在实施例中,可以在使用视觉罗盘的现有360度视频和游戏中导出触觉维度。但是,不是显示视觉罗盘,而是信息将用于生成合适的触觉效果-使用触觉而不是视觉罗盘。通常,罗盘表示当视频首次启动时用户正在观看的中心点的视频的“前”状态或“默认”状态。在许多360视频中,主要故事情节出现在这个原始视图中,从而使得在偏离足够远以触发效果时触觉发生。
图3是根据实施例的360度虚拟环境300的图示。虚拟环境300包括360度的内容310。内容310被分成两个区域:触觉效果区域314和兴趣点区域(“POI区域”)316。POI区域316是单个连续区域,但是由于360度视角被显示为两个部分。虚拟环境300还包括兴趣点312。
与虚拟环境200相比,兴趣点312已经移动到左侧。当兴趣点312移动时,触觉维度与兴趣点312一起行进。如果用户不改变他/她的注视取向,如在虚拟环境300中那样,则用户的注视320不再被指引到兴趣点312,并且用户的注视320也不包含在POI区域内。相反,如虚拟环境300中所示,用户的注视320完全指向触觉效果区域314。在注视触觉效果区域314时,用户不再看到兴趣点312。因此,在一个实施例中,触觉效果将被生成以通知用户改变用户注视的取向,优选地将用户注视的取向改变为包括兴趣点312。
在一个实施例中,确定阈值,由此当用户的注视320的特定部分指向触觉维度之外时,即,当用户的注视320中的一些指向触觉效果区域314时,生成触觉效果。虚拟环境300描绘了100%的用户的注视320指向触觉效果区域314,并且0%指向POI区域316。因此,在该示例中,阈值将是0%。但是,可以选择任何阈值。例如,可以设置90%的阈值水平,由此如果指向POI区域316的用户的注视320小于90%,则生成触觉效果,从而通知用户将他/她的注视朝着兴趣点312和POI区域316重定向。
在另一个实施例中,阈值可以用其他术语表示,而不是用注视的百分比表示。例如,阈值可以用距兴趣点312的位移的度数来表示,例如,从兴趣点在水平面中向左或向右、或者在垂直平面中向上或向下45°的位移。在另一个实施例中,阈值可以基于距兴趣点312的距离。这样的距离同样可以处于水平平面或垂直平面中,或者如果用户具有“平移(pan)”进或平移出的能力,则当用户从兴趣点312平移出时,其中POI区域成为视场的较小部分。另外,阈值可以用视场的量来表示,诸如用户的注视远离兴趣点25%或更多的视场。此外,这些值可以是绝对值,例如0度处存在POI,并且如果面对90度和270度之间则播放效果。这些值还可以是相对增量,其中POI存在于0度处,并且如果用户的注视等于或大于45度的改变则播放效果。此外,不是基于阈值量的方向来触发效果,而是可以在用户没有注视POI达特定时间段之后触发POI触觉效果。
在一个实施例中,触觉可以用来向用户传递方向信息。例如,从虚拟环境200转换到虚拟环境300指示兴趣点212/312移动到左侧。在向左移动时,触觉维度与兴趣点212/312一起行进,其中触觉效果区域314也随着触觉维度行进而移动。如果用户不改变他/她的注视,则用户的注视将从右侧碰撞触觉屏障或维度。因此,在一个实施例中,在可穿戴设备、移动设备或任何其他启用触觉的设备上,在用户的右侧生成触觉效果。如果兴趣点移动到右侧,则适用相同的概念,其中用户将会遇到从左侧碰撞触觉效果区域,并且因此在用户的左侧接收触觉效果。相应的信息和触觉效果还可以在遇到上部或下部触觉维度时生成。因此,可以引导用户从任何方向或方向组合(例如,下方和左方、上方和右方等)改变他们的注视,以将用户的注视重新定向到视频或游戏内容的中心或主要部分。此外,所生成的触觉效果的类型可以不同,其中触觉效果的类型可以指示遇到哪种触觉屏障或哪些触觉屏障。
在另一实施例中,可以使用与上述方法相反的方式,其中不是使用触觉作为无法穿透的屏障,而是触觉效果发信号指示用户应当看的地方。在一个实施例中,可以使用不同的触觉效果,其中一种类型的触觉效果表示屏障并且另一种触觉效果表示POI所位于的方向。例如,振动触觉效果将表示屏障,而Miraisens风格或力反馈技术被用于试图改变用户的注视。Miraisens是由Miraisens公司生产的三维手势反馈技术,该技术可用于产生力、压力或触感的感觉。
参考图3已经示出了兴趣点312的移动以及POI区域316和触觉效果区域314的对应移动。在用户的注视移动的情况下,无论兴趣点312是否移动,类似的情况都存在。在这种情况下,确定用户的注视正在移动。例如,假设在虚拟环境300中,不是兴趣点312移动到左侧,而是该用户的注视320实际上移动到右侧。在这种情况下,用户的注视320正在远离兴趣点312。一旦阈值量的用户的注视320不指向POI区域316,将生成触觉效果以尝试重新定向用户的注视320。除了改变其注视不再集中于主要内容上的用户之外,触觉效果的参数可以传达用户的注视是否在正确的方向上移动。例如,随着用户的注视320继续向右(远离兴趣点312)移动,所生成的触觉效果的参数可以随着从用户的注视320到兴趣点312的距离增大而增大。参数可以是幅度、频率、持续时间或触觉效果的任何其他组合。因此,如果用户将用户的注视320的移动反转回向左并且减小用户的注视320与兴趣点312之间的距离,则所生成的触觉效果的参数将减小。在类似的例子中,假设这是360度内容,如果用户继续向右移动他们的视线,则最终用户的注视320和兴趣点312之间的距离将开始减小,随后导致触觉效果的参数减小。
图4是根据实施例的利用触觉维度生成器的触觉生成系统400的示意图。系统400包括兴趣点确定器410、触觉维度生成器420、注视跟踪器系统430、触觉生成器440、驱动器系统450和触觉输出设备455。
兴趣点确定器410接收启用触觉的内容。启用触觉的内容包括二维或360度视频内容。这样的内容可以包括启用触觉的游戏或视频。从伴随的触觉轨迹或通过使用视频处理算法来识别兴趣点。
一旦兴趣点由兴趣点确定器410识别,则触觉维度生成器420定义维度集合,该维度集合定义围绕兴趣点的兴趣点区域。例如,图2中的POI区域216或图3中的POI区域316。如之前所讨论的,触觉维度定义了POI区域结束和触觉效果区域开始的位置。
注视跟踪器系统430确定用户注视(诸如图2中的用户注视220和图3中的用户注视320)的取向。通过确定用户注视的取向,注视跟踪器系统430可以确定用户的注视有多少落入兴趣点区域。
如果由注视跟踪器系统430确定的到兴趣点区域中的用户注视量等于或低于阈值量,则触觉生成器440产生触觉信号。
触觉生成器440还被配置为确定触觉输出设备或致动器的数量、位置和类型。设备或致动器的位置、类型和数量决定了局部触觉的质量。设备数量越多,用户对局部触觉的感受就越好。触觉输出设备可以位于用户身上,例如通过可穿戴技术的用户、嵌入在手持控制器内、或集成到诸如椅子或其他家具之类的物体中。此外,少量的致动器能够产生合理的局部触觉。
触觉生成器440基于兴趣点确定器410、触觉维度生成器420和注视跟踪器系统430的输出来动态地生成用于触觉输出设备的触觉效果命令。触觉生成器440基于兴趣点和/或用户的注视的移动生成效果。触觉生成器440分析可用触觉输出设备(例如,致动器)的数量和位置以确定要提供给每个触觉输出设备的动态局部触觉效果的适当类型。此外,触觉生成器440可以实时动态地产生用于每个触觉输出设备的局部触觉效果。例如,如果用户的注视指向触觉效果区域,例如图3的触觉效果区域314,则将基于兴趣点或用户的注视的变化的移动来修改局部触觉效果。
驱动器系统450从触觉生成器440接收触觉命令或指令,并操作产生期望的触觉效果的触觉输出设备455。驱动器系统450还包括一个或多个驱动器。
图5是根据一个实施例的具有图1的系统10的功能的利用触觉维度生成触觉效果的流程图500。在一个实施例中,图5的流程图的功能通过存储在存储器或其他计算机可读或有形介质中的软件来实现,并由处理器执行。在其它实施例中,功能可以通过硬件(例如,通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任何组合执行。
流程图500在510处开始,在510中作出用户注视的焦点在兴趣点上是否高于阈值量的确定。在没有眼睛跟踪的实施例中,焦点是用户注视的确定,例如用户正在观看视频的哪部分。在设备具有眼睛跟踪能力的情况下,焦点可以包括用户看到的可观看(屏幕上)内容的特定部分。如在图2和图3中所讨论的,识别兴趣点,例如兴趣点212和312。一旦兴趣点被识别,则确定用户的注视是否聚焦在兴趣点上。例如,如果用户的注视从兴趣点向外平移以至于兴趣点和对应的POI区域(例如,POI区域216和316)成为整个视场的小百分比,则可以确定POI区域与整个视场的比率低于阈值量并且该方法将继续到520。另一方面,如果POI区域与整个视场的比率高于阈值量,则确定用户的注视集中于兴趣点,并且在530处不需要生成触觉效果。
在520处,确定用户的注视的取向是否充分指向兴趣点。如之前在图2中所讨论的,用户的注视220完全指向兴趣点212并且包含在POI区域216内,因此导致在530处不生成触觉效果。然而,在图3中,用户的注视320完全指向触觉效果区域314,其中没有注视量指向兴趣点,并且即使阈值量是100%,100%的用户注视也被指引离开兴趣点并且触发触觉效果。
在540处,已经确定在远离兴趣点的用户注视量高于阈值量时生成触觉效果。在540处,确定用户的注视是朝向兴趣点还是远离兴趣点移动。如果用户的注视远离兴趣点移动,则在550处生成随着距兴趣点的距离增大而参数(例如幅度、频率或持续时间等)增大的触觉效果。如果用户的注视正在朝向兴趣点移动,则在560处生成随着距兴趣点的距离减小而参数(例如幅度、频率或持续时间等)减小的触觉效果。
然后,该方法回到510以确定用户的注视是否仍集中在兴趣点上。
如所讨论的,已经公开了实施例,这些实施例包括识别虚拟环境中的兴趣点并且生成定义兴趣点区域的多个触觉维度。确定并分析用户的注视取向以确定指向兴趣点区域的用户注视量。如果用户注视量低于阈值量,则生成触觉效果。
这里具体示出和/或描述了若干实施例。然而,将理解的是,在不脱离本发明的精神和预期范围的情况下,所公开的实施例的修改和变型被上述教导涵盖并在所附权利要求的范围内。
Claims (20)
1.一种在虚拟环境中提供触觉效果的方法,包括:
识别所述虚拟环境内的兴趣点;
基于所述兴趣点生成多个触觉维度,其中所述多个触觉维度定义兴趣点区域;
确定注视取向;
基于所述注视取向来确定指向所述兴趣点区域的注视量;以及
如果指向所述兴趣点区域的注视量等于或低于阈值量,则生成触觉效果。
2.如权利要求1所述的方法,还包括:
确定所述注视取向是朝向还是远离所述兴趣点区域移动。
3.如权利要求2所述的方法,其中所生成的触觉效果的参数随着所述注视取向到所述兴趣点区域的距离减小而减小。
4.如权利要求2所述的方法,其中所述触觉效果的参数随着所述注视取向到所述兴趣点区域的距离增大而增大。
5.如权利要求1所述的方法,其中确定所述注视取向包括使用头戴式显示器或显示设备。
6.如权利要求1所述的方法,其中所述虚拟环境包括360度内容。
7.如权利要求1所述的方法,其中所生成的触觉效果包括多个触觉效果。
8.如权利要求7所述的方法,其中如果所述注视取向指向所述兴趣点区域的右侧,则在第一致动器处生成所述触觉效果,并且其中如果所述注视取向指向所述兴趣点区域的左侧,则在第二致动器处生成所述触觉效果。
9.如权利要求7所述的方法,其中如果所述注视取向指向所述兴趣点区域之上,则在第三致动器处生成所述触觉效果,并且其中如果所述注视取向指向所述兴趣点区域之下,则在第四致动器处生成所述触觉效果。
10.一种其上存储有指令的计算机可读介质,所述指令在由处理器执行时使所述处理器产生触觉效果,所述产生包括:
识别虚拟环境内的兴趣点;
基于所述兴趣点生成多个触觉维度,其中所述多个触觉维度定义兴趣点区域;
确定注视取向;以及
基于所述注视取向来确定指向所述兴趣点区域的注视量,其中如果指向所述兴趣点区域的注视量等于或低于阈值量,则生成触觉效果。
11.如权利要求10所述的计算机可读介质,还包括:
确定注视取向是朝向还是远离所述兴趣点区域移动。
12.如权利要求11所述的计算机可读介质,其中所生成的触觉效果的参数随着所述注视取向到所述兴趣点区域的距离减小而减小。
13.如权利要求11所述的计算机可读介质,其中,所述触觉效果的参数随着所述注视取向到所述兴趣点区域的距离增大而增大。
14.如权利要求10所述的计算机可读介质,其中确定所述注视取向包括使用头戴式显示器或显示设备。
15.如权利要求10所述的计算机可读介质,其中,所述虚拟环境包括360度内容。
16.如权利要求10所述的计算机可读介质,其中,所生成的触觉效果包括多个触觉效果。
17.一种使用触觉维度生成触觉效果的系统,包括:
兴趣点确定器,被配置为识别虚拟环境内的兴趣点;
触觉维度生成器,被配置为基于所述兴趣点生成多个触觉维度,其中所述多个触觉维度定义兴趣点区域;
注视跟踪器系统,被配置为确定注视取向并基于所述注视取向来确定指向所述兴趣点区域的注视量;以及
触觉生成器,被配置为如果指向所述兴趣点区域的注视量等于或低于阈值量则生成触觉效果。
18.如权利要求17所述的系统,其中所述注视跟踪器系统还被配置为确定所述注视取向是朝向或远离所述兴趣点区域移动。
19.如权利要求18所述的系统,其中所述触觉生成器被配置为随着所述注视取向到所述兴趣点区域的距离减小而减小所生成的触觉效果的参数。
20.如权利要求18所述的系统,其中所述触觉生成器被配置为随着所述注视取向到所述兴趣点区域的距离增大而增大所生成的触觉效果的参数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/630,236 US20180373325A1 (en) | 2017-06-22 | 2017-06-22 | Haptic dimensions in a variable gaze orientation virtual environment |
| US15/630,236 | 2017-06-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109116979A true CN109116979A (zh) | 2019-01-01 |
Family
ID=62750790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810648732.XA Pending CN109116979A (zh) | 2017-06-22 | 2018-06-22 | 可变注视取向虚拟环境中的触觉维度 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20180373325A1 (zh) |
| EP (1) | EP3418863A1 (zh) |
| JP (1) | JP2019008798A (zh) |
| KR (1) | KR20190000312A (zh) |
| CN (1) | CN109116979A (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
| US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
| US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
| US10620910B2 (en) * | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
| US11166080B2 (en) * | 2017-12-21 | 2021-11-02 | Facebook, Inc. | Systems and methods for presenting content |
| US10966007B1 (en) * | 2018-09-25 | 2021-03-30 | Apple Inc. | Haptic output system |
| CN109815409B (zh) * | 2019-02-02 | 2021-01-01 | 北京七鑫易维信息技术有限公司 | 一种信息的推送方法、装置、穿戴设备及存储介质 |
| US11756259B2 (en) * | 2019-04-17 | 2023-09-12 | Rakuten Group, Inc. | Display controlling device, display controlling method, program, and non-transitory computer-readable information recording medium |
| US20220244784A1 (en) * | 2019-05-28 | 2022-08-04 | Sony Group Corporation | Information processing device, information processing method, and program |
| US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
| WO2021236100A1 (en) * | 2020-05-22 | 2021-11-25 | Hewlett-Packard Development Company, L.P. | Gesture areas |
| US12361661B1 (en) | 2022-12-21 | 2025-07-15 | Meta Platforms Technologies, Llc | Artificial reality (XR) location-based displays and interactions |
| EP4571464A1 (en) * | 2023-12-15 | 2025-06-18 | BAE SYSTEMS plc | Head worn augmented reality display |
| WO2025125769A1 (en) * | 2023-12-15 | 2025-06-19 | Bae Systems Plc | Head worn augmented reality display |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9833697B2 (en) * | 2013-03-11 | 2017-12-05 | Immersion Corporation | Haptic sensations as a function of eye gaze |
| US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
| US9533772B2 (en) * | 2014-07-09 | 2017-01-03 | Honeywell International Inc. | Visual search assistance for an occupant of a vehicle |
| ES2642263T3 (es) * | 2014-12-23 | 2017-11-16 | Nokia Technologies Oy | Control de contenido de realidad virtual |
| US9625990B2 (en) * | 2015-03-03 | 2017-04-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist systems including user eye tracking cameras |
| US10678897B2 (en) * | 2015-04-16 | 2020-06-09 | Tobii Ab | Identification, authentication, and/or guiding of a user using gaze information |
| ES2778935T3 (es) * | 2015-05-28 | 2020-08-12 | Nokia Technologies Oy | Representación de una notificación en una pantalla montada en la cabeza |
| US10113877B1 (en) * | 2015-09-11 | 2018-10-30 | Philip Raymond Schaefer | System and method for providing directional information |
| EP3179336A1 (en) * | 2015-12-07 | 2017-06-14 | Thomson Licensing | Method and device for rendering haptic effects in an immersive content |
| US11032471B2 (en) * | 2016-06-30 | 2021-06-08 | Nokia Technologies Oy | Method and apparatus for providing a visual indication of a point of interest outside of a user's view |
| US10139901B2 (en) * | 2016-07-05 | 2018-11-27 | Immersv, Inc. | Virtual reality distraction monitor |
-
2017
- 2017-06-22 US US15/630,236 patent/US20180373325A1/en not_active Abandoned
-
2018
- 2018-06-20 KR KR1020180070811A patent/KR20190000312A/ko not_active Withdrawn
- 2018-06-21 JP JP2018117497A patent/JP2019008798A/ja active Pending
- 2018-06-22 CN CN201810648732.XA patent/CN109116979A/zh active Pending
- 2018-06-22 EP EP18179193.0A patent/EP3418863A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190000312A (ko) | 2019-01-02 |
| EP3418863A1 (en) | 2018-12-26 |
| JP2019008798A (ja) | 2019-01-17 |
| US20180373325A1 (en) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109116979A (zh) | 可变注视取向虚拟环境中的触觉维度 | |
| US11914780B2 (en) | Finger-mounted device with sensors and haptics | |
| US11360558B2 (en) | Computer systems with finger devices | |
| US10417880B2 (en) | Haptic device incorporating stretch characteristics | |
| CN104049731B (zh) | 依据眼睛注视的触觉感觉 | |
| JP5833601B2 (ja) | モバイルデバイス上での共有されたフィードバックのための双方向性モデル | |
| EP3588250A1 (en) | Real-world haptic interactions for a virtual reality user | |
| JP2019192242A (ja) | 没入型現実インターフェースモードを提供するシステム、デバイス及び方法 | |
| Klamka et al. | Elasticcon: elastic controllers for casual interaction | |
| Rise et al. | The potential of gesture-based interaction | |
| Stanković | Lecture 6—Input Devices and Tracking | |
| CN119563150A (zh) | 具有手持式控制器的计算机系统 | |
| Butz | Human-Computer Interaction 2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190101 |
|
| WD01 | Invention patent application deemed withdrawn after publication |