CN111813220A - 基于增强现实或虚拟现实智能头戴设备的交互系统 - Google Patents

Abstract

本发明公开了基于增强现实或虚拟现实智能头戴设备的交互系统，包括：头戴设备，其具有显示部件；头戴设备设有第一控制单元，其具有向显示部件输出画面的显示输出端，以及用于提供存储空间的存储模块；头戴设备还设有摄像单元；头戴设备还设有第一无线通信模块；交互系统还包括手柄，手柄设有系统控制芯片以及与之电控连接的第二无线通信模块、六轴传感器模块、物理按键模块、触摸控制模块以及可控电源；物理按键模块以及触摸控制模块用于获取使用者输入的操作信息；六轴传感器模块用于获取手柄上预设点的位置信息以及该预设点的位置变化信息；第二无线通信模块用于向第一无线通信模块发送操作信息、位置信息以及位置变化信息。

Description

基于增强现实或虚拟现实智能头戴设备的交互系统

技术领域

本发明涉及无线手柄领域，特别涉及一种基于增强现实或虚拟现实智能头戴设备的交互系统。

背景技术

VR(VirtualReality，即虚拟现实，简称VR)，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

AR增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

Dof(Degree Of Freedom)是自由度的简称。其中3Dof是指有3个转动角度的自由度。

随着当代电子技术的不断发展和普及，虚拟现实的VR(VirtualReality)和增强现实的AR(Augmented Reality)在日常生活中应用日益广泛，操作方便、低延时、人性化的VR或AR设备越来越受到市场的重视，业内为提升VR或AR设备的这几项指标而使出的手段也是层出不穷，多种多样。

传统的VR或AR设备通过摇头和头部左右运行及上下运行三种方式进行选择控制，这种方式操作非常不方便和人性化，特别是对颈部有问题的人士存在一定控制难度；另一个方面由于是身体动作控制VR或AR设备，而身体动作的速度几乎决定了传统设备在需要进行快速控制的场合是不可能做到的，即延时比较严重；还有一个方面是传统VR或AR设备采用线缆的方式进行信号的传输，这使设备的便利性大大降低；虽然部分传统VR或AR设备有改进，但是使用的是机械按键，这使操作简便性大大折扣，更没有功耗方面的设计。以上种种原因导致传统VR或AR设备无法满足使用者操作方便、低延时、人性化的需求。

发明内容

本发明的目的是为了解决上述技术问题，提供一种基于增强现实或虚拟现实智能头戴设备的交互系统，利用物理按键和触摸面板进行操作，自动检测手柄的姿态，并使用无线信号低延时快速传输，系统功耗低、操作方便。

为了实现上述目的，本发明采用的技术方案是：

基于增强现实或虚拟现实智能头戴设备的交互系统，包括：头戴设备，所述头戴设备具有显示部件，所述显示部件用于供使用者感知画面；所述头戴设备设有第一控制单元，其具有向所述显示部件输出所述画面的显示输出端，以及用于提供存储空间的存储模块，所述存储模块能用于存储预设程序和经采集和处理的数据；所述头戴设备还设有摄像单元，能基于环境信息采集数据以输出图像和/或视频信号；所述头戴设备还设有第一无线通信模块，其能接收来自外部的控制信号，所述第一控制单元能基于所述控制信号执行预设动作，所述预设动作包括基于所述控制信号改变使用者所感知的画面；所述交互系统还包括手柄，所述手柄设有系统控制芯片以及与之电控连接的第二无线通信模块、六轴传感器模块、物理按键模块、触摸控制模块以及可控电源；所述物理按键模块以及触摸控制模块用于获取使用者输入的操作信息；所述六轴传感器模块用于获取所述手柄上预设点的位置信息以及该预设点的位置变化信息；所述第二无线通信模块用于向所述第一无线通信模块发送所述操作信息、所述位置信息以及所述位置变化信息。

较优的，所述头戴设备为增强现实眼镜。

较优的，所述头戴设备为虚拟现实眼镜。

较优的，所述第一无线通信模块包括第一蓝牙芯片，所述第二无线通信模块包括能基于蓝牙协议与所述第一蓝牙芯片进行通信连接的第二蓝牙芯片。

较优的，所述手柄还包括微控制单元，所述微控制单元能控制所述可控电源的通断。

较优的，所述可控电源包括可装卸的电池。

较优的，所述物理按键模块包括确定按键，开机按键，返回按键。

较优的，所述电池为可充电电池，所述手柄上设有充电接口。

较优的，所述六轴传感器模块包括三轴陀螺仪以及三轴加速计。

较优的，所述系统控制芯片的型号为nRF52832，所述六轴传感器模块包括集成三轴陀螺仪和三轴加速计的六轴传感器芯片MPU6000，所述触摸控制模块包括型号为PCT1322QK的触摸芯片、触摸板接口、触摸面板，所述触摸芯片与所述系统控制芯片建立I2C通信连接，所述六轴传感器芯片与所述系统控制芯片建立SPI通信连接。

本发明的技术效果是：通过提供一种基于增强现实或虚拟现实智能头戴设备的交互系统，包括：头戴设备，所述头戴设备具有显示部件，所述显示部件用于供使用者感知画面；所述头戴设备设有第一控制单元，其具有向所述显示部件输出所述画面的显示输出端，以及用于提供存储空间的存储模块，所述存储模块能用于存储预设程序和经采集和处理的数据；所述头戴设备还设有摄像单元，能基于环境信息采集数据以输出图像和/或视频信号；所述头戴设备还设有第一无线通信模块，其能接收来自外部的控制信号，所述第一控制单元能基于所述控制信号执行预设动作，所述预设动作包括基于所述控制信号改变使用者所感知的画面；所述交互系统还包括手柄，所述手柄设有系统控制芯片以及与之电控连接的第二无线通信模块、六轴传感器模块、物理按键模块、触摸控制模块以及可控电源；所述物理按键模块以及触摸控制模块用于获取使用者输入的操作信息；所述六轴传感器模块用于获取所述手柄上预设点的位置信息以及该预设点的位置变化信息；所述第二无线通信模块用于向所述第一无线通信模块发送所述操作信息、所述位置信息以及所述位置变化信息。因此，解决了业界所关注的问题，即无需通过头部移动来选择目标就可以操作，这样提高了使用效率，降低了使用者在佩戴过程中的头部疲劳度，同时利用手部的配合，有助于训练运动神经，加强运动神经与大脑的配合达到脑力训练的目的，有利于健康。

另外，在较优的实施方案中，本发明通过使用集成32位微控制单元和无线蓝牙功能的nRF52832系统控制芯片，集成三轴陀螺仪和三轴加速计的六轴传感器模块MPU6000，五点电容式触摸控制的PCT1322QK触摸芯片，达到系统集成度高，电路体积小，功耗低，可用电池供电的优点。

再有，在较优的实施方式中，通过物理按键模块与系统控制芯片电控联接，通过触摸控制模块与系统控制芯片电控联接，手柄系统控制芯片采用2.4G无线蓝牙方式与AR设备、VR设备、PC设备等进行交互式通信，六轴传感器模块和触摸控制模块将设备的头部运动控制方式变更为手柄姿态和触摸移动的控制方式，交互控制更舒适，无延时，增强了用户体验。

附图说明

下面结合附图和实施方式对本发明作进一步详细说明：

图1是本发明的一个实施例中手柄的电路原理图；

图2为图1中微控制单元的一个实施例的电路原理图；

图3为图1中六轴传感器模块的一个实施例的电路原理图；

图4为图1中物理按键模块的一个实施例的电路原理图；

图5为图1中触摸芯片的一个实施例的电路原理图；

图6为图1中触摸接口的一个实施例的电路原理图；

图7为图1中可控电源的一个实施例的电路原理图；

图8为本发明的系统组成框图。

图中标号：

系统控制芯片-100；微控制单元-201；无线蓝牙传输模块-202；六轴传感器模块-300；三轴陀螺仪-301；三轴加速计-302；物理按键模块-400；触摸控制模块-500；触摸芯片-501；触摸板接口-502；触摸面板-503；可控电源-601；智能头戴设备700；显示部件701；存储模块702；摄像单元703；第一控制单元704；第一无线通信模块705；手柄800。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

本发明的目的在于解决现有技术中需要通过头部移动才能选择应用程序，这在使用过程中很不方便，因此，本发明提供一种可通过无线交互的基于增强现实或虚拟现实智能头戴设备的交互系统，通过使用者手部进行操作，替代传统头部移动的方式，达到体验效果好，使用方便的作用，，同时利用手部的配合，有助于训练运动神经，加强运动神经与大脑的配合达到脑力训练的目的，有利于健康。

在一种可行的实施方式中，基于增强现实或虚拟现实智能头戴设备的交互系统包括：头戴设备，所述头戴设备具有显示部件，所述显示部件用于供使用者感知画面；所述头戴设备设有第一控制单元，其具有向所述显示部件输出所述画面的显示输出端，以及用于提供存储空间的存储模块，所述存储模块能用于存储预设程序和经采集和处理的数据；所述头戴设备还设有摄像单元，能基于环境信息采集数据以输出图像和/或视频信号；所述头戴设备还设有第一无线通信模块，其能接收来自外部的控制信号，所述第一控制单元能基于所述控制信号执行预设动作，所述预设动作包括基于所述控制信号改变使用者所感知的画面；所述交互系统还包括手柄，所述手柄设有系统控制芯片以及与之电控连接的第二无线通信模块、六轴传感器模块、物理按键模块、触摸控制模块以及可控电源；所述物理按键模块以及触摸控制模块用于获取使用者输入的操作信息；所述六轴传感器模块用于获取所述手柄上预设点的位置信息以及该预设点的位置变化信息；所述第二无线通信模块用于向所述第一无线通信模块发送所述操作信息、所述位置信息以及所述位置变化信息。

在本发明中，所述头戴设备可以为增强现实眼镜，也可以为虚拟现实眼镜。

在本发明中，所述第一无线通信模块包括第一蓝牙芯片，所述第二无线通信模块包括能基于蓝牙协议与所述第一蓝牙芯片进行通信连接的第二蓝牙芯片。

在一种可行的实施方式中，所述手柄还包括微控制单元，所述微控制单元能控制所述可控电源的通断。较优的，所述可控电源包括可装卸的电池，更理想的是所述电池为可充电电池，所述手柄上设有充电接口。

在一种可行的实施方式中，所述物理按键模块包括确定按键，开机按键，返回按键。

在一种可行的实施方式中，所述六轴传感器模块包括三轴陀螺仪以及三轴加速计。

下面结合附图1-8，对本发明的具体实施例做出说明。

请参照图1及图8所示，示出了一种基于增强现实或虚拟现实智能头戴设备的交互系统，包括手柄800、智能头戴设备700，其中手柄800包括：微控制单元201，作为第二无线通信模块的无线蓝牙传输模块202，六轴传感器模块300，三轴陀螺仪301，三轴加速计302，物理按键模块400，触摸控制模块500，触摸芯片501，触摸板接口502，触摸面板503，可控电源601。

所述头戴设备700具有显示部件701，所述显示部件701用于供使用者感知画面，在一种实施方式中，显示部件包括安装在头戴设备上的显示屏；所述头戴设备700设有第一控制单元704，其具有向所述显示部件701输出所述画面的显示输出端，以及用于提供存储空间的存储模块702，所述存储模块702能用于存储预设程序和经采集和处理的数据；所述头戴设备700还设有摄像单元703，能基于环境信息采集数据以输出图像和/或视频信号；所述头戴设备700还设有第一无线通信模块705，其能接收来自外部的控制信号，所述第一控制单元704能基于所述控制信号执行预设动作，所述预设动作包括基于所述控制信号改变使用者所感知的画面，例如，移动光标，进入相关显示界面等。

所述系统控制芯片100用于本实施例中控制方法的实施和无线蓝牙的收发传输，由于采用SOC技术，系统控制芯片100包括微控制单元201，无线蓝牙传输模块202，即系统控制芯片100中同时具备微控制单元201，无线蓝牙传输模块202的双重功能。

所述六轴传感器模块300与所述系统控制芯片100电控联接，所述物理按键模块400与所述系统控制芯片100电控联接，所述触摸控制模块500与所述系统控制芯片100电控联接,所述可控电源601分别与所述触摸控制模块500、所述六轴传感器模块300和所述系统控制芯片100电控联接。

所述六轴传感器模块300芯片内部集成三轴陀螺仪301和三轴加速计302，由此该陀螺仪冋时具备陀螺仪301以及加速度计302的双重功能，所述六轴传感器模块300用于捕捉手柄的操作姿态。

所述物理按键模块400与所述系统控制芯片100电控联接，所述物理按键模块400用于本实施例中的开机功能、返回功能、确定功能和触摸面板的确定功能。

所述触摸控制模块500与所述系统控制芯片100电控联接，所述触摸控制模块500包括触摸芯片501，触摸板接口502，触摸面板503，所述触摸控制模块500用于本实施例中采集和处理使用者的拇指滑动和按压操作。

所述可控电源601与所述系统控制芯片100电控联接，所述可控电源601与所述六轴传感器模块300电控联接，所述可控电源601在本实施例中给所述触摸控制模块500和所述六轴传感器模块300提供电源，并控制功耗。

请参照图2和图3，在本实施例中，所述系统控制芯片-100采用的是挪威北欧公司(Nordic Semiconductor)生产的型号为nRF52832的带32位控制器的射频控制芯片。所述六轴传感器模块300采用的是日本TDK公司生产的型号为MPU6000，所述系统控制芯片100具有控制数据输入端212，所述六轴传感器模块300具有控制数据输出端311，所述系统控制芯片100控制数据输入端212与所述六轴传感器模块300数据输出端311电控联接。

所述六轴传感器模块300芯片内部集成三轴陀螺仪301和三轴加速计302，由此该陀螺仪冋时具备陀螺仪301以及加速度计302的双重功能，所述六轴传感器模块300与所述系统控制芯片100通过SPI总线协议进行通信。

请参照图2和图4，在本实施例中，所述物理按键模块400是指手柄的确定按键，开机按键，返回按键，电容式触摸面板下面的确定按键的物理按键集合，所述物理按键模块400具有控制数据输出端411，所述系统控制芯片100具有控制数据输入端211，所述系统控制芯片100控制数据输入端211与所述物理按键模块400数据输出端411电控联接。

请参照图2和图5，在本实施例中，所述触摸控制模块500包括触摸芯片501，触摸板接口502，触摸面板503，所述触摸芯片501具有控制数据输入端511，所述系统控制芯片100具有控制数据输入端213，所述触摸芯片501控制数据输入端213与所述系统控制芯片100数据输出端511电控联接。

所述触摸芯片501与所述系统控制芯片100通过I²C总线协议进行通信。

请参照图5和图6，在本实施例中，所述触摸芯片501具有触摸信号数据输入端517和触摸信号数据输入端514，所述触摸板接口502具有触摸信号数据输出端515和触摸信号数据输出端516；所述触摸芯片501的触摸信号数据输入端517与所述触摸板接口502的触摸信号数据输出端515电控联接，所述触摸芯片501的触摸信号数据输入端514与所述触摸板接口502的触摸信号数据输出端516电控联接。

所述触摸板接口502采用FPC13接口封装与所述触摸面板503进行电气联接，使用者可使用大拇指滑动和按压操作所述触摸面板503，触摸信号被采样后送入触摸芯片501进行触摸信号处理，最后再通过I²C总线协议反馈给系统控制芯片100，提高使用的舒适性。

请参照图2和图7，在本实施例中，所述可控电源601具有数据输入端611，所述系统控制芯片100具有控制数据输出端215，所述可控电源601数据输入端611与所述系统控制芯片100数据输出端215电控联接。

请参照图7、图3和图5，在本实施例中，所述可控电源601具有电源输出端612，所述六轴传感器模块300具有电源输入端312，所述触摸芯片501具有电源输入端512；所述可控电源601数据输入端612与所述六轴传感器模块300电源输出端312电控联接，所述可控电源601数据输出端612与所述触摸芯片501电源输入端512电控联接。

请参照图2和图5，在本实施例中，所述系统控制芯片100具有数据输入端214，所述触摸芯片501具有数据输出端513，所述系统控制芯片100数据输入端214与所述触摸芯片501数据输出端513电控联接。

在本实施例中，所述触摸面板503的触摸数据经触摸芯片501接收并处理后，触摸芯片501将在数据输出端513产生一触发信号输入到所述系统控制芯片100的214端口，触发系统控制芯片100接收触摸数据，同时系统控制芯片100根据触发信号控制可控电源601的端口611，进一步控制可控电源601的端口612电源输出，由于六轴传感器模块300和触摸控制模块500的电源由可控电源601的612端口提供，降低了系统功耗。

实施本实施例的有益效果至少包括：

1、通过使用集成有32位微控制单元和无线蓝牙功能的nRF52832系统控制芯片100，通过使用集成有三轴陀螺仪301和三轴加速计302型号为MPU6000的六轴传感器模块300，通过采用五点电容式触摸控制型号为PCT1322QK的触摸芯片501，本实施例的整个系统集成度高，电路体积小，功耗低，可用电池供电。

2.通过物理按键模块400与所述系统控制芯片100电控联接，通过触摸控制模块500与所述系统控制芯片100电控联接，，所述手柄系统控制芯片100采用2.4G无线蓝牙方式与AR设备、VR设备、PC设备等进行交互式通信，所述六轴传感器模块300和触摸控制模块500将设备的头部运动控制方式变更为手柄姿态和触摸移动的控制方式，交互控制更舒适，无延时，增强了用户体验。

以上具体实施方式对本发明进行了详细的说明,但这些并非构成对本发明的限制。本发明的保护范围并不以上述实施方式为限,但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范围内

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，包括：

头戴设备，所述头戴设备具有显示部件，所述显示部件用于供使用者感知画面；

所述头戴设备设有第一控制单元，其具有向所述显示部件输出所述画面的显示输出端，以及用于提供存储空间的存储模块，所述存储模块能用于存储预设程序和经采集和处理的数据；

所述头戴设备还设有摄像单元，能基于环境信息采集数据以输出图像和/或视频信号；

所述头戴设备还设有第一无线通信模块，其能接收来自外部的控制信号，所述第一控制单元能基于所述控制信号执行预设动作，所述预设动作包括基于所述控制信号改变使用者所感知的画面；

所述交互系统还包括手柄，所述手柄设有系统控制芯片以及与之电控连接的第二无线通信模块、六轴传感器模块、物理按键模块、触摸控制模块以及可控电源；

所述物理按键模块以及触摸控制模块用于获取使用者输入的操作信息；

所述六轴传感器模块用于获取所述手柄上预设点的位置信息以及该预设点的位置变化信息；

所述第二无线通信模块用于向所述第一无线通信模块发送所述操作信息、所述位置信息以及所述位置变化信息。

2.根据权利要求1所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述头戴设备为增强现实眼镜。

3.根据权利要求1所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述头戴设备为虚拟现实眼镜。

4.根据权利要求1所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述第一无线通信模块包括第一蓝牙芯片，所述第二无线通信模块包括能基于蓝牙协议与所述第一蓝牙芯片进行通信连接的第二蓝牙芯片。

5.根据权利要求1所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述手柄还包括微控制单元，所述微控制单元能控制所述可控电源的通断。

6.根据权利要求5所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述可控电源包括可装卸的电池。

7.根据权利要求1所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述物理按键模块包括确定按键，开机按键，返回按键。

8.根据权利要求6所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述电池为可充电电池，所述手柄上设有充电接口。

9.根据权利要求1-8任一项所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述六轴传感器模块包括三轴陀螺仪以及三轴加速计。

10.根据权利要求9任一项所述的基于增强现实或虚拟现实智能头戴设备的交互系统，其特征在于，所述系统控制芯片的型号为nRF52832，所述六轴传感器模块包括集成三轴陀螺仪和三轴加速计的六轴传感器芯片MPU6000，所述触摸控制模块包括型号为PCT1322QK的触摸芯片、触摸板接口、触摸面板，所述触摸芯片与所述系统控制芯片建立I 2C通信连接，所述六轴传感器芯片与所述系统控制芯片建立SPI通信连接。

Images