CN101266516A - 布局可定制的智能人机接口设备 - Google Patents

Abstract

本发明涉及一种用于整合和取代现有计算机键盘、鼠标、手写板、绘图板、游戏外设和MIDI键盘等多种外部设备的智能人机接口设备，特别公开一种布局可定制的智能人机接口设备的概念、原理、及实现方法。该人机接口设备使用液晶显示器显示操作界面，以接触或非接触方式感知手指动作，解释成相应的控制信号，从接口送入计算机主机，从而完成对操作系统或相应软件的操作。该人机接口设备预置多种人机接口布局，用户也可根据自己的偏好和需要，使用系统提供的操作元素定制专用的人机接口布局，或使用为软件提供的专用定制布局。用户可在各人机接口布局间转换。该人机接口设备采用多点触发技术，能够识别单手指复杂操作、多手指操作和双手同时操作。

Description

布局可定制的智能人机接口设备

技术领域

本发明涉及一种用于取代现有计算机键盘、鼠标及其他外部设备的智能人机接口设备，特别公开一种布局可定制的智能人机接口设备的概念、原理、及实现方法。

背景技术

自从第一台计算机发明之后，计算机技术在短短几十年内取得了突飞猛进的发展。电子技术的进步大概以摩尔定律的速度提升半导体芯片的处理速度。计算机的操作系统和各种软件的性能和功能也越来越强大，使得现在计算机的硬件和软件已经完全不是诞生时的模样。与之相比，计算机的主要人机接口——键盘和鼠标——则延续了最初的结构和使用方式。发明于1964年的鼠标，采用了两个相互垂直的滚轮定位的设计；按键式键盘源于1868年发明的打字机键盘，只不过于20世纪移植到了计算机上。传统的键盘和鼠标并不能很好的支持电脑扮演未来家庭娱乐中心、多媒体中心、高效工作工具等角色。

长期以来，软件的设计思路，是要让用户努力适应系统的特定操作思维方式。随着性能的提高，计算机能够腾出来更多的计算力向用户提供更人性化的人机接口。人机接口的发展方向，是要让系统努力适应用户的习惯，让用户以处理真实环境下事物的思维方式与虚拟世界互动。力反馈技术、3D操作系统、虚拟现实、图像识别、语音识别、意念控制、触摸技术等正在悄然改变人机互动方式。可见，对传统人机接口的革新正在进行。

目前的鼠标操作，只能以单手进行。用户移动鼠标并点击鼠标按键，用以触发屏幕上的菜单、游戏中的枪械扳机或在虚拟现实中拖拽一件物品——但这些只限于单手操作。大部分情况下，总有一只手是空闲的。这种不便就好比人们在真实环境中，只能使用一只手工作一样。如果能让双手配合起来，就能完成更多复杂动作，从而让操作更加高效。比如，两只手配合转动或放大缩小一张图片；一只手选择并拖动文件，另一只手在该文件上签名。

与计算机互动的方式越来越多，人们希望一种人机接口设备就能取代现有的键盘、鼠标、手写板、绘图板、游戏外设、MIDI键盘等多种人机接口设备。同时，人们需要一种能够跟据用户使用偏好和需要，定制操作布局的人机接口设备。例如，按一键打开某个常用软件；用滑动条和旋钮控制播放器的进度和音量；针对某个软件设置自定义的专用键盘布局；改变按键的大小、位置、形状、颜色、文字；设置特定的单手或双手手指动作完成特殊操作等。

应用广泛的单点触摸技术，给操作带来了很大的限制——同一时刻只能响应一个手指操作。多点触摸技术能使系统识别更多的手指动作组合，甚至是本发明涉及的双手操作。

非触摸技术放弃了传统的按压式触摸传感器，采用图像、超声、红外、激光、电磁场等方式识别手指动作。用户不需接触设备本身，只要在传感器触发区内凌空完成动作，就可被识别并转换成相应操作。非触摸技术的合理应用会给人机互动方式带来巨大改变。

发明内容

本发明属于计算机人机接口设备，它能够整合并取代现有计算机键盘、鼠标、手写板、绘图板、游戏外设、MIDI键盘等多种设备，并能根据用户和软件需要，定制专用的人机接口布局。

本发明涉及的计算机人机接口设备，有一个液晶显示器，用来显示模拟的人机接口画面，包括：控制菜单、文字提示、图片提示、系统预置或用户定制的按键、旋钮、滑动条、拨轮等画面。其中的按键、旋钮、滑动条、拨轮等虚拟操作按键，在本发明中被称为操作元素。用户看到画面后，在触发区以接触或非接触方式触发与操作元素关联的传感器，被接口中的处理电路识别，解释成操作代码，并通过接口发送到计算机主机。主机中运行的相应软件将操作代码解释为执行命令，从而完成对操作系统及相关软件的控制。所述的操作元素被触发后，以动画、高亮、闪烁或提示音等反馈形式提示用户该操作元素被触发。所述的人机接口设备设有布局转换的开关或旋钮，用户可在各种人机接口布局中切换。

本发明所述的人机接口设备预置了若干套人机接口布局，如标准计算机键盘布局，媒体播放器布局、MIDI键盘布局、游戏机外设布局、跳舞机布局、网络电话布局等。预置的人机接口布局也可以被编辑，改变、添加或删除操作元素以生成用户定制的布局。例如用户可以在标准键盘布局的基础上增加额外的功能按键，以增加制定功能。用户也可以根据偏好和需要，利用所述的操作元素，组合出自己的需要的布局。所述的操作元素，可以被放置并显示在显示区域的任意位置，同时，操作元素的大小、形状、方向、颜色、内嵌文字等特征可以被编辑。例如，为了定制一个网络电话拨号键盘，用户从操作元素中托拽若干个按钮到屏幕某位置，在按钮上添加“0”到“9”，以及“*”、“#”、“拨号”、“重拨”和“挂断”这样的提示文字，再添加一个音量滑动条，最后把这些操作元素对应到网络电话软件及操作系统的相关操作上。应用软件也可以提供他们为用户提供的专用定制布局，以提高用户的操作效率。例如某个图片编辑软件提供一套方便图片编辑的键盘，以文件形式通过所述人机接口设备和计算机的接口下载到人机接口设备中，用户就能使用为该软件提供的专用键盘布局了。

本发明所述的人机接口设备可以采用接触或非接触方式识别用户手指运动。在接触式实现方案中，用户的手指需要接触人机接口设备的触摸传感器才能被感知。触摸传感器位于液晶显示器之上。用户手指接触到操作元素之上的触摸传感器时，该动作被解释成用户触发了该操作元素。在非接触式实现方案中，用户的手指不需接触人机接口设备，其动作就能被感知。人机接口设备采用图像识别、超声、红外、激光、电磁场等方式识别手指动作。用户手指在触发区内动作时，手指动作即可被识别。

本发明所述的人机接口设备将用户手指动作解释成对应的编码信号，通过接口传输给计算机主机；同时也可接收计算机主机向人机接口设备发送的信号。接口的形式可以是有线连接，也可以是无线连接。无线连接能让用户在离计算机主机较远的地方操作。

本发明所述的人机接口设备能够识别用户手指的多种动作。包括：单击、双击、直线滑动、曲线滑动等，以及由这些基本动作组合的复杂动作。系统预置或用户自定义的一些复杂手指动作可以被识别并解释成特定操作。包括单手指复杂动作、多手指复杂动作以及双手复杂动作。例如，画一个“L”型图案，可被理解成关闭已打开的文件或网页。由于采用了多点触发技术，用户也是现由多根手指完成的复杂动作。例如，两根手指向同方向同速度移动，可被解释成托拽文件动作；两根手指绕某点转动，可被解释成旋转文件；两根手指彼此远离或靠近，被理解成放大或缩小图片操作。用户也能双手配合完成某些双手复杂动作。例如，双手分别操作两个文件；一只手选择文件，另一只手在所选文件上操作。(注：某些复杂操作，需要操作系统的支持才能完成)

对鼠标的控制有两种方案。第一种方案为：在人机接口设备的触发区域开辟一块专门的鼠标触发区，用户在此区域内的手指动作被解释为对鼠标的操作；具体的操作方法是(以右手操作鼠标为例)：用户一手指(一般为中指)持续在触发区滑动，以控制鼠标光标在计算机屏幕上的位置，当该手指左侧一手指(一般为食指)触发时，被解释为点击鼠标左键，当该手指右侧一手指(一般为无名指)触发时，被解释为点击鼠标右键；另一手指(一般为大拇指)横向左右移动时，该动作被解释为滚动鼠标滚轮；第二种方案是不为鼠标设置专门的触发区，而是在所述的人机接口设备上设置一个鼠标有效按钮；当需要使用鼠标操作时，一只手触发该按钮，此时整个触发区均可完成鼠标操作；停止触发或再次触发该按钮，人机接口设备又恢复到原有布局中；第二种方案中对鼠标具体的操作方法和第一种方案的相同。

本发明所述人机接口设备与计算机主机的接口，即可为有线连接方式，也可为无线连接方式。有线连接方式接口承担操作信号发送，主机信号接收和从主机获得电力的功能。无线连接方式接口承担操作信号发送，主机信号接收功能，由所述人机接口设备自带的电池提供电力。当人机接口设备在一段时间内没有被触发后，液晶显示器可进入屏幕保护状态，也可进入省电模式，减小亮度或关闭液晶显示器显示，直到人机接口设备被用户触发。

本发明特点

(1)本发明作为一种全新的智能人机接口设备，整合并可取代现有的人机接口设备，如键盘、鼠标、手写板、绘图板、游戏外设和MIDI键盘等，并能根据用户和软件定制专用的人机接口布局。

(2)本发明涉及的人机接口设备能从一种接口布局快速转换到其他接口布局。

(3)本发明涉及的人机接口设备的触发方式可采用接触式触发，也可采用非接触式触发。

(4)本发明涉及的人机接口设备预置多种人机接口布局。

(5)用户可根据自己的偏好和需要，使用系统提供的操作元素定制专用人机接口布局。

(6)本发明涉及的人机接口设备可使用为某软件提供的专用定制布局，以提高操作效率。

(7)本发明涉及的人机接口设备采用多点触发技术，能够识别复杂的手指操作，并能识别双手同时操作，让用户以处理真实环境下事物的思维方式与计算机互动。

(8)所述的人机接口设备功能强大，视觉娱乐效果突出。用户以此能定制自己的个性化人机接口，符合电子产品个性化之潮流。

附图说明

图1为所述的人机接口设备和其整合并取代的现有人机接口设备举例；

图2为所述人机接口设备的一种实现结构；

图3为所述人机接口设备原理框图；

图4为所述人机接口设备实现各种预置人机接口的方案示意图；

图5所述的人机接口设备实现软件定制布局方案的示意图；

图6所述的人机接口设备实现用户定制的一种网络电话软件布局方案示意图；

图7为用户对预置的人机接口布局编辑一例；

图8为所述人机接口设备中提供的操作元素以及操作元素组合示意图；

图9为若干单手指简单动作方案示意图；

图10为若干单手指复杂动作方案示意图；

图11为鼠标操作时的手指动作方案作示意图；

图12为若干多手指动作方案示意图；

图13为若干双手操作方案示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明所述的人机接口设备1，以有线或无线方式与计算机主机2连接。它整合并取代多种现有人机接口设备，例如：计算机键盘3、MIDI键盘4、游戏外设5、6、7、跳舞机8、鼠标11、手写板或绘图板12等，并能够定制专用人机接口布局，例如网络电话拨号器9、媒体播放器10等。

图2为所述人机接口设备的一种实现结构。其中，13为人机接口设备主体。14为布局转换旋钮，15为控制按键。16为液晶显示器，17为触发区，该触发区可为接触式触发，也可为非接触式触发。

图3为所述人机接口设备原理框图。用户以接触方式18或非接触方式19完成手指动作，传感器感知手指动作，将信号送入处理电路，处理电路按照预置的人机接口布局、用户定制布局或软件定制布局控制液晶显示器显示相应内容，接受并处理用户定制操作，从接口电路获得软件定制布局的数据，处理用户手指动作信号，发送载有用户操作信息的数据送入接口电路，最后，接口电路以有线20或无线21方式将用户操作数据传输给计算机主机。

图4为所述的人机接口设备实现各种预置人机接口的方案示意图。其中，图4(a)为计算机键盘方案，图4(b)为MIDI键盘方案，图4(c)为手写板或绘图板方案，图4(d)为游戏手柄方案，图4(e)为游戏方向盘方案，图4(f)为游戏操纵杆方案，图4(g)为跳舞机方案。

图5为所述的人机接口设备实现软件定制布局方案的示意图。其中，图5(a)为媒体播放软件定制方案，图5(b)为绘图软件定制方案。

图6为所述的人机接口设备实现用户定制的一种网络电话软件布局方案示意图。

图7为用户对预置的人机接口布局编辑一例。本图为在预置计算机键盘的基础上添加了媒体播放控制按键。

图8为所述人机接口设备中提供的操作元素以及操作元素组示意图。包括按键(a)、旋钮(b)、滑动条(c)、拨轮(d)、操作元素组合(e)等。

图9为若干单手指简单操作的方案示意图。包括单击(a)、双击(b)、直线滑动(c)、曲线滑动(d)。

图10列出了若干单手指复杂动作方案示意图。这些复杂操作可被人机接口设备预置、软件定制或用户定制为特殊的操作。包括L形(a)、□形(b)、△形(c)、○形(d)、Z形(e)、V形(f)。

图11为鼠标操作时的手指动作方案作示意图。其中，中指22在触发区滑动用以给鼠标光标定位，在中指22保持触发时，食指23点击完成鼠标左键的功能，无名指24点击完成鼠标右键的功能，大拇指25滑动完成鼠标滚轮的功能。

图12列出了若干多手指动作方案示意图。其中，图12(a)为多手指靠近远或离操作，可用于放大或缩小，图12(b)为多手指绕某一点旋转操作，可用于旋转。

图13列出了若干双手操作方案示意图。其中，图13(a)双手可完成的操作不同，例如一只手托拽文件，另一只手书写。图13(a)双手可完成相同的操作。

本文对所述的布局可定制的智能人机接口设备的实现方法进行了详细地阐述。以上实施方式、用例和图示的实现方案只是用于帮助理解本发明的核心思想，并对本发明的实施提供可能的解决方案。依据本发明的概念、原理和方法，在具体实施方式上均可能有改变之处。因此，本说明书中的方式、用例和实施方案不应理解为对本发明的限制。

Claims (8)

1、一种计算机人机接口设备，该设备用于取代和整合现有的人机接口设备，包括计算机键盘、鼠标、手写板、绘图板、游戏外设、MIDI键盘等，并能根据用户和软件定制专用的人机接口布局；所述的人机接口设备有一个液晶显示器，用来显示模拟的人机接口画面；人机接口设备上装有触发传感器，用以感知用户手指的动作；当用户手指在触发区动作时，该动作被传感器感知，被内部电路处理并转换成相应的信号；该信号由人机接口设备与计算机的接口传输到计算机主机中，计算机主机识别该信号，从而完成对操作系统和软件的操作；所述的人机接口设备，可以在不同的设备模式中切换，从而完成键盘、鼠标等的功能；人机接口设备预置了若干套人机接口布局以供用户选择使用，也能够按照用户定制的布局，或软件定制的布局，实现定制的专用人机接口功能。

2、根据权利要求1所述的人机接口设备，其中，所述的液晶显示器显示的内容包括：控制菜单、文字提示、图片提示、系统预置或用户定制的按键、旋钮、滑动条、拨轮等画面；其中的按键、旋钮、滑动条、拨轮等虚拟操作按键，在本发明中被称为操作元素；操作元素可以被放置并显示在液晶显示器显示区域的任意位置；同时，操作元素的大小、形状、方向、颜色、内嵌文字等特征可以被编辑；显示内容，既包括静止画面，也包括动态画面；操作元素被触发后，以动画、高亮、闪烁或提示音等反馈形式提示用户该操作元素被触发；人机接口设备设有布局转换开关或旋钮，用户可在各种人机接口布局中切换。

3、根据权利要求1所述的人机接口设备，其中，所述的触发传感器可以是接触式触发传感器，也可以是非接触式触发传感器；采用接触式触发传感器时，将该传感器放置在液晶显示器之上；用户触摸显示的某个操作元素对应的传感器时，传感器便认为该操作元素被触发；当采用非接触式触发传感器时，该传感器可采用图像、超声波、红外线、激光、电磁场等方式识别手指动作；用户接近某个操作元素达一定程度后完成某个动作，传感器便认为用户在触发区操作，于是该操作元素被触发。

4、根据权利要求1所述的人机接口设备，其中，所述人机接口设备预置的人机接口布局包括：计算机键盘、鼠标、手写板、绘图板、游戏外设、MIDI键盘等；预置的人机接口布局也可以被编辑，改变、添加或删除操作元素以生成用户定制的布局；用户可根据偏好和需要，利用设备提供的操作元素，定制自己的专用人机接口布局；也可以下载并应用为某软件定制的专用人机接口布局。

5、根据权利要求1所述的人机接口设备，其中，所述的用户手指动作包括：单击、双击、直线滑动、曲线滑动等，以及由这些基本动作方式组合的复杂动作方式；系统预置或用户自定义的一些复杂手指动作可以被识别并解释成特定操作；所述的复杂动作包括：单手指复杂动作、多手指复杂动作以及双手复杂动作；所述的双手复杂动作，双手完成的操作类型可以相同，也可以不同；可包括双手分别操作两个文件，也可包括一只手选择文件，另一只手在所选文件上操作。

6、根据权利要求1所述的人机接口设备，对鼠标控制可以采取两种方案。第一种方案为：在人机接口设备的触发区域开辟一块专门的鼠标触发区，用户在此区域内的手指动作被解释为对鼠标的操作；具体的操作方法是(以右手操作鼠标为例)：用户一手指(一般为中指)持续在触发区滑动，以控制鼠标光标在计算机屏幕上的位置，当该手指左侧一手指(一般为食指)触发时，被解释为点击鼠标左键，当该手指右侧一手指(一般为无名指)触发时，被解释为点击鼠标右键；另一手指(一般为大拇指)横向左右移动时，该动作被解释为滚动鼠标滚轮；第二种方案是不为鼠标设置专门的触发区，而是在所述的人机接口设备上设置一个鼠标有效按钮；当需要使用鼠标操作时，一只手触发该按钮，此时整个触发区均可完成鼠标操作；停止触发或再次触发该按钮，人机接口设备又恢复到原有布局中；第二种方案中对鼠标具体的操作方法和第一种方案的相同。

7、根据权利要求1所述的人机接口设备，与计算机主机的接口即可为有线连接方式，也可为无线连接方式；所述的有线连接方式，接口承担操作信号发送，主机信号接收和从主机获得电力的功能；所述的无线连接方式，接口承担操作信号发送，主机信号接收的功能，由所述人机接口设备自带的电池提供电力。

8、根据权利要求1所述的人机接口设备，在一段时间内没有接受到触发后，所述的液晶显示器可进入屏幕保护状态，静态或动态显示屏幕保护图像，直到人机接口设备被触发；也可以进入省电模式，减小亮度或关闭液晶显示器显示，直到所述的人机接口设备被触发。

Images