CN102135823A

CN102135823A - 一种智能电子手写笔

Info

Publication number: CN102135823A
Application number: CN2011101087780A
Authority: CN
Inventors: 金连文; 陶大鹏; 李辰成
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2011-04-28
Filing date: 2011-04-28
Publication date: 2011-07-27

Abstract

本发明提供一种智能电子手写笔，包括硬件系统和软件系统，所述硬件包含主控模块、三轴加速度传感器、角加速度传感器、A/D转换器、无线发射模块，并采用双总线结构实现硬件系统的连接，其中控制总线用于传输主控模块和其他模块的控制信号，数据总线负责传输每个模块之间的数据，所述无线发射模块实现与外部智能设备的无线连接，所述软件系统包括设置在主控模块上的内部软件模块，以及设置在外部智能设备的外部软件模块，所述内部软件模块和外部软件模块通过无线通信协议相互连接，实现接收并识别用户通过硬件系统所进行的手写操作。

Description

一种智能电子手写笔

技术领域

本发明属于模式识别与人工智能技术领域，特别涉及人机接口设备。

背景技术

传统的手写笔是依靠手写笔在电阻屏上产生压力而在屏幕上输出图形，屏幕菜单的选项也需要手写笔在屏幕上选择方可实现。目前很多智能手机采用电容屏，虽然可以方便使用手指输入信号，但对于中文以及象形文字的输入还是笔的形式更为有效。但目前各类设备触摸屏的所采用手写笔存在以下几个明显缺点：（1）对于软件中各类快捷方式选择，主要是通过菜单选择来完成，这样两层以上的菜单选择起来非常麻烦，即使是一层菜单的选择也是枯燥无味的；（2）对于快捷键的人机输入实现显得无能为力，因为多数手持设备没有方便的键盘可供使用，即使某些高端设备配有键盘的，除了携带上的不方便，另外当一个人同时操作键盘和输入笔的时候是需要串行工作的，来回的切换使得用户体验会大打折扣。

发明内容

本发明的目的在于克服上述人机交互的缺点和不足，通过研究笔两端的运动规律，设计出一种配合智能设备（包括手机、掌上电脑、平板电脑、手提电脑以及带有触摸屏的专有人机交互设备）——智能电子手写笔，它保留了传统手写笔在各类触摸屏实现图符输入的便利性；同时创造性的实现了只有键盘才具有的快捷键(组合键)的功能；提供手部残疾人士一种全新的人机交互方式；具有一定的娱乐功能。

本发明的目的通过下述技术方案实现：

一种智能电子手写笔，包括硬件系统和软件系统，所述硬件包含主控模块、三轴加速度传感器、角加速度传感器、A/D转换器、无线发射模块，并采用双总线结构实现硬件系统的连接，其中控制总线用于传输主控模块和其他模块的控制信号，数据总线负责传输每个模块之间的数据，所述无线发射模块实现与外部智能设备的无线连接，所述软件系统包括设置在主控模块上的内部软件模块，以及设置在外部智能设备的外部软件模块，所述内部软件模块和外部软件模块通过无线通信协议相互连接，实现接收并识别用户通过硬件系统所进行的手写操作。

本发明智能电子手写笔包括硬件部分统和软件部分，软件部分分为机内模块（驻于本发明智能电子手写笔内部）和机外模块（驻于手机或掌上电脑或平板电脑等智能设备内部），硬件和软件二者相互配合共同完成智能笔的功能。

本发明与现有技术相比具有如下的优点：

（1）本发明专利通过研究手部运动控制本发明智能电子手写笔的运动这一规律，提出了一种全新的智能输入设备，利用该设备可以创造性实现了只有键盘才具有的快捷键(组合键)的功能；在此基础上继续采用传统手写笔在触摸屏上输入图符这一符合人体工学的设计。

（2）通过转动与晃动笔杆，实现人机交互，这一操作本身具备一定的娱乐性，将笔的运动姿态和人机交互技术创造性的结合到一起，使得枯燥的输入变得有趣和新奇。

（3）与新兴的需要手部穿戴传感器或是利用视频识别技术的手势识别技术相比：新兴的手势识别技术所用手掌和指关节运动受到生理极限的限制（比如手指的弯曲度、手部是否残疾等）；所佩戴传感器需要更多自由度和精度，同时需要手部做出比较夸张的动作；另外由于穿戴的方式会增加手部不适应感。而本发明智能电子手写笔技术由于不去识别手势，创新的去识别笔杆部位运动情况，因而对于手部生理要求不高；另外模式识别阶段主要特征包括传感器送回经过预处理得到的三轴加速度/角加速度等，因而对传感器的自由度和精度要求会比手势识别有所降低；本发明智能电子手写笔的外形与传统笔的外形区别不大，不会增加手部的不适应感。

（4）与已有的在鼠标或笔内安装加速度传感器的电子设备相比：已有的在鼠标或笔内安装加速度传感器的电子设备其主要通过对加速度传感器采集到的加速度信息进行积分从而获得位移信息，这种方式由于传感器的精度限制，要求电子设备位移量要足够大；并且这种设备的输出结果对初始位置、角度以及运动后的位置、角度要求严格，这就限制了这类设备的广泛应用；而本发明智能电子手写笔采用的原始特征和原始特征对时间的变换特征即基于安装位置的三轴角加速度、角速度、角度特征以及加速度和笔相对于重力方向投影的角度等多维特征，在此基础上利用模式识别中特征提取的方法寻找基于几种特定模式（如图4所描绘，并不限定为这4类模式）最优特征，在此基础上进行模式识别，因而本发明智能手写应用前景更好。

（5）与新兴的超声定位识别记录笔相比：新兴的超声定位识别记录笔需要笔在纸张上书写，一般不能用于触摸屏设备；该设备通过多普勒效应检测笔尖在书写点处的位移，然后进行相应的模式识别进而识别出文字和符号；这种笔需要很高的传感器位移精度，因而造价很高，另外对笔在三维空间的运动情况就显得无能为力。而本发明智能电子手写笔在保留触摸屏用传统手写笔在触摸屏上书写文字的设计基础上，创新的通过对手写笔笔端脱离触摸屏时的运动姿态进行识别；识别特征包括传感器送回经过预处理得到的三轴加速度/角加速度等；本发明所采用的加速度传感器与角加速度传感器的价格非常低廉，测量加速度、角加速度精度完全满足应用；由于可以识别笔在立体空间的旋转、晃动等运动情况，因而使用范围更加宽广。

（6）随着机器学习技术的不断提高，通过更新软件机内模块部分的识别算法，许多更加复杂的本发明智能电子手写笔动作将被识别出来，因而该智能笔的可用性可不断升级。

（7）成本低，便于推广普及：随着加速度传感器芯片的普及以及电子设备固有的摩尔定律，设备的制造成本是可以控制的。

附图说明

图1是本发明智能电子手写笔的外观示意图。

图2是本发明智能电子手写笔的内部结构示意图。

图3是本发明智能电子手写笔硬件组成框图。

图4是本发明智能电子手写笔4种运动姿态示意图

图5是本发明智能电子手写笔的内部软件模块流程图

图6是本发明智能电子手写笔的外部软件模块模块流程图。

具体实施方式

下面结合附图对本发明作进一步具体的描述，但本发明的实施方式不限于此。

图1示出了本发明的一种外观形状，从外观上讲，本发明专利与一般书写用笔或是手持式设备配备的普通手写笔并无太大区别。其主要有笔端和笔杆两部分组成。另外本发明也可以单独做成笔帽的形式，直接套在原有传统手写笔的末端，完成同样的功能。

本发明智能电子手写笔的一种内部结构设计如图2所示，其一种硬件组成原理如图3所示，包括主控模块1、三轴加速度传感器2、角速度传感器3（图中未示出）、A/D转换器4、无线发射模块5、电源模块6、工作状态指示灯7和开关8。硬件系统采用双总线结构，控制总线用于传输对于主控模块1、无线发射模块5、电源模块6等的控制信号，数据总线负责传输模块之间的数据。主控模块1为整个系统的核心，主要负责传感器数据的获取和硬件内部的控制流程，对经过A/D转换器4转换的数据进行压缩和编码等预处理后送到无线发射模块5，并且接受控制总线传来的控制信号；加速度传感器2负责测量相对于初始轴线位置在三个自由度上的静态重力加速度的变化以及晃动笔杆形成的动态加速度；角速度传感器3负责测量笔杆旋转所形成的角加速度；A/D转换器4负责将加速度传感器2和角速度传感器3的模拟信号转换为数字信号；无线发射模块5负责建立智能电子手写笔与外部智能设备的无线链路，将经过主控模块1压缩和编码等预处理后的传感器信息发送给上位机进行后续的处理；电源模块6负责给整个电路提供正常工作时所需要的电源。

本发明的作用原理是：将加速度传感器2安装在本发明智能电子手写笔的两端，组成传感器阵列。将角加速度传感器3安装在本发明智能电子手写笔的旋转轴线方向上。当本发明智能电子手写笔不接触触摸屏时，手部做有规律运动，这时可以带动本发明智能电子手写笔运动。当智能电子手写笔倾斜时，利用加速度传感器2测量相对于原来轴线位置的三个自由度上静态重力加速度的变化，可以轻易知道当前位置的倾斜角；当智能电子手写笔作有规律的晃动时，利用加速度传感器2测量三轴动态加速度，可以获得当前智能电子手写笔的运动状态；当智能电子手写笔旋转时，利用角速度传感器3的测角原理。可以得到当前智能笔的角加速度信息，对该角加速度信息对于时间进行一次积分可以获得当前的旋转角速度。根据加速度传感器2以及角速度传感器3的安装位置、数量，就可以实现一轴或多轴的加速度、角加速度信息。分别对这些信息进行处理，进行相应的模式识别，就可以获得笔的运动情况，而不同类别笔运动的情况可以对应不同的输入指令，进而实现各种复杂的人机交互。

图4描绘了几类智能电子手写笔可以识别的简单运动情况。其中虚平面是本发明智能电子手写笔端离开带触摸屏智能设备时，与运动轨迹近似平行的假想平面。其中（a）描绘的是本发明智能电子手写笔沿其轴线顺时针或逆时针旋转；（b）描绘的是本发明智能电子手写笔笔端做圆周运动，其轨迹所成的虚平面与智能设备成某一角度的情况；（c）描绘的是本发明智能电子手写笔轴线与智能设备成某一角度，沿转动点O做钟摆运动的情况；（d）描绘是本发明智能电子手写笔轴线与智能设备成某一角度，沿其轴线做往复运动的情况。这几类运动情况的简单组合可以生成更复杂的智能电子手写笔运动类别。

本发明的工作流程参考图5、图6。内部软件模块的具体工作过程为：①上电后完成自检，系统进行软硬件初始化，报告各部分工作状态；②判断系统是否正常，如果不正常转入结束；③建立本发明智能电子手写笔与带有触摸屏智能设备的无线链路；④判断无线链路是否正常；⑤主控模块读取加速度传感器以及角加速度传感器数据；⑥主控模块获取加速度和角加速度传感器数据并进行压缩和编码等预处理；⑦主控模块将经过预处理的传感器数据用无线发射模块发射出去后，回到步骤④。

外部软件模块通常驻留智能设备中，具体过程为：①启动软件后进行模块自检和初始化；②判断外部软件模块模块是否工作正常，如果不正常则返回故障信息后进入步骤⑨结束；③判断无线链路是否工作正常，如果不正常在返回故障信息后进入步骤⑨结束；④读取无线链路中传来的加速度传感器与角加速度传感器数据；⑤对该数据进行解码和解压缩后进行滤波等预处理并加入时间信息；⑥ 对预处理后的数据进行特征提取，⑦将多路传感器数据特征拼接融合；⑧对特征进行模式识别，得到本发明智能电子手写笔的运动分类情况，对智能设备发出指令后，回到步骤④。

Claims

1.一种智能电子手写笔，其特征在于：包括硬件系统和软件系统，所述硬件包含主控模块、三轴加速度传感器、角加速度传感器、A/D转换器、无线发射模块，并采用双总线结构实现硬件系统的连接，其中控制总线用于传输主控模块和其他模块的控制信号，数据总线负责传输每个模块之间的数据，所述无线发射模块实现与外部智能设备的无线连接，所述软件系统包括设置在主控模块上的内部软件模块，以及设置在外部智能设备的外部软件模块，所述内部软件模块和外部软件模块通过无线通信协议相互连接，实现接收并识别用户通过硬件系统所进行的手写操作。

2.根据权利要求1所述的智能电子手写笔，其特征在于所述主控模块负责三轴加速度传感器和角加速度传感器的获取，以及硬件系统内部的控制流程，并对来自A/D转换器数据进行压缩和编码后发送到无线发送模块，并且接受控制总线传来的控制信号。

3.根据权利要求1所述的智能电子手写笔，其特征在于所述三轴加速度传感器负责测量智能电子手写笔当前状态相对于初始基准面在三个自由度上的静态重力加速度的变化以及晃动笔杆形成的动态加速度。

4.根据权利要求1所述的智能电子手写笔，其特征在于所述角速度传感器负责测量智能电子手写笔笔杆旋转所产生的角加速度。

5.根据权利要求1所述的智能电子手写笔，其特征在于所述A/D转换器负责将加速度传感器和角速度传感器所采集到的模拟信号转换为数字信号。

6.根据权利要求1所述的智能电子手写笔，其特征在于所述无线发射模块负责建立智能电子手写笔与其他外围智能设备的无线链路，将经过主控模块压缩和编码等预处理后的加速度信息发送给外部智能设备的外部软件模块进行后续的处理。

7.根据权利要求1所述的智能电子手写笔，其特征在于所述内部软件模块完成对于三轴加速度传感器和角加速度传感器的数据的获取和发送并对于主控模块以及其他模块进行相应的控制。

8.根据权利要求1所述的智能电子手写笔，其特征在于所述外部软件模块完成三轴加速度传感器和角加速度传感器数据的接收，并进行手写笔运动特征提取和运动姿态识别的后续处理。

9.根据权利要求8所述的智能电子手写笔，其特征在于所述特征提取为在三轴加速度传感器和角加速度传感器送回经过预处理得到的三轴加速度/角加速度的基础上寻找新的模式鉴别空间。

10.根据权利要求8所述的智能电子手写笔，其特征在于所述运动姿态识别通过机器学习的方式获得最终分类结果。