CN104813266A - 人机交互方法及界面 - Google Patents

Abstract

一种3D多点触摸环境下的人机交互方法，充分发挥3D多点触摸的优势，使使用者可以以极少的操作表达丰富的操作信息。一种使用了压力数据的页面浏览方式，通过使用压力数据，让使用者可以更快速精确的进行页面浏览。

Description

人机交互方法及界面

技术领域：

本发明涉及人机交互方法及界面， 尤其是 3D多点触摸环境下的人机交互方法及界面。 背景技术：

现有技术条件下， 已经有了能够检测触摸屏表面上一定范围内的触摸物体的多点触摸设备。 本发明据此提出相应的 人机交互方法及界面， 以充分利用设备的功能， 实现更好的人机交互体验。 附图说明：

图 1是手相对于屏幕呈 4种不同姿态下， 标识图标的姿态随手的姿态改变而改变的示意图。

图 2是手指与标识图标的示意图。

图 3是指引手指滑动操作的标识图标的一种样式。

图 4标识图标在手接触屏幕后发生变化的示意图。

图 5是标识图标与手可采取的不同的相对位置示意图。

图 6是笼罩区域的示意图。

图 7是根据手指姿态及位置确定的锥状区域示意图。

图 8是位置图标示意图。

发明内容：

本发明通过将手视为一个整体， 通过设计一套与之配套的人机交互方式、 结构及图形交互引导界面， 能 够获取更丰富的操作信息，并充分利用利用这些信息， 由此让使用者非常自然、简单、精确的表达自己的操作意图， 并且有图形界面的实时引导， 不需要记忆任何操作。 例如， 基于本发明的人机交互系统， 通过一个简单的单点点击 操作， 系统能够根据获取的信息， 产生 4种不同的响应， 并且包含一个或多个精确的操作实施位置。 使用者在手掌 不移动的情况下， 只需要摆动一下大拇指， 再用另一个手指进行任意操作， 就可以实现 2 X 3 X 4=24种以上的不同 效果， 同时还能表达出一个或多个精确的实施操作的位置。 现有的多点触摸操作以多点触摸手势为主， 使用者需要 记忆复杂的触摸手势， 并且许多手势不易于人做出， 难以使用。 而且多点触摸手势接近于键盘指令， 同一个手势是 不能实时变化功能的， 使用者需要对照说明列表才能使用手势。 实际上， 目前常见的多点触摸手势仅有两指缩放这 一种操作。 而且现有的多点触摸手势无法在一次操作中同时表达出操作指令及一个精确的操作位置

这套人机交互方法及结构构成了一个生物控制系统， 在下文中以 X代称。

现有的输入设备， 尤其是基于光学传感的设备， 已经能够提供 3维空间内的多点触摸检测。 在 3维的多点触 摸环境中， 系统能检测到距离屏幕表面一定范围内的物体。

触摸面板能检测到距离屏幕表面一定距离内的手指。面板能够检测到使用者手指的方向， 系统结合检测到的手 指的方向和手指的相对位置判断哪几个手指是一只手上的手指。 如果触摸面板的检测范围比较大， 可以检测到距离 面板更远的物体， 例如距离面板 9厘米处的手掌， 系统还可以结合手掌的位置判断哪几个手指属于一只手。

系统判定一只手的位罝和检测到这手上的多根手指之后， 区别对待不同手指， 可以给同一支手上的不同手指赋予不 同功能。 同一支手上的不同手指对同一组对象进行相同操作， 可以产生不同效果。

所述对象包含： 屏幕上的区域、 屛幕上的一个或多个位置、 图标、 3D对象等一切可视元素。

应当理解， 所述的区别对待不同手指是指被系统检测到的不同的手指将有不同的用途， 例如被分配不同的功能、 图标、对手指在屏幕上的投影位置赋予不同的功能等，并不要求系统一定要识别出具体的手指，例如无名指和食指。 系统是将各个手指或者各个手指当作一个个可供分配功能的空位。例如系统很多情况下并不一定需要区分出每根手 指具体是手上的哪一根手指： 例如操作系统对一支手启动了本发明提供的 X系统， X系统要将 "剪切"和 "粘贴" 这两个功能分配给不同手指， 如果系统只检测到了这支手上的两根手指， 则它们中靠左的一个将被赋予 "剪切"功 能， 靠右的一个将被赋予 "粘贴"功能， 而不管它们是无名指和中指还是食指和中指。 当然， 在多数情况下， 使 用者的包括拇指在内的多根手指可以同吋被系统检测到， 系统可以根据他们的位置关系判断出它们是哪根手指， 由 此尽量将相同功能分配给同一根手指。 例如 "为这支手上的其它手指显示下一组标识图标"这个功能会被尽可能的 分配给大拇指。 可以在不同手指附近显示标识图标， 弓 I导使用者使用相应手指进行各种操作， 执行图标所示的功能。 标识图标一 般位于用者易于看到的位罝， 例如沿手指所指方向， 距离指尖一定距离。 当手指距离面板一定距离范围内时， 指尖 距离屏幕越近， 图标距离指尖的距离越近。 如图 2所示， 图标彼此之间的相对位置和图标相对于屛幕的姿态会随 着手指的位置进行调整， 使操作者能够明确知道哪个图标所示的功能与哪个手指对应。 图 2是标识图标和手指的示 意图， 其中 11、 12、 13、 14是 4根手指前段在触摸面板上的投影， 手指前段位于距离屏幕表面 3cm处， 21、 22、 23、 24是标识图标， 标识对应手指相应操作的功能， 21与 11对应， 22与 12对应， 23与 13对应。 标识图标 25 与大拇指 15对应， 使用者通过使用大拇指 15在屏幕上滑动可以在标识图标 25的两个子图标 1和图标 2间切换， 标识图标 25相当于图标 21、 22、 23、 24的上级目录， 标识图标 25不同的子图标对应不同的 21、 22、 23、 24。 即 大拇指的操作是整只手的内部操作。

图 1是手指不同姿态下标识图标不同的排列，其中黑色线条是使用者手指前段， 空心框是标识图标。 标识图标可以 适当调整自身位置， 避免遮挡其它图形对象。 手指前段即使用者手指第一关节之前的手指， 是手指通常用于触摸 屛幕的部位。

一般情况下， 标识图标 21、 22、 23并不是一个需要通过触摸进行操作的快捷方式图标， 它只是一个弓 I导使用者 进行操作， 告知使用者相应手指可进行的各种操作的功能的标识性图标。 一般情况下标识图标是引导使用者的相应 手指触摸屛幕， 执行图标对应的功能。

标识图标还可以用于引导使用者相应手指进行其它操作： 在屏幕上滑动手指， 将相应手指比其它手指更靠近屏幕， 相应手指用力按压屏幕等操作。相应手指比其它手指更靠近屏幕是指： 相应手指指尖与屏幕表面的距离比其它手指 低， 例如低 2cm以上， 且距离屏幕表面一定范围内， 例如距离 3cm以内， 则执行与手指对应的图标提示的功能。 为了避免对使用者的一些常用操作产生影响， 除了配合双手操作的情况外， 一般情况下可以设定为手指的一般点 击仍视为一般操作， 只有双击、 向特定方向滑动、 用力按压屛幕等操作， 才被捕获用于与 X发生关联。

还可以设定为， 只有当系统获知， 例如检测到或者判断到使用者的多根手指在屏幕上方一定范围内伸展开时， 才 显标识图标。 例如， 如果使用者单手操作屏幕， 使用者用来持握设备的手的大拇指位于屏幕上方时， 系统不会为大 拇指显示标识图标： 又例如使用者的一只手位于屏幕上方， 但是只伸出了一根手指， 其它手指都是攥在手心里的， 系统也不会为手指分配 X中的功能;又例如系统可以设定为只有使用者的手舒展到了一定程度时，系统才会启动 X， 为不同手指分配 X上的不同功能， 并显示标识图标， 手舒展到何种程度系统会启动 X可以由使用者自定义， 例如使 用者将手舒展到一定程度供系统记录， 只有一支手的手指间的距离大于此舒展程度时， 才会触发系统对这支手启动 X。

应当理解， 标志图标并不一定要实时的随相应手指移动而移动， 手指小范围移动相应图标不必跟随移动， 也并不 一定要始终位于手指方向上的手指延长线上， 例如图 5， 其中黑色线条是使用者手指前段， 空心框是标识图标。 图 5左侧第 1组中， 标识图标位于手指的延长线上， 右侧第 2组中， 标识图标则位于相应手指上侧， 这样可以避免遮 挡使用者指尖处的对象。 标识图标们只要在整只手的姿态相对于屏幕发生较大幅度旋转时， 随手旋转即可， 只要让 使用者能够直观的感知到标识图标与相应手指的对应关系即可。让使用者产生标志图标与手指对应感的并不仅仅是 单个图标的位置， 多个标识图标彼此之间的相对位置， 或者说多个标识图标确定的线相对与屏幕的姿态， 与使用者 的手指确定的线与屏幕的姿态保持一致， 便能让使用者感受到图标与手指的对应关系。

图标并不移动要完全按照手指指尖的梯度来进行排列， 如果图标间的梯度过大， 会让使用者感到凌乱。 如果图标要指引使用者可以使用一根手指进行滑动等多种操作， 则图标在手指未接触屏幕时可以采用图 3所示 的样式， 3个角 231， 232, 233分别是表示手指接触屏幕后向相应方向滑动手指对应的功能， 234则表示手指触碰 屛幕不滑动就立刻离开屏幕将执行的功能, 234也可以没有任何功能，使用者手指点击屏幕就是普通的点击操作，只 有滑动才会触发标识图标的功能。 当手指接触屏幕时， 图标可以发生变化， 变成图 4所示的样式。 图 4所示图标， 232与 233离开 234， 分别靠近相应手指 11的两侧， 并变成箭头状， 提示使用者向相应方向滑动以执行图标显示的 功能。 232和 233所标识的滑动方向与相应手指所指方向指向的角度可以是固定的，例如如图 4所示的情况， 232, 233分别引导使用者向手指两侧滑动手指执行图标标识的功能， 这样使用者可以非常自然的摆动手指或手腕， 使手 指向手指左右两侧滑动， 触发 232， 233标识的功能。 可以进一步设定为手指沿 232标识的方向滑动后， 232将被高 亮，提示使用者现在选取了这个功能，使用者需要再沿垂直于 232标识的方向滑动手指，被选取的功能才会被执行， 以避免误操作。

232和 233所标识的滑动方向与相应手指的角度也可以是不固定的， 232， 233不管手指的姿态如何， 总是指向 窗口两侧， 这样当使用者沿窗口竖直方向滑动手指时， 不容易因为滑动的不够直， 无意识的向手指两侧产生了滑动 而触发误操作， 由此沿窗口竖直方向滑动手指可以被赋予滚动窗口内容等常用手势， 与 232， 233所标识的功能互 不影响。 因为标识图标只是一个引导性图标， 使用者并不需要触摸图标执行相应功能， 因此当使用者的相应手指的手指接 触屏幕时， 图标并不需要移动到手指下方易于触摸的位置， 而应当沿手指方向， 位于指尖前一段距离， 使使用者能 够明确图标所示功能对应的手指。 当系统检测到相应手指接触屏幕时， 系统即执行相应功能。 当图标的功能被执 行时， 图标应当发生变化， 例如高亮图标， 改变图标样式或颜色等， 告知使用者图标对应的功能被执行了。 对于某些窗口级的功能型选单， 例如浏览器中的打印， 页面另存为， 播放器中的亮度调节等对整个窗口起作用的 选单， 如果在手指未接触屏幕表面时就显示出来会使使用者感到碍事。 为此， 系统可以设定为只有检测到 3根以上 手指同时接触屏幕， 才会显示出标识图标， 标志出各个手指对应的功能。 之后， 使用者通过下列两种方法中的一个 或多个确定要使用哪个手指对应的图标标志的功能：

( 1 )增加相应手指对屏幕的压力来表达要使用相应手指。 例如， 图 2中， 使用者增加手指 11的压力来表示要使用 手指 11对应的图标上标志的功能；

( 2 ) 也可以设定为抬起其它手指来表示要使用哪个手指对应的功能。 例如， 图 2中， 使用者的同一只手上的 11、 12、 13， 3个手指同时触摸屏幕， 系统由此显示出提示各个手指功能的标识图标。 之后， 使用者保持手指 11不离开 屏幕， 在屛幕上滑动手指 11的同吋将手指 12， 13离开屏幕， 表示要使用手指 11。

进一步， 为避免误操作， 系统还可以设定为在使用者表示了要使用哪个手指之后， 需要滑动相应手指以确认执行图 标表示的功能， 避免误操作。 还可以使用图 3、 图 4所示的图标， 让手指向不同方向滑动执行不同功能。

系统优先选取使用者的中指、 食指、 无名指， 赋予各种功能。

在某些情况下， 系统有 3个选项， 但是只检测到了 2个手指。 此吋， 系统根据检测到的图像， 根据手指的位置关 系， 大小形状， 判断未检测到的是哪个手指， 例如， 一般情况下， 中指和食指会距离屏幕较近， 容易检测到， 中指 总是会比食指突出一些。 系统根据检测到的手指， 判断未检测到的手指的位置， 例如无名指的位置， 并根据判断出 的位罝显示功能标识图标， 以告知使用者还有其它功能没有分配， 请将其它便于使用的手指靠近屛幕以使系统能够 将功能分配给它们。。 当使用者希望使用无名指时， 必然会将无名指靠近屏幕， 系统就会检测到无名指。 系统检测 到无名指之后， 根据检测到的位置调整和无名指对应的图标的位置， 并赋予无名指图标上所标识的功能。 因为人有 左右手的关系， 在没有检测到大拇指 /手掌的情况下系统并不知道未检测到的手指是食指还是无名指， 但通常这对 系统无关紧要， 因为系统只关心要把功能非配给任意一根使用者便于使用的手指就可以了。 如果使用者将这只手 的其它手指靠近了屏幕， 系统只要觉得这只手指合用， 同样会把功能分配给它。

为实现使用者使用一支手上的不同手指对同一组对象进行相同操作， 可以产生不同效果这种人机交互方式， 程序 上可以采用下列方式之一：

1.系统对每一根被检测到并被分配了功能的手指进行跟踪， 当这根手指执行预设操作时即触发相应功能：

2.将被检测到的不同手指在触摸屛上的投影位置或触摸位置实时的视为具有不同功能的功能区域， 当手指触摸屏 幕并在其上执行操作时即触发相应功能。这种方法同样需要对被检测到的各个被分配了功能的手指区别对待并进行 跟踪。 这种方法容易引起程序冲突， 产生操作不灵等错误， 不建议采用。

大拇指是一个特殊的手指， 可以用来切换 X中其它手指对应的功能， 例如大拇指触摸屏幕， 或者在屛幕上滑动， 则 其它手指的功能图标切换。

如果图标是一个需要通过触摸图标来使用图标的功能性图标， 则图标应当具备以下特征中的一个或多个：

( 1 ) 图标应当能够调整自身位置， 始终位于相应手指易于点击的位置， 当图标所跟随的手指发生小幅位移时图标 可以不实时跟随移动， 但是当发生较大距离的移动， 例如 lcm以上时， 图标应当跟随移动， 调整自身位罝以便于手 指触摸；

( 2 ) 当手指接触或即将接触到面板时， 图标应移动自身到相应手指下方以便于手指触摸。

2.交互操作、 交互对象以及交互位置。

使用者的不同手指被配置了不同的功能， 每个手指都有相应的标识图标指引使用者进行操作。

执行操作， 确定各个手指对应的功能， 很多时候需要一个目标区域或位置。 根据区域或位置内的对象， 确定 X的各 种元素， 例如各个手指对应的功能， 图标的位罝及内容等。 或是作为被) (实施操作的对象或位置或区域。

这些区域或位置或区域位置内的对象称为 "交互对象"。

用以确定交互对象的位置称为交互位置。

交互操作对象是， 被执行操作的对象,或者是会对 X产生影响的对象。

系统会根据相应对象， 确定 X所包含的元素， 例如显示相应的标识图标， 确定分配给相应手指的功能等。 X可以同时有多组不同用途的交互对象。

X可以提供很多个位置作为交互位置， 用以确定交互对象 可以使用的位置包括但不限于：

1. X中的各种图形元素的位置， 例如标识图标的位置， 在某些时候， 还可以专门显示一个或多个图标， 称为位置图 标， 专门用于提供交互位置；

2.手指的位置；

3. 根据由整只手多个部分， 例如多根手指前段， 还可以加上手掌， 大拇指等， 构成的轮廓， 确定轮廓内的区域， 或区域内的对象。 例如图 6中， 15是右手大拇指， 100是右手的 4根手指， 17是手掌， 它们共同确定了区域 61 ; 图 6中， 16是左手大拇指， 101是左手的 4根手指， 18是左手手掌， 它们确定了区域 61. 当使用图形元素确定交互对象时， 图形元素可以进行适当变形， 例如产生尖端等帮助精确选取位置， 或者半透明覆 盖到交互对象上方， 或者包围住交互对象等。 例如图 2中， 当手指 11位于屏幕上方 3cm处时， 手指 11的标识图标 21随着手指 11一同移动， 当标识图标 21经过对象 51上方时， 标志图标 21可以包围住对象 51， 提示使用者如果 此时使用手指 11触摸屏幕， 对象 51将被执行操作。 应当理解， 交互位罝并不只限于相应图形元素或者手指的下方， 也可以是相应图形元素或者手指附近的特定范围内 的区域。 当使用可视元素： "如手指， 图形元素等"， 附近一定范围内的区域或对象作为交互对象时， 相应区域或位 置可以被高亮， 以提示使用者。 例如， 如图 7所示， 游戏中， 手指 12触摸屏幕后， 要向区域 63内喷火， 因此当手 指 12比其它手指更靠近屏幕时， 区域 63或 63内的对象会被高亮， 提示使用者如果手指 12触摸屛幕， 高亮区域内 的对象将被执行手指 12对应的功能。 区域 63是沿手指 12所指方向， 从手指 12指尖处发散出的一片锥形区域， 使 用者可以通过改变手指 12的指向， 转动区域 63向不同方向发散。

下面进行具体讲解几种常用设计。

1.每个手指单元使用各自独立的交互对象位罝。

在这种情况下， 常见情况是每个手指单元使用各自手指单元内的交互对象位置， 其它一些情况下一个手指也可以使 用自己的单元以外的交互对象位罝。 一个手指单元包括： 一个手指与分配给它的图标们， 例如用于标识这个手指功 的标识图标， 以及其它各种图标， 例如位置图标， 组成的一个单元。 各个手指单元使用独立的交互对象位置。 交互 对象位置根据单元中各个元素， 例如手指、 标识图标、 或者其它图形元素的位置确定。 一个单元可以有多个交互对 象位罝。 由此， 使用者得以使用同一个手指单元， 同时确定执行何种操作以及对哪个对象执行操作。

个同一个手指单元拥有并使用多个交互位置的例子是： X中的一个手指使用图 3所示的标识图标， 当此手指点 击屏幕时， 232下边的对象将被执行 232标识的功能， 231下边的对象将被执行 231标识的功能， 以此类推。

一个典型例子是系统根据手指触摸的位置确定被 X操作的对象的位置。 使用同一个手指， 同时确定执行何种操 作以及对哪个对象执行操作， 这将大大提升使用者的工作效率， 避免传统的选取对象， 然后根据对象呼出选单， 然 后从选单中选择执行哪一项操作的繁琐的方式。 尤其是在触摸环境下， 传统的用一根手指呼出选单的常见方式是按 住对象等待一段时间， 非常慢。

例如， 如图 2， 系统检测到使用者同一只手上的 3根距离屛幕表面 5厘米的手指， 图标 21、 22、 23分别位于使用者 手指 11、 12、 13在屏幕上的投影位置的指尖方向上 5mm处， 提示使用者手指 11、 12、 13对应的功能。

当手指 11位于对象 51上方时， 系统将根据对象 51， 确定在对象 51作为交互对象时， 可以提供哪些交互操作， 之 后确定手指 11对应的功能。 例如对象 51是一个文件夹， 此时系统根据对象 51可以提供（1 ) "删除"、 （2 ) "剪 切"、 （3 ) "复制 "等 3个选项， 按照设置， 编号为（1 ) 的选项将被分配个手指 11， 则手指 11将被分配（1 ) "删 除"功能， 同时与手指 11对应的标识图标 21将变成表示一个删除功能的图标， 如果手指 11点击对象 51， 对象 51 将被删除。 假如位于对象 51上方的是手指 12， 则系统将按照设罝， 将（2 ) "剪切 "功能分配给手指 12， 手指 12 的手指单元内的标识图标 22也将变成一个标识 "剪切"功能的图标。 事实上， 与此同时， 手指 12的下方有一个对 象 52， 对象 52是一个图片， 例如是一张黄昏时刻天空飘浮着云彩照片。 系统根据对象 52， 提供一系列的当前可能 执行的操作， 例如 （1 ) "识别照片中的人物" 、 （2 ) "拾取颜色" 、 （3) "分享照片"、 并将编号为 （2 ) "拾取 颜色" 的操作赋予手指 12， 同时手指 12的标识图标 22将变为一个提示拾取颜色的图标。 拾取颜色需要精确操作， 此吋需要更进一步的设计。 提供的解决方案是， 当系统发现当前操作需要精确位置时， 图标 22与手指指尖在屏幕 上的投影位置间的距离增加， 从 5 增加到 1. 5 系统根据手指 12的位置， 在图标 22与手指 12指尖之间， 再显 示一个图标 32， 图标 31有一个指针状尖端， 便于精确选取位置。 也可以采用另一种设计， 不额外显示一个图标， 而是标识图标 22发生变形， 变成一个取色笔的样式， 同时， 图标 22的颜色也会随取色笔笔尖处图片的颜色发生变 化。 因为取色笔位于手指 12的指尖前方， 因此可能会出现使用者为了拾取图片边缘的颜色而出现取色笔位于图片 上， 但是手指 12却超出了图片范围的情况。 在这种情况下， 可以考虑设置为仍然保持手指 22的功能不变， 直到 取色笔的笔尖也离开图片。 这也体现出了将图标作为确定交互对象的标志物的优点。 专用的确定交互对象的图标 可以根据各种需求进行变形。

如果手指 12接触了屏幕， 则对象 52将成为当前被 X操作的对象， 此时， 标识图标 22变为为一个取色笔的样 式， 保持手指 12与屏幕表面的接触， 手指 12的移动会导致图标 22向相同方向移动， 但是标识图标 22移动的距离 将小于手指 12移动的距离， 由此在小范围内实现更进一步的精确操作。 此时使用者可以用另一只手拿着手写笔在 屏幕其它位置绘画， 系统将根据手指 12作为取色笔拾取的颜色确定手写笔笔迹的颜色。

如果手指 11触摸了对象 51， 则对象 51将成为被 X操作对象， 此时， 图标 21可以发生变化， 图标 21从删除图标变 为沿手指方向排列的两个图标一 "删除"和 "垃圾邮件" ， 并向使用者的手指靠近， 图标 21并不是要移动到使用 者的手指下方，它和手指 11是对应的，不需要触摸就可以操作， 图标 21向手指 11靠近是为了引起使用者的注意， 表示使用者现在要执行的是图标 21上显示的操作。 保持手指 11不离开屏幕， 手指 11可以沿手指方向前后滑动， 在 "删除"和 "垃圾邮件"这两个图标间切换， 当前被选取的功能的图标将被高亮。在确定要使用 "垃圾邮件"功 能之后， 保持 "垃圾邮件" 图标高亮， 手指沿垂直于手指所指方向的方向滑动， 则将确认执行当前被高亮的图标的 功能。

可以设定， 如果手指 11接触屏幕并大范围滑动， 则删除滑动范围内的多个对象。

应当理解， 除了可以将手指作为使用者容易识别的标志物， 引导使用者确定交互对象的位置外， 还可以采用其它位 置与手指关联的对象的位置确定交互对象的位置。 交互对象的位置并不一定要设置为位于手指的下方。

2.整只手， 或者一个或多个手指单元， 共用一个交互对象位罝。

例如， 如图 8所示， 当系统检测到同一只手上的多根手指时， 系统将在多根手指的前端， 中间位罝， 显示一个 "位 罝图标" 。 这个图标的位罝用于确定整只手上手指的交互对象位罝。 位罝图标 37 的形状是可以变化的， 平时是一 个点状， 当位于一个对象上方时， 则沿对象边缘包围住对象。

例如， 当位置图标 37位于对象 51上方吋， 位置图标 37消失， 变成包围对象 51的蓝色边缘。 此时， 系统根据对象 51， 可以提供 （1 ) "删除"、 （2 ) "剪切"、 （3 ) "复制"等 3个选项， 分别依次分配给手指 11、 手指 12、 手指 13三个手指， 标识图标 21 22 23也显示出提示相应功能的图标。 此时， 即使手指 11位于对象 52上方， 手指 13 的标识图标 23位于对象 53上方， 都不会对图标 21 22 23显示的图标以及手指 11 12 13的功能产生影响。 如 果手指 11点击屏幕， 则将对对象 51执行 （1 )删除操作。

3.另一个提供位置的设计是笼罩选取。 这种方式提供的位置可以给整只手多根手指共用， 也可以只分配给特定手 指使用。 这种设计难以提供精确的 "点状"位置， 适用于选取 /确定一大片区域或对象。 例如在游戏中， 使用者的 左手选取了我方的一个武装单位， 保持左手不离开屏幕， 则使用者的右手的 11 12 13 3根手指分别对应不同的 攻击方式， 其中 12 13对应的攻击方式是对单个对象进行攻击， 手指 11对应的攻击方式适合对一片区域进行无差 别攻击， 如果使用者用手指 12触摸一个敌方对象， 则被触摸的地方对象将被左手选取的我方武装单位攻击， 如果 使用者用右手手指 11触摸屏幕， 则被左手选取的我方武装对象将对被右手笼罩的区域进行无差别饱和攻击。 为了 让使用者能够明确意识到手掌的笼罩区域被分配给了手指 11的单元使用， 可以将手指 11的单元的标志图标， 整个 手指 11的下方， 都和手掌笼罩区域设定为同样的样式， 例如， 如果手指 11对应的攻击方式是从天上砸下大量球状 闪电， 则手指 11的标识图标也是一团蓝白相间的球状闪电， 手指 11下方一定范围内， 以及整个手掌笼罩区域内， 都有蓝白球状闪电滚动， 而且随着手指 11靠近屏幕， 如图 6所示手掌笼罩区域 61内的球状闪电的滚动， 以及亮度 会更加剧烈， 并发出越来越大的声音； 而手指 12的单元的标识图标及手指 12的下方显示与 12对应的攻击方式相 匹配的内容， 例如手指 12 的手指前段下方燃烧着团团火焰， 由此， 使用者可以清楚的认识到右手手掌下方的区域 是属于手指 11的。 当使用者的手指 12位于己方单位上方吋， 手指 12的功能会变为掩护， 并显示相应标识图标， 用手指 12点击己方单位， 被左手选取的我方武装单位会对被右手手指 12触摸的对象进行掩护。 手指 11下方的光 团， 手掌笼罩区域 61内的闪电， 都可以视为标识图标。 这个例子体现了标识图标的灵活应用。

确定交互位罝的方法、 分配方法有很多种。 这些方法可以混合使用， 以提供更好的使用体验的。 例如， 交互对 象有多种用途， 各种用途的交互对象根据不同的方法分配、 确定。 例如， 确定用于确定手指功能的交互对象使用一 种方法， 确定操作被执行的对象使用另一种方法。 例如标识图标显示的功能根据整只手共用的专门的 "位置图标" 确定， 但是各个手指的功能以及操作执行的对象， 每个手指单元则使用各自独立的位置确定。在下边的实例中会进 行举例， 展现这种方法的好处及使用思路。 又例如手指 11、 12使用各自手指单元内提供的交互位置， 手指 13、 14 共用手掌笼罩确定的区域 61作为交互位置。 大拇指 15不需要交互位置， 大拇指 15用于切换手指 11、 12、 13、 14 的功能， 由此可以在原有基础上多提供 1倍以上数量的功能。

系统将一组功能分配给不同手指吋应当遵循一定的规则， 让在一个相同的情况下， 根据同一个对象同一根被检测 并跟踪的手指能够被分配相同的功能。 让使用者的操作具有可重复性。

使用者有吋会希望用中指和食指使用 X， 有时又会用中指和无名指使用 X，有吋会用一支手上的 3根或者 4根手指 使用 X， 有时又会用两只手上的 6根手指使用 X， 如果采用固定一根具体手指， 例如无名指分配固定功能的方式， 将不能充分利用使用者当前赋予 X的手指， 出现 2个功能 2个手指， 但是因为功能要分配给固定的手指， 而出现功 能分配不到手指的情况。而且现有的触摸屏跟踪范围有限，触摸屏对屏幕上方能够检测的范围比较小，例如不到 2cm， 很容易出现无法识别被检测到的手指的情况。 因此本申请提供了一套分配方式， 即能在使用者随意将不同手指分配 给 X时充分利用各个手指，又能智能的尽可能照顾使用者的习惯，将功能自动优先分配给使用者自定的喜欢的手指。 例如在某一情况下， 称其为情况 1。 在情况 1下， 根据对象 51系统有 6个功能可以分配。 这 6个功能按照程序 确定的规则将它们分为多组， 一般是 10组， 例如分配到顺序编号的 10个单元里， 编号大于 10的单元将用于被强 制赋予编号了的手指， 例如大拇指可能被强制编号为 11和 12。 多个功能可以分配到 1个单元内， 同一个单元内的 功能将被分配给同一根手指， 本申请提供了多种让一个手指对应多个功能的方式和界面， 例如大拇指切换， 标识有 多个更能的标识图标等， 具体采用何种形式可以由程序和用户等自行设定。 当然如有需要， 对于某些特别常用的功 能， 1个功能也可以分配到多个单元内。 分组方式是多种多样的， 例如还可以采用同一组的功能的被赋予采用相同 数字开头的编号等， 这些都是常见方法。

系统还可以根据屏幕检测到的使用者当前用来准备提供给 X系统的手指的数量， 采取不同的预设规则将功能分配 给单元， 例如当前有 6个功能要分配， 如果检测到使用者舒展开了两只手以示愿意对两只手启动 X系统， 则会采用 每个单元只会被分配 1个功能的情况下的规则，如果系统只检测到使用者舒展开了 1只手以示愿意对 1只手启动 X， 则会采用每个单元会被分配两个功能的情况下规则。

系统对使用者的每个被检测到的手指根据一定规则给予一组编号， 一个单元将被分配给具有与其相同编号的手指。 编号的方式可以由程序确定， 也可以由使用者自定义， 例如按照右手的手指根据从左到右的顺序赋予 1-5 的编号， 左手的手指按照从右到左的顺序予以 6-10的编号， 例如使用者的右手只有食指和中指被检测到， 则它们将被分别 编号为 1、 2 , 如果使用者的右手只有中指和无名指被检测到， 同样会被分别编号为 1、 2。 程序和使用者可以将使 用者的特定手指， 例如两个大拇指， 强制编号为 9和 10, 甚至强制编号为 11和 12， 甚至不予以编号， 以控制分配 给大拇指的功能。 例如大拇指被强制编号为 11和 12， 则程序只要将要分配给大拇指的功能分配给单元 11和 12就 可以了。 程序可以设定将一个功能可以优先分配给哪只手的哪一个具体手指， 例如大拇指， 中指等。 当系统能够确 定这根手指的位置时， 这个功能将被分配给这根手指， 并在相应位置显示标识图标， 当不能确定这根手指的位置或 者无法检测到这个手指时， 则无视这一请求， 将这个功能分配给其它手指。 也可以强制要求将某一功能分配给特定 手指， 如果不能确定大拇指的位置也不将这个功能分配给其它手指。

使用者还可以自行对使用者的每个手指再设置一组编号。 例如使用者将自己最喜欢用的手指设罝为 1号手指。 这样程序就可以要求将某几个非常常用的几个功能优先分配给被使用者编号为 1号的手指。 同时系统在根据规则对 被检测到的手指进行编号时， 也会优先将 1号分配给被使用者设置为 1号的手指。 这样程序编写者只要将最常用的 功能分配给 1号单元， 就能将这些功能赋予使用者最喜欢用的手指， 而不用知道使用者喜欢使用哪一个手指。 而如 果使用者最喜爱的手指没有被检测到， 1号单元内功能会被赋予其它被编号为 1号的手指， 而不用担心功能分配不 出去。 因此程序只要简单的将功能从 1号单元开始顺次分配， 就能将功能分配给当前最适合操作的手指。 由此， 通过采取动态分配与固定分配相结合的方式， 并使用不同优先级加以协调， 充分利用了使用者的手指， 尤 其是此时被系统检测到的手指。即做到了在同一情况下同一根被检测并保持跟踪的手指能够对同一对象总是对应相 同功能， 又能充分利用被检测到的手指。

某些情况下， 尤其是使用者在进行连续的激烈操作吋， 如果触摸屏对屛幕上方能够检测的范围比较小， 例如不到 2cm, 则很容易出现暂时性的某个手指因离开屏幕的检测范围而失去跟踪， 这种情况下不应马上对仍被检测到的手 指的编号进行改变， 因为这很可能是使用者不小心为之。

这种人机交互机制结合双手操作环境， 会有良好的效果。

例如， 在游戏中， 屏幕上同时显示了多个单位， 包括： 我方火力舰， 敌方火力舰， 我方补给船， 敌方补给船。 操作 者用一只手 111的一根手指 11触摸我方火力舰 55， 保持手指 11不离开屏幕， 此时， 如果系统检测到使用者的另一 只手 110的手指靠近了屏幕一定范围， 例如距离 5cm以内， 则将根据手指 11触摸的我方火力舰 55， 对这只手 110 的手指显示标识图标， 例如： 食指对应炮击， 中指对应导弹攻击， 无名指对应迎头拦截。保持手指 11不离开屏幕， 则此时被手指 11触摸的我方火力舰 55将炮击被手 110的食指点击的敌方火力舰， 将导弹攻击被中指点击的对象， 将迎头拦截被无名指点击的对象。

我方火力舰 55可能会在屏幕上实时航行移动， 因此可能离开手指 11下方的位置， 但是只要手指 11触摸了我方火 力舰 55后不离开屏幕， 系统将认为使用者要始终保持对 55的选取。

如果使用者将对应炮击功能的手指在屏幕表面大范围滑动， 则炮击滑动范围内的对象。

标识图标也可以根据附近一定范围内的对象进行改变。 可以结合手指下方的对象确定图标内容和手指的功能， 也可 以根据如图 6所示的手 110笼罩的区域 62内的对象确定图标内容和手指对应的功能。

例如， 如果我方补给舰附近一定范围内没有敌舰时， 保持手指 11对火力舰的触摸， 另一只手 110的手指如果位于 我方补给舰上方， 且手指下方没有敌方单位时， 标识手指功能的图标将发生改变， 改为显示各种友方互动的内容。 但是， 当敌我混杂， 我方补给舰紧挨着敌舰时， 可能在 3根手指的范围内， 就会有敌我不同单位， 由此难以确定手 指对应的功能和应当显示的标识图标。

此时， 可以各个手指根据各个手指下方的对象确定手指对应的功能， 并显示标识图标引导使用者。 例如， 食指在位 于敌方单位上方时对应炮击， 在位于己方单位上方时， 对应释放保护力场。 则系统将根据食指自身的位置， 例如位 于食指下方或者指尖下方的对象， 确定食指对应的功能并在沿食指手指方向， 距离食指指尖 2cm的位置显示标识图 标， 距离 2cm是为了防止遮挡食指附近的对象。

例如， 食指位于敌方单位上方， 则对应炮击， 并显示炮击的图标。 中指位于己方单位上方， 则显示掩护， 并显示掩 护的图标。

但是， 在某些特殊情况下， 有很多不同属性的单位， 使用者没有明确目的， 需要浏览一下他对每一个单位都能采取 什么操作， 再决定操作哪一个单位时， 采用上述设定就可能会有些不便， 因为使用者需要将不同手指都经过对象上 方才能知道每个手指对这个对象的功能。 此时可以采用多个手指单元共用一个交互位置的设计。 此时可以根据特定 手指， 例如中指的位置， 来确定在整只手 110的各个手指的标识图标。 如图 8所示， 也可以专门显示一个多根手指 共用的位罝图标 37， 专门用来确定手 110上多根手指的标识图标。 110应当是左手， 这里为了方便使用了右手的图 图 8作为手 110的图进行讲解。

一个手指单元包含多个元素， 可以只有部分元素根据一个整只手 110 的共用位置确定。 下边提供两种很有用的 设计：

( 1 ) 110上各个手指的标识图标， 110上的其它手指， 例如无名指， 食指， 对应的功能都将根据 110中指或距 110中指前端一定距离的图标 37的位置确定， gP， 当无名指， 食指触摸屛幕时， 将执行根据中指位置确定的标识图 标的功能。 操作执行的对象也根据中指或图标 37来的位罝确定。

例如，中指位于己方补给舰上方，则食指对应 "发射保护力场" 的功能，并显示相应标识图标，当食指触摸屏幕时， 即使食指触摸的位置是其它对象， 仍将对中指下方的己方补给舰执行 "发射保护力场"的功能。

( 2 ) 另一种设计是当系统判定使用者要用相应手指， 例如食指， 执行操作时， 即根据食指的位置确定操作执行的 对象及食指对应的功能， 并显示相应标识图标。

在这种设计下， 任何时候各个手指的功能都是根据它们所在的手指单元内的各种元素确定的对象， 例如根据它们自 身的位置确定的交互对象确定的。 只有各个单元内的标识图标根据手 110上的一个共用位置， 例如中指所在单元提 供的位罝， 或者共用的标识图标 37的位罝确定。 例如， 当整只手 110的手指都位置屏幕表面 3cm以上时， 根据中指的位置确定整只手 110的各手指的标识图 标， 当系统检测到使用者的食指距离屏幕表面不超过 2cm， 且低于大拇指以外其它手指的高度 lcm以上， 或是距离 屛幕表面不超过 3. 5cm， 且低于大拇指以外其它手指 3cm以上时， 系统即切换为根据食指的位置确定食指对应的功 能及显示相应的标志图标。

即， 当所有手指距离屏幕较远， 且近乎处于同一高度时， 系统认为使用者在观察可以对各个对象执行哪些操作， 此 时根据整只手共用的位置， 例如标识图标 W1或者中指的位置确定根据哪个对象来显示各个手指的标识图标， 但是 当系统检测到使用者意图用特定手指执行操作时， 例如特定手指触摸 或者开始靠近屏幕时， 仍根据特定手指的位 置确定被操作的对象及特定手指对应的功能。

例如， 使用者的 3根手指各自与屏幕之间的距离相差不多， 例如相差在 lcm以内， 且距离屏幕表面的髙度都大于 lcni时， 系统根据整只手 110的手指共用的一个位置显示各个手指的标识图标， 但是当特定手指， 例如食指距离屏 幕的距离比其它手指低 1cm以上， 且食指距离屏幕不超过 2cm时， 食指的标识图标将改为根据食指的位置或者食指 所处手指单元内的元素的位置确定。 需要注意， 自始至终， 食指的功能始终没有改变， 始终是根据食指自身手指单 元内提供的位置确定的。 智能滑动。 下边再提供几种根据压力实现更智能简洁的操作。

1.当使用者看电子书或者电子文档吋， 通过从屏幕边缘向屏幕中心滑动， 来进行翻页。 例如使用者从屏幕右侧向左 滑动手指， 则向后翻页。 系统可以根据使用者的压力来确定翻页的多少。 例如当使用者以很大的压力按住屏幕同时 滑动手指吋， 系统将根据使用者手指滑动时的压力的大小来确定翻过多少页， 压力越大翻过的页数越多。 可以设 定一个闸值， 压力大小在闸值以下， 则不管压力大小， 都只翻过一页。 当压力大小在闸值以上时， 系统才根据压力 的大小确定要翻过的页数。 因为使用者难以极精确的控制自身的压力， 这样的翻页是一个不精确的模糊的数值。 为 了增加使用者的翻页的精度， 可以在使用者增加手指压力的同时， 在屏幕上显示此压力下将翻过的页数或者翻过的 页数占总页数的百分比等。 也可以采取另一种设定， 当使用者的手指的压力增加超过某一闸值吋， 系统将根据使用 者的手指在屏幕上滑动的距离长短确定向后翻页的页数。

进一步， 系统可以监控使用者的阅读习惯， 筛选使用者最喜爱阅读的页面。 使用者喜爱的页面包含使用者添加了 批注， 书签的页面， 也包含系统可以监控使用者的阅读习惯， 筛选使用者最喜爱阅读的页面。 例如， 使用者前后翻 了很多页， 有的也是直接翻过去的， 其它停留过的页面每页停留的时间都不超过半分钟， 最后使用者停留在了某一 页面 P1上， 并在 P1停留了超过 1分钟以上的吋间， 并由此开始了一页一页顺序的向后翻页的阅读， 可以判断为使 用者是在寻找 P l， 则 PI将被视为使用者喜爱的页面。例如使用者一次就往前翻过了 100页， 又向后翻了 20页， 之 后一页一页快速的向后翻， 最后停留在一个页面上并开始以正常的阅读速度翻页阅读， 这一页就将被视为使用者喜 爱的页面。 所谓正常的阅读速度， 是指系统根据页面中的内容量， 例如字数， 以及使用者的平均阅读速度， 计算出 的一个使用者读完这一页的时间。 一个页面被使用者返回来阅读的次数阅读， 则它的喜爱等级越高， 模糊翻页时， 将优先选取一定范围内， 例如前后 10页内， 喜爱等级最高的页面。 也可以给被添加了书签的页面分配一个默认的 喜爱等级以便于系统计算出的喜爱页面的喜爱等级相比较， 也可以允许使用者自己给页面添加喜爱等级。

当使用者的采用比较模糊的方式向后翻页时， 如果可能翻到的页面范围内有使用者喜爱的页面， 系统将优先翻到使 用者喜爱的页面。 例如， 当使用者用力滑动手指， 系统按照手指此时的压力将翻到 570页， 但是 570页附近 20页 范围内存在第 561页为使用者在这附近 20页内最喜欢的一页， 则系统将翻到 561页而不是 570页

另一个例子是， 当使用者用超过闸值大小的压力按住屛幕吋， 系统根据使用者的压力大小显示此时滑 动手指会翻 到的页码， 561页是使用者喜欢的一页， 当使用者的压力从会翻到 560页增加到会翻到 570页吋， 系统会增加在翻 到 561页的提示上停留的时间， 并用特殊颜色显示， 即使使用者的压力已经增加到可以翻到 570页的压力， 系统仍 然会显示翻到第 561页，直到使用者的压力增加到可以翻到 571页的压力，系统将直接跳到 571页。当使用者从 571 页的压力开始减小压力时， 系统会顺序减小页码， 依次显示 571-561页的页码。 但是使用者的压力需要减小到翻到 551页的压力系统才会跳转到 551页。 这种方法同样适用于当使用者的手指的压力增加超过某一闸值时， 系统将 根据使用者的手指在屏幕上滑动的距离长短确定向后翻页的页数的情况。

2.在浏览网页或者电子文档时， 使用者可以使用手指在屏幕上滑动， 滚动页面。 例如使用者在屏幕上向屏幕下方滑 动手指， 页面将向屏幕下方滚动。 当页面很长时， 使用者往往需要在屏幕上多次滑动手指， 并等待一段时间才能看 到想看的位置。 有两种解决方法。

( 1 ) 随着使用者手指滑动时的压力增加， 页面的滚动速度也将加快， 手指离开页面之后页面继续滚动的时间也将 增加；

( 2 )使用者的手指压力大小超过某一闸值时， 手指在页面上滑动的效果将发生改变， 页面的向后移动的方式， 将 从平滑的滚动， 变为以整屏幕内容为单位向后翻页， 同时随着手指压力的增加， 手指移动单位距离向后翻的屏数将 增加。 例如， 当压力值为 2时， 手指在屏幕上向下滑动 5mm， 将显示下 1屛内容， 当手指压力为 3时， 手指在屏幕 上滑动 2mm就会显示下一屏内容。在快速整屏翻页的同时， 系统还可以进一步显示一个整个文档或者页面的缩略图 之类的东西， 帮助使用者定位现在显示的内容在整个页面上的位置。 采用电子纸的电子书为了省电， 一般默认以整屏为单位向后翻页。 有时使用者希望仅仅向后移动几行， 让相邻的两 段内容能同屏显示。 对此， 可以采用和前边相反的设定。 当使用者的手指对屏幕的压力增加超过某一闸值时， 手指 在屏幕上滑动将导致平滑的滚动页面而不是整屏的向后翻页。

( 3 )手指在页面上水平滑动手指会拖动本页的页面内容左右滑动，但是当使用者手指的压力大小超过某一闸值时， 手指在页面水平方向上滑动在阅读器中将对应前后翻页， 而在浏览器中将对应前进后退。 例如， 在浏览器中， 向左 滑动手指是向左拖动页面， 但是当使用者以超过闸值大小的压力向左滑动手指时， 将对应后退到前一个页面。 在因为压力超过闸值而对手指移动 /滑动事件对应的功能进行改变时， 为防止使用者误操作， 可采取如下措施： 如 果切换到的目标操作不是移动页面一类的平滑性的系统事件， 而是 前进 /后退到另一个页面 或者整屏切换显示内 容一类的事件， 则在相应事件被触发前， 应给出相应提示。 例如， 如果是在阅读器中， 系统检测到手指对屏幕施 加了超过闸值而要进行整屏的翻页而不是平滑移动页面时， 可以显示出模仿实体书本的页脚被微微翻起的效果， 此 时如果使用者减小压力或者停止移动手指， 则翻页事件不会发生。

Claims (1)

1. 权利要求书

   1.一种人机交互界面和系统， 此界面和系统包含被系统检测到的手指和一系列图形元素， 系统检测到使用者的同一 只手上的多根手指， 系统区别对待被检测到的不同手指， 系统为不同手指分配不同的功能， 使用者用不同手指对同 一组对象的相同操作可实现不同操作效果， 系统使用标识图标标识系统配置给不同手指各种操作对应的功能， 系统 根据每个手指的位置以及多根手指相对于触摸表面的姿态确定将要显示的图标的位置和姿态， 或调整已经显示的图 标的位置， 以使使用者明确图标及图标所示功能与各个手指的对应关系。

   2. 一种人机交互界面和系统， 系统检测到使用者的同一只手上的多根手指， 系统区别对待不同手指， 并执行下列 之一事件：

   将被检测到的不同手指在触摸表面上的投影位置视为对应不同功能的区域， 并为每个手指或位置显示标识其功能的 图标 ；

   系统为不同手指分配不同的功能图标， 在一个手指与屏幕所在平面发生接触吋， 系统将分配给这个手指的图标移动 到这个手指下方。

   3.如权利要求 1所述人机交互界面和系统， 其特征是系统检测到同一支手上的没有与触摸屏发生接触的多根手指， 并为不同手指显示标识图标以标识此手指被分配的功能，使用者需要使一根手指与触摸屏所在平面发生接触或者相 较于同一支手上的其它手指大幅接近触摸屏所在平面， 之后才能直接触发或者通过进一步操作触发此手指被所述系 统分配的功能。

   4.如权利要求 3所述人机交互界面和系统， 其特征是所述系统使用下列方式中的一个或多个确定与所述人机交互界 面和系统发生交互的对象的位置， 处于交互位置上或者交互区域内的对象将与此人机交互界面和系统发生交互， 所 述交互包括被此系统实施操作或对此系统分配给手指的功能或标识图标的显示内容产生影响：

   根据使用者手指的位置， 位于此系统中的手指在触摸屏上投影位置上的对象将与此人机交互界面和系统发生交互； 根据使用者手指触摸的位置， 被此系统中的一个手指触摸的触摸屏上的对象将被实施此手指对应的功能的操作： 此系统中的各种图形元素的位置， 例如用于标识手指被系统分配的功能的图标的位置， 以及专门显示的一个或多个 专门用于提供交互位置的图标的位置；

   根据由此系统中的手的多个部分构成的轮廓内的区域。

   5.如权利要求 3所述人机交互界面和系统， 不同手指触摸屏幕上同一组对象会对此组对象产生不同操作效果， 其特 征是使用者用所述系统中的一根手指触摸屏幕， 系统根据使用者使用哪一根手指触摸屏幕确定执行何种操作， 系统 根据被此手指触摸的位置或标识此手指功能的标识图标的位置或此手指专用的图形元素的位置确定对哪一个位置 上的对象执行操作。

   6.如权利要求 5所述人机交互界面和系统， 其特征是系统根据一根手指在触摸屏上的投影位置或标识此手指功能的 标识图标的位置或此手指专用的图形元素的位置确定一组交互对象， 系统根据此组交互对象确定此吋与之对应的一 组多个功能， 系统根据一定规则将这组功能中的一个或多个分配给这跟手指。

   7.如权利要求 4所述人机交互界面和系统， 其特征是多根手指共用一个交互位置。

   8.如权利要求 7所述人机交互界面和系统， 其特征是多根手指共用的交互位置用于确定各个手指的用于标识系统分 配给此手指何种功能的标识图标的显示内容， 当一根手指的距离触摸屏所在平面的距离大大小于其它手指时或与触 摸屏发生触摸吋， 系统根据每个手指单元自身的位置确定何种操作以及对哪个位置上的对象执行操作。

   9. 如权利要求 2所述人机交互界面和系统， 其特征是系统检测到同一支手上的没有与触摸屏发生接触的多根手指， 使用者需要使一根手指与触摸屏所在平面发生接触， 之后才能直接触发或者使用此手指进行进一步操作以触发此手 指被所述系统分配的功能或功能图标的功能。

   10.—种人机交互方法， 使用者使用第一组触摸点选取一组一个或多个对象， 对象可以是区域， 也可以是位置， 也可 以是其它图形对象， 保持这组触摸点中的一个或多个触摸点不离开触摸面板所在平面或者与触摸面板所在平面的距 离不超过一定范围， 以告知系统保持对被这组触摸点选取的对象的选取， 使用者使用另一组触摸点选取第二组一个 或多个对象，系统基于这几组对象确定执行何种操作,不同组的对象将被系统用于不同用途或将被系统执行不同操作。

   11.如权利要求 10所述人机交互方法， 其特征是系统根据以下方法中的一个或多个对触摸点进行分组： 根据触摸屛幕的先后顺序， 先触摸屛幕的触摸点为一组 ；

   根据被系统检测到的先后顺序， 系统先检测到的触摸点为一组；

   根据触摸物， 来自同一种触摸物的触摸点为一组；

   根据触摸点来自的手， 来自同一只手的触摸点为一组。

   12.如权利要求 10、 权利要求 11所述人机交互方法， 其特征是所述对这些对象的操作， 或这些对象的用途， 包含下 列中的一个或多个：

   系统根据其中一组对象确定对另一组对象执行的操作；

   系统使用其中一组对象对另一组对象进行操作；

   系统将其中一组对象移动到根据另一组对象确定的位置；

   两组对象彼此进行交互操作；

   其中一组对象用于显示有关另一组对象的操作信息；

   其中一组对象用于显示剪切板内的内容；

   系统根据多组对象或多组对象的信息生成一个或多个新的对象， 不同组的对象或不同组对象的信息将对新对象有不 同用途或作为新对象的不同元素；

   系统将其中一组对象标识为与另一组对 象关联；

   系统将其中一组对象作为另一组对象的批注：

   系统将其中一组对象用于保存结果。

   13. 如权利要求 10所述人机交互系统，其特征是使用者所使用的至少一组触摸点来自使用者的一只手的手指，系统 根据所述两组对象有多种操作可供选择， 使用者使用权利要求 1所述的人机交互界面和系统选择使用哪一种操作。

   14.一种对文档进行翻页的方法，系统根据使用者手指对屛幕施加的压力大小，确定向后翻页的多少或滚动速度和距 离， 以及持续滚动的时间。

   15.—种智能切换滑动页面操作的方法，其特征是系统根据使用者手指对屏幕施加的压力大小，切换滑动操作对应的 操作效果。