CN111427457A - 一种基于虚拟按键输入字符的方法、装置和电子设备 - Google Patents
一种基于虚拟按键输入字符的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111427457A CN111427457A CN202010527234.7A CN202010527234A CN111427457A CN 111427457 A CN111427457 A CN 111427457A CN 202010527234 A CN202010527234 A CN 202010527234A CN 111427457 A CN111427457 A CN 111427457A
- Authority
- CN
- China
- Prior art keywords
- action
- kneading
- hand
- electromyographic
- character information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本说明书实施例提供一种基于虚拟按键输入字符的方法,获取臂环采集的肌电信号,识别肌电信号对应的手部捏合动作,确定捏合动作对应的按键字符信息,反馈拼写结果。捏合动作中,相接触的两者为同一人体的部位,不需要控制手部向外界固定的按键位置移动,由于人体对自身部位的感知性更强,一方面,强感知性使得操作准确率更高,另一方面,强感知性使用户即便在不注视手部的情况下,依然可以完成特定的捏合动作,不需要视线的来回切换,因而能够提高效率,提升用户体验。利用肌电信号来识别手部动作,由于肌电信号与手部动作是人体自身关联反应,受外界干扰小,能够摆脱视觉方法识别手部动作对光线的依赖,因而在弱光、光线干扰环境中依然适用。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种基于虚拟按键输入字符的方法、装置和电子设备。
背景技术
现有的市面上已经有各种输入法,通过硬件键盘、显示屏键盘,或者虚拟场景中的键盘来为用户提供出发输入字符的软硬件接口,从而基于用户的输入操作,确定按键对应的字符进行拼写(拼写单词、文字、数字和符号等)。
随着技术的改进,虚拟键盘的概念逐步为人们所熟知,其本质是在空间中呈现一个键盘的画面,当用户手指触及画面中的按键时,该按键处的传感器感应用户触及到该按键,继而完成字符的输入。
然而,虽然虚拟键盘的概念很火爆,但是虚拟键盘的实际应用依然很少。
申请人对其分析发现,虚拟键盘的本质需要用户手指触及预先设定的固定位置,由于用户在输入过程中往往需要了解输入框或者拼写框中的结果,而输入框或拼写框又不能与虚拟键盘重叠显示,这就造成,用户需要在输入框、拼写框与手指、按键之间来回切换视线,即便是利用硬件键盘“盲打”水平高超的用户,由于虚拟显示的键盘没有触觉反馈,使这种高水平用户依然需要视线切换,这就会降低拼写速度以及拼写准确率,用户体验较差。
因此,有必要提出一种高效准确体验好的输入字符方法。
发明内容
本说明书实施例提供一种基于虚拟按键输入字符的方法、装置和电子设备,用以提高字符拼写过程的效率、准确性和用户体验。
本说明书实施例提供一种基于虚拟按键输入字符的方法,包括:
获取臂环采集的肌电信号;
识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
可选地,所述识别所述肌电信号对应的手部动作,包括:
通过预先训练的手部动作识别模型识别所述肌电信号对应的手部动作;
所述确定所述第一捏合动作对应的按键字符信息,包括:
根据预设的对应关系确定所述捏合动作类型对应的按键字符信息。
可选地,还包括:
在所述虚拟场景中显示辅助控件;
所述识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,还包括:
识别保持所述第一捏合动作过程中产生的手部位移,根据所述手部位移在所述虚拟场景中控制移动所述辅助控件;
识别辅助捏合动作,根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制。
可选地,所述根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制,包括:
在虚拟场景中进行选中确认、换行、回车、回退、搜索和切换输入法中的一个。
可选地,所述在虚拟场景中进行选中确认,包括:
若所述辅助捏合动作为选中动作,则选中所述辅助控件的位置相关联的拼写结果。
可选地,所述辅助控件为虚拟手、光标中的一个。
可选地,还包括:
将一个手臂的同臂手指捏合动作设置为字符输入类动作,将同时有两个手臂的同臂手指捏合动作设置为辅助捏合类动作。
可选地,还包括:
获取肌电信号样本,并为肌电信号样本设置捏合方式的标签;
根据所述肌电信号样本和对应的标签构建并训练捏合方式识别模型。
可选地,所述为肌电信号样本设置捏合方式的标签,包括:
为不同手指相捏合产生的肌电信号设置不同的标签。
可选地,所述为肌电信号样本设置捏合方式的标签,还包括:
为第一手指与第二手指的不同区域相捏合产生的肌电信号设置不同的标签。
本说明书实施例还提供一种基于虚拟按键输入字符的装置,包括:
获取模块,获取臂环采集的肌电信号;
识别反馈模块,识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
本说明书实施例还提供一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述任一项方法。
本说明书实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述任一项方法。
本说明书实施例提供的各种技术方案通过获取臂环采集的肌电信号,识别肌电信号对应的手部捏合动作,确定捏合动作对应的按键字符信息,反馈拼写结果。捏合动作中,相接触的两者为同一人体的部位,不需要控制手部向外界固定的按键位置移动,由于人体对自身部位的感知性更强,因此,一方面,强感知性使得操作准确率更高,另一方面,强感知性使用户即便在不注视手部的情况下,依然可以完成特定的捏合动作,不需要视线的来回切换,因而能够提高效率,提升用户体验。而且,利用肌电信号来识别手部动作,由于肌电信号与手部动作是人体自身关联反应,受外界干扰小,能够摆脱视觉方法识别手部动作对光线的依赖,因而在弱光、光线干扰环境中依然适用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图;
图2为本说明书实施例提供的一种基于虚拟按键输入字符的装置的结构示意图;
图3为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图;
图4为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图;
图5为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图;
图6为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图;
图7为本说明书实施例提供的一种电子设备的结构示意图;
图8为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而,示例性实施例能够以多种形式实施,且不应被理解为本发明仅限于在此阐述的实施例。相反,提供这些示例性实施例能够使得本发明更加全面和完整,更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分,因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下,在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中,本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是,并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
图1为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图,该方法可以包括:
S101:获取臂环采集的肌电信号。
在使用时,用户在手臂上佩戴臂环,臂环可以将采集的肌电信号发送至具有处理功能的处理器,可以是服务器,也可以是附近的终端,终端便可以获取到臂环采集的肌电信号,继而进行处理。
S102:识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
通过获取臂环采集的肌电信号,识别肌电信号对应的手部捏合动作,确定捏合动作对应的按键字符信息,反馈拼写结果。捏合动作中,相接触的两者为同一人体的部位,不需要控制手部向外界固定的按键位置移动,由于人体对自身部位的感知性更强,因此,一方面,强感知性使得操作准确率更高,另一方面,强感知性使用户即便在不注视手部的情况下,依然可以完成特定的捏合动作,不需要视线的来回切换,因而能够提高效率,提升用户体验。而且,利用肌电信号来识别手部动作,由于肌电信号与手部动作是人体自身关联反应,受外界干扰小,能够摆脱视觉方法识别手部动作对光线的依赖,因而在弱光、光线干扰环境中依然适用。
在一种应用场景中,用户甚至可以将手部放在黑暗环境中,并且在不注视手部的情况下,通过控制自身手部的捏合方式,来完成字符的输入和拼写。
其中,向用户反馈拼写结果,可以是,显示输入框或者拼写框。
输入框显示最终录入的结果,拼写框显示该捏合动作对应的一个或者多个字符,供用户进行选择,或者继续产生捏合动作,根据捏合动作组合最终显示该组合对应的字符。
这可以是通过显示屏显示,也可以是通过虚拟现实、增强现实设备进行显示,在此不做具体阐述。
在本说明书实施例中,所述识别所述肌电信号对应的手部动作,可以包括:
通过预先训练的手部动作识别模型识别所述肌电信号对应的手部动作。
在本说明书实施例中,所述确定所述第一捏合动作对应的按键字符信息,包括:
根据预设的对应关系确定所述捏合动作类型对应的按键字符信息。
在具体建模时,可以时手部做出特定的动作,同时采集肌电信号,根据手部动作对肌电信号设置标签,比如,无捏合或者具体的捏合方式,不同的手指相捏合时,设置的捏合方式不同。
在本说明书实施例中,还包括:
获取肌电信号样本,并为肌电信号样本设置捏合方式的标签;
根据所述肌电信号样本和对应的标签构建并训练捏合方式识别模型。
在本说明书实施例中,所述为肌电信号样本设置捏合方式的标签,包括:
为不同手指相捏合产生的肌电信号设置不同的标签。
在本说明书实施例中,所述为肌电信号样本设置捏合方式的标签,还包括:
为第一手指与第二手指的不同区域相捏合产生的肌电信号设置不同的标签。
这样,相同的两个手指捏合时接触的位置不同,可以具有不同的标签,从而提高了捏合方式的数量。
具体的,可以根据手指指节划分区域。
在本说明书实施例中,该方法还可以包括:
在所述虚拟场景中显示辅助控件;
所述识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,还包括:
识别保持所述第一捏合动作过程中产生的手部位移,根据所述手部位移在所述虚拟场景中控制移动所述辅助控件;
识别辅助捏合动作,根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制。
其中,所述根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制,可以包括:
在虚拟场景中进行选中确认、换行、回车、回退、搜索和切换输入法中的一个。
其中,所述在虚拟场景中进行选中确认,可以包括:
若所述辅助捏合动作为选中动作,则选中所述辅助控件的位置相关联的拼写结果。
其中,所述辅助控件为虚拟手、光标中的一个。
在一种应用场景中,用户短暂捏合产生了一个捏合动作,这捏合动作对应天、太、同、踢这几个拼音首字母为T的字符,于是拼写框中显示了这四个汉字,用户捏合后不撒开并且移动手部,便可以控制光标在“天、太、同、踢”这几个汉字之间移动,直至移动至用户需要的位置,撒开手指便选中当前光标位置处的汉字。
对于上述实施例中,该方法还可以包括:
预先设置捏合动作类型对应的按键字符信息的对应关系。
其中,预先设置捏合动作类型对应的按键字符信息的对应关系,可以包括:
根据预设的捏合动作种类个数对键盘划分区域,将捏合动作与各按键区域的至少一个按键所对应的至少字符信息相对应。
考虑到实际场景中,由于单臂的捏合操作更简便,而用户拼写过程中对字符的输入需求更多,双臂捏合较复杂,而用户拼写过程需要一些辅助键。
因此,在本说明书实施例中,该方法还可以包括:
将一个手臂的同臂手指捏合动作设置为字符输入类动作,将同时有两个手臂的同臂手指捏合动作设置为辅助捏合类动作。
具体实施时,可以定义手指捏合方式:大拇指与食指捏合、大拇指与中指捏合、大拇指与无名指捏合、大拇指与小指捏合,以及无捏合,无捏合可以用来将两次捏合相间隔。
左、右手分别有四种捏合方式,一共8种捏合状态,可以将其与九键键盘中的字母、数字或笔画向对应,九键键盘中剩余的键对应的字符,可以利用双手同时捏合来对应,比如,左右手同时进行大拇指与食指捏合来对应确认输入或者空格键等,当然,对于其他功能的按键,比如,回车、搜索、切换字符类型、撤销等,也可以根据需求来设置对应关系,在此不做具体阐述和限制。
考虑到字母、数字、笔画分别属于不同的输入法,因此,在本说明书实施例中,预先设置捏合动作类型对应的按键字符信息的对应关系,可以包括:
为同一捏合动作设置不同输入法下的按键字符信息;
这样,该方法还可以包括:
根据切换输入法的捏合动作切换对应关系。
这样,便可以通过手指的捏合实现输入法的切换。
具体实施时,用于切换输入法的捏合动作可以是同时出现左手捏合与右手捏合,比如,右手的拇指捏合食指同时左手的拇指捏合小指。当然,这只是一种示例性的方案,对申请的保护范围不构成限制。
在一种应用场景中,对于左手的拇指与小指捏合这种捏合方式,在数字的输入法中可以对应3,在字母输入法中对应“D”,那么,在用户需要输入“3D”时,只需要通过切换输入法的捏合动作调整输入法至数字输入法,执行动作:左手的拇指与小指捏合,便可输入“3”,继而再通过切换输入法的捏合动作调整输入法至字母输入法,再次执行动作:左手的拇指与小指捏合,便可以输入D,从而完成不同输入法下字符的输入。
当然,如果在虚拟场景中显示虚拟键盘和辅助控件,那么,也可以在虚拟键盘上显示各种输入法的按键,这样,用户便可以控制辅助控件移动至切换输入法的按键,进行捏合,识别到捏合动作便可以触发切换输入法。
图2为本说明书实施例提供的一种基于虚拟按键输入字符的装置的结构示意图,该装置可以包括:
获取模块201,获取臂环采集的肌电信号;
识别反馈模块202,识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
在本说明书实施例中,所述识别所述肌电信号对应的手部动作,包括:
通过预先训练的手部动作识别模型识别所述肌电信号对应的手部动作;
所述确定所述第一捏合动作对应的按键字符信息,包括:
根据预设的对应关系确定所述捏合动作类型对应的按键字符信息。
在本说明书实施例中,识别反馈模块202还可以用于:
在所述虚拟场景中显示辅助控件;
所述识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,还包括:
识别保持所述第一捏合动作过程中产生的手部位移,根据所述手部位移在所述虚拟场景中控制移动所述辅助控件;
识别辅助捏合动作,根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制。
在本说明书实施例中,所述根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制,包括:
在虚拟场景中进行选中确认、换行、回车、回退、搜索和切换输入法中的一个。
在本说明书实施例中,所述在虚拟场景中进行选中确认,包括:
若所述辅助捏合动作为选中动作,则选中所述辅助控件的位置相关联的拼写结果。
在本说明书实施例中,所述辅助控件为虚拟手、光标中的一个。
在本说明书实施例中,该装置还可以包括,模型模块,用于:
将一个手臂的同臂手指捏合动作设置为字符输入类动作,将同时有两个手臂的同臂手指捏合动作设置为辅助捏合类动作。
在本说明书实施例中,模型模块,还可以用于:
获取肌电信号样本,并为肌电信号样本设置捏合方式的标签;
根据所述肌电信号样本和对应的标签构建并训练捏合方式识别模型。
在本说明书实施例中,所述为肌电信号样本设置捏合方式的标签,包括:
为不同手指相捏合产生的肌电信号设置不同的标签。
在本说明书实施例中,所述为肌电信号样本设置捏合方式的标签,还包括:
为第一手指与第二手指的不同区域相捏合产生的肌电信号设置不同的标签。
该装置通过获取臂环采集的肌电信号,识别肌电信号对应的手部捏合动作,确定捏合动作对应的按键字符信息,反馈拼写结果。捏合动作中,相接触的两者为同一人体的部位,不需要控制手部向外界固定的按键位置移动,由于人体对自身部位的感知性更强,因此,一方面,强感知性使得操作准确率更高,另一方面,强感知性使用户即便在不注视手部的情况下,依然可以完成特定的捏合动作,不需要视线的来回切换,因而能够提高效率,提升用户体验。而且,利用肌电信号来识别手部动作,由于肌电信号与手部动作是人体自身关联反应,受外界干扰小,能够摆脱视觉方法识别手部动作对光线的依赖,因而在弱光、光线干扰环境中依然适用。
图3为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图,该图示出了按键字符信息具体示例,图3中具有拼写框(显示“天、太”的区域)和各种按键字符。
在设置捏合动作与按键字符信息的对应关系时,可以结合图3进行设置。比如,对于左手捏合,可以将拇指与食指捏合对应JKL,将拇指与中指捏合对应GHI,将拇指与无名指捏合对应PQRS,将拇指与小指捏合对应TUV,对于右手捏合,也可以按照这种手指捏合方式的顺序,依次将捏合方式对应ABC、DEF、MNO、WXYZ。对于双手捏合(左手与右手在同一时刻保持捏合),可以这种手指捏合方式的顺序,可以依次为捏合动作设置“空格”、“换行”等按键字符信息,当然,对于图3所示的其余按键字符,可以根据需要进行设置对应的捏合方式,在此不做具体阐述。
图4为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图,该图示出了一种按键字符信息具体类型。
在设置捏合动作与按键字符信息的对应关系时,可以结合图4进行设置。具体的,可以先划分区域,区域1包括“R、T、F、G、V、B”这些按键字符,区域2包括“E、D、C、”,区域3包括“W、S、X、”,区域4包括“Q、A、Z、”,对于左手捏合,可以按照拇指与食指、中指、无名指、小指相捏合的顺序,依次将捏合方式与划分的区域中包括的按键字符信息相对应。当然,对于右手捏合以及双手捏合的下的多种捏合动作,可以将其与剩余的按键字符相对应,在此不做具体阐述。
图5为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图,该图示出了一种按键字符信息具体类型。图5中具有“123”,“拼音”,“英文”,示出了切换输入法的按键,用户可以通过这些按键进行输入法的切换。图5当前的输入法是“英文”,如果切换为数字输入法,那么,“ABC”区域便可以对应“2”,“DEF”区域便可以对应“3”,依次类推。
图6为本说明书实施例提供的一种基于虚拟按键输入字符的方法的原理示意图,图6示出了根据手指指节划分区域的方式,每个手指可划分出3个捏合区域,单手的四个手指便可划分出12个捏合区域,拇指点击不同捏合区域时的动作不同,因而可以形成12种捏合方式。
结合图5和图6,对于图5所示的九宫格类型的键盘,可以分别将其中的按键字符与不同的捏合区域对应。对于食指的远心端捏合区域,可以将其与标点符号(逗号,句号,问号,感叹号等)的输入法对应;对于食指的近心端捏合区域,可以将其与“D、E、F”对应。按照此原理,可以将各种按键字符与捏合方式相对应,对于其他的对应关系,在此不做具体阐述和限制。
在图1和图2的实施例中,还可以在虚拟场景中显示虚拟键盘,比如,显示图5所示的虚拟键盘,用户通过手指捏合,可以在虚拟场景中看到拼写结果“天、太”,如果虚拟场景中具有辅助控件,那么用户可以通过保持捏合状态并移动手部,来选择最终要输入的字符“天”还是“太”。基于同一发明构思,本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例,该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节,应视为对于上述方法或装置实施例的补充;对于在本发明电子设备实施例中未披露的细节,可以参照上述方法或装置实施例来实现。
图7为本说明书实施例提供的一种电子设备的结构示意图。下面参照图7来描述根据本发明该实施例的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元710可以执行如图1所示的步骤。
所述存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图7中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,本发明描述的示例性实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时,使得该计算机可读介质能够实现本发明的上述方法,即:如图1所示的方法。
图8为本说明书实施例提供的一种计算机可读介质的原理示意图。
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种基于虚拟按键输入字符的方法,其特征在于,包括:
获取臂环采集的肌电信号;
识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
2.根据权利要求1所述的方法,其特征在于,所述识别所述肌电信号对应的手部动作,包括:
通过预先训练的手部动作识别模型识别所述肌电信号对应的手部动作;
所述确定所述第一捏合动作对应的按键字符信息,包括:
根据预设的对应关系确定所述捏合动作类型对应的按键字符信息。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述虚拟场景中显示辅助控件;
所述识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,还包括:
识别保持所述第一捏合动作过程中产生的手部位移,根据所述手部位移在所述虚拟场景中控制移动所述辅助控件;
识别辅助捏合动作,根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制。
4.根据权利要求3所述的方法,其特征在于,所述根据产生所述辅助捏合动作时所述辅助控件的位置对虚拟场景进行控制,包括:
在虚拟场景中进行选中确认、换行、回车、回退、搜索和切换输入法中的一个。
5.根据权利要求4所述的方法,其特征在于,所述在虚拟场景中进行选中确认,包括:
若所述辅助捏合动作为选中动作,则选中所述辅助控件的位置相关联的拼写结果。
6.根据权利要求3所述的方法,其特征在于,所述辅助控件为虚拟手、光标中的一个。
7.根据权利要求6所述的方法,其特征在于,还包括:
将一个手臂的同臂手指捏合动作设置为字符输入类动作,将同时有两个手臂的同臂手指捏合动作设置为辅助捏合类动作。
8.根据权利要求2所述的方法,其特征在于,还包括:
获取肌电信号样本,并为肌电信号样本设置捏合方式的标签;
根据所述肌电信号样本和对应的标签构建并训练捏合方式识别模型。
9.根据权利要求8所述的方法,其特征在于,所述为肌电信号样本设置捏合方式的标签,包括:
为不同手指相捏合产生的肌电信号设置不同的标签。
10.根据权利要求9所述的方法,其特征在于,所述为肌电信号样本设置捏合方式的标签,还包括:
为第一手指与第二手指的不同区域相捏合产生的肌电信号设置不同的标签。
11.一种基于虚拟按键输入字符的装置,其特征在于,包括:
获取模块,获取臂环采集的肌电信号;
识别反馈模块,识别所述肌电信号对应的手部动作,根据手部动作识别结果向用户反馈输入结果,包括:
识别所述肌电信号对应的第一捏合动作,确定所述第一捏合动作对应的按键字符信息;
显示拼写框,并根据所述按键字符信息向用户反馈拼写结果。
12.一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010527234.7A CN111427457A (zh) | 2020-06-11 | 2020-06-11 | 一种基于虚拟按键输入字符的方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010527234.7A CN111427457A (zh) | 2020-06-11 | 2020-06-11 | 一种基于虚拟按键输入字符的方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111427457A true CN111427457A (zh) | 2020-07-17 |
Family
ID=71551417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010527234.7A Pending CN111427457A (zh) | 2020-06-11 | 2020-06-11 | 一种基于虚拟按键输入字符的方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111427457A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113900575A (zh) * | 2021-10-22 | 2022-01-07 | 张毅学 | 一种鼠标的高效操作方法 |
| WO2022089351A1 (zh) * | 2020-10-26 | 2022-05-05 | 张毅学 | 一种可穿戴键鼠及鼠标的高效操作方法 |
| CN114661201A (zh) * | 2020-12-23 | 2022-06-24 | 广州视享科技有限公司 | 应用程序的三维输入方法、装置、存储介质和电子设备 |
| CN115857706A (zh) * | 2023-03-03 | 2023-03-28 | 浙江强脑科技有限公司 | 基于面部肌肉状态的文字输入方法、装置及终端设备 |
| CN117193540A (zh) * | 2023-11-06 | 2023-12-08 | 南方科技大学 | 虚拟键盘的控制方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
| CN108829252A (zh) * | 2018-06-14 | 2018-11-16 | 吉林大学 | 基于肌电信号的手势输入计算机字符装置及方法 |
| CN105446461B (zh) * | 2014-06-24 | 2019-03-26 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
| CN109634439A (zh) * | 2018-12-20 | 2019-04-16 | 中国科学技术大学 | 智能文本输入方法 |
| CN110362190A (zh) * | 2018-04-09 | 2019-10-22 | 中国科学院沈阳自动化研究所 | 基于myo的文本输入系统及方法 |
-
2020
- 2020-06-11 CN CN202010527234.7A patent/CN111427457A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105446461B (zh) * | 2014-06-24 | 2019-03-26 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
| CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
| CN110362190A (zh) * | 2018-04-09 | 2019-10-22 | 中国科学院沈阳自动化研究所 | 基于myo的文本输入系统及方法 |
| CN108829252A (zh) * | 2018-06-14 | 2018-11-16 | 吉林大学 | 基于肌电信号的手势输入计算机字符装置及方法 |
| CN109634439A (zh) * | 2018-12-20 | 2019-04-16 | 中国科学技术大学 | 智能文本输入方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022089351A1 (zh) * | 2020-10-26 | 2022-05-05 | 张毅学 | 一种可穿戴键鼠及鼠标的高效操作方法 |
| CN114661201A (zh) * | 2020-12-23 | 2022-06-24 | 广州视享科技有限公司 | 应用程序的三维输入方法、装置、存储介质和电子设备 |
| CN113900575A (zh) * | 2021-10-22 | 2022-01-07 | 张毅学 | 一种鼠标的高效操作方法 |
| CN115857706A (zh) * | 2023-03-03 | 2023-03-28 | 浙江强脑科技有限公司 | 基于面部肌肉状态的文字输入方法、装置及终端设备 |
| CN117193540A (zh) * | 2023-11-06 | 2023-12-08 | 南方科技大学 | 虚拟键盘的控制方法和系统 |
| CN117193540B (zh) * | 2023-11-06 | 2024-03-12 | 南方科技大学 | 虚拟键盘的控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111427457A (zh) | 一种基于虚拟按键输入字符的方法、装置和电子设备 | |
| CN111427458B (zh) | 一种基于手部动作虚拟输入字符的方法、装置和电子设备 | |
| Lee et al. | Towards augmented reality driven human-city interaction: Current research on mobile headsets and future challenges | |
| KR100209867B1 (ko) | 데이타 처리 시스템 | |
| Kölsch et al. | Keyboards without keyboards: A survey of virtual keyboards | |
| JP3777830B2 (ja) | コンピュータプログラム生成装置及びコンピュータプログラム生成方法 | |
| CN108700996B (zh) | 用于多输入管理的系统和方法 | |
| US20060119588A1 (en) | Apparatus and method of processing information input using a touchpad | |
| US10802710B2 (en) | System and method for inputting one or more inputs associated with a multi-input target | |
| CN102812415A (zh) | 具有触摸面板功能的移动终端及其输入方法 | |
| CN101266533A (zh) | 用于触摸屏的输入法 | |
| EP3423928A1 (en) | Method and system for character insertion in a character string | |
| CN112269481A (zh) | 控制摩擦力调整的方法、装置及电子设备 | |
| Nicolau et al. | Mobile text-entry and visual demands: reusing and optimizing current solutions | |
| Lepouras | Comparing methods for numerical input in immersive virtual environments | |
| US20200168121A1 (en) | Device for Interpretation of Digital Content for the Visually Impaired | |
| CN114356113B (zh) | 输入方法及输入装置 | |
| EP3115864A1 (en) | Portable electronic device including keyboard and method of controlling same | |
| CN114047872B (zh) | 一种文本输入方法和系统 | |
| CN103197768B (zh) | 一种形意文字输入法及输入键盘 | |
| JP4063423B2 (ja) | ユーザ入力装置 | |
| Modanwal et al. | Utilizing gestures to enable visually impaired for computer interaction | |
| US20150113398A1 (en) | Method for inputting characters, terminal, and recording medium | |
| CN104049772A (zh) | 一种输入方法、装置和系统 | |
| CN103809869A (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
| RJ01 | Rejection of invention patent application after publication |