CN111052064B - 自动提供基于手势的自动完成建议的方法及其电子设备 - Google Patents

Abstract

提供了一种用于提供基于手势的完成建议的方法。所述方法包括检测由用户执行以完成由所述用户在电子设备中提供的未完成文本的至少一个手势。此外，所述方法包括基于所述至少一个手势和所述未完成文本来确定至少一个剩余文本以完成所述未完成文本。此外，所述方法包括通过将所述至少一个剩余文本添加到所述未完成文本来形成至少一个完成文本。此外，所述方法包括显示所述至少一个完成文本。

Description

自动提供基于手势的自动完成建议的方法及其电子设备

技术领域

本公开涉及一种用于对手写执行基于手势的自动完成的方法和系统。更具体地，本公开涉及一种用于检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势的方法。

背景技术

输入方法上已有了各种进步，这些进步试图减少当在电子设备(例如，智能手机、智能手表等)中打字时的工作量。根据相关技术，在电子设备中使用3x4键盘。在基于触摸的电子设备中，用基于QWERTY的键盘替换3x4键盘。后来，将诸如连续输入、滑动文本、滑动、滑移等输入方法都引入来减轻打字时的工作量并快速地打字，尤其是在使用电子设备的情况下。预测引擎的各种进步也适当地用于提供更好的打字体验。在示例中，预测引擎可以预测更长的上下文并提供语境预测。但是，基于笔的电子设备中的手写(HWR)识别仍然不具有使打字变得容易的任一进步。

在示例中，现有方法可以用于在HWR模式解决方案中提供自动完成，该解决方案仅包括弹出与上下文相关的可能词的长列表，用户必须滚动该长列表以寻找所需的词。当前的HWR识别系统不允许用户使用最少的用户工作量以任何其他特定的智能方式来优先化完成。正确输入长词的唯一方法是书写完成的词。

因此，需要一种用于检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势的方法。

提出以上信息作为背景信息仅用于辅助理解本公开。不确定也不断言以上任何内容可用作有关本公开的现有技术。

发明内容

本公开的各个方面在于至少解决上面提到的问题和/或缺点并至少提供下面描述的优点。因此，本公开的一方面在于提供一种用于对手写执行基于手势的自动完成的方法和系统。

本文中本公开的另一方面在于检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势。

附加方面部分地将在以下描述中阐述，且部分地将通过以下描述而变得清楚明白，或者可以通过实践所呈现的实施例来获知。

本文中本公开的另一方面在于确定自动完成手势的类型和自动完成手势的长度中的至少一个。

本文中本公开的另一方面在于基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本。

本文中本公开的另一方面在于通过将至少一个剩余文本添加到未完成文本来自动形成至少一个完成文本。

本文中本公开的另一方面在于将至少一个自动完成手势的长度动态映射到要在至少一个剩余文本中预测的字符的数量。

本文中本公开的另一方面在于检测被执行以从至少一个完成文本中标记文本的至少一个自动完成手势。

本文中本公开的另一方面在于基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。

因此，本文中的实施例公开了一种用于自动提供基于手势的自动完成建议的方法。该方法包括检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势。此外，该方法包括基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本。此外，该方法包括通过将至少一个剩余文本添加到未完成文本来自动形成至少一个完成文本。此外，该方法包括显示至少一个完成文本。

在本公开的实施例中，基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本包括：确定自动完成手势的类型和自动完成手势的长度中的至少一个；扫描由用户输入的未完成文本以检测以下至少一项：由用户在未完成文本中输入的字符的数量以及由用户在未完成文本的至少一部分中输入的限制符字符；以及基于以下至少一项来动态预测至少一个剩余文本：自动完成手势的类型、自动完成手势的长度、由用户在未完成文本中输入的字符的数量和由用户在未完成文本的至少一部分中输入的限制符字符中的至少一项。

在本公开的实施例中，将至少一个自动完成手势的长度动态映射到要在至少一个剩余文本中预测的字符的数量。

在本公开的实施例中，至少一个自动完成手势的类型用于识别需要预测的剩余文本的类型，其中剩余文本的类型包括剩余文本的时态形式和剩余文本的动词形式中的一个。

在本公开的实施例中，由用户在未完成文本中输入的字符的数量用于识别至少一个剩余文本中的字符的数量。

在本公开的实施例中，由用户在未完成文本中的至少一个未完成文本中输入的限制符字符指示一个或多个字符的序列，该一个或多个字符的序列用于指定要预测的至少一个剩余文本中的部分之间的边界。

在本公开的实施例中，未完成文本包括前缀、后缀和限制符字符中的至少一个。

在本公开的实施例中，具有相同数量的字符的至少一个完成文本被分组在一起同时显示在电子设备上。

在本公开的实施例中，未完成文本是在用户没有触摸电子设备的显示器的情况下悬空提供的。

在本公开的实施例中，至少一个自动完成手势是在用户没有触摸电子设备的显示器的情况下悬空提供的。

根据本公开的一方面，提供了一种用于在电子设备中提供基于手势的自动完成建议的方法。该方法包括：检测被执行以从至少一个完成文本中标记文本的至少一个自动完成手势；检测至少一个自动完成手势的类型；基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本；以及显示至少一个备选文本。

在本公开的实施例中，该方法还包括用备选文本自动替换所标记的文本。

在本公开的实施例中，备选文本是所标记的文本的同义词、所标记的文本的反义词和所标记的文本的同音词中的一个。

因此，本文中的实施例公开了一种用于自动提供基于手势的自动完成建议的方法。该方法包括检测被执行以标记文本的至少一个自动完成手势。此外，该方法包括检测至少一个自动完成手势的类型。此外，该方法包括基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。此外，该方法包括显示至少一个备选文本。

因此，本文中的实施例公开了一种用于自动提供基于手势的自动完成建议的方法。该方法包括获得文本。此外，该方法包括检测至少一个自动完成手势。此外，该方法包括基于至少一个自动完成手势和文本来动态预测剩余文本和备选文本中的至少一个。此外，该方法包括使得显示至少一个完成文本和备选文本。

在本公开的实施例中，通过进行下列操作来显示备选文本：确定文本是完成文本；检测被执行以在完成文本上标记文本的至少一个自动完成手势；以及基于至少一个自动完成手势来动态预测与所标记的文本相对应的备选文本。

在本公开的实施例中，通过进行下列操作来来显示完成文本：确定文本是未完成文本；检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势；动态预测剩余文本中的至少一个剩余文本；以及通过将至少一个剩余文本添加到未完成文本来自动形成完成文本。

根据本公开的另一方面，提供了一种用于自动提供基于手势的自动完成建议的电子设备。该电子设备包括耦合到存储器和处理器的HWR引擎。HWR引擎被配置为检测由用户执行以自动完成由用户在该电子设备中提供的未完成文本的至少一个自动完成手势。HWR引擎被配置为基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本。HWR引擎被配置为通过将至少一个剩余文本添加到未完成文本来自动形成至少一个完成文本。HWR引擎被配置为显示至少一个完成文本。

因此，本文中的实施例公开了一种用于自动提供基于手势的自动完成建议的电子设备。该电子设备包括耦合到存储器和处理器的HWR引擎。HWR引擎被配置为检测被执行以标记文本的至少一个自动完成手势。HWR引擎被配置为检测至少一个自动完成手势的类型。HWR引擎被配置为基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。HWR引擎被配置为显示至少一个备选文本。

因此，本文中的实施例公开了一种用于自动提供基于手势的自动完成建议的电子设备。该电子设备包括耦合到存储器和处理器的HWR引擎。HWR引擎被配置为获得文本。此外，HWR引擎被配置为检测至少一个自动完成手势。此外，HWR引擎被配置为基于至少一个自动完成手势和文本来动态预测剩余文本和备选文本中的至少一个。此外，HWR引擎被配置为显示完成文本和备选文本中的至少一个。

因此，本文中的实施例公开了一种用于基于手写笔的设备的文本自动完成方法。该方法包括识别由用户提供的至少一个字符输入。此外，该方法包括检测用户提供了至少一个自动完成手势。此外，该方法包括识别至少一个自动完成手势的长度和持续时间中的至少一个。此外，该方法包括响应于识别出至少一个自动完成手势的长度和持续时间中的至少一个而建议至少一个词。至少一个建议的词导致至少一个字符输入的完成。

因此，本文中的实施例公开了一种用于文本自动完成的基于手写笔的设备。基于手写笔的设备包括耦合到存储器和处理器的HWR引擎。HWR引擎被配置为识别由用户提供的至少一个字符输入。此外，HWR引擎被配置为检测用户提供了至少一个自动完成手势。此外，HWR引擎被配置为识别至少一个自动完成手势的长度和持续时间中的至少一个。此外，HWR引擎被配置为响应于识别出至少一个自动完成手势的长度和持续时间中的至少一个而建议至少一个词。建议的至少一个词导致至少一个字符输入的完成。

当结合以下描述和附图考虑时，将更好地了解和理解本文中的实施例的这些和其他方面。然而，应当理解，虽然以下描述指示了优选实施例及其许多具体细节，但是以下描述是通过说明性而非限制性的方式给出的。可以在不脱离本文的实施例的精神的前提下在本文中的实施例的范围内做出多种改变和修改，并且本文中的实施例包括所有这样的修改。

提出以上信息作为背景信息仅用于辅助理解本公开。不确定也不断言以上任何内容可用作有关本公开的现有技术。

附图说明

根据结合附图的以下描述，本公开的特定实施例的上述和其他方面、特征以及优点将变得更加清楚明白，在附图中：

图1示出了根据现有技术的通过预测与上下文相关的可能词的列表在电子设备上显示的自动完成词；

图2是根据本公开的各种实施例的用于自动提供基于手势的自动完成建议的电子设备的框图；

图3示出了根据本公开的各种实施例的通过基于一个或多个自动完成手势和未完成文本来动态预测一个或多个剩余文本以完成未完成文本而在电子设备上显示的自动完成词；

图4是根据本公开的各种实施例的手写(HWR)引擎的框图；

图5是示出了根据本公开的各种实施例的用于基于一个或多个自动完成手势和未完成文本来显示一个或多个完成文本的方法的流程图；

图6是示出了根据本公开的各种实施例的用于基于一个或多个自动完成手势和完成文本来显示一个或多个备选文本的方法的流程图；

图7是示出了根据本公开的各种实施例的用于自动提供基于手势的自动完成建议的方法的流程图；

图8A、图8B、图8C和图8D示出了根据本公开的各种实施例的基于自动完成手势的长度在电子设备上显示的自动完成词；

图9A和图9B示出了根据本公开的各种实施例的当用户在书写词时漏掉该词内的某些字符时在电子设备上显示的自动完成词；

图10A、图10B、图11A和图11B示出了根据本公开的各种实施例的基于自动完成手势的方向在电子设备上显示的词的时态形式；

图12A和图12B示出了根据本公开的各种实施例的基于自动完成手势而预测的与所标记的文本相对应的一个或多个备选文本；

图13A和图13B示出了根据本公开的各种实施例的在电子设备上显示的自动完成词，其中悬空提供自动完成手势和未完成文本；

图14A和图14B示出了根据本公开的各种实施例的在虚拟键盘上显示的自动完成词；

图15示出了根据本公开的各种实施例的根据基于长度的塔选项(tower option)在电子设备上显示的自动完成词；

图16A和图16B示出了根据本公开的各种实施例的使用当前会话上下文和过去会话上下文基于自动完成手势而被预测以形成句子的一个或多个词；

图17A、图17B和图17C示出了根据本公开的各种实施例的使用当前会话上下文和过去会话上下文基于自动完成手势而被预测以形成句子的一个或多个词；

图18A和图18B示出了根据本公开的各种实施例的在记笔记时被预测以形成句子的一个或多个词；

图19A和图19B示出了根据本公开的各种实施例的在聊天时被预测以形成句子的一个或多个词；以及

图20示出了根据本公开的各种实施例的在写电子邮件时被预测以形成句子的一个或多个词。

应当注意，在所有附图中，相似的附图标记用于描绘相同或相似的元件、特征和结构。

具体实施方式

提供参考附图的以下描述用于帮助全面理解由权利要求及其等价物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅由发明人用来实现对本公开的清楚一致的理解。因此，对于本领域技术人员而言应该显而易见的是，提供本公开的各种实施例的以下描述仅出于说明的目的，而不是出于限制由所附权利要求及其等同物限定的本公开的目的。

应当理解，除非上下文另有清楚指明，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。

如在领域中常见的，可以根据执行所描述的一个或多个功能的块来描述和示出实施例。在本文中可以被称为单元或模块等的这些块通过诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等的模拟或数字电路来物理地实现，并且可以可选地由固件和软件来驱动。例如，电路可以在一个或多个半导体芯片中、或者在诸如印刷电路板等的衬底支撑件上具体实现。构成块的电路可以由专用硬件或处理器(例如，一个或多个编程的微处理器和相关联的电路)来实现，或者由用来执行该块的一些功能的专用硬件和用来执行该块的其他功能的处理器的组合来实现。在不脱离本公开范围的情况下，实施例的每个块可以物理地分为两个或更多个交互且分立的块。类似地，在不脱离本公开范围的情况下，可以将实施例的块物理地组合为更复杂的块。

附图用于帮助容易地理解各种技术特征，并且应当理解，本文给出的实施例不受附图的限制。这样，本公开应该被解释为除了扩展到附图中特别列出的那些项之外还扩展到任何变化、等同和替代。尽管术语“第一”、“第二”等可以在本文中用于描述各种元件，但是这些元件不应该受这些术语的限制。这些术语通常仅用于将元件彼此区分开。

因此，本文中的实施例提供了一种用于自动提供基于手势的自动完成建议的方法。该方法包括检测由用户执行以自动完成由用户在电子设备中提供的未完成文本的至少一个自动完成手势。此外，该方法包括基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本。此外，该方法包括通过将至少一个剩余文本添加到未完成文本来自动形成至少一个完成文本。此外，该方法包括显示至少一个完成文本。

不同于根据现有技术的方法和系统，所提出的方法可以用于实时改善电子设备中的手写(HWR)识别。这导致在电子设备上书写与在纸上书写一样方便和自然。在所提出的方法中，用户现在可以极快地记笔记，而不必担心正确地完成每个词。在所提出的方法中，自动完成手势利用了大多数用户在快节奏书写过程中使用的笔画。因此，用户不需要结合任何新的书写风格来使用自动完成手势。

利用自动完成手势的长度，该方法可以用于在电子设备上进行书写时向自动完成逻辑提供附加输入(例如，后缀长度)。电子设备利用了自动完成手势的长度来发现漏掉的字符的数量并准确地预测半书写词。这导致搜索数据库得以减少，从而提高了准确度并减少了预测时间。

现在参考附图，更具体地参考图2、图3至图7、图8A至图8D、图9A和图9B、图10A和图10B、图11A和图11B、图12A和图12B、图13A和图13B、图14A和图14B、图15、图16A和图16B、图17A至图17C、图18A和图18B、图19A和图19B以及图20，其中相似的附图标记贯穿附图始终表示相应的特征。在附图中示出了优选的实施例。

图1示出了根据现有技术的通过预测上下文相关的可能词的列表在电子设备上显示自动完成词。

参考图1，用户在电子设备的HWR接收面板中输入信息。HWR接收面板尝试识别输入信息并将识别结果转发给自动完成提供器。自动完成提供器与HWR接收面板集成在一起。自动完成提供器响应于从HWR接收面板转发给自动完成提供器的识别信息而向用户提供自动完成建议。此外，用户通过用户输入选择建议中的一个建议。

考虑以下情况：如果用户想写“Internship”且用户已经写了未完成的词(即，Inter)，则基于现有方法，电子设备预测可能的词(例如，International、Interchange、Interior、Internal、Internally、Interview、Internet、Interim等)。此外，用户可以通过用户输入选择建议中的一个建议。

图2是根据本公开的各种实施例的用于自动提供基于手势的自动完成建议的电子设备的框图。

参考图2，电子设备100可以是例如但不限于智能手机、膝上型计算机、台式计算机、基于手写笔的设备、个人数字助理(PDA)、移动互联网设备(MID)、媒体播放器、智能电视(TV)、信息娱乐系统、智能手表、游戏平台、服务器平台、S-Pen等。

在本公开的实施例中，电子设备100包括HWR引擎110、通信单元120、存储器130、处理器140和显示器150。

HWR引擎110被配置为检测由用户执行以自动完成由用户在电子设备100中提供的未完成文本的一个或多个自动完成手势。在示例中，当用户不想在电子设备100上书写完成的词时，自动完成手势可以是从由用户提供的未完成文本或部分书写的词开始的笔直或波浪形的水平笔画。此外，用户可以利用诸如手写笔或手指的书写工具来输入未完成文本和自动完成手势。未完成文本包括前缀、后缀和限制符字符中的至少一个。前缀、后缀和限制符字符用于识别完成文本。

此外，HWR引擎110被配置为基于一个或多个自动完成手势和未完成文本来预测一个或多个剩余文本以完成未完成文本。例如，HWR引擎110可以动态预测一个或多个剩余文本。

在本公开的实施例中，HWR引擎110被配置为通过以下方式来动态预测一个或多个剩余文本以完成未完成文本：确定自动完成手势的至少一个类型和自动完成手势的长度，并且扫描由用户输入的未完成文本以检测以下至少一项：由用户在未完成文本中输入的字符的数量以及由用户在未完成文本的至少一部分中输入的限制符字符。自动完成手势的类型可以是例如但不限于自动完成手势的方向、自动完成手势的模式等。

在本公开的实施例中，将至少一个自动完成手势的长度动态映射到要在至少一个剩余文本中预测的字符的数量(在图8A和图8B中进行说明)。

在本公开的实施例中，基于书写的字符的长度将至少一个自动完成手势的长度动态映射到要在至少一个剩余文本中预测的字符的数量。HWR引擎110检测书写的字符的长度，然后使用该长度将手势长度映射到字符的数量。下面的表1示出了手势长度映射的示例：

表1

在本公开的实施例中，手势长度映射是通过下列操作来实现的：由HWR引擎110识别前缀；计算前缀的x跨度并将其除以前缀中的字符的数量以得出平均字符宽度；以及计算手势的长度(x-跨度)并将其除以平均字符宽度以得出后缀长度(漏掉的字符的数量)。

在本公开的实施例中，至少一个自动完成手势的类型用于识别需要预测的剩余文本的类型，其中剩余文本的类型包括剩余文本的时态形式和剩余文本的动词形式中的一个(如图10A、图10B、图11A和图11B中所示)。此外，本领域技术人员将理解的是，可以通过定义不同的手势来用任一其他类型的词预测所提出的方法。

在本公开的实施例中，由用户在未完成文本中输入的字符的数量用于识别至少一个剩余文本中的字符的数量。

在本公开的实施例中，由用户在未完成文本中的至少一个未完成文本中输入的限制符字符指示一个或多个字符的序列，该一个或多个字符的序列用于指定要预测的至少一个剩余文本中的部分之间的边界。

此外，HWR引擎110被配置为通过将一个或多个剩余文本添加到未完成文本来自动形成一个或多个完成文本。在形成一个或多个完成文本之后，显示器150显示一个或多个完成文本。显示器150具有触摸屏，比如液晶显示器(LCD)、发光二极管(LED)等。在本公开的实施例中，在触摸板、虚拟键盘等上接收用户输入。

在本公开的实施例中，通过使用未完成文本、自动完成手势和用户书写行为来形成完成文本。

在本公开的实施例中，具有相同数量的字符的至少一个完成文本被分组在一起同时显示在电子设备100上。

在本公开的实施例中，如图13A和图13B中所示，悬空提供未完成文本并悬空提供至少一个自动完成手势。

在本公开的另一实施例中，HWR引擎110被配置为检测被执行以从一个或多个完成文本中标记文本的一个或多个自动完成手势。此外，HWR引擎110被配置为检测至少一个自动完成手势的类型并基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。在预测与所标记的文本相对应的至少一个备选文本之后，显示器150显示至少一个备选文本(在图12A和图12B中进行说明)。

在本公开的实施例中，通过用备选文本自动替换所标记的文本来预测与所标记的文本相对应的至少一个备选文本。备选文本可以是所标记的文本的同义词、所标记的文本的反义词以及与所标记的文本有关的任一其他词的同音字。此外，本领域技术人员将理解的是，可以基于所标记的文本来用任一其他类型的备选文本预测所提出的方法。

此外，用户可以定义自动完成手势以表明/表示必须对词进行的特定操作。在示例中，对词画下划线的特定的自动完成手势可以表示将词的字体更改为“粗体”。在本公开的实施例中，在词之间提供自动完成手势。在本公开的实施例中，在句子之间提供自动完成手势。

在本公开的实施例中，自动完成手势向书写的词提供词库支持。在本公开的实施例中，自动完成手势操纵并改变书写的动词的时态。

在所提出的方法中，电子设备100启用点击来获得自动完成手势的最优长度，而不是绘制完成手势。

在本公开的实施例中，当用户在书写完成文本时漏掉了某些字符时，可用字符及其相对位置用于从词典中寻找最合适的词(在图9A和图9B中进行说明)。

在本公开的实施例中，双向长短期记忆存储器(LSTM)用于识别HWR输入。在本公开的实施例中，可以通过以下方式中的任意一种来识别手势：

a、可以在预处理期间分别识别自动完成手势及其长度，以及

b、可以在(基于LSTM的)HWR引擎110上将单位自动完成手势训练为单独的唯一编码。因此，HWR引擎110将不仅识别手势的外观，而且还测量手势长度。

HWR引擎110训练LSTM以识别手写的输入以及自动完成手势，它们具有相同的模态。

在本公开的实施例中，通过进行下列操作来获得完成文本：从HWR引擎110接收识别出的前缀和后缀长度；在树数据结构中寻找可能对应的路径；以及对使用语言模型(例如，n-gram语言模型等)寻找到的词进行排名。树数据结构用于存储和搜索动态集或关联数组，其中键通常是字符。

另外，HWR引擎110被配置为操控个体书写习惯的高可变性(例如，速度、节奏、笔画顺序、笔画方向、笔画连续性等的可变性)，而无需在电子设备100中明确嵌入不同变化的区别特征(例如速度、节奏、笔画顺序、笔画方向、笔画连续性等的变化)，从而降低了HWR引擎110的整体复杂度。

此外，处理器140被配置为执行存储在存储器130中的指令并执行各种处理。通信单元120被配置用于在内部硬件组件之间进行内部通信以及通过一个或多个网络与外部设备进行通信。通信单元120被配置用于与HWR引擎110通信以在电子设备100中自动提供基于手势的自动完成建议。

存储器130还存储要由处理器140执行的指令。存储器130可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器130可以被认为是非瞬时性存储介质。术语“非瞬时性”可以表示存储介质没有通过载波或传播信号来实现。然而，术语“非瞬时性”不应该被解释为存储器130是不可移动的。在一些示例中，存储器130可以被配置为存储比存储器更大量的信息。在某些示例中，非瞬时性存储介质可以(例如，在随机存取存储器(RAM)或高速缓存中)存储可以随时间变化的数据。

尽管图2示出了电子设备100的各种硬件组件，但是应当理解，其他实施例不限于此。在本公开的其他实施例中，电子设备100可以包括更少或更多数量的组件。此外，组件的标签或名称仅出于说明目的而不限制本公开的范围。可以将一个或多个组件组合在一起来执行相同或基本相似的功能，以在电子设备100中自动提供基于手势的自动完成建议。

图3示出了根据本公开的各种实施例的通过基于一个或多个自动完成手势和未完成文本来动态预测一个或多个剩余文本以完成未完成文本而在电子设备上显示的自动完成词。

参考图3，通过基于一个或多个自动完成手势和未完成文本来动态预测一个或多个剩余文本以完成未完成文本，在电子设备100上显示自动完成词。在示例中，用户在显示器150上提供未完成输入(即，inter)。该输入由HWR引擎110实时识别。此外，基于自动完成手势后接未完成输入的输入，基于所提出的方法，独立地识别和处理部分书写的文本和自动完成手势。部分书写的文本被馈送到HWR引擎110中以被识别。取决于书写的文本，将手势长度动态映射到字符的数量。基于识别出的前缀文本和映射的后缀长度，HWR引擎110预测完成文本(例如，interconnect、interchange等)。

图4是根据本公开的各种实施例的HWR引擎的框图。

参考图4，HWR引擎110包括自动完成手势检测器410、输入识别器420、剩余文本确定器430、完成文本生成器440和备选文本预测器450。

自动完成手势检测器410被配置为检测由用户执行以自动完成由用户在电子设备100中提供的未完成文本的一个或多个自动完成手势。在检测到由用户执行以自动完成由用户在电子设备100中提供的未完成文本的一个或多个自动完成手势之后，剩余文本确定器430被配置为基于一个或多个自动完成手势和未完成文本来动态预测一个或多个剩余文本以完成未完成文本。

在本公开的实施例中，剩余文本检测器430被配置为通过以下方式来动态预测一个或多个剩余文本以完成未完成文本：确定自动完成手势的类型和自动完成手势的长度中的至少一个，并且扫描由用户输入的未完成文本以检测以下至少一项：由用户在未完成文本中输入的字符的数量以及由用户在未完成文本的至少一部分中输入的限制符字符。

此外，完成文本生成器440被配置为通过将一个或多个剩余文本添加到未完成文本来自动形成一个或多个完成文本。在形成一个或多个完成文本之后，显示器150显示一个或多个完成文本。

此外，备选文本预测器450被配置为检测被执行以从一个或多个完成文本中标记文本的一个或多个自动完成手势。此外，备选文本预测器450被配置为检测至少一个自动完成手势的类型并基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。在预测与所标记的文本相对应的至少一个备选文本之后，显示器150显示至少一个备选文本。

在本公开的实施例中，用户在显示器150上提供输入。输入由输入识别器420实时识别。此外，基于自动完成手势的输入，剩余文本确定器430被触发。此外，分别识别和处理部分书写的文本和自动完成手势。取决于书写的文本的长度，将手势长度动态映射到字符的数量。将两个输出(即，部分书写的文本以及所映射的手势长度)都发送到具有内置语言模型的完成文本生成器440，完成文本生成器440基于识别出的前缀文本和映射的后缀长度来预测完成文本。

如图3中所示，在示例中，用户在显示器150上提供未完成输入(即，inter)。输入由输入识别器420实时识别。此外，基于自动完成手势后接未完成输入的输入，剩余文本确定器430被触发。此外，独立地识别和处理部分书写的文本和自动完成手势。部分书写的文本被馈送到完成文本生成器440以被识别。取决于书写的文本，将手势长度动态映射到字符的数量。基于识别出的前缀文本和映射的后缀长度，完成文本生成器440预测完成文本(例如，interconnect、interchange等)。

尽管图4示出了HWR引擎110的各种硬件组件，但是应当理解，其他实施例不限于此。在本公开的其他实施例中，HWR引擎110可以包括更少或更多数量的组件。此外，组件的标签或名称仅出于说明目的而不限制本公开的范围。一个或多个组件可以组合在一起以执行相同或基本相似的功能，以在HWR引擎110中自动提供基于手势的自动完成建议。

图5是示出了根据本公开的各种实施例的用于基于一个或多个自动完成手势和未完成文本来显示一个或多个完成文本的方法的流程图。

参考图5，在操作502，电子设备100检测由用户执行以自动完成由用户提供的未完成文本的至少一个自动完成手势。在本公开的实施例中，该方法允许自动完成手势检测器410检测由用户执行以自动完成由用户在电子设备100中提供的未完成文本的至少一个自动完成手势。

在操作504，电子设备100基于至少一个自动完成手势和未完成文本来预测至少一个剩余文本以完成未完成文本。在本公开的实施例中，该方法允许剩余文本确定器430基于至少一个自动完成手势和未完成文本来动态预测至少一个剩余文本以完成未完成文本。

在操作506，电子设备100通过将至少一个剩余文本添加到未完成文本来形成至少一个完成文本。在本公开的实施例中，该方法允许完成文本生成器440通过将至少一个剩余文本添加到未完成文本来自动形成至少一个完成文本。

在操作508，电子设备100显示至少一个完成文本。在本公开的实施例中，该方法允许显示器150显示至少一个完成文本。

可以按照所呈现的顺序、按照不同的顺序或同时地执行流程图示500中的各种动作、行为、块等。此外，在本公开的一些实施例中，在不脱离本公开的范围的情况下，一些动作、行为、块等可以被省略、添加、修改、跳过等。

图6是示出了根据本公开的各种实施例的用于基于一个或多个自动完成手势和完成文本来显示一个或多个备选文本的方法的流程图。

参考图6，在操作602，电子设备100检测被执行以标记文本的至少一个自动完成手势。在本公开的实施例中，该方法允许自动完成手势检测器410检测被执行以标记文本的至少一个自动完成手势。

在操作604，电子设备100检测至少一个自动完成手势的类型。在本公开的实施例中，该方法允许自动完成手势检测器410检测至少一个自动完成手势的类型。

在操作606，电子设备100基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。在本公开的实施例中，该方法允许备选文本预测器450基于至少一个自动完成手势的类型来预测与所标记的文本相对应的至少一个备选文本。

在操作608，电子设备100显示至少一个备选文本。在本公开的实施例中，该方法允许显示器150显示至少一个备选文本。

可以按照所呈现的顺序、按照不同的顺序或同时地执行流程图示600中的各种动作、行为、块等。此外，在本公开的一些实施例中，在不脱离本公开的范围的情况下，一些动作、行为、块等可以被省略、添加、修改、跳过等。

图7是示出了根据本公开的各种实施例的用于自动提供基于手势的自动完成建议的方法的流程图。

参考图7，在操作702，电子设备100获得输入。在本公开的实施例中，该方法允许输入识别器420获得输入。

在操作704，电子设备100检测一个或多个自动完成手势。在本公开的实施例中，该方法允许自动完成手势检测器410检测一个或多个自动完成手势。

在操作706，电子设备100确定输入是完成输入还是未完成输入。在本公开的实施例中，该方法允许输入识别器420确定输入是完成输入还是未完成输入。

如果输入是完成输入，则在操作708，电子设备100预测一个或多个备选输入。在本公开的实施例中，该方法允许备选文本预测器450动态预测一个或多个备选输入。

如果输入是未完成输入，则在操作710，电子设备100预测剩余输入中的至少一个剩余输入。在本公开的实施例中，该方法允许剩余文本确定器430动态预测剩余输入中的至少一个剩余输入。

在操作712，电子设备100通过将至少一个剩余输入添加到未完成输入来形成完成输入。在本公开的实施例中，该方法允许完成文本生成器440通过将至少一个剩余输入添加到未完成输入来自动形成完成输入。

可以按照所呈现的顺序、按照不同的顺序或同时地执行流程图示700中的各种动作、行为、块等。此外，在本公开的一些实施例中，在不脱离本公开的范围的情况下，一些动作、行为、块等可以被省略、添加、修改、跳过等。

图8A至图8D示出了根据本公开的各种实施例的基于自动完成手势的长度在电子设备上显示的自动完成词。

参考图8A至图8D，如果用户提供了任何前缀，则电子设备100在显示器150上显示当前词典中的最长可能词以及最长可能词的长度，从而帮助用户决定手势笔画长度。此外，用户可以利用该长度大致地决定手势需要多长的时间。此外，如果用户感觉建议的词长于所需词，则用户可以决定“返回”，电子设备100显示词。

在示例中，用户首先书写“inter”接着书写长的自动完成手势。基于长的自动完成手势和“inter”，HWR引擎110显示如图8A中所示的“interchange”和“interconnect”。此外，用户感觉建议的词长于所需词且用户最小化了自动完成手势长度，HWR引擎110显示如图8B中所示的词(例如，internal和interject)。

如图8C和图8D中所示，在另一示例中，用户可以根据用户所需的长度选择指向并点击引导线800，而不是绘制完成手势。通过另一指向并点击，引导线800也可以用于改变长度。

图9A和图9B示出了根据本公开的各种实施例的当用户在书写词时漏掉该词内的某些字符时在电子设备上显示的自动完成词。

参考图9A和图9B中，该特征是针对当用户在书写词时漏掉该词内的某些字符的情景。基于所提出的方法，HWR引擎110将利用可用字符及其相对位置来从词典中寻找最合适的词。在示例中，用户书写子词“int”、“nat”和“1”，并且通过提供所需长度的自动完成手势来提供漏掉的字符。在该种情况下，HWR引擎110基于未完成文本和自动完成手势来动态预测完成文本(例如，intranational和international)。

图10A、图10B、图11A和图11B示出了根据本公开的各种实施例的基于自动完成手势的方向在电子设备上显示的词的时态形式。

参考图10A、图10B、图11A和图11B，在本公开的实施例中，用户可以使用预定义的自动完成手势(例如，用于将来时态的向上笔画、用于过去时态的向下笔画等)来完成书写动词的正确时态。

在示例中，用户已书写“want”后接向上笔画手势，然后HWR引擎110将显示如图10A和图10B中所示的完成文本(例如，will want等)。在另一示例中，用户已书写“want”后接向下笔画手势，然后HWR引擎110将显示如图11A和图11B中所示的完成文本(例如，wanted等)。如图10A、图10B、图11A和图11B中所示的实施例，笔画的方向(即，向上或向下)被检测并用于确定时态。在本公开的另一实施例中，笔画的方向用于确定词的其他特性。例如，笔画的方向可以用于区分“单数和复数”、“被动和主动”等。

图12A和图12B示出了根据本公开的各种实施例的基于自动完成手势来预测的与所标记的文本相对应的一个或多个备选文本。

参考图12A和图12B，用户可以使用预定义的手势(例如，词周围的方框)来寻找所标记的词的同义词。如图12A和图12B中所示，“less(较少)”被标记，使得“less”的同义词是“minimal(最少)”、“limited(有限)”和“diminished(减少)”。

图13A和图13B示出了根据本公开的各种实施例的在电子设备上显示的完成词，其中悬空提供自动完成手势和未完成文本。

参考图13A和图13B，用户使用特定的基于传感器的设备悬空书写所需的词/命令。用户可以选择保留词未完成并使用自动完成手势来标记漏掉的字符的长度。将检测、自动完成并在电子设备100上向用户显示书写的词。

图14A和图14B示出了根据本公开的各种实施例的在虚拟键盘上显示的词预测。

参考图14A和图14B，用户滑动局部，然后抬起她的手指以在“空格”键上绘制完成手势。可以使用绘制手势时使用的轨迹和时间将手势长度映射到漏掉的字符的数量。

图15示出了根据本公开的各种实施例的根据基于长度的塔选项(tower option)在电子设备上显示的自动完成词。

参考图15，所提出的方法可以用于按所有选项的长度将所有选项呈现为单独的“塔”。每个“塔”都包含特定长度的所有可能的自动完成词。这将使用户更容易寻找到所需词。在示例中，在图15的左侧部分中示出了后缀长度为6的词，在图15的中间部分中示出了后缀长度为7的词，并且在图15的右侧部分中示出了后缀长度为8的词。

图16A和图16B示出了根据本公开的各种实施例的使用当前会话上下文和过去会话上下文基于自动完成手势而被预测以形成句子的一个或多个词。

参考图16A，用户在电子设备100上书写很少的词并提供手势以预测剩余词。每个词将由长度与词长度成比例的单独手势来表示。给定当前上下文和过去会话上下文，该句子将完成。完成句子如图16B中所示那样被显示。

图17A至图17C示出了根据本公开的各种实施例的使用当前会话上下文和过去会话上下文基于自动完成手势而被预测以形成句子的一个或多个词。

参考图17A至图17C，用户在电子设备100上书写很少的词并提供手势以预测剩余词。不同于图16A和图16B中的示例场景，词集合被表示为单个手势、以及用于空白符或空格符的指示(例如，√)。给定当前上下文和过去会话上下文，该句子将完成。完成句子如图17C中所示那样被显示。

图18A和图18B示出了根据本公开的各种实施例的在记笔记时被预测以形成句子的一个或多个词。用户利用书写应用来书写笔记，就像用户通常在纸上书写一样。HWR引擎110通过基于至少一个自动完成手势和未完成文本动态预测至少一个剩余文本以完成未完成文本来自动完成文本，使得电子设备100可以实现极快且准确的笔记记录，从而对用户通常如何使用笔和纸书进行书写进行建模。

图19A和图19B示出了根据本公开的各种实施例的在聊天时被预测以形成句子的一个或多个词。

参考图19A和图19B，用户在使用消息应用进行聊天时使用书写输入字段。基于所提出的方法，HWR引擎110识别并完成所书写的文本。此外，用户然后可以选择发送消息或进行更改(如果需要的话)。

图20示出了根据本公开的各种实施例的在写电子邮件时被预测以形成句子的一个或多个词。

参考图20，用户当在消息应用上写电子邮件时使用书写输入字段。基于所提出的方法，HWR引擎110识别并完成所书写的文本。此外，当需要时会示出合适的词库选项，用户可以从词库选项中选择。最终电子邮件是使用HWR引擎110创建的并准备发送。

可以通过在至少一个硬件设备上运行并执行网络管理功能以控制各元件的至少一个软件程序来实现本文公开的实施例。

以上对具体实施例的描述充分揭示了本文中的实施例的一般性质，从而其他技术人员通过应用现有知识，能够在不背离总体构思的前提下，容易地对这些具体实施例进行修改和/或针对各种应用进行调整，因此这种调整和修改应该且意图被包括在所公开的实施例的等同物的意义和范围内。可以理解，本文中使用的短语或术语用于描述目的而不是限制性的。

尽管已参考本公开的各种实施例示出并描述了本公开，但是本领域技术人员将理解的是，可以在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，进行形式和细节上的各种改变。

Claims (17)

1.一种用于在电子设备中提供基于手势的自动完成建议的方法，所述方法包括：

检测由用户执行以完成由所述用户提供的未完成文本的至少一个手势；

确定所述至少一个手势的长度；

基于所述至少一个手势和所述未完成文本来确定至少一个剩余文本以完成所述未完成文本，其中所述至少一个手势的所述长度对应于所述至少一个剩余文本中的字符的数量；

通过将所述至少一个剩余文本添加到所述未完成文本来形成至少一个完成文本；以及

显示所述至少一个完成文本。

2.根据权利要求1所述的方法，其中基于所述至少一个手势的所述长度和所述未完成文本来确定所述至少一个剩余文本以完成所述未完成文本包括：

确定所述至少一个手势的类型；

扫描由所述用户输入的所述未完成文本以检测以下至少一项：由所述用户在所述未完成文本中输入的字符的数量或由所述用户在所述未完成文本的至少一部分中输入的限制符字符；以及

基于以下至少一项来确定所述至少一个剩余文本：所述至少一个手势的所述类型、所述至少一个手势的所述长度、或者由所述用户在所述未完成文本中输入的所述字符的数量或由所述用户在所述未完成文本的所述至少一部分中输入的所述限制符字符中的至少一项。

3.根据权利要求2所述的方法，其中由所述用户在所述未完成文本中输入的所述字符的数量用于识别所述至少一个剩余文本中的字符的数量。

4.根据权利要求2所述的方法，其中由所述用户在所述未完成文本中的至少一个未完成文本中输入的所述限制符字符指示一个或多个字符的序列，所述一个或多个字符的序列用于指定要确定的所述至少一个剩余文本中的部分之间的边界。

5.根据权利要求1所述的方法，还包括：

检测被执行以从所述至少一个完成文本中标记文本的至少一个其他手势；

检测所述至少一个其他手势的类型；

基于所述至少一个其他手势的所述类型来确定与所标记的文本相对应的至少一个备选文本；以及

显示所述至少一个备选文本。

6.根据权利要求5所述的方法，还包括：用所述至少一个备选文本来替换所标记的文本。

7.根据权利要求2所述的方法，

其中所述至少一个手势的所述类型用于识别需要确定的所述至少一个剩余文本的所述类型，

其中所述至少一个剩余文本的所述类型包括所述至少一个剩余文本的时态形式或所述至少一个剩余文本的动词形式中的一个。

8.根据权利要求1所述的方法，其中显示至少一个完成文本包括：显示具有相同数量的字符的至少一个完成文本，其中所述相同数量的字符被分组在一起。

9.根据权利要求1所述的方法，

其中所述未完成文本是在所述用户没有触摸所述电子设备的显示器的情况下提供的，以及

其中所述至少一个手势是在所述用户没有触摸所述电子设备的所述显示器的情况下提供的。

10.一种用于提供基于手势的完成建议的电子设备，所述电子设备包括：

存储器；

显示器；以及

至少一个处理器，被配置为：

检测由用户执行以完成由所述用户在所述电子设备中提供的未完成文本的至少一个手势，

确定所述至少一个手势的长度，

基于所述至少一个手势和所述未完成文本来确定至少一个剩余文本以完成所述未完成文本，其中所述至少一个手势的所述长度对应于所述至少一个剩余文本中的字符的数量，

通过将所述至少一个剩余文本添加到所述未完成文本来形成至少一个完成文本，以及

显示所述至少一个完成文本。

11.根据权利要求10所述的电子设备，其中所述至少一个处理器还被配置为：

确定所述至少一个手势的类型，

扫描由所述用户输入的所述未完成文本以检测以下至少一项：由所述用户在所述未完成文本中输入的字符的数量或由所述用户在所述未完成文本的至少一部分中输入的限制符字符，以及

基于以下至少一项来确定所述至少一个剩余文本：所述至少一个手势的所述类型、所述至少一个手势的所述长度、或者由所述用户在所述未完成文本中输入的所述字符的数量或由所述用户在所述未完成文本的所述至少一部分中输入的所述限制符字符中的至少一项。

12.根据权利要求10所述的电子设备，其中所述至少一个处理器还被配置为：

检测被执行以从所述至少一个完成文本中标记文本的至少一个其他手势，

检测所述至少一个其他手势的类型，

基于所述至少一个其他手势的类型来确定与所标记的文本相对应的至少一个备选文本，以及

显示所述至少一个备选文本。

13.根据权利要求12所述的电子设备，其中手写HWR引擎被配置为用所述至少一个备选文本替换所标记的文本。

14.根据权利要求12所述的电子设备，其中所述至少一个备选文本是所标记的文本的同义词、所标记的文本的反义词或所标记的文本的同音词中的一个。

15.根据权利要求11所述的电子设备，

其中所述至少一个手势的所述类型用于识别需要确定的所述至少一个剩余文本的所述类型，

其中所述至少一个剩余文本的所述类型包括所述至少一个剩余文本的时态形式或所述至少一个剩余文本的动词形式中的一个。

16.根据权利要求10所述的电子设备，其中显示至少一个完成文本包括：显示具有相同数量的字符的至少一个完成文本，其中所述相同数量的字符被分组在一起。

17.根据权利要求10所述的电子设备，

其中所述未完成文本是在所述用户没有触摸所述电子设备的所述显示器的情况下提供的，以及

其中所述至少一个手势是在所述用户没有触摸所述电子设备的所述显示器的情况下提供的。