CN112306601B - 一种应用交互方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例公开了一种应用交互方法、装置、电子设备及存储介质，其中该方法，包括：响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别；基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。本公开实施例的技术方案，通过基于实时识别得到的学习内容，在第二界面展示相匹配的辅助工具，能够自动为用户推荐当前最合适的学习辅助工具，实现用户与应用的智能交互，提高了用户的学习效率和交互体验。

Description

一种应用交互方法、装置、电子设备及存储介质

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种应用交互方法、装置、电子设备及存储介质。

背景技术

目前，市面上常见的学习类应用(Application，APP)产品，通常以学科为维度进行学习辅助工具归类，例如英语学习类APP中，可包含英语学习过程所需的辅助工具，例如查单词等辅助工具。

通常，安装于电子设备的各学习类APP，可响应于用户对其包含的辅助工具触发操作，启动辅助工具，以辅助用户学习。不足之处至少包括：在学习过程中，用户可能需要反复触发并退出众多APP中的学习辅助工具，以筛选出当前最合适的辅助工具，导致学习过程耗时较长，效率低下，用户的交互体验较差。

发明内容

本公开实施例提供了一种应用交互方法、装置、电子设备及存储介质，能够实现用户与应用的智能交互，提高用户的交互体验。

第一方面，本公开实施例提供了一种应用交互方法，包括：

响应于第一界面中开始控件的触发操作，采集目标区域图像，并对所述目标区域图像进行学习内容识别；

基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

第二方面，本公开实施例还提供了一种应用交互装置，包括：

图像识别模块，用以响应于第一界面中开始控件的触发操作，采集目标区域图像，并对所述目标区域图像进行学习内容识别；

工具匹配模块，用以基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的应用交互方法。

第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的应用交互方法。

本公开实施例的技术方案，响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别；基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。本公开实施例的技术方案，应用可在用户触发第一界面中的开始控件之后，基于实时识别得到的学习内容，在第二界面展示相匹配的辅助工具，从而能够自动为用户推荐当前最合适的学习辅助工具，实现用户与应用的智能交互，提高了用户的学习效率和交互体验。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例一所提供的一种应用交互方法的流程示意图；

图2为本公开实施例一所提供的一种应用交互方法中第一界面的示意图；

图3为本公开实施例一所提供的一种应用交互方法中第二界面的示意图；

图4为本公开实施例一所提供的一种应用交互方法中第三界面的示意图；

图5为本公开实施例二所提供的一种应用交互方法中第二界面的示意图；

图6为本公开实施例二所提供的一种应用交互方法中计划耗时的编辑浮层的示意图；

图7为本公开实施例二所提供的一种应用交互方法中包含退出提示的弹窗界面的示意图；

图8为本公开实施例三所提供的一种应用交互方法中第四界面的示意图；

图9为本公开实施例三所提供的一种应用交互方法中第五界面的示意图；

图10为本公开实施例三所提供的一种应用交互方法中第六界面的示意图；

图11为本公开实施例三所提供的一种应用交互方法中第七界面的示意图；

图12为本公开实施例四所提供的一种应用交互方法中第八界面的示意图；

图13为本公开实施例四所提供的一种应用交互方法中第九界面的示意图；

图14为本公开实施例四所提供的一种应用交互方法中包含发送进度控件的弹窗界面的示意图；

图15为本公开实施例四所提供的一种应用交互方法中第十界面的示意图；

图16为本公开实施例五提供的一种应用交互装置结构示意图；

图17为本公开实施例六所提供的一种电子设备结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

实施例一

图1为本公开实施例一所提供的一种应用交互方法的流程示意图，本公开实施例适用于学生利用作业应用完成作业过程中，与作业应用进行交互的情形，该方法可以由应用交互装置来执行，该装置可以通过软件和/或硬件的形式实现，该装置可集成于客户端应用，并可随应用安装于电子设备中，例如安装于手机、平板电脑、笔记本电脑或台式计算机等电子设备中。

如图1所示，本实施例提供的应用交互方法，包括：

S110、响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别。

本公开实施例中提供的应用(Application，APP)，可以认为是学习类的应用，例如可以是辅助学生做各科作业的作业应用。当应用安装于智能手机、电脑等电子设备中时，电子设备可响应于用户启动操作启动该应用，例如电子设备可响应于用户点击应用图标的操作启动该应用。

当应用启动后，第一界面可以作为应用的首页界面，也可以作为首页界面的子级界面等，且第一界面中可以展示有开始控件。当用户准备开始学习时，可触发该开始控件，以使应用可根据用户学习过程中实时情况智能推荐学习辅助工具，实现智能交互。

在一些可选的实现方式中，应用可以预先与至少一种采集设备建立通信连接，且采集设备可以包括但不限于：摄像头等图像采集设备、麦克风等音频采集设备、体温等人体体征监测设备和环境光线等环境参数采集设备，等。在这些可选的实现方式中，通过建立应用与采集设备的通信连接，可以使应用接收采集设备采集的用户学习过程中的图像、音视频、体征参数和环境参数等各项参数，通过将各项参数进行分析，能够实现为用户学习过程提供记录学习过程、提示学习状态、提示健康情况和提示环境情况等全方位服务。

本实施例中，应用可以预先与图像采集设备建立通信连接，并且当应用检测到作用于第一界面中开始控件的触发操作时，可以响应于该触发操作控制图像采集设备采集图像。其中，目标区域图像可以是图像采集设备的采集区域的图像，也可以是将采集区域的图像经过预处理后得到的区域图像。其中，对采集区域的图像进行的预处理，可以包括但不限于：裁切书本区域的裁切处理、去除畸变的矩形矫正处理，和/或调整图像角度的旋转矫正处理等。其中，为了使采集的目标区域图像能够较好的呈现学习过程，图像采集设备可以为部署于可俯拍书桌桌面的顶置图像采集设备，例如可以是智能台灯的顶置摄像头。

其中，学习内容可以包括但不限于学科和任务等。其中，学科可以为教材科目，例如为语文、数学、英语、物理、地理等等，任务可以为作业任务所属书籍的名称，例如为口算练习册、默写作业本、寒假作业等等。通过对目标区域图像进行识别，可以解析得到学科，或学科和任务等学习内容。

其中，对目标区域图像进行学习内容识别的过程，可以是直接根据目标区域图像进行学习内容识别，也可以是先识别目标区域图像进行文字识别，在基于识别得到的文字进行学习内容识别。并且，待识别的目标区域图像，可以是实时采集的目标区域图像，也可以是从实时采集的目标区域图像中筛选出的预设数量的目标区域图像。其中，筛选目标区域图像的方式可以是每隔一段时间，获取当前采集的目标区域图像，此外其他筛选方式也可应用于此。

通过对实时采集的目标区域图像进行识别，有利于根据用户学习过程中实时学习的学科和/或任务等信息，智能推荐当前最合适的学习辅助工具，提高用户体验。此外，通过对筛选出的目标区域图像进行识别，能够在一定程度满足实时推荐辅助工具需求的基础上，减少应用耗费的处理资源，提高应用流畅度。

S120、基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

本公开实施例中，可预先建立学习内容与辅助工具的对应关系，例如可预先建立学科与辅助工具的对应关系；又如还可预先建立学科和任务，与辅助工具的对应关系。示例性的，可预先建立“语文”学科与“查字典”、“读课文”等辅助工具的对应关系，也可预先建立“语文”学科和“默写作业本”的任务，与“读课文”辅助工具的对应关系。

通常针对某科学科而言，与建立学科与辅助工具的对应关系相比，通过建立学科和任务，与辅助工具的对应关系，有利于匹配到更小范围，更加精准的辅助工具。而在一些不能准确识别任务情况下，通过建立学科与辅助工具的对应关系，仍能保证辅助工具的自动推荐。

相应的，基于识别到的学习内容匹配辅助工具控件，可以是基于预先建立的对应关系，确定识别得到的学习内容对应的辅助工具，并获取对应的辅助工具的控件，以实现辅助工具控件的自动匹配。

在识别到学习内容时，或者在匹配到辅助工具控件时，可以由第一界面跳转至第二界面，此处不对跳转时机作具体限定。在跳转到第二界面时，可以将辅助工具控件添加至第二界面预留的入口位置中，以实现在第二界面中展示辅助工具控件。通过触发辅助工具控件，可以实现相关辅助功能，以辅助用户学习，避免了用户筛选合适辅助工具的耗时，提高了学习效率和交互体验。

其中，当匹配的辅助工具控件的数量较多，而第二界面的显示入口位置较少时，还可以将部分辅助工具控件添加至第二界面的隐藏入口位置处。并且，可响应于汇集辅助工具控件的区域(例如工具箱或工具栏区域)的用户操作，依次将隐藏的辅助工具控件进行展示，同时依次将显示的辅助工具控件进行隐藏，从而实现将匹配的各辅助工具控件进行展示。

在一些可选的实施方式中，对目标区域图像进行学习内容识别，包括：对目标区域图像进行文字识别，并确定与识别到的文字相对应的学科；相应的，基于识别到的学习内容匹配辅助工具控件，包括：基于所确定的学科匹配辅助工具控件。

其中，可以利用光学字符识别(Optical Character Recognition，OCR)方法和/或OpenCV文字识别与检测方法，来对目标区域图像进行文字识别，且其他文字识别方法也可以应用于此。

其中，确定与识别的文字相对应的学科，可以是将识别到的文字输入预先训练的模型，基于预先训练的模型来输出与识别到的文字相对应的学科，且预先训练的模型例如为神经网络模型等分类模型；也可以是将识别到的文字与预设数据库中学习内容对应的文字数据进行匹配，根据匹配结果确定学科。

其中，基于所确定的学科匹配辅助工具控件，可以是基于预先建立的学科与辅助工具的对应关系，确定识别得到的学科对应的辅助工具，并获取对应的辅助工具的控件，以实现辅助工具控件的自动匹配。

示例性的，图2为本公开实施例一所提供的一种应用交互方法中第一界面的示意图。

参见图2，第一界面所属的应用，可以为辅助用户做作业的应用。应用的第一界面可以展示有开始控件10，其中开始控件可以是按钮控件或其他类型的控件，且开始控件中可以添加有“开始做作业”等提示文案，以提示用户准备好开始学习时，可触发该开始控件。且应用可以响应于第一界面中开始控件10的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别。

此外，第一界面还可呈现摄像头采集书桌桌面图片的示意图，以示意用户将学习资料放置在摄像头采集范围内，以保证学习内容顺利识别。

示例性的，图3为本公开实施例一所提供的一种应用交互方法中第二界面的示意图。

参见图3，第二界面中可设置作业工具箱201，且作业工具箱201可以认为是汇集辅助工具控件的区域。作业工具箱201中可以设置多个入口位置，入口位置中可添加基于识别的学习内容匹配得到的辅助工具控件，例如“读课文”和“查字典”工具控件。此外，入口位置中还可以添加默认辅助工具控件，例如“拍照”工具控件。

如图3所示，当匹配的辅助工具控件的数量较多，而第二界面的显示入口位置较少时，可以根据辅助工具控件的数量，在作业工具箱201中设置多个页面，并设置默认显示页面和默认隐藏页面，在各页面中的入口位置处可添加辅助工具控件。例如，图3的作业工具箱201内设置有三个页面，且中间页面可以为默认显示的页面，左右两个页面可以为默认隐藏的页面。中间页面的入口位置处可添加有“读课文”、“查字典”和“拍照”三个辅助工具控件，左右两个页面中的入口位置处可添加其他的辅助工具控件。

并且，应用可响应于作业工具箱201的左右滑动操作，切换当前显示的页面，以实现将隐藏的辅助工具控件进行展示，同时将显示的辅助工具控件进行隐藏，从而实现辅助工具控件的依次展示。

在一些可选的实现方式中，在对目标区域图像进行学习内容识别的过程中，还包括：将目标区域图像展示于第三界面，并在展示的目标区域图像上渲染识别动画。

其中，若学习内容识别的过程耗时较长，则容易出现第一界面迟迟跳转不到第二界面的情况，用户无法感知当前是否正在进行内容识别，在一定程度上影响了用户体验。

在这些可选的实现方式中，可以在学习内容的识别过程中，由第一界面先跳转至第三界面，在第三界面中展示实时采集的目标区域图像，并在目标区域图像上渲染识别动画，从而能够提示用户应用正在进行学习内容识别，以提高用户的交互体验。此外，当学习内容识别成功后，还可以再由第三界面跳转至第二界面，以实现匹配的辅助工具的展示。

示例性的，图4为本公开实施例一所提供的一种应用交互方法中第三界面的示意图。

如图4所示，第三界面中展示控件301，可以用于展示实时采集的目标区域图像，并且目标区域图像上可渲染扫描线控件302上下往复运动的识别动画，以提示用户正在对目标区域图像进行学习内容识别。

参见图4，第三界面中还可以包括但不限于：提示文案控件303、默认辅助工具控件304、完成控件305和退出控件306。其中，提示文案控件303，可以用于展示提示文案，且提示文案例如为“打开书本，开始写作业吧”、“识别书本后会帮你推荐辅助工具哦”等；默认辅助工具控件304，可以用于在被触发时，启动默认辅助功能，且默认辅助控件例如为“录音”、“录像”和“拍照”等并非由学习内容匹配到的辅助控件；完成控件305，可以添加有“完成作业”等文案，可以用于在被触发时确定完成本次学习过程；退出控件306，可以用于在被触发时退出第一界面。

本公开实施例的技术方案，响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别；基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。应用可在用户触发第一界面中的开始控件之后，基于实时识别得到的学习内容，在第二界面展示相匹配的辅助工具，从而能够自动为用户推荐当前最合适的学习辅助工具，实现用户与应用的智能交互，提高了用户的学习效率和交互体验。

实施例二

本实施例与上述实施例中提供的应用交互方法中各个可选方案可以结合。本实施例提供的应用交互方法对记录学习过程的交互步骤进行优化，能够按预设规则记录目标区域图像，和/或通过与第二界面中相关控件的交互实现记录目标区域图像、音频数据和/或视频数据，实现在完成学习内容的学习过程中，对学习过程进行记录，进一步提高了用户交互体验。

在一些可选的实现方式中，在基于识别到的学习内容匹配辅助工具控件的过程中，还包括：将目标区域图像按预设规则进行记录；和/或，响应于第二界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，响应于第二界面中录音控件的触发操作，对音频数据进行记录；和/或，响应于第二界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；根据记录结果生成记录控件，并将记录控件展示于第二界面。

传统的学习过程数据的记录方式，通常需要人为进行记录，在一定程度上降低了学习效率。在实施例这些可选的实现方式中，应用可以在匹配辅助工具控件的过程中，能够基于预设的规则自动对目标区域图像数据进行记录，在一定程度上可提升用户的学习效率。

其中，第二界面上还可以设置有拍照控件，以在自动记录目标区域图像失败的情况下，应用可响应于拍照控件的触发操作，进行当前采集的目标区域图像的记录，从而可以提高应用的容错性。

此外，学习过程除完成书面学习之外，还可以完成朗读、背诵等非书面学习。因此，在这些可选的实现方式中，第二界面还可以设置有录音控件和录像控件，以使应用可响应于录音控件、录像控件的触发操作，对非书面学习的学习过程进行记录。其中，对目标区域图像对应的视频数据进行记录，可以认为是对实时采集的目标区域图像进行记录，并且在对实时采集的目标区域图像进行记录的同时，还可以对音频数据进行记录。

其中，拍照控件、录音控件和录像控件，可以认为是默认辅助工具控件，且可以与匹配得到的辅助工具控件设置于第二界面的相同区域中。

其中，根据记录结果生成记录控件，可以是根据记录的目标区域图像、音频数据和视频数据的总数生成角标控件，并将角标控件设置于记录控件中，以使用户直接了解到当前记录的数据总个数。此外，当记录数据为空时，即未记录有目标区域图像、音频数据和视频数据时，第二界面还可以先不展示记录控件，以使用户清楚了解到当前对学习过程的记录情况。

在一些可选的实现方式中，将目标区域图像按预设规则进行记录，包括：每隔预设时长，对当前采集的目标区域图像进行学习内容识别，和/或对当前采集的目标区域图像进行清晰度评估；于识别到的学习内容，和/或清晰度评估达标时，将当前采集的目标区域图像进行记录。

在这些可选的实现方式中，通过每隔预设时长(例如1s、3s等)，可以对当前采集的目标区域图像的学习内容和或清晰度进行评估，能够对包含学习内容且清晰的高质量图像进行记录，从而有利于实现对关键图像进行抓拍，提高了记录学习过程数据的准确度。

示例性的，图5为本公开实施例二所提供的一种应用交互方法中第二界面的示意图。

参见图5，第二界面中可以包括作业工具箱201，作业工具箱内除设置有匹配的辅助工具控件和默认辅助工具控件之外，还可以设置有记录控件202。并且，记录控件202中可设置有表征当前记录的数据总个数的角标控件，图5中角标控件为实心圆加数字的样式，此外可以为其他样式。

再次参见图5，在一些可选的实现方式中，第二界面还展示有下述至少一项控件：学习内容提示控件203、计划耗时提示控件204、实际耗时提示控件205；相应的，应用交互方法还包括：响应于第二界面中计划耗时提示控件204的触发操作，对计划耗时进行编辑。

其中，学习内容提示控件203，可以用于提示当前识别得到的学习内容，例如学科和/或任务等信息。其中，实际耗时提示控件205，可以用于提示用户对当前学科，或者对当前学科和当前任务的实际耗时，且当识别到新的学科和/或任务时，可重新进行计时。其中，计划耗时提示控件204，可用于对已编辑的计划耗时进行展示；且当计划耗时未被编辑时，应用可响应于计划耗时提示控件204的触发操作，跳转至编辑浮层，以对计划耗时进行编辑。

示例性的，图6为本公开实施例二所提供的一种应用交互方法中计划耗时的编辑浮层的示意图。参见图6，编辑浮层2041可以包括但不限于：时间数值输入控件，以输入计划耗时的数值；确定控件，以确定计划耗时编辑完毕；退出控件，以退出该编辑浮层2041。

又参见图5，第二界面还可以包括但不限于：退出控件206、完成控件207和展示控件208。其中，退出控件206，可以用于在被触发时退出第二界面；完成控件207，可以添加有“完成作业”等文案，可以用于在被触发时确定完成本次学习过程；展示控件208，可以用于展示实时采集的目标区域图像。其中，当第二界面中的退出控件，或者第三界面中的退出控件被触发时，还可以弹出弹窗界面，以进行退出提示，从而能够确定用户是否真的需要退出，避免误触导致退出的情况。

示例性的，图7为本公开实施例二所提供的一种应用交互方法中包含退出提示的弹窗界面的示意图。

参见图7，为第二界面中退出控件被触发时，弹出的弹窗界面2061。其中，可以在第二界面上覆盖一层预设透明度的蒙层，并可在蒙层上设置弹窗界面2061。其中，弹窗界面2061中可以包括但不限于：提示文案控件，可以用于展示提示文案，且提示文案例如为“还没有完成作业，确定退出吗”等；退出控件，用于在被触发时，确定退出第二界面；关闭弹窗控件或完成作业控件，用于返回第二界面，以继续为用户学习过程提供辅助工具控件推荐等功能。

通过对学习内容、计划耗时、实际耗时等信息进行提示，能够帮助用户了解更过的学习过程详情，可进一步提高用户体验。

本公开实施例的技术方案，对记录学习过程的交互步骤进行优化，能够按预设规则记录目标区域图像，和/或通过与第二界面中相关控件的交互实现记录目标区域图像、音频数据和/或视频数据，实现在完成学习内容的学习过程中，对学习过程进行记录，进一步提高了用户交互体验。此外，本公开实施例提供的应用交互方法与上述实施例提供的应用交互方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。

实施例三

本实施例与上述实施例中提供的应用交互方法中各个可选方案可以结合。本实施例提供的应用交互方法对查看学习过程中记录的交互步骤进行优化，能够实现对记录的目标区域图像、音频数据和/或视频数据进行查看，进一步提高了用户交互体验。

在一些可选的实现方式中，应用交互方法还包括：响应于第二界面中记录控件的触发操作，将记录的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第四界面。

示例性的，图8为本公开实施例三所提供的一种应用交互方法中第四界面的示意图。参见图8，第四界面中可以包括但不限于：包含目标区域图像相关信息的区域401，包含音视频相关信息的区域402，包含默认辅助工具控件的区域403和返回控件404。

其中，区域401中可以包括但不限于：提示文案控件，可以用于展示提示文案，且提示文案可包括，与“目标区域图像”对应的通俗易懂的文案“书面作业”，和用于提示目标区域图像数量的数值“4”等；目标区域图像的展示控件，可以用于展示按预设规则记录的，或响应于第二界面的拍照控件记录的目标区域图像的缩图，且该展示控件中可以设置包含学习内容的角标控件，例如设置学科的角标控件“语文”和“数学”等。

其中，区域402中可以包括但不限于：提示文案控件，可以用于展示提示文案，且提示文案可包括，概括“音频数据”和“视频数据”的通俗易懂的文案“音视频作业”，和用于提示音频数据和视频数据总数的数值“1”等；封面图的展示控件，可以用于展示音频数据或视频数据的封面图，且音频数据的封面图可以为固定的预设图片，视频数据的封面图片可以为视频数据某一帧的图像的缩图。

其中，区域403中可以包括但不限于“拍照”、“录像”和/或“录音”等默认辅助工具控件，以丰富默认辅助工具的入口位置，使得默认辅助工具控件可以更灵活地被触发，便于用户对学习过程进行记录。其中，返回控件404，可以用于被触发时，返回第二界面。

在这些可选的实现方式中，能够在第四界面中将记录的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图进行展示，能够帮助用户了解对学习过程进行记录的具体情况，从而提高用户体验。

在一些可选的实现方式中，若第四界面展示有目标区域图像的缩图，则还包括：响应于缩图的触发操作，将被触发的缩图对应的目标区域图像展示于第五界面；响应于第五界面接收的查看操作，对当前展示的目标区域图像执行相应的查看动作。

其中，当第四界面展示的目标区域图像的缩图被触发时，即当缩图的展示控件被触发时，可在第五界面对被触发的缩图对应的目标区域图像的原图进行展示。其中，第五界面接收的查看操作包括但不限于放大操作、缩小操作、切换图像操作和拖动操作；对目标区域图像执行的相应查看动作包括但不限于放大目标区域图像、缩小目标区域图像、切换到其他目标区域图像动作和拖动目标区域图像等动作。

示例性的，图9为本公开实施例三所提供的一种应用交互方法中第五界面的示意图。

参见图9，第五界面中可以包括但不限于：原图的展示控件501，可用于展示被触发的缩图对应的目标区域图像的原图；删除控件502，可以用于删除当前展示的目标区域图像；提示文案控件503，可以用于提示当前目标区域图像位于全部记录的目标区域图像的位置，例如“1/4”可以表征全部记录有4张目标区域图像，当前目标区域图像排在第一张；退出控件504，可以用于退出第五界面。

在一些可选的实现方式中，若第四界面展示有音频数据的封面图，则还包括：响应于音频数据的封面图的触发操作，播放被触发的封面图对应的音频数据，并将所播放的音频数据的相关信息展示于第六界面；响应于第六界面接收的播放参数控制操作，对当前播放的音频数据进行播放参数控制。

在一些可选的实现方式中，若第四界面展示有视频数据的封面图，则还包括：响应于视频数据的封面图的触发操作，在第七界面中播放被触发的封面图对应的视频数据；响应于第七界面接收的播放参数控制操作，对当前播放的视频数据进行播放参数控制。

其中，触发音频数据或视频数据的封面图，可以相应的播放音频数据和视频数据，且两者的播放界面可分别为第六界面和第七界面。

其中，第六界面接收的播放参数控制操作，包括但不限于音量参数控制操作、暂停/播放控制操作、切换控制操作和播放模式设置操作；相应的，对当前播放的音频数据进行播放参数控制，包括但不限于调节音量大小、控制播放或暂停、切换音频数据和设置播放模式(例如单次播放、重复播放等)。

其中，第七界面接收的播放参数控制操作，包括但不限于亮度参数控制操作、音量参数控制操作、暂停/播放控制操作、切换控制操作和播放模式设置操作；相应的，对当前播放的视频数据进行播放参数控制，包括但不限于对调节视频亮度、调节音量大小、控制播放或暂停、切换视频数据和设置播放模式(例如单次播放、重复播放等)。

示例性的，图10为本公开实施例三所提供的一种应用交互方法中第六界面的示意图。

参见图10，第六界面中可以包括但不限于：封面图的展示控件601，可以用于展示音频数据的封面图，且封面图展示控件也可以设置为与第六界面等大的底层控件，以使封面图可以作为第六界面的背景图；提示文案控件602，可以用于提示当前播放的音频数据的名称等信息；进度条控件603，可以用于提示当前播放的进度，且左侧可以展示当前已播放音频数据的时长，右侧可以展示音频数据的总时长；播放参数控件604，用于在被触发时，对当前播放的音频数据进行播放参数控制，且图中仅示出了切换控件(例如实心圆加带竖线三角样式的控件)和播放控件(例如实心圆加三角样式的控件)，其他控件也可包含于此；删除控件605，可以用于删除当前播放的音频数据；退出控件606，可以用于退出第六界面。

示例性的，图11为本公开实施例三所提供的一种应用交互方法中第七界面的示意图。

参见图11，第七界面中可以包括但不限于：视频数据的播放控件701，可以用于播放视频数据；播放参数控件702，用于在被触发时，对当前播放的视频数据进行播放参数控制，图中仅示出了播放控件(例如实心圆加三角样式的控件)，其他控件也可包含于此，并且在视频播放过程中播放参数控件702可以为隐藏状态；删除控件605，可以用于删除当前播放的视频数据；退出控件606，可以用于退出第七界面。

其中，第七界面可以用作第六界面对音频数据进行播放，此时视频数据的播放控件可用于展示音频数据的封面图。

本公开实施例的技术方案，对查看学习过程中记录的交互步骤进行优化，能够实现对记录的目标区域图像、音频数据和/或视频数据进行查看，进一步提高了用户交互体验。此外，本公开实施例提供的应用交互方法与上述实施例提供的应用交互方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。

实施例四

本实施例与上述实施例中提供的应用交互方法中各个可选方案可以结合。本实施例提供的应用交互方法对发送学习过程中记录的交互步骤进行优化，能够实现对记录的目标区域图像、音频数据和/或视频数据进行发送，进一步提高了用户交互体验。

在一些可选的实现方式中，应用交互方法还包括：响应于第二界面中完成控件的触发操作，判断当前是否记录有目标区域图像、音频数据和/或视频数据；若是，则将编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面；响应于第八界面中的发送控件的触发操作，将编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号。

其中，在第二界面中的完成控件，或第三界面中的完成控件被触发时，可以确定完成本次学习过程，同时还可以触发对学习过程中记录数据的发送步骤。

其中，对学习过程的记录数据的发送步骤，可以包括：响应于对第八界面中编辑状态的缩图和/封面图的选中操作，确定待发送的目标区域图像、音频数据和/或视频数据；响应于第八界面中的发送控件的触发操作，将待发送数据发送至目标应用的账号。其中，目标应用可以是本公开实施例提供的应用，也可以是能够与本公开实施例提供的应用实现通信的其他应用，例如邮件应用或即时通信类应用等。

在这些可选的实现方式中，通过将选中的学习过程中的记录数据，发送至目标应用的账号中，能够实现将学生学习过程的数据，发送至老师或家长的目标应用的账号中，以供老师或家长能够进行学生学习过程的监督和作业批改等。

示例性的，图12为本公开实施例四所提供的一种应用交互方法中第八界面的示意图。

参见图12，第八界面可以认为是编辑状态的第四界面，也可以包括第四界面中的一些区域和控件，例如包括包含目标区域图像相关信息的区域801，包含音视频相关信息的区域802，包含默认辅助工具控件的区域804和返回控件805，相同的技术细节可参考上文，在此不做赘述。

此外，第八界面与第四界面的区别可以包括，第八界面中目标区域图像的缩图的展示控件，以及音频数据或视频数据的封面图的展示控件皆可以进行选中或不选中的编辑。例如图12中，被选中的展示控件的左上方可以标注有实心圆加对号的角标控件，未被选中的展示控件左上方可标注有空心圆的角标控件。

同时，第八界面中提示文案控件，可以根据被选中数据的数量进行更新。例如图12中，当书面作业中一共记录有4张目标区域图像，当前选中3张目标区域数据时，提示文案控件可更新为“书面作业3/4”。

当用户选中全部待发送的数据后，可以触发第八界面中的发送控件，例如图12中的发送控件803。应用可响应于第八界面中发送控件的触发操作，将选中的数据发送至目标应用的账号中去。

在一些可选的实现方式中，应用交互方法还包括：若当前未记录有目标区域图像、音频数据和/或视频数据，则将拍照控件、录音控件和/或录像控件展示于第九界面；响应于第九界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，响应于第九界面中录音控件的触发操作，对音频数据进行记录；和/或，响应于第九界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；将记录的编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面。

其中，在应用自动记录目标区域图像失败，且用户未触发第二界面中“拍照”、“录音”或“录像”等默认辅助工具控件进行学习过程记录的情况下，当前记录数据为空，即当前未记录有目标区域图像、音频数据和/或视频数据。此时，若在第二界面中的完成控件，或第三界面中的完成控件被触发，可以先提示用户对学习过程进行记录，再触发对学习过程中记录数据的发送步骤。

在这些可选的实现方式中，在第二界面或第三界面中的完成控件被触发，且当前记录数据为空时，通过利用第九界面展示“拍照”、“录音”或“录像”等默认辅助工具控件，能够协助用户更方便地对学习过程记录。并且，当用户记录完毕时，可以再跳转至第八界面，以实现对记录数据进行发送。

示例性的，图13为本公开实施例四所提供的一种应用交互方法中第九界面的示意图。

参见图13，第九界面中可以包括但不限于：包含默认辅助工具控件的区域901，发送控件902，提示文案控件903和返回控件904。

其中，区域901包含的默认辅助工具，包括但不限于拍照控件、录音控件和录像控件，且各控件上可添加有功能提示文案，例如图13中拍照控件上可添加有“拍下每页书面作业吧”的提示文案，以提示用户各控件的功能场景。其中，在当前记录数据时，发送控件902可以为禁用状态，可以与可用状态下的发送控件进行区别显示，例如图13中禁用状态的发送控件可呈深色。其中，提示文案控件903，可添加提示文案，例如如13中提示文案控件中可添加有“记录作业吧”的提示文案，以提示用户进行学习过程记录。其中，返回控件904，可以用于被触发时返回第二界面或第三界面。

在一些可选的实现方式中，在将编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号的过程中，还包括：将发送进度控件展示于弹窗界面中；响应于弹窗界面中取消发送控件的触发操作，终止发送过程；在发送成功时，将弹窗界面切换为发送成功提示控件。

在这些可选的实现方式中，通过在待发送数据的发送过程中，利用弹窗界面进行发送进度提示，并在发送成功后将弹窗控件切换为发送成功提示控件，可以使用户清楚了解到数据的发送进度，进一步可提高用户体验。

示例性的，图14为本公开实施例四所提供的一种应用交互方法中包含发送进度控件的弹窗界面的示意图。

参见图14，可以在第八界面上覆盖一层预设透明度的蒙层，并可在蒙层上设置包含发送进度控件的弹窗界面8031。其中，包含发送进度控件的弹窗界面8031，可以包括但不限于：发送进度控件，用于提示发送进度，且发送进度控件例如为圆形进度条加进度百分比样式的控件，也可以为其他样式的控件；提示文案控件，可以添加提示文案，例如添加“正在发送作业”的文案，用于提示当前正在发送数据；取消发送控件，用于被触发时，取消发送作业数据。

又参见图14，当数据发送完成时，包含发送进度控件的弹窗界面8031可以切换为发送成功提示控件8032，且发送成功提示控件除图14的样式外还可以为其他样式，在此不做穷举。

在一些可选的实现方式中，应用交互方法还包括：响应于第二界面中完成控件的触发操作，确定完成学习内容的实际耗时，将确定的实际耗时展示于第十界面。

其中，在第二界面中的完成控件，或第三界面中的完成控件被触发时，可以确定完成本次学习过程，同时还可以触发对学习过程耗时的统计展示步骤。

其中，对学习过程耗时的分析展示步骤，可以包括：获取每项学习内容在学习过程中的实际耗时，以确定学习过程总耗时；将总耗时和每项学习内容的实际耗时展示于第十界面中。其中，可以在第二界面中的完成控件被触发后，由第二界面跳转至第十界面；也可以是在第二界面中的完成控件被触发后，利用第八界面进行记录数据发送，并在发送成功时，由展示有发送成功提示控件的第八界面跳转至第十界面。

在这些可选的实现方式中，通过利用第十界面进行实际耗时的展示，能够帮助用户了解本次学习过程的耗时情况，进一步提高用户体验。

示例性的，图15为本公开实施例四所提供的一种应用交互方法中第十界面的示意图。

参见图15，第十界面可以包括但不限于：包含耗时信息的展示区域1001，该区域中可展示各项学习内容的耗时，以及本次学习过程总耗时，还可以根据总耗时的长短进行奖励(例如能量奖励，小红花奖励等)；用户反馈控件1002，可用于接收用户完成本次学习过程后的状态反馈，例如包括但不限于“奋斗”、“开心”和“继续加油”等；退出控件1003，可用于被触发时退出应用。

本公开实施例的技术方案，对发送学习过程中记录的交互步骤进行优化，能够实现对记录的目标区域图像、音频数据和/或视频数据进行发送，进一步提高了用户交互体验。此外，本公开实施例提供的应用交互方法与上述实施例提供的应用交互方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。

实施例五

图16为本公开实施例五提供的一种应用交互装置结构示意图。本实施例提供的应用交互装置适用于学生利用作业应用完成作业过程中，与作业应用进行交互的情形。

如图16所示，应用交互装置，包括：

图像识别模块161，用以响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别；

工具匹配模块162，用以基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

在一些可选的实现方式中，图像识别模块，具体用于对目标区域图像进行文字识别，并确定与识别到的文字相对应的学科；

相应的，工具匹配模块，具体用以基于所确定的学科匹配辅助工具控件。

在一些可选的实现方式中，图像识别模块还用于：在对目标区域图像进行学习内容识别的过程中，将目标区域图像展示于第三界面，并在展示的目标区域图像上渲染识别动画。

在一些可选的实现方式中，应用交互装置还包括：

记录模块，用于在基于识别到的学习内容匹配辅助工具控件的过程中，将目标区域图像按预设规则进行记录；和/或，响应于第二界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，响应于第二界面中录音控件的触发操作，对音频数据进行记录；和/或，响应于第二界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；根据记录结果生成记录控件，并将记录控件展示于第二界面。

在一些可选的实现方式中，记录模块包括：

自动记录子模块，用于每隔预设时长，对当前采集的目标区域图像进行学习内容识别，和/或对当前采集的目标区域图像进行清晰度评估；于识别到的学习内容，和/或清晰度评估达标时，将当前采集的目标区域图像进行记录。

在一些可选的实现方式中，应用交互装置还包括：

记录展示模块，用以响应于第二界面中记录控件的触发操作，将记录的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第四界面。

在一些可选的实现方式中，应用交互装置还包括：

记录查看模块，用于若第四界面展示有目标区域图像的缩图，则响应于缩图的触发操作，将被触发的缩图对应的目标区域图像展示于第五界面；响应于第五界面接收的查看操作，对当前展示的目标区域图像执行相应的查看动作。

在一些可选的实现方式中，应用交互装置还包括：

记录播放模块，用于若第四界面展示有音频数据的封面图，则响应于音频数据的封面图的触发操作，播放被触发的封面图对应的音频数据，并将所播放的音频数据的相关信息展示于第六界面；响应于第六界面接收的播放参数控制操作，对当前播放的音频数据进行播放参数控制。

在一些可选的实现方式中，记录播放模块，还用于若第四界面展示有视频数据的封面图，则响应于视频数据的封面图的触发操作，在第七界面中播放被触发的封面图对应的视频数据；响应于第七界面接收的播放参数控制操作，对当前播放的视频数据进行播放参数控制。

在一些可选的实现方式中，应用交互装置还包括：

记录发送模块，用以响应于第二界面中完成控件的触发操作，判断当前是否记录有目标区域图像、音频数据和/或视频数据；若是，则将编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面；响应于第八界面中的发送控件的触发操作，将编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号。

在一些可选的实现方式中，若记录发送模块判断当前未记录有目标区域图像、音频数据和/或视频数据，则记录模块还用于将拍照控件、录音控件和/或录像控件展示于第九界面；响应于第九界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，响应于第九界面中录音控件的触发操作，对音频数据进行记录；和/或，响应于第九界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；

相应的，记录发送模块还用于将记录的编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面。

在一些可选的实现方式中，记录发送模块，还包括：

进度提示子模块，用于在将编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号的过程中，将发送进度控件展示于弹窗界面中；

终止发送子模块，用以响应于弹窗界面中取消发送控件的触发操作，终止发送过程；

发送成功提示子模块，用于在发送成功时，将弹窗界面切换为发送成功提示控件。

在一些可选的实现方式中，第二界面还展示有下述至少一项控件：学习内容提示控件、计划耗时提示控件、实际耗时提示控件；

相应的，应用交互装置还包括：

计划耗时编辑模块，用以响应于第二界面中计划耗时提示控件的触发操作，对计划耗时进行编辑。

在一些可选的实现方式中，应用交互装置还包括：

耗时展示模块，用以响应于第二界面中完成控件的触发操作，确定完成学习内容的实际耗时，将确定的实际耗时展示于第十界面。

本公开实施例所提供的应用交互装置，可执行本公开任意实施例所提供的应用交互方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。

实施例六

下面参考图17，其示出了适于用来实现本公开实施例的电子设备(例如图17中的终端设备或服务器)100的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图17示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图17所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101，其可以根据存储在只读存储器(Read-Only Memory，ROM)102中的程序或者从存储装置106加载到随机访问存储器(Random Access Memory，RAM)103中的程序而执行各种适当的动作和处理。在RAM 103中，还存储有电子设备100操作所需的各种程序和数据。处理装置101、ROM 102以及RAM103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

通常，以下装置可以连接至I/O接口105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置107；包括例如磁带、硬盘等的存储装置108；以及通信装置109。通信装置109可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图17示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置109从网络上被下载和安装，或者从存储装置106被安装，或者从ROM102被安装。在该计算机程序被处理装置101执行时，执行本公开实施例的方法中限定的上述功能。

本公开实施例提供的电子设备与上述实施例提供的应用交互方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。

实施例七

本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的应用交互方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

响应于第一界面中开始控件的触发操作，采集目标区域图像，并对目标区域图像进行学习内容识别；基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，和/或，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元、模块的名称在某种情况下并不构成对该单元、模块本身的限定，例如，工具匹配模块还可以被描述为“辅助工具匹配模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上系统(System on Chip，SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，【示例一】提供了一种应用交互方法，该方法包括：

响应于第一界面中开始控件的触发操作，采集目标区域图像，并对所述目标区域图像进行学习内容识别；

基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面。

根据本公开的一个或多个实施例，【示例二】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，所述对所述目标区域图像进行学习内容识别，包括：

对所述目标区域图像进行文字识别，并确定与识别到的文字相对应的学科；

相应的，所述基于识别到的学习内容匹配辅助工具控件，包括：基于所确定的学科匹配辅助工具控件。

根据本公开的一个或多个实施例，【示例三】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，在所述对所述目标区域图像进行学习内容识别的过程中，还包括：

将所述目标区域图像展示于第三界面，并在展示的目标区域图像上渲染识别动画。

根据本公开的一个或多个实施例，【示例四】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，在所述基于识别到的学习内容匹配辅助工具控件的过程中，还包括：

将所述目标区域图像按预设规则进行记录；和/或，

响应于所述第二界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，

响应于所述第二界面中录音控件的触发操作，对音频数据进行记录；和/或，

响应于所述第二界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；

根据记录结果生成记录控件，并将所述记录控件展示于所述第二界面。

根据本公开的一个或多个实施例，【示例五】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，所述将所述目标区域图像按预设规则进行记录，包括：

每隔预设时长，对当前采集的目标区域图像进行学习内容识别，和/或对当前采集的目标区域图像进行清晰度评估；

于识别到的学习内容，和/或清晰度评估达标时，将当前采集的目标区域图像进行记录。

根据本公开的一个或多个实施例，【示例六】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，响应于所述第二界面中所述记录控件的触发操作，将记录的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第四界面。

根据本公开的一个或多个实施例，【示例七】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，若所述第四界面展示有目标区域图像的缩图，则还包括：

响应于所述缩图的触发操作，将被触发的缩图对应的目标区域图像展示于第五界面；

响应于第五界面接收的查看操作，对当前展示的目标区域图像执行相应的查看动作。

根据本公开的一个或多个实施例，【示例八】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，若所述第四界面展示有音频数据的封面图，则还包括：

响应于所述音频数据的封面图的触发操作，播放被触发的封面图对应的音频数据，并将所播放的音频数据的相关信息展示于第六界面；

响应于所述第六界面接收的播放参数控制操作，对当前播放的音频数据进行播放参数控制。

根据本公开的一个或多个实施例，【示例九】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，若所述第四界面展示有视频数据的封面图，则还包括：

响应于所述视频数据的封面图的触发操作，在第七界面中播放被触发的封面图对应的视频数据；

响应于所述第七界面接收的播放参数控制操作，对当前播放的视频数据进行播放参数控制。

根据本公开的一个或多个实施例，【示例十】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，响应于所述第二界面中完成控件的触发操作，判断当前是否记录有目标区域图像、音频数据和/或视频数据；

若是，则将编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面；

响应于所述第八界面中的发送控件的触发操作，将所述编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号。

根据本公开的一个或多个实施例，【示例十一】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，若当前未记录有目标区域图像、音频数据和/或视频数据，则将拍照控件、录音控件和/或录像控件展示于第九界面；

响应于所述第九界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，

响应于所述第九界面中录音控件的触发操作，对音频数据进行记录；和/或，

响应于所述第九界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；

将记录的编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面。

根据本公开的一个或多个实施例，【示例十二】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，在将所述编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号的过程中，还包括：

将发送进度控件展示于弹窗界面中；

响应于所述弹窗界面中取消发送控件的触发操作，终止发送过程；

在发送成功时，将所述弹窗界面切换为发送成功提示控件。

根据本公开的一个或多个实施例，【示例十三】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，所述第二界面还展示有下述至少一项控件：学习内容提示控件、计划耗时提示控件、实际耗时提示控件；

相应的，所述方法还包括：响应于所述第二界面中计划耗时提示控件的触发操作，对计划耗时进行编辑。

据本公开的一个或多个实施例，【示例十四】提供了一种应用交互方法，还包括：

在一些可选的实现方式中，响应于所述第二界面中完成控件的触发操作，确定完成所述学习内容的实际耗时，将确定的实际耗时展示于第十界面。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种应用交互方法，其特征在于，包括：

响应于第一界面中开始控件的触发操作，采集目标区域图像，并对所述目标区域图像进行学习内容识别；

基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面；

所述对所述目标区域图像进行学习内容识别，包括：

对所述目标区域图像进行文字识别，并确定与识别到的文字相对应的学科；

所述确定与识别到的文字相对应的学科，包括：

将识别到的文字与预设数据库中所述学习内容对应的文字数据进行匹配，根据匹配结果确定学科；

在所述基于识别到的学习内容匹配辅助工具控件的过程中，还包括：

将所述目标区域图像按预设规则进行记录；

所述将所述目标区域图像按预设规则进行记录，包括：

每隔预设时长，对当前采集的目标区域图像进行学习内容识别，和/或对当前采集的目标区域图像进行清晰度评估；

于识别到的学习内容，和/或清晰度评估达标时，将当前采集的目标区域图像进行记录；

所述第二界面还展示有实际耗时提示控件，其中，所述实际耗时提示控件，用于提示用户对当前学科的实际耗时，且当识别到新的学科时，重新进行计时。

2.根据权利要求1所述的方法，其特征在于，所述基于识别到的学习内容匹配辅助工具控件，包括：基于所确定的学科匹配辅助工具控件。

3.根据权利要求1所述的方法，其特征在于，在所述对所述目标区域图像进行学习内容识别的过程中，还包括：

将所述目标区域图像展示于第三界面，并在展示的目标区域图像上渲染识别动画。

4.根据权利要求1所述的方法，其特征在于，在所述基于识别到的学习内容匹配辅助工具控件的过程中，还包括：

响应于所述第二界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，

响应于所述第二界面中录音控件的触发操作，对音频数据进行记录；和/或，

响应于所述第二界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；

根据记录结果生成记录控件，并将所述记录控件展示于所述第二界面。

5.根据权利要求4所述的方法，其特征在于，还包括：

响应于所述第二界面中所述记录控件的触发操作，将记录的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第四界面。

6.根据权利要求5所述的方法，其特征在于，若所述第四界面展示有目标区域图像的缩图，则还包括：

响应于所述缩图的触发操作，将被触发的缩图对应的目标区域图像展示于第五界面；

响应于第五界面接收的查看操作，对当前展示的目标区域图像执行相应的查看动作。

7.根据权利要求5所述的方法，其特征在于，若所述第四界面展示有音频数据的封面图，和/或视频数据的封面图，则还包括：

响应于所述音频数据的封面图的触发操作，播放被触发的封面图对应的音频数据，并将所播放的音频数据的相关信息展示于第六界面；

响应于所述第六界面接收的播放参数控制操作，对当前播放的音频数据进行播放参数控制。

8.根据权利要求5所述的方法，其特征在于，若所述第四界面展示有视频数据的封面图，则还包括：

响应于所述视频数据的封面图的触发操作，在第七界面中播放被触发的封面图对应的视频数据；

响应于所述第七界面接收的播放参数控制操作，对当前播放的视频数据进行播放参数控制。

9.根据权利要求4所述的方法，其特征在于，还包括：

响应于所述第二界面中完成控件的触发操作，判断当前是否记录有目标区域图像、音频数据和/或视频数据；

若是，则将编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面；

响应于所述第八界面中的发送控件的触发操作，将所述编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号。

10.根据权利要求9所述的方法，其特征在于，还包括：

若当前未记录有目标区域图像、音频数据和/或视频数据，则将拍照控件、录音控件和/或录像控件展示于第九界面；

响应于所述第九界面中拍照控件的触发操作，对当前采集的目标区域图像进行记录；和/或，

响应于所述第九界面中录音控件的触发操作，对音频数据进行记录；和/或，

响应于所述第九界面中录像控件的触发操作，对目标区域图像对应的视频数据进行记录；

将记录的编辑状态的目标区域图像的缩图、音频数据的封面图，和/或视频数据的封面图，展示于第八界面。

11.根据权利要求9所述的方法，其特征在于，在将所述编辑状态下选中的缩图对应的目标区域图像，音频数据的封面图对应的音频数据，和/或视频数据的封面图对应的视频数据发送至目标应用的账号的过程中，还包括：

将发送进度控件展示于弹窗界面中；

响应于所述弹窗界面中取消发送控件的触发操作，终止发送过程；

在发送成功时，将所述弹窗界面切换为发送成功提示控件。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述第二界面还展示有下述至少一项控件：学习内容提示控件、计划耗时提示控件；

相应的，所述方法还包括：响应于所述第二界面中计划耗时提示控件的触发操作，对计划耗时进行编辑。

13.根据权利要求12所述的方法，其特征在于，还包括：

响应于所述第二界面中完成控件的触发操作，确定完成所述学习内容的实际耗时，将确定的实际耗时展示于第十界面。

14.一种应用交互装置，其特征在于，包括：

图像识别模块，用以响应于第一界面中开始控件的触发操作，采集目标区域图像，并对所述目标区域图像进行学习内容识别；

工具匹配模块，用以基于识别到的学习内容匹配辅助工具控件，并将所匹配的辅助工具控件展示于第二界面；

所述图像识别模块，具体用于对目标区域图像进行文字识别，并确定与识别到的文字相对应的学科；

所述确定与识别到的文字相对应的学科，包括：

将识别到的文字与预设数据库中所述学习内容对应的文字数据进行匹配，根据匹配结果确定学科；

所述应用交互装置还包括：

记录模块，用于在基于识别到的学习内容匹配辅助工具控件的过程中，将目标区域图像按预设规则进行记录；

所述记录模块包括：

自动记录子模块，用于每隔预设时长，对当前采集的目标区域图像进行学习内容识别，和/或对当前采集的目标区域图像进行清晰度评估；于识别到的学习内容，和/或清晰度评估达标时，将当前采集的目标区域图像进行记录；

所述第二界面还展示有实际耗时提示控件，其中，所述实际耗时提示控件，用于提示用户对当前学科的实际耗时，且当识别到新的学科时，重新进行计时。

15.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的应用交互方法。

16.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-13中任一所述的应用交互方法。