CN117729168A - 即时通讯软件的自动控制方法、装置、电子设备及介质 - Google Patents

Abstract

本公开提供一种即时通讯软件的自动控制方法、装置、电子设备及介质，方法包括：获取即时通讯软件的待执行任务；确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。采用本公开的方案，能够自动执行任务，无需人工参与任务执行过程，实现了对即时通讯软件的自动化控制，能够将重复操作自动化，提高任务处理效率。

Description

即时通讯软件的自动控制方法、装置、电子设备及介质

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种即时通讯软件的自动控制方法、装置、电子设备及介质。

背景技术

即时通讯工具作为广泛应用的沟通和协作的工具，给用户沟通带来了很大的便利。但是，目前在即时通讯工具的使用过程中，大部分任务需要人工进行重复且繁琐的操作才能完成，例如发送重复的日常通知消息等，智能化程度低，任务处理效率也比较低。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种即时通讯软件的自动控制方法、装置、电子设备及介质。

根据本公开的一方面，提供了一种即时通讯软件的自动控制方法，包括：

获取即时通讯软件的待执行任务；

确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；

基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

根据本公开的另一方面，提供了一种即时通讯软件的自动控制装置，包括：

任务获取模块，用于获取即时通讯软件的待执行任务；

流程确定模块，用于确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；

任务执行模块，用于基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

根据本公开的另一方面，提供了一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据前述一方面所述的即时通讯软件的自动控制方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据前述一方面所述的即时通讯软件的自动控制方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述一方面所述的即时通讯软件的自动控制方法。

本公开实施例中提供的一个或多个技术方案，通过获取即时通讯软件的待执行任务，并确定待执行任务对应的执行流程，执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数，进而基于每个操作步骤对应的UI元素和操作函数，依次执行执行流程中的每个操作步骤，以执行待执行任务。采用本公开的方案，能够自动执行任务，无需人工参与任务执行过程，实现了对即时通讯软件的自动化控制，能够将重复操作自动化，提高任务处理效率。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据本公开一示例性实施例的即时通讯软件的自动控制方法的流程图；

图2示出了根据本公开另一示例性实施例的即时通讯软件的自动控制方法的流程图；

图3示出了根据本公开又一示例性实施例的即时通讯软件的自动控制方法的流程图；

图4(a)示出了本公开一示例性实施例的包含即时通讯软件的消息列表界面的屏幕截图示意图；

图4(b)示出了本公开一示例性实施例的包含即时通讯软件的会话界面的屏幕截图示意图；

图5示出了本公开一示例性实施例的执行消息推送任务的过程示意图；

图6示出了本公开一示例性实施例的系统架构示意图；

图7示出了根据本公开示例性实施例的即时通讯软件的自动控制装置的示意性框图；

图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

以下参照附图描述本公开提供的即时通讯软件的自动控制方法、装置、电子设备及介质。

针对现有技术中在即时通讯软件的使用过程中，仍存在一些任务需要人工进行重复且繁琐的操作，智能化程度低，任务处理效率也低的问题，本公开提供了一种即时通讯软件的自动控制方案，主要基于Python语言的工具库PyAutoGUI和OpenCV实现。PyAutoGUI是一种Python库，能够用于自动化控制鼠标和键盘操作，实现自动点击、发送消息、添加好友和进行群管理等操作；OpenCV作为开源计算机视觉库，提供了图像处理和模式识别功能，利用OpenCV库对截取的屏幕图像进行图像处理和模式匹配，以识别并定位特定的UI元素，例如消息列表界面、会话界面、未读消息控件、工具栏，等等。本方案通过图像识别和模拟鼠标键盘操作，实现对即时通讯软件的自动化控制，包括但不限于未读消息回复、自动添加好友、创建群聊、群管理、给某个用户发消息，等等，从而提高任务处理效率，提高用户的工作效率。

图1示出了根据本公开一示例性实施例的即时通讯软件的自动控制方法的流程图，该方法可以由本公开实施例提供的即时通讯软件的自动控制装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中，所述电子设备包括手机、平板电脑等安装有即时通讯软件的设备。

如图1所示，该即时通讯软件的自动控制方法可以包括以下步骤：

步骤101，获取即时通讯软件的待执行任务。

其中，即时通讯软件的待执行任务，是指需要在即时通讯软件中执行的任务，例如给某用户发送消息、关键词推送、修改群名称、添加好友、创建群聊，等等。

在本公开的一种可选实施方式中，即时通讯软件可以设置自动回复功能，并针对自动回复功能设置对应的控制开关，如果控制开关处于开启状态，则即时通讯软件的自动回复功能开启，如果电子设备监测到即时通讯软件的自动回复功能开启，则可以按照预设的时间间隔触发消息回复任务作为待执行任务。其中，预设的时间间隔可以根据实际需求进行设置，例如，可以设置为5分钟、10分钟等。也就是说，当即时通讯软件开启自动回复功能时，电子设备每隔预设的时间间隔触发一次消息回复任务进行执行，以实现周期性的未读消息回复。

在本公开的一种可选实施方式中，电子设备与服务端之间可以通过长连接进行数据交互，服务端可以将需要即时通讯软件执行的任务通过长连接发送给电子设备的本地任务库进行存储，电子设备可以通过异步任务线程按照预设周期拉取本地任务库中的任务作为待执行任务。其中，预设周期可以根据实际需求进行设置。异步任务线程可以为一个也可以为多个，当异步任务线程为多个时，一次可以从本地任务库拉取多个任务，一个异步任务线程拉取一个任务。在执行异步任务线程所拉取的任务时，一次只能有一个异步任务线程中的任务被执行。

步骤102，确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数。

本公开实施例中，获取了待执行任务之后，可以进一步确定待执行任务对应的执行流程，执行流程中包括至少一个操作步骤，以及每个操作步骤对应的UI元素和操作函数。其中，UI元素可以是但不限于是未读消息控件、搜索控件、添加好友控件、会话界面的工具栏等元素中的至少一种，操作函数可以是但不限于是点击操作函数、复制操作函数、粘贴操作函数等行为函数中的至少一种。

作为一种示例，可以由人工根据在即时通讯软件中执行添加好友、发送消息、回复未读消息等任务需要执行的步骤，以及每步骤涉及到的UI元素和执行的操作(点击、复制等)，制作出每个任务的执行流程，执行流程中包含了执行相应任务需要操作的各步骤以及每个步骤相关的UI元素和操作函数，其中，操作函数根据各步骤中需要执行的操作确定，接着构建不同的任务与对应的执行流程之间的映射关系表，并将该映射关系表部署在电子设备中供电子设备查询。从而，电子设备获取了待执行任务后，可以查询该映射关系表，确定与该待执行任务对应的执行流程。

步骤103，基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

本公开实施例中，确定了待执行任务对应的执行流程之后，即可按照执行流程中各操作步骤的执行顺序，依次执行每个操作步骤，从而实现对待执行任务的自动执行。

其中，在执行每个操作步骤时，可以获取当前的屏幕截图，利用OpenCV库对截取的屏幕图像进行图像识别，以识别出屏幕截图中该操作步骤对应的UI元素，当识别到相应的UI元素时，调用该操作步骤对应的操作函数，以对该UI元素执行相应的操作，从而完成该操作步骤的执行。例如，假设操作函数为用于模拟用户点击操作的点击操作函数，则通过调用点击操作函数，可以对识别到的UI元素执行点击操作，从而使电子设备响应于该点击操作执行相应的动作。

本公开实施例的即时通讯软件的自动控制方法，通过获取即时通讯软件的待执行任务，并确定待执行任务对应的执行流程，执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数，进而基于每个操作步骤对应的UI元素和操作函数，依次执行执行流程中的每个操作步骤，以执行待执行任务。采用本公开的方案，能够自动执行任务，无需人工参与任务执行过程，实现了对即时通讯软件的自动化控制，能够将重复操作自动化，提高任务处理效率。

在本公开的一种可选实施方式中，如图2所示，在如图1所示实施例的基础上，步骤103可以包括以下子步骤：

步骤201，遍历所述执行流程，确定当前遍历的目标操作步骤。

本公开实施例中，确定了与待执行任务对应的执行流程之后，可以依次遍历该执行流程中的各操作步骤，确定当前遍历的操作步骤作为目标操作步骤进行执行。

能够理解的是，本公开实施例中，执行流程中的各操作步骤是按照执行任务的各步骤顺序构建的，各操作步骤是顺序执行的，因此，在执行上述待执行任务时，可以从执行流程中的第一个操作步骤开始遍历，先获取第一个操作步骤作为目标操作步骤进行执行，在执行完之后，再获取第二个操作步骤作为目标操作步骤进行执行，依次顺序遍历各操作步骤，直至执行流程中的每个操作步骤均执行完成，从而待执行任务执行完成。

步骤202，基于所述目标操作步骤对应的目标UI元素，对当前屏幕截图进行图像识别，以获取所述目标UI元素对应的屏幕坐标。

其中，当前屏幕截图中包含即时通讯软件的当前界面，该当前界面可以是进入即时通讯软件时显示的界面，也可以是上一操作步骤执行完后即时通讯软件所显示的界面。

本公开实施例中，确定了当前遍历的目标操作步骤之后，可以获取电子设备的当前屏幕截图，并对当前屏幕截图进行图像识别，以检测当前屏幕截图中是否存在该目标操作步骤对应的目标UI元素，如果从当前屏幕截图中检测到目标UI元素，则可以获取到目标Ui元素对应的屏幕坐标。能够理解的是，屏幕坐标是以电子设备的整个屏幕为基础的坐标系中的坐标值，该坐标系通常以左上角为原点(0,0)，坐标系中右下角的坐标点的坐标为(screen.width,screen.height)，其中，screen.width表示屏幕宽度，screen.height表示屏幕高度。如果从当前屏幕截图中未检测到目标UI元素，则结束本次待执行任务的执行。

需要说明的是，本公开实施例中，可以采用目前常用的位置信息获取方式来获取当前屏幕截图中目标UI元素的屏幕坐标，本公开对具体的屏幕坐标获取方案不作限制。另外，屏幕坐标可以用目标UI元素对应的检测框的中心点坐标表示，也可以用目标UI元素对应的检测框的顶点坐标表示，本公开对此不作限制。

在本公开的一种可选实施方式中，在对当前屏幕截图进行图像识别之前，可以先使用图像处理技术如边缘检测、颜色过滤等，对当前屏幕截图进行预处理，以提高图像质量，从而提高识别准确性。

步骤203，基于所述屏幕坐标调用所述目标操作步骤对应的目标操作函数，以执行与所述目标操作函数相应的操作。

本公开实施例中，确定了目标UI元素对应的屏幕坐标之后，可以基于该屏幕坐标，调用目标操作步骤对应的目标操作函数，以执行与目标操作函数相应的操作。

示例性地，假设目标操作函数为点击操作函数，则基于目标UI元素对应的屏幕坐标，调用点击操作函数对该屏幕坐标进行点击操作，即实现了对目标UI元素的点击操作，电子设备响应于该点击操作，在屏幕中显示相关的下一界面，或者执行相应的动作。需要说明的是，在调用点击操作函数对该屏幕坐标进行点击操作时，如果屏幕坐标是用目标UI元素对应的检测框的四个顶点的坐标表示的，则可以调用点击操作函数对四个顶点的坐标中的任一坐标进行点击操作，即可实现对目标UI元素的点击操作，或者，也可以随机获取一个位于四个顶点的坐标范围内的坐标，基于该坐标调用点击操作函数也可以实现对目标UI元素的点击操作。

示例性地，假设目标操作函数为复制操作函数，目标UI元素为会话界面的工具栏，则基于工具栏对应的屏幕坐标向上偏移一定距离，可以定位到会话界面中的消息展示区域，进而调用复制操作函数在消息展示区域进行左右识别，可以识别消息展示区域左右两边的消息，当从右边识别到消息时，可以将在此之前识别到的坐标消息确定为未读消息。由此，实现了模拟用户的复制动作获取未读消息。

本公开实施例的即时通讯软件的自动控制方法，通过遍历执行流程，确定当前遍历的目标操作步骤，并基于目标操作步骤对应的目标UI元素，对当前屏幕截图进行图像识别，以获取目标UI元素对应的屏幕坐标，进而基于屏幕坐标调用目标操作步骤对应的目标操作函数，以执行与目标操作函数相应的操作，由此，通过逐步操作完成了任务的执行，实现了对即时通讯软件中任务的自动控制。

在本公开的一种可选实施方式中，待执行任务可以为消息回复任务，即识别未读消息并进行回复，针对消息回复任务，对应的执行流程可以包括第一操作步骤、第二操作步骤和第三操作步骤，其中，第一操作步骤对应的UI元素为未读消息控件以及对应的操作函数包括点击操作函数，未读消息控件用于指示存在相应用户发来的消息未读，例如未读消息控件可以是红点控件，通常显示在发送消息的用户头像的右上角；第二操作步骤对应的UI元素为会话界面的工具栏和发送控件，以及对应的操作函数包括复制操作函数、粘贴操作函数和点击操作函数，其中，会话界面的工具栏可以包括标签控件、截图控件、语音聊天控件、视频聊天控件。从而，本实施例中，基于每个操作步骤对应的UI元素和操作函数，依次执行执行流程中的每个操作步骤，包括依次执行第一操作步骤和第二操作步骤，其中，执行第一操作步骤的过程如图3所示。

如图3所示，执行第一操作步骤的过程可以包括以下子步骤：

步骤301，在识别到消息列表界面存在所述未读消息控件的情况下，获取所述未读消息控件的屏幕坐标。

本公开实施例中，在执行消息回复任务时，可以先获取包含即时通讯软件的消息列表界面的屏幕截图，接着通过OpenCV库对该屏幕截图进行图像识别，以识别消息列表界面中是否存在未读消息控件，如果识别到未读消息控件，则可以获得未读消息控件的屏幕坐标。如果未识别到未读消息控件，则表明无未读消息需要回复，则结束执行本次任务。

步骤302，基于所述未读消息控件的屏幕坐标，调用所述点击操作函数对所述消息列表界面的未读消息控件执行点击操作，以使所述即时通讯软件进入对应的会话界面。

本公开实施例中，识别到未读消息控件的屏幕坐标后，可以基于该屏幕坐标，调用点击操作函数对该屏幕坐标进行点击操作，即实现了对消息列表界面的未读消息控件执行点击操作，响应于该点击操作，即时通讯软件进入对应的会话界面。

进一步地，执行完第一操作步骤之后，继续执行第二操作步骤，如图3所示，第二操作步骤的执行过程包括以下步骤：

步骤303，获取所述会话界面中所述工具栏的屏幕坐标和所述发送控件的屏幕坐标。

本公开实施例中，第一操作步骤执行完后，即时通讯软件进入到会话界面，开始第二操作步骤的执行。在执行第二操作步骤时，可以获取包含会话界面的屏幕截图，并通过OpenCV库对该屏幕截图进行图像识别，以识别会话界面中的工具栏并获取工具栏对应的屏幕坐标，以及识别会话界面中的发送控件并获取发送控件的屏幕坐标。

步骤304，基于所述工具栏的屏幕坐标，调用所述复制操作函数获取未读消息。

本公开实施例中，识别到会话界面中工具栏的屏幕坐标后，可以基于工具栏的屏幕坐标，调用复制操作函数来获取会话界面中对方用户发送的未读消息。

在本公开的一种可选实施方式中，在调用复制操作函数获取未读消息时，可以先基于工具栏的屏幕坐标和预设的纵向偏移量，确定第i次消息获取的遍历区域坐标，其中，i为正整数，i的初始值为1，纵向偏移量可以根据实际需求进行设定，纵向偏移量可以是预设个数的像素点对应的步长，例如，纵向偏移量可以为10个像素点对应的步长。其中，工具栏的屏幕坐标可以由工具栏对应的检测框的四个顶点的坐标表示。能够理解的是，第i次消息获取的遍历区域坐标的横坐标最大值可以与工具栏的屏幕坐标的横坐标最大值一致，其横坐标最小值可以与工具栏的屏幕坐标的横坐标最小值一致，而第i次消息获取的遍历区域坐标的纵坐标最大值为工具栏的屏幕坐标的纵坐标最大值+i*纵向偏移量，同理，第i次消息获取的遍历区域坐标的纵坐标最小值为工具栏的屏幕坐标的纵坐标最小值+i*纵向偏移量。

接着，基于第i次消息获取的遍历区域坐标，调用复制操作函数获取第i次获取的消息数据，并获取第i次获取的消息数据所在区域的屏幕坐标。能够理解的是，如果遍历区域坐标所指示的消息区域不包含消息，则复制操作函数获取不到消息数据，也无需获取消息数据对应的屏幕坐标；如果遍历区域坐标所指示的消息区域包含消息，则通过复制操作函数可以获取到具体地消息数据，进而可以获取消息数据所在区域的屏幕坐标。能够理解的是，将屏幕的左上角作为坐标原点(0,0)，对方用户发送的消息对应的横坐标最小值要小于己方用户发送的消息对应的横坐标最小值，对于对方用户发送的不同消息，其横坐标最小值是一样的。因此，本实施例中，对于第i次获取到的消息数据，可以将第i次获取的消息数据所在区域的屏幕坐标的横坐标最小值与第i-1次获取的消息数据所在区域的屏幕坐标的横坐标最小值进行比较，如果第i次获取的消息数据所在区域的屏幕坐标的横坐标最小值，大于第i-1次获取的消息数据所在区域的屏幕坐标的横坐标最小值，则可以确定第i次获取的消息数据为己方用户发送的消息，从而可以将第i-1次及其之前获取的消息数据确定为未读消息。

实际应用中，通常会存在消息已读未回的情况，比如对方用户回复的“好的”、“收到”等无需回复的消息，因此，通过上述方式获取到的未读消息可能存在已读的历史消息，导致获取的未读消息不准确，这种情况下，可以结合识别到的未读消息数量来最终确定未读消息。通常，当某个用户发来消息时，在该用户的头像右上方显示未读消息控件的同时还会在未读消息控件中显示未读消息的数量，例如，红点控件作为未读消息控件，在红点控件内显示阿拉伯数字来表示未读消息的数量。从而，在本公开的一种可选实施方式中，在识别消息列表界面的未读消息控件时，可以同步识别未读消息控件中的阿拉伯数字，并获取该阿拉伯数字作为未读消息控件对应的未读消息数量，进而在将第i-1次及其之前获取的消息数据确定为未读消息时，可以先比较该未读消息数量与i-1的大小，如果两者一样大，则未读消息的个数即为i-1个，可以将第i-1次及其之前获取的消息数据确定为未读消息；而如果未读消息数量小于i-1，则表明第i-1次及其之前获取的消息数据中存在已读消息，这种情况下，可以将第i-1次及其之前获取的消息数据按照获取的先后顺序进行排序，得到消息列表，其中，先获取的消息数据排序在前，也就是说，第一次获取的消息数据排在消息列表的最前面，第i-1次获取的消息数据排在消息列表的最后面。进而可以从消息列表中获取排序在前的未读消息数量个消息数据作为未读消息。例如，识别的未读消息数量为2，则获取消息列表中排序在前的2个消息数据作为未读消息。由此，能够从获取的多条消息数据中筛选出真正的未读消息，保证获取的未读消息的准确性。

步骤305，获取所述未读消息对应的回复消息。

本公开实施例中，确定了未读消息之后，可以获取未读消息对应的回复消息。

作为一种示例，可以将获取的未读消息通过与服务端之间的长连接发送给服务端，由服务端通过对未读消息进行分析生成相应的回复消息，并通过长连接将回复消息反馈给电子设备。其中，服务端在生成未读消息对应的回复消息时，可以基于预设的自动回复内容返回回复消息，例如预设的自动回复内容可以为“在忙，稍后回复”；或者，服务端也可以接入ChatGPT接口，通过ChatGPT接口获取未读消息对应的回复消息，实现了利用ChatGPT的自然语言处理能力生成智能化的自动回复。

作为另一种示例，可以在电子设备中接入不同业务对应的数据获取接口，在获取到未读消息后，根据未读消息确定对应的业务类型，进行调用与该业务类型匹配的数据获取接口来获取未读消息对应的回复消息。

步骤306，基于所述工具栏的屏幕坐标，调用所述粘贴操作函数将所述回复消息粘贴在会话框中。

本公开实施例中，确定了未读消息对应的回复消息之后，可以基于工具栏的屏幕坐标，将该屏幕坐标向下偏移预设步长，得到会话框对应的屏幕坐标，其中，预设步长可以根据会话框在纵向方向上所占的像素点数确定。接着，可以基于会话框对应的屏幕坐标，调用粘贴操作函数将回复消息粘贴在会话框中。

步骤307，基于所述发送控件的屏幕坐标，调用所述点击操作函数对所述会话界面的发送控件执行点击操作，以发送所述回复消息。

本公开实施例中，在将回复消息粘贴在会话框之后，即可基于发送控件的屏幕坐标，调用点击操作函数对发送控件的屏幕坐标执行点击操作，实现对会话界面的发送控件执行点击操作，进而响应于该点击操作，将回复消息发送出去，实现了对未读消息的自动回复。

示例性地，图4(a)示出了本公开一示例性实施例的包含即时通讯软件的消息列表界面的屏幕截图示意图，在执行消息回复任务时，先对图4(a)所示的屏幕截图进行图像识别，可以识别到用户甲的头像上的未读消息控件41以及识别到未读消息数量为2，并获取到未读消息控件41对应的屏幕坐标。接着，可以通过PyAutoGUI的点击操作函数对未读消息控件41对应的屏幕坐标执行点击操作，进入图4(b)所示的会话界面。从图4(b)可以看出，进入用户甲的会话界面之后，用户甲的头像上的未读消息控件即消失。接着，对图4(b)所示的会话界面的屏幕截图进行识别，识别到会话界面的工具栏42并可以获得工具栏42对应的屏幕坐标，以及识别到会话界面的发送控件43并可以获得发送控件43的屏幕坐标。接着，可以基于工具栏42对应的屏幕坐标和预设的纵向偏移量，每次向上偏移一个纵向偏移量，通过调用PyAutoGUI的复制操作函数获得消息1和消息2作为未读消息。进而获取未读消息对应的回复消息，通过调用PyAutoGUI的粘贴操作函数将回复消息粘贴在会话框44中，接着基于发送控件43的屏幕坐标，调用PyAutoGUI的点击操作函数将回复消息发送出去，实现对未读消息的自动回复。

本公开的即时通讯软件的自动控制方法，对于消息回复任务，通过获取对应的执行流程，进而逐步执行执行流程中的各操作步骤，实现了对未读消息的自动回复功能。

在本公开的一种可选实施方式中，当电子设备获取即时通讯软件的账号信息失败时，可以确定即时通讯软件处于未登录状态，此时可以获取即时通讯软件的登录界面，其中，登录界面可以是账号密码登录界面，也可以是二维码登录界面，接着，可以在屏幕上展示该登录界面，以使用户通过该登录界面登录该即时通讯软件。用户登录之后，即时通讯软件即处于登录状态，响应于即时通讯软件处于登录状态，可以进一步获取即时通讯软件中当前登录账号的账号信息，其中，账号信息可以为用户名、手机号等，进而基于该账号信息与服务端建立长连接，以通过长连接与服务端进行交互。例如，可以通过长连接接收服务端下发的任务、向服务端发送未读消息以获取对应的回复消息，等等。需要说明的是，本公开实施例中，账号信息是在获得用户授权的前提下获取的。

在本公开的一种可选实施方式中，服务端通过提供的应用程序接口(ApplicationProgramming Interface，API)可以方便的集成到具体的业务中，例如提供“手机号加好友”这一API接口来供用户下发加好友的任务，提供“给某人发消息”这一API接口来供用户下发给某个用户发送消息的任务，提供“批量发送消息”这一API接口供用户下发给多个用户发送消息的任务，等等。以主动推送日常任务消息为例，图5示出了本公开一示例性实施例的执行消息推送任务的过程示意图，如图5所示，用户通过“给某人发消息”这一API接口下发消息推送任务为“任务1-1，用户X推送给客户A消息‘你好！’”，该任务的结构如下：

服务端接收到该任务后，先查找用户X在服务端的socket长连接会话，通过长连接将该任务发送给用户X对应的即时通讯软件所属的电子设备，电子设备接收到该任务后，先通过OpenCV识别即时通讯软件的搜索框，获取搜索框的屏幕坐标，接着，通过PyAutoGUI操作键鼠点击搜索框输入客户A名称，命中后继续操作键鼠将对应消息内容复制到会话框后点击发送。之后，电子设备可以通过socket长连接向服务端返回“任务1-1”的执行结果。

本公开的即时通讯软件的自动控制方案，可以搭建为一种机器人客户端，通过该机器人客户端实现对即时通讯软件的自动托管。其中，该机器人客户端的部署方式有两种：一是云桌面部署，云桌面提供了集中管理和监控的能力，便于管理员对机器人客户端和即时通讯软件进行统一管理和维护；二是个人电子设备部署，这种部署方式相对简单，用户可以直接在自己的电子设备(例如电脑)上安装和运行该机器人客户端和即时通讯软件客户端，由此即可通过机器人客户端自动托管即时通讯软件客户端。该机器人客户端具有简单易用、高效稳定的特点，可广泛应用于对即时通讯软件协作托管场景。

以本公开的方案部署在个人电脑上对即时通讯软件进行自动托管为例，图6示出了本公开一示例性实施例的系统架构示意图，包括服务端和个人电脑端，如图6所示，服务端包括基于Java实现的API服务部分和基于Python实现的AI能力部分，API服务部分主要提供一些API接口，包括但不限于对即时通讯软件的账号状态进行管理的账号状态管理接口、关键词回复接口、手机号加好友接口、修改群名称接口、修改群公告接口和关键词拉群接口；AI能力部分主要提供大语言模型、知识库和工具链。个人电脑端携带即时通讯软件当前登录人通过socket与服务端建立连接，服务端与个人电脑端通过socket长连接进行数据交互，个人电脑端提供websocket端口来接收服务端下发的任务，并将接收的任务存储在本地任务库中。个人电脑端通过定时任务异步拉取本地任务库中的任务并处理。个人电脑端还提供键盘热键感知功能，暂停、恢复模拟点击线程。个人电脑端通过主线程执行消息回复任务，主要通过PyAutoGUI来扫描获取聊天列表中的未读消息，并自动回复未读消息。

本公开示例性实施例还提供了一种即时通讯软件的自动控制装置。图7示出了根据本公开示例性实施例的即时通讯软件的自动控制装置的示意性框图，如图7所示，该即时通讯软件的自动控制装置60包括：任务获取模块610、流程确定模块620和任务执行模块630。

其中，任务获取模块610，用于获取即时通讯软件的待执行任务；

流程确定模块620，用于确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；

任务执行模块630，用于基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

可选地，所述任务执行模块630，还用于：

遍历所述执行流程，确定当前遍历的目标操作步骤；

基于所述目标操作步骤对应的目标UI元素，对当前屏幕截图进行图像识别，以获取所述目标UI元素对应的屏幕坐标；

基于所述屏幕坐标调用所述目标操作步骤对应的目标操作函数，以执行与所述目标操作函数相应的操作。

可选地，所述任务获取模块610，还用于：

响应于监测到所述即时通讯软件的自动回复功能开启，按照预设的时间间隔触发消息回复任务作为所述待执行任务；

或者，

通过异步任务线程按照预设周期拉取本地任务库中的任务作为所述待执行任务，其中，所述本地任务库中的任务是通过与服务端之间的长连接从所述服务端接收的。

可选地，所述待执行任务为消息回复任务，所述执行流程包括第一操作步骤和第二操作步骤，所述第一操作步骤对应的UI元素为未读消息控件以及对应的操作函数包括点击操作函数，所述第二操作步骤对应的UI元素为会话界面的工具栏和发送控件，以及对应的操作函数包括复制操作函数、粘贴操作函数和点击操作函数；

并且其中，所述任务执行模块630，还用于：

执行所述第一操作步骤，包括：

在识别到消息列表界面存在所述未读消息控件的情况下，获取所述未读消息控件的屏幕坐标；

基于所述未读消息控件的屏幕坐标，调用所述点击操作函数对所述消息列表界面的未读消息控件执行点击操作，以使所述即时通讯软件进入对应的会话界面；

执行所述第二操作步骤，包括：

获取所述会话界面中所述工具栏的屏幕坐标和所述发送控件的屏幕坐标；

基于所述工具栏的屏幕坐标，调用所述复制操作函数获取未读消息；

获取所述未读消息对应的回复消息；

基于所述工具栏的屏幕坐标，调用所述粘贴操作函数将所述回复消息粘贴在会话框中；

基于所述发送控件的屏幕坐标，调用所述点击操作函数对所述会话界面的发送控件执行点击操作，以发送所述回复消息。

可选地，所述任务执行模块630，还用于：

基于所述工具栏的屏幕坐标和预设的纵向偏移量，确定第i次消息获取的遍历区域坐标，其中，i为正整数，i的初始值为1；

基于所述第i次消息获取的遍历区域坐标，调用所述复制操作函数获取第i次获取的消息数据，并获取所述第i次获取的消息数据所在区域的屏幕坐标；

响应于所述第i次获取的消息数据所在区域的屏幕坐标的横坐标最小值，大于第i-1次获取的消息数据所在区域的屏幕坐标的横坐标最小值，则将第i-1次及其之前获取的消息数据确定为未读消息，其中，屏幕的左上角点为坐标原点。

可选地，所述任务执行模块630，还用于：

获取所述未读消息控件对应的未读消息数量；

比较所述未读消息数量与i-1的大小；

响应于所述未读消息数量小于i-1，将第i-1次及其之前获取的消息数据按照获取的先后顺序进行排序，得到消息列表，其中，先获取的消息数据排序在前；

从所述消息列表中获取排序在前的所述未读消息数量个消息数据作为所述未读消息。

可选地，所述即时通讯软件的自动控制装置，还包括：连接建立模块；

所述连接建立模块，用于：

响应于获取所述即时通讯软件的账号信息失败，获取所述即时通讯软件的登录界面；

展示所述登录界面，以使用户通过所述登录界面登录所述即时通讯软件；

响应于所述即时通讯软件处于登录状态，获取所述即时通讯软件中当前登录账号的账号信息；

基于所述账号信息与服务端建立长连接，以通过所述长连接与所述服务端进行交互。

本公开实施例所提供的即时通讯软件的自动控制装置，可执行本公开实施例所提供的任意可应用于电子设备的即时通讯软件的自动控制方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的即时通讯软件的自动控制方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的即时通讯软件的自动控制方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的即时通讯软件的自动控制方法。

参考图8，现将描述可以作为本公开的服务器或客户端的电子设备1100的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106、输出单元1107、存储单元1108以及通信单元1109。输入单元1106可以是能向电子设备1100输入信息的任何类型的设备，输入单元1106可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1107可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1108可以包括但不限于磁盘、光盘。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理。例如，在一些实施例中，即时通讯软件的自动控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。在一些实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行即时通讯软件的自动控制方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

Claims (10)

1.一种即时通讯软件的自动控制方法，其中，所述方法包括：

获取即时通讯软件的待执行任务；

确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；

基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

2.如权利要求1所述的即时通讯软件的自动控制方法，其中，所述基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，包括：

遍历所述执行流程，确定当前遍历的目标操作步骤；

基于所述目标操作步骤对应的目标UI元素，对当前屏幕截图进行图像识别，以获取所述目标UI元素对应的屏幕坐标；

基于所述屏幕坐标调用所述目标操作步骤对应的目标操作函数，以执行与所述目标操作函数相应的操作。

3.如权利要求1所述的即时通讯软件的自动控制方法，其中，所述获取即时通讯软件的待执行任务，包括：

响应于监测到所述即时通讯软件的自动回复功能开启，按照预设的时间间隔触发消息回复任务作为所述待执行任务；

或者，

通过异步任务线程按照预设周期拉取本地任务库中的任务作为所述待执行任务，其中，所述本地任务库中的任务是通过与服务端之间的长连接从所述服务端接收的。

4.如权利要求3所述的即时通讯软件的自动控制方法，其中，

所述待执行任务为消息回复任务，所述执行流程包括第一操作步骤和第二操作步骤，所述第一操作步骤对应的UI元素为未读消息控件以及对应的操作函数包括点击操作函数，所述第二操作步骤对应的UI元素为会话界面的工具栏和发送控件，以及对应的操作函数包括复制操作函数、粘贴操作函数和点击操作函数；

并且其中，所述基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，包括：

执行所述第一操作步骤，包括：

在识别到消息列表界面存在所述未读消息控件的情况下，获取所述未读消息控件的屏幕坐标；

基于所述未读消息控件的屏幕坐标，调用所述点击操作函数对所述消息列表界面的未读消息控件执行点击操作，以使所述即时通讯软件进入对应的会话界面；

执行所述第二操作步骤，包括：

获取所述会话界面中所述工具栏的屏幕坐标和所述发送控件的屏幕坐标；

基于所述工具栏的屏幕坐标，调用所述复制操作函数获取未读消息；

获取所述未读消息对应的回复消息；

基于所述工具栏的屏幕坐标，调用所述粘贴操作函数将所述回复消息粘贴在会话框中；

基于所述发送控件的屏幕坐标，调用所述点击操作函数对所述会话界面的发送控件执行点击操作，以发送所述回复消息。

5.如权利要求4所述的即时通讯软件的自动控制方法，其中，所述基于所述工具栏的屏幕坐标，调用所述复制操作函数获取未读消息，包括：

基于所述工具栏的屏幕坐标和预设的纵向偏移量，确定第i次消息获取的遍历区域坐标，其中，i为正整数，i的初始值为1；

基于所述第i次消息获取的遍历区域坐标，调用所述复制操作函数获取第i次获取的消息数据，并获取所述第i次获取的消息数据所在区域的屏幕坐标；

响应于所述第i次获取的消息数据所在区域的屏幕坐标的横坐标最小值，大于第i-1次获取的消息数据所在区域的屏幕坐标的横坐标最小值，则将第i-1次及其之前获取的消息数据确定为未读消息，其中，屏幕的左上角点为坐标原点。

6.如权利要求5所述的即时通讯软件的自动控制方法，其中，所述执行所述第一操作步骤，还包括：

获取所述未读消息控件对应的未读消息数量；

并且其中，所述将第i-1次及其之前获取的消息数据确定为未读消息，包括：

比较所述未读消息数量与i-1的大小；

响应于所述未读消息数量小于i-1，将第i-1次及其之前获取的消息数据按照获取的先后顺序进行排序，得到消息列表，其中，先获取的消息数据排序在前；

从所述消息列表中获取排序在前的所述未读消息数量个消息数据作为所述未读消息。

7.如权利要求1-6任一项所述的即时通讯软件的自动控制方法，其中，所述方法还包括：

响应于获取所述即时通讯软件的账号信息失败，获取所述即时通讯软件的登录界面；

展示所述登录界面，以使用户通过所述登录界面登录所述即时通讯软件；

响应于所述即时通讯软件处于登录状态，获取所述即时通讯软件中当前登录账号的账号信息；

基于所述账号信息与服务端建立长连接，以通过所述长连接与所述服务端进行交互。

8.一种即时通讯软件的自动控制装置，其中，所述装置包括：

任务获取模块，用于获取即时通讯软件的待执行任务；

流程确定模块，用于确定所述待执行任务对应的执行流程，所述执行流程包括至少一个操作步骤以及每个操作步骤对应的UI元素和操作函数；

任务执行模块，用于基于所述每个操作步骤对应的UI元素和操作函数，依次执行所述执行流程中的每个操作步骤，以执行所述待执行任务。

9.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-7中任一项所述的即时通讯软件的自动控制方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的即时通讯软件的自动控制方法。