CN114996104A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：接收对目标数据库的监控指令，获取监控指令中的监控时间段，调用数据采集组件，以采集目标数据库在监控时间段内不同时间点下的运行指标数据；将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；确定与监控指标对应的展示区域，调用与展示区域对应的数据展示组件，以按照与监控指标对应的展示方式，在展示区域展示目标数据库在监控时间段内不同时间点下的监控指标数据。该实施方式通过扩充运行指标，相应所得监控指标数量也随之增加，不同监控指标下数据的展示方式可以自定义设置，以此实现监控指标数据的可视化展示。

Description

一种数据处理方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。

背景技术

随着数字经济的发展、IT(Internet Technology，互联网技术)数字化技术的全面渗透，企业的应用越来越复杂。对于企业的业务系统而言，业务和系统的复杂性决定生产环境中不止一种数据库和一个数据库以支撑业务的运行，由此统一、自动化的对这些数据库的运维监控需求应运而生。

在监控维度上，现有一般是支持基础的数据库指标采集和直接展示，不支持系统分析和以特定形式展示，且依赖人工操作，对人员操作性能要求较高；在运维维度上，现有也仅支持基础的数据库运维操作，所提供的功能有限。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，至少能够解决现有技术只能监控数据库的基础指标数据和支持基础运维操作，依赖人工，且对人员操作性能要求较高的现象。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：

接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

可选的，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据，包括：

调用数据库客户端组件，基于所述目标数据库的登陆端口，对传输的用户名和密码进行验证；

响应于验证结果为通过，通过与所述目标数据库对应的查询语句，从与所述目标数据库对应的实例中，获取所述目标数据库在所述监控时间段内不同时间点下的运行指标数据。

可选的，在所述采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据之后，还包括：

将所述运行指标数据以时序形式存储至第一数据库中；其中，时序形式由表名、数据采集时间、指标名称和指标数据中的一项或多项组成，所述表名为用于存储运行指标数据的表的名称；以及

接收输入的第一数据过滤条件，以从所述第一数据库中查询符合所述第一过滤条件的目标运行指标数据；其中，所述第一过滤条件包括数据采集时间范围、指标名称和表名中的一项或多项。

可选的，所述方法还包括：

调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据；

确定与日志数据对应的展示区域，调用与日志数据展示区域对应的数据展示组件，以按照与日志数据对应的展示方式，在日志数据展示区域逐行展示每个日志数据。

可选的，所述日志数据为慢查询记录，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据，包括：

调用慢日志采集组件，以采集所述目标数据库在所述监控时间段内的慢查询日志数据，解析所述慢查询日志数据得到慢查询记录；其中，慢查询日志数据包括所述目标数据库所处理的、且处理时长超过预设时长的查询请求的处理记录。

可选的，所述日志数据为错误日志数据，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据，包括：

调用部署在所述目标数据库上的采集客户端组件，以获取所述采集客户端组件对所述目标数据库采集的在所述监控时间段内的错误日志数据；其中，错误日志数据用于记录所述目标数据库运行的错误数据。

可选的，在所述调用与日志数据展示区域对应的数据展示组件之前，还包括：

将所述日志数据存储至第二数据库中；以及

接收输入的第二过滤条件，以从所述第二数据库中查询符合所述第二过滤条件的目标日志数据；其中，所述第二过滤条件包括数据采集时间范围和日志数据名称中的一项或多项。

可选的，所述方法还包括：

接收对所述目标数据库的运维检测信息，从所述目标数据库的字典中获取所述目标数据库的元数据；

根据所述元数据从实例表查询所述目标数据库的运维数据；其中，所述运维数据中包括所述目标数据库下每个子数据库、每个子数据库下表的运维数据；

比对每个运维数据和相应预设运维阈值，以筛选出异常运维数据，确定与所述异常运维数据对应的子数据库或表，以生成与子数据库或表对应的告警信息。

可选的，所述方法还包括：

接收对所述目标数据库的运维管理操作，显示运维工具列表；其中，运维工具列表包括创建用户、为用户分配权限、备份恢复、数据库下表的创建删除、数据库运行参数列表查看修改中的一项或多项；

响应于收到对所述运维工具列表中目标运维工具的选择操作，确定与所述目标运维工具对应的运维流程，触发对所述运维流程的执行操作，得到运维执行结果。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理装置，包括：

采集模块，用于接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

计算模块，用于将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

展示模块，用于确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

可选的，所述采集模块，用于：

调用数据库客户端组件，基于所述目标数据库的登陆端口，对传输的用户名和密码进行验证；

响应于验证结果为通过，通过与所述目标数据库对应的查询语句，从与所述目标数据库对应的实例中，获取所述目标数据库在所述监控时间段内不同时间点下的运行指标数据。

可选的，还包括存储模块，用于：

将所述运行指标数据以时序形式存储至第一数据库中；其中，时序形式由表名、数据采集时间、指标名称和指标数据中的一项或多项组成，所述表名为用于存储运行指标数据的表的名称；以及

接收输入的第一数据过滤条件，以从所述第一数据库中查询符合所述第一过滤条件的目标运行指标数据；其中，所述第一过滤条件包括数据采集时间范围、指标名称和表名中的一项或多项。

可选的，所述装置还包括日志数据计算模块，用于：

调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据；

确定与日志数据对应的展示区域，调用与日志数据展示区域对应的数据展示组件，以按照与日志数据对应的展示方式，在日志数据展示区域逐行展示每个日志数据。

可选的，所述日志数据计算模块，用于：

调用慢日志采集组件，以采集所述目标数据库在所述监控时间段内的慢查询日志数据，解析所述慢查询日志数据得到慢查询记录；其中，慢查询日志数据包括所述目标数据库所处理的、且处理时长超过预设时长的查询请求的处理记录。

可选的，所述日志数据计算模块，用于：

调用部署在所述目标数据库上的采集客户端组件，以获取所述采集客户端组件对所述目标数据库采集的在所述监控时间段内的错误日志数据；其中，错误日志数据用于记录所述目标数据库运行的错误数据。

可选的，所述日志数据计算模块，还用于：

将所述日志数据存储至第二数据库中；以及

接收输入的第二过滤条件，以从所述第二数据库中查询符合所述第二过滤条件的目标日志数据；其中，所述第二过滤条件包括数据采集时间范围和日志数据名称中的一项或多项。

可选的，所述装置还包括数据库运维检测模块，用于：

接收对所述目标数据库的运维检测信息，从所述目标数据库的字典中获取所述目标数据库的元数据；

根据所述元数据从实例表查询所述目标数据库的运维数据；其中，所述运维数据中包括所述目标数据库下每个子数据库、每个子数据库下表的运维数据；

比对每个运维数据和相应预设运维阈值，以筛选出异常运维数据，确定与所述异常运维数据对应的子数据库或表，以生成与子数据库或表对应的告警信息。

可选的，所述装置还包括数据库运维管理模块，用于：

接收对所述目标数据库的运维管理操作，显示运维工具列表；其中，运维工具列表包括创建用户、为用户分配权限、备份恢复、数据库下表的创建删除、数据库运行参数列表查看修改中的一项或多项；

响应于收到对所述运维工具列表中目标运维工具的选择操作，确定与所述目标运维工具对应的运维流程，触发对所述运维流程的执行操作，得到运维执行结果。

为实现上述目的，根据本发明实施例的再一方面，提供了一种数据处理电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据处理方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理方法。

根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：为了降低数据库运维门槛，提升运维效率，提供监控指标数据和日志数据的可视化展示，且可以展示在不同页面上，通过扩充运行指标，相应所得监控指标数量也随之增加，不同监控指标下数据的展示方式可以自定义设置；扩展数据库运维工具集，使得数据库运维功能更加全面，以及能够更加智能化的处理异常。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据处理方法的主要流程示意图；

图2是本方案实施框架图；

图3是监控指标数据展示示意图；

图4根据本发明实施例的一种可选的数据处理方法的流程示意图；

图5是日志数据展示示意图；

图6是根据本发明实施例的另一种可选的数据处理方法的流程示意图；

图7是根据本发明实施例的一种数据处理装置的主要模块示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

参见图1，示出的是本发明实施例提供的一种数据处理方法的主要流程图，包括如下步骤：

S101：接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

S102：将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

S103：确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

上述实施方式中，现有业务系统往往只支持数据库的基本监控，通过配置基础指标以采集基础指标数据，然后展示数据库的运行状态，该过程仍然需要运维人工的观察和分析操作，需要具备高级的数据库运维能力，因而对运维人员要求较高。此处基础指标如数据库运行时间、QPS(Query Per Second，数据库每秒处理的请求次数)、TPS(Transactionprocessing systems，数据库每秒处理的事务数量)等。

对于步骤S101～S103，参见图2所示，本方案框架分为数据库实例、数据采集层、数据存储层、数据计算层和数据展示层：

1、数据库实例，包括一个或多个正在运行和对外提供服务的数据库，常见如Mysql、Oracle等。因为系统的概念较为宽泛，本方案称为数据库实例，一个数据库实例下包括一个或多个数据库，一个数据库下配置有一个或多个子数据库，每个子数据库下配置有一个或多个表。

2、数据采集层，用于响应于用户对数据库实例中某一个数据库(即目标数据库)的选择操作，触发对该目标数据库的监控指令，或接收用户对数据库实例中目标数据库的监控指令，以从该目标数据库中采集其运行指标数据。也可以在数据库实例启动时自动轮询各个数据库，此时目标数据库为每个数据库。

本方案通过分析数据库运行的常用指标以及场景，从目标数据库采集连接、会话、进程以及存储引擎等40+种运行指标数据，包括：

1)基础指标：启动时间、读写比例基础数据、慢查询数量、慢查询比例、打开的文件数、临时表数量共7种指标。

2)吞吐量：每秒事务数、每秒SQL语句执行次数QPS、每秒接收的数据、每秒发送的数据、每秒读次数、每秒写次数、每秒DML操作次数、每秒DQL(Data QueryLanguage，数据查询语言)操作次数、每秒select|update|insert|delete|replace语句执行次数等。

3)连接：累计连接数、忽略的连接数、忽略的连接数比例、锁定的连接数以及忽略的连接数和比例4种指标。

4)会话：全部会话数量和活跃会话数量2种指标。

5)存储引擎：InnoDB平均每秒读写字节数、平均每秒写字节数、读缓存命中率、InnoDB Buffer Poll使用率％、InnoDB Buffer Poll脏页(当内存数据页跟磁盘数据页内容不一致的时候，称这个内存页为“脏页”)比例％、InnoDB平均每秒fsync操作次数、InnoDB平均每秒读取|插入|更新|删除的行数、InnoDB平均每秒物理写Redo Log File次数、平均每秒向日志文件完成fsync()写数量、平均每秒从Buffer Pool读取|写入页的次数(逻辑读)、InnoDB Buffer Pool刷Page请求数量、InnoDB表平均等待row locks次数、InnoDB表平均等待row locks时间(ms)、InnoDB表最大等待row locks时间(ms)等。

本方案设置数据库客户端组件，如MySQL cli、Oracle cli，MySQL cli和Oraclecli运行在sql-check server上，代码中称之为定时任务模块，通常10s就会连接到目标数据上以采集运行指标数据。具体地：

S1：调用数据库客户端组件，基于目标数据库的登陆端口，对传输的用户名和密码进行验证；

S2：响应于验证结果为通过，通过与目标数据库对应的查询语句，从与目标数据库对应的实例中，获取目标数据库在监控时间段内不同时间点下的运行指标数据。

用户使用目标数据库时需要将该目标数据库的信息添加到业务系统中，添加成功后，业务系统会自动维护该目标数据库的信息，包括数据库名称、用户名和密码、端口等信息。数据库客户端组件通过远程连接该目标数据库，即调用目标数据库的端口，并输入用户名和密码，以使得目标数据库的端口对该用户名和密码进行验证，只有在验证通过的情况下，才会连接到该目标数据库。

连接成功后，通过与该目标数据库对应的查询语句，如mysqladmin-s h""-P""ping，其中，h表示主机名，p表示端口，s为固定参数，从数据库实例获取该目标数据库在监控时间段内不同时间点下的运行指标数据。例如，监控时间段为过去一小时，不同时间点可以是以固定步长分割出来的多个时间点，如5分钟、10分钟、15分钟、20分钟、……、60分钟时间点下的慢查询数量。

3、数据存储层，设置时序数据库(即第一数据库，如influxDB)，主要用于使用InfluxDB客户端API将数据采集层上报(可以定时上报)的运行指标数据存储到InfluxDB，且以时间序列形式存储，便于后续按照时间等过滤条件查找对应时序数据，最终在Grafana等平台展示。

运行指标数据会按照时序数据库的标准存储，如measurement(存储指标数据的表名)、tags(指标类型标签)、time(数据采集时间)和fileds(指标名称和值)。如InfluxDB提供标准restful服务(端口默认8086，即16位微处理器芯片)和接口，在Grafana平台配置InfluxDB的IP、端口，通过配置measurement、指标名称、时间范围等过滤条件，即可通过DML(Data Manipulation Language，数据操作语言，用以查询或修改表中的记录)查询得到所需时序数据，在Grafana平台界面展示。

通过数据存储以及过滤查找，支持按月、天、小时、分钟等维度查看历史数据，便捷的查看目标数据库的历史运行状态。

4、数据计算层，在依据过滤条件查找到目标数据库的运行指标数据之后，需要对这些数据做处理，以通过运算得到最终监控指标数据。根据前述描述，运行指标数据会涉及到40+种，但大部分运行指标会涉及到计算，计算方式简单描述就是采集到运行指标数据A和运行指标数据B后，对A和B做相除、相乘、加减或混合运算得到数据C，数据C即为监控指标数据。监控指标，用以要监控系统、应用、网络、流量等是否正常或故障，可以根据指标数据来判断，例如数据库接收发送数据量、磁盘空间使用量等。

每个监控指标数据的计算方式均不相同，基于读写比例基础数据计算读写监控指标数据为例：1)通过get global status获取目标数据库中delete、insert、update、replace四种类型操作的数量，四种操作数量相加得到总的写数量writes_sum；2)通过getglobal status获取目标数据库中select操作，即读操作数量reads_sum；3)计算读数量和写数量的总和：reads_sum+writes_sum；4)计算得到读比例监控指标数据：pct_reads＝reads_sum/(reads_sum+writes_sum)*10，写比例监控指标数据：pct_writes＝1-pct_reads。有些不需要计算的指标，其计算表达式可为“＝”，但此时可能仅仅是指标的替换，例如运行指标数据D＝监控指标数据E。

需要说明的是，由于不同时间点下的数据库性能的不同，如0～5分钟CPU资源利用率为60％，但5～10分钟CPU资源利用率则高达80％，导致不同时间点下的运行指标数据也有所不同，如读写速度变慢，因此在计算监控指标数据时，仅考虑同一时间点下的运行指标数据，如同一时间点下的运行指标数据A和运行指标数据B，计算得到该时间点下的监控指标数据C。

数据计算层可以和数据采集层建立心跳连接，通过一定时间段内发送一定数量的心跳包给数据采集层，以根据数据采集层在该时间段内收到的心跳包数量，判断数据采集层的是否可正常提供服务，例如5分钟内发送100个心跳包，但数据采集层仅收到20个，由于20/100＝0.2<0.5(预设比例阈值，数值仅为示例，实际可调)，则判断异常，若不可正常提供服务，则触发告警信息。

5、数据展示层，用以展示计算得到的不同时间点下的监控指标数据，例如0～5分钟的监控指标数据、5～10分钟的监控指标数据、……、55～60分钟的监控指标数据。根据前述描述，运行指标数据可能有40+甚至更多，因而所得监控指标数据也会较多。在页面中可以针对不同监控指标划分展示区域，参见图3所示(一侧坐标轴以时间为单位，另一坐标轴的步长可根据实际进行设置，此处仅为图形示例)，每个监控指标可以自定义展示方式，如监控指标1-柱状图、监控指标2、3、4-圆饼图、监控指标5-折线图、监控指标6-表格形式展示，因而每个监控指标展示区域的数据展示组件可以不同。进一步的，该展示页面可以为监控指标数据展示页面，仅用于展示监控指标数据。

上述实施例所提供的方法，通过扩充现有运行指标，创建基于运行指标数据计算监控指标数据的计算表达式，使得可以计算多种监控指标下的数据，且针对每个监控指标可以自定义展示方式，以此支持更多监控指标的扩充和数据展示。

参见图4，示出了根据本发明实施例的一种可选的数据处理方法流程示意图，包括如下步骤：

S401：接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据。

S402：确定与日志数据对应的展示区域，调用与日志数据展示区域对应的数据展示组件，以按照与日志数据对应的展示方式，在日志数据展示区域逐行展示每个日志数据。

上述实施方式中，对于步骤S401和S402，本方案中的日志数据包括但不限于慢查询日志数据和错误日志数据。同样以图2为例：

1、数据库系统，包括一个或多个正在运行和对外提供服务的数据库，常见如Mysql、Oracle等。因为系统的概念较为宽泛，本方案称为数据库实例，一个数据库实例下包括一个或多个数据库，一个数据库下配置有一个或多个子数据库，每个子数据库下配置有一个或多个表。

2、数据采集层，涉及Agent客户端模块、pt-query-digest慢日志采集模块。

1)Agent客户端是一个定时和定频采集程序，部署在数据库上，用以采集数据库运行的错误日志数据。错误日志数据用以记录数据库运行的错误信息，帮助DBA(DatabaseAdministrator，数据库管理员)或运维人员定位数据库中的错误。Agent客户端对实时性要求不高，采集频率较低，如1天采集一次，而监控指标数据一般10s就会采集一次。

在一般的监控系统中，客户端是必不可少的组件，比如Zabbix和Prometheus，被监控的数据库上一些特定目录下的文件或OS运行状态数据，无法通过远程方式得到，需要在被监控的数据库上安装Agent客户端程序，启动Agent客户端程序后定时定频的采集数据库运行的错误日志数据，然后上报到数据采集层或写到数据库持久化存储。

2)pt-query-digest慢日志采集模块使用开源的digest慢日志采集工具，定时采集数据库(如mysql)生成的慢查询日志数据库。其中，慢查询日志包括数据库在处理SQL(Structured Query Language，结构化查询语言)查询时，如果某次查询时长超过了设定时长(可配置)，数据库会在log文件中记录该次查询的详细信息。对于采集到的慢查询log日志数据，解析并存储格式化数据，格式化数据指的是使用开源的方案解析log日志，解析出来其中的数据，如慢查询SQL、发生时间、查询耗时等，并存储到数据库便于历史查询，因此在这里称之为格式化数据。

3、数据存储层，设置Mysql数据库(即第二数据库)，用以将前述采集到的日志数据持久化存储。后续也可以通过过滤条件从中查找符合需求的慢查询日志数据和/或错误日志数据，例如过去一小时的慢查询日志数据、过去十分钟的错误日志数据。

4、数据展示层，用以展示从第二数据库筛选出的日志数据。由于日志数据通常以记录形式数据，例如，数据库X-2022.05.23-14pm-宕机，因此本方案优选以表格形式逐行展示各日志数据，参见图5所示。进一步的，也可以设置专用于显示日志数据的展示页面，如慢查询日记录展示页面、错误日志数据展示页面。

上述实施例所提供的方法，对于监控数据库包括对其日志数据的监控，考虑日志数据的存储形式，优选以其存储格式特征逐行展示每个日志数据，使得每个日志数据的内容清晰可视化显示。

参见图6，示出了根据本发明实施例的另一种可选的数据处理方法流程示意图，包括如下步骤：

S601：接收对目标数据库的运维检测信息，从所述目标数据库的字典中获取所述目标数据库的元数据；

S602：根据所述元数据从实例表查询所述目标数据库的运维数据；其中，所述运维数据中包括所述目标数据库下每个子数据库、每个子数据库下表的运维数据；

S603：比对每个运维数据和相应预设运维阈值，以筛选出异常运维数据，确定与所述异常运维数据对应的子数据库或表，以生成与子数据库或表对应的告警信息。

上述实施方式中，对于步骤S601～S603，现有对数据库的运维操作功能有限，只支持基本数据维护功能，其存在两个问题：1、只支持Mysql，不支持Oracle；2、只支持Mysql的数据库创建、用户管理、锁检测、事务检测等功能。

本方案通过面向应用和实际场景，分析数据库管理员管理、架构优化和运维开发工作，将其中的工作场景通过自动化的方式构建出来，并提供更加丰富的数据库运维工具列表，并通过开源统一的数据库开源协议以支持更多的功能，如实例管理、数据库操作、用户管理、会话管理、空间管理、慢查询和备份恢复等，以及高级的数据库异常自动巡检，端到端一站式的对数据库进行管理和运维。

同样，用户可以通过选择的方式，从数据库实例中选择任一个数据库，以触发对该目标数据库的运维检测操作。或者在数据库实例启动后，自动触发对数据库实例下每个数据库的运维检测操作，此时目标数据库为每个数据库。

运维检测需要首先获取目标数据库的元数据，因为元数据是需要连接到数据库实例通过查询数据库字典(保存数据库元数据的系统级库或者表)得到的，进而通过元数据从实例表performance_schema查询该目标数据库的运维数据，运维数据记录该目标数据库的整体状态数据，包括该目标数据库下每个子数据库的运维数据、每个子数据库下每张表的运维数据，如表空间大小、会话、锁和事务等。

本方案对于目标数据库的运维数据，通常需要再计算，之后用于异常定义和巡检，包括但不限于实例管理、数据库操作、用户管理、会话管理、空间管理、慢查询和备份恢复等方面，针对不同功能和业务场景所设置的异常巡检方式并不相同，通常不具备通用性，此处以空间管理和用户管理为例：

1、空间管理

1)获取目标数据库当前磁盘的空间剩余容量，根据历史磁盘空间剩余容量和当前表空间使用量，预测出当前磁盘空间剩余容量可以使用的时间，假设计算结果为20天，小于预设运维阈值30天，则将当前磁盘的空间剩余容量确定为异常运维数据。

2)假设目标数据库中共存储有50张表，获取每张表当前的空间占用量和数据碎片率，以筛选出top30的表以及数据碎片率。通过与数据库实例磁盘空间对比，根据规则表空间占用量>3G、且碎片率>90％，则报告该表异常，并提供相关工具(如磁盘碎片率过高清理工具)进行表整理。

2、用户管理

1)通过查询和校验目标数据库中用户的权限，筛选出权限异常的用户，例如用户Y为普通用户，只能访问目标数据库中普通用户可查看的子数据库和表，但发现该用户Y有超过普通用户权限范围的历史访问记录，则将用户Y的权限标记为异常权限。例如目标数据库关闭了密码校验功能，也会提示权限异常，存在高危权限配置。

2)数据库操作和数据匹配

根据运维场景设计SQL语句，包括但不限于数据库字典查询、数据库DDL(DataDefinition Language，数据定义语言)操作、DCL(Data Control Language，数据库控制语言)操作。其中，DDL操作包括创建、删除或修改数据库以及数据库中的表等对象，如CREATE表示创建数据库和表等对象、DROP表示删除数据库和表等对象、ALTER表示修改数据库和表等对象。DCL操作主要包括授权操作，为创建的数据库用户赋予权限、修改权限等，在默认状态下，只有sysadmin,dbcreator,db_owner或db_securityadmin等人员才有权限执行DCL。

根据可以根据上述自定义设计的SQL语句，查询得到各种不同格式的数据，利用Mysql开源协议格式ResultSet，按序转换为和匹配为json数据。其中，ResultSet是Mysql官方定义的数据结构，查询数据库的表返回的数据ResultSet中，ResultSet的rows字段(数组)表示列名，column_list(数组)表示行数据，因此需要将两个字段的数据进行合并和转换到通用的json(map类型)数据，便于前台或其他业务模块进行解析和处理。

上述运维检测，在发现异常运维数据并确定与之对应的子数据库或表后，可以生成对该子数据库或表的告警信息，以通知相关人员进行处理。上述操作可以发生在图2所示数据计算层，数据计算层除了图1所示计算监控指标数据外，还包括sql-check服务端模块，用以负责数据解析和异常计算匹配，数据解析为将数据转换为json数据，异常计算为按照自定义规则以及运维异常场景，计算出存在异常的情况。

除了上述运维检测外，本方案还设置有对数据库的运维管理功能，由于数据库实例下可能设有多个数据库，因此此时依赖用户手动选择其中一个数据库作为目标数据库，以对该目标数据库进行运维管理。例如，设置运维工具列表，包括但不限于创建用户、为用户分配权限、备份恢复、数据库下表的创建删除、数据库运行参数列表查看修改，用户在选择目标数据库后，点击运维管理功能，界面自动弹出运维工具列表，用户可以从中选择其中一个，例如数据库管理员选择创建用户选项，以基于DDL语句创建用户。

上述实施例所提供的方法，预先针对不同业务场景设置SQL语句和异常判断规则，在根据元数据获取到目标数据库的运维数据后，根据预先设置的规则匹配异常场景和异常运维数据并报告，另外也支持对目标数据库的运维管理，实现对目标数据库的一站式运维操作。

本发明实施例提供的方法面向业务和运维角度，提供对数据库的监控和运维方案，相对于现有技术至少存在如下有益效果：

1、在监控维度上，在现有DBA或运维人员关注的运行指标基础上进行扩充，并计算得到监控指标数据，使得对数据库的监控覆盖面更为广阔，支持不同监控指标的数据自定义展示；另外，能够让人员摆脱繁杂的数据库命令行操作，降低工作量，以释放出更多的精力和人力聚焦业务，降低企业的运维成本；

2、在运维维度上，设置运维工具集并扩展，以此覆盖更加全面的运维操作，针对一些异常场景通过设置异常判断规则主动进行异常检测和提示，相对于现有方案更加智能和贴近应用场景，可扩展性良好。另外，还可以摆脱对数据库命令行客户端的依赖，以此提升对数据库的运维效率。

参见图7，示出了本发明实施例提供的一种数据处理装置700的主要模块示意图，包括：

采集模块701，用于接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

计算模块702，用于将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

展示模块703，用于确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

本发明实施装置中，所述采集模块701，用于：

调用数据库客户端组件，基于所述目标数据库的登陆端口，对传输的用户名和密码进行验证；

响应于验证结果为通过，通过与所述目标数据库对应的查询语句，从与所述目标数据库对应的实例中，获取所述目标数据库在所述监控时间段内不同时间点下的运行指标数据。

本发明实施装置还包括存储模块，用于：

将所述运行指标数据以时序形式存储至第一数据库中；其中，时序形式由表名、数据采集时间、指标名称和指标数据中的一项或多项组成，所述表名为用于存储运行指标数据的表的名称；以及

接收输入的第一数据过滤条件，以从所述第一数据库中查询符合所述第一过滤条件的目标运行指标数据；其中，所述第一过滤条件包括数据采集时间范围、指标名称和表名中的一项或多项。

本发明实施装置中，所述装置还包括日志数据计算模块，用于：

调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据；具体地：调用慢日志采集组件，以采集所述目标数据库在所述监控时间段内的慢查询日志数据，解析所述慢查询日志数据得到慢查询记录；其中，慢查询日志数据包括所述目标数据库所处理的、且处理时长超过预设时长的查询请求的处理记录。以及调用部署在所述目标数据库上的采集客户端组件，以获取所述采集客户端组件对所述目标数据库采集的在所述监控时间段内的错误日志数据；其中，错误日志数据用于记录所述目标数据库运行的错误数据。

将所述日志数据存储至第二数据库中；以及接收输入的第二过滤条件，以从所述第二数据库中查询符合所述第二过滤条件的目标日志数据；其中，所述第二过滤条件包括数据采集时间范围和日志数据名称中的一项或多项；

确定与日志数据对应的展示区域，调用与日志数据展示区域对应的数据展示组件，以按照与日志数据对应的展示方式，在日志数据展示区域逐行展示每个日志数据。

本发明实施装置中，所述装置还包括数据库运维检测模块，用于：

接收对所述目标数据库的运维检测信息，从所述目标数据库的字典中获取所述目标数据库的元数据；

根据所述元数据从实例表查询所述目标数据库的运维数据；其中，所述运维数据中包括所述目标数据库下每个子数据库、每个子数据库下表的运维数据；

比对每个运维数据和相应预设运维阈值，以筛选出异常运维数据，确定与所述异常运维数据对应的子数据库或表，以生成与子数据库或表对应的告警信息。

本发明实施装置中，所述装置还包括数据库运维管理模块，用于：

接收对所述目标数据库的运维管理操作，显示运维工具列表；其中，运维工具列表包括创建用户、为用户分配权限、备份恢复、数据库下表的创建删除、数据库运行参数列表查看修改中的一项或多项；

响应于收到对所述运维工具列表中目标运维工具的选择操作，确定与所述目标运维工具对应的运维流程，触发对所述运维流程的执行操作，得到运维执行结果。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图8示出了可以应用本发明实施例的示例性系统架构800，包括终端设备801、802、803，网络804和服务器805(仅仅是示例)。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。

网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器805可以是提供各种服务的服务器，需要说明的是，本发明实施例所提供的方法一般由服务器805执行，相应地，装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括采集模块、计算模块、展示模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，展示模块还可以被描述为“数据展示模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行上述任一所述的数据处理方法。

本发明的计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明实施例中的数据处理方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，包括：

接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

2.根据权利要求1所述的方法，其特征在于，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据，包括：

调用数据库客户端组件，基于所述目标数据库的登陆端口，对传输的用户名和密码进行验证；

响应于验证结果为通过，通过与所述目标数据库对应的查询语句，从与所述目标数据库对应的实例中，获取所述目标数据库在所述监控时间段内不同时间点下的运行指标数据。

3.根据权利要求1所述的方法，其特征在于，在所述采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据之后，还包括：

将所述运行指标数据以时序形式存储至第一数据库中；其中，时序形式由表名、数据采集时间、指标名称和指标数据中的一项或多项组成，所述表名为用于存储运行指标数据的表的名称；以及

接收输入的第一数据过滤条件，以从所述第一数据库中查询符合所述第一过滤条件的目标运行指标数据；其中，所述第一过滤条件包括数据采集时间范围、指标名称和表名中的一项或多项。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据；

确定与日志数据对应的展示区域，调用与日志数据展示区域对应的数据展示组件，以按照与日志数据对应的展示方式，在日志数据展示区域逐行展示每个日志数据。

5.根据权利要求4所述的方法，其特征在于，所述日志数据为慢查询记录，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据，包括：

调用慢日志采集组件，以采集所述目标数据库在所述监控时间段内的慢查询日志数据，解析所述慢查询日志数据得到慢查询记录；其中，慢查询日志数据包括所述目标数据库所处理的、且处理时长超过预设时长的查询请求的处理记录。

6.根据权利要求4所述的方法，其特征在于，所述日志数据为错误日志数据，所述调用数据采集组件，以采集所述目标数据库在所述监控时间段内的日志数据，包括：

调用部署在所述目标数据库上的采集客户端组件，以获取所述采集客户端组件对所述目标数据库采集的在所述监控时间段内的错误日志数据；其中，错误日志数据用于记录所述目标数据库运行的错误数据。

7.根据权利要求4-6中任一项所述的方法，其特征在于，在所述调用与日志数据展示区域对应的数据展示组件之前，还包括：

将所述日志数据存储至第二数据库中；以及

接收输入的第二过滤条件，以从所述第二数据库中查询符合所述第二过滤条件的目标日志数据；其中，所述第二过滤条件包括数据采集时间范围和日志数据名称中的一项或多项。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收对所述目标数据库的运维检测信息，从所述目标数据库的字典中获取所述目标数据库的元数据；

根据所述元数据从实例表查询所述目标数据库的运维数据；其中，所述运维数据中包括所述目标数据库下每个子数据库、每个子数据库下表的运维数据；

比对每个运维数据和相应预设运维阈值，以筛选出异常运维数据，确定与所述异常运维数据对应的子数据库或表，以生成与子数据库或表对应的告警信息。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收对所述目标数据库的运维管理操作，显示运维工具列表；其中，运维工具列表包括创建用户、为用户分配权限、备份恢复、数据库下表的创建删除、数据库运行参数列表查看修改中的一项或多项；

响应于收到对所述运维工具列表中目标运维工具的选择操作，确定与所述目标运维工具对应的运维流程，触发对所述运维流程的执行操作，得到运维执行结果。

10.一种数据处理装置，其特征在于，包括：

采集模块，用于接收对目标数据库的监控指令，获取所述监控指令中的监控时间段，调用数据采集组件，以采集所述目标数据库在所述监控时间段内不同时间点下的运行指标数据；

计算模块，用于将同一时间点下的运行指标数据输入监控指标计算表达式，以处理得到监控指标数据；

展示模块，用于确定与监控指标对应的展示区域，调用与所述展示区域对应的数据展示组件，以按照与所述监控指标对应的展示方式，在所述展示区域展示所述目标数据库在所述监控时间段内不同时间点下的监控指标数据。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。

Images