CN106250299A - 一种Linux日志的处理方法 - Google Patents

Abstract

本发明公开了一种Linux日志的处理方法，该方法包括：在Linux平台中收集需要处理的日志数据和系统信息；将所述日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；将数据分析结果进行数据图形化，生成可视化图像。该方法实现自动提取网络系统中设备的日志信息，为系统的处理和维护提供便利性，并提高日志的有效性。

Description

一种Linux日志的处理方法

技术领域

本发明涉及日志处理技术领域，特别是涉及一种Linux日志的处理方法。

背景技术

目前，日志是获取网络系统状况的一个重要手段。而复杂的网络系统由种类繁多的安全设备、网络设备、主机系统及其应用等组成，每天产生大量日志信息，如何对之进行统一处理，对它们分析及时了解系统状况，发现潜在威胁，并在第一时间对异常事件执行快速响应，是提高网络系统整体安全性的关键。

Linux操作平台作为一种主流的操作系统，经常被应用于各种服务器以及其它硬件设备上，而其产生的日志具有易读性差，数据量大，关联性差，容易被修改和破坏等特点。其自身提供的事件查看器只能进行基本的日志信息查看，不够直观。而随着网络中设备数量的不断增加，通过事件查看器去逐台查看日志的方法也不便于网络系统的处理和维护。

发明内容

本发明的目的是提供一种Linux日志的处理方法，以实现为自动提取网络系统中设备的日志信息，系统的处理和维护提供便利性，并提高日志的有效性。

为解决上述技术问题，本发明提供一种Linux日志的处理方法，该方法包括：

在Linux平台中收集需要处理的日志数据和系统信息；

将所述日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；

将数据分析结果进行数据图形化，生成可视化图像。

可选的，所述在Linux平台中收集需要处理的日志数据和系统信息之前，还包括：

在日志数据库中对日志数据进行统一描述，生成描述信息；所述描述信息包括日志数据编号、日志数据名称、日志数据大小、原始日志数据、目标系统主机名及目标系统IP地址。

可选的，所述在Linux平台中收集需要处理的日志数据和系统信息之后，还包括：

对所述日志数据进行备份。

可选的，所述对所述日志数据进行备份之后，还包括：

对备份的日志数据进程加密，对备份的日志数据存储在异地服务器上。

可选的，所述对日志数据库中的日志数据进行分析，生成数据分析结果包括：

对日志数据库中的日志数据进行统计分析，筛选出无用信息，将对系统无用的信息过滤掉。

本发明所提供的一种Linux日志的处理方法，在Linux平台中收集需要处理的日志数据和系统信息；将所述日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；将数据分析结果进行数据图形化，生成可视化图像。可见，将Linux平台的日志数据进行收集提取，进行分析处理形成图形化的图像报表，为网络系统的维护和处理提供了便利，且将处理好的日志存储到日志数据库中，以对日志数据进行统计分析，筛除无用信息，形成可视化的图形，提供给日志处理人员，为系统的处理和维护提供了便利。并且对日志进行了智能化的分析和筛选，如此当系统出现故障时能够第一时间获取有用的信息，提高了日志的有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为日志数据分析流程图。

具体实施方式

本发明的核心是提供一种Linux日志的处理方法，以实现自动提取网络系统中设备的日志信息，为系统的处理和维护提供便利性，并提高日志的有效性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种Linux日志的处理方法的流程图，该方法包括：

S11：在Linux平台中收集需要处理的日志数据和系统信息；

其中，在Linux平台中收集需要处理的日志数据和系统信息之前，在日志数据库中对日志数据进行统一描述，生成描述信息；描述信息包括日志数据编号、日志数据名称、日志数据大小、原始日志数据、目标系统主机名及目标系统IP地址。

S12：将日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；

其中，对日志数据库中的日志数据进行分析，生成数据分析结果的过程具体为：对日志数据库中的日志数据进行统计分析，筛选出无用信，将对系统无用的信息过滤掉。其中，无用信息指代无用的日志数据，将对系统无用的信息过滤掉即将无用的日志数据过滤掉。

其中，在Linux平台中收集需要处理的日志数据和系统信息之后，还包括：对日志数据进行备份。对日志数据进行备份之后，对备份的日志数据进程加密，对备份的日志数据存储在异地服务器上，如此进行备份处理，提高了系统的稳定性。

S13：将数据分析结果进行数据图形化，生成可视化图像。

具体的，将日志数据存储到日志数据库当中，通过对日志数据进行分析和统计，将得到的日志数据生成分析一定量的数据结果，并可由数据图形化模块生成可视化图形，提供给日志分析处理人员。生成可视化图像包括生成图形化的图像报表。

日志数据库中存储有日志信息数据表，对日志进行了统一描述，包含了日志信息编号、日志信息名、日志大小、原始日志数据、目标系统主机、目标系统IP地址等字段。

以上方法，详细的，搜索目标系统中可能存在的日志文件即日志数据，获取日志文件的文件名、大小、创建时间、修改时间、访问时间和存放位置以及MD5值，并将收集到的日志文件以一定格式写入文件。所述格式优选的以行为单位写入，各个信息字段之间以分割。进行指定时间点的加密备份。根据设定指定的时间点，自动的进行一定时间的服务器异地备份。这样能保证即使在本地代理出现异常的情况下，也可根据服务端的备份信息进行日志的查询和提取，所述加密算法优选的使用DEA对称加密算法。

对收集来的日志数据时，可预先设定一些关键字，比如系统所需的时间段、IP地址、用户名、类型、来源、使用的协议等，根据这些关键字同时结合日志文件格式，采用关联分析算法对日志数据进行分析，具体日志数据分析流程为：将采集的日志数据按着关键字时间、类型、时间进行过滤，将对本系统无用的数据过滤掉；根据主属性对过滤后的日志数据进行合并，将时间、类型相同的不同用户ID的事件视作为同一属性的日志数据，合并为一体；将处理好的日志数据分别按着类型、时间、日期、来源、事件进行重新整理排列；最后按着主属性时间和类型将日志数据进行关联分析。

由于传统的Linux系统日志易读性差，数据量大，关联性差，容易被修改和破坏，而当被处理的设备越来越多时，日志的处理越来越不便。而该方法实现了对网络中大量主机端日志的自动采集，分析，极大地减轻了系统处理员的工作负担；对日志进行了智能化的分析和筛选，当系统出现故障时能够第一时间获取有用的信息，提高了日志的有效性；对日志进行了备份处理，提高了系统的稳定性。

本发明所提供的一种Linux日志的处理方法，在Linux平台中收集需要处理的日志数据和系统信息；将日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；将数据分析结果进行数据图形化，生成可视化图像。可见，该方法将Linux平台的日志数据进行收集提取，进行分析处理形成图形化的图像报表，为网络系统的维护和处理提供了便利，且将处理好的日志存储到日志数据库中，以对日志数据进行统计分析，筛除无用信息，形成可视化的图形，提供给日志处理人员，为系统的处理和维护提供了便利。并且对日志进行了智能化的分析和筛选，当系统出现故障时能够第一时间获取有用的信息，提高了日志的有效性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种Linux日志的处理方法，其特征在于，包括：

在Linux平台中收集需要处理的日志数据和系统信息；

将所述日志数据和系统信息存储至日志数据库中，对日志数据库中的日志数据进行分析，生成数据分析结果；

将数据分析结果进行数据图形化，生成可视化图像。

2.如权利要求1所述的方法，其特征在于，所述在Linux平台中收集需要处理的日志数据和系统信息之前，还包括：

在日志数据库中对日志数据进行统一描述，生成描述信息；所述描述信息包括日志数据编号、日志数据名称、日志数据大小、原始日志数据、目标系统主机名及目标系统IP地址。

3.如权利要求1所述的方法，其特征在于，所述在Linux平台中收集需要处理的日志数据和系统信息之后，还包括：

对所述日志数据进行备份。

4.如权利要求3所述的方法，其特征在于，所述对所述日志数据进行备份之后，还包括：

对备份的日志数据进程加密，对备份的日志数据存储在异地服务器上。

5.如权利要求1至4中任意一项所述的方法，其特征在于，所述对日志数据库中的日志数据进行分析，生成数据分析结果包括：

对日志数据库中的日志数据进行统计分析，筛选出无用信息，将对系统无用的信息过滤掉。