CN111046009B - 日志存储方法及装置 - Google Patents

Abstract

本申请提供一种日志存储方法及装置，所述方法应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，所述方法包括：接收所连接的网络设备发送的日志；依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；若是，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；若否，则在本地存储所述日志。应用该方法，可以有效地避免管理级平台和下级平台出现磁盘过满的现象，提高管理级平台和下级平台的各项性能。

Description

日志存储方法及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及日志存储方法及装置。

背景技术

日志是记录网络设备中硬件、软件、系统等在运行时产生的问题、发生的事件的信息，用户通过对日志进行统计与分析，可以有效地掌握网络设备的运行情况，或者定位错误发生的原因，再或者寻找受到攻击时攻击者留下的痕迹等。

传统的日志存储系统采用集中的存储服务器存放所有网络设备产生的日志，而日志是随着网络设备的运行而不断产生的，由此将导致存储服务器上磁盘的存储空间不断被消耗，存储服务器的性能、可靠性、安全性等指标也倍受考验。

发明内容

有鉴于此，本申请提供一种日志存储方法及装置，以解决现有技术中采用集中的存储服务器存放所有网络设备产生的日志，导致存储服务器上磁盘的存储空间不断被消耗，同时影响存储服务器的各项性能指标的问题。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种日志存储方法，所述方法应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，所述方法包括：

接收所连接的网络设备发送的日志；

依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；

若是，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；若否，则在本地存储所述日志。

可选的，所述为每个日志分配下级平台，包括：

当满足设定的日志分发条件时，遍历本地日志存储路径；

为遍历到的日志分配下级平台；

在所述将所述日志发送至已分配的下级平台进行存储之后，所述方法还包括：

从所述本地日志存储路径中删除已发送的日志。

可选的，所述方法还包括：

接收客户端发送的日志查询请求；

依据所述日志存储模式确定是否进行分级查询；

若是，则将所述日志查询请求下发给至少一个下级平台，以使所述下级平台在本地查询与所述日志查询请求相匹配的日志；若否，则在本地查询与所述日志查询请求相匹配的日志。

可选的，所述方法还包括：

接收所述下级平台发送的日志查询结果，所述日志查询结果包括所述下级平台查询到的与所述日志查询请求相匹配的日志的日志信息；

将所述日志查询结果上报给所述客户端以供展示。

可选的，所述日志存储模式包括：

负载分担分发模式，或负载分担不分发模式。

根据本申请实施例的第二方面，提供一种日志存储装置，所述装置应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，所述装置包括：

日志接收模块，用于接收所连接的网络设备发送的日志；

第一确定模块，用于依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；

日志分发模块，用于若确定对接收到的日志进行分级存储，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；

日志存储模块，用于若确定不对接收到的日志进行分级存储，则在本地存储所述日志。

可选的，所述日志分发模块包括：

遍历子模块，用于当满足设定的日志分发条件时，遍历本地日志存储路径；

分配子模块，用于为遍历到的日志分配下级平台；

所述装置还包括：

日志删除模块，用于从所述本地日志存储路径中删除已发送的日志。

可选的，所述装置还包括：

请求接收模块，用于接收客户端发送的日志查询请求；

第二确定模块，用于依据所述日志存储模式确定是否进行分级查询；

请求下发模块，用于若确定进行分级查询，则将所述日志查询请求下发给至少一个下级平台，以使所述下级平台在本地查询与所述日志查询请求相匹配的日志；

查询模块，用于若确定不进行分级查询，则在本地查询与所述日志查询请求相匹配的日志。

可选的，所述装置还包括：

结果接收模块，用于接收所述下级平台发送的日志查询结果，所述日志查询结果包括所述下级平台查询到的与所述日志查询请求相匹配的日志的日志信息；

结果上报模块，用于将所述日志查询结果上报给所述客户端以供展示。

可选的，所述日志存储模式包括：

负载分担分发模式，或负载分担不分发模式。

本实施例的方法，通过管理级平台在接收到所连接的网络设备发送的日志后，可以将日志发送至下级平台进行存储，也可以在本地进行存储，由此则可以实现日志的分布式存储，从而有效地避免管理级平台和下级平台出现磁盘过满的现象，提高管理级平台和下级平台的各项性能。

附图说明

图1为应用本申请实施例实现日志存储方法的分布式日志管理系统的架构示意图；

图2为本申请一示例性实施例提供的一种日志存储方法的实施例流程图；

图3为本申请一示例性实施例示出的一种步骤203的实现流程；

图4为本申请一示例性实施例提供的日志查询过程的实现流程；

图5为本申请日志存储装置所在服务器的一种硬件结构图。

图6为本申请一示例性实施例提供的日志存储装置的实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参见图1，为应用本申请实施例实现日志存储方法的分布式日志管理系统的架构示意图。

如图1所示，分布式日志管理系统100包括日志管理平台101～104、网络105。网络105用于在日志管理平台101～104之间提供通信链路，可以包括无线链路、有线链路或者光纤电缆等，本申请对此不做限制。日志管理平台101～104可以是支持日志存储、分析、管理等服务的硬件，包括但不限于台式计算机、服务器、服务器集群等。

在实际应用中，用户可以依据性能、业务类型、所连接的网络设备的数量等因素将日志管理平台101～104中的其中一个设置为管理级平台，其他平台则为该管理级平台的下级平台。例如，将日志管理平台101设置为管理级平台，将日志管理平台102～104设置为下级平台。

可以理解的是，图1中的网络和设备的数目仅是示意。根据实际需要，分布式日志管理系统架构100可以包括任意数目的网络和设备，本申请对此不做限制。

至此，完成图1所示系统架构的说明。

下面为了便于理解，先结合图1所示例的系统架构对本申请实施例中涉及到的两种日志存储模式进行说明，作为一个示例，以下两种日志存储模式是针对管理级平台而设置的：

(1)负载分担分发模式

在负载分担分发模式下，所有的网络设备(例如防火墙、终端设备、路由器等)连接管理级平台，这也就是说，所有的网络设备将产生的日志统一发送至管理级平台。而管理级平台在负载分担分发模式下，则可以将接收到的日志分发给下级平台进行存储，管理级平台上则不存储日志。

此外，在负载分担分发模式下，管理级平台还可以将所连接的网络设备的设备信息(例如IP地址、序列号等)同步至每一下级平台。

(2)负载分担不分发模式

在负载分担不分发模式下，管理级平台和各下级平台分别连接有网络设备，这也就是说，在负载分担不分发模式下，管理级平台和各下级平台各自为独立的日志存储平台，网络设备将产生的日志发送至其连接的平台，并由其连接的平台进行存储。

此外，在负载分担不分发模式下，各下级平台还可以将所连接的网络设备的设备信息上报至管理级平台，通过该种处理，可以便于管理。

至此，完成对本申请实施例中涉及到的两种日志存储模式的说明。

下面通过实施例对本申请提出的日志存储方法进行说明：

参见图2，为本申请一示例性实施例提供的一种日志存储方法的实施例流程图，作为一个示例，该方法可以应用于图1所示例的分布式日志管理系统100中的管理级平台，例如平台101。

如图2所示，该流程可以包括以下步骤：

步骤201：接收所连接的网络设备发送的日志。

在应用中，网络设备将运行时产生的日志发送至其连接的日志管理平台，从而日志管理平台可以接收到其所连接的网络设备发送的日志。

在本申请中，由上述描述可知，不论是负载分担分发模式下还是负载分担不分发模式下，管理级平台都连接有网络设备，从而在本步骤201中，管理级平台可以接收到其所连接的网络设备发送的日志。

步骤202：依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；若是，则执行步骤203，若否，则执行步骤204。

由上述描述可知，在负载分担分发模式下，管理级平台可以将接收到的日志分发给下级平台进行存储，管理级平台上则不存储日志，而在负载分担不分发模式下，管理器平台为独立的日志存储平台，其可以直接存储其连接的网络设备发送的日志。

基于此，在本步骤202中，管理级平台在被设置为负载分担分发模式时，可以确定对接收到的日志进行分级存储，执行步骤203，在被设置为负载分担不分发模式时，可以确定不对接收到的日志进行分级存储，执行步骤204。

步骤203：为每个日志分配下级平台，将日志发送至已分配的下级平台进行存储。

管理级平台通过上述步骤202已确定对接收到的日志进行分级存储，那么在本步骤203中，管理级平台可以为每个日志分别分配下级平台，将日志发送至已分配的下级平台进行存储。

至于管理级平台是如何为每个日志分别分配下级平台的，下文中通过实施例举例示出，这里暂不赘述。

步骤204：在本地存储日志。

管理级平台通过上述步骤202已确定不对接收到的日志进行分级存储，那么在本步骤204中，管理级平台可以直接在本地存储所接收到的日志。

由上述实施例可见，管理级平台在接收到所连接的网络设备发送的日志后，可以将日志发送至下级平台进行存储，也可以在本地进行存储，由此则可以实现日志的分布式存储，从而有效地避免管理级平台和下级平台出现磁盘过满的现象，提高管理级平台和下级平台的各项性能。

下面描述管理级平台是如何为每个日志分别分配下级平台的：

参见图3，为本申请一示例性实施例示出的一种步骤203的实现流程。如图3所示，该流程可以包括以下步骤：

步骤301：当满足设定的日志分发条件时，遍历本地日志存储路径。

作为一个示例，管理级平台在接收到网络设备发送的日志时，可以先在本地暂存日志。在应用中，当满足设定的日志分发条件时，再执行向下级平台分发日志的流程。

作为一个示例，上述设定的日志分发条件可以为：设置的定时器达到超时时间。这也就是说，管理级平台可以每隔一定时间即执行向下级平台分发日志的流程。

作为一个示例，上述设定的日志分发条件可以为：管理级平台所存储的日志数量达到设定的数量阈值，或者是日志所占存储空间达到设定的空间阈值。

作为一个示例，当满足设定的日志分发条件时，管理级平台可以遍历本地日志存储路径。

步骤302：为遍历到的日志分配下级平台，并将日志发送至已分配的下级平台进行存储。

作为一个示例，管理级平台可以每遍历到一个日志，即为遍历到的日志分配下级平台，并将日志发送至已分配的下级平台进行存储。

其中，作为一个示例，管理级平台可以采用平均随机分配算法为遍历到的日志分配一个下级平台。

作为一个示例，管理级平台可以获取每一下级平台的存储相关信息，例如存储量、剩余存储空间大小等信息，为遍历到的日志分配一个下级平台。至于管理级平台是如何获取每一下级平台的存储相关信息的，这里不再赘述。

作为一个示例，管理级平台可以通过FTP(File Transfer Protocol，文件传输协议)的方式将日志发送至已分配的下级平台进行存储。

步骤303：从本地日志存储路径中删除已发送的日志。

由上述描述可知，管理级平台在负载分担分发模式下不存储日志，因此，在本步骤303中，管理级平台可以从本地日志存储路径中删除已发送的日志。

至此，完成图3所示流程。

通过图3所示流程，最终实现了管理级平台在负载分担分发模式下为接收到的每个日志分别分配下级平台，并将日志发送至已分配的下级平台进行存储。

需要说明的是，图3所示例的流程仅仅是管理级平台如何为每个日志分别分配下级平台的示例性说明，在实际应用中，管理级平台还可以通过其他方式为日志分配下级平台，例如，管理级平台可以每接收到一个日志，即为该日志分配下级平台，本申请对此不做限制。

此外，在应用中，还会存在日志查询需求，下面则通过实施例对日志查询的过程进行说明：

参见图4，为本申请一示例性实施例提供的日志查询过程的实现流程。

如图4所示，该流程可以包括以下步骤：

步骤401：接收客户端发送的日志查询请求。

在应用中，用户可以通过客户端向管理级平台发送日志查询请求，从而管理级平台可以接收到客户端发送的日志查询请求。

作为一个示例，日志查询请求可以包括但不限于：日志生成时间、事件类型、网络设备标识等。

步骤402：依据日志存储模式确定是否进行分级查询；若是，则执行步骤403，若否，则执行步骤404。

由上述描述可知，在负载分担分发模式下，管理级平台可以将接收到的日志分发给下级平台进行存储，管理级平台上则不存储日志，而在负载分担不分发模式下，管理器平台为独立的日志存储平台，其可以直接存储其连接的网络设备发送的日志。

基于此，在本步骤402中，管理级平台在被设置为负载分担分发模式时，可以确定进行分级查询，执行步骤403，在被设置为负载分担不分发模式时，可以确定不进行分级查询，执行步骤404。

步骤403：将日志查询请求下发给至少一个下级平台，以使下级平台在本地查询与日志查询请求相匹配的日志，执行步骤405。

管理级平台通过上述步骤402已确定进行分级查询，那么在本步骤403中，管理级平台可以将步骤401中接收到的日志查询请求下发给至少一个下级平台，以使下级平台在本地查询与日志查询请求相匹配的日志。

作为一个示例，管理级平台可以将日志查询请求下发给每一个下级平台。

作为一个示例，管理级平台可以将日志查询请求下发给部分下级平台。例如，可以由用户事先指定下级平台，从而在本步骤403中，管理级平台可以将日志查询请求下发给用户指定的下级平台。

至于下级平台是如何在本地查询与日志查询请求相匹配的日志的，本申请不再赘述。

步骤404：在本地查询与日志查询请求相匹配的日志。

管理级平台通过上述步骤402已确定不进行分级查询，那么在本步骤404中，管理级平台可以在本地查询与日志查询请求相匹配的日志。至于管理级平台是如何在本地查询与日志查询请求相匹配的日志的，本申请不再赘述。

步骤405：接收下级平台发送的日志查询结果，日志查询结果包括下级平台查询到的与日志查询请求相匹配的日志的日志信息。

在本申请中，若下级平台在本地查询到与日志查询请求相匹配的日志，则可以将该相匹配的日志的日志信息作为日志查询结果发送给管理级平台，从而管理级平台可以接收到下级平台发送的日志查询结果。

作为一个示例，上述日志信息可以包括但不限于：日志生成时间、事件类型、网络设备标识、日志关键字，例如上网流量、访问网址等。

步骤406：将日志查询结果上报给客户端以供展示。

在本申请中，管理级平台通过执行步骤405接收到下级平台发送的日志查询结果后，可以将日志查询结果上报给客户端以供展示。

通过图4所示实施例，最终实现了在分布式存储日志的基础上进行日志查询。

与前述日志存储方法的实施例相对应，本申请还提供了日志存储装置的实施例。

本申请日志存储装置的实施例可以应用在服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本申请日志存储装置所在服务器的一种硬件结构图，除了图5所示的处理器51、内存52、网络接口53、非易失性存储器54以及内部总线55之外，实施例中装置所在的服务器通常根据该服务器的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图6，为本申请一示例性实施例提供的一种日志存储装置的实施例框图，该装置可应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，该装置可包括：日志接收模块61、第一确定模块62、日志分发模块63，以及日志存储模块64。

其中，日志接收模块61，用于接收所连接的网络设备发送的日志；

第一确定模块62，用于依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；

日志分发模块63，用于若确定对接收到的日志进行分级存储，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；

日志存储模块64，用于若确定不对接收到的日志进行分级存储，则在本地存储所述日志。

在一实施例中，所述日志分发模块63包括(图6中未示出)：

遍历子模块，用于当满足设定的日志分发条件时，遍历本地日志存储路径；

分配子模块，用于为遍历到的日志分配下级平台；

所述装置还包括(图6中未示出)：

日志删除模块，用于从所述本地日志存储路径中删除已发送的日志。

在一实施例中，所述装置还包括(图6中未示出)：

请求接收模块，用于接收客户端发送的日志查询请求；

第二确定模块，用于依据所述日志存储模式确定是否进行分级查询；

请求下发模块，用于若确定进行分级查询，则将所述日志查询请求下发给至少一个下级平台，以使所述下级平台在本地查询与所述日志查询请求相匹配的日志；

查询模块，用于若确定不进行分级查询，则在本地查询与所述日志查询请求相匹配的日志。

在一实施例中，所述装置还包括(图6中未示出)：

结果接收模块，用于接收所述下级平台发送的日志查询结果，所述日志查询结果包括所述下级平台查询到的与所述日志查询请求相匹配的日志的日志信息；

结果上报模块，用于将所述日志查询结果上报给所述客户端以供展示。

在一实施例中，所述日志存储模式包括：负载分担分发模式，或负载分担不分发模式。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种日志存储方法，其特征在于，所述方法应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，所述方法包括：

接收所连接的网络设备发送的日志；

依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；

若是，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；若否，则在本地存储所述日志；

所述方法还包括：

接收客户端发送的日志查询请求；

依据所述日志存储模式确定是否进行分级查询；

若是，则将所述日志查询请求下发给至少一个下级平台，以使所述下级平台在本地查询与所述日志查询请求相匹配的日志；若否，则在本地查询与所述日志查询请求相匹配的日志。

2.根据权利要求1所述的方法，其特征在于，所述为每个日志分配下级平台，包括：

当满足设定的日志分发条件时，遍历本地日志存储路径；

为遍历到的日志分配下级平台；

在所述将所述日志发送至已分配的下级平台进行存储之后，所述方法还包括：

从所述本地日志存储路径中删除已发送的日志。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述下级平台发送的日志查询结果，所述日志查询结果包括所述下级平台查询到的与所述日志查询请求相匹配的日志的日志信息；

将所述日志查询结果上报给所述客户端以供展示。

4.根据权利要求1～3任一所述的方法，其特征在于，所述日志存储模式包括：

负载分担分发模式，或负载分担不分发模式。

5.一种日志存储装置，其特征在于，所述装置应用于分布式日志管理系统中的管理级平台，所述分布式日志管理系统还包括至少一个下级平台，所述装置包括：

日志接收模块，用于接收所连接的网络设备发送的日志；

第一确定模块，用于依据被设置的日志存储模式确定是否对接收到的日志进行分级存储；

日志分发模块，用于若确定对接收到的日志进行分级存储，则为每个日志分配下级平台，将所述日志发送至已分配的下级平台进行存储；

日志存储模块，用于若确定不对接收到的日志进行分级存储，则在本地存储所述日志；

所述装置还包括：

请求接收模块，用于接收客户端发送的日志查询请求；

第二确定模块，用于依据所述日志存储模式确定是否进行分级查询；

请求下发模块，用于若确定进行分级查询，则将所述日志查询请求下发给至少一个下级平台，以使所述下级平台在本地查询与所述日志查询请求相匹配的日志；

查询模块，用于若确定不进行分级查询，则在本地查询与所述日志查询请求相匹配的日志。

6.根据权利要求5所述的装置，其特征在于，所述日志分发模块包括：

遍历子模块，用于当满足设定的日志分发条件时，遍历本地日志存储路径；

分配子模块，用于为遍历到的日志分配下级平台；

所述装置还包括：

日志删除模块，用于从所述本地日志存储路径中删除已发送的日志。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

结果接收模块，用于接收所述下级平台发送的日志查询结果，所述日志查询结果包括所述下级平台查询到的与所述日志查询请求相匹配的日志的日志信息；

结果上报模块，用于将所述日志查询结果上报给所述客户端以供展示。

8.根据权利要求5～7任一所述的装置，其特征在于，所述日志存储模式包括：

负载分担分发模式，或负载分担不分发模式。