CN115600238B

CN115600238B - 一种日志脱敏方法、装置、电子设备和存储介质

Info

Publication number: CN115600238B
Application number: CN202211103916.0A
Authority: CN
Inventors: 陈启波
Original assignee: Ping An Bank Co Ltd
Current assignee: Ping An Bank Co Ltd
Priority date: 2022-09-09
Filing date: 2022-09-09
Publication date: 2026-01-30
Anticipated expiration: 2042-09-09
Also published as: CN115600238A

Abstract

本申请实施例提供一种日志脱敏方法、装置、电子设备和存储介质，其中，方法包括：获取日志文件；根据所述日志文件生成哈希码；将所述日志文件进行脱敏，得到脱敏后的日志文件；以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。实施上述实施例，日志文件的哈希码为索引信息将日志文件进行存储，可以方便后续对日志文件进行检索，也可以快速地判断日志文件是不是已经被脱敏处理过。

Description

一种日志脱敏方法、装置、电子设备和存储介质

技术领域

本申请涉及服务器技术领域，具体而言，涉及一种日志脱敏方法、装置、电子设备和存储介质。

背景技术

数据脱敏(Data Masking)，是屏蔽敏感数据，对某些敏感信息(比如，身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等)通过脱敏规则进行数据的变形，实现隐私数据的可靠保护。业界常见的脱敏规则有，替换、重排、加密、截断、掩码，用户也可以根据期望的脱敏算法自定义脱敏规则。

在银行系统的运维中，服务器的日志可以反映分析服务器、算法的性能，还可以用于分析用户消费习惯、消费能力，为了保护用户的隐私，在分析之前需要对用户的隐私数据进行屏蔽后进行存储，现有的技术中对于日志的脱敏存在多种问题，包括：重复脱敏、存储困难、自动化程度不足、花费时间长等问题。

发明内容

本申请实施例的目的在于提供一种日志脱敏方法、装置、电子设备和存储介质，能够避免重复脱敏，存储困难等。

第一方面，本申请实施例提供了一种日志脱敏方法，包括：

获取日志文件；

根据所述日志文件生成哈希码；

将所述日志文件进行脱敏，得到脱敏后的日志文件；

以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。

在上述实现过程中，考虑到在现有技术中，银行的业务系统比较庞大，日志文件没有统一的命名形式，因此，存在检索困难，搜索困难等问题，本申请实施例通过根据日志文件生成哈希码，将日志文件进行脱敏，以日志文件的哈希码为索引信息将日志文件进行存储，可以方便后续对日志文件进行检索，也可以快速地判断日志文件是不是已经被脱敏处理过。

进一步地，所述以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储的步骤，包括：

根据所述哈希码判断所述脱敏后的日志文件是否已经被存储；

若否，将所述脱敏后的日志文件进行存储；

若是，返回已存储提醒信息。

在上述实现过程中，为了避免对日志文件进行重复脱敏，本申请实施例提出了根据哈希码判断脱敏后的日志文件是否已经被存储，如果日志文件已经被存储，则可以发出已存储的提醒信息，避免对日志文件进行重复脱敏。基于上述实施方式，可以节省计算机的资源。

进一步地，在所述将所述日志文件进行脱敏，得到脱敏后的日志文件的步骤之前，还包括：

获取本地设备的资源利用率指数；

根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏。

在上述实现过程中，考虑到银行数据庞大，因此，日志文件众多，如果只是利用本地设备进行日志脱敏，整个处理过程会十分漫长，可能还会造成服务器卡顿。因此，本申请实施例提出了获取本地设备的资源利用率指数，根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏。基于上述实施方式，能够对服务器资源进行合理运用，节省计算机的资源。

进一步地，所述日志文件的来源于多个业务服务器；

所述将所述日志文件进行脱敏，得到脱敏后的日志文件的步骤，包括：

确定所述日志文件所属的业务服务器；

获取所述业务服务器对应的隐私等级；

将所述日志文件发送到所述隐私等级对应的脱敏设备进行脱敏。

在上述实现过程中，由于不同的业务服务器处理不同的业务，不同的业务中关联有不同的信息，不同信息对应的隐私等级并不相同，因此，不同的服务器上配置有不同的算法，用于对不同的敏感信息进行脱敏。基于上述实施方式，能够实现对日志文件的精准脱敏。

以所述隐私等级对应的脱敏设备、所述哈希码为索引信息将所述脱敏后的日志文件进行存储。

在上述实现过程中，由于不同的隐私等级对应不同的脱敏设备，银行的日志文件众多，有可能出现哈希码一致的问题，因此，以所述隐私等级对应的脱敏设备、所述哈希码为索引信息将所述所述脱敏后的日志文件进行存储。

进一步地，所述日志文件的来源于多个业务服务器；所述根据所述日志文件生成哈希码的步骤，包括：

确定所述日志文件所属的业务服务器；

将所述日志文件发送到所述所属的业务服务器对应的运算服务器进行运算，得到哈希码；

接收所述运算服务器发送的哈希码。

在上述实现过程中，为了进一步避免出现哈希码一致的问题，对于不同的服务器设置不同的哈希码运算服务器，在获取哈希码时，确定所述日志文件所属的业务服务器；将所述日志文件发送到所述所属的业务服务器对应的运算服务器进行运算，得到哈希码；接收所述运算服务器发送的哈希码。基于上述实施方式，能够有效地减少不同的日志文件产生同样的哈希码的几率，同时能够快速地基于哈希码将日志文件进行分类。

在一种可能的实施方式中，所述根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏的步骤，包括：

若所述资源利用率指数大于预设值，将所述日志发送到其他服务器进行脱敏。

在上述实现过程中，考虑到银行数据庞大，因此，日志文件众多，如果只是利用本地设备进行日志脱敏，整个处理过程会十分漫长，可能还会造成服务器卡顿。因此，本申请实施例提出了获取本地设备的资源利用率指数，根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏，如果所述资源利用率指数大于预设值，将所述日志发送到其他服务器进行脱敏。基于上述实施方式，能够对服务器资源进行合理运用，节省计算机的资源。

第二方面，本申请实施例提供一种日志脱敏装置，包括：

日志获取模块，用于获取日志文件；

哈希码生成模块，用于根据所述日志文件生成哈希码；

脱敏模块，用于将所述日志文件进行脱敏，得到脱敏后的日志文件；

存储模块，用于以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的日志脱敏方法的流程示意图；

图2为本申请实施例提供的将日志文件进行存储的流程示意图；

图3为本申请实施例提供的将所述日志文件进行脱敏的流程示意图；

图4为本申请实施例提供的将所述日志文件进行脱敏的流程示意图；

图5为本申请实施例提供的日志脱敏装置的结构示意图；

图6为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

参见图1，本申请实施例提供一种日志脱敏方法，包括：

S1：获取日志文件；

S2：根据所述日志文件生成哈希码；

S3：将所述日志文件进行脱敏，得到脱敏后的日志文件；

S4：以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。

参见图2，在一种可能的实施方式中，S4包括：

S41：根据所述哈希码判断所述脱敏后的日志文件是否已经被存储；若是，执行S43；若否，执行S42；

S42：将所述脱敏后的日志文件进行存储；

S43：返回已存储提醒信息。

在一种可能的实施方式中，在S3之前，包括：

根据所述哈希码判断所述日志文件是否已经脱敏处理，若是，不执行日志脱敏。

基于这种实施方式，可以不执行S41～S43。

示例性地，首先获取日志文件的哈希码，在存储区中判断是否有该哈希码，如果是，则不进行脱敏处理。

在一种可能的实施方式中，在所述将所述日志文件进行脱敏，得到脱敏后的日志文件的步骤之前，还包括：

获取本地设备的资源利用率指数；

在上述实施例中，资源利用率指数可以为当前进行日志托名的示例数量，计算机中的算法的实例化数量，计算机的CPU利用率，计算机的内存占用率等。本申请对具体的资源利用指数不进行限定。

参见图3，在一种可能的实施方式中，所述日志文件的来源于多个业务服务器；

S3包括：

S31：确定所述日志文件所属的业务服务器；

S32：获取所述业务服务器对应的隐私等级；

S33：将所述日志文件发送到所述隐私等级对应的脱敏设备进行脱敏。

示例性地，比如用户的姓名属于第一等级的隐私信息，在第一服务器集群中配置有第一算法，专门用于对第一等级的隐私信息进行脱敏，用户的照片、住址等属于第二等级的隐私信息，在第二服务器集群中配置有第二算法，专门用于对第二等级的隐私信息进行脱敏。同时，第一服务器集群中的算法和第二服务器集群中的算法并不相同，这是考虑到，对于不同隐私等级对应日志文件进行脱敏时，不同算法具有不同的优势，处理时间也不相同，因此，基于上述实施方式，可以减少进行脱敏的时间。

在一种可能的实施方式中，所述以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储的步骤，包括：

示例性地，索引信息的具体结构为，{脱敏设备、哈希码}，由于脱敏设备和隐私等级对应，因此，可以进一步地将索引信息设置为{隐私等级、哈希码。

参见图4，在一种可能的实施方式中，S3包括：

S34：确定所述日志文件所属的业务服务器；

S35：将所述日志文件发送到所述所属的业务服务器对应的运算服务器进行运算，得到哈希码；

S36：接收所述运算服务器发送的哈希码。

示例性地，不同的业务服务器收集的用户的信息不同，比如，在用户进行资料注册的时候，收集的信息较多，隐私信息也较多，因此，专门设置有第一服务器集群，该第一服务器集群用于对用户进行资料注册时服务器产生的日志进行脱敏处理。用户在进行汇款的时候，涉及到的信息较少，对相关的日志进行脱敏不需要花费太多的时间，因此，设置第二服务器集群对汇款业务产生的日志文件进行脱敏，能够减少处理时间，同时，第一服务器集群和第二服务器集群所应用的哈希值算法也不相同，基于此，不同业务对应日志文件产生出来的哈希码存在相同的可能性也就进一步减少。

实施例2

参见图5，本申请实施例提供一种日志脱敏装置，包括：

日志获取模块1，用于获取日志文件；

哈希码生成模块2，用于根据所述日志文件生成哈希码；

脱敏模块3，用于将所述日志文件进行脱敏，得到脱敏后的日志文件；

存储模块4，用于以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。

在一种可能的实施方式中，存储模块还用于根据所述哈希码判断所述脱敏后的日志文件是否已经被存储；若否，将所述脱敏后的日志文件进行存储；若是，返回已存储提醒信息。

在一种可能的实施方式中，脱敏模块还用于获取本地设备的资源利用率指数；根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏。

在一种可能的实施方式中，所述日志文件的来源于多个业务服务器；脱敏模块还用于确定所述日志文件所属的业务服务器；获取所述业务服务器对应的隐私等级；将所述日志文件发送到所述隐私等级对应的脱敏设备进行脱敏。

在一种可能的实施方式中，存储模块还用于以所述隐私等级对应的脱敏设备、所述哈希码为索引信息将所述脱敏后的日志文件进行存储。

在一种可能的实施方式中，哈希码获取模块还用于确定所述日志文件所属的业务服务器；

接收所述运算服务器发送的哈希码。

在一种可能的实施方式中，哈希码获取模块还用于在所述资源利用率指数大于预设值时，将所述日志发送到其他服务器进行脱敏。

本申请还提供一种电子设备，请参见图6，图6为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器61、通信接口62、存储器63和至少一个通信总线64。其中，通信总线64用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口62用于与其他节点设备进行信令或数据的通信。处理器61可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器61也可以是任何常规的处理器等。

存储器63可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器63中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器61执行时，电子设备可以执行上述方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

所述存储器63、存储控制器、处理器61、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线64实现电性连接。所述处理器61用于执行存储器63中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图6所示的结构仅为示意，所述电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种日志脱敏方法，其特征在于，包括：

获取日志文件；所述日志文件用于银行系统运维中的性能分析或用户行为分析；

根据所述日志文件生成哈希码；

将所述日志文件进行脱敏，得到脱敏后的日志文件；

以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储；

其中，所述日志文件的来源于多个业务服务器；所述根据所述日志文件生成哈希码的步骤，包括：

确定所述日志文件所属的业务服务器；

将所述日志文件发送到所述所属的业务服务器对应的运算服务器进行运算，得到哈希码；其中，不同业务服务器对应的运算服务器采用不同哈希算法；

接收所述运算服务器发送的哈希码。

2.根据权利要求1所述的日志脱敏方法，其特征在于，所述以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储的步骤，包括：

若否，将所述脱敏后的日志文件进行存储；

若是，返回已存储提醒信息。

3.根据权利要求2所述的日志脱敏方法，其特征在于，在所述将所述日志文件进行脱敏，得到脱敏后的日志文件的步骤之前，还包括：

获取本地设备的资源利用率指数；

4.根据权利要求2所述的日志脱敏方法，其特征在于，所述日志文件的来源于多个业务服务器；

确定所述日志文件所属的业务服务器；

获取所述业务服务器对应的隐私等级；

5.根据权利要求4所述的日志脱敏方法，其特征在于，所述以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储的步骤，包括：

6.根据权利要求3所述的日志脱敏方法，其特征在于，所述根据所述资源利用率指数判断是否在所述本地设备进行日志脱敏的步骤，包括：

7.一种日志脱敏装置，其特征在于，包括：

日志获取模块，用于获取日志文件；所述日志文件用于银行系统运维中的性能分析或用户行为分析；

哈希码生成模块，用于根据所述日志文件生成哈希码；

存储模块，用于以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储；

其中，所述日志文件的来源于多个业务服务器；

哈希码获取模块还用于确定所述日志文件所属的业务服务器；

接收所述运算服务器发送的哈希码。

8.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的方法。