CN117076279A - 日志采集规则发布方法、装置、设备及存储介质 - Google Patents
日志采集规则发布方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117076279A CN117076279A CN202311236882.7A CN202311236882A CN117076279A CN 117076279 A CN117076279 A CN 117076279A CN 202311236882 A CN202311236882 A CN 202311236882A CN 117076279 A CN117076279 A CN 117076279A
- Authority
- CN
- China
- Prior art keywords
- target
- log acquisition
- log
- deployment
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种日志采集规则发布方法、装置、设备及存储介质,该方法包括:响应于用户的交互操作,获取日志采集规则以及目标部署指令;根据目标部署指令进行微服务部署,并确定目标部署信息;基于目标部署信息,确定日志采集规则关联的目标服务器组;在目标服务器组中配置日志采集规则,以使得目标服务器组基于日志采集规则进行日志采集。本申请中实现了日志采集规则的自动发布,无需用户人工对各个服务器节点进行配置,减少了用户的工作量,简化了用户操作,提高了日志采集规则发布的效率和准确度。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种日志采集规则发布方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展,企业线上业务的规模和业务量不断增长,业务系统的服务器节点数量也在随之增长。为了监控业务系统运行情况、确保业务系统的稳定性,企业通常是基于日志监控系统采集日志数据以实现故障预警等功能。
在相关技术中,为了确保日志监控系统能够正常采集日志数据,通常情况下,运维人员需要人工对大量服务器节点的日志采集规则进行配置,用户操作繁琐,工作量较大、效率较低,并且错误率较高。
发明内容
本申请提供一种日志采集规则发布方法、装置、设备及存储介质,用以实现日志采集规则的自动发布,简化用户的操作,降低用户的工作量,提高日志采集规则的发布效率和准确性。
第一方面,本申请提供一种日志采集规则发布方法,包括:
响应于用户的交互操作,获取日志采集规则以及目标部署指令;
根据所述目标部署指令进行微服务部署,并确定目标部署信息;
基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组;
在所述目标服务器组中配置所述日志采集规则,以使得所述目标服务器组基于所述日志采集规则进行日志采集。
在一种可能的实施方式中,所述响应于用户的交互操作,获取日志采集规则,包括:
通过日志采集配置单元,显示日志采集配置页面;
响应于用户在所述日志采集配置页面中的触控操作,确定所述触控操作对应的日志采集规则。
在一种可能的实施方式中,所述根据所述目标部署指令进行微服务部署,并确定目标部署信息,包括:
通过自动部署单元,接收所述目标部署指令;
根据所述目标部署指令,调用微服务管控单元的目标接口;
基于所述目标接口进行微服务部署操作,并确定目标部署信息。
在一种可能的实施方式中,所述方法还包括:
通过自动部署单元,向部署信息存储单元发送所述目标部署信息;
通过所述部署信息存储单元,基于所述目标部署信息以及历史部署信息,确定新增部署信息并向日志采集配置单元发送所述新增部署信息。
在一种可能的实施方式中,所述方法还包括:
通过自动部署单元,向日志采集配置单元发送所述目标部署信息;
通过所述日志采集配置单元,获取所述目标部署信息,并基于历史部署信息以及所述目标部署信息,确定新增部署信息。
在一种可能的实施方式中,所述基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组,包括:
通过日志采集配置单元,确定所述日志采集规则中的第一微服务标识并确定所述新增部署信息中的第二微服务标识;
在所述第一微服务标识与所述第二微服务标识匹配的情况下,确定所述日志采集规则关联的目标服务器组。
在一种可能的实施方式中,所述在所述目标服务器组中配置所述日志采集规则,包括:
通过日志采集配置单元,将所述日志采集规则以及所述日志采集规则与所述目标服务器组的关联信息发送至微服务管控单元;
通过所述微服务管控单元,基于所述日志采集规则对所述目标服务器组的配置文件进行更新。
第二方面,本申请提供一种日志采集规则发布装置,包括:
获取模块,用于响应于用户的交互操作,获取日志采集规则以及目标部署指令;
第一确定模块,用于根据所述目标部署指令进行微服务部署,并确定目标部署信息;
第二确定模块,用于基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组;
配置模块,用于在所述目标服务器组中配置所述日志采集规则,以使得所述目标服务器组基于所述日志采集规则进行日志采集。
在一种可能的实施方式中,所述获取模块,具体用于:
通过日志采集配置单元,显示日志采集配置页面;
响应于用户在所述日志采集配置页面中的触控操作,确定所述触控操作对应的日志采集规则。
在一种可能的实施方式中,所述第一确定模块,具体用于:
通过自动部署单元,接收所述目标部署指令;
根据所述目标部署指令,调用微服务管控单元的目标接口;
基于所述目标接口进行微服务部署操作,并确定目标部署信息。
在一种可能的实施方式中,所述装置还用于:
通过自动部署单元,向部署信息存储单元发送所述目标部署信息;
通过所述部署信息存储单元,基于所述目标部署信息以及历史部署信息,确定新增部署信息并向日志采集配置单元发送所述新增部署信息。
在一种可能的实施方式中,所述装置还用于:
通过自动部署单元,向日志采集配置单元发送所述目标部署信息;
通过所述日志采集配置单元,获取所述目标部署信息,并基于历史部署信息以及所述目标部署信息,确定新增部署信息。
在一种可能的实施方式中,所述第二确定模块,具体用于:
通过日志采集配置单元,确定所述日志采集规则中的第一微服务标识并确定所述新增部署信息中的第二微服务标识;
在所述第一微服务标识与所述第二微服务标识匹配的情况下,确定所述日志采集规则关联的目标服务器组。
在一种可能的实施方式中,所述配置模块,具体用于:
通过日志采集配置单元,将所述日志采集规则以及所述日志采集规则与所述目标服务器组的关联信息发送至微服务管控单元;
通过所述微服务管控单元,基于所述日志采集规则对所述目标服务器组的配置文件进行更新。
第三方面,本申请提供一种日志采集规则发布设备,包括:处理器、存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,实现如第一方面任一项所述的日志采集规则发布方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被执行时用于实现第一方面任一项所述的日志采集规则发布方法。
第五方面,本申请还提供一种计算机程序产品,包括计算机程序,该计算机程序被执行时实现第一方面任一项所述的日志采集规则发布方法。
本申请提供的日志采集规则发布方法、装置、设备及存储介质,响应于用户的交互操作,获取日志采集规则以及目标部署指令;根据目标部署指令进行微服务部署,并确定目标部署信息;基于目标部署信息,确定日志采集规则关联的目标服务器组;在目标服务器组中配置日志采集规则,以使得目标服务器组基于日志采集规则进行日志采集。本申请中,服务器获取用户配置的日志采集规则以及目标部署指令,执行微服务的自动部署并确定目标部署信息,之后将日志采集规则与目标部署信息进行匹配,并在日志采集规则关联的目标服务器组中配置日志采集规则,实现了日志采集规则的自动发布,无需用户人工对各个服务器节点进行配置,减少了用户的工作量,简化了用户操作,提高了日志采集规则发布的效率和准确度。
附图说明
图1为本申请实施例提供的应用场景示意图;
图2为本申请实施例提供的一种日志采集规则发布方法的流程示意图;
图3为本申请实施例提供的另一种日志采集规则发布方法的流程示意图;
图4为本申请实施例提供的一种日志采集规则发布方法的逻辑示意图;
图5为本申请实施例提供的一种日志采集规则发布方法的交互示意图;
图6为本申请实施例提供的一种日志采集规则发布装置的结构示意图;
图7为本申请实施例提供的一种日志采集规则发布设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本申请的技术方案,下面结合附图和实施例对本申请作进一步详细描述。应当理解的是,此处描述的具体实施例和附图仅仅用于解释本申请,而并非对本申请的限定。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要说明的是,本申请的日志采集规则发布方法、装置、设备及存储介质可用于数据处理技术领域,也可用于除数据处理技术领域之外的任意领域,本申请对于日志采集规则发布方法、装置、设备及存储介质的具体应用领域不做限定。
随着互联网技术的不断发展,互联网行业、金融行业线上业务的业务规模和业务量不断增长,相应的,分布式架构下业务系统中服务器节点数量也随之增长。同时,在特殊时点例如“双十一”、春节等,企业通常还需要对业务系统进行扩容,以便于支撑更大的用户并发访问量。日志监控系统,作为监控业务系统运行情况的重要系统,需要知晓每个服务器节点上的各类日志的输出路径和采集规则,才能高效地完成日志采集工作。
在相关技术中,为了确保日志监控系统能够正常、高效采集日志数据,运维人员(即用户)通常是人工进行业务系统的微服务部署操作,然后人工登录日志监控系统中,将日志采集规则和服务器节点进行匹配,实现日志采集规则的人工发布(或者配置)。这种日志采集规则的发布方式,用户需要在多个平台进行配置操作,自动化程度不高,用户操作较为繁琐,在服务器节点数量较大时用户工作量较大,日志采集规则发布效率较低,并且出错率较高。
而为了解决上述问题,本申请中的日志采集规则发布方法、装置、设备及存储介质,服务器获取用户配置的日志采集规则以及目标部署指令,可以自动执行微服务的部署操作并确定更新后的目标部署信息。之后,服务器可以将日志采集规则与目标部署信息进行关联匹配,确定出日志采集规则关联的目标服务器组,后续服务器可以在目标服务器组中发布日志采集规则,这样能够实现业务系统部署信息的自动发现、日志采集规则的自动发布,减少了人工操作和干预,降低了错误率和操作风险;同时用户操作更加简洁,提升自动化效率,可以缩短整体采集规则发布流程的时间。
图1为本申请实施例提供的应用场景示意图。请参见图1,包括用户101、电子设备102。该电子设备102可以为电脑、服务器等设备。
如图1所示出的,相关技术中,用户101通过在电子设备102中进行人工操作,人工进行微服务部署操作,并且为各个服务器节点人工配置日志采集规则,由于服务器节点数量较多,用户人工操作较为繁琐,工作量较大并且效率较低,出错率也较高。而在本申请实施例中,电子设备102根据用户101配置的日志采集规则以及自动部署指令,自动完成微服务部署和日志采集规则的发布,实现了日志采集规则的自动发布,减少了用户的人工操作,提高了日志发布效率和准确率。
以下通过具体实施例对本申请所示的方案进行详细说明。需要说明的是,以下几个实施例可以独立存在,也可以相互结合,对于相同或相似的内容,在不同的实施例中不再重复说明。
图2为本申请实施例提供的一种日志采集规则发布方法的流程示意图。请参见图2,该日志采集规则发布方法可以包括:
S201、响应于用户的交互操作,获取日志采集规则以及目标部署指令。
本申请实施例的执行主体可以为电子设备,也可以为设置在电子设备中的日志采集装置。日志采集装置可以通过软件实现,也可以通过软件和硬件的结合实现。为了便于理解,在下文中,以执行主体为电子设备为例进行说明。
本申请实施例中,用户可以是指运维人员或者业务系统操作人员等。交互操作可以是用户的点击、滑动等触控操作,也可以是指用户基于键盘、鼠标等输入设备的输入操作,本申请实施例对于交互操作的具体类型不作限定。日志采集规则可以是指用户基于实际需求配置的针对业务系统微服务日志数据的日志采集规则。该日志采集规则中可以包括描述业务系统微服务的日志类型、输出路径、采集频率以及目标投递地址等信息。当然,日志采集规则中还可以包括其他信息,本申请实施例对此不作限定。
目标部署指令可以是指用户基于实际需求配置的微服务部署的指令信息。该微服务可以是一个最细粒度的功能模块,可以完成一个原子服务操作。该目标部署指令中可以包括微服务的具体部署配置方式。
本步骤中,用户在需要进行日志采集规则的发布时,可以在服务器中执行交互操作,进行日志采集规则的配置以及微服务部署配置,服务器响应于用户的交互操作,可以获取用户交互操作对应的日志采集规则以及目标部署指令,后续可服务器可以自动执行微服务的部署操作以及日志采集规则的发布,无需用户进行人工干预,可以简化用户的操作。
S202、根据目标部署指令进行微服务部署,并确定目标部署信息。
本申请实施例中,目标部署信息可以是指业务系统中各个微服务的部署信息,其中可以包括有微服务标识(Identity Document,ID)、单元信息类型、命名空间名称、产品类型、产品名称、地域名称、集群名称、网络类型以及产品编码等信息。当然,目标部署信息中还可以包括其他信息,具体可以基于实际需求进行灵活配置,本申请实施例对此不作限定。
本步骤中,服务器在获取到用户的目标部署指令之后,可以基于该目标部署指令,自动执行微服务的部署操作,具体可以是将微服务部署至相应的服务器节点上,并且可以在微服务部署完成后更新部署信息,得到目标部署信息。这样,服务器基于用户的目标部署指令可以实现微服务的自动部署,并且能够自动更新部署信息,无需用户人工进行微服务的部署操作,能够简化用户的操作,提高用户的操作效率。
S203、基于目标部署信息,确定日志采集规则关联的目标服务器组。
本申请实施例中,目标服务器组可以是指需要配置日志采集规则的一组服务器。服务器组也可以称为部署组,可以是指将一定数量的服务器节点组合成为一个集群,该集群上部署同一个微服务,实现微服务的高可用和负载均衡。
具体的,不同服务器节点部署的微服务可能并不相同,相应的可能需要配置不同的日志采集规则。服务器在确定出目标部署信息之后,可以将目标部署信息与日志采集规则进行匹配,具体可以通过微服务标识等进行关联匹配,确定出日志采集规则关联的目标服务器组,后续可以在目标服务器组中自动发布日志采集规则。
S204、在目标服务器组中配置日志采集规则,以使得目标服务器组基于日志采集规则进行日志采集。
本申请实施例中,服务器在确定出日志采集规则关联的目标服务器组之后,可以在目标服务器组中发布该日志采集规则,例如可以将日志采集规则更新至目标服务器组的配置文件中,这样,目标服务器组可以基于更新后的日志采集规则进行日志采集和投递,确保日志监控系统可以准确、高效地获取日志数据。
本申请实施例提供的日志采集规则发布方法,服务器响应于用户的交互操作,获取日志采集规则以及目标部署指令;根据目标部署指令进行微服务部署,并确定目标部署信息;基于目标部署信息,确定日志采集规则关联的目标服务器组;在目标服务器组中配置日志采集规则,以使得目标服务器组基于日志采集规则进行日志采集。本申请中,服务器获取用户配置的日志采集规则以及目标部署指令,执行微服务的自动部署并确定目标部署信息,之后将日志采集规则与目标部署信息进行匹配,并在日志采集规则关联的目标服务器组中配置日志采集规则,实现了日志采集规则的自动发布,无需用户人工对各个服务器节点进行配置,减少了用户的工作量,简化了用户操作,提高了日志采集规则发布的效率和准确度。
在上述实施例的基础上,图3为本申请实施例提供的另一种日志采集规则发布方法的流程示意图。请参见图3,该日志采集规则发布方法可以包括:
S301、通过日志采集配置单元,显示日志采集配置页面;响应于用户在日志采集配置页面中的触控操作,确定触控操作对应的日志采集规则。
本申请实施例中,日志采集配置单元可以用于获取日志采集规则以及部署信息的接收和处理等。该日志采集配置单元可以基于分布式微服务框架、Java等实现,本申请实施例对于日志采集配置单元的具体实现方式不作限定。日志采集配置页面可以是指用于进行日志采集规则配置的交互页面,其中可以包括有各种预设控件,用户可以通过与预设控件的交互操作来实现日志采集规则的配置。触控操作可以是指用户的点击、滑动等操作,也可以是指用户基于鼠标、键盘等输入设备的输入操作,本申请实施例对于触控操作的具体形式不作限定。
本步骤中,服务器可以通过日志采集配置单元展示可视化的日志采集配置页面,用户可以在日志采集配置页面中基于实际需求对微服务的日志采集规则进行配置,日志采集配置单元响应于用户的触控操作,可以确定出用户配置的日志采集规则。这样,服务器通过显示日志采集配置页面使得用户能够灵活配置日志采集规则,可以契合用户的实际需求,进一步提高了日志采集配置规则的灵活性。
S302、通过自动部署单元,接收目标部署指令;根据目标部署指令,调用微服务管控单元的目标接口;基于目标接口进行微服务部署操作,并确定目标部署信息。
本申请实施例中,自动部署单元可以用于实现微服务的自动部署操作。目标接口(Application Programming Interface,API)可以是指微服务管控单元的应用接口。该微服务管控单元可以用于管理服务器节点、部署组以及日志采集投递等。具体的,该微服务管控单元可以是一个微服务治理平台工具,负责管控在一个地域部署的所有业务系统的所有部署组和微服务,具体可以包括服务注册与发现、参数配置、熔断、限流、日志采集以及微服务监控等功能。本申请实施例对于微服务管控单元的具体类型和实现形式不作限定。
本步骤中,服务器可以通过自动部署单元接收用户的目标部署指令,并通过自动部署单元根据该目标部署指令,调用微服务管控单元的目标接口,并基于该目标接口完成微服务到部署组(即服务器组)上的部署操作,实现业务系统的微服务自动化部署。此外,在微服务自动部署完成后,自动部署单元还可以更新部署信息,确定出最新的目标部署信息。
在本申请实施例中,自动部署单元可以根据用户配置的目标部署指令自动完成微服务的部署,能够简化用户的操作,降低用户的工作量。
S303、通过自动部署单元,向部署信息存储单元发送目标部署信息。
S304、通过部署信息存储单元,基于目标部署信息以及历史部署信息,确定新增部署信息并向日志采集配置单元发送新增部署信息。
本申请实施例中,部署信息存储单元用于实现部署信息的接收、存储和推送。该部署信息存储单元可以通过分布式微服务框架、Java语言、结构化数据库(例如MySQL等)实现,本申请实施例对于部署信息存储单元的具体实现形式不作限定。历史部署信息可以是指部署信息存储单元中存储的历史版本的部署信息。新增部署信息可以是指业务系统中新增或者更改的微服务部署信息。
具体的,自动部署单元在确定出目标部署信息之后,可以向部署信息存储单元同步推送该目标部署信息。部署信息存储可以接收该目标部署信息,并将该目标部署信息与历史部署信息进行比对,确定出发生变化的新增部署信息,并向日志采集配置单元发送该新增部署信息。这样,服务器可以通过部署信息存储单元来存储目标部署信息并确定新增部署信息,可以提高数据传输的有效性,降低后续日志发布的计算量,节约传输资源和计算资源。
在一种可能的实施方式中,本申请实施例中也可以不设置部署信息存储单元,由日志采集配置单元来实现部署信息存储单元的功能,具体如下:
通过自动部署单元,向日志采集配置单元发送目标部署信息;通过日志采集配置单元,获取目标部署信息,并基于历史部署信息以及目标部署信息,确定新增部署信息。
本申请实施例中,服务器中也可以不设置部署信息存储单元,而是直接由日志采集配置单元来实现部署信息的接收、存储和处理。具体的,自动部署单元在确定出目标部署信息之后,可以向日志采集配置单元发送目标部署信息;日志采集配置单元接收目标部署信息,并将该目标部署信息与历史部署信息进行对比,确定出新增部署信息,后续可以基于新增部署信息与日志采集规则进行关联匹配。这样,服务器可以通过日志采集配置单元来存储目标部署信息并确定新增部署信息,单元模块设置更加灵活,可以提高数据传输的有效性和合理性,节约传输资源和计算资源。
S305、通过日志采集配置单元,确定日志采集规则中的第一微服务标识并确定新增部署信息中的第二微服务标识;在第一微服务标识与第二微服务标识匹配的情况下,确定日志采集规则关联的目标服务器组。
本申请实施例中,第一微服务标识可以是指日志采集规则中包括的微服务标识,具体可以是指微服务名称等。第二微服务标识可以是指新增部署信息中包括的微服务标识,第二微服务标识可以与部署组ID相对应。
具体的,日志采集配置单元获取或者确定出新增部署信息之后,可以将日志采集规则中包括的第一微服务标识与新增部署信息中的第二微服务标识进行匹配,在二者匹配(例如相同等情况)时,日志采集配置单元可以确定出日志采集规则中包括的微服务部署在哪些服务节点上,进而可以确定出日志采集规则关联的目标服务器组。这样,日志采集配置单元可以通过微服务名称等微服务标识将日志采集规则和目标服务器组自动关联,后续可以在目标服务器组中实现日志采集规则的自动发布。
S306、通过日志采集配置单元,将日志采集规则以及日志采集规则与目标服务器组的关联信息发送至微服务管控单元。
S307、通过微服务管控单元,基于日志采集规则对目标服务器组的配置文件进行更新,以使得目标服务器组基于日志采集规则进行日志采集。
本申请实施例中,日志采集配置单元在确定出日志采集规则关联的目标服务器组之后,可以将日志采集规则以及关联信息发送至微服务管控单元;微服务管控单元在接收到日志采集规则以及关联信息之后,可以将日志采集规则发布至对应的目标服务器组,实现日志采集规则的自动发布;目标服务器组内的各个服务器节点,可以根据日志采集规则更新本地的配置文件,后续可以基于日志采集规则进行日志的自动采集和投递。这样,服务器通过日志采集配置单元确定日志采集规则关联的目标服务器组,并且通过微服务管控单元实现日志采集规则在目标服务器组的自动发布,可以简化用户的操作,提高日志采集规则发布的效率和准确度。
示例性地,图4为本申请实施例提供的一种日志采集规则发布方法的逻辑示意图。如图4所示出的,自动部署单元获取用户配置的目标部署指令,完成微服务的自动部署操作,并确定出目标部署信息,自动部署单元将目标部署信息同步推送至部署信息存储单元;部署信息存储单元接收到目标部署信息后,确定出新增部署信息并推送给日志采集配置单元。
日志采集配置单元获取用户配置的日志采集规则,同时获取新增部署信息,将日志采集规则中的微服务标识与新增部署信息进行关联匹配,确定出日志采集规则对应的目标服务器组,然后将日志采集规则以及日志采集规则和目标服务器组的关联信息发送给微服务管控单元。微服务管控单元在接收到日志采集规则以及关联信息之后,可以将日志采集规则分别绑定到目标服务器组上,完成日志采集规则的自动发布;目标服务器组下的所有服务器节点,根据日志采集规则更新本地的配置文件,后续可以基于该日志采集规则实现日志的自动采集和投递,确保日志监控系统高效的采集日志数据。
示例性地,图5为本申请实施例提供的一种日志采集规则发布方法的交互示意图。如图5所示出的,日志采集配置单元响应于用户的触控操作,确定用户配置的针对一个或者多个微服务的日志采集规则;自动部署单元获取用户配置的目标部署指令,通过目标接口调用微服务管控单元,完成微服务到服务组上的自动部署操作;自动部署单元完成业务系统的微服务部署操作后,将目标部署信息同步推送给部署信息存储单元;部署信息存储单元识别出新增部署信息,将新增部署信息发送给日志采集配置单元。
日志采集配置单元在接收到日志采集规则以及新增部署信息之后,基于微服务标识进行关联匹配,确定出日志采集规则对应的目标服务器组。目标采集配置单元将日志采集规则以及日志采集规则与目标服务器组的关联信息发送给微服务管控单元。微服务管控单元在接收到日志采集配置单元的关联信息和日志采集规则之后,可以通过更新目标服务器的配置文件,实现日志采集规则在目标服务器组下所有服务器节点的生效,确保日志采集规则的自动发布,目标服务器节点后续可以按照日志采集规则进行日志的采集和投递。
在相关技术中,在进行日志采集规则发布时,用户通常是在微服务管控平台网页端(web端)进行日志采集规则的配置;然后使用微服务管控平台完成业务系统的微服务部署;之后再使用微服务管控平台的web端,人工关联日志采集规则和部署组的关系,最后点击发布日志采集规则,完成日志采集规则的发布流程。这种日志采集规则的发布方式包括人工配置、人工部署、手工关联、手工发布多个操作阶段,自动化程度较低,并且在服务器节点数量很较大时,用户操作繁琐,工作量大效率较低并且错误率较高。
本申请实施例中,服务器通过日志采集配置单元、微服务管控单元、自动部署单元、部署信息存储单元,针对分布式架构下大量服务器节点需要配置日志采集规则的场景,能够实现业务系统部署信息的自动发现、日志采集规则的自动发布,用户仅需要配合日志采集规则和目标部署指令,减少了人工操作和干预,降低操作风险;同时可以提升自动化效率,节约时间成本,缩短整体采集规则发布流程的时间。
图6为本申请实施例提供的一种日志采集规则发布装置的结构示意图。请参见图6,日志采集规则发布装置60可以包括:
获取模块61,用于响应于用户的交互操作,获取日志采集规则以及目标部署指令;
第一确定模块62,用于根据目标部署指令进行微服务部署,并确定目标部署信息;
第二确定模块63,用于基于目标部署信息,确定日志采集规则关联的目标服务器组;
配置模块64,用于在目标服务器组中配置日志采集规则,以使得目标服务器组基于日志采集规则进行日志采集。
在一种可能的实施方式中,获取模块61,具体用于:
通过日志采集配置单元,显示日志采集配置页面;
响应于用户在日志采集配置页面中的触控操作,确定触控操作对应的日志采集规则。
在一种可能的实施方式中,第一确定模块62,具体用于:
通过自动部署单元,接收目标部署指令;
根据目标部署指令,调用微服务管控单元的目标接口;
基于目标接口进行微服务部署操作,并确定目标部署信息。
在一种可能的实施方式中,装置60还用于:
通过自动部署单元,向部署信息存储单元发送目标部署信息;
通过部署信息存储单元,基于目标部署信息以及历史部署信息,确定新增部署信息并向日志采集配置单元发送新增部署信息。
在一种可能的实施方式中,装置60还用于:
通过自动部署单元,向日志采集配置单元发送目标部署信息;
通过日志采集配置单元,获取目标部署信息,并基于历史部署信息以及目标部署信息,确定新增部署信息。
在一种可能的实施方式中,第二确定模块63,具体用于:
通过日志采集配置单元,确定日志采集规则中的第一微服务标识并确定新增部署信息中的第二微服务标识;
在第一微服务标识与第二微服务标识匹配的情况下,确定日志采集规则关联的目标服务器组。
在一种可能的实施方式中,配置模块64,具体用于:
通过日志采集配置单元,将日志采集规则以及日志采集规则与目标服务器组的关联信息发送至微服务管控单元;
通过微服务管控单元,基于日志采集规则对目标服务器组的配置文件进行更新。
本申请实施例提供的日志采集规则发布装置60可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图7为本申请实施例提供的一种日志采集规则发布设备的结构示意图。请参见图7,日志采集规则发布设备70可以包括:存储器71、处理器72。示例性地,存储器71、处理器72,各部分之间通过总线73相互连接。
存储器71用于存储程序指令;
处理器72用于执行该存储器所存储的程序指令,实现上述实施例所示的日志采集规则发布方法。
图7所示出的日志采集规则发布设备70可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现上述日志采集规则发布方法。
本申请实施例还可提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,可实现上述日志采集规则发布方法。
需要说明的是,本申请实施例中提及的处理器可以是中央处理器(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRam Bus RAM,DR RAM)。需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。各个装置、产品可以应用于或者集成于芯片、芯片模组或终端设备中。示例性地,对于应用于或者集成于芯片的各个装置、产品,其包含的各个模块/芯片可以是都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的部分模块/单元可以采用电路等硬件方式实现。
在本申请中,术语“包括”及其变形可以指非限制性的包括;术语“或”及其变形可以指“和/或”。本申请中术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。本申请中,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上仅是本申请的部分实施例,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应当视为本申请的保护范围。
Claims (10)
1.一种日志采集规则发布方法,其特征在于,包括:
响应于用户的交互操作,获取日志采集规则以及目标部署指令;
根据所述目标部署指令进行微服务部署,并确定目标部署信息;
基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组;
在所述目标服务器组中配置所述日志采集规则,以使得所述目标服务器组基于所述日志采集规则进行日志采集。
2.根据权利要求1所述的方法,其特征在于,所述响应于用户的交互操作,获取日志采集规则,包括:
通过日志采集配置单元,显示日志采集配置页面;
响应于用户在所述日志采集配置页面中的触控操作,确定所述触控操作对应的日志采集规则。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标部署指令进行微服务部署,并确定目标部署信息,包括:
通过自动部署单元,接收所述目标部署指令;
根据所述目标部署指令,调用微服务管控单元的目标接口;
基于所述目标接口进行微服务部署操作,并确定目标部署信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过自动部署单元,向部署信息存储单元发送所述目标部署信息;
通过所述部署信息存储单元,基于所述目标部署信息以及历史部署信息,确定新增部署信息并向日志采集配置单元发送所述新增部署信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过自动部署单元,向日志采集配置单元发送所述目标部署信息;
通过所述日志采集配置单元,获取所述目标部署信息,并基于历史部署信息以及所述目标部署信息,确定新增部署信息。
6.根据权利要求4或5所述的方法,其特征在于,所述基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组,包括:
通过日志采集配置单元,确定所述日志采集规则中的第一微服务标识并确定所述新增部署信息中的第二微服务标识;
在所述第一微服务标识与所述第二微服务标识匹配的情况下,确定所述日志采集规则关联的目标服务器组。
7.根据权利要求1所述的方法,其特征在于,所述在所述目标服务器组中配置所述日志采集规则,包括:
通过日志采集配置单元,将所述日志采集规则以及所述日志采集规则与所述目标服务器组的关联信息发送至微服务管控单元;
通过所述微服务管控单元,基于所述日志采集规则对所述目标服务器组的配置文件进行更新。
8.一种日志采集规则发布装置,其特征在于,包括:
获取模块,用于响应于用户的交互操作,获取日志采集规则以及目标部署指令;
第一确定模块,用于根据所述目标部署指令进行微服务部署,并确定目标部署信息;
第二确定模块,用于基于所述目标部署信息,确定所述日志采集规则关联的目标服务器组;
配置模块,用于在所述目标服务器组中配置所述日志采集规则,以使得所述目标服务器组基于所述日志采集规则进行日志采集。
9.一种日志采集规则发布设备,其特征在于,包括:处理器、存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,实现如权利要求1至7任一项所述的日志采集规则发布方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被执行时用于实现权利要求1至7任一项所述的日志采集规则发布方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236882.7A CN117076279A (zh) | 2023-09-22 | 2023-09-22 | 日志采集规则发布方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236882.7A CN117076279A (zh) | 2023-09-22 | 2023-09-22 | 日志采集规则发布方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076279A true CN117076279A (zh) | 2023-11-17 |
Family
ID=88708255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311236882.7A Pending CN117076279A (zh) | 2023-09-22 | 2023-09-22 | 日志采集规则发布方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076279A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120110913A (zh) * | 2025-04-30 | 2025-06-06 | 深圳市麦米电气软件技术有限公司 | 设备数据采集方法及相关装置 |
-
2023
- 2023-09-22 CN CN202311236882.7A patent/CN117076279A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120110913A (zh) * | 2025-04-30 | 2025-06-06 | 深圳市麦米电气软件技术有限公司 | 设备数据采集方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545338B (zh) | 业务数据处理方法及业务数据处理系统 | |
| CN106789362B (zh) | 一种设备管理方法及网管系统 | |
| CN108492005B (zh) | 项目数据处理方法、装置、计算机设备和存储介质 | |
| WO2022105138A1 (zh) | 去中心化的任务调度方法、装置、设备及介质 | |
| CN111988429A (zh) | 算法调度方法以及系统 | |
| CN109858828A (zh) | 一种配电网定值自动整定方法、装置及配网系统 | |
| CN115328457A (zh) | 基于参数配置的表单页面实现方法和装置 | |
| CN111860853B (zh) | 在线预测系统、设备、方法及电子设备 | |
| CN110928679A (zh) | 一种资源分配方法及装置 | |
| CN117076279A (zh) | 日志采集规则发布方法、装置、设备及存储介质 | |
| CN113918595A (zh) | 数据查询方法及装置 | |
| JP2018156464A (ja) | 分散型コンテナ配置の最適化方法およびシステム | |
| CN107784548B (zh) | 订单处理方法和装置 | |
| CN102932389B (zh) | 一种请求处理方法、装置及服务器系统 | |
| CN111125681A (zh) | 业务处理方法、装置及存储介质 | |
| CN114090268A (zh) | 容器管理方法及容器管理系统 | |
| CN117938636B (zh) | 智能节点管控服务系统 | |
| CN110609707B (zh) | 在线数据处理系统生成方法、装置及设备 | |
| CN111435356B (zh) | 数据特征提取方法、装置、计算机设备以及存储介质 | |
| CN111221847B (zh) | 监控数据存储方法、装置及计算机可读存储介质 | |
| CN118210667A (zh) | 巡检任务执行方法、装置及存储介质 | |
| CN114089955A (zh) | 一种流程节点的配置方法、装置、设备及存储介质 | |
| CN106936643A (zh) | 一种设备联动方法以及终端设备 | |
| CN104298750B (zh) | 用于实时系统通信的更新处理方法及装置 | |
| CN117033333A (zh) | 日志数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |