[go: up one dir, main page]

CN111953504A - 异常流量检测方法和装置、计算机可读存储介质 - Google Patents

异常流量检测方法和装置、计算机可读存储介质 Download PDF

Info

Publication number
CN111953504A
CN111953504A CN201910400177.3A CN201910400177A CN111953504A CN 111953504 A CN111953504 A CN 111953504A CN 201910400177 A CN201910400177 A CN 201910400177A CN 111953504 A CN111953504 A CN 111953504A
Authority
CN
China
Prior art keywords
abnormal flow
abnormal
flow
time sequence
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910400177.3A
Other languages
English (en)
Other versions
CN111953504B (zh
Inventor
朱华虹
唐宏
欧亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201910400177.3A priority Critical patent/CN111953504B/zh
Publication of CN111953504A publication Critical patent/CN111953504A/zh
Application granted granted Critical
Publication of CN111953504B publication Critical patent/CN111953504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及一种异常流量检测方法和装置、计算机可读存储介质。该异常流量检测方法包括：获取大规模网络的时序特征数据和外部影响因子；根据时序特征数据初步确定异常流量；根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。本公开可以实现对大规模网络中异常流量的检测，并提高了检测准确率和检测速度。

Description

异常流量检测方法和装置、计算机可读存储介质
技术领域
本公开涉及数据通信领域，特别涉及一种异常流量检测方法和装置、计算机可读存储介质。
背景技术
当今世界的政治军事经济高度依赖互联网，互联网安全是现代社会正常秩序的命脉。传统best effort(尽力服务,标准的因特网服务模式)转发模式的互联网“流量不可控”，导致网络拥塞、拒绝服务、网络欺诈等异常流量肆虐，重大安全事件频发，对国计民生造成重大危害。面对指数增长的网络流量，智能终端的应用普及，骨干网的安全稳定运行面临巨大挑战。为了提高安全性、保证业务的稳定运行，需要对网络状态进行感知，结合SNMP(Simple Network Management Protocol,简单网络管理协议)、NETFLOW(一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯)等通过对网络异常流量实时监测。
发明内容
发明人发现：SNMP、NETFLOW采集的数据不能提供精细的L4-L7层信息，而互联网流量存在突发性强、内容热点分布不均等特性，容易导致误判或者漏判。
鉴于以上技术问题中的至少一项，本公开提供了一种异常流量检测方法和装置、计算机可读存储介质，可以提高异常流量的检测准确率。
根据本公开的一个方面，提供一种异常流量检测方法，包括：
获取大规模网络的时序特征数据和外部影响因子；
根据时序特征数据初步确定异常流量；
根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述根据时序特征数据初步确定异常流量包括：
对获取的时序特征数据进行预处理；
根据预处理后的时序特征数据初步确定异常流量。
在本公开的一些实施例中，所述根据预处理后的时序特征数据初步确定异常流量包括：
根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型；
将预处理后的时序特征数据输入基线时序流量模型；
根据基线时序流量模型的输出结果初步确定异常流量。
在本公开的一些实施例中，所述根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型包括：
根据外部影响因子和基线时序流量模型的输出结果确定精确预测值；
根据精确预测值对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述据外部影响因子和基线时序流量模型的输出结果确定精确预测值包括：
根据流量成分、外部影响因子和基线时序流量模型的输出结果确定精确预测值。
在本公开的一些实施例中，所述异常流量检测方法还包括：
根据精确预测值对基线时序流量模型的模型参数进行修正。
在本公开的一些实施例中，所述时序特征数据包括时序特征数据全局流量流向矩阵信息、关联的网络性能指标中的至少一项，其中，所述关联的网络性能指标包括丢包率、时延和抖动率中的至少一项。
在本公开的一些实施例中，所述外部影响因子包括协议类型、应用事件类型、用户行为、舆情数据中的至少一项。
根据本公开的另一方面，提供一种异常流量检测装置，包括：
数据采集模块，用于获取大规模网络的时序特征数据和外部影响因子；
模型预测模块，用于根据时序特征数据初步确定异常流量；
模型优化模块，用于根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述异常流量检测装置用于执行实现如上述任一实施例所述的异常流量检测方法的操作。
根据本公开的另一方面，提供一种异常流量检测装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述装置执行实现如上述任一实施例所述的异常流量检测方法的操作。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的异常流量检测方法。
本公开可以实现对大规模网络中异常流量的检测，并提高了检测准确率和检测速度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开异常流量检测方法一些实施例的示意图。
图2为本公开异常流量检测方法另一些实施例的示意图。
图3为本公开异常流量检测装置一些实施例的示意图。
图4为本公开异常流量检测装置另一些实施例的示意图。
图5为本公开异常流量检测装置又一些实施例的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人发现：相关技术依据时延、抖动、丢包等网络性能指标的分析，缺乏流量特征无法精准研判异常流量，
而一些相关技术的专用系统本身虽具备某些协议异常检测的能力，但主要是基于数据包比例、协议特征等方法进行检测，需要有针对性地部署才能真正生效，其实施成本高、检测速度低、准确率低。
鉴于以上技术问题中的至少一项，本公开提供了一种异常流量检测方法和装置、计算机可读存储介质。
图1为本公开异常流量检测方法一些实施例的示意图。优选的，本实施例可由本公开异常流量检测装置执行。该方法包括以下步骤：
步骤11，获取大规模网络的时序特征数据和外部影响因子。
在本公开的一些实施例中，所述时序特征数据可以包括时序特征数据全局流量流向OD(Origin/Destination，源/目的)矩阵信息、关联的网络性能指标等中的至少一项，其中，所述关联的网络性能指标可以包括丢包率、时延和抖动率等数据中的至少一项。
在本公开的一些实施例中，所述时序特征数据可以包括网络流量、网络状态、网络性能、事件类型、流量成分等信息。
在本公开的一些实施例中，步骤11可以包括：通过BGP(Border GatewayProtocol，边界网关协议)、Netconf(Network Configuration Protocol，网络配置协议)、Openflow(一种网上通信协议)、DPI(Deep Packet Inspection，深度报文检测)等协议分流获取网络流量、网络状态、网络性能、事件类型、流量成分等信息。
在本公开的一些实施例中，所述外部影响因子包括协议类型、应用事件类型、用户行为、舆情数据中的至少一项。
步骤12，根据时序特征数据初步确定异常流量。
在本公开的一些实施例中，步骤12可以包括：
步骤121，对获取的时序特征数据进行预处理。
在本公开的一些实施例中，步骤121可以包括：对步骤11中采集的数据及相关信息进行预处理，形成特征和标签数据。
步骤122，根据预处理后的时序特征数据初步确定异常流量。
在本公开的一些实施例中，步骤122可以包括：
步骤1221，根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型。
在本公开的一些实施例中，步骤1221可以包括：采用LSTM(Long Short-TermMemory，长短期记忆网络)，根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型。
步骤1222，将预处理后的时序特征数据输入基线时序流量模型。
步骤1223，根据基线时序流量模型的输出结果初步确定异常流量。
步骤13，根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，步骤13可以包括：
步骤131，根据外部影响因子和基线时序流量模型的输出结果确定精确预测值。
在本公开的一些实施例中，步骤131可以包括：根据流量成分、外部影响因子和基线时序流量模型的输出结果确定精确预测值。
步骤132，根据精确预测值对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，步骤13还可以包括：根据精确预测值对基线时序流量模型的模型参数进行修正。
在本公开的一些实施例中，步骤13可以包括：结合成分分析、用户行为、舆情数据等影响因子采用CNN(Convolutional Neural Network,卷积神经网络)进一步确认异常流量并检测异常流量类型，同时将结果反馈到模型预测阶段，优化标签数据及相关参数。
基于本公开上述实施例提供的异常流量检测方法，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
本公开上述实施例提出的异常流量检测方法，是一种两阶段检测方法。本公开上述实施例基于实时全局流量流向OD矩阵及关联的网络性能指标采用LSTM构建基线时序流量模型初步检测异常流量，再引入流量成分及外部影响因子(用户行为、舆情数据)等对结果进行修正并判断攻击类型，从而实现了全网异常流量的精准感知。
图2为本公开异常流量检测方法另一些实施例的示意图。优选的，本实施例可由本公开异常流量检测装置执行。该方法包括以下步骤：
步骤20，实时监测全局流量流向OD(源/目的)矩阵、关联的网络性能指标以及DPI采集的报文特征。
步骤21，对采集的数据进行预处理。
在本公开的一些实施例中，步骤21可以包括：对采集的数据进行数据标注，选取相关特征；并对样本集的数据进行去噪、归一化等预处理，以解决数据指标之间的可比性。
步骤22，基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型；对模型进行训练。
在本发明一个实施例中，所述基线时序流量模型为LSTM模型。
在本发明一个实施例中，所述特征数据可以包括OD(源/目的)矩阵信息、关联的网络性能指标，如丢包率、时延、抖动率等。
在本发明一个实施例中，所述基线时序流量模型可以包括：
遗忘门输出：ft＝σ(Wf[ht-1,xt])+bf
输入门输出：it＝σ(Wi[ht-1,xt])+bi
Figure BDA0002059536620000071
神经元状态：
Figure BDA0002059536620000072
输出门输出：ot＝σ(Wo[ht-1,xt])+bo
ht＝ot*tanh(Ct)
其中，xt为输入；ht为输出；it为输入门的输出；ft遗忘门输出；Ct为当前时刻t的细胞单元状态；ot为输出门的输出；W和b为参数矩阵；σ为ReLu函数；tanh为双曲正切激活函数。
步骤23，将预处理后的时序特征数据输入基线时序流量模型；根据基线时序流量模型的输出结果ht初步确定当前流量是否为异常流量。在当前流量为异常流量的情况下，执行步骤24；否则，在当前流量不是异常流量的情况下，执行步骤28。
基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型初步检测异常流量。
步骤24，对初步判定为异常的流量，根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y；根据精确预测值Y对基线时序流量模型的模型参数进行修正。
在本发明一个实施例中，所述根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y的步骤可以包括：对初步判定为异常的流量，基于应用成分及外部影响因子采用CNN精准判断异常流量类型，其中，特征数据可以包括协议类型、应用事件类型、用户行为、舆情数据等。
在本发明一个实施例中，所述根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y的步骤可以包括：将ht与外部影响因子L进行卷积和池化后得到影响值S(t)；根据影响值S(t)确定精确预测值Y＝f(WS(t)+b)，其中，激活函数f为softmax。
在本发明一个实施例中，所述根据精确预测值Y对基线时序流量模型的模型参数进行修正可以包括：采用精确预测值Y对LSTM模型的标签数据及相关参数进优化，以提高第一阶段模型的准确率。
在本发明一个实施例中，所述根据精确预测值Y对基线时序流量模型的模型参数进行修正可以包括：采用精确预测值Y对LSTM模型的模型参数xt进行修正，以提高第一阶段模型的准确率。
步骤25，采用精确预测值Y精确判断当前流量是否为异常流量。在当前流量为异常流量的情况下，执行步骤26；否则，在当前流量不是异常流量的情况下，执行步骤28。
步骤26，根据精确预测值Y确定所述异常流量的异常流量类型。
步骤27，给出异常流量分析结果，对异常流量进行相应处理；之后不再执行本实施例的其他步骤。
步骤28，确定当前流量为合法流量。
本公开上述实施例的异常流量检测方法，是一种两阶段的异常流量检测方法。异常流量的第一阶段基于时序特征初步快速判断异常流量，第二阶段利用外部影响因子确认异常流量并修正第一阶段的模型预测，同时根据特征数据判定攻击类型，从而提高了检测速度和准确性。
本公开上述实施例弥补了专用系统部署成本高，部署范围受限的不足，本公开上述实施例可实现集中控制、全网覆盖，本公开上述实施例技术实现容易，具有大规模部署的潜力。
图3为本公开异常流量检测装置一些实施例的示意图。如图3所示，本公开异常流量检测装置可以包括数据采集模块31、模型预测模块32和模型优化模块33，其中：
数据采集模块31，用于获取大规模网络的时序特征数据和外部影响因子。
模型预测模块32，用于根据时序特征数据初步确定异常流量。
模型优化模块33，用于根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述异常流量检测装置用于执行实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法的操作。
基于本公开上述实施例提供的异常流量检测方法，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
图4为本公开异常流量检测装置另一些实施例的示意图。与图3实施例相比，图4实施例还可以包括数据处理模块34和结果输出模块35，其中：
数据采集模块31，用于通过网络控制协议和采集协议从网络设备分流采集网络流量、网络状态、网络性能、事件类型、流量成分等数据。
在本公开的一些实施例中，所述数据可以包括时序特征数据和外部影响因子中的至少一项。
在本公开的一些实施例中，时序特征数据可以包括时序特征数据全局流量流向OD矩阵信息、关联的网络性能指标等中的至少一项，其中，所述关联的网络性能指标可以包括丢包率、时延和抖动率等数据中的至少一项。
在本公开的一些实施例中，如图4所示，所述网络控制协议可以包括BGP、Netconf、Openflow、DPI、CLI(command line interface，命令行界面)PCEP(Path ComputationElement(PCE)Communication Protocol，路径计算单元通信协议)等协议。
在本公开的一些实施例中，如图4所示，所述采集协议可以包括BGP、CLI、xFLOW/DPI、syslog(System Log，系统日志)、ISIS(Intermediate system to intermediatesystem，中间系统到中间系统，一种内部网关协议)、SNMP(Simple Network ManagementProtocol，简单网络管理协议)等采集协议。
数据处理模块34，用于对采集的数据及相关的信息进行预处理，形成特征和标签数据；并将处理后的数据存储在内存数据库、RDB(Relational Database，关系数据库)或Hadoop分布式系统中。
模型预测模块32，用于采用LSTM对流量数据序列的前后关联信息进行建模，初步判断异常流量。
在本公开的一些实施例中，模型预测模块32可以用于基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型；将预处理后的时序特征数据输入基线时序流量模型；根据基线时序流量模型的输出结果ht初步确定当前流量是否为异常流量。
在本发明一个实施例中，所述基线时序流量模型可以包括：
遗忘门输出：ft＝σ(Wf[ht-1,xt])+bf
输入门输出：it＝σ(Wi[ht-1,xt])+bi
Figure BDA0002059536620000101
神经元状态：
Figure BDA0002059536620000102
输出门输出：ot＝σ(Wo[ht-1,xt])+bo
ht＝ot*tanh(Ct)
其中，xt为输入；ht为输出；it为输入门的输出；ft遗忘门输出；Ct为当前时刻t的细胞单元状态；ot为输出门的输出；W和b为参数矩阵；σ为ReLu函数；tanh为双曲正切激活函数。
模型优化模块33，用于结合应用成分分析、用户行为、舆情数据等影响因子采用CNN进一步确认异常流量并检测异常流量类型，同时将结果反馈到模型预测阶段，优化标签数据及相关参数。
在本发明一个实施例中，模型优化模块33可以用于对初步判定为异常的流量，基于应用成分及外部影响因子采用CNN精准判断异常流量类型，其中，特征数据可以包括协议类型、应用事件类型、用户行为、舆情数据等；将ht与外部影响因子L进行卷积和池化后得到影响值S(t)；根据影响值S(t)确定精确预测值Y＝f(WS(t)+b)，其中，激活函数f为softmax；采用精确预测值Y对LSTM模型的模型参数xt进行修正，以提高第一阶段模型的准确率。
结果输出模块35，用于给出异常流量分析结果，对异常流量进行相应处理。
本公开上述实施例的异常流量检测装置，是一种两阶段的检测装置，在第一阶段基于时序特征初步快速判断异常流量，在第二阶段利用外部影响因子等信息精准判定攻击类型。
本公开上述实施例的异常流量检测装置，包含模型修正的反馈机制：第二阶段的异常流量判定结果反馈至一阶段的模型训练，已进一步实现自动化的学习能力。
骨干网日常监控的场景下，利用本公开上述实施例，可以基于日志数据，实时监控网络中的异常流量，并且与安全系统联动进行流量的封堵和清洗。
图5为本公开异常流量检测装置又一些实施例的示意图。如图5所示，本公开异常流量检测装置可以包括存储器51和处理器52，其中：
存储器51，用于存储指令。
处理器52，用于执行所述指令，使得所述装置执行实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法的操作。
本公开上述实施例可以弥补专用系统部署成本高，部署范围受限的不足，本公开上述实施例可实现集中控制、全网覆盖，本公开上述实施例技术实现容易，具有大规模部署的潜力。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法。
基于本公开上述实施例提供的计算机可读存储介质，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
本公开上述实施例基于实时全局流量流向OD矩阵及关联的网络性能指标采用LSTM构建基线时序流量模型初步检测异常流量，再引入流量成分及外部影响因子(用户行为、舆情数据)等对结果进行修正并判断攻击类型，从而实现了全网异常流量的精准感知。
在上面所描述的异常流量检测装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种异常流量检测方法，其特征在于，包括：
获取大规模网络的时序特征数据和外部影响因子；
根据时序特征数据初步确定异常流量；
根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
2.根据权利要求1所述的异常流量检测方法，其特征在于，所述根据时序特征数据初步确定异常流量包括：
对获取的时序特征数据进行预处理；
根据预处理后的时序特征数据初步确定异常流量。
3.根据权利要求2所述的异常流量检测方法，其特征在于，所述根据预处理后的时序特征数据初步确定异常流量包括：
根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型；
将预处理后的时序特征数据输入基线时序流量模型；
根据基线时序流量模型的输出结果初步确定异常流量。
4.根据权利要求3所述的异常流量检测方法，其特征在于，所述根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型包括：
根据外部影响因子和基线时序流量模型的输出结果确定精确预测值；
根据精确预测值对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
5.根据权利要求4所述的异常流量检测方法，其特征在于，所述据外部影响因子和基线时序流量模型的输出结果确定精确预测值包括：
根据流量成分、外部影响因子和基线时序流量模型的输出结果确定精确预测值。
6.根据权利要求4或5所述的异常流量检测方法，其特征在于，还包括：
根据精确预测值对基线时序流量模型的模型参数进行修正。
7.根据权利要求1-5中任一项所述的异常流量检测方法，其特征在于，
所述时序特征数据包括时序特征数据全局流量流向矩阵信息、关联的网络性能指标中的至少一项，其中，所述关联的网络性能指标包括丢包率、时延和抖动率中的至少一项；
和/或，
所述外部影响因子包括协议类型、应用事件类型、用户行为、舆情数据中的至少一项。
8.一种异常流量检测装置，其特征在于，包括：
数据采集模块，用于获取大规模网络的时序特征数据和外部影响因子；
模型预测模块，用于根据时序特征数据初步确定异常流量；
模型优化模块，用于根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
9.根据权利要求8所述的异常流量检测装置，其特征在于，所述异常流量检测装置用于执行实现如权利要求1-7中任一项所述的异常流量检测方法的操作。
10.一种异常流量检测装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述异常流量检测装置执行实现如权利要求1-7中任一项所述的异常流量检测方法的操作。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-7中任一项所述的异常流量检测方法。
CN201910400177.3A 2019-05-15 2019-05-15 异常流量检测方法和装置、计算机可读存储介质 Active CN111953504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910400177.3A CN111953504B (zh) 2019-05-15 2019-05-15 异常流量检测方法和装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400177.3A CN111953504B (zh) 2019-05-15 2019-05-15 异常流量检测方法和装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111953504A true CN111953504A (zh) 2020-11-17
CN111953504B CN111953504B (zh) 2023-03-24

Family

ID=73335727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400177.3A Active CN111953504B (zh) 2019-05-15 2019-05-15 异常流量检测方法和装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111953504B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637132A (zh) * 2020-12-01 2021-04-09 北京邮电大学 一种网络异常检测方法、装置、电子设备和存储介质
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN117081863A (zh) * 2023-10-16 2023-11-17 武汉博易讯信息科技有限公司 Ddos攻击检测防御方法、系统、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN103780588A (zh) * 2012-10-24 2014-05-07 北京邮电大学 数字家庭网络中用户异常行为检测方法
CN104734916A (zh) * 2015-03-10 2015-06-24 重庆邮电大学 一种基于tcp协议的高效多级异常流量检测方法
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN106612289A (zh) * 2017-01-18 2017-05-03 中山大学 一种基于sdn的网络协同异常检测方法
CN107196816A (zh) * 2016-03-14 2017-09-22 中国移动通信集团江西有限公司 异常流量检测方法、系统及网络分析设备
CN108540443A (zh) * 2018-02-22 2018-09-14 贵州财经大学 一种计算机流量异常检测分析系统
CN108616529A (zh) * 2018-04-24 2018-10-02 成都信息工程大学 一种基于业务流的异常检测方法及系统
CN109040141A (zh) * 2018-10-17 2018-12-18 腾讯科技（深圳）有限公司 异常流量的检测方法、装置、计算机设备和存储介质
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、系统及计算机存储介质
CN109587008A (zh) * 2018-12-28 2019-04-05 华为技术服务有限公司 检测异常流量数据的方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
WO2010037261A1 (zh) * 2008-09-26 2010-04-08 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN103780588A (zh) * 2012-10-24 2014-05-07 北京邮电大学 数字家庭网络中用户异常行为检测方法
CN104734916A (zh) * 2015-03-10 2015-06-24 重庆邮电大学 一种基于tcp协议的高效多级异常流量检测方法
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN107196816A (zh) * 2016-03-14 2017-09-22 中国移动通信集团江西有限公司 异常流量检测方法、系统及网络分析设备
CN106612289A (zh) * 2017-01-18 2017-05-03 中山大学 一种基于sdn的网络协同异常检测方法
CN108540443A (zh) * 2018-02-22 2018-09-14 贵州财经大学 一种计算机流量异常检测分析系统
CN108616529A (zh) * 2018-04-24 2018-10-02 成都信息工程大学 一种基于业务流的异常检测方法及系统
CN109040141A (zh) * 2018-10-17 2018-12-18 腾讯科技（深圳）有限公司 异常流量的检测方法、装置、计算机设备和存储介质
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、系统及计算机存储介质
CN109587008A (zh) * 2018-12-28 2019-04-05 华为技术服务有限公司 检测异常流量数据的方法、装置及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637132A (zh) * 2020-12-01 2021-04-09 北京邮电大学 一种网络异常检测方法、装置、电子设备和存储介质
CN112637132B (zh) * 2020-12-01 2022-03-11 北京邮电大学 一种网络异常检测方法、装置、电子设备和存储介质
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN117081863A (zh) * 2023-10-16 2023-11-17 武汉博易讯信息科技有限公司 Ddos攻击检测防御方法、系统、计算机设备及存储介质
CN117081863B (zh) * 2023-10-16 2023-12-15 武汉博易讯信息科技有限公司 Ddos攻击检测防御方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111953504B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
CN109063745B (zh) 一种基于决策树的网络设备类型识别方法及系统
CN110519290B (zh) 异常流量检测方法、装置及电子设备
CN107181612A (zh) 一种基于大数据的可视化网络安全监控方法
CN111953504B (zh) 异常流量检测方法和装置、计算机可读存储介质
CN113625681B (zh) Can总线异常检测方法、系统及存储介质
CN106506242A (zh) 一种网络异常行为和流量监测的精确定位方法与系统
CN112001443A (zh) 网络行为数据的监控方法、装置、存储介质及电子设备
CN110266680B (zh) 一种基于双重相似性度量的工业通信异常检测方法
CN108156018B (zh) 电力网络设备拓扑识别方法、电子设备和计算机存储介质
CN116405261A (zh) 基于深度学习的恶意流量检测方法、系统及存储介质
US11949570B2 (en) Methods, systems, and computer readable media for utilizing machine learning to automatically configure filters at a network packet broker
CN106294824A (zh) 制造物联网面向不确定数据流的复杂事件检测方法及系统
CN120017363A (zh) 一种主动式网络性能探测方法及系统
CN117792946A (zh) Ttl异常检测方法、装置、电子设备及可读存储介质
CN114785879B (zh) 一种用于识别ospf协议异常行为的方法及系统
EP4084408A1 (en) Fault detection method, apparatus and system
CN112448919B (zh) 网络异常检测方法、装置和系统、计算机可读存储介质
CN111669411A (zh) 一种工控设备异常检测方法及系统
CN112291226B (zh) 一种网络流量的异常检测方法及装置
Oba et al. Graph convolutional network-based suspicious communication pair estimation for industrial control systems
Badidová et al. A contribution to DDoS attack detection based on deep neural networks
CN120185867A (zh) Can报文数据流异常检测方法、系统、设备、介质及产品
CN119011190A (zh) 异常流量检测方法及相关设备
CN111082992A (zh) 基于深度学习的sdn网络数据包的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201117

Assignee: Tianyiyun Technology Co.,Ltd.

Assignor: CHINA TELECOM Corp.,Ltd.

Contract record no.: X2024110000020

Denomination of invention: Abnormal flow detection method and device, computer-readable storage medium

Granted publication date: 20230324

License type: Common License

Record date: 20240315