[go: up one dir, main page]

CN117956039A - 网络数据调度优化方法、装置、设备及可读存储介质 - Google Patents

网络数据调度优化方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN117956039A
CN117956039A CN202410036243.4A CN202410036243A CN117956039A CN 117956039 A CN117956039 A CN 117956039A CN 202410036243 A CN202410036243 A CN 202410036243A CN 117956039 A CN117956039 A CN 117956039A
Authority
CN
China
Prior art keywords
network
data
probability
network data
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410036243.4A
Other languages
English (en)
Inventor
黄晓清
曾志锋
邹天佑
郭富城
赵柯琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ruizhong Boxin Microelectronics Technology Co ltd
Original Assignee
Chengdu Ruizhong Boxin Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ruizhong Boxin Microelectronics Technology Co ltd filed Critical Chengdu Ruizhong Boxin Microelectronics Technology Co ltd
Priority to CN202410036243.4A priority Critical patent/CN117956039A/zh
Publication of CN117956039A publication Critical patent/CN117956039A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络数据调度优化方法、装置、设备及可读存储介质,属于网络通信技术领域。本申请通过在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;根据所述网络使用概率,优化针对于所述网络数据的调度策略,解决了现有网络装置对网络数据的转发效率低的技术问题。

Description

网络数据调度优化方法、装置、设备及可读存储介质
技术领域
本申请涉及网络通信技术领域,尤其涉及一种网络数据调度优化方法、装置、设备及计算机可读存储介质。
背景技术
随着互联网的普及和发展,用户的上网习惯和上网需求越来越多样化,每时刻需要处理的网络流量也日趋庞大,使得网络装置的网络转发压力也逐渐增大,需要为不同时刻下用户的网络使用需求以提供相应的网络数据调度方式。
常规的网络装置在对网络数据进行转发时,一般根据网络装置中所安装的网络芯片,按照网络芯片中所设定的转发规则,使得网络数据全部进入队列进行等待调度,并按照顺序将队列中的网络数据逐一转发到相应的端口,但是,由于不同网络数据类型所对应的网络转发规则和网络接收端口可能有所区别,而网络芯片中所设定的网络数据转发规则一般不会频繁更改,从而降低了网络数据的调度效率和网络装置的传输性能,易出现由于网络数据转发规则的灵活性低,导致网络链路拥塞的技术问题,所以,现有网络装置对网络数据的转发效率低。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种网络数据调度优化方法、装置、设备及计算机可读存储介质,旨在解决现有网络装置对网络数据的转发效率低的技术问题。
为实现上述目的,本申请提供网络数据调度优化方法,所述网络数据调度优化方法包括:
在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
根据所述网络使用概率,优化针对于所述网络数据的调度策略。
此外,为实现上述目的,本申请还提供一种网络数据调度优化装置,所述网络数据调度优化装置包括:
生成模块,用于在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
确定模块,用于通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
优化模块,用于根据所述网络使用概率,优化针对于所述网络数据的调度策略。
本申请还提供一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络数据调度优化程序,所述网络数据调度优化程序配置为实现上述的网络数据调度优化方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实现网络数据调度优化方法的程序,所述实现网络数据调度优化方法的程序被处理器执行以实现如上所述网络数据调度优化方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的网络数据调度优化方法的步骤。
本申请通过在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;通过将所述网络缓存数据输入至预测用网概率模型,生成各所述网络数据的网络使用概率;根据所述网络使用概率,优化针对于所述网络数据的调度策略,由此,通过使用预测用网概率模型,主动识别并学习网络缓存数据,以预测用户对于各网络数据的请求概率,从而根据各网络数据的网络使用概率,更改对于各网络数据的调度策略,以确定在预测时间段内可能需要转发的网络数据,并提前对该网络数据进行请求和转发,从而确定用户的用网习惯,实时确定可以进行提前转发的网络数据,提高了网络数据转发规则的灵活性,克服了网络链路易出现拥塞的技术问题,所以,优化了现有网络装置对网络数据的转发效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的网络数据调度优化方法的流程示意图;
图2为本申请实施例一提供的网络数据调度优化方法的训练流程图;
图3为本申请实施例二提供的网络数据调度优化方法的流程示意图;
图4为本申请实施例三中网络数据调度优化装置的模块结构示意图;
图5为本申请实施例四中网络数据调度优化方法涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
实施例一
常规的网络通信服务一般需要通过网络装置中的网络芯片,即光网络通信芯片,而光网络通信芯片具体可以包括ONU(Optical Network Unit,光网络通信单元)和OLT(Optical Line Terminal,光线路终端)芯片,其中ONU和OLT芯片架构相似,一般都是TM+CPU,其中TM(Traffic Management,流量管理)主要是将光信号转换成电信号,并将进入的网络数据按照一定规则转发出去。CPU(Central Processing Unit,中央处理器)主要作用是网络设备的初始化,配置。作为网络设备,进入的网络数据需要识别网络数据相关信息,并根据用户的配置/制定的规则,筛选数据,转发数据。但是用户设置的参数和制定的规则一般不会频繁更改,有些用户甚至可能不会进行设置。
基于此,本申请提出第一实施例的网络数据转发方法,请参照图1,所述网络数据转发方法包括:
步骤S10,在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
步骤S20,通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
需要说明的是,网络装置用于表示通过获取和识别网络数据信息,并根据用户自定义或芯片出厂配置的使用规则,执行数据筛选和数据转发功能的网络设备,网络数据用于表示正在使用网络的用户或者正在提供网络服务的服务器,具体可以是用户正在浏览的网站或正在使用的服务器中请求转发的有效数据内容,即网络报文,数据调度用于表示光网络通信芯片正在对网络报文进行数据转发。
另外地,需要说明的是,预测用网概率模型用于表示,可以对网络数据进行识别和分类,从而得到用户对各网络的访问概率,即用户的用网习惯,具体地,预测用网概率模型可以是神经网络。网络使用概率用于表示网络装置中各个端口或网络装置所包含的各个用户在各个时段使用某个网站或服务器的概率,即,用户在某一时间段内进行上网活动时,访问各网页或网站的概率。
可以理解的是,当用户正在上网时,网络装置会获取用户浏览的网站或使用的网页的网络数据,同时对网络数据进行缓存,并对网页的IP地址或主机的Mac地址进行检测,判断用户浏览的网页类型以及该网页的安全程度。
步骤S30,根据所述网络使用概率,优化针对于所述网络数据的调度策略。
需要说明的是,网络使用概率用于表示预测用网概率模型关于各网络数据所存在的概率的输出结果,具体可以表示根据当前时刻的网络数据使用情况,预测下一时刻网络装置中的各网络数据缓存情况,具体可以是用户在下一时刻打开该网页或网站的概率,数据调度策略用于表示网络装置对各网络报文或网络数据的转发策略,优化前的网络调度策略具体可以包括优先调度策略、队列调度策略或屏蔽调度策略,优化后的网络调度策略具体可以是提前调度和缓存调度,其中,提前调度用于表示提前访问并转发网络数据,缓存调度用于表示提前访问并缓存网络数据。
在一种可能的实施方式中,预测用网概率模型的输出结果具体可以是对网络数据所属类别的预测、异常行为的检测、用户行为模式的分析等。这些输出结果可以帮助网络安全系统进行自动化的异常检测和分类,或者用于个性化推荐系统中对用户行为进行理解和预测。同时,需要注意的是,预测用网概率模型的输出结果并不是原始网络数据的数据,而是对网络数据特征的抽象和处理后的结果。
作为一种示例,步骤S10至步骤S30包括:在网络装置对网络数据进行数据调度时,将网络数据缓存至网络装置中,从而生成相应的网络缓存数据,然后将网络缓存数据输入至预测用网概率模型,从而输出确定各时间段下各网络数据的网络使用概率,并根据得到的网络使用概率,对各网络数据的调度策略进行优化。
本申请通过在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;通过将所述网络缓存数据输入至预测用网概率模型,生成各所述网络数据的网络使用概率;根据所述网络使用概率,优化针对于所述网络数据的调度策略,由此,通过使用预测用网概率模型,主动识别并学习网络缓存数据,以预测用户对于各网络数据的请求概率,从而根据各网络数据的网络使用概率,更改对于各网络数据的调度策略,以确定在预测时间段内可能需要转发的网络数据,并提前对该网络数据进行请求和转发,从而确定用户的用网习惯,实时确定可以进行提前转发的网络数据,提高了网络数据转发规则的灵活性,克服了网络链路易出现拥塞的技术问题,所以,优化了现有网络装置对网络数据的转发效率。
其中,所述通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率的步骤包括:
步骤A10,获取针对于所述预测用网概率模型的人工预设参数;
步骤A20,通过对所述网络缓存数据按照预设时段进行分类统计,确定各所述预设时段下的网络数据统计结果;
需要说明的是,人工预设参数用于表示由用户设定的,按照用户所需提供相应网络配置或网络服务的运行参数,运行参数将作用于待转发报文的转发过程中,可以根据用户设置参数内容,执行相应的调度策略,即根据预设人工调度参数生成实际执行策略,预设时段用于表示用户自行配置的时间阶段,具体可以是一天、一周或一个月内每天24小时中,以每0.1小时、0.2小时或0.3小时为一个时间阶段,网络数据统计结果用于表示将各网络数据按照数据类型,在预设时段内的占比情况或总量。
步骤A30,根据所述人工预设参数,通过将所述网络数据统计结果输入至所述预测用网概率模型,确定所述网络使用概率。
需要说明的是,预测用网概率模型在识别网络数据后得到的不是相应的原始数据,而是通过在网络数据中提取数据特征,并对数据特征进行处理和学习后得到的模型输出。这些模型输出可以包括对网络数据的分类结果、异常检测结果、用户行为模式等。具体地,预测用网概率模型在处理网络数据时,会提取其中的关键特征,如源IP地址、目的IP地址、协议类型、端口号、数据载荷等,并将这些特征输入到神经网络中进行学习和处理。神经网络的训练过程会通过大量的网络数据,学习并建立特征与对应的分类或判断结果之间的映射关系。
在一种可能的实施方式中,在一些应用场景下,需要通过人工预设参数来获取一些相关信息,以便更好地训练和优化神经网络模型。例如,在个性化推荐系统中,需要用户提供一些基本信息,如性别、年龄、职业等,以更好地理解用户的兴趣爱好和偏好,相反的,在一些场景下,也可以通过分析用户的行为数据,实现对用户的用网习惯的预测和判断,而不需要用户的设置。例如,在网络安全领域中,可以通过分析网络流量数据,判断是否存在入侵攻击或异常行为,而不需要用户的设置。因此,人工预设参数的具体参数内容以及是否需要人工预设参数,取决于具体的应用场景和任务需求。有些应用场景可能需要用户提供额外的信息,而有些场景则可以通过分析用户的行为数据实现预测和判断。
作为一种示例,步骤A10至步骤A30包括:在网络装置中获取提前设置好的,针对于预测用网概率模型的人工预设参数,然后对网络缓存数据按照预设时段进行分类统计,从而确定各预设时段下的网络数据统计结果,并根据人工预设参数获取用户的上网习惯,通过将各预设时段下的网络数据统计结果输入至预测用网概率模型,确定各网络数据的网络使用概率。
其中,所述通过对所述网络缓存数据按照预设时段进行分段统计,确定各所述预设时段下的网络数据统计结果的步骤包括:
步骤B10,获取各所述网络数据所处的数据缓存时段和数据类型;
步骤B20,根据所述数据类型和所述数据缓存时段,通过计算各所述预设时段下的网络缓存数据,生成所述网络数据统计结果。
需要说明的是,数据类型用于表示各网络数据所代表的网页类型或网络数据中所包含的内容类型,具体可以表示各网络数据中的网络地址信息或网络数据收发端口信息,以及网络数据所包含的文字、图片和语音等信息,通过确定网络数据的数据类型,可以确定用户当前的上网情况和上网习惯,数据缓存时段用于表示数据进行请求和缓存所位于的时间段信息,例如,在每天早上七点,网络装置中关于某网站的数据转发数量最多,通过计算位于各预设时间段下,网络缓存数据在各数据类型中的占比情况,生成相应的网络数据统计结果。
在一种可能的实施方式中,生成网络数据统计结果,具体可以是针对每预设时间段内上行和下行收发的以太网数据进行统计和分类,统计按照一周7天(具体时间可由用户进行自由配置),每天24小时,以0.1小时、0.2小时或0.3小时等为一个时间阶段,进行分段统计。数据的分类方式具体可以包括大小两种分类,大分类具体可以按照网络数据的IP地址、MAC地址、网站、网页、服务器、用户端口或其他自定义方式等进行分类,小分类具体可以包括按照图片、语音、数据或其他自定义等内容进行分类。
作为一种示例,步骤B10至步骤B20包括:获取各数据缓存时段下所缓存的网络数据的数据类型,从而根据数据类型和数据缓存时段,对各预设时段下的网络缓存数据按照数据类型进行统计,生成该数据缓存时段下各数据类型的网络数据统计结果。
其中,在所述根据所述人工预设参数,通过将所述网络数据统计结果输入至所述预测用网概率模型,确定所述网络使用概率的步骤之后,所述网络数据调度优化方法还包括:
步骤C10,获取所述网络装置在所述预设时段下对各所述网络数据的实际用网结果;
步骤C20,通过将所述实际用网结果与所述网络使用概率进行比较,确定所述预测用网概率模型对各所述网络数据的预测准确率;
步骤C30,根据所述预测准确率,对所述预测用网概率模型进行修正。
需要说明的是,实际用网结果用于表示各网络数据实际缓存的数据量或用户在下一时间段内对各网络数据的实际用网比例,具体可以为用户实际所请求的网络数据,预测准确率用于表示网络装置中对各网络数据的实际用网结果与预测得到的网络使用概率之间的预测正确情况,具体可以通过实际用网结果与网络使用概率相比较,对正确的结果和错误的结果进行标记,从而统计实际的预测正确率。
在一种可能的实施方式中,对预测用网概率模型进行修正具体可以是根据用户或各个端口的实际上网情况,即实际用网结果,对预测的网络使用概率进行标记,确定预测结果中正确和错误的情况,从而在预测用网概率模型对预测错误的结果进行标记,实现对预测用网概率模型进行实时优化和修正,具体可以是将上一时间段内的训练结果保存至下一个时间阶段,将预测结果和实际情况做比对,从而对预测结果进行打分,并根据对比情况对预测用网概率模型进行训练。
作为一种示例,步骤C10至步骤C20包括:对网络装置在预设时段下对各网络数据的实际用网结果进行读取和统计,从而通过计算实际用网结果和网络使用概率之间的预测准确率,以实现对预测用网概率模型进行模型修正和训练。
其中,所述根据所述网络使用概率,优化针对于所述网络数据的调度策略的步骤包括:
步骤D10,在所述网络使用概率位于第一预测概率区间时,优化所述调度策略为提前调度;
步骤D20,在所述网络使用概率位于第二预测概率区间时,优化所述调度策略为缓存调度,其中,所述第二预测概率区间小于所述第一预测概率区间;
步骤D30,在所述网络使用概率位于第三预测概率区间时,优化所述调度策略为原始调度,其中,所述第三预测概率区间小于所述第二预测概率区间。
需要说明的是,第一预测概率区间用于表示概率位于第一梯度,可以提前访问并转发数据的区间结果,此时,位于第一预测概率区间内的网络数据的调度策略将优化为提前调度,即提前执行网络数据访问操作并对所制作和请求的网络数据进行直接转发,第二预测概率区间用于表示概率位于第二梯度,可以提前访问并缓存数据的区间结果,此时,位于第二预测概率区间内的网络数据的调度策略将优化为缓存调度,即提前执行网络数据访问操作并将所制作和请求的网络数据缓存至网络装置中,第三预测概率区间用于表示概率位于第三梯度的区间结果,此时,该网络数据的调度策略将保持原有的数据调度策略,即原始调度。
作为一种示例,步骤D10至步骤D30包括:在网络使用概率位于第一预测概率区间时,将该网络数据的调度策略优化为提前调度;在网络使用概率位于第二预测概率区间时,优化该网络数据的调度策略为缓存调度,在网络使用概率位于第三预测概率区间时,优化该网络数据的调度策略为原始调度,其中,三个预测概率区间的大小关系为:第一预测概率区间大于第二预测概率区间,第二预测概率区间大于第三预测概率区间。
示例性地,为了助于理解本申请的技术构思或技术原理,请参照图2,图2提供了一种训练流程图,用于解预测用网概率模型的训练和预测过程,首先是用户或运营商运维工程师输入人工预设参数以做初始基本设置,设置神经网络训练层数,输入输出个数,输入输出路径。然后设置以及神经网络训练结果可信度阈值,具体可以是预测97%的概率及以上属于预测成功。可提前访问相关网站或服务器并转发网络数据给用户,预测结果90%及以上的概率可以提前访问网页、网站或服务器并将对应的网络数据存储在缓存中,等到确定收到用户访问请求直接转发,90%以下的概率,不对当前的调度策略进行更改或优化。
实施例二
基于本申请第一实施例,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,请参照图3,在通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率的步骤之后,所述网络数据调度优化方法还包括:
步骤E10,通过将所述网络数据统计结果输入至预设数据学习模型,确定各所述网络数据的数据依赖关系和数据安全等级;
步骤E20,根据所述数据依赖关系和所述数据安全等级,优化针对于所述网络数据的调度策略。
需要说明的是,预设数据学习模型用于表示对用户用网习惯和网络内容进行学习的模型,具体可以是深度学习模型,数据依赖关系用于表示各网络数据之间的关联性和相互影响结果,具体可以是,在用户上网过程中,当网络装置接收到用户所请求的网络数据中的网络地址时,还可以确定用户可能会同时打开的页面或在该网页中可能会同时请求的数据内容,以找到各网络数据之间的依赖关系,数据安全等级用于表示数据的安全程度,具体可以用来判断该数据是否能够提前请求和转发,或者需要对该网络数据进行屏蔽。
另外地,需要说明的是,在预设数据学习模型为深度学习模型时,模型的结构具体可以是4至10个输入层,中间包含多个隐藏层,最后从输出层输出结果,在网络数据进入深度学习模型之前,具体可以对网络数据进行切片,将其中几个切片数据作为深度学习模型的输入层,然后识别报文中传输的数据是否为图片或声音等数据类型,根据识别得到的数据类型进行数据分类,并识别和统计用户的用网习惯,最后再由深度学习模型对网络数据进行训练,同时,可以设置多个深度学习模型,根据不同深度学习模型的训练结果,可以从不同角度了解用户的用网习惯。
在一种可能的实施方式中,在将网络数据输入至预设数据学习模型中时,由于一些网页或网站中所传输的网络数据较大,因此需要先对网络数据进行数据切片,切片方式具体可以包括文件分割、视频流切片、数据库分片和并行计算,在完成对网络数据进行切片后,再选取一部分切片后的网络数据作为预设数据学习模型中的输入数据,通过识别网络数据的安全程度和用户的上网习惯,以得到在下一时间段中对各网络的数据优化调度方式。
另外地,在一种可能的实施方式中,比如根据用户上网时间,可以训练得到一个深度学习模型,可以确定用户在某个时间段打游戏、某个时间段看视频、某个时间段语音聊天或某个时间段看直播的上网时间,从而得到在各个时间段用户的用网的概率和权重,以此生成用户的访问网站习惯。并且,再根据用户的访问网站习惯,可以得到另一个深度学习模型,从而识别用户访问某个网站的权重和概率。
作为一种示例,步骤E10至步骤E20包括:通过将网络数据统计结果输入至预设数据学习模型,以生成各网络数据的数据依赖关系和数据安全等级,同时,根据数据依赖关系和数据安全等级,优化针对于网络数据的调度策略。
其中,所述根据所述数据依赖关系和所述数据安全等级,优化针对于所述网络数据的调度策略的步骤包括:
步骤F10,在所述数据安全等级为高安全等级时,根据所述数据依赖关系,在所述网络装置中制作所述网络数据的相关数据,其中,所述相关数据包括网页数据或端口数据;
步骤F20,根据所述相关数据,优化所述调度策略;
步骤F30,在所述数据安全等级为低安全等级时,通过对所述网络数据进行屏蔽,以优化所述调度策略。
需要说明的是,在根据预设数据学习模型得到的网络数据依赖关系结果后,还需要对该网络数据的数据安全等级进行判断,若数据安全等级为高安全等级,表示该网站较为安全,可以提前制作该网页或网站的相关网络数据,并对该网络数据进行转发或缓存,若数据安全等级为低安全等级,表示该网站可能存在一定的危险或存在病毒等情况,此时将停止对待转发报文进行转发,阻止用户在下一时间段请求浏览该网页或网站。
另外地,需要说明的是,识别数据之间的依赖是数据分析和建模中的重要任务,可以用于理解数据中的关联性和相互影响,从而优化预设数据学习模型,具体地,数据依赖关系的确定方式可以包括数据相关性分析、因果关系分析和机器学习方法等,从而通过确定数据输入特征与输出目标之间的依赖关系以实现提前制作数据。
作为一种示例,步骤F10至步骤F30包括:在数据安全等级为高安全等级时,根据数据依赖关系,在网络装置中制作网络数据的相关数据,同时根据相关数据,优化调度策略,而在数据安全等级为低安全等级时,直接对网络数据进行屏蔽,即,停止对该网络数据进行转发,从而实现优化调度策略。
本实施例通过预设数据学习模型对网络数据统计结果进行学习,得到网络装置内所涉及的各用户的网络使用习惯,从而对各网络数据的调度策略进行相应的调整,同时,还可以根据网络数据的数据安全等级,以确定相应的优化调度策略,使得数据安全等级较高的数据能够实现提前调度,并实现提前对不安全的网络进行屏蔽,从而得到适用于用户实际使用情况的调度策略,提升用户的上网体验,满足了用户的网速需求,提高网络数据转发的灵活性。
实施例三
本申请实施例还提供一种网络数据调度优化装置,请参照图4,所述网络数据调度优化装置包括:
生成模块101,用于在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
确定模块102,用于通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
优化模块103,用于根据所述网络使用概率,优化针对于所述网络数据的调度策略。
可选地,所述确定模块102还用于:
获取针对于所述预测用网概率模型的人工预设参数;
通过对所述网络缓存数据按照预设时段进行分类统计,确定各所述预设时段下的网络数据统计结果;
根据所述人工预设参数,通过将所述网络数据统计结果输入至所述预测用网概率模型,确定所述网络使用概率。
可选地,所述网络数据调度优化装置还包括:
获取各所述网络数据所处的数据缓存时段和数据类型;
根据所述数据类型和所述数据缓存时段,通过计算各所述预设时段下的网络缓存数据,生成所述网络数据统计结果。
可选地,所述网络数据调度优化装置还包括:
获取所述网络装置在所述预设时段下对各所述网络数据的实际用网结果;
通过将所述实际用网结果与所述网络使用概率进行比较,确定所述预测用网概率模型对各所述网络数据的预测准确率;
根据所述预测准确率,对所述预测用网概率模型进行修正。
可选地,所述优化模块103还用于:
在所述网络使用概率位于第一预测概率区间时,优化所述调度策略为提前调度;
在所述网络使用概率位于第二预测概率区间时,优化所述调度策略为缓存调度,其中,所述第二预测概率区间小于所述第一预测概率区间;
在所述网络使用概率位于第三预测概率区间时,优化所述调度策略为原始调度,其中,所述第三预测概率区间小于所述第二预测概率区间。
可选地,所述网络数据调度优化装置还包括:
通过将所述网络数据统计结果输入至预设数据学习模型,确定各所述网络数据的数据依赖关系和数据安全等级;
根据所述数据依赖关系和所述数据安全等级,优化针对于所述网络数据的调度策略。
可选地,所述网络数据调度优化装置还包括:
在所述数据安全等级为高安全等级时,根据所述数据依赖关系,在所述网络装置中制作所述网络数据的相关数据,其中,所述相关数据包括网页数据或端口数据;
根据所述相关数据,优化所述调度策略;
在所述数据安全等级为低安全等级时,通过对所述网络数据进行屏蔽,以优化所述调度策略。
本申请提供的网络数据调度优化装置,采用上述实施例一或实施例二中的网络数据调度优化方法,能够解决现有网络装置对网络数据的转发效率低的技术问题。与现有技术相比,本申请实施例提供的网络数据调度优化装置的有益效果与上述实施例提供的网络数据调度优化方法的有益效果相同,且所述网络数据调度优化装置中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
实施例四
本申请实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的网络数据调度优化方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(Personal Digital Assistant:个人数字助理)、PAD(Portable ApplicationDescription:平板电脑)、PMP(Portable Media Player:便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备可以包括处理装置1001(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM:Read Only Memory)1002中的程序或者从存储装置1003加载到随机访问存储器(RAM:Random Access Memory)1004中的程序而执行各种适当的动作和处理。在RAM1004中,还存储有电子设备操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出(I/O)接口1006也连接至总线。通常,以下系统可以连接至I/O接口1006:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007;包括例如液晶显示器(LCD:LiquidCrystal Display)、扬声器、振动器等的输出装置1008;包括例如磁带、硬盘等的存储装置1003;以及通信装置1009。通信装置1009可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置1003被安装,或者从ROM1002被安装。在该计算机程序被处理装置1001执行时,执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备,采用上述实施例中的网络数据调度优化方法,能解决现有网络装置对网络数据的转发效率低的技术问题。与现有技术相比,本申请实施例提供的电子设备的有益效果与上述实施例提供的网络数据调度优化方法的有益效果相同,且该电子设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
实施例五
本申请实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的网络数据调度优化方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体地例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM:Random Access Memory)、只读存储器(ROM:Read Only Memory)、可擦式可编程只读存储器(EPROM:Erasable Programmable Read Only Memory或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM:CD-Read Only Memory)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(Radio Frequency:射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;通过将所述网络缓存数据输入至预测用网概率模型,生成各所述网络数据的网络使用概率;根据所述网络使用概率,优化针对于所述网络数据的调度策略。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN:Local Area Network)或广域网(WAN:Wide Area Network)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的可读存储介质为计算机可读存储介质,所述计算机可读存储介质存储有用于执行上述网络数据调度优化方法的计算机可读程序指令,能够解决现有网络装置对网络数据的转发效率低的技术问题。与现有技术相比,本申请实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的网络数据调度优化方法的有益效果相同,在此不做赘述。
实施例六
本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的网络数据调度优化方法的步骤。
本申请提供的计算机程序产品能够解决现有网络装置对网络数据的转发效率低的技术问题。与现有技术相比,本申请实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的网络数据调度优化方法的有益效果相同,在此不做赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种网络数据调度优化方法,其特征在于,所述网络数据调度优化方法包括:
在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
根据所述网络使用概率,优化针对于所述网络数据的调度策略。
2.如权利要求1所述的网络数据调度优化方法,其特征在于,所述通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率的步骤包括:
获取针对于所述预测用网概率模型的人工预设参数;
通过对所述网络缓存数据按照预设时段进行分类统计,确定各所述预设时段下的网络数据统计结果;
根据所述人工预设参数,通过将所述网络数据统计结果输入至所述预测用网概率模型,确定所述网络使用概率。
3.如权利要求2所述的网络数据调度优化方法,其特征在于,所述通过对所述网络缓存数据按照预设时段进行分段统计,确定各所述预设时段下的网络数据统计结果的步骤包括:
获取各所述网络数据所处的数据缓存时段和数据类型;
根据所述数据类型和所述数据缓存时段,通过计算各所述预设时段下的网络缓存数据,生成所述网络数据统计结果。
4.如权利要求2所述的网络数据调度优化方法,其特征在于,在所述根据所述人工预设参数,通过将所述网络数据统计结果输入至所述预测用网概率模型,确定所述网络使用概率的步骤之后,所述网络数据调度优化方法还包括:
获取所述网络装置在所述预设时段下对各所述网络数据的实际用网结果;
通过将所述实际用网结果与所述网络使用概率进行比较,确定所述预测用网概率模型对各所述网络数据的预测准确率;
根据所述预测准确率,对所述预测用网概率模型进行修正。
5.如权利要求1所述的网络数据调度优化方法,其特征在于,所述根据所述网络使用概率,优化针对于所述网络数据的调度策略的步骤包括:
在所述网络使用概率位于第一预测概率区间时,优化所述调度策略为提前调度;
在所述网络使用概率位于第二预测概率区间时,优化所述调度策略为缓存调度,其中,所述第二预测概率区间小于所述第一预测概率区间;
在所述网络使用概率位于第三预测概率区间时,优化所述调度策略为原始调度,其中,所述第三预测概率区间小于所述第二预测概率区间。
6.如权利要求1所述的网络数据调度优化方法,其特征在于,在所述通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率的步骤之后,所述网络数据调度优化方法还包括:
通过将所述网络数据统计结果输入至预设数据学习模型,确定各所述网络数据的数据依赖关系和数据安全等级;
根据所述数据依赖关系和所述数据安全等级,优化针对于所述网络数据的调度策略。
7.如权利要求6所述的网络数据调度优化方法,其特征在于,所述根据所述数据依赖关系和所述数据安全等级,优化针对于所述网络数据的调度策略的步骤包括:
在所述数据安全等级为高安全等级时,根据所述数据依赖关系,在所述网络装置中制作所述网络数据的相关数据,其中,所述相关数据包括网页数据或端口数据;
根据所述相关数据,优化所述调度策略;
在所述数据安全等级为低安全等级时,通过对所述网络数据进行屏蔽,以优化所述调度策略。
8.一种网络数据调度优化装置,其特征在于,所述网络数据调度优化装置包括:
生成模块,用于在网络装置对网络数据进行数据调度时,将所述网络数据缓存至所述网络装置中以生成网络缓存数据;
确定模块,用于通过将所述网络缓存数据输入至预测用网概率模型进行深度学习的模型训练,生成各所述网络数据的网络使用概率;
优化模块,用于根据所述网络使用概率,优化针对于所述网络数据的调度策略。
9.一种电子设备,其特征在于,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络数据调度优化程序,所述网络数据调度优化程序配置为实现如权利要求1至7中任一项所述的网络数据调度优化方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有网络数据调度优化程序,所述程序被处理器执行时实现如权利要求1至7任一项所述网络数据调度优化的方法的步骤。
CN202410036243.4A 2024-01-10 2024-01-10 网络数据调度优化方法、装置、设备及可读存储介质 Pending CN117956039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410036243.4A CN117956039A (zh) 2024-01-10 2024-01-10 网络数据调度优化方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410036243.4A CN117956039A (zh) 2024-01-10 2024-01-10 网络数据调度优化方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN117956039A true CN117956039A (zh) 2024-04-30

Family

ID=90797541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410036243.4A Pending CN117956039A (zh) 2024-01-10 2024-01-10 网络数据调度优化方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117956039A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119376896A (zh) * 2024-12-27 2025-01-28 北京国科环宇科技股份有限公司 基于概率模型预测的调度方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119376896A (zh) * 2024-12-27 2025-01-28 北京国科环宇科技股份有限公司 基于概率模型预测的调度方法

Similar Documents

Publication Publication Date Title
EP3863323A1 (en) Communication network out-of-capacity predictions
CN109684370A (zh) 日志数据处理方法、系统、设备及存储介质
KR20160135858A (ko) 온라인 소셜 네트워크 내 네트워크-인지 제품 시판
CN106899549B (zh) 一种网络安全检测方法及装置
CN114553555B (zh) 恶意网址识别方法、装置、存储介质及电子设备
US20150207691A1 (en) Preloading content based on network connection behavior
CN103678372A (zh) 一种用于获取页面的应用性能的方法和设备
US10291492B2 (en) Systems and methods for discovering sources of online content
CN109450844B (zh) 触发漏洞检测的方法及装置
US20150205767A1 (en) Link appearance formatting based on target content
CN117956039A (zh) 网络数据调度优化方法、装置、设备及可读存储介质
CN111680754B (zh) 图像分类方法、装置、电子设备及计算机可读存储介质
CN112633955B (zh) 广告转化异常检测方法、系统及计算机可读存储介质
CN114022711A (zh) 工业标识数据缓存处理方法及装置、介质及电子设备
CN114444487A (zh) 一种数据处理方法、装置、设备及介质
CN113660166A (zh) 交易路由控制方法、装置、电子设备及存储介质
CN118887593A (zh) 作业人员动态轨迹不安全行为检测方法、电子设备和介质
CN115660073B (zh) 基于和声鲸鱼优化算法的入侵检测方法和系统
CN118409880A (zh) 一种消息传输方法、装置、电子设备及存储介质
CN111367778B (zh) 评估搜索策略的数据分析方法和装置
US12205039B1 (en) Group masked autoencoder for anomaly detection
CN113362097B (zh) 一种用户确定方法和装置
CN113449886A (zh) 数据处理方法、处理装置、设备及存储介质
CN118332216B (zh) 浏览行为信息识别方法、装置、设备与介质
KR20210134902A (ko) 클라이언트 디바이스에서 중복 디지털 컴포넌트의 제공 및 디스플레이 제한

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 210000 Jiangsu Province Nanjing City Jiangning Development Zone Suyuan Avenue 19 B4 Building 2nd Floor JiuLongHu International Enterprise Headquarters Park (Jiangning Development Zone)

Applicant after: Nanjing Ruizhong Boxin Microelectronics Technology Co.,Ltd.

Address before: 610000 Sichuan Province Chengdu City China (Sichuan) Free Trade Zone Chengdu High-tech Development Zone Tianfu Fifth Street 200 Building 1 Area B 6th Floor

Applicant before: Chengdu Ruizhong Boxin Microelectronics Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information