CN111798000A - 数据优化方法、装置、存储介质及电子设备 - Google Patents
数据优化方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111798000A CN111798000A CN201910282154.7A CN201910282154A CN111798000A CN 111798000 A CN111798000 A CN 111798000A CN 201910282154 A CN201910282154 A CN 201910282154A CN 111798000 A CN111798000 A CN 111798000A
- Authority
- CN
- China
- Prior art keywords
- data
- optimized
- quality
- optimization
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例公开了一种数据优化方法、装置、存储介质及电子设备,其中,电子设备可以首先获取需要进行数据优化的待优化数据,并确定对待优化数据进行数据优化需要达到的目标数据质量,然后构建对应待优化数据的强化学习模型,通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。由此,本申请通过将对数据的数据优化过程中转换为一个强化学习的过程,能够更灵活的对数据进行优化,提升其数据质量。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据优化方法、装置、存储介质及电子设备。
背景技术
目前,为了提高数据的数据质量,相关技术中采用人工制定的规则对数据进行优化,从而提升其利用价值。然而,相关技术中进行数据优化时,过于依赖人力和专家知识,导致其灵活性较差。
发明内容
本申请实施例提供了一种数据优化方法装置、存储介质及电子设备,能够对灵活的对数据进行优化。
第一方面,本申请实施例提供了一种数据优化方法,应用于电子设备,该数据优化方法包括:
获取需要进行数据优化的待优化数据;
确定对所述待优化数据进行数据优化需要达到的目标数据质量;
构建对应所述待优化数据的强化学习模型;
通过所述强化学习模型对所述待优化数据进行迭代优化,使得所述待优化数据的数据质量达到所述目标数据质量。
第二方面,本申请实施例提供了一种数据优化装置,应用于电子设备,该数据优化装置包括:
数据获取模块,用于获取需要进行数据优化的待优化数据;
质量确定模块,用于确定对所述待优化数据进行数据优化需要达到的目标数据质量;
模型构建模块,用于构建对应所述待优化数据的强化学习模型;
数据优化模块,用于通过所述强化学习模型对所述待优化数据进行迭代优化,使得所述待优化数据的数据质量达到所述目标数据质量。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的数据优化方法中的步骤。
第四方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请实施例提供的数据优化方法中的步骤。
本申请实施例中,电子设备可以首先获取需要进行数据优化的待优化数据,并确定对待优化数据进行数据优化需要达到的目标数据质量,然后构建对应待优化数据的强化学习模型,通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。由此,本申请通过将对数据的数据优化过程中转换为一个强化学习的过程,能够更灵活的对数据进行优化,提升其数据质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的全景感知架构的结构示意图。
图2是本申请实施例提供的数据优化方法的一流程示意图。
图3是本申请实施例提供的数据优化方法的另一流程示意图。
图4是本申请实施例提供的数据优化方法的应用场景示意图。
图5是本申请实施例提供的数据优化装置的一结构示意图。
图6是本申请实施例提供的电子设备的一结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
随着传感器的小型化、智能化,如手机、平板电脑等电子设备集成了越来越多的传感器,比如光线传感器、距离传感器、位置传感器、加速度传感器以及重力传感器,等等。电子设备能够通过其配置的传感器以更小的功耗采集到更多的数据。同时,电子设备在运行过程中还会采集到自身运行状态相关的数据以及用户状态相关的数据,等等。笼统的说,电子设备能够获取到外部环境相关的数据(比如温度、光照、地点、声音、天气等)、用户状态相关的数据(比如姿势、速度、使用习惯、个人基本信息等)以及电子设备状态相关的数据(比如耗电量、资源使用状况、网络状况等)。本申请实施例中,将电子设备能够获取到的这些数据记为全景数据。
本申请实施例中,为了能够对电子设备获取到的这些全景数据进行处理,向用户提供智能服务,提出了一种全景感知架构。请参照图1,图1为本申请实施例提供的全景感知架构的结构示意图,应用于电子设备,其包括由下至上的信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
作为全景感知架构的最底层,信息感知层用于获取能够描述用户的各类型情景的原始数据,即全景数据。其中,信息感知层由多个用于数据采集的传感器组成,包括但不限于图示的用于检测电子设备与外部物体之间的距离的距离传感器、用于检测电子设备所处环境的磁场信息的磁场传感器、用于检测电子设备所处环境的光线信息的光线传感器、用于检测电子设备的加速度数据的加速度传感器、用于采集用户的指纹信息的指纹传感器、用于感应磁场信息的霍尔传感器、用于检测电子设备当前所处的地理位置的位置传感器、用于检测电子设备在各个方向上的角速度的陀螺仪、用于检测电子设备的运动数据惯性传感器、用于感应电子设备的姿态信息的姿态感应器、用于检测电子设备所处环境的气压的气压计以及用于检测用户的心率信息的心率传感器等。
作为全景感知架构的次底层,数据处理层用于对信息感知层获取到的原始数据进行处理,消除原始数据存在的噪声、不一致等问题。其中,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
作为全景感知架构的中间层,特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取所述数据中包括的特征。其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
作为全景感知架构的次高层,情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
作为全景感知架构的最高层,智能服务层用于根据情景建模层所构建的模型提供智能化服务。比如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化服务,还可以为用户提供个性化智能服务等。
此外,全景感知架构中还包括算法库,算法库中包括但不限于图示的马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络以及循环神经网络等算法。
基于本申请实施例提供的全景感知架构,本申请实施例提供一种数据优化方法,该数据优化方法的执行主体可以是本申请实施例提供的数据优化装置,或者集成了该数据优化装置的电子设备,其中该数据优化装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
基于本申请实施例提供的数据优化方法,信息感知层将采集的全景数据提供给数据处理层;数据处理层将来自于信息感知层的全景数据作为需要进行数据优化的待优化数据,根据本申请实施例提供的数据优化方法对待优化数据进行优化,使得待优化数据的数据质量达到目标数据质量,并将优化后的数据提供给特征抽取层;特征抽取层对来自于数据处理层的数据进行特征抽取,得到能够表征前述数据的特征,将抽取到的特征提供给情景建模层;情景建模层基于来自于特征抽取层的特征进行建模,利用建模得到的模型来表征电子设备的状态或者用户状态或者环境状态等;最后,智能服务层根据情景建模层所构建的模型提供对应的智能化服务,比如基础应用服务、系统优化服务、个性化服务等。
请参照图2,图2为本申请实施例提供的数据优化方法的流程示意图,该数据写入方法实现于全景感知架构的数据处理层,如图2所示,本申请实施例提供的数据优化方法的流程可以如下:
在101中,获取需要进行数据优化的待优化数据。
本申请实施例中,电子设备可以在侦测到数据优化需求时,根据该数据优化需求获取需要进行数据优化的待优化数据。其中,电子设备可以从本地获取需要进行数据优化的待优化数据,也可以从其它电子设备处获取需要进行数据优化的待优化数据,还可以从网络获取需要进行数据优化的待优化数据,等等。
比如,电子设备在当前时刻获取到全景数据时,产生指示将当前时刻获取到的全景数据作为需要进行数据优化的待优化数据的数据优化需求,其中,全景数据包括外部环境相关的数据(比如温度、光照、地点、声音、天气等)、用户状态相关的数据(比如姿势、速度、使用习惯、个人基本信息等)以及电子设备状态相关的数据(比如耗电量、资源使用状况、网络状况等)。
在102中,确定对待优化数据进行数据优化需要达到的目标数据质量。
在获取到需要进行数据优化的待优化数据之后,电子设备进一步根据数据优化需求的指示,确定待优化数据在其对应的质量维度所需要达到的目标数据质量。其中,待优化数据对应的质量维度可以为一个或多个质量维度,质量维度包括但不限于缺失程度、噪声程度以及冗余程度等。
比如,数据优化需求指示待优化数据在缺失程度这一质量维度需要到的目标数据质量为数据质量A,在冗余程度这一质量维度需要达到的目标数据质量为数据质量C。
在103中,构建对应待优化数据的强化学习模型。
本申请实施例中,电子设备在获取到需要进行数据优化的待优化数据,并确定对待优化数据进行数据优化需要达到的目标数据质量之后,进一步构建对应待优化数据的强化学习模型,将对待优化数据的数据优化过程中转换为一个强化学习的过程。
在104中,通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
其中,电子设备通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
比如,电子设备确定待优化数据在缺失程度、噪声程度以及冗余程度这三个质量维度需要达到的目标数据质量分别为数据质量A、数据质量B以及数据质量C,则电子设备通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据在缺失程度这一质量维度的数据质量达到数据质量A、在噪声程度这一质量维度的数据质量达到数据质量B、在冗余程度这一质量维度的数据质量达到数据质量C。
由上可知,在本申请实施例中,电子设备可以首先获取需要进行数据优化的待优化数据,并确定对待优化数据进行数据优化需要达到的目标数据质量,然后构建对应待优化数据的强化学习模型,通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。由此,本申请通过将对数据的数据优化过程中转换为一个强化学习的过程,能够更灵活的对数据进行优化,提升其数据质量。
在一实施例中,“构建对应待优化数据的强化学习模型”包括:
将待优化数据的数据质量作为强化学习模型的环境,将数据优化策略作为强化学习模型的动作,将待优化数据的数据质量变化作为强化学习模型的奖励。
本申请实施例中,电子设备在构建对应待优化数据的强化学习模型时,将待优化数据的数据质量作为强化学习模型的环境,将数据优化策略作为强化学习模型的动作,将待优化数据的数据质量变化作为强化学习模型的奖励(其中,数据质量提高为正奖励,质量降低为负奖励),由此构建对应待优化数据的强化学习模型。
其中,数据优化策略包括但不限于用于在缺失程度这一质量维度提升待优化数据的数据质量的插值策略、用于在噪声程度这一质量维度提升待优化数据的数据质量的平滑策略以及用于在冗余程度这一质量维度提升待优化数据的数据质量的去重策略。
在一实施例中,“通过强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量”,包括:
(1)在一次迭代过程中,对待优化数据进行数据质量的量化评估,得到待优化数据的当前数据质量;
(2)获取待优化数据的在上一次迭代过程中进行数据质量的量化评估所得到的历史数据质量;
(3)判断当前数据质量是否高于历史数据质量,是则采用上一次迭代过程中采用的数据优化策略对待优化数据进行优化,否则对上一次迭代过程中采用的数据优化策略进行调整,并采用调整后的数据优化策略对待优化数据进行优化;
(4)继续下一次迭代过程,直至待优化数据的数据质量达到目标数据质量。
以下以对待优化数据的一次优化过程为例进行说明。
在一次迭代过程中,电子设备首先根据预设的数据质量评估策略,在待优化数据对应的质量维度进行数据质量的量化评估,得到待优化数据的当前数据质量。比如,数据优化需求指示了待优化数据需要在缺失程度和噪声程度这两个质量维度达到的目标数据质量,也即是待优化数据对应的质量维度为缺失程度和噪声程度这两个质量维度,则电子设备将根据预设的数据质量评估策略,在缺失程度和噪声程度这两个质量维度分别进行数据质量的量化评估,得到待优化数据在缺失程度和噪声程度这两个质量维度的当前数据质量。
然后,电子设备获取待优化数据的历史数据质量,即在上一次迭代过程中对待优化数据在其对应的质量维度进行数据质量的量化评估所得的数据质量。
然后,电子设备将当前数据质量与历史数据质量进行比较,其中,若待优化数据对应的质量维度为多个,则电子设备将分别在待优化数据对应的各质量维度比较待优化数据的当前数据质量及其历史数据质量,以判断待优化数据在各质量维度的当前数据质量是否高于其历史数据质量。比如,待优化数据对应的质量维度为缺失程度和噪声程度这两个质量维度,则电子设备将在缺失程度这一质量维度判断待优化数据的当前数据质量是否高于其历史数据质量,以及在噪声程度这一质量维度判断待优化数据的当前数据质量是否高于其历史数据质量。
对于待优化数据对应的任一质量维度,若该质量维度的当前数据质量高于该质量维度的历史数据质量,则电子设备将在当次迭代过程中,采用上一次迭代过程中在该质量维度采用的数据优化策略对待优化数据进行该质量维度优化;若该质量维度的当前数据质量低于该质量维度的历史数据质量,则电子设备将在当次迭代过程中,按照预设的调整规则对上一次迭代过程中在该质量维度采用的数据优化策略进行调整,并采用调整后的数据优化策略对待优化数据进行该质量维度优化。比如,以噪声程度这一质量维度为例,电子设备在噪声程度这一质量维度采用平滑策略对待优化数据进行优化,若噪声程度这一质量维度的当前数据质量低于其历史数据质量,则电子设备对平滑策略的参数进行调整。
在完成当次迭代过程后,电子设备继续下一次迭代过程,直至待优化数据在其对应的质量维度的数据质量均达到目标数据质量。
应当说明的是,在对待优化数据的迭代过程中,若待优化数据在其对应的质量维度中某一质量维度的数据质量达到该质量维度的目标数据质量,则停止在该质量维度对待优化数据进行迭代优化,但不停止对待优化数据其它对应的质量维度的迭代优化。
在一实施例中,“获取需要进行数据优化的待优化数据”,包括:
(1)接收目标服务的数据获取请求,并根据数据获取请求获取关联目标服务的数据;
(2)将关联目标服务的数据作为需要进行数据优化的待优化数据;
“通过强化学习模型对待优化数据进行迭代优化”之后,还包括:
将完成迭代优化之后的待优化数据提供给目标服务。
应当说明的是,目标服务并不用于特指某一服务,而是用于代指需要获取关联数据以实现相应功能的服务,包括但不限于与用户相关的智能服务类服务(比如,健康类服务、导航类服务、旅游类服务以及语音类服务等),以及与电子设备本身相关的系统优化类服务(比如,资源优化调度、省电等)等。
比如,一系统优化类服务在达到预设的系统优化周期时,需要获取关联的数据来判断是否需要进行系统优化,以及如何进行系统优化等,此时该系统优化类服务将产生数据获取请求;又比如,一智能服务类服务可以根据其关联的数据来进行情景建模,以此获得用户的情景状态,从而对用户提供个性化的智能服务,该智能服务类服务可以在需要对用户提供服务时产生数据获取请求。
其中,不同类型的服务关联的数据不同,比如省电类服务关联的数据包括但不限于电子设备系统的进程数量、耗电速率以及剩余电量等等;又比如,导航类服务关联的数据包括但不限于卫星定位数据、无线网络定位数据等;又比如,语音类服务关联的数据包括但不限于语音数据等。
本申请实施例中,电子设备在接收到目标服务的数据获取请求时,根据该数据获取请求获取从采集的全景数据中筛选出关联目标服务的数据,同时生成数据优化需求,指示将关联目标服务的数据作为需要进行数据优化的待优化数据。相应的,电子设备根据该数据优化需求,将关联目标服务的数据作为需要进行数据优化的待优化数据,并对其进行迭代优化,以提升其数据质量。其中,对于如何对待优化数据进行迭代优化,可参照以上实施例相应实施,此处不再赘述。
电子设备在完成对待优化数据的迭代优化之后,将迭代优化后的待优化数据提供给目标服务,使得目标服务能够更好的实现自身功能,为用户服务。
在一实施例中,“确定对待优化数据进行数据优化需要达到的目标数据质量”,包括:
(1)根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,得到目标质量维度;
(2)确定目标服务在目标质量维度对应的数据质量,作为对待优化数据进行数据优化需要达到的目标数据质量。
应当说明的是,不同类型的服务所关注的质量维度不同,比如,A服务关注于数据在缺失程度这一质量维度的数据质量,B服务关注于噪声程度这一质量维度的数据质量,C服务关注于缺失程度和噪声程度这两个质量维度的数据质量,D服务关注于缺失程度、噪声程度以及冗余程度这三个质量维度的数据质量。
在本申请实施例中,还根据专家知识生成不同服务和质量维度之间的对应关系,并将该不同服务和质量维度之间的对应关系预设在电子设备本地,用于描述不同服务所关注的质量维度。此外,还在电子设备预设有不同服务在其关注的质量维度所对应的数据质量,也即是各服务实现各自功能的关联数据所需要达到的最低数据质量。
这样,电子设备在确定对待优化数据进行数据优化所需要达到的目标数据质量时,首先根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,记为目标质量维度,也即是待优化数据对应的质量维度。然后,电子设备进一步确定目标服务在该目标质量维度对应的数据质量,作为对待优化数据进行数据优化所需要达到的目标数据质量。
在一实施例中,“对待优化数据进行数据质量的量化评估”,包括:
在目标质量维度对待优化数据的数据质量进行量化评估。
本申请实施例中,获取到的待优化数据为关联目标服务的数据,具体可参照以上相关实施例,此处不再赘述。其中,待优化数据所对应的质量维度即前述目标质量维度,这样,电子设备在对待优化数据进行数据质量的量化评估时,将在目标质量维度对待优化数据的数据质量进行量化评估,得到待优化数据的当前数据质量。比如,目标服务为D服务,其对应的质量维度为缺失程度、噪声程度以及冗余程度这三个质量维度,则目标质量维度为缺失程度、噪声程度以及冗余程度这三个质量维度,相应的,电子设备将在缺失程度、噪声程度以及冗余程度这三个质量维度分别对待优化数据(此处为关联D服务的数据)进行数据质量的量化评估。
电子设备在目标质量维度对待优化数据的数据质量进行量化评估,并得到待优化数据的当前数据质量之后,进一步根据得到的当前数据质量完成当次迭代过程,具体可参照以上相关实施例实施,此处不再赘述。
请结合参照图3和图4,图3为本申请实施例提供的数据优化方法的另一种流程示意图,图4为该数据优化方法的应用场景示意图,该数据优化方法可以应用于电子设备,该数据优化方法的流程可以包括:
在201在中,电子设备接收目标服务的数据获取请求,并根据数据获取请求获取关联目标服务的数据。
在202中。电子设备将关联目标服务的数据作为需要进行数据优化的待优化数据。
应当说明的是,目标服务并不用于特指某一服务,而是用于代指需要获取关联数据以实现相应功能的服务,包括但不限于与用户相关的智能服务类服务(比如,健康类服务、导航类服务、旅游类服务以及语音类服务等),以及与电子设备本身相关的系统优化类服务(比如,资源优化调度、省电等)等。
比如,一系统优化类服务在达到预设的系统优化周期时,需要获取关联的数据来判断是否需要进行系统优化,以及如何进行系统优化等,此时该系统优化类服务将产生数据获取请求;又比如,一智能服务类服务可以根据其关联的数据来进行情景建模,以此获得用户的情景状态,从而对用户提供个性化的智能服务,该智能服务类服务可以在需要对用户提供服务时产生数据获取请求。
其中,不同类型的服务关联的数据不同,比如省电类服务关联的数据包括但不限于电子设备系统的进程数量、耗电速率以及剩余电量等等;又比如,导航类服务关联的数据包括但不限于卫星定位数据、无线网络定位数据等;又比如,语音类服务关联的数据包括但不限于语音数据等。
本申请实施例中,电子设备在接收到目标服务的数据获取请求时,根据该数据获取请求获取从采集的全景数据中筛选出关联目标服务的数据,同时生成数据优化需求,指示将关联目标服务的数据作为需要进行数据优化的待优化数据。相应的,电子设备根据该数据优化需求,将关联目标服务的数据作为需要进行数据优化的待优化数据。
在203中,电子设备根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,得到目标质量维度。
在204中,电子设备确定目标服务在目标质量维度对应的数据质量,作为对待优化数据进行数据优化需要达到的目标数据质量。
应当说明的是,不同类型的服务所关注的质量维度不同,质量维度包括但不限于缺失程度、噪声程度以及冗余程度等。比如,A服务关注于数据在缺失程度这一质量维度的数据质量,B服务关注于噪声程度这一质量维度的数据质量,C服务关注于缺失程度和噪声程度这两个质量维度的数据质量,D服务关注于缺失程度、噪声程度以及冗余程度这三个质量维度的数据质量。
在本申请实施例中,还根据专家知识生成不同服务和质量维度之间的对应关系,并将该不同服务和质量维度之间的对应关系预设在电子设备本地,用于描述不同服务所关注的质量维度。此外,还在电子设备预设有不同服务在其关注的质量维度所对应的数据质量,也即是各服务实现各自功能的关联数据所需要达到的最低数据质量。
这样,电子设备在将关联目标服务的数据作为需要进行数据优化的待优化数据之后,进一步根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,记为目标质量维度。然后,电子设备确定目标服务在该目标质量维度对应的数据质量,作为对待优化数据进行数据优化所需要达到的目标数据质量。其中,目标质量维度包括一个或多个质量维度。相应的,若确定的目标质量维度包括多个质量维度,电子设备将相应获取到对应的多个目标质量等级。
在205中,电子设备构建对应待优化数据的强化学习模型。
本申请实施例中,电子设备在构建对应待优化数据的强化学习模型时,将待优化数据的数据质量作为强化学习模型的环境,将数据优化策略作为强化学习模型的动作,将待优化数据的数据质量变化作为强化学习模型的奖励(其中,数据质量提高为正奖励,质量降低为负奖励),由此构建对应待优化数据的强化学习模型。
其中,数据优化策略包括但不限于用于在缺失程度这一质量维度提升待优化数据的数据质量的插值策略、用于在噪声程度这一质量维度提升待优化数据的数据质量的平滑策略以及用于在冗余程度这一质量维度提升待优化数据的数据质量的去重策略。
在206中,电子设备通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
以下以对待优化数据的一次优化过程为例进行说明。
在一次迭代过程中,电子设备首先根据预设的数据质量评估策略,在目标质量维度对待优化数据进行数据质量的量化评估,得到待优化数据的当前数据质量。比如,目标服务为D服务,其对应的质量维度为缺失程度、噪声程度以及冗余程度这三个质量维度,则目标质量维度为缺失程度、噪声程度以及冗余程度这三个质量维度,相应的,电子设备将在缺失程度、噪声程度以及冗余程度这三个质量维度分别对待优化数据(此处为关联D服务的数据)进行数据质量的量化评估。
然后,电子设备获取待优化数据的历史数据质量,即在上一次迭代过程中对待优化数据在目标质量维度进行数据质量的量化评估所得的数据质量。
然后,电子设备将当前数据质量与历史数据质量进行比较,其中,若目标质量维度包括多个质量维度,则电子设备将分别在目标质量维度所包括的各质量维度比较待优化数据的当前数据质量及其历史数据质量,以判断待优化数据在目标质量维度所包括的各质量维度的当前数据质量是否高于其历史数据质量。比如,目标质量维度包括缺失程度和噪声程度这两个质量维度,则电子设备将在缺失程度这一质量维度判断待优化数据的当前数据质量是否高于其历史数据质量,以及在噪声程度这一质量维度判断待优化数据的当前数据质量是否高于其历史数据质量。
对于目标质量维度中的任一质量维度,若该质量维度的当前数据质量高于该质量维度的历史数据质量,则电子设备将在当次迭代过程中,采用上一次迭代过程中在该质量维度采用的数据优化策略对待优化数据进行该质量维度优化;若该质量维度的当前数据质量低于该质量维度的历史数据质量,则电子设备将在当次迭代过程中,按照预设的调整规则对上一次迭代过程中在该质量维度采用的数据优化策略进行调整,并采用调整后的数据优化策略对待优化数据进行该质量维度优化。比如,以噪声程度这一质量维度为例,电子设备在噪声程度这一质量维度采用平滑策略对待优化数据进行优化,若噪声程度这一质量维度的当前数据质量低于其历史数据质量,则电子设备对平滑策略的参数进行调整,再参数调整后的平滑策略在噪声程度这一质量维度对待优化数据进行优化。
在完成当次迭代过程后,电子设备继续下一次迭代过程,直至待优化数据在目标质量维度中的各质量维度的数据质量均达到对应的目标数据质量。
应当说明的是,在对待优化数据的迭代过程中,若待优化数据在目标质量维度中某一质量维度的数据质量达到该质量维度的目标数据质量,则停止在该质量维度对待优化数据进行迭代优化,但不停止对待优化数据在目标质量维度中其它质量维度的迭代优化。
在207中,电子设备将完成迭代优化之后的待优化数据提供给目标服务。
其中,电子设备在完成对待优化数据(即关联目标服务的数据)的迭代优化之后,将迭代优化后的待优化数据提供给目标服务,使得目标服务能够更好的实现自身功能,为用户服务。
本申请实施例还提供一种数据优化装置。请参照图5,图5为本申请实施例提供的数据优化装置的结构示意图。其中该数据优化装置应用于电子设备,该数据优化装置包括数据获取模块301、质量确定模块302、模型构建模块303以及数据优化模块304,如下:
数据获取模块301,用于获取需要进行数据优化的待优化数据;
质量确定模块302,用于确定对待优化数据进行数据优化需要达到的目标数据质量;
模型构建模块303,用于构建对应待优化数据的强化学习模型;
数据优化模块304,用于通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
在一实施例中,在构建对应待优化数据的强化学习模型时,模型构建模块303可以用于:
将待优化数据的数据质量作为强化学习模型的环境,将数据优化策略作为强化学习模型的动作,将待优化数据的数据质量变化作为强化学习模型的奖励。
在一实施例中,在通过构建的强化学习模型对待优化数据进行迭代优化时,数据优化模块304可以用于:
在一次迭代过程中,对待优化数据进行数据质量的量化评估,得到待优化数据的当前数据质量;
获取待优化数据的在上一次迭代过程中进行数据质量的量化评估所得到的历史数据质量;
判断当前数据质量是否高于历史数据质量,是则采用上一次迭代过程中采用的数据优化策略对待优化数据进行优化,否则对上一次迭代过程中采用的数据优化策略进行调整,并采用调整后的数据优化策略对待优化数据进行优化;
继续下一次迭代过程,直至待优化数据的数据质量达到目标数据质量。
在一实施例中,在获取需要进行数据优化的待优化数据时,数据获取模块301可以用于:
接收目标服务的数据获取请求,并根据数据获取请求获取关联目标服务的数据;
将关联目标服务的数据作为需要进行数据优化的待优化数据;
数据优化模块304在完成对待优化数据的迭代优化之后,还用于将完成迭代优化之后的待优化数据提供给目标服务。
在一实施例中,在确定对待优化数据进行数据优化需要达到的目标数据质量时,质量确定模块302可以用于:
根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,得到目标质量维度;
确定目标服务在目标质量维度对应的数据质量,作为对待优化数据进行数据优化需要达到的目标数据质量。
在一实施例中,在对待优化数据进行数据质量的量化评估时,数据优化模块304可以用于:
在目标质量维度对待优化数据的数据质量进行量化评估。
在一实施例中,数据优化装置还包括关系建立模块,用于在获取需要进行数据优化的待优化数据之前,根据专家知识生成不同服务和质量维度之间的对应关系。
应当说明的是,本申请实施例提供的数据优化装置与上文实施例中的数据优化方法属于同一构思,在数据优化装置上可以运行数据优化方法实施例中提供的任一方法,其具体实现过程详见数据优化方法实施例,此处不再赘述。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本实施例提供的数据优化方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)或者随机存取器(Random Access Memory,RAM)等。
本申请实施例还提供一种电子设备,包括存储器,处理器,处理器通过调用存储器中存储的计算机程序,执行本实施例提供的数据优化方法中的步骤。
在一实施例中,还提供一种电子设备。请参照图6,电子设备包括处理器401以及存储器402。其中,处理器401与存储器402电性连接。
处理器401是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能并处理数据。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取需要进行数据优化的待优化数据;
确定对待优化数据进行数据优化需要达到的目标数据质量;
构建对应待优化数据的强化学习模型;
通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
请参照图7,图7为本申请实施例提供的电子设备的另一结构示意图,与图6所示电子设备的区别在于,电子设备还包括输入单元403和输出单元404等组件。
其中,输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。
输出单元404可用于显示由用户输入的信息或提供给用户的信息,如屏幕。
在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取需要进行数据优化的待优化数据;
确定对待优化数据进行数据优化需要达到的目标数据质量;
构建对应待优化数据的强化学习模型;
通过构建的强化学习模型对待优化数据进行迭代优化,使得待优化数据的数据质量达到目标数据质量。
在一实施例中,在构建对应待优化数据的强化学习模型时,处理器401可以执行:
将待优化数据的数据质量作为强化学习模型的环境,将数据优化策略作为强化学习模型的动作,将待优化数据的数据质量变化作为强化学习模型的奖励。
在一实施例中,在通过构建的强化学习模型对待优化数据进行迭代优化时,处理器401可以执行:
在一次迭代过程中,对待优化数据进行数据质量的量化评估,得到待优化数据的当前数据质量;
获取待优化数据的在上一次迭代过程中进行数据质量的量化评估所得到的历史数据质量;
判断当前数据质量是否高于历史数据质量,是则采用上一次迭代过程中采用的数据优化策略对待优化数据进行优化,否则对上一次迭代过程中采用的数据优化策略进行调整,并采用调整后的数据优化策略对待优化数据进行优化;
继续下一次迭代过程,直至待优化数据的数据质量达到目标数据质量。
在一实施例中,在获取需要进行数据优化的待优化数据时,处理器401可以执行:
接收目标服务的数据获取请求,并根据数据获取请求获取关联目标服务的数据;
将关联目标服务的数据作为需要进行数据优化的待优化数据;
而在完成对待优化数据的迭代优化之后,处理器401还可以执行:
将完成迭代优化之后的待优化数据提供给目标服务。
在一实施例中,在确定对待优化数据进行数据优化需要达到的目标数据质量时,处理器401可以执行:
根据预设的不同服务和质量维度之间的对应关系,确定对应目标服务的质量维度,得到目标质量维度;
确定目标服务在目标质量维度对应的数据质量,作为对待优化数据进行数据优化需要达到的目标数据质量。
在一实施例中,在对待优化数据进行数据质量的量化评估时,处理器401可以执行:
在目标质量维度对待优化数据的数据质量进行量化评估。
在一实施例中,在获取需要进行数据优化的待优化数据之前,处理器401可以执行:
根据专家知识生成不同服务和质量维度之间的对应关系。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的数据优化方法属于同一构思,在电子设备上可以运行数据优化方法实施例中提供的任一方法,其具体实现过程详见数据优化方法实施例,此处不再赘述。
应当说明的是,对本申请实施例的数据优化方法而言,本领域普通技术人员可以理解实现本申请实施例的数据优化方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如数据优化方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的数据优化装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种数据优化方法、模型训练方法、装置、存储介质及设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据优化方法,应用于电子设备,其特征在于,包括:
获取需要进行数据优化的待优化数据;
确定对所述待优化数据进行数据优化需要达到的目标数据质量;
构建对应所述待优化数据的强化学习模型;
通过所述强化学习模型对所述待优化数据进行迭代优化,使得所述待优化数据的数据质量达到所述目标数据质量。
2.根据权利要求1所述的数据优化方法,其特征在于,构建对应所述待优化数据的强化学习模型,包括:
将所述待优化数据的数据质量作为所述强化学习模型的环境,将数据优化策略作为所述强化学习模型的动作,将所述待优化数据的数据质量变化作为所述强化学习模型的奖励。
3.根据权利要求2所述的数据优化方法,其特征在于,所述通过所述强化学习模型对所述待优化数据进行迭代优化,包括:
在一次迭代过程中,对所述待优化数据进行数据质量的量化评估,得到所述待优化数据的当前数据质量;
获取所述待优化数据的在上一次迭代过程中进行数据质量的量化评估所得到的历史数据质量;
判断所述当前数据质量是否高于所述历史数据质量,是则采用上一次迭代过程中采用的数据优化策略对所述待优化数据进行优化,否则对上一次迭代过程中采用的数据优化策略进行调整,并采用调整后的数据优化策略对所述待优化数据进行优化;
继续下一次迭代过程,直至所述待优化数据的数据质量达到所述目标数据质量。
4.根据权利要求1-3任一项所述的数据优化方法,其特征在于,所述获取需要进行数据优化的待优化数据,包括:
接收目标服务的数据获取请求,并根据所述数据获取请求获取关联所述目标服务的数据;
将关联所述目标服务的数据作为需要进行数据优化的所述待优化数据;
所述通过所述强化学习模型对所述待优化数据进行迭代优化之后,还包括:
将完成迭代优化之后的所述待优化数据提供给所述目标服务。
5.根据权利要求4所述的数据优化方法,其特征在于,所述确定对所述待优化数据进行数据优化需要达到的目标数据质量,包括:
根据预设的不同服务和质量维度之间的对应关系,确定对应所述目标服务的质量维度,得到目标质量维度;
确定所述目标服务在所述目标质量维度对应的数据质量,作为所述目标数据质量。
6.根据权利要求5所述的数据优化方法,其特征在于,所述对所述待优化数据进行数据质量的量化评估,包括:
在所述目标质量维度对所述待优化数据的数据质量进行量化评估。
7.根据权利要求5所述的数据优化方法,其特征在于,所述获取需要进行数据优化的待优化数据之前,还包括:
根据专家知识生成所述不同服务和质量维度之间的对应关系。
8.一种数据优化装置,应用于电子设备,其特征在于,包括:
数据获取模块,用于获取需要进行数据优化的待优化数据;
质量确定模块,用于确定对所述待优化数据进行数据优化需要达到的目标数据质量;
模型构建模块,用于构建对应所述待优化数据的强化学习模型;
数据优化模块,用于通过所述强化学习模型对所述待优化数据进行迭代优化,使得所述待优化数据的数据质量达到所述目标数据质量。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的数据优化方法。
10.一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的数据优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910282154.7A CN111798000A (zh) | 2019-04-09 | 2019-04-09 | 数据优化方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910282154.7A CN111798000A (zh) | 2019-04-09 | 2019-04-09 | 数据优化方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111798000A true CN111798000A (zh) | 2020-10-20 |
Family
ID=72805338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910282154.7A Pending CN111798000A (zh) | 2019-04-09 | 2019-04-09 | 数据优化方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798000A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926057A (zh) * | 2022-05-31 | 2022-08-19 | 云南电网有限责任公司信息中心 | 一种数据质量检查规则有效性评估及反馈优化方法、存储介质及系统 |
| CN118550906A (zh) * | 2024-05-23 | 2024-08-27 | 鹏城实验室 | 数据质量提升方法、相关装置和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875122A (zh) * | 2018-04-25 | 2018-11-23 | 杭州迅美科技有限公司 | 利用随钻测井数据计算地质参数的人工智能方法和系统 |
| US20190087694A1 (en) * | 2017-09-21 | 2019-03-21 | International Business Machines Corporation | Data augmentation for image classification tasks |
-
2019
- 2019-04-09 CN CN201910282154.7A patent/CN111798000A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087694A1 (en) * | 2017-09-21 | 2019-03-21 | International Business Machines Corporation | Data augmentation for image classification tasks |
| CN108875122A (zh) * | 2018-04-25 | 2018-11-23 | 杭州迅美科技有限公司 | 利用随钻测井数据计算地质参数的人工智能方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘威;张东霞;王新迎;侯金秀;刘丽平;: "基于深度强化学习的电网紧急控制策略研究", 中国电机工程学报, no. 01 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926057A (zh) * | 2022-05-31 | 2022-08-19 | 云南电网有限责任公司信息中心 | 一种数据质量检查规则有效性评估及反馈优化方法、存储介质及系统 |
| CN118550906A (zh) * | 2024-05-23 | 2024-08-27 | 鹏城实验室 | 数据质量提升方法、相关装置和介质 |
| CN118550906B (zh) * | 2024-05-23 | 2025-12-09 | 鹏城实验室 | 数据质量提升方法、相关装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325949B (zh) | 用于预测触摸解释的多任务机器学习 | |
| CN111797288B (zh) | 数据筛选方法、装置、存储介质及电子设备 | |
| CN111797078A (zh) | 数据清洗方法、模型训练方法、装置、存储介质及设备 | |
| CN111798018A (zh) | 行为预测方法、装置、存储介质及电子设备 | |
| US20200202199A1 (en) | Neural network processing method and apparatus based on nested bit representation | |
| CN111796925A (zh) | 算法模型的筛选方法、装置、存储介质和电子设备 | |
| KR102179999B1 (ko) | 인공신경망 기반 손동작 인식 방법 및 장치 | |
| CN111796979B (zh) | 数据采集策略的确定方法、装置、存储介质及电子设备 | |
| CN111797079A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111816211B (zh) | 情绪识别方法、装置、存储介质及电子设备 | |
| CN111797849B (zh) | 用户活动识别方法、装置、存储介质及电子设备 | |
| CN111797874B (zh) | 行为预测方法、装置、存储介质及电子设备 | |
| WO2020168448A1 (zh) | 睡眠预测方法、装置、存储介质及电子设备 | |
| CN111798000A (zh) | 数据优化方法、装置、存储介质及电子设备 | |
| CN111797880A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111797298B (zh) | 数据收集方法、装置、存储介质及电子设备 | |
| CN110503065B (zh) | 一种基于距离度量的移动设备用户动作姿态识别方法 | |
| CN111797075B (zh) | 数据回收方法、装置、存储介质及电子设备 | |
| CN111797080A (zh) | 模型训练方法、数据回收方法、装置、存储介质及设备 | |
| CN111797859A (zh) | 特征处理方法、装置、存储介质及电子设备 | |
| CN111797346B (zh) | 数据处理方法、装置、存储介质、电子设备及服务器 | |
| CN111797866A (zh) | 特征提取方法、装置、存储介质及电子设备 | |
| CN111797863A (zh) | 模型训练方法、数据处理方法、装置、存储介质及设备 | |
| CN111796992B (zh) | 行为偏好确定方法、装置、存储介质及电子设备 | |
| CN111797864A (zh) | 特征处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240913 |