[go: up one dir, main page]

CN111984803A - 多媒体资源处理方法、装置、计算机设备及存储介质 - Google Patents

多媒体资源处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111984803A
CN111984803A CN202010845865.3A CN202010845865A CN111984803A CN 111984803 A CN111984803 A CN 111984803A CN 202010845865 A CN202010845865 A CN 202010845865A CN 111984803 A CN111984803 A CN 111984803A
Authority
CN
China
Prior art keywords
multimedia resource
multimedia
target
data
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010845865.3A
Other languages
English (en)
Other versions
CN111984803B (zh
Inventor
张志伟
李岩
吴丽军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010845865.3A priority Critical patent/CN111984803B/zh
Publication of CN111984803A publication Critical patent/CN111984803A/zh
Application granted granted Critical
Publication of CN111984803B publication Critical patent/CN111984803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45Clustering; Classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种多媒体资源处理方法、装置、计算机设备及存储介质,属于计算机技术领域。本公开实施例提供的多媒体资源处理方式,考虑到用户更倾向于对相同或相似的多媒体资源进行反馈,引入了行为数据这种信息源,不局限于已有的样本数据,突破了数据瓶颈,将行为数据转化为一种图数据,账号和多媒体资源映射为图中的节点,节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,通过这种节点之间的连接关系,能够根据已知分类结果的多媒体资源,对未知分类结果的多媒体资源进行准确分类,打破了数据瓶颈,且无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。

Description

多媒体资源处理方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种多媒体资源处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展,深度学习在自然语言处理、文本翻译等相关内容理解领域取得了突破性的进展。
相关技术中,多媒体资源处理方法通常是获取到多媒体资源后,将多媒体资源输入到多媒体资源处理模型中,由于多媒体资源处理模型对多媒体资源内容进行特征提取,为该多媒体资源进行分类,确定其分类结果。
然而这些发展严重依赖于训练数据的规模,由于训练数据较少,比较难训练到准确率高的多媒体资源处理模型,而如果通过人工标注的方式增加训练样本则需要耗费大量人力,且效率比较低,因而数据成为在将这些技术应用到实际生产环境中最主要的瓶颈。
发明内容
本公开提供一种多媒体资源处理方法、装置、计算机设备及存储介质,提供了一种新型的多媒体资源处理方式,突破了数据瓶颈,且分类效率高。本公开的技术方案如下:
根据本公开实施例的一方面,提供一种多媒体资源处理方法,包括:
获取目标行为数据,所述目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,所述多个多媒体资源中第一多媒体资源对应有目标分类结果;
根据所述目标行为数据,生成图数据,所述图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,所述目标多媒体资源与所述任一账号具有所述反馈关系;
基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,所述第二多媒体资源为所述多个多媒体资源中所述第一多媒体资源之外的多媒体资源。
可选地,所述根据所述目标行为数据,生成图数据,包括:
将所述目标行为数据所表示的多个账号映射为所述图数据中的多个账号节点;
将所述目标行为数据所表示的多个多媒体资源映射为所述图数据中的多个多媒体资源节点;
将具有所述反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到所述图数据中的边。
可选地,所述基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,包括:
将所述图数据输入图神经网络中,基于所述图数据中所述第一多媒体资源节点的目标分类结果,对所述图神经网络进行训练;
基于训练后的所述图神经网络,对所述图数据中所述第二多媒体资源节点根据所述连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出所述第二多媒体资源节点的分类结果。
可选地,所述基于所述图数据中所述第一多媒体资源节点的目标分类结果,对所述图神经网络进行训练,包括:
基于所述图神经网络,对所述第一多媒体资源节点根据所述连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到所述第一多媒体资源节点的预测分类结果;
根据所述第一多媒体资源节点的所述预测分类结果和目标分类结果,获取预测准确度;
根据所述预测准确度,对所述图神经网络的网络参数进行调整,直至符合目标条件时停止。
可选地,所述基于训练后的所述图神经网络,对所述图数据中所述第二多媒体资源节点根据所述连接关系对应的目标数据进行特征提取,包括:
基于训练后的所述图神经网络,对所述图数据中以所述第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,所述目标路径上节点的数目为第一目标阈值,所述目标路径上边的数目为第二目标阈值。
可选地,所述获取目标行为数据,包括:
获取行为日志,所述行为日志包括多个账号的行为数据,每个账号的所述行为数据用于表示所述账号是否与多个多媒体资源具有反馈关系;
响应于任一账号与任一多媒体资源具有反馈关系,将所述账号与所述多媒体资源对应的行为数据确定为第一目标行为数据。
可选地,所述第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系;
所述获取目标行为数据,还包括:
根据所述多个多媒体资源标识,获取所述多个多媒体资源标识对应的多个多媒体资源;
对所述多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,所述分类结果用于指示所述每个多媒体资源对应的预测多媒体资源标签以及所述每个多媒体资源的标签为所述预测多媒体资源标签的概率值;
将所述分类结果中所述概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将所述第一多媒体资源的所述分类结果确定所述第一多媒体资源对应的目标分类结果,将所述第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
可选地,所述概率值阈值由相关技术人员根据需求设置,或所述概率值阈值由对所述多个多媒体资源的分类结果中概率值的统计结果确定,或所述概率值阈值由对其他多个多媒体资源的分类结果中概率值的统计结果确定。
可选地,所述行为日志为目标时间段内的行为日志。
根据本公开实施例的第二方面,提供一种多媒体资源处理装置,包括:
获取单元,被配置为执行获取目标行为数据,所述目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,所述多个多媒体资源中第一多媒体资源对应有目标分类结果;
生成单元,被配置为执行根据所述目标行为数据,生成图数据,所述图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,所述目标多媒体资源与所述任一账号具有所述反馈关系;
处理单元,被配置为执行基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,所述第二多媒体资源为所述多个多媒体资源中所述第一多媒体资源之外的多媒体资源。
可选地,所述生成单元,被配置为执行:
将所述目标行为数据所表示的多个账号映射为所述图数据中的多个账号节点;
将所述目标行为数据所表示的多个多媒体资源映射为所述图数据中的多个多媒体资源节点;
将具有所述反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到所述图数据中的边。
可选地,所述处理单元包括训练子单元和分类子单元;
所述训练子单元,被配置为执行将所述图数据输入图神经网络中,基于所述图数据中所述第一多媒体资源节点的目标分类结果,对所述图神经网络进行训练;
所述分类子单元,被配置为执行基于训练后的所述图神经网络,对所述图数据中所述第二多媒体资源节点根据所述连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出所述第二多媒体资源节点的分类结果。
可选地,所述训练子单元,被配置为执行:
基于所述图神经网络,对所述第一多媒体资源节点根据所述连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到所述第一多媒体资源节点的预测分类结果;
根据所述第一多媒体资源节点的所述预测分类结果和目标分类结果,获取预测准确度;
根据所述预测准确度,对所述图神经网络的网络参数进行调整,直至符合目标条件时停止。
可选地,所述分类子单元,被配置为执行基于训练后的所述图神经网络,对所述图数据中以所述第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,所述目标路径上节点的数目为第一目标阈值,所述目标路径上边的数目为第二目标阈值。
可选地,所述获取单元,被配置为执行:
获取行为日志,所述行为日志包括多个账号的行为数据,每个账号的所述行为数据用于表示所述账号是否与多个多媒体资源具有反馈关系;
响应于任一账号与任一多媒体资源具有反馈关系,将所述账号与所述多媒体资源对应的行为数据确定为第一目标行为数据。
可选地,所述第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系;
所述获取单元,还被配置为执行:
根据所述多个多媒体资源标识,获取所述多个多媒体资源标识对应的多个多媒体资源;
对所述多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,所述分类结果用于指示所述每个多媒体资源对应的预测多媒体资源标签以及所述每个多媒体资源的标签为所述预测多媒体资源标签的概率值;
将所述分类结果中所述概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将所述第一多媒体资源的所述分类结果确定所述第一多媒体资源对应的目标分类结果,将所述第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
可选地,所述概率值阈值由相关技术人员根据需求设置,或所述概率值阈值由对所述多个多媒体资源的分类结果中概率值的统计结果确定,或所述概率值阈值由对其他多个多媒体资源的分类结果中概率值的统计结果确定。
可选地,所述行为日志为目标时间段内的行为日志。
根据本公开实施例的第三方面,提供一种计算机设备,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行程序代码的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行所述程序代码,以实现上述任一项所述的多媒体资源处理方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的程序代码由计算机设备的一个或多个处理器执行时,使得所述计算机设备能够执行上述任一项所述的多媒体资源处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括一条或多条程序代码,所述一条或多条程序代码由计算机设备的一个或多个处理器执行时,使得所述计算机设备能够执行上述任一项所述的多媒体资源处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开实施例提供了一种新型的多媒体资源处理方式,考虑到用户更倾向于对相同或相似的多媒体资源进行反馈,通过引入行为数据这种信息源,不局限于已有的样本数据,突破了数据瓶颈,该行为数据能够表示每个账号和每个多媒体资源之间的反馈关系,该行为数据中部分多媒体资源为已知分类结果的多媒体资源,通过整理行为数据,将其转化为一种图数据,账号和多媒体资源映射为图中的节点,节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,进而通过这种节点之间的连接关系,有了用户行为的整体了解,则能够根据已知分类结果的多媒体资源,对未知分类结果的多媒体资源进行准确分类,打破了数据瓶颈,且无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图卷积神经网络的结构示意图;
图2是根据一示例性实施例示出的一种多媒体资源处理方法的实施环境示意图;
图3是根据一示例性实施例示出的一种多媒体资源处理方法的流程图;
图4是根据一示例性实施例示出的一种多媒体资源处理方法的流程图;
图5是根据一示例性实施例示出的一种多媒体资源处理装置框图;
图6是根据一示例性实施例示出的一种终端的结构框图;
图7是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
下面对本公开涉及到的名词解释如下。
(1)图数据
图数据是指以图的形式存储的数据,图数据也称图模型、图表示或图结构数据。图数据包括至少一个节点和至少一条边,每个节点具有对应的特征,边用于表示不同节点之间的连接关系。可选地,图数据定义为G=(V,E)。其中,G表示图数据,V表示图数据中节点的集合,E表示图数据中边的集合。可选地,图数据的边具有权重,边的权重表示了连接关系的属性。
(2)图神经网络
图神经网络(Graph Neural Network,GNN)是指神经网络在图上应用的模型的统称,图神经网络包括图卷积神经网络(Graph Convolutional Network,GCN),图注意力网络等。图神经网络用于根据图数据的结构特征预测图数据的类别。具体地,图神经网络会包括一个或多个特征提取层。特征提取层例如是图卷积层(Graph Convolution Layers,GCL)。特征提取层用于提取图数据的结构特征。如果两个图是同构的,那么两个图的图数据在经过特征提取层后,得到的结构特征会是相似的。如果两个图是异构的,那么两个图的图数据在经过特征提取层后,得到的结构特征会是不同的。因此,图神经网络能够将具有同构性质的图结构映射到相同的表示域中,并输出相同的类别。例如,图1是根据一示例性实施例示出的一种图卷积神经网络的结构示意图,如图1所示,在一个具体示例中,输入图卷积神经网络(GCN)的数据为图数据,该图数据包括图中的节点数据和边数据,节点数据为X,边数据为邻接矩阵A。图卷积神经网络中每层后由Relu函数对数据进行处理,最后一层能够得到输出(Outputs)。可选地,在本公开实施例中,该节点数据X包括在邻接矩阵A内,邻接矩阵A的横纵坐标即为节点数据X。
(3)图卷积网络
图卷积网络是一类采用图卷积的图神经网络。图卷积网络包括至少一个图卷积层。图卷积层的作用类似于特征提取器,特征提取的对象是图数据,提取出的特征是图数据包含的结构特征。具体地,图卷积层包括多个卷积算子,卷积算子也称为卷积核,卷积核本质上可以是一个权重矩阵,权重矩阵中的权重值通过模型训练阶段得到,通过训练得到的权重值形成的各个权重矩阵可以用来从输入的图数据中提取特征,从而使得图卷积网络在应用阶段进行正确的预测。
可选地,图数据以矩阵的数据形式输入至图卷积网络,图数据中的节点、边和权重通过矩阵中的值来表示。例如,图数据中节点的特征通过N×D维的矩阵X表示,其中,N表示图数据中节点的数量,即上述(1)描述的集合V所包括的节点数量。D表示每个节点的特征向量的维度。其中,节点的特征向量中的特征值例如是节点的属性的值。例如,如果节点具有三种属性,则节点的特征向量包括三种属性分别对应的三个属性值,则D取3。图数据中边的特征通过N×N维的邻接矩阵A表示,例如,如果两个节点之间具有边,则两个节点在邻接矩阵A中对应的值是1,如果两个节点之间没有边,则两个节点在邻接矩阵A中对应的值是0,通过邻接矩阵A能够指明N个节点中任两个节点之间的连接关系。N为正整数。
(4)图卷积处理
图卷积层实现特征提取的功能是通过图卷积处理实现的。图卷积处理是对输入数据进行非线性变换的操作。对于图卷积网络第一个图卷积层而言,图卷积处理的输入数据为图数据;对于第二个图卷积层至最后一个图卷积层而言,图卷积处理的输入数据为前一个图卷积层的输出结果。
图2是根据一示例性实施例示出的一种多媒体资源处理方法的实施环境示意图,如图2所示,该实施环境包括至少一个终端101和多媒体资源处理平台110。至少一个终端101通过无线网络或有线网络与多媒体资源处理平台110相连。
多媒体资源处理平台110例如是终端、一台或多台服务器、云计算平台和虚拟化中心中的至少一种。
终端101例如是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端安装和运行有多媒体资源应用。该应用程序可以是客户端应用,也可以是浏览器应用。
该多媒体资源处理平台110用于为终端101提供多媒体资源服务。具体地,终端101能够用于从多媒体资源处理平台110获取多媒体资源进行展示。终端101也能够向多媒体资源处理平台110发布多媒体资源。该多媒体资源处理平台110能够从终端至少一个101获取账号的行为数据,基于行为数据,对多媒体资源进行处理。例如,多媒体资源处理平台110能够获取用户对多媒体资源的点击行为数据,根据点击行为数据和已有多媒体资源标签的多媒体资源,为没有多媒体资源标签的多媒体资源确定对应的标签。
一般地,用户的喜好一般比较明确,用户会倾向于展示相同或者相似的多媒体资源,对相同或相似的多媒体资源进行反馈操作,用户对两个多媒体资源进行了反馈操作,该两个多媒体资源的内容可能相同或相似,因而,分类结果可能相同。本公开实施例中,考虑到上述特性,引入行为数据来作为多媒体资源分类的数据依据。以用户为中心,形成一个星型的网络,当行为数据中一个多媒体资源拥有多媒体资源标签,则其余的相似多媒体资源也可以被给予相同的多媒体资源标签。
下面通过图3和图4所示实施例,对该多媒体资源处理方法的流程进行说明。
图3是根据一示例性实施例示出的一种多媒体资源处理方法的流程图,如图3所示,多媒体资源处理方法用于计算机设备中,该计算机设备为终端或服务器,包括以下步骤。
在步骤S31中,获取目标行为数据,该目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,该多个多媒体资源中第一多媒体资源对应有目标分类结果。
在步骤S32中,根据该目标行为数据,生成图数据,该图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,该目标多媒体资源与该任一账号具有该反馈关系。
在步骤S33中,基于该图数据中该第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及该图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,第二多媒体资源为该多个多媒体资源中该第一多媒体资源之外的多媒体资源。
本公开实施例提供了一种新型的多媒体资源处理方式,考虑到用户更倾向于对相同或相似的多媒体资源进行反馈,通过引入行为数据这种信息源,不局限于已有的样本数据,突破了数据瓶颈,该行为数据能够表示每个账号和每个多媒体资源之间的反馈关系,该行为数据中部分多媒体资源为已知分类结果的多媒体资源,通过整理行为数据,将其转化为一种图数据,账号和多媒体资源映射为图中的节点,节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,进而通过这种节点之间的连接关系,有了用户行为的整体了解,则能够根据已知分类结果的多媒体资源,对未知分类结果的多媒体资源进行准确分类,打破了数据瓶颈,且无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。
可选地,该根据该目标行为数据,生成图数据,包括:
将该目标行为数据所表示的多个账号映射为该图数据中的多个账号节点;
将该目标行为数据所表示的多个多媒体资源映射为该图数据中的多个多媒体资源节点;
将具有该反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到该图数据中的边。
可选地,该基于该图数据中该第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及该图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,包括:
将该图数据输入图神经网络中,基于该图数据中该第一多媒体资源节点的目标分类结果,对该图神经网络进行训练;
基于训练后的该图神经网络,对该图数据中该第二多媒体资源节点根据该连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出该第二多媒体资源节点的分类结果。
可选地,该基于该图数据中该第一多媒体资源节点的目标分类结果,对该图神经网络进行训练,包括:
基于该图神经网络,对该第一多媒体资源节点根据该连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到该第一多媒体资源节点的预测分类结果;
根据该第一多媒体资源节点的该预测分类结果和目标分类结果,获取预测准确度;
根据该预测准确度,对该图神经网络的网络参数进行调整,直至符合目标条件时停止。
可选地,该基于训练后的该图神经网络,对该图数据中该第二多媒体资源节点根据该连接关系对应的目标数据进行特征提取,包括:
基于训练后的该图神经网络,对该图数据中以该第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,该目标路径上节点的数目为第一目标阈值,该目标路径上边的数目为第二目标阈值。
可选地,该获取目标行为数据,包括:
获取行为日志,该行为日志包括多个账号的行为数据,每个账号的该行为数据用于表示该账号是否与多个多媒体资源具有反馈关系;
响应于任一账号与任一多媒体资源具有反馈关系,将该账号与该多媒体资源对应的行为数据确定为第一目标行为数据。
可选地,该第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系;
该获取目标行为数据,还包括:
根据该多个多媒体资源标识,获取该多个多媒体资源标识对应的多个多媒体资源;
对该多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,该分类结果用于指示该每个多媒体资源对应的预测多媒体资源标签以及该每个多媒体资源的标签为该预测多媒体资源标签的概率值;
将该分类结果中该概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将该第一多媒体资源的该分类结果确定该第一多媒体资源对应的目标分类结果,将该第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
可选地,该概率值阈值由相关技术人员根据需求设置,或该概率值阈值由对该多个多媒体资源的分类结果中概率值的统计结果确定,或该概率值阈值由对其他多个多媒体资源的分类结果中概率值的统计结果确定。
可选地,该行为日志为目标时间段内的行为日志。
图4是根据一示例性实施例示出的一种多媒体资源处理方法的流程图,如图4所示,多媒体资源处理方法用于计算机设备中,包括以下步骤。
在步骤S41中,计算机设备获取行为日志,该行为日志包括多个账号的行为数据,每个账号的该行为数据用于表示该账号是否与多个多媒体资源具有反馈关系。
对于行为日志,用户能够在终端的多媒体资源应用中登录账号,在该多媒体资源应用中展示一个多个多媒体资源。终端能够将根据该终端上展示多媒体资源的情况和用户对多媒体资源进行的任何操作等行为数据,生成该账号的行为日志,该账号的行为日志包括该账号的行为数据。终端还能够将该账号的行为日志发送至服务器,由服务器根据接收到的多个账号的行为日志合并为总的行为日志,该总的行为日志包括多个账号的行为数据。
可选地,该生成行为日志的过程也能够由服务器执行,也即是,终端能够将该终端上展示多媒体资源的情况和用户对多媒体资源进行的任何操作等行为数据同步至服务器,由服务器根据多个终端发送的多个账号的行为数据,生成行为日志。
对于用户对多媒体资源进行的操作,用户能够对该多媒体资源进行反馈操作,如果用户对某个多媒体资源进行了反馈操作,确定该用户的账号与该多媒体资源之间具有反馈关系,终端可以将该反馈关系记录在行为日志中,或者终端将该反馈关系发送至服务器,由服务器进行记录。可选地,该反馈操作为点赞操作、评论操作、回复操作、分享操作中的至少一种。
在一些实施例中,能够在行为日志中通过账号标识来唯一标识账号,通过多媒体资源标识来唯一标识多媒体资源标识,相应地,该行为日志包括多个账号的账号标识,该多个账号展示的多媒体资源的多媒体资源标识,每个账号对每个多媒体资源是否进行过反馈操作,也即是每个账号与每个多媒体资源之间是否具有反馈关系。
对于该多媒体资源,该多媒体资源为文字、图像、视频、短视频中的任一种,本公开实施例对该多媒体资源的多媒体资源类型不作限定。
例如,在一个具体示例中,该多媒体资源为视频,该视频包括多个图像帧,在记录时以photo来进行记录。该行为日志可以采用<user,photo,click>的形式来记录行为数据。其中,user为账号标识,photo为多媒体资源标识,click为反馈关系。可选地,click为1用于表示该账号标识对应账号与该多媒体资源标识对应多媒体资源之间具有反馈关系,也即是,该账号标识与该多媒体资源标识之间具有反馈关系,也即是该账号标识对应账号对该多媒体资源标识对应多媒体资源进行过反馈操作。click为0用于表示该账号标识对应账号与该多媒体资源标识对应多媒体资源之间不具有反馈关系,也即是,该账号标识与该多媒体资源标识之间不具有反馈关系,也即是该账号标识对应账号未对该多媒体资源标识对应多媒体资源进行过反馈操作。
对于该计算机设备,该计算机设备为终端,或计算机设备为服务器,本公开实施例对此不作限定。
在一些实施例中,如果该计算机设备为服务器,行为日志能够由该服务器生成,该服务器能够从本地存储中获取该行为日志。该行为日志也能够存储于其他服务器中或数据库中,该服务器能够从其他服务器或数据库中获取该行为日志。
在另一些实施例中,如果该计算机设备为终端,该终端能够从服务器中获取该行为日志,继续执行后续的多媒体资源分类步骤。
在一种可能实现方式中,该行为日志为全部行为日志,或该行为日志为部分行为日志。在一些实施例中,该行为日志为目标时间段内的行为日志。该步骤S41中,计算机设备获取目标时间段内的行为日志。
可选地,该目标时间段由相关技术人员根据需求设置。可选地,该目标时间段由服务器自行确定,例如,服务器中设置有周期,服务器能够按照周期获取上个周期内产生的行为日志,该上个周期即为该目标时间段。当前周期结束后,服务器进入下个周期,也能够再获取该当前周期内产生的行为日志。服务器获取到每个周期的行为日志后,执行后续的步骤,为该周期内相关的多媒体资源确定分类结果。
通过设置目标时间段,每隔一段时间对多媒体资源进行处理,在保证多媒体资源处理的时效的基础上,能够减少多媒体资源处理的数据量和计算量,减少计算复杂度,提高处理效率。
在步骤S42中,计算机设备响应于任一账号与任一多媒体资源具有反馈关系,将该账号与该多媒体资源对应的行为数据确定为第一目标行为数据,该第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系。
该第一目标行为数据为部分目标行为数据。计算机设备获取到行为日志后,能够对行为日志中的行为数据进行分析,确定对多媒体资源分类具有参考意义的行为数据作为目标行为数据。该目标行为数据为后续多媒体资源分类的数据依据,基于该目标行为数据,能够根据用户对多媒体资源的反馈情况来确定多媒体资源的分类结果。
能够理解地,用户的喜好一般比较明确,用户会倾向于展示相同或者相似的多媒体资源,对相同或相似的多媒体资源进行反馈操作,用户对两个多媒体资源进行了反馈操作,该两个多媒体资源的内容可能相同或相似,因而,分类结果可能相同。
通过该步骤S41和步骤S42,对行为日志中的数据进行了筛选,筛选出对多媒体资源分类具有参考意义的行为数据,去除了行为日志中的冗余数据,减少了后续的计算量,且不会因冗余数据影响分类准确性。
上述步骤S42为计算机设备从行为日志中获取具有反馈关系的账号和多媒体资源对应的行为数据的过程,该行为日志指示有账号和多媒体资源之间是否具有反馈关系,对多媒体资源分类具有参考意义的为具有反馈关系的账号和多媒体资源。如果行为日志中某条记录为某个账号展示某个多媒体资源,且该账号与该多媒体资源具有反馈关系,也即是,该账号的用户对多媒体资源进行了反馈操作,则这条记录可以作为第一目标行为数据。如果行为日志中某条记录为某个账号展示某个多媒体资源,但与该多媒体资源并不具有反馈关系,也即是,该账号的用户并未对多媒体资源进行反馈操作,则这条记录可以不作为第一目标行为数据。
用户对多媒体资源进行的反馈操作包括多种,例如,可选地,点赞操作、评论操作、回复操作、分享操作等,该反馈关系也包括多种。在进行多媒体资源分类时能够根据需求选择某种特定的反馈关系来确定目标行为数据。
在一些实施例中,计算机设备响应于任一账号与任一多媒体资源具有目标反馈关系,将该账号与该多媒体资源对应的行为数据确定为该第一目标行为数据。例如,该目标反馈关系用于表示账号的用户对多媒体资源进行了点赞操作。当然,也能够选择其他反馈关系,本公开实施例对此不作限定。
在另一些实施例中,计算机设备也能够不区分反馈关系,将具有反馈关系的账号和多媒体资源对应的行为数据均作为第一目标行为数据,本公开实施例对具体采用哪种实现方式不作限定。
该第一目标行为数据中账号和多媒体资源分别以账号标识和多媒体资源标识来进行唯一标识,相应地,该第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系。
在步骤S43中,计算机设备根据该多个多媒体资源标识,获取该多个多媒体资源标识对应的多个多媒体资源。
计算机设备确定了第一目标行为数据涉及到哪些多媒体资源后,能够进一步分析这些多媒体资源中哪些多媒体资源能够携带有准确的目标分类结果,这些多媒体资源也即是第一多媒体资源。还能够进一步分析哪些多媒体资源需要根据本公开提供的多媒体资源处理方式来确定分类结果,这些多媒体资源也即是第二多媒体资源,也即是计算机设备还能够确定第二目标行为数据,目标行为数据包括该第一目标行为数据和第二目标行为数据。进而,计算机设备能够根据已知分类结果的第一多媒体资源,来根据账号和多媒体资源之间的反馈关系,来确定未知分类结果的第二多媒体资源的分类结果。
可选地,在对多媒体资源进行划分时,能够根据多媒体资源标识获取多媒体资源,对多媒体资源进行分类,将预测的准确度较高的分类结果确定为这部分多媒体资源的目标分类结果。
在一些实施例中,该多媒体资源存储于该计算机设备中,或存储于其他计算机设备或数据库中。相应地,该步骤S43中,计算机设备从本地存储中,提取多媒体资源标识对应的多媒体资源,或计算机设备从其他计算机设备或数据库中,获取多媒体资源标识对应的多媒体资源。
在步骤S44中,计算机设备对该多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,该分类结果用于指示该每个多媒体资源对应的预测多媒体资源标签以及该每个多媒体资源的标签为该预测多媒体资源标签的概率值。
计算机设备获取到多个多媒体资源后,可以对该多个多媒体资源进行分类。可选地,每个多媒体资源可以对应有多个候选多媒体资源标签,每个多媒体资源的分类结果包括该多媒体资源的标签为每个候选多媒体资源标签的概率值,则计算机设备能够将概率值大于目标阈值的候选多媒体资源标签确定为该预测多媒体资源标签。该预测多媒体资源标签的数量为一个或多个,本公开实施例对此不作限定。
在一些实施例中,该分类过程通过多媒体资源分类模型实现,该多媒体资源分类模型能够基于携带有目标多媒体资源标签的大量样本多媒体资源训练得到。
在步骤S45中,计算机设备将该分类结果中该概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将该第一多媒体资源的该分类结果确定该第一多媒体资源对应的目标分类结果,将该第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
在本公开实施例中,设置有概率值阈值,该概率值阈值用于衡量预测的准确度,一个多媒体资源的分类结果中预测多媒体资源标签的概率值大于概率值阈值,说明对该多媒体资源进行分类得到的分类结果比较准确,另一个多媒体资源的分类结果中预测多媒体资源标签的概率值小于或等于概率值阈值,则说明对该另一个多媒体资源进行分类得到的分类结果的准确性并不是很准确。基于此,将分类比较准确的多媒体资源确定为第一多媒体资源,将第一多媒体资源的分类结果作为第一多媒体资源的目标分类结果。
对于分类不太准确的多媒体资源,则作为第二多媒体资源,也即是后续需要继续分类的多媒体资源。第一多媒体资源的目标分类结果则作为第二多媒体资源分类的数据基础。也即是,该步骤S45中,计算机设备还将该多个多媒体资源中第一多媒体资源之外的多媒体资源确定为第二多媒体资源,该第二多媒体资源即为待确定分类结果的多媒体资源。
该概率值阈值具有多种确定方式,在第一种可能方式中,该概率值阈值由相关技术人员根据需求设置,例如,该概率值阈值为90%。
在第二种可能方式中,该概率值阈值由对该多个多媒体资源的分类结果中概率值的统计结果确定。
在第三种可能方式中,该概率值阈值由对其他多个多媒体资源的分类结果中概率值的统计结果确定。
在第二种和第三种可能方式中,该概率值阈值可以根据多个多媒体资源的分类结果中概率值的统计结果确定,该多个多媒体资源可以为本次计算机设备获取得到的多个多媒体资源,也可以为该计算机设备在前一个周期或者另外获取的多个多媒体资源。该概率值阈值通过统计结果确定,更符合这类数据的特性,更能准确地体现一般用户行为的规律,基于此确定出的样本数据更准确。
具体地,在确定出多个多媒体资源的分类结果后,计算机设备还能够获取对每个多媒体资源分类的准确度,计算机设备获取多媒体资源分类的概率值和准确度的对应关系,将目标准确度对应的概率值确定为该概率值阈值。
在一个具体的可能实施例中,计算机设备将每个多媒体资源的分类结果中的概率值作为横坐标,将对每个多媒体资源进行分类的准确度作为纵坐标,拟合得到概率值和准确度的关系曲线,将该关系曲线上纵坐标为目标准确度的点的横坐标作为概率值阈值。
例如,在一个具体示例中,将多媒体资源分类模型记为modelclf,将行为日志<user,photo,click>中的每个photo(例如,photoi,i用于表示多媒体资源photo),使用modelclf进行预测,得到该多媒体资源对应的标签以及概率,即<photoi,laveli,probi>。根据先验的统计分析,得到一个准确率比较高的时候对应的概率probthres,将probthres作为概率值阈值。选取满足probi>probthres的photo,形成一个数据集,该数据集能够称之元标签数据集,也即是第一多媒体资源和对应标签的数据集,该元标签数据集dataset如下:
Figure BDA0002643025820000121
其中,∪为并集,i为多媒体资源photo和标签label的标识,I为符合probi>probthres的photo的数量。假设该行为日志中多媒体资源photo的数量为N,一般情况下I<<N,I和N均为正整数。
需要说明的是,该步骤S43至步骤S45为确定多个多媒体资源中第一多媒体资源和第二多媒体资源,以及第一多媒体资源对应的目标分类结果的过程,上述过程中,以多媒体资源分类模型的分类结果确定这些数据。上述方式能够自动化确定出样本数据和待处理数据,无需人工标注确定样本数据,这种方式能够高效地确定样本数据和待处理数据,且不掺杂主观因素,因而,分类结果更具有客观性,准确性更高。
在另一种可能实现方式中,该第一多媒体资源、第二多媒体资源以及第一多媒体资源对应的目标分类结果也能够存储于该计算机设备或其他计算机设备中,计算机设备可以直接从计算机设备或其他计算机设备中获取这些数据,将其作为目标行为数据。例如,该多个多媒体资源中有些多媒体资源在生产、发布或者上一次多媒体资源处理过程中已确定了分类结果,则可以将这些多媒体资源确定为第一多媒体资源,将没有分类结果的其它多媒体资源确定为第二多媒体资源。
上述步骤S41至步骤S45为获取目标行为数据的过程,该目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,该多个多媒体资源中第一多媒体资源对应有目标分类结果。该目标行为数据包括上述第一目标行为数据和第二目标行为数据,该目标行为数据中,第一多媒体资源对应有目标分类结果,第二多媒体资源的分类结果未知,基于目标行为数据,计算机设备能够进一步根据账号和多媒体资源之间的反馈关系,来指导多媒体资源分类如何基于已知分类结果的多媒体资源,对未知分类结果的第二多媒体资源进行分类。
在步骤S46中,计算机设备根据目标行为数据,生成图数据,该图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,该目标多媒体资源与该任一账号具有该反馈关系。
其中,图数据中以目标行为数据涉及到的账号和多媒体资源为节点,边用于连接具有反馈关系的账号和多媒体资源的节点。在本公开实施例中,该图数据包括该多个账号对应的账号节点,该多个多媒体资源对应的多媒体资源节点,以及连接具有该反馈关系的账号节点与多媒体资源节点的边,第一多媒体资源标识对应的第一多媒体资源节点对应有目标分类结果。
相应地,该步骤S46中,计算机设备将该目标行为数据所表示的多个账号映射为该图数据中的多个账号节点,将该目标行为数据所表示的多个多媒体资源映射为该图数据中的多个多媒体资源节点,将具有该反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到该图数据中的边。
在该步骤S46中,通过目标行为数据进行构图,图数据中节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,进而通过这种节点之间的连接关系,有了用户行为的整体了解,后续基于此对多媒体资源进行分类时,能够准确地应用到用户的倾向性特性,得到准确的分类结果。
在一些实施例中,上述目标行为数据中账号和多媒体资源分别以账号标识和多媒体资源标识来唯一标识,也即是,该图数据包括该多个账号标识对应的账号节点,该多个多媒体资源标识对应的多媒体资源节点,以及连接具有该反馈关系的账号节点与多媒体资源节点的边,第一多媒体资源标识对应的第一多媒体资源节点对应有目标分类结果。
可选地,计算机设备还能够将边的权重设置为1。该边的权重用于指示边的属性,在本公开实施例中,该边用于表示连接的两个节点之间具有反馈关系,将边的权重设置为1,能够在保证分类结果准确的前提下,降低计算量,提高分类效率。例如,以多媒体资源为视频为例,对于一个用户的账号i,和一个视频j,如果出现了反馈行为(例如点击行为,也即是用户点击了视频)可以构造出一个<useri|photoi>的边。其中,带有标签的视频(具有目标分类结果的第一多媒体资源)记作photoj label。以此类推,对于所有的用户的账号和视频,可以形成一个基于图的邻接矩阵。该邻接矩阵即用于表示该图数据中账号节点和多媒体资源节点之间所有的边。
该图数据的形式包括多种,在一些实施例中,图数据包括图数据中节点的集合和边的集合,例如,图数据定义为G=(V,E)。其中,G表示图数据,V表示图数据中节点的集合,E表示图数据中边的集合。
可选地,该边的集合能够以邻接矩阵的方式表示,例如,假设账号节点和多媒体资源节点的总数量为N,该邻接矩阵中每一位元素用于指示节点之间是否连接。邻接矩阵A为N×N维的矩阵,该矩阵的横纵坐标分别为N个节点,例如,横坐标i,纵坐标j对应的元素Aij用于指示节点i和节点j是否连接,如果连接,Aij为1;如果不连接,Aij为0。
可选地,该边的集合能够以数组的方式表示,例如,在边的集合中,每个边的数据表示方式为:连接账号节点i和多媒体资源节点j的边为<useri|photoj>。
在一些实施例中,该图数据包括图数据中每个节点对应的集合,例如,对于某个节点,能够将该节点相关的边的数据形成该节点对应的边集合,将多个节点的边集合作为该图数据。可选地,节点相关的边至少包括连接该节点的边,可选地,该节点相关的边还包括与该节点连接的其它节点所连接的边。当然,该节点相关的边还能够包括其他边,例如,该节点的某个方向上的边等,该节点对应的边的设置能够由相关技术人员根据需求设置,可以理解地,该节点对应的边的数量越多,基于这样的图数据进行多媒体资源分类的准确度越高,计算量也越大。
在步骤S47中,计算机设备将该图数据输入图神经网络中,基于该图数据中该第一多媒体资源节点的目标分类结果,对该图神经网络进行训练。
该图数据中第一多媒体资源节点的相关数据即为训练样本数据,以训练样本数据能够训练该图神经网路的网络参数,使得图神经网络学习到对多媒体资源节点的特征进行准确表达后,再准确分类,得到准确的分类结果。图神经网络依靠图中节点之间的信息传递来捕捉图中的依赖关系,具有强大的表征能力,采用图神经网络对图数据进行分析,来对多媒体资源进行分类,能够提取到准确的特征表示,进而提高分类结果的准确性。
具体地,该图神经网络能够进行图卷积操作,以实现特征提取和分类。则该步骤S47中,计算机设备获取到图数据后,可以将其输入图神经网络中,由图神经网络对图数据进行图卷积,实现特征提取和分类步骤,确定每个多媒体资源节点的预测分类结果。其中,该第一多媒体资源的第一多媒体资源节点对应有目标分类结果,因而,基于第一多媒体资源节点的预测分类结果和目标分类结果来调整图神经网络的网络参数,提高图神经网络对该图数据处理的准确度。
在一种可能实现方式中,该图神经网络为图卷积网络,该图卷积网络包括至少一层图卷积层,每个图卷积层能够对输入的数据进行图卷积,并将结果输出至下一个图卷积层。概括来讲,该图卷积处理能够通过下述公式实现:
HL+1=f(HL,A)
H表示图卷积处理的结果,L表示图卷积层的层数,HL表示前一个图卷积层的输出结果,HL+1为当前图卷积层的输出结果,A表示图数据中用于表示边数据的邻接矩阵。对于图卷积网络第一个图卷积层而言,中的HL可以替换为表示图数据的节点数据X。函数f在不同类型的图卷积网络中的实现方式可以存在差异,例如,函数f是先对HL、当前图卷积层的权重参数矩阵、邻接矩阵A相乘再通过激活函数对乘积运算,又如,函数f是先对HL、当前图卷积层的权重参数矩阵、邻接矩阵A对应的拉普拉斯矩阵相乘再通过激活函数对乘积运算。该激活函数为relu函数或者为其他激活函数。
对于图神经网络,图神经网络包括多种,例如,基于谱的图神经网络、基于空间的图神经网络,相应地,图卷积操作也不同。例如,基于谱的图神经网络,图数据的数学表示为正则化图拉普拉斯矩阵L:
Figure BDA0002643025820000151
其中,A为图的邻接矩阵,为图数据中的边数据,D为对角矩阵且Dii=∑j(Ai,j)。
图数据被分解为L=UAUT,图神经网络能够对图数据中节点数据X的图卷积过程为:获取X进行傅里叶变换的第一结果与对滤波器的滤波函数进行傅里叶变换的第二结果的点乘,再对点乘进行傅里叶反变换。其中,X可以为图中各个节点组成的特征向量,Xi代表第i个节点。
又例如,基于空间的图神经网络,通过一个目标尺寸(例如,3×3)的窗口,每个节点的邻域是其周围的8个节点。这八个节点的位置表示一个节点的邻居的顺序。通过对每个通道上的中心节点及其相邻节点的特征进行加权平均,对该窗口应用一个滤波器,来对特征进行卷积处理。通过上述过程能够基于空间的图卷积,将中心节点的特征表示和相邻节点的特征表示进行聚合,以获得该中心节点的新特征表示。
在上述步骤S47中,计算机设备基于该图神经网络,对该第一多媒体资源节点根据该连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到该第一多媒体资源节点的预测分类结果,根据该第一多媒体资源节点的该预测分类结果和目标分类结果,获取预测准确度,根据该预测准确度,对该图神经网络的网络参数进行调整,直至符合目标条件时停止。
通过图神经网络强大的表征能力,能够在诸多数据中准确提取与分类的第一多媒体资源节点相关的数据进行处理,并得到准确的特征表示,进而分类结果更准确,基于此对图神经网络进行训练,训练得到的网络参数更加准确,能够进一步提高图神经网络的特征提取和分类能力,后续使用这样的图神经网络对第二多媒体资源节点进行分类时,能够得到准确的分类结果。
其中,该第一多媒体资源节点根据该连接关系对应的第一数据为以该第一多媒体资源节点为起点的至少一条目标路径上的数据,该目标路径上节点的数目为第一目标阈值,该目标路径上边的数目为第二目标阈值。
其中,该第一目标阈值和第二目标阈值由相关技术人员根据需求进行设置,例如,第一目标阈值为2,第二目标阈值为1,则以该第一多媒体资源节点为起点的至少一条目标路径上的数据包括与第一多媒体资源节点连接的边的数据。又例如,第一目标阈值为3,第二目标阈值为2,则以该第一多媒体资源节点为起点的至少一条目标路径上的数据包括与第一多媒体资源节点连接的边的数据、以及与第一账号节点连接的边的数据。第一账号节点为与第一多媒体资源节点连接的账号节点。
对于网络参数,该网络参数至少包括图神经网络的权重矩阵,通过改变该网络参数,图神经网络对同一图数据进行特征提取得到的特征表达则会发生变化,调整后的网络参数能使得图神经网络提取到的特征表达更准确,继而分类结果更准确。
在一种可能实现方式中,上述对图神经网络上述第一数据的设置为对图神经网络的卷积核的尺寸的设置。
对于通过图卷积提取特征的过程,在一个具体示例中,计算机设备能够通过公式hv=f(Xv,Xco[v],hne[v],Xne[v])对图数据进行图卷积。其中,hv为节点v的特征向量表示,Xv为节点v的特征,Xco[v]为节点v相邻的边的特征,hne[v]为节点v相邻的节点的特征向量表示。需要说明的是,上述自变量中与节点v相邻的节点或边的特征,“相邻”并不是限定与节点v直接连接,也能够表示与节点v通过其他节点或边间接连接的节点或边,具体自变量包括哪些量由相关技术人员根据需求进行设置,也即是,上述第一数据由相关技术人员根据需求进行设置。下述步骤S48中目标数据同理,在此不做过多赘述。
提取到特征后,计算机设备能够对提取到的特征进行分类,例如,该分类过程能通过下述公式实现:
Ov=g(hv,xv)
其中,hv为节点v的特征向量表示,Xv为节点v的特征,ov为节点v的输出,也即是节点v的分类结果。
可选地,该目标条件由相关技术人员根据需求进行设置,例如,该目标条件为预测准确度收敛,或者该目标条件为迭代次数达到目标次数,本公开实施例对此不作限定。
在一些实施例中,该预测准确度采用损失值的方式表示,该预测准确度的获取过程能够通过目标损失函数实现,具体地,计算机设备根据该第一多媒体资源节点的该预测分类结果和目标分类结果,获取目标损失函数的值,该值即为损失值。
该目标损失函数为任一种损失函数,在一个具体的可能实施例中,该目标损失函数可以为交叉熵损失函数,该预测准确度的获取过程可以通过下述公式实现:
Figure BDA0002643025820000161
其中,loss为预测准确度,entropy()为交叉熵损失函数。labelv为目标分类结果,用于指示多媒体资源的目标标签。ov为预测分类结果。v为节点的标识,photoj label为第一多媒体资源节点,∑为累加符号。
上述以预测准确度采用损失值的方式表示为例,该预测准确度也能够采用其他方式表示,例如,奖励值等,本公开实施例对此不作限定。
需要说明的是,计算机设备也根据该图神经网络对第二多媒体资源节点进行同理的特征提取和分类步骤,只是第二多媒体资源节点没有对应的目标分类结果,因而不参与预测准确度的获取过程。
在步骤S48中,计算机设备基于训练后的该图神经网络,对该图数据中该第二多媒体资源节点根据该连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出该第二多媒体资源节点的分类结果。
计算机设备在训练好图神经网络后,该图神经网络的分类准确性比较好,则可以对图数据中未知分类结果的第二多媒体资源节点进行分类,该图神经网络对第二多媒体资源节点的分类过程与上述步骤S47中对第一多媒体资源节点的分类过程同理,在此不作过多赘述。
图神经网络具有强大的表征能力,基于第一多媒体资源节点相关的数据进训练后,特征提取和分类能力大大提升,使用这样的图神经网络对第二多媒体资源节点进行分类时,能够得到准确的分类结果,这种新型的多媒体资源处理方式,无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。
在一种可能实现方式中,基于训练后的该图神经网络,对该图数据中以该第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,该目标路径上节点的数目为第一目标阈值,该目标路径上边的数目为第二目标阈值。与第一数据同理,本公开实施例对该目标数据具体包括哪些不作限定。
上述步骤S47和步骤S48基于该图数据中该第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及该图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果的过程。在另一些实施例中,在基于第一多媒体资源节点的数据对图神经网络进行训练时,在最后一次迭代过程中网络参数确定,则该图神经网络对第一多媒体资源节点和第二多媒体资源节点进行处理得到的预测分类结果即为准确的分类结果,由图神经网络输出该第二多媒体资源节点的预测分类结果,将其作为第二多媒体资源节点的分类结果。也即是,在训练完成时,所有多媒体资源节点的分类结果也都已确定。在上述过程中仅以对图数据进行处理的过程通过图神经网络实现为例,该过程还能够由计算机设备直接调用目标算法实现,本公开实施例对此不作限定。
通过本公开实施例能够高效地为多媒体资源进行分类,这样已知分类的多媒体资源增多,该已知分类的多媒体资源也能够用于其他应用场景,例如,用于模型训练等。这样模型训练的数据增加,能够提高模型分类的准确性,且对于所有多媒体资源而言,已知分类的多媒体资源的数量增加,总体而言,也能够提高召回率。例如,上述多媒体资源分类是为多媒体资源添加多媒体资源标签,通过上述方式能够高效快速地为大量多媒体资源添加多媒体资源标签,这样标签的覆盖量增大,能够同时提高多媒体资源标签确定的准确率和召回率。
本公开实施例提供了一种新型的多媒体资源处理方式,考虑到用户更倾向于对相同或相似的多媒体资源进行反馈,通过引入行为数据这种信息源,不局限于已有的样本数据,突破了数据瓶颈,该行为数据能够表示每个账号和每个多媒体资源之间的反馈关系,该行为数据中部分多媒体资源为已知分类结果的多媒体资源,通过整理行为数据,将其转化为一种图数据,账号和多媒体资源映射为图中的节点,节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,进而通过这种节点之间的连接关系,有了用户行为的整体了解,则能够根据已知分类结果的多媒体资源,对未知分类结果的多媒体资源进行准确分类,打破了数据瓶颈,且无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。
图5是根据一示例性实施例示出的一种多媒体资源处理装置框图。参照图5,该装置包括:
获取单元501,被配置为执行获取目标行为数据,该目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,该多个多媒体资源中第一多媒体资源对应有目标分类结果;
生成单元502,被配置为执行根据该目标行为数据,生成图数据,该图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,该目标多媒体资源与该任一账号具有该反馈关系;
处理单元503,被配置为执行基于该图数据中该第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及该图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,第二多媒体资源为该多个多媒体资源中该第一多媒体资源之外的多媒体资源。
可选地,该生成单元502,被配置为执行:
将该目标行为数据所表示的多个账号映射为该图数据中的多个账号节点;
将该目标行为数据所表示的多个多媒体资源映射为该图数据中的多个多媒体资源节点;
将具有该反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到该图数据中的边。
可选地,该处理单元503包括训练子单元和分类子单元;
该训练子单元,被配置为执行将该图数据输入图神经网络中,基于该图数据中该第一多媒体资源节点的目标分类结果,对该图神经网络进行训练;
该分类子单元,被配置为执行基于训练后的该图神经网络,对该图数据中该第二多媒体资源节点根据该连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出该第二多媒体资源节点的分类结果。
可选地,该训练子单元,被配置为执行:
基于该图神经网络,对该第一多媒体资源节点根据该连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到该第一多媒体资源节点的预测分类结果;
根据该第一多媒体资源节点的该预测分类结果和目标分类结果,获取预测准确度;
根据该预测准确度,对该图神经网络的网络参数进行调整,直至符合目标条件时停止。
可选地,该分类子单元,被配置为执行基于训练后的该图神经网络,对该图数据中以该第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,该目标路径上节点的数目为第一目标阈值,该目标路径上边的数目为第二目标阈值。
可选地,该获取单元501,被配置为执行:
获取行为日志,该行为日志包括多个账号的行为数据,每个账号的该行为数据用于表示该账号是否与多个多媒体资源具有反馈关系;
响应于任一账号与任一多媒体资源具有反馈关系,将该账号与该多媒体资源对应的行为数据确定为第一目标行为数据。
可选地,该第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系;
该获取单元501,还被配置为执行:
根据该多个多媒体资源标识,获取该多个多媒体资源标识对应的多个多媒体资源;
对该多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,该分类结果用于指示该每个多媒体资源对应的预测多媒体资源标签以及该每个多媒体资源的标签为该预测多媒体资源标签的概率值;
将该分类结果中该概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将该第一多媒体资源的该分类结果确定该第一多媒体资源对应的目标分类结果,将该第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
可选地,该概率值阈值由相关技术人员根据需求设置,或该概率值阈值由对该多个多媒体资源的分类结果中概率值的统计结果确定,或该概率值阈值由对其他多个多媒体资源的分类结果中概率值的统计结果确定。
可选地,该行为日志为目标时间段内的行为日志。
本公开实施例提供的装置,采用了一种新型的多媒体资源处理方式,考虑到用户更倾向于对相同或相似的多媒体资源进行反馈,通过引入行为数据这种信息源,不局限于已有的样本数据,突破了数据瓶颈,该行为数据能够表示每个账号和每个多媒体资源之间的反馈关系,该行为数据中部分多媒体资源为已知分类结果的多媒体资源,通过整理行为数据,将其转化为一种图数据,账号和多媒体资源映射为图中的节点,节点之间的连接关系能够形象地、清晰地体现多个账号和多个多媒体资源之间的反馈关系,进而通过这种节点之间的连接关系,有了用户行为的整体了解,则能够根据已知分类结果的多媒体资源,对未知分类结果的多媒体资源进行准确分类,打破了数据瓶颈,且无需人工标注增加训练样本,通过已有数据即可完成所有的多媒体资源的分类,分类效率高。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
可选地,上述计算机设备为下述图6所示的终端。可选地,上述计算机设备为下述图7所示的服务器。
图6是根据一示例性实施例示出的一种终端的结构框图。可选地,该终端600的设备类型包括:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
可选地,处理器601包括一个或多个处理核心,比如4核心处理器、8核心处理器等。可选地,处理器601采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中,处理器601包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
在一些实施例中,存储器602包括一个或多个计算机可读存储介质,可选地,该计算机可读存储介质是非暂态的。可选地,存储器602还包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器601所执行以实现本申请中各个实施例提供的多媒体资源处理方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、触摸显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地,射频电路604通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。可选地,该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器601进行处理。可选地,显示屏605还用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605为一个,设置终端600的前面板;在另一些实施例中,显示屏605为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,可选地,显示屏605设置成非矩形的不规则图形,也即异形屏。可选地,显示屏605采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还包括闪光灯。可选地,闪光灯是单色温闪光灯,或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,用于不同色温下的光线补偿。
在一些实施例中,音频电路607包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风为多个,分别设置在终端600的不同部位。可选地,麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。可选地,扬声器是传统的薄膜扬声器,或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅能够将电信号转换为人类可听见的声波,也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。可选地,定位组件608是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。可选地,电源609是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
在一些实施例中,加速度传感器611检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611用于检测重力加速度在三个坐标轴上的分量。可选地,处理器601根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还用于游戏或者用户的运动数据的采集。
在一些实施例中,陀螺仪传感器612检测终端600的机体方向及转动角度,陀螺仪传感器612与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
可选地,压力传感器613设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时,能够检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。可选地,指纹传感器614被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614能够与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员能够理解,图6中示出的结构并不构成对终端600的限定,能够包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图7是根据一示例性实施例示出的一种服务器的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,该服务器700包括一个或一个以上处理器(CentralProcessing Units,CPU)701和一个或一个以上的存储器702,其中,该存储器702中存储有至少一条程序代码,该至少一条程序代码由该处理器701加载并执行以实现上述各个实施例提供的多媒体资源处理方法。可选地,该服务器700还具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器700还包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种包括程序代码的存储介质,例如包括程序代码的存储器,上述程序代码可由计算机设备的一个或多个处理器执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,包括一条或多条程序代码,该一条或多条程序代码能够由计算机设备的处理器执行,以完成上述各个实施例提供的多媒体资源处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多媒体资源处理方法,其特征在于,包括:
获取目标行为数据,所述目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,所述多个多媒体资源中第一多媒体资源对应有目标分类结果;
根据所述目标行为数据,生成图数据,所述图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,所述目标多媒体资源与所述任一账号具有所述反馈关系;
基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,所述第二多媒体资源为所述多个多媒体资源中所述第一多媒体资源之外的多媒体资源。
2.根据权利要求1所述的多媒体资源处理方法,其特征在于,所述根据所述目标行为数据,生成图数据,包括:
将所述目标行为数据所表示的多个账号映射为所述图数据中的多个账号节点;
将所述目标行为数据所表示的多个多媒体资源映射为所述图数据中的多个多媒体资源节点;
将具有所述反馈关系的账号对应的账号节点和多媒体资源对应的多媒体资源节点连接,得到所述图数据中的边。
3.根据权利要求1所述的多媒体资源处理方法,其特征在于,所述基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,包括:
将所述图数据输入图神经网络中,基于所述图数据中所述第一多媒体资源节点的目标分类结果,对所述图神经网络进行训练;
基于训练后的所述图神经网络,对所述图数据中所述第二多媒体资源节点根据所述连接关系对应的目标数据进行特征提取,基于提取到的特征进行分类,输出所述第二多媒体资源节点的分类结果。
4.根据权利要求3所述的多媒体资源处理方法,其特征在于,所述基于所述图数据中所述第一多媒体资源节点的目标分类结果,对所述图神经网络进行训练,包括:
基于所述图神经网络,对所述第一多媒体资源节点根据所述连接关系对应的第一数据进行特征提取,基于提取到的第一特征进行分类,得到所述第一多媒体资源节点的预测分类结果;
根据所述第一多媒体资源节点的所述预测分类结果和目标分类结果,获取预测准确度;
根据所述预测准确度,对所述图神经网络的网络参数进行调整,直至符合目标条件时停止。
5.根据权利要求3所述的多媒体资源处理方法,其特征在于,所述基于训练后的所述图神经网络,对所述图数据中所述第二多媒体资源节点根据所述连接关系对应的目标数据进行特征提取,包括:
基于训练后的所述图神经网络,对所述图数据中以所述第二多媒体资源节点为起点的至少一条目标路径上的数据进行特征提取,所述目标路径上节点的数目为第一目标阈值,所述目标路径上边的数目为第二目标阈值。
6.根据权利要求1所述的多媒体资源处理方法,其特征在于,所述获取目标行为数据,包括:
获取行为日志,所述行为日志包括多个账号的行为数据,每个账号的所述行为数据用于表示所述账号是否与多个多媒体资源具有反馈关系;
响应于任一账号与任一多媒体资源具有反馈关系,将所述账号与所述多媒体资源对应的行为数据确定为第一目标行为数据。
7.根据权利要求6所述的多媒体资源处理方法,其特征在于,所述第一目标行为数据包括多个账号标识、多个多媒体资源标识以及任一账号标识对应账号与任一多媒体资源标识对应多媒体资源的反馈关系;
所述获取目标行为数据,还包括:
根据所述多个多媒体资源标识,获取所述多个多媒体资源标识对应的多个多媒体资源;
对所述多个多媒体资源进行特征提取,并基于提取的特征进行分类,得到每个多媒体资源的分类结果,所述分类结果用于指示所述每个多媒体资源对应的预测多媒体资源标签以及所述每个多媒体资源的标签为所述预测多媒体资源标签的概率值;
将所述分类结果中所述概率值大于概率值阈值的多媒体资源确定为第一多媒体资源,将所述第一多媒体资源的所述分类结果确定所述第一多媒体资源对应的目标分类结果,将所述第一多媒体资源对应的目标分类结果确定为第二目标行为数据。
8.一种多媒体资源处理装置,其特征在于,包括:
获取单元,被配置为执行获取目标行为数据,所述目标行为数据用于表示多个账号与多个多媒体资源之间的反馈关系,所述多个多媒体资源中第一多媒体资源对应有目标分类结果;
生成单元,被配置为执行根据所述目标行为数据,生成图数据,所述图数据中任一账号对应的账号节点与目标多媒体资源对应的多媒体资源节点连接,所述目标多媒体资源与所述任一账号具有所述反馈关系;
处理单元,被配置为执行基于所述图数据中所述第一多媒体资源对应的第一多媒体资源节点的目标分类结果,以及所述图数据中多媒体资源节点与账号节点之间的连接关系,获取第二多媒体资源对应的第二多媒体资源节点的分类结果,所述第二多媒体资源为所述多个多媒体资源中所述第一多媒体资源之外的多媒体资源。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行程序代码的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行所述程序代码,以实现如权利要求1至7中任一项所述的多媒体资源处理方法。
10.一种存储介质,其特征在于,当所述存储介质中的程序代码由计算机设备的一个或多个处理器执行时,使得所述计算机设备能够执行如权利要求1至7中任一项所述的多媒体资源处理方法。
CN202010845865.3A 2020-08-20 2020-08-20 多媒体资源处理方法、装置、计算机设备及存储介质 Active CN111984803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010845865.3A CN111984803B (zh) 2020-08-20 2020-08-20 多媒体资源处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010845865.3A CN111984803B (zh) 2020-08-20 2020-08-20 多媒体资源处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111984803A true CN111984803A (zh) 2020-11-24
CN111984803B CN111984803B (zh) 2021-08-17

Family

ID=73443493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010845865.3A Active CN111984803B (zh) 2020-08-20 2020-08-20 多媒体资源处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111984803B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239215A (zh) * 2021-05-07 2021-08-10 北京百度网讯科技有限公司 多媒体资源的分类方法、装置、电子设备及存储介质
CN114332698A (zh) * 2021-12-24 2022-04-12 北京达佳互联信息技术有限公司 多媒体资源标注监控方法、装置、电子设备及存储介质
CN114546974A (zh) * 2020-11-26 2022-05-27 北京达佳互联信息技术有限公司 一种数据的标注方法及装置
CN115098726A (zh) * 2022-06-20 2022-09-23 河南省信息中心 一种视频数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070171A (zh) * 2019-03-29 2019-07-30 中国科学院深圳先进技术研究院 基于神经网络的分类方法、装置、终端及可读介质
KR20190124171A (ko) * 2019-10-14 2019-11-04 엘지전자 주식회사 안마의자 제어방법 및 제어장치
CN111400591A (zh) * 2020-03-11 2020-07-10 腾讯科技(北京)有限公司 资讯信息推荐方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070171A (zh) * 2019-03-29 2019-07-30 中国科学院深圳先进技术研究院 基于神经网络的分类方法、装置、终端及可读介质
KR20190124171A (ko) * 2019-10-14 2019-11-04 엘지전자 주식회사 안마의자 제어방법 및 제어장치
CN111400591A (zh) * 2020-03-11 2020-07-10 腾讯科技(北京)有限公司 资讯信息推荐方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546974A (zh) * 2020-11-26 2022-05-27 北京达佳互联信息技术有限公司 一种数据的标注方法及装置
CN113239215A (zh) * 2021-05-07 2021-08-10 北京百度网讯科技有限公司 多媒体资源的分类方法、装置、电子设备及存储介质
CN113239215B (zh) * 2021-05-07 2024-05-14 北京百度网讯科技有限公司 多媒体资源的分类方法、装置、电子设备及存储介质
CN114332698A (zh) * 2021-12-24 2022-04-12 北京达佳互联信息技术有限公司 多媒体资源标注监控方法、装置、电子设备及存储介质
CN115098726A (zh) * 2022-06-20 2022-09-23 河南省信息中心 一种视频数据处理方法及系统
CN115098726B (zh) * 2022-06-20 2023-05-02 河南省信息中心 一种视频数据处理方法及系统

Also Published As

Publication number Publication date
CN111984803B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN109189950B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN113724189B (zh) 图像处理方法、装置、设备及存储介质
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN109784351B (zh) 行为数据分类方法、分类模型训练方法及装置
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN111737573A (zh) 资源推荐方法、装置、设备及存储介质
CN113377976B (zh) 资源搜索方法、装置、计算机设备及存储介质
CN112561084B (zh) 特征提取方法、装置、计算机设备及存储介质
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
CN114722937B (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN111931075B (zh) 一种内容推荐方法、装置、计算机设备及存储介质
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN111708944A (zh) 多媒体资源识别方法、装置、设备及存储介质
CN107765853A (zh) 应用关闭方法、装置、存储介质及电子设备
CN111339737A (zh) 实体链接方法、装置、设备及存储介质
CN114385854A (zh) 资源推荐方法、装置、电子设备及存储介质
CN114154068A (zh) 媒体内容推荐方法、装置、电子设备及存储介质
CN112766406A (zh) 物品图像的处理方法、装置、计算机设备及存储介质
CN111652432A (zh) 用户属性信息的确定方法、装置、电子设备及存储介质
CN115186801A (zh) 资源推荐模型的训练方法、资源推荐方法、装置及设备
CN113407774A (zh) 封面确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant