CN116955840A - 网络内容处理方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请关于一种网络内容处理方法、装置、设备、存储介质及程序产品，涉及人工智能技术领域。该方法包括：获取虚拟对象的对象属性特征；对象属性特征是对虚拟对象的属性信息进行自然语言处理得到的语义特征；获取目标网络内容的内容属性特征；内容属性特征是对目标网络内容的属性信息进行自然语言处理得到的语义特征；目标网络内容是基于网络内容推荐系统对虚拟对象的推荐结果确定的；将对象属性特征以及内容属性特征映射至匹配特征空间，获得虚拟对象与目标网络内容之间的匹配特征；基于匹配特征获取虚拟对象对目标网络内容的操作信息。本方案可以基于AI技术提高网络内容推荐系统的训练和评估的效率。

Description

网络内容处理方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及人工智能技术领域，特别涉及一种网络内容处理方法、装置、设备、存储介质及程序产品。

背景技术

随着网络技术的不断发展，网络内容推荐系统已经越来越广泛应用于各种网络内容的推荐场景。

在相关技术中，开发人员通常使用一个用户模拟器作为网络内容推荐系统的交互环境来进行闭环训练，以支持网络内容推荐系统模型的快速迭代。通常来说，上述用户模拟器和网络内容推荐系统通过强化学习的方式组成一个用户模拟系统，以模拟用户为实现目标而执行的一系列的长期行为选择。

然而，上述相关技术中，基于强化学习的方式构建的用户模拟系统需要模拟用户的长期行为，用户模拟系统的复杂度高且需要耗费大量的时间，从而导致网络内容推荐系统的训练和评估的效率较低。

发明内容

本申请实施例提供了一种网络内容处理方法、装置、设备、存储介质及程序产品，可以提高网络内容推荐系统的训练和评估的效率，该技术方案如下：

一方面，提供了一种网络内容处理方法，所述方法包括：

获取虚拟对象的对象属性特征；所述对象属性特征是对所述虚拟对象的属性信息进行自然语言处理得到的语义特征；

获取目标网络内容的内容属性特征；所述内容属性特征是对所述目标网络内容的属性信息进行自然语言处理得到的语义特征；所述目标网络内容是基于网络内容推荐系统对所述虚拟对象的推荐结果确定的网络内容；所述对象属性特征和所述内容属性特征属于同一个语义特征空间；

将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息；所述操作信息用于衡量所述网络内容推荐系统的性能。

另一方面，提供了一种网络内容处理装置，所述装置包括：

对象属性特征获取模块，用于获取虚拟对象的对象属性特征；所述对象属性特征是对所述虚拟对象的属性信息进行自然语言处理得到的语义特征；

内容属性特征获取模块，用于获取目标网络内容的内容属性特征；所述内容属性特征是对所述目标网络内容的属性信息进行自然语言处理得到的语义特征；所述目标网络内容是基于网络内容推荐系统对所述虚拟对象的推荐结果确定的网络内容；所述对象属性特征和所述内容属性特征属于同一个语义特征空间；

特征映射模块，用于将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

操作确定模块，用于基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息；所述操作信息用于衡量所述网络内容推荐系统的性能。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储由至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现上述网络内容处理方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述网络内容处理方法。

另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各种可选实现方式中提供的网络内容处理方法。

本申请提供的技术方案可以包括以下有益效果：

将虚拟对象的属性信息，以及网络内容推荐系统对虚拟对象的推荐结果相关的目标网络内容的属性信息，映射到同一个语义特征空间，然后将得到的对象属性特征以及内容属性特征映射至匹配特征空间得到匹配特征，再基于匹配特征模拟虚拟对象对目标网络内容的操作信息，从而衡量网络内容推荐系统的性能，指导后续对网络内容推荐系统的更新迭代；上述方案可以用于模拟用户对单次推荐结果的行为，也就是说，通过模拟网络内容推荐系统下的用户的短期行为即可以衡量网络内容推荐系统的性能，不需要通过强化学习的方式模拟用户的长期行为，能够极大的降低用户模拟系统的复杂度高，不需要耗费大量的模拟时间，从而能够显著的提高网络内容推荐系统的训练和评估的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请一示例性实施例涉及的系统的示意图；

图2是本申请一示例性实施例示出的网络内容处理方法的流程图；

图3是本申请一示例性实施例示出的网络内容处理方法的流程图；

图4是本申请一示例性实施例示出的网络内容处理方法的流程图；

图5是本申请一示例性实施例示出的网络内容处理方法的流程图；

图6是本申请一示例性实施例示出的网络内容处理方法的流程图；

图7是本申请一个示例性的实施例提供的系统框架图；

图8是图7所示实施例涉及的一种双塔模型的结构示意图；

图9是本申请一个实施例提供的网络内容处理装置的方框图；

图10示出了本申请一示例性实施例示出的计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供了一种用于预测查询语句对应的类目的数据处理方法，可以自动生成用于训练类目预测模型的训练数据，可以节约人工标注训练数据的时间，提高开发效率。为了便于理解，下面对本申请涉及的几个名词进行解释。

1)人工智能(Artificial Intelligence，AI)

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请所示的包含图像采集组件的显示设备主要涉及其中的计算机视觉技术以及机器学习/深度学习、自动驾驶、智慧交通等方向。

2)自然语言处理(Nature Language Processing，NLP)

NLP是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

3)机器学习(Machine Learning，ML)

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

4)推荐系统

推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或“偏好”。推荐的物品包括：视频、音频、新闻、书籍、学术论文、搜索查询等等。推荐系统产生推荐列表的方式通常有两种：协同过滤、基于内容推荐。目前，对用户进行网络内容推荐的方法也大致基于以下两类方法：

基于协同过滤：协同过滤方法根据用户历史行为(例如点击、观看、评价等行为)结合其他用户的相似决策建立的模型，用以预测用户对哪些网络内容可能感兴趣；

基于内容推荐：基于内容推荐利用网络内容的内容特征，例如标题、标签、内容分类等，推荐出具有类似性质的相似的网络内容。

5)分类算法

一种通过建模预测样本所属类别的方法，其目的是通过对样本特征的衡量将它归入正确类别。常见的分类算法有：Bayes、决策树、支持向量机、K近邻、逻辑回归、基于神经网络的各类深度学习模型等。

6)嵌入表示(embedding)

嵌入表示是一种基于神经网络模型对输入“对象”生成的分布式表示。嵌入表示主要作用是将原有对象的高维稀疏向量转化为低维、稠密向量，使得这些低维、稠密向量能够表达相应对象的某些特征，同时向量之间的距离能反应对象之间的相似性，从而方便下游模型，特别是深度学习类模型处理。这些输入“对象”通常为自然语言处理中的词、实体，网络中的节点等。

7)用户模拟器

在实际应用中，网络内容推荐系统和真实用户的交互成本昂贵，数据回流周期慢，因此，开发人员通常会构建一个用户模拟器(User Simulator)作为网络内容推荐系统的交互环境来进行闭环训练从而支持网络内容推荐系统中的AI模型的快速迭代。

图1示出了本申请一示例性实施例提供的网络内容处理方法所使用的系统的示意图，如图1所示，该系统包括：服务器110以及终端120。

其中，上述服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

上述服务器110可以包括部署有网络内容推荐系统，并通过网络内容推荐系统向用户提供网络内容推荐服务的服务器，或者，上述服务器110也可以包括有网络内容推荐系统，并对网络内容推荐系统进行训练或更新的服务器。

上述终端120可以是具有网络连接功能以及数据处理功能的终端设备，比如，终端120可以是智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表、智能电视、膝上型便携计算机和台式计算机等等。

上述终端120可以包括接受网络内容推荐服务的用户终端，或者，上述终端120也可以包括网络内容推荐系统的开发人员使用的开发终端。

可选的，上述系统中包含一个或者多个服务器110，以及多个终端120。本申请实施例对于服务器110和终端120的个数不做限制。

终端以及服务器通过通信网络相连。可选的，通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。本申请在此不做限制。

图2示出了本申请一示例性实施例示出的网络内容处理方法的流程图，该方法由计算机设备执行，该计算机设备可以实现为终端或服务器，该终端或者服务器可以是图1所示的终端或服务器，如图2所示，该网络内容处理方法包括以下步骤：

步骤210：获取虚拟对象的对象属性特征；对象属性特征是对虚拟对象的属性信息进行自然语言处理得到的语义特征。

其中，上述虚拟对象可以是虚构的用户、虚构的用户账号、虚构的用户标识等等。

上述虚拟对象的对象属性可以包括对象的基本属性(比如年龄、性别、兴趣点等等)、对象的行为属性(比如发生过的历史行为、历史行为对应的网络内容)等等。

上述对象属性特征可以是通过NLP模型对虚拟对象的属性信息进行处理后得到的语义特征。

其中，上述虚拟对象的属性信息可以是计算机设备自动生成的属性信息，也可以是由开发人员指定的属性信息。

步骤220：获取目标网络内容的内容属性特征；内容属性特征是对目标网络内容的属性信息进行自然语言处理得到的语义特征；目标网络内容是基于网络内容推荐系统对虚拟对象的推荐结果确定的网络内容；对象属性特征和内容属性特征属于同一个语义特征空间。

其中，上述目标网络内容可以是视频、音频、新闻、文档、网络商品、网络服务等通过网络传播的内容信息。

上述目标网络内容的属性信息可以包括网络内容的标题或文本中的关键词、标签、音频以及图像等等。

上述内容属性特征可以是通过NLP模型对目标网络内容的属性信息进行处理后得到的语义特征。

其中，上述对象属性特征和内容属性特征属于同一个语义特征空间，可以是指对象属性特征和内容属性特征由同一个NLP模型输出。

通过本申请实施例所示的方案，由于将虚拟对象的属性信息和目标网络内容的属性信息进行NLP处理后映射到同一个语义特征空间，因此，能够适用于多语言的网络内容推荐系统，也就是在多语言的网络内容推荐系统场景下，更准确的预测虚拟对象对目标网络内容的操作信息，提高对象模拟的准确性。

在本申请实施例中，计算机设备在确定虚拟对象之后，可以通过网络内容推荐模型，从预设的网络内容库中选择向虚拟对象推荐的网络内容，并基于网络内容推荐网络的推荐结果，确定上述目标网络内容。

步骤230：将对象属性特征以及内容属性特征映射至匹配特征空间，获得虚拟对象与目标网络内容之间的匹配特征。

其中，上述匹配特征可以用于表征对象属性特征以及内容属性特征之间的匹配程度。

在本申请实施例中，计算机设备可以对上述对象属性特征以及内容属性特征进行神经网络处理，比如卷积、池化等等，以对对象属性特征以及内容属性特征进一步的进行特征提取和融合，从而将对象属性特征以及内容属性特征映射至匹配特征空间，得到对象属性特征以及内容属性特征融合后的匹配特征。

步骤240：基于匹配特征获取虚拟对象对目标网络内容的操作信息；操作信息用于衡量网络内容推荐系统的性能。

在本申请实施例中，计算机设备可以进一步的对上述匹配特征进行分类映射，从而将匹配特征映射至包含各种不同的操作信息的分类空间，比如，得到虚拟对象对目标网络内容的各种不同的操作信息的概率分布，继而根据该概率分布确定虚拟对象对当前的目标网络内容的操作信息。

在一种可能的实现方式中，该操作信息包括以下信息中的至少一种：

是否执行指定操作、浏览时长信息、以及曝光时长信息。

其中，上述指定操作可以包括用户对网络对象可能执行的各种操作，包括且不限于：点击、评论、点赞、转发、收藏、购买/兑换等等。上述指定操作可以由开发人员根据网络内容推荐系统推荐的网络内容的类型来设置，本申请实施例对于上述指定操作的操作类型不做限定。

其中，上述的浏览，可以是指用户点击网络内容之后，在网络内容所在的页面停留的时长。

上述的曝光，可以是指上述目标网络内容在网络内容推荐页面中保持对用户可见的时长。可选的，上述对用户可见，可以是指目标网络内容在网络内容推荐页面中处于窗口可见区域内。

比如，当网络内容推荐系统向虚拟用户一次推荐的网络内容较多时，网络内容推荐页面的窗口内可能仅显示本次推荐的网络内容中的一部分，用户可以通过相关操作(比如滑动页面)来滚动切换网络内容推荐页面的窗口内显示的内容，此时，在网络内容推荐页面的窗口内的网络内容即为曝光的网络内容，相应的，目标网络内容的曝光时长可以是指目标网络内容在网络内容推荐页面的窗口内显示的时长。

在一种可能的实现方式中，响应于该目标网络内容包括音视频内容，该浏览时长信息包括以下信息中的至少一种：

该音视频内容的播放时长，以及，该音视频内容的播放时长与该音视频内容的总时长之间的比值。

其中，上述音视频内容可以包括音频内容；或者，上述音视频内容可以包括视频内容；或者，上述音视频内容可以包括音频内容和视频内容。

在本申请实施例中，对于目标网络内容包括音视频内容的情况，上述浏览时长信息既可以包括音视频内容的播放时长(时间长度)，也可以是音视频内容的播放时长占总时长的比值(即比如百分比数值)。

在一种可能的实现方式中，该目标网络内容包括以下内容中的至少一种：

该网络内容推荐系统向该虚拟对象推荐的网络内容；

以及，该网络内容推荐系统向该虚拟对象推荐网络内容时，推荐评分低于评分阈值的网络内容。

在本申请实施例中，计算机设备可以针对网络内容推荐系统向该虚拟对象推荐的网络内容进行性能评估，以评估网络内容推荐系统向该虚拟对象推荐的网络内容的准确性。

比如，假设网络内容推荐系统向该虚拟对象推荐了网络内容1，且上述步骤204得到的操作信息指示虚拟对象并未对网络内容1执行指定操作，或者，指示网络内容1对应的浏览时长/浏览时长占总时长的比值低于某个阈值，则认为上述网络内容1为效果较差的推荐内容，可以表示网络内容推荐系统对该虚拟对象的推荐性能较差；反之，如果上述步骤204得到的操作信息指示虚拟对象对网络内容1执行指定操作，或者，指示网络内容1对应的浏览时长/浏览时长占总时长的比值高于某个阈值，则认为上述网络内容1为效果较好的推荐内容，可以表示网络内容推荐系统对该虚拟对象的推荐性能较好。

此外，计算机设备还可以针对网络内容推荐系统向该虚拟对象推荐网络内容时的低评分的网络内容进行性能评估，以评估网络内容推荐系统对网络内容给出低分的合理性。

比如，假设网络内容推荐系统向该虚拟对象推荐网络内容时，对网络内容2给出了低分，且上述步骤204得到的操作信息指示虚拟对象并未对网络内容2执行指定操作，或者，指示网络内容2对应的浏览时长/浏览时长占总时长的比值低于某个阈值，则可以认为网络内容推荐系统对该网络内容2给出低分的决策准确，表示网络内容推荐系统对虚拟对象的推荐性能较好；反之，如果上述步骤204得到的操作信息指示虚拟对象对网络内容2执行指定操作，或者，指示网络内容2对应的浏览时长/浏览时长占总时长的比值高于某个阈值，则认为网络内容推荐系统对该网络内容2给出低分的决策不准确，表示网络内容推荐系统对虚拟对象的推荐性能较差。

在一种可能的实现方式中，目标网络内容是在当前时刻之前的第二时间段内新加入该网络内容推荐系统的网络内容库中的网络内容。

在本申请实施例中，目标网络内容可以是近期新加入网络内容，从而能够有针对性的评估网络内容推荐系统对新网络内容的推荐性能，从而提高对网络内容推荐系统的性能评估的效果。

综上所述，本申请实施例所示的方案，将虚拟对象的属性信息，以及网络内容推荐系统对虚拟对象的推荐结果相关的目标网络内容的属性信息，映射到同一个语义特征空间，然后将得到的对象属性特征以及内容属性特征映射至匹配特征空间得到匹配特征，再基于匹配特征模拟虚拟对象对目标网络内容的操作信息，从而衡量网络内容推荐系统的性能，指导后续对网络内容推荐系统的更新迭代；上述方案可以用于模拟用户对单次推荐结果的行为，也就是说，通过模拟网络内容推荐系统下的用户的短期行为即可以衡量网络内容推荐系统的性能，不需要通过强化学习的方式模拟用户的长期行为，能够极大的降低用户模拟系统的复杂度高，不需要耗费大量的模拟时间，从而能够显著的提高网络内容推荐系统的训练和评估的效率。

基于上述图2所示的方案，图3示出了本申请一个示例性实施例提供的虚拟对象的控制方法的流程图。该方法可以由计算机设备执行。即在图2示出的实施例中，步骤210之前还可以包括以下步骤：

步骤202：从该网络内容推荐系统提供服务的指定网络对象的属性信息中，通过随机抽样的方式抽取各项子属性信息。

本申请实施例所示的方案可以通过模拟用户来评估网络内容推荐系统的性能，其中，网络对象的属性信息中可以包含多项子属性信息，比如性别、年龄、兴趣点等等，为了提高模拟的用户的随机性，计算机设备可以预先从网络内容推荐系统提供服务的各个指定网络对象的属性信息中，随机抽取每一项子属性信息。

在一种可能的实现方式中，上述指定网络对象包括网络内容推荐系统提供服务的网络对象中的全部对象，或者，上述指定网络对象也可以包括网络内容推荐系统提供服务的网络对象中的随机选择的多个网络对象。

在一种可能的实现方式中，该指定网络对象是该网络内容推荐系统提供服务的各个网络对象中，在当前时刻之前的第一时间段内新加入的网络对象。

当一个用户刚加入系统时，网络内容推荐系统中通常没有该用户的准确的属性信息，对于这种情况，网络内容推荐系统能够尽可能的准确的向新用户推荐网络内容，是体现网络内容推荐系统性能的重要环节，也是网络内容推荐系统的一个优化方向，对此，本申请实施例所示的方案，可以基于新加入系统的网络对象的属性信息随机抽取用户构建虚拟对象的属性信息的子属性信息，从而实现模拟新加入的用户对网络对象推荐系统的推荐结果相关的网络对象的行为模拟，从而能够准确的评估网络内容推荐系统对新用户的推荐性能。

步骤204：将该各项子属性信息组合生成该虚拟对象的属性信息。

在本申请实施例中，计算机设备可以直接将上述各项子属性信息进行组合，得到虚拟对象的属性信息。

在另一种可能的实现方式中，计算机设备也可以对上述各项子属性信息进行修改后，生成虚拟对象的属性信息。

由于上述各项子属性信息是随机抽取的，因此，各项子属性信息的组合可能并不符合实际情况，比如，对于单身男用户来说，其兴趣点通常与化妆品等兴趣点无关，因此，单身男用户与化妆品的组合可能并不符合实际情况，通过包含此类组合的虚拟对象的属性信息可能并不能准确的评估网络内容推荐系统的性能，对此，计算机设备可以根据各项子属性信息之间的匹配关系，对各项子属性信息进行修改，以提高网络内容推荐系统的性能评估的准确性。

比如，计算机设备可以计算各项子属性信息之间的匹配度，并对其中匹配度角度的子属性信息进行修改。

例如，计算机设备可以上述将各项子属性信息中，匹配度较低(比如匹配度低于开发人员预先设置的匹配度阈值)的子属性信息的组合展示给开发人员，由开发人员对匹配度较低的子属性信息进行修改。

在另一种可能的实现的方式中，计算机设备可以上述对各项子属性信息中，匹配度较低的子属性信息的组合自动进行修改，比如，计算机设备将匹配度较低的子属性信息的组合中的部分子属性信息自动调整为与该子属性信息的组合种的其他子属性信息匹配的子属性信息；例如，以匹配度较低的子属性信息的组合包括“性别：男”和“兴趣点：化妆品”为例，计算机设备可以保持该子属性信息的组合中的“性别：男”不变，从“性别：男”匹配的兴趣点集合中随机选择一个兴趣点替换上述“兴趣点：化妆品”，其中，上述“性别：男”匹配的兴趣点集合可以是预先设置的。

综上所述，本申请实施例所示的方案，从指定网络对象的属性信息中随机选取子属性信息以构建虚拟对象的属性信息，提高模拟的用户的随机性，保证了网络内容推荐系统的性能评估效果。

此外，本申请实施例所示的方案，指定网络对象可以是当前时刻之前的第一时间段内新加入的网络对象，从而能够有针对性的评估网络内容推荐系统对新用户的推荐性能，从而提高对网络内容推荐系统的性能评估的效果。

基于上述图2或图3所示的方案，图4示出了本申请一个示例性实施例提供的虚拟对象的控制方法的流程图。该方法可以由计算机设备执行。即在图2或图3示出的实施例中，步骤240之后还可以包括以下步骤：

步骤250：基于该虚拟对象对该目标网络内容的操作信息，构建该虚拟对象的操作日志。

其中，上述操作日志可以包含虚拟对象的标识、虚拟对象的属性信息/对象属性特征、虚拟对象对目标网络内容的操作信息等等。

在本申请实施例中，计算机设备还可以根据虚拟对象对目标网络内容的多条操作信息，构建该虚拟对象的多次操作的操作日志，从而实现对虚拟对象的长期行为的模拟，继而从虚拟对象的长期行为方面衡量网络内容推荐系统的性能。此外，同一虚拟对象的多次操作的操作日志也可以提高对网络内容推荐系统的性能评估的平稳性。

具体的，由于虚拟对象的单次行为模拟的准确性可能存在波动，导致通过虚拟对象的短期行为模拟对网络内容推荐系统的性能衡量的准确性不稳定，对此，在本申请实施例中，计算机设备可以对同一个虚拟对象进行多次模拟，通过多次模拟的结果综合评估网络内容推荐系统的性能。

综上所述，本申请实施例所示的方案，通过对同一虚拟对象的多次模拟得到的操作信息构建该虚拟对象的操作日志，从而实现对虚拟对象的长期行为的模拟，提高对网络内容推荐系统的性能评估的准确性和平稳性。

基于上述图4所示的方案，图5示出了本申请一个示例性实施例提供的虚拟对象的控制方法的流程图。该方法可以由计算机设备执行。即在图4示出的实施例中，步骤250之后还可以包括以下步骤：

步骤260：基于该虚拟对象的操作日志，构建该网络内容推荐系统的训练样本数据。

在本申请实施例中，在有了虚拟对象的操作日志之后，计算机设备即可以根据该操作日志构建对网络内容推荐系统进行更新的训练样本，比如，以虚拟对象的标识或者虚拟对象的属性信息/对象属性特征为网络内容推荐系统的输入，以目标网络内容的标识信息作为网络内容推荐系统更新训练的标注信息，构建对网络内容推荐系统进行更新的训练样本。

步骤270：基于该网络内容推荐系统的训练样本数据，对该网络内容推荐系统进行优化更新。

在本申请实施例中，计算机设备在获得对网络内容推荐系统进行更新的训练样本后，可以基于上述训练样本，对网络内容推荐系统进行再训练，从而实现对网络内容推荐系统的优化更新。

在本申请实施例中，在上述虚拟对象是模拟新用户的虚拟对象，和/或，在上述目标网络内容是网络内容推荐系统推荐或者打低分的网络对象的情况下，通过虚拟对象的操作日志构建的该网络内容推荐系统的训练样本数据可以更有针对性，从而能够通过少量的训练样本达到对该网络内容推荐系统的较好的优化更新效果。

综上所述，在本申请实施例中，计算机设备基于该虚拟对象的操作日志，自动构建该网络内容推荐系统的训练样本数据，不需要开发人员人工配置网络内容推荐系统的训练样本，降低了开发人员的工作量，提高了网络内容推荐系统的优化更新的效率，提高优化更新效果。

基于上述图2至图5对应的各个实施例中的一个或者多个实施例所示的方案，图6示出了本申请一个示例性实施例提供的虚拟对象的控制方法的流程图。该方法可以由计算机设备执行。即在图2至图5任一实施例中，步骤230和步骤240可以替换为步骤230a和步骤240a：

步骤230a：通过操作预测模型中的特征处理部分对该对象属性特征以及该内容属性特征进行匹配处理，获得该虚拟对象与该目标网络内容之间的匹配特征。

其中，上述操作预测模型可以是一个或者多个神经网络模型，比如深度神经网络模型等等。

其中，该操作预测模型是通过样本对象的样本对象属性特征、样本网络内容的样本内容属性特征、以及该样本对象对该样本网络内容的样本操作信息训练获得的机器学习模型。

其中，上述操作预测模型中的特征处理部分可以对该对象属性特征以及该内容属性特征进行特征提取、融合等操作，得到虚拟对象与该目标网络内容之间的匹配特征。

步骤240a：通过该操作预测模型中的输出部分对该匹配特征进行处理，获得该虚拟对象对该目标网络内容的操作信息。

在本申请实施例中，上述操作预测模型可以是一个多输出的整体模型，比如，在上述操作信息包括多项子操作信息(比如同时包括是否执行指定操作、浏览时长信息、曝光时长信息中的至少两种)的情况下，该操作预测模型同时输出多项子操作信息的预测结果。

或者，上述操作预测模型也可以是多个单输出的子模型，比如，在上述操作信息包括多项子操作信息情况下，操作预测模型中的每个子模型输出多项子操作信息中的一种。

其中，该操作预测模型的训练过程可以如下：

通过该操作预测模型中的该特征处理部分对该样本对象属性特征以及该样本内容属性特征进行匹配处理，获得该样本对象与该样本网络内容之间的匹配特征；

通过该操作预测模型中的该输出部分对该样本匹配特征进行处理，获得该样本对象对该样本网络内容的预测操作信息；

基于该预测操作信息和该样本操作信息之间的差异获取损失函数值；

基于该损失函数值对该操作预测模型进行参数更新。

在本申请实施例中，上述操作预测模型可以通过有监督的学习方法进行模型训练。

可选的，上述NLP模型与操作预测模型可以单独进行训练；或者，上述NLP模型与操作预测模型也可以协同进行训练，也就是说，在模型训练过程中，损失函数值同时用于训练NLP模型与操作预测模型。

综上所述，本申请实施例所示的方案通过端到端模型来实现操作预测模型，不需要强化学习的设计，能够在保证用户模拟准确的情况下，降低用户模拟的系统复杂度，提高用户模拟的效率。

以视频推荐场景为例，本申请上述实施例提出了一种通过对用户兴趣偏好以及对视频的浏览历史进行预先设定形成虚拟用户，从而模拟虚拟用户在不同语言环境下与视频推荐系统进行短期交互行为，进行得到推荐系统的重要指标，以指导推荐系统改进的方法。本申请上述方案具有以下关键点：

1)该方法模拟在多语言视频推荐环境下对用户进行物品推荐的问题。通过引入自然语言理解模块，将用户兴趣标签和推荐物品的实体标签都映射到相同空间的ID特征上，从而解决在多语言环境下的各类兴趣标签文本不统一的问题。

2)通过虚拟用户的设定，该系统将模拟用户对视频推荐系统的浏览行为。通过该模拟系统，我们可以快速地评估出系统推荐的视频与用户兴趣匹配程度，同时快速评估处该系统的平均点击率、平均浏览时长等重要指标，从而找到算法的改进点。

3)由于用户在使用视频推荐系统时的短期行为是较为固定的，即浏览推荐结果后点击在观看的行为步骤，该系统并未引入复杂的强化学习算法来模拟用户观看视频的行为选择问题。我们仅用相对独立的监督学习来模拟用户短期行为，即，用户是否点击推荐物品、对点击的物品的浏览时长的预估等，这样将简化系统与算法的复杂，也提高了系统的稳定性以及模拟数据的复现能力。通过模拟用户的使用行为即可得到绝大多数视频推荐系统所关注的核心指标，如：用户兴趣匹配度、点击率、浏览时长等，进而为推荐算法的改进提供实验数据支持。

本申请所示的方案与基于强化学习的用户模拟方案相比，主要不同之处在于：

a)本申请所示的方案为保证该用户模拟系统能够适用于多语言的推荐环境引入了一个自然语言理解模块，模拟系统通过该模块可以识别推荐的视频的文本信息中相关兴趣标签，并将这些兴趣标签映射到的同一特征空间上的ID(标识符)上，从而消除不同语言在兴趣标签上的区别。

b)本申请所示的方案较为轻量级，立足于模拟用户在使用多语言视频推荐系统时的短期行为，从而快速地预估出用户兴趣与推荐物品的匹配相关性、点击率、浏览时长等关键指标，而忽略了模拟用户使用该推荐系统的长期行为。

设置上述不同点的原因主要有以下几点：a)快速评估出推荐视频的相关性、预估点击率、浏览时长等指标，从而为改进推荐系统的算法提供客观依据。得到这些指标仅仅依赖于用户的短期行为即可，无需模拟用户的长期行为；b)极大地简化系统与算法的复杂度，从而增加系统的稳定性，同时也避免了强化学习模型构建时需要的大量训练数据与容易引入的模型过拟合问题。

本申请的主要流程如下：

首先，通过设定用户的兴趣点与历史观看行为，从而构建不同的虚拟用户。通过自然语言理解模块，该模拟系统识别被推荐视频中的文本信息，如：标题，中实体标签，并将不同语言的相同实体用相同的ID(标识符)表示，从而消除了不同语言对用户兴趣表示的影响。

其次，通过用户模拟模块，该模拟系统将以虚拟用户的用户兴趣标签与历史行为依据，使用分类模型模拟用户是否点击推荐结果，并预估点击后观看视频的时长，并将相关的行为记录在日志中。

本申请实施例所示的方案通过该使用模拟系统为评估与改进多语言视频推荐系统提供了一种便捷、轻量级的方法。通过该模拟系统，推荐系统的开发人员可以快速构建大量的、拥有不同兴趣与浏览历史的虚拟用户。通过模拟这些虚拟用户的相关行为，该模拟系统可得到相关推荐系统的核心指标，如：用户点击率、浏览时长、内容与用户兴趣的相关性等，从而快速评估相关视频推荐系统在多语言环境下的推荐质量，进而找到推荐系统的改进方向。

请参考图7，其示出了本申请一个示例性的实施例提供的系统框架图。如图7所示，以用于多语音的视频推荐场景为例，该用户模拟系统主要包括用户模拟系统710和多语言视频推荐系统720，其中，用户模拟系统710主要包括虚拟用户模块710a、自然语言理解模块710b以及用户模拟模块710c。

本申请实施例的用户模拟系统710的主要流程如下：

首先，该模拟系统将生成一个虚拟用户的集合，并根据一定的用户兴趣分布规则为每个用户设定相应的兴趣标签与这些兴趣标签相关的用户浏览历史。具体而言，我们可以从时间的使用该多语言视频推荐系统的用户中随机抽取出一些用户，并将这些用户的兴趣标签与视频观看历史导入到这些虚拟用户中。导入这些用户的兴趣标签时，需要通过“自然语言处理模块”得到这些用户兴趣标签的统一的ID表示。

然后，该模拟系统将随机选择一个虚拟用户，然后模拟用户对视频推荐发出浏览推荐结果的需求。在收到推荐返回的推荐视频集合后，该系统将通过用户模拟模块中的点击行为预估模块，将结合虚拟用户的兴趣标签、浏览历史基于推荐视频的属性对用户是否点击的行为进行预估。

最后，在绝大多数视频推荐场景中，用户的短期行为是较为明确且固定的。那就是，用户会浏览推荐系统所推荐的视频预览图片或视频以及相关文本描述，然后点击其中用户感兴趣的视频进行进一步观看。这样我们就可以将用户使用视频推荐系统的行为简化为浏览、点击、观看的顺序步骤，从而规则化实现从而避免引入强化模型进行用户的行为选择这一过程。在该模拟系统中我们将用规则的方式固定用户的使用行为，首先会模拟用户浏览推荐结果并点击的过程，然后模拟点击视频后观看的过程。具体而言，如果预估用户在某个推荐视频将被点击，用户模拟模块还将利用浏览行为预估的子模块预估其浏览时长，从而模拟用户的浏览视频的行为。以上模拟的用户都将通过行为记录模块保持在相关日志中，为评估推荐系统的性能提供依据。

以下是用户模拟系统710中的相关模块具体功能的细节介绍：

1)虚拟用户模块710a

虚拟用户模块主要生成该模拟系统的虚拟用户，其中主要包括每个虚拟用户的唯一标识符、用户的兴趣标签。同时该模块还会记录每个虚拟用户的历史访问记录。

为了使得模拟用户具有足够的随机性，从而反应出真实用户的使用偏好，这些虚拟用户的用户标签与历史访问记录，将从推荐系统的中用户标签与访问记录中随机抽样生成。

但是如果我们希望针对特征兴趣的用户群体测试该推荐系统的效果是，我们也可以按照一定的规则，手动设定不同虚拟用户的用户兴趣点并选择出与这些用户兴趣点接近的部分视频合集作为虚拟用户的访问记录。

2)自然语言理解模块710b

该自然语言理解模块主要功能是分析推荐视频相关的文本，如：视频标题，并从中抽取出该视频展示出的相关兴趣点。这些兴趣点将使用统一的标识符(ID)进行编码。例如，趣点表示符ID1表示兴趣点“电影”：其中中文简体文本为“电影”，中文繁体文本为“電影”，其英文文本为“Movie”，日语文本为“映画”，但是该模块识别到不同语言的该兴趣点后都将统一输出为其标识符ID1。这样就可以避免不用语言造成的特征空间不一致的影响。

该自然语言理解模块最重要的功能就是实体识别，识别出的实体在本申请实施例中有被称为兴趣标签、用户标签，均指的是实体。实体可以包括视频涉及的明星、事件、人物、地点等，较为重要实体，也可以是相关的视频名、剧名等。实体识别的方法主要是通过规则、无监督、有监督等方法，识别出文本中的实体提及片段(entity mention)，并通过实体消歧的方法将识别出的实体提及片段链接到实体库中已有的实体。

传统实体识别的方法：目前实体识别的方法可以分为四大类方法：一是基于规则的方法(Rule-based approaches)，基于人工设计的规则进行实体抽取；二是无监督学习方法；三是基于人工特征的监督学习方法；四是基于深度学习的监督学习方法。

端到端的序列生成模型:另外，还可以利用端到端的序列生成模型(利于基于RNN的翻译模型，基于transformer的翻译模型)，将文本的字符串作为输出，将用户兴趣点作为输出，通过生成模型得到相关的兴趣点。

3)用户模拟模块710c

该模块将主要由以下3个子模块组成：

1、点击行为预估模块：

该模块的目标是预估用户在推荐视频上的点击率。点击行为的预估模型可以使用常见的分类器来实现，如：SVM、Bayes、以及各类基于深度学习的分类器。目前最为常用的点击率预估模型是基于深度学习技术开发的模型。它所解决的问题是：给定一个用户U和一个视频I，预测该视频I曝光之后获得点击的概率P(U，I)。目前可以预估用户与推荐视频点击率的模型有很多，如DNN、双塔类深度学习模型，这些模型多为深度学习模型，也均可以胜任此处的点击率预估任务。为了描述简单起见，本申请实施例在此仅仅用双塔类深度学习模型为例，说明点击率预估模块的工作原理。

请参考图8，其示出了本申请实施例涉及的一种双塔模型的结构示意图。如图8所示，在推荐系统的双塔类模型中，把双塔分成“用户侧塔”模型和“网络内容侧塔”模型两部分，然后用匹配层把这两部分表示联合起来，从而产生最后的得分。深度语义匹配模型可以有以下两种主流类型：表示型和交互型，“双塔”模型就是属于表示型模型。表示型模型由于其结构简单、计算效率高等优点已被工业界广泛使用，图8是表示型模型的基本结构。在本申请实施例中“用户侧塔”模型用于构建虚拟用户的相关特征，而“网络内容侧塔”模型用于建模推荐视频的相关特征。

在构建该模型的训练样本时，可以将使用该推荐系统真实的用户点击日志构建训练样本。正例为用户点击的用户与视频样本数据，而负例子则是那些用户与没有点击的视频组成的样本；

2、浏览时长预估模块：

浏览时长预估模块主要是在确定虚拟用户发生点击行为后，预估其浏览视频所需要的时间。在拟合时长时可以采取两种方式：1)直接拟合虚拟用户的观看视频所需要的时长；2)拟合虚拟用户观看视频的完成度，即观看视频完成的时长百分比。

在此为了简单起见，本申请实施例以第二种方式为例进行说明，即拟合虚拟用户观看视频的完成度。在拟合该完成度是我们依然采取的是图8中的双塔结构，不过将最后输出层的激活函数由点击率sigmoid函数换成了一个线性函数，用于拟合用户观看的完成度。当然，也可以选择其他的深度学习模型来拟合该观看视频的完成度。在预估用户观看该视频的时长时，只需用预估的完成度乘以该视频的总时长即可得到预估的用户观看时长。

在构建该模型的训练样本时，我们将使用该推荐系统真实的用户观看视频的完成度构建训练样本，训练的标签即为实际用户观看视频的完成度。

3、行为日志模块：

该模块的主要目的记录虚拟用户使用推荐系统时留下的行为信息。这些数据包括但是不限于以下字段：虚拟用户的唯一标志、推荐的视频、是否点击、推荐视频的曝光时间、视频播放的结束时间等。

本申请实施例能够快速模拟不同的用户兴趣，从而通过用户兴趣标签与视频标签的相关性、平均点击率，平均播放时长等重要指标，快速评估推荐系统的推荐效果进而找到系统算法的改进方向；

本申请实施例是针对多语言的视频推荐系统，通过引入自然语言理解模块将文本中的实体ID化后，该系统能够统一处理多语言带来虚拟用户的语言不一致问题。

本申请实施例提供的系统关注模拟用户使用推荐系统的短期、较为确定的视频平台的浏览行为，无需使用强化学习技术，较为轻量级、效果也较为稳定，不易出现过拟合的现象，也无需大量的训练数据即可得到稳定的模型。

本申请实施例所示的方案还可以用于解决以下问题：

1)用户冷启动问题：当用户进入系统后，用户往往是缺乏浏览行为的。这个时候推荐系统往往会通过一些热门策略或属性为用户提供一些视频，在设定用户数据为空的情况下，本申请实施例提供的用户模拟系统可以初步评估用户冷启情况下推荐系统的相关效果。

2)物品冷启动问题：物品冷启动需要解决的问题是如何将新加入的物品推荐给对它感兴趣的用户。当新物品加入推荐系统时，推荐系统中的物品相关表中不会存在新加入的物品，因此许多算法难以推荐新的物品。在测试推荐系统的用户冷启能力时，本申请实施例提供的用户模拟系统可以在推荐系统侧加入一部分以前没有出现过的新物品，然后观察该模拟系统的在这些新物品上的相关数据即可评估其在物品冷启问题上的性能。

本申请实施例所示的方案还可以做以下变种：

1)该模型还可以开发更多的行为子模块模拟是订阅、是否点赞等相对独立用户操作。

2)在点击率预估模块、观看时长预估模块上可以替换为业界较为流程的模型。可采用两个独立的模型分别训练，也可以使用同一模型采用多目标的方式进行训练。

3)该系统的设计框架有很强的可扩展性，可以推广到一般的推荐系统，如音乐推荐系统、商品推荐系统、新闻推荐系统等。

本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

上述用户的相关数据包括信息(包括但不限于用户的属性信息、用户标签、操作记录)、数据(包括但不限于用户分析的数据、存储的数据、展示的数据等)及信号等数据。例如，本申请中涉及的用户数据是在充分授权的情况下获取的。

图9示出了本申请一示例性实施例示出的网络内容处理装置的方框图，该装置可以用于执行如图2至图6所示方法中的全部或部分步骤；如图9所示，该装置包括：

对象属性特征获取模块901，用于获取虚拟对象的对象属性特征；所述对象属性特征是对所述虚拟对象的属性信息进行自然语言处理得到的语义特征；

内容属性特征获取模块902，用于获取目标网络内容的内容属性特征；所述内容属性特征是对所述目标网络内容的属性信息进行自然语言处理得到的语义特征；所述目标网络内容是基于网络内容推荐系统对所述虚拟对象的推荐结果确定的网络内容；所述对象属性特征和所述内容属性特征属于同一个语义特征空间；

特征映射模块903，用于将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

操作确定模块904，用于基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息；所述操作信息用于衡量所述网络内容推荐系统的性能。

在一种可能的实现方式中，特征映射模块903，用于通过操作预测模型中的特征处理部分对所述对象属性特征以及所述内容属性特征进行匹配处理，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

所述操作确定模块904，用于通过所述操作预测模型中的输出部分对所述匹配特征进行处理，获得所述虚拟对象对所述目标网络内容的操作信息；

其中，所述操作预测模型是通过样本对象的样本对象属性特征、样本网络内容的样本内容属性特征、以及所述样本对象对所述样本网络内容的样本操作信息训练获得的机器学习模型。

在一种可能的实现方式中，所述操作信息包括以下信息中的至少一种：

是否执行指定操作、浏览时长信息、以及曝光时长信息。

在一种可能的实现方式中，响应于所述目标网络内容包括音视频内容，所述浏览时长信息包括以下信息中的至少一种：

所述音视频内容的播放时长，以及，所述音视频内容的播放时长与所述音视频内容的总时长之间的比值。

在一种可能的实现方式中，所述装置还包括：

子属性信息抽取模块，用于从所述网络内容推荐系统提供服务的指定网络对象的属性信息中，通过随机抽样的方式抽取各项子属性信息；

属性信息合成模块，用于将所述各项子属性信息组合生成所述虚拟对象的属性信息。

在一种可能的实现方式中，所述指定网络对象是所述网络内容推荐系统提供服务的各个网络对象中，在当前时刻之前的第一时间段内新加入的网络对象。

在一种可能的实现方式中，所述目标网络内容包括以下内容中的至少一种：

所述网络内容推荐系统向所述虚拟对象推荐的网络内容；

以及，所述网络内容推荐系统向所述虚拟对象推荐网络内容时，推荐评分低于评分阈值的网络内容。

在一种可能的实现方式中，目标网络内容是在当前时刻之前的第二时间段内新加入所述网络内容推荐系统的网络内容库中的网络内容。

在一种可能的实现方式中，所述装置还包括：

日志构建模块，用于基于所述虚拟对象对所述目标网络内容的操作信息，构建所述虚拟对象的操作日志。

在一种可能的实现方式中，所述装置还包括：

训练样本数据构建模块，用于基于所述虚拟对象的操作日志，构建所述网络内容推荐系统的训练样本数据；

基于所述网络内容推荐系统的训练样本数据，对所述网络内容推荐系统进行优化更新。

在一种可能的实现方式中，所述装置还包括：模型训练模块，用于，

通过所述操作预测模型中的所述特征处理部分对所述样本对象属性特征以及所述样本内容属性特征进行匹配处理，获得所述样本对象与所述样本网络内容之间的匹配特征；

通过所述操作预测模型中的所述输出部分对所述样本匹配特征进行处理，获得所述样本对象对所述样本网络内容的预测操作信息；

基于所述预测操作信息和所述样本操作信息之间的差异获取损失函数值；

基于所述损失函数值对所述操作预测模型进行参数更新。

图10示出了本申请一示例性实施例示出的计算机设备1000的结构框图。该计算机设备可以实现为本申请上述方案中的服务器或终端。在本实施例中，以该计算机设备是服务器为例进行说明。该计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器(Random Access Memory，RAM)1002和只读存储器(Read-Only Memory，ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。该计算机设备1000还包括用于存储操作系统1009、应用程序1010和其他程序模块1011的大容量存储设备1006。

该大容量存储设备1006通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。该大容量存储设备1006及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，该大容量存储设备1006可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1006可以统称为存储器。

根据本公开的各种实施例，该计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在该系统总线1005上的网络接口单元1007连接到网络，或者说，也可以使用网络接口单元1007来连接到其他类型的网络或远程计算机系统(未示出)。

该存储器还包括至少一条计算机程序，该至少一条计算机程序存储于存储器中，中央处理器1001通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或者部分步骤。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述各个实施例所示的方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各个实施例所示的方法中的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (15)

1.一种网络内容处理方法，其特征在于，所述方法包括：

获取虚拟对象的对象属性特征；所述对象属性特征是对所述虚拟对象的属性信息进行自然语言处理得到的语义特征；

获取目标网络内容的内容属性特征；所述内容属性特征是对所述目标网络内容的属性信息进行自然语言处理得到的语义特征；所述目标网络内容是基于网络内容推荐系统对所述虚拟对象的推荐结果确定的网络内容；所述对象属性特征和所述内容属性特征属于同一个语义特征空间；

将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息；所述操作信息用于衡量所述网络内容推荐系统的性能。

2.根据权利要求1所述的方法，其特征在于，

所述将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征，包括：

通过操作预测模型中的特征处理部分对所述对象属性特征以及所述内容属性特征进行匹配处理，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

所述基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息，包括：

通过所述操作预测模型中的输出部分对所述匹配特征进行处理，获得所述虚拟对象对所述目标网络内容的操作信息；

其中，所述操作预测模型是通过样本对象的样本对象属性特征、样本网络内容的样本内容属性特征、以及所述样本对象对所述样本网络内容的样本操作信息训练获得的机器学习模型。

3.根据权利要求1或2所述的方法，其特征在于，所述操作信息包括以下信息中的至少一种：

是否执行指定操作、浏览时长信息、以及曝光时长信息。

4.根据权利要求3所述的方法，其特征在于，响应于所述目标网络内容包括音视频内容，所述浏览时长信息包括以下信息中的至少一种：

所述音视频内容的播放时长，以及，所述音视频内容的播放时长与所述音视频内容的总时长之间的比值。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

从所述网络内容推荐系统提供服务的指定网络对象的属性信息中，通过随机抽样的方式抽取各项子属性信息；

将所述各项子属性信息组合生成所述虚拟对象的属性信息。

6.根据权利要求5所述的方法，其特征在于，所述指定网络对象是所述网络内容推荐系统提供服务的各个网络对象中，在当前时刻之前的第一时间段内新加入的网络对象。

7.根据权利要求1或2所述的方法，其特征在于，所述目标网络内容包括以下内容中的至少一种：

所述网络内容推荐系统向所述虚拟对象推荐的网络内容；

以及，所述网络内容推荐系统向所述虚拟对象推荐网络内容时，推荐评分低于评分阈值的网络内容。

8.根据权利要求1或2所述的方法，其特征在于，目标网络内容是在当前时刻之前的第二时间段内新加入所述网络内容推荐系统的网络内容库中的网络内容。

9.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

基于所述虚拟对象对所述目标网络内容的操作信息，构建所述虚拟对象的操作日志。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

基于所述虚拟对象的操作日志，构建所述网络内容推荐系统的训练样本数据；

基于所述网络内容推荐系统的训练样本数据，对所述网络内容推荐系统进行优化更新。

11.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过所述操作预测模型中的所述特征处理部分对所述样本对象属性特征以及所述样本内容属性特征进行匹配处理，获得所述样本对象与所述样本网络内容之间的匹配特征；

通过所述操作预测模型中的所述输出部分对所述样本匹配特征进行处理，获得所述样本对象对所述样本网络内容的预测操作信息；

基于所述预测操作信息和所述样本操作信息之间的差异获取损失函数值；

基于所述损失函数值对所述操作预测模型进行参数更新。

12.一种网络内容处理装置，其特征在于，所述装置包括：

对象属性特征获取模块，用于获取虚拟对象的对象属性特征；所述对象属性特征是对所述虚拟对象的属性信息进行自然语言处理得到的语义特征；

内容属性特征获取模块，用于获取目标网络内容的内容属性特征；所述内容属性特征是对所述目标网络内容的属性信息进行自然语言处理得到的语义特征；所述目标网络内容是基于网络内容推荐系统对所述虚拟对象的推荐结果确定的网络内容；所述对象属性特征和所述内容属性特征属于同一个语义特征空间；

特征映射模块，用于将所述对象属性特征以及所述内容属性特征映射至匹配特征空间，获得所述虚拟对象与所述目标网络内容之间的匹配特征；

操作确定模块，用于基于所述匹配特征获取所述虚拟对象对所述目标网络内容的操作信息；所述操作信息用于衡量所述网络内容推荐系统的性能。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至11任一所述的网络内容处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至11任一所述的网络内容处理方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器读取并执行，以实现如权利要求1至11任一所述的网络内容处理方法。