CN117271909A - 一种基于对比学习和知识共享的多任务推荐方法 - Google Patents

Abstract

本发明公开一种基于对比学习和知识共享的多任务推荐方法，采用多任务的形式，结合了对比学习和知识图嵌入学习来提高基于对比学习和知识共享的多任务推荐方法的推荐性能。该推荐方法以图卷积推荐任务为主推荐任务对用户和项目的交互进行建模，通过用户和结构用户(通过用户的图卷积聚合得到)的对比学习构建用户结构对比学习任务强化用户邻居关系并提高了用户嵌入的表征能力，通过深度语义匹配模型构建知识图嵌入任务来学习项目的丰富特征，并基于项目的嵌入共享精心设计了特征转移单元实现项目属性知识的融合和传递，有效提高了推荐模型的语义刻画能力和总体性能。

Description

一种基于对比学习和知识共享的多任务推荐方法

技术领域

本发明涉及推荐系统技术领域，具体涉及一种基于对比学习和知识共享的多任务推荐方法。

背景技术

近年来，随着互联网的不断发展，人们可以在不同的平台上使用各种各样的产品和服务，例如社交媒体、在线购物以及视频/音乐流媒体等。然而，随着互联网上信息的数量不断增加，用户仅凭自己的经验去选择适合自己的产品已经变得越来越困难。在这种情况下，推荐系统成为了一种必要的技术，用于减轻用户的负担，提高用户体验。推荐系统可以根据用户过去的行为和历史记录，为用户推荐个性化的项目或内容，使用户不必花费大量时间去查找合适的选项。

知识图谱在推荐系统中的应用可以帮助改善推荐的精度和个性化程度。知识图谱是一种结构化的知识表示方式，通过概念和实体之间的关联来表示领域内的知识。知识图谱可以帮助推荐系统为用户提供个性化解释。通过将推荐结果与知识图谱中的实体和关系关联起来，可以向用户解释推荐的原因。这样，用户可以更好地理解为何会得到这样的推荐，提升用户对推荐系统的信任感和满意度。

多任务学习是一种机器学习方法，旨在同时解决多个相关任务而不是独立地解决每个任务。在传统的单任务学习中，通常会为每个任务独立构建一个模型，而多任务学习通过共享模型参数来同时学习多个任务，从而能够引入任务间的相关性和共享知识，提升整体的学习性能。多任务学习的主要优势之一是可以从相邻任务中获取额外的信息并进行更好的泛化，这些任务之间的相互关系通过共享模型中的参数来捕捉。通过在多个任务之间共享特征表示和学习过程，可以缓解数据稀缺性、标注成本高等问题，提高模型的鲁棒性和泛化能力。然而，虽然多任务学习已经被广泛应用于推荐系统中，但仍有很少的研究关注将知识图谱与多任务学习相结合。

对比学习是一种机器学习方法，旨在通过学习样本之间的差异或相似性来学习更好的表示。对比学习的目标是通过比较样本对(一对样本)来学习一个特征表示，使得相似的样本对在特征空间中更加接近，而不相似的样本对则更加分散。这种学习方法能够帮助模型学习到数据的更多本质信息，提高模型的泛化性能。然而，传统的对比学习方法仍然存在一些缺陷，比如采用随机抽样的方式进行对比，无法完全考虑推荐场景中用户之间的关系，并且需要大量的计算资源进行模型训练。

传统基于深度学习的推荐系统中，虽然在建模用户与物品之间的交互关系方面取得了不错的效果，但是在知识建模的角度却存在一定的缺陷。这些模型往往只能利用用户历史行为数据等单一信息来建模并预测用户对特定物品的喜好程度，一方面由于传统推荐系统的数据集都存在数据稀疏性问题导致推荐效果的不理想，另一方面由于节点的属性知识缺乏造成无法学习到更丰富的领域知识和节点间的结构性信息。因此，这些传统模型建模出的用户兴趣比较单一，难以进行个性化推荐。

发明内容

本发明所要解决的是传统的推荐系统所存在的问题，提供一种基于对比学习和知识共享的多任务推荐方法。

为解决上述问题，本发明是通过以下的技术方案实现：一种基于对比学习和知识共享的多任务推荐方法，包括步骤如下：

步骤1、从网上下载带有知识图数据的公开数据集，对数据集进行预处理后得到用户项目交互数据集和项目知识图数据集并对用户交互数据集划分训练集和测试集。

步骤2、利用上步骤得到的训练集和项目知识图数据对基于对比学习和知识共享的多任务图神经网络进行训练，通过计算模型的推荐结果和实际的对模型中的所有参数进行调整来优化模型，得到的训练好的基于对比学习和知识共享的多任务图卷积神经网络。

步骤2.1、构建主推荐任务。通过在用户项目交互图上使用图卷积神经网络来对用户和项目进行多次卷积操作并合并得到新的用户和项目的嵌入表示，再通过构建评分函数并采用排名损失计算推荐任务的任务损失。

步骤2.2、构建用户关系对比学习任务。通过将用户和图卷积的二层表示作对比对进行对比学习，采用InfoNCE计算对比学习任务损失。

步骤2.3、构建项目知识嵌入任务。首先将推荐任务中的原始项目嵌入和知识图中的相对应项目嵌入通过一个精心设计的知识转移单元桥接并生成新的物品表示，再将生成的物品表示和知识图中的其他实体构建深度语义匹配模型。

步骤2.4、联合步骤2.1-2.3的损失，通过调整整个模型的可训练参数来优化整个模型的综合损失，得到的训练好的多任务图神经网络。

步骤3、利用步骤1生成的测试集对训练好的基于对比学习和知识共享的多任务图神经网络进行测试，通过调整训练好的多任务图神经网络的多个超参数来优化训练好的融合用户多行为的图神经网络的准确性和召回率的评估指标，得到最终的多任务图神经网络。

步骤4、利用最终的多任务图神经网络对当前用户的推荐项目进行预测，并将预测结果推荐给当前用户。

本发明基于传统的图卷积推荐提出了一种基于对比学习和知识图增强的多任务推荐学习方法。该推荐方法以图卷积推荐任务为主，通过用户和结构用户的对比学习构建用户结构对比学习任务强化用户邻居关系，通过深度语义匹配模型构建知识图嵌入任务来学习项目的丰富特征，并基于项目的嵌入共享精心设计了特征转移单元实现项目属性知识的融合与传递。与现有技术相比，本发明在保留的图卷积模型高效的学习能力下，使用多任务的方法融合了项目的属性知识和用户的结构信息，显著的增强了用户和项目嵌入的表征能力，有效提高了推荐模型的语义刻画能力和总体性能。

附图说明

图1为一种基于对比学习和知识共享的多任务推荐方法整体流程图

图2为本发明的模型框架图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

参见图1和2，一种基于多子空间交互的协同过滤个性化推荐方法，具体包含以下：

步骤1、下载网络上的带有知识图数据的公开数据集，通过设置交互阈值过滤用户项目交互数据集并将用户和项目重新编号。对知识图也采取相同的操作最后获取与预处理后的用户项目交互数据集以及项目和实体的知识图数据集。再将用户项目数据集按照比例分割成训练集和测试集为模型训练作准备。

步骤2、利用训练集对构建的多任务的图神经网络进行训练，通过调整训练好的融合用户多行为的图神经网络的所有可训练参数来优化训练好的多任务的图神经网络的综合损失，得到训练好的多任务的图神经网络。

这里假设我们有一组M个用户和一组N个项目v＝{v₁，v₂，...，v_N}。用户-项目交互矩阵Y∈R^M×N是根据用户的隐式反馈定义的，其中y_u，v＝1表示用户u与项目v有交互，否则y_u，v＝0。此外，我们还可以访问知识图G，它由实体-关系-实体三元组(h，r，t)组成。这里h、r和t分别表示知识三元组的头部、关系和尾部实体。

步骤2.1、构建主推荐任务。首先初始化所有用户、项目和实体的嵌入向量，通过将用户和项目在用户项目交互图上进行图卷积操作得到用户和项目的最终表示。然后使用用户和项目的内积作为评分函数和主推荐任务的损失函数。

使用图卷积的方法捕获用户和项目之间的高阶连通性以及结构连接性，得到用户和项目的最终表示，其主要包括邻居聚合、合并二大部分：

1)邻居聚合

用户u和项目i在交互图上进行的l+1次图卷积如下：

其中，和分别表示用户和项目在交互图中的一阶邻居，和分别表示用户和项目的l次卷积输出。和分别表示用户和项目的l+1次卷积输出。和表示原始初始化的用户和项目嵌入。

2)合并

在用L层传播后，我们采用加权和函数作为读出函数来组合所有层的表示。用户和项目通过合并原始嵌入和L次卷积输出得到最终用户和项目的嵌入表示z_u和z_i：

其中z_u和z_i分别表示用户和项目在推荐任务中的最终嵌入向量表示。L表示进行了L次卷积操作。和分别表示用户u和项目i的第k次图卷积输出。

使用最终用户和项目的内积嵌入构建的评分函数：

其中是用户u和项目i的预测分数，表示用户u嵌入向量的转置。为了直接从交互中捕获信息，我们采用贝叶斯个性化排名(BPR)损失，这是一种精心设计的推荐排名目标函数。具体来说，BPR损失的训练过程是通过最大化已偏好物品排在未偏好物品前面的概率来实现的。BPR损失的目标函数如下：

其中，O＝{(u，i，j)|y_u,i＝1，y_u,j＝0}，y_u,i＝1表示用户u和项目i有交互，y_u,j＝0表示用户u和项目j没有交互(此负例使用随机负采样抽取)。

步骤2.2、构建用户关系对比学习任务。通过主推荐任务损失优化BPR损失，我们就可以对用户和项目之间的交互进行建模。然而，用户间的高阶邻居关系对于推荐也是有价值的。例如，购买过相同商品的用户有很大可能会继续购买相同的产品。接下来，我们将提出一个对比学习目标，以捕捉用户的潜在邻居关系。

考虑到用户和项目的交互图是一个二分图，利用GCN聚合模型在图上进行偶数次的信息传播自然地聚集了同质结构邻居的信息，这可以很方便的提取到用户的潜在邻居特征。通过这种方式，我们可以从模型的二分图的二层聚合输出中获得邻域的表示。通过这些表示，我们可以有效地模拟用户之间的关系及其结构邻居。

具体而言，我们将用户u自身的嵌入和用户二层聚合的相应输出的嵌入视为正对，将后者与其他用户的原始嵌入视为负对。基于InfoNCE，提出了结构对比学习目标，以最小化它们之间的距离，如下所示：

其中，τ是设定的超参数，表示用户的集合，和分别表示用户在主推荐任务中的原始嵌入向量表示和用户的第二次图卷积输出。表示用户的原始嵌入向量。通过对比学习，使用用户的二阶图卷积模拟用户的同质结构邻居将用户的二阶邻居结构关系融入到模型中，增强了用户嵌入向量的表征能力。

步骤2.3、构建项目知识嵌入任务。知识图嵌入是将实体和关系嵌入到连续的向量空间中，同时保留它们的结构。我们为项目知识嵌入任务提出了一种深度语义匹配模型。对于给定的知识三元组(h，r，t)，由于推荐项目和知识图的实体有交叉，我们设计了知识转移单元(KTU)通过嵌入共享将知识图中学习到的实体表示反馈到推荐任务中。此结构的处理思想来自于十字绣网络的启发，本文中的实现在本质上是通过嵌入共享来实现多任务的知识共享。

知识转移单元的输入分别是项目i(这里使用v表示)和其在知识图中的对应实体h，通过将两者特征进行交叉融合后生成新的实体表示h_L。首先构建交叉矩阵C∈R^d×d，

C＝vh^T

则实体h经过知识转移单元(KTU)的输出为：

其中α是用来平衡多任务嵌入共享权重的超参。表示实体h的L层MLP。w^EV和w^VE是可训练的权重参数矩阵，这被称为压缩操作，因为权重向量将R^d×d空间中的交叉特征矩阵投影回特征空间R^d(d表示特征向量的长度)。为了对称，交叉特征矩阵沿水平和垂直方向(通过在C和C^T上运行)进行压缩。

通过知识转移单元将推荐任务中的项目嵌入和知识图中的项目实体相连后，后续知识图中学习到的相关特征将可以通过此单元反馈给推荐任务，丰富了项目嵌入的表示，有利于实现更精准化的推荐。实体h生成新的嵌入表示h_L后，与实体r和t一起通过使用L层MLP提取嵌入的特征得到t_L和r_L，然后通过拼接h_L和r_L，再通过L层MLP后得到最终的预测嵌入表示：

其中，和分别表示用来提取实体特征的L层MLP。接着将r_L和h_L的潜在特征连接在一起，再使用L层MLP用于预测尾向量：

其中为尾部t的预测向量，为L层MLP，[·]表示向量的拼接操作。最后，使用分数(相似度)函数f_KG计算三元(h，r，t)的分数：

模型训练时我们加入负例一起训练，使用随机负采样生成假三元组，我们的目标是增加所有真三元组的分数，同时减少所有假三元组的分数。最终的损失如下：

其中，(h′，r，t′)是在知识图G上随机采样的负例。

步骤2.4、整合各个任务的损失。构建好三个学习任务后，模型首先要对不同任务分配不同输入，共分成两个阶段去实现。第一阶段使用步骤1中生成的训练集，其中数据为用户和项目的交互信息，将其分成不同批次输入给主推荐任务和用户对比学习任务去训练，此阶段的损失为λ₁为平衡两个任务的超参数。第二阶段将步骤1中生成的知识图数据分成不同批次输入给项目知识嵌入任务去训练，此阶段的损失为

模型的总体损失可表示如下：

其中，为主推荐任务的排名损失，为用户关系对比学习任务的对比损失，为项目知识嵌入任务的损失，λ₁为对比学习任务损失的权重，W为该多任务模型的所有可训练参数，λ₂为L2正则化的超参，表示L2正则化。

利用梯度下降优化算法对此多任务的图神经网络的可训练参数进行优化，在本实例中，所采用的梯度下降优化算法为adam算法(自适应运动估计算法)。

步骤3、利用步骤1中的测试集对训练好的多任务的图神经网络进行测试，通过调整训练好的多任务的图神经网络的各个超参数来优化训练好的多任务的图神经网络，得到最终的多任务的图神经网络。在实际实验中，我们将两个数据集中的图卷积层数和知识图任务中的MLP层数L均设置为2，并且初始化λ₁＝10、λ₂＝10^-6、α＝10^-6。对于每个数据集，训练集和测试集的比例为8：2。每个实验重复3次，并报告平均性能。在top-K推荐中，我们使用训练好的模型为测试集中的每个用户分别选择5、10、20个预测概率最高的项目，并选择预测率和召回率对测试集进行评估。最后根据推荐模型的预测率和召回率的评估指标选择出最优结果。

预测率(Precision)：用于衡量分类器将正例预测正确的能力，表示预测为正例的样本中有多少真正是正例。当我们更加关注预测为正例的样本中有多少真正是正例时，可以使用精确率指标。

召回率(Recall)：用于衡量分类器对于正例能够预测出多少，表示真实为正例的样本中有多少被预测为正例。当我们更加关注能够找出所有的正例时，可以使用召回率指标。

其中，TP(True Positive，真正例)：正确地将一个实际上是正例的项目识别为正例。FN(False Negative，假反例)：错误地将一个实际上是正例的项目识别为负例。FP(False Positive，假正例)：错误地将一个实际上是负例的项目识别为正例。这些缩写是用来计算召回率、准确率等指标的基础，以便评估推荐系统的效果和准确性。

步骤4、利用最终的多任务的图神经网络对当前用户的推荐项目进行预测，并将预测结果推荐给当前用户。

最终的多任务的图神经网络利用用户的最终表示z_u和项目的最终表示z_i进行内积作为推荐排名分数

其中，为最终的融合用户多行为的图神经网络所预测的项目i对于用户u的排名分数，通过计算当前用户对所有项目的排名分数，即可通过选取排名分数较大(TOP-N)的项目作为当前用户的最终推荐项目。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (9)

1.一种基于对比学习和知识共享的多任务推荐方法，其特征是，包括步骤如下：

步骤1、从网上下载带有知识图数据的公开数据集，对数据集进行预处理后得到用户项目交互数据集和项目知识图数据集并对用户交互数据集划分训练集和测试集。

步骤2、利用上步骤得到的训练集和项目知识图数据对基于对比学习和知识共享的多任务图神经网络进行训练，通过计算模型的推荐结果和实际的对模型中的所有参数进行调整来优化模型，得到的训练好的基于对比学习和知识共享的多任务图卷积神经网络。

步骤2.1、构建主推荐任务。通过在用户项目交互图上使用图卷积神经网络来对用户和项目进行多次卷积操作并合并得到新的用户和项目的嵌入表示，再通过构建评分函数并采用排名损失计算推荐任务的任务损失。

步骤2.2、构建用户关系对比学习任务。通过将用户和图卷积的二层表示做对比对进行对比学习，采用infoNCE计算对比学习任务损失。

步骤2.3、构建项目知识嵌入任务。首先将推荐任务中的原始项目嵌入和知识图中的相对应项目嵌入通过一个精心设计的知识转移单元桥接并生成新的物品表示，再将生成的物品表示和知识图中的其他实体构建深度语义匹配模型。

步骤2.4、联合步骤2.1-2.3的损失，通过调整整个模型的可训练参数来优化整个模型的综合损失，得到的训练好的多任务图神经网络。模型的总体损失可表示如下：

其中，为主推荐任务的排名损失，为用户关系对比学习任务的对比损失，为项目知识嵌入任务的损失，λ₁为对比学习任务损失的权重，W为该多任务模型的所有可训练参数，λ₂为L2正则化的超参，表示L2正则化。

步骤3、利用步骤1生成的测试集对训练好的基于对比学习和知识共享的多任务图神经网络进行测试，通过调整训练好的多任务图神经网络的多个超参数来优化训练好的融合用户多行为的图神经网络的准确性和召回率的评估指标，得到最终的多任务图神经网络。

步骤4、利用最终的多任务图神经网络对当前用户的推荐项目进行预测，并将预测结果推荐给当前用户。

2.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.1中，用户u和项目i在交互图上进行的l+1次图卷积公式表示如下：

其中，和分别表示用户和项目在交互图中的一阶邻居，和分别表示用户和项目的l次卷积输出。和分别表示用户和项目的l+1次卷积输出。和表示原始初始化的用户和项目嵌入。

3.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.1中，用户u和项目i在用L层传播后，采用加权和函数作为读出函数来组合所有层的表示。用户和项目通过合并原始嵌入和L次卷积输出得到最终用户和项目的嵌入表示z_u和z_i，公式表示如下：

其中z_u和z_i分别表示用户和项目在推荐任务中的最终嵌入向量表示。L表示进行了L次聚卷积操作。和分别表示用户u和项目i的第k次图卷积输出。

4.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.1中，主推荐任务损失为：

其中，z_u和z_i分别是用户u和项目i的最终表示，是用户u和项目i的预测分数，表示用户u嵌入向量的转置。O＝{(u，i，j)|y_u，i＝1，y_u，j＝0}，y_u，i＝1表示用户u和项目i有交互，y_u，j＝0表示用户u和项目j没有交互(此负例使用随机负采样抽取)。

5.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.2中，用户关系对比学习任务的损失为：

其中，τ是设定的超参数，表示用户的集合，和分别表示用户在主推荐任务中的原始嵌入向量表示和用户的第二次图卷积输出。表示用户的原始嵌入向量。

6.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.3中，实体h经过知识转移单元(KTU)的输出为：

其中α是用来平衡多任务嵌入共享权重的超参。表示实体h的L层MLP。w^EV和w^VE是可训练的权重参数矩阵，这被称为压缩操作，因为权重向量将R^d×d空间中的交叉特征矩阵投影回特征空间R^d。

7.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.3中，项目知识嵌入任务的损失为：

其中，(h′，r，t′)是在知识图G上随机采样的负例，

8.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.3中，实体h生成新的嵌入表示h_L后，与实体r和t一起通过使用L层MLP提取嵌入的特征得到t_L和r_L，然后通过拼接h_L和r_L再通过L层MLP后得到最终的t的预测嵌入表示：

其中，为尾部t的预测向量，和为L层MLP，[·]表示向量的拼接操作。

9.根据权利要求1所述的一种基于对比学习和知识共享的多任务推荐方法，其特征是，在步骤2.4中构建好三个学习任务后，模型首先要对不同任务分配不同输入，共分成两个阶段去实现。第一阶段使用步骤1中生成的训练集，其中数据为用户和项目的交互信息，将其分成不同批次输入给主推荐任务和用户对比学习任务去训练，此阶段的损失为λ₁为平衡两个任务的超参数。第二阶段将步骤1中生成的知识图数据分成不同批次输入给项目知识嵌入任务去训练，此阶段的损失为