CN117009547A - 基于图神经网络与对抗学习的多模态知识图谱补全方法和装置 - Google Patents

Abstract

本发明公开了一种基于图神经网络与对抗学习的多模态知识图谱补全方法和装置，包括：将多模态知识图谱中的三元组数据转化成异构图，同时对实体图像信息进行特征提取得到原实体模态特征；构建包含异构图卷积网络、模态特征生成器以及模态特征判别器的学习模型；采用对抗学习方式对学习模型进行训练后，利用模态特征生成器和模态特征判别器为每个实体生成实体模态特征；将实体模态特征和实体结构特征作为多模态知识图谱补全模型的初始化结果，并基于正负样本对比训练多模态知识图谱补全模型；使用多模态知识图谱补全模型中训练好的实体表示和关系表示以及定义的打分函数，为候选三元组进行打分，基于打分结果进行知识图谱补全，提高补全准确性。

Description

基于图神经网络与对抗学习的多模态知识图谱补全方法和 装置

技术领域

本发明属于知识图谱表示学习领域，具体涉及一种基于图神经网络与对抗学习的多模态知识图谱补全方法和装置。

背景技术

知识图谱将人类知识建模成形如(头实体，关系，尾实体)的结构化三元组，这样的关系三元组可以表示头尾两个实体之间所具有的某种关系，而海量的三元组则组成了语义信息丰富的知识图谱。知识图谱是人工智能研究中的重要研究领域，它可以在多种人工智能场景下发挥作用，是人工智能从感知智能迈向认知智能的重要环节。

随着知识图谱相关技术的发展，多种模态的信息如图像和文本描述也被引入到知识图谱中，这类知识图谱被称为多模态知识图谱。多模态知识图谱补全的技术近年来蓬勃发展，如公布号为CN115186110A的专利申请公开了一种基于关系增强的多模态知识图谱补全方法和系统，再比如公开号为114564593A的专利申请公开了一种基于协同注意力的多模态知识图谱补全方法。

虽然知识图谱存储了大量结构化的知识和信息，但是知识图谱普遍存在着信息不完整的问题。这是因为知识图谱往往是通过人工手段(如专家知识)或者自动化的方式(如三元组抽取)构建的，它只包含了我们已经观测到的事实知识，而已经观测到的这些事实知识所对应的实体之间，往往还有隐藏的关系没有被我们发现，这就需要我们通过一定的方式来挖掘出已有知识图谱中未被观测到的三元组，这项任务也被称为知识图谱补全。传统的知识图谱补全方法受到词向量技术的启发，将三元组结构建模成向量之间的平移、旋转、点乘等运算，用向量化的方式来表示知识图谱中的实体和关系，同时定义一个打分函数来计算一个三元组的正确性。经典的方法有如TransE，TransH，RotatE，HAKE，PairRE等等。

另一方面，在真实生产生活场景下构建的知识图谱，比如电子商务中的商品知识图谱和社交平台中的社交知识图谱，往往也存在实体模态信息缺失的问题，比如某些实体可能没有对应的图像信息(比如在电子商务领域的商品知识图谱中，可能某些商品没有上传对应的图片而导致该商品所对应的实体的图像信息缺失)。这些模态信息的缺失会影响知识图谱的表达能力，也会对各种知识图谱相关的任务，如知识图谱补全等等产生影响。因此，补全知识图谱中实体缺失的模态信息对多模态知识图谱的产业化应用和落地，有着不可忽视的作用。

已有的多模态知识图谱补全模型往往将实体的多模态信息投影到和实体的结构信息相同的表示空间中，并利用多个组合式的打分函数，基于实体的结构信息和多模态信息，共同对一个三元组进行打分，并用三元组的分数来衡量其正确性，经典的方法有IKRL、TBKGC、MMKRL和OTKGE等等。但是这些方法往往只考虑了非常理想的场景，即多模态知识图谱中的实体的多模态信息都是完整的，或者对缺失的实体模态信息采用了非常简单的处理手段，如随机初始化。这样的设计实际上对多模态知识图谱中实体的模态信息的利用效率非常低，也无法彻底解决实体的模态信息的缺失对知识图谱补全任务预测结果所造成的影响。

因此，如果能够设计一种多模态知识图谱实体属性补全的方法，通过对抗学习的方式，利用多模态知识图谱中已有的结构信息和实体的多模态信息(如图像信息)，训练一组模态特征生成器和判别器，那么我们就可以利用模态特征生成器为缺失模态信息的数据生成对应的模态特征，同时也可以对不缺失模态信息的实体的模态信息进行调整，使其包含的语义信息更丰富，在补全知识图谱实体模态信息的同时，为知识图谱补全等下游任务提供帮助，促进知识图谱在真实生产生活中的落地和应用。

发明内容

鉴于上述，本发明的目的是提供一种基于图神经网络与对抗学习的多模态知识图谱补全方法和装置，在补全多模态知识图谱实体属性的同时，进一步提高多模态知识图谱补全任务的性能，促进知识图谱技术在真实生产生活场景中的落地和应用。

为实现上述发明目的，实施例提供了一种基于图神经网络与对抗学习的多模态知识图谱补全方法，包括以下步骤：

步骤1，将多模态知识图谱中的三元组数据转化成异构图，同时对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征；

步骤2，构建包含异构图卷积网络、模态特征生成器以及模态特征判别器的学习模型，其中，异构图卷积神经网络提取异构图中实体结构信息的实体结构特征，模态特征生成器根据随机噪声和实体结构特征为实体生成对应的实体模态特征，模态特征判别器判别成对输入的原实体模态特征和实体模态特征是否对应同一实体；

步骤3，采用对抗学习方式对学习模型进行训练后，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征；

步骤4，将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，作为多模态知识图谱补全模型的初始化结果，并基于正负样本对比训练多模态知识图谱补全模型；

步骤5，使用多模态知识图谱补全模型中训练好的实体表示和关系表示以及定义的打分函数，为候选三元组进行打分，基于打分结果进行知识图谱补全。

优选地，步骤1中，所述将多模态知识图谱中的三元组数据转化成异构图，包括：

多模态知识图谱表示为G＝(E,R,T)，其中，E和R分别表示多模态知识图谱中实体集合和关系集合，T＝{(h,r,t)|h∈E,r∈R}表示知识图谱中三元组集合；

依据三元组集合构建异构图，异构图中节点和边分别对应知识图谱中的实体和三元组。

优选地，步骤1中，所述对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征，包括：

将多模态知识图谱的实体集合分为不相交的子集E_valid和子集E_none，其中，子集E_valid中实体对应若干张图片，即对应实体图像信息，子集E_none中实体没有对应实体图像信息；

采用预训练可视编码模型对子集E_valid中的实体图像信息进行特征编码以提取得到原实体模态特征，用公式表示为：

其中，|I_i|表示第i个实体e_i对应的图像信息集合I_i中实体数量，img_i表示实体e_i对应的图像信息，ViT(·)表示预训练可视编码模型，e_v,i表示实体e_i的原实体模态特征。

优选地，步骤2中，异构图卷积神经网络提取异构图中实体结构信息的实体结构特征，用公式表示为：

其中，和表示第i个实体在第l层和第l+1层异构卷积网络编码后得到的实体结构特征，σ表示ReLU激活函数，表示实体e_i的邻居节点集合，W_r是为关系集合R中每个关系r定义的投影矩阵，W₀是对实体自身特征进行投影的投影矩阵，表示邻居节点数量，表示第j个实体在第l层异构卷积网络编码后得到实体结构特征。

优选地，步骤2中，模态特征生成器采用至少2层全连接神经网络，根据随机噪声和实体结构特征为实体生成对应的实体模态特征，用公式表示为：

G(z,e_s,i)＝FC₂(σ(FC₁([z；e_s,i])))

其中，G(z,e_s,i)表示模态特征生成器根据随机噪声z和实体结构特征e_s,i生成实体模态特征v_i，FC₁(·),FC₂(·)分别表示两个全连接神经网络层，σ(·)表示ReLU激活函数，[；]表示向量拼接运算符。

优选地，步骤2中，模态特征判别器采用至少2层全连接神经网络，判别成对输入的原实体模态特征和实体模态特征是否对应同一实体，用公式表示为：

D(v_i|e_s,i)＝FC₂([σ(FC₁(v_i)),e_s,i])

其中，D(v_i|e_s,i)表示判别原实体模态特征e_s,i和实体模态特征v_i是否对应同一实体的概率。

优选地，步骤3中，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征，包括：

利用训练后的模态特征生成器为每个实体e_i生成K个模态特征，然后利用训练后的模态特征判别器对K个模态特征和实体e_i的实体结构特征进行是否对应同一实体的判断，并依据判断结果对模态特征通过均值池化操作得到每个实体的实体模态特征，用公式表示为：

其中，e_v,i表示为第i个实体生成的实体模态特征，p_j为对模态特征判别器对第j个模态特征的判断结果，取值为0或1，0表示模态特征和实体结构特征不对应同一实体，1表示对应同一实体，v_i,j表示为第i个实体生成的第j个模态特征。

优选地，步骤4中，利用将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，初始化多模态知识图谱补全模型的表示向量参数，对于三元组(h,r,t)，多模态知识图谱补全模型采用以下打分函数获得三元组(h,r,t)的打分F(h,r,t)；

其中，h_s,h_v,t_s,t_v分别表示头实体h和尾实体t对应的实体结构特征和实体模态特征，W_v表示模态特征投影矩阵，用于将实体模态特征投影到实体结构特征空间中，符号°表示复平面上的旋转操作，该打分函数F(h,r,t)将向量视为复空间中的复数，并根据向量r对其进行旋转操作；

基于该打分F(h,r,t)计算正负样本的对比损失函数L，用公式表示为：

其中，T表示异构图中三元组集合，γ表示人为定义的边际，σ(·)表示Sigmoid函数，N表示每个三元组的负样本数量，负样本(h^′,r^′,t^′)通过随机替换正样本(h,r,t)的头尾实体得到，F(h,r,t)表示正样本(h,r,t)的打分，F(h^′,r^′,t^′)表示负样本(h^′,r^′,t^′)的打分；

利用对比损失函数L对多模态知识图谱补全模型进行训练。

优选地，步骤5中，针对每个候选三元组，基于多模态知识图谱补全模型中训练好的实体表示和关系表示和定义的打分函数，计算候选三元组的打分，并筛选高分数的候选三元组进行知识图谱补全。

为实现上述发明目的，实施例还提供了一种基于图神经网络与对抗学习的多模态知识图谱补全装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图神经网络与对抗学习的多模态知识图谱补全方法。

与现有技术相比，本发明具有的有益效果至少包括：

面向真实的生产生活场景中多模态知识图谱的落地和应用，对实体模态属性缺失的问题提出了有效的解决方案，通过对抗学习的方式，训练一组模态特征生成器和模态特征判别器，并对知识图谱中全体实体的模态特征进行补全和增强，并将这些表示向量其应用到知识图谱补全等任务中，增强知识图谱补全模型的预测和推理能力，进而促进多模态知识图谱在电商和社交网络等真实场景中的应用和落地。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于图神经网络与对抗学习的多模态知识图谱补全方法的流程图；

图2是实施例提供的学习模型的结构以及训练过程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

现有的电商和社交网络等领域对应的多模态知识图谱补全方法没有考虑真实场景下实体模态缺失的情况，导致模态信息被融入到知识图谱补全模型进行三元组打分的时候，由于模态信息缺失而导致模型的性能下降。为解决该技术问题，本发明实施例提供了一种基于图神经网络和对抗学习的多模态知识图谱补全方法和装置。

如图1所示，实施例提供的基于图神经网络和对抗学习的多模态知识图谱补全方法，包括以下步骤：

步骤1，将多模态知识图谱中的三元组数据转化成异构图，同时对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征。

多模态知识图谱表示为G＝(E,R,T)，其中，E和R分别表示多模态知识图谱中实体集合和关系集合，T＝{(h,r,t)|h∈E,r∈R}表示知识图谱中三元组集合。针对电商领域对应的多模态知识图谱中，头实体h为商品，尾实体t为商品属性值或商品品类，关系r为属性或品类。针对社交网络，对应的多模态知识图谱中，头实体h为社交网络中的用户A，尾实体t为该用户的好友B，关系r代表了用户间的关注关系，这样就构成了一个(用户A，关注，好友B)的三元组，除此之外，还有多种其他的三元组类型，比如(用户A，关心话题，话题C)，(话题C，与……关联，话题D)等等，而社交网络知识图谱中的多模态信息包括用户的头像、照片、话题相关的图片等等。依据三元组集合T构建异构图，异构图中节点和边分别对应知识图谱中的实体和三元组。

根据实体的模态信息是否缺失，将多模态知识图谱的实体集合分为不相交的子集E_valid和子集E_none，其中，子集E_valid中实体对应若干张图片，即对应实体图像信息，子集E_none中实体没有对应实体图像信息。对于每个实体e，定义两个特征向量e_s,e_v分别表示实体结构特征和原实体模态特征对应维度分别表示为d_i,d_v。

采用预训练可视编码模型对子集E_valid中的实体图像信息进行特征编码以提取得到原实体模态特征，用公式表示为：

其中，|I_i|表示第i个实体e_i对应的图像信息集合I_i中实体数量，img_i表示实体e_i对应的图像信息，ViT(·)表示预训练可视编码模型，可为预训练的视觉Transformer模型，e_v,i表示实体e_i的原实体模态特征。

步骤2，构建包含异构图卷积网络、模态特征生成器以及模态特征判别器的学习模型。

学习模型中，异构图卷积神经网络(R-GCN)提取异构图中实体结构信息的实体结构特征，模态特征生成器(G)根据随机噪声和实体结构特征为实体生成对应的实体模态特征，模态特征判别器(D)判别成对输入的原实体模态特征和实体模态特征是否对应同一实体。

具体地，异构图卷积神经网络采用单层的异构图卷积网络作为结构信息的编码器，用于提取异构图中实体结构信息的实体结构特征，用公式表示为：

其中，和表示第i个实体在第l层和第l+1层异构卷积网络编码后得到的实体结构特征，σ表示ReLU激活函数，表示实体e_i的邻居节点集合，W_r是为关系集合R中每个关系r定义的投影矩阵，W₀是对实体自身特征进行投影的投影矩阵，表示邻居节点数量，表示第j个实体在第l层异构卷积网络编码后得到实体结构特征。

具体地，模态特征生成器采用至少2层全连接神经网络，根据随机噪声和实体结构特征为实体生成对应的实体模态特征，用公式表示为：

G(z,e_s,i)＝FC₂(σ(FC₁([z；e_s,i])))

其中，G(z,e_s,i)表示模态特征生成器根据随机噪声z和实体结构特征e_s,i生成实体模态特征v_i，FC₁(·),FC₂(·)分别表示两个全连接神经网络层，σ(·)表示ReLU激活函数，z是从标准正态分布中采样得到的64维随机噪声，,；]表示向量拼接运算符，表示将两个向量拼接在一起生成维度为d_v的实体模态特征v_i。

具体地，模态特征判别器采用至少2层全连接神经网络，判别成对输入的原实体模态特征和实体模态特征是否对应同一实体，用公式表示为：

D(v_i|e_s,i)＝FC₂([σ(FC₁(v_i)),e_s,i])

其中，D(v_i|e_s,i)表示判别原实体模态特征e_s,i和实体模态特征v_i是否对应同一实体的概率。需要说明的是，实体模态特征v_i可以来自于模态特征生成器生成的，也可以是基于实体图像信息进行特征提取得到原实体模态特征，模态特征判别器中两个全连接神经网络层FC₁(·),FC₂(·)不同于模态特征生成器中的两个全连接神经网络层。

步骤3，采用对抗学习方式对学习模型进行训练后，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征。

采用对抗学习方式对学习模型进行训练时分成两个阶段，第一阶段固定模态特征生成器的参数来训练模态特征判别器，使得模态特征判别器拥有更强的多模态实体属性的判别能力，第二阶段固定模态特征判别器的参数来训练生成器，使模态特征生成器能够生成更真实的实体模态特征。

在每一阶段的训练中，实体的结构特征向量都经过异构图卷积网络R-GCN通过消息传递以及聚合得到，这样一来在训练的过程中，实体的结构特征向量也会进行更新。上述二阶段的训练方式使得模态特征生成器G和模态特征判别器D之间可以进行博弈，并且在训练过程中逐渐提升自己的性能。总的训练目标可以表示为：

在对学习模型进行训练后，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征，具体过程为：

利用训练后的模态特征生成器为每个实体e_i生成K＝512个不同的维度为d_v的模态特征，然后利用训练后的模态特征判别器对K个模态特征和实体e_i的实体结构特征进行是否对应同一实体的判断，并依据判断结果对模态特征通过均值池化操作得到每个实体的实体模态特征，用公式表示为：

其中，e_v,i表示为第i个实体生成的实体模态特征，p_j为对模态特征判别器对第j个模态特征的判断结果，取值为0或1，0表示模态特征和实体结构特征不对应同一实体，1表示对应同一实体，v_i,j表示为第i个实体生成的第j个模态特征。

步骤4，将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，作为多模态知识图谱补全模型的初始化结果，并基于正负样本对比训练多模态知识图谱补全模型。

模态知识图谱补全模型依然使用实体结构特征向量e_s和实体模态特征向量e_v来表示知识图谱中的实体，并使用一个结构特征向量r来表示知识图谱中的每一个关系，同时利用将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，初始化多模态知识图谱补全模型的表示向量参数。对于三元组(h,r,t)，多模态知识图谱补全模型采用以下打分函数获得三元组(h,r,t)的打分F(h,r,t)；

其中，h_s,h_v,t_s,t_v分别表示头实体h和尾实体t对应的实体结构特征和实体模态特征，W_v表示模态特征投影矩阵，用于将维度为d_v的实体模态特征投影到维度为d_s的实体结构特征空间中，符号°表示复平面上的旋转操作，该打分函数F(h,r,t)将向量视为复空间中的复数，并根据向量r对其进行旋转操作。该打分函数由多个打分函数组合而成，这是为了使得不同类型的表示向量之间发生充分的交互，使得同一实体的两个表示向量之间能够实现隐式的对齐。

打分函数的设计目标是让正确三元组(即正样本)中，头实体的表示向量经过关系r的转换之后，能和对应的尾实体表示向量尽可能接近，从而获得更高的分数，另一方面，让错误三元组(即负样本)的得分尽可能低。因此多模态知识图谱补全模型在训练的过程中，基于打分F(h,r,t)计算正负样本的对比损失函数L，用公式表示为：

其中，T表示异构图中三元组集合，γ表示人为定义的边际，σ(·)表示Sigmoid函数，N表示每个三元组的负样本数量，负样本(h^′,r^′,t^′)通过随机替换正样本(h,r,t)的头尾实体得到，F(h,r,t)表示正样本(h,r,t)的打分，F(h^′,r^′,t^′)表示负样本(h^′,r^′,t^′)的打分，利用对比损失函数L对多模态知识图谱补全模型进行训练。

步骤5，使用多模态知识图谱补全模型中训练好的实体表示和关系表示以及定义的打分函数，为候选三元组进行打分，基于打分结果进行知识图谱补全。

利用训练后的多模态知识图谱补全模型，对多模态知识图谱(如电子商务知识图谱和社交网络知识图谱)进行补全。具体来说，多模态知识图谱补全可以分成头实体预测和尾实体预测两个任务，对于头实体来说，给定一个头实体h和关系r，模型需要来预测可能的尾实体t，模型会将所有的实体作为尾实体的候选，并将其与头实体h和关系r构成候选三元组(h,r,t_i),t_i∈E，使用补全模型中训练好的实体表示向量和打分函数计算每一个候选三元组的分数，并根据分数的高低对尾实体进行排序，选择分数最高的三元组所对应的尾实体作为模型的预测结果，并对知识图谱进行补全。

基于同样的发明构思，实施例还提供了一种基于图神经网络与对抗学习的多模态知识图谱补全装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图神经网络与对抗学习的多模态知识图谱补全方法，包括以下步骤：

步骤1，将多模态知识图谱中的三元组数据转化成异构图，同时对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征；

步骤2，构建包含异构图卷积网络、模态特征生成器以及模态特征判别器的学习模型；

步骤3，采用对抗学习方式对学习模型进行训练后，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征；

步骤4，将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，作为多模态知识图谱补全模型的初始化结果，并基于正负样本对比训练多模态知识图谱补全模型；

步骤5，使用多模态知识图谱补全模型中训练好的实体表示和关系表示以及定义的打分函数，为候选三元组进行打分，基于打分结果进行知识图谱补全。

实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于图神经网络与对抗学习的多模态知识图谱补全方法的步骤。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，包括以下步骤：

步骤1，将多模态知识图谱中的三元组数据转化成异构图，同时对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征；

步骤2，构建包含异构图卷积网络、模态特征生成器以及模态特征判别器的学习模型，其中，异构图卷积神经网络提取异构图中实体结构信息的实体结构特征，模态特征生成器根据随机噪声和实体结构特征为实体生成对应的实体模态特征，模态特征判别器判别成对输入的原实体模态特征和实体模态特征是否对应同一实体；

步骤3，采用对抗学习方式对学习模型进行训练后，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征；

步骤4，将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，作为多模态知识图谱补全模型的初始化结果，并基于正负样本对比训练多模态知识图谱补全模型；

步骤5，使用多模态知识图谱补全模型中训练好的实体表示和关系表示以及定义的打分函数，为候选三元组进行打分，基于打分结果进行知识图谱补全。

2.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤1中，所述将多模态知识图谱中的三元组数据转化成异构图，包括：

多模态知识图谱表示为G＝(E，R，T)，其中，E和R分别表示多模态知识图谱中实体集合和关系集合，T＝{(h，r，t)|h∈E，r∈R}表示知识图谱中三元组集合；

依据三元组集合构建异构图，异构图中节点和边分别对应知识图谱中的实体和三元组。

3.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤1中，所述对多模态知识图谱中的实体图像信息进行特征提取得到原实体模态特征，包括：

将多模态知识图谱的实体集合分为不相交的子集E_valid和子集E_none，其中，子集E_valid中实体对应若干张图片，即对应实体图像信息，子集E_none中实体没有对应实体图像信息；

采用预训练可视编码模型对子集E_valid中的实体图像信息进行特征编码以提取得到原实体模态特征，用公式表示为：

其中，|I_i|表示第i个实体e_i对应的图像信息集合I_i中实体数量，img_i表示实体e_i对应的图像信息，ViT(·)表示预训练可视编码模型，e_v，i表示实体e_i的原实体模态特征。

4.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤2中，异构图卷积神经网络提取异构图中实体结构信息的实体结构特征，每个实体的结构特征的更新过程用公式表示为：

其中，和表示第i个实体在第l层和第l+1层异构卷积网络编码后得到的实体结构特征，σ表示ReLU激活函数，表示实体e_i的邻居节点集合，W_r是为关系集合R中每个关系r定义的投影矩阵，W₀是对实体自身特征进行投影的投影矩阵，表示邻居节点数量，表示第j个实体在第l层异构卷积网络编码后得到实体结构特征。

5.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤2中，模态特征生成器采用至少2层全连接神经网络，根据随机噪声和实体结构特征为实体生成对应的实体模态特征，用公式表示为：

G(z，e_s，i)＝FC₂(σ(FC₁([z；e_s，i])))

其中，G(z，e_s，i)表示模态特征生成器根据随机噪声z和实体结构特征e_s，i生成实体模态特征v_i，FC₁(·)，FC₂(·)分别表示两个全连接神经网络层，σ(·)表示ReLU激活函数，[；]表示向量拼接运算符。

6.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤2中，模态特征判别器采用至少2层全连接神经网络，判别成对输入的原实体模态特征和实体模态特征是否对应同一实体，用公式表示为：

D(v_i|e_s，i)＝FC₂([σ(FC₁(v_i))，e_s，i])

其中，D(v_i|e_s，i)表示判别原实体模态特征e_s，i和实体模态特征v_i是否对应同一实体的概率。

7.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤3中，利用训练后的模态特征生成器和模态特征判别器为多模态知识图谱中的每个实体生成实体模态特征，包括：

利用训练后的模态特征生成器为每个实体e_i生成K个模态特征，然后利用训练后的模态特征判别器对K个模态特征和实体e_i的实体结构特征进行是否对应同一实体的判断，并依据判断结果对模态特征通过均值池化操作得到每个实体的实体模态特征，用公式表示为：

其中，e_v，i表示为第i个实体生成的实体模态特征，p_j为对模态特征判别器对第j个模态特征的判断结果，取值为0或1，0表示模态特征和实体结构特征不对应同一实体，1表示对应同一实体，v_i，j表示为第i个实体生成的第j个模态特征。

8.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤4中，利用将步骤3获得的实体模态特征和经过异构图卷积网络编码得到的实体结构特征，初始化多模态知识图谱补全模型的表示向量参数，对于三元组(h，r，t)，多模态知识图谱补全模型采用以下打分函数获得三元组(h，r，t)的打分F(h，r，t)；

其中，h_s，h_v，t_s，t_v分别表示头实体h和尾实体t对应的实体结构特征和实体模态特征，W_v表示模态特征投影矩阵，用于将实体模态特征投影到实体结构特征空间中，符号表示复平面上的旋转操作，该打分函数F(h，r，t)将向量视为复空间中的复数，并根据向量r对其进行旋转操作；

基于该打分F(h，r，t)计算正负样本的对比损失函数L，用公式表示为：

其中，T表示异构图中三元组集合，γ表示人为定义的边际，σ(·)表示Sigmoid函数，N表示每个三元组的负样本数量，负样本(h′，r′，t′)通过随机替换正样本(h，r，t)的头尾实体得到，F(h，r，t)表示正样本(h，r，t)的打分，F(h′，r′，t′)表示负样本(h′，r′，t′)的打分；

利用对比损失函数L对多模态知识图谱补全模型进行训练。

9.根据权利要求1所述的基于图神经网络与对抗学习的多模态知识图谱补全方法，其特征在于，步骤5中，针对每个候选三元组，基于多模态知识图谱补全模型中训练好的实体表示和关系表示和定义的打分函数，计算候选三元组的打分，并筛选高分数的候选三元组进行知识图谱补全。

10.一种基于图神经网络与对抗学习的多模态知识图谱补全装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-9任一项所述的基于图神经网络与对抗学习的多模态知识图谱补全方法。