CN105488160A - 一种图片挂接方法及装置、知识图谱的制作方法 - Google Patents

Abstract

一种图片挂接方法及装置、知识图谱的制作方法，该图片挂接方法包括：获取一张或多张图片和待挂接实体的属性信息；获取图片的结构化信息；获取实体的属性信息与结构化信息的匹配程度；根据图片自身的质量和匹配程度分别计算每张图片与实体的关联程度；根据关联程度完成图片挂接。该图片挂接方法算法简单、容易实现，而且图片挂接的准确性高。

Description

一种图片挂接方法及装置、知识图谱的制作方法

技术领域

本发明涉及数字资源处理领域，具体涉及一种图片挂接方法及装置、知识图谱的制作方法。

背景技术

知识图谱，是指以实体、概念作为节点，以语义关系作为边的语义网络。知识图谱使得知识获取更直接，因此能够为阅读提供语义关联的知识，从而实现阅读的便捷化、智能化和人性化。

科学计量学和可视化技术的发展，驱动了知识图谱应用的广泛研究。知识图谱目前在教育科研、技术更新、智力结构分析和社会问题等方面应用广泛。

知识图谱的构建的一个主要内容是将图片和实例挂接，即将内容与实例紧密相关的图片关联起来。现有技术中的图片挂接方法步骤复杂、实现的难度大且准确性低，因此亟需一种操作简单、容易实现的图片挂接方法，以方便制作知识图谱。

发明内容

因此，本发明要解决的技术问题在于现有知识图谱制作中的图片挂接方法的步骤复杂、实现的难度大且准确性低。

为此，本发明提供了如下技术方案：

一种图片挂接方法，包括如下步骤：

获取一张或多张图片和待挂接实体的属性信息；

获取图片的结构化信息；

获取实体的属性信息与结构化信息的匹配程度；

根据图片自身的质量和匹配程度分别获取每张图片与实体的关联程度；

根据关联程度完成图片挂接。

优选地，获取图片的结构化信息的步骤包括：

截取图片在文本中几何位置的上下两个自然段作为摘要；

对摘要文本进行分词和去停用词，选择词频最高的词作为标题。

优选地，实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称，获取实体的属性信息与结构化信息的匹配程度的步骤包括：

获取实体的名称和标题的匹配度；

获取三元组的客体和摘要的匹配度。

优选地，实体的名称和标题的匹配度是通过以下公式计算得到的：

Score_title＝1/(1+Levenshtein(title_img,title_instance))

其中，Levenshtein(title_img,title_instance)为实体的名称和标题之间的编辑距离。

优选地，三元组的客体和摘要的匹配度是通过以下公式计算得到的：

${\mathrm{score}}_{content}=\frac{|{\mathrm{WordSet}}_{tripple}\∩{\mathrm{WordSet}}_{content}|}{\left|{\mathrm{WordSet}}_{tripple}\right|}$

其中，WordSet_content为摘要分词结果的集合，WordSet_tripple为三元组客体的集合。

优选地，图片自身的质量是通过以下公式计算得到的：

Score_image＝log(P_red)+log(P_green)+log(P_blue)，

其中，

其中，Width为图片本身的像素宽度，Height为图片本身的像素高度，(i,j)为图片中的一个像素点，i>0，j>0。

一种知识图谱的制作方法，包括以下步骤：

使用上述的图片挂接方法进行图片挂接；

对关联程度最高的图片进行二值化处理，并根据二值化后的结果标记出该图片前景的最大矩形连通区，该连通区作为该图片的前景区；

获取前景区的最大内接椭圆区域，获得非椭圆区内像素点的平均值作为背景色；

对前景区的矩形进行外接圆扩展，并用背景色填充该外接圆内非矩形区域，获得切圆后的图片。

一种图片挂接装置，包括：

初始获取单元，用于获取一张或多张图片和待挂接实体的属性信息；

转换单元，用于获取图片的结构化信息；

匹配程度获取单元，用于获取实体的属性信息与结构化信息的匹配程度；

关联程度获取单元，用于根据图片自身的质量和匹配程度分别获取每张图片与实体的关联程度；

挂接单元，用于根据关联程度完成图片挂接。

优选地，转换单元包括：

摘要获取子单元，用于截取图片在文本中几何位置的上下两个自然段作为摘要；

标题获取子单元，用于对摘要文本进行分词和去停用词，选择词频最高的词作为标题。

优选地，实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称；

匹配程度获取单元包括：

第一匹配度计算子单元，用于获取实体的名称和标题的匹配度；

第二匹配度计算子单元，用于获取三元组的客体和摘要的匹配度。

本发明技术方案，具有如下优点：

1.本发明提供的图片挂接方法及装置，通过待挂接实体与图片的匹配度以及图片自身的质量来进行图片挂接，计算匹配度和图片自身质量得分的算法简单，容易实现，而且图片挂接的准确性高。

2.本发明提供的知识图谱的制作方法，在完成图片挂接步骤后，还会对关联得分最高的图片进行切圆处理以便于作为对应实体的展示图来展示。经切圆处理后图片不仅最大程度地保留了其前景图，而且删除了记载信息较少的部分，以便于展示。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中的一种图片挂接方法的流程图；

图2为本发明实施例1中的一种获取图片的结构化信息的方法流程图；

图3为本发明实施例1中的一种计算实体与图片的结构化信息匹配程度的流程图；

图4为本发明实施例2中的一种知识图谱制作方法的流程图；

图5为本发明实施例2中的一个图片切圆处理过程的示例图；

图6为本发明实施例3中的一种图片挂接装置的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

如图1所示，本实施例提供了一种图片挂接方法，其特征在于，包括如下步骤：

S11：获取一张或多张图片和待挂接实体的属性信息，该图片可来源于网络或者电子书籍等；

S12：获取图片的结构化信息；

S13：获取实体的属性信息与结构化信息的匹配程度；

S14：根据图片自身的质量和匹配程度分别获取每张图片与实体的关联程度；

S15：根据关联程度完成图片挂接。

上述实体的属性信息是利用三元组来描述的，三元组由主体、谓词和客体三个要素组成，每个实体通过若干条三元组进行描述。例如，实体“李白”可以通过以下三元组进行描述：

YNNNZSbb	标签	李白
			YNNNZSbb	出生日期	701
YNNNZSbb	死亡日期	762
			YNNNZSbb	作品	《静夜思》
YNNNZSbb	所属朝代	唐朝

其中，YNNNZSbb为该实体的ID号，谓词为标签的三元组表示该实体的名称。

例如，本实施例中待挂接实体的属性信息用三元组表示如下：

YNNNZSbb	标签	李白
			YNNNZSbb	出生日期	701
YNNNZSbb	死亡日期	762
			YNNNZSbb	作品	《静夜思》
YNNNZSbb	所属朝代	唐朝
			YNNNZSlc	标签	李世民
YNNNZSlc	出生日期	598
			YNNNZSlc	死亡日期	649
YNNNZSlc	职业	军事家
			YNNNZSlc	职业	政治家
YNNNZSlc	职业	皇帝
			YNNNZSlk	标签	杜甫
YNNNZSlk	出生日期	712
			YNNNZSlk	死亡日期	770
YNNNZSlk	职业	诗人
			YNNNZSlk	所属朝代	唐朝

上述图片的结构化信息是指一组有三个元素的信息，分别是图片文件的存储路径、标题和摘要。例如，其中一张图片的结构化信息如下表所示：

图片文件路径	标题	摘要
			E:\\image\\	李白	李白(字太白)

本实施例提供的图片挂接方法，通过待挂接实体与图片的结构化信息之间的匹配度以及图片自身的质量来进行图片挂接，计算匹配度和图片自身质量得分的算法简单，容易实现，而且图片挂接的准确性高。

具体地，如图2所示，上述步骤S12，即获取图片的结构化信息，也即将图片转换为结构化图片的步骤包括：

S121：截取图片在文本中几何位置的上下两个自然段作为摘要；

S122：对摘要文本进行分词和去停用词，选择词频最高的词作为标题。

本实施例中，将不同来源的图片存储至路径D:\\image\\下，并将获取的图片进行归一化处理以得到各张图片的结构化信息，如下：

具体地，实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称；

如图3所示，上述步骤S13，即获取实体的属性信息与结构化信息的匹配程度的步骤包括：

S131：获取实体的名称和标题的匹配度；

S132：获取三元组的客体和摘要的匹配度。

具体地，上述实体的名称和标题的匹配度是通过以下公式计算得到的：

Score_title＝1/(1+Levenshtein(title_img,title_instance))

其中，Levenshtein(title_img,title_instance)为实体的名称和图片标题之间的编辑距离。

具体地，上述三元组的客体和摘要的匹配度是通过以下公式计算得到的：

${\mathrm{score}}_{content}=\frac{|{\mathrm{WordSet}}_{tripple}\∩{\mathrm{WordSet}}_{content}|}{\left|{\mathrm{WordSet}}_{tripple}\right|}$

其中，WordSet_content为摘要分词结果的集合，WordSet_tripple为三元组客体的集合。

具体地，上述图片自身的质量主要是指图片本身的对比度和色彩鲜艳程度，其得分是通过以下公式计算得到的：

Score_image＝log(P_red)+log(P_green)+log(P_blue)，

其中，

其中，Width为图片本身的像素宽度，Height为图片本身的像素高度，(i,j)为图片中的一个像素点，i>0，j>0。

具体地，上述图片和实体的关联程度是根据关联得分的大小来判断的，该关联得分是由实体的名称和图片标题的匹配度、三元组的客体和图片摘要的匹配度和图片自身的质量得分这三者加权计算得到的。该权值可以根据实际需要合理选择。

另外，在计算出各张图片与实体的关联得分后，可根据实际需要来完成图片挂接。例如按照关联得分进行降序排序，或者取关联得分大于预设阈值的图片，也或者按照关联得分的降序排序提取一定比例的图片。本实施例中在计算出各张图片与实体的关联得分后，对图片按照的关联得分的降序排序，最终的图片挂接结果为：

实例	挂接图片	图片排序
			YNNNZSbb李白	D:\\image\\2.bmp	1
YNNNZSbb李白	D:\\image\\1.bmp	2
			YNNNZSbb李白	D:\\image\\3.bmp	3
YNNNZSbb李白	D:\\image\\7.bmp	4
			YNNNZSbb李白	D:\\image\\6.bmp	5
YNNNZSlc李世民	D:\\image\\4.bmp	1
			YNNNZSlc李世民	D:\\image\\5.bmp	2
YNNNZSlk杜甫	D:\\image\\6.bmp	1

实施例2

如图4所示，本实施例提供了一种知识图谱的制作方法，包括以下步骤：

S21：使用上述实施例1中的方法进行图片挂接；

S22：对关联程度最高的图片进行二值化处理，并根据二值化后的结果标记出该图片前景的最大矩形连通区，该连通区作为该图片的前景区；

S23：获取矩形的前景区的最大内接椭圆区域，对前景区内非椭圆区的图片进行像素遍历，获得这些像素点的平均值作为背景色；

S24：对前景区的矩形进行外接圆扩展，并用背景色填充该外接圆内非矩形区域，获得切圆后的图片作为对应实体的展示图片。

本实施例提供的知识图谱制作方法，对与实体的关联得分最高的图片进行切圆处理，以便于作为该实体的展示图片。

另外，为了使得展示图片更加美观，还可以对切圆处理后的圆形图片加上彩色边框。

具体地，上述步骤S24还包括将切圆后图片的非圆形区域设置为透明的步骤，并将最终的处理结果图片保存为png格式。

例如，图5示出了将李白头像进行切圆处理的过程。

实施例3

如图6所示，本实施例提供了一种图片挂接装置，包括：

初始获取单元U1，用于获取一张或多张图片和待挂接实体的属性信息；

转换单元U2，用于获取图片的结构化信息；

匹配程度获取单元U3，用于获取实体的属性信息与结构化信息的匹配程度；

关联程度获取单元U4，用于根据图片自身的质量和匹配程度分别获取每张图片与实体的关联程度；

挂接单元U5，用于根据关联程度完成图片挂接。

本实施例提供的图片挂接装置，通过待挂接实体与图片的匹配度以及图片自身的质量来进行图片挂接，计算匹配度和图片自身质量得分的算法简单，容易实现，而且图片挂接的准确性高。

具体地，上述转换单元U2包括：

摘要获取子单元，用于截取图片在文本中几何位置的上下两个自然段作为摘要；

标题获取子单元，用于对摘要文本进行分词和去停用词，选择词频最高的词作为标题。

具体地，实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称；

匹配程度获取单元U3包括：

第一匹配度计算子单元，用于获取实体的名称和标题的匹配度；

第二匹配度计算子单元，用于获取三元组的客体和摘要的匹配度。

具体地，上述实体的名称和标题的匹配度是通过以下公式计算得到的：

Score_title＝1/(1+Levenshtein(title_img,title_instance))

其中，Levenshtein(title_img,title_instance)为实体的名称和图片标题之间的编辑距离。

具体地，上述三元组的客体和摘要的匹配度是通过以下公式计算得到的：

${\mathrm{score}}_{content}=\frac{|{\mathrm{WordSet}}_{tripple}\∩{\mathrm{WordSet}}_{content}|}{\left|{\mathrm{WordSet}}_{tripple}\right|}$

其中，WordSet_content为摘要分词结果的集合，WordSet_tripple为三元组客体的集合。

具体地，上述图片自身的质量主要是指图片本身的对比度和色彩鲜艳程度，其得分是通过以下公式计算得到的：

Score_image＝log(P_red)+log(P_green)+log(P_blue)，

其中，

其中，Width为图片本身的像素宽度，Height为图片本身的像素高度，(i,j)为图片中的一个像素点，i>0，j>0。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种图片挂接方法，其特征在于，包括如下步骤：

获取一张或多张图片和待挂接实体的属性信息；

获取所述图片的结构化信息；

获取所述实体的属性信息与所述结构化信息的匹配程度；

根据所述图片自身的质量和所述匹配程度分别获取每张所述图片与所述实体的关联程度；

根据所述关联程度完成图片挂接。

2.根据权利要求1所述的方法，其特征在于，所述获取所述图片的结构化信息的步骤包括：

截取所述图片在文本中几何位置的上下两个自然段作为摘要；

对所述摘要文本进行分词和去停用词，选择词频最高的词作为标题。

3.根据权利要求2所述的方法，其特征在于，所述实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称，所述获取所述实体的属性信息与所述结构化信息的匹配程度的步骤包括：

获取所述实体的名称和所述标题的匹配度；

获取所述三元组的客体和所述摘要的匹配度。

4.根据权利要求3中所述的方法，其特征在于，所述实体的名称和所述标题的匹配度是通过以下公式计算得到的：

Score_title＝1/(1+Levenshtein(title_img,title_instance))

其中，Levenshtein(title_img,title_instance)为所述实体的名称和所述标题之间的编辑距离。

5.根据权利要求3所述的方法，其特征在于，所述三元组的客体和所述摘要的匹配度是通过以下公式计算得到的：

${\mathrm{score}}_{content}=\frac{|{\mathrm{WordSet}}_{tiripple}\∩{\mathrm{WordSet}}_{content}|}{\left|{\mathrm{WordSet}}_{tripple}\right|}$

其中，WordSet_content为所述摘要分词结果的集合，WordSet_tripple为三元组客体的集合。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述图片自身的质量是通过以下公式计算得到的：

Score_image＝log(P_red)+log(P_green)+log(P_blue)，

其中， $P_{red}=\frac{\underset{i=1}{\overset{Width}{\Σ}}\underset{j=1}{\overset{Height}{\Σ}}{f}_{red}\left(pixel\right(i,j\left)\right)}{Width\×Height}+1$

$P_{green}=\frac{\underset{i=1}{\overset{Width}{\Σ}}\underset{j=1}{\overset{Height}{\Σ}}{f}_{green}\left(pixel\right(i,j\left)\right)}{Width\×Height}+1$

$P_{blue}=\frac{\underset{i=1}{\overset{Width}{\Σ}}\underset{j=1}{\overset{Height}{\Σ}}{f}_{blue}\left(pixel\right(i,j\left)\right)}{Width\×Height}+1$

其中，Width为图片本身的像素宽度，Height为图片本身的像素高度，(i,j)为图片中的一个像素点，i>0，j>0。

7.一种知识图谱的制作方法，其特征在于，包括以下步骤：

使用权利要求1-6中任一项所述的方法进行图片挂接；

对关联程度最高的图片进行二值化处理，并根据二值化后的结果标记出该图片前景的最大矩形连通区，该连通区作为该图片的前景区；

获取所述前景区的最大内接椭圆区域，获得非椭圆区内像素点的平均值作为背景色；

对所述前景区的矩形进行外接圆扩展，并用所述背景色填充该外接圆内非矩形区域，获得切圆后的图片。

8.一种图片挂接装置，其特征在于，包括：

初始获取单元，用于获取一张或多张图片和待挂接实体的属性信息；

转换单元，用于获取所述图片的结构化信息；

匹配程度获取单元，用于获取所述实体的属性信息与所述结构化信息的匹配程度；

关联程度获取单元，用于根据所述图片自身的质量和所述匹配程度分别获取每张所述图片与所述实体的关联程度；

挂接单元，用于根据所述关联程度完成图片挂接。

9.根据权利要求8所述的装置，其特征在于，所述转换单元包括：

摘要获取子单元，用于截取所述图片在文本中几何位置的上下两个自然段作为摘要；

标题获取子单元，用于对所述摘要文本进行分词和去停用词，选择词频最高的词作为标题。

10.根据权利要求8或9所述的装置，其特征在于，所述实体的属性信息包括至少一条由主体、谓词和客体组成的三元组，其中一条三元组表示该实体的名称；

所述匹配程度获取单元包括：

第一匹配度计算子单元，用于获取所述实体的名称和所述标题的匹配度；

第二匹配度计算子单元，用于获取所述三元组的客体和所述摘要的匹配度。