[go: up one dir, main page]

CN115457560A - 图片展示方法和装置 - Google Patents

图片展示方法和装置 Download PDF

Info

Publication number
CN115457560A
CN115457560A CN202211021453.3A CN202211021453A CN115457560A CN 115457560 A CN115457560 A CN 115457560A CN 202211021453 A CN202211021453 A CN 202211021453A CN 115457560 A CN115457560 A CN 115457560A
Authority
CN
China
Prior art keywords
picture
original
saliency
clipping
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211021453.3A
Other languages
English (en)
Inventor
赵鹏
方宗
蔡文静
焦登宇
王威
刘博超
杜娟
李刚
徐牧
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211021453.3A priority Critical patent/CN115457560A/zh
Publication of CN115457560A publication Critical patent/CN115457560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/147Determination of region of interest
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/15Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

说明书披露一种图片展示方法和装置。该方法包括:针对每个兴趣点,获取所述兴趣点对应的若干原始图片;以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。采用本说明书提供的图片展示方案,可提高图片展示的准确性。

Description

图片展示方法和装置
技术领域
本说明书涉及图像处理技术领域,尤其涉及一种图片展示方法和装置。
背景技术
图片作为一种信息传播途径已广泛应用于商品、地点、人文、科技等诸多场景的信息展示,通过图片可为用户提供丰富、逼真的信息。在进行图片展示时,如何准确选取图片,以为用户传递更加准确、全面的信息,以成为亟待解决的技术问题。
发明内容
有鉴于此,本说明书提供一种图片展示方法和装置。
具体地,本说明书是通过如下技术方案实现的:
一种图片展示方法,包括:
针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
可选的,所述以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,包括:
针对每张原始图片,对所述原始图片进行显著性检测,得到所述原始图片的原始显著性特征图;
识别出所述原始图片中与所述兴趣点相关的文本区域;
对所述原始显著性特征图中的所述文本区域进行显著性标注,得到新显著性特征图;
按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域;
基于所述显著性区域对所述原始图片进行剪裁,得到每种图片规格对应的剪裁图片。
可选的,所述识别出所述原始图片中与所述兴趣点相关的文本区域,包括:
采用OCR技术识别出所述图片中包含的文本;
针对识别出的每段文本,判断所述文本与所述兴趣点之间的相似度;
将相似度满足相关性要求的文本所在的文本区域确定为与所述兴趣点相关的文本区域。
可选的,所述对所述原始显著性特征图中的所述文本区域进行显著性标注,包括:
将所述原始显著性特征图中位于所述文本区域的像素点的像素值修改为预设的显著性像素值,以实现显著性标注。
可选的,所述按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域,包括:
针对每种图片规格,根据所述图片规格确定搜索框尺寸和搜索步长;
从显著性标注后的所述新显著性特征图的初始位置开始,基于所述搜索框尺寸和搜索步长遍历所述新显著性特征图,得到若干显著性子图;
确定各显著性子图的子图显著性因子;
将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定采用缺省剪裁方式对所述原始图片进行剪裁后得到的缺省剪裁区域;
确定所述缺省剪裁区域的缺省显著性因子;
判断所述缺省显著性因子与所述最大子图显著性因之间的差异是否小于等于差异阈值;
若所述缺省显著性因子与所述最大子图显著性因之间的差异小于等于所述差异阈值,则基于所述缺省剪裁方式对所述原始图片进行剪裁;
若所述缺省显著性因子与所述最大子图显著性因之间的差异大于所述差异阈值,则执行基于所述显著性区域对所述原始图片进行剪裁的步骤。
可选的,其中,显著性因子是对应区域各像素点的像素值和值。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定所述原始图片中的主体区域;
判断所述主体区域是否位于所述显著性区域的边缘;
在所述主体区域位于所述显著性区域的边缘的情况下,调整所述显著性区域的位置,以使得所述主体区域向所述显著性区域的中心靠近。
可选的,所述确定所述图片规格对应的各剪裁图片的剪裁评分,包括:
针对每张剪裁图片,采用机器学习模型分别预测所述剪裁图片的质量分值和内容类别概率;
计算所述剪裁图片的显著性占比;
根据所述质量分值、所述内容类别概率和所述显著性占比确定所述剪裁图片的剪裁评分。
一种图片展示方法,包括:
接收来自用户的图片展示请求,确定待展示图片的图片规格;
从服务端获取匹配所述图片规格的目标剪裁图片;
展示所述目标剪裁图片,其中,所述目标剪裁图片基于前述方法进行剪裁。
一种图片展示装置,包括:
图片获取单元,针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
图片剪裁单元,以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
剪裁评分单元,针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
目标确定单元,根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
图片展示单元,响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现前述方法。
一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现前述方法的步骤。
一种计算机程序产品,所述计算机程序产品被处理器执行时,实现前述方法。
采用上述实施方式,针对每个兴趣点,可按照图片规格以兴趣点信息存留最多为目标分别对该兴趣点对应的各张原始图片进行剪裁,得到与每种图片规格对应的剪裁图片,然后针对每种图片规格,还可对各剪裁图片进行评分,并根据剪裁图片的剪裁评分确定出剪裁效果符合预期的目标剪裁图片以供后续展示。
采用本说明书提供的上述图片展示方案,先以兴趣点信息存留最多为目标对原始图片进行剪裁,可大幅避免图片剪裁导致的信息丢失,确保剪裁图片信息的完整性,然后对得到的剪裁图片进行剪裁评分,进而确定出用于展示的目标剪裁图片,进而确保目标剪裁图片的质量和相关性,提高后续图片展示的准确性,能够为用户传递更加准确、全面的信息,提升用户的图片浏览体验。
附图说明
图1是本说明书一示例性实施例示出的一种图片展示方法的流程示意图。
图2是本说明书一示例性实施例示出的一种图片剪裁方法的流程示意图。
图3是本说明书一示例性实施例示出的一种显著性区域的搜索方法的流程示意图。
图4是本说明书一示例性实施例示出的一种主体区域边缘检测的示意图。
图5是本说明书一示例性实施例示出的一种确定剪裁图片的剪裁评分的方法的流程示意图。
图6是本说明书一示例性实施例示出的另一种图片展示方法的流程示意图。
图7是本说明书一示例性实施例示出的一种图片展示装置所在电子设备的一种硬件结构图。
图8是本说明书一示例性实施例示出的一种图片展示装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图片作为一种信息传播途径已广泛应用于商品、地点、人文、科技等诸多场景的信息展示,通过图片可为用户提供丰富、逼真的信息。在进行图片展示时,如何准确选取图片,以为用户传递更加准确、全面的信息,以成为亟待解决的技术问题。
本说明书提供一种图片展示方法,针对每个兴趣点,可以兴趣点信息存留最多为目标对原始图片进行剪裁,并可根据不同原始图片剪裁后的剪裁图片的剪裁评分确定出兴趣点对应的目标剪裁图片,进而选取到更为准确的图片进行展示,提高图片展示的准确性。
图1是本说明书一示例性实施例示出的一种图片展示方法的流程示意图。
请参考图1,所述图片展示方法可应用于服务端,包括以下步骤:
步骤102,针对每个兴趣点,获取所述兴趣点对应的若干原始图片。
在本说明书中,所述原始图片可由用户上传,以电子地图软件为例,针对各个兴趣点(Point of Interest,POI),用户可自行上传该POI的相关图片,用户上传的图片尺寸、质量各异,需要进行剪裁后才能使用。
举例来说,假设某POI为A餐馆,A餐馆的工作人员可上传A餐馆的门头、菜品等图片,后续电子地图软件可在用户查看A餐馆时,展示A餐馆的这些图片,以便用户直观了解到A餐馆的相关情况。
在本说明书中,所述原始图片也可从互联网中搜索获取,仍以兴趣点A餐馆为例,可从互联网中搜索A餐馆的不同图片作为原始图片,这些原始图片往往尺寸、质量也各不相同,需要进行剪裁后才能使用。
当然,上述场景仅为示例性说明,本说明书并不限制图片展示方案的应用场景,以及应用软件。
在本说明书中,针对每个兴趣点,往往可获取到与该兴趣点对应的多张原始图片。
步骤104,以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片。
在本说明书中,在进行图片展示时,即便是同一个兴趣点,所需图片的规格往往也会不同,一般会预设有多种图片规格。例如,在兴趣点列表页面,代表各兴趣点图片的规格往往较小,而在兴趣点详情页面,代表兴趣点图片的规格往往较大。
在本说明书中,针对每个兴趣点,针对每种图片规格,可以兴趣点信息存留最多为目标分别对每张原始图片进行剪裁,得到与该原始图片、图片规格对应的剪裁图片。
Figure BDA0003814145310000051
表1
请参考表1的示例,以兴趣点A餐馆为例,表1示出了A餐馆的两张原始图片,针对每张原始图片,均会以A餐馆信息存留最多为目标分别按照规格1-规格3进行剪裁,得到对应的剪裁图片。以原始图片1为例,可得到与图片规格1对应的剪裁图片1-1、与图片规格2对应的剪裁图片1-2以及与图片规格3对应的剪裁图片1-3。
在本说明书中,可结合显著性检测和文本识别技术来对原始图片进行剪裁,以最大程度保留兴趣点信息,具体的剪裁过程将在后续实施例中详细描述。
步骤106,针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分。
基于前述步骤104,在得到每种图片规格对应的来自不同原始图片的剪裁图片后,可对每张剪裁图片进行评分,得到对应的剪裁评分。
仍以表1的兴趣点A餐馆为例,针对图片规格1,对应有剪裁图片1-1和剪裁图片2-1这两张剪裁图片,在本步骤需分别对这两张剪裁图片进行评分,得到对应的剪裁评分。其他图片规格类似,不再一一赘述。
其中,对剪裁图片的评分过程将在后续实施例中详细描述。
步骤108,根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片。
基于前述步骤106,在得到每张剪裁图片的剪裁评分后,可从中确定一张剪裁效果符合预期的目标剪裁图片。其中,所述剪裁效果的预期可预先设置,剪裁效果符合预期可以为剪裁评分最高等。
Figure BDA0003814145310000061
表2
仍以表1所示的A餐馆为例,在本步骤可确定出图片规格1对应的目标剪裁图片为来自原始图片1的剪裁图片1-1,图片规格2对应的目标剪裁图片为来自原始图片1的剪裁图片1-2,图片规格3对应的目标剪裁图片为来自原始图片2的剪裁图片2-3。
步骤110,响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
在本说明书中,用户可通过客户端发起针对兴趣点的查看请求,客户端在接收到该查看请求后,可确定需要展示的兴趣点图片的图片规格,然后向服务端发送针对该兴趣点的图片展示请求,并可在该图片展示请求中携带所述图片规格,其中,所述图片规格通常预置在客户端内部。
在本说明书中,服务端在接收到客户端发送的所述图片展示请求后,可根据所述图片规格确定该兴趣点对应的目标剪裁图片,并可将该目标剪裁图片返回给客户端,由客户端展示给用户查看。
这部分的处理与实现可参考相关技术,本说明书在此不再一一赘述。
由以上描述可以看出,本说明书针对每个兴趣点,可按照图片规格以兴趣点信息存留最多为目标分别对该兴趣点对应的各张原始图片进行剪裁,得到与每种图片规格对应的剪裁图片,然后针对每种图片规格,还可对各剪裁图片进行评分,并根据剪裁图片的剪裁评分确定出剪裁效果符合预期的目标剪裁图片以供后续展示。
采用本说明书提供的上述图片展示方案,先以兴趣点信息存留最多为目标对原始图片进行剪裁,可大幅避免图片剪裁导致的信息丢失,确保剪裁图片信息的完整性,然后对得到的剪裁图片进行剪裁评分,进而确定出用于展示的目标剪裁图片,进而确保目标剪裁图片的质量和相关性,提高后续图片展示的准确性,以为用户传递更加准确、全面的信息,提升用户的图片浏览体验。
下面结合具体的实施例分别从图片剪裁、评分两个方面对本说明书提供的图片展示方法进行详细描述。
一、图片剪裁
请参考图2,本说明书中以兴趣点信息存留最多为目标对原始图片进行剪裁的过程可包括以下步骤:
步骤202,针对每张原始图片,对所述原始图片进行显著性检测,得到所述原始图片的原始显著性特征图。
在本说明书中,针对某一兴趣点对应的每张原始图片,可先对所述原始图片进行显著性检测,得到所述原始图片对应的显著性特征图,为便于区分,可将该显著性特征图称为原始显著性特征图。
其中,可采用PiCANet(Pixel-wise Contextual Attention network,像素语境注意力网络)模型、BASNet(Boundary-Aware Salient Object Detection)关注边界的显著性目标检测模型等显著性检测模型对所述原始图片进行显著性检测。
所述原始显著性特征图是一种可以通过像素点像素值区分出显著性区域与非显著性区域的灰度图,所述原始显著性特征图中各像素点的像素值的取值范围是0-255,像素值取值越大代表其显著性越高,像素值取值越小代表其显著性越低。
步骤204,识别出所述原始图片中与兴趣点相关的文本区域。
在本说明书中,针对所述原始图片,可采用OCR(Optical CharacterRecognition,光学字符识别)技术识别出该图片中包括的各段文本,以及每段文本所在的区域。然后,可分别判断每段文本与该原始图片对应的兴趣点之间的文本相似度,并可将文本相似度满足相关性要求的文本所在的区域确定为与所述兴趣点相关的文本区域。
其中,所述相关性要求可预先设置,可以为相似度大于相似度阈值,例如,相似度大于80%等。用于计算文本相似度的算法可包括:余弦相似度算法、编辑距离算法、欧几里得算法等。
举例来说,假设采用OCR技术识别出某原始图片中包括两段文本,分别为“A餐馆西湖店”和“虎跑路47号”,该原始图片对应的兴趣点为A餐馆。通过相似度计算以及相关性要求的判断,可确定文本“A餐馆西湖店”与兴趣点“A餐馆”的相似度满足相关性要求,进而可将文本“A餐馆西湖店”所在的区域确定为所述兴趣点相关的文本区域。
在本说明书中,从原始图片中识别出的与其对应的兴趣点相关的文本区域可能只有一个,也可能有多个,还可能一个都没有,即无法从原始图片中识别出与其对应兴趣点相关的文本区域,例如原始图片中不包括任何文本、原始图片中各段文本与其对应兴趣点的相似度均不高等。针对这些无法识别出与对应兴趣点相关的文本区域的原始图片,无需执行本说明书后续步骤,可采用相关技术中提供的剪裁方法对其进行剪裁。
步骤206,对所述原始显著性特征图中的所述文本区域进行显著性标注,得到新显著性特征图。
在本说明书中,前述步骤204中识别出的文本区域往往会体现原始图片携带的兴趣点信息,例如“A餐馆西湖店”可体现餐馆名称等。由于原始显著性特征图无法体现出图片中文本信息的显著性,因此本步骤可将原始图片中的文本信息融合到原始显著性特征图中,得到的新显著性特征图既可体现原始图片的原始显著性特征,还可体现原始图片的文本特征。
在本说明书中,可对所述原始显著性特征图中的所述文本区域进行显著性标注,进而更新所述原始显著性特征图,得到新显著性特征图。由于显著性特征图中像素值可体现对应像素点的显著性,本步骤可通过修改步骤204中识别出的文本区域中各像素点的像素值来实现显著性标注。例如,可将原始显著性特征图中上述文本区域中各像素点的像素值修改为预设的显著性像素值以实现显著性标注。其中,所述显著性像素值可以为最大像素值255,也可以为相对较大的像素值,150、160、180等。
步骤208,按照多种图片规格分别在所述新显著性特征图进行显著性区域搜索,确定每种图片规格对应的显著性区域。
在本说明书中,可基于前述步骤206中进行显著性标注后得到的新显著性特征图来确定原始图片的显著性区域。由于预设有多种图片规格,本步骤针对每种图片规格可确定一对应的显著性区域。
在本说明书中,可先确定用于进行显著性区域搜索的搜索框尺寸,然后基于该搜索框尺寸在所述新显著性特征图中搜索匹配所述搜索框尺寸的子图,再分别确定每个子图的显著性,进而找到显著性最高的子图,并将显著性最高的子图所在的区域确定为原始图片的显著性区域。
其中,所述搜索框尺寸可基于原始图片的尺寸和预设的各种图片规格来计算,针对每种图片规格,均可计算得到对应的搜索框尺寸,后续基于该搜索框尺寸进行搜索,可得到与该图片规格对应的显著性区域。
在一个例子中,可通过遍历每个像素点搜索到所述新显著性特征图中匹配所述搜索框尺寸的所有子图。
在另一个例子中,当原始图片的尺寸较大时,通过上述遍历像素点的方式搜索子图的计算开销较大,则可根据原始图片的尺寸确定搜索步长,然后基于搜索框尺寸和搜索步长进行子图的搜索。
本步骤显著性区域的确定方法将在后续图3所示的实施例中详细描述。
步骤210,基于所述显著性区域对所述原始图片进行剪裁,得到每种图片规格对应的剪裁图片。
在本说明书中,在确定出与每种图片规格对应的原始图片的显著性区域后,可基于所述显著性区域对所述原始图片进行剪裁,例如,从所述原始图片中剪裁出所述显著性区域,得到每种图片规格对应的剪裁图片,以供后续场景使用。
由以上描述可以看出,本说明书一方面可对原始图片进行显著性检测,得到该原始图片的原始显著性特征图,另一方面还可从原始图片中识别出与其对应兴趣点相关的文本区域,然后可对原始显著性特征图中的所述文本区域进行显著性标注,以将表达兴趣点信息的文本融合到原始显著性特征图中,得到新显著性特征图。接着,在新显著性特征图中进行显著性区域搜索,并基于搜索到的显著性区域对原始图片进行剪裁。
采用本说明书提供的上述图片剪裁方案,可在融合有图片文本信息的新显著性特征图中进行显著性区域的搜索和剪裁,以大幅避免图片剪裁导致的兴趣点信息丢失,进而确保剪裁后图片信息的完整性,提高了图片剪裁的准确率。
图3是本说明书一示例性实施例示出的一种显著性区域的搜索方法的流程示意图。
请参考图3,显著性区域的搜索方法可包括以下步骤:
步骤302,根据原始图片的尺寸确定搜索框尺寸和搜索步长。
在本实施例中,可先根据预设的图片规格来计算进行显著性搜索的搜索框尺寸和搜索步长。所述预设的图片规格可以为剪裁后的图片(后续称为剪裁图片)的高宽比例,例如2:1、3:2等,可根据剪裁图片的应用场景来预先设置。
在本说明书中,在计算搜索框尺寸时,可先比较原始图片的高度与前述预设高宽比例的商值和原始图片的宽度之间的大小,即比较H/ratio与W之间的大小。其中,H代表原始图片的高度,W代表原始图片的宽度,ratio代表所述预设的高宽比例。
若H/ratio≤W,则SearchW=H/ratio,SearchH=H;
若H/ratio>W,则SearchW=W,SearchH=W×ratio;
其中,SearchW代表搜索框的宽度,SearcH代表搜索框的高度。
假设,预设的高宽比例ratio为2:1,原始图片的高度为2200,宽度为1000,则H/ratio为1100,H/ratio大于原始图片的宽度1000,参考上述公式,搜索框的高度SearcH为2000,搜索框的宽度SearcW为1000,即搜索框尺寸为2000×1000。
在本说明书中,在计算出搜索框尺寸后,可采用如下公式计算出搜索步长:
StepW=SearchW/q+1;以及
StepH=SearchH/q+1。
上述公式中StepW代表搜索时宽度方向上的步长,StepH代表搜索时高度方向上的步长,q为预设参数。采用这样的公式计算搜索步长,可确保搜索过程的平移不变性和搜索结果对称性以及搜索耗时的稳定性。其中,搜索结果的对称性通常指搜索结果中主体尽量居中,搜索耗时的稳定性指搜索耗时不会随着原始图片尺寸的变化而发生较大变化。
当然,上述搜索框尺寸和搜索步长的计算方法仅为示例性说明,也可采用其他公式基于原始图片的尺寸来计算搜索框尺寸和搜索步长,本说明书对此不作特殊限制。
在本说明书中,针对每种图片规格,均可确定出一组搜索框尺寸和搜索步长。
步骤304,从显著性标注后的新显著性特征图的初始位置开始,基于所述搜索框尺寸和搜索步长遍历所述新显著性特征图,得到若干显著性子图。
基于前述步骤302,针对每种图片规格,在计算出对应的搜索框尺寸和搜索步长后,可从新显著性特征图中的初始位置开始遍历所述新显著性特征图,得到多张子图,本说明书称之为显著性子图,每个显著性子图的尺寸与所述搜索框尺寸相同。
其中,所述初始位置可以有两个,例如左上角和右下角,或者左下角和右上角等。当然,在其他例子中,当原始图片的高度和宽度相差不大时,也可仅设置一个初始位置,本说明书对此不作特殊限制。
步骤306,确定各显著性子图的子图显著性因子。
基于前述步骤304搜索得到的每个显著性子图,可确定所述显著性子图的子图显著性因子,所述子图显著性因子代表对应子图的整体显著性。
例如,可计算所述显著性子图中各个像素点像素值的和值作为所述子图显著性因子。
再例如,也可计算所述显著性子图中各像素点的平均像素值作为所述子图显著性因子等。
步骤308,将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
在本实施例中,由于新显著性特征图中像素点的像素值越大代表其显著性越高,前述步骤306中计算出的子图显著性因子越大代表对应显著性子图的整体显著性越高,即最大显著性因子对应的显著性子图的整体显著性在所有显著性子图中最大,本步骤可将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
至此,完成显著性区域的确定过程。
可选的,在本说明书另一个例子中,在确定出原始图片的显著性区域后,还可将该显著性区域与采用缺省剪裁方式剪裁原始图片得到的区域进行比较,进而从中选取较佳的剪裁方式。其中,所述缺省剪裁方式可以是传统图片剪裁过程中使用的中心剪裁方式,即根据预设的图片规格选取原始图片的中心区域进行剪裁。为便于区分,可将采用缺省剪裁方式对原始图片进行剪裁后得到的区域称为缺省剪裁区域。
在本例中,针对每种图片规格,可比较所述缺省剪裁区域和确定出的所述显著性区域的显著性之间的差异,即可判断所述缺省剪裁区域的显著性因子(后续称为缺省显著性因子)和前述最大显著性因子之间的差异是否小于等于差异阈值。
若缺省显著性因子与所述最大显著性因子之间的差异小于等于所述差异阈值,可说明采用缺省剪裁方式进行剪裁的剪裁结果与采用本说明书提供的剪裁方法进行剪裁的剪裁结果差异不大,进而可采用缺省剪裁方式对原始图片进行剪裁,得到最终剪裁结果。这是因为,显著性检测虽然可检测出原始图片中的各个主体,但是对于不同的主体无法加以区分,即无法区分出哪些主体与原始图片对应的兴趣点具有相关性,为确保剪裁图片中不出现过多与兴趣点无关的主体,在这种情况下,可采用缺省剪裁方式对原始图片进行剪裁。
若缺省显著性因子与所述最大显著性因子之间的差异大于所述差异阈值,可说明采用本说明书提供的剪裁方法进行剪裁的剪裁结果更好,进而可基于前述确定的显著性区域对原始图片进行剪裁。
其中,所述差异阈值可以为所述最大显著性因子的预定比例,诸如80%、90%等。
可选的,在本说明书另一个例子中,在确定出原始图片的显著性区域后,还可检测原始图片的主体区域是否位于所述显著性区域的边缘,若所述主体区域位于所述显著性区域的边缘,可对所述显著性区域进行适当调整,进而使得主体区域尽量靠近显著性区域的中心位置,提高剪裁图片的可观赏性。
其中,所述主体区域是所述原始图片所要展示的兴趣点所在的区域,可在前述显著性区域搜索的过程确定,所述主体区域可以是一个矩形。
请参考图4的示例,矩形GHJK是原始的图片,该图片展示的主体是左侧的一座高塔,该图片中右侧位置还有一些山峰和草地,为提高附图展示的清晰度,图片中的其他内容并未示出。
请继续参考图4,该图片主体高塔所在的主体区域是矩形ABCD,确定出的显著性区域为矩形MNPQ,在本例中,可提高判断矩形ABCD是否位于矩形MNPQ的边缘来判断主体区域是否位于显著性区域的边缘。
在进行边缘判断时,针对上下左右四个方向均需进行判断,以左侧方向为例,可计算主体区域的左侧边界AB距离显著性区域左侧边界MN的距离D1,以及主体区域的右侧边界CD距离显著性区域MNPQ中心线EF的距离D2,然后判断D1是否小于D2,若D1小于D2,可确定主体区域位于显著性区域的边缘,若D1大于等于D2,可确定主体提取不位于显著性区域的边缘。
在本例中,若确定主体区域位于显著性区域的边缘,可通过平移调整显著性区域的位置,以使得主体区域尽量靠近显著性区域的中心。较为简单的,可直接将显著性区域平移到原始图片的最左侧,即让显著性区域的左侧边界MN与原始图片的左侧边界GH重合。当然,在实际应用中,也可将显著性区域向左平移一定的距离,并非要与原始图片的左侧边界GH重合,本说明书对此不作特殊限制。
由以上描述可以看出,本说明书在确定原始图片的显著性区域后,还可检测原始图片的主体区域是否位于显著性区域的边缘,并可在该主体区域位于显著性区域边缘的情况下,调整显著性区域的位置,以使得主体区域尽量靠近显著性区域的中心,提高剪裁图片的可观赏性。
二、剪裁图片的评分
请参考图5,确定剪裁图片的剪裁评分的过程可包括以下步骤:
步骤502,针对每张剪裁图片,采用机器学习模型分别预测所述剪裁图片的质量分值和内容类别概率。
在本说明书中,所述质量分值可代表所述剪裁图片的图片质量,可采用机器学习模型,例如质量分评估模型来评估所述剪裁图片的质量分值。所述质量分评估模型可以为NIMA(Neural Image Assessment,神经图像评估)模型、PSNR(Peak Signal to NoiseRatio,峰值信噪比)模型等。
所述内容类别概率代表所述剪裁图片的内容分类结果,内容类别可根据应用场景来预先设置。以电子地图中的兴趣点为例,其内容类别可包括:门头、Logo、美食等。本实施例也可采用机器学习模型来预设所述剪裁图片的内容类别概率,例如可采用EfficientNet(Rethinking Model Scaling for Convolutional Neural Networks,对卷积神经网络的模型缩放的重新思考)等分类模型等。举例来说,某剪裁图片的内容类别概率可以是门头-95%、Logo-4.8%、美食-0.2%等。
步骤504,计算所述剪裁图片的显著性占比。
在本说明书中,所述显著性占比可体现出剪裁图片的显著性。所述显著性占比可通过计算剪裁图片中各像素点像素值的和值占新显著性特征图中各像素点像素值和值的比例。即可采用如下公式计算所述显著性占比:
Figure BDA0003814145310000121
其中,Psignificance是剪裁图片的显著性占比,(i,j)是剪裁图片中的一个像素点,ai,j是像素点(i,j)的像素值,
Figure BDA0003814145310000122
是剪裁图片中各像素点的像素值和值,(m,n)是新显著性特征图中的一个像素点,am,n是像素点(m,n)的像素值,
Figure BDA0003814145310000123
是新显著性特征图中各像素点的像素值和值。
步骤506,根据所述质量分值、所述内容类别概率和所述显著性占比确定所述剪裁图片的剪裁评分。
在本实施例中,针对每张剪裁图片,可根据其质量分值、内容类别概率和显著性占比确定该剪裁图片的剪裁评分。例如,可采用加权求和的方式计算出所述剪裁评分,各项的权重可由根据应用场景预先设置。
以质量分值、内容类别概率和显著性占比这三项评分维度为例,可预先为这三项评分维度设置权重,例如质量分值的权重为P1,内容类别概率的权重为P2,显著性占比的权重为P3。针对内容类别,由于内容类别往往有多项,可基于P2再分别为每项类别设置对应的权重,假设兴趣点是酒店,则可预先为内容类别门头设置权重P2-1,为内容类别Logo设置权重P2-2,为内容类别美食设置权重P2-3,P2-1可大于P2-2,P2-2可大于P2-3。
当然,上述剪裁图片的剪裁评分的计算方法仅为示例性说明,在其他例子中,也可引入其他维度的评分标准,本说明书对此不作特殊限制。
在计算得到每张剪裁图片的剪裁评分后,可按照剪裁评分从高到低的顺序对各剪裁图片进行排序,然后可选取排列在第一位的剪裁图片作为剪裁效果符合预期的剪裁图片使用,即可选取剪裁评分最高的剪裁图片作为目标剪裁图片。
可选的,在其他例子中,为适应特定场景需求,在选取目标剪裁图片时,还可设置剪裁图片选取的递补策略,结合递补策略来选取目标剪裁图片。所述递补策略可体现对应场景下对剪裁图片的特殊要求。
举例来说,针对餐馆类兴趣点,美食图片会比门头图片更具有代表性,所述递补策略可以为在质量分值大于等于质量分阈值的剪裁图片中,选取剪裁评分最高的剪裁图片。在实际应用中,在确定剪裁评分最高的剪裁图片后,还可进一步判断该剪裁图片的质量分值是否大于等于所述质量分阈值,若大于等于,则可将该剪裁评分最高的剪裁图片确定为目标剪裁图片;若该剪裁图片的质量分值是否小于所述质量分阈值,可选取剪裁评分次高的剪裁图片,再对该剪裁评分次高的剪裁图片的质量分值进行判断,依次类推。或者,也可先筛选出质量分值大于等于所述质量分阈值的剪裁图片,然后将筛选出的这些剪裁图片的剪裁评分对这些剪裁图片进行排序,并选取剪裁评分最高的剪裁图片。
针对酒店类兴趣点,门头图片更具有代表性,所述递补策略可以为在门头概率大于等于概率阈值的剪裁图片中,选取剪裁评分最高的剪裁图片,具体选取过程可参考前述餐馆类兴趣点的目标剪裁图片选取过程,在此不再一一赘述。
由以上描述可以看出,本说明书以兴趣点信息存留最多为目标对每张原始图片进行剪裁,进而得到图片信息存留较多的剪裁图片,然后还可确定各剪裁图片的剪裁评分,并根据剪裁评分为该兴趣点确定目标剪裁图片,进而从多张剪裁图片中选取出质量、显著性占比、内容类别匹配度等维度下综合评分较佳的目标剪裁图片,使得选出的目标剪裁图片的质量以及内容准确性均得到保障。
本说明书还提供一种应用于客户端的图片展示方法,请参考图6,该图片展示方法可包括以下步骤:
步骤602,接收来自用户的图片展示请求,确定待展示图片的图片规格。
步骤604,从服务端获取匹配所述图片规格的目标剪裁图片。
步骤606,展示所述目标剪裁图片。
在本说明书中,用户可通过客户端发起针对兴趣点的查看请求,客户端在接收到该查看请求后,可确定需要展示的兴趣点图片的图片规格,然后向服务端发送针对该兴趣点的图片展示请求,并可在该图片展示请求中携带所述图片规格,其中,所述图片规格通常预置在客户端内部。
在本说明书中,服务端在接收到客户端发送的所述图片展示请求后,可根据所述图片规格确定该兴趣点对应的目标剪裁图片,并可将该目标剪裁图片返回给客户端,由客户端展示给用户查看。其中,所述目标剪裁图片可基于本说明书图1所示的图片展示方法确定,进而确保目标剪裁图片的质量和相关性,提高后续图片展示的准确性,以为用户传递更加准确、全面的信息,提升用户的图片浏览体验。
与前述图片展示方法的实施例相对应,本说明书还提供了图片展示装置的实施例。
本说明书图片展示装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本说明书图片展示装置所在电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图8是本说明书一示例性实施例示出的一种图片展示装置的框图。
请参考图8,所述图片展示装置可以应用在图7所示的电子设备上,包括有:
图片获取单元,针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
图片剪裁单元,以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
剪裁评分单元,针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
目标确定单元,根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
图片展示单元,响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
可选的,所述以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁的步骤包括:
针对每张原始图片,对所述原始图片进行显著性检测,得到所述原始图片的原始显著性特征图;
识别出所述原始图片中与所述兴趣点相关的文本区域;
对所述原始显著性特征图中的所述文本区域进行显著性标注,得到新显著性特征图;
按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域;
基于所述显著性区域对所述原始图片进行剪裁,得到每种图片规格对应的剪裁图片。
可选的,所述识别出所述原始图片中与所述兴趣点相关的文本区域的步骤包括:
采用OCR技术识别出所述图片中包含的文本;
针对识别出的每段文本,判断所述文本与所述兴趣点之间的相似度;
将相似度满足相关性要求的文本所在的文本区域确定为与所述兴趣点相关的文本区域。
可选的,所述对所述原始显著性特征图中的所述文本区域进行显著性标注的步骤包括:
将所述原始显著性特征图中位于所述文本区域的像素点的像素值修改为预设的显著性像素值,以实现显著性标注。
可选的,所述按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域的步骤包括:
针对每种图片规格,根据所述图片规格确定搜索框尺寸和搜索步长;
从显著性标注后的所述新显著性特征图的初始位置开始,基于所述搜索框尺寸和搜索步长遍历所述新显著性特征图,得到若干显著性子图;
确定各显著性子图的子图显著性因子;
将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前还包括:
确定采用缺省剪裁方式对所述原始图片进行剪裁后得到的缺省剪裁区域;
确定所述缺省剪裁区域的缺省显著性因子;
判断所述缺省显著性因子与所述最大子图显著性因之间的差异是否小于等于差异阈值;
若所述缺省显著性因子与所述最大子图显著性因之间的差异小于等于所述差异阈值,则基于所述缺省剪裁方式对所述原始图片进行剪裁;
若所述缺省显著性因子与所述最大子图显著性因之间的差异大于所述差异阈值,则执行基于所述显著性区域对所述原始图片进行剪裁的步骤。
可选的,其中,显著性因子是对应区域各像素点的像素值和值。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定所述原始图片中的主体区域;
判断所述主体区域是否位于所述显著性区域的边缘;
在所述主体区域位于所述显著性区域的边缘的情况下,调整所述显著性区域的位置,以使得所述主体区域向所述显著性区域的中心靠近。
可选的,所述确定所述图片规格对应的各剪裁图片的剪裁评分的步骤包括:
针对每张剪裁图片,采用机器学习模型分别预测所述剪裁图片的质量分值和内容类别概率;
计算所述剪裁图片的显著性占比;
根据所述质量分值、所述内容类别概率和所述显著性占比确定所述剪裁图片的剪裁评分。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中,计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
与前述图片展示方法的实施例相对应,本说明书还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现以下步骤:
针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
可选的,所述以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁的步骤包括:
针对每张原始图片,对所述原始图片进行显著性检测,得到所述原始图片的原始显著性特征图;
识别出所述原始图片中与所述兴趣点相关的文本区域;
对所述原始显著性特征图中的所述文本区域进行显著性标注,得到新显著性特征图;
按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域;
基于所述显著性区域对所述原始图片进行剪裁,得到每种图片规格对应的剪裁图片。
可选的,所述识别出所述原始图片中与所述兴趣点相关的文本区域的步骤包括:
采用OCR技术识别出所述图片中包含的文本;
针对识别出的每段文本,判断所述文本与所述兴趣点之间的相似度;
将相似度满足相关性要求的文本所在的文本区域确定为与所述兴趣点相关的文本区域。
可选的,所述对所述原始显著性特征图中的所述文本区域进行显著性标注的步骤包括:
将所述原始显著性特征图中位于所述文本区域的像素点的像素值修改为预设的显著性像素值,以实现显著性标注。
可选的,所述按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域的步骤包括:
针对每种图片规格,根据所述图片规格确定搜索框尺寸和搜索步长;
从显著性标注后的所述新显著性特征图的初始位置开始,基于所述搜索框尺寸和搜索步长遍历所述新显著性特征图,得到若干显著性子图;
确定各显著性子图的子图显著性因子;
将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前还包括:
确定采用缺省剪裁方式对所述原始图片进行剪裁后得到的缺省剪裁区域;
确定所述缺省剪裁区域的缺省显著性因子;
判断所述缺省显著性因子与所述最大子图显著性因之间的差异是否小于等于差异阈值;
若所述缺省显著性因子与所述最大子图显著性因之间的差异小于等于所述差异阈值,则基于所述缺省剪裁方式对所述原始图片进行剪裁;
若所述缺省显著性因子与所述最大子图显著性因之间的差异大于所述差异阈值,则执行基于所述显著性区域对所述原始图片进行剪裁的步骤。
可选的,其中,显著性因子是对应区域各像素点的像素值和值。
可选的,所述在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定所述原始图片中的主体区域;
判断所述主体区域是否位于所述显著性区域的边缘;
在所述主体区域位于所述显著性区域的边缘的情况下,调整所述显著性区域的位置,以使得所述主体区域向所述显著性区域的中心靠近。
可选的,所述确定所述图片规格对应的各剪裁图片的剪裁评分的步骤包括:
针对每张剪裁图片,采用机器学习模型分别预测所述剪裁图片的质量分值和内容类别概率;
计算所述剪裁图片的显著性占比;
根据所述质量分值、所述内容类别概率和所述显著性占比确定所述剪裁图片的剪裁评分。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (14)

1.一种图片展示方法,包括:
针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
2.根据权利要求1所述的方法,所述以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,包括:
针对每张原始图片,对所述原始图片进行显著性检测,得到所述原始图片的原始显著性特征图;
识别出所述原始图片中与所述兴趣点相关的文本区域;
对所述原始显著性特征图中的所述文本区域进行显著性标注,得到新显著性特征图;
按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域;
基于所述显著性区域对所述原始图片进行剪裁,得到每种图片规格对应的剪裁图片。
3.根据权利要求2所述的方法,所述识别出所述原始图片中与所述兴趣点相关的文本区域,包括:
采用OCR技术识别出所述图片中包含的文本;
针对识别出的每段文本,判断所述文本与所述兴趣点之间的相似度;
将相似度满足相关性要求的文本所在的文本区域确定为与所述兴趣点相关的文本区域。
4.根据权利要求2所述的方法,所述对所述原始显著性特征图中的所述文本区域进行显著性标注,包括:
将所述原始显著性特征图中位于所述文本区域的像素点的像素值修改为预设的显著性像素值,以实现显著性标注。
5.根据权利要求2所述的方法,所述按照多种图片规格分别在所述新显著性特征图中进行显著性区域搜索,确定每种图片规格对应的显著性区域,包括:
针对每种图片规格,根据所述图片规格确定搜索框尺寸和搜索步长;
从显著性标注后的所述新显著性特征图的初始位置开始,基于所述搜索框尺寸和搜索步长遍历所述新显著性特征图,得到若干显著性子图;
确定各显著性子图的子图显著性因子;
将最大子图显著性因子对应的显著性子图所属的区域确定为所述图片规格对应的显著性区域。
6.根据权利要求5所述的方法,在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定采用缺省剪裁方式对所述原始图片进行剪裁后得到的缺省剪裁区域;
确定所述缺省剪裁区域的缺省显著性因子;
判断所述缺省显著性因子与所述最大子图显著性因之间的差异是否小于等于差异阈值;
若所述缺省显著性因子与所述最大子图显著性因之间的差异小于等于所述差异阈值,则基于所述缺省剪裁方式对所述原始图片进行剪裁;
若所述缺省显著性因子与所述最大子图显著性因之间的差异大于所述差异阈值,则执行基于所述显著性区域对所述原始图片进行剪裁的步骤。
7.根据权利要求5或6所述的方法,其中,显著性因子是对应区域各像素点的像素值和值。
8.根据权利要求2所述的方法,在基于所述显著性区域对所述原始图片进行剪裁之前,还包括:
确定所述原始图片中的主体区域;
判断所述主体区域是否位于所述显著性区域的边缘;
在所述主体区域位于所述显著性区域的边缘的情况下,调整所述显著性区域的位置,以使得所述主体区域向所述显著性区域的中心靠近。
9.根据权利要求1所述的方法,所述确定所述图片规格对应的各剪裁图片的剪裁评分,包括:
针对每张剪裁图片,采用机器学习模型分别预测所述剪裁图片的质量分值和内容类别概率;
计算所述剪裁图片的显著性占比;
根据所述质量分值、所述内容类别概率和所述显著性占比确定所述剪裁图片的剪裁评分。
10.一种图片展示方法,包括:
接收来自用户的图片展示请求,确定待展示图片的图片规格;
从服务端获取匹配所述图片规格的目标剪裁图片;
展示所述目标剪裁图片,其中,所述目标剪裁图片基于权利要求1-9任一项所述的方法进行剪裁。
11.一种图片展示装置,包括:
图片获取单元,针对每个兴趣点,获取所述兴趣点对应的若干原始图片;
图片剪裁单元,以兴趣点信息存留最多为目标,按照多种图片规格分别对每张原始图片进行剪裁,得到与每种图片规格对应的若干剪裁图片;
剪裁评分单元,针对每种图片规格,确定所述图片规格对应的各剪裁图片的剪裁评分;
目标确定单元,根据所述剪裁评分在所述图片规格对应的若干剪裁图片中确定剪裁效果符合预期的目标剪裁图片;
图片展示单元,响应于针对所述兴趣点的图片展示请求,基于所述图片展示请求指定的图片规格,确定所述指定的图片规格对应的目标剪裁图片,并传输至客户端进行展示。
12.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-10中任一项所述方法的步骤。
14.一种计算机程序产品,所述计算机程序产品被处理器执行时,实现如权利要求1-10中任一所述的方法。
CN202211021453.3A 2022-08-24 2022-08-24 图片展示方法和装置 Pending CN115457560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211021453.3A CN115457560A (zh) 2022-08-24 2022-08-24 图片展示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211021453.3A CN115457560A (zh) 2022-08-24 2022-08-24 图片展示方法和装置

Publications (1)

Publication Number Publication Date
CN115457560A true CN115457560A (zh) 2022-12-09

Family

ID=84299322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211021453.3A Pending CN115457560A (zh) 2022-08-24 2022-08-24 图片展示方法和装置

Country Status (1)

Country Link
CN (1) CN115457560A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504649A (zh) * 2014-12-30 2015-04-08 百度在线网络技术(北京)有限公司 图片的裁剪方法和装置
US20160104055A1 (en) * 2014-10-09 2016-04-14 Adobe Systems Incorporated Image Cropping Suggestion Using Multiple Saliency Maps
US20180357803A1 (en) * 2017-06-12 2018-12-13 Adobe Systems Incorporated Facilitating preservation of regions of interest in automatic image cropping
CN113709386A (zh) * 2021-03-19 2021-11-26 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
CN114119373A (zh) * 2021-11-29 2022-03-01 广东维沃软件技术有限公司 图像裁剪方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104055A1 (en) * 2014-10-09 2016-04-14 Adobe Systems Incorporated Image Cropping Suggestion Using Multiple Saliency Maps
CN104504649A (zh) * 2014-12-30 2015-04-08 百度在线网络技术(北京)有限公司 图片的裁剪方法和装置
US20180357803A1 (en) * 2017-06-12 2018-12-13 Adobe Systems Incorporated Facilitating preservation of regions of interest in automatic image cropping
CN113709386A (zh) * 2021-03-19 2021-11-26 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
CN114119373A (zh) * 2021-11-29 2022-03-01 广东维沃软件技术有限公司 图像裁剪方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US20240330372A1 (en) Visual Recognition Using User Tap Locations
US11886489B2 (en) System and method of identifying visual objects
US20260017316A1 (en) Content navigation with automated curation
Ju et al. Depth-aware salient object detection using anisotropic center-surround difference
US8594385B2 (en) Predicting the aesthetic value of an image
US8553981B2 (en) Gesture-based visual search
CN102687140B (zh) 用于有助于基于内容的图像检索的方法和装置
US20130129142A1 (en) Automatic tag generation based on image content
US20080270378A1 (en) Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
US11704357B2 (en) Shape-based graphics search
WO2019007253A1 (zh) 图像识别方法、装置及设备、可读介质
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
CN115457560A (zh) 图片展示方法和装置
Phyu et al. Self-adaptive feature extraction scheme for mobile image retrieval of flowers
US8280891B1 (en) System and method for the calibration of a scoring function
CN110348898B (zh) 一种基于人体识别的信息推送方法及装置
CN119251528B (zh) 一种目标图像复用检测方法、系统、电子设备及介质
CN120632147A (zh) 图像搜索方法、设备、存储介质及程序产品
Oh et al. Fast and Accurate Home Photo Categorization for Handheld Devices using MPEG-7 Descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination