[go: up one dir, main page]

CN115359000A - 一种无参考图像质量评价方法、装置及存储介质 - Google Patents

一种无参考图像质量评价方法、装置及存储介质 Download PDF

Info

Publication number
CN115359000A
CN115359000A CN202211009923.4A CN202211009923A CN115359000A CN 115359000 A CN115359000 A CN 115359000A CN 202211009923 A CN202211009923 A CN 202211009923A CN 115359000 A CN115359000 A CN 115359000A
Authority
CN
China
Prior art keywords
distorted image
image
gradient
resized
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211009923.4A
Other languages
English (en)
Other versions
CN115359000B (zh
Inventor
崔子冠
郑静
吴立鹏
唐贵进
刘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211009923.4A priority Critical patent/CN115359000B/zh
Publication of CN115359000A publication Critical patent/CN115359000A/zh
Application granted granted Critical
Publication of CN115359000B publication Critical patent/CN115359000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无参考图像质量评价方法、装置及存储介质，其包括：获取失真图像，并对失真图像进行尺寸调整；提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集；对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像；根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集；将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果，其中，质量评价模型采用元学习框架构建。本发明具有更好的质量预测准确性和泛化能力。

Description

一种无参考图像质量评价方法、装置及存储介质
技术领域
本发明涉及一种无参考图像质量评价方法、装置及存储介质，属于图像质量评价技术领域。
背景技术
研究图像质量评价方法在图像研究领域有重要的意义，一方面在图像实时采集系统和成像系统中，采集到的图像质量的好坏是衡量这个系统好坏的重要依据，通过质量评价方法可以对图像的质量进行评估并实时调节系统来获得最佳效果；另一方面在图像处理算法中判断各种图像处理算法是否有效，需要图像质量评价方法来衡量。
一般来说，图像质量评价分为三类：全参考图像质量评价、半参考图像质量评价、无参考图像质量评价。全参考图像质量评价与半参考图像质量评价需要使用参考图像或其部分信息，来预测失真图像的失真程度，但由于参考图像不易获取，这两类算法虽通常拥有较高的精度，但也存在较大的局限性。因此越来越多的学者将研究目光投向无参考图像质量评价，目前无参考图像质量评价已经逐渐从传统的基于机器学习手工提取特征的方法发展成基于深度学习自动提取特征的方法，并使用端到端的方法学习失真图像与图像质量之间的映射关系。
在基于深度学习的无参考图像质量评价中，为了避免训练图像不足导致网络中参数出现过拟合的情况，部分方法将输入的图像分割成块来提取特征，这种方法虽能扩大数据集，但是一张图像分割成的不同图像块的质量分数并不能与原图像保持完全一致，因此会影响方法精度。设计一个通用的可扩展性高的，并且能适应小样本学习问题的图像质量评价模型是目前图像质量评价领域关注的热点。
发明内容
为了解决现有技术存在的问题，本发明提出了一种无参考图像质量评价方法、装置及存储介质，利用失真图像的多分辨率空频特性构造更好的模型训练集，并在元学习框架下进行模型训练，既能够避免模型参数过拟合，又能够提高图像质量评价精度。
为解决上述技术问题，本发明采用了如下技术手段：
第一方面，本发明提出了一种无参考图像质量评价方法，包括如下步骤：
获取失真图像，并对失真图像进行尺寸调整；
提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集；
对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像；
根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；
提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集；
将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果。
结合第一方面，进一步的，提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图的方法为：
利用Sobel水平与垂直方向梯度算子提取尺寸调整后的失真图像的梯度特征，得到梯度图；
利用离散傅里叶变换将尺寸调整后的失真图像从空间域变换到频域，从频域中提取尺寸调整后的失真图像的相位谱特征和振幅谱特征，得到相位谱图和振幅谱图；
利用离散余弦变换将尺寸调整后的失真图像从空间域变换到DCT域，从DCT域中提取尺寸调整后的失真图像的频谱特征，得到频谱图。
结合第一方面，进一步的，利用Sobel水平与垂直方向梯度算子提取尺寸调整后的失真图像的梯度特征，得到梯度图的方法为：
获取Sobel水平与垂直方向梯度算子(Gx，Gy)：
Figure BDA0003810332790000031
Figure BDA0003810332790000032
利用Sobel水平与垂直方向梯度算子(Gx，Gy)与尺寸调整后的失真图像D作平面卷积，得到尺寸调整后的失真图像D在像素坐标(i，j)位置上的水平方向梯度
Figure BDA0003810332790000033
和垂直方向梯度
Figure BDA0003810332790000034
根据水平方向梯度
Figure BDA0003810332790000035
和垂直方向梯度
Figure BDA0003810332790000036
计算尺寸调整后的失真图像D在像素坐标(i，j)位置上的梯度幅值
Figure BDA0003810332790000037
Figure BDA0003810332790000041
利用尺寸调整后的失真图像中所有像素坐标对应的梯度幅值构成梯度图。
结合第一方面，进一步的，失真图像的差异图为：
f(i，j)＝|D-Dup_sample| (4)
其中，f(i，j)表示失真图像的差异图，D表示尺寸调整后的失真图像，Dup_sample表示缩放处理后的图像，(i，j)为像素坐标。
结合第一方面，进一步的，所述质量评价模型的构建方法为：
获取用于图像质量评价的深度回归网络模型、元训练集和目标任务集，其中，元训练集和目标任务集均包括多组训练数据，每一组训练数据包括一副失真图像及其特征图集、失真图像对应的差异图及其特征图集；
将元训练集划分为支持集和查询集；
根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，得到质量先验模型；
利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
第二方面，本发明提出了一种无参考图像质量评价装置，包括：
图像预处理模块，一方面用于获取失真图像，并对失真图像进行尺寸调整，另一方面用于对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像，根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；
特征提取模块，用于提取尺寸调整后的失真图像和差异图的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集和差异图的特征图集；
图像质量评价模块，用于将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果。
结合第二方面，进一步的，所述装置还包括模型构建模块，用于构建质量评价模型；所述模型构建模块包括模型学习子模块和模型微调子模块，所述模型学习子模块获取用于图像质量评价的深度回归网络模型和元训练集，将元训练集划分为支持集和查询集，根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，得到质量先验模型；所述模型微调子模块获取目标任务集，利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
结合第二方面，进一步的，在特征提取模块中，得到失真图像的特征图集和差异图的特征图集的方法为：
利用Sobel水平与垂直方向梯度算子分别提取尺寸调整后的失真图像和差异图的梯度特征，得到尺寸调整后的失真图像和差异图的梯度图；
利用离散傅里叶变换将尺寸调整后的失真图像和差异图分别从空间域变换到频域，从频域中提取尺寸调整后的失真图像和差异图的相位谱特征和振幅谱特征，得到尺寸调整后的失真图像和差异图的相位谱图和振幅谱图；
利用离散余弦变换将尺寸调整后的失真图像和差异图分别从空间域变换到DCT域，从DCT域中提取尺寸调整后的失真图像和差异图的频谱特征，得到尺寸调整后的失真图像和差异图的频谱图。
第三方面，本发明提出了一种无参考图像质量评价装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
第四方面，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
采用以上技术手段后可以获得以下优势：
本发明提出了一种无参考图像质量评价方法、装置及存储介质，从失真图像的空域和频域上分别提取多分辨率梯度特征、相位谱特征、振幅谱特征和频谱特征，通过多分辨率空频特性与图像的组合能够更直接地表达了质量相关特征。利用在元学习框架下训练构建的质量评价模型处理特征集合，可以得到失真图像的质量评价结果，即失真图像的失真程度，与现有技术相比，本发明不需要参考图像，方法局限性较小，具有更好的质量预测准确性和泛化能力。
从网络模型训练的角度看，本发明提取的特征集合在原始失真图像的基础上进行了数据增强，数量增加到了原来的10倍，且增强后的数据与原始失真图像的质量分数保持一直，能够在有效避免模型过拟合问题的同时保证模型精度。
本发明通过元学习框架进行模型训练，可以在图像质量评价任务中更快更好地学习到质量评价模型，与此同时，本发明还对不同的目标质量评价任务(即测试集)，可利用其中少量样本对先验模型进行微调训练，可以实现快速泛化。
附图说明
图1为本发明一种无参考图像质量评价方法的步骤流程图；
图2为本发明实施例中质量评价模型构建方法的步骤流程图；
图3为本发明实施例中深度回归网络的构造示意图；
图4为本发明一种无参考图像质量评价装置的结构示意图；
图中，1是图像预处理模块，2是特征提取模块，3是图像质量评价模块，4是模型构建模块。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
实施例1：
现有的直接利用深度卷积神经网络构建的图像质量评价模型容易出现过拟合问题，导致模型的可扩展性不理想。针对这个问题，在本实施例中提出一种基于多分辨率空频特性和元学习的无参考图像质量评价方法，旨在利用元学习方法解决通用型图像质量评价模型的可扩展性问题。
如图1所示，本发明方法具体包括如下步骤：
步骤A、获取失真图像，并对失真图像进行尺寸调整，具体的，将输入的失真图像空间尺寸统一调整为256×256。
步骤B、为了更好的评价图像质量，提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集，其中，梯度图、相位谱图、振幅谱图、频谱图是符合人眼视觉特性的与图像质量紧密相关的特征表示。
步骤B01、利用Sobel水平与垂直方向梯度算子提取尺寸调整后的失真图像的梯度特征，得到梯度图。
获取Sobel水平与垂直方向梯度算子(Gx，Gy)：
Figure BDA0003810332790000081
Figure BDA0003810332790000082
利用Sobel水平与垂直方向梯度算子(Gx，Gy)与尺寸调整后的失真图像D作平面卷积，得到尺寸调整后的失真图像D在像素坐标(i，j)位置上的水平方向梯度
Figure BDA0003810332790000083
和垂直方向梯度
Figure BDA0003810332790000084
根据水平方向梯度
Figure BDA0003810332790000085
和垂直方向梯度
Figure BDA0003810332790000086
计算尺寸调整后的失真图像D在像素坐标(i，j)位置上的梯度幅值
Figure BDA0003810332790000087
Figure BDA0003810332790000088
利用尺寸调整后的失真图像中所有像素坐标对应的梯度幅值构成梯度图。
步骤B02、利用离散傅里叶变换将尺寸调整后的失真图像从空间域变换到频域，记失真图像D在像素坐标(i，j)位置经过二维离散傅里叶变换从空间域变换到频域F(u，v)，从频域中提取尺寸调整后的失真图像的相位谱特征和振幅谱特征，得到相位谱图和振幅谱图。
步骤B03、利用离散余弦变换(DCT)将尺寸调整后的失真图像从空间域变换到DCT域，记失真图像D在像素坐标(i，j)位置经过离散余弦变换(DCT)从空间域变换到DCT域DCT(u，v)，从DCT域中提取尺寸调整后的失真图像的频谱特征，得到频谱图。
步骤C、对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像。
步骤C01、失真图像D经过高斯下采样图像，分辨率缩小至原来的一半，得到下采样图像Ddown_sample。
步骤C02、通过双三次插值将下采样图像Ddown_sample的尺寸恢复至256×256，得到恢复图像Dup_sample，即缩放处理后的图像。
步骤D、根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图，失真图像的差异图为：
f(i，j)＝|D-Dup_sample| (8)
其中，f(i，j)表示失真图像的差异图，D表示尺寸调整后的失真图像，Dup_sample表示缩放处理后的图像，(i，j)为像素坐标。
步骤E、根据步骤B的操作，提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集。
步骤F、将失真图像及其特征图集、差异图及其特征图集作为十个质量相关的数据集，输入预先构建的质量评价模型，得到失真图像的质量评价结果，质量评价结果可以是文字也可以是数字，其反映了失真图像的失真程度。
在本发明实施例中，如图2所示，质量评价模型的构建方法为：
(1)获取用于图像质量评价的深度回归网络模型、元训练集和目标任务集，其中，深度回归网络模型的网络结构如图3所示；元训练集和目标任务集均包括多组训练数据，每一组训练数据包括一副失真图像及其特征图集、失真图像对应的差异图及其特征图集。
获取用于模型训练的原始图像数据，然后通过步骤A～E对图像数据进行处理，训练图像的主观质量分数同时作为其对应特征图的标签，得到元训练集和目标任务集。一般情况下，元训练集是一些已知失真图像，目标任务集是一些未知失真图像。在本发明实施例中，元训练集包括TID2013和KADID-10K两个数据集，目标任务集采用LIVE Challenge数据集。
(2)将元训练集划分为支持集和查询集，支持集和查询集的比例设为80％和20％。
(3)根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，学习不同图像属性与图像质量的联系以及多个任务之间的共享先验知识，得到质量先验模型。
在元学习框架下，首先，利用支持集计算深度回归网络模型的模型参数的梯度，并采用随机梯度下降法对模型中的参数进行初步更新，然后，利用查询集中的图像来验证更新后的模型是否被有效地执行，通过从支持集到查询集的两级梯度下降方法优化模型参数，能够更快、更好的学习到鲁棒的质量先验模型。
(4)利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
获取少量的目标质量评价任务的标注样本(目标任务集)，对质量先验模型进行小规模训练，再次更新模型参数，使模型更好的针对目标图像集。
为解决通用型图像质量评价模型的可扩展性问题，本发明利用元学习方法，先通过多个质量相关的任务学到一个鲁棒的质量先验模型，再输入少量目标质量评价任务的标注样本进行微调训练，能够快速地实现泛化。本发明有效利用了失真图像的多分辨率空频特性和元学习构建质量预测模型，具有更好的质量预测准确性和泛化能力。
实施例2：
本发明还提出了一种无参考图像质量评价装置，如图4所示，主要包括：图像预处理模块1、特征提取模块2、图像质量评价模块3、模型构建模块4。
图像预处理模块一方面用于获取失真图像，并对失真图像进行尺寸调整，另一方面用于对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像，根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图。
特征提取模块主要用于提取尺寸调整后的失真图像和差异图的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集和差异图的特征图集。特征提取模块的具体操作如下：
利用Sobel水平与垂直方向梯度算子分别提取尺寸调整后的失真图像和差异图的梯度特征，得到尺寸调整后的失真图像和差异图的梯度图。
利用离散傅里叶变换将尺寸调整后的失真图像和差异图分别从空间域变换到频域，从频域中提取尺寸调整后的失真图像和差异图的相位谱特征和振幅谱特征，得到尺寸调整后的失真图像和差异图的相位谱图和振幅谱图。
利用离散余弦变换将尺寸调整后的失真图像和差异图分别从空间域变换到DCT域，从DCT域中提取尺寸调整后的失真图像和差异图的频谱特征，得到尺寸调整后的失真图像和差异图的频谱图。
图像质量评价模块主要用于将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果。
模型构建模块用于构建质量评价模型。模型构建模块包括模型学习子模块和模型微调子模块，其中，模型学习子模块获取用于图像质量评价的深度回归网络模型和元训练集，将元训练集划分为支持集和查询集，根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，得到质量先验模型；模型微调子模块获取目标任务集，利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
实施例3：
本发明还提出了一种无参考图像质量评价装置，包括处理器及存储介质；其中，存储介质用于存储指令；处理器用于根据所述指令进行操作以执行实施例1中无参考图像质量评价方法的步骤。
实施例4：
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1中无参考图像质量评价方法的步骤。
与现有技术相比，本发明在构建图像质量评价模型时，更好地利用了图像多分辨率空频特性和元学习框架，对训练图像集从空域和频域上分别提取多分辨率梯度特征、经离散傅立叶变换得到的相位谱特征和振幅谱特征、经离散余弦变换得到的频谱特征构建元学习的训练子集，更直接地表达了质量相关特征，通过元学习框架可以在图像质量评价任务中更快更好地学习到质量评价模型。
本发明对失真图像进行特征提取，基于多分辨率空频特性提取空频特征图像进行模型训练和图像质量评价，从网络模型训练的角度看，本发明能够将训练集图像的数量增加到了原来的10倍，因此有效避免了模型过拟合问题。同时，利用元学习框架在训练集上学习到质量先验模型后，对不同的目标质量评价任务可利用其中少量样本对先验模型进行微调训练，即可实现快速泛化。
与全参考图像质量评价、半参考图像质量评价相比，本发明不需要依赖参考图像或其部分信息，适应性更强，与传统的无参考图像质量评价相比，本发明提供了一个通用的可扩展性高的、能够适应小样本学习问题的无参考图像质量评价方法，能够避免网络参数过拟合问题，还能够提高图像质量评价精度，对图像质量评价技术领域有重要意义。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种无参考图像质量评价方法，其特征在于，包括如下步骤：
获取失真图像，并对失真图像进行尺寸调整；
提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集；
对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像；
根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；
提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集；
将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果。
2.根据权利要求1所述的一种无参考图像质量评价方法，其特征在于，提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图的方法为：
利用Sobel水平与垂直方向梯度算子提取尺寸调整后的失真图像的梯度特征，得到梯度图；
利用离散傅里叶变换将尺寸调整后的失真图像从空间域变换到频域，从频域中提取尺寸调整后的失真图像的相位谱特征和振幅谱特征，得到相位谱图和振幅谱图；
利用离散余弦变换将尺寸调整后的失真图像从空间域变换到DCT域，从DCT域中提取尺寸调整后的失真图像的频谱特征，得到频谱图。
3.根据权利要求2所述的一种无参考图像质量评价方法，其特征在于，利用Sobel水平与垂直方向梯度算子提取尺寸调整后的失真图像的梯度特征，得到梯度图的方法为：
获取Sobel水平与垂直方向梯度算子(Gx,Gy)：
Figure FDA0003810332780000021
Figure FDA0003810332780000022
利用Sobel水平与垂直方向梯度算子(Gx,Gy)与尺寸调整后的失真图像D作平面卷积，得到尺寸调整后的失真图像D在像素坐标(i,j)位置上的水平方向梯度
Figure FDA0003810332780000023
和垂直方向梯度
Figure FDA0003810332780000024
根据水平方向梯度
Figure FDA0003810332780000025
和垂直方向梯度
Figure FDA0003810332780000026
计算尺寸调整后的失真图像D在像素坐标(i,j)位置上的梯度幅值
Figure FDA0003810332780000027
Figure FDA0003810332780000028
利用尺寸调整后的失真图像中所有像素坐标对应的梯度幅值构成梯度图。
4.根据权利要求1所述的一种无参考图像质量评价方法，其特征在于，失真图像的差异图为：
f(i,j)＝|D-Duo_sample|
其中，f(i,j)表示失真图像的差异图，D表示尺寸调整后的失真图像，Dup_sample表示缩放处理后的图像，(i,j)为像素坐标。
5.根据权利要求1所述的一种无参考图像质量评价方法，其特征在于，所述质量评价模型的构建方法为：
获取用于图像质量评价的深度回归网络模型、元训练集和目标任务集，其中，元训练集和目标任务集均包括多组训练数据，每一组训练数据包括一副失真图像及其特征图集、失真图像对应的差异图及其特征图集；
将元训练集划分为支持集和查询集；
根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，得到质量先验模型；
利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
6.一种无参考图像质量评价装置，其特征在于，包括：
图像预处理模块，一方面用于获取失真图像，并对失真图像进行尺寸调整，另一方面用于对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像，根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；
特征提取模块，用于提取尺寸调整后的失真图像和差异图的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集和差异图的特征图集；
图像质量评价模块，用于将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果。
7.根据权利要求6所述的一种无参考图像质量评价装置，其特征在于，所述装置还包括模型构建模块，用于构建质量评价模型；所述模型构建模块包括模型学习子模块和模型微调子模块，所述模型学习子模块获取用于图像质量评价的深度回归网络模型和元训练集，将元训练集划分为支持集和查询集，根据支持集和查询集，在元学习框架下利用两层梯度下降方法对深度回归网络模型进行模型训练，得到质量先验模型；所述模型微调子模块获取目标任务集，利用目标任务集对质量先验模型的模型参数进行微调，得到最终的质量评价模型。
8.根据权利要求6所述的一种无参考图像质量评价装置，其特征在于，在特征提取模块中，得到失真图像的特征图集和差异图的特征图集的方法为：
利用Sobel水平与垂直方向梯度算子分别提取尺寸调整后的失真图像和差异图的梯度特征，得到尺寸调整后的失真图像和差异图的梯度图；
利用离散傅里叶变换将尺寸调整后的失真图像和差异图分别从空间域变换到频域，从频域中提取尺寸调整后的失真图像和差异图的相位谱特征和振幅谱特征，得到尺寸调整后的失真图像和差异图的相位谱图和振幅谱图；
利用离散余弦变换将尺寸调整后的失真图像和差异图分别从空间域变换到DCT域，从DCT域中提取尺寸调整后的失真图像和差异图的频谱特征，得到尺寸调整后的失真图像和差异图的频谱图。
9.一种无参考图像质量评价装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
CN202211009923.4A 2022-08-23 2022-08-23 一种无参考图像质量评价方法、装置及存储介质 Active CN115359000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009923.4A CN115359000B (zh) 2022-08-23 2022-08-23 一种无参考图像质量评价方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009923.4A CN115359000B (zh) 2022-08-23 2022-08-23 一种无参考图像质量评价方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115359000A true CN115359000A (zh) 2022-11-18
CN115359000B CN115359000B (zh) 2025-08-15

Family

ID=84002857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009923.4A Active CN115359000B (zh) 2022-08-23 2022-08-23 一种无参考图像质量评价方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115359000B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880259A (zh) * 2022-12-15 2023-03-31 上海精测半导体技术有限公司 Sem图像质量评价方法
CN119339156A (zh) * 2024-11-15 2025-01-21 贵州大学 一种基于空-频域层次学习的小样本细粒度图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815839A (zh) * 2017-01-18 2017-06-09 中国科学院上海高等研究院 一种图像质量盲评估方法
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN110111326A (zh) * 2019-05-15 2019-08-09 西安科技大学 基于ert系统的重建图像质量评价方法
CN112419270A (zh) * 2020-11-23 2021-02-26 深圳大学 元学习下的无参考图像质量评价方法、装置及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
CN106815839A (zh) * 2017-01-18 2017-06-09 中国科学院上海高等研究院 一种图像质量盲评估方法
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN110111326A (zh) * 2019-05-15 2019-08-09 西安科技大学 基于ert系统的重建图像质量评价方法
CN112419270A (zh) * 2020-11-23 2021-02-26 深圳大学 元学习下的无参考图像质量评价方法、装置及计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HANCHENG ZHU 等: "MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 5 August 2020 (2020-08-05) *
LIXIONG LIU 等: "No-reference image quality assessment based on spatial and spectral entropies", SIGNAL PROCESSING: IMAGE COMMUNICATION, 23 June 2014 (2014-06-23) *
WENXIN DING 等: "No-reference Panoramic Image Quality Assessment based on Adjacent Pixels Correlation", IEEE, 1 October 2021 (2021-10-01) *
郑静: "基于多流网络与元学习模型的盲图像质量评价方法", 中国优秀硕士论文全文数据库, 15 May 2024 (2024-05-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880259A (zh) * 2022-12-15 2023-03-31 上海精测半导体技术有限公司 Sem图像质量评价方法
CN119339156A (zh) * 2024-11-15 2025-01-21 贵州大学 一种基于空-频域层次学习的小样本细粒度图像分类方法
CN119339156B (zh) * 2024-11-15 2025-08-12 贵州大学 一种基于空-频域层次学习的小样本细粒度图像分类方法

Also Published As

Publication number Publication date
CN115359000B (zh) 2025-08-15

Similar Documents

Publication Publication Date Title
CN109754391B (zh) 一种图像质量评价方法、装置及电子设备
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110956126B (zh) 一种联合超分辨率重建的小目标检测方法
CN106683048B (zh) 一种图像超分辨率方法及设备
JP6739517B2 (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
CN107729948B (zh) 图像处理方法及装置、计算机产品和存储介质
Yue et al. Deep recursive super resolution network with Laplacian Pyramid for better agricultural pest surveillance and detection
Prajapati et al. Unsupervised single image super-resolution network (USISResNet) for real-world data using generative adversarial network
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
JP2021190105A (ja) 欠陥検出方法及び装置
CN106446936B (zh) 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法
CN107154023A (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108961180B (zh) 红外图像增强方法及系统
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN111784624B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN116258632B (zh) 一种基于文本辅助的文本图像超分辨率重建方法
CN115359000A (zh) 一种无参考图像质量评价方法、装置及存储介质
CN113962928A (zh) 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质
CN116452418A (zh) 低分辨率图像目标识别的方法、装置及系统
CN116863332B (zh) 一种低分辨率振动图像目标检测网络结构、训练方法及应用
US20230386252A1 (en) Low-resolution face recognition device and low-resolution face recognizer learning device and method
US20230110393A1 (en) System and method for image transformation
Kutyrev et al. Apple flower recognition using convolutional neural networks with transfer learning and data augmentation technique
US12079957B2 (en) Modeling continuous kernels to generate an enhanced digital image from a burst of digital images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant