[go: up one dir, main page]

CN114842261B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质

Info

Publication number
CN114842261B
CN114842261B CN202210507448.7A CN202210507448A CN114842261B CN 114842261 B CN114842261 B CN 114842261B CN 202210507448 A CN202210507448 A CN 202210507448A CN 114842261 B CN114842261 B CN 114842261B
Authority
CN
China
Prior art keywords
image
category
attribute value
current
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210507448.7A
Other languages
English (en)
Other versions
CN114842261A (zh
Inventor
贺俊东
赵婷婷
徐小钦
胥晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China West Normal University
Original Assignee
China West Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China West Normal University filed Critical China West Normal University
Priority to CN202210507448.7A priority Critical patent/CN114842261B/zh
Publication of CN114842261A publication Critical patent/CN114842261A/zh
Application granted granted Critical
Publication of CN114842261B publication Critical patent/CN114842261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、电子设备及存储介质。该方法包括:获取待分类图像,并确定待分类图像的特征向量;将待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值;确定特征向量与各参考类别向量之间的相似度,得到待分类图像与各参考类别标识相对应的第二属性值;基于各第一属性值和各第二属性值,确定待分类图像对应的目标类别。解决了现有技术中基于单一图像识别模型识别待分类图像,得到识别结果,导致识别效率低的问题,实现减少成本消耗的同时,达到提高图像识别精度和效率的效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机处理技术,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在图像识别技术领域,一般为了提高图像识别的效率,人们越来越倾向于通常使用训练后的图像识别模型,对待识别图像进行识别,得到识别结果。
但是如果想要获得高精度的识别模型,常常需要利用大量的已标记类别的图像对模型进行训练,在模型训练的过程中,模型也只会往自己认为是正确的方向去学习。例如,如果将一张猫的图片以一个比较高的概率被识别成了狗,那么模型会一直学习这种错误的知识,从而导致基于单一训练后的图像识别模型进行识别,识别准确率低的问题。同时,如果想增加一个新类别的识别,使模型可以对新类别进行自动识别,需要利用大量新类别样本图像重新训练模型,消耗大量时间成本的同时,导致工作效率低的问题。
发明内容
本发明实施例提供一种图像处理方法、装置、电子设备及存储介质,以实现提高对不同类别图像识别的准确度,降低成本消耗。
第一方面,本发明实施例提供了一种图像处理方法,该方法包括:
获取待分类图像,并确定所述待分类图像的特征向量;
将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值;
确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
第二方面,本发明实施例还提供了一种图像处理装置,该装置包括:
特征向量确定模块,用于获取待分类图像,并确定所述待分类图像的特征向量;
第一属性值获取模块,用于将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值;
第二属性值获取模块,用于确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
目标类别确定模块,用于基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
第三方面,本发明实施例还提供了一种电子设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的图像处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例任一所述的图像处理方法。
本发明实施例的技术方案,通过获取待分类图像,并确定待分类图像的特征向量,将待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值,以及确定特征向量与各参考类别向量之间的相似度,得到待分类图像与各参考类别标识相对应的第二属性值,基于各第一属性值和各第二属性值,确定待分类图像对应的目标类别,解决了现有技术中基于单一图像识别模型识别待分类图像,得到识别结果,导致识别效率低的问题,实现了基于各图像分类模型对待分类图像进行分别识别,得到与各实际分类类别相对应的第一属性值,同时还基于各参考类别向量与待分类图像特征向量之间的相似度,得到与各参考类别标识相对应的第二属性值,进而基于各第一属性值和各第二属性值,综合确定待分类图像对应的目标类别,以实现基于各图像分类模型以及各参考类别向量综合对图像进行识别,提高对不同类别图像识别的准确度,以及不需重建模型,即可基于各参考类别向量确定图像分类模型识别不出来的类型图像,减少成本消耗,达到提高图像识别精度以及效率的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种图像处理方法的流程图;
图2为本发明实施例二所提供的一种图像处理方法的流程图;
图3为本发明实施例四所提供的一种图像处理装置的结构框图;
图4为本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种图像处理方法的流程图,本实施例可适用于图像分类的情况,该方法可以由本发明实施例中的图像处理装置来执行,该装置可以采用软件和/或硬件的方式来实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务端等。该装置可配置于计算设备中,本实施例提供的图像处理方法具体包括如下步骤:
S110、获取待分类图像,并确定所述待分类图像的特征向量。
其中,待分类图像可以理解为需要被识别的图像,可以是基于摄像装置采集的图像,也可以是从存储空间中预先存储的图像,相应的,待分类图像可以为动物图像、病灶图像、人物图像等等。待分类图像还可以是与图像分类模型相对应的图像,例如,如果图像分类模型为动物识别模型,那么待分类图像可以为动物图像,如果图像分类模型为人物识别模型,那么待分类图像可以为人物图像。需要说明的是,待分类图像可以为一幅,也可以为多幅,此处不做限定,例如,在实际场景中,如果为了得到大量的标记样本图像,此时可以获取尽可能多的待分类图像,以使基于本技术方案对待分类图像进行识别,得到标记好类别的样本图像。特征向量可以用于表示图像的唯一性,可选的,可以通过提取图像像素点信息得到特征向量,可以为通过提取图像关键特征点信息得到特征向量。
在实际应用中,可以将任意需要识别的图像作为待分类图像。也可以将与图像分类模型相对应的图像作为待分类图像,以使后续基于图像分类模型对待分类图像进行识别。可以利用特征提取算法对待分类图像进行特征提取,得到待分类图像所对应的特征向量,以使后续基于特征向量综合确定待分类图像的类别,提高图像识别的准确度。
S120、将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值。
其中,图像分类模型可以是预先训练好的、用于对图像进行类别识别的模型。实际分类类别是指图像分类模型可以识别的类别,例如,若图像分类模型为动物识别模型,则实际分类类别可以为柯基、柴犬、哈士奇、金毛等等。
在实际应用中,为了提高图像识别的准确度,防止出现模型Confirmation Bias(证实性偏见)的问题,可以基于大量实际分类类别的图像预先训练好多个独立的图像分类模型,每个图像分类模型均具有对各实际分类类别图像的识别能力。当将待分类图像分别输入至各图像分类模型中,最终得到与各实际分类类别相对应的置信度,作为第一属性值。例如,当将待分类图像A分别输入至模型1、模型2、模型3中,可以得到柯基、柴犬、哈士奇、金毛等各实际分类类别分别所对应的第一属性值。以使后续通过比较各第一属性值的大小确定待分类图像A属于哪个实际分类类别。
需要说明的是,当将待分类图像分别输入各图像分类模型中,每个图像分类模型均可以对图像进行识别处理,各模型均可以输出各实际分类类别相对应的置信度,相应的,每个实际分类类别的置信度可以存在多个,可以将某个实际分类类别包含的多个置信度进行融合处理,得到该实际分类类别对应的综合置信度,作为第一属性值,相应的,可以得到各实际分类类别所对应的第一属性值。
可选的,将待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值,包括:针对各图像分类模型,将待分类图像输入至当前图像分类模型中,得到与当前图像分类模型所对应的至少一个实际分类类别的待使用属性值;针对各实际分类类别,确定与当前实际分类类别相对应的至少一个待使用属性值,并对至少一个待使用属性值均值处理,得到与当前实际分类类别所对应的第一属性值。
需要说明的是,对每个图像分类模型的处理均相同,以其中一个图像分类模型作为当前图像分类模型进行说明。
在实际应用中,可以将待分类图像输入至当前图像分类模型中,当前图像分类模型输出与至少一个实际分类类别所对应的置信度,作为待使用属性值,例如,当将待分类图像A分别输入至模型1中,模型1可以输出柯基、柴犬、哈士奇、金毛等各实际分类类别分别对应的待使用属性值。相应的,每个图像分类模型均可以输出各实际分类类别分别对应的待使用属性值。需要说明的是,确定每个实际分类类别所对应的第一属性值的方式均相同,以其中一个实际分类类别作为当前实际分类类别进行说明。可以获取当前实际分类类别相对应的至少一个待使用属性值,进而可以对各待使用属性值进行均值处理,得到平均值,可以将所述平均值作为与当前实际分类类别所对应的第一属性值。例如,对于实际分类类别A,模型1输出的待使用属性值为0.3,模型2输出的待使用属性值为0.4,模型3输出的待使用属性值为0.5,那么实际分类类别A的第一属性值可以为(0.3+0.4+0.5)÷3=0.4。相应的,可以得到每个实际分类类别所对应的第一属性值。以使后续通过比较各第一属性值的大小确定待分类图像A属于哪个实际分类类别。
S130、确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值。
其中,参考类别向量与各参考类别标识相对应。参考类别标识可以用于表征类别的唯一性,例如,哈士奇类别可以用A表示,德牧类别可以用B表示。需要说明的是,参考类别标识所对应的类别可以与实际分类类别相一致,也可以与实际分类类别不一致,如实际分类类别为哈士奇、金毛,参考类别标识所对应的类别可以包括哈士奇、德牧。可以基于本技术方案识别图像分类模型所不具备识别类别的图像,如德牧,不需重新训练识别德牧图像的模型,提高识别效率。也可以基于本技术方案增强图像分类模型中对哈士奇类别图像的识别准确度。参考类别标识的向量形式的表示,即为参考类别向量。
在实际应用中,可以将待分类图像的特征向量每个参考类别标识相对应的参考类别向量分别进行比较,如,计算向量之间的相似度,作为与各参考类别标识所对应的第二属性值。
需要说明的是,在确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值之前,可以预先利用与某个参考类别标识相对应的图像,计算出该参考类别标识相对应的参考类别向量。如,可以提取每个图像的特征向量,进而对各特征向量进行融合处理,得到一个可以表征该参考类别标识的向量,作为参考类别向量。相应的,可以得到每个参考类别标识所对应的参考类别向量。
可选的,所述方法还包括:针对各参考类别标识,获取与当前参考类别标识相对应的至少一个第一原始图像,并分别确定与第一原始图像相对应的特征向量;通过对同一参考类别标识所对应的至少一个特征向量均值处理,确定与各参考类别标识相对应的参考类别向量。
需要说明的是,确定每个参考类别标识所对应的参考类别向量的方式均相同,以其中一个参考类别标识作为当前参考类别标识进行说明。第一原始图像可以为已标记类别的图像。
具体的,为了提高参考类别向量确定的准确度,进而提高基于参考类别向量进行图像识别的准确性,可以获取与当前参考类别标识相对应的尽可能多的第一原始图像,此时第一原始图像为标记了参考类别标识的图像。例如,参考类别标识为猫的类别标识,第一原始图像则为猫类别的图像。进一步的,可以利用特征提取算法提取当前参考类别标识对应的所有第一原始图像的特征向量,进而可以对各特征向量进行均值处理,得到均值,可以将所述均值作为当前参考类别标识所对应的参考类别向量。相应的,可以基于上述确定参考类别向量的方式,确定与各参考类别标识相对应的参考类别向量,以使后续基于参考类别向量确定待分类图像的类别。
需要说明的是,上述S120至S130可以顺序执行,也可以并行执行,具体的执行顺序不做限定,上述顺序只是对各步骤中技术方案进行解释的顺序,不是各步骤的执行顺序。
S140、基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
具体的,可以对各第一属性值和各第二属性值进行比较,将属性值最大的分类类别作为待分类图像对应的目标类别。也可以将各第一属性值和各第二属性值进行归一化处理,得到各属性值归一化处理后的属性值,可以将属性值最大的分类类别作为待分类图像对应的目标类别。
需要说明的是,各第一属性值和各第二属性值中可能存在相同分类类别所对应的属性值,例如,基于图像分类模型得到哈士奇的第一属性值,也基于哈士奇的参考类别向量得到了哈士奇对应的第二属性值。为了提高图像识别的精度,可以对这两个属性值进行融合处理,综合确定待分类图像属于哈士奇类别的属性值。相应的,可以得到所有分类类别所对应的第一属性值和第二属性值融合后的属性值,进而基于融合后的各属性值,确定待分类图像的最终类别。
可选的,基于各第一属性值和各第二属性值,确定待分类图像对应的目标类别,包括:确定包括各实际分类类别与各参考类别标识的集合,其中,所述集合中包括至少一个类别元素;针对各类别元素,确定与当前类别元素相对应的元素类型,并依据元素类型对当前类别元素的第一属性值和第二属性值进行处理,确定目标类别。
在实际应用中,可以将各实际分类类别与各参考类别标识进行合并处理,得到并集集合,可以将集合中的每个类别均作为一个类别元素。例如,实际分类类别为哈士奇、德牧、金毛,参考类别标识所对应的类别为哈士奇、德牧、柴犬,那么集合中包括哈士奇、德牧、金毛、柴犬等四个类别元素。需要说明的是,确定每个类别元素所对应的元素类型的方式均相同,可以以其中一个类别元素作为当前类别元素进行说明。可以确定与当前类别元素相对应的元素类型。可以依据元素类型对当前类别元素的第一属性值和第二属性值进行处理,确定目标类别。
可选的,确定与当前类别元素相对应的元素类型的实现过程可以是:若当前类别元素的属性值中包括第一属性值或第二属性值,则确定当前类别元素所对应的元素类型为第一类型;或,若当前类别元素的属性值中包括第一属性值和第二属性值,则确定当前类别元素所对应的元素类型为第二类型。
示例性的,假设当前类别元素为哈士奇类别,如果仅基于图像分类模型得到德牧类别对应的第一属性值,或,仅基于参考类别向量得到德牧类别对应的第二属性值,可以将德牧类别所对应的元素类型为第一类型;如果基于图像分类模型得到哈士奇类别对应的第一属性值,也基于参考类别向量得到哈士奇类别对应的第二属性值,可以将哈士奇类别所对应的元素类型为第二类型。
需要说明的是,当各元素类型均为第一类型时,可以说明各实际分类类别与各参考类别标识均不相同,未出现重复的类别,此时可以对各第一属性值和各第二属性值归一化处理,得到各属性值归一化处理后的属性值,可以将属性值最大的分类类别作为待分类图像对应的目标类别。当各元素类型中包括第二类型时,可以说明各实际分类类别与各参考类别标识中存在重复的类别,可以将重复的类别,即第二类型的类别元素所对应的第一属性值和第二属性值进行融合处理,得到可以综合评定该类别元素的属性值,进而可以基于该类别元素的属性值以及第一类型的类别元素的属性值,确定待分类图像对应的目标类别。
可选的,依据元素类型对当前类别元素的第一属性值和第二属性值进行处理,确定目标类别,包括:若各元素类型均为第一类型,则对各第一属性值和各第二属性值归一化处理,得到与每个类别元素所对应的第三属性值,并基于各第三属性值,确定待分类图像对应的目标类别;或,若各元素类型中包括第二类型,则对当前类别元素的第一属性值和第二属性值均值处理,得到与当前类别元素相对应的第四属性值,并基于各类别元素所对应的第四属性值,确定待分类图像对应的目标类别。
具体的,若各元素类型均为第一类型,则可以对所有第一属性值和所有第二属性值进行归一化处理,以使所有第一属性值和所有第二属性值的和为1,进而可以得到与每个类别元素所对应的属性值,即第三属性值。可以将各第三属性值中最大值所对应的分类类别作为待分类图像的目标类别。或者,若各元素类型中包括第二类型,则可以对当前类别元素所对应的第一属性值和第二属性值均值处理,如果当前类别元素为第一类型,则对应的第一属性值或第二属性值为0。例如,当前类别元素A为第一类型,第一属性值为0.2、第二属性值为0.3,则均值为(0.2+0.3)÷2=0.25。可以将均值作为当前类别元素A的第四属性值,相应的,可以得到每个类别元素所对应的第四属性值,可以将各第四属性值中最大值所对应的分类类别作为待分类图像的目标类别。
本实施例的技术方案,通过获取待分类图像,并确定待分类图像的特征向量,将待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值,以及确定特征向量与各参考类别向量之间的相似度,得到待分类图像与各参考类别标识相对应的第二属性值,基于各第一属性值和各第二属性值,确定待分类图像对应的目标类别,解决了现有技术中基于单一图像识别模型识别待分类图像,得到识别结果,导致识别效率低的问题,实现了基于各图像分类模型对待分类图像进行分别识别,得到与各实际分类类别相对应的第一属性值,同时还基于各参考类别向量与待分类图像特征向量之间的相似度,得到与各参考类别标识相对应的第二属性值,进而基于各第一属性值和各第二属性值,综合确定待分类图像对应的目标类别,以实现基于各图像分类模型以及各参考类别向量综合对图像进行识别,提高对不同类别图像识别的准确度,以及不需重建模型,即可基于各参考类别向量确定图像分类模型识别不出来的类型图像,减少成本消耗,达到提高图像识别精度以及效率的技术效果。
实施例二
图2为本发明实施例二所提供的一种图像处理方法的流程图,在前述实施例的基础上,所述方法还包括训练得到所述各图像分类模型。其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示,该方法具体包括如下步骤:
S210、获取各待训练分类模型所对应的训练样本集。
需要说明的是,本技术方案为了避免单一模型对图像进行识别出现证实性偏见的问题,以及解决传统获取标记样本难的问题,采用利用少量标记样本作为训练集,并将训练集分成若干部分,基于各部分的训练集分别单独训练对应的分类模型,得到相应训练后的分类模型,进而基于训练后的分类模型对未标记样本进行处理,得到标记好的样本,进而从标记好的样本中选择置信度高的标记样本加入训练集中,对训练后的分类模型进行重复训练,提高模型识别精度的同时,提高样本标记效率和成本。
其中,待训练分类模型可以理解为需要被训练的分类模型。训练样本集中包括至少一个训练样本,训练样本中包括与各实际分类类别相对应的第二原始图像。第二原始图像可以为已标记类别的图像。例如,实际分类类别为哈士奇类别,第二原始图像则为哈士奇类别的图像。
具体的,可以获取少量的与各实际分类类别相对应的第二原始图像,并把各第二原始图像分成若干份,可以将每份第二原始图像均作为一个待训练分类模型所对应的训练样本集,以及训练样本集对相应待训练分类模型进行训练。
S220、针对各待训练分类模型,将当前待训练分类模型所对应的当前训练样本中的第二原始图像作为所述当前待训练分类模型的输入,将实际分类类别作为所述当前待训练分类模型的输出,训练所述当前待训练分类模型,得到训练好的当前待训练分类模型。
需要说明的是,对每个待训练分类模型的处理方式均相同,可以以其中一个待训练分类模型作为当前待训练分类模型为例进行说明。
具体的,可以依据当前待训练分类模型所对应的训练样本集中的各训练样本对当前待训练分类模型进行训练,以得到训练好的当前待训练分类模型。需要说明的是,对每一个训练样本的处理方式都是相同的,以对其中一个训练样本处理为例来说明。可以将当前训练样本中的第二原始图像输入至当前待训练分类模型,模型可以对第二原始图像进行学习处理,可以输出第二原始图像对应的类别,进而可以利用算法对输出的类别与预期输出的实际分类类别进行损失处理,得到损失值,以使基于损失值对当前待训练分类模型中的模型参数进行修正,训练当前待训练分类模型,可以将当前待训练分类模型的损失函数收敛作为训练目标,例如,可以将损失函数的训练误差,即损失参数作为检测损失函数当前是否达到收敛的条件,比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定,或者当前的迭代次数是否等于预设次数。若检测达到收敛条件,比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定,表明当前待训练分类模型训练完成,此时可以停止迭代训练。若检测到当前未达到收敛条件,可以进一步获取训练样本对当前待训练分类模型继续进行训练,直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时,可以认为当前待训练分类模型训练好了,即得到训练好的当前待训练分类模型。以使在输入某个待分类图像时,训练好的当前待训练分类模型可以输出待分类图像的类别。
S230、将所述训练好的当前待训练分类模型重新作为当前待训练分类模型并训练,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
在实际应用中,为了提高模型训练的精度,可以继续获取标记样本,即第二原始图像,以基于第二原始图像继续训练所述训练好的当前待训练分类模型,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。为了提高图像分类模型识别的精度,可以将所述图像分类模型重新作为当前待训练分类模型,并重复执行训练当前待训练分类模型,得到图像分类模型的步骤,直至图像分类模型的识别状态满足预设要求时,可以将获取的图像分类模型作为最终的图像分类模型。
需要说明的是,为了减少标记样本采集的成本,在得到训练好的当前待训练分类模型之后,可以基于训练好的当前待训练分类模型对未标记样本图像进行处理,得到各未标记样本图像对应的类别,进而基于类别和相应未标记样本图像得到标记好的图像,可以将标记好的图像作为训练集,也可以将标记好的图像中置信度高于预设阈值的图像作为训练集,继续训练当前待训练分类模型。
可选的,将训练好的当前待训练分类模型重新作为当前待训练分类模型并训练,直至当前待训练分类模型的损失函数收敛,得到相应的图像分类模型,包括:获取至少一个待标注图像;将各待标注图像输入至训练好的当前待训练分类模型,输出各待标注图像所对应的实际分类类别以及相应的待处理属性值,并将训练好的当前待训练分类模型重新作为当前待训练分类模型;基于预设属性值阈值、各待处理属性值以及相应的实际分类类别,从各待标注图像中确定目标标注图像;基于各目标标注图像更新训练样本集,并基于更新后的训练样本集重新执行训练当前待训练分类模型的步骤,直至当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
其中,待标注图像可以理解为需要被标记的图像。
在本实施例中,可以尽可能多而丰富的获取待标注图像,进而可以将各待标注图像作为训练好的当前待训练分类模型的输入,模型输出各待标注图像所对应的实际分类类别以及相应的置信度,即待处理属性值。可以将待处理属性值大于预设属性值阈值的待标注图像作为待处理图像,可以将各待处理图像与相应的实际分类类别进行标记处理,得到将待处理图像标记好的图像,作为目标标注图像。可以将各目标标注图像添加入当前待训练分类模型所对应的历史训练样本集,得到新的训练样本集,并基于新的训练样本集重新执行训练当前待训练分类模型的步骤,直至当前待训练分类模型的损失函数收敛,得到相应的图像分类模型,以使在输入某个待分类图像时,训练好的图像分类模型可以准确的输出待分类图像的目标类别。
S240、获取待分类图像,并确定所述待分类图像的特征向量。
S250、将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值。
S260、确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值。
S270、基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
本实施例的技术方案,通过利用少量标记样本作为训练集训练多个待训练分类模型,避免了单一模型对图像进行识别出现证实性偏见的问题,同时基于各部分的训练集分别单独训练对应的分类模型,得到相应训练后的分类模型,进而基于训练后的分类模型对未标记样本进行处理,得到标记好的样本,进而从标记好的样本中选择置信度高的标记样本加入训练集中,对训练后的分类模型进行重复训练,提高模型识别精度的同时,提高样本标记效率和成本。
实施例三
作为上述实施例的一可选实施例,为了使本领域技术人员进一步清楚本发明实施例的技术方案,给出具体的应用场景实例。具体的,可以参见下述具体内容。
示例性的,假设图像分类模型的数量为3,在训练得到这三个图像分类模型时,可以将包括至少一个第二原始图像(LabelDataSset)作为总训练样本集(TrainDataSset),并将TrainDataSset分割为三份,得到TrainDataSset1、TrainDataSset2、TrainDataSset3。每一份训练样本集均作为一个待训练分类模型的训练样本集,例如,待训练分类模型可以为model1、model2、model3。可以将各训练样本集中的训练样本(train_sample)分别输入对应的待训练分类模型中,例如,train_sample1输入model1中,train_sample2输入model2中,train_sample3输入model3中,对模型进行训练,得到训练好的model1、model2、model3。进一步的,可以将各待标注图像(UnLabelDataSset)输入至训练好的待训练分类模型,得到标注好的图像,可以从标注好的图像中选出认为置信度大于预设属性阈值的标签样本加入总训练样本集(TrainDataSset)中。重复执行基于对TrainDataSset划分,得到TrainDataSset1、TrainDataSset2、TrainDataSset3的步骤,以及基于TrainDataSset1、TrainDataSset2、TrainDataSset3训练训练好的model1、model2、model3的步骤,直至得到训练好的各图像分类模型,实现流程的伪代码,如下所示:
#TrainDataSset=LabelDataSset
For epoch in Epoch:
#将总训练样本集分割为三份
TrainDataSset1,TrainDataSset2,TrainDataSset3=split(TrainData Sset)
For train_sample1,train_sample2,train_sample3 in TrainDataSset1,TrainDataSset2,TrainDataSset3:
model1=train_model(model1,train_sample1)
model2=train_model(model2,train_sample2)
model3=train_model(model3,train_sample3)
#使用当前的模型对未标注的数据集进行预测,得到新的总训练样本集TrainDataSset=LabelDataSset+FindNewData(model1,model2,model3,UnLabelDataSset)
在上述方案的基础上,还可以获取与当前参考类别标识相对应的至少一个第一原始图像,并分别确定与所述第一原始图像相对应的特征向量,通过对同一参考类别标识所对应的至少一个特征向量均值处理,确定与各参考类别标识相对应的参考类别向量,实现流程的伪代码,如下所示:
Animal2Embedding={}
#遍历收集到的第一原始图像
For image,label in InternetImages:
#将第一原始图像相对应的特征向量添加到对应的参考类别标识
Animal2Embedding[label].append(model(image))
For animal in Animal2Embedding:
#将同一参考类别标识所对应的各特征向量的均值作为与各参考类别标识相对应的参考类别向量
Animal2Embedding[label]=mean(Animal2Embedding[label])
在上述方案的基础上,还可以使用训练好的模型计算一个参考类别标识的参考类别向量,用于在推理时增强模型的效果。在结合参考类别向量以及图像分类模型综合确定待分类图像的目标类别的整体流程如下:
prob=model(x)+Top1Sim(x,model,Animal2Embedding)
其中,x表示待分类图像,model(x)代表图像分类模型输出的第一属性值,Animal2Embedding表示参考类别向量,Top1Sim(x,model,Animal2Embedding)表示待分类图像的特征向量与参考类别向量的相似度,即第二属性值,prob表示待分类图像的综合评定结果。在实际场景中,当存在多个参考类别标识的参考类别向量时,可以通过计算待分类图像的特征向量与每一个参考类别向量的相似度,得到参考类别标识对应的第二属性值。当图像分类模型对应的实际分类类别与参考类别标识均不相同时,可以将第一属性值与各第二属性值最后通过SoftMax进行归一化,得到与每个类别所对应的第三属性值,可以将第三属性值中最大值作为代表目标类别的概率值,相应的,得到待分类图像的目标类别。
本实施例的技术方案,基于各图像分类模型对待分类图像进行分别识别,得到与各实际分类类别相对应的第一属性值,同时还基于各参考类别向量与待分类图像特征向量之间的相似度,得到与各参考类别标识相对应的第二属性值,进而基于各第一属性值和各第二属性值,综合确定待分类图像对应的目标类别,实现了基于各图像分类模型以及各参考类别向量综合对图像进行识别,提高对不同类别图像识别的准确度,以及不需重建模型,即可基于各参考类别向量确定图像分类模型识别不出来的类型图像,减少成本消耗,达到提高图像识别精度以及效率的技术效果。
实施例四
图3为本发明实施例四所提供的一种图像处理装置的结构框图。该装置包括:特征向量确定模块310、第一属性值获取模块320、第二属性值获取模块330和目标类别确定模块340。
其中,特征向量确定模块310,用于获取待分类图像,并确定所述待分类图像的特征向量;
第一属性值获取模块320,用于将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值;
第二属性值获取模块330,用于确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
目标类别确定模块340,用于基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
本实施例的技术方案,通过获取待分类图像,并确定待分类图像的特征向量,将待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值,以及确定特征向量与各参考类别向量之间的相似度,得到待分类图像与各参考类别标识相对应的第二属性值,基于各第一属性值和各第二属性值,确定待分类图像对应的目标类别,解决了现有技术中基于单一图像识别模型识别待分类图像,得到识别结果,导致识别效率低的问题,实现了基于各图像分类模型对待分类图像进行分别识别,得到与各实际分类类别相对应的第一属性值,同时还基于各参考类别向量与待分类图像特征向量之间的相似度,得到与各参考类别标识相对应的第二属性值,进而基于各第一属性值和各第二属性值,综合确定待分类图像对应的目标类别,以实现基于各图像分类模型以及各参考类别向量综合对图像进行识别,提高对不同类别图像识别的准确度,以及不需重建模型,即可基于各参考类别向量确定图像分类模型识别不出来的类型图像,减少成本消耗,达到提高图像识别精度以及效率的技术效果。
在上述装置的基础上,可选的,所述第一属性值获取模块320,包括待使用属性值确定单元和第一属性值确定单元。
待使用属性值确定单元,用于针对各图像分类模型,将所述待分类图像输入至当前图像分类模型中,得到与所述当前图像分类模型所对应的至少一个实际分类类别的待使用属性值;
第一属性值确定单元,用于针对各实际分类类别,确定与当前实际分类类别相对应的至少一个待使用属性值,并对所述至少一个待使用属性值均值处理,得到与所述当前实际分类类别所对应的第一属性值。
在上述装置的基础上,可选的,所述装置包括参考类别向量确定模块,所述参考类别向量确定模块,包括特征向量确定单元和参考类别向量确定单元。
特征向量确定单元,用于针对各参考类别标识,获取与当前参考类别标识相对应的至少一个第一原始图像,并分别确定与所述第一原始图像相对应的特征向量;
参考类别向量确定单元,用于通过对同一参考类别标识所对应的至少一个特征向量均值处理,确定与各参考类别标识相对应的参考类别向量。
在上述装置的基础上,可选的,所述目标类别确定模块340,包括集合确定单元和目标类别确定单元。
集合确定单元,用于确定包括各实际分类类别与各参考类别标识的集合,其中,所述集合中包括至少一个类别元素;
目标类别确定单元,用于针对各类别元素,确定与所述当前类别元素相对应的元素类型,并依据所述元素类型对所述当前类别元素的第一属性值和第二属性值进行处理,确定目标类别。
在上述装置的基础上,可选的,所述目标类别确定模块340,还包括元素类型确定单元。
元素类型确定单元,用于若所述当前类别元素的属性值中包括第一属性值或第二属性值,则确定所述当前类别元素所对应的元素类型为第一类型;或,
若所述当前类别元素的属性值中包括第一属性值和第二属性值,则确定所述当前类别元素所对应的元素类型为第二类型。
在上述装置的基础上,可选的,所述目标类别确定单元,包括目标类别确定子单元。
目标类别确定子单元,用于若各元素类型均为第一类型,则对各第一属性值和各第二属性值归一化处理,得到与每个类别元素所对应的第三属性值,并基于各第三属性值,确定所述待分类图像对应的目标类别;或,
若各元素类型中包括第二类型,则对所述当前类别元素的第一属性值和第二属性值均值处理,得到与所述当前类别元素相对应的第四属性值,并基于各类别元素所对应的第四属性值,确定所述待分类图像对应的目标类别。
在上述装置的基础上,可选的,所述装置还包括图像分类模型获取模块,所述图像分类模型获取模块,包括训练样本集获取单元、待训练分类模型训练单元和图像分类模型确定单元。
训练样本集获取单元,用于获取各待训练分类模型所对应的训练样本集;其中,所述训练样本集中包括至少一个训练样本,所述训练样本中包括与各实际分类类别相对应的第二原始图像;
待训练分类模型训练单元,用于针对各待训练分类模型,将当前待训练分类模型所对应的当前训练样本中的第二原始图像作为所述当前待训练分类模型的输入,将实际分类类别作为所述当前待训练分类模型的输出,训练所述当前待训练分类模型,得到训练好的当前待训练分类模型;
图像分类模型确定单元,用于将所述训练好的当前待训练分类模型重新作为当前待训练分类模型并训练,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
在上述装置的基础上,可选的,所述图像分类模型确定单元包括待标注图像获取子单元、待处理属性值输出子单元、目标标注图像确定子单元和图像分类模型确定子单元。
待标注图像获取子单元,用于获取至少一个待标注图像;
待处理属性值输出子单元,用于将各待标注图像输入至所述训练好的当前待训练分类模型,输出各待标注图像所对应的实际分类类别以及相应的待处理属性值,并将所述训练好的当前待训练分类模型重新作为当前待训练分类模型;
目标标注图像确定子单元,用于基于预设属性值阈值、各待处理属性值以及相应的实际分类类别,从各待标注图像中确定目标标注图像;
图像分类模型确定子单元,用于基于各目标标注图像更新所述训练样本集,并基于更新后的训练样本集重新执行训练当前待训练分类模型的步骤,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
实施例五
图4为本发明实施例五所提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图4显示的电子设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该电子设备40交互的设备通信,和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器412通过总线403与电子设备40的其它模块通信。应当明白,尽管图4中未示出,可以结合电子设备40使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的图像处理方法。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法。该方法包括:
获取待分类图像,并确定所述待分类图像的特征向量;
将所述待分类图像分别输入各图像分类模型中,得到与各实际分类类别相对应的第一属性值;
确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (5)

1.一种图像处理方法,其特征在于,包括:
获取待分类图像,并确定所述待分类图像的特征向量;
针对各图像分类模型,将所述待分类图像输入至当前图像分类模型中,得到与所述当前图像分类模型所对应的至少一个实际分类类别的待使用属性值;
针对各实际分类类别,确定与当前实际分类类别相对应的至少一个待使用属性值,并对所述至少一个待使用属性值均值处理,得到与所述当前实际分类类别所对应的第一属性值;
确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别;
其中,所述基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别,包括:
确定包括各实际分类类别与各参考类别标识的集合,其中,所述集合中包括至少一个类别元素;
针对各类别元素,确定与当前类别元素相对应的元素类型,包括;若所述当前类别元素的属性值中包括第一属性值或第二属性值,则确定所述当前类别元素所对应的元素类型为第一类型;或,若所述当前类别元素的属性值中包括第一属性值和第二属性值,则确定所述当前类别元素所对应的元素类型为第二类型;
依据所述元素类型对所述当前类别元素的第一属性值和第二属性值进行处理,确定目标类别,包括:若各元素类型均为第一类型,则对各第一属性值和各第二属性值归一化处理,得到与每个类别元素所对应的第三属性值,并基于各第三属性值,确定所述待分类图像对应的目标类别;或,若各元素类型中包括第二类型,则对所述当前类别元素的第一属性值和第二属性值均值处理,得到与所述当前类别元素相对应的第四属性值,并基于各类别元素所对应的第四属性值,确定所述待分类图像对应的目标类别;
所述方法还包括:
针对各参考类别标识,获取与当前参考类别标识相对应的至少一个第一原始图像,并分别确定与所述第一原始图像相对应的特征向量,其中,所述第一原始图像为已标记类别的图像;
通过对同一参考类别标识所对应的至少一个特征向量均值处理,确定与各参考类别标识相对应的参考类别向量。
2.根据权利要求1所述的方法,其特征在于,还包括:
训练得到所述各图像分类模型;
所述训练得到所述各图像分类模型,包括:
获取各待训练分类模型所对应的训练样本集;其中,所述训练样本集中包括至少一个训练样本,所述训练样本中包括与各实际分类类别相对应的第二原始图像;
针对各待训练分类模型,将当前待训练分类模型所对应的当前训练样本中的第二原始图像作为所述当前待训练分类模型的输入,将实际分类类别作为所述当前待训练分类模型的输出,训练所述当前待训练分类模型,得到训练好的当前待训练分类模型;
将所述训练好的当前待训练分类模型重新作为当前待训练分类模型并训练,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述训练好的当前待训练分类模型重新作为当前待训练分类模型并训练,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型,包括:
获取至少一个待标注图像;
将各待标注图像输入至所述训练好的当前待训练分类模型,输出各待标注图像所对应的实际分类类别以及相应的待处理属性值,并将所述训练好的当前待训练分类模型重新作为当前待训练分类模型;
基于预设属性值阈值、各待处理属性值以及相应的实际分类类别,从各待标注图像中确定目标标注图像;
基于各目标标注图像更新所述训练样本集,并基于更新后的训练样本集重新执行训练当前待训练分类模型的步骤,直至所述当前待训练分类模型的损失函数收敛,得到相应的图像分类模型。
4.一种图像处理装置,其特征在于,包括:
特征向量确定模块,用于获取待分类图像,并确定所述待分类图像的特征向量;
第一属性值获取模块,用于针对各图像分类模型,将所述待分类图像输入至当前图像分类模型中,得到与所述当前图像分类模型所对应的至少一个实际分类类别的待使用属性值;针对各实际分类类别,确定与当前实际分类类别相对应的至少一个待使用属性值,并对所述至少一个待使用属性值均值处理,得到与所述当前实际分类类别所对应的第一属性值;
第二属性值获取模块,用于确定所述特征向量与各参考类别向量之间的相似度,得到所述待分类图像与各参考类别标识相对应的第二属性值;其中,参考类别向量与各参考类别标识相对应;
目标类别确定模块,用于基于各第一属性值和各第二属性值,确定所述待分类图像对应的目标类别;
所述目标类别确定模块,包括集合确定单元和目标类别确定单元;
所述集合确定单元,用于确定包括各实际分类类别与各参考类别标识的集合,其中,所述集合中包括至少一个类别元素;
所述目标类别确定单元,用于针对各类别元素,确定与当前类别元素相对应的元素类型,并依据所述元素类型对所述当前类别元素的第一属性值和第二属性值进行处理,确定目标类别;
所述装置还包括参考类别向量确定模块,所述参考类别向量确定模块,包括特征向量确定单元和参考类别向量确定单元;
所述特征向量确定单元,用于针对各参考类别标识,获取与当前参考类别标识相对应的至少一个第一原始图像,并分别确定与所述第一原始图像相对应的特征向量,其中,所述第一原始图像为已标记类别的图像;
参考类别向量确定单元,用于通过对同一参考类别标识所对应的至少一个特征向量均值处理,确定与各参考类别标识相对应的参考类别向量;
所述目标类别确定模块,还包括元素类型确定单元;
所述元素类型确定单元,用于若所述当前类别元素的属性值中包括第一属性值或第二属性值,则确定所述当前类别元素所对应的元素类型为第一类型;或,若所述当前类别元素的属性值中包括第一属性值和第二属性值,则确定所述当前类别元素所对应的元素类型为第二类型;
所述目标类别确定单元,包括目标类别确定子单元;
所述目标类别确定子单元,用于若各元素类型均为第一类型,则对各第一属性值和各第二属性值归一化处理,得到与每个类别元素所对应的第三属性值,并基于各第三属性值,确定所述待分类图像对应的目标类别;或,若各元素类型中包括第二类型,则对所述当前类别元素的第一属性值和第二属性值均值处理,得到与所述当前类别元素相对应的第四属性值,并基于各类别元素所对应的第四属性值,确定所述待分类图像对应的目标类别。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一所述的图像处理方法。
CN202210507448.7A 2022-05-10 2022-05-10 图像处理方法、装置、电子设备及存储介质 Active CN114842261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210507448.7A CN114842261B (zh) 2022-05-10 2022-05-10 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210507448.7A CN114842261B (zh) 2022-05-10 2022-05-10 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114842261A CN114842261A (zh) 2022-08-02
CN114842261B true CN114842261B (zh) 2025-07-25

Family

ID=82570784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210507448.7A Active CN114842261B (zh) 2022-05-10 2022-05-10 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114842261B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761317B (zh) * 2022-11-09 2025-08-15 深圳大学 图像分类方法、装置、电子设备及存储介质
GB2627869B (en) * 2023-02-28 2025-09-17 Samsung Electronics Co Ltd Method and system for classifying images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技(深圳)有限公司 面部情绪识别方法、装置及存储介质
CN108319968A (zh) * 2017-12-27 2018-07-24 中国农业大学 一种基于模型融合的果蔬图像分类识别方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
CN108900769B (zh) * 2018-07-16 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
US10936912B2 (en) * 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks
CN109886222B (zh) * 2019-02-26 2022-03-15 北京市商汤科技开发有限公司 人脸识别方法、神经网络训练方法、装置及电子设备
CN110163300B (zh) * 2019-05-31 2021-04-23 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN110472675B (zh) * 2019-07-31 2023-04-18 Oppo广东移动通信有限公司 图像分类方法、图像分类装置、存储介质与电子设备
CN114424253B (zh) * 2019-11-08 2024-10-15 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN111626371B (zh) * 2020-05-29 2023-10-31 歌尔科技有限公司 一种图像分类方法、装置、设备及可读存储介质
CN111401344B (zh) * 2020-06-04 2020-09-29 腾讯科技(深圳)有限公司 人脸识别方法和装置及人脸识别系统的训练方法和装置
CN111860606B (zh) * 2020-06-24 2021-09-14 上海小零网络科技有限公司 图像分类的方法、装置以及存储介质
CN111914908B (zh) * 2020-07-14 2023-10-24 浙江大华技术股份有限公司 一种图像识别模型训练方法、图像识别方法及相关设备
CN112434178B (zh) * 2020-11-23 2024-07-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
CN113902960A (zh) * 2021-11-24 2022-01-07 上海商汤智能科技有限公司 神经网络训练及分类方法、装置、电子设备及存储介质
CN114121232A (zh) * 2021-11-26 2022-03-01 中科麦迪人工智能研究院(苏州)有限公司 分类模型训练方法、装置、电子设备及存储介质
CN114387373A (zh) * 2021-12-29 2022-04-22 北京字跳网络技术有限公司 图像处理方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技(深圳)有限公司 面部情绪识别方法、装置及存储介质
CN108319968A (zh) * 2017-12-27 2018-07-24 中国农业大学 一种基于模型融合的果蔬图像分类识别方法及系统

Also Published As

Publication number Publication date
CN114842261A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN112380981B (zh) 人脸关键点的检测方法、装置、存储介质及电子设备
CN113762508B (zh) 一种图像分类网络模型的训练方法、装置、设备和介质
CN109858555B (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
CN110175527B (zh) 行人再识别方法及装置、计算机设备及可读介质
US12046021B2 (en) Machine learning training dataset optimization
CN109118420B (zh) 水印识别模型建立及识别方法、装置、介质及电子设备
CN110188766B (zh) 基于卷积神经网络的图像主目标检测方法及装置
CN108172213A (zh) 娇喘音频识别方法、装置、设备及计算机可读介质
CN108154191B (zh) 文档图像的识别方法和系统
CN113177479B (zh) 图像分类方法、装置、电子设备及存储介质
CN114842261B (zh) 图像处理方法、装置、电子设备及存储介质
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN119810428B (zh) 轻量型实时目标检测方法、装置、服务器及存储介质
CN116611071A (zh) 一种基于多模态的函数级漏洞检测的方法
US11227186B2 (en) Method and device for training image recognition model and related device
CN116486109A (zh) 模态自适应的描绘性查询行人重识别方法及系统
CN110059542A (zh) 基于改进的Resnet的人脸活体检测的方法及相关设备
WO2023241102A1 (zh) 一种标签识别方法、装置、电子设备及存储介质
CN114626430B (zh) 情绪识别模型的训练方法、情绪识别方法、设备及介质
CN117851883B (zh) 一种基于跨模态大语言模型的场景文本检测与识别方法
CN111563429A (zh) 一种图纸校对方法、装置、电子设备及存储介质
CN112989869A (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质
Wang et al. Exploring contextual attribute density in referring expression counting
CN112200772A (zh) 痘痘检测设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant