[go: up one dir, main page]

CN111368889A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN111368889A
CN111368889A CN202010120932.5A CN202010120932A CN111368889A CN 111368889 A CN111368889 A CN 111368889A CN 202010120932 A CN202010120932 A CN 202010120932A CN 111368889 A CN111368889 A CN 111368889A
Authority
CN
China
Prior art keywords
image
deleted
processed
augmentation
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010120932.5A
Other languages
English (en)
Other versions
CN111368889B (zh
Inventor
陈鹏光
刘枢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010120932.5A priority Critical patent/CN111368889B/zh
Publication of CN111368889A publication Critical patent/CN111368889A/zh
Application granted granted Critical
Publication of CN111368889B publication Critical patent/CN111368889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种图像处理方法及装置,涉及数据处理技术领域,方法包括:获取待处理图像,待处理图像具有待识别主体;根据待处理图像的特征和/或待处理图像的图像处理类型,确定待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在待处理图像中;将待处理图像中的各待删除区域删除,得到增广图像;根据待处理图像以及增广图像确定训练数据集,并利用训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,图像识别模型用于识别待识别主体。本申请实施例能够均匀删除待处理图像中的多个待删除区域,并根据增广处理后的图像构成训练数据集,至少提高了计算机视觉模型训练精度。

Description

一种图像处理方法及装置
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种图像处理方法及装置。
背景技术
近年来,由于机器学习的广泛应用,基于机器学习或者深度学习的方法应用于各个技术领域并且取得了巨大的成功,例如基于机器学习或者深度学习的图像分类方法、目标检测方法以及语义分割方法都与传统方法相比,提高了计算的准确度以及速度。
在基于机器学习或者深度学习的方法在计算机视觉领域的应用过程中,需要对计算机视觉模型进行训练,在训练过程中需要大量的训练数据,否则会出现严重的过拟合问题。现有技术中通过图像增广的方式产生更多的训练数据,减少训练过程中的过拟合问题,使得训练出来的计算机视觉模型更加鲁棒。
但是现有技术中图像增广的方法是对待处理图像进行随机区域删除的,会产生删除区域过大或者保留的区域过大的情况,影响计算机视觉模型的训练结果。
申请内容
本申请实施例提供一种图像处理方法及装置,用以均匀删除待处理图像中的多个待删除区域,并根据增广处理后的图像构成训练数据集,至少提高了计算机视觉模型的训练精度。
一方面,本申请实施例提供一种图像处理方法,包括:
获取待处理图像,所述待处理图像具有待识别主体;
根据待处理图像的特征和/或待处理图像的图像处理类型,确定所述待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在所述待处理图像中;
将所述待处理图像中的各待删除区域删除,得到增广图像;
根据所述待处理图像以及所述增广图像确定训练数据集,并利用所述训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,所述图像识别模型用于识别所述待识别主体。一方面,本申请实施例提供一种图像处理装置,包括:
获取单元,用于获取待处理图像,所述待处理图像具有待识别主体;
删除区域确定单元,用于根据待处理图像的特征和/或待处理图像的图像处理类型,确定待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在待处理图像中;
增广图像确定单元,用于将待处理图像中的各待删除区域删除,得到增广图像;
训练单元,用于根据待处理图像以及增广图像确定训练数据集,并利用训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,图像识别模型用于识别待识别主体。
可选的,更新单元还用于:
将各待删除单元延第一方向和/或第二方向移动设定距离,得到更新的增广模板,其中所述第一方向与所述待处理图像或者所述增广图像的像平面坐标轴的X轴平行,所述第二方向与所述待处理图像或者所述增广图像的像平面坐标轴的Y轴平行;
根据更新的增广模板中的各待删除单元,删除所述增广图像或者所述待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
一方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现上述任一种图像处理方法的步骤。
一方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述任一种图像处理方法的步骤。
本申请实施例提供的图像处理方法,对待处理图像进行增广处理,并根据增广处理后的图像确定训练数据集,用于进行计算机视觉领域中图像识别模型的训练。具体的,本申请实施例中能够根据待处理图像的特征和/或待处理图像的图像处理类型,在待处理图像中确定多个待删除区域,且各待删除区域均匀分布在待处理图像中,将各待删除区域进行删除,得到了增广图像,根据待处理图像以及增广处理后得到的增广图像构成训练数据集,训练数据集可以用来进行模型训练,该模型至少可以是待处理图像的图像处理类型对应的图像识别模型。
与现有技术相比,本申请实施例中待处理图像的增广处理操作不会产生删除区域过大或者保留区域过大的问题,并且多个待删除区域是均匀分布在待处理图像中的,即每隔一段距离删除一个区域,避免了现有技术中删除区域是随机分布的,造成的删除区域过大或者保留区域过大的问题;并且待处理图像中具有进行图像识别的待识别主体,所以至少能够提高图像识别模型训练效果的准确度,避免了基于增广图像的图像识别模型在训练过程中出现的过拟合的情况。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种现有技术中矩形删除方法的增广结果示意图;
图2为本申请实施例提供的一种现有技术中正方形删除方法的增广结果示意图;
图3为本申请实施例提供的一种现有技术中分块随机删除方法的增广结果示意图;
图4为本申请实施例提供的一种图像处理方法的应用架构图;
图5为本申请实施例提供的一种图像处理方法流程示意图;
图6(a)~6(b)为本申请实施例提供的一种待处理图像的示意图;
图7(a)~7(d)为本申请实施例提供的一种各待删除区域均匀分布在待处理图像中的场景示意图;
图8(a)~8(b)为本申请实施例提供的一种不同待删除区域的样式的各待删除区域均匀分布在待处理图像中的场景示意图;
图9为本申请实施例提供的一种根据增广模板确定待处理图像中的待删除区域的场景示意图;
图10为本申请实施例提供的一种增广模板的结构示意图;
图11为本申请实施例提供的一种增广模板的结构示意图;
图12为本申请实施例提供的一种增广模板的结构示意图;
图13为本申请实施例提供的一种增广参数的示意图;
图14为本申请实施例提供的一种增广参数的示意图;
图15为本申请实施例提供的一种增广参数的示意图;
图16为本申请实施例提供的一种不同的d对于图形识别模型的训练过程产生的影响示意图;
图17为本申请实施例提供的一种图像处理方法的应用示意图;
图18为本申请实施例提供的一种图像处理装置的结构示意图;
图19为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本申请实施例中涉及的名词进行解释:
图像增广:图像增广是数据增广中的一种方式,数据增广是深度学习技术领域中常用的方法,主要用于增加训练数据集,让数据集尽可能的多样化,使得训练的模型具有更强的泛化能力。数据增广的方式主要包括:水平/垂直翻转,旋转,缩放,裁剪,剪切,平移,对比度,色彩抖动,噪声等。图像增广就是指的是将图像进行多样化处理,将待处理图像经过上述数据增广的方式进行处理,得到数据增广处理后的各增广图像。
机器学习(MachineLearning,ML):是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
深度学习(DL,Deep Learning):是机器学习领域中一个新的研究方向,深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。
计算机视觉:是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。计算机视觉模型是一种将计算机视觉与神经网络模型进行融合的技术算法,针对计算机视觉的任务,计算机视觉模型能够将待处理图像中的待识别主体识别出来,在本申请中,可以认为,图像识别模型可以表征计算机视觉模型。
过拟合:在进行有监督的机器学习建模时,一般假设数据独立同分布,即样本数据根据通过一个概率分布采样得到,而且这些样本相互之间独立。使用训练数据集去训练模型,使得损失函数最小化,然后用训练得到的模型去预测未知数据。如果训练数据即的特征维度过多,模型假设过于复杂,参数过多,训练数据过少,噪声过多,就会导致拟合的函数对于训练集的预测效果准确,但对新数据的测试集预测结果差。
均匀:指的是指分布在待处理图像中的各部分的数量相同,或者分布在待处理图像中的各待删除区域的大小相同,且相邻待删除区域的间隔相等。
掩模:由0和1组成的一个二进制图像。当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。
在具体实践过程中,本申请的发明人发现,对于图像进行增广处理方式具体可以分为三种方式,分别是RandomErase矩形删除,Cutout正方形删除和Hide-and-Seek分块随机删除。
矩形删除方法,是在待处理图像上随机删除一块矩形的区域,并且替换为随机的噪声,如图1所示,待处理图像为包括三只猫的图像,图1中的矩形填充部分为随机的噪声。
正方形删除方法是在矩形删除方法上进行了改进,正方形删除方法认为删除矩形的区域是冗余的,只要删除正方形的区域就可以达到很好地效果,并且发现用噪声进行替代效果不好,使用固定的0来替代被删除区域会取得较好的效果。如图2所示,待处理图像为包括三只猫的图像,图2中的正方形填充部分为被删除区域,这些被删除区域的像素值设置为0。
分块随机删除将图像均匀分割成正方形的小块,并且对每个小块以一定的概率随机删除,删除的区域同样使用0代替。可以理解为,分块随机删除的方式是将待处理图像分为多个小块,且每个小块都为正方形,随机选取部分正方形进行删除,图3为一种分块随机删除的示意图,在待处理图像中随机删除了三块区域,图3中的填充部分的像素用0代替。
但是发明人发现,如果使用矩形删除以及正方形删除的方式进行图形增广处理,选取的删除区域数量过少,这样经过增广处理得到的增广图像和待处理图像差异过小,无法起到图像增广的效果;如果使用基于分块随机删除的方式进行图像增广处理,会产生删除区域过大或者保留的区域过大的情况。如果删除区域过大,有可能会将待处理图像中的关键物体(例如待识别主体)全部删掉,这样待处理图像中剩余的信息不足以提供给图像识别模型进行分类,会使得生成的增广图像变成噪声,从而影响图像识别模型的训练准确性以及训练效率。如果保留的区域过大,则有可能会使得网络中的关键信息完全没有被删除,这样经过增广处理得到的增广图像和原图像差异过小,无法起到图像增广的效果,还是会产生过拟合的现象。
因此,本申请的发明人构思了一种图像处理方法,在对待处理图像进行增广处理过程时,根据待处理图像的特征和/或待处理图像的图像处理类型确定待处理图像中的多个待删除区域,多个待删除区域均匀的分布在待处理图像中。也就是说,在本申请中,会在待处理图像中每隔一段距离删除一个区域,各删除的区域之间的距离是相等的,经过上述增广处理过程,使得待删除区域是均匀地分布在待处理图像上的。并且,在本申请中,可以通过多种方式使得待删除区域均匀分布在增广图像中,例如可以对于待删除区域的大小和间距在一定范围内进行随机调整,可以使得产生的增广图像更加多样化。
通过本申请实施例中的图像处理方法,可以使得待处理图像中的待删除区域和保留的区域都不会过大,从而很有效的避免了上述三种图像增广方式所存在的问题。并且待处理图像中具有进行图像识别的待识别主体,所以能够提高待处理图像的图像处理类型对应的图像识别模型训练效果的准确度,减少了基于增广图像的图像识别模型在训练过程中出现的过拟合的情况。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
参考图4,其为本申请实施例提供的图像处理方法的应用架构图。该架构至少包括M个图像处理装置401,M个图像处理装置401即图4中所示的终端设备401~1至终端设备401~M,M为正整数,M的值本发明实施例并不进行限制。
在本申请实施例中,图像处理装置401确定待处理图像中的多个待删除区域,且各待删除区域均匀分布在待处理图像中,将多个待删除区域删除,得到增广图像。
在申请实施例中,图像处理装置401可以是手机、个人电脑(personal computer,PC)、平板电脑(PAD)、掌上电脑(Personal Digital Assistant,PDA)、笔记本电脑或者智能穿戴式设备(例如智能手表和智能手环)等终端设备。图像处理装置401具有数据处理能力,也可以是安装了图像处理软件的终端设备,例如各种图像数据处理软件或者图像数据处理平台等,或者,图像处理装置401中运行了浏览器应用,在浏览器中,同样可以获取待处理图像,对待处理图像进行增广处理,或者图像处理装置401中运行了小程序应用,在小程序应用中可以获取待处理图像,对待处理图像进行增广处理等。
图像处理装置401中可以包括一个或多个处理器4011、存储器4012、I/O接口4013以及显示面板4014等。其中,图像处理装置401的存储器4012中可以存储获取的待处理图像以及处理得到的增广图像,这些数据能够被处理器4011执行时实现图像处理装置401中的应用程序的功能,以及在显示面板4014显示该应用程序的相应显示页面。
在本申请实施例中,图像处理装置401还可以是独立的服务器402,服务器402可以包括一个或多个处理器4021、存储器4022以及I/O接口4023等。此外,服务器402还可以配置数据库4024,数据库4024可以用于存储各用户上传的定位数据等。服务器402可以是服务器集群,也可以是单个服务器。同时,服务器402可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器402还可以是一种云计算模块,云计算是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
在本申请实施例中,除了图像处理装置401中的存储器4012或者4022以外,还可以包括与图像处理装置401交互的数据库402,数据库402可以保存从各个渠道获取的待处理图像,以及保存经过图像增广处理后的增广图像。
图像处理装置401与数据库402可以通过有限网络或者无线网络进行连接,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(Wireless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本发明实施例对此不做限制。图像处理装置401与数据库402可以位于同一个局域网中,也可以位于不同的局域网中。
在本申请实施例中,数据库402还可以为云数据库,云数据库是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。在本申请实施例中,各图像处理装置401通过云数据库的访问结构访问云数据库。
在本申请实施例中,由于图像增广处理后的增广图像通常用于计算机视觉模型例如图像识别模型的训练过程,所以在本申请实施例中的应用构架还可以包括训练装置403,训练装置403可以与图像处理装置401直接进行交互,应用图像处理装置401进行增广处理得到的增广图像进行图像识别模型的训练,也可以通过数据库403获取图像处理装置401进行增广处理得到的增广图像进行图像识别模型的训练。
在本申请实施例中,训练装置403既可以是手机、个人电脑(personal computer,PC)、平板电脑(PAD)、掌上电脑(Personal Digital Assistant,PDA)、笔记本电脑或者智能穿戴式设备(例如智能手表和智能手环)等终端设备,也可以是安装了图像增广处理软件的终端设备,或者为独立的服务器,服务器可以是服务器集群,也可以是单个服务器。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
当然,本申请实施例提供的方法并不限用于图4所示的应用场景中,还可以用于其它可能的应用场景,本申请实施例并不进行限制。对于图4所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述,在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
下面结合图4所示的应用场景,对本申请实施例提供的技术方案进行说明。
参考图5,本申请实施例提供一种图像处理方法,包括以下步骤:
步骤S501,获取待处理图像,所述待处理图像具有待识别主体。
具体的,在本申请中,待处理图像指的是需要进行图像增广的图像,该图像可以是训练数据集中的图像数据。训练数据集可以是通过设定数据库获取,也可以是从其他途径中获得,例如,可以从搜索引擎中搜索出的图像,或者从视频帧中截取出的图像。
还有一种可选的实施例中,待处理图像为已经进行了增广处理的图像,即已经经过了增广处理过程的图像,增广处理的过程不限制于图像增广方法。
例如图6所示,图6(a)表示的是未经过图像增广处理的图像,该图像可以作为本申请实施例中的待处理图像;对图6(a)中的图像进行图像增广处理,具体处理方式为分块随机删除的方式,得到如图6(b)中的增广图像,同样可以将图6(b)中的增广图像作为本申请实施例中获得的待处理图像。
在本申请实施例中,待处理图像具有待识别主体,可以认为这些待识别主体至少可以应用于图像识别领域,在本申请实施例中,图像识别指的是计算机视觉技术领域中,针对图像中存在的主要部分进行处理的过程,具体的,图像识别可分为图像分类、目标检测、图像语义分割、图像主体定位等处理过程,在本申请实施例中不做具体限定。
在本申请实施例中,如图6所示,图6中的各个小猫可以认为是待处理图像中的待识别主体,即通过图像识别技术对待处理图像进行图像分类,即小猫和其它类,或者检测待处理图像中的小猫的位置,或者将待处理图像中的某一只小猫检测出来,或者将小猫从待处理图像中分割出来。
步骤S502,根据待处理图像的特征和/或待处理图像的图像处理类型,确定待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在所述待处理图像中。
具体的,在本申请实施例中,确定待处理图像中的多个待删除区域,各待删除区域均匀分布在待处理图像中。
在本申请中,均匀分布指的是待处理图像中的多个待删除区域均匀分布在待处理图像中的各个部分,且相邻的待删除区域之间的距离相等。
例如图7所示,在7(a)中示例性的展示了一种各待删除区域均匀分布在待处理图像中方式,在7(a)中,在待处理图像中存在四个待删除区域,四个待删除区域按照行、列的方式分布在待处理图像中,以行进行描述,在同一行的两个相邻待删除区域之间的距离相等,以列进行描述,在同一列的两个相邻的待删除区域之间的距离相等。
可选的,如图7(b)所示,在待处理图像中存在多个待删除区域,各个待删除区域按照行、列的方式分布在待处理图像中,以行进行描述,在同一行的两个相邻待删除区域之间的距离相等,以列进行描述,在同一列的两个相邻的待删除区域之间的距离相等,并且针对任一个待删除区域,该待删除区域与行方向以及列方向相邻的其它待删除区域之间的距离相等。
可选的,如图7(c)所示,在待处理图像中存在三个待删除区域,三个待删除区域按照等边三角形的方式分布在待处理图像中,每两个相邻的待删除区域之间的距离相等。
可选的,如图7(d)所示,在待处理图像的中存在多个待删除区域,多个待删除区域按照一定方向排列,在排列方向上相邻的待删除区域之间的距离相等。
当然,上述实施例为几种待删除区域均匀分布在待处理图像中的具体示例,在本申请实施例中不限制于其他待删除区域均匀分布在待处理图像中的方式,例如各待删除区域按照圆环形的方式均匀分布在待处理图像中,当然还包括其他方式的其他待删除区域均匀分布在待处理图像中的方式,在此不做赘述。
在本申请实施例中,还存在一种可选的待删除区域均匀分布在待处理图像中的具体示例,在该示例性中,待删除区域的样式是不同的,针对不同的待删除区域,可以设定不同的样式,具体图8所示,在图8(a)中,在待处理图像中存在多个待删除区域,各个待删除区域按照行、列的方式分布在待处理图像中,以行进行描述,在同一行的两个相邻待删除区域之间的距离相等,以列进行描述,在同一列的两个相邻的待删除区域之间的距离相等,并且针对任一个待删除区域,该待删除区域与行方向以及列方向相邻的其它待删除区域之间的距离相等,针对不同列,设定了不同的待删除区域,例如,针对第一列,待删除区域的样式为正方形,针对第二列,待删除区域的样式为三角形,针对第三列,待删除区域的样式为正方形,并以此类推。
当然,在本申请实施例中,还可以以行方向改变待删除区域的样式,例如,针对第一行,待删除区域的样式为正方形,针对第二行,待删除区域的样式为三角形,针对第三行,待删除区域的样式为正方形,并以此类推。
可选的,在本申请实施例中,除了针对各行进行待删除区域的均匀样式变换以外,还可以针对多列或者多行进行待删除区域的均匀样式变换,例如,每i列的待删除区域的样式相同,其中i大于等于2。或者每i行的待删除区域的样式相同,在此不做赘述。
本申请实施例还提供另一种均匀改变待删除区域样式的示例,具体图8(b)所示,在图8(b)中,在待处理图像中存在多个待删除区域,各个待删除区域按照行、列的方式分布在待处理图像中,以行进行描述,在同一行的两个相邻待删除区域之间的距离相等,以列进行描述,在同一列的两个相邻的待删除区域之间的距离相等,并且针对任一个待删除区域,该待删除区域与行方向以及列方向相邻的其它待删除区域之间的距离相等,针对不同该待处理图像,以该待处理图像的中心轴为轴对称的方式布设了不同样式的待删除区域,分别对称分布了正方形以及三角形。
除了上述示例以外的各种均匀分布的方式也在本申请的保护范围内,还有其它方式的待删除单元均匀分布在待处理图像中的方式,在此不做赘述。
在本申请实施例中,根据待处理图像的特征和/或待处理图像的图像处理类型,确定待处理图像中的多个待删除区域,可以理解为,不同的待处理图像的特征和/或不同的待处理图像的图像处理类型,对应的待处理图像中的多个删除区域是不同的。
在本申请实施例中,图像处理类型可以为图像识别的具体操作类型,例如上述实施例中的图像分类、目标检测、图像语义分割、图像主体定位等处理过程。
可选的,在本申请实施例中,待处理图像的特征可以包括待处理图像的尺寸特征、颜色特征、待识别主体特征等等。
在本申请实施例中,在待处理图像中确定多个删除区域的方式有多种,一种可选的方式,待处理图像的尺寸对应了不同的待删除区域,在获取了待处理图像的尺寸后,就确定了待删除区域;还有一种可选的方式,待处理图像的待识别主体不同,对应的多个待删除区域不同,在确定了待处理图像的待识别主体后,确定类别对应的多个待删除区域。
下面介绍一种可选的确定多个待删除区域的方法,在本申请实施例中,可以通过获取增广模板,确定待处理图像中的多个待删除区域。
在本申请实施例中,增广模板可以被理解为是一种标准化结构,该标准化结构能够表征待删除区域均匀分布在待处理图像中的分布状态,也就是说,增广模板能够将待删除区域均匀分布在待处理图像中的分布状态作为一种标准化制式,适应不同的待处理图像,示例性的,针对待处理图像1、待处理图像2以及待处理图像3,都使用同一个增广模板,确定各待处理图像中的各待删除区域。
当然,在本申请实施例中,不同的待处理图像也可以对应不同的增广模板,例如,不同种类的待处理图像可以对应不同的增广模板,或者不同尺寸的待处理图像对应不同的增广模板。
可选的,在本申请实施例中,同一待处理图像也可以对应多个增广模板,例如根据待处理图像的尺寸确定第一增广模板,根据待处理图像的种类确定第二增广模板。
当然,在本申请实施例中,还可以有其它确定增广模板的方法,但是所有的方法都可以描述为根据待处理图像的特征和/或待处理图像的图像处理类型确定对应的增广模板,不同的待处理图像的特征和/或待处理图像的图像处理类型可以对应不同的增广模板。
具体的,在本申请实施例中,增广模板可以是一种掩膜,掩膜就是用于覆盖的特定图像或者物体,图像掩膜就是用选定的图像、图形或者物体,对处理的图像的全部或者局部进行遮挡,来控制图像处理的区域或处理过程。
在增广模板中,遮挡的部分对应本申请实施例中的待删除区域,为了更好地描述遮挡的部分,用待删除单元来表示增广模板中与待删除区域对应的遮挡部分。
所以在增广模板中,均匀分布着各个待删除单元,在获取增广模板后,根据增广模板中的待删除单元,就可以根据增广模板中的各待删除单元,确定待处理图像中的待删除区域。可选的,在本申请实施例中,待处理图像、增广模板以及增广图像之间的关系可以如公式1所示:
Figure BDA0002392945880000151
其中,
Figure BDA0002392945880000152
表示增广图像,x表示待处理图像,MASK表示增广模板。
一种可选的实施例中,增广模板的尺寸大于待处理图像的尺寸,即待处理图像中的各待删除的单元对应的是增广模板中的部分待删除单元,例如,如图9所示,待处理图像为具有三只小猫的图像,上面覆盖了增广模板,增广模板的尺寸大于待处理图像的尺寸,在增广模板中存在多个待删除单元,与增广模板中多个待删除单元对应的就是待处理图像中的待删除区域,在图9中多个待删除单元用白色方块表示。
可选的,在本申请实施例中,增广模板中的各待删除单元是均匀分布的,也就是增广模板中各待删除单元按照一定规律排列,若确定了其中的一个规律单元,可以认为增广模板是多个规律的单元依次排列而成的,下面以一种具体的示例来进行说明。
如图10所示,增广模板中按照行以及列的方式分布了多个待删除单元,对增广模板进行分解,可以得出以下结论,增广模板是由多个分块构成,如图10所示,每个分块包括待保留部分以及一个待删除单元。为了便于描述,将各个分块作为增广模板的单元块。
同样的,在本申请实施例中,增广模板中的多个分块的构成还可以如图11所示,即将每个分块中待保留部分以及待删除单元的位置进行互换,也是一种可选的分块结构。
当然,在本申请实施例中,增广模板中的每个单元块的结构还可以是其它方式,例如,如图12所示,单元块还可以是圆形,在单元块中存在了圆形的待删除单元以及圆形的待保留部分。
除了上述描述的各种单元块的结构外,还可以包括其它规律的单元块结构构成增广模板的方式,再此不做赘述。
在本申请实施例中,增广模板可以对应不同的增广参数,这些增广参数至少可以表征待删除单元的面积在增广模板面积中的占比,所以可以通过获取增广参数确定对应的增广模板。
可选的,在本申请实施例中,增广参数可以与增广要求相关,即根据不同的增广要求,确定不同的增广参数,然后根据不同的增广参数确定对应的增广模板。
可选的,在本申请实施例中,增广参数还可以包括待删除单元的数量参数和待删除单元的尺寸参数,数量参数可以为M,认为在增广模板中各个待删除单元的数量总和M,待删除单元的尺寸参数可以表征待删除单元的面积、边长等信息。其中,M大于等于1。
若待删除单元是规则形状,例如正方形、长方形等,则待删除单元的尺寸参数可以表征待删除单元的边长,若待删除单元是不规则形状,则待删除单元的尺寸参数可以表征待删除单元的面积。
示例性的解释增广参数,对增广参数进行具体化解释。
如图10所示的增广模板中的结构,单元块可以用正方形表示,具体如图13所示,在单元块中还存在正方形的待删除单元,单元块中除正方形的待删除单元外的区域为待保留区域。
在图13中,存在两个增广参数,这两个增广参数中,d表示的是单元块的边长,d*r表示的是待删除单元的尺寸参数,即待删除单元的边长,其中r表示的示两个待删除单元之间的间距所占单元块的比例。
通过上述内容可知,d的取值范围为大于0,小于待处理图像的长度或者宽度,即d是一个大于0的值,且d不能等于待处理图像的长度或者宽度。同样的,r的取值范围也可以表示为大于0,小于1。
使用公式2对d的取值范围,具体如公式2所示:
d=random(0,dmax) 公式2
其中,dmax为待处理图像的长度或者宽度。
所以在本申请实施例中,增广参数可以包括表征待删除单元的数量的各种参数和待删除单元的尺寸的各种参数,并不限制于具体的参数表现方式。
同样的,如图11所示的增广模板中的单元块的结构,也可以用d以及r两个参数进行表示,如图14所示,在图14中,待保留区域为正方形,单元块中除待保留区域以外的区域为待删除单元,d表示的是单元块的边长,d*r表示的是待删除单元的尺寸参数,即待删除单元的边长,其中r表示的示两个待删除单元之间的间距所占单元块的比例。
可选的,在本申请实施例中,增广参数还可以包括其它的参数,这些参数可以表征与增广模板最近的待删除单元与增广模板的边界在各个方向上存在的偏移量,例如若增广模板为矩形,则可以沿增广模板的第一方向以及第二方向进行偏移,第一方向指的是与增广模板对应的待处理图像的像平面坐标系下的X方向,第二方向指的是与增广模板对应的待处理图像的像平面坐标系下的Y方向。
示例性的,如图15所示,在图15中,Sx表示的是第一方向上,待删除单元与增广模板的边界之间的偏移量,Sy表示的是第二方向上,待删除单元与增广模板的边界之间的偏移量。
在本申请实施例中,Sx以及Sy的取值范围为大于0,小于待处理图像的长度或者宽度减去待删除单元边长d的差值,即Sx以及Sy是正数,且待删除单元与增广模板的边界之间至少存在部分偏移量。
可以用公式3表征Sx以及Sy的取值,具体如公式3所示:
Sx(Sy)=random(0,dmax-d) 公式3
其中,damx指的是待处理图像的长度或者宽度。
当然,在本申请实施例中,还可以确定各单元块与增广模板的边界之间的偏移量,确定的方法与确定待删除单元与增广模板的边界之间的偏移量的过程相近,在此不做赘述。
当然,在本申请实施例中,若增广模板不是规则形状,偏移还可以是其它方向的偏移量。
步骤S503,将所述待处理图像中的各待删除区域删除,得到增广图像。
具体的,在本申请实施例中,将待处理图像中的各待删除区域的像素值设置外0,则将各待删除区域删除,得到了增广图像。在本申请实施例中,在得到了增广图像后,将增广图像应用于图像识别模型的训练过程中。
可选的,在本申请实施例中,不限定增广图像的数量,例如,在本申请实施例中,同一增广图像对应多个增广模板,则可以将增广图像进行并行处理,并得到多个增广图像,将多个增广图像应用到神经网络训练过程中。
可选的,还可以将多个增广图像随机应用到图像识别模型的训练过程中,避免在训练过程中出现过拟合的问题。
例如,针对待处理图像1,得到了第一增广图像以及第二增广图像,针对待处理图像2,得到了第三增广图像、第四增广图像以及第五增广图像,则在图像识别模型的训练过程中,可以将第一增广图像以及第二增广图像随机插入到训练数据中,将第三增广图像、第四增广图像以及第五增广图像也随机插入到训练数据中,避免训练过程中由于训练数据相似而出现的训练问题。
在本申请实施例中,在得到增广图像后,还可以对增广图像进一步进行增广处理的,继而又能够得到新的增广图像,例如,获取了待处理图像,该待处理图像为未经过增广处理的图像,对待处理图像进行一次增广处理后,得到第一增广图像,然后对第一增广图像进行第二次增广处理后,得到第二增广图像。
可选的,在本申请实施例中,多次增广处理的方式可以不同,以此得到不同的增广图像。
在本申请实施例中,由于可以通过增广模板确定待处理图像中的多个待删除区域,则可以通过更新增广模板来确定新的增广图像。
在本申请实施例中,由于增广模板也对应多个增广参数,所以还可以通过更新多个增广参数的方式,更新增广模板,来确定新的增广图像。
一种可选的实施例中,增广参数可以包括表征待删除单元的数量的各种参数和待删除单元的尺寸的各种参数,所以可以通过更新表征待删除单元的数量的各种参数和/或待删除单元的尺寸的各种参数来更新增广模板。
例如,更新增广模板前,增广模板中的各待删除单元的数量为N,更新增广模板,增广模板中的各待删除单元的数量为N+i,其中,N大于等于1,i大于等于1。
可选的,在本申请实施例中,还可以通过待删除单元的面积在增广模板面积中的占比更新要求来更新增广模板,更新的原理与上述更新表征待删除单元的数量的各种参数和/或待删除单元的尺寸的各种参数的原理相近,在此不做赘述。
同样的,在本申请实施例中,还可以通过更新各单元块与增广模板的边界之间的偏移量或者更新待删除单元与增广模板的边界之间的偏移量来更新增广模板。
在本申请实施例中,更新各单元块与增广模板的边界之间的偏移量或者更新待删除单元与增广模板的边界之间的偏移量的更新范围最大值为各单元块与增广模板的边界之间的偏移量或者更新待删除单元与增广模板的边界之间的偏移量为0。
另一种可选的实施例中,增广模板中的各待删除单元的样式也可以进行更新,例如,更新增广模板前,增广模板中的各待删除单元的样式为正方形,更新增广模板,将增广模板中的各待删除单元的样式为圆形。
上述包括多种更新增广模板参数,进而更新增广模板的方法,在本申请实施例中,发明人还对选取哪些参数进行更新,能够得到更好的效果的问题进行了思考,具体的,对于参数r,它是一个比例,所以它的取值范围在0到1之间,而参数r的大小就决定了待删除单元的区域面积占整个增广模板的比例,这个比例用k表示。这个比例越大,删除的区域越多,那么删除的信息也就越多,比例越小,删除的区域越小,那么删除的信息也就越少。
具体的,在本申请实施例中,可以用公式4表示k的含义,具体如公式4所示:
Figure BDA0002392945880000201
其中,Num表示的是待处理图像中待删除单元的数量,H表征的是待处理图像的长度,W表征的是待处理图像的宽度。
这个比例k是一个十分重要的参数,因为如果删除的区域过多,导致剩下的区域的语义信息不足以完成图像识别模型的训练过程,那么就会出现欠拟合的现象。如果删除的区域过小,导致剩余的信息太多,那么增广后的图像和原图像太像,就会导致无法起到的增广作用,从而无法解决过拟合问题。
通过如图13以及图14所示的各单元块的结构可以得出,k和r有相关关系,以图13为例,将d赋值为1,则可以确定k和r之间有如公式5所展示的关系:
k=1–(1-r)2=2r–r2 公式5
所以通过公式5可知,r和k之间的关系是r越大k越小。
可选的,在本申请实施例中,可以针对同一种类型的图像识别模型的训练过程,选取的r是固定的。例如,针对图像分类的图像识别模型的训练过程,对于不同的待处理图像,可以获取不同的增广模板,在各增广模板进行更新时,在r不变的情况下,更新其它增广参数,以获得更新后的增广模板。
在介绍了发明人确定k和r的参数关系后,通过如图16所示的示例,来确定参数d对图像识别模型的训练过程的影响,对于参数d,d的作用是控制被删除区域的密度,当r固定的时候,d越大,那么被删除的区域就越稀疏,但是单个被删除的待删除单元会越大,而d越小的时候,被删除的区域越密集,单个被删除的区域越小。不同的d对于图像识别模型的训练过程的影响所产生的影响是不同的,具体可以体现在对图像识别模型的训练过程中所提取的特征的影响程度不同。如图16所示,图16第一行表示的是d比较小的情况,第二行表示的是d比较大的情况,其中第一列是输入的待处理图像,后面几列表示所删除区域对于经过若干层卷积之后所提取的特征的印象,颜色越深表示影响最大,颜色越前表示的影响越小。
从图16中可以看到,当d比较小的时候,删除区域对于大部分的特征都有影响,但是影响的程度较小,而当d比较大的时候,删除区域对于很多特征是没有影响的,但是对于一部分特征的影响会非常大。由于不同的d会对图像识别模型的训练过程中产生不同的影响,所以可以在一定的范围内随机选取d,对增广模板进行更新,从而使得网络更加鲁棒。
所以在本申请实施例中,通过在一定的范围内随机选取参数d来对增广模板进行更新,根据更新后的增广模板,对待处理图像或者增广图像进行进一步增广处理,得到新的增广图像。
步骤S504,根据待处理图像以及增广图像确定训练数据集,并利用训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,图像识别模型用于识别所述待识别主体。
在本申请实施例中,可以根据待处理图像以及所述增广图像确定训练数据集,训练数据集可以对待处理图像的图像处理类型对应的图像识别模型进行训练,例如,针对图像处理类型为图像分类,则对应的模型为图像分类模型,通过训练数据集对图像分类模型进行训练。
一种可选的训练方式,训练数据集中的一部分作为确定图像识别模型参数的训练数据,另一部分作为验证图像识别模型准确性的训练数据。
通过确定图像识别模型参数的训练数据以及初始的图像识别模型,得到初始图像识别模型的处理结果,例如图像分类结果或者图像分割结果。根据处理结果以及确定图像识别模型参数的训练数据的真实处理结果之间的差值,调整图像识别模型的参数,经过多次迭代训练过程,得到训练后的图像识别模型。并使用验证图像识别模型的训练数据对图像识别模型进行验证。
为了更好的解释本申请实施例,下面结合一种具体的实施场景描述本申请实施例提供的图像处理方法,在本申请实施例中的应用场景应用于图像分类的图像识别模型的训练过程中,在本申请中,至少包括图像处理设备、训练设备以及图像分类设备。
如图17所示,图像增广设备用于对待处理图像进行增广处理,处理的过程是,获取增广参数,获得对应的增广模板,根据增广模板确定待处理图像中确定多个待删除区域,其中,各待删除区域均匀分布在所述待处理图像中;将待处理图像中的各待删除区域删除,得到增广图像。
同时,图像增广设备还能够更新增广模板,得到新的增广图像,具体的过程为:针对同一种类型的图像识别模型的训练过程,选取的r是固定的。通过在一定的范围内随机选取参数d来对增广模板进行更新,根据更新后的增广模板,对待处理图像或者增广图像进行进一步增广处理,得到新的增广图像,并根据待处理图像以及增广图像作为训练数据集进行图像识别模型的训练。
训练设备在获取了训练数据集后,进行图像识别模型的训练过程,具体的,将增广图像以及更新的增广图像作为训练数据,输入至待训练的图像识别模型中,得到训练分类结果,根据训练分类结果以及训练数据的真实分类结果确定损失函数,通过损失函数调整待训练的图像识别模型中的模型参数,经过多次迭代,训练得到图像分类模型。
在本申请实施例中,在得到图像分类模型后,图像分类设备获取的需要进行分类的图像,基于图像分类模型,得到图像分类结果。
图17示例性的示出了上述内容的整体流程,通过上述流程,图像分类设备能够进行分类,能够从待分类图像中,将待分类图像中的小猫进行有效的识别。
为了进一步表明本申请实施例中的图像处理方法的有益效果,下面进行了不同图像处理方法之间的结果对比,具体的,在本申请实施例中,图像识别模型为图像分类模型,针对图像分类任务,有两个比较常用的数据集,分别是CIFAR10和ImageNet。其中CIFAR10是一个比较简单的数据集,它共有10类,每一类包含了5000张训练图片和1000张测试图片,在这个数据集上我们可以把多种不同的卷积神经网络结构的分类精度提升,并且提升的效果优于之前存在的矩形删除,正方形删除等方法。
如表1所示,针对CIFAR10图像分类任务,使用的模型有三种,分别为ResNet18、WideResNet、ShakeShake,基准精度指的是三种模型自身的精度。
表1 CIFAR10图像分类任务
Figure BDA0002392945880000231
ImageNet是一个比较具有挑战性的数据集,它共有1000类,每一类有1300张训练图片和50张测试图片,在这样一个具有挑战性的数据集上,我们仍然可以提升许多卷积神经网络的分类精度。在测试ImageNet数据集时,使用的模型为ResNet50、ResNet101以及ResNet152,具体测试结果如表2所示。
表2 ImageNet图像分类任务
模型 ResNet50 ResNet101 ResNet152
基准精度 76.5 77.6 78.1
本申请图像处理方法 77.9 79.1 79.7
在本申请实施例中,图像识别模型还可以为图像识别模型,图像识别是一个更加困难的任务,在这个任务上本申请中的图像处理方法仍然可以使得不同模型的表现有所提升,在本申请实施例中,使用的数据集是COCO2017数据集,使用的图像识别模型为Faster-RCNN-R50-FPN以及Faster-RCNN-X101-FPN,精度指标使用了均值平均精度mAP指标、交并比IoU阈值大于0.5的AP50指标以及交并比IoU阈值大于0.75的AP75指标,具体结果如表3所示。
表3 COCO2017数据集图像识别任务
Figure BDA0002392945880000241
基于上述实施例,参阅图18所示,本发明实施例提供一种图像处理装置1800,包括:
获取单元1801,用于获取待处理图像,待处理图像具有待识别主体;
删除区域确定单元1802,用于根据待处理图像的特征和/或待处理图像的图像处理类型,确定待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在待处理图像中;
增广图像确定单元1803,用于将待处理图像中的各待删除区域删除,得到增广图像;
训练单元1804,用于根据待处理图像以及增广图像确定训练数据集,并利用训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,图像识别模型用于识别所述待识别主体。
可选的,获取单元1801还用于:
根据待处理图像的特征和/或待处理图像的图像处理类型确定对应的增广模板,增广模板中包括均匀分布的各待删除单元;
删除区域确定单元1802具体用于:
根据增广模板中的各待删除单元,在待处理图像中确定与各待删除单元对应的多个待删除区域。
可选的,获取单元1801具体用于:
根据待处理图像的特征和/或待处理图像的图像处理类型确定对应的增广参数,增广参数用于表征待删除单元的面积在增广模板面积中的占比;
根据增广参数,获得对应的增广模板。
可选的,装置1800还包括:
更新单元1805,用于更新增广参数;根据更新后的增广参数,获得更新的增广模板;根据更新的增广模板中的各待删除单元,删除增广图像或者待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
可选的,增广参数中至少包括待删除单元的数量参数和待删除单元的尺寸参数,更新单元1805具体用于:
根据待删除单元的面积在增广模板面积中的占比更新要求,更新待删除单元的数量参数和待删除单元的尺寸参数。
可选的,增广参数还包括待删除单元的样式参数;
更新单元1805还用于:
根据更新的删除单元的样式参数确定待删除单元的样式,删除增广图像或者待处理图像中与待删除单元的样式对应的待删除区域,以获得新的增广图像。
可选的,更新单元1805还用于:
将各待删除单元延第一方向和/或第二方向移动设定距离,得到更新的增广模板,其中第一方向与待处理图像或者增广图像的像平面坐标轴的X轴平行,第二方向与待处理图像或者增广图像的像平面坐标轴的Y轴平行;
根据更新的增广模板中的各待删除单元,删除增广图像或者待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图19所示,包括至少一个处理器1901,以及与至少一个处理器连接的存储器1902,本申请实施例中不限定处理器1901与存储器1902之间的具体连接介质,图19中处理器1901和存储器1902之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器1902存储有可被至少一个处理器1901执行的指令,至少一个处理器1901通过执行存储器1902存储的指令,可以执行前述的图像处理方法中所包括的步骤。
其中,处理器1901是计算机设备的控制中心,可以利用各种接口和线路连接终端设备的各个部分,通过运行或执行存储在存储器1902内的指令以及调用存储在存储器1902内的数据,从而获得客户端地址。待选的,处理器1901可包括一个或多个处理单元,处理器1901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1901中。在一些实施例中,处理器1901和存储器1902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1901可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器1902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于相同的技术构思,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行图像处理方法的步骤。
上述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像具有待识别主体;
根据待处理图像的特征和/或待处理图像的图像处理类型,确定所述待处理图像中的多个待删除区域,其中,各待删除区域均匀分布在所述待处理图像中;
将所述待处理图像中的各待删除区域删除,得到增广图像;
根据所述待处理图像以及所述增广图像确定训练数据集,并利用所述训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,所述图像识别模型用于识别所述待识别主体。
2.根据权利要求1所述的方法,其特征在于,所述根据待处理图像的特征和/或待处理图像的图像处理类型,确定所述待处理图像中的多个待删除区域,包括:
根据所述待处理图像的特征和/或所述待处理图像的图像处理类型确定对应的增广模板,所述增广模板中包括均匀分布的各待删除单元;
根据所述增广模板中的各待删除单元,在所述待处理图像中确定与各待删除单元对应的多个待删除区域。
3.根据权利要求2所述的方法,其特征在于,所述根据待处理图像的特征和/或待处理图像的图像处理类型确定对应的增广模板,包括:
根据所述待处理图像的特征和/或所述待处理图像的图像处理类型确定对应的增广参数,所述增广参数用于表征待删除单元的面积在所述增广模板面积中的占比;
根据所述增广参数,获得对应的增广模板。
4.根据权利要求3所述的方法,其特征在于,所述得到增广图像后,还包括:
更新所述增广参数;
根据更新后的增广参数,获得更新的增广模板;
根据更新的增广模板中的各待删除单元,删除所述增广图像或者所述待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
5.根据权利要求4所述的方法,其特征在于,所述增广参数中至少包括待删除单元的数量参数和待删除单元的尺寸参数,所述更新所述增广参数,包括:
根据待删除单元的面积在所述增广模板面积中的占比更新要求,更新待删除单元的数量参数和待删除单元的尺寸参数。
6.根据权利要求4所述的方法,其特征在于,所述增广参数还包括待删除单元的样式参数;
所述更新所述增广参数后,还包括:
根据更新的删除单元的样式参数确定待删除单元的样式,删除所述增广图像或者所述待处理图像中与待删除单元的样式对应的待删除区域,以获得新的增广图像。
7.根据权利要求2所述的方法,其特征在于,所述得到增广图像后,还包括:
将各待删除单元延第一方向和/或第二方向移动设定距离,得到更新的增广模板,其中所述第一方向与所述待处理图像或者所述增广图像的像平面坐标轴的X轴平行,所述第二方向与所述待处理图像或者所述增广图像的像平面坐标轴的Y轴平行;
根据更新的增广模板中的各待删除单元,删除所述增广图像或者所述待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
8.一种图像处理装置,其特征在于,包括:
获取单元,用于获取待处理图像,所述待处理图像具有待识别主体;
删除区域确定单元,用于根据待处理图像的特征和/或待处理图像的图像处理类型,确定所述待处理图像中的多个待删除区域待处理图像,其中,各待删除区域均匀分布在所述待处理图像中;
增广图像确定单元,用于将所述待处理图像中的各待删除区域删除,得到增广图像;
训练单元,用于根据所述待处理图像以及所述增广图像确定训练数据集,并利用所述训练数据集对待处理图像的图像处理类型对应的图像识别模型进行训练,所述图像识别模型用于识别所述待识别主体。
9.根据权利要求8所述的装置,其特征在于,所述获取单元还用于:
根据所述待处理图像的特征和/或所述待处理图像的图像处理类型确定对应的增广模板,所述增广模板中包括均匀分布的各待删除单元;
所述删除区域确定单元具体用于:
根据所述增广模板中的各待删除单元,在所述待处理图像中确定与各待删除单元对应的多个待删除区域。
10.根据权利要求9所述的装置,其特征在于,所述获取单元具体用于:
根据所述待处理图像的特征和/或所述待处理图像的图像处理类型确定对应的增广参数,所述增广参数用于表征待删除单元的面积在所述增广模板面积中的占比;
根据所述增广参数,获得对应的增广模板。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
更新单元,用于更新所述增广参数;根据更新后的增广参数,获得更新的增广模板;根据更新的增广模板中的各待删除单元,删除所述增广图像或者所述待处理图像中与各待删除单元对应的多个待删除区域,以获得新的增广图像。
12.根据权利要求11所述的装置,其特征在于,所述增广参数中至少包括待删除单元的数量参数和待删除单元的尺寸参数,所述更新单元具体用于:
根据待删除单元的面积在所述增广模板面积中的占比更新要求,更新待删除单元的数量参数和待删除单元的尺寸参数。
13.根据权利要求11所述的装置,其特征在于,所述增广参数还包括待删除单元的样式参数;
所述更新单元还用于:
根据更新的删除单元的样式参数确定待删除单元的样式,删除所述增广图像或者所述待处理图像中与待删除单元的样式对应的待删除区域,以获得新的增广图像。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~7任一权利要求所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~7任一权利要求所述方法的步骤。
CN202010120932.5A 2020-02-26 2020-02-26 一种图像处理方法及装置 Active CN111368889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010120932.5A CN111368889B (zh) 2020-02-26 2020-02-26 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010120932.5A CN111368889B (zh) 2020-02-26 2020-02-26 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN111368889A true CN111368889A (zh) 2020-07-03
CN111368889B CN111368889B (zh) 2023-10-17

Family

ID=71208157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010120932.5A Active CN111368889B (zh) 2020-02-26 2020-02-26 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN111368889B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN113408589A (zh) * 2021-05-26 2021-09-17 北京迈格威科技有限公司 训练图像识别模型的方法、图像识别方法和图像识别设备
CN114445629A (zh) * 2022-01-27 2022-05-06 推想医疗科技股份有限公司 模型生成、图像分割方法、系统、电子设备及存储介质
CN118941756A (zh) * 2024-08-20 2024-11-12 镇江森尔人工智能科技有限公司 定量处理类型智能分析系统
WO2025156879A1 (zh) * 2024-01-22 2025-07-31 华为技术有限公司 一种显示设备检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407983A (zh) * 2016-09-12 2017-02-15 南京理工大学 图像主体的识别、矫正与配准方法
US20180239987A1 (en) * 2017-02-22 2018-08-23 Alibaba Group Holding Limited Image recognition method and apparatus
CN108985344A (zh) * 2018-06-26 2018-12-11 四川斐讯信息技术有限公司 一种神经网络模型的训练集优化方法及系统
CN109472759A (zh) * 2018-11-23 2019-03-15 中国科学院长春光学精密机械与物理研究所 一种自适应图像增强的方法、装置、设备以及存储介质
CN110276737A (zh) * 2019-06-24 2019-09-24 睿魔智能科技(杭州)有限公司 图像优化处理方法、装置、设备及存储介质
CN110569899A (zh) * 2019-09-03 2019-12-13 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407983A (zh) * 2016-09-12 2017-02-15 南京理工大学 图像主体的识别、矫正与配准方法
US20180239987A1 (en) * 2017-02-22 2018-08-23 Alibaba Group Holding Limited Image recognition method and apparatus
CN108985344A (zh) * 2018-06-26 2018-12-11 四川斐讯信息技术有限公司 一种神经网络模型的训练集优化方法及系统
CN109472759A (zh) * 2018-11-23 2019-03-15 中国科学院长春光学精密机械与物理研究所 一种自适应图像增强的方法、装置、设备以及存储介质
CN110276737A (zh) * 2019-06-24 2019-09-24 睿魔智能科技(杭州)有限公司 图像优化处理方法、装置、设备及存储介质
CN110569899A (zh) * 2019-09-03 2019-12-13 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENGGUANG CHEN ET AL.: "GridMask Data Augmentation", 《ARXIV》, pages 1 - 9 *
蒋梦莹;林小竹;柯岩;: "基于优化分类的数据增广方法", 计算机工程与设计, no. 11 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN113408589A (zh) * 2021-05-26 2021-09-17 北京迈格威科技有限公司 训练图像识别模型的方法、图像识别方法和图像识别设备
CN114445629A (zh) * 2022-01-27 2022-05-06 推想医疗科技股份有限公司 模型生成、图像分割方法、系统、电子设备及存储介质
CN114445629B (zh) * 2022-01-27 2025-02-14 推想医疗科技股份有限公司 模型生成、图像分割方法、系统、电子设备及存储介质
WO2025156879A1 (zh) * 2024-01-22 2025-07-31 华为技术有限公司 一种显示设备检测方法及装置
CN118941756A (zh) * 2024-08-20 2024-11-12 镇江森尔人工智能科技有限公司 定量处理类型智能分析系统

Also Published As

Publication number Publication date
CN111368889B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN111368889B (zh) 一种图像处理方法及装置
Belhadi et al. Deep learning for pedestrian collective behavior analysis in smart cities: A model of group trajectory outlier detection
Gao et al. Multiscale residual network with mixed depthwise convolution for hyperspectral image classification
Shan Image segmentation method based on K-mean algorithm
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN113297975A (zh) 表格结构识别的方法、装置、存储介质及电子设备
Zhang et al. Semantic classification of heterogeneous urban scenes using intrascene feature similarity and interscene semantic dependency
CN112989085B (zh) 图像处理方法、装置、计算机设备及存储介质
US20210216874A1 (en) Radioactive data generation
CN115082790A (zh) 一种基于连续学习的遥感图像场景分类方法
CN118522019B (zh) 文本识别方法、电子设备以及存储介质
Huang et al. ORDNet: Capturing omni-range dependencies for scene parsing
Wang et al. SCU‐Net: Semantic Segmentation Network for Learning Channel Information on Remote Sensing Images
Khan et al. Deep learning based pashto characters recognition: LSTM-based handwritten pashto characters recognition system
CN115115871B (zh) 图像识别模型的训练方法、装置、设备及存储介质
CN113468906B (zh) 图形码提取模型构建方法、识别方法、装置、设备和介质
Wang Motion recognition based on deep learning and human joint points
HK40025868A (zh) 一种图像处理方法及装置
CN118397351A (zh) 一种小样本分类方法、系统、介质及设备
Poonkuntran et al. Efficient Classification of Satellite Image with Hybrid Approach Using CNN-CA
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
Li et al. A method for extracting building information from remote sensing images based on deep learning
Wu et al. Multimodal learning with only image data: A deep unsupervised model for street view image retrieval by fusing visual and scene text features of images
Zhai et al. Multi-objective salient detection combining FCN and ESP modules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025868

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant