[go: up one dir, main page]

CN114511726A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114511726A
CN114511726A CN202011166810.6A CN202011166810A CN114511726A CN 114511726 A CN114511726 A CN 114511726A CN 202011166810 A CN202011166810 A CN 202011166810A CN 114511726 A CN114511726 A CN 114511726A
Authority
CN
China
Prior art keywords
defect
product
category
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011166810.6A
Other languages
English (en)
Inventor
刘雍璋
路元元
柴栋
王洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011166810.6A priority Critical patent/CN114511726A/zh
Publication of CN114511726A publication Critical patent/CN114511726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种数据处理方法、装置、设备及存储介质。该数据处理方法包括：响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像；通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，得到产品图像的缺陷类别和缺陷特征向量；根据各产品图像的缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。本申请可根据数据查询指令自动下载相应的产品图像，无需手动逐一下载，提高了数据查询效率，数据查询更加方便、快速；可对产品图像中的产品缺陷进行自动识别，并根据识别出的产品缺陷对所下载的产品图像自动进行分类，无需手动筛选和分类，可提升图像筛选和分类的效率和准确率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据处理方法、装置、设备及存储介质。
背景技术
屏幕制造的工艺流程复杂，而由于设备调节、人员操作、环境干扰等原因，每道工艺都有可能产生各种形态的不良，这些不良被AOI(Automated Optical Inspection，自动光学检测)设备判别类别后存放在数据库中。这些图像数量庞大，按照工艺段、站点、产品等条件分类存放后，目录结构复杂、层级较多，要从中挑选出符合特定条件的图片非常困难。现阶段是由工厂的工程师手动进行数据的筛选和收集，收集效率较低，且容易出现失误，例如丢失部分数据或筛选的数据类别不准确等。
发明内容
本申请针对现有方式的缺点，提出一种数据处理方法、装置、设备及存储介质，用以解决现有技术存在的手动进行数据筛选效率低且易失误的技术问题。
第一方面，本申请实施例提供了一种数据处理方法，包括：
响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像；
通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，得到产品图像的缺陷类别和缺陷特征向量；
根据各产品图像的缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
第二方面，本申请实施例提供了一种数据处理装置，包括：
图像下载模块，用于响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像；
第一缺陷分类模块，用于通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，得到产品图像的缺陷类别和缺陷特征向量；
第二缺陷分类模块，用于根据各产品图像的缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
第三方面，本申请实施例提供一种数据处理设备，包括：
存储器；
处理器，与存储器电连接；
存储器存储有计算机程序，计算机程序由所述处理器执行以实现本申请实施例第一方面提供的数据处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的数据处理方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例提供的技术方案，可根据数据查询指令自动下载相应的产品图像，无需手动逐一下载，提高了数据查询效率，数据查询更加方便、快速；可对产品图像中的产品缺陷进行自动识别，并根据识别出的产品缺陷对所下载的产品图像自动进行分类，无需手动筛选和分类，可提升图像筛选和分类的效率和准确率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种数据处理方法的流程示意图；
图2为本申请实施例中图像下载界面的示意图；
图3为本申请实施例中登录界面的示意图；
图4为本申请实施例中用户管理界面的示意图；
图5为本申请实施例中目标检测网络模型的一种结构框架示意图；
图6为本申请实施例提供的另一种数据处理方法的流程示意图；
图7为本申请实施例中图像展示界面的示意图；
图8为本申请实施例中图像上传界面的示意图；
图9为本申请实施例提供的一种数据处理装置的结构框架示意图；
图10为本申请实施例提供的一种数据处理设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词进行介绍和解释：
图像检索：Image Retrieval，指根据用户输入查找与输入相关的图像的过程。
特征(特征向量)：Feature，指图像经过模型处理后得到的一个能表示图像信息的向量。
自动光学检测：Automated Optical Inspection(AOI)，是基于光学原理来对图像缺陷进行检测的设备。
ADC(Automatic Defect Classification，自动缺陷分类)系统，该系统集缺陷自动分类、人工复核、模型调度与训练、统计报表等功能为一体，使用深度学习和其他一些图像处理方法，来自动对缺陷图像进行分类并标识缺陷的位置。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种数据处理方法，如图1所示，该方法包括：
S101，响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像。
本申请实施例中的产品图像可由AOI设备对产线上的产品进行拍摄得到的或由AOI设备对产线上的产品进行拍摄并经初步分类后得到的，得到的产品图像可存入DFS(Distributed File System，分布式文件系统)或FTP(File Transfer Protocol，文件传输协议)服务器中。
可选地，在响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像之前，可先展示图像下载界面，数据查询指令可以是用户对图像下载界面进行操作触发的指令。
如图2所示，所展示的图像下载界面可以包括以下内容中的至少一项：下载配置模块、保存路径设置选项、下载状态显示区、进度条、开始下载选项、停止选项。
用户可通过“下载配置模块”对下载条件进行配置，可配置的条件包括：工艺段、数据来源、站点、缺陷类型及数量、操作员工号等至少一个，配置好的下载条件可携带于数据查询指令中。根据数据查询指令所携带的下载条件进行产品图像的下载，可保证所下载的产品图像严格符合特定条件，保证准确率，减少不必要的产品图像的下载。
用户可通过“保存路径设置”选项设置所下载的产品图像的保存路径，通过开始下载选项可启动实际的下载工作，每个产品图像是否下载成功可显示在“下载状态显示区”，整体的下载进度可显示在“进度条”中，通过“停止”选项可终止本次下载。在下载过程中，可将每个产品图像的信息写入一个临时数据库中，以便后续进行上传。
本申请实施例中的数据来源有两个：DFS系统和FTP服务器。基于数据来源的不同，本申请实施例中产品图像的下载方式不同。
当数据查询指令中包含的数据来源为DFS系统时，由于DFS系统的目录结构是按站点、产品进行存储的，因此可先遍历站点、产品符合条件的DFS目录，生成准备数据库的文件，将每个产品图像的路径和相关信息记录在准备数据库中，这样当再次抽取该站点该产品的产品图像时，会直接从该准备数据库中进行读取。
当数据查询指令中包含的数据来源为FTP服务器时，该FTP服务器实际上是ADC系统存放数据所使用的服务器，FTP服务器中的图像已由ADC写入数据库中，因此可直接读取数据库，然后从FTP服务器上下载所需的产品图像；下载的产品图像可分类别存放在文件夹中，并且会将下载相关的信息(数据来源、站点、产品、缺陷类别等)保存在临时数据库中。
上述图像下载方式相比于现有的人工收集数据的方式效率更高，可方便、快速地实现图像检索。
可选地，在响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像之前，例如展示图像下载界面之前，还包括：展示登录界面；响应于接收到的登录请求，对用户的身份进行验证。在验证成功时，响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像，在验证失败时，停止当前流程。
如图3所示，本申请实施例中展示的登录界面可以包括：用户名输入框、密码输入框、登录选项和用户管理选项，用户名输入框和密码输入框分别用于输入用户名和密码，输入完成触发登录选项后可进行身份验证，输入完成触发用户管理选项可用于对进行管理员帐户的身份验证。
用户信息可以以下任意一种方式进行存储：
方式一，与ADC系统结合，所有的用户管理操作均通过ADC系统进行，本地系统将接收到的用户名和密码传输至ADC系统，ADC系统验证后将是否验证成功的结果返回。
方式二，将接收到的用户信息加密后存储在本地，以防止被直接修改，可设置管理员帐户通过图3中的用户管理选项进入本地系统的用户管理界面管理所有用户信息。用户管理界面如图4所示，管理员可在该用户管理界面对用户的密码和权限(如工艺段访问权限)进行修改，可创建或删除某个用户。
S102，通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，得到产品图像的缺陷类别和缺陷特征向量。
可选地，如图5所示，目标检测网络模型包括：特征提取器、区域候选网络和目标检测器。
可选地，通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，产品图像的缺陷类别和缺陷特征向量，包括：
通过特征提取器对产品图像进行特征提取，得到特征图；通过区域候选网络确定特征图的各特征区域是否包含产品缺陷，得到包含产品缺陷的特征区域；通过目标检测器对包含产品缺陷的特征区域进行特征提取，得到特征区域的缺陷特征向量，并确定每个特征区域包含的产品缺陷的类别，根据各特征区域包含的产品缺陷的类别确定产品图像的缺陷类别。
可选地，特征提取器包括卷积层、池化层和多个卷积块，参照图5的示例，卷积层位于池化层之前，多个卷积块串联于池化层之后；特征提取器可将输入的产品图像划分为多个特征区域，对每个特征区域都进行特征提取，得到该特征区域的特征向量，多个特征向量形成完整的特征图。
在串联的各卷积块中，如图5所示可分为四个部分，第一部分包括3个卷积块，每个卷积块包括串联的3个卷积层，该3个卷积层的卷积核尺寸分别为1*1*64、3*3*64和1*1*256；第二部分包括4个卷积块，每个卷积块中包括串联的3个卷积层，该3个卷积层的卷积核尺寸分别为1*1*128、3*3*128和1*1*512；第三部分包括23个卷积块，每个卷积块包括串联的3个卷积层，该3个卷积层的卷积核尺寸分别为1*1*256、3*3*256和1*1*1024；第四部分包括3个卷积块，每个卷积块包括串联的3个卷积层，该3个卷积层的卷积核尺寸分别为1*1*512、3*3*512和1*1*2048。
可选地，区域候选网络包括：卷积层、以及并列级联于该卷积层之后的第一卷积支路和第二卷积支路。
区域候选网络中的该卷积层用于：对特征提取器输出的特征图进行特征提取，得到各特征区域的特征向量；第一卷积支路用于：根据各特征区域的特征向量确定得特征区域是否包含产品缺陷并输出；第二卷积支路用于：调整特征区域的检测范围以使其覆盖产品缺陷。
参照图5，第一卷积支路可包括前景/背景分类卷积层和输出层(softmax)，该前景/背景分类卷积层可对特征图中的各个特征区域的特征向量进行前景/背景分类，判断每个特征区域是前景(即产品缺陷)还是背景，该输出层可输出前景/背景分类卷积层的分类结果(即分类结果为前景的特征区域)；第二卷积支路可包括框回归卷积层，该框回归卷积层可调整特征区域的检测范围以使其更好地覆盖产品缺陷；两个卷积支路处理完毕后可输出分类为前景的前N个检测框作为包含产品缺陷的N个特征区域。
可选地，目标检测器包括：池化层、全连接层、以及并列级联于全连接层之后的第一全连接支路和第二全连接支路；
目标检测器中的池化层和全连接层用于：对包含产品缺陷的特征区域的特征向量进行池化处理和特征全连接处理，得到缺陷特征向量并输出；第一全连接支路用于：根据各特征区域的缺陷特征向量确定产品缺陷的类别，根据各特征区域包含的产品缺陷的类别确定产品图像的缺陷类别并输出；第二全连接支路用于：调整特征区域的检测范围以覆盖产品缺陷。
参照图5，目标检测器中的池化层可以是ROI(Region Of Interest，感兴趣区域)池化层，通过ROI池化层和全连接层可对区域候选网络输出的特征区域再次进行特征提取，输出缺陷特征向量。
参照图5，第一全连接支路可包括分类全连接层和输出层(softmax)，该分类全连接层可对池化层和全连接层提取到的缺陷特征向量进行分类，确定每个缺陷特征向量对应的产品缺陷的具体类别以及该类别的置信度得分，该输出层可输出分类全连接层的分类结果，例如输出置信度得分最高的一个产品缺陷的类别，作为产品图像的缺陷类别；第二卷积支路可包括框回归全连接层，该框回归全连接层可调整特征区域的检测范围以使其更好地覆盖产品缺陷；两个全连接支路处理完毕后可输出产品图像中产品缺陷的类别，作为产品图像的缺陷类别。
可选地，本申请实施例的目标检测网络模型在处理过程中还可实现对产品图像中的产品缺陷的定位，输出产品缺陷的位置。
本申请实施例中使用的目标检测网络模型可预先采用大量包含产品缺陷类型的产品图像作为样本数据进行训练，样本数据可以是从DFS中下载并由高级工程师复核后得到的产品图像，以保证样本数据中产品图像的缺陷类别的准确性，从而保证目标检测网络模型分类的准确性。
S103，根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
在一个可选的实施方式中，根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别，包括：根据每个缺陷类别中各产品图像的缺陷特征向量，确定该缺陷类别中各产品图像之间的相似度；根据每个缺陷类别中各产品图像之间的相似度，确定该缺陷类别中各产品图像的缺陷子类别。
本实施方式可适用于下载的产品图像的数量较少的情形，所适用的图像数量范围可根据实际需求确定。
可选地，相似度可以欧氏距离来表示，对于同一缺陷类别中的各个产品图像的缺陷特征向量(可以是每个产品图像中置信度得分最高一个产品缺陷的类别对应的缺陷特征向量，假设该向量是一个n维向量)，计算每两个缺陷特征向量之间的欧氏距离值(用于反映两个缺陷特征向量之间的差异大小)，可得到多个欧氏距离值；确定每个欧氏距离值是否小于预设的距离阈值，对于该缺陷类别中的每个产品图像，将小于距离阈值(作为相似度条件)的欧氏距离值对应的产品图像作为与该产品图像同一缺陷子类别的产品图像。
欧氏距离的计算方式为
Figure BDA0002746068740000091
其中xi表示待计算的第一个缺陷特征向量x的第i个元素，yi表示待计算的第二个缺陷特征向量的第i个元素。
在另一个可选的实施方式中，根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别，包括：
在每个缺陷类别中产品图像的缺陷特征向量所属的多维空间内，选取多个缺陷特征向量作为多个缺陷子类别的质心，根据缺陷特征向量与各缺陷子类别的质心的距离确定产品图像的缺陷子类别；
周期性地执行如下分类操作，直至达到迭代条件：根据当前的每个缺陷子类别中包含的缺陷特征向量的空间位置，重新确定该缺陷子类别的质心；根据缺陷特征向量与重新确定的各缺陷子类别的质心的距离确定产品图像的缺陷子类别。
可选地，每个缺陷特征向量均可作为多维空间内的一个点，在首次选取质心时，可通过如下方式选取：
在各个缺陷特征向量的点中随机挑选一个点(第一个点)，在选取第二个点时，离第一个点距离越远的点取得的概率越大；取第三个点时，离第一个点和第二个点距离之和越远的点取得的概率越大；以此类推，直到取得K个点。K的值可根据实际需求预先设置，每个质心表示一个缺陷子类别。
可选地，在根据缺陷特征向量与各缺陷子类别的质心的距离确定产品图像的缺陷子类别时，对于同一多维空间内质心以外的其余点，计算每个点与每个质心的距离，该点距离哪个质心最近，则可将该点的缺陷特征向量归为该质心所表示的缺陷子类别，从而实现对每个缺陷特征向量的分类，进而实现每个产品图像的产品缺陷的分类。
可选地，在根据当前的每个缺陷子类别中包含的缺陷特征向量的空间位置，重新确定该缺陷子类别的质心时，计算每个缺陷子类别中的当前各点的空间坐标的平均值，该平均值所表示的点可作为该缺陷子类别的新的质心。
可选地，周期性分类操作的迭代条件可根据实际需求预先设置，例如，可以设置为：对于每个缺陷子类别，在当前质心相对于前一次确定出的质心的位置变化小于某一阈值或周期性分类操作的次数达到最大迭代次数T时，认为达到迭代条件，停止该周期性的分类操作，以最后一次确定出的质心为基础确定的缺陷子类别即为最终的缺陷子类别；
本实施方式可适用于下载的产品图像的数量(假设为N)较多的情形，本实施方式的时间复杂度约为N*K*T，在对某一缺陷类别进行细划分时同一缺陷类别的缺陷子类别通常不会太多，因此K的值通常为个位数，最大迭代次数T通常选择几十到几百，因此在产品图像数量N较大时，本实施方式的分类速度较快。
可选地，本申请实施例提供的数据处理方法，在上述步骤S101至S103的基础上，还包括：
将各个缺陷子类别的各产品图像输入目标检测网络模型，对目标检测网络模型进行训练。
通过步骤S101至S103可实现对产品图像的自动分类和精细化分类，快速得到精细化分类的产品图像，以此作为样本输入目标检测网络模型，可对目标检测网络模型进行再训练，使目标检测网络模型更加精确，将每次得到的产品图像均作为样本对目标检测网络模型进行再训练，可不断更新目标检测网络模型，不断提高目标检测网络模型的精确度。
可选地，如图6所示，本申请实施例提供的数据处理方法，在上述步骤S101至S103的基础上，还包括如下步骤S104至S106：
S104，展示各缺陷子类别的产品图像，然后执行S105和S106。
S105，响应于接收到的图像删除指令，删除相应的产品图像。
S106，响应于接收到的图像修改指令，修改相应的产品图像的缺陷子类别。
本申请实施例得到的分类后的产品图像可通过如图7所示的界面进行逐行展示，图7中的缺陷形态A1-A3为缺陷类别A中的三个缺陷子类别，缺陷形态B1-B2为缺陷类别B中的两个缺陷子类别，同一缺陷子类别的产品图像展示在同一行。
用户可对所展示的图像中不需要的图像进行删除操作，例如对数量过多的某些缺陷形态的图像，可删除一些减少该缺陷形态的冗余信息，同时平衡各缺陷形态的数量分布；若用户发现某个图像目前的缺陷子类别不准确，即所处的图像展示位置不准确，可将该图像移动到正确的图像展示位置中，以实现对该图像的缺陷子类别的修正。
对于同一个缺陷类别，若用户认为其中的各图像涉及多种缺陷形态，有必要增加缺陷子类别，则可设置新的子类别文件夹，并将该缺陷类别中的部分图像移入新的子类别文件夹中，以完善该层次的分类。
对于同一个缺陷子类别，若用户认为其中的各图像涉及多种缺陷子形态，有必要增加更精细的缺陷子类别，则设置新的子类别文件夹，并将该相缺陷子类别中的部分图像移入新的子类别文件夹中，以实现更精细的分类。
基于用户操作进行删除或修改后，可自动修改临时数据库中的信息，以保持与显示结果相同。
可选地，本申请实施例提供的数据处理方法，在上述步骤S105或S106之后，还包括：将删除或修改后的产品图像输入目标检测网络模型，对目标检测网络模型进行训练，以进一步提高目标检测网络模型的精确度。
可选地，本申请实施例提供的数据处理方法，在上述步骤S103、S105和S106中任一步骤之后，还包括：上传分类后的产品图像。
上传图像的界面如图8所示，通过图8所示的界面，在完成本地数据集路径设置和服务器配置(服务器登录信息配置)后，点击“开始上传”即可启动上传相似产品图像的工作，每个产品图像上传成功与否可显示在“上传状态显示区”，整体的上传进度可显示在“进度条”中，用户可以随时点击“停止”来终止本次上传。上传时可选择是只上传产品图像还是将产品图像和临时数据库中的信息一起上传。
基于同一发明构思，本申请实施例提供的一种数据处理装置，如图9所示，该数据处理装置900包括：图像下载模块901、第一缺陷分类模块902以及第二缺陷分类模块903。
图像下载模块901，用于响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像。
第一缺陷分类模块902，用于通过目标检测网络模型对每个产品图像中的产品缺陷进行识别和分类，得到产品图像的缺陷类别和缺陷特征向量。
第二缺陷分类模块903，用于根据各产品图像的缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
可选地，第一缺陷分类模块902具体用于：通过特征提取器对产品图像进行特征提取，得到特征图；通过区域候选网络确定特征图的各特征区域是否包含产品缺陷，得到包含产品缺陷的特征区域；通过目标检测器对包含产品缺陷的特征区域进行特征提取，得到特征区域的缺陷特征向量，并确定每个特征区域包含的产品缺陷的类别，根据各特征区域包含的产品缺陷的类别确定产品图像的缺陷类别。
在一个可选的实施方式中，第二缺陷分类模块903具体用于：根据每个缺陷类别中各产品图像的缺陷特征向量，确定该缺陷类别中各产品图像之间的相似度；根据每个缺陷类别中各产品图像之间的相似度，确定该缺陷类别中各产品图像的缺陷子类别。
在另一个可选的实施方式中，第二缺陷分类模块903具体用于：
在每个缺陷类别中产品图像的缺陷特征向量所属的多维空间内，选取多个缺陷特征向量作为多个缺陷子类别的质心，根据缺陷特征向量与各缺陷子类别的质心的距离确定产品图像的缺陷子类别；
周期性地执行如下分类操作，直至达到迭代条件：根据当前的每个缺陷子类别中包含的缺陷特征向量的空间位置，重新确定该缺陷子类别的质心；根据缺陷特征向量与重新确定的各缺陷子类别的质心的距离确定产品图像的缺陷子类别。
可选地，本申请实施提供的数据处理装置900，还包括：训练模块。
训练模块用于：将各个缺陷子类别的各产品图像输入目标检测网络模型，对目标检测网络模型进行训练。
可选地，本申请实施提供的数据处理装置900，还包括：图像展示模块、图像删除模块和图像修改模块。
图像展示模块，用于展示各子缺陷类别的所述产品图像。
图像删除模块，用于响应于接收到的图像删除指令，删除相应的产品图像。
图像修改模块，用于响应于接收到的图像修改指令，修改相应的产品图像的缺陷子类别。
本实施例的数据处理装置900可执行本申请实施例提供的任一种数据处理方法，其实现原理相类似，本实施例中未详细示出的内容可参照前面所述的方法实施例，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种数据处理设备，该数据处理设备包括：存储器和处理器，存储器与处理器电连接。
存储器上存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例所提供的任一数据处理方法。
本技术领域技术人员可以理解，本申请实施例提供的电子设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请在一个可选实施例中提供了一种数据处理设备，如图10所示，该数据处理设备1000包括：存储器1001和处理器1002，存储器1001和处理器1002电连接，如通过总线1003连接。
可选的，存储器1001用于存储执行本申请方案的应用程序代码，并由处理器1002来控制执行。处理器1002用于执行存储器1001中存储的应用程序代码，以实现本申请实施例提供的任一种数据处理方法。
存储器1001可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
处理器1002可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital Signal Processor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1002也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1003可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，数据处理设备1000还可以包括收发器1004。收发器1004可用于信号的接收和发送。收发器1004可以允许数据处理设备1000与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器1004不限于一个。
可选地，数据处理设备1000还可以包括输入单元1005。输入单元1005可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备1000的用户设置以及功能控制有关的键信号输入。输入单元1005可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地，数据处理设备1000还可以包括输出单元1006。输出单元1006可用于输出或展示经过处理器1002处理的信息。输出单元1006可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图10示出了具有各种装置的数据处理设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的任一数据处理方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供了一种计算机可读存储介质适用于上述任一数据处理方法的各种可选实施方式，在此不再赘述。
这些图像数量庞大，按照工艺段、站点、产品等条件分类存放后，目录结构复杂、层级较多，要从中挑选出符合特定条件的图片非常困难，现阶段是由工厂的工程师手动进行数据的筛选和收集，收集效率会较低，且容易出现失误，例如丢失部分数据或筛选的数据类别不准确
应用本申请实施例的技术方案，至少能够实现如下有益效果：
1)可根据数据查询指令自动下载相应的产品图像，无需手动逐一下载，提高了数据查询效率，数据查询更加方便、快速；可对产品图像中的产品缺陷进行自动识别，并根据识别出的产品缺陷对所下载的产品图像自动进行分类，无需手动筛选和分类，可提升图像筛选和分类的效率和准确率。
2)通过由大量样本数据训练出的目标检测网络模型来实现对产品缺陷识别，可提高缺陷识别的准确率，实现基于产品缺陷的产品图像的初步分类；在目标检测网络模型输出的缺陷特征向量的基础上，可确定各产品图像之间的相似度或对缺陷特征向量所属的多维空间进行分类，可实现目标检测网络模型基础上对产品图像的二次分类，提高分类的准确性。
3)通过本申请实施例提供的技术方案得到的分类后的产品图像可输入目目标检测网络模型，对目标检测网络模型进行再训练，更新目标检测网络模型使其缺陷识别和分类功能更加精确。
4)本申请实施例可向用户展示确定出的分类后的产品图像，基于接收到的图像删除指令删除相应的产品图像，在产品图像中存储重复图像时，可实现图像去重；还可基于接收到的图像修改指令，修改相应的产品的类别，实现对图像的类别修正以及进一步精细化分类的功能。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：
响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像；
通过目标检测网络模型对每个所述产品图像中的产品缺陷进行识别和分类，得到所述产品图像的缺陷类别和缺陷特征向量；
根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
2.根据权利要求1所述的数据处理方法，其特征在于，所述目标检测网络模型包括：依次连接的特征提取器、区域候选网络和目标检测器；
通过目标检测网络模型对每个所述产品图像中的产品缺陷进行识别和分类，得到所述产品图像的缺陷类别和缺陷特征向量，包括：
通过所述特征提取器对所述产品图像进行特征提取，得到特征图；
通过所述区域候选网络确定所述特征图的各特征区域是否包含所述产品缺陷，得到包含所述产品缺陷的所述特征区域；
通过所述目标检测器对所述包含所述产品缺陷的所述特征区域进行特征提取，得到所述特征区域的缺陷特征向量，并确定每个所述特征区域包含的所述产品缺陷的类别，根据各特征区域包含的所述产品缺陷的类别确定所述产品图像的缺陷类别。
3.根据权利要求2所述的数据处理方法，其特征在于，所述区域候选网络包括：卷积层、以及并列级联于所述卷积层之后的第一卷积支路和第二卷积支路；
所述卷积层用于：对所述特征提取器输出的所述特征图进行特征提取，得到各特征区域的特征向量；
所述第一卷积支路用于：根据各特征区域的所述特征向量确定得特征区域是否包含所述产品缺陷并输出；
所述第二卷积支路用于：调整所述特征区域的检测范围以使其覆盖所述产品缺陷。
4.根据权利要求2所述的数据处理方法，其特征在于，所述目标检测器包括：池化层、全连接层、以及并列级联于所述全连接层之后的第一全连接支路和第二全连接支路；
所述池化层和所述全连接层用于：对包含所述产品缺陷的所述特征区域的特征向量进行池化处理和特征全连接处理，得到所述缺陷特征向量并输出；
所述第一全连接支路用于：根据各特征区域的所述缺陷特征向量确定所述产品缺陷的类别，根据各特征区域包含的所述产品缺陷的类别确定所述产品图像的缺陷类别并输出；
所述第二全连接支路用于：调整所述特征区域的检测范围以覆盖所述产品缺陷。
5.根据权利要求1所述的数据处理方法，其特征在于，所述根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别，包括：
根据每个缺陷类别中各产品图像的所述缺陷特征向量，确定该缺陷类别中各产品图像之间的相似度；
根据每个缺陷类别中各产品图像之间的相似度，确定该缺陷类别中各产品图像的缺陷子类别。
6.根据权利要求1所述的数据处理方法，其特征在于，所述根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别，包括：
在每个缺陷类别中所述产品图像的所述缺陷特征向量所属的多维空间内，选取多个所述缺陷特征向量作为多个缺陷子类别的质心，根据所述缺陷特征向量与各缺陷子类别的质心的距离确定所述产品图像的缺陷子类别；
周期性地执行如下分类操作，直至达到迭代条件：根据当前的每个缺陷子类别中包含的所述缺陷特征向量的空间位置，重新确定该缺陷子类别的质心；根据所述缺陷特征向量与重新确定的各缺陷子类别的质心的距离确定所述产品图像的缺陷子类别。
7.根据权利要求1所述的数据处理方法，其特征在于，所述确定每个缺陷类别中各产品图像的缺陷子类别之后，还包括：
将各个缺陷子类别的各产品图像输入所述目标检测网络模型，对所述目标检测网络模型进行训练。
8.根据权利要求1所述的数据处理方法，其特征在于，还包括：
展示各缺陷子类别的所述产品图像；
响应于接收到的图像删除指令，删除相应的所述产品图像；
响应于接收到的图像修改指令，修改相应的所述产品图像的缺陷子类别。
9.一种数据处理装置，其特征在于，包括：
图像下载模块，用于响应于接收到的数据查询指令，在已存储的产品图像数据中下载相应的产品图像；
第一缺陷分类模块，用于通过目标检测网络模型对每个所述产品图像中的产品缺陷进行识别和分类，得到所述产品图像的缺陷类别和缺陷特征向量；
第二缺陷分类模块，用于根据各产品图像的所述缺陷特征向量，确定每个缺陷类别中各产品图像的缺陷子类别。
10.一种数据处理设备，其特征在于，包括：
存储器；
处理器，与所述存储器电连接；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1-8中任一项所述的数据处理方法。
11.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的数据处理方法。
CN202011166810.6A 2020-10-27 2020-10-27 数据处理方法、装置、设备及存储介质 Pending CN114511726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011166810.6A CN114511726A (zh) 2020-10-27 2020-10-27 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011166810.6A CN114511726A (zh) 2020-10-27 2020-10-27 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114511726A true CN114511726A (zh) 2022-05-17

Family

ID=81547304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011166810.6A Pending CN114511726A (zh) 2020-10-27 2020-10-27 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114511726A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996310A (zh) * 2022-05-25 2022-09-02 京东方科技集团股份有限公司 一种数据处理方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
CN108776819A (zh) * 2018-06-05 2018-11-09 Oppo广东移动通信有限公司 一种目标识别方法、移动终端及计算机可读存储介质
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109871895A (zh) * 2019-02-22 2019-06-11 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
CN108776819A (zh) * 2018-06-05 2018-11-09 Oppo广东移动通信有限公司 一种目标识别方法、移动终端及计算机可读存储介质
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109871895A (zh) * 2019-02-22 2019-06-11 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996310A (zh) * 2022-05-25 2022-09-02 京东方科技集团股份有限公司 一种数据处理方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
US12205360B2 (en) Defect detection system
WO2021232229A1 (zh) 虚拟场景生成方法、装置、计算机设备和存储介质
US12026592B2 (en) Machine learning model training method and machine learning model training device
JP2022518508A (ja) 画像分析システムおよび画像分析システムを使用する方法
KR20170091716A (ko) 샘플링 및 특징 선택 없는 자동 결함 분류
WO2023056723A1 (zh) 故障诊断的方法、装置、电子设备及存储介质
CN114708304B (zh) 一种跨摄像头的多目标追踪方法、装置、设备及介质
CN114419631A (zh) 一种基于rpa的网管虚拟系统
CN115937703A (zh) 一种用于遥感图像目标检测的增强特征提取方法
CN111309948A (zh) 图片筛选方法、图片筛选装置以及电子设备
CN114556364A (zh) 基于相似度运算符排序的神经架构搜索
CN118781102A (zh) 一种基于条件生成对抗网络的Mura缺陷分类方法及相关设备
CN112801070B (zh) 一种目标检测方法、装置、设备及存储介质
CN112989402A (zh) 一种用户权限确定方法及装置
CN118196566A (zh) 基于度量学习的智能驾驶系统分类优化方法、装置及介质
CN114511726A (zh) 数据处理方法、装置、设备及存储介质
CN111611406B (zh) 用于人工智能学习模式的数据存储系统与方法
CN118230053B (zh) 一种基于卷积神经网络模型的设备台账管理系统
CN118710999A (zh) 一种基于红外图像的地铁供电设备故障诊断方法及系统
CN114299424B (zh) 目标归类方法、装置、电子设备及存储介质
CN118196411A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN117542032A (zh) 车牌类型识别方法以及系统
CN117523594A (zh) 施工图和竣工图的比对方法、装置、终端设备及存储介质
WO2024057599A1 (ja) 選別装置、選別方法、および選別プログラム
CN116910650A (zh) 数据识别方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination