CN119904149A - 一种基于大模型的产品良率管控方法及装置 - Google Patents

Abstract

本发明提供了一种基于大模型的产品良率管控方法及装置，涉及质量管控与人工智能领域，所述方法流程为：获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。本发明以良率多模态大模型为基础基座，通过智能体实现对基础大模型以及各个业务分析模型之间的灵活调用，解决了现有产品良率管控存在的问题。

Description

一种基于大模型的产品良率管控方法及装置

技术领域

本发明涉及质量管控与人工智能领域，具体而言，涉及一种基于大模型的产品良率管控方法及装置。

背景技术

在工业制品生产加工过程中，产品的良率往往是一个重要的问题，工厂通过统计过程控制、根因分析等手段对生产加工过程中的产品加工参数进行过程管控，对缺陷的根因站点、参数进行定位。同时结合以往的历史经验和历史调控记录，对工艺参数进行调整，从而提高产品良率。

然而，现有的产品良率管控方法存在以下问题：（1）良率数据涉及面较广，当前各类数据比较分散，现有方法难以将各类和良率相关的数据进行有效整合。（2）良率参数的异常监控、根因参数分析等需要较强人工经验，即使实现了自动化管控，但是相关系统的操作仍有较高知识门槛，而且操作流程比较复杂，人员培训学习成本较高。（3）现有方法主要局限于单个数据模态，比如缺陷检测集中于图像，根因分析集中于参数数值，难以实现多模态数据的综合分析，分析结果的准确性有待提升。（4）各类不同良率分析模型之间的集成难度较大，难以实现多维度、综合性的产品良率分析。

发明内容

本发明提供一种基于大模型的产品良率管控方法及装置，解决了现有产品良率管控存在的问题。

在第一方面，本发明实施例中提供一种基于大模型的产品良率管控方法，所述方法包括以下流程：

获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；

采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；

通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

于上述实施例中，本发明以良率多模态大模型为基础基座，通过智能体实现对基础大模型以及各个业务分析模型之间的灵活调用，既保证了不同模型间的独立性，同时又便于业务分析模型的后续升级。

作为本申请一些可选实施方式，所述产品良率管控相关的各类多模态数据包括文档形式的数据、图像形式的数据、数值参数形式的数据以及网络图形式的数据；其中，所述文档形式的数据包括工艺资料、良率分析报表以及良率管控的相关研究成果；所述图像形式的数据包括缺陷图像；所述数值参数形式的数据包括生产加工数据；所述网络图形式的数据包括生产履历数据。

于上述实施例中，本发明使用的良率多模态大模型，充分利用产品良率管控相关各类多模态数据（如良率工艺文档、良率历史图表、缺陷图等），能更好地提升大模型对于特定专业背景知识的理解能力，提升大模型在问句理解、答案生成以及任务理解等多方面的准确性。

作为本申请一些可选实施方式，所述方法基于多模态的良率数据，对开源的多模态融合大模型进行微调训练，并且私有化部署到本地服务器，以得到良率多模态大模型。

于上述实施例中，本发明通过对开源的多模态融合大模型进行微调训练，并且私有化部署到本地服务器，能够解决直接基于工厂的专业语料进行训练，不仅语料的数量难以满足训练需求，而且训练成本也非常高的问题。

作为本申请一些可选实施方式，所述业务分析模型包括多模态数据检索模型、虚拟量测模型、良率预测模型以及根因分析模型。

于上述实施例中，本发明不仅利用了创新性强、当下最新的大模型技术，还可以与传统的各类分析手段、模型进行集成，有效利用了工厂原有的分析手段和模型，降低了模型开发成本，可以与原有的各种分析手段、经验、方法结合，不仅提升了业务分析准确性，也提升了良率分析结果的可靠性和可解释性。

作为本申请一些可选实施方式，所述智能体用于任务规划、任务调度以及用户交互。

于上述实施例中，本发明基于智能体调用的方式，充分利用了大模型对自然语言强大的理解、表征能力，相比于传统的基于数据筛选、点击、切换的各类分析系统，基于智能体的良率管控系统可以让用户可以像使用搜索引擎一样，直接输入问题，然后得到答案，并且对相关结果进行加工整理，进一步增强用户与良率管控系统之间的交互体验，提升产品的人性化，降低学习、培训成本；同时智能体又可以学习传统分析方法中的分析逻辑，沉淀专家的经验知识，自动选择相应的业务分析模型，降低良率管控系统的经验门槛。

作为本申请一些可选实施方式，所述信息系统包括机器视觉与缺陷检测系统、统计过程控制系统、制造执行系统、质量管理系统、数据库、服务器以及存储系统。

作为本申请一些可选实施方式，通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果的流程如下：

通过良率管控系统的智能体接收多模态的用户交互数据；

通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型解析多模态的用户交互数据，以得到统一的嵌入表征；

基于统一的嵌入表征，通过良率管控系统的智能体进行任务规划、任务调度，以调用各类业务分析模型，并且通过业务分析模型进行良率分析，以得到良率分析结果；

通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型对良率分析结果进行统一的数据加工，以得到良率分析管控结果；

通过良率管控系统的智能体输出良率分析管控结果。

于上述实施例中，本发明基于良率多模态大模型，可以直接输入图像等各类模态的数据，模型处理过程实现全流程、一体化、自动化；

在第二方面，本发明提供一种基于大模型的产品良率管控装置，所述装置包括：

多模态数据获取单元，所述多模态数据获取单元用于获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

大模型微调训练单元，所述大模型微调训练单元基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；

业务模型集成单元，所述业务模型集成单元采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；

良率管控分析单元，所述良率管控分析单元通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行计算机程序时实现所述一种基于大模型的产品良率管控方法。

在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于大模型的产品良率管控方法。

本发明的有益效果如下：

1.本发明以良率多模态大模型为基础基座，通过智能体实现对基础大模型以及各个业务分析模型之间的灵活调用，既保证了不同模型间的独立性，同时又便于业务分析模型的后续升级。

2.本发明使用的良率多模态大模型，充分利用产品良率管控相关各类多模态数据（如良率工艺文档、良率历史图表、缺陷图等），能更好地提升大模型对于特定专业背景知识的理解能力，提升大模型在问句理解、答案生成以及任务理解等多方面的准确性。

3.本发明通过对开源的多模态融合大模型进行微调训练，并且私有化部署到本地服务器，能够解决直接基于工厂的专业语料进行训练，不仅语料的数量难以满足训练需求，而且训练成本也非常高的问题。

4.本发明不仅利用了创新性强、当下最新的大模型技术，还可以与传统的各类分析手段、模型进行集成，有效利用了工厂原有的分析手段和模型，降低了模型开发成本，可以与原有的各种分析手段、经验、方法结合，不仅提升了业务分析准确性，也提升了良率分析结果的可靠性和可解释性。

5.本发明基于智能体调用的方式，充分利用了大模型对自然语言强大的理解、表征能力，相比于传统的基于数据筛选、点击、切换的各类分析系统，基于智能体的良率管控系统可以让用户可以像使用搜索引擎一样，直接输入问题，然后得到答案，并且对相关结果进行加工整理，进一步增强用户与良率管控系统之间的交互体验，提升产品的人性化，降低学习、培训成本；同时智能体又可以学习传统分析方法中的分析逻辑，沉淀专家的经验知识，自动选择相应的业务分析模型，降低良率管控系统的经验门槛。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例所述产品良率管控方法整体流程图；

图2是本发明实施例所述良率管控系统整体架构图；

图3是本发明实施例所述良率管控系统整体工作流程图；

图4是本发明实施例所述良率管控系统的部署图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了解决现有产品良率管控存在的问题。本发明实施例提供了一种基于大模型的产品良率管控方法，请参阅图1，图1为所述产品良率管控方法整体流程图，所述方法流程如下：

（1）获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

具体的，由于良率管控需要将缺陷检测、虚拟量测、良率预测预警、不良根因分析以及工艺参数调整等综合考虑，形成全流程的质量管控，才能提高良率管控的及时性和准确性，形成质量品质管控的闭环。

特别地，在全流程的良率管控场景中，往往涉及大量的各类多模态数据。其中，产品良率管控相关的各类多模态数据包括文档形式的数据、图像形式的数据、数值参数形式的数据以及网络形式的数据。所述文档形式的数据包括工艺资料（PPT、PDF、Word等）、良率分析报表以及良率管控的相关研究成果（各类Excel报表、报告等）。所述图像形式的数据包括缺陷图像等。所述数值参数形式的数据包括生产加工数据等。所述网络图形式的数据包括生产履历数据等。为了提高良率多模态大模型对于特定业务知识的理解能力，需要将尽可能多的开源、闭源数据，用于训练模型，从而形成多模态的良率数据集。

特别地，数值参数形式的生产加工数据包括工厂生产机台的工艺参数、各类传感器记录的加工数据、量测机台的测量值以及质检环节记录的不良检测结果（即缺陷数据）等；数值参数形式的生产加工数据是良率管控中最重要的数据资料。这些数据不仅可以支撑模型的训练构建，在良率管控系统上线使用阶段，用户还可以基于这些数据，实现对良率数据的查询、分析以及计算等。

需要强调，产品良率管控相关的各类多模态数据不应局限于工厂自身的数据，还应广泛从开源渠道进一步收集行业的相关资料，以弥补特定专业语料不足的缺陷，通过充分利用开源渠道的相关专业语料，提升大模型对于特定业务知识的理解能力。相关开源渠道包括但不限于：专业论坛、专业书籍、论文数据库、公开的专利数据库等。同时，语料包括但不限于中文、英文、韩文等。

（2）基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型。

具体的，基于收集到的多模态的良率数据的作为语料数据，对开源的多模态融合大模型进行微调训练，并且部署到本地服务器，形成工厂私有化的良率多模态大模型。

需要说明，由于工业生产场景中各类业务场景的专业背景知识往往比较复杂，如果直接使用开源大模型，大模型对专业知识的理解能力有限，大模型效果往往不佳，而如果直接基于工厂的专业语料进行训练，不仅语料的数量难以满足训练需求，而且训练的成本也非常高。同时，工厂环境对数据、网络的安全性要求较高，因此本发明实施例采取了基于开源多模态融合大模进行微调并且私有化部署的方案。

具体的，所述多模态融合大模包括但不限于为：千问多模态大模型 Qwen2-VL、BLIP-2、GPT-4V 等，优选地，本发明实施例选择千问多模态大模型 Qwen2-VL。

需要指出，基于特定领域的私有语料数据，对开源大模型进行微调训练是本领域常用的技术手段，常见的微调训练方法，包括指令微调、对齐微调等，本发明实施例对微调训练方法不做限制。

（3）采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统，请参阅图2，图2为所述良率管控系统整体架构图。

具体的，将微调训练构建的良率多模态大模型作为底座，通过智能体（Agent）调用良率多模态大模型以及各类业务分析模型的方式，构建基于良率多模态大模型的良率管控系统。

需要说明，本发明实施例的智能体负责任务规划、任务调度（确定选择调用哪个业务分析模型）以及用户交互。

此外，所述良率多模态大模型的功能主要是理解用户输入的多模态数据，并且形成统一的嵌入表征；并且基于各个业务分析模型的良率分析结果进一步加工形成交互性更好的良率管控数据（例如针对多模态数据检索模型的查询结果，将其丰富成一段描述语言或者生成统计图表）；以及支撑构建基础的数据库，支持智能体在进行任务规划时对多模态信息的理解。

需要强调，所述良率管控系统中除了基座良率多模态大模型外，各类业务分析模型中，可以根据需要自行配置各类人工智能模型，也包括其他大语言模型，本发明实施例对此不做限制。

需要指出，各类业务分析模型对应的系统应用，包括但不限于：缺陷检测系统、良率预测预警系统、虚拟量测系统、不良根因分析系统以及工艺参数调整系统等。这些系统中可以灵活集成、更新各类分析方法，包括传统统计分析方法、机器学习方法、深度学习方法、最优化方法、复杂网络分析法、关联规则挖掘等数据挖掘分析方法等，本发明实施例对此不做限制，具体手段不再赘述。同时，这些系统中的方法，在系统运行上线后，还可以根据效果，进行灵活地独立更新和迭代。

具体的，在完成良率管控系统功能测试后，将系统部署到工厂的生产环境中，并且将各类信息系统接入。

特别地，所述信息系统包括但不限于：机器视觉与缺陷检测系统（AOI缺陷检测系统，主要用于实时监测产品的缺陷）、统计过程控制系统（SPC系统，基于行业标准和经验进行品质管控）、制造执行系统（MES系统，用于生产过程的监控和调度）、质量管理系统（QMS系统，用于质量事件的记录和协同处理）、电子设计自动化系统（EDA系统，用于产品电路的设计输入、设计仿真、综合、布局布线、物理验证以及模拟电路仿真等）、多模态数据库、服务器以及存储系统等。

（4）通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

具体的，针对构建的良率管控系统，通过接收用户提问（用户交互数据），即可通过智能体调用的方式给出相应的良率分析管控结果。

特别地，用户交互数据即用户的分析需求，包括但不限于：查询某批次产品的缺陷情况及不良率、查询历史不良率并生成报表、对某批次产品不良进行根因推断，定位出根因站点及参数、对导致产品不良的根因参数给出工艺参数调控建议、基于当前的量测结果对某批次产品的良率进行预测、基于当前的加工参数检测结果对产品加工过程进行预警等。

特别地，良率分析管控结果包括但不限于：产品的缺陷检测结论及不良率结果、用户查询的历史良率结果及生成的相关报表、针对不良的根因分析结论、生产参数调控建议、良率预测结果、良率预警提醒等。

具体的，请参阅图3，图3为所述良率管控系统整体工作流程图，通过一体化的良率管控系统对用户交互数据进行分析的流程如下：

（4.1）通过良率管控系统的智能体接收多模态的用户交互数据。

（4.2）通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型解析多模态的用户交互数据，以得到统一的嵌入表征。

（4.3）基于统一的嵌入表征，通过良率管控系统的智能体进行任务规划、任务调度，以调用各类业务分析模型，并且通过业务分析模型进行良率分析，以得到良率分析结果。

（4.4）通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型对良率分析结果进行统一的数据加工，以得到良率分析管控结果。

（4.5）通过良率管控系统的智能体输出良率分析管控结果。

具体的，所述良率管控系统整体工作流程的核心在于对多模态数据进行表征解析，对用户输入进行理解以及任务的规划、调度。

需要指出，用户提问时可以附带提供相关的交互数据，或者在提问中指明，由业务分析模型直接调动数据库进行查询分析。用户提供交互数据的方式，包括但不限于：直接上传文件、提供数据访问链接等。用户在提问中可以指明需要明确待分析的数据范围，包括但不限于：产品的批次、时间范围、产品不良发生的制程、产品不良的类型、量测环节的量测点位等，以便良率管控系统能将用户的输入语言，转成知识库查询语句，进行查询分析。同时，用户在提问时，提供的数据信息越丰富（如不良的类型、不良发生的制程、不良缺陷图片、缺陷点的集聚性以及Map图等），越有利于良率管控系统给出准确的良率管控数据。

需要强调，基于大模型的良率管控系统相比于传统系统更加人性化和智能化，用户可以根据需要灵活提问。同时，在实际中，即使是相同的分析需求，由于不同用户的经验水平、知识背景以及表达习惯差异，用户的提问方式可能是多种多样的。因此，既要考虑用户提问的多样性、保证用户较好的体验，又要保证用户的提问尽量精准，便于良率管控系统给出准确的回答。本发明实施例从技术和产品两个方面进行解决。

具体地，提升用户提问效果的相关手段，包括但不限于：

（1）技术方面的手段：基于自然语言处理技术，使用多轮对话分析技术分析用户输入的语义，当识别到用户提问不明或者不完整时，通过交互式对话的方式引导用户完善问题；或者预置一些提示语，引导良率多模态大模型更好地理解用户常见的表述方式等。

（2）产品方面的手段：给用户提供“相关问题提示”、“常见提问”，引导用户更好提问；或者显示界面上使用工具按钮或帮助按钮，提供相关提问示例、指南教程等，或者组织对用户进行系统使用的培训等。

以上手段，比较成熟，由于不是本发明实施例的重点，本发明实施例对此不做限制，可以根据在特定业务背景语料和特定问答场景下的表现进行择优。

需要指出，用户还可以在提问中指明，针对分析需求，需要采用的分析手段或者明确需要调用的业务分析模型（如“请用关联规则挖掘的方法分析某批次产品不良的根因”），以便良率管控系统能够根据用户的需求，进行针对性的分析。如果用户没有明确指明，则良率管控系统将根据智能体对于分析任务的理解，采用相应的分析手段，或者调用默认的业务分析模型。

下面针对新型显示材料加工制造行业的业务场景，给出本发明实施例的几种实现形式，应当注意，这些实现形式仅仅是本发明实施例的几种实现形式，而不是本发明实施例的全部实现形式。同时，本发明实施例提出的产品良率管控方法，也不局限于新型显示材料的加工制造行业。

具体的，在半导体加工制造行业中，往往面临着数据分散、加工工序复杂、数据量庞杂、根因定位难等难题，严重影响产品良率的提升。因此本发明实施例采用基于大模型的技术，通过智能体调用的方式集成底层的多良率多模态大模型、各类业务分析模型以及相关数据，实现对良率全流程的智能化管控。

下面在实施例的详细步骤中，将以“历史良率数据的查询及报表生成”、“不良根因定位及参数调控”、“良率数据的日常预测及预警”三个应用场景为例，对方法流程进行详细的说明。

S10：获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集，并且可以将良率数据集分为训练集和验证集。

本发明实施例中，针对新型显示材料的加工制造业，获取的产品良率管控相关的各类多模态数据示例参见表1。

表 1 为良率多模态大模型训练过程中需要使用的数据

S20：基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型。

具体的，基于收集到的良率数据集，对开源的多模态融合大模型进行本地微调训练，并且部署到本地服务器，形成工厂私有化的良率多模态大模型。

具体的，模型微调训练的流程如下：

S201：数据预处理：对收集的文本数据进行分词、去停用词等预处理，对图像数据进行尺寸统一、归一化等预处理，对数值参数进行标准化处理，构建文本和图像对齐的训练样本。

S202：模型微调：采用微调技术通过量化和参数高效微调降低内存消耗。具体地，使用 8-bit 量化和双精度适配器，在保持性能的同时大幅降低显存占用，仅微调少量参数，其余参数冻结不变，并且采用较小的学习率(如 1e-5~1e-6)进行微调。

S203：模型训练：采用分阶段微调策略，首先单独微调文本和图像编码器，然后再联合微调。在实施中，建议使用预热策略，学习率先升后降。同时，采用渐进式解冻策略，从浅层到深层逐步解冻模型参数，使用梯度裁剪防止梯度爆炸。

S204：模型训练的损失函数设计：对于图像理解损失，使用对比学习损失，对于文本和图像联合微调时的跨模态对齐损失，使用最小化文本和图像特征的距离。此外，还可以根据业务任务进行选择，比如分类损失、回归损失等。在损失函数设计中，采用多任务学习框架，动态平衡各损失项权重。

S205：模型训练效果评估与监控：定期在验证集上评估模型性能，监控各损失项变化趋势，直到模型收敛，同时检查梯度稳定性，根据验证集性能动态调整学习率；

需要强调，模型的微调是一个不断迭代的过程，需要根据模型的训练效果，不断调整训练策略、损失函数设计、训练的损失函数设计等（尤其可以根据其在特定业务场景下的表现，进行调整），以达到最佳的训练效果。

S30：采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统，请参阅图4，图4为所述良率管控系统的部署图。

具体的，以基于新型显示行业数据构建的良率多模态大模型为基座，构建基于大模型的良率管控系统。首先基于LangGraph构建大模型的智能体，然后将各类业务分析模型作为智能体的标准工具，从而实现智能体对于各类业务分析模型的调用。

具体的，采用智能体调用的方式将各类业务分析模型进行集成的流程如下：

S301：构建智能体的基本框架：定义智能体基类以及智能体的工作流程图，设置节点间的调用关系和数据流转规则等。

S302：将各类业务分析模型封装为智能体的标准工具接口：即良率数据检索分析工具、良率预测预警工具、不良根因解析工具、工艺参数调控工具等。

S303：构建智能体的工作流程：接收用户的良率分析输入，解析用户的自然语言请求，根据用户请求，规划所需的分析工具和调用顺序，按照规划顺序调用相应的分析工具，将各工具（各个业务分析模型）的良率分析结果进行整合，将整合后的结果转化为自然语言响应，输出良率分析报告。

S304：设置智能体的错误处理与回退机制：设置工具调用的超时机制，配置调用失败的重试策略，实现结果验证和异常处理，并且支持人工干预和手动回退。

S305：系统部署与接口设计：为了提高部署和后期调整的灵活性，整个良率管控系统，采用B/S架构。因此，将智能体部署为Web服务，通过设计标准的API接口，实现业务用户鉴权和访问控制，并且支持异步调用和结果推送，提升用户体验和系统的可维护性。

具体的，对新型显示行业，业务分析模型对应的系统应用包括但不限于：良率数据检索分析系统、良率数据预测系统、良率预测预警系统、不良根因解析系统、良率数据工艺参数调控系统等。这里的业务分析系统可以根据各个厂家自身的业务需求、数据特点，灵活进行选择，后期还可以不断升级拓展。

例如：良率数据检索分析系统，包括但不限于如下功能：良率数据检索、生成良率分析报表、对各类良率分析图表进行概要总结生成概要报告等。该良率数据检索分析系统功能实现的技术手段，包括但不限于：基于 Text-to-SQL，针对用户输入生成数据库查询语句、基于统计过程控制系统的统计分析、基于绘图插件的各类统计图表生成，基于图表理解的图表概要总结等。

例如：良率数据预测预警系统，包括但不限于如下功能：基于历史良率数据，针对当前的产品加工参数，进行良率预测、良率预警、良率飘高监测等；该良率数据预测预警系统功能实现的技术手段，包括但不限于：基于深度神经网络的回归预测、基于无监督的异常检测以及时序数据异常分析等。

例如：不良根因解析系统，包括但不限于如下功能：基于各类不良缺陷，定位出和产品不良最相关的站点、机台（包括设备、子设备、腔室等）、加工参数、加工人员、物料、加工时长等，即确定出不良根因；该不良根因解析系统功能实现的技术手段，包括但不限于：基于关联规则挖掘的根因分析、基于决策树的根因分析、基于聚类分析的根因分析、基于神经网络的根因分析、基于复杂网络的根因分析、基于 Map 图的根因分析、基于统计检验等。

例如：良率数据工艺参数调控系统，包括但不限于如下功能：基于不良根因解析系统确定的不良根因参数或者良率预测预警系统监测的异常飘高的参数，结合工艺制程要求的取值范围经验性的取值以及历史调控记录，计算出最佳工艺参数。该良率数据工艺参数调控系统功能实现的技术手段，包括但不限于：基于遗传算法的参数优化、基于贝叶斯网络的参数优化、基于神经网络的参数优化、基于强化学习的参数优化等。

具体的，在完成良率管控系统功能测试后，将良率管控系统部署到工厂生产环境中，并且将多模态数据库、AOI 缺陷检测系统、MES 系统、SPC 系统、EDA系统等集成接入，形成一体化的良率管控系统，如图3所示。

S40：通过一体化的良率管控系统对用户交互数据进行分析，以获取产品良率管控结果。

具体的，所述良率管控系统可以根据用户的提问，给出相应的产品良率管控结果。本发明实施例以“历史良率数据的查询及报表生成”、“不良根因定位及参数调控”、“良率数据的日常预测及预警”三个应用场景为例，进行详细的阐释说明。

场景1：基于良率数据的查询，生成相关报表。

用户输入：“请查询2024年6月3日至2024年6月15日期间，某型号OLED显示屏的良率数据，并且生成良率分析报表；其中，分析报表包括逐日良率的折线图以及这个生产批次中不同缺陷的比例分布图”。

具体的，所述良率管控系统的智能体接收到用户的查询需求输入后，首先将该查询需求，通过Text-to-SQL技术（将自然语言查询转换为结构化查询语言SQL）转成数据库查询语句。需要说明，如果用户的查询需求的逻辑比较简单，或者用户的数据库表结构比较简单，则可以跳过Text-to-SQL，直接根据用户输入，智能体可以直接生成SQL查询语句，本发明实施例对此不做限制。

然后，基于该数据库查询语句，在数据库中检索出相关的良率数据，如表2和表3所示。表2中记录了每日的面板良率数据，表3记录了面板中不同缺陷的数量占比。

表 2 为良率数据（示例数据）

表 3 缺陷数据（示例数据）

最后，所述良率管控系统基于图表生成功能，根据用户的图表生成需求（即“逐日良率的折线图以及这个生产批次中不同缺陷的比例分布图”）生成相关的良率分析报表，如相应的每日良率波动的折线图、不同缺陷占比的扇形图等。

场景2：基于产品的缺陷数据、生产机台的工艺参数、加工参数等，进行根因分析，并且给出工艺参数调整建议。

用户输入：“请分析2024年6月3日至2024年6月15日期间，某型号OLED显示屏发生Mura不良的根因，要求定位到根因站点、根因设备、根因参数，针对影响不良的工艺参数，给出调整建议，并且获取不良发生在Array制程，Mura不良的缺陷图片”。

其中，Mura不良表现为显示屏在显示区内亮度或颜色不均匀，Array 制程主要涉及在玻璃基板上通过一系列工艺步骤形成TFT阵列。

具体的，所述良率管控系统的智能体接受到用户的查询需求输入后，首先进行提问的解析，然后按照和场景1中类似的流程，依次进行TextToSQL转换、调用数据库，同时智能体针对输入的不良图片，基于良率多模态大模型，判断出这是一种“线状Mura”，然后通过智能体将查询出的数据以及缺陷判断结果，输入到根因分析模型，根因分析模型基于输入的良率数据，给出根因分析结果，智能体再将根因分析结果（即定位出的根因站点、设备和参数，如表4所示），输入到工艺参数综控座舱，从而得到参数调控建议，并且通过 API 接口，输出给用户。

表 4 根因分析结果

具体的，良率管控系统将确定的根因结果，输出到工艺参数综控座舱，最终给出的效果，如表 5 所示。

表 5 良率管控系统的输出结果

场景3：基于日常生产数据，进行良率预测、检测和预警。

用户输入：“请根据2024年6月14日至2024年6月16日期间，某型号OLED显示屏在Array制程过程中的良率数据，预测2024年6月20日前该型号OLED显示屏，在Array 制程结束后的良率，并且进行良率参数飘高监测，指出该制程中异常的参数，并且需要指明参数所在的站点”。

注意到，用户的查询需求的输入中只是笼统地提到“基于良率数据进行良率预测”，没有指明需要的具体的数据类型，而良率管控系统会基于学习到的大量良率相关业务知识，以及对大模型的提示语的优化，自动选择出与该业务相关的数据类型，并且进行良率预测、飘高监测、异常参数分析等。

例如，良率管控系统的智能体接收到用户的查询需求输入后，首先根据用户输入，基于历史知识和提示语优化，针对用户不明确的语义，自动确定出应该筛选使用“Array制程传感器监测的加工参数、Array制程中 AOI 环节各类缺陷的监测数据、Array制程中量测机台的量测值”，然后直接生成SQL查询语句，调用相关数据，查询得到的数据示例，如表6，表7和表8所示。

表6为良率预测所必需的数据1-AOI环节缺陷监测数据（示例）

表7为良率预测所必需的数据2-传感器监测的加工参数（示例）

表8为良率预测所必需的数据3-量测机台针对膜厚参数的量测值（示例）

然后，智能体基于这些数据，直接调用良率预测模型对该阶段中的良率情况进行预测，模型的输出结果（特定制程站点下的良率预测结果），如表9所示。

表9为良率预测结果

同时，智能体基于上述数据中的时序加工参数，直接调用良率预警模型（如基于孤立森林的无监督异常检测模型），对异常参数进行飘高监测，并且给出异常参数的站点，良率预警模型的输出，如表10所示。

表10为良率预警模型的输出结果（示例）

最后，所述良率管控系统的智能体基于上述输出结果，将相关结果进行汇总，形成分析结论：“针对用户您当前监测查询的数据，良率预测后发现Array制程的站点18、站点20的良率，可能会明显低于其他站点。同时对参数的监控预警发现，站点4、站点7、站点11、站点19存在加工参数异常（详见表格），应予以重点关注”。

通过以上过程，可以看出良率管控系统可以基于对任务的理解，自动实现对良率的预测、预警以及对异常参数的监测等。

综上，本发明以良率多模态大模型为基础基座，通过智能体实现对基础大模型以及各个业务分析模型之间的灵活调用，解决了现有产品良率管控存在的问题。

此外，在一种实施例中，基于与前述实施例相同的发明思路，本发明实施例提供一种基于大模型的产品良率管控装置，所述装置与实施例1的所述方法一一对应，所述装置包括：

多模态数据获取单元，所述多模态数据获取单元用于获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

大模型微调训练单元，所述大模型微调训练单元基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；

业务模型集成单元，所述业务模型集成单元采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；

良率管控分析单元，所述良率管控分析单元通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

需要说明的是，本实施例中产品良率管控装置中各单元是与前述实施例中的产品良率管控方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述基于大模型的产品良率管控方法的实施方式，这里不再赘述。

此外，在一种实施例中，本申请还提供一种计算机设备，所述计算机设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。

此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于大模型的产品良率管控方法，其特征在于，所述方法包括以下流程：

获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；

采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；

通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

2.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，所述产品良率管控相关的各类多模态数据包括文档形式的数据、图像形式的数据、数值参数形式的数据以及网络图形式的数据；其中，所述文档形式的数据包括工艺资料、良率分析报表以及良率管控的相关研究成果；所述图像形式的数据包括缺陷图像；所述数值参数形式的数据包括生产加工数据；所述网络图形式的数据包括生产履历数据。

3.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，所述方法基于多模态的良率数据，对开源的多模态融合大模型进行微调训练，并且私有化部署到本地服务器，以得到良率多模态大模型。

4.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，所述业务分析模型包括多模态数据检索模型、虚拟量测模型、良率预测模型以及根因分析模型。

5.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，所述智能体用于任务规划、任务调度以及用户交互。

6.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，所述信息系统包括机器视觉与缺陷检测系统、统计过程控制系统、制造执行系统、质量管理系统、数据库、服务器以及存储系统。

7.根据权利要求1所述的一种基于大模型的产品良率管控方法，其特征在于，通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果的流程如下：

通过良率管控系统的智能体接收多模态的用户交互数据；

通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型解析多模态的用户交互数据，以得到统一的嵌入表征；

基于统一的嵌入表征，通过良率管控系统的智能体进行任务规划、任务调度，以调用各类业务分析模型，并且通过业务分析模型进行良率分析，以得到良率分析结果；

通过良率管控系统的智能体调用良率多模态大模型，通过良率多模态大模型对良率分析结果进行统一的数据加工，以得到良率分析管控结果；

通过良率管控系统的智能体输出良率分析管控结果。

8.一种基于大模型的产品良率管控装置，其特征在于，所述装置包括：

多模态数据获取单元，所述多模态数据获取单元用于获取产品良率管控相关的各类多模态数据，以构建多模态的良率数据集；

大模型微调训练单元，所述大模型微调训练单元基于多模态的良率数据集微调训练多模态融合大模型，以构建良率多模态大模型；

业务模型集成单元，所述业务模型集成单元采用智能体调用的方式将各类业务分析模型以及良率多模态大模型进行集成，以形成一体化的良率管控系统，并且将各类信息系统接入一体化的良率管控系统；

良率管控分析单元，所述良率管控分析单元通过一体化的良率管控系统对用户交互数据进行分析，以获取良率分析管控结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时实现权利要求1-7中任一项所述一种基于大模型的产品良率管控方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述一种基于大模型的产品良率管控方法。