CN120407779A - 用于工作协议的人工智能助手 - Google Patents

Abstract

一种计算机实施的方法（400）包括将技术文档（104）存储（210）在存储设备（102）中。技术文档（104）至少包括工作协议（112）和标记有元数据（124）的技术数据文件。至少在工作协议（112）以及从技术文档（104）中提取的文本（122）和元数据（124）上训练（230）一个或多个大型语言模型（134）。为大型语言模型（134）委托（240）人工智能助手（142），人工智能助手（142）被配置为响应于接收到提示（502）而至少检索文本（122）和元数据（124）。提供（250）包括用于人工智能助手（142）的接口的数字工作环境（140）。在人工智能助手（142）处，接收（410）与第一工作协议（308）相关的提示（502）。基于接收到的提示（502），经由大型语言模型（134）检索（420）与第一工作协议（308）相关的文本（122）和元数据（124）。基于检索到的文本（122）和元数据（124），经由数字工作环境（140）提供（430）上下文响应（504）。

Description

用于工作协议的人工智能助手

技术领域

本公开总体上涉及为创作、交付和执行工程和制造工作协议的目的而使用人工智能助手。

背景技术

大型工程和制造公司利用设计规范、规程、政策和计算机辅助绘图（CAD）元数据的形式的重要资料，以实现从规划和设计阶段到生产和交付后支持的跨产品生命周期的日常运营。

为了创建和/或使用基于模型的定义（MBD）和基于模型的指令（MBI）（诸如工作协议），工程师和技术人员需要手动访问和阅读存储在多个位置的技术资料、规格表、政策和规程。通常，这涉及访问和审查这些信息的手动过程，要求工程师聚合来自多个程序和来源的不同资料和元数据。此外，访问和利用每个系统及其相关资料需要大量的隐性知识和程序知识。很少有员工可能掌握产生全面覆盖所需的所有机构知识。

发明内容

一种计算机实施的方法包括将技术文档存储在存储设备中。技术文档至少包括工作协议和标记有元数据的技术数据文件。至少在工作协议上训练一个或多个大型语言模型，并从技术文档中提取文本和元数据。为大型语言模型委托人工智能助手，该人工智能助手被配置为响应于接收到提示而至少检索文本和元数据。提供包括用于人工智能助手的接口的数字工作环境。在人工智能助手处，接收与第一工作协议相关的提示。基于接收到的提示，经由大型语言模型检索与第一工作协议相关的文本和元数据。基于检索到的文本和元数据，经由数字工作环境提供上下文响应。

附图说明

图1示出包含存储设备和大型语言模型的示例计算系统。

图2示出用于为大型语言模型委托人工智能助手的示例计算机实施的方法的流程图。

图3示出以人工智能助手为特征的示例数字工作环境。

图4示出用于操作人工智能助手的示例计算机实施的方法的流程图。

图5示出人工智能助手提供对文本提示的响应的示例场景。

图6示出人工智能助手提供对通过工作协议的上下文中进度的响应的示例场景。

图7示出人工智能助手提供上下文提示和响应的示例场景。

图8示出人工智能助手动态重新排序工作协议的示例场景。

图9示出在工作环境中配备增强现实设备的用户。

图10示出以人工智能助手为特征的示例增强现实数字工作环境。

图11示出用于使用人工智能助手生成低粒度工作协议的示例计算机实施的方法的流程图。

图12示出用于生成低粒度工作协议的示例场景。

图13示出用于调适低粒度工作协议的示例场景。

图14示出用于对大型语言模型进行上下文重新训练的示例计算机实施的方法的流程图。

图15示出人工智能助手提供对文本提示的响应的示例场景。

图16示出在重新训练大型语言模型后人工智能助手提供对文本提示的响应的示例场景。

图17示意性地示出示例计算系统。

具体实施方式

在此，提供了用于将来自多个程序和来源的不同资料和元数据聚合到集中式大型语言模型（LLM）中的系统和方法。人工智能（AI）助手被委托在用户和LLM之间提供接口。这样的AI助手可以快速且有效地向参与设计和创作决策的工程师告知相关信息和上下文信息，同时也通过智能地向技术人员告知上下文中的工作指令过程和规程来促进制造。AI助手和LLM智能地聚合数据、提供数据的访问权限，并将数据递送到工作协议的用户。这比传统方法更有优势，传统方法要求工作指令的用户手动找到调用的信息。

所公开的方法利用了从现有和不断发展的公司和工程资料构建的LLM，然后可以从数字工作协议中对该LLM进行查询。可以经由用户输入以文本输入和数字工作指令应用程序中进行的上下文中进度的形式进行输入，该输入然后被传输到与LLM接合的AI助手。来自AI助手的响应被提供在数字工作指令应用程序中，并经由应用程序中的文本、虚拟对象翻译和突出显示对象能力（如适用的话）被显示给用户。

通过在数字工作指令内提供智能AI助手，这种隐性知识变得清晰，并且整个组织都可以轻松访问。其他类似的“聊天机器人”通常只能在公共数据上进行训练，而不能在私密和专有数据上进行训练，也不能在工作指令或复杂系统可视化的上下文内被应用。

实施所公开的系统和方法的技术益处包括通过消除训练时间、设计时间和制造时间来大幅降低成本和时间。此外，AI助手和LLM可以用于生成低粒度工作协议，这些协议可以用作跨企业标准。此外，随着资料的更新，LLM可以不断被用户或AI助手本身重新训练。所公开的系统和方法可以减少生产期间的规程规划、设计和执行中的错误，同时也使技术人员能够更容易地在上下文中理解他们的工作，参考所需的资料，并减少因错误而导致的返工。

图1示出示例计算系统100。计算系统100包括被配置为至少存储技术文档104的存储设备102。存储设备102可以是网络可访问的存储驱动器，诸如本地可访问或远程可访问的存储驱动器。存储设备102还可以包括一个或多个本地存储设备。例如，技术文档104的子集可以被下载到本地存储驱动器，用于本地检索和/或离线使用。当被配置为网络可访问的存储驱动器时，存储设备102可以位于防火墙和/或其他安全级别之后，并且可能无法在本地网络之外和/或没有凭据的情况下访问。技术文档104包括CAD文件106、物料清单108、当前和预计库存110、工作协议112、参考文档114和规范文档116。工作协议112可以包括工程和制造工作协议以及训练协议、维修协议、检查协议等。工作协议可以包括用于一个或多个程序的预生产、生产、中期生产和/或后期生产的工作指令和其他材料。规范文档116可以包括系统、子系统和部件的本地规范、客户规范等。技术文档104还可以包括分析模型、几何模型、行为模型、解析模型、电气模型、合规模型、需求模型、功能模型、设计模型和/或集成仿真模型、代码、验证和确认报告、二维示意图、三维示意图、非结构化文档和/或与有形物品（诸如飞行器、航天器和/或其他航空部件）的设计和/或制造相关的其他合适信息，使得本领域技术人员能够在给定（一个或多个）技术数据文件的情况下构建或组装该有形物品。如本文所用，技术文档通常是指可以包含与执行一组指令相关的信息的文档，例如，包含技术人员可以在执行工程和/或制造工作协议时可用的信息的文档。在一些示例中，与不同项目相关的技术文档可以被存储在不同的子存储库中。

提取的数据120可以是从技术文档104中提取的。提取的数据包括文本数据122、元数据124和图像数据126。提取的数据120可以被馈送到一个或多个机器，诸如自然语言处理器130和/或机器学习模块132。自然语言处理器130和机器学习模块132可以被配置为在提取的数据120上训练一个或多个大型语言模型134。可以为希望与大型语言模型134接合的用户提供数字工作环境140。可以委托人工智能助手142，以允许用户向大型语言模型134提交提示和查询。

以此方式，可以从现有和不断发展的公司和工程资料构建LLM 134，然后使得可以经由人工智能助手142从数字工作环境140内对该LLM进行搜索和检索。特别地，该系统能够实现将来自多个程序和来源的不同资料和元数据聚合到集中式LLM中并实施访问嵌入式AI助手的接口的方法，该助手快速且有效地向参与设计和创作决策的工程师通知相关信息和上下文信息，同时也通过智能地向技术人员通知上下文中的工作指令过程和规程来促进制造。LLM 134可以被存储在网络可访问的存储设备（诸如云计算机）上和/或本地存储设备上。在一些示例中，LLM 134的轻量级版本（诸如处理一个或多个特定程序的版本）可以被下载到本地存储装置。

机器可以使用最先进的和/或未来的机器学习（ML）、人工智能（AI）和/或自然语言处理（NLP）技术的任何合适组合来实施。可以结合在一个或多个机器的实施方式中的技术的非限制性示例包括支持向量机、多层神经网络、卷积神经网络（例如，包括用于处理图像和/或视频的空间卷积网络、用于处理音频信号和/或自然语言句子的时间卷积神经网络和/或被配置为跨一个或多个时间和/或空间维度对特征进行卷积（convolve）和池化（pool）的任何其他合适的卷积神经网络）、递归神经网络（例如，长短期记忆网络）、关联存储器（例如，查找表、哈希表、布隆过滤器、神经图灵机和/或神经随机存取存储器）、单词嵌入模型（如GloVe或Word2Vec）、无监督的空间和/或聚类方法（例如，最近邻算法、拓扑数据分析和/或k-平均聚类）、图形模型（例如，（隐藏）马尔可夫模型、马尔可夫随机场、（隐藏）条件随机场和/或AI知识库）和/或自然语言处理技术（例如，标记化、词干、选区和/或依赖性解析，和/或意图识别、分段模型和/或超分段模型（例如，隐藏动态模型））。

在一些示例中，本文描述的方法和过程可以使用一个或多个可微函数来实施，其中可以关于可微函数的输入和/或输出（例如，关于训练数据和/或关于目标函数）来计算和/或估计可微函数的梯度。这样的方法和过程可以至少部分地由一组可训练参数来确定。因此，可以通过任何合适的训练规程来调整特定方法或过程的可训练参数，以便持续地改善方法或过程的功能。

用于调整可训练参数的训练规程的非限制性示例包括监督训练（例如，使用梯度下降或任何其他合适的优化方法）、零样本（zero-shot）、少样本（few-shot）、无监督学习方法（例如，基于从无监督聚类方法导出的类别的分类）、强化学习（例如，基于反馈的深度Q学习）和/或生成对抗性神经网络训练方法、信念传播、RANSAC（随机样本共识）、上下文强盗方法、最大似然方法和/或期望最大化。在一些示例中，本文描述的系统的多个方法、过程和/或部件可以同时关于测量多个部件的集体功能的性能的目标函数（例如，关于强化反馈和/或关于标记的训练数据）进行训练。同时训练多个方法、过程和/或部件可以改善这种集体功能。在一些示例中，一个或多个方法、过程和/或部件可以独立于其他部件进行训练（例如，在历史数据上进行离线训练）。

语言模型可以利用词汇特征来指导对单词进行采样/搜索以识别语音。例如，语言模型可以至少部分地由单词或其他词汇特征的统计分布来定义。例如，语言模型可以通过n元语法的统计分布来定义，根据词汇统计来定义候选单词之间的转移概率。语言模型还可以基于任何其他适当的统计特征和/或用一个或多个机器学习和/或统计算法处理统计特征的结果（例如，由这种处理产生的置信度值）。在一些示例中，统计模型可以约束针对音频信号可以识别什么单词，例如，基于音频信号中的单词来自特定词汇的假设。

可替代地或附加地，语言模型可以基于先前经训练以表示共享潜在空间（例如，由一个或多个音频和/或单词模型（例如wav2letter和/或word2vec）学习的向量空间）中的音频输入和单词的一个或多个神经网络。因此，找到候选单词可以包括基于由音频模型编码的向量来针对音频输入搜索共享潜在空间，以便找到用于用单词模型解码的候选单词向量。共享潜在空间可以用于针对一个或多个候选单词评估候选单词在语音音频中被特征化的置信度。

语言模型可以与声学模型结合使用，该声学模型被配置为基于单词的声学特征（例如梅尔频率倒谱（mel-frequency cepstral）系数、共振峰等）针对候选单词和音频信号评估候选单词被包含在音频信号中的语音音频中的置信度。可选地，在一些示例中，语言模型可以结合声学模型（例如，语言模型的评估和/或训练可以基于声学模型）。声学模型例如基于标记的语音音频来定义声学信号和基本声音单元（诸如音素）之间的映射。声学模型可以基于最先进的或未来的ML和/或AI模型的任何合适组合，例如：深度神经网络（例如，长短期记忆、时间卷积神经网络、受限玻尔兹曼机、深度信念网络）、隐马尔可夫模型（HMM）、条件随机场（CRF）和/或马尔可夫随机场、高斯混合模型和/或其他图形模型（例如，深度贝叶斯网络）。要用声学模型处理的音频信号可以以任何合适的方式进行预处理，例如，以任何适当的采样率进行编码、傅里叶变换、带通滤波器等。可以基于用标记的音频数据进行的训练来训练声学模型，以识别声学信号和声音单元之间的映射。例如，可以基于包括语音音频和校正文本的标记的音频数据来训练声学模型，以便学习语音音频信号和由校正文本表示的声音单元之间的映射。因此，可以持续改善声学模型，以改善其正确识别语音音频的实用性。

在一些示例中，除了统计模型、神经网络和/或声学模型之外，语言模型还可以结合任何合适的图形模型，例如HMM或CRF。图形模型可以利用统计特征（例如，转移概率）和/或置信度值来确定在给定语音音频和/或迄今为止识别的其他单词的情况下识别单词的概率。因此，图形模型可以利用统计特征、先前经训练的机器学习模型和/或声学模型来定义图形模型中表示的状态之间的转移概率。

图2示出用于为大型语言模型委托人工智能助手的示例计算机实施的方法200的流程图。图2可以由一个或多个计算系统（诸如计算系统100）来实施。

在210处，方法200包括将技术文档存储在存储设备中，技术文档至少包括工作协议和标记有元数据的技术数据文件。存储设备可以包括一个或多个本地存储设备和/或一个或多个网络可访问的存储设备。在一些示例中，从技术文档中提取图像。提取的图像也可以用于训练大型语言模型。在一些示例中，存储的技术文档包括CAD工程和/或绘图文件以及相关联的元数据。

如图1所示，技术文档还可以包括技术人员资料、规范表、政策、规程设计规范和CAD元数据、库存、基于模型的定义、基于模型的指令等。技术文档可以被存储在多个位置中和/或不同的网络可访问的存储设备上。技术文档还可以包括泛组织政策，诸如许可（clearance）和安全政策。技术文档可以聚合来自多个程序和来源的资料和元数据。在一些示例中，技术文档包括来自用户的开放式输入和非结构化文档（诸如来自离职面谈的笔记）。

在220处，方法200包括从技术文档中提取文本和元数据。在一些示例中，技术文档可以包括经由互联或交联到其他技术文档的上下文链接。在提取期间可以保留这些链接。技术文档可以随着时间的推移而演变和/或被编辑。随着文档被更新，LLM可以被定期地或连续地重新训练。

在230处，方法200包括至少在工作协议、提取的文本和元数据上训练一个或多个大型语言模型，如关于LLM 134和图1所描述的那样。训练还可以涉及支持资料和/或所需规范，诸如工作协议本身所引用但未包含的规范。在一些示例中，对一个或多个大型语言模型进行训练，以针对每个工作协议将提取的文本和元数据进行交联。在一些示例中，针对多个程序在逐个程序（per-program）基础上存储技术文档。在这些示例中，可以在逐个程序基础上训练一个或多个大型语言模型。程序可以包括特定的制造端点（例如飞行器）或该端点的子集（例如喷气发动机）。在一些示例中，可以使用程序特定文档针对每个程序或程序子集来训练LLM。规程文档和政策文档可以影响多个程序。例如，许可文档可以指定员工在某些项目上工作所需的许可级别。其他文档可以是特定的某些项目（例如零件清单）或子项目。

在240处，方法200包括为一个或多个大型语言模型委托人工智能助手，该人工智能助手被配置为响应于接收到提示而至少检索文本和元数据。委托AI助手可以包括训练AI助手使用LLM中存储的信息来对提示做出响应。AI助手可以能够协助技术人员和/或客户经由集中位置访问难以找到和难以理解的数据，有效地将隐性知识转换成显性可访问的知识。

在250处，方法200包括提供包括用于人工智能助手的接口的数字工作环境。经训练的AI助手可以是在数字工作环境内可查询的。这可以允许用户从存储设备访问组装序列、组装规程、政策、规范和元数据的各个方面。

图3示出操作以人工智能助手304为特征的示例数字工作环境302的计算设备300。数字工作环境302可以是数字工作环境140的示例，并且AI助手304可以是AI助手142的示例。数字工作环境302仅被提供作为示例接口；任何数量的接口都是可能的。在该示例中，数字工作环境302包括导航窗格306。示例工作协议308被呈现为一系列步骤310、312、314、316和318。步骤310和312由复选标记表示为已完成。因此，用户参与步骤15.6，即用于固定接线束的协议的子步骤。在320处向用户呈现针对步骤15.6的附加信息。AI助手304至少包括提示框322和响应框324。用户可以经由提示框322询问问题，诸如但不限于与步骤15.6相关的问题。例如，在步骤312处，用户可以询问固定接线束可能需要多长时间。

该数字工作环境可以在执行时实现某种通用工作指令的上下文部署。例如，数字工作环境与AI助手相结合可以向制造商通知上下文中的工作指令过程和规程。可以提供AI助手以检索与工作协议相关的相关上下文信息，并通过数字工作环境将该上下文信息提供给用户。

图4示出用于操作人工智能助手的示例计算机实施的方法400的流程图。方法400可以由一个或多个计算系统（诸如计算系统100和300）来实施。方法400可以与方法200结合起来执行，如圆圈A所指示。

在410处，方法400包括在人工智能助手处接收与第一工作协议相关的提示。该AI助手的替代实施例可以用于网络浏览器或在特定数字工作环境之外用作查询和访问聚合数据的手段。可以从用户（诸如经由键盘或语音转文本）输入的文本导出提示。执行安装、维修、维护、训练、检查、设计（例如，在上下文中可视化）的用户可以提供提示。提示可以与当前的工作协议相关，诸如调用工作协议中的规程信息、规范和/或政策参考。在其他示例中，可以从AI助手本身导出提示。在本文进一步描述的一些示例中，提示可以是视觉提示。如本文所用，“第一工作协议”仅指多个潜在工作协议中的特定工作协议。除非明确说明，否则“第一”并不意味着时序或顺序。预期单个用户可以在方法400和/或其迭代过程中参与多个工作协议。

作为示例，图5示出在计算设备300上执行的场景500。如在316处所示，用户正在执行工作协议308的步骤15.6。用户输入文本提示502，询问AI助手304螺栓应该被拧紧多少。

回到图4，在420处，方法400包括基于接收到的提示经由大型语言模型检索与第一工作协议相关的文本和元数据。例如，可以经由LLM来检索文本和元数据。检索到的文本和元数据可以遵循工作协议，同时对技术人员执行工作协议时发生的特定上下文敏感。例如，如果用户提供与某个零件的库存相关的提示，则AI助手将从对应的库存电子表格或从经由API调用与（一个或多个）外部库存管理系统的通信检索文本和/或元数据。这可以通过上下文链接的文档来促进，从而能够快速检索相关的上下文信息。

在430处，方法400包括基于检索到的文本和元数据经由数字工作环境提供上下文响应。来自AI的响应在数字工作环境应用程序中被接收，并经由应用程序内的文本、虚拟对象翻译和突出显示能力（如适用的话）被显示给用户。

作为一个示例，图5示出AI助手304已检索到与用户提示502相关的文本和元数据，并提供文本响应504——目标为50英寸-磅。这要求AI助手天生就知道用户指的是哪个螺栓——大概在步骤15.6期间有单个螺栓被拧紧。在一些示例中，如果AI助手无法辨别答案，则AI助手可以向用户询问附加的或更具体的信息。

在一些示例中，除了文本响应之外或作为文本响应的替代，上下文响应可以包括经由应用内影像（in-app imagery）、突出显示和/或3D模型内的动画响应（如适用的话）对用户的视觉响应，这有助于工程师可视化上下文中的复杂设计集成，并有助于技术人员理解和执行复杂规程。要求AI助手突出显示特定零件的用户还可以被提供对元数据的访问权，该元数据指示谁安装了该零件、何时安装、相关零件的库存状态、该零件涉及哪些其他步骤、该零件涉及哪些控制点等。

在一些示例中，提示包括经由数字工作环境输入的通过第一工作协议的上下文中进度。例如，图6示出在计算设备300上执行的示例场景600。如在316处所示，用户已经完成了步骤15.6，并已经移动到步骤15.7，如在318处所示。在602处，在数字工作环境302中向用户提供详细指令。这里，用户尚未输入提示，如在604处所示。相反，AI助手304已经接收到用户已经前进到步骤15.7的提示，并且已经在606处呈现了与针对该步骤的详细指令相关的上下文暗示。此上下文暗示可能是由于之前的用户在此步骤期间或稍后的相关步骤期间生成了不合规报告。

在一些示例中，提示包括来自人工智能助手的上下文提示。所得到的响应可以是与手头任务相关的上下文暗示或信息片段。例如，工程师可以被告知违反构建所需规范的设计或者可以突出显示可访问性问题。例如，可以考虑重叠和相邻的系统。可以在数字工作环境中显示上下文“暗示”和信息，以帮助可视化未来规程、故障/错误检测和不合规报告（NCR）的虚拟构建。这可以给用户一种工作协议的流程正由AI助手控制的感觉。例如，来自人工智能助手的上下文提示可能与一个或多个不合规报告相关。

作为一个示例，图7示出在计算设备300上执行的示例场景700。如在318处所示，用户处于步骤15.7。用户没有输入提示，如在704处所示。AI助手304检索与步骤15.7相关的库存数据，并且在706处指示可以使用的替换零件，而不是不可用的零件。

在一些示例中，人工智能助手可以被配置为基于来自人工智能助手的上下文提示动态地重新分配资源。例如，技术人员可能即将结束他们的轮班，并且AI助手可以指示他们执行可在轮班期间完成的简短任务，而不是着手进行不得不中途中止的漫长规程。

在一些示例中，人工智能助手可以被配置为基于检索到的文本和元数据动态地重新排序第一工作协议。例如，如果手头没有与工作协议的当前步骤相关的库存，则可以指示技术人员跳过一个或多个步骤。

AI助手可以提供智能跳过步骤的指令，使得工作不必撤消或导致接下来的问题。步骤的智能重新排序可以基于一个或多个信息片段（例如库存）。AI助手可以考虑技术人员在选择性重新排序方面的资格，和/或技术人员对类似工作的不合规报告。因此，AI助手可以基于技术人员的资格动态地改变资源分配和排序。

作为一个示例，图8示出在计算设备300上执行的示例场景800。如在318处所示，用户处于步骤15.7。用户没有输入提示，如在804处所示。AI助手304检索与步骤15.7相关的库存数据，并在806处指示用户应跳到步骤17.0。

在一些示例中，数字工作环境是增强现实（AR）环境。在这些示例中，提示可以是从一个或多个相机接收到的物理工作环境的视觉提示。

图9示出在工作环境904中配备增强现实设备902的用户900。增强现实设备902可以是计算设备300的示例。在该示例中，增强现实设备902被配置为平板计算机，但可替代地可以采用具有相机和显示器的任何合适设备的形式，诸如电话或可穿戴计算设备（例如，头戴式显示设备）。工作环境904示出了具有三个类似但不相同的子站（911、912、913）的工作站910的一部分。用户900正在子站912上训练增强现实设备902。

计算机视觉可以用于工作环境中的对象识别和/或图像和对象分类，从而实现AR中的工作。因此，用户可以获得关于他们在上下文中的位置的信息。在图9的示例中，子站911、912和913具有一些重叠，但并不完全重叠。可以给出上下文暗示和/或视觉线索，以将工人引导到工作协议中的步骤的多种可能性中的正确可能性。

因此，在一些示例中，上下文响应是经由增强现实环境呈现的视觉响应。在1000处，图10示出以人工智能助手1004为特征的示例增强现实数字工作环境1002。增强现实设备902被示出为包括导航窗格1006。示例工作协议1008被呈现为一系列步骤1010、1012、1014、1016和1018。步骤1010由复选标记表示为已完成。因此，用户参与步骤17.5，即用于紧固接线接头的协议的子步骤。在1020处，示出了子站912的一部分的图片。在1022处，用户提供文本提示以突出显示针对步骤17.5的正确接线接头。AI助手1004检索适当的信息，在1024处向用户提供文本响应，并且如在1026处所示突出显示接线接头。

因此，AR子系统以环境的视觉信息的形式接收输入。AI助手基于视觉输入接收上下文信息。然后，数字工作环境可以输出文本、视觉效果、影像等，类似于文本提示和直接AI助手提示。

作为一个示例，AI助手可以将相机图像与检索到的数字CAD图像对齐。然后，用户可以向AI助手询问提示，诸如“…在哪里”或“我该如何执行此动作”。可以使用AI助手从LLM中检索元数据（特别是CAD元数据）。如果用户正在一部分构建环境中训练相机，则AI助手可以识别出与工作指令中的下一步骤相关的内容，并且然后可以告诉数字工作环境突出显示特定部分。还可以命令数字工作环境突出显示可能的NCR问题。

AI助手可以具有与用户相同的能力，以点击AR接口，为对象提供上下文暗示，为AI助手提供类似人类的接口和能力。数字工作环境还可以使用AR子系统向监督人员（例如，高管、楼层经理）提供信息。例如，AI助手可以用于从工人活动中生成热度图（heatmap）和其他输出，并在上下文中以视觉形式呈现该信息。

经训练的LLM和AI助手可以进一步用于生成新工作协议。例如，可以向起草工作协议的工程师提供人工智能辅助。此外，AI助手可以用于基于在现有工作指令和知识数据库上的训练来生成低粒度高级别的工作协议。例如，AI助手可以生成“布线和安装接线束”的指令。这样的指令可以由人类验证，然后可以检索能够合并到新工作协议中的附加上下文相关内容。以此方式，LLM和人类用户可以合作生成可用的工作指令。可以为工程师生成低粒度工作协议，以用于通过利用已经在其上训练LLM的聚合数据来创作新MBI和文本工作协议。在其他示例中，AI助手可以生成高粒度工作协议，然后可以由人类用户对其进行协调。例如，基于原始协议中包含的细节的级别，修订后的协议可以天生具有高粒度。

图11示出用于使用人工智能助手生成低粒度工作协议的示例计算机实施的方法1100的流程图。方法1100可以由一个或多个计算系统（诸如计算系统100和300）来实施。方法1100可以与方法200结合起来执行，如圆圈B所指示。

在1110处，方法1100包括在人工智能助手处接收构建新工作协议的提示。该提示可以由人类生成，或者可以从来自工作协议构建脚本的应用程序编程接口（API）调用生成。在1120处，方法1100包括检索与新工作协议上下文相关的文本和元数据。在1130处，方法1100包括基于接收到的提示和检索到的文本和元数据为新工作协议生成低粒度工作协议。

作为一个示例，图12示出用于生成低粒度工作协议的示例场景1200。向AI助手1204呈现请求新工作协议的提示1202。AI助手1204可以是AI助手142、304和1004的示例。然后，AI助手1204从大型语言模型1206中检索与提示1202相关的上下文信息。LLM 1206可以是LLM 134的示例。然后，AI助手1204使用检索到的上下文信息来生成低粒度工作协议1208。在该示例中，低粒度工作协议1208包括四个主要步骤——步骤1 1210、步骤2 1212、步骤3 1214和步骤4 1216。

在一些示例中，方法1100还可以包括从用户接收编辑低粒度工作协议的输入，基于接收到的输入检索上下文相关内容，以及将检索到的上下文相关内容中的至少一些呈现给用户。例如，用户可以编辑低粒度工作协议，指示可用于组装高粒度工作协议的附加信息等。

作为一个示例，图13示出用于调适低粒度工作协议的示例场景1300。在AI助手1204处接收关于步骤1（1210）的提示1302。然后，AI助手1204从大型语言模型1206中检索与提示1302相关的上下文信息。然后，AI助手1204使用检索到的上下文信息来生成经调适的工作协议1304。步骤1-4被保留，但步骤1 1210现在具有呈现为步骤1.1 1306和步骤1.21308的形式的附加粒度。

以此方式生成和调适工作协议可以允许AI助手向参与设计和创作决策的工程师告知相关和上下文信息。例如，冗长的文档可能只有一个表与特定工作协议相关。AI助手可以向工程师指出相关段落并提供关于它为什么相关的上下文，而不是强迫工程师审查整个文档。

在一些示例中，方法1100还可以包括：从用户接收编辑低粒度工作协议的输入；基于接收到的输入检索上下文相关内容；以及基于检索到的上下文相关内容向用户指示与接收到的输入的潜在不合规问题。在一些示例中，潜在不合规问题基于管理所存储的技术文档的全局政策。在一些示例中，潜在不合规问题基于不同的工作协议，诸如来自不同程序的工作协议。以此方式，所产生的工作协议可以为实施工作协议的制造技术人员生成更少的问题。

LLM和AI助手可以通过定期地或不断地重新训练LLM来提供上下文、动态和有机的响应。图14示出用于对大型语言模型进行上下文重新训练的示例计算机实施的方法1400的流程图。方法1400可以由一个或多个计算系统（诸如计算系统100和300）来实施。方法400可以与方法200结合起来执行，如圆圈C所指示。

在1410处，方法1400包括在人工智能助手处生成对与第一工作协议相关的提示的上下文响应。作为一个示例，图15示出在计算设备300上执行的场景1500。如在318处所示，用户正在执行工作协议308的步骤15.7。用户输入文本提示1504，询问AI助手304夹具应该被拧紧多少。在1506处，AI助手304已经检索到与用户提示1504相关的文本和元数据，并提供文本响应1506——拧紧到25英寸-磅。

在1420处，方法1400包括响应于一个或多个技术文档的内容的变化，重新训练一个或多个大型语言模型。一个或多个技术文档可以是可编辑的和/或“实时”的。可以基于对一个或多个静态部件（诸如零件清单、规程文档、指导文档或训练资源）的更新来执行重新训练。

可以响应于库存变化、不合规更新、新文档或更新的文档、人工文本提交、工单进度、熟练劳动力可用性、环境变化等执行重新训练。在一些示例中，响应于用户通过第一工作协议的进度，对一个或多个大型语言模型进行重新训练。例如，用户可以报告问题、更新库存等。工作协议的步骤的完成可能影响来自相同工作协议或其他工作协议的其他步骤的启动是否合规。用户通过第一工作协议的进度可以由用户通过数字工作环境来输入和/或由AI助手输入。技术人员做出的与工作环境相关的行为和/或动作也可以被用作训练数据。可以动态编辑或填写附加上下文，诸如库存、有效的或可用的资源分配、可用的技术人员、人力资源（HR）分配等。

在1430处，方法1400包括在人工智能助手处生成对与第一工作协议相关的提示的更新的上下文响应。作为一个示例，图16示出在计算设备300上执行的场景1600。如在318处所示，用户正在执行工作协议308的步骤15.7。用户输入文本提示1604，询问AI助手304如何将夹具加紧到25英寸-磅，如场景1500所示。在1606处，AI助手304已经检索到与用户提示1604相关的文本和元数据，并提供文本响应1606——夹具需要在稍后的步骤（步骤17.1）处被移除，仅加紧到15英寸-磅。

在一些示例中，在人工智能助手处生成对与第二工作协议相关的提示的更新的上下文响应。例如，相邻构建的改变可以影响针对当前构建的响应。完成工作协议的电工可以允许结构化工作协议继续进行。可以基于对制造工作协议的输入来更新工程工作协议。例如，在制造工作协议期间持续的不合规报告可能导致相关联的LLM的重新训练，并且因此触发低粒度工程工作协议的改变。

在一些示例中，可以在一个构建上冗余地执行工作协议，或者多个相邻的构建可以使用相同或相似的工作协议。因此，如果在执行一个工作协议期间出现问题，则可以对LLM进行重新训练，并且向执行相同工作协议的其他技术人员呈现上下文暗示。例如，如果钻出特定的孔导致撞到板的另一侧的东西，则AI助手可以向即将钻出相同的孔的其他人提供上下文暗示，因为低容差，所以要小心。可以提供此类发生的事件的热度图作为工程工作协议的输入。这可能导致对步骤进行重新排序，如关于图8所描述的。

本文描述的方法和过程可以与一个或多个计算设备的计算系统相关。特别地，这样的方法和过程可以被实施为可执行的计算机应用程序、网络可访问的计算服务、API、库或上述和/或其他计算资源的组合。

图17示意性地示出计算系统1700的简化表示，该计算系统1700被配置为提供本文所描述的任何到所有计算功能。计算系统1700可以采取一个或多个个人计算机、网络可访问的服务器计算机、平板计算机、家庭娱乐计算机、游戏设备、移动计算设备、移动通信设备（例如智能手机）、虚拟/增强/混合现实计算设备、可穿戴计算设备、物联网（IoT）设备、嵌入式计算设备和/或其他计算设备的形式。

计算系统1700包括逻辑子系统1710和存储子系统1720。计算系统1700可以可选地包括显示子系统1730、输入子系统1740、通信子系统1750和/或图17中未示出的其他子系统。计算系统100和300可以是计算系统1700的示例。

逻辑子系统1710包括被配置为执行指令的一个或多个物理设备。例如，逻辑子系统可以被配置为执行作为一个或多个应用程序、服务或其他逻辑构造的一部分的指令。逻辑子系统可以包括被配置为执行软件指令的一个或多个硬件处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件设备。逻辑子系统的处理器可以是单核或多核，并且在其上执行的指令可以被配置为顺序、并行和/或分布式处理。逻辑子系统的个体部件可选地可以分布在两个或更多个独立设备之间，这些设备可以被远程定位和/或被配置用于协调处理。逻辑子系统的各个方面可以被虚拟化，并由配置在云计算配置中的远程可访问的联网计算设备来执行。

存储子系统1720包括一个或多个物理设备，这些物理设备被配置为临时和/或永久地保存计算机信息，诸如可由逻辑子系统执行的指令和数据。当存储子系统包括两个或更多个设备时，这些设备可以被并置和/或远程定位。存储子系统1720可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址的设备。存储子系统1720可以包括可移除的和/或内置的设备。当逻辑子系统执行指令时，存储子系统1720的状态可以被变换，例如，以保存不同的数据。

逻辑子系统1710和存储子系统1720的一些方面可以被一起集成到一个或多个硬件逻辑部件中。例如，此类硬件逻辑部件可以包括程序和应用专用集成电路（PASIC/ASIC）、程序和应用专用标准产品（PSSP/ASSP）、片上系统（SOC）和复杂可编程逻辑设备（CPLD）。

逻辑子系统和存储子系统可以进行协作以实例化一个或多个逻辑机器。如本文所用，术语“机器”被用于统称硬件、固件、软件、指令和/或进行协作以提供计算机功能的任何其他部件的组合。换句话说，“机器”从来不是抽象的概念，而总是具有有形的形式。一个机器可以由单个计算设备实例化，或者一个机器可以包括由两个或更多个不同计算设备实例化的两个或更多个子部件。在一些实施方式中，机器包括与远程部件（例如，由服务器计算机的网络提供的云计算服务）进行协作的本地部件（例如，由计算机处理器执行的软件应用程序）。向特定机器赋予其功能的软件和/或其他指令可以可选地作为一个或多个未执行的模块被保存在一个或多个合适的存储设备上。

当被包括时，显示子系统1730可以用于呈现由存储子系统1720保存的数据的视觉表示。这种视觉表示可以采用图形用户接口（GUI）的形式。显示子系统1730可以包括利用几乎任何类型的技术的一个或多个显示设备。在一些实施方式中，显示子系统可以包括一个或多个虚拟、增强或混合现实显示器。

当被包括时，输入子系统1740可以包括一个或多个输入设备或与之接合。输入设备可以包括传感器设备或用户输入设备。用户输入设备的示例包括键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括所选的自然用户输入（NUI）元件部分或与之接合。这种元件部分可以是集成的或外围的，并且输入动作的传导和/或处理可以在板上或板外处理。示例NUI元件部分可以包括：用于语音和/或话语识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼跟踪器、加速度计和/或陀螺仪。

当被包括时，通信子系统1750可以被配置为将计算系统1700与一个或多个其他计算设备通信地耦合。通信子系统1750可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。通信子系统可以被配置为经由个人区域网络、局域网和/或广域网进行通信。

本文公开的方法和过程可以被配置为使用户和/或任何其他人类控制任何私人数据和/或潜在敏感数据。无论何时存储、访问和/或处理数据，都可以根据私密和/或安全标准处理数据。当收集用户数据时，用户或其他利益相关者可以指定如何使用和/或存储数据。所有潜在敏感数据都可以可选地被加密和/或在可行的情况下被匿名化，以进一步保护用户隐私。用户可以指定部分数据、元数据或处理数据的统计/结果，以发布给其他方，例如用于进一步处理。私密和/或机密数据可以完全保持私密，例如，仅被临时解密以供处理，或仅被解密以供在用户设备上处理并以其他方式以加密形式存储。用户可以持有和控制加密数据的加密密钥。可替代地或附加地，用户可以指定可信的第三方来持有和控制加密数据的加密密钥，例如，以便根据合适的认证协议向用户提供对数据的访问权。

当本文描述的方法和过程结合ML和/或AI部件时，ML和/或AI部件可以至少部分地基于部件关于训练数据的训练来做出决策。因此，ML和/或AI部件可以并且应该在不同的代表性数据集上进行训练，这些数据集包括针对不同用户和/或用户群体的足够相关数据。特别地，训练数据集应该包括不同的人类个体和群组，以便在训练ML和/或AI部件时，在用户和/或用户群体的用户体验方面改善其性能。

ML和/或AI部件可以附加地被训练以做出决策，从而最小化朝向人类个体和/或群组的潜在偏见。例如，当AI系统被用于评估关于人类个体或群组的任何定性和/或定量信息时，它们可以被训练以便对个体或群组之间的差异保持不变，这些差异不是定性和/或定量评估所要衡量的，例如，使得任何决策都不会受到个体和群组之间差异的意外影响。

本公开通过示例并参考相关联的附图进行呈现。在一个或多个图中可以基本相同的部件、工艺步骤和其他元素被协调地标识，并以最小程度的重复进行描述。然而，值得注意的是，协调标识的元素也可以在一定程度上有所不同。还应注意的是，一些图可以是示意图，并且没有按比例绘制。图中示出的各种绘图比例、纵横比和部件数量可以被故意扭曲，以使某些特征或关系更容易看到。

应当理解，本文所述的配置和/或方法本质上是示例性的，并且这些具体实施例或示例不应被视为限制性的，因为许多变化都是可能的。本文所述的特定例程或方法可以表示任意数量的处理策略中的一个或多个。因此，可以按照所示和/或所述的顺序、以其他顺序、并行地执行或省略执行示出和/或描述的各种动作。同样地，上述过程的顺序可以改变。

此外，本公开包括根据以下条款所述的配置。

条款1. 一种计算机实施的方法，包括：将技术文档存储在存储设备中，所述技术文档至少包括工作协议和标记有元数据的技术数据文件；从所述技术文档中提取文本和元数据；至少在所述工作协议、提取的文本和元数据上训练一个或多个大型语言模型；为所述一个或多个大型语言模型委托人工智能助手，所述人工智能助手被配置为响应于接收到提示而至少检索文本和元数据；提供包括用于所述人工智能助手的接口的数字工作环境；在所述人工智能助手处，接收与第一工作协议相关的提示；基于接收到的提示，经由所述大型语言模型检索与所述第一工作协议相关的文本和元数据；以及基于检索到的文本和元数据，经由所述数字工作环境提供上下文响应。

条款2. 根据条款1所述的计算机实施的方法，其中所述技术文档针对多个程序在逐个程序基础上进行存储，并且其中所述一个或多个大型语言模型在逐个程序基础上进行训练。

条款3. 根据条款1和2所述的计算机实施的方法，其中所述一个或多个大型语言模型被训练为针对每个工作协议将提取的文本和元数据交联。

条款4. 根据条款1至3所述的计算机实施的方法，其中从所述技术文档中提取图像，并且其中所提取的图像被用于训练所述大型语言模型。

条款5. 根据条款1至4所述的计算机实施的方法，其中所述提示包括用户输入的文本。

条款6. 根据条款1至5所述的计算机实施的方法，其中所述提示包括经由所述数字工作环境输入的通过所述第一工作协议的上下文中进度。

条款7. 根据条款1至6所述的计算机实施的方法，其中所述提示包括来自所述人工智能助手的上下文提示。

条款8. 根据条款1至7所述的计算机实施的方法，其中来自所述人工智能助手的所述上下文提示与一个或多个不合规报告相关。

条款9. 根据条款1至8所述的计算机实施的方法，其中所述人工智能助手被配置为基于来自所述人工智能助手的上下文提示动态地重新分配资源。

条款10. 根据条款1至9所述的计算机实施的方法，其中所述人工智能助手被配置为基于所检索到的文本和元数据动态地重新排序所述第一工作协议。

条款11. 根据条款1至10所述的计算机实施的方法，其中所检索到的文本和元数据包括与所述第一工作协议相关的库存数据。

条款12. 根据条款1至11所述的计算机实施的方法，其中所存储的技术文档包括计算机辅助工程和/或绘图文件和相关联的元数据。

条款13. 根据条款1至12所述的计算机实施的方法，其中所述数字工作环境是增强现实环境，并且其中所述提示是从一个或多个相机接收的物理工作环境的视觉提示。

条款14. 根据条款1至13所述的计算机实施的方法，其中所述上下文响应是经由所述增强现实环境呈现的视觉响应。

条款15. 一种计算机实施的方法，包括：将技术文档存储在存储设备中，所述技术文档至少包括工作协议和标记有元数据的技术数据文件；从所述技术文档中提取文本和元数据；至少在所述工作协议、提取的文本和元数据上训练一个或多个大型语言模型；为所述一个或多个大型语言模型委托人工智能助手，所述人工智能助手被配置为响应于接收到提示而至少检索提取的文本和元数据；以及在所述人工智能助手处：接收建立新工作协议的提示；检索与所述新工作协议上下文相关的文本和元数据；以及基于接收到的提示和检索到的文本和元数据，为所述新工作协议生成低粒度工作协议。

条款16. 根据条款15所述的计算机实施的方法，还包括：从用户接收编辑所述低粒度工作协议的输入；基于接收到的输入检索上下文相关内容；以及向所述用户呈现检索到的上下文相关内容中的至少一些。

条款17. 根据条款15和16所述的计算机实施的方法，还包括：从用户接收编辑所述低粒度工作协议的输入；基于接收到的输入检索上下文相关内容；以及基于检索到的上下文相关内容，向所述用户指示与所接收到的输入的潜在不合规问题。

条款18. 一种计算机实施的方法，包括：将技术文档存储在存储设备中，所述技术文档至少包括工作协议和标记有元数据的技术数据文件；从所述技术文档中提取文本和元数据；至少在所述工作协议、提取的文本和元数据上训练一个或多个大型语言模型；为所述一个或多个大型语言模型委托人工智能助手，所述人工智能助手被配置为响应于接收到提示而至少检索文本和元数据；在所述人工智能助手处，生成对与第一工作协议相关的提示的上下文响应；响应于所述技术文档中的一个或多个的内容的变化，重新训练所述一个或多个大型语言模型；以及在所述人工智能助手处，生成对与所述第一工作协议相关的所述提示的更新的上下文响应。

条款19. 根据条款18所述的计算机实施的方法，还包括：响应于用户通过所述第一工作协议的进度，重新训练所述一个或多个大型语言模型。

条款20. 根据条款18和19所述的计算机实施的方法，还包括：在所述人工智能助手处，生成对与第二工作协议相关的提示的更新的上下文响应。

应当理解，本文描述的配置和/或方法本质上是示例性的，并且这些具体实施例或示例不应被视为是限制性的，因为许多变化都是可能的。本文描述的特定例程或方法可以表示任意数量的处理策略中的一个或多个。因此，可以按照图示和/或描述的顺序、以其他顺序、并行地或省略地执行示出和/或描述的各种动作。同样地，上述过程的顺序可以被改变。

本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等价物。

部件列表：

示例计算系统100

存储设备102

技术文档104

CAD文件106

物料清单108

当前和预计库存110

工作协议112

参考文档114

规范文档116

提取的数据120

文本数据122

元数据124

图像数据126

自然语言处理器130

机器学习模块132

大型语言模型134

数字工作环境140

人工智能助手142

计算机实施的方法200

方法步骤210、220、230、240、250

计算设备300

数字工作环境302

人工智能助手304

导航窗格306

示例工作协议308

步骤310、312、314、316、318

附加信息320

提示框322

响应框324

计算机实施的方法400

方法步骤410、420、430

场景500

文本提示502

文本响应504

场景600

详细指令602

提示框604

上下文暗示606

场景700

提示框704

指示706

场景800

提示框804

指示806

用户900

增强现实设备902

工作环境904

工作站910

子站911、912、914

场景1000

增强现实数字工作环境1002

人工智能助手1004

导航窗格1006

示例工作协议1008

步骤1010、1012、1014、1016、1018

图片1020

提示框1022

文本响应1024

突出显示1026

计算机实施的方法1100

方法步骤1110、1120、1130

场景1200

提示1202

AI助手1204

大型语言模型1206

低粒度工作协议1208

场景1300

提示1302

自适应工作协议1304

步骤1306、1308

计算机实施的方法1400

方法步骤1410、1420、1430

场景1500

文本提示1504

文本响应1506

场景1600

文本提示1604

文本响应1606

计算系统1700

逻辑子系统1710

存储子系统1720

显示子系统1730

输入子系统1740

通信子系统1750

Claims (10)

1.一种计算机实施的方法（400），包括：

将技术文档（104）存储（210）在存储设备（102）中，所述技术文档（104）至少包括工作协议（112）和标记有元数据（124）的技术数据文件；

从所述技术文档（104）中提取（220）文本（122）和元数据（124）；

至少在所述工作协议（112）、提取的文本（122）和元数据（124）上训练（230）一个或多个大型语言模型（134）；

为所述一个或多个大型语言模型（134）委托（240）人工智能助手（142），所述人工智能助手（142）被配置为响应于接收到提示（502）而至少检索文本（122）和元数据（124）；

提供（250）包括用于所述人工智能助手（142）的接口的数字工作环境（140）；

在所述人工智能助手（142）处，接收（410）与第一工作协议（308）相关的提示（502）；

基于接收到的提示（502），经由所述大型语言模型（134）检索（420）与所述第一工作协议（308）相关的文本（122）和元数据（124）；以及

基于检索到的文本（122）和元数据（124），经由所述数字工作环境（140）提供（430）上下文响应（504）。

2.根据权利要求1所述的计算机实施的方法（400），其中所述技术文档（104）针对多个程序在逐个程序基础上进行存储，并且其中所述一个或多个大型语言模型（134）在逐个程序基础上进行训练。

3.根据权利要求1所述的计算机实施的方法（400），其中所述一个或多个大型语言模型（134）被训练为针对每个工作协议（112）将提取的文本（122）和元数据（124）交联。

4.根据权利要求1所述的计算机实施的方法（400），其中从所述技术文档（104）中提取图像（126），并且其中所提取的图像（126）被用于训练所述大型语言模型（134）。

5.根据权利要求1所述的计算机实施的方法（400），其中所述提示（502）包括用户输入的文本。

6.根据权利要求1所述的计算机实施的方法（400），其中所述提示（502）包括经由所述数字工作环境（302）输入的通过所述第一工作协议（308）的上下文中进度。

7.根据权利要求1所述的计算机实施的方法（400），其中所述提示（502）包括来自所述人工智能助手（304）的上下文提示。

8.根据权利要求7所述的计算机实施的方法（400），其中来自所述人工智能助手（304）的所述上下文提示与一个或多个不合规报告相关。

9.根据权利要求7所述的计算机实施的方法（400），其中所述人工智能助手（304）被配置为基于来自所述人工智能助手（304）的上下文提示动态地重新分配资源。

10.根据权利要求9所述的计算机实施的方法（400），其中所述人工智能助手（304）被配置为基于所检索到的文本（122）和元数据（124）动态地重新排序所述第一工作协议（308）。