CN110326008A

CN110326008A - 将机器学习集成到控制系统中

Info

Publication number: CN110326008A
Application number: CN201880013978.8A
Authority: CN
Inventors: 吉姆·高; 克里斯托弗·甘布尔; 阿曼达·加什帕里克; 维达维亚斯·潘尼尔谢尔万; 戴维·巴克; 达斯廷·赖舒斯; 阿比盖尔·沃德; 杰里·洛; 布莱恩·金; 马克·施瓦巴赫尔; 斯蒂芬·韦伯斯特; 蒂莫西·贾森·基佩尔; 丹尼尔·芬夫芬格; 扎克雷·本内特
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2017-04-26
Filing date: 2018-04-26
Publication date: 2019-10-11
Also published as: TW201908991A; EP3616137A1; US20200050178A1; WO2018200845A1; TWI719302B; US11809164B2; US20220179401A1

Abstract

公开了用于在控制系统内实现机器学习的方法、系统、装置和计算机程序产品。可以从机器学习系统接收工业设施设置板，并且可以做出关于是否采用工业设施设置板中的设置的确定。机器学习模型可以是神经网络，例如深度神经网络，其已经例如使用强化学习被训练以预测被预测优化数据中心的效率的数据设置板。

Description

将机器学习集成到控制系统中

技术领域

本说明书涉及将机器学习集成到控制系统中。

背景技术

机器学习模型接收输入并基于该模型接收到的输入和模型参数的值来生成输出。

神经网络是使用非线性单元的一个或多个层来预测针对接收到的输入的输出机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层(即，下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。

可以使用强化学习来训练神经网络以生成预测的输出。通常，在强化学习训练技术中，接收奖励并将其用于调整神经网络的参数值。

例如，使用强化学习训练的神经网络可以提出用于工业设施的设置，工业设施例如是数据中心，其是容纳计算机服务器以便用于远程存储、处理或分发大量数据的设施。

发明内容

本说明书总体上描述了用于机器学习系统的技术，并且具体地涉及使用机器学习系统直接控制工业设施的物理基础设施的系统和方法。

通常，本说明书中描述的主题的一个创新方面可以体现在使用机器学习来控制工业设施的物理基础设施的方法中。

该方面的其他实施例包括记录在一个或多个计算机存储设备上的相应计算机系统、装置和计算机程序，每个计算机系统、装置和计算机程序被配置为执行所述方法的动作。对于要配置为执行特定操作的一个或多个计算机的系统意味着系统已经在其上安装了软件、固件、硬件或它们的组合，其在操作中使得系统执行操作或动作。对于要被配置为执行特定操作或动作的一个或多个计算机程序意味着一个或多个程序包括当由数据处理装置执行时使装置执行操作或动作的指令。

前述和其他实施例可以各自任选地单独或组合包括一个或多个以下特征。特别地，一个实施例包括组合的所有以下特征。

一种示例方法，包括：从机器学习系统接收机器学习系统预测将要优化工业设施的效率的工业设施设置，其中，工业设施设置板定义用于多个工业设施控制中的每一个工业设施控制的相应设置；确定工业设施设置板所定义的工业设施设置是否能够安全地被工业设施采用(例如，如果采用预测模型预测的设置，工业设施是否将根据确定工业设施的安全环境的预定标准运行)；并且响应于确定可以安全地采用由工业设施设置板定义的工业设施设置，而采用由工业设施设置板定义的工业设施设置。

这里术语“优化”用于意味着相对于效率标准提高工业设施的效率。“效率优化”并不一定意味着工业设施设置板定义的设置是相对于设置的所有可能值提供效率绝对最大值的设置，而是该术语可能意味着根据效率标准的效率对于该工业设施设置板比对于至少一个其他可能的工业设施设置板更高。特别地，术语“效率的优化”可以意味着该工业设施设置板提供根据效率标准的效率，该效率不小于针对多个其他可能的工业设施设置板导出的相应效率。

术语“工业设施”可以被定义为物理实体(“物理基础设施”)，其包括被布置为作用于(例如，生成、修改或重新布置)下述部分的任何一个或者更多的更多物理单元(例如，机器、计算机设备或其他设备)中的一个：(i)数据，(ii)至少一个通信信号，(iii)至少一个功率信号和/或(iv)多个物理元件。工业设施可以产生用于大量(例如，至少100，通常数千)个人的数据/信号/物理元件，这些个人通常不具有工业设施的所有权。工业设施控制可以包括修改物理单元的物理操作的控制参数和/或用于修改用于维持物理单元的操作状态的附加设备(例如，冷却设备)的操作的控制参数。物理单元可以位于一个地理位置(例如，在一个建筑物内)，但或者也可以在地理上分布。“工业设施”可以例如是数据中心，并且物理单元可以包括用于处理由数据中心接收的数据以从接收的数据生成从数据中心发送的修改的数据的服务器。或者，“工业设施”可以是制造或配送中心，并且物理单元可以包括作用于物理元件以修改它们和/或组装它们和/或将它们分配到工业设施外部的位置的装置。或者，“工业设施”可以是用于产生远程通信信号(例如，被广播或多播的)的站，或者是用于产生功率信号的发电设施，或者是检查和/或修改物理元件以生成数据的实验室。

第二实施例可以是执行示例方法的相应操作的控制器。

第二实施例可以被表达为包括以下部分的系统：

一个或多个计算机；以及

存储指令的一个或多个存储设备，指令当在一个或多个计算机上执行时可操作以使一个或多个计算机执行以下操作：

从机器学习系统接收机器学习系统预测将要优化工业设施的效率的工业设施设置板，其中，工业设施设置板定义用于多个工业设施控制中的每一个工业设施控制的相应设置；

确定由工业设施设置板定义的工业设施设置是否能够安全地被工业设施采用；以及

响应于确定由工业设施设置板定义的工业设施设置能够被安全地采用，而采用由工业设施设置板定义的工业设施设置。

第二实施例还可以表示为包括(例如，存储在介质上的)指令的计算机程序产品(例如，一个或多个非暂时性计算机可读存储介质)，所述指令可由处理设备执行并且在这样的执行时导致处理设备执行以下操作：

从机器学习系统接收机器学习系统预测将要优化工业设施的效率的工业设施设置板，其中，工业设施设置板定义用于多个工业设施控制中的每一个工业设施控制中的相应设置；

响应于确定由工业设施设置板定义的工业设施设置能够被安全地采用，采用由工业设施设置板定义的工业设施设置。

第二实施例还可以表示为一种用于控制工业设施中的物理基础设施的设备，该设备包括：

执行以下的相应操作的控制器：

确定工业设施设置板定义的工业设施设置是否能够安全地被工业设施采用；以及

第三实施例可以是一种系统，包括：机器学习系统，其接收表征工业设施板的状态的状态数据并预测将优化工业设施的效率的工业设施设置板，其中，工业设施设置板定义用于多个工业设施控制中的每个工业设施控制的相应设置；控制器，所述控制器确定工业设施设置板定义的工业设施设置是否能够由工业设施采用；并且，响应于确定工业设施设置板定义的工业设施设置能够被安全地采用，采用工业设施设置板定义的工业设施设置；以及，代理，所述代理促进(例如使得可能)在机器学习系统和控制器之间的通信路径。

代理可以包括物理组件(例如，到通信网络的物理接口)和/或通信协议。在一些实现中，代理是系统的一部分。在其他实现中，代理与系统通信。

响应于确定工业设施不能安全地采用工业设施设置，可以采用由默认控制系统提供的设置用于工业设施。

默认控制系统可以是基于规则的控制系统。确定是否可以安全地采用由工业设施设置板定义的工业设施设置可以包括：确定由工业设施设置板定义的工业设施设置中的每一个工业设施设置是否落入该设置的可接受范围或变化率内。

确定是否可以安全地采用由工业设施设置板定义的工业设施设置可以包括确定从机器学习系统接收的预测是否已经变得不稳定或错误。

确定从机器学习系统接收的预测是否已经变得不稳定或错误可以包括针对每个工业设施控制确定用于该控制的最近预测的设置的变化率是否已经满足阈值。术语“最近预测的”可以指在进行确定之前小于某个(例如，预定义的)时段产生的设置。

确定从机器学习系统接收的预测是否已经变得不稳定或错误可以包括针对每个工业设施控制确定用于该工业设施控制的最近预测的设置的方差是否已经满足阈值。

确定从机器学习系统接收的预测是否已经变得不稳定或错误可以包括确定预测是完全不正确的，导致工业设施的低效或错误操作。

在采用工业设施设置之前，可以接收表征工业设施的当前状态的状态数据。可以使用状态数据来做出确定是否可以安全地采用由工业设施设置板定义的工业设施设置的确定。该确定可以包括确定工业设施的当前状态是否适合采用工业设施设置。

确定工业设施的当前状态是否适合采用工业设施设置可以包括确定在状态数据中识别的任何传感器读数是否落在传感器的(例如，预定的)可接受范围之外。

可以做出超过阈值时间量从机器学习系统没有接收到通信的确定，并且作为响应，可以使用用于工业设施的默认控制系统来控制工业设施。

在采用工业设施设置用于生成新预测数据设置板之后，可以将表征工业设施的更新状态的状态数据发送到机器学习系统。

机器学习系统可以包括机器学习模型，该机器学习模型是神经网络。机器学习模型可以是深度神经网络。可以基于工业设施的测量或计算的效率使用强化学习来训练神经网络。

可以在特定实施例中实现本说明书中描述的主题，以便实现以下优点中的一个或多个。

机器学习系统可以能够在工业设施内自动选择过程控制设置点以优化的期望目标函数。例如，在数据中心中，可以选择设置值以优化功率或其他资源(例如，系统中的水)使用效率、机器健康和中央处理单元利用率。对于发电厂，可以选择设置值以优化总功率输出和热率。对于制造设施，可以选择设置值以优化产量、收益和产品质量。

尽管本说明书在数据中心的背景下给出了示例，但是所描述的技术同样适用于任何类型的工业设施，例如数据中心、发电厂和制造设施。因此，所描述的技术通常可用于改善工业设施的操作。

使用预测安全的有利设置的机器学习模型，系统可以选择设置而无需用户输入或大量测试。随着工业设施的运行状态或配置及其运行条件改变，系统可以随时间连续地优化效率。

在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了示例效率管理系统。

图2示出了具有机器学习集成的控制系统的示例。

图3是用于控制工业设施设置的示例过程的流程图。

各附图中相同的附图标号和名称表示相同的元件。

具体实施方式

本说明书总体上描述了与机器学习系统集成的控制系统，其提供对工业设施基础设施的直接控制以提高工业设施效率。例如，机器学习系统可以选择工业设施中的资源的设置值，该设置值优化功率使用效率、机器健康、中央处理单元利用率和热裕度等中的任何一个或多个。设置值可以优化所有设施或仅设施的指定部分(例如设施中的机械的子集)的效率。

在工业设施中，硬件(例如机械和电气设备)和软件(例如控制策略和设置点)的许多可能组合有助于工业设施效率。例如，工业设施环境中的能源使用的主要来源之一是冷却。工业设施产生热量，其必须被移除以保持服务器运行。冷却通常由大型工业设备(例如泵，冷却器和冷却塔)完成。

然而，对冷通道温度设置点的简单改变将在工业设施的冷却基础设施(例如冷却器、冷却塔、热交换器和泵)中产生负载变化。这些负载变化会导致设备效率的非线性变化。工业设施设备之间可能的操作配置和各种反馈回路的数量、设备操作和工业设施环境使得难以优化能量效率。由于时间限制、工业设施传感器信息和天气条件的频繁波动以及维持稳定的工业设施环境的需要，测试每个特征组合以最大化工业设施效率是不可行的。用于预测建模的传统工程公式通常会产生大的错误，因为它们无法捕获工业设施中系统的复杂相互依赖性。

机器学习系统接收表征工业设施的当前状态的状态数据，并将更新的工业设施设置提供给管理工业设施的设置的控制系统。机器学习系统可以是例如机器学习系统，例如在下文中描述的机器学习系统：在2017年1月19日提交的题为“使用神经网络优化数据中心控制(OPTIMIZING DATA CENTER CONTROLS USING NEURAL NETWORKS)”的美国专利申请No.15/410,547，其全部内容在此通过引用并入。

图1示出了示例性效率管理系统100。效率管理系统100是其中可以实现下面描述的系统、组件和技术的、在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例。

效率管理系统100接收表征数据中心(或其他工业设施)104的当前状态的状态数据140，并将更新的设置120提供给管理数据中心104的设置的控制系统102。

效率管理系统100可以摄取表示数据中心(或其他工业设施)104的当前状态的状态数据140作为输入。该状态数据可以来自数据中心104中的传感器的传感器读数和在数据中心104内的操作场景。状态数据可包括诸如温度、功率、泵速和设置点中的任何一个或多个的数据。

效率管理系统100使用该数据来确定应该在数据中心104中改变的数据中心设置120，以便使数据中心104更有效。

一旦效率管理系统100确定将使数据中心104更有效的数据中心设置120，效率管理系统100就将更新的数据中心设置120提供给控制系统102。控制系统102使用更新的数据中心设置120设置用于控制数据中心的一个或多个数据中心值(控制值)。例如，如果效率管理系统100确定应该在数据中心104中打开另外的冷却塔，则效率管理系统100可以将更新的数据中心设置120提供给更新设置的用户或控制系统102，控制系统102在没有用户交互的情况下自动采用设置。控制系统102可以将信号发送到数据中心，以增加在数据中心104中通电并起作用的冷却塔的数量。

如果采用特定数据中心设置，则效率管理系统100可以使用模型训练子系统160训练机器学习模型132A-132N的集合以预测数据中心104的资源效率。在一些情况下，如果采用特定数据中心设置，则效率管理系统100可以训练单个机器学习模型以预测数据中心的资源效率。

特别地，通过训练来配置集合中的每个机器学习模型132A-132N，以接收表征数据中心104的当前状态的状态输入和定义可能的数据中心设置的组合的数据中心设置板，并如果采用由数据中心设置板定义的数据中心设置，则处理状态输入和数据中心设置板以生成表征数据中心的预测资源效率的效率分数。

在一些实现中，如果数据中心104采用特定板的设置，则效率得分表示数据中心的预测的功率使用效率(PUE)。PUE被定义为总建筑物能量使用率与信息技术能源使用率的比率。

在一些实现中，如果数据中心104采用特定板的设置，则效率得分表示数据中心的预测用水量。在其他实现中，效率得分表示在电力上花费的预测货币(monetary)量。在其他实现中，效率分数表示可以由数据中心实现的预测负载量。

在一些实现中，每个机器学习模型(132A-132N)是神经网络，例如深度神经网络，效率管理系统100可以训练其以产生效率分数。

神经网络是机器学习模型，其采用模型的一个或多个层来生成针对接收到的输入的输出，例如一个或多个分类。除了输出层之外，深度神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层(即下一个隐藏层或输出层)的输入。神经网络的每一层根据该层的相应参数集的当前值从接收到的输入生成输出。

模型训练子系统160使用来自数据中心104的历史数据来创建来自数据中心的传感器数据的不同数据集。可以在历史传感器数据的一个数据集上训练机器学习模型的集合中的每个机器学习模型132A-132N。

如果数据中心104采用某些数据中心设置102，则效率管理系统100可以使用模型训练子系统160训练约束机器学习模型112A-112N的附加集合以预测对应于操作约束的数据中心的操作属性。

如果效率管理系统100确定约束模型预测给定数据中心设置的值将违反数据中心的约束，则效率管理系统将丢弃违规设置。

每个约束模型112A-112N是机器学习模型，例如深度神经网络，其被训练为如果数据中心采用给定输入设置则预测在一段时间内的数据中心的操作属性的某些值。例如，模型训练子系统160可以训练一个约束模型，以在给定输入状态数据140和潜在设置的情况下预测下一小时内数据中心的未来水温。在给定状态数据140和潜在设置的情况下，模型训练子系统120可以训练另一约束模型以预测下一小时的水压。

效率管理系统100内的设置板管理子系统110预处理状态数据140并构造一组设置板，其表示在给定数据中心104的已知的操作条件和当前状态的情况下可以为数据中心的各个部分设置的一个或多个(通常是多个)数据中心设置值。每个设置板定义了影响数据中心104的效率的可能数据中心设置的相应组合。

例如，效率管理系统100可以确定数据中心104的冷却系统的资源效率最高的设置。冷却系统可以具有以下架构：(1)服务器加热服务器底板上的空气；(2)空气循环，热量传递到处理水系统；(3)处理水系统循环并使用热同步连接到冷凝水系统；以及，(4)冷凝水系统从处理水系统获取热量，并使用冷却塔或大风扇将该热量传递到外部空气。

为了有效地控制冷却系统，效率管理系统100可以构造不同的潜在设置板，其包括用于冷却塔设置点的各种温度、冷却塔旁通阀位置、冷却单元冷凝器水泵速度、运行的冷却单元的数量以及/或处理水压差设置点。作为示例，一个设置板可以包括以下值：冷却塔设置点的温度为68度，冷却塔旁通阀位置为27度，冷却单元冷凝器水泵速度为500rpm，以及运行的冷却单元的数量为10。

影响数据中心104的效率的板设置的其他示例包括：跨数据中心的各个部分的潜在功率使用；在整个数据中心上的某些温度设置；给定的水压；特定的风扇或泵的速度；以及诸如冷却塔和水泵的运行的数据中心设备的数量和类型。

在预处理期间，设置板管理子系统110可以修改状态数据140。例如，它可以在无效的功率使用效率内移除数据，用给定数据设置的平均值替换该给定数据设置的丢失数据，并且/或者移除一定比例的数据设置。设置板管理系统110对所有动作维度进行离散化并生成穷举的一组可能的动作组合。对于任何连续的动作维度，系统会将动作转换为一组离散的可能值。例如，如果动作维度之一是一个值为0.0到1.0的阀门，则系统可以将值离散为集合[0.0,0.05,0.1,0.15，...，1.0]。系统可以对每个维度进行离散化，并且完整的动作集合是值的每种可能组合。然后，系统将删除违反约束模型的所有动作。

设置板管理子系统110将构造的一组设置板和数据中心104的当前状态发送到约束模型112A-112N。然后，设置板管理子系统确定是否预测某些数据中心设置板(如果由系统选择)以导致违反数据中心的操作约束。设置板管理子系统100从预测违反数据中心的约束的一组设置板中移除任何数据中心设置板。

效率管理系统100将更新的一组设置板和状态数据140发送到机器学习模型132A-132N的集合，机器学习模型132A-132N使用状态数据和设置板来生成效率分数作为输出。

由于在与其他模型不同的数据集上训练模型132A-132N的集合中的每个机器学习模型，因此当集合中的所有机器学习模型以相同数据中心设置值作为输入而运行时，每个模型都有可能提供不同的预测PUE输出。附加地或替代地，每个机器学习模型可以具有不同的架构，这也可以使每个模型潜在地提供不同的预测PUE输出。

效率管理系统100可以选择关注数据中心的长期效率的数据中心设置值。例如，一些数据中心设置值为数据中心提供长期功率使用效率，例如，确保在数据中心处于以状态输入为特征的状态之后的数字中心中的功率使用在很长的预定时间内有效。长期功率使用效率可以是从数据中心处于输入状态的时间起至少十分钟(例如三十分钟、一小时或更长)的持续时间，而短期功率使用效率聚焦于在数据中心处于输入状态之后(例如，在数据中心处于输入状态之后的五秒后立即)的短时间(例如，小于十分钟)。

该系统可以优化机器学习模型以实现长期效率，以便模型可以根据数据中心的动态进行预测，并且不太可能提供在短期内产生良好结果但对于长期效率是不良的板设置的建议。例如，假设每小时将继续采取最佳动作，则系统可以预测在第二天的PUE。然后，即使给定小时的PUE比前一小时差，系统也可以采取它知道将导致整个数据上的最佳PUE的动作。

效率管理系统100基于给定设置板的模型集合中的每个机器学习模型的效率分数来确定给定设置板的最终效率分数，以产生每个设置板的一个总效率分数。

然后，效率管理系统100基于从机器学习模型132A-132N分配给每个板的效率分数来推荐或选择数据中心设置的新值。效率管理系统可以例如通过在用户计算机上呈现给数据中心运营商而实现将建议发送给数据中心运营商，或者自动设置而无需发送给数据中心运营商。

在一些实现中，机器学习系统可以是基于云的人工智能系统。在机器学习系统和控制系统之间可以存在代理，该代理允许控制系统例如通过电信系统与基于云的AI通信。代理将推荐的工业设施设置从机器学习系统发送到控制系统。代理可以使用通信协议(例如Modbus)以促进通信。

在某些情况下，使用由图1的机器学习系统生成的预测可能导致数据中心的不稳定或危险情况。在这些情况下，应使用控制系统来确定数据中心或工业设施可采用而不会导致数据中心或工业设施环境变得危险或不稳定的安全设置。

图2示出了这种控制系统202的示例。控制系统202是其中可以实现下面描述的系统、组件和技术的在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例。

控制系统202接收描述工业设施204的状态数据240。状态数据240可以来自工业设施204中的传感器的传感器读数和工业设施204内的操作场景。状态数据可以包括诸如温度、功率、泵速和设置点的数据。如图2中所示，控制系统在工业设施204内。然而，在一些实现中，控制系统可以与工业设施204分离并且通过代理或某个其他通信机制与工业设施通信。

控制系统202可以将状态数据240发送到机器学习系统200。系统202接收提出的工业设施设置220，并且可选地，从机器学习系统200接收心跳信号260。工业设施设置220是机器学习系统200确定将使工业设施204相对于机器学习系统已被训练优化的一个或多个度量更有效的设置。该设置可以是定义每个工业设施控制设置的设置值的设置板的形式。

例如，设置可以用于工业设施204的冷却系统，如上类似所述。冷却系统可以具有以下架构：(1)服务器加热服务器底板上的空气；(2)循环空气，热量传递到处理水系统；(3)处理水系统循环并使用热同步连接到冷凝水系统；(4)水冷凝器水系统从处理水系统获取热量，并使用冷却塔或大型风扇将该热量传递到外部空气。设置可包括用于冷却塔设置点的各种温度、冷却塔旁通阀位置、冷却单元冷凝器水泵速度、运行的冷却单元的数量和/或处理水差压设置点。

效率可以根据若干成本函数之一来测量，若干成本函数包括：优化功率或其他资源(例如，系统中的水)使用效率、机器健康、中央处理单元利用率和热裕度。心跳信号260验证控制系统202与机器学习系统200的实时数据网络之间的通信。

控制系统202可以使用来自机器学习系统200的更新的工业设施设置220来设置工业设施204的值。例如，如果机器学习系统200确定应在工业设施204中打开另一个冷却塔，则机器学习系统200可以将更新的工业设施设置220提供给控制系统202。如图2所示，控制系统202直接与机器学习系统200通信。然而，在一些实现中，控制系统通过代理或某个其他通信机制与机器学习系统通信。

控制系统202的控制器222确定设置是否安全以在没有用户交互202的情况下自动采用。如果设置是安全的采用，则控制系统202将工业设施204的控制设置为与控制系统202从机器学习系统200接收的工业设施设置220相同的设置225。例如，控制可以是电子可配置的并且例如通过有线或无线连接通信地耦合到控制系统202。然后，控制系统202可以发送使得控制被设置为与工业设施设置220相同的设置225的信号。

在该示例中，如果控制系统202确定设置是安全的采用，则控制系统202可以将信号发送到工业设施204以增加在工业设施204中通电并起作用的冷却塔的数量。

然而，如果控制器222确定从机器学习系统200接收的设置是不安全的采用，则控制系统202可以将工业设施保持在最后已知的良好工业设施设置并且开始采用由默认控制系统232对于工业设施204提供的设置。然后，控制器将默认控制系统232设置作为工业设施设置225发送到工业设施204。

图3示出了控制器222关于是使用来自机器学习系统200的工业设施设置还是使用来自默认控制系统的默认控制和设置的确定的示例流程图。在一些情况下，默认控制系统使用规则和启发法来设置工业设施值，即，默认控制系统选择设置的方式是硬编码的并且不使用机器学习。

控制器222使用一个或多个标准来确定是使用来自机器学习系统的工业设施设置还是使用默认控制和设置。控制器可以检查是否已禁用区分使用机器学习系统工业设施设置和来自默认控制系统的默认设置的机器学习模式。机器学习模式可由工业设施操作员手动或由机器学习系统通过模式设置禁用。如果已禁用机器学习模式，控制器将进入默认模式并使用默认控制系统来设置工业设施设置。当工业设施中出现设备故障时，控制器也将进入默认模式并使用默认控制系统设置。如果控制器与其他控制器或设备之间的通信丢失，控制器也可能恢复到默认控制。

当控制器222处于机器学习模式时，控制器可以确定机器学习系统提出的工业设施设置是否安全以在工业设施中实施。

如图3中所示，示例控制器222从机器学习系统接收工业设施设置220，并且从工业设施接收包括传感器数据345的状态数据。控制器222还可以可选地从机器学习系统接收心跳信号260。

控制器222确定工业设施是否可以安全地采用机器学习系统302提出的工业设施设置。控制器可以通过将接收到的工业设施设置中的每个设置与针对该设置预定义的值可接受值或值范围进行比较来执行该确定。控制器确定每个设置是否是适当的值或落在设置的可接受范围内。如果设置在可接受的值或值范围内，则控制器确定工业设施可以安全地采用机器学习系统提出的设置。例如，机器学习系统提出的工业设施设置可以包括指示应该在工业设施中打开另外的冷却塔的设置。在工业设施中在给定时间开启的冷却塔的可接受数量可以是10。如果当前打开10个，则指示应该打开另外的冷却塔的设置将导致在工业设施中给定的时间打开11个冷却塔。由于11大于定义的适当值10，控制器确定工业设施不能安全地采用工业设施设置。

附加地或替代地，在一些实现中，工业设施通过确定从机器学习模型接收的预测是否变得不稳定来确定机器学习系统提出的工业设施设置是安全的采用。例如，可以通过设置值的变化率或方差来确定稳定性。如果工业设施设置改变和/或变化了至少预定阈值量，则认为设置值不稳定。系统通过计算机器学习系统计算在设置的最近预测值之间的变化率或方差。如果变化率或方差超过定义的阈值，则系统确定来自机器学习系统的关于设置值的预测变得不稳定。

当确定工业设施设置不稳定时，控制器222可以将工业设施保持在最后已知的良好值并且转换到默认控制系统232以用于新的工业设施设置。

控制器222可以附加地或替代地接收包括表征工业设施的当前状态的数据的状态数据240，并且确定工业设施的当前状态是否适合于采用由机器学习系统提出的工业设施设置。在某些情况下，在给定的工业设施的状态的情况，提出的工业设施设置将是不安全的实现。可以通过确定在状态数据中识别的任何传感器读数是否落在传感器的可接受值或可接受范围之外来进行该适合性确定。例如，传感器读数之一可以是设施内某点的当前温度。如果当前温度读数超过阈值，则提出的工业设施被认为对于由机器学习系统直接控制处于不安全状态。因此，在采用工业设施设置之前，控制器将工业设施保持在最后已知的良好值，并转换到用于新工业设施设置的默认控制系统。

控制器222可以使用可选的心跳信号260来确定控制器和机器学习系统之间是否存在通信。如果确定控制器超过预定阈值时间量没有从机器学习系统接收到通信304，则控制器将使用工业设施的默认控制系统232来控制工业设施314并且可以禁用机器学习控制模式312。

在本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件(包括在本说明书中公开的结构及其结构等同物)中或者在它们的一个或多个的组合实现。在本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，编码在有形非暂时性程序载体上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。替代地或另外地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，其被生成以编码信息以用于传输到合适的接收机设备，以由数据处理装置执行。

术语“数据处理装置”是指数据处理硬件，并且包括用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。该装置还可以是或进一步包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置可以可选地包括创建用于计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

也可被称为或描述为程序、软件、软件应用、app、模块、软件模块、脚本或代码的计算机程序可以以任何形式的编程语言编写，包括编译或解释语言或声明性或过程性语言，并且其可以以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程或其他单元。程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中，例如存储在标记语言文档中、存储在专用于所述程序的单个文件中或者存储在多个协同文件(例如存储一个或多个模块、子程序或代码部分的文件)中的一个或多个脚本。计算机程序可以被部署为在一个计算机上或在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)来执行，或由专用逻辑电路和一个或多个编程计算机的组合执行。

适合于执行计算机程序的计算机可以基于通用或专用微处理器或两者或任何其它类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或实施指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合以从该一个或多个大容量存储设备接收数据或向其传送数据或两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，这里仅列出几个。

适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及，CD-ROM和DVD-ROM盘。

为了提供与用户的交互，本说明书中描述的主题的实施例可以实现在计算机上，该计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息；以及，键盘和诸如鼠标或轨迹球的指示设备，用户可以通过该他们向计算机提供输入。也可以使用其他种类的设备提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，该任何形式包括声音、语音或触觉输入。另外，计算机可以通过下述方式与用户交互：向用户使用的设备发送文档和从用户使用的设备接收文档；例如，通过响应于从用户的客户端设备上的web浏览器接收的请求，将网页发送到该web浏览器。而且，计算机可以通过下述方式来与用户交互：向个人设备(例如，智能电话)发送文本消息或其他形式的消息，运行消息收发应用程序，并且继而从用户接收响应消息。

在本说明书中描述的主题的实施例可以实现在计算系统中，该计算系统包括诸如作为数据服务器的后端组件，或者包括诸如应用服务器的中间件组件，或者包括诸如具有图形用户界面、Web浏览器或app的客户端计算机的前端组件，或者包括一个或多个这样的后端、中间件或前端组件的任何组合，用户可以通过该图形用户界面、Web浏览器或app与本说明书中描述的主题的实现交互。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和诸如因特网的广域网(“WAN”)。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中，服务器将数据(例如，HTML页面)发送到用户设备，例如，用于向与作为客户端的设备交互的用户显示数据和从该用户接收用户输入的目的。可以在服务器处从用户设备接收在该设备处生成的数据，例如，用户交互的结果。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为对任何发明的范围或对所要求保护内容的范围的限制，而是作为可以对特定发明的特定实施例特定的特征的描述。在本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以涉及子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序或以顺序次序执行，或者所有所示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

因此，已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中所述的动作可以以不同的顺序执行并且仍然实现期望的结果。另外，附图中描绘的过程不一定需要所示的特定顺序或顺序的顺序，以实现期望的结果。在一些情况中，多任务和并行处理可以是有利的。

Claims

1.一种方法，包括：

从机器学习系统接收所述机器学习系统预测将要优化工业设施的效率的工业设施设置板，其中，所述工业设施设置板定义用于多个工业设施控制中的每一个工业设施控制的相应设置；

确定由所述工业设施设置板定义的所述工业设施设置是否能够安全地被所述工业设施采用；以及

响应于确定由所述工业设施设置板定义的所述工业设施设置能够被安全地采用，而采用由所述工业设施设置板定义的所述工业设施设置。

2.根据权利要求1所述的方法，进一步包括：

响应于确定所述工业设施设置不能被所述工业设施安全地采用，而采用由所述工业设施的默认控制系统提供的设置。

3.根据权利要求2所述的方法，其中，所述默认控制系统是基于规则的控制系统。

4.根据任一前述权利要求所述的方法，其中，确定由所述工业设施设置板定义的所述工业设施设置是否能够安全地被采用包括：

确定由所述工业设施设置板定义的所述工业设施设置中的每一个工业设施设置是否落入该设置的可接受范围内。

5.根据任一前述权利要求所述的方法，其中，确定由所述工业设施设置板定义的所述工业设施设置是否能够安全地被采用进一步包括：

确定从所述机器学习系统接收的预测是否已经变得不稳定。

6.根据权利要求5所述的方法，其中，确定从所述机器学习系统接收的预测是否已经变得不稳定包括：

对于所述工业设施控制中的每一个工业设施控制，确定该控制的最近预测设置的变化率是否已经满足阈值。

7.根据权利要求5或6所述的方法，其中，确定从所述机器学习系统接收的预测是否已经变得不稳定包括：

对于所述工业设施控制中的每一个工业设施控制，确定该工业设施控制的最近预测设置的方差是否已经满足阈值。

8.根据任一前述权利要求所述的方法，进一步包括：

在采用所述工业设施设置之前，接收表征所述工业设施的当前状态的状态数据；以及

其中，确定由所述工业设施设置板定义的所述工业设施设置是否能够安全地被采用包括：

确定所述工业设施的所述当前状态是否适合于采用所述工业设施设置。

9.根据权利要求8所述的方法，其中，确定所述工业设施的所述当前状态是否适合于采用所述工业设施设置包括：确定在所述状态数据中识别的任何传感器读数是否落在所述传感器的可接受范围之外。

10.根据任一前述权利要求所述的方法，进一步包括：

确定超过阈值时间量从所述机器学习系统没有接收到通信；以及

作为响应，使用所述工业设施的默认控制系统来控制所述工业设施。

11.根据任一前述权利要求所述的方法，进一步包括：

在所述工业设施设置已经被采用以用于生成新预测数据设置板之后，将表征所述工业设施的更新状态的状态数据发送到所述机器学习系统。

12.根据任一前述权利要求所述的方法，其中，所述机器学习系统包括机器学习模型，所述机器学习模型是神经网络。

13.根据权利要求12所述的方法，其中，所述机器学习模型是深度神经网络。

14.根据权利要求12或13所述的方法，其中，所述神经网络已经被基于所测量或计算的所述工业设施的效率而使用强化学习来训练。

15.一种系统，包括：

一个或多个计算机；以及

存储指令的一个或多个存储设备，所述指令当在一个或多个计算机上执行时能够操作以使所述一个或多个计算机执行操作：

16.根据权利要求15所述的系统，所述操作进一步包括：

17.一种包括指令的计算机程序产品，所述指令能够由处理设备执行并且在这样的执行时使得所述处理设备执行操作：

18.根据权利要求17所述的计算机程序产品，所述操作进一步包括：

19.一种用于控制工业设施中的物理基础设施的设备，所述设备包括：

执行以下的相应操作的控制器：

20.一种系统，包括：

机器学习系统，所述机器学习系统接收表征工业设施状态的状态数据并预测将要优化所述工业设施的效率的工业设施设置板，其中，所述工业设施设置板定义用于多个工业设施控制中的每一个工业设施控制的相应设置；

控制器，所述控制器：

响应于确定由所述工业设施设置板定义的所述工业设施设置能够被安全地采用，而采用由所述工业设施设置板定义的所述工业设施设置；以及

代理，所述代理促进在所述机器学习系统和所述控制器之间的通信路径。