CN114945818B - 预测维护装置、预测维护方法及学习装置 - Google Patents

Abstract

对从图像判定装置输出的判定结果信息进行存储，基于多个判定结果信息而决定维护判定值。并且，基于以判定基准比第1判定基准高的方式设定的第2判定基准而对维护判定值进行判定。并且，在判定得到的结果满足基于第2判定基准而设定的通知条件的情况下，输出促使进行图像判定装置的确认的维护通知。由此，能够预先告知与图像判定装置的误判定有关的图像判定装置的状态变化。

Description

预测维护装置、预测维护方法及学习装置

技术领域

本发明涉及用于预先告知与图像判定装置的误判定有关的图像判定装置的状态变化的预测维护装置、预测维护方法及学习装置。

背景技术

在产品的生产现场中，伴随生产设备的自动化，有时为了对产品的不合格进行检测而使用图像判定装置。图像判定装置是指对检查对象即产品是合格品还是不合格品进行判定的装置。作为图像判定装置，具有对图像进行拍摄的照相机和进行拍摄到的图像的判定的判定机构。具体地说，使用者将产品的合格品作为主图像而预先登记于图像判定装置。图像判定装置在对检查对象即产品进行拍摄之后，进行图像处理而取得检查图像。然后，图像判定装置通过将检查图像与主图像进行比较而对检查图像与主图像之间的一致度进行计算。在图像判定装置的合格品或不合格品的判定时，使用者使用预先设定的用于合格品或不合格品的判定的阈值，通过将阈值与一致度进行比较而进行判定(例如，在一致度低于阈值的情况下，判定为不合格品)。

另一方面，当在生产现场使用图像判定装置的情况下，有时随着时间的经过，由于由外在的环境要因引起的图像判定装置的状态的变化而将合格品误判定为不合格品。作为由外在的环境要因引起的图像判定装置的状态的变化，例如举出生产设备内的油脂、尘埃等附着于图像判定装置所具有的照相机的镜头，或者由于生产设备的振动而导致图像判定装置的安装位置产生偏移等。在油脂、尘埃附着于照相机的镜头的情况下，在由图像判定装置拍摄到的图像中映入了油脂、尘埃等，不能准确地生成检查图像，所以给一致度的计算造成影响。另外，在由于生产设备的振动而导致图像判定装置的安装位置产生了偏移的情况下，图像判定装置所具有的照相机的拍摄范围改变，由于不能准确地生成检查图像，所以给一致度的计算造成影响。这样的图像判定装置的状态的变化导致图像判定装置的误判定。

如果图像判定装置进行了误判定，则产生误判定的验证、产品的确认等大量的工时，或者由于误判定而产生由产品的废弃导致的生产损耗。即，如果在图像判定装置进行误判定之前，能够预先知晓与图像判定装置的误判定相关的图像判定装置的状态的变化，则能够在图像判定装置进行误判定之前进行处置。

当前，作为对生产设备的异常进行预测的技术，已知如下监视装置：在接收到从控制装置输出的数据时，对接收到数据的接收时刻进行保存，基于保存的接收时刻对控制装置的状态进行监视(例如，参照专利文献1)。

这样的监视装置在控制装置正在对控制对象装置进行控制的状态下，利用控制装置发送数据的时刻存在一定的周期性等时间特性这一点，对控制装置的状态进行监视。具体地说，监视装置使用接收到数据的时间间隔即接收时时间间隔或每单位时间接收到的数据的个数即单位时间接收数据数量，通过将它们与基准值进行比较而对控制装置的状态是异常状态还是正常状态进行判定，由此对控制装置的状态进行监视。

专利文献1：日本特开2013-080354号公报

发明内容

但是，专利文献1所公开的对控制装置的状态进行监视的监视装置基于所保存的接收时刻而进行控制装置的状态的监视，因此，存在无法预先告知上述这样的与图像判定装置的误判定相关的图像判定装置的状态的变化的问题。即，在由于外在的环境要因而产生了图像判定装置的状态的变化的情况下，图像判定装置不能准确地生成检查图像，给一致度的计算造成影响，因此，有可能作出合格品或不合格品的误判定，但即使在误判定的情况下，也在进行了判定之后，将判定结果作为数据而发送，因此，判定结果不会给数据的发送造成影响。

本发明就是为了解决上述的问题而提出的，其目的在于，提供用于预先告知与图像判定装置的误判定相关的图像判定装置的状态变化的预测维护装置、预测维护方法及学习装置。

本发明涉及的预测维护装置具有：判定结果存储部，其对从图像判定装置输出的判定结果信息进行存储，图像判定装置基于成为用于对检查对象的合格或不合格进行判定的判定基准的第1判定基准而对检查对象进行判定；判定值决定部，其基于在判定结果存储部中存储的判定结果信息而决定维护判定值；以及通知控制部，其在基于以判定基准比第1判定基准高的方式设定的第2判定基准而进行针对维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件的情况下，输出促使进行图像判定装置的确认的维护通知信息。

发明的效果

根据本发明，能够提供用于预先告知与图像判定装置的误判定相关的图像判定装置的状态变化的技术。

附图说明

图1是本发明涉及的生产系统的概略图。

图2是表示实施方式1涉及的预测维护装置的功能模块的一个例子的图。

图3是表示实施方式1涉及的图像判定装置的拍摄范围的一个例子的图。

图4是表示实施方式1涉及的促使对图像判定装置进行确认的通知的一个例子的图。

图5是表示实施方式1涉及的预测维护装置的动作及预测维护方法的流程图。

图6是表示实施方式2涉及的预测维护装置的功能模块的一个例子的图。

图7是表示实施方式2涉及的学习装置部的功能模块的一个例子的图。

图8是表示实施方式2涉及的学习装置部中的学习模型生成的一个例子的图。

图9是表示与实施方式2涉及的学习装置部中的学习处理相关的流程图。

图10是表示实施方式2涉及的预测维护装置的动作及预测维护方法的流程图。

具体实施方式

实施方式1

使用附图，对本发明的实施方式1涉及的预测维护装置1及预测维护方法进行说明。图1是表示使用了图像判定装置的生产系统PS的概况的图，该图像判定装置包含预测维护装置1。

如图1所示，生产系统PS具有：生产设备150，其生产产品；控制装置101，其对生产设备150进行控制；视觉传感器102，其对在具有生产设备150的生产线100中生产的产品的合格或不合格进行判定，作为图像判定装置起作用；以及可编程显示器103，其能够对控制装置101及视觉传感器102的输出信息进行显示，作为预测维护装置1起作用。此外，生产线100具有大于或等于1个用于生产产品的生产设备150。

生产设备150与控制装置101、控制装置101及视觉传感器102与可编程显示器103经由专用线路或网络而可通信地连接。在使用专用线路而连接的情况下，例如也可以经由USB(Universal Serial Bus)电缆而连接。在经由网络而连接的情况下，例如既可以经由因特网这样的开放网络而连接，也可以经由LAN(Local Area Network)这样的封闭网络而连接。

视觉传感器102被装入生产设备150，在生产设备150内对产品即检查对象的合格或不合格进行判定。视觉传感器102例如在生产设备150内以能够对产品进行拍摄的方式安装于对产品进行握持而输送的机械臂的前端、输送产品的输送带的上部等处。另外，视觉传感器102进行检查对象的合格或不合格的判定而将判定结果信息输出。判定结果信息的详情会在后面叙述。此外，视觉传感器102是图像判定装置的一个例子。作为图像判定装置，只要具有对图像进行拍摄的照相机和进行产品的判定的判定机构即可，照相机和判定机构可以是一体的，也可以是独立的。在本实施方式1中示出的视觉传感器102是照相机与判定机构一体的图像判定装置的一个例子。另外，在照相机与判定机构独立的情况下，只要照相机是以能够对产品进行拍摄的方式安装的，则判定机构可以配备于生产设备150的内侧，也可以配备于外侧。

可编程显示器103是能够对构成生产系统PS的生产线100、生产设备150、视觉传感器102等的运转状态进行显示、执行脚本程序的仪器。可编程显示器103具有执行各种动作的动作用存储器、对各种动作的结果、动作所用的程序进行存储的储存用存储器、对在动作存储器上进行的动作的结果进行显示的显示部和与控制装置101、视觉传感器102等仪器连接的通信部及输入输出端子部。

可编程显示器103能够执行各种动作，基于从控制装置101输出的信息将生产设备150的运转状态显示于显示部，将视觉传感器102的运转状态、判定结果等显示于显示部。另外，可编程显示器103是能够接收来自用户的操作而执行各种动作，针对控制装置101、视觉传感器102发送基于用户的操作的控制信号的装置。在本实施方式1中，对可编程显示器103作为预测维护装置1起作用的方式进行说明。

此外，作为预测维护装置1起作用的仪器不限于可编程显示器103，例如作为硬件结构，能够采用具有可进行运算处理的CPU、存储器等的运算终端。作为这样的运算终端，例如是笔记本电脑、台式电脑、平板电脑、智能手机、可编程逻辑控制器等。

图2是表示由上述的动作用存储器、CPU及储存用存储器等实现的预测维护装置1的功能模块的一个例子的图。

如图2所示，本实施方式1涉及的预测维护装置1具有用于预先告知与图像判定装置的误判定有关的图像判定装置的状态变化的功能。预测维护装置1具有：判定结果存储部11，其对多个从作为图像判定装置的一个例子的视觉传感器102输出的判定结果信息进行存储；判定值决定部12，其基于多个判定结果信息而决定维护判定值；判定值比较部13，其将维护判定阈值与维护判定值进行比较；以及通知控制部14，其在满足通知条件的情况下输出维护通知信息。

判定结果存储部11对多个从视觉传感器102输出的判定结果信息进行存储。此外，如果由视觉传感器102对1个检查对象C进行判定，则输出1个判定结果信息。判定结果存储部11存储有从视觉传感器102输出的多次的判定结果信息，因此成为存储有多个判定结果信息。另外，判定结果信息是将从视觉传感器102的拍摄范围内的规定位置算起的检查对象C的位置偏移量的信息、检查对象C的检查图像与登记于视觉传感器102的主图像之间的一致度信息、检查对象C的合格或不合格的信息关联起来的信息。以下，针对判定结果信息所包含的各信息，示出一个例子而进行说明。

位置偏移量的信息是表示从视觉传感器102的拍摄范围内的规定位置算起的检查对象C的位置偏移了何种程度的位置偏移量的信息。位置偏移量的信息具体地说是如在图3中作为一个例子示出的那样，由X轴、Y轴的坐标表示在将视觉传感器102的拍摄范围IA设为矩形形状，将横向设为X轴，将纵向设为Y轴时，从在拍摄范围内IA确定的规定点P1算起的拍摄到的检查对象C的规定点P2的位置偏移量的信息。在图3中，将X轴及Y轴分别十等分，将从规定点P1算起的规定点P2的位置偏移量作为正的整数而由(X：2，Y：1)表示。在视觉传感器102中，如果规定点P1与规定点P2之间的位置偏移量变大，则检查对象C偏离拍摄范围IA，在将检查图像与主图像进行比较时判断为检查对象C存在缺损，后述的表示一致度的数值变小。

一致度信息是表示将检查对象C的检查图像与登记于视觉传感器102的主图像之间的一致度作为分数而由数值表示的信息。具体地说，视觉传感器102对检查对象C即产品进行拍摄，进行图像处理，从而取得检查图像。接下来，视觉传感器102将登记于视觉传感器102的表示合格品的主图像与检查图像进行比较，将一致度分数化，作为表示一致度的数值而进行计算。此外，将主图像与检查图像进行比较，将一致度分数化，作为表示一致度的数值而进行计算的方法能够采用当前已知的方法。作为计算方法的一个例子，从主图像提取多个特征部位，从检查图像提取用于与特征部位进行对比的对比部位。能够将提取出的特征部位与对比部位进行比较，与不一致的部位对应地扣除分数，计算出表示一致度的数值(例如，将满分设为100分，从100分扣除分数而进行计算)。如果在对比部位存在缺损或伤痕，则表示一致度的数值变小。

检查对象C的合格或不合格的信息是表示将上述的一致度信息所包含的表示一致度的数值与预先确定的合格与否判定阈值进行比较而对检查对象C的合格或不合格进行判定得到的结果的信息。合格与否判定阈值是指成为用于对检查对象C的合格或不合格进行判定的判定基准的数值。在针对上述的由作为一个例子而示出的计算方法计算出的表示一致度的数值，基于合格与否判定阈值对检查对象C的合格或不合格进行判定的情况下，在表示一致度的数值大于或等于合格与否判定阈值的情况下判断为合格品，在表示一致度的数值小于合格与否判定阈值的情况下判断为不合格品。合格与否判定阈值是成为能够根据合格或不合格的标准而任意地决定的判定基准的数值。此外，合格与否判定阈值是第1判定基准的一个例子。

判定值决定部12基于在判定结果存储部11存储的多个判定结果信息而决定维护判定值。具体地说，判定值决定部12从判定结果存储部11读出判定结果信息，提取判定结果信息中的一致度信息所包含的表示一致度的数值。判定值决定部12从多个判定结果信息分别提取表示一致度的数值，对表示一致度的数值的平均值即一致度平均值进行计算。然后，判定值决定部12提取判定结果信息中的位置偏移量的信息所包含的位置偏移量。判定值决定部12从多个判定结果信息分别提取位置偏移量，对位置偏移量的平均值即偏移量平均值进行计算。此外，偏移量平均值在使用作为一个例子而示出的上述的位置偏移量的情况下，通过分别求出X轴的位置偏移量的平均值和Y轴的位置偏移量的平均值(X：X轴的偏移量的平均值，Y：Y轴的偏移量的平均值)的形式来表示。即，在本实施方式1中，一致度平均值及偏移量平均值各自被决定作为维护判定值而。此外，一致度平均值及偏移量平均值是通过算术平均的方法对表示一致度的数值及位置偏移量进行统计的统计值。

判定值比较部13将预先设定的维护判定阈值与上述的维护判定值进行比较，将比较得到的结果输出。在本实施方式1中，由于将上述的一致度平均值及偏移量平均值这2个维护判定值决定作为维护判定值，因此，针对维护判定阈值，也设定有与各维护判定值匹配的2个维护判定阈值。以下，针对维护判定阈值，示出一个例子而进行说明。

维护判定阈值是以维护所用的判定基准高于用于对检查对象C的合格或不合格进行判定的判定基准的方式设定的。具体地说，与一致度平均值进行比较的维护判定阈值(以下，称为“一致度维护判定阈值”)被设定为大于与上述的表示一致度的数值进行了比较的合格与否判定阈值的数值。例如，在上述的合格与否判定阈值为70的情况下，一致度维护判定阈值被设定为大于70的数值(例如，80)。即，一致度维护判定阈值是大于合格与否判定阈值的数值这一情况表示维护所用的判定基准高于用于对检查对象C的合格或不合格进行判定的判定基准。这示出以下情况，即，作为一个例子，如果以上述的表示一致度的数值为例进行说明，则表示一致度的数值是将满分设为100分对数值进行扣除而计算出的数值，因此，表示一致度的数值越大，则检查对象C越与由主图像示出的合格品一致。因此，示出以下情况，即，一致度维护判定阈值越是比合格与否判定阈值大的数值，则越是在得出接近于合格品的判定的阶段中进行用于视觉传感器102的维护的判定，因此，维护所用的判定基准高于用于对合格或不合格进行判定的判定基准。此外，一致度维护判定阈值是第2判定基准的一个例子。即，第2判定基准是以与上述的第1判定基准相比判定基准更高的方式设定的。

另外，与偏移量平均值进行比较的维护判定阈值(以下，称为“偏移量维护判定阈值”)被设定为X轴的位置偏移量或Y轴的位置偏移量的至少一者比基于与上述的表示一致度的数值进行了比较的合格与否判定阈值的位置偏移量小的位置偏移量。由此，能够以维护所用的判定基准高于用于对检查对象的合格或不合格进行判定的判定基准的方式对偏移量维护判定阈值进行设定。此外，基于与表示一致度的数值进行了比较的合格与否判定阈值的位置偏移量是将用于对检查对象C的合格或不合格进行判定的判定基准由位置偏移量示出。

具体地说，用于对合格及不合格进行判定的判定基准是如上所述，如果表示一致度的数值与合格与否判定阈值进行比较而大于或等于合格与否判定阈值则判定为合格品，如果小于合格与否判定阈值则判定为不合格品的基准。即，如果合格与否判定阈值例示是70，则表示一致度的数值大于或等于70的检查对象C被判定为合格品。这里，如上所述，位置偏移量给表示一致度的数值造成影响，所以，针对表示一致度的数值为70的位置偏移量，通过求出X轴的位置偏移量、Y轴的位置偏移量分别处于何种程度，从而能够将用于对检查对象的合格或不合格进行判定的判定基准作为位置偏移量的数值而进行表示。

例如，合格与否判定阈值是70，在将该70这一数值由位置偏移量表示的情况下，由位置偏移量(X：6，Y：5)表示。就位置偏移量而言，X轴及Y轴的至少一者的数值越大，则表示相对于在拍摄范围IA确定的规定点P1来说检查对象C的规定点P2越产生了位置偏移，因此，在X轴的位置偏移量超过6或Y轴的数值超过5，发生了至少一个状态时，合格与否判定阈值为小于70的数值。因此，示出以下情况，即，作为偏移量维护判定阈值，通过将X轴的位置偏移量或Y轴的位置偏移量的至少一者设定为比基于与上述的表示一致度的数值进行了比较的合格与否判定阈值的位置偏移量小的位置偏移量(例如，(X：5，Y：5)、(X：5，Y：4)等)，从而在得出检查对象C接近于合格品的判定的阶段中进行用于视觉传感器102的维护的判定，因此，维护所用的判定基准高于用于进行合格或不合格的判定的判定基准。此外，偏移量维护判定阈值是第2判定基准的一个例子。即，第2判定基准是以判定基准高于上述的第1判定基准的方式设定的。

通知控制部14在从上述的判定值比较部13输出的维护判定值与维护判定阈值之间的比较结果满足基于维护判定阈值而设定的通知条件的情况下，输出促使对视觉传感器102的状态进行确认的维护通知信息。即，通知控制部14在基于第2判定基准进行针对上述的维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件的情况下，输出促使对视觉传感器102的状态进行确认的维护通知信息。

这里，基于维护判定阈值而设定的通知条件是指能够由用户任意地设定的通知条件。例如，想到在设定了上述的一致度维护判定阈值和偏移量维护判定阈值这2者作为维护判定阈值的情况下，作为通知条件，设定为在一致度平均值小于一致度维护判定阈值且偏移量平均值超过偏移量维护判定阈值的情况下输出维护通知信息。这样的通知条件是基于第2判定基准而设定的通知条件的一个例子。

此外，输出的维护通知信息包含用于促使用户对视觉传感器102进行确认的信息，可编程显示器103能够基于维护通知信息在显示部上显示促使对视觉传感器102进行确认的通知而告知给用户。图4示出在显示部上显示的通知的一个例子。此外，基于维护通知信息而在显示部上将促使对视觉传感器102进行确认的通知告知给用户的方法不限于向显示部的显示，也可以作为语音引导而进行通知，也可以通过使蜂鸣器鸣叫等单纯的声音进行通知，还可以由可编程显示器103以外的仪器通过显示、语音等进行通知。

以下，使用图5对本实施方式1涉及的预测维护装置1的动作及预测维护方法进行说明。图5是表示预测维护装置1的动作及预测维护方法的流程图。

预测维护装置1与生产系统PS的运转匹配地开始动作。如图5所示，预测维护装置1执行由以下的步骤S101至步骤S104示出的预测维护方法而进行动作。

预测维护装置1由视觉传感器102对在生产设备150内生产的产品进行检查，将由视觉传感器102输出的对检查对象C即产品的合格或不合格进行判定得到的判定结果信息存储于判定结果存储部11(步骤S101)。由判定值决定部12基于在判定结果存储部11存储的判定结果信息而决定维护判定值(步骤S102)。由判定值比较部13将预先设定的维护判定阈值与维护判定值进行比较(步骤S103)。基于由判定值比较部13比较得到的比较结果，在满足通知条件的情况下由通知控制部14输出维护通知信息(步骤S104)。以下，对各步骤进行说明。

在步骤S101中，判定结果存储部11将从视觉传感器102输出的判定结果信息依次存储下来。判定结果信息是在视觉传感器102中针对各检查对象C基于成为用于判定合格或不合格的判定基准的合格与否判定阈值而对合格品或不合格品进行判定得到的结果的信息，是针对1个检查对象C而将位置偏移量的信息、一致度信息、检查对象C的合格或不合格的信息关联起来的信息。判定结果存储部11以检查对象C为单位而存储多个该判定结果信息。此外，步骤S101是判定结果存储步骤的一个例子。

在步骤S102中，判定值决定部12基于在判定结果存储部11存储的多个判定结果信息而决定维护判定值。在本实施方式1中，由判定值决定部12决定的维护判定阈值如上所述是一致度平均值和偏移量平均值这2者。此外，步骤S102是判定值决定步骤的一个例子。

在步骤S103中，判定值比较部13将在步骤S102中决定的维护判定值与预先设定的维护判定阈值进行比较而输出比较结果。即，这里的比较结果是基于第2判定基准而进行针对维护判定值的判定得到的结果的一个例子。在本实施方式1中，就维护判定阈值而言，如上所述预先设定有用于与一致度平均值进行比较的一致度维护判定阈值和用于与偏移量平均值进行比较的偏移量维护判定阈值。在步骤S103中，判定值比较部13将一致度平均值大于或等于一致度维护判定阈值还是小于一致度维护判定阈值的第1比较结果作为将一致度平均值与一致度维护判定阈值进行比较得到的比较结果而输出，将偏移量平均值超过偏移量维护判定阈值还是小于或等于偏移量维护判定阈值的第2比较结果作为将偏移量平均值与偏移量维护判定阈值进行比较得到的比较结果而输出。在本实施方式1中，第1比较结果及第2比较结果是基于第2判定基准而对维护判定值进行判定得到的结果。此外，步骤S103也称为判定值比较步骤。

在步骤S104中，通知控制部14当在步骤S103中输出的第1比较结果和第2比较结果满足基于维护判定阈值而设定的通知条件的情况下，输出促使进行视觉传感器102的确认的维护通知信息。即，步骤S104是在基于第2判定基准而进行针对维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件的情况下，输出促使进行图像判定装置的确认的维护通知信息的步骤。此外，作为通知条件，在如在上述中示出的一个例子那样，设定为如果一致度平均值小于一致度维护判定阈值且偏移量平均值超过偏移量维护判定阈值则输出维护通知信息的情况下，对第1比较结果和第2比较结果是否满足通知条件进行判定，在满足通知条件的情况下，输出维护通知信息。此外，在不满足通知条件的情况下，不输出维护通知信息。这里，步骤S104是通知控制步骤的一个例子。

在步骤S104中输出的维护通知信息被以任意的方式通知给用户。在完成了以上的步骤S101至步骤S104之后，预测维护装置1结束动作。

如上所述，根据本实施方式1中的预测维护装置1及预测维护方法，第2判定基准被设定为高于成为用于对检查对象C的合格或不合格进行判定的判定基准的第1判定基准，通过基于第2判定基准而进行针对维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件，从而输出维护通知信息。因此，能够预先告知与视觉传感器102的误判定有关的视觉传感器102的状态变化。

另外，根据本实施方式1中的预测维护装置1及预测维护方法，使用诸如一致度平均值及偏移量平均值这样的统计值来决定维护判定值，因此，即使在视觉传感器102判定出的判定结果之中包含对极端不合格品进行判定得到的结果，也能够减小对极端不合格品进行判定得到的结果的影响，输出与由视觉传感器102的状态变化导致的维护相关的通知。

实施方式2

使用附图对本发明的实施方式2涉及的预测维护装置1b、预测维护方法及学习装置进行说明。此外，关于与上述的实施方式1相同的结构，使用相同的标号而记载，省略具体的说明。以下，对与实施方式1不同的结构具体进行说明。

图6是示意性地表示本实施方式2涉及的预测维护装置1b的功能模块的一个例子的图。预测维护装置1b具有在上述的实施方式1中示出的判定值决定部12、判定值比较部13，取代在上述的实施方式1中示出的判定结果存储部11、通知控制部14而具有判定结果存储部11b、通知控制部14b。并且，预测维护装置1b具有累积运转时间计算部21及学习装置部22。以下，对累积运转时间计算部21、判定结果存储部11b、学习装置部22及通知控制部14b具体进行说明。此外，在本实施方式2中，也示出作为图像判定装置的一个例子而使用视觉传感器102的方式。

累积运转时间计算部21至少对视觉传感器102的运转时间进行累积而计算出累积运转时间。在本实施方式2中，使用对装有视觉传感器102的生产设备150的运转时间进行累积而计算、取得累积运转时间的情况进行说明。对装有视觉传感器102的生产设备150的运转时间进行累积而计算出累积运转时间是指至少对视觉传感器102的运转时间进行累积而计算出累积运转时间这一情况。这是因为，装有视觉传感器102的生产设备150运转可以说视觉传感器102也在运转。

累积运转时间计算部21基于装有视觉传感器102的生产设备150开始运转的时间和结束运转的时间而对生产设备150的运转时间进行计算，向在判定结果存储部11b存储的最新的累积运转时间(至此为止的运转时间)加上计算出的运转时间而计算出累积运转时间。此外，当在判定结果存储部11b未存储有累积运转时间的情况下，计算出的运转时间成为累积运转时间。

此外，生产设备150的开始运转的时间(以下，称为“运转开始时间”)能够设为由对生产设备150进行控制的控制装置101开始执行对生产设备150进行控制而使生产设备150运转的控制程序的时间。另外，生产设备150结束运转的时间(以下，称为“运转结束时间”)能够设为结束执行由对生产设备150进行控制的控制装置101执行的控制程序的时间。控制程序的执行的开始及执行的结束也可以是通过使运转开始按钮及运转结束按钮显示于可编程显示器103，对这些按钮进行操作而进行的。

判定结果存储部11b将由累积运转时间计算部21计算出的累积运转时间与判定结果信息关联地进行存储。此外，与累积运转时间关联的判定结果信息可以是1个判定结果信息，但更优选是基于多个判定结果信息的累积运转时间中的判定结果信息。

具体地说，提取以在本次的累积运转时间的计算时所使用的运转开始时间为基准的本次的运转中的最初的判定结果信息、以在本次的累积运转时间的计算时所使用的运转结束时间为基准的本次的运转中的最后的判定结果信息、上述最初的判定结果信息与最后的判定结果信息之间的判定结果信息。然后，通过上述的对维护判定值进行计算的方法，将提取出的多个判定结果信息各自所包含的位置偏移量的信息及一致度信息分别作为平均值而进行计算。能够将这些平均值设为累积运转时间中的判定结果信息。

然后，将累积运转时间中的判定结果信息和由累积运转时间计算部21计算出的累积运转时间关联地进行存储。即，在判定结果存储部11b存储有单独的判定结果信息和将累积运转时间与判定结果信息关联起来的信息。

学习装置部22通过信息取得部23取得在判定结果存储部11b存储的将判定结果信息与累积运转时间关联起来的信息，将由信息取得部23取得的信息输入至运算处理部26。然后，由运算处理部26执行使用了训练好的模型的运算处理，对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行推导。即，学习装置部22执行使用了训练好的模型的运算处理，对直至产生与图像判定装置的误判定有关的图像判定装置的状态变化为止的期间进行推导。关于学习装置部22的结构、动作会在后面叙述。

通知控制部14b当在上述的实施方式1中说明过的从判定值比较部13输出的维护判定值与维护判定阈值之间的比较结果满足基于维护判定阈值而设定的通知条件的情况下，除了输出促使对视觉传感器102的状态进行确认的维护通知信息以外，还基于由运算处理部26推导、从学习装置部22输出的推导结果而输出促使对视觉传感器102的状态进行确认的维护通知信息。换言之，通知控制部14b除了如在实施方式1中叙述过的那样在基于第2判定基准而进行针对维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件的情况以外，还基于上述的推导结果而输出促使对图像判定装置的状态进行确认的维护通知信息。

图7是表示本实施方式2涉及的学习装置部22的功能模块的一个例子的图。

如图7所示，学习装置部22具有：信息取得部23，其取得后述的使用了训练好的模型的运算处理所使用的信息及后述的在生成学习模型时所使用的学习用数据；模型生成部24，其基于学习用数据而生成对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行推导的训练好的模型；模型存储部25，其对训练好的模型进行存储；以及运算处理部26，其读出在模型存储部25存储的训练好的模型，基于输入进来的信息，进行对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行推导的运算处理。

以下，说明由本实施方式2涉及的学习装置部22进行的训练好的模型的生成。此外，模型生成部24所使用的学习算法能够使用有教师学习、无教师学习、强化学习等公知的算法。在本实施方式2中，作为一个例子，对应用了神经网络的例子进行说明。

模型生成部24例如按照神经网络模型，通过所谓的有教师学习，对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行学习。这里，有教师学习是指通过将某个输入与结果(标签)的数据的组大量地提供给学习装置，从而对这些学习用数据所具有的特征进行学习，根据输入对结果进行推导的模型。

神经网络由输入层、中间层(隐藏层)及输出层构成，其中，输入层、中间层、输出层均由多个神经元构成。中间层可以是1层或大于或等于2层。

例如，如果是图8所示这样的3层的神经网络，如果多个输入被输入至输入层(X1-X3)，则对该值乘以权重W1(w11-w16)而输入至中间层(Y1-Y2)，对其结果进一步乘以权重W2(w21-w26)而从输出层(Z1-Z3)输出。该输出结果根据权重W1和W2的值而变化。

在本实施方式2中，神经网络按照基于由信息取得部23取得的将判定结果信息和累积运转时间关联起来的信息与在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息的组合而创建的学习用数据，通过所谓的有教师学习，对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行学习。

此外，是否需要视觉传感器102的维护的信息是表示是否需要用于使视觉传感器102的功能保持正常的维护作业(固定位置的调整、视觉传感器102的清洁等)的信息。在累积运转时间中，如果视觉传感器102的状态为需要维护作业的状态，则需要维护，如果是不需要维护作业的状态，则不需要维护。这里，是否需要视觉传感器102的维护的信息是是否需要图像判定装置的维护的信息的一个例子。

即，神经网络是通过以向输入层输入将判定结果信息与累积运转时间关联起来的信息而从输出层输出的结果在输入进来的信息中的累积运转时间中接近于是否需要视觉传感器102的维护的方式对权重W1和W2进行调整而进行学习的。

模型生成部24通过执行以上这样的学习而生成、输出训练好的模型。

即，在由模型生成部24生成训练好的模型时，在信息取得部23中，作为学习用数据而取得将上述的累积运转时间中的判定结果信息与累积运转时间关联起来的信息和在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息。

此外，累积运转时间中的将判定结果信息与累积运转时间关联起来的信息只要是从上述的判定结果存储部11b取得的即可，在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息也可以从外部输入。另外，累积判定时间中的将判定结果信息与累积运转时间关联起来的信息也可以与在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息关联地存储于判定结果存储部11b。

模型生成部24基于使由信息取得部23取得的累积运转时间中的将判定结果信息与累积运转时间关联起来的信息与在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息对应起来的学习用数据，使用上述的神经网络对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行学习。

即，模型生成部24根据在生产设备150安装的视觉传感器102的累积运转时间中的判定结果信息、装有视觉传感器102的生产设备150的累积运转时间、在该累积运转时间中是否需要视觉传感器102的维护的信息而生成对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行推导的训练好的模型。换言之，模型生成部24使用学习用数据而生成对直至产生与图像判定装置的误判定有关的图像判定装置的状态变化为止的期间进行推导的训练好的模型。

接下来，使用图9，对学习装置部22的学习处理进行说明。图9是与学习装置部22的学习处理相关的流程图。

在步骤S201中，信息取得部23取得累积运转时间中的将判定结果信息与累积运转时间关联起来的信息和在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息。此外，也可以同时取得累积运转时间中的将判定结果信息与累积运转时间关联起来的信息和在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息，只要能够将累积运转时间中的使判定结果信息和累积运转时间关联起来的信息与在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息关联地输入即可，也分别在不同的定时(timing)取得累积运转时间中的将判定结果信息与累积运转时间关联起来的信息和在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息的数据。这些信息是学习用数据的一个例子。此外，步骤S201是信息取得步骤的一个例子。

在步骤S202中，模型生成部24按照基于由信息取得部23取得的累积运转时间中的将判定结果信息与累积运转时间关联起来的信息与在该信息中的累积运转时间中是否需要视觉传感器102的维护的信息的组合而创建的学习用数据，通过所谓的有教师学习，对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行学习，生成训练好的模型。此外，步骤S202是模型生成步骤的一个例子。

在步骤S203中，模型存储部25对模型生成部24所生成的训练好的模型进行存储(步骤S203)。

以下，对本实施方式2中的预测维护装置1b的动作及预测维护方法进行说明。图10是表示预测维护装置1b的动作及预测维护方法的流程图。此外，对与上述实施方式1相同的步骤标注相同的标号而省略说明。

预测维护装置1b与生产系统PS的运转匹配地开始动作。如图10所示，预测维护装置1b执行由以下的步骤S101至步骤S305示出的预测维护方法而进行动作。

预测维护装置1b与上述实施方式1同样地，执行步骤S101以将判定结果信息存储于判定结果存储部11b。另外，在累积运转时间计算部21中，在装有视觉传感器102的生产设备150开始运转之后，对运转开始时间进行存储，在已开始运转的生产设备150结束运转之后，对运转结束时间进行存储，基于运转开始时间和运转结束时间而计算出生产设备150的运转时间。然后，对判定结果存储部11b进行参照，在已存储有累积运转时间的情况下，将在判定结果存储部11b存储的最新的累积运转时间与计算出的运转时间相加，计算出本次的累积运转时间(步骤S301)。然后，以运转开始时间及运转结束时间为基准将累积运转时间中的判定结果信息与计算出的本次的累积运转时间关联地存储于判定存储部11b(步骤S302)。此外，步骤301是累积运转时间计算步骤的一个例子。

然后，与上述实施方式1同样地，执行步骤S102至步骤S104。另外，与步骤S102至步骤S104的执行同时地，学习装置部22通过信息取得部23取得在判定结果存储部11b存储的累积运转时间中的将判定结果信息与累积运转时间关联起来的信息(步骤S303)。然后，学习装置部22将取得的信息输入至运算处理部26，由运算处理部26执行使用了训练好的模型的运算处理，对直至产生与视觉传感器102的误判定有关的视觉传感器102的状态变化为止的期间进行推导而输出推导结果(步骤S304)。即，学习装置部22通过运算处理部26执行使用了训练好的模型的运算处理，对直至产生与图像判定装置的误判定有关的图像判定装置的状态变化为止的期间进行推导而输出推导结果。此外，步骤S303和步骤S304是推导步骤的一个例子。

通知控制部14b当在步骤S103中输出的第1比较结果和第2比较结果满足基于维护判定阈值而设定的通知条件的情况下，除了输出促使进行视觉传感器102的确认的维护通知信息以外，还基于从学习装置部22输出的推导结果而输出促使对视觉传感器102的状态进行确认的维护通知信息(步骤S305)。换言之，步骤S305是除了如在实施方式1中叙述过的那样基于第2判定基准而进行针对维护判定值的判定得到的结果满足基于第2判定基准而设定的通知条件的情况以外，还基于上述的推导结果而输出促使对图像判定装置的状态进行确认的维护通知信息的步骤。此外，步骤S305是通知控制步骤的一个例子。

具体地说，在步骤S305中，通知控制部14b当在步骤S103中输出的比较结果满足通知条件的情况下输出维护通知信息，在不满足通知条件的情况下不输出维护通知信息。然后，在推导结果例如是在100小时运转之后产生与视觉传感器102的误判定有关的视觉传感器102的状态变化的情况下，基于推导结果，输出包含向在步骤S202中取得的累积运转时间加上100小时后的时间的信息的促使进行视觉传感器102的确认的维护通知信息。此外，在基于推导结果而输出维护通知信息的情况下，也可以从在步骤S202中取得的累积运转时间算起，进一步使装有视觉传感器102的生产设备150运转100小时时，输出维护通知信息。

在步骤S305中输出的维护通知信息与上述实施方式1同样地被以任意的方式通知给用户。在完成以上的步骤S305之后，预测维护装置1b结束动作。

如上所述，根据本实施方式2中的预测维护装置1b及预测维护方法，能够与上述实施方式1同样地预先告知与图像判定装置的误判定有关的图像判定装置的状态变化。并且，能够通过使用由学习装置部22进行的推导而预先告知与将来的图像判定装置的误判定有关的图像判定装置的状态变化。

另外，根据本实施方式2中的预测维护装置1b及预测维护方法，将累积运转时间中的判定结果信息与累积运转时间关联地存储于判定结果存储部11b，在学习装置部22的用于生成训练好的模型的学习处理及使用了训练好的模型的运算处理部26的运算处理中使用累积运转时间中的判定结果信息(即，位置偏移量的平均值及一致度的平均值)，因此，即使在图像判定装置所判定出的判定结果之中包含对极端的不合格品进行判定得到的结果，也能够减小对极端的不合格品进行判定得到的结果的影响，进行更高精度的训练好的模型的生成，并且输出减小了对极端的不合格品进行判定得到的结果的影响的与由图像判定装置的状态变化引起的维护相关的通知。

以上的实施方式所示的结构表示的是本发明的内容的一个例子，也能够与其它的公知技术进行组合，在不脱离本发明的主旨的范围也能够省略、变更结构的一部分。

在上述实施方式1及实施方式2中，说明了通过视觉传感器102对检查对象C进行合格或不合格的判定而输出判定结果信息的方式，但不限于这样的方式。例如，也可以是以下方式，即，基于图像判定装置的照相机所取得的规定的信息，使用来自图像判定装置的信息，通过作为判定机构起作用的运算终端对检查对象C进行合格或不合格的判定，从运算终端输出判定结果信息。

在上述实施方式1及实施方式2中，作为维护判定值而使用了偏移量平均值及一致度平均值这样的统计值，但作为维护判定值也可以不使用统计值。例如，也可以按规定周期提取偏移量、一致度而作为维护判定值。即使在这样的情况下，维护所用的判定基准也被设定为高于用于对检查对象C的合格或不合格进行判定的判定基准，因此，能够预先告知与图像判定装置的误判定有关的图像判定装置的状态变化。

在上述实施方式1及实施方式2中，作为维护判定值而使用了偏移量平均值及一致度平均值，但它们不限于平均值。即，也可以使用进行统计作为数值表现出的统计值(例如，标准偏差等)。

另外，作为维护判定值而使用了偏移量平均值及一致度平均值这2者，但维护判定值也可以不是这2者，例如可以决定为一致度平均值等1个维护判定值，也可以决定为大于或等于2个的多个维护判定值。

另外，关于维护判定阈值，只要与所使用的维护判定值的数量相对应进行设定即可。

在上述实施方式1及实施方式2中，说明了作为预测维护装置1、1b而使用可编程显示器103的情况，但预测维护装置1、1b也可以使用其它装置而实现。例如，可以由各种运算装置等仪器实现，也可以是使用多个仪器分开地执行功能模块的方式。在使用多个仪器的情况下，由这些仪器组实现预测维护装置。

在上述实施方式2中，作为累积运转时间，将对装有视觉传感器102的生产设备150的运转时间进行累积后的时间作为累积运转时间而进行计算，但就对累积运转时间进行计算的对象而言，也可以将具有装有视觉传感器102的生产设备150的生产线100的运转时间设为对象。另外，也可以将视觉传感器102的运转时间设为对象。即使在这样的情况下，也可以说至少计算出了对图像判定装置的运转时间进行累积后的累积运转时间。

在上述实施方式2中，将学习装置部22作为预测维护装置1b的功能模块而进行了说明，但也可以由在预测维护装置1b的外部配备的可编程显示器、各种运算终端等仪器来执行构成学习装置部22的功能模块。即，执行构成学习装置部22的功能模块的仪器是学习装置2。即使在这样的情况下，也能够从学习装置2输出推导结果，因此，能够预先告知与将来的图像判定装置的误判定有关的图像判定装置的状态变化。

标号的说明

PS生产系统，150生产设备，101控制装置，102视觉传感器，103可编程显示器，1 1b预测维护装置，11 11b判定结果存储部，12判定值决定部，13判定值比较部，14 14b通知控制部，2学习装置，21累积运转时间计算部，22学习装置部，23信息取得部，24模型生成部，25模型存储部，26运算处理部。

Claims (7)

1.一种预测维护装置，其具有：

判定结果存储部，其对从图像判定装置输出的判定结果信息进行存储，所述图像判定装置基于成为用于对检查对象的合格或不合格进行判定的判定基准的第1判定基准而对所述检查对象进行所述判定；

判定值决定部，其基于在所述判定结果存储部中存储的所述判定结果信息而决定维护判定值；

通知控制部，其在基于以判定基准比所述第1判定基准高的方式设定的第2判定基准而进行针对所述维护判定值的判定得到的结果满足基于所述第2判定基准而设定的通知条件的情况下，输出促使进行所述图像判定装置的确认的维护通知信息；

累积运转时间计算部，其至少对所述图像判定装置的运转时间进行累积而计算出累积运转时间；以及

学习装置部，其通过取得所述判定结果信息及所述累积运转时间，使用训练好的模型进行运算处理，从而对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导而输出推导结果，

所述通知控制部除了满足所述通知条件的情况以外，还基于所述推导结果而输出所述维护通知信息。

2.根据权利要求1所述的预测维护装置，其中，

所述判定结果存储部对多个所述判定结果信息进行存储，

所述判定结果信息包含表示所述检查对象与所述图像判定装置的主图像之间的一致度的一致度信息，

所述维护判定值包含从多个所述判定结果信息所包含的多个所述一致度信息统计出的统计值。

3.根据权利要求1或2所述的预测维护装置，其中，

所述学习装置部具有：

信息取得部，其取得学习用数据，该学习用数据包含所述判定结果信息、所述累积运转时间及在所述累积运转时间中是否需要所述图像判定装置的维护的信息；以及

模型生成部，其使用所述学习用数据，生成对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导的所述训练好的模型。

4.一种学习装置，其具有：

信息取得部，其取得从图像判定装置输出的判定结果信息和至少对所述图像判定装置的运转时间进行累积而计算出的累积运转时间，其中，所述图像判定装置基于成为用于对检查对象的合格或不合格进行判定的判定基准的第1判定基准而对所述检查对象进行所述判定；以及

运算处理部，其通过取得所述判定结果信息及所述累积运转时间，使用训练好的模型进行运算处理，从而对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导而输出推导结果。

5.根据权利要求4所述的学习装置，其中，

所述信息取得部取得学习用数据，该学习用数据包含所述判定结果信息、所述累积运转时间及在所述累积运转时间中是否需要所述图像判定装置的维护的信息，

所述学习装置具有模型生成部，该模型生成部使用所述学习用数据，生成对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导的所述训练好的模型。

6.一种预测维护方法，其具有以下步骤：

判定结果存储步骤，对从图像判定装置输出的判定结果信息进行存储，所述图像判定装置基于成为用于对检查对象的合格或不合格进行判定的判定基准的第1判定基准而对所述检查对象进行所述判定；

判定值决定步骤，基于在所述判定结果存储步骤中存储的所述判定结果信息而决定维护判定值；

通知控制步骤，在基于以判定基准比所述第1判定基准高的方式设定的第2判定基准而进行针对所述维护判定值的判定得到的结果满足基于所述第2判定基准而设定的通知条件的情况下，输出促使进行所述图像判定装置的确认的维护通知信息；

累积运转时间计算步骤，至少对所述图像判定装置的运转时间进行累积而计算出累积运转时间；以及

推导步骤，通过取得所述判定结果信息及所述累积运转时间，使用训练好的模型进行运算处理，从而对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导而输出推导结果，

所述通知控制步骤除了满足所述通知条件的情况以外，还基于所述推导结果而输出所述维护通知信息。

7.根据权利要求6所述的预测维护方法，其中，

具有以下步骤：

信息取得步骤，取得学习用数据，该学习用数据包含所述判定结果信息、所述累积运转时间及在所述累积运转时间中是否需要所述图像判定装置的维护的信息；以及

模型生成步骤，使用所述学习用数据，生成对直至产生与所述图像判定装置的误判定有关的所述图像判定装置的状态变化为止的期间进行推导的所述训练好的模型。