CN118506254A - 一种基于人工智能学习的工具管理方法及系统 - Google Patents

Abstract

本申请涉及一种基于人工智能学习的工具管理方法及系统，在工具柜抽屉的上方设置反射镜面和图像采集设备，在抽屉被打开时，图像采集设备采集多个图像片段，然后将多个图像片段拼接为完整图像。将完整图像与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具摆放位置正常，如果不相似，再与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具被取出，如果不相似，再利用预先构建的对比模型来进行对比，对比模型判断此时抽屉内工具摆放正常还是摆放错误。本申请对抽屉内的工具状态进行有效识别，从而方便地进行工具管理。此外，本申请先利用图像对比，在通过图像对比无法得到结果后再使用对比模型，可以有效节省计算机的算力资源。

Description

一种基于人工智能学习的工具管理方法及系统

技术领域

本申请涉及工具管理技术领域，具体是一种基于人工智能学习的工具管理方法及系统。

背景技术

工具柜是存放工具的柜体。工具柜中的工具种类多种多样，因此需要对工具柜加强管理，以避免工具遗失或者错位。

现有技术中，一般通过人工来对工具柜进行管理，人工管理的管理效率较低，且容易出现因管理不善导致的工具遗失的问题。

发明内容

有鉴于此，本申请的目的是提供一种基于人工智能学习的工具管理方法及系统，以解决现有工具柜管理效率低且容易遗失工具的问题。

为了实现上述目的，本申请采用了如下技术方案：

本申请的一种基于人工智能学习的工具管理方法及系统，包括步骤：

在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

对所述图像片段进行拼接，得到完整图像；

将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；

在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。

在本申请一实施例中，所述抽屉的两侧设有识别点带，其中，对所述图像片段进行拼接，得到完整图像，包括：

基于识别点带对多个图像片段进行相对位置确定；

对确定相对位置的多个图像片段进行拼接，得到完整图像。

在本申请一实施例中，将所述完整图像与预先构建的满载工具图像模板进行相似度对比，或者，将所述完整图像与预先构建的空载工具图像模板进行相似度对比，包括：

提取所述完整图像的结构特征和特征直方图；并提取图像模板的结构特征和特征直方图；其中，图像模板为满载工具图像模板或者空载工具图像模板，所述特征直方图为颜色或强度值的直方图；

计算所述完整图像的特征直方图与所述图像模板的特征直方图的第一相似度，并计算所述完整图像的结构特征与所述图像模板的结构特征的第二相似度；

在所述第一相似度大于预设的第一相似度阈值，且所述第二相似度大于预设的第 二相似度阈值时，判定所述完整图像与预先构建的满载工具图像模板通过相似度对比，或 者，判定所述完整图像与预先构建的空载工具图像模板通过相似度对比；否则，判定所述完 整图像与预先构建的满载工具图像模板未通过相似度对比，或者，判定所述完整图像与预 先构建的空载工具图像模板未通过相似度对比。在本申请一实施例中，所述第一相似度的数学表达式为：

其中，为完整图像的特征直方图，为图像模板的特征直方图，为完整图 像的特征直方图中第个颜色或者强度值的像素数量，为完整图像的特征直方图中多个 颜色或者强度值的像素数量平均值，为图像模板的特征直方图中第个颜色或者强度 值的像素数量，为图像模板的特征直方图中多个颜色或者强度值的像素数量平均值。

在本申请一实施例中，所述结构特征包括平均亮度、标准偏差和协方差，其中，计算所述完整图像的结构特征与所述图像模板的结构特征的第二相似度，包括：

基于所述完整图像的平均亮度和所述图像模板的平均亮度计算所述完整图像的平均亮度和所述图像模板的平均亮度的亮度相似度；

基于所述完整图像的标准偏差和所述图像模板的标准偏差计算所述完整图像的标准偏差和所述图像模板的标准偏差的标准偏差相似度；

基于所述完整图像的标准偏差、所述图像模板的标准偏差以及所述协方差计算所述完整图像的协方差和所述图像模板的协方差的协方差相似度；

基于所述亮度相似度、所述标准偏差相似度和所述协方差相似度构建第二相似度，其中，所述第二相似度的数学表达式为：

其中，为第一权重，为第二权重，为第三权重，为完整图像和图像模板的亮度相似度，为完整图像和图像模板的标准偏差相似度，为完整图像和 图像模板的协方差相似度。

在本申请一实施例中，所述亮度相似度的数学表达式为：

其中，为完整图像的平均亮度，为图像模板的平均亮度，为用于防止分 母为零的第一预设常数。

在本申请一实施例中，所述标准偏差相似度的数学表达式为：

其中，为完整图像的像素点像素值的标准偏差，为图像模板的像素点像 素值的标准偏差，为用于防止分母为零的第二预设常数。

在本申请一实施例中，所述协方差相似度的数学表达式为：

其中，为协方差，为完整图像的像素点像素值的标准偏差，为图像模板的像素点像素值的标准偏差，为用于防止分母为零的第三预设常数。

在本申请一实施例中，所述对比模型通过对CNN卷积神经网络训练得到，所述对比模型用于输出完整图像与满载工具图像模板的相似度分值，其中，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比，包括：

将所述完整图像输入至所述对比模型，得到相似度分值；

在所述相似度分值大于预设的得分阈值时，判定完整图像与满载工具图像模板通过相似度对比，否则，判定完整图像与满载工具图像模板未通过相似度对比。

本申请还提供一种基于人工智能学习的工具管理系统，包括：

图像采集模块，用于在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

拼接模块，用于对所述图像片段进行拼接，得到完整图像；

第一对比模块，用于将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

第二对比模块，用于在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；第三对比模块，用于在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

判定模块，用于在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。

本申请的有益效果是：本申请的一种基于人工智能学习的工具管理方法及系统，通过在工具柜抽屉的上方设置反射镜面和图像采集设备，在抽屉被打开时，图像采集设备采集反射镜面中抽屉被打开时对应的多个图像片段，然后将多个图像片段拼接为完整图像。本申请先将完整图像与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具摆放位置正常，如果不相似，再与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具被取出，如果不相似，再利用预先构建的对比模型来进行对比，对比模型判断此时抽屉内工具摆放正常还是摆放错误。本申请可以对抽屉内的工具状态进行有效识别，从而方便地进行工具管理。此外，本申请先利用图像对比，在通过图像对比无法得到结果后再使用对比模型，可以有效节省计算机的算力资源。

附图说明

下面结合附图和实施例对本申请作进一步描述：

图1是本申请一实施例中示出的一种基于人工智能学习的工具管理方法的运用场景图；

图2是本申请一实施例中示出的一种基于人工智能学习的工具管理方法的流程图；

图3是本申请一实施例中示出的一种基于人工智能学习的工具管理系统的结构图；

图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本申请实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的。

图1是本申请一实施例中示出的一种基于人工智能学习的工具管理方法的运用场景图，如图1所示，本申请中的核心组件包括第一彩色面阵相机1、第二彩色面阵相机2、一面反光镜4、条状光源3、灯带5和两条识别点带6。本系统通过第一彩色面阵相机1、第二彩色面阵相机2和反射镜面4同步采集工具柜各个抽屉7的图像数据，并利用识别点带6进行图像拼接，生成完整的抽屉7内部图像。图像数据上传至主机端后，通过深度学习算法进行分析，识别工具的取出或归还情况，并结合其他模块记录使用者信息，包括具体的工具操作时间和操作对象。系统具备高精度识别、实时监控和详细记录的功能，适用于工业生产车间、实验室和维修站等需要严格工具管理的场所，有效提高工具管理的效率和准确性。

图2是本申请一实施例中示出的一种基于人工智能学习的工具管理方法的流程图，如图2所示：本实施例的一种基于人工智能学习的工具管理方法，包括步骤：

S210，在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

请结合图1进行参考，当使用者拉开工具柜抽屉7时，系统会自动启动内部的条状光源3和灯带5。光源会在整个抽屉7打开过程中保持常亮状态，以确保图像采集过程中光线均匀和充分。这种设计保证了图像数据的质量，避免了因光线不足导致的图像模糊或数据丢失；

两台面阵相机1、2在抽屉7拉开同时开始工作，通过反射镜面4记录图像数据；从而得到多个图像片段。其中，每个图像片段都是摄像头拍摄一次得到的。多次拍摄，可以记录抽屉7被拉开的全过程。

S220，对所述图像片段进行拼接，得到完整图像；

在本申请中，抽屉7两侧设有用于定位的点带，因此本申请基于识别点带对多个图像片段进行相对位置确定；对确定相对位置的多个图像片段进行拼接，得到完整图像。

也就是说，系统对采集到的图像数据进行处理，识别并定位图像中抽屉7两侧安装的识别点带6。这些识别点带提供位置信息，系统根据这些点带信息按照预设排列的规律性将图像数据拼接成一张完整的抽屉7内部图片。

对拼接好的完整图片，本申请首先进行灰度处理，使图像数据的对比度更加突出，以突出工具的轮廓和细节。随后，进行高斯模糊处理，以减少图像中的噪声和干扰，进一步提升图像的清晰度和识别精度。这一处理步骤为图像的进一步分析和对比打下了良好的基础。

S230，将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

S240，在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；

对于完整图像与满载工具图像模板的对比，或者是对于完整图像与空载工具图像模板的对比，本申请使用彩色直方图（HSV）对比和结构相似性（SSIM）方法进行相似度对比。

直方图算法（Image Histogram Algorithm） 通过统计图像中各个颜色值的分布情况来提供关于图像颜色特征的信息，它可以用来衡量两张图片在颜色分布上的相似度，进而可以用来进行图像相似度的比较，因此，直方图算法是一种图片相似度算法，通常是一个一维的数组（取决于使用通道的数量），其中每个元素表示特定颜色或强度值的像素数量。

SSIM（结构相似性指数，Structural Similarity Index Measure）是一种评估两幅图像间相似度的指针。这一指针通过比较亮度、对比度和结构三个维度来衡量图像之间的视觉相似度，以提供一种反映人类视觉感知的有效度量。

通过上述对比，分别为图像数据进行评分，相似度越高则评分越高，后判断其分数是否超过各自的预设阈值。如果两者得分都高于阈值，系统则判定抽屉内的工具摆放正常；

为了便于进行描述，本申请将满载工具图像模板或者空载工具图像模板统称为图像模板，具体地对比方法如下：

S241，提取所述完整图像的结构特征和特征直方图；并提取图像模板的结构特征和特征直方图；其中，图像模板为满载工具图像模板或者空载工具图像模板，所述特征直方图为颜色或强度值的直方图；

其中，结构特征包括平均亮度、标准偏差，以及二者的协方差。其中，平均亮度可使用现有工具直接进行提取。标准偏差可以是各通道像素值的标准差，也可以是灰度值的标准差。标准差的计算可以直接调用现有的计算公式，例如直接使用NumPy的std函数来计算所有像素值的标准偏差。

协方差（Covariance）是一种用于衡量两个图像的像素值总体误差的统计量。也可以直接调用函数来进行计算，例如可以使用np.cov函数来计算协方差。也可以通过如下公式来进行协方差计算：

为完整图像和图像模板的协方差，为完整图像的第个像素点的像素 值，为完整图像的所有像素点的像素平均值，为图像模板的第个像素点的像素值，为 图像模板的所有像素点的像素平均值，为完整图像和图像模板的像素点数量。

S242，计算所述完整图像的特征直方图与所述图像模板的特征直方图的第一相似度，并计算所述完整图像的结构特征与所述图像模板的结构特征的第二相似度；

其中，第一相似度的数学表达式为：

其中，为完整图像的特征直方图，为图像模板的特征直方图，为完整图 像的特征直方图中第个颜色或者强度值的像素数量，为完整图像的特征直方图中多个 颜色或者强度值的像素数量平均值，为图像模板的特征直方图中第个颜色或者强度 值的像素数量，为图像模板的特征直方图中多个颜色或者强度值的像素数量平均值。

第二相似度的计算过程如下：

S2421，基于所述完整图像的平均亮度和所述图像模板的平均亮度计算所述完整图像的平均亮度和所述图像模板的平均亮度的亮度相似度；所述亮度相似度的数学表达式为：

其中，为完整图像的平均亮度，为图像模板的平均亮度，为用于防止分 母为零的第一预设常数。

S2422，基于所述完整图像的标准偏差和所述图像模板的标准偏差计算所述完整图像的标准偏差和所述图像模板的标准偏差的标准偏差相似度；所述标准偏差相似度的数学表达式为：

其中，为完整图像的像素点像素值的标准偏差，为图像模板的像素点像 素值的标准偏差，为用于防止分母为零的第二预设常数。

S2423，基于所述完整图像的标准偏差、所述图像模板的标准偏差以及所述协方差计算所述完整图像的协方差和所述图像模板的协方差相似度；所述协方差相似度的数学表达式为：

其中，为协方差，为完整图像的像素点像素值的标准偏差，为图像模板的像素点像素值的标准偏差，为用于防止分母为零的第三预设常数。其中，通常取，以稳定计算结果。

S2424，基于所述亮度相似度、所述标准偏差相似度和所述协方差相似度构建第二 相似度，其中，所述第二相似度的数学表达式为：

其中，为第一权重，为第二权重，为第三权重，通常情况下，这三个参数被设 定为1，简化了的计算。

为完整图像和图像模板的亮度相似度，为完整图像和图像模板 的标准偏差相似度，为完整图像和图像模板的协方差相似度。

S243，在所述第一相似度大于预设的第一相似度阈值，且所述第二相似度大于预设的第二相似度阈值时，判定所述完整图像与预先构建的满载工具图像模板通过相似度对比，或者，判定所述完整图像与预先构建的空载工具图像模板通过相似度对比；否则，判定所述完整图像与预先构建的满载工具图像模板未通过相似度对比，或者，判定所述完整图像与预先构建的空载工具图像模板未通过相似度对比。

S250，在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

在本申请中，对比模型通过对CNN卷积神经网络训练得到，所述对比模型用于输出完整图像与满载工具图像模板的相似度分值。本申请中的卷积神经网络为ResNet50（Residual Network, 50 layers）。ResNet50是一种深度卷积神经网络（CNN），广泛应用于各种计算机视觉任务中，包括图像分类、目标检测、图像分割等。ResNet50通过引入残差学习（Residual Learning）来解决深度神经网络的退化问题，使得网络可以更深层次地训练而不会性能下降。在每个残差块中，输入数据不仅仅经过一系列卷积和激活函数处理，还会直接添加到输出结果中。表示为：

其中，代表卷积层的操作结果，x是输入数据,y是残差块的输出，为第i 层残差块的权重。

ResNet50包含50层深度，包括多个残差块。这些层数可以分为：初始的卷积层和池化层；4个残差模块（每个模块包含多个残差块），每个模块中卷积层的数量和大小不同；最终的全局平均池化层和全连接层，在网络的最后，经过全局平均池化层和全连接层进行分类。

本申请中，通过构建样本训练来对ResNet50进行训练，从而得到可以对完整图像与预先构建的满载工具图像模板进行相似度对比，得到相似度评分。

在本申请中，将所述完整图像输入至所述对比模型，得到相似度分值；在所述相似度分值大于预设的得分阈值时，判定完整图像与满载工具图像模板通过相似度对比，否则，判定完整图像与满载工具图像模板未通过相似度对比。

S260，在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。

本申请的一种基于人工智能学习的工具管理方法，通过在工具柜抽屉的上方设置反射镜面和图像采集设备，在抽屉被打开时，图像采集设备采集反射镜面中抽屉被打开时对应的多个图像片段，然后将多个图像片段拼接为完整图像。本申请先将完整图像与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具摆放位置正常，如果不相似，再与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具被取出，如果不相似，再利用预先构建的对比模型来进行对比，对比模型判断此时抽屉内工具摆放正常还是摆放错误。本申请可以对抽屉内的工具状态进行有效识别，从而方便地进行工具管理。此外，本申请先利用图像对比，在通过图像对比无法得到结果后再使用对比模型，可以有效节省计算机的算力资源。

如图3所示，本申请还提供一种基于人工智能学习的工具管理系统，包括：

图像采集模块310，用于在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

拼接模块320，用于对所述图像片段进行拼接，得到完整图像；

第一对比模块330，用于将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

第二对比模块340，用于在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；

第三对比模块350，用于在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

判定模块360，用于在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。

本申请的一种基于人工智能学习的工具管理系统，通过在工具柜抽屉的上方设置反射镜面和图像采集设备，在抽屉被打开时，图像采集设备采集反射镜面中抽屉被打开时对应的多个图像片段，然后将多个图像片段拼接为完整图像。本申请先将完整图像与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具摆放位置正常，如果不相似，再与满载工具图像模板进行对比，如果相似则判定此时的抽屉内工具被取出，如果不相似，再利用预先构建的对比模型来进行对比，对比模型判断此时抽屉内工具摆放正常还是摆放错误。本申请可以对抽屉内的工具状态进行有效识别，从而方便地进行工具管理。此外，本申请先利用图像对比，在通过图像对比无法得到结果后再使用对比模型，可以有效节省计算机的算力资源。

图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图4示出的电子设备的计算机系统400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图4所示，计算机系统400包括中央处理单元（CentralProcessing Unit，CPU）401，其可以根据存储在只读存储器（Read-Only Memory，ROM）402中的程序或者从储存部分408加载到随机访问存储器（Random Access Memory，RAM）404中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（Input /Output，I/O）接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元（CPU）401执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述得任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的方法。

以上实施例仅是为充分说明本申请而所举的较佳的实施例，本申请的保护范围不限于此。本技术领域的技术人员在本申请基础上所作的等同替代或变换，均在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能学习的工具管理方法，其特征在于，包括：

在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

对所述图像片段进行拼接，得到完整图像；

将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；

在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。

2.根据权利要求 1 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述抽屉的两侧设有识别点带，其中，对所述图像片段进行拼接，得到完整图像，包括：

基于识别点带对多个图像片段进行相对位置确定；

对确定相对位置的多个图像片段进行拼接，得到完整图像。

3.根据权利要求 1 所述的一种基于人工智能学习的工具管理方法，其特征在于，将所述完整图像与预先构建的满载工具图像模板进行相似度对比，或者，将所述完整图像与预先构建的空载工具图像模板进行相似度对比，包括：

提取所述完整图像的结构特征和特征直方图；并提取图像模板的结构特征和特征直方图；其中，图像模板为满载工具图像模板或者空载工具图像模板，所述特征直方图为颜色或强度值的直方图；

计算所述完整图像的特征直方图与所述图像模板的特征直方图的第一相似度，并计算所述完整图像的结构特征与所述图像模板的结构特征的第二相似度；

在所述第一相似度大于预设的第一相似度阈值，且所述第二相似度大于预设的第二相似度阈值时，判定所述完整图像与预先构建的满载工具图像模板通过相似度对比，或者，判定所述完整图像与预先构建的空载工具图像模板通过相似度对比；否则，判定所述完整图像与预先构建的满载工具图像模板未通过相似度对比，或者，判定所述完整图像与预先构建的空载工具图像模板未通过相似度对比。

4.根据权利要求 3 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述 第一相似度的数学表达式为：

其中，为完整图像的特征直方图，为图像模 板的特征直方图，为完整图像的特征直方图中第个颜色或者强度值的像素数量， 为完整图像的特征直方图中多个颜色或者强度值的像素数量平均值，为图像模板的 特征直方图中第个颜色或者强度值的像素数量，为图像模板的特征直方图中多个颜色 或者强度值的像素数量平均值。

5.根据权利要求 3 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述结构特征包括平均亮度、标准偏差和协方差，其中，计算所述完整图像的结构特征与所述图像模板的结构特征的第二相似度，包括：

基于所述完整图像的平均亮度和所述图像模板的平均亮度计算所述完整图像的平均亮度和所述图像模板的平均亮度的亮度相似度；

基于所述完整图像的标准偏差和所述图像模板的标准偏差计算所述完整图像的标准偏差和所述图像模板的标准偏差的标准偏差相似度；

基于所述完整图像的标准偏差、所述图像模板的标准偏差以及所述协方差计算所述完整图像的协方差和所述图像模板的协方差的协方差相似度；

基于所述亮度相似度、所述标准偏差相似度和所述协方差相似度构建第二相似度，其中，所述第二相似度的数学表达式为：

其中，为第一权重，为第二权重，为第三权重， 为完整图像和图像模板的亮度相似度，为完整图像和图像模板的标准偏差相似 度，为完整图像和图像模板的协方差相似度。

6.根据权利要求 5 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述亮度相似度的数学表达式为：

其中，为完整图像的平均亮度，为图像模板的平均亮度，为 用于防止分母为零的第一预设常数。

7.根据权利要求 5 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述 标准偏差相似度的数学表达式为：其中，为完整图像的像素点像 素值的标准偏差，为图像模板的像素点像素值的标准偏差，为用于防止分母为零的 第二预设常数。

8.根据权利要求 5 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述 协方差相似度的数学表达式为：其中，为协方差，为完整图像的 像素点像素值的标准偏差，为图像模板的像素点像素值的标准偏差，为用于防止分 母为零的第三预设常数。

9.根据权利要求 1 所述的一种基于人工智能学习的工具管理方法，其特征在于，所述对比模型通过对CNN卷积神经网络训练得到，所述对比模型用于输出完整图像与满载工具图像模板的相似度分值，其中，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比，包括：

将所述完整图像输入至所述对比模型，得到相似度分值；

在所述相似度分值大于预设的得分阈值时，判定完整图像与满载工具图像模板通过相似度对比，否则，判定完整图像与满载工具图像模板未通过相似度对比。

10.一种基于人工智能学习的工具管理系统，其特征在于，包括：

图像采集模块，用于在工具柜的抽屉被拉开时，获取抽屉在被拉开时的多个图像片段，其中，所述图像片段通过预设的摄像头拍摄预设在抽屉上方倾斜设置的反射镜面得到；

拼接模块，用于对所述图像片段进行拼接，得到完整图像；

第一对比模块，用于将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

第二对比模块，用于在所述完整图像与预先构建的满载工具图像模板通过相似度对比时，判定抽屉内工具正常；在所述完整图像与预先构建的满载工具图像模板未通过相似度对比时，将所述完整图像与预先构建的空载工具图像模板进行相似度对比；

第三对比模块，用于在所述完整图像与预先构建的空载工具图像模板通过相似度对比时，判定抽屉内工具已被取出；在所述完整图像与预先构建的空载工具图像模板未通过相似度对比时，基于预先构建的对比模型将所述完整图像与预先构建的满载工具图像模板进行相似度对比；

判定模块，用于在所述对比模型通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具正常，在所述对比模型未通过对所述完整图像与预先构建的空载工具图像模板的相似度对比时，判定抽屉内工具摆放错误。