CN116206320A - 图纸特征与数字匹配的方法、系统、设备及介质 - Google Patents

Abstract

本发明提供一种图纸特征与数字匹配的方法、系统、设备及介质，包括：获取三维模型并自动提取出所有相关的特征信息；获取二维图纸并自动提取所有标注信息；对三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；将模型变换投影图像和二维图纸进行hash计算，找到二维图纸对应的三维模型的切面投影图片位置；根据特征信息、标注信息、二维图纸以及步骤S3确定三维模型投影图像和投影信息，确定标注信息对应三维模型的哪一部分特征，并将标注信息对应到三维特征列表；输出带标注的三维模型和特征标注数据详情。本发明能提升生产加工中二维图纸信息识别效率和准确性，解决汽车生产中二维图纸无法自动识别的特征标注信息问题。

Description

图纸特征与数字匹配的方法、系统、设备及介质

技术领域

本发明涉及汽车生产制造工程技术领域，具体地，涉及一种图纸特征与数字匹配的方法、系统、设备及介质。

背景技术

在汽车生产加工中带标注的二维图纸是常见的加工依据和标准，二维标注图纸和三维模型文件是可以获得到，但二维图纸和三维模型结合特征识别主要依赖经验丰富的工艺工程师，但工艺工程师稀缺，制约了公司的生产加工。同时目前市面上没有二维图纸标注信息智能识别的成熟工具，在制造业推动的浪潮中，严重限制了公司的数字化转型步伐。基于制造业数据化转型压力，二维图纸结合三维模型的标注识别最为生产加工的第一步，实现二维图纸和三维模型的自动化智能识别迫在眉睫。

二维图纸和三维模型数据定位的识别技术已有简单先例，但二维图纸对应三维模型主要缺点对于匹配的三维模型结构简单固定，场景单一，识别的二维图纸比较固定，且没有复杂的重叠和有阴影遮挡，大部分采用图形学进行处理，没有采用图像识别技术，对于多样化的图纸特征和信息处理还难以实现。目前基于AI视觉识别技术加上图像算法相结合的方式可以解决上述问题。

公开号为CN209096370U的实用新型专利，公开了一种便于机械臂定位校准的绘画台，包括画台本体，所述画台本体上设置有图纸卡位槽和机械臂安装槽，且所述图纸卡位槽和机械臂安装槽设置于画台本体同一侧，所述图纸卡位槽用于对绘图纸定位，所述机械臂安装槽用于安装机械臂，所述画台本体上还设置有画笔定位块，所述画笔定位块用于校正机械臂的停靠高度。这种图卡纸和三维机械臂定位安装槽对应的实用新型，仅限于固定的样式图卡纸固定结构的机械臂，对于其他类型的图卡纸的定位难以支持，特征和数据的匹配主要依赖规则实现，灵活性差，适应范围有限。

发明内容

针对现有技术中的缺陷，本发明提供一种图纸特征与数字匹配的方法、系统、设备及介质。

根据本发明提供的一种图纸特征与数字匹配的方法、系统、设备及介质，所述方案如下：

第一方面，提供了一种图纸特征与数字匹配的方法，所述方法包括：

步骤S1：输入三维模型并自动提取出所有相关的特征信息；输入二维图纸并自动提取所有标注信息；

步骤S2：对所述三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；

步骤S3：将所述模型变换投影图像和所述二维图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置；

步骤S4：根据所述特征信息、标注信息、二维图纸以及步骤S3确定三维模型投影图像和投影信息，确定所述标注信息对应三维模型的哪一部分特征，并将所述标注信息对应到三维特征列表；

步骤S5：输出带标注的三维模型和特征标注数据详情；

所述步骤S1包括：输入三维模型并自动提取出所有相关的特征信息,输入二维图纸并自动提取所有标注信息；

通过对SiemensNX软件自定义开发组件提取三维模型所有相关特征信息；

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息。

优选地，所述AI计算机视觉计算流程如下：

1)收集多张加工工艺图纸，将图纸设定比例分为训练集和测试集；

2)基于paddle框架，将DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

3)基于二维图纸和标注信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

4)基于图像算法，基于二维图纸箭头形状和标注线形状匹配识别二维图纸中所有的箭头和标注线及其位置。

优选地，所述步骤S2包括：采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，OpenGL将三维模型投影成二维目标场景的过程：

1)把照相机固定在三角架上，将相机对准场景从不同位置观察场景；

2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体；

3)选择照相机镜头，并调整放大倍数，显示物体时，选择物体是如何投影到屏幕上；

4)确定照片的大小，放大照片或缩小照片将图形画下来，占据整个屏幕或屏幕的一部分。

优选地，OpenGL完成从3D模型到二维屏幕上的显示具体包括：

1)坐标变换，坐标变换通过使用变换矩阵来描述；

2)最终的3D模型将在一个矩形窗口中显示，裁剪掉该窗口之外的部分；

3)裁剪后最终绘制到二维屏幕上，建立变换后的坐标和屏幕像素之间的对应关系，即视窗坐标变换，沿x，y，z轴切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

优选地，所述步骤S3包括：

步骤S3.1：缩放图片，统一将图片尺寸缩放为N*N的数据矩阵，一共得到N²个像素点；

步骤S3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

步骤S3.3：计算DCT，并选取左上角M*M的数据矩阵，计算N*N数据矩阵的离散余弦变换后对应的N*N数据矩阵；

步骤S3.4：缩小DCT，取上一步得到N*N数据矩阵左上角M*M子区域；

步骤S3.5：算平均值，通过上一步得一个M*M的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

步骤S3.6：计算指纹，初始化输入图片的phash值；

步骤S3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片。

优选地，所述步骤S3.6具体包括：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

第二方面，提供了一种图纸特征与数字匹配的系统，所述系统包括：

模块M1：输入三维模型并自动提取出所有相关的特征信息；输入二维图纸并自动提取所有标注信息；

模块M2：对所述三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；

模块M3：将所述模型变换投影图像和所述二维图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置；

模块M4：根据所述特征信息、标注信息、二维图纸以及步骤S3确定三维模型投影图像和投影信息，确定所述标注信息对应三维模型的哪一部分特征，并将所述标注信息对应到三维特征列表；

模块M5：输出带标注的三维模型和特征标注数据详情；

所述模块M1包括：输入三维模型并自动提取出所有相关的特征信息,输入二维图纸并自动提取所有标注信息；

通过对SiemensNX软件自定义开发组件提取三维模型所有相关特征信息；

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息。

优选地，所述AI计算机视觉计算流程如下：

1)收集多张加工工艺图纸，将图纸设定比例分为训练集和测试集；

2)基于paddle框架，将DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

3)基于二维图纸和标注信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

4)基于图像算法，基于二维图纸箭头形状和标注线形状匹配识别二维图纸中所有的箭头和标注线及其位置；

所述模块M2包括：采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，OpenGL将三维模型投影成二维目标场景的过程：

1)把照相机固定在三角架上，将相机对准场景从不同位置观察场景；

2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体；

3)选择照相机镜头，并调整放大倍数，显示物体时，选择物体是如何投影到屏幕上；

4)确定照片的大小，放大照片或缩小照片将图形画下来，占据整个屏幕或屏幕的一部分；

OpenGL完成从3D模型到二维屏幕上的显示具体包括：

1)坐标变换，坐标变换通过使用变换矩阵来描述；

2)最终的3D模型将在一个矩形窗口中显示，裁剪掉该窗口之外的部分；

3)裁剪后最终绘制到二维屏幕上，建立变换后的坐标和屏幕像素之间的对应关系，即视窗坐标变换，沿x，y，z轴切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息；

所述模块M3包括：

模块M3.1：缩放图片，统一将图片尺寸缩放为N*N的数据矩阵，一共得到N²个像素点；

模块M3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

模块M3.3：计算DCT，并选取左上角M*M的数据矩阵，计算N*N数据矩阵的离散余弦变换后对应的N*N数据矩阵；

模块M3.4：缩小DCT，取上一步得到N*N数据矩阵左上角M*M子区域；

模块M3.5：算平均值，通过上一步得一个M*M的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

模块M3.6：计算指纹，初始化输入图片的phash值；

模块M3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片；

所述模块M3.6具体包括：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

第三方面，提供了一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述方法中的步骤。

第四方面，提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述方法中的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过采用三维模型投影技术加上图像哈希算法实现三维图纸与二维视图的空间对应，从而实现三维图纸中的特征信息与二维视图标注数据之间的匹配，解决了二维图纸标注和三维模型特征之间数据信息孤立，无法在自动化信息映射问题；

2、本发明大幅提升了生产加工中二维图纸信息识别效率和准确性，取代了传统的以手工方式识别图纸的方法，降低了设计成本，加速了工艺设计自动化进程。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为主体流程数据图；

图2为二维图；

图3为三维投影图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种图纸特征与数字匹配的方法，参照图1所示，该方法具体包括：

步骤S1：获取三维模型自动提取出所有相关的特征信息(孔、槽、面等)，包括其具体位置、加工信息(例如孔的阶数、每一阶的特征等)，获取二维图纸自动提取所有标注信息，主要包含信息包括尺寸、文字注释、型位公差、表面粗糙度及符号等。

目前主要通过对SiemensNX软件自定义开发组件实现提取三维模型所有相关特征信息，原生的SiemensNX软件只能满足简单场景下孔、面、槽特征标注信息的提取，对于复杂场景和一些特定的几个形状的特征组合无法有效的识别，而实际加工生产中的图纸特征复杂多变，基于此，公司组织人员对SiemensNX软件中组件进行二次开发，目前能够满足大部分场景的特征识别，且保证特征识别的高准确度。

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息，目前行业常见的二维图纸的标注信息提取主要是还基于规则为主，导致的结果是只能实用于部分类别图纸，且新的图纸增加需要不断增加新的规则。对于超出规则之外的图纸无法有效识别。而目前公司创新采用基于AI视觉算法和图像算法相结合的方法解决了这个问题，具体的AI视觉计算流程如下：

(1)收集600张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集，根据《机械制图国家标准》汇总128种常见机械制图中常见的符号及意义，此符号覆盖了大部分二维图纸的标注符号。

(2)基于paddle框架，基于DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法能够提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度等及其位置。

(3)基于收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标，目前此算法模型准确率已经达到90％以上。

(4)基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置。

所述步骤S2主要：对三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；行业内做三维投影OpenGL是常见的选择技术平台，OpenGl的透视投影模型和普通相机的小孔投影模型是类似的，其投影矩阵对应于相机的内参矩阵K，观察矩阵对应于相机的外参矩阵[R|T]，考虑到项目的兼容性，而本项目主要采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，原因一是OpenGL投影模型使用的坐标系与OpenCV的不同，openGL求得的K和R|T]还不能直接使用；二是，OpenGL为了进行Clipping，其投影矩阵需要将点投影到NDC空间中。

OpenGL将三维模型投影成二维目标场景的过程类似于用照相机进行拍照：

(1)把照相机固定在三角架上，并让他对准场景从不同位置观察场景(视图变换)；

(2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体(模型变换)；

(3)选择照相机镜头，并调整放大倍数(调焦)显示物体时，可以选择物体是如何投影到屏幕上(投影变换)；

(4)确定照片的大小，放大照片还是缩小照片把图形画下来，是要占据整个屏幕还是屏幕的一部分(视口变换)。

OpenGL中的各种转换是通过矩阵运算实现的，具体的说，就是当发出一个转换命令时，该命令会生成一个4X4阶的转换矩阵(OpenGL中的物体坐标一律采用齐次坐标，即(x,y,z,w)，故所有变换矩阵都采用4X4矩阵)，当前矩阵与这个转换矩阵相乘，从而生成新的当前矩阵。例如，对于顶点坐标v，转换命令通常在顶点坐标命令之前发出，若当前矩阵为C，转换命令构成的矩阵为M，则发出转换命令后，生成的新的当前矩阵为CM，这个矩阵再乘以顶点坐标v，从而构成新的顶点坐标CMv。上述过程说明，程序中绘制顶点前的最后一个变换命令最先作用于顶点之上。这同时也说明，OpenGL编程中，实际的变换顺序与指定的顺序是相反的。

OpenG来完成从3D模型到二维屏幕上的显示。具体分成以下三个部分：

1)坐标变换，坐标变换通过使用变换矩阵来描述，这个变换过程3D绘图包含一些空间几何，矩阵运算的知识。三维坐标通常使用齐次坐标来定义。变换矩阵操作可以分为视角(Viewing)，模型(Modeling)和投影(Projection)操作，这些操作可以有选择，平移，缩放，正侧投影，透视投影等。

2)由于最终的3D模型需要在一个矩形窗口中显示，因此在这个窗口之外的部分需要裁剪掉以提高绘图效率，对应3D图形，裁剪是将处在剪切面之外的部分扔掉。

3)在最终绘制到显示器(2D屏幕)，需要建立起变换后的坐标和屏幕像素之间的对应关系，这通常称为“视窗”坐标变换(Viewport)transformation，沿着x，y，z轴的切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

步骤S2：对三维模型进行整体投影，参照图2和图3所示：

通过模型变换，保持相机的固定位置，将物体移离相机以将三维物体摆放在场景中的适当位置，将物体移离相机以将三维物体摆放在场景中的适当位置，设置物体位置涉及到即对模型进行旋转、平移和缩放。缺省时，物体模型(即绘图坐标系)的中心定位在世界坐标系的中心处，实现沿着x,y,z轴的切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

步骤S3：通过图像hash算法实现，将步骤S2中生成的三维模型变换投影图片和二维模型图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置。

具体地，步骤S3包括：

步骤S3.1：缩放图片，统一将图片尺寸缩放为N*N的数据矩阵，一共得到N²个像素点；

步骤S3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

步骤S3.3：计算DCT，并选取左上角M*M的数据矩阵，DCT是一种特殊的傅立叶变换，将图片从像素域变换为频率域，并且DCT矩阵从左上角到右下角代表越来越高频率的系数，但是除左上角外，其他地方的系数为0或接近0，因此只保留左上角的低频区域。计算N*N数据矩阵的离散余弦变换后对应的N*N数据矩阵；本实施例中N等于32，M等于8；

步骤S3.4：缩小DCT，取上一步得到32x32数据矩阵左上角8x8子区域；

步骤S3.5：算平均值，通过上一步得一个8x8的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

步骤S3.6：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

步骤S3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片。

步骤S4：整合图纸特征信息、标注信息、二维图纸数据和步骤3确定三维模型投影图像和信息，根据投影图像的识别特征位置信息和二维图纸标注的位置信息，确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表。

步骤S5：输出带标注的三维模型和特征标注数据详情。

本发明还提供了一种图纸特征与数字匹配的系统，该系统包括：

模块M1：获取三维模型自动提取出所有相关的特征信息(孔、槽、面等)，包括其具体位置、加工信息(例如孔的阶数、每一阶的特征等)，获取二维图纸自动提取所有标注信息，主要包含信息包括尺寸、文字注释、型位公差、表面粗糙度及符号等。

目前主要通过对SiemensNX软件自定义开发组件实现提取三维模型所有相关特征信息，原生的SiemensNX软件只能满足简单场景下孔、面、槽特征标注信息的提取，对于复杂场景和一些特定的几个形状的特征组合无法有效的识别，而实际加工生产中的图纸特征复杂多变，基于此，公司组织人员对SiemensNX软件中组件进行二次开发，目前能够满足大部分场景的特征识别，且保证特征识别的高准确度。

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息，目前行业常见的二维图纸的标注信息提取主要是还基于规则为主，导致的结果是只能实用于部分类别图纸，且新的图纸增加需要不断增加新的规则。对于超出规则之外的图纸无法有效识别。而目前公司创新采用基于AI视觉算法和图像算法相结合的方法解决了这个问题，具体的AI视觉计算流程如下：

(1)收集600张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集，根据《机械制图国家标准》汇总128种常见机械制图中常见的符号及意义，此符号覆盖了大部分二维图纸的标注符号。

(2)基于paddle框架，基于DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法能够提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度等及其位置。

(3)基于收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标，目前此算法模型准确率已经达到90％以上。

(4)基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置。

所述步骤S2主要：对三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；行业内做三维投影OpenGL是常见的选择技术平台，OpenGl的透视投影模型和普通相机的小孔投影模型是类似的，其投影矩阵对应于相机的内参矩阵K，观察矩阵对应于相机的外参矩阵[R|T]，考虑到项目的兼容性，而本项目主要采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，原因一是OpenGL投影模型使用的坐标系与OpenCV的不同，openGL求得的K和R|T]还不能直接使用；二是，OpenGL为了进行Clipping，其投影矩阵需要将点投影到NDC空间中。

OpenGL将三维模型投影成二维目标场景的过程类似于用照相机进行拍照：

(1)把照相机固定在三角架上，并让他对准场景从不同位置观察场景(视图变换)；

(2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体(模型变换)；

(3)选择照相机镜头，并调整放大倍数(调焦)显示物体时，可以选择物体是如何投影到屏幕上(投影变换)；

(4)确定照片的大小，放大照片还是缩小照片把图形画下来，是要占据整个屏幕还是屏幕的一部分(视口变换)。

OpenGL中的各种转换是通过矩阵运算实现的，具体的说，就是当发出一个转换命令时，该命令会生成一个4X4阶的转换矩阵(OpenGL中的物体坐标一律采用齐次坐标，即(x,y,z,w)，故所有变换矩阵都采用4X4矩阵)，当前矩阵与这个转换矩阵相乘，从而生成新的当前矩阵。例如，对于顶点坐标v，转换命令通常在顶点坐标命令之前发出，若当前矩阵为C，转换命令构成的矩阵为M，则发出转换命令后，生成的新的当前矩阵为CM，这个矩阵再乘以顶点坐标v，从而构成新的顶点坐标CMv。上述过程说明，程序中绘制顶点前的最后一个变换命令最先作用于顶点之上。这同时也说明，OpenGL编程中，实际的变换顺序与指定的顺序是相反的。

OpenG来完成从3D模型到二维屏幕上的显示。具体分成以下三个部分：

1)坐标变换，坐标变换通过使用变换矩阵来描述，这个变换过程3D绘图包含一些空间几何，矩阵运算的知识。三维坐标通常使用齐次坐标来定义。变换矩阵操作可以分为视角(Viewing)，模型(Modeling)和投影(Projection)操作，这些操作可以有选择，平移，缩放，正侧投影，透视投影等。

2)由于最终的3D模型需要在一个矩形窗口中显示，因此在这个窗口之外的部分需要裁剪掉以提高绘图效率，对应3D图形，裁剪是将处在剪切面之外的部分扔掉。

3)在最终绘制到显示器(2D屏幕)，需要建立起变换后的坐标和屏幕像素之间的对应关系，这通常称为“视窗”坐标变换(Viewport)transformation，沿着x，y，z轴的切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

模块M2：通过模型变换，保持相机的固定位置，将物体移离相机以将三维物体摆放在场景中的适当位置，将物体移离相机以将三维物体摆放在场景中的适当位置，设置物体位置涉及到即对模型进行旋转、平移和缩放。缺省时，物体模型(即绘图坐标系)的中心定位在世界坐标系的中心处，实现沿着x,y,z轴的切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

模块M3：通过图像hash算法实现，将模块M2中生成的三维模型变换投影图片和二维模型图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置。

模块M3具体包括：

模块M3.1：缩放图片，统一将图片尺寸缩放为32*32，一共得到1024个像素点；

模块M3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

模块M3.3：计算DCT，并选取左上角8*8的矩阵，计算32x32数据矩阵的离散余弦变换后对应的32x32数据矩阵；

模块M3.4：缩小DCT，取上一步得到32x32数据矩阵左上角8x8子区域；

模块M3.5：算平均值，通过上一步得一个8x8的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

模块M3.6：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

模块M3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片。

模块M4：整合图纸特征信息、标注信息、二维图纸数据和模块M3确定三维模型投影图像和信息，根据投影图像的识别特征位置信息和二维图纸标注的位置信息，确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；

模块M5：输出带标注的三维模型和特征标注数据详情。

本发明实施例提供了一种图纸特征与数字匹配的方法、系统、设备及介质，通过采用三维模型投影技术加上图像哈希算法实现三维图纸与二维视图的空间对应，从而实现三维图纸中的特征信息与二维视图标注数据之间的匹配，解决了二维图纸标注和三维模型特征之间数据信息孤立，无法在自动化信息映射问题，本发明大幅提升了生产加工中二维图纸信息识别效率和准确性，取代了传统的以手工方式识别图纸的方法，降低了设计成本，加速了工艺设计自动化进程。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种图纸特征与数字匹配的方法，其特征在于，包括：

步骤S1：输入三维模型并自动提取出所有相关的特征信息；输入二维图纸并自动提取所有标注信息；

步骤S2：对所述三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；

步骤S3：将所述模型变换投影图像和所述二维图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置；

步骤S4：根据所述特征信息、标注信息、二维图纸以及步骤S3确定三维模型投影图像和投影信息，确定所述标注信息对应三维模型的哪一部分特征，并将所述标注信息对应到三维特征列表；

步骤S5：输出带标注的三维模型和特征标注数据详情；

所述步骤S1包括：输入三维模型并自动提取出所有相关的特征信息,输入二维图纸并自动提取所有标注信息；

通过对SiemensNX软件自定义开发组件提取三维模型所有相关特征信息；

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息。

2.根据权利要求1所述的图纸特征与数字匹配的方法，其特征在于，所述AI计算机视觉计算流程如下：

1)收集多张加工工艺图纸，将图纸设定比例分为训练集和测试集；

2)基于paddle框架，将DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

3)基于二维图纸和标注信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

4)基于图像算法，基于二维图纸箭头形状和标注线形状匹配识别二维图纸中所有的箭头和标注线及其位置。

3.根据权利要求1所述的图纸特征与数字匹配的方法，其特征在于，所述步骤S2包括：采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，OpenGL将三维模型投影成二维目标场景的过程：

1)把照相机固定在三角架上，将相机对准场景从不同位置观察场景；

2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体；

3)选择照相机镜头，并调整放大倍数，显示物体时，选择物体是如何投影到屏幕上；

4)确定照片的大小，放大照片或缩小照片将图形画下来，占据整个屏幕或屏幕的一部分。

4.根据权利要求3所述的图纸特征与数字匹配的方法，其特征在于，OpenGL完成从3D模型到二维屏幕上的显示具体包括：

1)坐标变换，坐标变换通过使用变换矩阵来描述；

2)最终的3D模型将在一个矩形窗口中显示，裁剪掉该窗口之外的部分；

3)裁剪后最终绘制到二维屏幕上，建立变换后的坐标和屏幕像素之间的对应关系，即视窗坐标变换，沿x，y，z轴切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息。

5.根据权利要求1所述的图纸特征与数字匹配的方法，其特征在于，所述步骤S3包括：

步骤S3.1：缩放图片，统一将图片尺寸缩放为N*N的数据矩阵，一共得到N²个像素点；

步骤S3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

步骤S3.3：计算DCT，并选取左上角M*M的数据矩阵，计算N*N数据矩阵的离散余弦变换后对应的N*N数据矩阵；

步骤S3.4：缩小DCT，取上一步得到N*N数据矩阵左上角M*M子区域；

步骤S3.5：算平均值，通过上一步得一个M*M的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

步骤S3.6：计算指纹，初始化输入图片的phash值；

步骤S3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片。

6.根据权利要求5所述的图纸特征与数字匹配的方法，其特征在于，所述步骤S3.6具体包括：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

7.一种图纸特征与数字匹配的系统，其特征在于，包括：

模块M1：输入三维模型并自动提取出所有相关的特征信息；输入二维图纸并自动提取所有标注信息；

模块M2：对所述三维模型进行整体投影，生成三维模型对应的模型变换投影图像和投影信息；

模块M3：将所述模型变换投影图像和所述二维图纸进行hash计算，找到hash相似度最高的图片即为二维图纸对应的三维模型的切面投影图片位置；

模块M4：根据所述特征信息、标注信息、二维图纸以及步骤S3确定三维模型投影图像和投影信息，确定所述标注信息对应三维模型的哪一部分特征，并将所述标注信息对应到三维特征列表；

模块M5：输出带标注的三维模型和特征标注数据详情；

所述模块M1包括：输入三维模型并自动提取出所有相关的特征信息,输入二维图纸并自动提取所有标注信息；

通过对SiemensNX软件自定义开发组件提取三维模型所有相关特征信息；

通过AI计算机视觉技术和图像算法相结合提取二维图纸中的标注信息。

8.根据权利要求7所述的图纸特征与数字匹配的系统，其特征在于，所述AI计算机视觉计算流程如下：

1)收集多张加工工艺图纸，将图纸设定比例分为训练集和测试集；

2)基于paddle框架，将DBNet和RCNN神经网络模型结合，构建基于二维图纸标注信息识别的深度学习算法，识别算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

3)基于二维图纸和标注信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

4)基于图像算法，基于二维图纸箭头形状和标注线形状匹配识别二维图纸中所有的箭头和标注线及其位置；

所述模块M2包括：采用OpenGL和OpenCV相结合的方式生成三维模型的投影信息，OpenGL将三维模型投影成二维目标场景的过程：

1)把照相机固定在三角架上，将相机对准场景从不同位置观察场景；

2)对场景进行安排，使各个物体在照片中的位置按照规则进行移动，旋转或者放大缩小场景中的物体；

3)选择照相机镜头，并调整放大倍数，显示物体时，选择物体是如何投影到屏幕上；

4)确定照片的大小，放大照片或缩小照片将图形画下来，占据整个屏幕或屏幕的一部分；

OpenGL完成从3D模型到二维屏幕上的显示具体包括：

1)坐标变换，坐标变换通过使用变换矩阵来描述；

2)最终的3D模型将在一个矩形窗口中显示，裁剪掉该窗口之外的部分；

3)裁剪后最终绘制到二维屏幕上，建立变换后的坐标和屏幕像素之间的对应关系，即视窗坐标变换，沿x，y，z轴切片不同的模型变换投影，生成三维模型对应的模型变换投影图像和投影信息；

所述模块M3包括：

模块M3.1：缩放图片，统一将图片尺寸缩放为N*N的数据矩阵，一共得到N²个像素点；

模块M3.2：转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；

模块M3.3：计算DCT，并选取左上角M*M的数据矩阵，计算N*N数据矩阵的离散余弦变换后对应的N*N数据矩阵；

模块M3.4：缩小DCT，取上一步得到N*N数据矩阵左上角M*M子区域；

模块M3.5：算平均值，通过上一步得一个M*M的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a；

模块M3.6：计算指纹，初始化输入图片的phash值；

模块M3.7：得到图片的phash值后，比较两张图片phash值的汉明距离，汉明距离小于10的一组图片为相似图片；

所述模块M3.6具体包括：计算指纹，初始化输入图片的phash＝""；

从左到右一行一行地遍历矩阵G每一个像素；

如果第i行j列元素G(i,j)>＝a，则phash+＝"1"；

如果第i行j列元素G(i,j)<a，则phash+＝"0"。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法的步骤。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images