CN118037827B - 一种基于双目视觉的隧道火灾火源定位方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的隧道火灾火源定位方法，所属技术领域为火源定位领域，包括：在隧道内部安装双目相机，基于隧道环境将所述双目相机进行视觉对准后进行拍摄，获得隧道图像数据；对所述隧道图像数据进行图像校正和归一化处理，获得处理数据集；构建卷积神经网络模型，获得火源特征点；基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点。本发明双目视觉系统能够获取场景中物体的深度信息，通过两个相机的视差计算。可以更准确地估计物体的三维位置，对于火源定位来说，可以提供更为准确的空间定位信息。

Description

一种基于双目视觉的隧道火灾火源定位方法

技术领域

本发明属于火源定位领域，特别是涉及一种基于双目视觉的隧道火灾火源定位方法。

背景技术

随着全国基础设施建设的持续快速推进，隧道的数量和规模迅速增长，极大地促进了经济社会发展。然而，车辆上可燃物种类繁多且荷载大，发生火灾后迅速蔓延，隧道内温度迅速升高。由于隧道空间狭小、氧气不足，可燃物不完全燃烧程度高，容易产生大量有毒有害烟气，给乘员生命安全造成巨大威胁。快速扑灭火灾可以有效保障隧道人员安全疏散和救援。

但是，隧道中火灾监测系统多为固定位置传感器，大多为烟雾、温度传感器作为检测单元接入消防系统。其需要在建筑建设时就需要完成安装，固定位置部署灵活度差，并且无法计算出火源图像中的三维空间信息；此外，基于图像处理的火源定位方法时间成本较高，无法满足在实际应用场景中对实时性的要求。

发明内容

本发明的目的是提供一种基于双目视觉的隧道火灾火源定位方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于双目视觉的隧道火灾火源定位方法，包括：

在隧道内部安装双目相机，基于隧道环境将所述双目相机进行视觉对准后进行拍摄，获得隧道图像数据；

对所述隧道图像数据进行图像校正和归一化处理，获得处理数据集；

构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型，将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点；

基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点。

优选的，所述获得隧道图像数据的过程包括：

选取两个相同规模的可变焦相机，同时基于隧道环境确定两个相机的相对位置；

基于所述相对位置设置所述可变焦相机的位置和朝向；

开启所述可变焦相机对隧道进行拍摄，获得所述隧道图像数据。

优选的，所述获得处理数据集的过程包括：

基于所述双目相机的内部参数和外部参数计算双目相机之间的基础矩阵；

基于所述基础矩阵对所述隧道图像数据的特征点的极线对齐，获得对齐图像数据；

基于校正变换矩阵将所述对齐图像数据进行重映射处理，获得校正数据集；

将所述校正数据集进行归一化处理，获得所述处理数据集。

优选的，所述构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型的过程包括：

构建卷积神经网络模型和长短时记忆网络；

获取火灾火源样本集，通过所述火灾火源样本集对所述长短时记忆网络进行向前传播，获得长短时记忆网络的输出；

通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型；

构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络；

通过所述火灾火源样本集对所述改进的卷积神经网络模型进行训练，获得所述火源特征识别模型。

优选的，通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型的过程包括：

基于所述火灾火源样本集构建数据硬标签，将所述长短时记忆网络的输出作为软标签；

将所述数据硬标签和所述软标签输入至所述卷积神经网络模型进行训练，同时通过基于多尺度监督方法对所述卷积神经网络模型进行精度优化，获得所述学生网络模型。

优选的，所述构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络的过程包括：

构建所述注意力机制模块和残差模块；

将所述注意力机制模块引入至所述学生网络模型的隐藏层的前三层中，获得注意力分类模型；

将所述残差模块引入至所述注意力分类模型中，生成所述改进的卷积神经网络。

优选的，将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点的过程包括：

将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征像素点；

将所述火源特征像素点进行空间转化，获得所述火源特征点。

优选的，基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点的过程包括：

基于SIFT算法计算所述火源特征点的对应关系，获得特征点的匹配关系；

基于三角测量方法对所述双目相机的参数和所述特征点的匹配关系进行计算，获得所述火灾火源坐标点。

本发明的技术效果为：

本发明双目视觉系统能够获取场景中物体的深度信息，通过两个相机的视差计算。可以更准确地估计物体的三维位置，对于火源定位来说，可以提供更为准确的空间定位信息。使用卷积神经网络进行火源定位可以更好地建模复杂的非线性关系。神经网络可以学习从双目视觉输入到火源位置的复杂映射，提高了模型的表达能力和准确性。同时，通过模型蒸馏的方法，让长短时记忆网络作为教师网络，卷积神经网络作为学生网络，可以提高卷积神经网络处理双目相机的时序问题的能力，并且在实时性要求较高的场景中表现出色。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的基于双目视觉的隧道火灾火源定位方法流程图；

图2为本发明实施例中的使用长短时神经网络的输出和相应的目标标签来训练卷积网络模型示意图；

图3为本发明实施例中的卷积网络示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种基于双目视觉的隧道火灾火源定位方法，包括：

在隧道内部安装双目相机，基于隧道环境将所述双目相机进行视觉对准后进行拍摄，获得隧道图像数据；

对所述隧道图像数据进行图像校正和归一化处理，获得处理数据集；

构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型，将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点；

基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点。

进一步优化方案，所述获得隧道图像数据的过程包括：

选取两个相同规模的可变焦相机，同时基于隧道环境确定两个相机的相对位置；两个摄像机之间的距离称为基线。

基于所述相对位置设置所述可变焦相机的位置和朝向；通过空间重建或其他技术获取两个相机之间的相对位置和姿态关系；

开启所述可变焦相机对隧道进行拍摄，获得所述隧道图像数据。

进一步优化方案，所述获得处理数据集的过程包括：

基于所述双目相机的内部参数和外部参数计算双目相机之间的基础矩阵；

内部参数标定：每个相机都有自己的内部参数，例如焦距、主点偏移等。使用相机标定技术(如Zhang's标定方法或者棋盘格标定)，确定每个相机的内部参数。这一步骤能够确保在图像处理过程中使用准确的相机参数。

外部参数标定：外部参数指的是相机的位置和朝向。通过空间重建或其他技术获取两个相机之间的相对位置和姿态关系。通常，需要在场景中使用已知的三维点或结构来计算相机的外部参数。

基于所述基础矩阵对所述隧道图像数据的特征点的极线对齐，获得对齐图像数据；

在立体视觉中，给定两个视图(例如，左右相机拍摄的图像)，通过基础矩阵，可以将一个图像中的特征点投影到另一个图像上，并且这两个图像中相应的特征点之间的连线都在同一直线上，这条直线被称为极线。

基础矩阵(F)和特征点(x)、(x')之间的关系可以用下式表示：

[x'^TFx＝0]

其中，(x)和(x')分别是两个图像上的特征点的齐次坐标。这个等式表示了在另一个图像上的对应点(x')与原始点(x)之间的极线几何关系。

将(x)代入上式，得到特定特征点(x)对应的极线方程：

[l'＝Fx]

其中，(l')是(x')对应的极线。

基于校正变换矩阵将所述对齐图像数据进行重映射处理，获得校正数据集；

本实施例中校正变换矩阵为相机内参矩阵，相机内参矩阵通常表示为(K)，它包含了相机的内部参数，如焦距、主点坐标等。相机内参矩阵的标准形式如下：

[K＝\begin{bmatrix}f_x&0&c_x\0&f_y&c_y\0&0&1\end{bmatrix}]

其中，(f_x)和(f_y)是相机在水平和垂直方向上的焦距，(c_x)和(c_y)是主点的坐标。

将所述校正数据集进行归一化处理，获得所述处理数据集。

最小-最大归一化的公式为：

[X_{\text{norm}}＝\frac{X-X_{\text{min}}}{X_{\text{max}}-X_{\text{min}}}]

其中：

(X_{\text{norm}})是归一化后的数据。

(X)是原始数据。

(X_{\text{min}})是原始数据的最小值。

(X_{\text{max}})是原始数据的最大值。

进一步优化方案，所述构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型的过程包括：

构建卷积神经网络模型和长短时记忆网络；

获取火灾火源样本集，通过所述火灾火源样本集对所述长短时记忆网络进行向前传播，获得长短时记忆网络的输出；

通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型；

构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络；

通过所述火灾火源样本集对所述改进的卷积神经网络模型进行训练，获得所述火源特征识别模型。

本实施例中，所述构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型的过程为模型蒸馏，具体过程为：

首先，使用LSTM网络作为教师网络进行训练。LSTM是一种适用于序列数据的循环神经网络，具有捕捉长期依赖关系的能力，适用于处理时序性数据或具有时间相关性的任务。

设计卷积神经网络(CNN)作为学生网络。CNN主要用于图像处理，能够有效地捕捉图像中的空间特征。学生网络通常设计为比教师网络更轻量、更适合在资源受限的环境中运行。

使用教师网络对训练数据进行预测，并且用这些预测的软标签(概率分布)作为目标，而不是原始的硬标签。这样的软标签包含了教师网络对于每个类别的相对置信度信息。

使用软标签进行学生网络的训练。学生网络的目标是尽量复制教师网络的行为，即在预测方面尽量与教师网络保持一致。此时，通常会结合原始的硬标签和软标签的损失函数。

对学生网络进行评估，看其在测试集上的性能。由于蒸馏过程，学生网络通常能够在相对较小的模型容量下达到与教师网络相近的性能。

进一步优化方案，如图2-3所示，通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型的过程包括：

基于所述火灾火源样本集构建数据硬标签，将所述长短时记忆网络的输出作为软标签；

将所述数据硬标签和所述软标签输入至所述卷积神经网络模型进行训练，同时通过基于多尺度监督方法对所述卷积神经网络模型进行精度优化，获得所述学生网络模型。

损失函数为：

Ldice＝1-dice

其中，dice为DICE系数，X表示双目相机的第一图像数据、Y为双目相机的第二图像数据，L_dice为损失函数。

进一步优化方案，所述构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络的过程包括：

构建所述注意力机制模块和残差模块；

将所述注意力机制模块引入至所述学生网络模型的隐藏层的前三层中，获得注意力分类模型；

将所述残差模块引入至所述注意力分类模型中，生成所述改进的卷积神经网络。

进一步优化方案，将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点的过程包括：

将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征像素点；

将所述火源特征像素点进行空间转化，获得所述火源特征点。

进一步优化方案，基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点的过程包括：

基于SIFT算法计算所述火源特征点的对应关系，获得特征点的匹配关系；在不同视角的图像中识别到火源特征点后，通过特征点匹配算法找到这些特征点在不同图像中的对应关系。这可以使用一些计算机视觉算法，如SIFT(尺度不变特征变换)或ORB(OrientedFASTandRotatedBRIEF)等，本实施例采用的为SIFT(尺度不变特征变换)。

基于三角测量方法对所述双目相机的参数和所述特征点的匹配关系进行计算，获得所述火灾火源坐标点。通过已知的相机参数和特征点的匹配关系，可以使用三角测量方法计算目标点的三维坐标。常见的方法包括直接线性变换(DirectLinearTransform,DLT)或基于非线性优化的方法，例如通过最小化重投影误差来优化三维点的坐标。计算得到的三维坐标通常是相对于相机坐标系的。如果需要将其映射到全局世界坐标系中，需要考虑相机的位置和朝向。这可以通过相机外参进行坐标变换。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种基于双目视觉的隧道火灾火源定位方法，其特征在于，包括以下步骤：

在隧道内部安装双目相机，基于隧道环境将所述双目相机进行视觉对准后进行拍摄，获得隧道图像数据；

对所述隧道图像数据进行图像校正和归一化处理，获得处理数据集；

构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型，将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点；

基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点；

所述构建卷积神经网络模型，基于模型蒸馏方法对所述卷积神经网络模型进行改进和训练，获得火源特征识别模型的过程包括：

构建卷积神经网络模型和长短时记忆网络；

获取火灾火源样本集，通过所述火灾火源样本集对所述长短时记忆网络进行向前传播，获得长短时记忆网络的输出；

通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型；

构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络；

通过所述火灾火源样本集对所述改进的卷积神经网络模型进行训练，获得所述火源特征识别模型；

通过所述长短时记忆网络的输出作为所述卷积神经网络模型的输入进行训练，获得学生网络模型的过程包括：

基于所述火灾火源样本集构建数据硬标签，将所述长短时记忆网络的输出作为软标签；

将所述数据硬标签和所述软标签输入至所述卷积神经网络模型进行训练，同时通过基于多尺度监督方法对所述卷积神经网络模型进行精度优化，获得所述学生网络模型；

所述构建注意力机制模块和残差模块，并将所述注意力机制模块和残差模块引入至所述学生网络模型中，生成改进的卷积神经网络的过程包括：

构建所述注意力机制模块和残差模块；

将所述注意力机制模块引入至所述学生网络模型的隐藏层的前三层中，获得注意力分类模型；

将所述残差模块引入至所述注意力分类模型中，生成所述改进的卷积神经网络；

将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征点的过程包括：

将所述处理数据集输入至所述火源特征识别模型中进行计算，获得火源特征像素点；

将所述火源特征像素点进行空间转化，获得所述火源特征点；

基于所述双目相机的参数将所述火源特征点映射至三维坐标系中，获得火灾火源坐标点的过程包括：

基于SIFT算法计算所述火源特征点的对应关系，获得特征点的匹配关系；

基于三角测量方法对所述双目相机的参数和所述特征点的匹配关系进行计算，获得所述火灾火源坐标点。

2.根据权利要求1所述的基于双目视觉的隧道火灾火源定位方法，其特征在于，所述获得隧道图像数据的过程包括：

选取两个相同规模的可变焦相机组成双目相机，同时基于隧道环境确定所述双目相机的相对位置；

基于所述相对位置设置所述双目相机的位置和朝向；

开启所述双目相机对隧道进行拍摄，获得所述隧道图像数据。

3.根据权利要求1所述的基于双目视觉的隧道火灾火源定位方法，其特征在于，所述获得处理数据集的过程包括：

基于所述双目相机的内部参数和外部参数计算双目相机之间的基础矩阵；

基于所述基础矩阵对所述隧道图像数据的特征点的极线对齐，获得对齐图像数据；

基于校正变换矩阵将所述对齐图像数据进行重映射处理，获得校正数据集；

将所述校正数据集进行归一化处理，获得所述处理数据集。