CN116359911A

CN116359911A - 检测着火物位置的方法、自动灭火方法、系统及消防车

Info

Publication number: CN116359911A
Application number: CN202310278035.0A
Authority: CN
Inventors: 吴帅; 范卿; 付玲; 熊忆
Original assignee: Zoomlion Heavy Industry Science and Technology Co Ltd
Current assignee: Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date: 2023-03-20
Filing date: 2023-03-20
Publication date: 2023-06-30

Abstract

本发明提供一种检测着火物位置的方法、自动灭火方法、系统及消防车，属于消防车技术领域。所述方法包括：获取对火灾现场拍摄的图像，以及扫描的雷达点云数据，所述图像与所述雷达点云数据通过映射模型关联；确定拍摄的图像中的火焰ROI，以及所述火焰ROI的第一深度值；延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域；基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，所述目标点云数据为位于所述目标空间区域中的雷达点云数据。本发明可用于远距离自动化灭火。

Description

检测着火物位置的方法、自动灭火方法、系统及消防车

技术领域

本发明涉及消防车技术领域，具体地涉及一种检测着火物位置的方法、一种消防装备的自动灭火方法、一种检测着火物位置的系统、一种电子设备、一种消防车和一种机器可读存储介质。

背景技术

火是物质燃烧过程中强烈的化学反应，火焰是可见的、参与燃烧过程的物质的气态混合物，发生火灾的现场的火焰常常具有较高温度，通常对准着火物能够迅速降温和有效灭火。

目前，完成灭火作业的消防车都需要消防员观测目标火焰位置，手动操控或遥控调整消防炮的姿态，使初步瞄准火焰区域，然后开启射流。在灭火操作过程中，需要精调消防炮的姿态，不断修正位姿，通常灭火前臂架、消防炮的调整时间至少需要60秒以上，且需要多人协作。常规灭火方式的人员操作难度大，灭火过程繁琐、准备时间长，灭火效率低，对操作者专业素养要求高，难以保证消防员人身安全。

发明内容

本发明的目的是提供一种检测着火物位置的方法、自动灭火方法、系统及消防车，以实现确定着火物位置、实现全自动灭火的消防装备及实现灭火操作的人员安全性，提高灭火操作的准确性和效率。

为了实现上述目的，本发明实施例提供一种检测着火物位置的方法，该方法包括：

获取对火灾现场拍摄的图像，以及扫描的雷达点云数据，所述图像与所述雷达点云数据通过映射模型关联；

确定拍摄的图像中的火焰ROI，以及所述火焰ROI的第一深度值；

延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域；

基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，所述目标点云数据为位于所述目标空间区域中的雷达点云数据。

具体的，所述延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域，包括：

基于所述映射模型和所述延拓的火焰ROI，确定三维锥体区域；

使用所述第一深度值的邻域，截取所述三维锥体区域，得到目标空间区域。

基于所述第一深度值的邻域，确定三维环状体区域；

基于所述映射模型和所述延拓的火焰ROI，截取所述三维环状体区域，得到目标空间区域。

具体的，所述拍摄的图像包括红外全景图像和可见光全景图像，所述红外全景图像和所述可见光全景图像之间存在图像映射关系；

所述确定拍摄的图像中的火焰ROI，包括：

检测所述可见光全景图像的火焰特征，得到第一火焰区域；

对所述红外全景图像进行背景划分，确定疑似火焰区域，检测所述疑似火焰区域的火焰特征，得到第二火焰区域；

根据所述第一火焰区域、所述第二火焰区域以及所述图像映射关系，确定火焰ROI。

具体的，所述根据所述第一火焰区域、所述第二火焰区域以及所述图像映射关系，确定火焰ROI，包括：

将所述第一火焰区域映射至所述红外全景图像内；

确定所述第二火焰区域和映射的第一火焰区域之间的重叠区域；

剔除所述重叠区域中色温小于指定阈值的区域以得到火焰ROI。

具体的，确定所述火焰ROI的第一深度值，包括：

在包含目标区域的相邻两帧的图像之间确定两中心点，计算该两中心点之间的像素偏差值，该目标区域是所述红外全景图像中的火焰ROI；

基于拍摄该相邻两帧的图像的旋转角度、相机内参和所述像素偏差值，确定任意一个中心点的深度值。

具体的，所述使用所述第一深度值的邻域，截取所述三维锥体区域，得到所述目标空间区域，包括：

确定所述第一深度值的邻域边界值，所述邻域具有指定的阈值区间大小；

确定所述三维锥体区域中具有深度值为左邻域边界值的截面和具有深度值为右邻域边界值的截面；

将所述三维锥体区域中两截面之间的体区域作为所述目标空间区域。

具体的，所述基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，包括：

对所述目标点云数据进行聚类，得到所述目标着火物及所述目标着火物的位置数据。

具体的，所述映射模型的确定方法包括：

标定雷达坐标系和图像坐标系，确定待求解参数矩阵的映射模型；

将雷达点云数据转换为二维点云图像，提取拍摄的图像和所述二维点云图像中相互重叠的特征点；

通过所述相互重叠的特征点，确定所述待求解参数矩阵的数值。

本发明实施例还提供一种消防装备的自动灭火方法，所述消防装备包括控制单元和消防炮，该自动灭火方法包括：

通过所述控制单元执行前述的检测着火物位置的方法，确定目标着火物的位置数据；

通过所述控制单元基于所述位置数据，控制所述消防炮转动并对准所述目标着火物的指定位置，执行灭火操作。

具体的，所述消防装备还包括相机单元和雷达单元，所述相机单元和所述雷达单元均被布置于所述消防炮，该自动灭火方法还包括：

通过所述控制单元将所述消防炮转动至指定角度，通过所述相机单元拍摄火灾现场的可见光图像和红外图像，且通过所述雷达单元同步扫描所述火灾现场；

通过所述控制单元将所述消防炮转动至下一指定角度，通过所述相机单元拍摄所述火灾现场的可见光图像和红外图像，且通过所述雷达单元同步扫描所述火灾现场；

其中，各角度拍摄的可见光图像和红外图像分别用于形成可见光全景图像和红外全景图像，各角度扫描所述火灾现场的数据用于形成雷达点云数据。

本发明实施例还提供一种检测着火物位置的系统，该系统包括：

获取模块，用于获取对火灾现场拍摄的图像，以及扫描的雷达点云数据，所述图像与所述雷达点云数据通过映射模型关联；

图像处理模块，用于确定拍摄的图像中的火焰ROI，以及所述火焰ROI的第一深度值；

点云处理模块，用于延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域；

确定模块，用于基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，所述目标点云数据为位于所述目标空间区域中的雷达点云数据。

再一方面，本发明实施例提供一种电子设备，该电子设备包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。

又一方面，本发明实施例提供一种消防车，该消防车配有前述的消防装备的自动灭火方法中的消防装备，和/或前述的电子设备。

又一方面，本发明实施例提供一种机器可读存储介质，存储有机器指令，当所述机器指令在机器上运行时，使得机器执行前述的方法。

本发明中使用拍摄的图像找到火焰ROI，通过延拓该火焰ROI，使得着火物被延拓的火焰ROI标记。由于火灾现场中(可看待为三维)火焰根部的指定切点或切面，与着火物的燃烧表面，可以是紧贴的、或最短距离可以小于距离阈值，则延拓的火焰ROI所在图像区域的深度值(范围)，与着火物在图像深度方向上的深度值范围，是有交集的，能够利用第一深度值定位目标着火物的深度值范围，同时利用延拓的火焰ROI所带有的图像特征信息，经图像与雷达点云数据之间的映射模型，在扫描的雷达点云数据中找到包含着火物点云的雷达点云数据的关键视场，关联地定位包含着火物点云的三维的体区域，该体区域即目标空间区域，目标空间区域中目标点云数据将包含着火物点云和非着火物点云，最后，在目标空间区域内的目标点云数据中，识别目标着火物，确定目标着火物的位置数据。

本发明实施例可以实现目标着火物的位置的自动识别，相较于常规手动灭火方式，可以有效提到目标着火物的识别效率与准确度，有助于支持对目标着火物的灭火工作的开展，降低灭火准备时间，提升灭火效率低，并有助于进一步实现远距离自动化灭火，保障消防员人身安全。

本发明提供了截取的三维锥体区域作为目标空间区域的示例选择，并且可先利用映射模型和延拓的火焰ROI，找到具有投影的平面图像特征的三维锥体区域，平面图像特征与延拓的火焰ROI的图像特征是相似的或一致的，然后利用第一深度值的邻域，在深度方向上对三维锥体区域进行截取，得到目标空间区域。

本发明提供了截取的三维环状体区域作为目标空间区域的示例选择，并且可先利用第一深度值的邻域，在深度方向上在有雷达点云数据的空间中确定三维环状体区域，然后利用映射模型和延拓的火焰ROI，找到具有投影的平面图像特征的、(从三维环状体区域)截取的体区域，平面图像特征与延拓的火焰ROI的图像特征是相似的或一致的，截取的体区域即目标空间区域。即延拓的火焰ROI图像特征信息结合映射模型的使用可先于第一深度值的信息的使用，也可后于第一深度值的信息的使用。除上述的截取的三维环状体区域和截取的三维锥体区域之外，也可对包含雷达点云数据的三维空间进行其他不同的简单体区域划分，简单体区域还例如矩形体区域和柱体区域(示例地，坐标原点构建球体，球体直径可与柱体区域底面的直径相同)等。

本发明中可具体将可见光图像中火焰区域映射至红外图像中的火焰区域，剔除过滤重叠区域的低色温区域，能够大幅改善采集过程和现场环境的干扰造成的影响；也可具体将红外图像中的火焰区域映射至可见光图像中火焰区域，使得建立的火灾现场全景图像易于标注着火物和人员观察。

本发明中可具体采用包含目标区域的相邻两帧的图像确定第一深度值，以相机内参和拍摄的图像，结合相机坐标系内相似关系和图像像素偏差值，能够得到相邻两帧图像中的目标区域中心点的深度值。

本发明中可具体使用第一深度值的邻域边界值作为截面取得体区域，降低了选取点云数据的实现难度；也可以在此基础上采用更多个截面和/或截取的多个体区域，降低了参与运算的点云数据的规模。

本发明中可具体采用聚类的方式进行识别，具有精确度优势；本发明中也可以具体采用训练的机器模型进行识别，具有处理效率优势。本发明中雷达点云数据和拍摄的图像可分别在雷达坐标系和图像坐标系中，坐标系之间可以建立转换关系，转换关系即映射模型，可以在前述映射模型结合延拓的火焰ROI的使用之前，使用相互重叠的特征点，确定映射模型的具体表达式，从而将延拓的火焰ROI作为映射模型的输入，就能确定作为映射模型输出的三维锥体区域或截取的体区域。

本发明实施例的具体特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1为本发明实施例的主要方法的步骤示意图；

图2为本发明实施例的一种示例性的消防装备的硬件单元示意图；

图3为本发明实施例的一种示例性的相机单元和雷达单元在消防炮上布置的位置示意图；

图4为本发明实施例的一种示例性的表示雷达坐标系和世界坐标系相对关系的示意图；

图5为本发明实施例的一种示例性的Cube区域剖面示意图；

图6为本发明实施例的一种示例性的Cube区域三维示意图；

图7为本发明实施例的一种示例性的Cube截取区域剖面示意图；

图8为本发明实施例的一种示例性的应用场景下三维环状体区域示意图；

图9为本发明实施例的一种示例性的应用场景下控制单元执行操作的步骤示意图；

图10为本发明实施例的一种示例性的消防车上部署消防装备的安装位置示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

可尝试采用火灾探测、监控技术进行灭火，而该技术主要用于室内大空间场所和固定场所，如林场、石化生产储存地和隧道等，这类技术探测器安装位置固定，面对室外环境、探测设备空间位置动态改变、浓烟等情况，很难实现准确的火焰探测，容易出现火源发现不及时而造成人员和财产损失。也可尝试采用火焰定位技术，该技术中通常使用单目或双目视觉进行定位识别，然而，定位的有效距离十分有限，常限制在15米范围内，很难应对远距离的火源和开展灭火操作，远距离通常可指50米以上，导致在消防车灭火、自主机器人等场景中难以起效。同时，由于火焰的高温等离子体和高温反应物等属性，在尝试雷达扫描定位火焰过程中，将得不到火焰的有效点云数据。本发明实施例将提供自动化灭火的消防装备和消防车的解决方案。

实施例1

本发明实施例提供了检测着火物位置的方法，可以应用于消防装备，如图1，该方法可以包括：

A1)获取对火灾现场拍摄的图像，以及扫描的雷达点云数据，所述图像与所述雷达点云数据通过映射模型关联；

A2)确定拍摄的图像中的火焰ROI，以及所述火焰ROI的第一深度值；

A3)延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域；

A4)基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，所述目标点云数据为位于所述目标空间区域中的雷达点云数据。

在本发明实施例中，消防装备可以包括控制单元和数据采集单元，控制单元可以执行检测着火物位置的方法。在前述的步骤A1)中，拍摄的图像和雷达点云数据，可以是在步骤A1)之前，经控制单元与数据采集单元进行通信，控制单元获得的数据，例如经过总线通信、无线通信等方式获得。

在本发明公开的一种示例性的消防装备实例中，消防装备可以包括数据采集单元、控制单元和消防炮。如图2，数据采集单元中的相机单元可以包括红外(光)摄像头(即红外相机)和可见光摄像头(即可见光相机)，数据采集单元中的雷达单元可以是激光雷达或可远距离扫描的雷达。控制单元可以包括工控机(或服务器)和控制器，工控机可以被布置为车体，工控机可以包括高性能图像处理单元和中央处理单元等有利于快速运算数据的处理单元。工控机可以通过无线网桥接收相机单元和雷达单元传输的数据，将有利于减少搭建线路、降低成本。工控机可以被配置有可执行的应用程序/脚本，该应用程序/脚本可以用于建立雷达点云数据的火灾现场场景以及匹配拼接全景图像以及用于执行步骤A1)至步骤A4)等。控制器可以包括逻辑编程控制器、电机控制器、泵控制器、具有单片机芯片和/或片上系统芯片的集成电路等。控制器可以通过USB-CAN总线转换器与工控机连接，控制器可以基于工控机输出的数据，可以控制电机带动消防炮转动和操作灭火的电气设备等。

如图3，前述的消防炮可以包括电机、旋转机构和炮筒，消防炮的炮筒可以被两个电机(电机1和电机2)经旋转机构带动转动，使得炮筒的炮轴指向指定的位置。两个电机可分别用于水平方向转动消防炮和竖直方向转动消防炮的炮筒。该消防装备可以部署于履带式、轮式、自主机器人式等消防车上，该消防车可以配有支撑脚以及起重臂，起重臂伸展臂后可以将布置消防炮的工作平台抬升。在该消防装备实例中，红外摄像头和可见光摄像头以及激光雷达均可以通过支架被固定于消防炮上，在一些有利简化计算和标定的场景中，红外摄像头、可见光摄像头和激光雷达三者的光学轴可以在该三者中任意两者之间呈相互平行，该光学轴还可以与消防炮的炮轴平行，并且红外摄像头、可见光摄像头和激光雷达的朝向与消防炮的射流方向相同，从而实现计算简化、结构简化，改善运动机构的成本，不需要单独为相机单元、雷达单元和激光雷达设置云台和传动机构等运动机构。在一些有利操作人员观测火灾现场情况和火情趋势的场景中，前述的消防装备可以还包括具有输入功能的触摸屏，该触摸屏可以与工控机连接，可用于呈现拍摄、建立的火灾场景，呈现扫描的雷达点云数据等；同时，该工控机还可以与消防员携带的移动设备进行通信，可用于呈现拍摄、建立的火灾场景，呈现扫描的雷达点云数据，移动设备例如专用手持终端、平板和手机等。

在本发明实施例中，前述的步骤A1)中的图像可以是指定角度范围内拍摄的图像，雷达点云数据也可以是该指定角度范围内同步扫描的点云数据。在一些示例性的应用场景中，例如，火灾现场位于消防车车头和车尾连线的一侧，消防员可以经电气开关、触摸屏等开启消防装备，选择指定采集一侧的工作模式，检测时，控制单元将指定角度范围可以取0°～180°或180°～360°，相机单元和雷达单元扫描火灾现场后，其余角度范围(非火灾现场一侧)的图像和点云数据可以被指定为默认图像(指定数值)和默认点云数据(指定数值)，此时拍摄的图像可以与默认图像组合，构成具有所述火灾现场的组合图像，雷达点云数据可以与默认点云数据组合，构成具有所述火灾现场的组合点云数据，从而避免与火灾现场无关的数据干扰，减少数据运算量，加快确定着火物的位置数据。又例如，消防员可以经电气开关、触摸屏等开启消防装备，不需要进行任何选择，消防炮可以开始绕竖直方向旋转0°～360°，拍摄的图像可以是旋转拍摄所述火灾现场的全景图像，所述全景图像包括红外全景图像和可见光全景图像，扫描的雷达点云数据也是0°～360°全景的点云数据。雷达点云数据的扫描，与图像拍摄是视角同步的；在任意一个视角拍摄的图像，与在该任意一个视角(或包含该任意一个视角的视场)扫描的雷达点云数据具有映射关系，例如按照前述的安装布置方式进行旋转拍摄、扫描，各单元的光轴之间相互平行，在实现映射模型时可以以此进行标定坐标系，能够使得图像和点云数据作为输入数据，与映射模型匹配，不需要进行数据校正调整，减少计算量，加快完成着火物的位置确定。

本发明实施例中的全景图像可以是相机单元在被至少旋转一个角度前后所拍摄的至少两帧图像，对该拍摄的图像进行匹配、拼接的图像。在一些更有利于实现全自动化的场景中，如前述，相机单元和雷达单元可以随消防炮转动，被逐步旋转360度，消防炮每步可被旋转固定相同的角度α(相邻两步之间间隔固定相同的角度，有利于简化计算)，各摄像头光轴转动的角度即消防炮旋转角度，可将旋转前拍摄的图像置于指定的参考平面(可与深度方向垂直)内，可将旋转前后相邻的两帧图像进行特征点匹配，确定该相邻的两帧图像的变换关系(例如平移、旋转、仿射变换等)，再依据变换关系叠加两帧图像至参考平面内，从而使用拍摄的图像匹配、拼接的图像，在参考平面内形成火灾现场的全景图像。

本发明实施例中的雷达单元也是随消防炮同步旋转，雷达单元的光轴转动的角度即消防炮旋转角度，可以采用点云数据拼接(/配准)算法，对旋转前后扫描的点云数据进行拼接，通过雷达单元逐步扫描的雷达点云数据，形成火灾现场的雷达点云数据，其中，点云数据拼接算法例如RANSAC(Random sample consensus，随机采样一致性)算法、ICP(iterated closest point，迭代最近点)算法等。在一些更有利于运算的场景中，由于雷达单元与相机单元的光轴呈相互平行，可以将雷达单元旋转前后扫描的点云数据，沿深度方向向前述的参考平面投影，并基于旋转前后拍摄的图像中的边缘信息(角点、线段等)，将参考平面内的投影点云图像进行拼接/配准，从而减少计算量，加快完成关于火灾场景的图像和三维点云全景图的形成，如表1。

表1全景图像和点云数据的一种形成方式的示例

本发明实施例的相邻帧(具有旋转拍摄顺序性)的图像可以是相机单元旋转固定角度前后拍摄的两幅图像，也可以是深度值相机拍摄的图像，相邻帧的图像可以具有深度值信息，特征点也可以具有深度特征，并非是同一角度拍摄的多幅图像(可用于提升图像质量)。在本发明实施例中，深度(值)可以是雷达单元和被扫描的对象之间的、相机单元和被拍摄的对象之间的水平方向上的距离。

在该全自动化的场景中，由于相机单元和雷达单元的位置点固定，在实现方面，可以在各视角(视场中点云数据与图像中对应的物体存在映射关系)取多个标定的采集位置点，确定雷达单元扫描的雷达点云数据所在(三维)雷达坐标系与相机单元中红外摄像头拍摄的图像的位置点所在(二维)红外视觉坐标系之间的特征匹配关系，以该确定的特征匹配关系作为映射模型，映射模型可包括特征匹配矩阵(卷积层网络)和/或坐标转换算式(可用参数矩阵表示)，该映射模型可以称为红外视觉与激光雷达的融合映射模型。

在本发明实施例中，映射模型的确定方法，可以包括：

D1)标定雷达坐标系和图像坐标系，确定待求解参数矩阵的映射模型；

D2)将雷达点云数据转换为二维点云图像，提取拍摄的图像和所述二维点云图像中任意一者的特征点；

D3)确定另一者中与所述任意一者的特征点重叠的特征点；

D4)通过该重叠的特征点，确定所述待求解参数矩阵的数值。

其中，雷达坐标系和图像坐标系均可以以世界坐标系(或另建立的参考系)转换表示，坐标系之间可以通过参数矩阵(和/或方程组)表示映射模型；可以沿深度方向，将雷达点云数据投影至指定平面，投影的图像即二维点云图像，该二维点云图像具有与拍摄的图像相匹配的边缘信息、区域信息、空间关系信息等特征的信息；拍摄的图像可以包括红外(全景)图像和可见光(全景)图像，可以在红外图像和可见光图像之间确定图像映射模型；特征点是否重叠可以采用任意一种特征匹配算法进行识别，在一些有利于实施的场景中，采用SURF(Speeded up robust features，加速稳健特征)特征匹配算法具有旋转稳定性优势；重叠的特征点可分别作为步骤D1)中映射模型的输入和输出，从而可以求解参数矩阵的数值，使得映射模型可以投入实际使用。

在本发明公开的一些示例性的实例中，映射模型可以包括图像映射模型和融合映射模型，映射模型的确定方法可以包括：

D1-a)标定可见光图像坐标系和红外图像坐标系，确定待求解参数矩阵的图像映射模型；

D2-a)选取相机单元中各个摄像头在旋转固定角度前后采集的相邻两帧的图像，提取两帧红外图像中的SURF特征点，相邻两帧的红外图像的特征能够提供针对同一目标物体进行不同视角下的特征匹配的基础，避免不同物体在一帧图像中有相似的特征造成错误匹配；

D3-a)利用SURF特征匹配算法，确定待匹配可见光图像中重叠的特征点，并可以利用RANSAC算法剔除与SURF特征点错误地匹配的特征点；

D4-a)再根据匹配重叠的特征点，求解参数矩阵的数值，得到图像映射模型，从而完成拼接红外图像和可见光图像。

在该图像映射模型的使用方面，该图像映射模型可用于基于可见光图像和红外图像任意一者中给定的特征点(或从给定的局部图像或向量提取的特征点)，匹配另一者图像中的具有对应图像特征的特征点，例如红外图像中一个图像区域经该图像映射模型(提取其特征点)将确定可见光图像中具有对应图像特征的图像区域。

对于点云图像与红外图像之间的融合映射模型，该映射模型的确定方法还可以包括：

D1-b)标定雷达坐标系，结合已标定的红外图像坐标系，确定待求解参数矩阵的融合映射模型；

D2-b)选取相机单元中红外摄像头在旋转固定角度前后采集的相邻两帧的图像以及雷达单元在旋转固定角度前后扫描的两帧点云数据，将点云数据转换为二维点云图像，提取两帧红外图像中的SURF特征点，相邻两帧的红外图像的特征能够提供针对同一目标物体进行不同视角下的特征匹配的基础，避免不同物体在一帧图像中有相似的特征造成错误匹配；

D3-b)利用特征匹配算法，确定待匹配的二维点云图像中重叠的特征点，并利用RANSAC算法剔除与SURF特征点错误地匹配的特征点；

D4-b)再根据匹配的特征点，求解参数矩阵的数值，得到融合映射模型，从而完成拼接二维点云图像和红外图像。

在该融合映射模型的使用方面，该融合映射模型可用于基于点云图像和红外图像任意一者中给定的特征点(或从给定的局部图像或向量提取的特征点)，匹配另一者图像中的具有对应图像特征的特征点，例如红外图像中一个图像区域经该融合映射模型(提取其特征点)将确定二维点云图像中具有对应图像特征的图像区域，处于投影平面内的该图像区域和雷达坐标系原点，能够在雷达坐标系内确定一个三维锥体区域，若在该图像区域是具有与火焰ROI对应的图像特征时，此时三维锥体区域内的点云数据即初步点云数据。

需要说明的是，本发明实施例中点云图像中特征点可以描述单元分割的三维的体区域，由于雷达单元(和相机单元)与被扫描的对象相对距离较远，则单元分割的三维的体区域可以是三维锥体区域，即三维点云图像可视为由大量的三维锥体区域构成，某个三维锥体区域可以包括处于某个旋转角度时或视场时被扫描的点云数据，该点云数据的特征点与红外图像中图像区域的特征点是相互对应的。雷达单元扫描的雷达点云数据可包括本地坐标系坐标点、标识符、回波强度值、世界坐标系坐标点等。映射模型可以是集成、编译一体的，具有前述步骤D1)至步骤D4)对应的功能，且使用该功能的顺序是可以按实际产品需求进行调整的。鉴于不同的控制单元硬件处理能力、程序设计和计算时间要求等考虑，可以使用不同于SURF特征匹配算法的其他特征匹配算法，例如，尺度不变特征转换(Scale-invariant feature transform，SIFT)算法。可以理解的，相比可见光图像，使用红外图像与可见光图像建立映射以及与点云图像建立映射，可以具有更少的干扰信息的优势。此处“相对距离较远”可以至少是在可接受的成本条件下，单目或双目相机与被拍摄的对象之间的距离，该距离造成该单目或双目相机刚好难以确定被拍摄的对象的空间坐标，而本发明实施例的雷达单元在该成本条件下能够扫描到该对象。

前述的映射模型可(经特征点)拼接可见光图像、红外图像和点云图像三者，在一些应用场景中，使用该映射模型，可基于任意给定的图像区域(或从给定的局部图像或向量提取的特征点)，确定在该三者中对应图像特征的图像区域或体区域，从而构建现场环境360°全景红外图像、360°全景可见光图像、360°全景雷达点云图，并且具有一一对应关系，可以实现红外视觉坐标系中任意二维图像区域至雷达坐标系中截面和体区域的转换，如表2。

表2映射模型的一种示例性的模型实现和使用的图像对应关系表

在本发明公开的一些有利于简化计算的应用场景中，如图4，可以分别以臂架回转中心O为原点建立世界坐标系，以雷达单元的扫描中心O₁(x₁,y₁,z₁)为原点建立雷达坐标系，如图4所示，在扫描的相邻点云图像之间，消防炮绕竖直方向的水平调整的角度为α，建立消防炮转动前后的雷达坐标系转换模型，将转动后雷达点云数据的三维坐标，转换到初始雷达坐标系O-XYZ下：

式中，P_p(x_p,y_p,z_p)是转动前雷达点云数据的任意一个三维坐标点(未示出)，P_i(x_i,y_i,z_i)是转动后雷达点云数据对应的三维坐标点(未示出)。

在本发明实施例中，作为检测ROI的输入的红外全景图像和可见光全景图像之间，存在图像映射关系，图像映射关系可以包括红外图像坐标系与可见光图像坐标系转换关系和/或相机的光轴旋转同步关系(是否同步旋转、旋转角度偏差)，图像映射关系可以基于相机选型和标定的坐标系确定，例如采用可见光-红外多功能相机，可选择光轴旋转同步关系确定图像映射关系，采用可见光相机和红外相机两个相机，可选择红外图像坐标系与可见光图像坐标系转换关系和相机的光轴旋转同步关系。可以利用在红外图像坐标系中任意一区域，通过图像映射关系确定可见光图像坐标系中对应一区域，也可以利用可见光图像坐标系中任意一区域，通过图像映射关系确定红外图像坐标系中对应一区域。为了降低干扰，可以基于可见光与视觉融合技术检测出全景图像中的火焰区域，并在红外全景图像中标记出火焰ROI(感兴趣区域，Region of Interest)；为了有利于建立的火灾场景中呈现火焰ROI的标记框，可以将红外全景图像的火焰区域映射至可见光全景图像中进行标记。

为了识别各类物质燃烧温度T_f和避免环境温度T_h(均可通过图像检测得到，例如亮温或色温检测)的影响，可设定适应物质和环境的火焰动态预警值T_a：

T>T_a,T_a＝0.65T_f+0.2T_h

在图像中图像区域的环境温度T大于该预警值T_a时，可以启动火焰ROI的检测步骤A2)。

在前述的步骤A2)中，确定拍摄的图像中的火焰ROI，可以包括：

A201)检测所述可见光全景图像的火焰特征，得到第一火焰区域；

A202)对所述红外全景图像进行背景划分，确定疑似火焰区域，并检测所述疑似火焰区域的火焰特征，得到第二火焰区域；

A203)根据所述第一火焰区域、所述第二火焰区域以及所述图像映射关系，确定火焰ROI。

在本发明公开的一种示例性的火焰特征计算的实例中，在步骤A201)中，可以根据火焰的YCbCr空间颜色特征、形态特征、运动特征，检测火焰候选区域C1(即第一火焰区域)，用于可见光全景图像的火焰特征检测的计算规则可以包括：

颜色规则：|(x，y)-Y_means|≥ε₁且(x，y)-Cb(x，y)|≥ε₂

该式中，Y(x,y)、Cr(x,y)、Cb(x,y)表示(栅格化的)图像在像素点(x,y)的Y、Cr、Cb分量值，Y_means表示图像的Y分量均值，ε₁、ε₂为阈值；

形态规则：

且

且

该式中，Q(x,y)表示Haar小波高频能量，S、L表示火焰疑似区域的面积与周长，S_T表示最小外接矩形的面积，ε₃、ε₄、ε₅为阈值，I表示待筛选疑似火焰区域，(，y)∈I表示像素点(，y)属于待筛选疑似火焰区域I；

运动特征规则：

该式中，f(x,y)表示(x,y)处的像素灰度值，N表示相邻两帧火焰图像的SURF特征点对数量，x1_i、y1_i表示图像1中第i对特征点的坐标，x2_i、y2_i表示图像2中第i对特征点的坐标，S表示待筛选疑似火焰区域的面积，n为系数，此火焰特征计算的实例中x，y不延用至后续实施例中。

前述的步骤A202)可以包括：遍历红外全景图像各个像素点；当与像素点对应的色温(或该色温表示的实际温度)低于或等于设定阈值时，划分该像素点为背景区域；当与像素点对应的色温高于设定阈值时，划分该像素点为疑似火焰区域C2。对疑似火焰区域C2进行形态特征、运动特征计算，计算规则可以仍使用前述的形态规则和运动特征规则，剔除不符合该计算规则的伪火焰区域，得到红外全景图像中的疑似火焰区域C2(第二火焰区域)。

正如前述的位置标定和坐标系建立，由于可见光摄像头和红外摄像头固定安装，根据可见光摄像头和红外摄像头的相对位置，可以标定红外摄像头坐标系与可见光相摄像头坐标系，并可以获取相机的内、外参数，可建立红外图像与可见光图像之间的映射模型。在一些应用场景中，步骤A203)中，为减少干扰的目的，可以将可见光全景图像中筛选得到火焰区域映射至红外全景图像中。前述的步骤A203)可以包括：

A241)将所述第一火焰区域映射至所述红外全景图像内；

A242)剔除所述重叠区域中色温小于指定阈值的火焰区域；

A243)通过所述红外全景图像内剔除后得到的重叠区域以得到火焰ROI。

可具体将可见光全景图中的火焰区域C1映射到红外全景图上，得到区域C1'(映射的第一火焰区域)，融合(取交集)红外全景图中火焰区域C2和火焰区域C1'，得到重叠区域，将该重叠区域中色温小于设定阈值的像素点剔除，剔除后在红外全景图中最终生成的火焰区域C，即火焰ROI。

在前述的步骤A2)中，基于相邻帧的图像，估算所述火焰ROI的深度值，可以包括：

A205)在相邻两帧的图像之间确定包含目标区域的中心点，计算两中心点之间的像素偏差值，该目标区域是所述红外全景图像中的火焰ROI；

A206)基于拍摄该相邻两帧的图像的旋转角度、该相机的内参和所述像素偏差值，估算任意一个中心点的深度值，该旋转角度可以是相机单元的光轴的旋转角度，该任意一个中心点是目标区域的中心点，也可以视为粗定位的目标着火物的火焰的中心点。

其中，相邻两帧的图像可以是红外图像，可以将红外全景图像检测的火焰ROI作为目标区域。同一目标着火物的火焰在该相邻两幅的红外图像之间的ROI的标记框可以有偏移量。相机单元内部成像点和焦点等相机的内参与标记框的中心点，在三维空间中，可相互连线，呈相似三角形关系(或几何关系，旋转角度也是已知的)，可以基于相似三角形关系，以及偏移量，确定目标着火物的火焰ROI的粗定位深度值。因此，可以提取包含该目标区域的相邻两幅的红外图像(未拼接的)，确定火焰ROI或目标区域，并通过像素(每个像素代表单位长度)表示偏移量，确定目标区域在两幅图像中标记框的中心点，计算两标记框的中心点之间的水平像素偏差值(两中心点在水平方向上的像素个数)，基于水平像素偏差值、相机的旋转角度α、相机内参，估算目标区域的深度值h，可以将该深度值h作为火焰ROI的深度值，可作为前述的第一深度值或者粗定位的深度值。

由于火焰的高温等离子体将以吸收、折射等方式干扰电磁波等属性，导致激光雷达很难扫描到有效的火焰点云数据，但实际目标着火物是贴近火源的，因此，可以将火焰ROI的区域扩大范围，就能使目标着火物体包含在扩大后的ROI区域。在前述步骤A3)中，延拓(扩大或增加等)火焰ROI可以包括：

A301)将所述火焰ROI的区域大小扩大至指定的区域大小；

A302)将所述火焰ROI的区域尺寸增加至指定数值。

其中，区域大小可以是面积，区域尺寸可以是边长、对角线等，区域大小增量Δs和区域尺寸增量Δl可以是配置的。

在本发明实施例中，在一些应用场景中，可以先使用图像特征信息，后使用深度信息，具有精确度的优势。前述的步骤A3)还可以包括：

A303a)基于所述映射模型和所述延拓的火焰ROI，确定三维锥体区域；

A304a)使用所述第一深度值的邻域，截取所述三维锥体区域，得到目标空间区域。

在一些应用场景中，三维空间(包含雷达点云数据)在与深度方向垂直的指定投影平面上可分为有限个矩形框，各矩形框的顶点与坐标原点的连线所围成的空间区域即一种三维锥体区域。本发明实施例中三维锥体区域可以被视为，划分包含雷达点云数据的空间的基本单元，可以使用映射模型基于延拓的火焰ROI的图像特征，在整个空间中的所有基本单元中，唯一地确定具有该图像特征的一个三维锥体区域。如图5，可以使用红外全景图像与雷达点云数据(点云图像)的融合映射模型，将延拓的火焰ROI作为图像区域，输入映射模型，在三维空间映射得到三维锥体区域，三维锥体区域含有的雷达点云数据是初步点云数据，可以称该三维锥体区域为Cube区域(图5中剖面区域为三角形区域)。三维锥体区域可以包括圆锥体区域或多面体区域等体区域。例如，如图6，ROI选为矩形框，则三维锥体区域可以是以雷达单元的坐标点为顶点的四面锥体区域(如图6所示Cube区域)或以雷达单元为顶点的圆锥体区域，该三维锥体区域在指定平面(如水平面)上的投影区域，经雷达单元的光轴绕雷达单元的坐标点扫描覆盖该投影区域的最大角度，与相机单元中红外摄像头的光轴绕红外摄像头的坐标点扫描覆盖火焰ROI(如框顶点对应的现场位置点)的最大角度，可以是相等的，如图6中角度γ。

在前述的三维锥体区域的基础上，在步骤A4)中，为了进一步加快完成确定目标着火物的位置数据，可对三维锥体区域进行截取，步骤A304a)可以包括：

A341a)确定所述第一深度值的邻域边界值，所述邻域具有指定的阈值区间大小；

A342a)确定所述三维锥体区域中具有深度值为左邻域边界值的截面和具有深度值为右邻域边界值的截面；

A343a)将所述三维锥体区域中两截面之间的体区域作为所述目标空间区域。

对于截取，如图7，根据火焰ROI的估算的深度值h，可以截取该Cube区域中的[h-Δh，h+Δh]部分(图7中剖面区域为四边形)的体区域，保留截取的体区域内的点云数据，可以称该截取的体区域为Cube截取区域；该Cube截取区域将包含目标着火物的点云数据。此时，对于分割，可以对Cube截取区域进行近邻搜索、欧氏聚类，分割出目标着火物的点云数据。

在本发明实施例中，在一些示例性的应用场景中，可以先使用深度信息，后使用图像特征信息，具有处理效率的优势。前述的步骤A3)还可以包括：

A303b)基于所述第一深度值的邻域，确定三维环状体区域；

A304b)基于所述映射模型和所述延拓的火焰ROI，截取所述三维环状体区域，得到目标空间区域。

在步骤A303b)中，可以过滤大量与火焰区域和目标着火物无关的雷达点云数据，使得在A304b)中，三维环状体区域内参与映射模型的计算的雷达点云数据规模显著降低，可以使用映射模型基于延拓的火焰ROI更快速地确定截取的体区域。其中，如图8，步骤A304b)可以包括：

A341b)初始化一个固定大小的基本单元，使用该基本单元复制三维环状体区域中指定角度范围内的雷达点云数据，基本单元的尺寸和形状可以与三维环状体区域中截取的一段体区域的尺寸和形状一致；

A342b)可使用映射模型基于延拓的火焰ROI，判断该基本单元内的雷达点云数据在深度方向上是否具有与延拓的火焰ROI相似或一致的特征，如果是，则执行步骤A343b)，如果否，则清空该基本单元，再使用该基本单元复制三维环状体区域中下一个指定角度范围内的雷达点云数据，判断该基本单元内的雷达点云数据在深度方向上是否具有与延拓的火焰ROI相似或一致的图像特征，以此迭代，逐指定角度，顺时针或逆时针扫描整个三维环状体区域；

A343b)确定与此时的基本单元对应的三维环状体区域中截取的体区域，该截取的体区域即目标空间区域。

对目标空间区域内目标点云数据，可以采用聚类算法或支持向量机或卷积神经网络等机器学习算法，确定目标着火物及该目标着火物的点云数据，并经该点云数据，最后确定位置数据。其中，机器学习算法的训练样本可以收集正在着火的物体的点云数据，从而使得机器学习算法，在被使用时，具有可以单独分类目标着火物点云的特征识别能力。

该位置数据可以包括该目标着火物的点云数据中的一个坐标点，例如质心坐标点、几何中心点等。

该位置数据还可以包括该目标着火物的点云数据中一个坐标点集合，例如由该点云数据中指定的一个坐标点至指定的另一个坐标点之间的直线上，确定的全部坐标点(属于该点云数据)所构成坐标点集合，或由该点云数据中指定的三个坐标点确定的平面上，确定的全部坐标点(属于该点云数据)所构成坐标点集合。

该位置数据还可以包括由连续区间确定的位置范围，该连续区间可以是由该目标着火物的点云数据中指定的两个坐标点在直线方向上确定的连续区间，例如，在世界坐标系中，该点云数据中第一坐标点(P1,Q1,R1)和第二坐标点(P2,Q2,R2)，位置范围可以被指定为：在X轴方向上的连续区间即x∈[P1,P2]，y属于该点云数据中由在Y轴方向上的最小坐标值和最大坐标值构成的连续区间，z属于该点云数据中由在Z轴方向上的最小坐标值和最大坐标值构成的连续区间，在另一些场景中，可以类似地，将y，z分别限制于[Q1,Q2]、[R1,R2]的连续区间。

检测的目标着火物的位置数据处于点云数据的三维散点包络面内，可以是点云数据本身的坐标点/集合，也可以是三维散点包络面内选取的坐标点或坐标点之间的连续区间，能够适应于消防车产品特点，可采用位置数据的具体数据形式，并在一些实际火灾现场中，可考虑目标着火物的燃烧规律、表面特点等，以及选择的灭火操作方式和现场环境条件，使用一种或多种位置数据，提高自动灭火的准确性和有效性。

在本发明实施例公开的第一种示例性的应用场景中，步骤A4)可以包括：

A401a)对截取的体区域内目标点云数据进行聚类，分割得到目标着火物的点云数据，其中，截取的体区域内可具有非目标着火物的物体以及目标着火物的点云，聚类算法可以区分该物体与目标着火物(确定分类)，并分割确定截取的体区域内属于目标着火物的点云数据；

A402a)基于所述目标着火物的点云数据，得到目标着火物的位置数据。

在本发明实施例公开的第二种示例性的的应用场景中，前述的邻域可以是选取的连续范围，也可以是离散的点集。为有利于快速确定目标着火物的点云数据，在第一深度值的邻域中，在深度方向上间隔固定距离选取多个相近深度值的点，例如左邻域中选取10个～50个，右邻域中选取10个～50个，截取的体区域内在具有第一深度值的截面以及具有相近深度值的多个截面上的点云数据，沿深度方向仍具有目标着火物的特征。因此，可在所述三维锥体区域内，确定具有第一深度值和多个相近深度值的截面，步骤A4)也可以包括：

A401b)将确定的多个截面上的目标点云数据进行聚类，分割得到目标着火物及其点云数据，该聚类的算法可以选择近邻或均值类聚类算法；

A402b)基于目标着火物的点云数据，得到目标着火物的位置数据。

在本发明实施例公开的第三种示例性的应用场景中，可确定第一深度值的邻域和多个相近深度值的邻域，在所述三维锥体区域内，截取与各邻域对应的微小体区域，在第一种和第二种示例性的应用场景的基础上，步骤A4)也可以包括：

A401c)对截取的多段微小体区域内目标点云数据进行聚类，分割得到目标着火物及其点云数据；

A402c)基于目标着火物的点云数据，得到目标着火物的位置数据。

其中，对第一深度值的点、多个相近深度值的点分别再取相同阈值区间大小的邻域(例如半径数值均为Δh*5％)，将前述的Cube截取区域进行进一步地截取，截取的多段微小体区域内的点云数据，沿深度方向仍具有目标着火物的特征，然后对截取的多段微小体区域内的点云数据进行聚类或机器学习算法分类，可确定目标着火物及目标着火物的位置数据。离散的多个截面和多段微小体区域的处理方式可非常有助于使用高分辨率激光雷达的点云数据处理效率提升，从而加快完成目标着火物的位置数据确定。

本发明实施例还提供了同一发明构思下的消防装备的自动灭火方法，所述消防装备包括控制单元和消防炮，该自动灭火方法可以包括：

B1)通过所述控制单元执行前述的检测着火物位置的方法，确定目标着火物的位置数据；

B2)通过所述控制单元基于所述位置数据，控制所述消防炮转动并对准所述目标着火物的指定位置，执行灭火操作。

在前述的实施例中，位置数据可以与灭火操作的具体方式进行匹配地选择，例如灭火操作可以是对准坐标点静态地喷射，也可以是在受限范围内动态地扫射。

在本发明实施例公开的一种示例性静态灭火操作场景中，位置数据可以是一个坐标点，该坐标点作为目标着火物的指定位置。

可以以局部平均法或加权平均法或几何中心计算等方式，计算目标着火物的点云数据，得到该点云数据的第二深度值，从而确定(生成坐标点或将具有该深度值的点云数据的点作为)火源点的三维坐标P(x₁,y₂,z₂)，火源点可以视为识别的、有效的、灭火操作的射流打击点，远距离灭火的射流不是扩散的伞状射流，而是细长的射流，但经过远距离抛射后，会发散成一个扩散的范围，找到一个火源点即可以进行远距离自动化灭火。

在本发明实施例中，步骤B2)可以包括：

B201a)通过控制单元计算消防炮的炮轴朝向与所述火源点的偏转角度；

B202a)通过控制单元控制运动机构带动所述消防炮转动所述偏转角度，其中，控制可以是由前述的控制单元向电机控制器或运动机构的控制器发送携带火源点或偏转角度信息的信号。

前述实施例中的消防炮的旋转与步骤B202a)中的转动都可以是运动机构带动实现的，运动机构可以是可旋转(如360度)的臂架或消防炮的转向电机，也可以由臂架带动旋转消防炮，使得相机单元和雷达单元同步拍摄和扫描，然后由消防炮的转向电机带动进行火源点对准。在一些应用场景中，消防炮可由电机1和电机2带动，分别实现竖直方向和水平方向的转动，换算火源点至雷达坐标系中，得到坐标点P(x₁,y₁,z₁)，以及确定雷达单元、消防炮的固定安装位置偏差P(x_p1,y_p1,z_p1)，计算消防炮相对坐标点P(x₁,y₁,z₁)的水平偏转角度α'、竖直偏转角度β：

电机2控制消防炮旋转α'，电机1控制消防炮旋转β，从而使消防炮瞄准火源，最后，可以执行电动阀门开启、液泵开启等灭火操作，使得消防炮喷射灭火剂流，精准打击目标，实现全自动的灭火操作。

在本发明实施例公开的一种示例性动态灭火操作场景中，位置数据可以是由连续区间确定的位置范围，该位置范围可以是角度范围，作为目标着火物的指定位置。其中，在一些情况中，可以对目标着火物的点云数据进行计算，得到该点云数据的第二深度值，确定火源点的三维坐标P(x₁,y₂,z₂)，并取以三维坐标P(x₁,y₂,z₂)为球心，半径为指定值r的球体区域，位置范围可以是球体区域。为了便于全自动化控制，步骤B2)也可以包括：

B201b)通过控制单元确定两条过消防炮的坐标点的球体区域的切线和过该两条切线的截面，两切点构成的直线可以过该点云数据的质心或质心与该直线距离小于指定值；

B202b)通过控制单元控制运动机构带动消防炮运动，使得消防炮的炮轴运动的范围被限制于过该两条切线的截面内，且位于该两条切线所成角度范围之间，可以视为识别的、有效的、灭火操作的射流打击范围。

最后，可以执行电动阀门开启、液泵开启等灭火操作，使得消防炮喷射灭火剂流，此时消防炮可以处于持续运动过程中，可以对远距离的呈排列式的目标着火物进行精准扫射，实现全自动的灭火操作。

在另一些情况中，可以对目标着火物的点云数据进行计算，得到该点云数据的在各坐标轴上的最大值和最小值坐标点，步骤B2)也可以包括：

B201c)通过控制单元确定X轴方向上最小值至最大值的坐标区间，选取该坐标区间长度的10％～50％，长度的10％～50％是X轴方向上的一段距离，并基于选取的距离确定目标着火物的点云数据中在X轴方向上至少具有该距离的两个坐标点，此时位置范围可以被指定为：在X轴方向上的连续区间即x属于该两个坐标点的X轴方向上坐标值的连续区间，y属于该点云数据中由在Y轴方向上的最小坐标值和最大坐标值构成的连续区间，z属于该点云数据中由在Z轴方向上的最小坐标值和最大坐标值构成的连续区间；

B202c)通过控制单元控制运动机构按照指定轨迹或自由带动消防炮运动，使得消防炮的炮轴运动的范围被限制于步骤B201c)中指定的位置范围内，该指定的位置范围可以视为识别的、有效的、灭火操作的射流打击范围。

最后，可以执行电动阀门开启、液泵开启等灭火操作，使得消防炮喷射灭火剂流，此时消防炮可以处于持续运动过程中，可以对远距离的、呈规模的过火面积和有规模的可燃物的目标着火物进行精准定位覆盖，实现全自动的灭火操作。

本发明实施例中控制单元可以基于目标着火物的点云数据的简单几何特征和/或灭火操作的静态或动态工作模式，选择上述的位置数据的具体数据形式，简单几何特征可以包括深度方向上的坐标点最大距离大小、任意一个坐标轴方向上的坐标点最大距离大小、多个方向上的坐标点之间的距离大小等。可以理解的，本发明实施例的公开值均是示例性的，不作为限制的实施方式，可以调整和有不同的选择，以符合产品特点和实际应用环境。

本发明实施例的自动灭火方法，也可以应用于数据采集单元，该数据采集单元包括相机单元和雷达单元，该自动灭火方法还可以包括：

C1)将消防炮转动至指定角度，通过相机单元拍摄火灾现场当前角度下的可见光图像和红外图像，且通过雷达单元同步扫描所述火灾现场的当前角度下的现场场景；

C2)将所述消防炮转动至下一指定角度，通过所述相机单元拍摄所述火灾现场当前角度下的可见光图像和红外图像，且通过所述雷达单元同步扫描所述火灾现场的当前角度下的现场场景；

其中，所述相机单元和所述雷达单元均被布置于所述消防炮，所述消防炮由电机带动转动，各角度拍摄的可见光图像和红外图像分别用于形成可见光全景图像和红外全景图像，各角度扫描所述火灾现场的数据用于形成雷达点云数据。

本发明实施例克服了雷达是难以扫描火焰的(火焰中高温等离子体将以吸收、折射等方式干扰电磁波)的问题，通过该体区域内的点云或取多个截面上的点云，确定出着火物的点云，经控制消防炮，对准目标着火物，实现自动化的灭火操作，且实现了远距离的自动化灭火及消防装备。

本发明实施例中可具体通过深度值的邻域，在三维锥体区域中再确定截取的体区域，在该截取的体区域中聚类或模型检测，分割目标着火物的点云数据。也可通过深度值取在三维锥体区域中的多个截面，在该多个截面上的点云分割目标着火物的点云数据。可采用同步拍摄的可见光图像和红外图像以及扫描的雷达点云数据，将有利于映射模型建立和简化计算。可具体改变火焰ROI的尺寸或大小，使得延拓后的ROI包含目标着火物。可适应应用需要和计算简化，可指定一种具体形态的三维锥体区域作为默认生成的形态，例如圆锥体区域或多面体区域。可具体使用深度值的邻域边界值取截面，截面之间的体区域作为截取的体区域。可选择计算优化的算法，例如近邻搜索和欧氏聚类，以及局部平均法。可配置消防炮由电机带动转向至计算的角度，实现自动化的火源点瞄准。

本发明实施例采用了红外摄像头(相机)、可见光摄像头实现消防炮动态运动中火焰检测功能，解决了探测设备转动、浓烟等情况下的火焰探测问题，将火灾探测技术适用范围扩展到了室外运动场景。本发明采用了融合红外视觉、可见光视觉与雷达点云数据，并结合了火焰特征，实现了360°全方位监控、火源探测、远距离虚拟化火焰的高精度定位，并且解决了在火焰检测领域视觉定位距离近(15m范围内)的关键难题问题。本发明采用了红外摄像头、可见光摄像头、激光雷达进行场景扫描、火焰检测与定位，进而控制消防炮，瞄准、打击目标着火物，实现了全自动消防车灭火，无需人工参与任何环节，减少了消防灭火效率，保障了消防员的生命安全。

实施例2

本发明实施例与实施例1属于同一发明构思，本发明实施例提供了检测着火物位置的系统，该系统可以包括：

具体的，延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域，包括：

基于所述第一深度值的邻域，确定三维环状体区域；

具体的，拍摄的图像包括红外全景图像和可见光全景图像，所述红外全景图像和所述可见光全景图像之间存在图像映射关系；

所述确定拍摄的图像中的火焰ROI，包括：

检测所述可见光全景图像的火焰特征，得到第一火焰区域；

具体的，根据所述第一火焰区域、所述第二火焰区域以及所述图像映射关系，确定火焰ROI，包括：

将所述第一火焰区域映射至所述红外全景图像内；

具体的，确定所述火焰ROI的第一深度值，包括：

具体的，使用所述第一深度值的邻域，截取所述三维锥体区域，得到所述目标空间区域，包括：

具体的，基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，包括：

具体的，映射模型的确定方法包括：

本发明实施例还提供一种消防装备的自动灭火系统，所述消防装备包括控制单元和消防炮，该自动灭火系统包括：

控制模块，用于通过所述控制单元执行前述的检测着火物位置的方法，确定目标着火物的位置数据；

所述控制模块用于通过所述控制单元基于所述位置数据，控制所述消防炮转动并对准所述目标着火物的指定位置，执行灭火操作。

具体的，消防装备还包括相机单元和雷达单元，所述相机单元和所述雷达单元均被布置于所述消防炮，该自动灭火系统还包括：

数据采集模块，用于通过所述控制单元将所述消防炮转动至指定角度，通过所述相机单元拍摄火灾现场的可见光图像和红外图像，且通过所述雷达单元同步扫描所述火灾现场；

所述数据采集模块用于通过所述控制单元将所述消防炮转动至下一指定角度，通过所述相机单元拍摄所述火灾现场的可见光图像和红外图像，且通过所述雷达单元同步扫描所述火灾现场；

本发明通过红外相机、可见光相机与激光雷达进行消防车救援场景中360°全方位火源检测与定位，并实现消防炮自动控制控制精准瞄准、打击目标火源的方法、装置和系统，实现消防车灭火全自动化；本发明通过消防炮带动激光雷达、红外相机、可见光相机360°旋转扫描作业场景，进而拼接成360°全景视觉、点云图，实现现场环境全方位监控，不需要人工参与环节，如目标初始信息输入、消防炮调整等，并且将雷达单元和相机单元集成于消防炮，不需要云台、姿态仪等设备，本发明系统结构更简单；本发明融合了火焰温度、颜色、形状、高频能量、动态特征综合检测火焰区域，通过计算消防炮转动前后的火焰中心偏移量，补偿相机的转动量，实现现场环境全方位的火焰自动检测；本发明通过全景图中检测的火焰目标索引出红外扫描图像，计算火焰中心偏移量、消防炮转动量、相机内参，实现基于单目红外视觉的火焰粗定位；本发明基于采集的信息融合，远距离精准定位虚拟化火焰，膨胀火焰ROI使其包含目标着火物，而后，将二维ROI映射为点云的Cube区域，根据火焰粗定位距离h约束目标的Cube范围，从而实现火焰精准定位；本发明通过火焰空间位置检测，解算为消防炮的水平、俯仰转动量，进而自动控制消防炮瞄准、打击目标着火物的方法，提高了消防车系统智能化水平，保障了消防员人身安全。

实施例3

本发明实施例与实施例1和2均属于同一发明构思，本发明实施例提供了实施例1中的消防车，该消防车可以包括：

消防炮，由电机带动转动以及可由臂架带动转动；

相机单元和雷达单元，均被布置于所述消防炮，且均与所述消防炮同步转动；

控制单元，用于执行实施例1中的方法。

在本发明公开的一种示例性的应用场景中，如图9，控制单元可以具体用于：

K1)获得相机单元和雷达单元采集的数据，并控制消防炮水平旋转α角度；

K2)判断是否已完成扫描360度，若否则返回步骤K1)，若是则继续执行步骤K3)；

K3)匹配及拼接相邻的红外图像、可见光图像，分别得到火灾现场场景的红外全景图像、可见光全景图像；

K4)根据雷达坐标系与相机视觉坐标系位姿关系，建立视觉-雷达融合模型；

K5)匹配及拼接雷达点云数据，得到雷达点云全景图，并根据视觉-雷达融合模型建立红外全景图像与点云全景图像之间的映射关系；

K6)根据火焰颜色、形态、运动特征，检测可见光全景图像中的火焰区域C1；

K7)根据火焰温度、形态、运动特征，检测红外全景图像中的火焰区域C2；

K8)标定可见光与红外视觉的映射模型，将火焰区域C1映射到红外全景图像中得到火焰区域C1'，过滤掉火焰区域C2与火焰区域C1'重叠区域小于设定阈值的伪火焰区域；

K9)提取火焰ROI的边缘、中心点信息，提取全景图像中包含目标区域的相邻两幅红外扫描图像，计算目标火焰中心在两图像中的水平像素偏差，根据图像对应的旋转角度α，初步解算目标的深度信息；

K10)根据2D-3D的映射模型，提取点云图中对应的Cube区域；

K11)根据初步解算的、粗定位的深度信息，进一步缩小Cube区域的范围，得到Cube截取区域；

K12)对Cube截取区域内点云数据进行近邻搜索、聚类分割，获取目标火焰的点云；

K13)基于局部平均法计算目标点云数据的三维坐标，作为火焰目标的空间位置点；

K14)依据雷达单元、消防炮的固定安装位置偏差，雷达坐标系中火焰坐标减去安装位置偏差，解算出消防炮与目标火源间的相对位置关系；

K15)基于火源点与炮口水平、垂直方向的位置偏差，以及火源点与炮口的距离，解算出消防炮的水平、俯仰角度偏差；

K16)将解算的水平、俯仰角度偏差值发送到消防车控制器，控制消防炮旋转对应的角度，实现消防炮对火源点的精准瞄准；

K17)驱动消防车控制器控制水泵、电动阀门开启，水射流精准打击到目标火源上，完成全自动灭火操作。

前述的消防车的选择可以还包括登高/工作平台、云梯、举高喷射等系列的消防车。如图10，该消防车可以包括车体、臂架型起重臂以及工作平台，工作平台可以配有前述的消防装备。消防装备中消防炮上安装有红外火摄像头、可见光摄像头和激光雷达，也可以改制消防炮的外壳(例如内置安装腔和卡接口，安装腔开口与炮口朝向一致)，将两摄像头、激光雷达集成为一体式消防炮。工作平台还可以配有与红外火摄像头、可见光摄像头和激光雷达分别连接的无线网桥发送端，车体可以搭载有多个硬件设备，该多个硬件设备可以包括无线网桥接收端、控制单元和触摸屏等，控制单元可包括工控机和控制器，工控机可以经无线网桥接收端接收无线网桥发送端发送的数据，工控机用于执行实施例1中的方法，控制器可以通过USB-CAN总线转换器与工控机连接，控制器可以基于工控机输出的数据(例如目标着火物的位置数据)，可以控制电机带动消防炮转动和操作灭火的电气设备等。可以理解的，控制单元的具体实施方式，可以基于产品集成度和设备的计算、指令处理能力高低等考虑，采用工控机、具有片上系统型芯片的集成电路板等不同于工控机和控制器的硬件选择，用于实现前述实施例1中的方法。

该消防车能够基于可见光、红外视觉以及激光雷达的执行火焰检测；基于多信息融合的火焰定位模块，精准控制消防炮水平、俯仰角度。

首先，该消防车可以利用消防炮电机带动相机单元、雷达单元水平旋转360度，建立火灾现场场景的红外全景图、点云全景图的映射关系；

而后，该消防车可以基于可见光与红外数据融合技术，检测红外全景图像中的火焰ROI，再融合雷达点云数据定位目标火源点；

最后，该消防车可以根据目标的三维空间位置及设备安装位姿，解算消防炮的俯仰、水平角度控制参数，自动控制消防炮快速精准的跟踪、瞄准、打击目标火源点。在本发明公开的一些典型消防车的示例中，本发明的消防车可以在15秒内快速完成火焰扫描、消防炮瞄准火源等灭火操作的准备。在一些应用场景中，该消防车还可以基于风速、炮出口压力和出射口到火源点的距离，控制消防车上用于灭火操作的电气设备，使得射流进一步精准命中火源点。

本发明实施例还提供了电子设备，该电子设备可以包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现实施例1的方法。

本发明实施例还提供了机器可读存储介质，存储有机器指令，当所述机器指令在机器上运行时，使得机器执行实施例1的方法。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质可以是非瞬时的，存储介质可以包括：U盘、硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、闪存(Flash memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims

1.一种检测着火物位置的方法，其特征在于，该方法包括：

2.根据权利要求1所述的检测着火物位置的方法，其特征在于，所述延拓所述火焰ROI，并基于所述映射模型、延拓的火焰ROI以及所述第一深度值，确定目标空间区域，包括：

3.根据权利要求1所述的检测着火物位置的方法，其特征在于，所述拍摄的图像包括红外全景图像和可见光全景图像，所述红外全景图像和所述可见光全景图像之间存在图像映射关系；

所述确定拍摄的图像中的火焰ROI，包括：

检测所述可见光全景图像的火焰特征，得到第一火焰区域；

4.根据权利要求3所述的检测着火物位置的方法，其特征在于，所述根据所述第一火焰区域、所述第二火焰区域以及所述图像映射关系，确定火焰ROI，包括：

将所述第一火焰区域映射至所述红外全景图像内；

5.根据权利要求4所述的检测着火物位置的方法，其特征在于，所述确定所述火焰ROI的第一深度值，包括：

6.根据权利要求2所述的检测着火物位置的方法，其特征在于，所述使用所述第一深度值的邻域，截取所述三维锥体区域，得到所述目标空间区域，包括：

7.根据权利要求1所述的检测着火物位置的方法，其特征在于，所述基于目标点云数据，识别目标着火物及所述目标着火物的位置数据，包括：

8.根据权利要求1所述的检测着火物位置的方法，其特征在于，所述映射模型的确定方法包括：

9.一种消防装备的自动灭火方法，其特征在于，所述消防装备包括控制单元和消防炮，该自动灭火方法包括：

通过所述控制单元执行权利要求1至8中任意一项所述的检测着火物位置的方法，确定目标着火物的位置数据；

10.根据权利要求9所述的消防装备的自动灭火方法，其特征在于，所述消防装备还包括相机单元和雷达单元，所述相机单元和所述雷达单元均被布置于所述消防炮，该自动灭火方法还包括：

11.一种检测着火物位置的系统，其特征在于，该系统包括：

12.一种电子设备，其特征在于，该电子设备包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至10中任意一项权利要求所述的方法。

13.一种消防车，其特征在于，该消防车配有权利要求9或10所述的消防装备的自动灭火方法中的消防装备，和/或权利要求12所述的电子设备。

14.一种机器可读存储介质，存储有机器指令，当所述机器指令在机器上运行时，使得机器执行权利要求1至10中任意一项权利要求所述的方法。