CN111824406A - 一种基于机器视觉的公共安全自主巡查四旋翼无人机 - Google Patents

Abstract

本发明公开了一种基于机器视觉的公共安全自主巡查四旋翼无人机，属于飞行器领域；由动力系统、飞行控制系统、数据处理系统、移动终端系统组成。系统运行时，将由移动终端系统上传至数据处理系统的目标模型对图像采集模块所获得的实时图像数据进行分析处理以获得图像中的目标种类，当识别为人类后，利用图像数据计算出人员密度以判断该场景是否为可疑危险人员集群，然后逐个抵近人员进行面部数据扫描，通过红外热像仪获得人体温度数据以判断人体温度是否正常，同时将人脸外部特征与罪犯人脸库中图片进行对比判断是否为在逃人员。

Description

一种基于机器视觉的公共安全自主巡查四旋翼无人机

技术领域

本发明属于飞行器领域，具体涉及一种基于机器视觉的公共安全自主巡查四旋翼无人机。

背景技术

无人机技术发展迅速，中小型无人机凭借其便携的体型被运用于多种场景，如搜救、航拍摄影、自然资源勘察、野外狩猎、目标监控侦察等。小型四旋翼无人机更是凭借其易操控，空中活动灵活的优势，借助视觉传感器，可以获得更多的环境信息，其应用场景也比其他飞行器多得多。基于机器视觉的四旋翼无人机应用有目标跟踪，交通管理，空中导航等，但目前这些功能的实现大都离不开操作人员，自动化程度十分有限，应用人工智能中的图像识别技术实现对人类行为识别的无人机应用更是少有。只有部分目标识别技术采用地面站对图像信息进行处理，能够识别目标，此方法虽然能够处理复杂的模型，但是时间延迟相比于机载图像处理板处理图像信息高得多。

目前有专利文献提出无人机用于安防领域的实施方法，如名称为“一种多旋翼无人机动态安防系统”（公开号为CN207078318U）和名称为“一种基于无人机的安防系统”（公开号为CN110766907A）的专利文献，通过无人机搭载FPV图像系统以及一些功能模块获得无人机所监测环境的数据，再将数据发送至地面站供操作人员判断是否安全。上述两个专利采用的都是使用数据传输系统将获得的所有信息传输至地面站供操作人员判断是否安全，所采集的图像处理的过程都由人工完成，此实施方法耗时耗力，没有体现无人机的自主化、智能化。

也有专利文献提出应用人脸识别技术对罪犯进行识别并绘制罪犯行踪地图的实施方法，如专利名称为“一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法”（授权公告号为CN103699677B），该专利所述系统的实施方法为利用道路和街道上安装的固定摄像头所采集的人脸图像信息与警方提供的罪犯的人脸数据进行对比，从而寻找出罪犯的踪迹。采用数量庞大的固定摄像头采集人脸数据本身是一个信息量十分巨大的操作，从采集到罪犯人脸数据到处理完图像数据发现罪犯所需时间也是漫长的。相比于发现人体目标然后主动获取目标人脸数据的方法，该专利所述的人脸数据采集的方法效率低，被动性高、随机性大。其次，固定摄像头所覆盖的区域有限，对于反侦察意识高的罪犯其作用微乎其微。综上对该专利文献所述，该专利实施方法所采用的罪犯踪迹的寻找方法效率低、可靠性不高、环境应对适应能立差、实用性不强。

发明内容

本发明的目的在于提出一种基于机器视觉的公共安全自主巡查四旋翼无人机，该无人机可实现全天候实时自动寻找可疑人员或者在逃犯罪分子并进行自动跟踪、自动对人体目标进行体温安全检测和自主检测可疑人员集群的功能。这些功能的实现都不需要人工介入，凭借无人机自身就能够自主完成。

本发明的技术方案如下：一种基于机器视觉的公共安全自主巡查四旋翼无人机，由动力系统、飞行控制系统、数据处理系统、移动终端系统组成；其特征在于：

动力系统用于为无人机提供飞行动力以及为飞行控制系统和数据处理系统提供电源；

飞行控制系统用于控制四旋翼无人机的飞行，并为无人机获取目标图像提供稳定的平台；

数据处理系统用于获取并处理图像数据、建立与移动终端系统的通信以及发送运动控制指令给飞行控制系统；数据处理系统通过高清摄像头获取图像数据并处理后能够自主识别可疑人员集群和自动寻找可疑目标或者犯罪分子，发现目标后能够控制飞行控制系统对目标进行自动跟踪，还能通过红外热像仪自动测量人体目标额头温度；

移动终端系统用于完成人机交互和与数据处理系统之间的信息传输。

进一步的，所述四旋翼无人机机身结构自上而下由机架、机架底座、起落架组成，机架底座为二块四边形板，四根旋转轴穿插在二块四边形板的四端角落上，第一块四边形板悬空在四根旋转轴上；四根旋转轴顶端架设有机架，机架为X型机架，四根旋转轴底端连接第二块四边形板，第二块四边形板下端连接起落架；动力系统和飞行控制系统设置在机架底座的第一块四边形上端，数据处理系统设置在机架底座的第一块四边形下端。

进一步的，所述动力系统由无刷电机、桨叶、高倍率航模锂电池和电源稳压板组成；机架的四个端部的分别安装有一个无刷电机，每个无刷电机上固定有桨叶，高倍率航模锂电池设置在机架底座的第一块四边形板上端，电源稳压板垂直设置在第一块四边形和第二块四边形的侧端，高度和第一块四边形平衡。

进一步的，所述飞行控制系统由嵌入式飞行微控制器、IMU集成传感器、单目超声波传感器、光流传感器、GPS天线组成；机架上部悬空设有嵌入式飞行微控制器，嵌入式飞行微控制器上设有IMU集成传感器，在高倍率航模锂电池的下端和电源稳压板侧端并行设有单目超声波传感器和光流传感器，GPS天线通过其中一根旋转轴加长悬空设置在最顶端，其中IMU集成传感器由六轴运动传感器、磁力计和气压计集成。

进一步的，所述数据处理系统由图像处理模块、图像采集装置和无线信号接发器组成，用于获取并处理图像数据、建立与移动终端系统的通信以及发送运动控制指令给飞行控制系统；图像采集装置包括三轴自稳云台、高清摄像头、红外补光灯和红外热像仪，用于采集图像数据；图像处理模块设置在第二块四边形的上端和第一块四边形的下面；第二块四边形的下端设有一个支架，支架放置三轴自稳云台、高清摄像头和红外热像仪。图像处理模块使用深度学习图像处理算法（卢健,何金鑫,李哲, 等.基于深度学习的目标检测综述[J].电光与控制,2020,27(5):56-63. DOI:10.3969/j.issn.1671-637X.2020.05.012.）处理图像数据，通过无线信号接发器建立与移动终端系统的通信，以及通过串口发送运动控制指令给飞行控制系统；数据处理系统通过图像采集装置获取图像数据并处理后能够自主识别可疑人员集群和自动寻找可疑目标或者犯罪分子，发现目标后能够控制飞行控制系统对目标进行自动跟踪，此外，还能通过红外热像仪自动测量人体目标额头温度。

进一步的，所述移动终端系统由智能终端和无线信号接发器组成，用于完成人机交互和与数据处理系统之间的信息传输。所述人机交互包括通过输入设备获取深度学习目标图像模型、采集好的目标人脸图像数据和来自操作人员对无人机的控制指令，通过输出设备把来自数据处理系统的图像数据、图像处理后的数据和无人机状态数据展示给操作人员，并通过震动和播放提示音提醒操作人员。深度学习目标图像模型是经过深度学习图像处理算法对目标图像进行深度学习后获得的含有目标图像深度特征的卷积神经网络模型（周俊宇, 赵艳明. 卷积神经网络在图像分类和目标检测应用综述[J]. 计算机工程与应用, 2017, 53(013):34-41.），能够用于对目标的检测识别。与数据处理系统的信息传输包括通过无线信号接发器将人机交互中通过输入设备获取的信息发送到数据处理系统和接收来自数据处理系统的图像数据、图像处理后的数据以及无人机状态数据。

进一步的，所述能够通过图像处理模块对目标进行自主离线识别并跟踪。

进一步的，所述能够通过图像处理模块对目标进行自主离线识别并跟踪具体为：

（1）深度学习目标图像模型的训练：采用深度学习图像处理算法搭建的卷积神经网络对含有目标图像的目标图像训练集进行深度学习以获得含有目标图像深度特征的深度学习目标图像模型，即含有目标图像深度特征的网络模型；

（2）目标识别：图像处理模块加载训练后得到的深度学习目标图像模型，同时图像采集装置实时获取视频数据并传输至图像处理模块，由图像处理模块将视频数据转化为每一帧的图片并组成图片数据集，然后图像处理模块对图片数据集进行噪声滤除、色彩格式转换以获得含有目标特征的图片数据集，该图片数据集经过深度学习目标图像模型的处理后获得的每张图片含有目标的置信度以及该目标图像在原图像中的像素高度、宽度以及像素坐标信息；

（3）目标跟踪：目标跟踪算法采用模板匹配法，特征模板是目标识别后含有高置信度的目标图像，匹配的方法是平方差匹配法或者相关系数匹配法，即特征模板与被搜索图像的相关性采用图像数据矩阵之间的平方差或者相关系数衡量。

进一步的，所述在进行目标跟踪时使用的模板匹配法的具体过程为：

当图像处理模块获得目标特征模板后在此时图像采集装置采集的第一帧图片中搜索与特征模板最为相似的图像，并将该图像在该图片的中心像素坐标以及像素尺寸输出至飞行控制系统，由飞行控制系统利用该图像的像素坐标控制飞机或三轴自稳云台运动至目标图像中心保持在画面中间位置的状态，利用目标图像的像素尺寸的相对大小控制飞机与目标之间保持合适的距离，图像处理模块采用卡尔曼滤波器（Welch G . Kalman Filter.[J]. Siggraph Tutorial, 2001.）或者粒子滤波器（Gool, Luc. Object Tracking withan Adaptive Color-Based Particle Filter[C]// 2002:353-360.）来预测下一帧目标在图像中的位置；

预测下一帧目标位置的同时，图像处理模块将第一帧搜索到的图像更新为新的特征模板以便搜索下一帧图片中的目标，若第一帧图片中没有搜索到目标图像，则继续利用之前的特征模板搜索下一帧图片，直至在设定的一定帧数量的图片中都没有搜索到与特征模板相似的图像时，重新对当前帧的图片进行目标识别以获得新的目标特征模板；

为解决随着时间的推移会产生跟踪漂移，即所跟踪的目标图像位置与实际目标的位置有一定的偏移，图像处理模块使用目标跟踪算法处理图片一段时间后将自动重新检测目标。

自动寻找可疑人员或者犯罪分子并进行自动跟踪、自动对人体目标进行体温安全检测和自主检测可疑人员集群的功能的实现步骤如下：

（1）可选择使用高性能计算机运行深度学习图像处理算法，学习大量人体目标的图像后获得人体目标的深度学习目标图像模型，然后同时将人体目标的深度学习目标图像模型和可疑人员或者犯罪分子等目标的人脸数据由移动终端系统上传至无人机的数据处理系统；

（2）无人机在工作时，图像采集装置获取图像后由图像处理模块处理识别图像中的人体目标数量，若人体目标数量过多，则判别为可疑人员集群；

（3）识别为人体目标后，无人机主动运动至适合采集人脸图像的位置，利用红外热像仪获取人体额头温度，利用高清摄像头采集人脸图像数据，若人体额头温度超出设定阈值，将发出警报，并将采集的人脸图像数据和无人机的经纬坐标数据发送至移动终端系统，判断人体温度是否正常的同时利用上传的可疑人员或者犯罪分子的人脸数据和采集的图像数据进行比对以进行人脸识别，人脸识别后确定为可疑人员或者犯罪分子，无人机将采集的图像数据和此时无人机的经纬坐标数据发送至移动终端系统并开始自动跟踪可疑人员或者犯罪分子，若人脸识别后确定为非可疑人员或者犯罪分子，将对下一个人员目标进行同样的识别。

本发明的有益效果是：本技术采用离线工作方式，不需要将数据量庞大、处理复杂的图像数据通过图传传输至地面站进行处理，而是利用无人机自带的图像处理模块完成对图像中目标的特征识别，既能够避免数据无线传输时面临的丢失数据、延迟高等诸多问题，又使无人机自身就可实时完成本发明所需实现的功能，提高了无人机系统的灵敏度、响应速度和场景适应能力。本发明的图像采集装置同时使用了高清摄像头和红外热像仪，夜晚时开启红外补光灯，可以通过高清摄像头实现无人机在明亮与黑暗环境下的工作，并且还能通过红外热像仪获取目标温度，极大地降低了环境对无人机工作的影响。无人机采用移动终端系统上传深度学习目标图像模型和可疑人员或者犯罪分子的人脸图像数据，操作简便，可适用于多种场景，实用性强。在无人机获得多个深度学习目标图像模型后，无人机将自动寻找目标，提高了无人机的自动化和智能化。该无人机对人员的目标人脸识别的过程中，采用主动运动至合适位置以获取人脸图像数据的实施方法，提高了发现罪犯等危险目标的几率。

附图说明

图1为本发明的无人机系统结构图；

图2为本发明的无人机结构主视图；

图3为本发明的无人机结构仰视图；

图4为本发明的无人机结构左视图；

图5为本发明的无人机结构右视图；

图6为本发明的无人机安全巡查流程图；

图7为本发明的运动控制原理图；

附图标记说明：图2、3、4、5中主视方向为机身侧方即摄像头所对方向，1—动力系统；2—飞行控制系统；3—数据处理系统；4—移动终端系统；5—机架；6—机架底座；7—起落架，8-旋转轴，9-第一块四边形板，10、第二块四边形板；101—无刷电机；102—桨叶；103—高倍率航模锂电池；104—电源稳压板；201—嵌入式飞行微控制器；202—六轴运动传感器、磁力计和气压计组成的IMU集成传感器；203—单目超声波传感器；204—光流传感器；205—GPS天线；301—图像处理模块；302—三轴自稳云台；303—高清摄像头；304—红外热像仪。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。如图1-7所示，本发明设计的基于机器视觉的公共安全自主巡查四旋翼无人机，包括动力系统1、飞行控制系统2、数据处理系统3和移动终端系统4。四旋翼无人机机身结构自上而下由机架5、机架底座6、起落架7组成，机架底座6为二块四边形板，四根旋转轴8穿插在二块四边形板的四端角落上，第一块四边形板9悬空在四根旋转轴8上；四根旋转轴8顶端架设有机架5，机架5为X型机架，四根旋转轴8底端连接第二块四边形板10，第二块四边形板10下端连接起落架7；动力系统1和飞行控制系统2设置在机架底座6的第一块四边形9上端，数据处理系统3设置在机架底座6的第一块四边形9下端。

动力系统1由无刷电机101、桨叶102、高倍率航模锂电池103和电源稳压板104组成；机架5的四个端部的分别安装有一个无刷电机101，每个无刷电机101上固定有桨叶102，高倍率航模锂电池103设置在机架底座6的第一块四边形板9上端，电源稳压板104垂直设置在第一块四边形9和第二块四边形10的侧端，高度和第一块四边形9平衡。

动力系统1用于为无人机提供飞行动力，以及为飞行控制系统2和数据处理系统3提供电源。它包括动力装置、高倍率航模锂电池103、桨叶102、电源稳压板104。其中，动力装置可以是高倍率航模电池103搭配无刷电机101和电调的电力驱动系统，也可以是采用直驱式油动系统，具体由油箱、发动机、供油器、变桨距装置、舵机组成，电源稳压板104用于将航模高倍率锂电池103提供的电源电压稳定至5V直流电压以驱动飞行控制系统2和数据处理系统3。

飞行控制系统2由嵌入式飞行微控制器201、IMU集成传感器202、单目超声波传感器203、光流传感器204、GPS天线205、声学或光学提示装置组成；机架5上部悬空设有嵌入式飞行微控制器201，嵌入式飞行微控制器201上设有IMU集成传感器202，在高倍率航模锂电池103的下端和电源稳压板104侧端并行设有单目超声波传感器203和光流传感器204，GPS天线205通过其中一根旋转轴8加长悬空设置在最顶端，其中IMU集成传感器202由六轴运动传感器、磁力计和气压计集成。

飞行控制系统2用于控制四旋翼无人机的飞行，并为无人机在获取目标图像时提供稳定的平台。它包含嵌入式飞行微控制器201、高度测量装置、姿态传感器、数据接收发送装置、水平位移传感器、导航系统、声学或光学提示装置。飞行微控制器可采用FPGA basedplatforms（Field－Programmable Gate Array），即现场可编程门阵列平台，或者ARM-based platforms，或者Atmel-based platforms或者Raspberry Pi based platforms。高度测量装置是可以测量无人机高度的装置，可以采用超声波距离传感器，气压计，激光测距装置或者GPS装置，也可以采用多种方式结合获取高度信息的装置。姿态传感器可以是由六轴加速度计和三轴陀螺仪组成的九轴姿态传感器。数据接收发送装置用于接收无人机运动控制指令，可以采用WiFi协议或者蓝牙协议的无线电接发装置，也可采用数传电台通信装置或者移动通信装置。水平位移传感器用于获取无人机水平位移数据，以保持无人机的水平稳定，可以采用光流传感器。导航系统用于获取无人机的经纬度、海拔高度信息，采用GPS导航系统。声学或光学提示装置用于发出提示性的声学或者光学信息的装置，可以是光学输出装置或者声学输出装置，也可以是两种方式结合的装置，这里采用扬声器加灯光的输出装置。

数据处理系统3由图像处理模块301、三轴自稳云台302、高清摄像头303和红外热像仪304组成；图像处理模块301设置在第二块四边形10的上端和第一块四边形9的下面；第二块四边形10的下端设有一个支架，支架放置三轴自稳云台302、高清摄像头303和红外热像仪304。

数据处理系统3用于获取并处理图像数据、建立与移动终端系统4的通信以及发送运动控制指令给飞行控制系统2。该系统包括图像处理模块301、图像采集装置、无线信号接发器，其中无线信号接发器可采用飞行控制系统中所述的数据接收发送装置方案。图像处理模块301用于处理图像数据以及建立与移动终端系统4的通信，具体可以采用英伟达的Jetson AI超级计算机、百度飞桨的EdgeBoard深度学习计算卡、Arduino开源硬件板、华为海思人工智能AI平台或深鉴科技DP-8000 AI开发板。图像采集装置包括自稳云台、高清摄像头和红外补光灯和红外热像仪，其中自稳云台用于给摄像头和红外热像仪提供稳定平台，可采用多轴云台，摄像头可采用单目摄像头也可采用多目摄像头，夜晚时开启红外补光灯，无论环境明亮或者黑暗都能够通过高清摄像头获得图像数据，从而实现无人机的全天工作，红外热像仪可获得带有温度数据的目标图像。

移动终端系统4由智能终端、无线信号接发器组成，用于完成人机交互和与数据处理系统3之间的信息传输。无线信号接发器既能接收机载数据处理系统3发送的数据也能够发送操作人员的操作数据，可以采用WiFi协议的无线电接发装置，也可以采用数传电台通信装置或者移动通信装置。智能终端可以是安装有智能应用程序的电脑或者智能手机，带有输入输出设备。智能应用程序将提供操作界面。具体实施过程为移动终端系统4通过无线信号接发器接收到数据处理系统3发送的数据后将通过应用程序显示给操作人员，并通过震动和播放提示音提醒操作人员，操作人员接收信息后将是否持续跟踪的指令通过应用程序传输至智能终端，智能终端将操作指令数据通过无线信号接发器发送到机载的数据处理系统3。

本发明工作时的流程如下：

（1）由操作人员通过移动终端设备输入目标人脸图像数据、深度学习目标图像模型，并制定本次飞行任务，包括规划飞行航线、设定目标和设置任务内容及优先级，任务内容有检测在逃罪犯识别跟踪、可疑人员集群识别、异常体温人员识别跟踪，数据输入并设定完毕后，移动终端系统4将此次任务信息发送至数据处理系统3。

（2）数据处理系统3接收到此次任务信息并得到启动指令后将开始系统的自检，若自检错误，数据处理系统3将错误信息反馈至移动终端系统4；若自检完成并无误，无人机将自动启动然后按照设置的航线开始飞行。

（3）无人机启动后，数据处理系统3将航线数据发送至飞行控制系统2，飞行控制系统2将按照设定航线控制无人机飞行。

（4）飞行过程中，数据处理系统3采集周围环境的图像数据，并利用深度学习图像处理算法识别图像中的人体目标，并计算出人员密度，判断是否存在可疑人员集群，并将识别信息发送至移动终端系统4，然后由操作人员确认是否可疑人员集群，若操作人员不在线，无人机直接标定该集群目标的GPS位置（即此时无人机的经纬度位置数据），保存该集群目标的图像信息，然后发送给移动智能终端，执行完成后继续按照设置的航线飞行。

（5）若设置了在逃罪犯识别跟踪和异常体温人员识别跟踪任务，数据处理系统3识别为人体目标后，也会计算出移动到适合获取人脸数据位置的最佳路径，把飞行控制指令发送至飞行控制系统2，待飞行至适合获取人脸数据的位置后，利用移动终端系统4上传的目标人脸数据与获取的目标人脸数据进行对比，若确认目标为在逃罪犯，数据处理系统3将发送目标图像处理结果至移动终端系统4以提醒操作人员，若操作人员离线，无人机将自动跟踪罪犯目标直至操作人员发出取消指令；扫描目标人脸数据的同时，红外热像仪也会获取人脸红外图像数据，并测量出人体额头温度，若温度异常，数据处理系统4也会把目标图像数据、图像处理后的数据、人体额头温度发送至移动终端系统4，是否对异常额温目标进行跟踪可以在任务设置中进行设置，也可以在移动终端系统4实时设置。

（6）在按照航线执行完任务后，无人机将自动返航。

一种基于机器视觉的公共安全自主巡查四旋翼无人机运行流程如附图6所示。无人机工作时，首先打开电源稳压板104上的电源开关，然后无人机开始自检以及各系统的初始化，此时，三轴自稳云台302也回到初始位置。初始化完成后，飞行控制系统2会以灯光和扬声器提示音提示，在移动终端系统4确认开始后，无人机自动起飞至设定的安全高度，若已经开启自动模式并已经上传工作数据，无人机将开始控制三轴自稳云台302开始寻找目标，否则悬停在空中等待指令。开启自动识别跟踪模式后，数据处理系统3将控制三轴自稳云台302转动寻找目标，高清摄像头303所捕获的图像将实时传送给图像处理模块301，图像处理模块301接收到图像信息后将使用训练好的模型对信息进行检测，当识别到图片中的目标时，根据前后帧图像中目标的中心位置的像素坐标以及目标的像素大小信息迅速建立目标运动模型，并通过卡尔曼滤波器或者粒子滤波器等滤波器预测好目标的下一帧像素坐标位置，并计算出无人机运动控制数据，然后发送至嵌入式飞行微控制器201。嵌入式飞行微控制器201迅速控制机身至能够追踪目标获取目标图像信息的合适位置。高清摄像头303以及红外热像仪304的图像数据获取后，图像处理模块301将所获得的图像信息进行特征识别等处理，判断人员是否为嫌疑人或者在逃罪犯；是否为可疑人员集群；人体温度是否正常；人体温度由红外热像仪304测量人脸额头温度获得。若处理的结果有价值，如识别到罪犯类可疑目标、检测可疑危险集群行为、发现体温不正常人员，数据处理系统3将发送可疑目标图像数据、图像处理模块301的图像识别数据、无人机GPS位置数据至移动终端系统4。移动终端系统4接收数据后，通过应用界面将数据呈现给操作人员，由操作人员确认是否进行跟踪。若无操作人员指令，对于在逃罪犯，无人机将进行实时跟踪，并持续将数据传送至移动终端系统4。

四旋翼无人机飞行器飞行控制原理如附图7所示，飞行控制系统2由串级双闭环PID控制器组成。外环为位置反馈，能够反馈出当前偏航角度，外环控制的目的是为了达到期望角度，外环PID的输出作为角速度给内环作为输入，即内环的期望值。内环为姿态反馈，其目的为达到期望的角速度，即外环的输入，内环的输出为无刷电机的转速控制参数。有这两个环的控制，无人机的运动以及定点将会平稳很多。双闭环PID控制器输出公式如下，out(t)为连续系统的PID控制器输出公式，out(k)为离散后的系统的PID控制器的输出公式，其中err(k)为k时刻对应的期望值与实际值的偏差，Kp、Ki、Kd分别为比例系数、积分系数、微分系数，T为数据更新时间周期：

具体实施时，四旋翼无人机通过飞行控制系统2的姿态传感器获得运动数据以及姿态数据；在低空时，无人机离地高度数据由多种高度测量装置获得的数据经过卡尔曼滤波器后得出，高空时，由GPS模块获得；无人机安全巡查时，由数据处理系统3中的图像处理模块301利用训练好的模型对视频每帧的图像信息进行实时处理，处理后将得到图像中人体数量和人员密度，模型由卷积神经网络对大量的已标记的目标图像图像训练集进行深度学习后得出，人员密度由人体数量以及人体与无人机相对距离进行计算得出，其中人体与无人机相对距离由人体所占像素数量与图像总像素数量相除得出；无人机通过人员密度将判断出是否存在危险人员集群行为；同时，无人机将通过高清摄像头303对人体目标进行人脸识别，人脸模型数据由操作人员采集后上传至移动终端系统4，移动终端系统4再发送至数据处理系统3，人脸识别的同时将通过红外热像仪304获得人体目标的头部温度数据，从而实现在逃罪犯的识别以及对异常体温人员的识别。环境明亮或黑暗时通过高清摄像头303和红外补光灯获得图像数据，以实现无人机的全天工作。

以上为本发明具体实施的较佳实例，但本发明不局限于该实例和附图所公开的内容。故凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护范围。

Claims (9)

1.一种基于机器视觉的公共安全自主巡查四旋翼无人机，由动力系统、飞行控制系统、数据处理系统、移动终端系统组成；其特征在于：

动力系统用于为无人机提供飞行动力以及为飞行控制系统和数据处理系统提供电源；

飞行控制系统用于控制四旋翼无人机的飞行，并为无人机获取目标图像提供稳定的平台；

数据处理系统用于获取并处理图像数据、建立与移动终端系统的通信以及发送运动控制指令给飞行控制系统；数据处理系统通过高清摄像头获取图像数据并处理后能够自主识别可疑人员集群和自动寻找可疑目标或者犯罪分子，发现目标后能够控制飞行控制系统对目标进行自动跟踪，还能通过红外热像仪自动测量人体目标额头温度；

移动终端系统用于完成人机交互和与数据处理系统之间的信息传输。

2.根据权利要求1所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机；其特征在于：四旋翼无人机机身结构自上而下由机架、机架底座、起落架组成，机架底座为二块四边形板，四根旋转轴穿插在二块四边形板的四端角落上，第一块四边形板悬空在四根旋转轴上；四根旋转轴顶端架设有机架，机架为X型机架，四根旋转轴底端连接第二块四边形板，第二块四边形板下端连接起落架；动力系统和飞行控制系统设置在机架底座的第一块四边形上端，数据处理系统设置在机架底座的第一块四边形下端。

3.根据权利要求2所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机；其特征在于：动力系统由无刷电机、桨叶、高倍率航模锂电池和电源稳压板组成；机架的四个端部的分别安装有一个无刷电机，每个无刷电机上固定有桨叶，高倍率航模锂电池设置在机架底座的第一块四边形板上端，电源稳压板垂直设置在第一块四边形和第二块四边形的侧端，高度和第一块四边形平衡。

4.根据权利要求2所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机；其特征在于：飞行控制系统由嵌入式飞行微控制器、IMU集成传感器、单目超声波传感器、光流传感器、GPS天线组成；机架上部悬空设有嵌入式飞行微控制器，嵌入式飞行微控制器上设有IMU集成传感器，在高倍率航模锂电池的下端和电源稳压板侧端并行设有单目超声波传感器和光流传感器，GPS天线通过其中一根旋转轴加长悬空设置在最顶端，其中IMU集成传感器由六轴运动传感器、磁力计和气压计集成。

5.根据权利要求2所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机；其特征在于：数据处理系统由图像处理模块、三轴自稳云台、高清摄像头和红外热像仪组成；图像处理模块设置在第二块四边形的上端和第一块四边形的下面；第二块四边形的下端设有一个支架，支架放置三轴自稳云台、高清摄像头和红外热像仪。

6.根据权利要求2所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机；其特征在于：移动终端系统由智能终端和无线信号接发器组成，移动终端系统通过无线信号接发器接收到数据处理系统发送的数据后显示给操作人员，并通过震动和播放提示音的方式提醒操作人员，操作人员接收信息后将是否持续跟踪的指令传输至智能终端，智能终端将操作指令数据通过无线信号接发器发送到机载的数据处理系统。

7.根据权利要求5所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机，其特征在于:能够通过图像处理模块对目标进行自主离线识别并跟踪。

8.根据权利要求7所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机，其特征在于：能够通过图像处理模块对目标进行自主离线识别并跟踪具体为：

（1）深度学习目标图像模型的训练：采用深度学习图像处理算法搭建的卷积神经网络对含有目标图像的目标图像训练集进行深度学习以获得含有目标图像深度特征的深度学习目标图像模型，即含有目标图像深度特征的网络模型；

（2）目标识别：图像处理模块加载训练后得到的深度学习目标图像模型，同时图像采集装置实时获取视频数据并传输至图像处理模块，由图像处理模块将视频数据转化为每一帧的图片并组成图片数据集，然后图像处理模块对图片数据集进行噪声滤除、色彩格式转换以获得含有目标特征的图片数据集，该图片数据集经过深度学习目标图像模型的处理后获得的每张图片含有目标的置信度以及该目标图像在原图像中的像素高度、宽度以及像素坐标信息；

（3）目标跟踪：目标跟踪算法采用模板匹配法，特征模板是目标识别后含有高置信度的目标图像，匹配的方法是平方差匹配法或者相关系数匹配法，即特征模板与被搜索图像的相关性采用图像数据矩阵之间的平方差或者相关系数衡量。

9.根据权利要求8所述的一种基于机器视觉的公共安全自主巡查四旋翼无人机，其特征在于：在进行目标跟踪时使用的模板匹配法的具体过程为：

当图像处理模块获得目标特征模板后在此时图像采集装置采集的第一帧图片中搜索与特征模板最为相似的图像，并将该图像在该图片的中心像素坐标以及像素尺寸输出至飞行控制系统，由飞行控制系统利用该图像的像素坐标控制飞机或三轴自稳云台运动至目标图像中心保持在画面中间位置的状态，利用目标图像的像素尺寸的相对大小控制飞机与目标之间保持合适的距离，图像处理模块采用卡尔曼滤波器或者粒子滤波器来预测下一帧目标在图像中的位置；

预测下一帧目标位置的同时，图像处理模块将第一帧搜索到的图像更新为新的特征模板以便搜索下一帧图片中的目标，若第一帧图片中没有搜索到目标图像，则继续利用之前的特征模板搜索下一帧图片，直至在设定的一定帧数量的图片中都没有搜索到与特征模板相似的图像时，重新对当前帧的图片进行目标识别以获得新的目标特征模板；

为解决随着时间的推移会产生跟踪漂移，即所跟踪的目标图像位置与实际目标的位置有一定的偏移，图像处理模块使用目标跟踪算法处理图片一段时间后将自动重新检测目标。

Images