CN111340804A - 基于无人飞艇的空气质量机器视觉在线监测系统及方法 - Google Patents

Abstract

本发明公开了一种基于无人飞艇的空气质量机器视觉在线监测系统及方法，包括：无人飞艇本体，设置在无人飞艇本体上的图像采集子系统，以及图像识别子系统；所述图像采集子系统被配置为每隔设定时间采集并存储天气的影像资料；所述图像采集子系统与图像识别子系统进行无线通信；所述图像识别子系统被配置为采用神经网络算法对接收到的图像进行识别，输出空气质量状况。本发明利用太阳能电池板和蓄电池，可以实现飞艇的超长航时，可以对指定区域进行长时间的空气质量检测，操控灵活。

Description

基于无人飞艇的空气质量机器视觉在线监测系统及方法

技术领域

本发明涉及大气质量监测技术领域，尤其涉及一种基于无人飞艇的空气质量机器视觉在线监测系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

我国城市空气质量检测的方式为采用空气质量检测站(又称空气站)进行检测，即在城市中的重要区域，如主要固定污染源，工业园，人口密集区等位置设立空气站，站内安装多参数自动监测仪器进行连续自动监测，将监测结果实时存储并加以分析后得到相关的数据，并通过电视广播等向民众公布分析结果。

发明人发现，该方式主要是通过定点收集，分析出空气质量指数(AQI)。每个空气质量检测站需要单独开辟场地建设，设备造价高昂，人员后期维护成本大，且需要维护分析人员具备相关的专业知识，这些缺点使得西北部经济相对不发达的地区无法建立完备的空气质量检测网络。而且固定站点可检测范围狭小，高度较低，因而不能反映立体空间内的空气质量状况。且西北部地区幅员辽阔，气候相对恶劣，更是大大加大了该方法的成本。

发明内容

有鉴于此，本发明提出了一种基于无人飞艇的空气质量机器视觉在线监测系统及方法，采用无人飞艇作为空气质量机器视觉在线检测系统的搭载平台，引入了机器视觉系统，利用机器对所摄影像资料进行分析并根据污染程度对其空气质量做出判定。

在一些实施方式中，采用如下技术方案：

一种基于无人飞艇的空气质量机器视觉在线监测系统，包括：无人飞艇本体，设置在无人飞艇本体上的图像采集子系统，以及图像识别子系统；所述图像采集子系统被配置为每隔设定时间采集并存储天气的影像资料；所述图像采集子系统与图像识别子系统进行无线通信；所述图像识别子系统被配置为采用神经网络算法对接收到的图像进行识别，输出空气质量状况。

其中，所述图像识别子系统对图像进行识别的过程包括：

基于采集到的不同地区的空气质量实拍图像，对所述图像进行图像标注，构建样本集；

对样本集数据进行增强及平滑去噪预处理；

构建图像识别模型，基于所述样本集对图像识别模型进行训练；

将图像采集子系统采集到的天气影像资料输入到训练好的图像识别模型中，输出空气质量分类结果。

在另一些实施方式中，采用如下技术方案：

一种基于无人飞艇的空气质量机器视觉在线监测方法，包括：

每隔设定时间采集并存储天气的影像资料；

将采集到的天气影像资料输入到训练好的图像识别模型中，输出空气质量分类结果；

其中，对图像识别模型的训练过程包括：

基于采集到的不同地区的空气质量实拍图像，对所述图像进行图像标注，构建样本集；

对样本集数据进行增强及平滑去噪预处理；

构建图像识别模型，基于所述样本集对图像识别模型进行训练。

与现有技术相比，本发明的有益效果是：

(1)本发明利用太阳能电池板和蓄电池，可以实现飞艇的超长航时，可以对指定区域进行长时间的空气质量检测，操控灵活。

(2)相比于传统空气质量测量仪器，本发明空气质量机器视觉在线检测系统使用方便，运行及维护成本较低，能够在大范围内快速、准确测定空气质量，将空气质量最新测量结果实时传输至地面控制站。

(3)无人飞艇上设置气囊，能够通过浮力平衡实现无人飞艇的悬停，而无需无人飞艇动力系统持续提供动力，节省能耗。

(4)本发明能够通过在地图上标注路径，为无人飞艇规划飞行轨迹，是的无人飞艇能够按照预定的轨迹行驶。

附图说明

图1为本发明实施例中空气质量机器视觉在线检测系统示意图；

图2为本发明实施例中空气质量机器视觉在线检测系统中图像识别子系统的训练过程；

图3为本发明实施例中无人飞艇结构示意图；

其中，1.无人飞艇本体；2.太阳能电池板；3.吊舱；4.航测稳定平台；5.蓄电池组；6.尾翼。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

在一个或多个实施方式中，公开了一种基于无人飞艇的空气质量机器视觉在线检测系统，包括：无人飞艇本体1，设置在无人飞艇本体1上的图像采集子系统和电源子系统，以及设置在地面的图像识别子系统。

其中，图像采集子系统被配置为每隔设定时间采集并存储天气的影像资料；

图像采集子系统安置于无人飞艇的吊舱3内，由辅助照明装置、工业相机和带有图像采集卡的微型计算机组成。辅助照明装置能够在光照不足时，补充光照强度，保证图像拍摄的质量；工业相机可以在设置的时间间隔下每隔一段时间拍摄天气的影像资料，将光信号转化为有序的电信号；图像采集卡可以将工业相机拍摄的影像储存在计算机中，并通过网络传输到地面计算机进行图像预处理。采用图像采集卡的优势除了可以保存图像信号之外，还可以在保持高分辨率的前提下，压缩影像资料的大小，以便在长时间内持续储存影像资料，从而达到对于一个区域内天气资料的持续存档。长时间未间断的气象观测资料对防灾减灾、气象科研、应对气候变化等具有重大意义。

工业相机每隔三十秒定时采集无人飞艇所在高度的天气照片，储存在图像采集卡中，并将图像传输至图像识别子系统。图像采集子系统与图像识别子系统进行无线通信；图像识别子系统被配置为采用神经网络算法对接收到的图像进行识别，输出空气质量状况。图像识别子系统将其载入至训练好的图像识别模型之中，模型自动根据天气照片生成一个对应的空气质量指数，并将照片与对应的空气质量指数上传至天气预报网络。

本实施例中，将空气质量状况依据空气质量指数AQI(Air Quality Index)分为六类，分别为优(AQI为0-50)、良(AQI为51-100)、轻度污染(AQI为101-150)、中度污染(AQI为151-200)、重度污染(AQI为201-300)以及严重污染(AQI大于300)。

具体地，图像识别子系统在地面计算机中运行，图像识别子系统对于图像识别模型的训练过程参照图2，包括以下步骤：

1)图像收集

训练样本采用了中国各地的空气质量实拍图共2400张，每类400张。

测试样本为空气质量实拍图400张，包含所有类别但数目不一。

人工对所有照片的所属类别进行记录，方便后期测试训练成果。

2)图像预处理

将图片集的规格统一，方便后面的训练；对样本集图片进行旋转、缩放、裁剪、归一化等操作，使计算出的模型更具有鲁棒性。

样本集照片易受到光照的影响，直接进行图像分割易出现误分割情况。因此，在图像分割之前进行增强及平滑去噪等预处理。采用基于拉普拉斯算子的图像增强方法来增强天空与背景的对比度，采用中心为5的8领域拉普拉斯算子，即

经此处理后照片对比度提高但噪音增强，因此采用高斯卷积核为(3，3)、标准差为0的高斯平滑滤波方法对增强图像进行平滑去噪处理。

3)基于卷积神经网络的空气质量图像分类训练

搭建基于Inception v3的图像分类识别模型。Inception v3模型将较大的二维卷积拆成两个较小的一维卷积，加速运算并减轻了过拟合，同时增加了一层非线性扩展模型表达能力。其运算速度更短，可以处理更多，更丰富的空间特征，增加特征的多样性。

该模型首先是5个卷积层和2个池化层交替的普通结构,然后是3个Inception模块组。由于样本集数量有限，因此采用迁移学习的方法，删除模型网络的最后一个全连接层，然后将剩余部分作为新数据集的特征提取层。

输入图像大小为300×300，卷积核大小为1×3与3×1两种结构，5个卷积层的卷积核数为32，32，64，64，64，卷积核步长为1。选取最大池化方式，池化的邻域大小为2×2。在卷积层和池化层提取完图像特征后，连接2个全连接层，全连接层输出大小依次为64，1。

为了进一步提高Inception v3网络进行空气质量分类的稳定性和准确率，对最后一个卷积块进行微调，在保留预训练中提取特征表达的同时，结合图像样本库进一步拟合所提取的特征。微调过程中设置学习率为10-4，选用随机梯度下降方法进行优化，网络Dropout设置比例为0.5，训练50次。

经上述训练得到的模型准确率达到92％，测试集准确率达到89％。

根据人工设定时间间隔的不同，图像采集子系统会定期向地面基站发送图像资料，地面基站计算机得出结论上传网络更新数据，实现指定区域空气质量资料的定期更新。

作为一种可选的实时方式，电源子系统为无人飞艇内置的太阳能电池板2以及与其连接的蓄电池组5，负责为图像采集子系统和无人飞艇的运行供电。电能来自于铺设在无人飞艇本体1表层的太阳能电池板2，白天产生电能并持续为飞艇和图像采集和照明子系统供能，多余电力储存在蓄电池组5中备用。夜晚消耗蓄电池组5中的电能维持飞艇运行，图像采集和照明子系统处于待机状态仅消耗极少电能。

作为一种可选的实时方式，参照图3，无人飞艇本体1包括：机舱，两侧固定式机翼，尾部的可变式尾翼6，飞行自动控制系统，飞机动力装置，机体内置一个带有可开关舱门的舱体，舱体内部装有高强度纤维制作的飞艇气囊(气囊表层上安有太阳能电池)，气囊内部有两个辅助气囊。

具体地，机舱作为机体内的空间，可放置人员，设备；内置航测稳定平台4。两侧固定式机翼为飞机飞行提供升力；可变式尾翼用来平衡、稳定和操纵飞机飞行姿态的部件，水平尾翼由固定的水平安定面和安装在其后部的升降舵组成；飞行自动控制装置包含地面与机载两部分。这两部分之间通过无线通信模块相互联系，从而完成飞行闭环控制。机载控制系统主要包含传感器，飞行控制器，无线通信模块以及电源模块。地面控制系统主要包含计算机，显示界面，无线通信模块以及GPS接收器。

(1)传感器：分布于机体周围，主要作用是实时采集机体的各种状态参数，如飞行高度，三轴加速度，三轴角速率等，所采集的数据通过PCI-E数据线传输至飞行控制计算机。

(2)飞行控制器：起飞时，地面计算机通过无线通信模块与飞行控制计算机相连，控制飞机加速起飞，并最终飞行至目标空域。飞行至目标空域后，地面计算机发出悬停指令，机体顶部舱门打开，舱内气囊通过机体内部的高压气瓶快速充气成型，同时飞机动力系统处于待机状态，从而使整个机体达到悬停的状态。此时飞行控制计算机通过PCI-E接受传感器的数据，通过无线通信接受地面GPS发出的位置信号，将飞艇实时状态与自身状态作比较，控制动力装置自动调节机体平衡，沿预定路线保持悬浮状态航行。

(3)无线通信模块：负责地面与机载设备之间的数据传输。

(4)电源模块：负责机载设备，图像采集和照明子系统的供电。通过线路与气囊表层的太阳能电池组相连，接受太阳能电池组采集的电能。

地面站主要通过无线通信模块与机载控制系统相连，人工操控无人机起飞以及后续的飞行，机体进入悬停状态后，地面人员通过显示屏实时监测飞艇运行，接受飞艇传输的天气照片数据，并依据情况需要对航线进行微调。

(5)气囊储存舱：内储存有气囊。

(6)气囊：与机载压缩氦气瓶相连，充满气后为机体提供充足的升力。表面覆有太阳能电池板2，光照充足时为电源模块供电。

(7)辅助气囊：可通过飞行时的充气放气控制和保持机体形状和浮力，主要用来控制机体浮力平衡。

本实施例中，飞行控制器可以接受GPS接收机发来的信号，并对其进行运算处理，最终输出控制信号给动力系统驱动装置，控制电机按照要求动作，实现各种飞行要求。也可以在地图上标注路径点，将路径点坐标发送至飞艇的飞行控制系统，飞艇将会沿路径点飞行，达到围绕一定区域巡航的目的。

路径点的具体标注位置主要依据天气质量指数的待测区域范围决定，由气象学技术人员依据天气质量的待测区域制定合理的巡航路径，确定路径点的GPS坐标，然后由地面基站计算机通过无线网络传输的方式将一系列路径点坐标传输至无人飞艇的飞艇控制系统中，再由飞行控制系统控制飞艇的方向舵与升降舵，保证飞艇按制定的巡航路径航行。

飞艇的吊舱3内置航测稳定平台4，可以很好的隔离由于飞行平台的扰动对工业相机拍摄影像造成的干扰，保障图像采集和照明子系统平稳工作。

图像采集子系统安置在飞艇下下方吊舱3内的航测稳定平台4上，将飞艇运送至指定区域后，向舱体充入氦气，飞艇即可升空。

图像采集子系统的微型计算机，地面基站计算机均与互联网相连，可通过地面基站计算机向飞艇发送飞行指令，或是路径点坐标，使飞艇沿路径点巡航。

飞艇巡航过程中，工业相机可以在设置的时间间隔下每隔一段时间拍摄天气的影像资料，将光信号转化为有序的电信号；图像采集卡可以将工业相机拍摄的影像储存在计算机中并通过网络传输到地面计算机进行图像预处理。

地面基站接收到飞艇的图像资料后，对图像进行识别，依照训练给予其优(AQI为0-50)、良(AQI为51-100)、轻度污染(AQI为101-150)、中度污染(AQI为151-200)、重度污染(AQI为201-300)以及严重污染(AQI大于300)中的其中一个结论，并将结论上传至互联网进行公示。

实施例二

在一个或多个实施方式中，公开了一种基于无人飞艇的空气质量机器视觉在线检测方法，包括：

每隔设定时间采集并存储天气的影像资料；

将采集到的天气影像资料输入到训练好的图像识别模型中，输出空气质量分类结果；

其中，对图像识别模型的训练过程包括：

基于采集到的不同地区的空气质量实拍图像，对所述图像进行图像标注，构建样本集；

对样本集数据进行增强及平滑去噪预处理；

构建图像识别模型，基于所述样本集对图像识别模型进行训练。

另外，对于无人飞艇的飞行控制过程，具体包括：

在地图上标注路径点，控制无人飞艇沿设定的路径点飞行；

到达设定位置后，释放气囊并充气，使无人飞艇达到悬停的状态；

通过无人飞艇动力系统对机身位置进行微调；

监测任务完成后，通过无人飞艇动力系统控制无人飞艇运动至降落点，收回气囊。

具体地，无人飞艇飞至预定地点后，地面人员发出悬停指令，机体顶部舱门打开，舱内气囊通过机体内部的高压气瓶快速充气成型，同时飞机动力系统处于待机状态，从而使整个机体达到悬停的状态。

整个机体的浮力通过气囊与辅助气囊提供，机体的升降依靠气囊与辅助气囊的充气放气实现，机体在悬浮状态下的移动通过动力系统带动飞机螺旋桨的转动进行微调。

悬浮过程中，机体供电来源于气囊表层覆盖的太阳能电池组。由于飞机动力系统仅用于机身微调，因此耗能很低，太阳能供电可以满足悬浮状态下的设备用电需求，从而达到长时间滞空巡航的目的。

结束任务需返航时，气囊放气减小高度，动力系统控制方向，缓慢运动至降落地点附近，最终气囊气体以极慢的速度完全排空内部气体，飞机起落架打开，整个机体降落至目标降落点附近的地面上，通过车辆进行回收。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，包括：无人飞艇本体，设置在无人飞艇本体上的图像采集子系统，以及图像识别子系统；所述图像采集子系统被配置为每隔设定时间采集并存储天气的影像资料；所述图像采集子系统与图像识别子系统进行无线通信；所述图像识别子系统被配置为采用神经网络算法对接收到的图像进行识别，输出空气质量状况。

2.如权利要求1所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，所述图像识别子系统对图像进行识别的过程包括：

基于采集到的不同地区的空气质量实拍图像，对所述图像进行图像标注，构建样本集；

对样本集数据进行增强及平滑去噪预处理；

构建图像识别模型，基于所述样本集对图像识别模型进行训练；

将图像采集子系统采集到的天气影像资料输入到训练好的图像识别模型中，输出空气质量分类结果。

3.如权利要求2所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，构建的图像识别模型为Inception v3网络模型；删除所述Inception v3网络模型的最后一个全连接层，将剩余部分作为新数据集的特征提取层。

4.如权利要求2所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，所述空气质量分类结果包括：优、良、轻度污染、中度污染、重度污染以及严重污染。

5.如权利要求1所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，还包括：电源子系统，所述电源子系统包括铺设在无人飞艇体表层的太阳能电池板以及与其连接的蓄电池组；所述太阳能电池板获取的电能为图像采集子系统和无人飞艇提供电能，并将多余的电能存储的电池组中。

6.如权利要求1所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，所述无人飞艇本体包括飞行控制器，所的飞行控制器接收GPS接收机发送的信号，并对其进行运算处理，最终输出控制信号给动力系统驱动装置，控制电机按照要求动作，实现各种飞行要求。

7.如权利要求6所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，在地图上标注路径点，将路径点坐标发送至所述飞行控制器，使得所述无人飞艇按照设定的路径点飞行。

8.如权利要求1所述的一种基于无人飞艇的空气质量机器视觉在线监测系统，其特征在于，所述无人飞艇本体还包括：

设置在机身周围，用于实时采集无人飞艇本体不同状态参数的传感器；

用于与地面设备进行通信的无线通信模块；

用于存储气囊的储存舱；

用于通过充气和放气控制无人飞艇浮力平衡的气囊。

9.一种基于无人飞艇的空气质量机器视觉在线监测方法，其特征在于，包括：

每隔设定时间采集并存储天气的影像资料；

将采集到的天气影像资料输入到训练好的图像识别模型中，输出空气质量分类结果；

其中，对图像识别模型的训练过程包括：

基于采集到的不同地区的空气质量实拍图像，对所述图像进行图像标注，构建样本集；

对样本集数据进行增强及平滑去噪预处理；

构建图像识别模型，基于所述样本集对图像识别模型进行训练。

10.如权利要求9所述的一种基于无人飞艇的空气质量机器视觉在线监测方法，其特征在于，还包括对于无人飞艇的飞行控制过程，具体为：

在地图上标注路径点，控制无人飞艇沿设定的路径点飞行；

到达设定位置后，释放气囊并充气，使无人飞艇达到悬停的状态；

通过无人飞艇动力系统对机身位置进行微调；

监测任务完成后，通过无人飞艇动力系统控制无人飞艇运动至降落点，收回气囊。

Images