CN119810801A - 基于改进型YOLO v5的无人机跑道障碍物识别方法及避障方法 - Google Patents

Abstract

本发明提供基于改进型YOLO v5的无人机跑道障碍物识别方法及避障方法，属于障碍物识别技术领域。无人机跑道障碍物识别方法包括获取数据图像；应用天空分割方法对所述数据图像进行分割，获得分割后数据图像。配置改进型YOLO v5视觉模型，改进型YOLO v5视觉算法模型所包括的主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件。将分割后数据图像输入至改进型YOLO v5视觉算法模型，输出障碍物识别结果。针对无人机跑道障碍物识别中的跑道上障碍物的种类和数量较少的实际应用场景，提出了基于改进型YOLOv5的无人机跑道障碍物识别方法，以解决YOLOv5所面临算力复杂、效率低以及不适用无人机跑道等问题。

Description

基于改进型YOLO v5的无人机跑道障碍物识别方法及避障 方法

技术领域

本发明属于障碍物识别技术领域，尤其涉及一种基于改进型YOLO v5的无人机跑道障碍物识别方法及避障方法。

背景技术

随着视觉传感器的快速发展，其应用的场景越来越多，而障碍物识别则是机器视觉领域的核心应用之一。同时随着AI技术的发展越来越多的智能算法被构建出来应用在机器视觉系统中作为障碍物识别的核心算法。YOLO v5就是在这种背景下被构建了出来。YOLOv5是基于其前身YOLO v4的基础上进行了改进，使其有了速度快、精度高、轻量级等优势，但是同时也面临许多问题比如小目标和密集目标的效果不佳，训练数据集过大等问题，所以必须针对YOLO v5算法进行改进，在保留其优势的情况下尽可能的消除其所面临的问题。

发明内容

本发明的目的在于提供一种基于改进型YOLO v5的无人机跑道障碍物识别方法及避障方法，针对无人机跑道障碍物识别中的跑道上障碍物的种类和数量较少的实际应用场景，基于YOLOv5算法存在相对小数据集对端侧小目标识别困难尤其密集目标识别效果不佳的问题，提出了基于改进型YOLOv5的无人机跑道障碍物识别方法，以解决YOLOv5所面临算力复杂、效率低以及不适用无人机跑道等问题。

为了实现上述目的，本发明提供如下技术方案：

第一方面，本发明提供一种基于改进型YOLO v5的无人机跑道障碍物识别方法，其特征在于，包括如下步骤：

S10. 获取数据图像；

S11. 应用天空分割方法对所述数据图像进行分割，获得分割后数据图像；

S12. 配置改进型YOLO v5视觉模型，改进型YOLO v5视觉算法模型所包括的主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件；

S13. 将分割后数据图像输入至改进型YOLO v5视觉算法模型，输出障碍物识别结果。

作为一种可能的实现方式，所述主干网络Backbone在CenterNeT之后依次设置了三层包括CBL和CSP-x的组件，其中x表示重复的次数。

作为一种可能的实现方式，所述改进型YOLO v5视觉模型中的Neck网络包括主干网络Backbone、Neck和Prediction；其中，主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件。

第二方面，本发明还提供一种避障方法，应用第一方面所述的基于改进型YOLO v5的无人机跑道障碍物识别方法识别障碍物；所述避障方法包括如下步骤：

S20. 确定障碍物的威胁等级；

S21. 根据威胁等级确定避障路径。

作为一种可能的实现方式，所述威胁等级具体包括有障碍物但不影响飞机的飞行、有障碍物且有可能影响飞机的飞行、有障碍物且肯定会影响飞机的飞行。

作为一种可能的实现方式，根据威胁等级确定避障路径，具体包括：

当判断威胁等级为有障碍物但不影响飞机的飞行时，路径规划模块不重新进行路径规划，即将原路径提供给飞机，继续飞行任务执行；

当判断威胁等级为有障碍物且有可能影响飞机的飞行时，障碍物识别模块将识别的判断信息发送给路径规划模块，路径规划模块重新进行路径规划并把新的路线提供给飞机，继续飞行任务执行；

当判断威胁等级为有障碍物且肯定会影响飞机的飞行时，且当路径规划没有新的路径提供时，将发出急停的信息给无人机的控制系统，实现飞机制动。

与现有技术相比，本发明具有如下效果：

1. 本发明针对机场特殊应用场景，采用优化的YOLOv5视觉算法实现无人飞行器跑道障碍物识别及安全预警，有效解决了在相对小数据集对端侧小目标识别困难尤其密集目标识别效果不佳的问题。

2. 通过修改YOLO v5的主干网络Backbone的目标识别算法，即采用CenterNet代替FCOS，该结构可以省略原生YOLOv5 Head中的MSN组件，有效降低算法的复杂程度，满足有限空间、计算算力和实时性的要求；

3. 本发明应用天空分割和Reduced YOLO v5算法融合跑道障碍物识别算法，融合天空分割后，可以对视觉图像进行快速处理，并剔除由于天空部分带来的噪声对后续障碍物识别的结果的影响。

4. 本发明构建了三级安全避障规则支撑无人飞行器平台的智能路径规划。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例提供的基于改进型YOLO v5算法的无人飞机跑道障碍物识别总体流程图；

图2为改进型YOLO v5算法框架；

图3为三种不同障碍物安全避障模式。

具体实施方式

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

参见图1和图2，第一方面，本发明实施例提供一种基于改进型YOLO v5的无人机跑道障碍物识别方法，包括如下步骤：

S10. 获取数据图像；

S11. 应用天空分割方法对所述数据图像进行分割，获得分割后数据图像。剔除图像中占有大面积信息的天空信息，以适应改进型YOLO v5视觉算法模型且精准实现跑道障碍物的识别。本发明应用天空分割和Reduced YOLO v5算法融合跑道障碍物识别算法；融合天空分割后，可以对视觉图像进行快速处理，并剔除由于天空部分带来的噪声对后续障碍物识别的结果的影响。

S12. 配置改进型YOLO v5视觉模型，改进型YOLO v5视觉算法模型所包括的主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件。通过用CenterNet代替FCOS来实现提高YOLO v5算法的效率。通过用CenterNet代替FCOS作为障碍物识别的框架，通过CenterNet的一个中心点融合长宽的方式迅速实现跑道线上障碍物的识别，针对该算法的修改主要是因为跑道上的障碍物相对于常见的障碍物来说比较简单，数量且比较少，所以不需要一个复杂的目标监测的框架，而本发明实施例中应用场景比较适合采用CenterNet作为目标监测的方法。无人飞机跑道障碍物识别方法框架在用CenterNet后就可以在Head部分取消NMS框架，可以进一步的缩减整个YOLO v5框架，有效降低算法的复杂程度，满足有限空间、计算算力和实时性的要求。

另外，本发明针对机场特殊应用场景，采用优化的YOLOv5视觉算法实现无人飞行器跑道障碍物识别及安全预警，有效解决了在相对小数据集对端侧小目标识别困难尤其密集目标识别效果不佳的问题。具体的，主要是CenterNet是基于关键点检测方法，和传统的FCOS对比，CenterNet将目标检测问题转换为预测物体中心点和尺寸的回归任务。它使用热力图（heatmap）来表示物体的中心位置，并结合宽度和高度来进行边界框的回归。通过中心点定位，模型可以有效地回避传统目标检测中的复杂设计（如 anchor boxes 和多尺度特征金字塔）。由于它直接从热力图中检测物体，能够更好地捕捉物体的位置，尤其是在小物体检测上具有一定的优势。另外，更适合用于不规则物体、非矩形区域的检测，因为它通过回归物体中心和尺寸进行检测，而不是通过回归四个边界框坐标。更适合在飞机跑道这种应用场景的应用；再者，由于不涉及复杂的 anchor 配置，训练相对容易，且模型对超参数的敏感性较低。

S13. 将分割后数据图像输入至改进型YOLO v5视觉算法模型，输出障碍物识别结果。

作为一种可能的实现方式，主干网络Backbone在CenterNe之后依次设置了三层包括CBL和CSP-x的组件，其中x表示重复的次数，作为一种示例x=3。

作为一种可能的实现方式，所述改进型YOLO v5视觉模型中的Neck网络包括主干网络Backbone、Neck和Prediction；其中，主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件。

第二方面，本发明实施例还提供一种避障方法，应用第一方面所述的基于改进型YOLO v5的无人机跑道障碍物识别方法识别障碍物；所述避障方法包括如下步骤：

S20. 确定障碍物的威胁等级；所述威胁等级具体包括有障碍物但不影响飞机的飞行、有障碍物且有可能影响飞机的飞行、有障碍物且肯定会影响飞机的飞行。

S21. 根据威胁等级确定避障路径。当判断威胁等级为有障碍物但不影响飞机的飞行时，路径规划模块不重新进行路径规划，即将原路径提供给飞机，继续飞行任务执行。当判断威胁等级为有障碍物且有可能影响飞机的飞行时，障碍物识别模块将识别的判断信息发送给路径规划模块，路径规划模块重新进行路径规划并把新的路线提供给飞机，继续飞行任务执行。当判断威胁等级为有障碍物且肯定会影响飞机的飞行时，且当路径规划没有新的路径提供时，将发出急停的信息给无人机的控制系统，实现飞机制动。

具体实施时，参见图3中（a），有障碍物但是不影响飞机的飞行，通过配置的障碍物识别模块识别障碍物的信息，并根据障碍物占跑道的比例，例如只有十分之一，此时不影响飞机的正常的运行，即此时因为飞机的速度非常低，所以即使是人员也不会影响到飞机的正常运行。

参见图3中（b），有障碍物，但是障碍物可能影响到飞行安全，此时障碍物识别模块会把识别的判断信息发送给路径规划模块，路径规划模块会重新进行路径规划并把新的路线提供给飞机，继续飞行任务执行。

参见图3中（c），有障碍物，且障碍物的位置会影响到飞机的安全运行，且当路径规划没有新的路径提供时，就会发出急停的信息给无人机的控制系统，实现飞机制动。

本发明构建了三级安全避障规则支撑无人飞行器平台的智能路径规划。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及附图等，可理解并实现公开实施例的其他变化。在说明书中，“包括”（comprising）一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现说明书中列举的若干项功能。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (6)

1.一种基于改进型YOLO v5的无人机跑道障碍物识别方法，其特征在于，包括如下步骤：

S10. 获取数据图像；

S11. 应用天空分割方法对所述数据图像进行分割，获得分割后数据图像；

S12. 配置改进型YOLO v5视觉模型，改进型YOLO v5视觉算法模型所包括的主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件；

S13. 将分割后数据图像输入至改进型YOLO v5视觉算法模型，输出障碍物识别结果。

2.根据权利要求1所述的基于改进型YOLO v5的无人机跑道障碍物识别方法，其特征在于，所述主干网络Backbone在CenterNeT之后依次设置了三层包括CBL和CSP-x的组件，其中x表示重复的次数。

3.根据权利要求1所述的基于改进型YOLO v5的无人机跑道障碍物识别方法，其特征在于，所述改进型YOLO v5视觉模型中的Neck网络包括主干网络Backbone、Neck和Prediction；其中，主干网络Backbone中目标识别子模型为CenterNet，且检测头Head中删除MSN组件。

4.一种避障方法，其特征在于，应用权利要求1至3任一项所述的基于改进型YOLO v5的无人机跑道障碍物识别方法识别障碍物；所述避障方法包括如下步骤：

S20. 确定障碍物的威胁等级；

S21. 根据威胁等级确定避障路径。

5.根据权利要求4所述的避障方法，其特征在于，所述威胁等级具体包括有障碍物但不影响飞机的飞行、有障碍物且有可能影响飞机的飞行、有障碍物且肯定会影响飞机的飞行。

6.根据权利要求5所述的避障方法，其特征在于，根据威胁等级确定避障路径，具体包括：

当判断威胁等级为有障碍物但不影响飞机的飞行时，路径规划模块不重新进行路径规划，即将原路径提供给飞机，继续飞行任务执行；

当判断威胁等级为有障碍物且有可能影响飞机的飞行时，障碍物识别模块将识别的判断信息发送给路径规划模块，路径规划模块重新进行路径规划并把新的路线提供给飞机，继续飞行任务执行；

当判断威胁等级为有障碍物且肯定会影响飞机的飞行时，且当路径规划没有新的路径提供时，将发出急停的信息给无人机的控制系统，实现飞机制动。