CN112200227A - 一种基于飞机3d模型的飞机检测方法 - Google Patents
一种基于飞机3d模型的飞机检测方法 Download PDFInfo
- Publication number
- CN112200227A CN112200227A CN202011040774.9A CN202011040774A CN112200227A CN 112200227 A CN112200227 A CN 112200227A CN 202011040774 A CN202011040774 A CN 202011040774A CN 112200227 A CN112200227 A CN 112200227A
- Authority
- CN
- China
- Prior art keywords
- airplane
- picture
- plane
- pictures
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于飞机3d模型的飞机检测方法，具体涉及图像处理技术领域，包括以下步骤：步骤一：打开飞机3d模型，得到不同角度、带飞机掩码的飞机本体截图；步骤二：生成逼真飞机图片；将背景图片统一设置为固定大小。本发明由于生成数据中飞机的角度极其多样，远远多于摄像头可以采集的角度，深度学习模型学到了更加准确的飞机特征，所以误报率较低，由于生成飞机图片逼真，背景极其多样，深度学习模型能够更准确地避免背景特征的干扰，所以漏报率更低，训练数据在各方面的多样性，使得深度学习模型无论应用于什么场景，都会取得较好效果，鲁棒性、泛化性更好。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，本发明涉及一种基于飞机3d模型的飞机检测方法。
背景技术
由于深度学习的发展，近年来人工智能在各个领域的落地产品如雨后春笋般，在机场航班管理领域，随着民航局鼓励千万级以上机场推行A-CDM系统，要求各方将飞机到位/离位的时间节点录入系统，为了改变前期人工录入低效、误差大、不及时等痛点，有机场开始利用基于深度学习的飞机检测方法实现自动化录入飞机到位/离位时间。
目前的技术现状是：
一、深度学习是一项严重依赖海量数据的技术，互联网上开源的飞机检测数据少之又少，只能用于学术展示，如果直接应用于机场流媒体实时检测飞机，那么基本不会检测到飞机，因为现实中的飞机角度、环境背景、天气、摄像头成像质量等都是千变万化的；而且飞机长长的机翼使得框中的背景占了很大的比例，导致背景对飞机检测的影响较大，所以少量的数据提取的特征无法覆盖真实场景。
二、当前有些机场已经使用的飞机检测技术，主要是先采集该机场所有摄像头、时长数月的监控视频数据，抽帧得到数百万的图片，再由人工标注每张图片中的所有飞机的框信息，接着输入到深度学习模型训练，得到用于生产的模型，弊端一：此方法的经济成本毫无疑问是巨大的，业内标注这种框的速度是300张/人/天(8小时)；弊端二：这种开发模式得到的飞机检测模型只能应用于该机场已有的摄像头中，一旦摄像头变动较大、添加新摄像头、或是用于其他机场，还是会出现严重漏检的情况；某个机场即使有上千个摄像头，但每个摄像头场景固定、飞机运行轨迹固定、飞机角度固定，所以基于该机场数据训练得到的深度学习模型还是不具备足够的泛化性和鲁棒性。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
为了解决采集数据中飞机角度和场景多样性不足的问题，本发明提供一种基于飞机3d模型的飞机检测方法，利用飞机3d模型无限生成各种天气情况下、逼真飞机图片，同时得到每张图片中飞机的框信息。
为实现上述目的，本发明提供如下技术方案：一种基于飞机3d模型的飞机检测方法，包括以下步骤：
步骤一：打开飞机3d模型，得到不同角度、带飞机掩码的飞机本体截图；
步骤二：生成逼真飞机图片；将背景图片统一设置为固定大小，然后随机选取图片范围内的一个点，作为飞机粘贴的左上角，选择一张带掩码的飞机截图，根据掩码得到飞机的外接矩形，再根据外接矩形抠取飞机，接着对飞机设置一个大小，最后使用PIL库的paste函数，根据飞机截图的掩码，将飞机粘贴到背景图片选取的点上，得到逼真飞机图片的同时，生成图片中飞机的框信息；
步骤三：步骤二中生成的飞机图片和其对应的框信息，与真实应用场景的飞机和框信息，构成了深度学习的训练集，并程序化地生成飞机数据，再加上真实应用场景的数据，可以得到可用于飞机检测训练的数据；
步骤四：模拟各种天气状况下的飞机图片，取一张训练集中的图片，再取一张黑夜、雨雪等天气的图片并保存为与训练集中图片相同的分辨率，两张图片按1比1的权重相加，也就是两张图片相同位置上的像素，分别成乘以0.5，然后相加，就得到模拟图片，按照此流程生成的模拟图片，再对应上飞机框信息，就可以加入到训练集中；
步骤五：训练深度学习模型：将上述生成的飞机图片、模拟各种天气状况下的飞机图片、少量真实的飞机图片，以及这些图片对应的飞机框，输入到神经网络进行合理训练，就可以得到深度学习模型。
所述步骤一的具体步骤为：
(1)使用三维看图软件打开飞机3d模型文件；
(2)直接渲染得到不同角度、带飞机掩码的飞机本体截图，所述截图为RGBA格式的PNG图片，其中飞机掩码是RGBA格式中的A(alpha)层，代表着每个像素点的不透明程度，实质为二值图，为0表示透明，为1表示不透明，此处飞机的掩码就是：飞机截图中背景像素点的A层就为0，飞机像素点的A层就为1。
所述步骤一的具体步骤为：
(1)通过在线查看3d模型的网站打开3d模型文件；
(2)一边转动飞机，一边录屏，得到视频文件后抽帧，得到不同角度的飞机截图；
(3)使用opencv库得到每张飞机截图的掩码。
所述步骤二中，所述背景图片为高清壁纸图片、高分辨率图片、真实应用场景图片中的一种或多种。
所述步骤二中，背景图片的大小为512*512像素。
所述步骤二中，框信息包括：左上角的横坐标、纵坐标和飞机的宽、高。
所述步骤三中，真实应用场景的数量为每个摄像头100张。
本发明的技术效果和优点：
1、本发明由于生成数据中飞机的角度极其多样，远远多于摄像头可以采集的角度，深度学习模型学到了更加准确的飞机特征，所以误报率较低；
2、本发明由于生成飞机图片逼真，背景极其多样，深度学习模型能够更准确地避免背景特征的干扰，所以漏报率更低；
3、本发明训练数据在各方面的多样性，使得深度学习模型无论应用于什么场景，都会取得较好效果，鲁棒性、泛化性更好；
4、本发明的深度学习模型，以较小的经济成本，就能在飞机检测任务上达到较高的准确率。
附图说明
图1为本发明的流程图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
实施例1：
本发明提供了一种基于飞机3d模型的飞机检测方法，包括以下步骤：
步骤一：使用三维看图软件打开飞机3d模型文件，直接渲染得到不同角度、带飞机掩码的飞机本体截图，截图为RGBA格式的PNG图片，其中飞机掩码是RGBA格式中的A(alpha)层，代表着每个像素点的不透明程度，实质为二值图，为0表示透明，为1表示不透明，此处飞机的掩码就是：飞机截图中背景像素点的A层就为0，飞机像素点的A层就为1；有了掩码，就可以只将截图中飞机不规则边缘内的飞机本体粘贴到背景图片当中，飞机边缘外的背景就不会粘贴到背景图片中，从而得到逼真的飞机图片；
步骤二：生成逼真飞机图片；使用高清壁纸图片、高分辨率图片、真实应用场景图片作为背景图片，以达到背景多样化的效果，将背景图片统一设置为512*512像素，然后随机选取图片范围内的一个点，作为飞机粘贴的左上角，选择一张带掩码的飞机截图，根据掩码得到飞机的外接矩形，再根据外接矩形抠取飞机，接着对飞机设置一个大小，最后使用PIL库的paste函数，根据飞机截图的掩码，将飞机粘贴到背景图片选取的点上，得到逼真飞机图片的同时，生成图片中飞机的框信息，框信息包括：左上角的横坐标、纵坐标和飞机的宽、高；
步骤三：步骤二中生成的飞机图片和其对应的框信息，与真实应用场景的飞机和框信息，构成了深度学习的训练集，并程序化地生成飞机数据，再加上真实应用场景的数据，真实应用场景的数量为每个摄像头100张，可以得到可用于飞机检测训练的数据；基于生成的数据训练得到的模型已经可以用于真实生产环境，但还是会漏检，再加上每个摄像头100张左右的真实应用场景的数据，就可以达到几乎不会漏检或误检的水平；
步骤四：模拟各种天气状况下的飞机图片，取一张训练集中的图片，再取一张黑夜、雨雪等天气的图片并保存为与训练集中图片相同的分辨率，两张图片按1比1的权重相加，也就是两张图片相同位置上的像素，分别成乘以0.5，然后相加，就得到模拟图片，按照此流程生成的模拟图片，再对应上飞机框信息，就可以加入到训练集中；由于黑夜、雨雪等天气情况下，真实场景的飞机会比较暗，同时训练集中类似的数据较少，导致这些天气情况下飞机漏检率相对晴天下的飞机漏检率高一些，所以要增加这类数据
步骤五：训练深度学习模型：将上述生成的飞机图片、模拟各种天气状况下的飞机图片、少量真实的飞机图片，以及这些图片对应的飞机框，输入到神经网络进行合理训练，就可以得到准确率高、误报率低、漏检率低的深度学习模型。
实施例2：
本发明提供了一种基于飞机3d模型的飞机检测方法，包括以下步骤：
步骤一：通过在线查看3d模型的网站打开3d模型文件，一边转动飞机，一边录屏，得到视频文件后抽帧，得到不同角度的飞机截图，使用opencv库得到每张飞机截图的掩码；
步骤二：生成逼真飞机图片；使用高清壁纸图片、高分辨率图片、真实应用场景图片作为背景图片，将背景图片统一设置为512*512像素，然后随机选取图片范围内的一个点，作为飞机粘贴的左上角，选择一张带掩码的飞机截图，根据掩码得到飞机的外接矩形，再根据外接矩形抠取飞机，接着对飞机设置一个大小，最后使用PIL库的paste函数，根据飞机截图的掩码，将飞机粘贴到背景图片选取的点上，得到逼真飞机图片的同时，生成图片中飞机的框信息，框信息包括：左上角的横坐标、纵坐标和飞机的宽、高；
步骤三：步骤二中生成的飞机图片和其对应的框信息，与真实应用场景的飞机和框信息，构成了深度学习的训练集，并程序化地生成飞机数据，再加上真实应用场景的数据，真实应用场景的数量为每个摄像头100张，可以得到可用于飞机检测训练的数据；
步骤四：模拟各种天气状况下的飞机图片，取一张训练集中的图片，再取一张黑夜、雨雪等天气的图片并保存为与训练集中图片相同的分辨率，两张图片按1比1的权重相加，也就是两张图片相同位置上的像素，分别成乘以0.5，然后相加，就得到模拟图片，按照此流程生成的模拟图片，再对应上飞机框信息，就可以加入到训练集中；
步骤五：训练深度学习模型：将上述生成的飞机图片、模拟各种天气状况下的飞机图片、少量真实的飞机图片，以及这些图片对应的飞机框，输入到神经网络进行合理训练，就可以得到深度学习模型。
最后应说明的几点是：首先，在本申请的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于飞机3d模型的飞机检测方法，其特征在于，包括以下步骤：
步骤一：打开飞机3d模型，得到不同角度、带飞机掩码的飞机本体截图；
步骤二：生成逼真飞机图片；将背景图片统一设置为固定大小，然后随机选取图片范围内的一个点，作为飞机粘贴的左上角，选择一张带掩码的飞机截图，根据掩码得到飞机的外接矩形，再根据外接矩形抠取飞机，接着对飞机设置一个大小，最后使用PIL库的paste函数，根据飞机截图的掩码，将飞机粘贴到背景图片选取的点上，得到逼真飞机图片的同时，生成图片中飞机的框信息；
步骤三：步骤二中生成的飞机图片和其对应的框信息，与真实应用场景的飞机和框信息，构成了深度学习的训练集，并程序化地生成飞机数据，再加上真实应用场景的数据，可以得到可用于飞机检测训练的数据；
步骤四：模拟各种天气状况下的飞机图片，取一张训练集中的图片，再取一张黑夜、雨雪等天气的图片并保存为与训练集中图片相同的分辨率，两张图片按1比1的权重相加，也就是两张图片相同位置上的像素，分别成乘以0.5，然后相加，就得到模拟图片，按照此流程生成的模拟图片，再对应上飞机框信息，就可以加入到训练集中；
步骤五：训练深度学习模型：将上述生成的飞机图片、模拟各种天气状况下的飞机图片、少量真实的飞机图片，以及这些图片对应的飞机框，输入到神经网络进行合理训练，就可以得到深度学习模型。
2.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤一的具体步骤为：
(1)使用三维看图软件打开飞机3d模型文件；
(2)直接渲染得到不同角度、带飞机掩码的飞机本体截图，所述截图为RGBA格式的PNG图片，其中飞机掩码是RGBA格式中的A(alpha)层，代表着每个像素点的不透明程度，实质为二值图，为0表示透明，为1表示不透明，此处飞机的掩码就是：飞机截图中背景像素点的A层就为0，飞机像素点的A层就为1。
3.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤一的具体步骤为：
(1)通过在线查看3d模型的网站打开3d模型文件；
(2)一边转动飞机，一边录屏，得到视频文件后抽帧，得到不同角度的飞机截图；
(3)使用opencv库得到每张飞机截图的掩码。
4.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤二中，所述背景图片为高清壁纸图片、高分辨率图片、真实应用场景图片中的一种或多种。
5.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤二中，背景图片的大小为512*512像素。
6.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤二中，框信息包括：左上角的横坐标、纵坐标和飞机的宽、高。
7.根据权利要求1所述的一种基于飞机3d模型的飞机检测方法，其特征在于：所述步骤三中，真实应用场景的数量为每个摄像头100张。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040774.9A CN112200227A (zh) | 2020-09-28 | 2020-09-28 | 一种基于飞机3d模型的飞机检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040774.9A CN112200227A (zh) | 2020-09-28 | 2020-09-28 | 一种基于飞机3d模型的飞机检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112200227A true CN112200227A (zh) | 2021-01-08 |
Family
ID=74006784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011040774.9A Pending CN112200227A (zh) | 2020-09-28 | 2020-09-28 | 一种基于飞机3d模型的飞机检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200227A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409286A (zh) * | 2018-10-25 | 2019-03-01 | 哈尔滨工程大学 | 基于伪样本增强训练的船舶目标检测方法 |
| CN109977983A (zh) * | 2018-05-07 | 2019-07-05 | 广州逗号智能零售有限公司 | 获得训练图像的方法及装置 |
| CN110069972A (zh) * | 2017-12-11 | 2019-07-30 | 赫克斯冈技术中心 | 自动探测真实世界物体 |
| CN110084304A (zh) * | 2019-04-28 | 2019-08-02 | 北京理工大学 | 一种基于合成数据集的目标检测方法 |
| WO2019177738A1 (en) * | 2018-03-13 | 2019-09-19 | Toyota Research Institute, Inc. | Systems and methods for reducing data storage in machine learning |
| CN110852332A (zh) * | 2019-10-29 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 训练样本的生成方法、装置、存储介质及电子设备 |
| US20200167966A1 (en) * | 2018-11-27 | 2020-05-28 | Raytheon Company | Computer architecture for artificial image generation using auto-encoder |
-
2020
- 2020-09-28 CN CN202011040774.9A patent/CN112200227A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069972A (zh) * | 2017-12-11 | 2019-07-30 | 赫克斯冈技术中心 | 自动探测真实世界物体 |
| WO2019177738A1 (en) * | 2018-03-13 | 2019-09-19 | Toyota Research Institute, Inc. | Systems and methods for reducing data storage in machine learning |
| CN109977983A (zh) * | 2018-05-07 | 2019-07-05 | 广州逗号智能零售有限公司 | 获得训练图像的方法及装置 |
| CN109409286A (zh) * | 2018-10-25 | 2019-03-01 | 哈尔滨工程大学 | 基于伪样本增强训练的船舶目标检测方法 |
| US20200167966A1 (en) * | 2018-11-27 | 2020-05-28 | Raytheon Company | Computer architecture for artificial image generation using auto-encoder |
| CN110084304A (zh) * | 2019-04-28 | 2019-08-02 | 北京理工大学 | 一种基于合成数据集的目标检测方法 |
| CN110852332A (zh) * | 2019-10-29 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 训练样本的生成方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| RICHARD SZELISKI: "《计算机视觉-算法与应用》", 31 January 2012, 清华大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619283B (zh) | 一种无人机正射影像道路自动提取方法 | |
| CN109033998B (zh) | 基于注意力机制卷积神经网络的遥感影像地物标注方法 | |
| CN109360171A (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
| CN110363716A (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN115841559A (zh) | 一种基于神经辐射场的城市大场景重建方法 | |
| CN111144418B (zh) | 一种铁路轨道区域分割提取的方法 | |
| US20220189145A1 (en) | Unpaired image-to-image translation using a generative adversarial network (gan) | |
| CN102053563A (zh) | 模拟机飞行训练数据采集及质量评估系统 | |
| CN112488015B (zh) | 面向智慧工地的目标检测方法及系统 | |
| Zhang et al. | Application research of YOLO v2 combined with color identification | |
| CN114491694B (zh) | 一种基于虚幻引擎的空间目标数据集构建方法 | |
| CN108229587A (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
| CN117934703A (zh) | 一种基于三维高斯的多帧环视自动驾驶场景仿真与编辑方法 | |
| CN116994162A (zh) | 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 | |
| CN107239760B (zh) | 一种视频数据处理方法及系统 | |
| CN116030342A (zh) | 绿化植物缺水状态检测的方法、装置、设备及存储介质 | |
| CN114120077B (zh) | 一种基于无人机航拍大数据下的防控风险预警方法 | |
| CN115661932A (zh) | 一种垂钓行为检测方法 | |
| CN118410724A (zh) | 一种输电线路异物识别方法、系统、计算机设备及介质 | |
| CN117391973A (zh) | 基于多尺度改进残差块cnn的图像去运动模糊方法 | |
| CN112200227A (zh) | 一种基于飞机3d模型的飞机检测方法 | |
| CN112785678A (zh) | 基于三维模拟的日照分析方法和系统 | |
| CN120014147A (zh) | 静态场景模型的训练方法、装置、设备、介质及产品 | |
| CN112598692A (zh) | 基于标记像素矩阵的遥感影像分割后处理算法 | |
| CN116883663B (zh) | 基于深度学习的视频流中飞行目标主要部件语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |