CN102053563A - 模拟机飞行训练数据采集及质量评估系统 - Google Patents

Abstract

本发明属于航空训练领域，涉及到模拟机飞行训练数据采集及质量评估系统及其技术解决方案，特别是涉及到对模拟机训练系统显示器中的飞行数据进行视频采集，应用图像处理技术对视频分帧后的图像进行预处理，通过模式识别技术识别出图像中的飞行数据，对模拟机训练过程中的飞行轨迹进行三维仿真进而进行教学评估，并针对典型性问题归纳总结附带飞行训练视频一并上传到视频服务器，提供共享和学习平台。在与模拟机系统保持完全隔离，不与模拟机本身系统有数据连接通道的情况下，准确采集飞行数据，再现飞行员训练过程并对其进行质量评估的问题。

Description

模拟机飞行训练数据采集及质量评估系统

技术领域

本发明属于航空训练领域，涉及到模拟机飞行训练数据采集及质量评估系统及其技术解决方案，特别是涉及到对模拟机训练系统显示器中的飞行数据进行视频采集，应用图像处理技术对视频分帧后的图像进行预处理，通过模式识别技术识别出图像中的飞行数据，对模拟机训练过程中的飞行轨迹进行三维仿真进而进行教学评估，并针对典型性问题归纳总结附带飞行训练视频一并上传到视频服务器，提供共享和学习平台。

背景技术

飞行员培训是民航业事业蓬勃发展和保持更高安全水平的基础性工作，其教学工作以学习的渐进原理为设计依据，注重将知识积累和飞行技能实践相结合。该行业特有的严谨性和复杂性迫切需要相应的软件产品为其飞行训练教学工作提供技术支持和保证。加大飞行员训练投入、加快成才速度、提高训练质量是摆在各航空公司面临的重要课题。同时，国内飞行员飞行时间较短，实战训练较少，模拟真实飞行的飞行训练系统显得格外重要，因此模拟机训练器教学在训练体系中占有相当重要的地位，是整体训练大纲的一个重要组成部分，而重飞机训练轻模拟机训练器带飞的观点是制约提高教学质量的一个重要因素。

用于训练飞行员的飞行模拟机和飞行训练设备有许多种类，从可模拟各种飞机通用系统的部分功能训练器(Part-Task Trainer，PTT)，练习操作与仪表检查的驾驶舱程序训练器(Cockpit Procedures Trainer，CPT)，到最复杂的全功能飞行模拟机(Full Flight Simulator，FFS)。较高等级的全功能飞行模拟机可以做出有6个自由度的全方位移动，同时也有广角高传真的视觉系统来模拟窗外的景色。包含了拟真的驾驶舱与视觉系统的模拟器座舱是装在由6支起重轴支撑的运动平台上，借由电脑的控制可以提供三个轴线的线性运动与旋转，就如同一个真实的自由物体在空间的运动状况。三种旋转分别是俯仰(机头朝上或下)、滚转(某一面机翼朝上或下)与偏转(机头朝左或右)；而三种线性运动分别是起伏(上下移动)、横移(左右移动)以及纵移(向前加速或减速)。

飞行模拟器也用于训练机组成员的正常和紧急作业程序。所以使用模拟器可训练飞行员处理各种飞机在有问题或不安全的情况下，诸如发动机故障、液压或电气系统失灵、仪表失常等等。

现代的飞行模拟器，集计算机、机械、电气、电子、自动控制、液压、光学等技术于一身，是一种十分复杂、精密的高科技设备。自2007年起，飞行模拟机制造公司-加拿大CAE公司提出了一种模拟机新技术-SimXXI，该技术的提出是对传统模拟机生产技术的挑战，主要从以下几个方面定义：(1)模块化设计；(2)基于windows的计算机结构；(3)一对一的接口设计；(4)维护导向设计；(5)连接CAE文档体系的树状诊断系统；(6)部件集成化高，数量减少；(7)较轻的模拟机结构。其中模块化设计就是将整台飞行模拟机分解为一个个典型的模块式结构，可以根据不同的机型要求进行灵活组合，安装成适合需要的模拟机整体，便于实现产品的批量化和标准化，有利于后期的维护和使用；基于windows的计算机结构打破了传统模拟机采用小型机+AIX操作系统的旧模式，采用基于windows和PC计算机的分布式结构，可以更加方便的操纵模拟机；一对一的接口设计采用Super C总线控制结构，模块化控制各种电子设备，实现了一块接口卡控制一个电子设备，同时采用了相对集中、标准化的接口卡，从而大大方便了模拟机的维护和使用；树状诊断系统和维护导向设计基于计算机结构和一对一的接口设计使SimXXI实现对系统的软硬件的自动诊断，维护工程人员还可以通过模拟机厂家建立的强大的模拟机维护信息网站迅速了解模拟机的维护信息，按照网站的维护导向一步步解决问题，给维护工作带来极大地方便；较轻的模拟机结构使整个模拟机重量减轻，能够给迅速的响应运动；同时CAE的模拟机开始采用电动式运动系统代替传统的液压式运动系统，使模拟机的电能消耗减少了三分之二，减少了液压工作站、水冷却循环系统带来的问题，增强了使用寿命，也提高了模拟机的训练质量。

随着科学技术的进步，飞行模拟机也变得越来越先进，越来越逼真，但是应用在模拟机训练过程中的教学评估手段却没有得到及时的更新，而目前国内民航训练用模拟机依赖进口，国外公司对其系统进行一定的技术保护，限制在模拟器使用计算机上安装任何软件，并对系统的维护和升级都收取非常高的费用。

在与模拟机系统保持完全隔离的条件下，开发模拟机的辅助训练系统，需要取得准确的飞行模拟训练数据，在国外公司的限制下，较难自行设计系统。这也成为了民航训练行业发展的一个瓶颈，突破国外的技术封锁，开发自己的具有针对性的模拟机飞行数据采集与质量评估系统显得尤为重要。据专家介绍类似的开发项目在国内还没有研制成功的记录，有少数国家的航空公司拥有类似的系统，但价格昂贵，增加了模拟机训练费用。

发明内容

本发明的目的是在与模拟机系统保持完全隔离的条件下，提供一种方法准确采集到模拟机训练过程的各种飞行数据，在此基础上对模拟机飞行轨迹进行三维仿真，重现飞行员的飞行状态，用于教学点评，并提供视频共享与学习平台。解决了在不与模拟机本身系统有数据连接通道的情况下，准确采集飞行数据，再现飞行员训练过程并对其进行质量评估的问题。

本发明的技术解决方案如下：本系统直接针对计算机屏幕上显示的模拟机数据，应用图像处理技术和模式识别技术，识别出模拟飞行训练过程中的各参数，并记录到数据库中，基于采集到的各种飞行数据，运用三维仿真技术，对训练过程中的飞行数据、飞行动作、操作流程以及仪表显示进行再现，对于典型问题评估将与对应视频一并上传到视频服务器。

一、飞行数据的采集及识别过程

(一)数据采集

数据采集系统的种类主要分为两类：设备类和网络类。本系统中数据采集子系统为设备类，数据采集来源于模拟机飞行训练系统中飞行数据的显示设备，并没有关联到外界的网络数据库，主要包括：

1、两个分频设备

分频设备将模拟机主机柜中的飞行数据流的VGA信号一分为二，一路直接传送到显示器中，另一路经过信号转换设备转换成AV信号，传送到8路视频服务器中。

2、信号转换设备

VGA视频信号的带宽及信息要求量太大，为了方便后期数据识别过程，信号转换设备用于将模拟机中的VGA信号转换成AV信号。

3、3个摄像头(含声音)

3个摄像头其中一个用于采集模拟机训练室内的飞行员训练的视频和音频信息，另外两个分别采集模拟机上仪表的两个侧面的视频信息，用于后面的图像校正和融合。

4、8路视频服务器

视频服务器中包含两块数据采集卡，用来接收摄像头传送的视频信息及从模拟机机柜中传送过来的飞行数据视频信息，并且能够同时显示8路视频信息，把飞行员飞行训练过程、飞行数据、模拟机中的仪表显示、甚至后期的三维再现视频等视频流集成到同一平台中，实现各视频的同时播放，方便教员及检查员对受训队员的飞行过程从各个角度进行评估，真正意义上提高训练质量。

(二)数据识别

1、视频分帧

视频是由一系列连续变化的静态图像经过一定的技术处理而形成，通常所说的帧数是1秒内变化的图像数，帧则是变化中的某一副静止图像。视频分帧就是把视频分离为一幅幅的静态图像，存储到专门的文件夹内，方便之后识别其中的数字信息。本系统中视频分帧的实现基于Intel公司支持的开源计算机视觉库OpenCV(Open Source Computer Vision Library)，并在其基础上于windows操作系统中，采用VisualStudio2005平台，用C++语言实现了视频分帧，并且实现了分离指定帧，隔帧取图等功能。

2、图片预处理

(1)灰度化

一般通过摄像头采集的图像或者计算机中存储的图像通常是彩色图，即24位真彩色图像。彩色图像包含着大量的色彩信息，不仅占用了大量的内存，也大大降低了处理速度。因此通过将彩色图像灰度化来提高处理速度。彩色图像又称RGB图像，它是由R、G、B三个分量来表示一个像素信息。当图像中的每一个像素值R＝G＝B是，表示一种灰度颜色。灰度化通常有三种方法：

1)最大值法：R＝G＝B＝max(R，G，B)

2)平均值法：R＝G＝B＝(R+G+B)/3

3)加权值法：R＝G＝B＝0.30R+0.59G+0.11B

因为人眼对绿色敏感度最高，红色次之，蓝色最低，因此加权值法中的权值可以得到最合适的灰度图像，所以本系统选择加权值法对从视频中分离出的图像进行灰度化。

(2)二值化

二值化是数字图像处理技术中的一项基本技术，在许多应用场合都要求首先对输入的图像进行二值化，二值图像就是指整幅图像内仅有黑、白两个值。为了加快处理速度并能将飞行数据与背景分开，通过阈值的设定将灰度值小于阈值的像素直接设置为255，灰度值大于阈值的像素值直接设置为0。因此阈值的选择至关重要，阈值分为全局阈值和局部阈值。全局阈值方法速度比较快，但是容易受到光线条件、背景亮度及图像背景的影响从而引起飞行数据的丢失；局部阈值可能引起伪影或笔画断裂。考虑到实际环境的复杂性，定义一种通用而有效的二值化方法几乎不可能，到目前为止，已经提出的二值化方法已不下100种。本系统采用了基于全局阈值的二值化算法，对灰度图像进行二值化处理。

(3)灰度拉伸

图像有时因某种原因会造成局部过亮或过暗，这就需要对图像进行拉伸，使之覆盖较大的取值区间，使得亮的区域更亮，暗的区域更暗，提高图像的对比度，从而使图像边缘明显，使飞行数据区域表现更加清楚。灰度拉伸是将灰度图像进行分段性变化。若源图像f(x，y)灰度变化为[a，b]，希望变换后图像g(x，y)的灰度范围扩展到[c，d]，变换公式如下：

$g(x,y)=\left\{\begin{array}{cc}c,& 0<=f(x,y)<=a\\ [(d-c)/(b-a)]f(x,y)+c,& a<=f(x,y)<=b\\ d,& b<=f(x,y)<=255\end{array}\right.---\left(1\right)$

(4)边缘增强

边缘主要存在于目标与目标、目标与背景之间，是分割目标、提取纹理的重要特征。通过边缘增强的方法突出飞行数据的纹理信息，使得飞行数据区域定位更加快速、准确。常用的采用边缘检测算子检测每个像素的点的邻域，并对灰度变化率进行量化。常用的边缘检测算子有：Roberts算子、Sobel算子、Prewitt算子、Laplacian算子、Gauss-Laplacian算子及Canny算子来实现。本系统采用Canny算子实现图像的边缘增强。

3、飞行数据区域定位

飞行数据区域定位就是在已给连续变化的图片中准确地定位到数字发生变化的区域，数字区域定位后进而进行图像分割，从而更容易的实现数字识别。图片中区域定位算法有区域生长、区域分解、区域填充等，这些方法能很好的解决一些比较复杂的区域定位问题。由于本系统数字区域定位过程中的图片已经经过预处理，即使其中含有大量的冗余信息，但这些冗余信息基本上前后没有发生变化，只有飞行数据区域会发生变化，经过帧间差分就能很快并能准确地找到数字发生变化的区域即飞行数据区域。本系统中采取的算法为通过采取n(n的值为人为设定)组相邻帧图片做差分，然后将差分后所得的图像间进行帧或操作，以增强操作后所得图像中的数字变化区域，这样利用算法由下向上对图像进行扫描，便能更加准确的地定位到数字变化区域。

4、字符分割

定位准确的飞行数据区域主要由0-9十个数字、小数点及分别代表南经(S)、北经(N)、东纬(E)、西纬(W)的四个字母共15个字符构成，对于不属于此范围内的字符可以直接忽略。要想成功识别出每一个字符必须要把这些字符独立的分割出来。飞行数据区域与其他区域上下间及字符与字符之间有空隙和跳变，可以根据字符书写格式、尺寸等分割出每一个字符。本系统在飞行数据区域进行上下左右扫描即可实现对每个字符的分割，为了能够将分割的结果清晰地显示出来，在分割的字符上下左右都加上边框。

5、模式识别

数据识别是模式识别领域的一个重要分支，属于图像识别问题。目前较常见的数据识别方法有模板匹配法、基于数字特征的识别方法、神经网络法等。本系统采用神经网络法对飞行数据进行识别，识别可达到100％，保证了飞行数据的准确性和可靠性，主要包括以下几个方面：

(1)字符特征提取

在特征向量提取之前，首先要对欲识别的数字进行归一化处理，归一化处理是指将分割好的字符图像通过系数变换得到高度、宽度均相等的图像，以方便特征提取，提高识别的准确率。在归一化处理的基础之上，对字符进行特征提取。特征提取就是在需要识别的物体被分割出来后，提取所需要的特征，并对某些参数进行计算和测量，根据测量结果进行分类。

求出一组对分类有效的特征，在特征维数减少到同等水平，其分类性能最佳。下面的映射关系使得新样本描述维数比原维数低：

A:Y->X                                                    (2)

其中每个分量x_i是原特征向量个分量的函数，即：

x_i＝x_i(y₁，y₂…，y_D)                                      (3)

常用的字符特征提取方法有逐像素特征提取法、骨架特征提取法、垂直方向数据特征提取法及13特征点提取法等，本系统采用逐像素特征提取法。逐像素提取法将对图像进行逐行逐列扫描，遇黑点时候取“1”或“0”，当遇白点时取“0”或“1”。扫描结束后得到与图像像素个数相同的特征向量矩阵。将所提出的特征送到分类器的输入端进行分类，得出结果。

(2)分类器设计

分类器是一种能够根据识别对象所呈现的特征自动的分到某一类别中。目前常用的分类器有KNN(k-紧邻法)、神经网络、决策树、SVM(支持向量机)、贝叶斯分类器及粗糙集等，本系统采用神经网络来对字符分类，神经网络的分类过程分成两部分，首先学习网络的权重，利用一些已知的数据训练网络，得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类型。

本系统采用BP神经网络。BP算法称作反向传播算法，主要思想是从前向后逐层传播信息，从后向前逐层传播输出层的误差，间接算出隐层误差。神经网络的基本激励函数有阈值函数、分段线性函数及Sigmoid函数。其中Sigmoid函数也成为S型函数，它是人工神经网络中用的最多的激励函数，其函数的定义为：

f(x)＝1/(1+e^x)                                            (4)

(3)字符识别

将之前对飞行数据字符特征的提取作为已经训练好的BP网络的输入，即可完成对模拟机训练过程中的飞行数据的识别。

二、飞行轨迹三维仿真及训练质量评估

目前，信息技术飞速发展，三维可视化视景仿真技术在科研、生产、生活中的应用越来越广泛，各种三维视景仿真软件不断涌现。由Multigen-Paradigm公司专门针对可视化仿真行业应用特点开发的实时可视化三维视景仿真软件-Multigen Vega系列软件以其强大的视景仿真功能得到众多用户的青睐，越来越多的科研单位和科技人员应用该软件作为三维可视化仿真应用和开发的基础。现在，Vega已经成功应用于城市规划仿真、建筑设计漫游、飞行仿真、海洋仿真、地面战争模拟、车辆驾驶仿真、三维游戏开发等方面，并不断地向新的领域扩展。

Vega是一套完整地用于开发交互式、实时可视化仿真应用的软件平台，其最基本的功能是驱动、控制、管理虚拟场景并支持快速复杂的视觉仿真程序，快速创建各种实时交互的三维环境，快速建立大型沉浸或非沉浸式的虚拟现实熊。从整体而言，Vega具有易用性、高效性、可扩展性、跨平台性等特点。

针对上述情况，本系统将三维仿真的理论知识结合Vega开发平台，在windows系统下，采用MFC的开发方式实现对模拟机飞行训练过程的进行实时三维仿真。并且可以模拟出逼真的飞行环境如“打雷天气“，”下雨天气“，”大风天气“等，具有很强的灵活性。

三维仿真视频会被集成到8路视频服务器中，由于三维仿真具有实时性，保证了与飞行过程中其他视频的同步性，视频被集成到同一个窗口中同步播放，极大地方便了教员与检查员的教学评估工作。

另外还会配置一台视频服务器，主要包括两大模块功能：

1、视频记录模块，受训学员在模拟机中的训练视频会从8路视频服务器中自动上传到此模块，每名受训学员会有自己的视频存储空间，凭借个人登录信息可以对历史飞行记录进行检索和查询。

2、视频共享和学习模块，专家可以针对受训员在模拟机飞行训练过程中的表现出的典型问题进行点评，并将点评及其对应视频一并从8路视频服务器中或者直接上传到视频共享与学习模块中，方便受训学员们下载和学习，有效减少低效，重复训练现象的发生。

本发明的效果和益处是：

1、本发明直接针对计算机屏幕上显示的模拟机数据，应用图像处理技术和模式识别技术，识别出模拟飞行训练过程中的各参数，并记录到数据库中，既解决了模拟机的安全问题，又解决了模拟机飞行数据采集的问题，为后续的场景回放、教学评估和点评提供数据基础。

2、发明中的三维仿真使教导员可以通过B/S模式随时对飞行过程中的任意场景、动作、飞行数据进行指导，全面地提升了模拟机的训练质量。

3、本发明方便了后期对飞行训练过程的质量评估和分析，在国外对模拟机训练系统进行技术封锁的条件下，能够安全稳定地改善和补充模拟机训练系统。

4、本发明增强了模拟机训练系统的实用性和适用性，高效地利用资源，减少对国外技术的依赖，促进我国民航训练行业的发展。

5、本发明有比较强的兼容性，可以应用于不同机型和系列的模拟机训练系统上，能够减少开发成本，同时降低了模拟机飞行训练的运营成本。

6、本发明的共享与学习模块可以减少受训学员在飞行训练过程中的低效、重复性的动作，从而减少了模拟机的训练费用，提高模拟机的使用周期。

附图说明：

图1是本发明的系统部署图。

图2是本发明的数据采集流程图。

图3是本发明的数据识别流程图

图4是本发明的三维仿真流程图

具体实施方式：

以下结合技术解决方案及附图，说明本发明的具体实施方式：

图1所示为本发明在应用到模拟机飞行训练系统中之后整个系统的部署图，在原有的模拟机训练系统基础上，新增加了数据采集子系统，三维仿真子系统，质量评估子系统及视频共享与学习平台。

首先如图2所示，视频分频设备接收来自于模拟机机柜中的VGA视频信号，然后将信号一分二，一路传送到数据监控显示器中，另一路进入信号转换设备中，信号转换设备接收到VGA信号，然后将VGA信号转换成数据量较小并且处理速度比较快的AV信号，普通AV视频信号传送到8路视频服务器中，服务器经过数据处理将模拟机飞行训练过程中的飞行数据及飞行情况显示在质量评估子系统的显示器中，这时植入在8路视频服务器中的数据识别程序会同时接收到数据流信息，识别程序将按照图3所示的数据识别流程图首先对视频流进行处理，将视频信息转换成一幅幅的静态图像，应用图像处理技术对图像进行预处理，包括对图像的灰度化、二值化、灰度拉伸，边缘增强；接着对经过预处理后的图像通过帧间差分技术对飞行数据区域进行准确定位，进而有效地对数据字符进行分割，分割之后的字符经过归一化处理，就可以快速准确的提取出字符的特征值，最后应用神经网络技术对飞行数据进行模式识别，识别出的训练过程中的飞行数据会被存储到数据库中；Vega仿真系统将按照图4所示流程图，基于数据库中飞行数据，其作为数据来源，进行系统建模，经过视景驱动后，形成飞行训练过程的三维仿真视频，此视频会被传送到质量评估子系统的显示器中。同时会有三路摄像头采集模拟机驾驶舱中受训学员的飞行动作及模拟机上的仪表显示数据，然后将采集到的视频信息传送到8路视频服务器中，经过处理后，被传送到质量评估子系统的显示器中。

质量评估子系统直接连接到8路视频服务器中，对服务器中传送过来的多路视频数据进行同时显示，方便教员和检查员对受训员的飞行过程从多角度进行质量评估。

视频共享与学习平台建立在一个视频服务器上，其内存有视频检索和查看的程序模块，其视频数据直接来源于与它相连的8路视频服务器，8路视频服务器在向质量评估子系统传送数据的同时会将进过视频分屏器分离的视频信息传送到视频共享与学习平台中视频服务器上，这样受训学员就可以通过自己的账号信息登录到视频共享与学习平台中进行检索和查看；另外在质量评估子系统中，专家可以针对飞行训练过程中比较典型的问题进行评估和讲解，形成电子档与其相对应的视频一并传送到视频共享与学习平台中的视频服务其中，受训学员可以进行针对性的学习，减少训练过程中的低效、重复性行为。

Claims (8)

1.一种模拟机飞行训练数据采集与质量评估系统，包括数据采集、三维仿真与质量评估、视频共享与学习平台，其特征是对模拟机训练系统显示器中的飞行数据进行视频信息采集，利用图像处理和模式识别技术识别数据，进行三维仿真，方便质量评估和视频共享学习。

2.根据权利要求1所述的数据采集子系统，其特征在于其包括至少一个8路或8路以上视频服务器，两块或以上视频分屏器，用视频分屏器将显示器中视频流一分为二，并通过信号转换设备，将VGA信号转换成AV信号，传送到8路视频服务器中。

3.根据权利要求1所述的数据采集子系统，其特征在于通过3个摄像头对受训学员的飞行动作及模拟机显示仪表中数据进行音视频信息采集，并将视频信息方式传送到8路视频服务器中。

4.根据权利要求1所述的数据采集子系统，其特征在于在8路视频服务器中包含飞行数据识别程序模块和视频上传程序模块，功能分别如下：

(1)数据识别程序模块实现快速准确的识别飞行训练过程中的飞行数据，并将飞行数据存储到数据库服务器中。

(2)视频上传程序模块将教员对典型的飞行训练问题的指导和评估电子化，与其相对应的飞行视频一并传送到视屏共享与学习平台中的视频数据服务器中，学员和教员可以对此资源进行下载学习，减少飞行训练过程中的低效、重复的飞行动作。

5.根据权利要求3所述的数据识别程序模块，其特征在于包括以下步骤：

(1)视频分帧

对视频进行抽取视频帧操作，分离为一幅幅静态图片。

(2)图像预处理

对图像进行预处理操作包括灰度化、二值化、灰度拉伸、边缘增强。

(3)飞行数据区域定位

通过视频帧间差分技术，对飞行数据区域进行准确定位

(4)字符分割

根据字符书写格式、尺寸等分割出每一个字符。

(5)数据识别

对分割收的字符进行特征值提取，作为数据输入，利用神经网络完成对飞行训练数据的识别，并存储到数据库中。

6.根据权利要求1所述的模拟机飞行轨迹三维仿真子系统，其特征在于将研发的三维仿真程序模块直接植入8路视频服务器中，实时接收数据识别程序输出的飞行训练数据对飞行轨迹进行三维仿真，并将仿真视频实时输出到模拟机飞行训练质量评估子系统中。

7.根据权利要求1模拟机飞行训练质量评估子系统，其特征在于直接连接到8路视频服务器中，用于同时显示经过处理后的多路视频，包括驾驶舱中受训员飞行训练动作、仪表数据显示、两个飞行数据显示视频、三维仿真视频。

8.根据权利要求1所述的模拟机训练系统中的视频共享与学习平台，其特征在于包含单独的视频服务器，与权利2中的8路视频服务器直接相连，其内置入了学员登录程序及视频检索程序，并且存储受训学员的飞行记录视频及具有典型代表性质的视频(包括专家对其指导和评估)，方便受训学员的训练前的预习及训练后的更进一步学习。

Images