[go: up one dir, main page]

CN111887803A - 飞机驾驶舱人机工效多维监测评价系统 - Google Patents

飞机驾驶舱人机工效多维监测评价系统 Download PDF

Info

Publication number
CN111887803A
CN111887803A CN202010813551.5A CN202010813551A CN111887803A CN 111887803 A CN111887803 A CN 111887803A CN 202010813551 A CN202010813551 A CN 202010813551A CN 111887803 A CN111887803 A CN 111887803A
Authority
CN
China
Prior art keywords
unit
feature
ergonomics
feature extraction
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010813551.5A
Other languages
English (en)
Other versions
CN111887803B (zh
Inventor
王臻
陆燕玉
傅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN202010813551.5A priority Critical patent/CN111887803B/zh
Publication of CN111887803A publication Critical patent/CN111887803A/zh
Application granted granted Critical
Publication of CN111887803B publication Critical patent/CN111887803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/0245—Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B64D43/02—Arrangements or adaptations of instruments for indicating aircraft speed or stalling conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种飞机驾驶舱人机工效多维监测评价系统，包括：人机状态监测单元、特征提取单元、多通道特征同步规范化处理单元、工效要素描述单元、人因诊断单元和人机工效综合评价单元，人机状态监测单元通过输出原始人机状态测量数据与特征提取单元相连，特征提取单元通过输出特征提取结果与工效要素描述单元相连，多通道特征同步规范化处理单元对特征提取单元各模块输出结果进行时间对齐处理以及特征指标规范化处理，并根据特征的形成机理对特征进行分组，工效要素描述单元通过输出多个维度的工效要素描述的结果与人因诊断单元以及人机工效综合评价单元相连，人因诊断单元将多个人因诊断指标的结果提供给用户，人机工效综合评价单元计算并生成连续、定量化的人机工效整体评价结果。本发明解决了传统人机工效研究注重决断而忽视诊断的问题，可为设计优化和风险溯源提供有效的人因客观分析工具。

Description

飞机驾驶舱人机工效多维监测评价系统
技术领域
本发明涉及的是一种航空人因安全领域的技术，具体是一种飞机驾驶舱人机工效多维监测评价系统。
背景技术
民机飞行事故中由于机组操作错误造成的事故约占总事故的60％～80％。进行驾驶舱人机工效的评价对于优化驾驶舱人机界面设计、审查飞机适航符合性中的人因相关条款、探测运行过程中的人因风险、确保飞行安全具有至关重要的意义。
经调查，目前的飞机驾驶舱人机工效评价方面存在一系列局限性：第一，目前基于人体测量的驾驶舱人机工效评价方法是局部的、静态的，只能满足可达性方面的评价要求，难以对任务过程中飞行员认知状态和脑力工作负荷进行评价；第二，现有常用的主观评价方法例如NASA-TLX等的评价结果一致性差、难以令人信服，且无法在任务过程中进行连续测量；第三，现有评价方法无法提供诊断信息来指导设计优化。
发明内容
本发明针对现有技术存在的上述不足，提出一种飞机驾驶舱人机工效多维监测评价系统，利用客观测量技术，对人机交互过程中的人机状态进行多方位连续监测，利用数理统计方法，融合多源工效特征，实现任务过程中的人机工效客观综合评价，解决了现有工效评价过分依赖静态测量、主观感受的问题；并构建工效诊断指标，对工效问题的来源进行分析和定位，解决了传统人机工效研究注重决断而忽视诊断的问题，可为设计优化和风险溯源提供有效的人因客观分析工具。
本发明是通过以下技术方案实现的：
本发明涉及一种飞机驾驶舱人机工效多维监测评价系统，包括：人机状态监测单元、特征提取单元、多通道特征同步规范化处理单元、工效要素描述单元、人因诊断单元和人机工效综合评价单元，其中：人机状态监测单元通过输出原始人机状态测量数据与特征提取单元相连，特征提取单元通过输出特征提取结果与工效要素描述单元相连，多通道特征同步规范化处理单元对特征提取单元各模块输出结果进行时间对齐处理以及特征指标规范化处理，并根据特征的形成机理对特征进行分组，工效要素描述单元通过输出多个维度的工效要素描述的结果与人因诊断单元以及人机工效综合评价单元相连，人因诊断单元将多个人因诊断指标的结果提供给用户，人机工效综合评价单元计算并生成连续、定量化的人机工效整体评价结果。
所述的人机状态监测单元包括：目前主流的头戴式眼动仪、胸带式心肺活动测量系统、驾驶舱操控记录设备、飞行参数记录设备，其中：眼动仪采集飞行员的注视点坐标、瞳孔直径测量值，心肺活动测量系统采集飞行员的心率、呼吸频率、呼吸幅度测量值，驾驶舱操控记录设备采集飞行摇杆、油门杆、脚蹬踏板的位置测量值，飞行参数记录设备采集飞机的经纬度、高度、空速以及加速度测量值。
所述的特征提取单元包括：眼动特征提取模块、控制特征提取模块、生理特征提取模块以及飞行任务特征提取模块。
所述的工效要素描述单元包括：视觉活动描述模块、控制活动描述模块、工作负荷描述模块和任务绩效描述模块。
所述的人因诊断单元包括：视觉感知难度诊断模块、操控难度诊断模块、信息显著度诊断模块和操控效率诊断模块。
技术效果
本发明整体解决的问题是对飞行任务过程中的驾驶舱人机工效进行全面、量化、连续的客观评价，并从设计角度对工效问题的来源进行定位。
与现有技术相比，本发明利用认知心理学机理，明确了人机工效评价问题需要考察的要素；利用连续客观测量技术、定量化特征提取方法以及多源特征融合方法，实现了任务过程中的驾驶舱人机工效要素量化描述以及客观综合评价，有效解决了人机工效领域目前静态测量、主观评价为主，缺乏连续客观评价方法的问题；利用评价维度间的关联构建工效诊断指标，可为设计优化提供有针对性的辅助信息，解决了传统工效分析注重决断而忽视诊断的问题。
附图说明
图1为飞机驾驶舱人机工效多维监测评价系统示意图；
图2为飞机驾驶舱人机工效客观评价特征指标体系示意图；
图3为本发明构建的飞机驾驶舱人机工效综合评价结果多维图形化呈现方式。
具体实施方式
如图1所示，为本实施例涉及一种飞机驾驶舱人机工效多维监测评价系统，包括：人机状态监测单元、特征提取单元、多通道特征同步规范化处理单元、工效要素描述单元、人因诊断单元、人机工效综合评价单元。
本实施例涉及运用上述系统的人机工效监测评价方法，包括：飞行任务中的人机状态监测、基原始测量数据处理与工效特征提取、工效要素计算、诊断指标的计算、人机工效综合评价结果的计算以及评价结果的呈现方式。
人机状态监测单元中的头戴式眼动仪通过眼部摄像头与目标检测方法，从图像中定位瞳孔位置并检测瞳孔大小，计算视线方向，最终输出注视点在前景图像中的像素坐标以及瞳孔直径数值。
人机状态监测单元中的胸带式心肺活动测量系统通过ECG传感器测量被试人员的心电图数据，通过胸带中压敏传感器上的电压值变化反应因呼吸引起的胸腔轮廓变化。
人机状态监测单元中的驾驶舱操控记录设备采集飞行摇杆、油门杆、脚蹬踏板相对于中立位置的偏转角度数值。
人机状态监测单元中的飞行参数记录设备采集输出飞机的经纬度、高度、空速以及加速度数值。
特征提取单元中的眼动特征提取模块利用注视点坐标与采样时间计算注视点移动速度，当注视点移动速度小于30像素/秒时记为出现注视活动，大于30像素/秒则记为出现扫视活动，统计每段注视活动序列的长度得到注视时间特征的值，统计单位时间内扫视活动出现次数得到扫视频率特征的值。通过检测瞳孔直径测量序列中的0值，出现0值时记为眨眼，统计单位时间内的眨眼序列段数得到眨眼频率特征的值。
特征提取单元中的控制特征提取模块对飞行摇杆、油门杆、脚蹬踏板角度在时间序列上进行差分处理，得到副翼操控速率、升降舵操控速率、方向舵操控速率、油门操控速率特征的值。
特征提取单元中的生理特征提取模块从心电图数据中检测R波，通过R-R间期的倒数计算心率特征的值。利用压敏传感器上的电压值的幅值作为呼吸深度特征的值，通过检测压敏传感器上电压波形中一阶导数为0同时二阶导数小于0位置得到胸腔围度波形中的极大值，并通过两次极大值之间的间隔时间求倒数得到呼吸频率特征。
特征提取单元中的飞行任务特征提取模块通过计算实际航迹经纬度与计划航线之间的偏差得到航迹偏差特征的值，通过计算实际飞行高度与计划飞行高度之间的差值得到高度偏差特征的值、通过计算实际空速与计划空速之间的差值得到速度偏差特征的值，通过计算加速度矢量模值得到加速度特征的值。
多通道特征同步规范化处理单元通过搜索匹配各种特征数据的时间戳，实现多通道特征数据同步，通过计算z-score对每一个特征进行规范化处理，消除特征之间的量纲差异。并根据特征的机理对特征进行分组，构建人机工效客观评价特征指标体系，如图3所示。
工效要素描述单元中的视觉活动描述模块利用主成分分析方法将注视时间、扫视频率与眨眼频率特征进行融合。首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据。然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到视觉活动描述指标的结果。
工效要素描述单元中的控制活动描述模块利用主成分分析方法将副翼操控速率、升降舵操控速率、方向舵操控速率以及油门操控速率特征进行融合。首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据。然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到控制活动描述指标的结果。
工效要素描述单元中的工作负荷描述模块利用主成分分析方法将心率、呼吸频率、呼吸幅度、瞳孔直径特征进行融合。首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据。然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到工作负荷描述指标的结果。
工效要素描述单元中的任务绩效描述模块利用主成分分析方法将航机偏差、高度偏差、速度偏差以及加速度特征进行融合。首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据。然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到任务绩效描述指标的结果。
人因诊断单元中的视觉感知难度诊断模块通过在30秒的滑动窗口中计算视觉活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到视觉感知难度诊断结果。
人因诊断单元中的操控难度诊断模块通过在30秒的滑动窗口中计算控制活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到操控难度诊断结果。
人因诊断单元中的信息显著度诊断模块通过在30秒的滑动窗口中计算视觉活动描述指标与任务绩效描述指标之间的皮尔逊相关系数得到信息显著度诊断结果。
人因诊断单元中的操控效率诊断模块通过在30秒的滑动窗口中计算控制活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到操控效率诊断结果。
人机工效综合评价单元将视觉活动描述结果、控制活动描述结果、工作负荷描述结果和任务绩效描述结果特征进行融合。首先计算上述数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据。然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到人机工效综合评价指标的结果。
为了给设计人员、评估人员以及分析人员提供直观且详细的人机工效评价诊断结果，本实施例构建一种图形化的人机工效评价结果呈现方法。该图形中包含8个方向，其中水平和垂直方向包含了<视觉活动>、<控制活动>、<工作负荷>以及<任务绩效>4个工效要素，对角线方向包含了<视觉感知难度>、<操控难度>、<信息显著度>和<操控效率>4个诊断指端。在飞行任务过程中每个时刻可通过该图形呈现方式对的人机工效进行详细直观的评价。
本实施例首次提出利用<视觉感知活动>、<控制活动>、<工作负荷>以及<任务绩效>4个工效要素对人机工效进行定义，并通过客观测量技术对上述要素进行测量，通过数据处理与特征提取，构建了人机工效客观评价特征指标体系，最终通过多元数理统计方法对于特征指标分组层次化综合，实现了飞机驾驶舱人机工效客观综合评价。同时，利用评价维度间的相关性构建诊断指标也是本实施例的主要创新，诊断指标的引入可帮助设计人员和测试人员定位工效问题的来源，使其能够有针对性的对问题进行定位和改进，弥补了现有工效评价方法诊断能力弱的不足。
本实施例构建的系统和方法在在真实飞行员任务过程进行了应用。实验数据表明本实施例区分不同任务难度、不同飞行经验以及不同驾驶舱设计带来的工效差异。
与现有技术相比，本实施例的性能指标提升在于：相比于现有最常用的人机工效主观评价方法，本实施例提供了一种客观量化评价方法，不受评价人员主观意识的影响；本实施例结合认知科学理论从多个方面对飞机驾驶舱人机工效进行监测与评价，其结果比现有方法更加全面和有效；本实施例可对任务过程进行连续动态评价，评价结果的频率达到20Hz，比现有评价方法的时间分辨率更高，能够对任务过程中的工效变化提供更详细的信息。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (6)

1.一种飞机驾驶舱人机工效多维监测评价系统，其特征在于，包括：人机状态监测单元、特征提取单元、多通道特征同步规范化处理单元、工效要素描述单元、人因诊断单元和人机工效综合评价单元，其中：人机状态监测单元通过输出原始人机状态测量数据与特征提取单元相连，特征提取单元通过输出特征提取结果与工效要素描述单元相连，多通道特征同步规范化处理单元对特征提取单元各模块输出结果进行时间对齐处理以及特征指标规范化处理，并根据特征的形成机理对特征进行分组，工效要素描述单元通过输出多个维度的工效要素描述的结果与人因诊断单元以及人机工效综合评价单元相连，人因诊断单元将多个人因诊断指标的结果提供给用户，人机工效综合评价单元计算并生成连续、定量化的人机工效整体评价结果。
2.根据权利要求1所述的飞机驾驶舱人机工效多维监测评价系统，其特征是，所述的人机状态监测单元包括：目前主流的头戴式眼动仪、胸带式心肺活动测量系统、驾驶舱操控记录设备、飞行参数记录设备，其中：眼动仪采集飞行员的注视点坐标、瞳孔直径测量值，心肺活动测量系统采集飞行员的心率、呼吸频率、呼吸幅度测量值，驾驶舱操控记录设备采集飞行摇杆、油门杆、脚蹬踏板的位置测量值，飞行参数记录设备采集飞机的经纬度、高度、空速以及加速度测量值。
3.根据权利要求1所述的飞机驾驶舱人机工效多维监测评价系统，其特征是，所述的特征提取单元包括：眼动特征提取模块、控制特征提取模块、生理特征提取模块以及飞行任务特征提取模块。
4.根据权利要求1所述的飞机驾驶舱人机工效多维监测评价系统，其特征是，所述的工效要素描述单元包括：视觉活动描述模块、控制活动描述模块、工作负荷描述模块和任务绩效描述模块。
5.根据权利要求1所述的飞机驾驶舱人机工效多维监测评价系统，其特征是，所述的人因诊断单元包括：视觉感知难度诊断模块、操控难度诊断模块、信息显著度诊断模块和操控效率诊断模块。
6.一种基于上述任一权利要求所述系统的人机工效监测评价方法，其特征在于，包括：飞行任务中的人机状态监测、基原始测量数据处理与工效特征提取、工效要素计算、诊断指标的计算、人机工效综合评价结果的计算以及评价结果的呈现方式；
人机状态监测单元中的头戴式眼动仪通过眼部摄像头与目标检测方法，从图像中定位瞳孔位置并检测瞳孔大小，计算视线方向，最终输出注视点在前景图像中的像素坐标以及瞳孔直径数值；
人机状态监测单元中的胸带式心肺活动测量系统通过ECG传感器测量被试人员的心电图数据，通过胸带中压敏传感器上的电压值变化反应因呼吸引起的胸腔轮廓变化；
人机状态监测单元中的驾驶舱操控记录设备采集飞行摇杆、油门杆、脚蹬踏板相对于中立位置的偏转角度数值；
人机状态监测单元中的飞行参数记录设备采集输出飞机的经纬度、高度、空速以及加速度数值；
特征提取单元中的眼动特征提取模块利用注视点坐标与采样时间计算注视点移动速度，当注视点移动速度小于30像素/秒时记为出现注视活动，大于30像素/秒则记为出现扫视活动，统计每段注视活动序列的长度得到注视时间特征的值，统计单位时间内扫视活动出现次数得到扫视频率特征的值；通过检测瞳孔直径测量序列中的0值，出现0值时记为眨眼，统计单位时间内的眨眼序列段数得到眨眼频率特征的值；
特征提取单元中的控制特征提取模块对飞行摇杆、油门杆、脚蹬踏板角度在时间序列上进行差分处理，得到副翼操控速率、升降舵操控速率、方向舵操控速率、油门操控速率特征的值；
特征提取单元中的生理特征提取模块从心电图数据中检测R波，通过R-R间期的倒数计算心率特征的值；利用压敏传感器上的电压值的幅值作为呼吸深度特征的值，通过检测压敏传感器上电压波形中一阶导数为0同时二阶导数小于0位置得到胸腔围度波形中的极大值，并通过两次极大值之间的间隔时间求倒数得到呼吸频率特征；
特征提取单元中的飞行任务特征提取模块通过计算实际航迹经纬度与计划航线之间的偏差得到航迹偏差特征的值，通过计算实际飞行高度与计划飞行高度之间的差值得到高度偏差特征的值、通过计算实际空速与计划空速之间的差值得到速度偏差特征的值，通过计算加速度矢量模值得到加速度特征的值；
多通道特征同步规范化处理单元通过搜索匹配各种特征数据的时间戳，实现多通道特征数据同步，通过计算z-score对每一个特征进行规范化处理，消除特征之间的量纲差异；并根据特征的机理对特征进行分组，构建人机工效客观评价特征指标体系；
工效要素描述单元中的视觉活动描述模块利用主成分分析方法将注视时间、扫视频率与眨眼频率特征进行融合；首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据；然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到视觉活动描述指标的结果；
工效要素描述单元中的控制活动描述模块利用主成分分析方法将副翼操控速率、升降舵操控速率、方向舵操控速率以及油门操控速率特征进行融合；首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据；然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到控制活动描述指标的结果；
工效要素描述单元中的工作负荷描述模块利用主成分分析方法将心率、呼吸频率、呼吸幅度、瞳孔直径特征进行融合；首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据；然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到工作负荷描述指标的结果；
工效要素描述单元中的任务绩效描述模块利用主成分分析方法将航机偏差、高度偏差、速度偏差以及加速度特征进行融合；首先计算上述特征数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据；然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到任务绩效描述指标的结果；
人因诊断单元中的视觉感知难度诊断模块通过在30秒的滑动窗口中计算视觉活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到视觉感知难度诊断结果；
人因诊断单元中的操控难度诊断模块通过在30秒的滑动窗口中计算控制活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到操控难度诊断结果；
人因诊断单元中的信息显著度诊断模块通过在30秒的滑动窗口中计算视觉活动描述指标与任务绩效描述指标之间的皮尔逊相关系数得到信息显著度诊断结果；
人因诊断单元中的操控效率诊断模块通过在30秒的滑动窗口中计算控制活动描述指标与工作负荷描述指标之间的皮尔逊相关系数得到操控效率诊断结果；
人机工效综合评价单元将视觉活动描述结果、控制活动描述结果、工作负荷描述结果和任务绩效描述结果特征进行融合；首先计算上述数据所构成矩阵的特征值和特征向量，并将原始数据向特征向量方向投影，得到各主成分数据；然后对特征值进行归一化处理，用于表征主成分的方差解释率，利用方差解释率对各主成分进行加权并求和，得到人机工效综合评价指标的结果。
CN202010813551.5A 2020-08-13 2020-08-13 飞机驾驶舱人机工效多维监测评价系统 Active CN111887803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010813551.5A CN111887803B (zh) 2020-08-13 2020-08-13 飞机驾驶舱人机工效多维监测评价系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010813551.5A CN111887803B (zh) 2020-08-13 2020-08-13 飞机驾驶舱人机工效多维监测评价系统

Publications (2)

Publication Number Publication Date
CN111887803A true CN111887803A (zh) 2020-11-06
CN111887803B CN111887803B (zh) 2024-01-26

Family

ID=73230339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010813551.5A Active CN111887803B (zh) 2020-08-13 2020-08-13 飞机驾驶舱人机工效多维监测评价系统

Country Status (1)

Country Link
CN (1) CN111887803B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655883A (zh) * 2021-08-17 2021-11-16 中国人民解放军军事科学院战争研究院 一种人机界面眼动交互方式的工效学实验分析系统及方法
CN116196002A (zh) * 2023-04-28 2023-06-02 中国人民解放军空军特色医学中心 飞行员空中生理应激评估方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130268146A1 (en) * 2012-04-04 2013-10-10 Eurocopter Method and a device for adapting the man-machine interface of an aircraft depending on the level of the pilot's functional state
CN106022631A (zh) * 2016-05-30 2016-10-12 南京航空航天大学 一种指标权重分析方法
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
US20190090800A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Systems and Methods for Monitoring Pilot Health

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130268146A1 (en) * 2012-04-04 2013-10-10 Eurocopter Method and a device for adapting the man-machine interface of an aircraft depending on the level of the pilot's functional state
CN106022631A (zh) * 2016-05-30 2016-10-12 南京航空航天大学 一种指标权重分析方法
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
US20190090800A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Systems and Methods for Monitoring Pilot Health

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘伟, 袁修干, 柳忠起, 康卫勇, 马锐: "人机显示/控制界面适配性综合评价指标和评价方法", 中国安全科学学报, no. 04, pages 32 - 35 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655883A (zh) * 2021-08-17 2021-11-16 中国人民解放军军事科学院战争研究院 一种人机界面眼动交互方式的工效学实验分析系统及方法
CN113655883B (zh) * 2021-08-17 2022-10-14 中国人民解放军军事科学院战争研究院 一种人机界面眼动交互方式的工效学实验分析系统及方法
CN116196002A (zh) * 2023-04-28 2023-06-02 中国人民解放军空军特色医学中心 飞行员空中生理应激评估方法及系统

Also Published As

Publication number Publication date
CN111887803B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN114767115B (zh) 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统
Qin et al. Detection of mental fatigue state using heart rate variability and eye metrics during simulated flight
EP2698112B1 (en) Real-time stress determination of an individual
US20080188777A1 (en) System and Method For Mental Workload Measurement Based on Rapid Eye Movement
KR20180134310A (ko) 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
Ellis Eye tracking metrics for workload estimation in flight deck operations
JP2023513213A (ja) 生理学的データの測定による人又はシステムの評価
Jun et al. Real-time evaluation method of flight mission load based on sensitivity analysis of physiological factors
CN110495895A (zh) 一种基于眼动跟踪的疲劳检测方法与系统
CN111887803B (zh) 飞机驾驶舱人机工效多维监测评价系统
CN116269380A (zh) 一种智能船舶驾驶员心理负荷评估系统及方法
CN120514388A (zh) 一种融合生理信号的飞行员应急处理能力测评方法及系统
RU2091057C1 (ru) Способ непрерывного контроля психофизиологического состояния оператора в процессе управления движущимся объектом и система для его осуществления
Salvan et al. Dry EEG-based mental workload prediction for aviation
Yang et al. Development and validation of an assessment index for quantifying cognitive task load in pilots under simulated flight conditions using heart rate variability and principal component analysis
Lim et al. Eye-tracking sensors for adaptive aerospace human-machine interfaces and interactions
Hebbar et al. Using eye tracking system for aircraft design–a flight simulator study
US12148230B2 (en) System and method for non-invasive operator health monitoring
Lemetti et al. Discrete-Fourier-Transform-Based Evaluation of Physiological Measures as Workload Indicators: A Human-in-the-loop Study linking Workload and Fatigue in a Multi Remote Tower Environment
Hebbar et al. Using Eye Tracker To Evaluate Cockpit Design--A Flight Simulation Study
Kovesdi et al. Measuring human performance in simulated nuclear power plant control rooms using eye tracking
JPH0473042A (ja) 視線トレーサ
Tomasino et al. Assessment of Cognitive Workload During Flight Training by Means of Hybrid NIR/LWIR Imaging
Stavrev et al. Prototype monitoring system detecting mental workload during pilot simulation training
Zhou et al. Driver fatigue tracking and detection method based on OpenMV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant