[go: up one dir, main page]

CN111079476B - 驾驶状态分析方法和装置、驾驶员监控系统、车辆 - Google Patents

驾驶状态分析方法和装置、驾驶员监控系统、车辆 Download PDF

Info

Publication number
CN111079476B
CN111079476B CN201811224316.3A CN201811224316A CN111079476B CN 111079476 B CN111079476 B CN 111079476B CN 201811224316 A CN201811224316 A CN 201811224316A CN 111079476 B CN111079476 B CN 111079476B
Authority
CN
China
Prior art keywords
driver
state
distraction
detection result
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811224316.3A
Other languages
English (en)
Other versions
CN111079476A (zh
Inventor
秦仁波
杨大乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201811224316.3A priority Critical patent/CN111079476B/zh
Priority to SG11202009420RA priority patent/SG11202009420RA/en
Priority to KR1020207029610A priority patent/KR102469234B1/ko
Priority to JP2020551931A priority patent/JP2021516829A/ja
Priority to PCT/CN2019/111932 priority patent/WO2020078465A1/zh
Publication of CN111079476A publication Critical patent/CN111079476A/zh
Priority to US17/031,030 priority patent/US11386679B2/en
Application granted granted Critical
Publication of CN111079476B publication Critical patent/CN111079476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mechanical Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种驾驶状态分析方法和装置、驾驶员监控系统、车辆，其中，驾驶状态分析方法包括：对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。本公开实施例可以基于驾驶员图像实现对驾驶员疲劳状态的和分心状态的共同检测，还可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。

Description

驾驶状态分析方法和装置、驾驶员监控系统、车辆
技术领域
本公开涉及计算机视觉技术，尤其是涉及一种驾驶状态分析方法和装置、驾驶员监控系统、车辆。
背景技术
随着车辆的不断普及，交通事故也随之增多，驾驶员的驾驶状态对安全行车的影响非常严重，因此，应尽可能的使驾驶员处于良好的驾驶状态。当驾驶员在驾驶过程中由于顾及手机等其他事物将其分心状态分散到手机等其他事物时，会导致驾驶员无法及时了解道路情况。
在驾驶员的驾驶状态较差时，例如由于疲劳过度、睡眠不足、注意力分散等问题导致驾驶状态较差时，可能导致判断能力下降、造成反应迟缓，甚至出现精神恍惚或瞬间记忆消失，导致驾驶动作迟误或过早、操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。
发明内容
本公开实施例提供一种驾驶状态分析的技术方案。
根据本公开实施例的一个方面，提供的一种驾驶状态分析方法，包括：
对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；
响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
可选地，在本公开各方法实施例中，所述响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，包括：
在所述疲劳状态检测结果为疲劳状态时，输出与所述疲劳状态检测结果相应的提示/告警信息；和/或，
在所述分心状态检测结果为分心状态时，输出与所述分心状态检测结果相应的提示/告警信息。
可选地，在本公开各方法实施例中，还包括：
在输出所述疲劳状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息；和/或，
在输出所述分心状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行驾驶员的疲劳状态和分心状态检测之前，还包括：
确定所述驾驶员图像中驾驶员的头部位置的偏离角度是否超出预设范围；
若所述驾驶员的头部位置的偏离角度超出预设范围，对所述驾驶员图像进行驾驶员的分心状态检测，得到所述分心状态检测结果；和/或，
若所述驾驶员的头部位置的偏离角度未超出预设范围，执行所述对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测的操作，得到所述疲劳状态检测结果和所述分心状态检测结果。
可选地，在本公开各方法实施例中，对所述驾驶员图像进行驾驶员的分心状态检测，包括：
对驾驶员图像进行头部姿态检测和/或眼部状态检测，得到头部姿态信息和/或眼部状态信息；
根据所述头部姿态信息和/或所述眼部状态信息，确定驾驶员的分心状态检测结果。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息和/或所述眼部状态信息，确定驾驶员的分心状态检测结果，包括：
根据所述头部姿态信息和/或所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；
根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测，包括：
对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息；
根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定驾驶员的疲劳状态检测结果和分心状态检测结果。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定驾驶员的疲劳状态检测结果和分心状态检测结果，包括:
根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值；
根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态检测结果，以及根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息，包括：
对所述驾驶员图像进行人脸关键点检测；
根据检测到的所述人脸关键点获取头部姿态信息、眼部状态信息和/或嘴部状态信息。
可选地，在本公开各方法实施例中，所述根据检测到的所述人脸关键点获取头部姿态信息，包括：
经第一神经网络基于所述人脸关键点得到所述头部姿态信息。
可选地，在本公开各方法实施例中，所述根据检测到的所述人脸关键点获取眼部状态信息，包括：
根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；
基于第二神经网络对所述眼部区域图像进行上眼睑线和下眼睑线的检测；
根据所述上眼睑线和下眼睑线之间的间隔确定所述驾驶员的眼睛睁合状态信息；其中，所述眼部状态信息包括：所述眼睛睁合状态信息。
可选地，在本公开各方法实施例中，所述根据检测到的所述人脸关键点获取眼部状态信息，包括：
根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；
基于第三神经网络对所述眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，所述眼部状态信息包括：睁眼状态或闭眼状态。
可选地，在本公开各方法实施例中，所述根据检测到的所述人脸关键点获取嘴部状态信息，包括：
根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；
基于第四神经网络对所述嘴部区域图像进行上唇线和下唇线的检测；
根据所述上唇线和下唇线之间的间隔确定所述驾驶员的嘴巴开合状态信息；其中，所述嘴部状态信息包括所述嘴巴开合状态信息。
可选地，在本公开各方法实施例中，所述根据检测到的所述人脸关键点获取嘴部状态信息，包括：
根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；
基于第五神经网络对所述嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，所述嘴部状态信息包括张嘴状态或闭嘴状态。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值，包括：
根据所述头部姿态信息、所述眼部状态信息和所述嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息和/或所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值，包括：
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取发呆程度的参数值。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值，包括：
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取发呆程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取闭眼程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取眨眼程度的参数值；和/或，
根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值。
可选地，在本公开各方法实施例中，所述用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度；和/或，
所述用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息，包括：获取所述头部姿态信息中的俯仰角作为所述头部位置；和/或，
所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息，包括：获取所述头部姿态信息中的俯仰角和偏航角作为所述人脸朝向。
可选地，在本公开各方法实施例中，所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，包括：
根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据所述瞳孔边沿位置计算瞳孔中心位置；
根据所述瞳孔中心位置与眼睛中心位置获取所述头部姿态信息对应头部姿态下的眼珠转角信息；
根据所述头部姿态信息和所述眼珠转角信息确定所述驾驶员的视线方向，得到视线方向信息。
可选地，在本公开各方法实施例中，所述根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，包括：
基于第七神经网络对根据所述人脸关键点分割出的所述图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据所述第七神经网络输出的信息获取瞳孔边沿位置。
可选地，在本公开各方法实施例中，所述根据一段时间内的视线方向信息获取视线方向偏离程度的参数值，包括：
根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。
可选地，在本公开各方法实施例中，还包括：
预先设定所述参考视线方向；或者，
以基于所述驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向为所述参考视线方向；其中，N为大于1的整数。
可选地，在本公开各方法实施例中，所述根据一段时间内的所述眼部状态信息，获取发呆程度的参数值，包括：
根据所述眼部状态信息，在所述驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定所述驾驶员处于发呆状态；
根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，所述一段时间包括所述预设发呆时间。
可选地，在本公开各方法实施例中，所述根据一段时间内的所述头部位置信息，获取打盹程度的参数值，包括：
根据所述头部位置信息，在所述驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至所述预设参考头部位置时，确定所述驾驶员处于打盹状态；
根据一段时间内的所述头部位置信息，获取打盹程度的参数值；其中，所述一段时间包括所述第一预设时间和所述第二预设时间。
可选地，在本公开各方法实施例中，所述根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值，包括：
根据所述嘴部状态信息，在所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定所述驾驶员完成一次打哈欠动作；
根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，所述一段时间包括所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。
可选地，在本公开各方法实施例中，所述头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在所述头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，
所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，
所述视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，
所述发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，
所述打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，
所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，
所述眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，
所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。
可选地，在本公开各方法实施例中，根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果，包括：
在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态；和/或，
在所有所述用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态检测结果为非分心状态。
可选地，在本公开各方法实施例中，所述预定分心条件包括多个分心等级条件；
所述在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态，包括：
根据所述用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；
将确定的分心状态等级作为驾驶员的分心状态检测结果。
可选地，在本公开各方法实施例中，根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果，包括：
在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态；和/或，
在所有所述用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为非疲劳状态。
可选地，在本公开各方法实施例中，所述预定疲劳条件包括多个疲劳等级条件；
所述在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态，包括：
根据所述用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；
将确定的疲劳状态等级作为驾驶员的疲劳状态检测结果。
可选地，在本公开各方法实施例中，还包括：
对所述驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；
若出现预定分心动作，获取一段时间内是否出现所述预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；
根据所述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。
可选地，在本公开各方法实施例中，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：
提取所述驾驶员图像的特征；
基于所述特征提取可能包括预定分心动作的多个候选框；
基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；
基于所述动作目标框进行预定分心动作的分类检测，确定是否出现所述预定分心动作。
可选地，在本公开各方法实施例中，所述人脸局部区域包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，
所述动作交互物包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。
可选地，在本公开各方法实施例中，所述动作目标框还包括：手部区域。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：
经第八神经网络对所述驾驶员图像进行人脸检测，得到人脸检测框，并提取所述人脸检测框的特征信息；
经所述第八神经网络根据所述人脸检测框的特征信息确定是否出现抽烟动作。
可选地，在本公开各方法实施例中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：
经第九神经网络对所述驾驶员图像进行所述饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框；所述预设目标对象包括：手部、嘴部、眼部、动作交互物；所述动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；
根据所述预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。
可选地，在本公开各方法实施例中，所述根据所述预设目标对象的检测框，确定是否出现预定分心动作，包括：
根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、所述动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。
可选地，在本公开各方法实施例中，所述根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作，包括：
若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，
若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为电子设备，且所述动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。
可选地，在本公开各方法实施例中，还包括：
若未同时检测到手部的检测框、嘴部的检测框和任一所述动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一所述动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，
若手部的检测框与所述动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，
若所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间未重叠，和/或，所述动作交互物的类型为电子设备、且所述动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。
可选地，在本公开各方法实施例中，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。
可选地，在本公开各方法实施例中，若确定出现预定分心动作，还包括：
根据所述用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；
将确定的分心动作等级作为驾驶员预定分心动作的检测结果。
可选地，在本公开各方法实施例中，还包括：
响应于预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
可选地，在本公开各方法实施例中，所述响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，包括：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息。
可选地，在本公开各方法实施例中，所述响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息，包括：
响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，
响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息。
可选地，在本公开各方法实施例中，所述响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息，包括：
响应于疲劳状态检测结果和预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，
响应于分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，输出满足预定报警条件的分心状态检测结果的报警信息，或者，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
可选地，在本公开各方法实施例中，还包括：
在输出满足预定报警条件的预定分心动作的检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
可选地，在本公开各方法实施例中，在疲劳状态检测结果为疲劳状态等级时，所述输出满足预定报警条件的疲劳状态检测结果的报警信息，包括：根据所述疲劳状态等级输出相应的提示或者告警信息；和/或，
在分心状态的检测结果为分心状态等级时，所述输出满足预定报警条件的分心状态检测结果相应的提示/告警信息，包括：根据所述分心状态等级输出相应的提示或者告警信息；和/或，
在预定分心动作的检测结果为分心动作等级时，所述输出满足预定报警条件的预定分心动作的检测结果相应的报警信息，包括：根据所述分心动作等级输出相应的提示或者告警信息。
可选地，在本公开各方法实施例中，还包括：
响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果其中任意一项或多项满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
可选地，在本公开各方法实施例中，所述响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果其中任意一项或多项满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，包括：
在所述疲劳状态等级和/或所述分心状态等级和/或所述分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
可选地，在本公开各方法实施例中，还包括：
通过红外摄像头进行图像采集，得到所述驾驶员图像。
可选地，在本公开各方法实施例中，所述通过红外摄像头进行图像采集，包括：
通过车辆内至少一个位置部署的所述红外摄像头进行图像采集。
可选地，在本公开各方法实施例中，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。
可选地，在本公开各方法实施例中，所述通过红外摄像头进行图像采集，得到所述驾驶员图像，包括：
在所述车辆处于行驶状态时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，
在所述车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，
在检测到所述车辆点火后通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，
在检测到所述车辆的启动指令时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，
在检测到对所述车辆或所述车辆中部件或系统的控制指令时通过红外摄像头进行图像采集，获得所述驾驶员图像。
根据本公开实施例的另一个方面，提供的一种驾驶状态分析装置，包括：
驾驶状态检测模块，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；
报警模块，用于响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
可选地，在本公开各装置实施例中，所述报警模块响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息时，用于在所述疲劳状态检测结果为疲劳状态时，输出与所述疲劳状态检测结果相应的提示/告警信息；和/或，在所述分心状态检测结果为分心状态时，输出与所述分心状态检测结果相应的提示/告警信息。
可选地，在本公开各装置实施例中，所述报警模块，还用于：在输出所述疲劳状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息；和/或，在输出所述分心状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
可选地，在本公开各装置实施例中，还包括：
第一确定模块，用于确定所述驾驶员图像中驾驶员的头部位置的偏离角度是否超出预设范围；
所述驾驶状态检测模块，用于在所述驾驶员的头部位置的偏离角度超出预设范围时，对所述驾驶员图像进行驾驶员的分心状态检测，得到所述分心状态检测结果；和/或，在所述驾驶员的头部位置的偏离角度未超出预设范围时，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测的操作，得到所述疲劳状态检测结果和所述分心状态检测结果。
可选地，在本公开各装置实施例中，所述驾驶状态检测模块包括：
第一检测模块，用于对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息；
第二确定模块，用于根据所述头部姿态信息和/或所述眼部状态信息，确定驾驶员的分心状态检测结果；
第三确定模块，用于根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定驾驶员的疲劳状态检测结果。
可选地，在本公开各装置实施例中，所述第二确定模块包括：
第一确定单元，用于所述根据所述头部姿态信息和/或所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；
第二确定单元，用于根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
可选地，在本公开各装置实施例中，所第三确定模块包括:
第三确定单元，用于根据所述头部姿态信息、所述眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值；
第四确定单元，用于根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态检测结果。
可选地，在本公开各装置实施例中，所述第一检测模块包括：
关键点检测单元，用于对所述驾驶员图像进行人脸关键点检测；
第一获取单元，用于根据检测到的所述人脸关键点获取头部姿态信息、眼部状态信息和/或嘴部状态信息。
可选地，在本公开各装置实施例中，所述第一获取单元根据检测到的所述人脸关键点获取头部姿态信息时，用于经第一神经网络基于所述人脸关键点得到所述头部姿态信息。
可选地，在本公开各装置实施例中，所述第一获取单元根据检测到的所述人脸关键点获取眼部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；基于第二神经网络对所述眼部区域图像进行上眼睑线和下眼睑线的检测；根据所述上眼睑线和下眼睑线之间的间隔确定所述驾驶员的眼睛睁合状态信息；其中，所述眼部状态信息包括：所述眼睛睁合状态信息。
可选地，在本公开各装置实施例中，所述第一获取单元根据检测到的所述人脸关键点获取眼部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；基于第三神经网络对所述眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，所述眼部状态信息包括：睁眼状态或闭眼状态。
可选地，在本公开各装置实施例中，所述第一获取单元根据检测到的所述人脸关键点获取嘴部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；基于第四神经网络对所述嘴部区域图像进行上唇线和下唇线的检测；根据所述上唇线和下唇线之间的间隔确定所述驾驶员的嘴巴开合状态信息；其中，所述嘴部状态信息包括所述嘴巴开合状态信息。
可选地，在本公开各装置实施例中，所述第一获取单元根据检测到的所述人脸关键点获取嘴部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；基于第五神经网络对所述嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，所述嘴部状态信息包括张嘴状态或闭嘴状态。
可选地，在本公开各装置实施例中，所述第三确定单元，用于所述根据所述头部姿态信息、所述眼部状态信息和所述嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。
可选地，在本公开各装置实施例中，所述第一确定单元，用于：
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，
根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取发呆程度的参数值。
可选地，在本公开各装置实施例中，所述第三确定单元，用于：根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取闭眼程度的参数值；和/或，
根据一段时间内的所述眼部状态信息，获取眨眼程度的参数值；和/或，
根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值。
可选地，在本公开各装置实施例中，所述用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度；和/或，
所述用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度。
可选地，在本公开各装置实施例中，所述第一确定单元或所述第三确定单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息时，用于获取所述头部姿态信息中的俯仰角作为所述头部位置；和/或，
所述第一确定单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息时，用于获取所述头部姿态信息中的俯仰角和偏航角作为所述人脸朝向。
可选地，在本公开各装置实施例中，所述第一确定单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息时，用于根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据所述瞳孔边沿位置计算瞳孔中心位置；根据所述瞳孔中心位置与眼睛中心位置获取所述头部姿态信息对应头部姿态下的眼珠转角信息；根据所述头部姿态信息和所述眼珠转角信息确定所述驾驶员的视线方向，得到视线方向信息。
可选地，在本公开各装置实施例中，所述第一确定单元根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置时，用于基于第七神经网络对根据所述人脸关键点分割出的所述图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据所述第七神经网络输出的信息获取瞳孔边沿位置。
可选地，在本公开各装置实施例中，所述第一确定单元根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，用于根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。
可选地，在本公开各装置实施例中，所述参考视线方向预先设定，或者，为基于所述驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向；其中，N为大于1的整数。
可选地，在本公开各装置实施例中，所述第一确定单元根据一段时间内的所述眼部状态信息，获取发呆程度的参数值时，用于根据所述眼部状态信息，在所述驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定所述驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，所述一段时间包括所述预设发呆时间。
可选地，在本公开各装置实施例中，所述第三确定单元根据一段时间内的所述头部位置信息，获取打盹程度的参数值时，用于根据所述头部位置信息，在所述驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至所述预设参考头部位置时，确定所述驾驶员处于打盹状态；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；其中，所述一段时间包括所述第一预设时间和所述第二预设时间。
可选地，在本公开各装置实施例中，所述第三确定单元根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值时，用于根据所述嘴部状态信息，在所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定所述驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，所述一段时间包括所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。
可选地，在本公开各装置实施例中，所述头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在所述头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，
所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，
所述视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，
所述发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，
所述打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，
所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，
所述眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，
所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。
可选地，在本公开各装置实施例中，所述第二确定单元，用于在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态；和/或，在所有所述用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态检测结果为非分心状态。
可选地，在本公开各装置实施例中，所述预定分心条件包括多个分心等级条件；
所述第二确定单元在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态时，用于根据所述用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为驾驶员的分心状态检测结果。
可选地，在本公开各装置实施例中，所述第四确定单元用于在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态；和/或，在所有所述用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为非疲劳状态。
可选地，在本公开各装置实施例中，所述预定疲劳条件包括多个疲劳等级条件；
所述第四确定单元在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态时，用于根据所述用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为驾驶员的疲劳状态检测结果。
可选地，在本公开各装置实施例中，还包括：
第二检测模块，用于对所述驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；
第一获取模块，用于在出现预定分心动作时，根据一段时间内是否出现所述预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；
第四确定模块，用于根据所述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。
可选地，在本公开各装置实施例中，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作。
可选地，在本公开各装置实施例中，所述第二检测模块，用于提取所述驾驶员图像的特征；基于所述特征提取可能包括预定分心动作的多个候选框；基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；基于所述动作目标框进行预定分心动作的分类检测，确定是否出现所述预定分心动作。
可选地，在本公开各装置实施例中，所述人脸局部区域包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，
所述动作交互物包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。
可选地，在本公开各装置实施例中，所述动作目标框还包括：手部区域。
可选地，在本公开各装置实施例中，所述第二检测模块，用于经第八神经网络对所述驾驶员图像进行人脸检测，得到人脸检测框，并提取所述人脸检测框的特征信息；经所述第八神经网络根据所述人脸检测框的特征信息确定是否出现抽烟动作。
可选地，在本公开各装置实施例中，所述第二检测模块，用于经第九神经网络对所述驾驶员图像进行所述饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，所述预设目标对象包括：手部、嘴部、眼部、动作交互物，所述动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；根据所述预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。
可选地，在本公开各装置实施例中，所述第二检测模块根据所述预设目标对象的检测框，确定是否出现预定分心动作时，用于根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、所述动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。
可选地，在本公开各装置实施例中，所述第二检测模块根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作时，用于：若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为电子设备，且所述动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。
可选地，在本公开各装置实施例中，所述第二检测模块，还用于：若未同时检测到手部的检测框、嘴部的检测框和任一所述动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一所述动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与所述动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，若所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间未重叠，和/或，所述动作交互物的类型为电子设备、且所述动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。
可选地，在本公开各装置实施例中，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。
可选地，在本公开各装置实施例中，还包括：
第五确定模块，用于根据所述用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；
所述第四确定模块，用于将确定的分心动作等级作为驾驶员预定分心动作的检测结果。
可选地，在本公开各装置实施例中，所述报警模块，还用于响应于预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
可选地，在本公开各装置实施例中，所述报警模块响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息时，用于响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息。
可选地，在本公开各装置实施例中，所述报警模块响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息时，用于：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息。
可选地，在本公开各装置实施例中，所述报警模块响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息时，用于：响应于疲劳状态检测结果和预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，响应于分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，输出满足预定报警条件的分心状态检测结果的报警信息，或者，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
可选地，在本公开各装置实施例中，所述报警模块，还用于在输出满足预定报警条件的预定分心动作的检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
可选地，在本公开各装置实施例中，所述报警模块在疲劳状态检测结果为疲劳状态等级时，根据所述疲劳状态等级输出相应的提示或者告警信息；和/或，在分心状态的检测结果为分心状态等级时，根据所述分心状态等级输出相应的提示或者告警信息；和/或，在预定分心动作的检测结果为分心动作等级时，根据所述分心动作等级输出相应的提示或者告警信息。
可选地，在本公开各装置实施例中，还包括：
驾驶控制模块，用于响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果其中任意一项或多项满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
可选地，在本公开各装置实施例中，所述驾驶控制模块，用于在所述疲劳状态等级和/或所述分心状态等级和/或所述分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
可选地，在本公开各装置实施例中，还包括：
红外摄像头，用于进行图像采集，得到所述驾驶员图像。
可选地，在本公开各装置实施例中，所述红外摄像头部署于车辆内的至少一个位置。
可选地，在本公开各装置实施例中，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。
可选地，在本公开各装置实施例中，所述红外摄像头，用于：在所述车辆处于行驶状态时进行图像采集，获得所述驾驶员图像；和/或，在所述车辆的行驶速度超过预设车速时进行图像采集，获得所述驾驶员图像；和/或，在检测到所述车辆点火后进行图像采集，获得所述驾驶员图像；和/或，在检测到所述车辆的启动指令时进行图像采集，获得所述驾驶员图像；和/或，在检测到对所述车辆或所述车辆中部件或系统的控制指令时进行图像采集，获得所述驾驶员图像。
根据本公开实施例的又一个方面，提供的一种驾驶员监控系统，包括：
显示装置，用于显示驾驶员图像；
驾驶状态分析装置，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
可选地，在本公开上述系统实施例中，所述驾驶员状态检测装置包括本公开上述任一实施例所述的驾驶状态分析装置。
根据本公开实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。
根据本公开实施例的再一个方面，提供的一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现本公开上述任一实施例所述的方法。
根据本公开实施例的再一个方面，提供的一种车辆，包括中控系统，其特征在于，还包括：本公开上述任一实施例所述的驾驶状态分析装置，或者本公开上述任一实施例所述的驾驶员监控系统。
可选地，在本公开上述车辆实施例中，所述中控系统，用于在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，并在自动驾驶模式下对所述车辆进行自动驾驶控制。
可选地，在本公开上述车辆实施例中，所述中控系统，还用于根据所述驾驶状态分析装置或者所述驾驶员监控系统输出的手势检测的结果生成的控制指令，对所述车辆进行相应的控制。
可选地，在本公开上述车辆实施例中，所述中控系统，还用于在接收到切换为人工驾驶的驾驶指令时，将驾驶模式切换为人工驾驶模式。
可选地，在本公开上述车辆实施例中，还包括：
娱乐系统，用于根据所述中控系统的控制指令进行报警；和/或，根据所述中控系统的控制指令，调整报警的预警效果、或者娱乐项目的播放效果。
可选地，在本公开上述车辆实施例中，还包括：
至少一个红外摄像头，用于进行图像采集。
可选地，在本公开上述车辆实施例中，所述红外摄像头部署在所述车辆内的至少一个位置，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。
基于本公开上述实施例提供的驾驶状态分析方法和装置、驾驶员监控系统、车辆、电子设备、介质，可以对驾驶员图像实现驾驶员疲劳状态检测和驾驶员分心状态的共同检测，在疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件时，输出满足预定报警条件的相应检测结果的报警信息；和/或，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，输出满足预定报警条件的疲劳状态检测结果的报警信息，以便于提醒驾驶员注意，以提高驾驶安全性，降低道路交通事故发生率；并且，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，只输出满足预定报警条件的疲劳状态检测结果的报警信息，可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开驾驶状态分析方法一个实施例的流程图。
图2为本公开驾驶状态分析方法另一个实施例的流程图。
图3为本公开实施例中对驾驶员图像进行预定分心动作检测一个实施例的流程图。
图4为本公开驾驶状态分析装置一个实施例的结构示意图。
图5为本公开驾驶状态分析装置另一个实施例的结构示意图。
图6为本公开驾驶员监控系统一个实施例的结构示意图。
图7为本公开电子设备一个应用实施例的结构示意图。
图8为本公开车辆一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开各实施例中的神经网络，分别可以是一个多层神经网络(即：深度神经网络)，例如多层的卷积神经网络，例如可以是LeNet、AlexNet、GoogLeNet、VGG、ResNet等任意神经网络模型。各神经网络可以采用相同类型和结构的神经网络，也可以采用不同类型和结构的神经网络。本公开实施例不对此进行限制。
图1为本公开驾驶状态分析方法一个实施例的流程图。如图1所示，该实施例的驾驶状态分析方法包括：
102，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测，得到疲劳状态检测结果和分心状态检测结果。
104，响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，例如，通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式进行报警；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息，例如，通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式进行报警。
在其中一些实施方式中，上述操作104中，响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，可以包括：在疲劳状态检测结果为疲劳状态时，输出与疲劳状态的检测结果相应的提示/告警信息；和/或，在分心状态检测结果为分心状态时，输出与分心状态的检测结果相应的提示/告警信息。
基于本公开上述实施例提供的驾驶状态分析方法，可以对驾驶员图像实现驾驶员疲劳状态检测和驾驶员分心状态的共同检测，在疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件时，输出满足预定报警条件的相应检测结果的报警信息；和/或，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，输出满足预定报警条件的疲劳状态检测结果的报警信息，以便于提醒驾驶员注意，以提高驾驶安全性，降低道路交通事故发生率；并且，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，只输出满足预定报警条件的疲劳状态检测结果的报警信息，可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。
在本公开驾驶状态分析方法的另一个实施例中，还可以包括：
在输出所述疲劳状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果(例如分心状态检测结果)相应的报警信息；和/或，在输出所述分心状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果(例如疲劳状态检测结果)相应的报警信息。
本实施例可以进一步避免过多或者过于频繁的报警引起驾驶员的分心和反感，通过进一步优化报警策略，进一步提高了辅助驾驶的安全性和用户体验。
图2为本公开驾驶状态分析方法另一个实施例的流程图。如图2所示，该实施例的驾驶状态分析方法包括：
202，确定驾驶员图像中驾驶员的头部位置的偏离角度是否超出预设范围。
若驾驶员的头部位置的偏离角度超出预设范围，执行操作204。否则，若驾驶员的头部位置的偏离角度未超出预设范围，执行操作206。
204，对驾驶员图像进行驾驶员分心状态的检测，得到驾驶员分心状态检测结果。
在其中一些实施方式中，对驾驶员图像进行驾驶员的分心状态检测，可以包括：对驾驶员图像进行头部姿态检测和/或眼部状态检测，得到头部姿态信息和/或眼部状态信息；根据头部姿态信息和/或眼部状态信息，确定驾驶员的分心状态检测结果，例如，根据头部姿态信息和/或眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值，根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
之后，执行操作208。
206，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测，得到疲劳状态检测结果和分心状态检测结果。
在其中一些实施方式中，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测，可以包括：对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息；根据头部姿态信息、眼部状态信息和/或嘴部状态信息，确定驾驶员的疲劳状态检测结果和分心状态检测结果，例如，根据头部姿态信息、眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值，根据用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态检测结果，以及根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
在其中一些可选示例中，据头部姿态信息、眼部状态信息和嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。
208，响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
在上述实施例中，在头部位置的偏离角度超出预设范围时，驾驶员有可能会处于分心状态，因此仅对驾驶员进行分心状态检测、而不进行疲劳状态检测，便可实现驾驶状态监测的效果，且可以节省由于疲劳状态检测所需的计算资源，提高驾驶状态分析的效率。在头部位置的偏离角度未超出预设范围时，驾驶员有可能会处于分心状态或者疲劳状态，因此对驾驶员同时进行分心状态检测和疲劳状态检测，可实现驾驶状态的共同监测，以保证驾驶的安全性。
在其中一些实施方式中，对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息，可以包括：
对驾驶员图像进行人脸关键点检测；
根据检测到的人脸关键点获取头部姿态信息、眼部状态信息和/或嘴部状态信息。
在一些可选示例中，根据检测到的人脸关键点获取头部姿态信息时，可以经第一神经网络基于人脸关键点得到头部姿态信息。
其中，在一些可选示例中，根据检测到的人脸关键点获取头部姿态信息时，例如可以经第一神经网络基于人脸关键点得到头部姿态信息。
在其中一些实施方式中，头部姿态可以通过正常驾驶状态下归一化球坐标系(摄像头所在的相机坐标系)中头部的姿态角/欧拉角表示，姿态角/欧拉角包括：俯仰角θ(pitch)、偏航角ψ(yaw)、滚转角Φ(roll)，头部姿态信息即包括：(pitch，yaw，roll)。其中，俯仰角用于表示竖直方向上人脸低头或仰头的角度，偏航角用于表示水平方向上人脸侧脸(即转头)的角度，滚转角用于表示竖直方向上人脸歪头(即靠向肩膀)的角度。
在人脸大小一定的情况下，以一种可能的应用场景为例，拍摄驾驶员图像的摄像头位于驾驶员位正前方、正对驾驶员位置时，偏航角度、俯仰角度、滚转角越小，人脸越正，驾驶状态员的驾驶状态更好，可以设置偏航角、俯仰角、滚转角均为0时，为基准头部姿态，驾驶员处于最佳的驾驶状态。当俯仰角和/或偏航角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定分心状态检测结果为分心状态(即注意力不集中)。当俯仰角由0度在一个预设较短时间内变化到一定角度然后再恢复到0度时(对应于头部由正常位置突然向下低头、然后又恢复到正常位置的打盹点头动作)可以确定疲劳状态检测结果为疲劳状态(即疲劳驾驶级别)。对于摄像头位于其他位置的应用场景，可以基于该位置时摄像头与摄像头位于驾驶员位正前方、正对驾驶员位置时的夹角为基准头部姿态，来确定头部姿态信息，本领域技术人员基于本公开实施例的记载可以知悉具体实现，此处不再赘述。
其中，第一神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第一神经网络基于人脸关键点获取头部姿态信息，可以提高获取的头部姿态信息的精确度，从而提升驾驶员状态的检测结果的准确性。
另外，也可以通过一个预先训练好的神经网络进行人脸关键点检测，从而提升人脸关键点检测结果的精确性，进一步提高头部姿态信息的精确度，从而提升驾驶员状态的检测结果的准确性。
在一些可选示例中，根据检测到的人脸关键点获取眼部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第二神经网络对眼部区域图像进行上眼睑线和下眼睑线的检测；根据上眼睑线和下眼睑线之间的间隔确定驾驶员的眼睛睁合状态信息。其中，眼睛睁合状态即睁眼状态、半闭眼状态或闭眼状态，上述眼部状态信息包括该眼睛睁合状态信息。在一个可选示例中，可以先利用人脸关键点中的眼睛关键点(例如，眼睛关键点在驾驶员图像中的坐标信息)对驾驶员图像中的眼睛进行定位，以获得眼部区域图像，并利用该眼部区域图像获得上眼睑线和下眼睑线，通过计算上眼睑线和下眼睑线之间的间隔，获得眼睛睁合状态信息。或者，在另一个可选示例中，也可以对驾驶员图像进行人脸关键点检测，直接利用所检测出的人脸关键点中的眼睛关键点进行计算，从而根据计算结果获得眼睛睁合状态信息。该眼睛睁合状态信息可以用于进行驾驶员的闭眼检测，如检测驾驶员是否半闭眼(“半”表示非完全闭眼的状态，如瞌睡状态下的眯眼等)、是否闭眼、闭眼次数、闭眼幅度等。眼睛睁合状态信息可以可选的为对眼睛睁开的高度进行归一化处理后的信息。
其中，第二神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第二神经网络进行上眼睑线和下眼睑线的检测，可以实现上眼睑线和下眼睑线位置的精确检测，从而提高眼睛睁合状态信息的准确性、以提升驾驶员状态的检测结果的准确性。
另外，在另一些可选示例中，根据检测到的人脸关键点获取眼部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第三神经网络对该眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果，对应于表示眼睛处于睁眼状态或者闭眼状态，上述眼部状态信息包括该睁眼或闭眼的分类结果对应的睁眼状态或者闭眼状态。例如，第三神经网络可以针对输入的眼部区域图像进行特征提取和睁闭眼的分类处理，输出睁眼概率(取值范围可以为0～1)或者闭眼概率(取值范围可以为0～1)这一分类结果，基于该睁眼概率或者闭眼概率可以确定眼睛处于睁眼状态或闭眼状态，从而得到驾驶员的眼睛状态。
其中，第三神经网络可以基于深度学习技术，直接用睁眼样本图像和闭眼样本图像训练得到，训练完成的第三神经网络可以针对输入的图像直接得到睁眼或闭眼的分类结果，而无需进行眼睛睁合程度的计算。本实施例中，基于第三神经网络得到眼部区域图像中驾驶员的眼睛状态，可以提高眼部状态信息的准确性和检测效率，从而提升驾驶员状态的检测结果的准确性和检测效率。
在一些可选示例中，根据检测到的人脸关键点获取嘴部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第四神经网络对嘴部区域图像进行上唇线和下唇线的检测；根据上唇线和下唇线之间的间隔确定驾驶员的嘴巴开合状态信息。其中，嘴巴开合状态可以包括嘴巴的张开状态(即张嘴状态)、闭合状态(即闭嘴状态)、半闭合状态(即半张嘴状态)等。上述嘴部状态信息包括该嘴巴开合状态信息。例如，在一个可选示例中，可以先利用人脸关键点中的嘴巴关键点(例如，嘴巴关键点在驾驶员图像中的坐标信息)对驾驶员图像中的嘴巴进行定位，通过剪切等方式可以获得嘴部区域图像，并利用该嘴部区域图像获得上唇线和下唇线，通过计算上唇线和下唇线之间的间隔，获得嘴巴开合状态信息。在另一个可选示例中，可以直接利用人脸关键点中的嘴部关键点进行计算，从而根据计算结果获得嘴巴开合状态信息。
该嘴巴开合状态信息可以用于进行驾驶员的打哈欠检测，如检测驾驶员是否打哈欠、打哈欠次数等。嘴巴开合状态信息可以可选的为对嘴巴张开的高度进行归一化处理后的信息。
其中，第四神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第四神经网络进行上唇线和下唇线的检测，可以实现上唇线和下唇线位置的精确检测，从而提高嘴巴开合状态信息的准确性、以提升驾驶员状态的检测结果的准确性。
在另一些可选示例中，根据检测到的人脸关键点获取嘴部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第五神经网络对该嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果，对应于表示嘴巴处于张嘴状态或者闭嘴状态；其中，上述嘴部状态信息包括张嘴状态或闭嘴状态。例如，第五神经网络可以针对输入的嘴部区域图像进行特征提取和张闭嘴的分类处理，输出张嘴(即嘴巴开状态)概率(取值范围可以为0～1)或者闭嘴(即嘴巴闭状态)概率(取值范围可以为0～1)，基于该张嘴概率或者闭嘴概率可以确定嘴巴处于张嘴状态或者闭嘴状态，从而得到驾驶员的嘴部状态信息。
其中，第五神经网络可以基于深度学习技术，直接用张嘴样本图像和闭嘴样本图像预先训练得到，训练完成的第五神经网络可以针对输入的图像直接得到张嘴或闭嘴的分类结果，而无需进行上唇线和下唇线的检测和二者之间间隔的计算。本实施例中，基于第五神经网络得到嘴部区域图像中驾驶员的嘴巴状态信息，可以提高嘴部状态信息的准确性和检测效率，从而提升驾驶员状态的检测结果的准确性和检测效率。
在其中一些实施方式中，其中，用于表征驾驶员疲劳状态的指标例如可以包括但不限于：打盹程度、闭眼程度、眨眼程度、打哈欠程度，等等；和/或，用于表征驾驶员分心状态的指标例如可以包括但不限于：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度，等等。
在其中一些实施方式中，上述各实施例中，根据头部姿态信息和/或眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值，可以包括：
根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息，例如，可以获取头部姿态信息中的俯仰角作为头部位置；根据一段时间内的头部位置信息，获取头部位置偏离程度的参数值。其中，头部位置偏离程度的参数值例如可以包括但不限于以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，
根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息，该人脸朝向信息例如可以包括人脸转动的方向以及角度，这里的转动的方向可以为向左转动、向右转动、向下转动和/或者向上转动等，例如，可以获取头部姿态信息中的俯仰角和偏航角作为人脸朝向；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值。其中，人脸朝向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：转头次数、转头持续时长、转头频率，等等；和/或，
根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据人脸关键点确定驾驶员图像中的眼部区域图像，基于第六神经网络得到眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值。其中，视线方向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率，等等；和/或，
根据一段时间内的眼部状态信息，获取发呆程度的参数值。其中，发呆程度的参数值例如可以包括但不限于以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值，等等。
本实施例通过检测驾驶员图像的任意一项或多项用于表征驾驶员分心状态的指标的参数值，并据此确定分心状态检测结果，以判断驾驶员是否集中注意力驾驶，通过对驾驶员分心状态的指标进行量化，将驾驶专注程度量化为头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度的指标中的至少一个，有利于及时客观的衡量驾驶员的专注驾驶状态。
在其中一些实施方式中，上述各实施例中，根据头部姿态信息、眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值，可以包括：
根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取打盹程度的参数值。其中，打盹程度的参数值例如可以包括但不限于以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长，等等；和/或，
根据一段时间内的眼部状态信息，获取闭眼程度的参数值。其中，闭眼程度的参数值例如可以包括但不限于以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值，等等；和/或，
根据一段时间内的眼部状态信息，获取眨眼程度的参数值。本公开实施例中，根据眼部状态信息，眼睛由睁眼状态、到闭眼状态、再到睁眼状态的过程，可以认为完成一次眨眼动作，一次眨眼动作所需时长例如可以为0.2s～1s左右。其中，眨眼程度的参数值例如可以包括但不限于以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值，等等；和/或，
根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。其中，打哈欠程度的参数值例如可以包括但不限于以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率，等等。
在上述实施例中，可以基于深度学习技术获取头部姿态信息，根据该头部姿态信息确定驾驶员图像中驾驶员的头部位置、人脸朝向和视线方向，提高了头部位置信息、人脸朝向信息和视线方向信息的准确性，使得基于头部姿态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。
其中，头部位置信息可以用于确定驾驶员的头部位置是否正常，如确定驾驶员是否低头、是否仰头、是否歪头或者是否转头等。头部位置信息可选的可以通过头部的俯仰角、偏航角和滚转角确定。人脸朝向信息可以用于确定驾驶员的人脸方向是否正常，如确定驾驶员是否侧脸或者是否回头等。人脸朝向信息可选的可以为驾驶员人脸正前方与驾驶员所驾驶的车辆正前方之间的夹角。上述视线方向信息可以用于确定驾驶员的视线方向是否正常，如确定驾驶员是否目视前方等，视线方向信息可以用于判断驾驶员的视线是否发生了偏离现象等。视线方向信息可选的可以为驾驶员的视线与驾驶员所驾驶的车辆正前方之间的夹角。
在一个可选示例中，在判断出人脸朝向信息大于第一朝向，大于第一朝向的这一现象持续了N1帧(例如，持续了9帧或者10帧等)，则确定驾驶员出现了一次长时间大角度转头现象，可以记录一次长时间大角度转头，也可以记录本次转头持续时长；在判断出人脸朝向信息不大于第一朝向、大于第二朝向，在不大于第一朝向、大于第二朝向的这一现象持续了N1帧(N1为大于0的整数，例如，持续了9帧或者10帧等)，则确定驾驶员出现了一次长时间小角度转头现象，可以记录一次小角度转头偏离，也可以记录本次转头持续时长。
在一个可选示例中，在判断出视线方向信息和车辆正前方之间的夹角大于第一夹角，大于第一夹角的这一现象持续了N2帧(例如，持续了8帧或9帧等)，则确定驾驶员出现了一次视线严重偏离现象，可以记录一次视线严重偏离，也可以记录本次视线严重偏离持续时长；在判断出视线方向信息和车辆正前方之间的夹角不大于第一夹角、大于第二夹角，在不大于第一夹角、大于第二夹角的这一现象持续了N2帧(N2为大于0的整数，例如，持续了9帧或10帧等)，则确定驾驶员出现了一次视线偏离现象，可以记录一次视线偏离，也可以记录本次视线偏离持续时长。
在一个可选示例中，上述第一朝向、第二朝向、第一夹角、第二夹角、N1以及N2的取值可以根据实际情况设置，本公开不限制取值的大小。
在上述实施例中，可以基于深度学习技术获取眼部状态信息，根据该眼部状态信息确定闭眼程度的参数值、发呆程度的参数值和眨眼程度的参数值，提高了闭眼程度的参数值、发呆程度的参数值和眨眼程度的参数值的准确性，使得基于眼部状态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。
在上述实施例中，可以基于深度学习技术获取嘴部状态信息，根据该嘴部状态信息确定用于表征打哈欠程度的参数值，提高了打哈欠程度的参数值的准确性，使得基于嘴部状态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。
在上述实施例中，第六神经网络可以基于深度学习技术，预先利用样本图像训练得到，训练完成后的第六神经网络可以直接针对输入的图像输出视线方向信息，提高视线方向信息的准确性，从而提升驾驶员状态的检测结果的准确性。
其中，可以采用多种方式对第六神经网络进行训练方法，本公开对此不作限制。例如，在其中一种方式中，可以根据拍摄样本图像的摄像头以及该样本图像中的瞳孔确定第一视线方向，该样本图像至少包括眼部图像；经第六神经网络检测样本图像的视线方向，得到第一检测视线方向；根据第一视线方向和第一检测视线方向，训练第六神经网络。再如，在其中一种方式中，确定样本图像中的瞳孔参考点在第一相机坐标系下的第一坐标，以及确定样本图像中的角膜参考点在第一相机坐标系下的第二坐标，该样本图像中至少包括眼部图像；根据第一坐标和第二坐标确定样本图像的第二视线方向；经第六神经网络对样本图像进行视线方向检测，得到第二检测视线方向；根据第二视线方向和所述第二检测视线方向训练第六神经网络。
在其中一些可选示例中，根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，可以包括：根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据瞳孔边沿位置计算瞳孔中心位置；根据瞳孔中心位置与眼睛中心位置获取头部姿态信息对应头部姿态下的眼珠转角信息；根据头部姿态信息和眼珠转角信息确定驾驶员的视线方向，得到视线方向信息。
其中，根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，可以包括：基于第七神经网络对根据人脸关键点分割出的图像中的眼睛图像进行瞳孔边沿位置的检测，并根据该第七神经网络输出的信息获取瞳孔边沿位置。
作为一个可选示例，可以从驾驶员图像中剪切并放大的眼睛图像，并将该剪切放大后的眼睛图像提供给用于瞳孔定位的第七神经网络进行瞳孔关键点检测、输出检测到的瞳孔关键点，根据第七神经网络输出的瞳孔关键点获取到瞳孔边沿位置，通过对瞳孔边沿位置进行计算(例如，计算圆心位置)，即可获得瞳孔中心位置。
作为一个可选示例，可以基于上述上眼睑线和下眼睑线获取到眼睛中心位置，例如，将上眼睑线和下眼睑线的所有关键点的坐标信息进行相加，并除以上眼睑线和下眼睑线的所有关键点的数量，将相除后获得的坐标信息作为眼睛中心位置。当然，也可以采用其他方式获取眼睛中心位置，例如，针对检测到的人脸关键点中的眼睛关键点进行计算，从而获得眼睛中心位置；本公开不限制获取眼睛中心位置的实现方式。
本实施例通过在瞳孔关键点检测的基础上来获取瞳孔中心位置，可以获取到更为准确的瞳孔中心位置；通过在眼睑线定位的基础上来获取眼睛中心位置，可以获取到更为准确的眼睛中心位置，从而在利用瞳孔中心位置和眼睛中心位置来确定视线方向时，可以获得较为准确的视线方向信息。另外，通过利用瞳孔关键点检测的方式来定位瞳孔中心位置，并利用瞳孔中心位置和眼睛中心位置来确定视线方向，使确定视线方向的实现方式在具有准确性，还兼具有易于实现的特点。
在一个可选示例中，本公开可以采用现有的神经网络来实现瞳孔边沿位置的检测以及眼睛中心位置的检测。
其中，第七神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第七神经网络进行瞳孔边沿位置的检测，可以实现瞳孔边沿位置的精确检测，从而提高视线方向信息的准确性。
在一个可选示例中，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，可以根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。
其中，参考视线方向可以预先设定；或者，也可以以基于驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向为参考视线方向。其中，N为大于1的整数。
本公开实施例中，在眼睛处于睁眼状态且持续一定时间时，可以认为处于发呆状态。在一个可选示例中，根据一段时间内的眼部状态信息，获取发呆程度的参数值，可以包括：根据上述眼部状态信息，在驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值。其中，该一段时间包括上述预设发呆时间。
本公开实施例中，头部由正常头部位置突然向下低头、然后又恢复到正常头部位置(即，头部姿态信息中的俯仰角由正常驾驶状态时的0度在一个预设较短时间内变化到一定角度然后再恢复到0度时)的过程，可以看作一次打盹点头。在一个可选示例中，根据一段时间内的头部位置信息，获取打盹程度的参数值，可以包括：根据头部位置信息，在驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至预设参考头部位置时，确定驾驶员处于打盹状态；根据一段时间内的头部位置信息，获取打盹程度的参数值；其中，一段时间包括第一预设时间和第二预设时间。
本公开实施例中，嘴巴由闭合状态、到张开状态、再到闭合状态的过程，可以认为完成一次打哈欠动作，一次打哈欠动作所需时长通常大于400ms。在一个可选示例中，根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值，可以包括：根据嘴部状态信息，在驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。其中，该一段时间包括上述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。
在其中一些实施方式中，根据用于表征驾驶员疲劳状态的指标的参数值，确定疲劳状态检测结果，可以包括：在任意一项或多项用于表征驾驶员疲劳状态的指标的参数值满足预定疲劳条件时，确定疲劳状态检测结果为疲劳状态；和/或，在所有用于表征驾驶员疲劳状态的指标的参数值均不满足预定疲劳条件时，确定疲劳状态检测结果为非疲劳状态。
其中，上述预定疲劳条件可以包括多个疲劳等级条件。相应地，上述在任意一项或多项用于表征驾驶员疲劳状态的指标的参数值满足预定疲劳条件时，确定疲劳状态检测结果为疲劳状态，包括：根据用于表征驾驶员疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为疲劳状态检测结果。
该实施例中，疲劳状态检测结果表示为疲劳驾驶程度，该疲劳驾驶程度例如可以包括：正常驾驶级别(即非疲劳状态)以及疲劳驾驶级别(即疲劳状态等级)；其中的疲劳驾驶级别可以为一个疲劳状态等级，也可以被划分为多个不同的疲劳状态等级，例如，上述疲劳驾驶级别可以被划分为：提示疲劳级别(也可以称为轻度疲劳级别)和警告疲劳级别(也可以称为重度疲劳级别)；当然，疲劳驾驶程度也可以被划分为更多级别，例如，轻度疲劳级别、中度疲劳级别以及重度疲劳级别等。本公开不限制疲劳驾驶程度所包括的不同疲劳状态等级。
在一个可选示例中，疲劳驾驶程度所包含的每一个疲劳状态等级均对应有疲劳等级条件，可以将用于表征驾驶员疲劳状态的指标的参数值满足的疲劳等级条件所对应的疲劳状态等级、或者不满足所有疲劳等级条件的非疲劳状态确定为疲劳驾驶程度。
在一个可选示例中，正常驾驶级别(即非疲劳状态)对应的预设条件(即不满足预定疲劳条件)可以包括：
条件20a、不存在半闭眼以及闭眼现象；
条件20b，不存在打哈欠现象；
在上述条件20a、条件20b均满足的情况下，驾驶员当前处于正常驾驶级别(即非疲劳状态)。
在一个可选示例中，提示疲劳级别对应的疲劳等级条件可以包括：
条件20c、存在半闭眼现象；
条件20d、存在打哈欠现象；
在上述条件20c、条件20d中的任一条件满足的情况下，驾驶员当前处于提示疲劳级别。
在一个可选示例中，警告疲劳级别对应的疲劳等级条件可以包括：
条件20d、存在闭眼现象或者在一段时间内的闭眼次数达到一预设次数或者在一段时间内的闭眼时间达到一预设时间；
条件20e、在一段时间内的打哈欠的次数达到一预设次数；
在上述条件20d、条件20e中的任一条件满足的情况下，驾驶员当前处于警告疲劳级别。
在其中一些实施方式中，根据用于表征驾驶员分心状态的指标的参数值，确定分心状态检测结果，可以包括：在任意一项或多项用于表征驾驶员分心状态的指标的参数值满足预定分心条件时，确定分心状态检测结果为分心状态；和/或，在所有用于表征驾驶员分心状态的指标的参数值均不满足预定分心条件时，确定分心状态检测结果为非分心状态。
其中，上述预定分心条件可以包括多个分心等级条件。相应地，上述在任意一项或多项用于表征驾驶员分心状态的指标的参数值满足预定分心条件时，确定分心状态检测结果为分心状态，包括：根据用于表征驾驶员分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为分心状态检测结果。
该实施例中，分心状态检测结果可以表示为分心驾驶程度，该分心驾驶程度例如可以包括：驾驶员注意力集中(驾驶员注意力未分散，非分心状态)，驾驶员注意力分散(分心状态)。例如，若视线方向偏离角度、人脸朝向偏离角度、头部位置的偏离角度均小于第一预设角度，睁眼持续时长小于第一预设时长，为驾驶员注意力集中(驾驶员注意力未分散，非分心状态)。其中的驾驶员注意力分散级别例如可以包括：驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等。其中的驾驶员注意力分散级别可以通过用于表征驾驶员分心状态的指标的参数值所满足的分心等级条件确定。例如，若视线方向偏离角度人脸朝向偏离角度和头部位置的偏离角度任一不小于预设角度，且持续时间不大于第一预设时长、且小于第二预设时长，或者睁眼持续时长不大于第一预设时长、且小于第二预设时长，为驾驶员注意力轻度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不大于第二预设时长、且小于第三预设时长，或者睁眼持续时长不大于第二预设时长、且小于第三预设时长，为驾驶员注意力中度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不小于第三预设时长，或者睁眼持续时长不小于第三预设时长，为驾驶员注意力重度分散。
图3为本公开驾驶状态检测方法又一个实施例的流程图。相对于上述图1或图2所示，该实施例的驾驶状态检测方法还包括对驾驶员图像进行预定分心动作检测的相关操作，如图3所示，该对驾驶员图像进行预定分心动作检测的实施例包括：
302，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作。
本公开实施例中的预定分心动作，可以是任意可能分散驾驶员的注意力的分心动作，例如抽烟动作、喝水动作、饮食动作、打电话动作、娱乐动作、化妆动作等。其中，饮食动作例如吃水果、零食等食物；娱乐动作例如发信息、玩游戏、K歌等任意借助于电子设备执行的动作。其中的电子设备例如手机终端、掌上电脑、游戏机等。
若出现预定分心动作，执行操作304。否则，若未出现预定分心动作，不执行本实施例的后续流程。
304，根据一段时间内是否出现预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值。
其中，分心程度的参数值例如可以包括但不限于以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率，等等。例如，抽烟动作的次数、持续时长、频率；喝水动作的次数、持续时长、频率；打电话动作的次数、持续时长、频率；等等。
306，根据上述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。
在其中一些实施方式中，操作302中，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，可以包括：
提取驾驶员图像的特征；
基于特征提取可能包括预定分心动作的多个候选框；
基于多个候选框确定动作目标框，其中，动作目标框包括人脸的局部区域和动作交互物，或者还可以进一步选择性地包括手部区域。其中，人脸局部区域例如可以包括但不限于以下任意一项或多项：嘴部区域，耳部区域，眼部区域，等等；和/或，动作交互物例如可以包括但不限于以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩，等等；
基于动作目标框进行预定分心动作的分类检测，确定是否出现预定分心动作。
在另一些实施方式中，操作302中，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，可以包括：对驾驶员图像进行预定分心动作相应的目标对象检测，得到目标对象的检测框；根据目标对象的检测框，确定是否出现预定分心动作。
本实施例提供了对驾驶员进行预定分心动作检测的实现方案，通过检测预定分心动作相应的目标对象、根据检测到的目标对象的检测框确定是否出现预定分心动作，从而判断驾驶员是否分心，有助于获取准确的驾驶员预定分心动作检测的结果，从而有助于提高驾驶状态检测结果的准确性。
例如，预定分心动作为抽烟动作时，上述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作可以包括：经第八神经网络对驾驶员图像进行人脸检测，得到人脸检测框，并提取人脸检测框的特征信息；经该第八神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。
又如，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)/化妆动作时，上述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作可以包括：经第九神经网络对驾驶员图像进行饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，其中的预设目标对象包括：手部、嘴部、眼部、动作交互物；动作交互物例如可以包括但不限于以下任意一类或多类：容器、食物、电子设备，等等；根据预设目标对象的检测框确定是否出现预定分心动作，是否出现预定分心动作的确定结果可以包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作，出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，化妆动作。
在一些可选示例中，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)/化妆动作时，根据预设目标对象的检测框，确定是否出现预定分心动作，可以包括：根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。
可选地，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为电子设备，且动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。
另外，若未同时检测到手部的检测框、嘴部的检测框和任一动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一动作交互物的检测框，确定是否出现预定分心动作确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与动作交互物的检测框未重叠，确定是否出现分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间未重叠，和/或，动作交互物的类型为电子设备、且动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。
在上述示例中，可以由第八神经网络、第九神经网络对驾驶员图像进行预定分心动作检测，并输出出现各种预定分心动作的概率，可以选取大于预设概率阈值且概率值最高的分心动作作为预定分心动作的检测结果，若各种预定分心动作的概率均低于预设概率阈值，可以认为未检测到预定分心动作。
另外，在上述对驾驶员图像进行预定分心动作检测的实施例中，还可以包括：若确定出现预定分心动作，提示检测到的分心动作，例如，检测到抽烟动作时，提示检测到抽烟；检测到喝水动作时，提示检测到喝水；检测到打电话动作时，提示检测到打电话，以提醒驾驶员集中注意力驾驶。
另外，在上述对驾驶员图像进行预定分心动作检测的实施例中，若确定出现预定分心动作，还可以包括：
根据用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；
将确定的分心动作等级作为驾驶员预定分心动作的检测结果。
本实施例中，驾驶员预定分心动作的检测结果可以包括：未出现预定分心动作(即未检测到预定分心动作，也可以称为专注驾驶级别)，出现预定分心动作(即检测到预定分心动作)。另外，上述驾驶员预定分心动作的检测结果也可以为分心动作等级，例如，提示分心级别(也可以称为轻度分心级别)和警告分心级别(也可以称为重度分心级别)；当然，分心动作等级也可以被划分为更多级别，例如：未分心级别，轻度分心级别、中度分心级别以及重度分心级别等。当然，本公开各实施例的分心动作等级也可以按照其他情况划分，不限制为上述级别划分情况。
其中的分心动作等级可以通过用于表征分心程度的指标的参数值所满足的分心动作等级条件确定。例如，驾驶员预定分心动作的检测结果为未出现预定分心动作；若确定出现预定分心动作，检测到预定分心动作的持续时间小于第一预设时长、且频率小于第一预设频率，分心动作等级为轻度分心级别；若检测到预定分心动作的持续时间大于第一预设时长，和/或频率大于第一预设频率，分心动作等级为重度分心级别。
另外，在上述实施例中，还可以包括：响应于预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
在上述各实施例的一些实施方式中，响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，可以包括：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息。
在上述各实施例的一些实施方式中，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息，可以包括：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息。
例如，在其中一些可选示例中，响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息，可以包括：
响应于疲劳状态检测结果和预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，
响应于分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，输出满足预定报警条件的分心状态检测结果的报警信息，或者，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
另外，在进一步实施方式中，可以在在输出满足预定报警条件的预定分心动作的检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息，从而既可以实现提示驾驶员安全驾驶的目的，又可以避免重复输出多种提示/告警信息干扰驾驶员正常驾驶，从而提升驾驶的安全性。
在其中一些实施方式中，在疲劳状态检测结果为疲劳状态等级时，输出满足预定报警条件的疲劳状态检测结果的报警信息，可以包括：根据疲劳状态等级输出相应的提示或者告警信息；和/或，在分心状态的检测结果为分心状态等级时，输出满足预定报警条件的分心状态检测结果相应的提示/告警信息，可以包括：根据分心状态等级输出相应的提示或者告警信息；和/或，在预定分心动作的检测结果为分心动作等级时，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息，可以包括：根据分心动作等级输出相应的提示或者告警信息。
例如，基于上述实施例，在疲劳状态的检测结果为疲劳状态时，输出与疲劳状态的检测结果相应的提示/告警信息，可以包括：
基于头部位置信息发现驾驶员在做打盹点头动作，确定疲劳状态检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员一直在做打盹点头动作，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔Xs输出一次疲劳报警信息，直至疲劳状态检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；
基于眼部状态信息发现驾驶员的双眼闭眼持续时长达到一定时长或眨眼频率达到一定数值，确定疲劳状态检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员的双眼闭眼持续时长持续增长或眨眼频率一直过高，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔Xs秒输出一次疲劳报警信息，直至疲劳状态检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；
基于嘴部状态信息，发现驾驶员在做打哈欠动作，确定疲劳状态检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员一直在做打哈欠动作，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔Xs秒输出一次疲劳报警信息，直至疲劳状态检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；
基于头部位置信息、眼部状态信息、嘴部状态信息，如果发现驾驶员存在打盹点头、双眼闭眼持续时长达到一定时长、眨眼频率达到一定数值、打哈欠等四种行为中两种或两种以上状态，则判定驾驶员处于重度疲劳级别，每隔Xs秒输出一次疲劳报警信息，直至疲劳状态检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态。
例如，基于上述实施例，在分心状态的检测结果为分心状态时，输出与分心状态的检测结果相应的提示/告警信息，可以包括：
基于头部位置信息，如果驾驶员头部位置偏离角度超出预设范围，且偏离时间超过Ys秒，确定分心状态检测结果为分心状态，输出分心提示信息。随着驾驶员的头部位置偏离程度超出预设范围的偏离时间持续增加，驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔Xs秒输出一次分心报警信息，直至分心状态检测结果为非分心状态，即驾驶员恢复正常驾驶状态；
基于头部位置信息和视线方向信息，如果驾驶员头部位置偏离角度未超出预设范围，但视线方向偏离角度超出预设视线安全范围、且持续时间超过Ys秒，确定分心状态检测结果为分心状态，输出分心提示信息。随着视线方向偏离角度超出预设视线安全范围的持续时间增加，驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔Xs秒输出一次分心报警信息，直至分心状态检测结果为非分心状态，即驾驶员恢复正常驾驶状态；
基于头部位置信息、视线方向信息和眼睛睁合状态信息，如果驾驶员头部位置偏离角度未超出预设范围、且视线方向偏离角度未超出预设视线安全范围，但检测到驾驶员处于发呆状态，确定分心状态检测结果为分心状态，输出分心提示信息。驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔Xs秒输出一次分心报警信息，直至分心状态检测结果为非分心状态，即驾驶员恢复正常驾驶状态。
另外，在本公开上述各实施例中，还可以包括：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果其中任意一项或多项满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
在其中一些实施方式中，可以在疲劳状态等级和/或分心状态等级和/或分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故。
在本实施例中，在满足预定驾驶模式切换条件时将驾驶模式切换为自动驾驶模式，通过自动驾驶模式实现车辆的安全驾驶，以避免发生道路交通事故。
另外，在本公开各实施例中，确定驾驶员状态的检测结果之后，还可以输出驾驶员状态的检测结果，例如，在本地输出驾驶员状态的检测结果和/或远程输出驾驶员状态的检测结果。其中，本地输出驾驶员状态的检测结果即通过驾驶状态检测装置或者驾驶员监控系统输出驾驶员状态的检测结果，或者向车辆中的中控系统输出驾驶员状态的检测结果，以便车辆基于该驾驶员状态的检测结果对车辆进行智能驾驶控制。远程输出驾驶员状态的检测结果，例如可以是向云服务器或管理节点发送驾驶员状态的检测结果，以便由云服务器或管理节点进行驾驶员状态的检测结果的收集、分析和/或管理，或者基于该驾驶员状态的检测结果对车辆进行远程控制。
进一步地，在上述实施例中，还可以将驾驶状态的检测结果存储在数据库中该驾驶员的用户信息中，对该驾驶员的驾驶状态检测结果进行记录，以便于后续对驾驶员的驾驶状态检测结果进行查阅，或者对驾驶员的驾驶行为习惯进行分析、统计等。
另外，在本公开驾驶状态检测方法的又一个实施例中，还可以包括：通过红外摄像头进行图像采集，例如，通过车辆内至少一个位置部署的红外摄像头进行图像采集，得到驾驶员图像。
本公开实施例中的驾驶员图像通常为通过红外摄像头(包括近红外摄像头等)针对驾驶室摄取到的视频中的图像帧。
其中的红外摄像头的波长可以包括940nm或者850num。其中的红外摄像头可以设置在车辆驾驶室内任意可以拍摄到驾驶员的位置，例如，可以将红外摄像头部署在以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。例如，在一些可选示例中，红外摄像头可以设置在仪表盘上方(如正上方位置)，朝向正前方位置；可以设置在中控台上方(如正中间位置)，朝向正前方位置；还可以设置在A柱上(如可以贴在靠近A柱的玻璃上)，朝向驾驶员面部；还可以设置在后视镜上(如可以贴在后视镜上方的玻璃上)，朝向驾驶员面部。其中，红外摄像头设置于仪表盘上方、中控台上方的位置时，可以根据摄像头的视角和驾驶员的位置确定其具体位置，例如设置于仪表盘上方的位置时，可以是红外摄像头朝向驾驶员，以保证摄像头视角不被方向盘遮挡；设置于中控台上方的位置时，如果摄像头的视角足够大，则可以针对后方，保证驾驶员在摄像机视野内，如果视角不够大，可以朝向驾驶员，以保证驾驶员出现在红外摄像头的视角中。
由于驾驶员所在区域(如车内或者驾驶室等)的光线往往较复杂，而红外摄像头所摄取的驾驶员图像的质量往往会优于普通摄像头所摄取的驾驶员图像的质量，尤其是在夜晚或者阴天或者隧道内等外部光线较暗环境下，红外摄像头所摄取到驾驶员图像通常明显优于普通摄像头所摄取的驾驶员图像的质量，从而有利于提高驾驶员分心状态检测和分心动作检测的准确性，进而有利于提高驾驶状态监控的准确性。
本公开实施例中，采用易部署、易使用的红外摄像头实时获取驾驶员图像，摄像头安装位置多样，在车辆的中控台、仪表盘、A柱、内后视镜等均可，利用基于深度学习技术的神经网络实现驾驶员疲劳状态检测和分心状态检测，鲁棒性好，应用范围广，在白天、黑夜、强光、弱光等场景下均能实现较好的驾驶状态检测效果。
可选地，在实际应用中，摄像头获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，在本公开的一些可选示例中，可以对红外摄像头拍摄的驾驶员图像进行灰度化预处理，将红绿蓝(RGB)3通道的图像转成灰度图像，再进行驾驶员的身份认证、分心状态检测和分心动作检测等操作，以提高身份认证、分心状态检测和分心动作检测的准确性。
在其中一些实施方式中，例如可以在如下场景中，通过红外摄像头进行图像采集，得到驾驶员图像：
在车辆处于行驶状态时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，
在车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，
在检测到车辆点火后通过红外摄像头进行图像采集，获得驾驶员图像；和/或，
在检测到车辆的启动指令时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，
在检测到对车辆或车辆中部件或系统的控制指令(例如加速、加速、转向、开关车窗、开关空调、开关娱乐系统等等)时通过红外摄像头进行图像采集，获得驾驶员图像。
在其中一些应用场景中，可以在驾驶员启动车辆时、启动驾驶状态监测装置或者驾驶员监控系统时，开始启动红外摄像头采集驾驶员图像进行驾驶状态检测。
本公开上述实施例的驾驶状态检测方法，可以由红外(包括近红外)摄像头进行图像采集获得驾驶员图像后，发送给可以加载神经网络的单片机、FPGA、ARM、CPU、GPU、微处理器、智能移动电话、笔记型计算机、平板电脑(PAD)、台式计算机或者服务器等电子设备实现，该电子设备能够运行计算机程序(也可以称为程序代码)，该计算机程序可以存储于闪存、缓存、硬盘或者光盘等计算机可读存储介质中。
本公开实施例提供的任一种驾驶状态分析方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种驾驶状态分析方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种驾驶状态分析方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本公开驾驶状态分析装置一个实施例的结构示意图。该实施例的驾驶状态分析装置可用于实现本公开上述各驾驶状态分析方法实施例。如图4所示，该实施例的驾驶状态分析装置包括：驾驶状态检测模块，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；报警模块，用于响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
在其中一些实施方式中，报警模块响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息时，用于在疲劳状态检测结果为疲劳状态时，输出与疲劳状态检测结果相应的提示/告警信息；和/或，在分心状态检测结果为分心状态时，输出与分心状态检测结果相应的提示/告警信息。
基于本公开上述实施例提供的驾驶状态分析装置，可以对驾驶员图像实现驾驶员疲劳状态检测和驾驶员分心状态的共同检测，在疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件时，输出满足预定报警条件的相应检测结果的报警信息；和/或，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，输出满足预定报警条件的疲劳状态检测结果的报警信息，以便于提醒驾驶员注意，以提高驾驶安全性，降低道路交通事故发生率；并且，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，只输出满足预定报警条件的疲劳状态检测结果的报警信息，可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。
在另一些实施例中，报警模块，还可用于：在输出疲劳状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息；和/或，在输出分心状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
本实施例可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，进一步提高了辅助驾驶的安全性和用户体验
图5为本公开驾驶状态分析装置一个实施例的结构示意图。如图5所示，与图4所示的实施例相比，该实施例的驾驶状态分析装置还可以包括：第一确定模块，用于确定驾驶员图像中驾驶员的头部位置的偏离角度是否超出预设范围。相应地，该实施例中，驾驶状态检测模块，用于在驾驶员的头部位置的偏离角度超出预设范围时，对驾驶员图像进行驾驶员的分心状态检测，得到分心状态检测结果；和/或，在驾驶员的头部位置的偏离角度未超出预设范围时，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测的操作，得到疲劳状态检测结果和分心状态检测结果。
如图5所示，在其中一些实施方式中，驾驶状态检测模块可以包括：第一检测模块，用于对驾驶员图像进行头部姿态检测、眼部状态检测和/或嘴部状态检测，得到头部姿态信息、眼部状态信息和/或嘴部状态信息；第二确定模块，用于根据头部姿态信息和/或眼部状态信息，确定驾驶员的分心状态检测结果；第三确定模块，用于根据头部姿态信息、眼部状态信息和/或嘴部状态信息，确定驾驶员的疲劳状态检测结果。
其中，在一些可选示例中，第二确定模块可以包括：第一确定单元，用于根据头部姿态信息和/或眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；第二确定单元，用于根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态检测结果。
在一些可选示例中，所第三确定模块可以包括：第三确定单元，用于根据头部姿态信息、眼部状态信息和/或嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值；第四确定单元，用于根据用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态检测结果。
在一些可选示例中，第一检测模块可以包括：关键点检测单元，用于对驾驶员图像进行人脸关键点检测；第一获取单元，用于根据检测到的人脸关键点获取头部姿态信息、眼部状态信息和/或嘴部状态信息。
在一些可选示例中，第一获取单元根据检测到的人脸关键点获取头部姿态信息时，用于经第一神经网络基于人脸关键点得到头部姿态信息。
在一些可选示例中，第一获取单元根据检测到的人脸关键点获取眼部状态信息时，用于根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第二神经网络对眼部区域图像进行上眼睑线和下眼睑线的检测；根据上眼睑线和下眼睑线之间的间隔确定驾驶员的眼睛睁合状态信息；其中，眼部状态信息包括：眼睛睁合状态信息。
在一些可选示例中，第一获取单元根据检测到的人脸关键点获取眼部状态信息时，用于根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第三神经网络对眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，眼部状态信息包括：睁眼状态或闭眼状态。
在一些可选示例中，第一获取单元根据检测到的人脸关键点获取嘴部状态信息时，用于根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第四神经网络对嘴部区域图像进行上唇线和下唇线的检测；根据上唇线和下唇线之间的间隔确定驾驶员的嘴巴开合状态信息；其中，嘴部状态信息包括嘴巴开合状态信息。
在一些可选示例中，第一获取单元根据检测到的人脸关键点获取嘴部状态信息时，用于根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第五神经网络对嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，嘴部状态信息包括张嘴状态或闭嘴状态。
在一些可选示例中，第三确定单元，用于根据头部姿态信息、眼部状态信息和嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。
在一些可选示例中，第一确定单元，用于：根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取头部位置偏离程度的参数值；和/或，根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据人脸关键点确定驾驶员图像中的眼部区域图像，基于第六神经网络得到眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，根据一段时间内的眼部状态信息，获取发呆程度的参数值。
在一些可选示例中，第三确定单元，用于：根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取打盹程度的参数值；和/或，根据一段时间内的眼部状态信息，获取闭眼程度的参数值；和/或，根据一段时间内的眼部状态信息，获取眨眼程度的参数值；和/或，
根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。
在其中一些实施方式中，用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度；和/或，用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度。
在一些可选示例中，第一确定单元或第三确定单元根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息时，用于获取头部姿态信息中的俯仰角作为头部位置；和/或，第一确定单元根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息时，用于获取头部姿态信息中的俯仰角和偏航角作为人脸朝向。
在一些可选示例中，第一确定单元根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息时，用于根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据瞳孔边沿位置计算瞳孔中心位置；根据瞳孔中心位置与眼睛中心位置获取头部姿态信息对应头部姿态下的眼珠转角信息；根据头部姿态信息和眼珠转角信息确定驾驶员的视线方向，得到视线方向信息。
在一些可选示例中，第一确定单元根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置时，用于基于第七神经网络对根据人脸关键点分割出的图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据第七神经网络输出的信息获取瞳孔边沿位置。
在一些可选示例中，第一确定单元根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，用于根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。其中，参考视线方向可以预先设定，或者，可以为基于驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向；其中，N为大于1的整数。
在一些可选示例中，第一确定单元根据一段时间内的眼部状态信息，获取发呆程度的参数值时，用于根据眼部状态信息，在驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，一段时间包括预设发呆时间。
在一些可选示例中，第三确定单元根据一段时间内的头部位置信息，获取打盹程度的参数值时，用于根据头部位置信息，在驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至预设参考头部位置时，确定驾驶员处于打盹状态；根据一段时间内的头部位置信息，获取打盹程度的参数值；其中，一段时间包括第一预设时间和第二预设时间。
在一些可选示例中，第三确定单元根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值时，用于根据嘴部状态信息，在驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，一段时间包括驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。
在一些可选示例中，头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。
在一些可选示例中，第二确定单元，用于在任意一项或多项用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态；和/或，在所有用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态检测结果为非分心状态。
在一些可选示例中，预定分心条件包括多个分心等级条件。相应地，第二确定单元在任意一项或多项用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态检测结果为分心状态时，用于根据用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为驾驶员的分心状态检测结果。
在一些可选示例中，第四确定单元用于在任意一项或多项用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态；和/或，在所有用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为非疲劳状态。
在一些可选示例中，预定疲劳条件包括多个疲劳等级条件。相应地，第四确定单元在任意一项或多项用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态检测结果为疲劳状态时，用于根据用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为驾驶员的疲劳状态检测结果。
另外，再参见图5，在本公开驾驶状态检测装置的又一个实施例中，还可以包括：第二检测模块，用于对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；第一获取模块，用于在出现预定分心动作时，根据一段时间内是否出现预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；第四确定模块，用于根据用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。其中，分心程度的参数值可以包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率，等等。其中的预定分心动作可以包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作，等等。
在其中一些实施方式中，第二检测模块，用于提取驾驶员图像的特征；基于特征提取可能包括预定分心动作的多个候选框；基于多个候选框确定动作目标框，其中，动作目标框包括人脸的局部区域和动作交互物，或者还可以包括手部区域；基于动作目标框进行预定分心动作的分类检测，确定是否出现预定分心动作。其中，人脸局部区域可以包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，动作交互物可以包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。
在其中一些实施方式中，第二检测模块，用于经第八神经网络对驾驶员图像进行人脸检测，得到人脸检测框，并提取人脸检测框的特征信息；经第八神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。
在其中一些实施方式中，第二检测模块，用于经第九神经网络对驾驶员图像进行饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，预设目标对象包括：手部、嘴部、眼部、动作交互物，动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；根据预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。
在其中一些实施方式中，第二检测模块根据预设目标对象的检测框，确定是否出现预定分心动作时，用于根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。
在其中一些可选示例中，第二检测模块根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作时，用于：若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作或喝水动作；和/或，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为电子设备，且动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。
在其中一些可选示例中，第二检测模块，还用于：若未同时检测到手部的检测框、嘴部的检测框和任一动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，若动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间未重叠，和/或，动作交互物的类型为电子设备、且动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。
另外，再参见图5，在本公开驾驶状态检测装置的再一个实施例中，还可以包括：第五确定模块，用于根据用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级。相应地，该实施例中，第四确定模块用于将确定的分心动作等级作为驾驶员预定分心动作的检测结果。
另外，再参见图5，在本公开驾驶状态检测装置的再一个实施例中，还可以包括：报警模块，用于根据驾驶员状态的检测结果，进行报警；和/或，驾驶控制模块，用于根据驾驶员状态的检测结果，进行智能驾驶控制。其中，驾驶员状态的检测结果包括以下任意一项或多项：疲劳状态的检测结果，分心状态的检测结果，预定分心动作的检测结果。
在上述实施例中，报警模块，还可用于响应于预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
在其中一些实施方式中，报警模块响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息时，用于响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息。
在其中一些实施方式中，报警模块响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息时，用于：响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息。
其中，报警模块响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，按照预设报警策略输出报警信息时，可用于：响应于疲劳状态检测结果和预定分心动作的检测结果满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；和/或，响应于分心状态检测结果和预定分心动作的检测结果三者其中之二满足预定报警条件，输出满足预定报警条件的分心状态检测结果的报警信息，或者，输出满足预定报警条件的预定分心动作的检测结果相应的报警信息。
在进一步实施方式中，报警模块，还可用于在输出满足预定报警条件的预定分心动作的检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
在其中一些实施方式中，报警模块在疲劳状态检测结果为疲劳状态等级时，根据疲劳状态等级输出相应的提示或者告警信息；和/或，在分心状态的检测结果为分心状态等级时，根据分心状态等级输出相应的提示或者告警信息；和/或，在预定分心动作的检测结果为分心动作等级时，根据分心动作等级输出相应的提示或者告警信息。
另外，再参见图5，在在本公开驾驶状态检测装置的再一个实施例中，还可以包括：驾驶控制模块，用于响应于疲劳状态检测结果、分心状态检测结果和预定分心动作的检测结果其中任意一项或多项满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
在其中一些实施方式中，驾驶控制模块，用于在疲劳状态等级和/或分心状态等级和/或分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。
另外，再参见图5，在本公开上述各实施例中，还可以包括：红外摄像头，用于进行图像采集，得到驾驶员图像。该红外摄像头部署于车辆内的至少一个位置，例如以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。
在其中一些实施方式中，红外摄像头，用于：在车辆处于行驶状态时进行图像采集，获得驾驶员图像；和/或，在车辆的行驶速度超过预设车速时进行图像采集，获得驾驶员图像；和/或，在检测到车辆点火后进行图像采集，获得驾驶员图像；和/或，在检测到车辆的启动指令时进行图像采集，获得驾驶员图像；和/或，在检测到对车辆或车辆中部件或系统的控制指令时进行图像采集，获得驾驶员图像。
图6为本公开驾驶员监控系统一个实施例的结构示意图。该实施例的驾驶员监控系统可用于实现本公开上述各驾驶状态检测方法实施例。如图6所示，该实施例的驾驶员监控系统包括：显示装置，用于显示驾驶员图像；驾驶状态分析装置，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
其中的驾驶员状态检测装置可以通过本公开上述任一实施例的驾驶状态检测装置实现。
基于本公开上述实施例提供的驾驶员监控系统，可以对驾驶员图像实现驾驶员疲劳状态检测和驾驶员分心状态的共同检测，在疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件时，输出满足预定报警条件的相应检测结果的报警信息；和/或，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，输出满足预定报警条件的疲劳状态检测结果的报警信息，以便于提醒驾驶员注意，以提高驾驶安全性，降低道路交通事故发生率；并且，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，只输出满足预定报警条件的疲劳状态检测结果的报警信息，可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。
另外，本公开实施例提供的另一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现本公开上述任一实施例的驾驶状态分析方法。
图7为本公开电子设备一个应用实施例的结构示意图。下面参考图7，其示出了适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。如图7所示，该电子设备包括一个或多个处理器、通信部等，一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本公开实施例提供的任一方法对应的操作，例如，对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测疲劳状态检测结果分心状态检测结果；响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；和/或，响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息。
此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本公开上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开任一实施例提供的方法步骤对应的指令。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
另外，本公开实施例还提供了一种计算机程序，包括计算机指令，当计算机指令在设备的处理器中运行时，实现本公开上述任一实施例的驾驶状态分析方法。
另外，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例的驾驶状态分析方法。
图8为本公开车辆一个实施例的结构示意图。如图8所示，该实施例的车辆包括中控系统，还包括：本公开上述任一实施例的驾驶状态分析装置或者驾驶员监控系统。
基于本公开上述实施例提供的车辆，包括本公开上述任一实施例的驾驶状态分析装置或者驾驶员监控系统，可以对驾驶员图像实现驾驶员疲劳状态检测和驾驶员分心状态的共同检测，在疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件时，输出满足预定报警条件的相应检测结果的报警信息；和/或，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，输出满足预定报警条件的疲劳状态检测结果的报警信息，以便于提醒驾驶员注意，以提高驾驶安全性，降低道路交通事故发生率；并且，在疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件时，只输出满足预定报警条件的疲劳状态检测结果的报警信息，可以避免过多或者过于频繁的报警引起驾驶员的分心和反感，本公开通过优化报警策略，提高了辅助驾驶的安全性和用户体验。
在其中一些实施方式中，中控系统用于在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，并在自动驾驶模式下对车辆进行自动驾驶控制。
在另一些实施方式中，中控系统还可用于在接收到切换为人工驾驶的驾驶指令时，将驾驶模式切换为人工驾驶模式。
再参见图8，上述实施例的车辆还可以包括：娱乐系统，用于根据中控系统的控制指令，输出与提示/告警预定条件相应的提示/告警信息；和/或，根据中控系统的控制指令，调整提示/告警信息的预警效果、或者娱乐项目的播放效果。
其中的娱乐系统例如可以包括扬声器、蜂鸣器、灯光设备等。
再参见图8，上述实施例的车辆还可以包括：至少一个红外摄像头，用于进行图像采集。
在其中一些实施方式中，车辆中的红外摄像头可以部署在车辆内的至少一个位置，例如可以部署在以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置，等。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种驾驶状态分析方法，其特征在于，包括：
对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；
响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；
响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；
在输出满足预定报警条件的疲劳状态检测结果的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
2.根据权利要求1所述的方法，其特征在于，所述响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息，包括：
在所述疲劳状态检测结果为疲劳状态时，输出与所述疲劳状态检测结果相应的提示/告警信息；和/或，
在所述分心状态检测结果为分心状态时，输出与所述分心状态检测结果相应的提示/告警信息。
3.根据权利要求1所述的方法，其特征在于，还包括：
在输出所述分心状态检测结果相应的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
4.根据权利要求1-3任一所述的方法，其特征在于，所述对驾驶员图像进行驾驶员的疲劳状态和分心状态检测之前，还包括：
确定所述驾驶员图像中驾驶员的头部位置的偏离角度是否超出预设范围；
若所述驾驶员的头部位置的偏离角度超出预设范围，对所述驾驶员图像进行驾驶员的分心状态检测，得到所述分心状态检测结果；和/或，
若所述驾驶员的头部位置的偏离角度未超出预设范围，执行所述对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测的操作，得到所述疲劳状态检测结果和所述分心状态检测结果。
5.根据权利要求4所述的方法，其特征在于，对所述驾驶员图像进行驾驶员的分心状态检测，包括：
对驾驶员图像进行头部姿态检测和/或眼部状态检测，得到头部姿态信息和/或眼部状态信息；
根据所述头部姿态信息和/或所述眼部状态信息，确定驾驶员的分心状态检测结果。
6.一种驾驶状态分析装置，其特征在于，包括：
驾驶状态检测模块，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；
报警模块，用于响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；以及在输出满足预定报警条件的疲劳状态检测结果的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
7.一种驾驶员监控系统，其特征在于，包括：
显示装置，用于显示驾驶员图像；
驾驶状态分析装置，用于对驾驶员图像进行驾驶员的疲劳状态检测和分心状态检测；响应于疲劳状态检测结果和分心状态检测结果二者其中之一满足预定报警条件，输出满足预定报警条件的相应检测结果的报警信息；响应于疲劳状态检测结果和分心状态检测结果二者均满足预定报警条件，输出满足预定报警条件的疲劳状态检测结果的报警信息；以及在输出满足预定报警条件的疲劳状态检测结果的报警信息后的预设时间内，抑制掉满足预定报警条件的其他检测结果相应的报警信息。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-5任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-5任一所述的方法。
10.一种车辆，包括中控系统，其特征在于，还包括：权利要求6所述的驾驶状态分析装置，或者权利要求7所述的驾驶员监控系统。
CN201811224316.3A 2018-10-19 2018-10-19 驾驶状态分析方法和装置、驾驶员监控系统、车辆 Active CN111079476B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811224316.3A CN111079476B (zh) 2018-10-19 2018-10-19 驾驶状态分析方法和装置、驾驶员监控系统、车辆
SG11202009420RA SG11202009420RA (en) 2018-10-19 2019-10-18 Driving state analysis method and apparatus, driver monitoring system and vehicle
KR1020207029610A KR102469234B1 (ko) 2018-10-19 2019-10-18 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
JP2020551931A JP2021516829A (ja) 2018-10-19 2019-10-18 運転状態分析方法及び装置、運転者監視システム並びに車両
PCT/CN2019/111932 WO2020078465A1 (zh) 2018-10-19 2019-10-18 驾驶状态分析方法和装置、驾驶员监控系统、车辆
US17/031,030 US11386679B2 (en) 2018-10-19 2020-09-24 Driving state analysis method and apparatus, driver monitoring system and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811224316.3A CN111079476B (zh) 2018-10-19 2018-10-19 驾驶状态分析方法和装置、驾驶员监控系统、车辆

Publications (2)

Publication Number Publication Date
CN111079476A CN111079476A (zh) 2020-04-28
CN111079476B true CN111079476B (zh) 2024-03-26

Family

ID=70282873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811224316.3A Active CN111079476B (zh) 2018-10-19 2018-10-19 驾驶状态分析方法和装置、驾驶员监控系统、车辆

Country Status (6)

Country Link
US (1) US11386679B2 (zh)
JP (1) JP2021516829A (zh)
KR (1) KR102469234B1 (zh)
CN (1) CN111079476B (zh)
SG (1) SG11202009420RA (zh)
WO (1) WO2020078465A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
US11423878B2 (en) * 2019-07-17 2022-08-23 Lg Electronics Inc. Intelligent voice recognizing method, apparatus, and intelligent computing device
JP7047821B2 (ja) * 2019-07-18 2022-04-05 トヨタ自動車株式会社 運転支援装置
JP7410681B2 (ja) * 2019-09-25 2024-01-10 株式会社Subaru 車両制御システム
TWI805925B (zh) * 2020-06-05 2023-06-21 財團法人車輛研究測試中心 駕駛者狀態監控器測試方法及其測試系統
CN111695510A (zh) * 2020-06-12 2020-09-22 浙江工业大学 一种基于图像的电脑操作员的疲劳检测方法
CN111950371B (zh) * 2020-07-10 2023-05-19 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN112070927A (zh) * 2020-08-28 2020-12-11 浙江省机电设计研究院有限公司 一种高速公路车辆微观驾驶行为分析系统与分析方法
CN114495069A (zh) * 2020-10-27 2022-05-13 中车株洲电力机车研究所有限公司 一种监测司机驾驶状态的方法及系统
CN112356839A (zh) * 2020-11-06 2021-02-12 广州小鹏自动驾驶科技有限公司 一种驾驶状态监测方法、系统及汽车
CN112754498B (zh) * 2021-01-11 2023-05-26 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
FR3119145B1 (fr) * 2021-01-22 2023-10-27 Renault Sas Procédé de détermination d’un niveau de distraction d’un conducteur de véhicule
CN115082978A (zh) * 2021-03-10 2022-09-20 佳能株式会社 面部姿态的检测装置、方法、图像处理系统及存储介质
CN113436413A (zh) * 2021-05-25 2021-09-24 东风电驱动系统有限公司 一种疲劳驾驶预警系统及方法
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、系统及相关设备
CN113298041B (zh) * 2021-06-21 2024-07-02 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN113536967B (zh) * 2021-06-25 2023-05-30 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113558621B (zh) * 2021-07-23 2023-08-01 福州数据技术研究院有限公司 一种驾驶员疲劳检测与提醒的方法和系统
CN113537115A (zh) * 2021-07-26 2021-10-22 东软睿驰汽车技术（沈阳）有限公司 驾驶员的驾驶状态获取方法、装置及电子设备
US12122392B2 (en) 2021-08-24 2024-10-22 Nvidia Corporation Context-based state estimation
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
CN113642522B (zh) * 2021-09-01 2022-02-08 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
CN115100634A (zh) * 2021-10-19 2022-09-23 长城汽车股份有限公司 驾驶员分心检测方法、装置、电子设备、存储介质和车辆
CN113795069B (zh) * 2021-11-18 2022-02-11 深圳市奥新科技有限公司 一种隧道照明控制方法及隧道照明系统
US12340615B2 (en) * 2021-12-07 2025-06-24 Htc Corporation Method of tracking input sign for extended reality and system using the same
EP4432232A4 (en) * 2021-12-13 2025-01-01 Shenzhen Yinwang Intelligent Technologies Co., Ltd. METHOD AND DEVICE FOR DETECTING A DRIVER STATUS AND STORAGE MEDIUM
CN114179831B (zh) * 2021-12-29 2023-02-17 吉林大学 一种基于驾驶员分心判断的人机转向切换控制方法
CN114701503A (zh) * 2021-12-31 2022-07-05 天津五八驾考信息技术有限公司 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质
CN114463727B (zh) * 2022-01-11 2025-07-25 上海工程技术大学 一种地铁驾驶员行为识别方法
CN114373280A (zh) * 2022-01-20 2022-04-19 一汽解放汽车有限公司 驾驶行为监测系统及监测方法
US12322207B2 (en) * 2022-03-08 2025-06-03 China University Of Petroleum-Beijing Method and device for identifying unsafe behavior of drilling operator
CN114954488B (zh) * 2022-06-27 2025-08-08 联合汽车电子有限公司 驾驶状态识别方法和系统
CN115320611A (zh) * 2022-08-09 2022-11-11 长春富晟汽车电子有限公司 基于驾驶员头部信息预测驾驶员状态和意图的方法和系统
CN115601731A (zh) * 2022-09-15 2023-01-13 浪潮卓数大数据产业发展有限公司（Cn） 一种针对用户的驾驶状态识别方法、设备及介质
CN115675280A (zh) * 2022-09-23 2023-02-03 奇瑞汽车股份有限公司 一种用于高速路口的汽车安全驾驶监控方法及装置
CN115311819B (zh) * 2022-10-10 2023-01-20 南京智慧交通信息股份有限公司 一种智慧公交智能车载实时告警系统及其方法
CN115565160A (zh) * 2022-10-17 2023-01-03 嘉兴恒创电力集团有限公司佳创综合服务分公司 一种基于人脸特征的疲劳驾驶检测方法及装置
JP7626742B2 (ja) * 2022-12-12 2025-02-04 矢崎総業株式会社 眠気検出装置及び眠気検出用のプログラム
EP4674694A1 (en) * 2023-03-01 2026-01-07 Nissan Motor Co., Ltd. Interior part control device and interior part control method
CN116311181B (zh) * 2023-03-21 2023-09-12 重庆利龙中宝智能技术有限公司 一种异常驾驶的快速检测方法及系统
CN116469085B (zh) * 2023-03-30 2024-04-02 万联易达物流科技有限公司 一种风险驾驶行为的监控方法及系统
CN116749988A (zh) * 2023-06-20 2023-09-15 中国第一汽车股份有限公司 一种驾驶员疲劳预警方法、装置、电子设备及存储介质
WO2025037348A1 (en) * 2023-08-17 2025-02-20 Tvs Motor Company Limited A system for monitoring a user in a vehicle and a method thereof
WO2025076361A1 (en) * 2023-10-06 2025-04-10 Tesseract Health, Inc. Systems, apparatus, articles of manufacture, and methods for gaze angle triggered fundus imaging
CN119763076B (zh) * 2024-11-26 2025-11-25 重庆邮电大学 一种基于机器学习和混合特征的疲劳检测方法
CN119636754A (zh) * 2024-12-06 2025-03-18 奇瑞新能源汽车股份有限公司 驾驶员行为监测的方法、装置及存储介质
CN120477782B (zh) * 2025-05-16 2026-02-03 肇庆学院 一种基于驾驶员认知状态监测的分心预警方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
CN102930693A (zh) * 2012-11-06 2013-02-13 深圳市艾大机器人有限公司 安全驾驶预警系统及方法
CN104085396A (zh) * 2014-07-03 2014-10-08 上海纵目科技有限公司 一种全景车道偏离预警方法及系统
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN108022451A (zh) * 2017-12-06 2018-05-11 驾玉科技（上海）有限公司 一种基于云端的驾驶员状态预警上报及分发系统
CN108021875A (zh) * 2017-11-27 2018-05-11 上海灵至科技有限公司 一种车辆驾驶员个性化疲劳监测及预警方法
JP2018133007A (ja) * 2017-02-16 2018-08-23 いすゞ自動車株式会社 警報装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1750236B1 (de) * 2005-08-02 2008-01-23 Delphi Technologies, Inc. Verfahren zur Steuerung eines Fahrerassistenzsystems und dazugehörige Vorrichtung
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP2009012608A (ja) * 2007-07-04 2009-01-22 Denso Corp 車両用照明装置
EP2564765B1 (en) 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
JP6210287B2 (ja) * 2012-11-16 2017-10-11 豊田合成株式会社 運転者用警告装置
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP6235425B2 (ja) * 2014-07-07 2017-11-22 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
CN105574487A (zh) 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
FR3048544B1 (fr) 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US10948911B2 (en) * 2017-10-31 2021-03-16 Denso International America, Inc. Co-pilot
CN108437999B (zh) 2018-03-20 2020-07-28 中国计量大学 一种注意力辅助系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
CN102930693A (zh) * 2012-11-06 2013-02-13 深圳市艾大机器人有限公司 安全驾驶预警系统及方法
CN104085396A (zh) * 2014-07-03 2014-10-08 上海纵目科技有限公司 一种全景车道偏离预警方法及系统
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
JP2018133007A (ja) * 2017-02-16 2018-08-23 いすゞ自動車株式会社 警報装置
CN108021875A (zh) * 2017-11-27 2018-05-11 上海灵至科技有限公司 一种车辆驾驶员个性化疲劳监测及预警方法
CN108022451A (zh) * 2017-12-06 2018-05-11 驾玉科技（上海）有限公司 一种基于云端的驾驶员状态预警上报及分发系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Real Time Driver Fatigue System Based On Eye Gaze Detection;Shraddha Thummar , Vaishali Kalariya;《International Journal of Engineering Research and General Science 》;第3卷(第1期);第105-110页 *
Driver state monitoring to mitigate distraction;Fletcher, L. et al.;《Australasian College of Road Safety》;第487-523页 *
基于多源信息融合的驾驶员分心监测研究;廖源;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;C035-342 *

Also Published As

Publication number Publication date
WO2020078465A1 (zh) 2020-04-23
US20210004619A1 (en) 2021-01-07
CN111079476A (zh) 2020-04-28
JP2021516829A (ja) 2021-07-08
KR20200131883A (ko) 2020-11-24
KR102469234B1 (ko) 2022-11-18
US11386679B2 (en) 2022-07-12
SG11202009420RA (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN111079476B (zh) 驾驶状态分析方法和装置、驾驶员监控系统、车辆
JP7146959B2 (ja) 運転状態検出方法及び装置、運転者監視システム並びに車両
KR102391279B1 (ko) 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
US20240362931A1 (en) Systems and methods for determining driver control over a vehicle
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
EP3617935A1 (en) Driving management method and system, vehicle-mounted intelligent system, electronic device and medium
WO2022144839A1 (en) Systems and methods for determining driver control over a vehicle
CN113056390A (zh) 情境驾驶员监控系统
CN101466305A (zh) 用于确定和分析视觉兴趣位置的方法与装置
JPWO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN111532280A (zh) 一种基于操作感知的车辆控制系统及方法
CN114529887A (zh) 一种驾驶行为分析方法及装置
Ujir et al. Real-time driver’s monitoring mobile application through head pose, drowsiness and angry detection
Mazumdar et al. Deep Learning Based Fatigue Detection for Driver Safety Enhancement
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant