[go: up one dir, main page]

CN108537160A - 基于微表情的风险识别方法、装置、设备及介质 - Google Patents

基于微表情的风险识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN108537160A
CN108537160A CN201810292475.0A CN201810292475A CN108537160A CN 108537160 A CN108537160 A CN 108537160A CN 201810292475 A CN201810292475 A CN 201810292475A CN 108537160 A CN108537160 A CN 108537160A
Authority
CN
China
Prior art keywords
expression recognition
test
standard
recognition result
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810292475.0A
Other languages
English (en)
Inventor
戴磊
张国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810292475.0A priority Critical patent/CN108537160A/zh
Priority to PCT/CN2018/094217 priority patent/WO2019184125A1/zh
Publication of CN108537160A publication Critical patent/CN108537160A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于微表情的风险识别方法、装置、设备及介质。该基于微表情的风险识别方法包括：获取待识别视频数据，待识别视频数据包括至少两帧待识别视频图像。将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；基于标准表情识别结果和测试表情识别结果，获取风险识别结果。该基于微表情的风险识别方法可有效解决目前风险控制的结果可信度不高，辅助效果不佳的问题。

Description

基于微表情的风险识别方法、装置、设备及介质
技术领域
本发明涉及人脸识别领域，尤其涉及一种基于微表情的风险识别方法、装置、设备及介质。
背景技术
在金融行业，每一笔贷款资金的发放均需进行风险管控(即风险控制)，以确定能否给贷款人发放贷款。金融行业的传统风险控制方法中的关键一步是信审人与贷款人面对面的交流，以确定贷款人在办理贷款过程提供的资料的准确性，从而确定其贷款风险。但是在面对面的交流过程中，信审人可能因为注意力不集中或者对人的面部表情了解不深，忽略贷款人面部的一些细微的表情变化，这些细微的表情变化可能反映贷款人交流时的心理活动(如说谎)，使得信审人出具的风险控制结果因忽略贷款人信审过程的微表情而导致可信度不高。
发明内容
本发明实施例提供一种基于微表情的风险识别方法、装置、设备及介质，以解决当前因忽略贷款人微表情变化而导致风险控制结果可信度不高问题。
第一方面，本发明实施例提供一种基于微表情的风险识别方法，包括：
获取待识别视频数据，所述待识别视频数据包括至少两帧待识别视频图像；
将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
基于所述标准表情识别结果和所述测试表情识别结果，获取风险识别结果。
第二方面，本发明实施例提供一种基于微表情的风险识别装置，包括：
待识别视频数据获取模块，用于获取待识别视频数据，所述待识别视频数据包括至少两帧待识别视频图像；
待识别视频数据划分模块，用于将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
标准表情识别结果获取模块，用于将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
测试表情识别结果获取模块，用于将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
风险识别结果获取模块，用于基于所述标准表情识别结果和所述测试表情识别结果，获取风险识别结果。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于微表情的风险识别方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述基于微表情的风险识别方法的步骤。
本发明实施例提供的一种基于微表情的风险识别方法、装置、设备及介质。通过获取待识别视频数据，待识别视频数据包括至少两帧待识别视频图像，以便将至少两帧待识别视频图像划分成等比例的基本问题特征集和敏感问题特征集，以便后续对识别结果进行统计时，计算方便。然后，将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果，将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果，以提高风险识别的准确率，使得辅助效果更佳。最后，基于标准表情识别结果和测试表情识别结果，获取风险识别结果，以达到基于微表情的风险识别的目的，有效辅助信审人对贷款人进行风险控制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1中提供的基于微表情的风险识别方法的一流程图。
图2是图1中步骤S10的一具体示意图。
图3是图1中步骤S30的一具体示意图。
图4是图1中步骤S40的一具体示意图。
图5是图1中步骤S50的一具体示意图。
图6是本发明实施例2中提供的基于微表情的风险识别装置的一原理框图。
图7是本发明实施例4中提供的计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1示出本实施例中基于微表情的风险识别方法的流程图。该基于微表情的风险识别方法可应用在银行、证券、保险等金融机构上，能够有效辅助信审人对贷款人进行风险控制，从而确定能否给该贷款人发放贷款。如图1所示，该基于微表情的风险识别方法包括如下步骤：
S10：获取待识别视频数据，待识别视频数据包括至少两帧待识别视频图像。
其中，待识别视频数据是指对原始视频数据进行预处理后获取到的视频数据。其中，原始视频数据是用于记录贷款人在信审过程中的未经处理的视频数据。待识别视频数据是由至少两帧待识别视频图像组成的视频数据。
本实施例中，由于后续在对待识别视频数据进行识别之前，需要针对目标客户所回复的视频数据(即原始视频数据)进行划分，因此，该待识别视频数据包括至少两帧待识别视频图像，以便判断每一帧待识别视频图像中的人脸的微表情特征，以确定用户是否在说谎，以便进行风险管控。
S20：将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集。
其中，基本问题特征集是指基于目标客户的一些个人信息所设置的基本问题的集合，例如身份证号、亲人手机号和家庭住址等。敏感问题特征集是用于判定目标客户是否存在风险的基本问题的集合，例如贷款用途、个人收入和偿还意愿等。
具体地，基本问题特征集和敏感问题特征集的划分是依据该问题是否存在标准答案的条件进行划分。以银行为例，若目标客户在银行、证券、保险等金融机构预存储了一些个人信息(如身份证号、亲人手机号和家庭住址等)，则基于这些预先存储有标准答案的个人信息所提出的问题进行回复所对应的待识别视频图像的集合作为基本问题特征集。而对于目标客户没有在银行、证券、保险等金融机构预存储的信息，则认为该部分信息没有标准答案，将基于该部分信息所提出的问题进行回复所对应的待识别视频图像的集合作为敏感问题特征集。
本实施例中，基本问题特征集包含至少一个帧待识别视频图像；敏感问题特征集包含至少一帧待识别视频图像，以便后续基于基本问题特征集的识别结果和敏感问题特征集的识别结果进行判断，从而达到风险控制的目的，提高风险识别的准确性，并且基本问题特征集中的视频帧数量与敏感问题特征集中的视频帧数量相同，以使后续对识别结果进行统计时，计算方便。
S30：将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果。
其中，微表情识别模型是预先训练好的用于获取目标客户微表情特征的模型。标准表情识别结果是采用微表情识别模型对基本问题特征集中的每一帧待识别视频图像进行识别所获取到的识别结果。具体地，将基本问题特征集中的每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，以获取每个微表情识别模型输出的对应的标准表情识别结果，该标准表情识别结果在一定程度上反映目标客户说真话时的微表情，可以作为判断目标客户在回复敏感问题时是否说真话的评价依据。本实施例中，将基本问题特征集中的每一帧待识别视频图像输入到至少两个微表情识别模型进行识别，以获取对应的标准表情识别结果，以提高风险识别的准确率，使得辅助效果更佳。
S40：将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果。
其中，测试表情识别结果是采用微表情识别模型对敏感问题特征集中的每一帧待识别视频图像进行识别所获取到的识别结果。具体地，将敏感问题特征集中的每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，以获取每个微表情识别模型输出的对应的测试表情识别结果。该测试表情识别结果在一定程度上反映目标客户在回复敏感问题时说真话或说假话的微表情。本实施例中，将敏感问题特征集中每一帧待识别视频图像输入到至少两个微表情识别模型进行识别，以获取对应的测试表情识别结果，提高风险识别的准确率，使得辅助效果更佳。
S50：基于标准表情识别结果和测试表情识别结果，获取风险识别结果。
具体地，将基本问题特征集每一帧待识别视频图像对应的标准表情识别结果进行汇总作为基准数据。然后，将敏感问题特征集中的每一帧待识别视频图像对应的测试表情识别结果进行汇总作为测试数据，将基准数据与测试数据进行比对，若测试数据相对于基准数据差异的倍数与预设阈值进行比对，以获取风险等级，进而获取风险识别结果。
本实施例中，通过获取待识别视频数据，待识别视频数据包括至少两帧待识别视频图像，以便将至少两帧待识别视频图像划分成等比例的基本问题特征集和敏感问题特征集，以便后续对识别结果进行统计时，计算方便。然后，将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果，以提高风险识别的准确率，使得辅助效果更佳。最后，基于标准表情识别结果和测试表情识别结果，获取风险识别结果，以达到基于微表情的风险识别的目的，有效辅助信审人对贷款人进行风险控制。
在一具体实施方式中，如图2所示，步骤S10中，即获取待识别视频数据,具体包括如下步骤：
S11：获取原始视频数据。
其中，原始视频数据是用于记录贷款人在信审过程中的未经处理的视频数据。具体地，信审人可与目标客户(即贷款人)进行视频聊天，在视频聊天过程中基于预先设置的问题对目标客户进行提问，以获取目标客户回复问题的视频数据即原始视频数据。
S12：对原始视频数据进行分帧和归一化处理，获取待识别视频数据。
具体地，分帧处理是指按照预设时间对原始视频数据进行划分，以获取至少一帧的待识别视频图像。其中，归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。例如本实施例中的原始视频数据中，需要有目标客户的面部区域，才能提取目标客户的微表情特征，因此需要将分帧后的待识别视频图像的像素归一化到260*260像素，统一像素，以便后续对每一帧待识别视频图像进行识别。
本实施例中，通过视频聊天的方式对目标客户进行提问，以获取目标客户回复的视频数据即原始视频数据，以使信审过程智能化，无需信审人与目标客户进行面对面交流，以节省人工成本。然后，对原始视频数据分帧和归一化处理，统一每一帧待识别视频图像的像素，以便后续对每一帧待识别视频图像进行识别，提高风险识别的准确率。
在一具体实施方式中，步骤S30中的微表情识别模型包括人脸检测模型、特征点检测模型、情绪检测模型、头部姿态检测模型、眨眼检测模型和虹膜边缘检测模型中的至少两个。
其中，人脸检测模型是用来提取每一帧待识别视频图像的人脸图片的模型。特征点检测模型是用来识别每一帧待识别视频图像中的人脸特征点的模型。头部姿态检测模型是用来识别每一帧待识别视频图像中目标客户的头部偏移方向的模型。眨眼检测模型是用来识别每一帧待识别视频图像中的目标客户是否眨眼的模型。虹膜边缘检测模型时用来反映每一帧待识别视频图像中的目标用户的眼动情况的模型。本实施例中，通过将基本问题特征集和敏感为题特征集分别输入到人脸检测模型、特征点检测模型、情绪检测模型、头部姿态检测模型、眨眼检测模型和虹膜边缘检测模型这七个模型中进行识别，以获取目标客户的标准表情识别结果和测试表情识别结果，并基于标准表情识别结果和测试表情识别结果实现基于微表情的风险识别的目的。
在一具体实施方式中，如图3所示，步骤S30中，即将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果，具体包括如下步骤：
S31：将基本问题特征集中每一帧待识别视频图像输入到人脸检测模型进行识别，获取标准人脸图片。
其中，标准人脸图片是将基本问题特征集输入到人脸检测模型进行识别所得到的人脸图片。具体地，将基本问题特征集中每一帧待识别视频图像输入到人脸检测模型中，检测每一帧待识别视频图像中的人脸位置，进而提取人脸图片即标准人脸图片，为后续模型的输入提供技术支持。
S32：将标准人脸图片输入到特征点检测模型进行识别，获取标准人脸特征点。
其中，标准人脸特征点是将标准人脸图片输入到特征点检测模型进行识别所得到的特征坐标点。该人脸特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征点。具体地，将标准人脸图片输入到特征点检测模型进行识别，特征点检测模型会得出上述五个特征点的坐标位置，为后续虹膜边缘检测模型的输入提供技术支持。
S33：将标准人脸图片输入到情绪检测模型进行识别，获取第一标准表情识别结果。
其中，第一标准表情识别结果是将标准人脸图片输入到情绪检测模型进行识别所获取的对应的情绪识别结果。该情绪检测模型能够输出该标准人脸图片对应的七种情绪的概率值。这七种情绪包括平静、生气、厌恶、恐惧、高兴、难过和惊讶。具体地，将标准人脸图片输入到情绪检测模型进行识别，获取到该标准人脸图片对应的七种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该标准人脸图片对应的情绪即为第一标准表情识别结果，为后续基于该第一标准表情识别结果进行风险控制提供技术支持。
S34：将标准人脸图片输入到头部姿态模型进行识别，获取第二标准表情识别结果。
其中，第二标准表情识别结果是将标准人脸图片输入到头部姿态模型进行识别所获取的头部偏移方向的概率值。头部偏移方向以上、下、左、右、前和后这六个方向来表示。具体地，将标准人脸图片输入到头部姿态模型进行识别，以获取头部偏移方向的概率值，若该头部角度偏向某一方向的概率值超过对应的预设阈值，则确定当前人脸向对应方向偏移。本实施例中，通过得出目标客户的头部姿态能够很好的反映目标客户的眼睛视线方向或注意力方向，例如当询问一个问题时，目标客户的头部突然做出了一个突兀的移动(如突然撤回或突然倾斜等)，那么可能他是在说谎。因此，通过得出目标客户的头部姿态，为后续进行风险控制提供技术支持，提高风险控制的准确率。
S35：将标准人脸图片输入到眨眼检测模型进行识别，获取第三标准表情识别结果。
其中，第三标准表情识别结果是将标准人脸图片输入到虹膜边缘检测模型进行识别所获取到的反映眼动情况的识别结果。具体地，将标准人脸图片输入到眨眼检测模型进行识别，眨眼检测模型会输出0(眨眼)或1(未眨眼)，以代表该帧待识别视频图像中目标用户是否眨眼。通过后续统计眨眼次数能够反映目标客户的当前的心理活动(如紧张)，为后续对目标客户做出风险评估做辅助，进一步提高风险控制的准确率。
S36：将标准人脸特征点输入到虹膜边缘检测模型进行识别，获取第四标准表情识别结果。
其中，第四标准表情识别结果是将标准人脸特征点输入到虹膜边缘检测模型进行识别所获取到的用来反映眼动情况的识别结果。具体地，将标准人脸特征点输入到虹膜边缘检测模型进行识别之前，先基于人脸特征点中的人眼坐标点，裁剪出眼睛区域，然后采用虹膜边缘检测模型对该眼睛区域进行检测，以获取虹膜边缘位置，则基于虹膜边缘点位置所形成的闭合区域的中心即为眼睛中心的准确位置，追踪眼睛中心位置相对于眼眶位置(通过特征点检测模型得到一眼球中心坐标点所对应的眼眶位置)的变化，即可得到眼动变化的情况，通过得到的眼动情况能够很好的反映为后续进行风险控制提供技术支持。
其中，标准表情识别结果包括第一标准表情识别结果、第二标准表情识别结果、第三标准表情识别结果和第四标准表情识别结果。
本实施例中，先将基本问题特征集中的每一帧待识别视频图像输入到人脸检测模型进行识别，获取标准人脸图片，以去除其他因素干扰，提高风险识别的准确率。然后，将标准人脸图片输入到特征点检测模型进行识别，获取人脸的五个特征点即标准人脸特征点，以便将标准人脸特征点输入到虹膜边缘检测模型进行识别，获取目标客户的眼动情况(即第四标准表情识别结果)，基于该眼动情况能够很好地为后续进行风险控制提供技术支持。将标准人脸图片输入到情绪检测模型进行识别，以获取目标客户对应的某种情绪的概率值(即第一标准表情识别结果)，为后续基于该第一标准表情识别结果进行风险控制提供技术支持。将标准人脸图片输入到头部姿态模型进行识别，以获取头部姿态的偏移方向(即第二标准表情识别结果)，基于目标客户的头部姿态能够很好的反映目标客户的眼睛视线方向或注意力方向的变化，为后续进行风险控制提供技术支持，提高风险控制的准确率。将标准人脸图片输入到眨眼检测模型进行识别，以获取目标客户在对应的眨眼情况(即第三标准表情识别结果)，以便后续统计眨眼次数能够反映目标客户的当前的心理活动(如紧张)，为后续对目标客户做出风险评估做辅助，进一步提高风险控制的准确率。
在一具体实施方式中，如图4所示，步骤S40中，即将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果中，具体包括如下步骤：
S41：将敏感问题特征集中每一帧待识别视频图像输入到人脸检测模型进行识别，获取测试人脸图片。
其中，测试人脸图片是将敏感问题特征集输入到人脸检测模型进行识别所得到的人脸图片。具体地，将敏感问题特征集中每一帧待识别视频图像输入到人脸检测模型中，检测每一帧待识别视频图像中的人脸位置，进而提取人脸图片即测试人脸图片，为后续模型的输入提供技术支持。
S42：将测试人脸图片输入到特征点检测模型进行识别，获取测试人脸特征点。
其中，测试人脸特征点是将测试人脸图片输入到特征点检测模型进行识别所得到的特征坐标点。该测试人脸特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征点。具体地，将测试人脸图片输入到特征点检测模型进行识别，特征点检测模型会得出上述五个特征点的坐标位置，为后续虹膜边缘检测模型的输入提供技术支持。
S43：将测试人脸图片输入到情绪检测模型进行识别，获取第一测试表情识别结果。
其中，第一测试表情识别结果是将测试人脸图片输入到情绪检测模型进行识别所获取的对应的情绪识别结果。该情绪检测模型能够输出测试人脸图片对应的七种情绪的概率值。这七种情绪包括平静、生气、厌恶、恐惧、高兴、难过和惊讶。具体地，将测试人脸图片输入到情绪检测模型进行识别，获取到该测试人脸图片对应的七种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该测试人脸图片对应的情绪(即第一测试表情识别结果)，为后续基于该第一测试表情识别结果进行风险控制提供技术支持。
S44：将测试人脸图片输入到头部姿态模型进行识别，获取第二测试表情识别结果。
其中，第二测试表情识别结果是将测试人脸图片输入到头部姿态模型进行识别所获取的头部偏移方向的概率值。头部偏移方向以上、下、左、右、前和后这六个方向来表示。具体地，将测试人脸图片输入到头部姿态模型进行识别，以获取头部偏移方向的概率值，若该头部角度偏向某一方向的概率值超过对应的预设阈值，则确定当前人脸向对应方向偏移。本实施例中，通过得出目标客户的头部姿态能够很好的反映目标客户的眼睛视线方向或注意力方向，为后续进行风险控制提供技术支持，提高风险控制的准确率。
S45：将测试人脸图片输入到眨眼检测模型进行识别，获取第三测试表情识别结果。
其中，第三测试表情识别结果是将测试人脸图片输入到虹膜边缘检测模型进行识别所获取到的反映眼动情况的识别结果。具体地，将测试人脸图片输入到眨眼检测模型进行识别，眨眼检测模型会输出0(眨眼)或1(未眨眼)代表该帧待识别视频图像中目标用户是否眨眼。通过后续统计眨眼次数能够反映目标客户的当前的心理活动(如紧张)，为后续对目标客户做出风险评估做辅助，进一步提高风险控制的准确率。
S46：将测试人脸特征点输入到虹膜边缘检测模型进行识别，获取第四测试表情识别结果。
其中，第四测试表情识别结果是将测试人脸特征点输入到虹膜边缘检测模型进行识别所获取到的用来反映眼动情况的识别结果。具体地，将测试人脸特征点输入到虹膜边缘检测模型进行识别之前，先基于人脸特征点中的人眼坐标点，裁剪出眼睛区域，然后采用虹膜边缘检测模型对该眼睛区域进行检测，以获取虹膜边缘位置，则基于虹膜边缘点位置所形成的闭合区域的中心即为眼睛中心的准确位置，追踪眼睛中心位置相对于眼眶位置(通过特征点检测模型得到一眼球中心坐标点所对应的眼眶位置)的变化，即可得到眼动变化的情况，通过得到的眼动情况能够很好的反映为后续进行风险控制提供技术支持。
其中，测试表情识别结果包括第一测试表情识别结果、第二测试表情识别结果、第三测试表情识别结果和第四测试表情识别结果。
本实施例中，先将敏感问题特征集中的每一帧待识别视频图像输入到人脸检测模型进行识别，获取测试人脸图片，以去除其他因素干扰，提高风险识别的准确率。然后，将测试人脸图片输入到特征点检测模型进行识别，获取人脸的五个特征点即测试人脸特征点，以便将测试人脸特征点输入到虹膜边缘检测模型进行识别，获取目标客户的眼动情况(即第四测试表情识别结)果，基于该眼动情况能够很好的反映为后续进行风险控制提供技术支持。将测试人脸图片输入到情绪检测模型进行识别，以获取目标客户对应的某种情绪的概率值(即第一测试表情识别结果)，为后续基于该第一测试表情识别结果进行风险控制提供技术支持；将测试人脸图片输入到头部姿态模型进行识别，以获取头部姿态的偏移方向(即第二测试表情识别结果)，基于目标客户的头部姿态能够很好的反映目标客户的眼睛视线方向或注意力方向的变化，为后续进行风险控制提供技术支持，提高风险控制的准确率。将测试人脸图片输入到眨眼检测模型进行识别，以获取目标客户在对应的眨眼情况(即第三测试表情识别结果)，以便后续统计眨眼次数能够反映目标客户的当前的心理活动(如紧张)，为后续对目标客户做出风险评估做辅助，进一步提高风险控制的准确率。
在一具体实施方式中，步骤S30或步骤S40中，人脸检测模型采用CascadeCNN网络训练。
其中，CascadeCNN(人脸检测)是对经典的Violajones方法的深度卷积网络实现，是一种检测速度较快的人脸检测方法。Violajones是一种人脸检测框架。本实施例中，采用CascadeCNN方法对标注好人脸位置的图片进行训练，以获取人脸检测模型，提高了人脸检测模型的识别效率。
具体地，采用CascadeCNN方法对标注好人脸位置的图片进行训练的步骤如下：训练第一阶段，采用12-net网络扫描图像，并拒绝90％以上的窗口，将剩余窗口输入到12-calibration-net网络进行矫正，然后对采用非极大值抑制算法对矫正后的图像进行处理，以消除高度重叠窗口。其中，12-net是使用12×12的检测窗口，以步长为4，在W(宽)×H(高)的图片上滑动，得到检测窗口。非极大值抑制算法在目标检测和定位等领域是一种被广泛使用的方法，其算法原理的本质是搜索局部极大值并抑制非极大值元素。然后，利用上述的12-net网络对训练数据上作人脸检测，将训练数据中判为非人脸(即没有超过预设阈值的)的窗口作为负样本，将所有真实人脸(即超过预设阈值的)的窗口作为正样本，以获取对应的检测窗口。训练第二阶段，采用24-net和24-calibration-net网络对图像进行处理；其中，12-net和24-net是判断是否为人脸区的网络。12-calibration-net网络和24-calibration-net网络是矫正网络。最后，利用上述的24-net网络在训练数据上作人脸检测，将训练数据中判定为非人脸的窗口作为负样本，将所有真实人脸作为正样本。训练第三阶段，采用48-net和48-calibration-net网络对训练第二阶段输入的图像进行处理，以完成最后阶段的训练，以从待识别视频图像中获取对应的人脸图片。
具体地，矫正网络用于矫正人脸所在区域，得出人脸区域的坐标，其矫正的步骤如下：首先设定三个偏移变量：水平平移量(Xn)，垂直平移量(Yn)，宽高比缩放(Sn)。其中Xn设定3个值，Yn设定3个值，Sn设定5个值。根据对Xn，Yn，Sn的组合，一共能得出3x3x5＝45种组合。在数据集(训练数据)上将实际人脸区域，根据每一种组合矫正，基于每一种组合进行矫正后的边界框都有一个得分cn，对于得分高于某个设定的阈值(即t)时，将其累加进原边界，最后结果取平均，就是最佳边界框。若三个偏移变量如下：Sn∈(0.83,0.91,1.0,1.10,1.21)、Xn∈(-0.17,0,0.17)、Yn∈(-0.17,0,0.17)，同时对偏移向量三个参数进行矫正，具体矫正公式如下：
相应地，步骤S30或步骤S40中，特征点检测模型采用DCNN网络训练进行训练。
其中，DCNN(深度卷积神经网络)是一种深度卷积神经网络。本实施例中，采用标注好人脸特征(左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征)位置的图片对DCNN网络进行训练，以获取特征点检测模型。
具体地，网络的训练过程如下：先选定训练组，从训练数据中随机选取N个样本作为训练组，将权值和阈值设置为接近于0的随机值，并初始化学习率；然后，将训练组输入到DCNN网络中，得到网络的预测输出，并给出它的真实输出；采用公式(x′表示预测输出；x表示x′对应的真实输出；i表示第i个特征；L表示人脸框的长度)对预测输出和真实输出进行计算，获取输出误差，并基于该输出误差依次计算出各权值的调整量和阈值的调整量，并基于各权值的调整量和阈值的调整量分别调整DCNN模型中的权值和阈值。当经历M次迭代后，判断模型的准确率是否满足要求，如果不满足，则继续迭代；如果满足，则训练结束，获取特征点检测模型。
相应地，步骤S30或步骤S40中，情绪检测模型采用ResNet-80网络进行训练。
其中，ResNet-80网络是指使用残差网络思想的网络，共80层，可以理解为80层的残差网络。残差网络(ResNet)是一种深度卷积网络。本实施例中，采用80层的残差网络对标注好七种情绪的人脸图片进行训练，获取情绪检测模型，提高模型识别的准确率。七种情绪包括平静、生气、厌恶、恐惧、高兴、难过和惊讶。
具体地，采用80层的深度卷积网络对标注好七种情绪的人脸图片进行训练的训练步骤如下：先将标注好的7种情绪的人脸图片(原始训练数据),归一化为256*256像素。然后将人脸图片及其对应图片标签数据转化成统一格式(如“1”图片标签数据代表图片数据“生气”)，以获取目标训练数据，并随机打乱，以便进行模型训练，使得模型能够基于该训练数据学习情绪特征，提高模型识别的准确率。然后将目标训练数据输入网络，开始训练,通过梯度下降法，调整模型参数的值，经过多次迭代直至测试精度稳定在0.99左右时，停止训练，以获取情绪检测模型。其中，梯度下降算法的计算公式包括和其中，θj表示每次迭代得到的θ值；hθ(x)概率密度函数；xj表示第j次迭代的训练数据；x(i)表示正负样本；y(i)表示输出结果。梯度下降算法也称为最速下降算法，是对其进行多次迭代求导优化得到使代价函数J(θ)的值最小时的θ的值，即为所需的模型参数，基于此模型参数，获取情绪检测模型，梯度下降算法计算简单，容易实现。
相应地，步骤S30或步骤S40中，头部姿态检测模型采用10层的卷积神经网络进行训练。
其中，卷积神经网络(CNN)是一种多层神经网络，擅长处理图像尤其是大图像的相关机器学习问题。CNN的基本结构包括两层，卷积层和池化层。
本实施例中，由于神经网络的层数越多，计算时间越长，头部姿态区别度较高，采用10层卷积神经网络能够实现在较短时间内达到训练精度要求。采用10层卷积神经网络对umdface数据库中的数据进行训练，以获取头部姿态检测模型，大大缩短了头部姿态模型的训练时间，提高模型识别的效率。其中，umdface数据库是一种包含不同人的人脸信息(如人脸框和人脸姿势)的图像数据库。
具体地，采用10层的卷积神经网络进行训练的训练过程如下：采用公式对训练数据进行卷积运算(即特征提取)。其中，*代表卷积；xj代表第j个输入特征图；yj代表第j个输出特征图；wij是第i个输入特征图与第j个输出特征图之间的卷积核(权重)；bj代表第j个输出特征图的偏置项。然后采用最大池化下采样对卷积后的特征图进行下采样操作以实现对特征图的降维，其计算公式为
其中，yj表示下采样过程中的第i个输出谱(即下采样后的特征图)，下采样过程中的每一个神经元是从第i个输入谱(卷积后的特征图)中采用S*S的下采样框局部采样得到的；m与n分别表示下采样框移动的步长。
相应地，步骤S30或步骤S40中，眨眼检测模型采用逻辑回归模型进行训练。
其中，逻辑回归(Logistic Regression，LR)模型是机器学习中的一种分类模型。本实施例中，采用预先标注好眨眼和未眨眼的眼睛区域图片作为训练数据对逻辑回归模型进行训练。具体地，逻辑回归模型假设为hθ(x)＝g(θmx)，其中g(θmx)为逻辑函数，即某个数据属于某一类别(二分类问题)的概率。具体选用Sigmoid(S型生长曲线)函数作为逻辑函数，Sigmoid函数是一个在生物学中常见的S型的函数，在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。Sigmoid函数的函数公式为其中将Sigmoid函数公式代入逻辑回归假设模型得到，上述公式即进一步地，逻辑回归模型的代价函数为将Cost(hθ(x),y)代入代价函数得到上述公式，即由于逻辑回归模型是二分类模型，假设取正类的概率为p，那么对一个输入，观察p/(1-p)就可以得出它更可能属于正类还是负类，Sigmoid函数可以很好的反映出逻辑回归模型的这种特点，因此使得逻辑回归模型训练的效率高。
相应地，步骤S30或步骤S40中，虹膜边缘检测模型采用随机森林算法进行训练。
其中，随机森林是是利用多棵树对样本(即训练数据)进行训练并预测的一种分类器。本实施例中，采用预设颜色标注虹膜区域的单眼图片作为训练数据。具体地，随机森林的实现步骤如下：随机在图片上选取一个像素，再与其很接近的周围像素点不断扩散，然后进行像素点对比，由于预先用预设颜色标注虹膜，因此虹膜区域的颜色与其区域的颜色是截然不同的，因此，只要找到一个区域的最外围与其他周边一个相对较大的区域(例如20个像素)的颜色都不同，则认为是虹膜边缘。
具体地，人的眼睛结构由巩膜、虹膜、瞳孔晶状体和视网膜等部分组成。虹膜是位于黑色瞳孔晶状体和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹和隐窝等的细节特征。本实施例中，通过随机森林算法对训练数据进行训练，以获取虹膜边缘检测模型，为后续基于该虹膜边缘检测模型检测到虹膜边缘的位置，进而获取眼动变化提供技术支持。
本实施例中，通过采用CascadeCNN网络训练对标注好人脸位置的图片进行训练，以获取人脸检测模型，提高了人脸检测模型的识别效率。采用标注好人脸特征(左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征)位置的图片对深度卷积神经网络进行训练，以获取特征点检测模型，提高特征点检测模型识别的准确率。采用80层的残差网络对标注好七种情绪的人脸图片进行训练，获取情绪检测模型，提高情绪检测模型识别的准确率。采用10层卷积神经网络对umdface数据库中的数据进行训练，以获取头部姿态检测模型，大大缩短了头部姿态模型的训练时间，提高模型识别的效率。采用逻辑回归模型对预先标注的眼睛区域图片进行训练，以获取眨眼检测模型，能够很好地反映二分类问题(即是否眨眼)，提高了模型识别的准确率。采用随机森林算法对预设颜色标注虹膜区域的单眼图片进行训练，以获取虹膜边缘检测模型，实现简单，提高了模型的训练效率。
在一具体实施方式中，每一帧待识别视频图像对应的标准表情识别结果对应至少一个标准情绪指标。每一帧待识别视频图像对应的测试表情识别结果对应至少一个测试情绪指标。
其中，标准情绪指标包括标准正面情绪和标准负面情绪。标准正面情绪是基本问题特征集中所呈现出的积极的情绪，如高兴或者嘴角上扬。标准负面情绪是基本问题特征集中所呈现出的负面的情绪，如愤怒或者皱眉。测试情绪指标包括测试正面情绪和测试负面情绪。测试正面情绪是基本问题特征集中所呈现出的积极的情绪，如高兴或者嘴角上扬。测试负面情绪是基本问题特征集中所呈现出的负面的情绪，如愤怒或者皱眉。
在一具体实施方式中，每一帧待识别视频图像对应的标准表情识别结果对应至少一个标准情绪指标；每一帧待识别视频图像对应的测试表情识别结果对应至少一个测试情绪指标；如图5所示，步骤S50中，即基于标准表情识别结果和测试表情识别结果，获取风险识别结果，具体包括如下步骤：
S51：基于所有的标准情绪识别结果，确定每一种标准情绪指标的出现次数为第一频次。
具体地，对基本问题特征集中的每一帧待识别视频图像的标准情绪指标进行统计，获取基本问题特征集对应的标准表情识别结果中，标准正面情绪或标准负面情绪的出现次数作为第一频次。本实施例中，统计基本问题特征集中的每一帧待识别视频图像的标准情绪指标，确定每一种标准情绪指标的出现次数为第一频次，为后续进行风险识别提供技术支持。
S52：基于所有的测试情绪识别结果，确定每一种测试情绪指标的出现次数为第二频次。
具体地，对敏感问题特征集中的每一帧待识别视频图像的测试情绪指标进行统计，获取敏感问题特征集对应的测试表情识别结果中，测试正面情绪或测试负面情绪的出现次数作为第二频次。本实施例中，统计基本问题特征集中的每一帧待识别视频图像的测试情绪指标，确定每一种测试情绪指标的出现次数为第二频次，为后续进行风险识别提供技术支持。
S53：基于第一频次和第二频次，获取风险识别结果。
具体地，采用公式对第一频次和第二频次的差异倍数进行计算，以获取正面情绪的差异倍数或者负面情绪的差异倍数。其中，t1表示第一频次(标准正面情绪指标出现的频次或者标准负面情绪指标出现的频次)；t2表示第二频次(测试正面情绪指标出现的频次或者测试负面情绪指标出现的频次)。若需要获取负面情绪的差异倍数时，将测试负面情绪指标与标准负面情绪指标相除即可获取其对应的差异倍数，以便将差异倍数与第一阈值进行比较，若差异倍数超过第一阈值，则认定为有风险，以获取风险识别结果。或者，若需要获取正面情绪的差异倍数时，将测试正面情绪指标与标准正面情绪相除即可获取其对应的差异倍数，以便将差异倍数与第二阈值进行比较，若差异倍数超过第二阈值，则认定为有风险，以获取风险识别结果。本实施例中，第一阈值设为3倍，第二阈值设为2倍。
进一步地，获取风险识别结果还包括如下方式：通过统计基本问题特征集的各项基准数据与敏感问题特征集的各项测试数据，进行一一比对，以获取风险识别结果。具体地，基准数据是基本问题特征集对应的指标数据，其包括眨眼、AU、情绪和头部姿态等。测试数据是敏感问题特征集对应的指标数据，其包括眨眼、AU、情绪和头部姿态等。最后，统计每一基本指标出现的次数与每一测试指标出现的次数进行比较，若出现异常指标超过预设阈值(如第一阈值或第二阈值)，则认定为风险用户。
本实施例中，通过视频聊天的方式对目标客户进行提问，以获取目标客户回复的视频数据即原始视频数据，以使信审过程智能化，节省人工成本，然后，对原始视频数据分帧和归一化处理，统一每一帧待识别视频图像的像素，以便后续对每一帧待识别视频图像进行识别，提高风险识别的准确率。然后，将至少两帧待识别视频图像划分成等比例的基本问题特征集和敏感问题特征集，以便后续对识别结果进行统计时，计算方便。将将基本问题特征集中的每一帧待识别视频图像输入到人脸检测模型进行识别，获取标准人脸图片，以去除其他因素干扰，提高风险识别的准确率。然后，将标准人脸图片输入到特征点检测模型进行识别，获取人脸的五个特征点(即标准人脸特征点)，以便将标准人脸特征点输入到虹膜边缘检测模型进行识别，获取目标客户的眼动情况(即第四标准表情识别结果)，以便通过得到的眼动情况为后续进行风险控制提供技术支持。将标准人脸图片输入到情绪检测模型进行识别，以获取目标客户对应的某种情绪的概率值(即第一标准表情识别结果)，为后续基于该第一标准表情识别结果进行风险控制提供技术支持。将标准人脸图片输入到头部姿态模型进行识别，以获取头部的偏移方向(即第二标准表情识别结果)，通过得出目标客户的头部姿态能够很好的反映目标客户的眼睛视线方向或注意力方向，为后续进行风险控制提供技术支持，提高风险控制的准确率。将标准人脸图片输入到眨眼检测模型进行识别，以获取目标客户在对应的眨眼情况(即第三标准表情识别结果)，通过后续统计眨眼次数能够反映目标客户的当前的心理活动(如紧张)，为后续对目标客户做出风险评估做辅助，进一步提高风险控制的准确率。最后，基于标准表情识别结果确定每一种标准情绪指标的出现次数为第一频次；基于所有的测试情绪识别结果，确定每一种测试情绪指标的出现次数为第二频次，通过计算第一频次和第二频次的差异倍数，通过将差异数据与第一阈值或第二阈值进行比较，获取风险识别结果，以达到基于微表情的风险识别的目的，有效辅助信审人对贷款人进行风险控制。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2
图6示出与实施例1中基于微表情的风险识别方法一一对应的基于微表情的风险识别装置的原理框图。如图6所示，该基于微表情的风险识别装置包括待识别视频数据获取模块10、待识别视频数据划分模块20、标准表情识别结果获取模块30、测试表情识别结果获取模块40和风险识别结果获取模块50。其中，待识别视频数据获取模块10、待识别视频数据划分模块20、标准表情识别结果获取模块30、测试表情识别结果获取模块40和风险识别结果获取模块50的实现功能与实施例1中基于微表情的风险识别方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
待识别视频数据获取模块10，用于获取待识别视频数据，待识别视频数据包括至少两帧待识别视频图像。
待识别视频数据划分模块20，用于将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集。
标准表情识别结果获取模块30，用于将基本问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果。
测试表情识别结果获取模块40，用于将敏感问题特征集中每一帧待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果。
风险识别结果获取模块50，用于基于标准表情识别结果和测试表情识别结果，获取风险识别结果。
优选地，待识别视频数据获取模块10包括原始视频数据获取单元11和待识别视频数据获取单元12。
原始视频数据获取单元11，用于获取原始视频数据。
待识别视频数据获取单元12，对原始视频数据进行分帧和归一化处理，获取待识别视频数据。
优选地，标准表情识别结果获取模块30包括标准人脸图片获取单元31、标准人脸特征点获取单元32、第一标准表情识别结果获取单元33、第二标准表情识别结果获取单元34、第三标准表情识别结果获取单元35和第四标准表情识别结果获取单元36。
标准人脸图片获取单元31，用于将基本问题特征集中每一帧待识别视频图像输入到人脸检测模型进行识别，获取标准人脸图片。
标准人脸特征点获取单元32，用于将标准人脸图片输入到特征点检测模型进行识别，获取标准人脸特征点。
第一标准表情识别结果获取单元33，用于将标准人脸图片输入到情绪检测模型进行识别，获取第一标准表情识别结果。
第二标准表情识别结果获取单元34，用于将标准人脸图片输入到头部姿态模型进行识别，获取第二标准表情识别结果。
第三标准表情识别结果获取单元35，用于将标准人脸图片输入到虹膜边缘检测模型进行识别，获取第三标准表情识别结果。
第四标准表情识别结果获取单元36，用于将标准人脸特征点输入到眨眼检测模型进行识别，获取第四标准表情识别结果。
优选地，测试表情识别结果获取模块40包括测试人脸图片获取单元41测试人脸特征点获取单元42、第一测试表情识别结果获取单元43、第二测试表情识别结果获取单元44、第三测试表情识别结果获取单元45和第四测试表情识别结果获取单元46。
测试人脸图片获取单元41，用于将敏感问题特征集中每一帧待识别视频图像输入到人脸检测模型进行识别，获取测试人脸图片。
测试人脸特征点获取单元42，用于将测试人脸图片输入到特征点检测模型进行识别，获取测试人脸特征点。
第一测试表情识别结果获取单元43，用于将测试人脸图片输入到情绪检测模型进行识别，获取第一测试表情识别结果。
第二测试表情识别结果获取单元44，用于将测试人脸图片输入到头部姿态模型进行识别，获取第二测试表情识别结果。
第三测试表情识别结果获取单元45，用于将测试人脸图片输入到虹膜边缘检测模型进行识别，获取第三测试表情识别结果。
第四测试表情识别结果获取单元46，用于将测试人脸特征点输入到眨眼检测模型进行识别，获取第四测试表情识别结果。
每一帧待识别视频图像对应的标准表情识别结果对应至少一个标准情绪指标。每一帧待识别视频图像对应的测试表情识别结果对应至少一个测试情绪指标。
优选地，风险识别结果获取模块50包括第一频次获取单元51、第二频次获取单元52和风险识别结果获取单元53。
第一频次获取单元51，基于所有的标准情绪识别结果，确定每一种标准情绪指标的出现次数为第一频次。
第二频次获取单元52，用于基于所有的测试情绪识别结果，确定每一种测试情绪指标的出现次数为第二频次。
风险识别结果获取单元53，基于第一频次和第二频次，获取风险识别结果。
实施例3
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中基于微表情的风险识别方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例2中基于微表情的风险识别装置中各模块/单元的功能，为避免重复，这里不再赘述。
实施例4
图7是本发明一实施例提供的计算机设备的示意图。如图7所示，该实施例的计算机设备70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73。处理器71执行计算机程序73时实现上述各个基于微表情的风险识别方法实施例中的步骤，例如图1所示的步骤S10至S50。或者，处理器81执行计算机程序73时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块10至50的功能。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于微表情的风险识别方法，其特征在于，包括：
获取待识别视频数据，所述待识别视频数据包括至少两帧待识别视频图像；
将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
基于所述标准表情识别结果和所述测试表情识别结果，获取风险识别结果。
2.如权利要求1所述的基于微表情的风险识别方法，其特征在于，所述获取待识别视频数据，包括：
获取原始视频数据；
对所述原始视频数据进行分帧和归一化处理，获取所述待识别视频数据。
3.如权利要求1所述的基于微表情的风险识别方法，其特征在于，所述微表情识别模型包括人脸检测模型、特征点检测模型、情绪检测模型、头部姿态检测模型、眨眼检测模型和虹膜边缘检测模型。
4.如权利要求1所述的基于微表情的风险识别方法，其特征在于，所述将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果，包括：
将所述基本问题特征集中每一帧所述待识别视频图像输入到所述人脸检测模型进行识别，获取标准人脸图片；
将所述标准人脸图片输入到所述特征点检测模型进行识别，获取标准人脸特征点；
将所述标准人脸图片输入到所述情绪检测模型进行识别，获取第一标准表情识别结果；
将所述标准人脸图片输入到所述头部姿态模型进行识别，获取第二标准表情识别结果；
将所述标准人脸图片输入到所述眨眼检测模型进行识别，获取第三标准表情识别结果；
将所述标准人脸特征点输入到所述虹膜边缘检测模型进行识别，获取第四标准表情识别结果；
其中，所述标准表情识别结果包括所述第一标准表情识别结果、所述第二标准表情识别结果、所述第三标准表情识别结果和所述第四标准表情识别结果。
5.如权利要求1所述的基于微表情的风险识别方法，其特征在于，所述将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果，包括：
将所述敏感问题特征集中每一帧所述待识别视频图像输入到所述人脸检测模型进行识别，获取测试人脸图片；
将所述测试人脸图片输入到所述特征点检测模型进行识别，获取测试人脸特征点；
将所述测试人脸图片输入到所述情绪检测模型进行识别，获取第一测试表情识别结果；
将所述测试人脸图片输入到所述头部姿态模型进行识别，获取第二测试表情识别结果；
将所述测试人脸图片输入到所述眨眼检测模型进行识别，获取第三测试表情识别结果；
将所述测试人脸特征点输入到所述虹膜边缘检测模型进行识别，获取第四测试表情识别结果；
其中，所述测试表情识别结果包括所述第一测试表情识别结果、所述第二测试表情识别结果、所述第三测试表情识别结果和所述第四测试表情识别结果。
6.如权利要求3-5中的任一项所述的基于微表情的风险识别方法，其特征在于，所述人脸检测模型具体为采用CascadeCNN网络训练得到的人脸检测模型；
所述特征点检测模型采用DCNN网络训练进行训练；
所述情绪检测模型采用ResNet-80网络进行训练；
所述头部姿态检测模型采用10层的卷积神经网络进行训练；
所述眨眼检测模型采用逻辑回归模型进行训练；
所述虹膜边缘检测模型采用随机森林算法进行训练。
7.如权利要求1所述的基于微表情的风险识别方法，其特征在于，每一帧所述待识别视频图像对应的所述标准表情识别结果对应至少一个标准情绪指标；
每一帧所述待识别视频图像对应的所述测试表情识别结果对应至少一个测试情绪指标；
所述基于所述标准表情识别结果和所述测试表情识别结果，获取风险识别结果，包括：
基于所有的所述标准情绪识别结果，确定每一种所述标准情绪指标的出现次数为第一频次；
基于所有的所述测试情绪识别结果，确定每一种所述测试情绪指标的出现次数为第二频次；
基于所述第一频次和所述第二频次，获取风险识别结果。
8.一种基于微表情的风险识别装置，其特征在于，包括：
待识别视频数据获取模块，用于获取待识别视频数据，所述待识别视频数据包括至少两帧待识别视频图像；
待识别视频数据划分模块，用于将至少两帧待识别视频图像划分成基本问题特征集和敏感问题特征集；
标准表情识别结果获取模块，用于将所述基本问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的标准表情识别结果；
测试表情识别结果获取模块，用于将所述敏感问题特征集中每一帧所述待识别视频图像输入到预先训练好的至少两个微表情识别模型进行识别，获取对应的测试表情识别结果；
风险识别结果获取模块，用于基于所述标准表情识别结果和所述测试表情识别结果，获取风险识别结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于微表情的风险识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于微表情的风险识别方法的步骤。
CN201810292475.0A 2018-03-30 2018-03-30 基于微表情的风险识别方法、装置、设备及介质 Pending CN108537160A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810292475.0A CN108537160A (zh) 2018-03-30 2018-03-30 基于微表情的风险识别方法、装置、设备及介质
PCT/CN2018/094217 WO2019184125A1 (zh) 2018-03-30 2018-07-03 基于微表情的风险识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810292475.0A CN108537160A (zh) 2018-03-30 2018-03-30 基于微表情的风险识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN108537160A true CN108537160A (zh) 2018-09-14

Family

ID=63482484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810292475.0A Pending CN108537160A (zh) 2018-03-30 2018-03-30 基于微表情的风险识别方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN108537160A (zh)
WO (1) WO2019184125A1 (zh)

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461073A (zh) * 2018-12-14 2019-03-12 深圳壹账通智能科技有限公司 智能识别的风险管理方法、装置、计算机设备及存储介质
CN109472269A (zh) * 2018-10-17 2019-03-15 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN109472206A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 基于微表情的风险评估方法、装置、设备及介质
CN109509087A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 智能化的贷款审核方法、装置、设备及介质
CN109509088A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 基于微表情识别的贷款审核方法、装置、设备及介质
CN109584051A (zh) * 2018-12-18 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的客户逾期风险判断方法及装置
CN109584050A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的用户风险程度分析方法及装置
CN109635838A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN109697665A (zh) * 2018-12-15 2019-04-30 深圳壹账通智能科技有限公司 基于人工智能的贷款审核方法、装置、设备及介质
CN109711297A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 基于面部图片的风险识别方法、装置、计算机设备及存储介质
CN109711982A (zh) * 2019-01-04 2019-05-03 深圳壹账通智能科技有限公司 面核提问方法、装置、计算机设备和可读存储介质
CN109754312A (zh) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109766917A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 面试视频数据处理方法、装置、计算机设备和存储介质
CN109766419A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于语音分析的产品推荐方法、装置、设备及存储介质
CN109767290A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109767317A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于会员等级评定的贷款审核方法、装置、设备及介质
CN109766461A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于微表情的照片管理方法、装置、计算机设备及介质
CN109784170A (zh) * 2018-12-13 2019-05-21 平安科技（深圳）有限公司 基于图像识别的车险定损方法、装置、设备及存储介质
CN109784185A (zh) * 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的客户餐饮评价自动获取方法及装置
CN109800703A (zh) * 2019-01-17 2019-05-24 深圳壹账通智能科技有限公司 基于微表情的风险审核方法、装置、计算机设备及存储介质
CN109793526A (zh) * 2018-12-18 2019-05-24 深圳壹账通智能科技有限公司 测谎方法、装置、计算机设备和存储介质
CN109831665A (zh) * 2019-01-16 2019-05-31 深圳壹账通智能科技有限公司 一种视频质检方法、系统及终端设备
CN109858405A (zh) * 2019-01-17 2019-06-07 深圳壹账通智能科技有限公司 基于微表情的满意度评价方法、装置、设备及存储介质
CN109886111A (zh) * 2019-01-17 2019-06-14 深圳壹账通智能科技有限公司 基于微表情的比赛监控方法、装置、计算机设备及存储介质
CN109919426A (zh) * 2019-01-24 2019-06-21 平安科技（深圳）有限公司 稽核访谈测谎方法、服务器及计算机可读存储介质
CN109992505A (zh) * 2019-03-15 2019-07-09 平安科技（深圳）有限公司 应用程序测试方法、装置、计算机设备及存储介质
CN110427881A (zh) * 2019-08-01 2019-11-08 东南大学 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
CN110490424A (zh) * 2019-07-23 2019-11-22 阿里巴巴集团控股有限公司 一种基于卷积神经网络的进行风险评估的方法和装置
CN110889332A (zh) * 2019-10-30 2020-03-17 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于面试中微表情的说谎检测方法
CN111241887A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质
WO2020124710A1 (zh) * 2018-12-18 2020-06-25 深圳壹账通智能科技有限公司 安检辅助分析方法、装置、计算机设备和存储介质
CN111339940A (zh) * 2020-02-26 2020-06-26 中国工商银行股份有限公司 视频风险识别方法及装置
CN111540440A (zh) * 2020-04-23 2020-08-14 深圳市镜象科技有限公司 基于人工智能的心理体检方法、装置、设备和介质
CN111597301A (zh) * 2020-04-24 2020-08-28 北京百度网讯科技有限公司 文本预测方法、装置以及电子设备
CN111767779A (zh) * 2020-03-18 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112084992A (zh) * 2020-09-18 2020-12-15 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112183946A (zh) * 2020-09-07 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 多媒体内容评估方法、装置及其训练方法
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
CN112614583A (zh) * 2020-11-25 2021-04-06 平安医疗健康管理股份有限公司 抑郁等级测试系统
WO2021069989A1 (en) * 2019-10-06 2021-04-15 International Business Machines Corporation Filtering group messages
CN112699774A (zh) * 2020-12-28 2021-04-23 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN113158978A (zh) * 2021-05-14 2021-07-23 无锡锡商银行股份有限公司 一种微表情识别在视频审核中的风险预警方法
CN113243918A (zh) * 2021-06-11 2021-08-13 深圳般若计算机系统股份有限公司 基于多模态隐匿信息测试的风险检测方法及装置
CN113673460A (zh) * 2021-08-26 2021-11-19 青岛熙正数字科技有限公司 用于虹膜识别的方法及装置、终端设备、存储介质
CN110097004B (zh) * 2019-04-30 2022-03-29 北京字节跳动网络技术有限公司 面部表情识别方法和装置
CN114677733A (zh) * 2022-03-25 2022-06-28 中国工商银行股份有限公司 信息预警方法、系统、装置、终端设备、介质及程序产品
CN115526888A (zh) * 2022-11-17 2022-12-27 博奥生物集团有限公司 眼图数据识别方法、装置、存储介质及电子设备
CN115670465A (zh) * 2022-09-27 2023-02-03 上汽通用五菱汽车股份有限公司 车辆动静态用户体验评价方法、装置、电子设备及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781810B (zh) * 2019-10-24 2024-02-27 合肥盛东信息科技有限公司 一种人脸情绪识别方法
CN111062074B (zh) * 2019-12-11 2023-04-07 同济大学 建筑空间品质虚拟模拟及智能评价方法
CN111274447A (zh) * 2020-01-13 2020-06-12 深圳壹账通智能科技有限公司 基于视频的目标表情生成方法、装置、介质、电子设备
CN111860154B (zh) * 2020-06-12 2024-05-28 歌尔股份有限公司 一种基于视觉的额头检测方法、装置和电子设备
CN111783620B (zh) * 2020-06-29 2024-09-17 江苏博鳌源科技有限公司 表情识别方法、装置、设备及存储介质
CN111950449B (zh) * 2020-08-11 2024-02-13 合肥工业大学 基于走路姿态的情绪识别方法
CN112329663B (zh) * 2020-11-10 2023-04-07 西南大学 一种基于人脸图像序列的微表情时刻检测方法及装置
CN112487904A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 一种基于大数据分析的视频图像处理方法及系统
CN112381036B (zh) * 2020-11-26 2024-10-15 厦门大学 一种应用于刑侦的微表情与宏表情片段识别方法
CN112417414B (zh) * 2020-12-04 2024-09-06 支付宝(杭州)信息技术有限公司 一种基于属性脱敏的隐私保护方法、装置以及设备
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113191196A (zh) * 2021-04-01 2021-07-30 北京睿芯高通量科技有限公司 一种新型智能安防系统中的轨迹分析方法及系统
CN113276827A (zh) * 2021-05-26 2021-08-20 朱芮叶 电动汽车能源回收系统控制方法、系统以及汽车
CN113313048B (zh) * 2021-06-11 2024-04-09 北京百度网讯科技有限公司 脸部表情识别方法和装置
CN113901915B (zh) * 2021-10-08 2024-04-02 无锡锡商银行股份有限公司 一种轻量网络与MagFace在视频中的表情检测方法
CN113822229A (zh) * 2021-10-28 2021-12-21 重庆科炬企业孵化器有限公司 一种面向表情识别的用户体验评价建模方法及装置
CN114170647A (zh) * 2021-11-05 2022-03-11 合肥湛达智能科技有限公司 一种嵌入式轻量化的表情识别方法
CN114202785A (zh) * 2021-11-11 2022-03-18 中国银行股份有限公司 转账风险检测方法及装置、存储介质及电子设备
CN114287938B (zh) * 2021-12-13 2024-02-13 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN114973362A (zh) * 2022-05-20 2022-08-30 厦门大学 一种应用于社交机器人的动态延长编码微表情识别方法
CN115100710A (zh) * 2022-06-24 2022-09-23 中国银行股份有限公司 一种服务的评价方法、装置、存储介质及设备
CN115500826A (zh) * 2022-09-15 2022-12-23 北京理工大学 一种基于视频图像的非接触式冲动攻击行为预测方法
CN116824280B (zh) * 2023-08-30 2023-11-24 安徽爱学堂教育科技有限公司 基于微表情变化的心理预警方法
CN118506429B (zh) * 2024-07-16 2024-10-15 天津理工大学 一种基于视觉的面向智能教室的学生行为智能分类系统
CN119649430B (zh) * 2024-11-26 2025-10-17 平安科技（深圳）有限公司 基于微表情的情绪识别方法、装置、设备及介质
CN120477780B (zh) * 2025-07-15 2025-09-19 四川大学华西医院 一种基于动态三维人脸的抑郁倾向检测方法及设备
CN120805118B (zh) * 2025-09-11 2025-12-05 长城信息股份有限公司 一种基于边缘计算的实时风险管控方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN107480622A (zh) * 2017-08-07 2017-12-15 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103617B (zh) * 2009-12-22 2013-02-27 华为终端有限公司 获取表情含义的方法和装置
CN103258204B (zh) * 2012-02-21 2016-12-14 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN104820495B (zh) * 2015-04-29 2019-06-21 姜振宇 一种异常微表情识别与提醒方法及装置
US10515393B2 (en) * 2016-06-30 2019-12-24 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN107480622A (zh) * 2017-08-07 2017-12-15 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472206A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 基于微表情的风险评估方法、装置、设备及介质
CN109472206B (zh) * 2018-10-11 2023-07-07 平安科技（深圳）有限公司 基于微表情的风险评估方法、装置、设备及介质
CN109472269A (zh) * 2018-10-17 2019-03-15 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN109635838B (zh) * 2018-11-12 2023-07-11 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN109635838A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN111241887A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质
CN111241887B (zh) * 2018-11-29 2024-04-16 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质
CN109784170A (zh) * 2018-12-13 2019-05-21 平安科技（深圳）有限公司 基于图像识别的车险定损方法、装置、设备及存储介质
CN109711297A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 基于面部图片的风险识别方法、装置、计算机设备及存储介质
CN109584050A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的用户风险程度分析方法及装置
CN109461073A (zh) * 2018-12-14 2019-03-12 深圳壹账通智能科技有限公司 智能识别的风险管理方法、装置、计算机设备及存储介质
JP7078803B2 (ja) 2018-12-14 2022-05-31 ワン・コネクト・スマート・テクノロジー・カンパニー・リミテッド・（シェンチェン） 顔写真に基づくリスク認識方法、装置、コンピュータ設備および記憶媒体
WO2020119450A1 (zh) * 2018-12-14 2020-06-18 深圳壹账通智能科技有限公司 基于面部图片的风险识别方法、装置、计算机设备及存储介质
CN109766419A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于语音分析的产品推荐方法、装置、设备及存储介质
JP2022501729A (ja) * 2018-12-14 2022-01-06 ワン・コネクト・スマート・テクノロジー・カンパニー・リミテッド・（シェンチェン） 顔写真に基づくリスク認識方法、装置、コンピュータ設備および記憶媒体
CN109509087A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 智能化的贷款审核方法、装置、设备及介质
CN109767317A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于会员等级评定的贷款审核方法、装置、设备及介质
CN109766461A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于微表情的照片管理方法、装置、计算机设备及介质
CN109697665A (zh) * 2018-12-15 2019-04-30 深圳壹账通智能科技有限公司 基于人工智能的贷款审核方法、装置、设备及介质
CN109509088A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 基于微表情识别的贷款审核方法、装置、设备及介质
CN109584051A (zh) * 2018-12-18 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的客户逾期风险判断方法及装置
WO2020124710A1 (zh) * 2018-12-18 2020-06-25 深圳壹账通智能科技有限公司 安检辅助分析方法、装置、计算机设备和存储介质
CN109754312A (zh) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109793526B (zh) * 2018-12-18 2022-08-02 深圳壹账通智能科技有限公司 测谎方法、装置、计算机设备和存储介质
CN109793526A (zh) * 2018-12-18 2019-05-24 深圳壹账通智能科技有限公司 测谎方法、装置、计算机设备和存储介质
CN109784185A (zh) * 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的客户餐饮评价自动获取方法及装置
CN109767290A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109766917A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 面试视频数据处理方法、装置、计算机设备和存储介质
CN109711982A (zh) * 2019-01-04 2019-05-03 深圳壹账通智能科技有限公司 面核提问方法、装置、计算机设备和可读存储介质
CN109831665B (zh) * 2019-01-16 2022-07-08 深圳壹账通智能科技有限公司 一种视频质检方法、系统及终端设备
CN109831665A (zh) * 2019-01-16 2019-05-31 深圳壹账通智能科技有限公司 一种视频质检方法、系统及终端设备
CN109800703A (zh) * 2019-01-17 2019-05-24 深圳壹账通智能科技有限公司 基于微表情的风险审核方法、装置、计算机设备及存储介质
CN109886111A (zh) * 2019-01-17 2019-06-14 深圳壹账通智能科技有限公司 基于微表情的比赛监控方法、装置、计算机设备及存储介质
CN109858405A (zh) * 2019-01-17 2019-06-07 深圳壹账通智能科技有限公司 基于微表情的满意度评价方法、装置、设备及存储介质
CN109919426A (zh) * 2019-01-24 2019-06-21 平安科技（深圳）有限公司 稽核访谈测谎方法、服务器及计算机可读存储介质
CN109992505A (zh) * 2019-03-15 2019-07-09 平安科技（深圳）有限公司 应用程序测试方法、装置、计算机设备及存储介质
CN110097004B (zh) * 2019-04-30 2022-03-29 北京字节跳动网络技术有限公司 面部表情识别方法和装置
CN110490424A (zh) * 2019-07-23 2019-11-22 阿里巴巴集团控股有限公司 一种基于卷积神经网络的进行风险评估的方法和装置
CN110427881B (zh) * 2019-08-01 2021-11-26 东南大学 基于人脸局部区域特征学习的跨库微表情识别方法及装置
CN110427881A (zh) * 2019-08-01 2019-11-08 东南大学 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
WO2021069989A1 (en) * 2019-10-06 2021-04-15 International Business Machines Corporation Filtering group messages
US11843569B2 (en) 2019-10-06 2023-12-12 International Business Machines Corporation Filtering group messages
GB2604772A (en) * 2019-10-06 2022-09-14 Ibm Filtering group messages
US11552914B2 (en) 2019-10-06 2023-01-10 International Business Machines Corporation Filtering group messages
CN110889332A (zh) * 2019-10-30 2020-03-17 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于面试中微表情的说谎检测方法
CN111339940A (zh) * 2020-02-26 2020-06-26 中国工商银行股份有限公司 视频风险识别方法及装置
CN111339940B (zh) * 2020-02-26 2023-07-21 中国工商银行股份有限公司 视频风险识别方法及装置
CN111767779B (zh) * 2020-03-18 2024-10-22 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111767779A (zh) * 2020-03-18 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111540440B (zh) * 2020-04-23 2021-01-15 深圳市镜象科技有限公司 基于人工智能的心理体检方法、装置、设备和介质
CN111540440A (zh) * 2020-04-23 2020-08-14 深圳市镜象科技有限公司 基于人工智能的心理体检方法、装置、设备和介质
CN111597301A (zh) * 2020-04-24 2020-08-28 北京百度网讯科技有限公司 文本预测方法、装置以及电子设备
CN112183946A (zh) * 2020-09-07 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 多媒体内容评估方法、装置及其训练方法
CN112084992A (zh) * 2020-09-18 2020-12-15 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112084992B (zh) * 2020-09-18 2021-04-13 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112614583A (zh) * 2020-11-25 2021-04-06 平安医疗健康管理股份有限公司 抑郁等级测试系统
CN112699774B (zh) * 2020-12-28 2024-05-24 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN112699774A (zh) * 2020-12-28 2021-04-23 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN113158978A (zh) * 2021-05-14 2021-07-23 无锡锡商银行股份有限公司 一种微表情识别在视频审核中的风险预警方法
CN113158978B (zh) * 2021-05-14 2022-04-08 无锡锡商银行股份有限公司 一种微表情识别在视频审核中的风险预警方法
CN113243918A (zh) * 2021-06-11 2021-08-13 深圳般若计算机系统股份有限公司 基于多模态隐匿信息测试的风险检测方法及装置
CN113673460A (zh) * 2021-08-26 2021-11-19 青岛熙正数字科技有限公司 用于虹膜识别的方法及装置、终端设备、存储介质
CN114677733A (zh) * 2022-03-25 2022-06-28 中国工商银行股份有限公司 信息预警方法、系统、装置、终端设备、介质及程序产品
CN115670465A (zh) * 2022-09-27 2023-02-03 上汽通用五菱汽车股份有限公司 车辆动静态用户体验评价方法、装置、电子设备及介质
CN115526888A (zh) * 2022-11-17 2022-12-27 博奥生物集团有限公司 眼图数据识别方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2019184125A1 (zh) 2019-10-03

Similar Documents

Publication Publication Date Title
CN108537160A (zh) 基于微表情的风险识别方法、装置、设备及介质
US10574883B2 (en) System and method for guiding a user to take a selfie
Zahara et al. The facial emotion recognition (FER-2013) dataset for prediction system of micro-expressions face using the convolutional neural network (CNN) algorithm based Raspberry Pi
CN110634116B (zh) 一种面部图像评分方法及摄像机
WO2020119450A1 (zh) 基于面部图片的风险识别方法、装置、计算机设备及存储介质
CN111461218B (zh) 糖网病眼底图像的样本数据标注系统
CN110889332A (zh) 一种基于面试中微表情的说谎检测方法
WO2021196721A1 (zh) 一种舱内环境的调整方法及装置
CN114140844A (zh) 人脸静默活体检测方法、装置、电子设备及存储介质
CN118609061A (zh) 基于ai识别的安检设备控制方法、装置、设备及存储介质
CN116894978B (zh) 一种融合面部情绪与行为多特征的线上考试防作弊系统
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
Singh et al. Unveiling explainability in face anti-spoofing: Hybrid feature extraction with XAI-guided feature aggregation
Kim et al. Segmentation method of eye region based on fuzzy logic system for classifying open and closed eyes
CN110929570A (zh) 虹膜快速定位装置及其定位方法
CN119763245A (zh) 风险账户的处理方法及装置、电子设备和存储介质
CN117079326A (zh) 表情图像的数据处理方法、装置和服务器
CN116311468A (zh) 一种人脸活体检测方法、装置、电子设备及存储介质
Jotanovic et al. Eye detection model for assessing the working capacities of employees
Bar et al. A Deep Learning-Based Approach for Students' Involvement Assessment in an E-Learning Platform
CN117994838B (zh) 基于增量深度子空间网络的实时微表情识别方法及装置
CN113408406B (zh) 一种视线追踪方法及系统
Kumar et al. A Hyper-Graph Embedded Bandlet-Based Facial Emotion Monitoring System for Enhanced Urban Health
Lee et al. Design of identity recognition and liveness detection system for mobile phones
Dhaded et al. Mishathi-A Smart Vision System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914

RJ01 Rejection of invention patent application after publication