[go: up one dir, main page]

CN111985265A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN111985265A
CN111985265A CN201910421550.3A CN201910421550A CN111985265A CN 111985265 A CN111985265 A CN 111985265A CN 201910421550 A CN201910421550 A CN 201910421550A CN 111985265 A CN111985265 A CN 111985265A
Authority
CN
China
Prior art keywords
face
key point
coordinates
image
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910421550.3A
Other languages
English (en)
Other versions
CN111985265B (zh
Inventor
杨赟
李松江
遇冰
冯柏岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910421550.3A priority Critical patent/CN111985265B/zh
Priority to EP20808836.9A priority patent/EP3965003B1/en
Priority to PCT/CN2020/086304 priority patent/WO2020233333A1/zh
Publication of CN111985265A publication Critical patent/CN111985265A/zh
Priority to US17/530,688 priority patent/US12136210B2/en
Application granted granted Critical
Publication of CN111985265B publication Critical patent/CN111985265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法和装置。本申请的图像处理方法，包括：获取人脸图像；根据人脸图像分别获取左脸图像和右脸图像；将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本申请实施例可以提升人脸关键点定位的精度。

Description

图像处理方法和装置
技术领域
本申请实施例涉及图像处理技术，尤其涉及一种图像处理方法和装置。
背景技术
随着科技的发展，近年来关于人脸的相关应用层出不穷，例如，人脸识别、三维人脸重建、活体检测、人脸美颜以及情感估计等。各种人脸相关的应用的基础是人脸关键点检测。人脸关键点检测(也可以称之为人脸对齐)指的是输入一张人脸图像，通过计算机视觉算法得到预先定义的关键点坐标，比如眼角、嘴角、鼻尖、脸部轮廓等，即对该人脸图像进行处理以预测出眼睛，鼻子，嘴巴等一些关键点的位置。
从人脸图像得到关键点坐标可以使用各式各样的算法，例如，基于回归的方法、基于神经网络的方法等。其中，通过卷积神经网络实现上述过程得到广泛应用。
然而，在实际场景中，所获取的人脸图像中大多数是姿态幅度很大或者有一定程度的遮挡，通过卷积神经网络对该人脸姿态较大或有一定遮挡的人脸图像进行人脸关键点检测存在不准确的问题，即无法准确确定人脸关键点的坐标。
发明内容
本申请实施例提供一种图像处理方法和装置，以提升人脸关键点定位的精度。
第一方面，本申请实施例提供一种图像处理方法，该方法可以包括：获取人脸图像；根据人脸图像分别获取左脸图像和右脸图像，左脸图像和右脸图像的尺寸与人脸图像的尺寸相同；将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
本实现方式，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，半脸定位精度高，并且其可以利用人脸的结构化特征，提升人脸关键点的定位精度。
在一种可能的设计中，具有关键点信息的左脸图像和具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，不同姿态信息的人脸图像具有对应的关键点信息，不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
本实现方式中，由于第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型是使用不同姿态信息的人脸图像对关键点卷积神经网络模型进行训练后获取的，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，有效地提升人脸关键点定位的精度。
在一种可能的设计中，根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一左脸关键点的坐标确定第一仿射变换矩阵；根据第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；根据矫正后的第一左脸关键点的坐标和第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；根据第二左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
本实现方式中，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，根据第一目标关键点卷积神经网络模型的输出结果对左脸图像进行矫正，利用第三目标关键点卷积神经网络模型对矫正后的左脸图像进行处理，可以提升左脸关键点的定位精度，进而提升人脸关键点定位的精度。
在一种可能的设计中，根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一右脸关键点的坐标确定第二仿射变换矩阵；根据第二仿射变换矩阵和右脸图像获取矫正后的右脸图像；将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据第二右脸关键点的坐标和第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
本实现方式中，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，根据第二目标关键点卷积神经网络模型的输出结果对右脸图像进行矫正，利用第四目标关键点卷积神经网络模型对矫正后的右脸图像进行处理，可以提升右脸关键点的定位精度，进而提升人脸关键点定位的精度。
一种可能的设计中，根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；根据第一仿射变换矩阵和左脸图像获取矫正后的左脸图像，根据第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据矫正后的第一左脸关键点的坐标和第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标，根据矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据第二左脸关键点的坐标和第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
本实现方式，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，根据第一目标关键点卷积神经网络模型的输出结果对左脸图像进行矫正，利用第三目标关键点卷积神经网络模型对矫正后的左脸图像进行处理，可以提升左脸关键点的定位精度，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，根据第二目标关键点卷积神经网络模型的输出结果对右脸图像进行矫正，利用第四目标关键点卷积神经网络模型对矫正后的右脸图像进行处理，可以提升右脸关键点的定位精度，进而提升人脸关键点定位的精度，从而提升人脸关键点定位的精度。
在一种可能的设计中，该方法还可以包括：基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，训练样本包括具有关键点信息的人脸图像；从s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；使用训练数据对两个关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型；其中，s为大于等于3的任意整数。
本实现方式，训练数据的选取可以提升模型的收敛速度，提升模型的训练速度，基于姿态信息的训练数据的选取使得训练数据可以平衡各个角度的人脸对于模型优化的影响，提升人脸关键点的定位精度。例如，可以提升对偏转角度大的人脸图像的关键点的定位精度。
在一种可能的设计中，获取人脸图像，可以包括：通过终端的拍照功能或拍摄功能采集待处理图像；在所述待处理图像中截取所述人脸图像。
在一种可能的设计中，该方法还可以包括：根据所述人脸关键点的坐标确定驾驶员行为，根据所述驾驶员行为确定是否发出告警信号。
在一种可能的设计中，该方法还可以包括：根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，在图像预览界面显示调整后的待处理图像；所述美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。
在一种可能的设计中，在显示调整后的待处理图像之前，该方法还可以包括：根据人脸关键点的坐标和所述人脸图像，获取关键点人脸图像，所述关键点人脸图像中标记有所述人脸关键点；在图像预览界面显示关键点人脸图像；接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点；根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，可以包括：根据所述调整后的人脸关键点和美颜效果参数对所述待处理图像进行调整。
在一种可能的设计中，该方法还可以包括：根据人脸关键点的坐标进行人脸识别。
在一种可能的设计中，根据所述人脸关键点的坐标进行人脸识别，可以包括：根据所述人脸关键点的坐标对所述人脸图像进行特征提取，获取人脸图像特征；将所述人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。
第二方面，本申请实施例提供一种图像处理方法，该方法可以包括：根据不同姿态信息的人脸图像获取具有关键点信息的左脸图像和具有关键点信息的右脸图像，所述不同姿态信息的人脸图像具有对应的关键点信息；使用所述具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型，所述第一目标关键点卷积神经网络模型用于对输入的左脸图像进行处理，输出左脸关键点的坐标；使用所述具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练，获取第二目标关键点卷积神经网络模型，所述第二目标关键点卷积神经网络模型用于对输入的右脸图像进行处理，输出右脸关键点的坐标；其中，所述姿态信息用于反映人脸的偏转角度。
在一种可能的设计中，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
在一种可能的设计中，该方法还可以包括：基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为所述不同姿态信息的人脸图像；其中，s为大于等于3的任意整数。
第三方面，提供了一种图像处理装置，该装置可以是终端设备，也可以是终端设备内的芯片。该装置具有实现上述各实施例涉及终端设备的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。
在一种可能的设计中，当该装置为终端设备时，该装置可以包括：获取模块和处理模块，所述获取模块和处理模块例如可以是处理器，所述获取模块可以与收发模块连接，该收发模块例如可以是收发器，所述收发器可以包括射频电路和基带电路。
可选地，所述装置还可以包括存储单元，该存储单元例如可以是存储器。当该装置包括存储单元时，该存储单元用于存储计算机执行指令，该获取模块和处理模块与该存储单元连接，该获取模块和处理模块执行该存储单元存储的计算机执行指令，以使该终端设备执行上述涉及终端设备功能的图像处理方法。
在另一种可能的设计中，当该装置为终端设备内的芯片时，该芯片包括：处理模块和收发模块，所述处理模块例如可以是处理器，所述收发模块例如可以是该芯片上的输入/输出接口、管脚或电路等。可选的，该装置还可以包括存储单元，该处理模块可执行存储单元存储的计算机执行指令，以使该终端设备内的芯片执行上述任一方面涉及终端设备功能的图像处理方法。
可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是终端设备内的位于所述芯片外部的存储单元，如只读存储器(read-onlymemory，简称ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，简称RAM)等。
其中，上述任一处提到的处理器，可以是一个通用中央处理器(CentralProcessing Unit，简称CPU)，微处理器，特定应用集成电路(application-specificintegrated circuit，简称ASIC)，或一个或多个用于控制上述各方面图像处理方法的程序执行的集成电路。
第四方面，本申请提供一种图像处理装置，该装置可以是训练设备，也可以是训练设备内的芯片。该装置具有实现上述各方面涉及训练设备的各实施例的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。
在一种可能的设计中，当该装置为训练设备时，该装置可以包括：处理模块和收发模块，所述处理模块例如可以是处理器，所述收发模块例如可以是收发器，所述收发器包括射频电路，可选地，所述装置还包括存储单元，该存储单元例如可以是存储器。当装置包括存储单元时，该存储单元用于存储计算机执行指令，该处理模块与该存储单元连接，该处理模块执行该存储单元存储的计算机执行指令，以使该装置执行上述任意一方面涉及训练设备的图像处理方法。
在另一种可能的设计中，当该装置为训练设备内的芯片时，该芯片包括：处理模块和收发模块，所述处理模块例如可以是处理器，所述收发模块例如可以是该芯片上的输入/输出接口、管脚或电路等。该处理模块可执行存储单元存储的计算机执行指令，以使该接入点内的芯片执行上述各方面涉及训练设备的图像处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述训练设备内的位于所述芯片外部的存储单元，如ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM等。
其中，上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述图像处理方法的程序执行的集成电路。
第五方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码用于指示执行上述第一方面至第二方面中的任一方面或其任意可能的实现方式中的方法的指令。
第六方面，提供了一种处理器，用于与存储器耦合，用于执行上述第一方面至第二方面中的任一方面或其任意可能的实现方式中的方法。
第七方面，提供了一种包含指令的计算机程序产品，其在计算机上运行时，使得计算机执行上述第一方面至第二方面中的任一方面或其任意可能的实现方式中的方法。
本申请实施例图像处理方法和装置，通过获取人脸图像，将所述人脸图像输入至目标关键点卷积神经网络模型，输出人脸关键点的坐标，其中，所述目标关键点卷积神经网络模型为使用不同姿态信息的人脸图像对关键点卷积神经网络模型进行训练后获取的，所述姿态信息用于反映人脸的偏转角度，从而可以提升人脸关键点定位的精度。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。
图1为本申请实施例的人脸关键点的示意图；
图2为本申请实施例的二维和三维人脸关键点的示意图；
图3A为本申请实施例的图像处理方法的一种网络架构的示意图；
图3B为本申请实施例的图像处理方法的另一种网络架构的示意图；
图4A为本申请实施例的图像处理方法的训练数据构建流程的示意图；
图4B为本申请实施例的图像处理方法的训练数据构建的示意图；
图5A为本申请实施例的未使用GPA算法对训练样本进行处理的人脸关键点的分布示意图；
图5B为本申请实施例的图像处理方法中使用GPA算法后的人脸关键点的分布示意图；
图6为本申请实施例的图像处理方式的训练样本集合的分布示意图；
图7A为本申请实施例的关键点卷积神经网络模型的示意图；
图7B为本申请实施例的关键点卷积神经网络模型的训练方法的流程图；
图7C和图7D为本申请实施例的ResNet50的网络结构示意图；
图8为本申请实施例的关键点卷积神经网络模型训练的示意图；
图9为本申请实施例的关键点卷积神经网络模型训练的示意图；
图10为本申请实施例的图像处理方法的流程图；
图11A为本申请实施例的另一种图像处理方法的流程图；
图11B为本申请实施例的另一种图像处理方法的示意图；
图12A为本申请实施例的另一种图像处理方法的流程图；
图12B为本申请实施例的另一种图像处理方法的示意图；
图13为本申请实施例的图像处理方法的一种应用场景的示意图；
图14A至图14C为本申请实施例的图像处理方法的一种应用场景的界面示意图；
图15为本申请实施例的一种终端设备的结构示意图；
图16为本申请实施例的又一种终端设备的结构示意图；
图17为本申请实施例的又一种终端设备的结构示意图；
图18为本申请实施例的又一种终端设备的结构示意图；
图19为本申请实施例的又一种终端设备的结构示意图；
图20为本申请实施例的终端设备为手机时的结构框图；
图21为本申请实施例的一种训练设备的结构示意图；
图22为本申请实施例的另一种训练设备的结构示意图；
图23为本申请实施例的一种芯片的结构示意图。
具体实施方式
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解：
人脸关键点：用于在人脸图像中定位出人脸面部的关键区域位置的点，关键区域包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等区域。例如，如图1所示，人脸关键点为图中标注出的各个点。
人脸关键点检测：也称为人脸关键点定位或者人脸对齐，指对输入的人脸图像进行处理，确定出如上所述的人脸关键点。确定人脸关键点的方式可以为通过数据挖掘模型对输入的人脸图像进行处理，以确定人脸关键点。其中，该数据挖掘模型可以是神经网络模型，例如，卷积神经网络模型等。以卷积神经网络模型为例，如图1所示，将人脸图像输入至卷积神经网络模型，该卷积神经网络模型输出人脸关键点的坐标，即如图1中标注出的各个点的坐标。
人脸关键点定位可以分为二位视角和三维视角，如图2所示，圆形的标注点代表二维视角下的人脸关键点位置，即在人脸有大角度的情况下存在一些关键点不可见。对于二维视角的人脸关键点定位只考虑在图像中可见的位置上进行标注。与二维视角的人脸关键点定位不同的是，三维视角的人脸关键点如图2所示的方形的标注代表三维视角下的人脸关键点位置，对于大角度人脸，不可见的关键点也要预估其真实坐标。本申请下述实施例所涉及的人脸关键点指二维视角下的关键点。
卷积神经网络(Convolutional Neural Network，CNN)模型：一种前馈神经网络模型，神经网络模型的人工神经元可以响应一部分覆盖范围内的周围单元，可以使用CNN进行图像处理。卷积神经网络模型可以由一个或多个卷积层和顶端的全连通层组成，还可以包括关联权重和池化层(pooling layer)。与其他深度学习结构相比，卷积神经网络模型在图像和语音识别方面能够给出更优的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络模型需要估计的参数更少。本申请实施例以上述卷积神经网络模型为例做举例说明，本申请不以此作为限制。该卷积神经网络模型的参数(例如，权值参数和偏置参数)用于表示卷积神经网络模型。不同的卷积神经网络模型的参数不同，其处理性能也不尽相同。
训练设备，可以使用训练数据对卷积神经网络模型进行训练，该训练设备的构成包括处理器、硬盘、内存、系统总线等。本申请所涉及的卷积神经网络模型具体指用于实现人脸关键点定位的卷积神经网络模型，可称之为关键点卷积神经网络模型。
关键点卷积神经网络模型的训练过程，具体指通过对训练数据的学习，调整该模型的参数，使得该卷积神经网络模型的输出尽可能的接近目标值，例如该目标值为正确的人脸关键点的坐标。
需要说明的是，本申请的关键点卷积神经网络模型的网络结构可以参见现有技术的卷积神经网络模型，本申请与现有技术不同之处在于对关键点卷积神经网络模型进行如下述实施例的训练，得到目标关键点卷积神经网络模型。本申请实施例的“调整关键点卷积神经网络模型”即指调整网络模型所涉及的参数，例如，权值参数和偏置参数。
训练样本，包括具有关键点信息的人脸图像，例如，具有关键点信息的人脸图像可以包括人脸图像和对应的人脸关键点的坐标，即本申请实施例的关键点信息的一种表现形式可以为人脸关键点的坐标，该人脸关键点的坐标与人脸图像对应，用于标识该人脸图像中的关键点。本申请实施例根据人脸的偏转角度对多个训练样本进行分类，例如，将向左偏转的人脸图像分为一类，形成一个训练样本集合，将向右偏转的人脸图像分为一类，形成一个训练样本集合，将正脸的人脸图像分为一类，形成一个训练样本集合，即三个训练样本集合。当然可以理解的，训练样本集合的个数可以根据需要进行灵活设置，以对训练样本进行分类，获取相应个数的训练样本集合。
训练数据，包括一个或多个训练样本，该一个或多个训练样本可以来自相同或不同的训练样本集合。训练数据用于训练上述关键点卷积神经网络模型。本申请实施例的训练数据也可以称之为小批处理(minibatch)数据，本申请实施例基于人脸图像的姿态信息构建该训练数据，其中，训练数据的具体构建过程可以参见下述实施例的具体说明。
姿态信息，用于反映人脸的偏转角度的信息，例如，人脸向左偏转15度、向右偏转25度等。
终端：可以是无线终端也可以是有线终端，无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(Personal CommunicationService，PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol， SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal DigitalAssistant，PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(RemoteStation)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(UserTerminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，在此不作限定。
本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图3A为本申请实施例的图像处理方法的一种网络架构的示意图，如图3A所示，该网络架构包括训练设备和模型应用设备。该训练设备使用不同姿态信息的人脸图像对关键点卷积神经网络模型进行训练，获取目标关键点卷积神经网络模型。该模型应用设备指使用本申请实施例的目标关键点卷积神经网络模型进行图像处理的设备，该模型应用设备可以是上述终端的任一种具体形式。本申请的图像处理方法可以包括：训练阶段，训练设备将使用不同姿态信息的人脸图像和相应的关键点的坐标对关键点卷积神经网络模型进行训练，得到目标关键点卷积神经网络模型。模型使用阶段，一种可实现方式，将该目标关键点卷积神经网络模型存储于模型应用设备，模型应用设备采集图像，使用该目标关键点卷积神经网络模型对采集到的图像进行处理，输出人脸关键点的坐标，以便模型应用设备根据该人脸关键点的坐标对采集到的图像进行后续处理过程，例如，该后续处理过程可以为人脸匹配处理(应用于人脸识别)。
图3B为本申请实施例的图像处理方法的另一种网络架构的示意图，如图3B所示，该网络架构包括训练设备、应用服务器和模型应用设备，训练阶段，训练设备使用不同姿态信息的人脸图像和对应的人脸关键点的坐标对关键点卷积神经网络模型进行训练，得到目标关键点卷积神经网络模型。模型使用阶段，将该目标关键点卷积神经网络模型存储于应用服务器中，一种可实现方式，应用服务器可以将该目标关键点卷积神经网络模型发送给模型应用设备，模型应用设备采集图像，使用该目标关键点卷积神经网络模型对采集到的图像进行处理，输出人脸关键点的坐标，模型应用设备根据该人脸关键点的坐标对采集到的图像进行后续处理过程，例如，该后续处理过程可以为人脸匹配处理(应用于人脸识别)。另一种可实现方式，模型应用设备采集图像，将采集到的图像发送给应用服务器，由该应用服务器使用该目标关键点卷积神经网络模型对该图像进行处理输出人脸关键点的坐标，应用服务器根据该人脸关键点的坐标对采集到的图像进行后续处理过程，例如，该后续处理过程可以为人脸匹配处理(应用于人脸识别)，并将处理结果发送给模型应用设备。
可以理解，上述的训练设备和模型应用设备可以是两个分离的设备，也可以是一个设备，例如一个如上述任一具体形式的终端，上述的训练设备和应用服务器可以是两个分离的设备，也可以是一个设备，例如一个服务器，本申请对此不作限制。
下面，对训练数据构建和训练模型的具体实施过程进行解释说明。
(1)训练数据构建
本申请实施例基于各个训练样本的人脸图像的姿态信息构建训练数据，使用该训练数据对关键点卷积神经网络进行训练，其中，该训练数据包括不同姿态信息的训练样本，即不同姿态信息的人脸图像和相应的人脸关键点的坐标。通过不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，并且可以提升训练所获取的目标卷积神经网络模型的人脸关键点的定位精度。另外，由于训练数据的选取，可以使得模型训练过程中梯度下降方向更准确。
一种可实现方式，该不同姿态信息的人脸图像可以包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，该第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，该第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，该第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。该第一姿态信息的人脸图像可以包括向左偏转程度不同的人脸图像，例如，向左偏转10度的人脸图像、向左偏转20度的人脸图像等，此处不一一举例说明。该第三姿态信息的人脸图像可以包括向右偏转程度不同的人脸图像，例如，向右偏转10度的人脸图像、向右偏转20 度的人脸图像等，此处不一一举例说明。
下面采用一个具体的实施例对训练数据的构建过程进行解释说明。
图4A为本申请实施例的图像处理方法的训练数据构建流程的示意图，图4B为本申请实施例的图像处理方法的训练数据构建的示意图，如图4A所示，训练数据构建可以包括：
步骤101、基于各个训练样本的人脸图像的姿态信息对训练样本进行分类，获取s个训练样本集合。
如上所述训练样本包括人脸图像和对应的人脸关键点的坐标，对于大量的训练样本，训练样本采集自各种复杂的场景，可以基于姿态信息对其进行分类。该姿态信息用于反映人脸的偏转角度的信息，例如，该姿态信息为p，p的取值范围为[-100,100]，负值表示向左偏转，正值表示向右偏转。
获取每个训练样本中人脸图像的姿态信息的一种可实现方式，将各个人脸图像的人脸关键点的坐标输入至广义普氏分析(Generalized Procrustes Analysis，GPA)算法，输出调整后的人脸关键点的坐标，将调整后的人脸关键点的坐标输入至主成分分析(Principal Component Analysis，PCA)算法，由PCA算法对调整后的人脸关键点的坐标进行降维操作，输出各个训练样本的p值。该p值用于表示姿态信息。
对GPA算法对人脸关键点的坐标的调整进行说明，GPA算法可以将所有训练样本的人脸图像对齐到一个平均人脸图像(例如，正脸标准图)，例如，对每一个人脸图像经过旋转、平移和缩放中至少一项处理，使得处理后的人脸图像位于该平均人脸图像附近位置，与该平均人脸图像的均方误差(Mean Square Error，MSE)最小。
对GPA算法的处理效果的说明，图5A为本申请实施例的未使用GPA算法对训练样本进行处理的人脸关键点的分布示意图，图5B为本申请实施例的图像处理方法中使用 GPA算法后的人脸关键点的分布示意图，以每个人脸图像有68个人脸关键点为例进行举例说明，如图5A所示，没有经过GPA算法处理的多个训练样本的人脸关键点分布于平均人脸图像的人脸关键点附近，且分布较为杂乱，由此可见，训练样本的人脸图像的姿态各异，且差距较大。而如图5B所示，经过GPA算法处理的多个训练样本的人脸关键点的分布于平均人脸图像的人脸关键点附近，且分布呈现一定的椭圆形，有一定的聚集效果。由此可见，经过GPA算法，可以使得训练样本的人脸图像与该平均人脸图像的MSE最小，从而可以提升后续人脸关键点的处理的准确性。
对PCA算法对调整后的人脸关键点的坐标的处理进行说明，使用PCA算法对调整后的人脸关键点的坐标进行降维操作，输出各个训练样本的p值。需要说明的是，本申请实施例采用主成分为一维的方式，可以理解的，其也可以采用多维，本申请实施例不以一维作为限定。经过PCA算法后，每一个人脸图像的人脸关键点的坐标长度(2L，L为关键点的个数)转换为一个数字p。
根据p值，将本申请实施例的训练样本划分为s个小数据集合，即s个训练样本集合T1～Ts，每一个小数据集合内包含一定数量的训练样本。每一个训练样本集合代表了满足一定角度条件的人脸图像。
举例而言，s取值为3，基于姿态信息对多个训练样本进行分类，获取3个训练样本集合，其中，一个训练样本集合包括第一姿态信息的人脸图像和对应的人脸关键点，一个训练样本集合包括第二姿态信息的人脸图像和对应的人脸关键点，另一个训练样本集合包括第三姿态信息的人脸图像和对应的人脸关键点。可以从该3个训练样本集合中选取多个训练样本，作为训练数据，对关键点卷积神经网络模型进行训练。
另一个举例，s取值为5，基于姿态信息对多个训练样本进行分类，获取5个训练样本集合，其中，第一和第二个训练样本集合包括第一姿态信息的人脸图像和对应的人脸关键点，第三个训练样本集合包括第二姿态信息的人脸图像和对应的人脸关键点，第四和第五个训练样本集合包括第三姿态信息的人脸图像和对应的人脸关键点。其中，第一个训练样本集合中的人脸图像的p值小于-50，第二个训练样本集合中的人脸图像的p值大于等于-50，第五个训练样本集合中的人脸图像的p值大于50度，第四个训练样本集合中的人脸图像的p值小于等于50度。
另一个举例，如图4B所示，以s等于9进行举例说明，经过分类后可以获取如图4B所示的9个训练样本集合，从左至右p值逐渐变大，人脸的角度从向左侧偏头逐渐的向右侧偏头，由此可见，p值可以反映人脸图像的姿态信息。图6为本申请实施例的图像处理方式的训练样本集合的分布示意图，如图6所示，其横轴为p轴，纵轴为个数轴，所有训练样本满足正态分布，即左右侧脸的图片数量相对于正脸照片的数量少些，所有训练样本中正脸照片的数量较多，由此，本申请实施例通过下述步骤以选取训练样本对关键点卷积神经网络模型进行训练，以提升训练后的目标关键点卷积神经网络模型对于不同姿态信息的人脸图像的关键点的定位的准确度。
示例性的，经过上述步骤处理后可以得到如图4B所示9个训练样本集合，进而通过下述步骤102以选取训练样本，构建训练数据。
当然可以理解的，其还可以是其他个数的训练样本集合，此处不一一举例说明。
步骤102、从s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据。
其中，训练数据可以包括N个训练样本，N为大于等于3的整数，即从s个训练样本集合中选取N个训练样本作为训练数据。使用训练数据对关键点卷积神经网络模型进行训练，训练过程中，每一个迭代输入N个训练样本，通过计算模型输出值与训练样本的人脸关键点的坐标的损失，通过梯度反向计算每一次模型的参数更新值，经过反复迭代以得到可使用的目标关键点卷积神经网络模型。
在一些实施例中，在从s个训练样本集合中至少三个集合中选取多个训练样本作为训练数据的一种可实现方式，根据分类结果按照样本选取策略从s个训练样本集合中至少三个集合中选取多个训练样本构建训练数据。该样本选取策略可以是按照预设比例，例如，训练数据中第一姿态信息的人脸图像占比30，第二姿态信息的人脸图像占比40，第三姿态信息的人脸图像占比30。
示例性的，对于样本选取策略可以是如下三种策略：
策略一，平均采样策略。平均采样策略指从每一个训练样本集合Ti(i取1至s)中选取N/s个训练样本，构成该批次的训练数据，即训练数据中各个偏转角度的人脸占据了均衡的比例，以保证梯度方向的准确性。例如，训练数据中第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像的比例相同，即向左偏转、正向、向右偏转的人脸图像的比例相同。
策略二，左脸加强采样策略。左脸加强采样策略指的是从s个训练样本集合中，针对人脸偏向左侧的集合多取一些，针对人脸偏向右侧的集合少取一些，针对正脸图片取更少的人脸图像。比如一个N＝32的情况，按照该策略可以选取66333344的比例，即从左侧脸的两个训练样本集合中每个集合选取6张，从右侧脸的两个训练样本集合中每个集合选取4张，从近似正脸的四个训练样本集合中每个选取3张，构成整个训练迭代的训练数据，从而可以增加训练数据中侧脸的比例，并且在侧脸中强调了左脸的比例，保证了模型对于左侧脸有更好的定位效果。
策略三，右脸加强采样策略。右脸加强采样策略指的是s个训练样本集合中，针对人脸偏向右侧的集合多取一些，针对人脸偏向左侧的集合少取一些，针对正脸图片取更少的图片。比如一个N＝32的情况，可以选取44333366的比例，即从左侧脸的两个训练样本集合中每个集合选取4张，从右侧脸的两个训练样本集合中每个集合选取6张，从近似正脸的四个训练样本集合中每个选取3张，构成整个训练迭代的训练数据，从而可以增加训练数据中侧脸的比例，并且在侧脸中强调了右脸的比例，保证了模型对于右侧脸有更好的定位效果。
需要说明的是，本申请实施例的样本选取策略还可以包括其他策略，本申请实施例不以上述三种策略作为限制。
本申请实施例，基于姿态信息对训练样本进行分类，获取s个训练样本集合，从s个训练样本集合中选取训练样本，构建训练数据，训练数据的选取可以提升模型的收敛速度，提升模型的训练速度，基于姿态信息的训练数据的选取使得训练数据可以平衡各个角度的人脸对于模型优化的影响，提升人脸关键点的定位精度。例如，可以提升对偏转角度大的人脸图像的关键点的定位精度。
(2)训练模型
一种可实现方式，图7A为本申请实施例的关键点卷积神经网络模型训练的示意图，如图7A所示，将上述实施例的训练数据输入至关键点卷积神经网络模型，关键点卷积神经网络模型对训练数据进行学习，以调整网络模型。
其中，关键点卷积神经网络模型可以对训练样本的人脸图像进行处理，输出人脸关键点的坐标，根据模型输出的人脸关键点的坐标与训练样本的实际的人脸关键点的坐标对网络模型进行优化调整。
示例性的，本申请实施例的关键点卷积神经网络模型可以是残差网络(ResNet)，例如ResNet50。图7C和图7D为本申请实施例的ResNet50的网络结构示意图，如图7C和图7D所示，ResNet50由很多个小网络块(也可称为层)组成，每个小网络块的构成如图 7D所示，通过加入一个恒等映射连接，使得网络模型对于细微的变动更加敏感，比如，把5映射到5.1，那么引入残差前是要学习一个映射使得F'(5)＝5.1，引入残差后是H(5)＝5.1, H(5)＝F(5)+5,F(5)＝0.1。这里的F'和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。比如s输出从5.1变到5.2，映射F'的输出增加了1/51＝2％，而对于残差结构输出从5.1到5.2，映射F是从0.1到0.2，增加了100％。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化。通过引入残差的思想，使得网络层数可以加深，增强网络模型的表达能力。
如图7C所示ResNet50共包括49个卷积层，2个池化层，以及1个全连接层，其中每一个卷积层之后便会跟着一个归一化层和一个线性整流函数层来对卷积层的输出进行约束，从而使得网络模型可以设计得更深，具有更强的表达能力。其中卷积层负责提取图像的高层次特征表达，通过对于不同通道的信息进行融合，提取出输入图像抽象的特征表达；池化层用于对输出矩阵的大小进行压缩，增大图像的感受野，从而保证特征的高度紧凑；全连接层用于对特征图进行线性整合，适配每一个与要解决的问题相关的事先定义好的输出维数，比如，在申请实施例中输出维数为L*2(例如68*2)维，L为人脸图像的人脸关键点的个数，每两个数值表示一个关键点的坐标值，例如一个关键点的x坐标和y坐标。
图7B为本申请实施例的关键点卷积神经网络模型的训练方法的流程图，如图7B所示，本申请的关键点卷积神经网络模型的训练方法可以包括：
步骤201、初始化关键点卷积神经网络模型。
初始化上述图7A所示的关键点卷积神经网络模型，即将关键点卷积神经网络模型的参数赋值为初始化的参数。
步骤202、将训练数据输入至初始化的如图7A所示关键点卷积神经网络模型，经过循环迭代，获取目标关键点卷积神经网络模型。
具体实现方式可以为，参见图7A所示，输入的人脸图像，经过处理后，输出人脸关键点的坐标，在本步骤中将输出的人脸关键点的坐标与训练样本的人脸关键点的坐标进行比对，例如，进行相应运算，得到一个损失代价结果，根据损失代价结果对初始化的关键点卷积神经网络模型进行调整，例如可以设置一个损失代价结果满足的预设条件，如果不满足，则可以调整关键点卷积神经网络模型的参数，以调整后的关键点卷积神经网络模型对训练数据的人脸图像进行处理，进而计算一个新的损失代价结果，判断该新的损失代价结果是否满足预设条件，如此反复迭代，直至新的损失代价结果满足预设条件，得到目标关键点卷积神经网络模型。在使用模型阶段，使用该目标关键点卷积神经网络模型。
本实施例，初始化关键点卷积神经网络模型，将训练数据输入至初始化的如图7A所示关键点卷积神经网络模型，经过循环迭代，获取目标关键点卷积神经网络模型，通过不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，并且可以提升训练所获取的目标卷积神经网络模型的人脸关键点的定位精度。另外，由于训练数据的选取，可以使得模型训练过程中梯度下降方向更准确。
另一种可实现方式，与图7A所示实施例不同，本申请实施例进行训练的关键点卷积神经网络模型包括第一关键点卷积神经网络模型和第二关键点卷积神经网络模型。
图8为本申请实施例的关键点卷积神经网络模型训练的示意图，如图8所示，将上述实施例的训练数据输入至第一关键点卷积神经网络模型和第二关键点卷积神经网络模型，其中，第一关键点卷积神经网络模型用于学习左脸图像，第二关键点卷积神经网络模型用于学习右脸图像。
本申请实施例的第一关键点卷积神经网络模型和第二关键点卷积神经网络模型为基于半脸回归的网络结构模型，图像切分模块与第一关键点卷积神经网络模型和第二关键点卷积神经网络模型分别连接，第一关键点卷积神经网络模型和第二关键点卷积神经网络模型分别与汇总输出模块连接。
具体的，将训练数据的人脸图像输入至图像切分模块，图像切分模块用于对人脸图像进行切分，以输出左脸图像和右脸图像。将左脸图像输入至第一关键点卷积神经网络模型，将右脸图像输入至第二关键点卷积神经网络模型。通过第一支路可以得到左脸图像的人脸关键点的坐标，通过第二支路可以得到右脸图像的人脸关键点的坐标，再通过汇总输出模块利用人脸的结构化特征汇总输出人脸图像的人脸关键点的坐标。将输出的人脸关键点的坐标与训练样本的人脸关键点的坐标进行比对，以对第一关键点卷积神经网络模型和第二关键点卷积神经网络模型进行优化，以得到目标关键点卷积神经网络模型，即第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型。
示例性的，本申请实施例的第一关键点卷积神经网络模型和第二关键点卷积神经网络模型中任一模型均可以是残差网络(ResNet)，例如ResNet50，其具体解释说明可以参见图7C和图7D的说明，此处不再赘述。
本实施例的关键点卷积神经网络模型的训练方法的流程可以参见图7B所示，即先初始化关键点卷积神经网络模型，再迭代优化网络模型。其中，不同之处在于，本申请实施例的关键点卷积神经网络模型包括第一关键点卷积神经网络模型和第二关键点卷积神经网络模型，即初始化两个网络模型，将训练数据输入至初始化的如图8所示的第一关键点卷积神经网络模型和第二关键点神经网络模型，经过循环迭代，获取第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型。
本实施例，初始化第一关键点卷积神经网络模型和第二关键点卷积神经网络模型，将训练数据输入至初始化的如图8所示第一关键点卷积神经网络模型和第二关键点卷积神经网络模型，经过循环迭代，获取第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型，通过不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，并且可以提升训练所获取的目标卷积神经网络模型的人脸关键点的定位精度。另外，由于训练数据的选取，可以使得模型训练过程中梯度下降方向更准确。
并且，第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型为半脸回归模型，其网络模型较为简单，优化更为准确，并且其可以利用人脸的结构化特征，提升模型的人脸关键点的定位精度。
再一种可实现方式，与图8所示实施例不同，本申请实施例进行训练的关键点卷积神经网络模型包括第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型。
图9为本申请实施例的关键点卷积神经网络模型训练的示意图，如图9所示，将上述实施例的训练数据输入至第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型，其中，第一关键点卷积神经网络模型和第三关键点卷积神经网络模型用于学习左脸图像，第二关键点卷积神经网络模型和第四关键点卷积神经网络模型用于学习右脸图像。
本申请实施例的第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型为基于半脸回归的两阶段网络结构模型，如图9所示，图像切分模块与第一关键点卷积神经网络模型和第二关键点卷积神经网络模型分别连接，第一关键点卷积神经网络模型和第三关键点卷积神经网络模型通过第一仿射变换模块级联，之后连接第一仿射变换的逆变换模块，第二关键点卷积神经网络模型和第四关键点卷积神经网络模型通过第二仿射变换模块级联，之后连接第二仿射变换的逆变换模块。第一仿射变换的逆变换模块和第二仿射变换的逆变换模块分别连接汇总输出模块。
具体的，将训练数据的人脸图像输入至图像切分模块，图像切分模块用于对人脸图像进行切分，以输出左脸图像和右脸图像。将左脸图像输入至第一关键点卷积神经网络模型，将右脸图像输入至第二关键点卷积神经网络模型。通过第一支路可以得到左脸图像的人脸关键点的坐标，通过第二支路可以得到右脸图像的人脸关键点的坐标，再利用人脸的结构化特征汇总输出人脸图像的人脸关键点的坐标。将输出的人脸关键点的坐标与训练样本的人脸关键点的坐标进行比对，以对各个关键点卷积神经网络模型进行优化，以得到目标关键点卷积神经网络模型，即第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三目标关键点卷积神经网络模型和第四目标关键点卷积神经网络模型。
示例性的，本申请实施例的第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型中任一模型均可以是残差网络(ResNet)，例如ResNet50，其具体解释说明可以参见图7C和图7D的说明，此处不再赘述。
本实施例的关键点卷积神经网络模型的训练方法的流程可以参见图7B所示，即先初始化关键点卷积神经网络模型，再迭代优化网络模型。其中，不同之处在于，本申请实施例的关键点卷积神经网络模型包括第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型，即初始化四个网络模型，将训练数据输入至初始化的如图9所示的第一关键点卷积神经网络模型和第二关键点神经网络模型，经过循环迭代，获取第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三目标关键点卷积神经网络模型和第四目标关键点卷积神经网络模型。
本实施例，初始化第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型，将训练数据输入至初始化的如图9所示第一关键点卷积神经网络模型、第二关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型，经过循环迭代，获取第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型，通过不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，并且可以提升训练所获取的目标卷积神经网络模型的人脸关键点的定位精度。另外，由于训练数据的选取，可以使得模型训练过程中梯度下降方向更准确。
并且，第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三关键点卷积神经网络模型和第四关键点卷积神经网络模型为两阶段半脸回归模型，其网络模型较为简单，优化更为准确，并且其可以利用人脸的结构化特征，提升模型的人脸关键点的定位精度。
上述实施例介绍了训练数据构建和使用训练数据对模型的训练，下述实施例解释说明使用训练后的模型进行人脸关键点定位。
(3)使用模型
图10为本申请实施例的一种图像处理方法的流程图，如图10所示，本实施例的执行主体可以是上述模型应用设备或应用服务器，或其内部芯片，本申请的图像处理方法可以包括：
步骤301、获取人脸图像。
该人脸图像为待处理图像或对待处理图像进行截取操作获取的图像，该待处理图像可以是任意具有拍照功能或摄像功能的终端采集的，例如，智能手机采集的图像。
步骤302、将人脸图像输入至目标关键点卷积神经网络模型，输出人脸关键点的坐标。
其中，该目标关键点卷积神经网络模型为使用不同姿态信息的人脸图像对关键点卷积神经网络模型进行训练后获取的，该姿态信息用于反映人脸的偏转角度。
该目标关键点卷积神经网络模型可以是采用如图7A所示的训练过程进行训练得到的目标目标关键点卷积神经网络模型。
本实施例，获取人脸图像，将人脸图像输入至目标关键点卷积神经网络模型，输出人脸关键点的坐标。本实施例利用目标关键点卷积神经网络模型对人脸图像进行处理，由于目标关键点卷积神经网络模型是使用不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，有效地提升人脸关键点定位的精度。
图11A为本申请实施例的另一种图像处理方法的流程图，图11B为本申请实施例的另一种图像处理方法的示意图，如图11A所示，与图10所示实施例不同，本实施例还可以对人脸图像进行切分处理，使用如图8所示的训练过程获取的目标关键点卷积神经网络模型进行处理，本申请的图像处理方法可以包括：
步骤401、获取人脸图像。
其中，步骤401的具体解释说明可以参见图10所示实施例的步骤301的解释说明，此处不再赘述。
步骤402、根据人脸图像分别获取左脸图像和右脸图像。
一种可实现方式，对人脸图像进行切分处理和填充处理，分别获取左脸图像和右脸图像，该左脸图像和该右脸图像的尺寸与所述人脸图像的尺寸相同。
示例性的一种切分方式，对人脸图像沿竖直方向切分为四等份，取其中左侧三份，并在该左侧三份的最左侧补入黑色背景图，该黑色背景图的尺寸与一等份尺寸相同，获取左脸图像，该左脸图像的尺寸与人脸图像的尺寸大小相同。取四等份中右侧三份，并在该右侧三份的最右侧步入黑色背景图，该黑色背景图的尺寸与一等份尺寸相同，获取右脸图像，该右脸图像的尺寸与人脸图像的尺寸大小相同。
该切分方式可以保证在左脸图像和右脸图像中，左右半脸区域分别位于图像的中心。
需要说明的是，上述切分方式以四等份为例进行举例说明，其也可以是六、七、八等整数值等份，本申请实施例不一一举例说明。
参见图11B，通过步骤402处理后，获取的左脸图像和右脸图像分别输入至第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型。
步骤4031、将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标。
该第一目标关键点卷积神经网络模型可以是采用如图8所示的训练过程获取的，该第一目标关键点卷积神经网络模型对左脸图像进行处理，输入如图11B所示的第一左脸关键点的坐标。
步骤4032、将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标。
该第二目标关键点卷积神经网络模型可以是采用如图8所示的训练过程获取的，该第二目标关键点卷积神经网络模型对右脸图像进行处理，输入如图11B所示的第二左脸关键点的坐标。
步骤404、根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
对第一左脸关键点的坐标和第一右脸关键点的坐标进行汇总，例如，第一左脸关键点个数为39，第一右脸关键点的个数为39，根据人脸的结构化信息将第一左脸关键点的坐标和第一右脸关键点的坐标进行汇总，中间区域存在10个点是重复的，中间区域可以使用平均值的计算方式获取中间区域的人脸关键点的坐标，最终得到68个人脸关键点的坐标。
本实施例，获取人脸图像，根据人脸图像分别获取左脸图像和右脸图像，将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本实施例利用第一目标关键点卷积神经网络模型对左脸图像进行处理，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，由于第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型是使用不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，有效地提升人脸关键点定位的精度。
并且，第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型为半脸回归模型，其网络模型较为简单，半脸定位精度高，并且其可以利用人脸的结构化特征，进一步提升模型的人脸关键点的定位精度。
图12A为本申请实施例的另一种图像处理方法的流程图，图12B为本申请实施例的另一种图像处理方法的示意图，如图12A所示，与图11A所示实施例不同，本实施例还可以通过第三目标关键点卷积神经网络模型和第四目标关键点卷积神经网络模型提升人脸关键点的定位精度，本申请的图像处理方法可以包括：
步骤501、获取人脸图像。
其中，步骤501的具体解释说明可以参见图10所示实施例的步骤301的解释说明，此处不再赘述。
步骤502、根据人脸图像分别获取左脸图像和右脸图像，该左脸图像和该右脸图像的尺寸与所述人脸图像的尺寸相同。
其中，步骤502的具体解释说明可以参见图10所示实施例的步骤402的解释说明，此处不再赘述。
步骤5031、将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，根据第一左脸关键点的坐标确定第一仿射变换矩阵，根据第一仿射变换矩阵和左脸图像获取矫正后的左脸图像，将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，根据矫正后的第一左脸关键点的坐标和第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标。
该第一目标关键点卷积神经网络模型用于对左脸图像进行处理，以输出该左脸图像的第一左脸关键点的坐标，根据第一左脸关键点的坐标和上述平均图像的关键点的坐标确定第一仿射变换矩阵，例如，一个3*3的矩阵，该第一仿射变换矩阵使得第一仿射变换矩阵乘以第一左脸关键点的坐标的转置与平均图像的关键点的坐标之间的二范数差距最小，其中可以使用经典的最小二乘法来求解第一仿射变换矩阵TL，使用该第一仿射变换矩阵将左脸图像对齐到平均图像，获取矫正后的左脸图像，该矫正后的左脸图像如图12B所示。为了进一步提高人脸关键点定位的准确性，将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，根据第一仿射变换矩阵的逆变换获取第二左脸关键点的坐标，从而得到半脸的关键点输出。
步骤5032、将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，根据第一右脸关键点的坐标确定第二仿射变换矩阵，根据第二仿射变换矩阵和右脸图像获取矫正后的右脸图像，将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标，根据矫正后的第一右脸关键点的坐标和第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标。
该第二目标关键点卷积神经网络模型用于对右脸图像进行处理，以输出该右脸图像的第一右脸关键点的坐标，根据第一右脸关键点的坐标和上述平均图像的关键点的坐标确定第二仿射变换矩阵，例如，一个3*3的矩阵，该第二仿射变换矩阵使得第二仿射变换矩阵乘以第一右脸关键点的坐标的转置与平均图像的关键点的坐标之间的二范数差距最小，其中可以使用经典的最小二乘法来求解第一仿射变换矩阵TR，使用该第二仿射变换矩阵将右脸图像对齐到平均图像，获取矫正后的右脸图像，该矫正后的右脸图像如图12B所示。为了进一步提高人脸关键点定位的准确性，将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点坐标，根据第二仿射变换矩阵的逆变换获取第二右脸关键点的坐标，从而得到半脸的关键点输出。
步骤504、根据第二左脸关键点的坐标和第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
对第二左脸关键点的坐标和第二右脸关键点的坐标进行汇总，该第二左脸关键点的坐标和第二右脸关键点的坐标相较于图11所示实施例的第一左脸关键点的坐标和第一右脸关键点的坐标，其精度更高。
本实施例，本实施例利用第一目标关键点卷积神经网络模型对左脸图像进行处理，根据第一目标关键点卷积神经网络模型的输出结果对左脸图像进行矫正，利用第三目标关键点卷积神经网络模型对矫正后的左脸图像进行处理，可以提升左脸关键点的定位精度，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，根据第二目标关键点卷积神经网络模型的输出结果对右脸图像进行矫正，利用第四目标关键点卷积神经网络模型对矫正后的右脸图像进行处理，可以提升右脸关键点的定位精度，由于第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三目标关键点卷积神经网络模型和第四目标关键点卷积神经网络模型是使用不同姿态信息的训练样本对模型进行训练，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，有效地提升人脸关键点定位的精度。
并且，第一目标关键点卷积神经网络模型、第二目标关键点卷积神经网络模型、第三目标关键点卷积神经网络模型和第四目标关键点卷积神经网络模型为两阶段半脸回归模型，半脸定位精度高，并且其可以利用人脸的结构化特征，进一步提升模型的人脸关键点的定位精度。
(4)应用场景
本申请上述实施例的图像处理方法可以对人脸关键点进行定位，该图像处理方法可以应用于人脸识别、人脸姿态估计、人脸图像质量评价、视频交互、活体验证等不同场景。下面采用几个具体的应用场景进行举例说明。
场景一、驾驶员疲劳驾驶提醒系统
图13为本申请实施例的图像处理方法的一种应用场景的示意图，如图13所示，本申请上述实施例的任一种图像处理方法可以应用于图13所示的模型应用设备，该模型应用设备设置有摄像头，该摄像头朝向驾驶员，该摄像头可以固定在车辆操作平台的上方或者其他位置，该模型应用设备存储有本申请实施例的目标关键点卷积神经网络模型。
该模型应用设备的摄像头可以采集驾驶员脸部的照片或对驾驶员进行摄像，采用本申请的图像处理方法对该照片或者摄像获取的视频中每一帧图像进行处理，定位出驾驶员的人脸关键点，进而根据人脸关键点确定是否发出告警信号。
示例性的，根据人脸关键点确定是否发出告警信号的实现方式可以为：根据人脸关键点确定驾驶员行为，判断驾驶员行为是否满足预设条件，该预设条件可以包括驾驶员频繁栽头、闭眼时长超过预设时长等。其中，根据人脸关键点可以确定驾驶员是否有闭眼、栽头、打哈欠的行为，进而判断驾驶员是否处于疲劳驾驶状态，当驾驶员的疲劳状态对驾驶构成威胁时，对驾驶员提出警告。例如，该告警信号可以触发扬声器播放提示音，或者触发方向盘振动。
场景二、视频应用交互系统
图14A至图14C为本申请实施例的图像处理方法的一种应用场景的界面示意图，本实施例中，上述图像处理方法可以应用于模型应用设备，该模型应用设备可以是如上所述的任一种终端，该模型应用设备上设置有客户端(例如APP)，客户端通过模型应用设备的摄像头采集人脸图像，并通过本申请实施例的图像处理方法确定人脸关键点，进而根据人脸关键点实现虚拟化妆、佩带装饰等交互操作。示例性的，该模型应用设备显示该客户端的图像预览界面，该图像预览界面可以是如图14A至图14C任一左侧界面，客户端通过模型应用设备的摄像头采集人脸图像，并通过本申请实施例的图像处理方法确定人脸关键点，客户端根据人脸关键点的坐标和美颜效果参数对待处理图像进行调整，在图像预览界面显示调整后的待处理图像，该调整后的待处理图像可以是如图14A至图14C任一右侧界面，该美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。
其中，美颜效果参数为根据用户输入的触发指令确定的，如图14A至图14C任一左侧界面所示，该图像预览界面包括多个图形组件，每个图像组件用于触发一种美颜效果，例如，第一个图像组件用于触发增加虚拟装饰1，第二个图像组件用于触发增加虚拟装饰 2，第三个图像组件用于触发增加虚拟装饰3。当用户点击该第一个图像组件，响应该用户操作方式对应的触发指令，图像预览界面切换至如图14A的右侧界面，即在人脸图像的额头部位增加兔子耳朵的虚拟装饰，在人脸图像的鼻子部位增加兔子鼻子的虚拟装饰。当用户点击该第二个图像组件，响应该用户操作方式对应的触发指令，图像预览界面切换至如图14B的右侧界面，即在人脸图像的眼睛部位增加眼镜的虚拟装饰，在人脸图像的背景区域增加数学符号的虚拟装饰。当用户点击该第三个图像组件，响应该用户操作方式对应的触发指令，图像预览界面切换至如图14C的右侧界面，即在人脸图像的额头部位增加皇冠的虚拟装饰。
可选的，在显示调整后的待处理图像之前，还可以根据人脸关键点的坐标和人脸图像，获取关键点人脸图像，关键点人脸图像中标记有人脸关键点，在图像预览界面显示关键点人脸图像，接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点。根据调整后的人脸关键点和美颜效果参数对待处理图像进行调整。
由于本申请上述实施例的图像处理方法可以准确定位人脸关键点，从而可以提升美颜效果。
可选的，在显示调整后的待处理图像之前，还可以根据人脸关键点的坐标和人脸图像，获取关键点人脸图像，关键点人脸图像中标记有人脸关键点，在图像预览界面显示关键点人脸图像，接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点。根据调整后的人脸关键点和美颜效果参数对待处理图像进行调整。
场景三、视频监控中人脸识别
视频监控中通常可以根据人脸来确定一个人的身份，一般情况下人的姿态角度各异，对于人脸识别模块来说，进行提取特征较为困难，通过本申请上述实施例的图像处理方法可以准确确定出人脸关键点，从而大幅度降低人脸识别算法的难度，提升算法识别能力。
示例性的，视频监控系统中的摄像头可以采集待处理图像，获取人脸图像，通过本申请实施例的图像处理方法对人脸图像进行处理，输出人脸图像的人脸关键点的坐标，人脸识别模块可以根据人脸关键点的坐标对人脸图像进行特征提取，获取人脸图像特征，将人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。
需要说明的是，本申请所提供的图像处理方法，不仅适用于终端设备采用前置摄像头传感器拍摄的应用场景，也适用于终端设备采用后置摄像头传感器拍摄的应用场景。同样的，本申请的方法还适用于终端设备采用双摄像头传感器拍摄的应用场景。在任一应用场景下，终端设备可以通过对摄像头传感器输出的图像采用步骤301-步骤302、或者步骤401- 步骤404、或者步骤501-步骤504的方法步骤进行处理。
可以理解的是，上述各个实施例中，由终端设备实现的方法或步骤，也可以是由终端设备内部的芯片实现的。
图15为本申请实施例的一种终端设备的结构示意图。如图15所示，上述终端设备可以包括：
获取模块101，用于获取人脸图像。
处理模块102，用于根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相同；
处理模块102，还用于将所述左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，所述第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；
处理模块102，还用于将所述右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，所述第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；
处理模块102，还用于根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
在一些实施例中，所述具有关键点信息的左脸图像和所述具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，所述不同姿态信息的人脸图像具有对应的关键点信息，不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
在一些实施例中，处理模块102用于：根据所述第一左脸关键点的坐标确定第一仿射变换矩阵；根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；根据所述第二左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
在一些实施例中，处理模块102用于：根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据所述第二右脸关键点的坐标和所述第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
在一些实施例中，处理模块102用于：根据所述第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；根据所述第一右脸关键点的坐标确定第二仿射变换矩阵，根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标，根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据所述第二左脸关键点的坐标和所述第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
在一些实施例中，获取模块101还用于：基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；使用所述训练数据对两个关键点卷积神经网络模型进行训练，获取所述第一目标关键点卷积神经网络模型和所述第二目标关键点卷积神经网络模型；其中，s为大于等于3的任意整数。
在一些实施例中，获取模块101还用于：通过终端的拍照功能或拍摄功能采集待处理图像；在所述待处理图像中截取所述人脸图像。
本申请提供的终端设备，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一些实施例中，图16为本申请实施例的又一种终端设备的结构示意图。如图16所示，在上述图15所示框图的基础上，终端设备还可以包括：驾驶预警模块103，用于根据所述人脸关键点的坐标确定驾驶员行为，根据所述驾驶员行为确定是否发出告警信号。
在一些实施例中，图17为本申请实施例的又一种终端设备的结构示意图。如图17所示，在上述图15所示框图的基础上，终端设备还可以包括调整模块104，用于根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，在所述图像预览界面显示调整后的待处理图像；所述美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。
在一些实施例中，调整模块104还用于：根据所述人脸关键点的坐标和所述人脸图像，获取关键点人脸图像，所述关键点人脸图像中标记有所述人脸关键点；在所述图像预览界面显示关键点人脸图像；调整模块104还用于接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点；根据所述调整后的人脸关键点和美颜效果参数对所述待处理图像进行调整。
在一些实施例中，图18为本申请实施例的又一种终端设备的结构示意图。如图18所示，在上述图15所示框图的基础上，终端设备还可以包括：人脸识别模块105，用于根据所述人脸关键点的坐标进行人脸识别。
在一些实施例中，人脸识别模块105用于：根据人脸关键点的坐标对所述人脸图像进行特征提取，获取人脸图像特征；将人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。
本申请提供的终端设备，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图19为本申请实施例的又一种终端设备的结构示意图。如图19所示，该终端设备可以包括：处理器21(例如CPU)和存储器22；存储器22可能包含高速RAM存储器，也可能还包括非易失性存储器NVM，例如至少一个磁盘存储器，存储器22中可以存储各种指令，以用于完成各种处理功能以及实现本申请的方法步骤。可选的，本申请涉及的终端设备还可以包括：接收器23、发送器24、电源25、通信总线26以及通信端口27。接收器23和发送器24可以集成在终端设备的收发信机中，也可以为终端设备上独立的收发天线。通信总线26用于实现元件之间的通信连接。上述通信端口27用于实现终端设备与其他外设之间进行连接通信。
在本申请中，上述存储器22用于存储计算机可执行程序代码，程序代码包括指令；当处理器21执行指令时，指令使终端设备执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
正如上述实施例，本申请涉及的终端设备可以是手机、平板电脑等无线终端，因此，以终端设备为手机为例：图20为本申请实施例的终端设备为手机时的结构框图。参考图20，该手机可以包括：射频(Radio Frequency，RF)电路1110、存储器1120、输入单元 1130、显示单元1140、传感器1150、音频电路1160、无线保真(wireless fidelity，WiFi) 模块1170、处理器1180、以及电源1190等部件。本领域技术人员可以理解，图20中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图20对手机的各个构成部件进行具体的介绍：
RF电路1110可用于收发信息或通话过程中，信号的接收和发送，例如，将基站的下行信息接收后，给处理器1180处理；另外，将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路1110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120 的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1130可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1130可包括触控面板1131以及其他输入设备1132。触控面板1131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1131上或在触控面板1131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板 1131。除了触控面板1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1140可包括显示面板1141，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1141。进一步的，触控面板1131可覆盖于显示面板1141之上，当触控面板1131 检测到在其上或附近的触摸操作后，传送给处理器1180以确定触摸事件的类型，随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图10中，触控面板1131与显示面板1141是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1131与显示面板1141集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，光传感器可在手机移动到耳边时，关闭显示面板1141和/或背光。作为运动传感器的一种，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1160、扬声器1161以及传声器1162可提供用户与手机之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出处理器1180处理后，经RF电路1110 以发送给比如另一手机，或者将音频数据输出至存储器1120以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图20示出了WiFi模块1170，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变本申请的本质的范围内而省略。
处理器1180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1180可包括一个或多个处理单元；例如，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。
手机还包括给各个部件供电的电源1190(比如电池)，可选的，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
手机还可以包括摄像头1200，该摄像头可以为前置摄像头，也可以为后置摄像头。尽管未示出，手机还可以包括蓝牙模块、GPS模块等，在此不再赘述。
在本申请中，该手机所包括的处理器1180可以用于执行上述图像处理方法实施例，其实现原理和技术效果类似，在此不再赘述。
图21为本申请实施例的一种训练设备的结构示意图，如图21所示，本实施例的训练设备可以包括：图像获取模块201，用于根据不同姿态信息的人脸图像获取具有关键点信息的左脸图像和具有关键点信息的右脸图像，所述不同姿态信息的人脸图像具有对应的关键点信息；训练模块202，用于使用所述具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型，所述第一目标关键点卷积神经网络模型用于对输入的左脸图像进行处理，输出左脸关键点的坐标；使用所述具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练，获取第二目标关键点卷积神经网络模型，所述第二目标关键点卷积神经网络模型用于对输入的右脸图像进行处理，输出右脸关键点的坐标；其中，姿态信息用于反映人脸的偏转角度。
在一些实施例中。不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
在一些实施例中，图像获取模块201，还用于基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，训练样本包括具有关键点信息的人脸图像；从s个训练样本集合中至少三个集合中选取多个训练样本，作为不同姿态信息的人脸图像。
本实施例以上所述的训练设备，可以用于执行上述实施例中训练设备/训练设备的芯片、或者应用服务器/应用服务器的芯片执行的技术方案，其实现原理和技术效果类似，其中各个模块的功能可以参考方法实施例中相应的描述，此处不再赘述。
图22为本申请实施例的另一种训练设备的结构示意图，如图22所示，本实施例的训练设备，包括：收发器211和处理器212。
收发器211可以包括混频器等必要的射频通信器件。处理器212可以包括CPU、DSP、MCU、ASIC或FPGA中的至少一个。
可选地，本实施例的训练设备还可以包括存储器213，存储器213用于存储程序指令，收发器211用于调用存储器213中的程序指令执行上述方案。
本实施例以上所述的训练设备，可以用于执行上述各方法实施例中训练设备/训练设备的芯片、或者应用服务器/应用服务器的芯片执行的技术方案，其实现原理和技术效果类似，其中各个器件的功能可以参考方法实施例中相应的描述，此处不再赘述。
图23为本申请实施例的一种芯片的结构示意图，如图23所示，本实施例的芯片可以作为训练设备的芯片、或者应用服务器的芯片，本实施例的芯片可以包括：存储器221和处理器222。存储器221与处理器222通信连接。所述处理器222例如可以包括CPU、DSP、 MCU、ASIC或FPGA的至少一个。
在硬件实现上，以上各个功能模块可以以硬件形式内嵌于或独立于芯片的处理器222 中。
其中，存储器221用于存储程序指令，处理器222用于调用存储器221中的程序指令执行上述方案。
所述程序指令可以以软件功能单元的形式实现并能够作为独立的产品销售或使用，所述存储器可以是任意形式的计算机可读取存储介质。基于这样的理解，本申请的技术方案的全部或部分可以以软件产品的形式体现出来，包括若干指令用以使得一台计算机设备，具体可以是处理器222，来执行本申请各个实施例中网络设备的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例以上所述的芯片，可以用于执行本申请上述各方法实施例中训练设备或其内部芯片的技术方案，其实现原理和技术效果类似，其中各个模块的功能可以参考方法实施例中相应的描述，此处不再赘述。
需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。

Claims (33)

1.一种图像处理方法，其特征在于，包括：
获取人脸图像；
根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相同；
将所述左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，所述第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；
将所述右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，所述第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；
根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
2.根据权利要求1所述的方法，其特征在于，所述具有关键点信息的左脸图像和所述具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，所述不同姿态信息的人脸图像具有对应的关键点信息，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵；
根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；
根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；
根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；
根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二右脸关键点的坐标和所述第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；
根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像，根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；
根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标，根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
6.根据权利要求2至5任一项所述的方法，其特征在于，所述方法还包括：
基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；
从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；
使用所述训练数据对两个关键点卷积神经网络模型进行训练，获取所述第一目标关键点卷积神经网络模型和所述第二目标关键点卷积神经网络模型；
其中，s为大于等于3的任意整数。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取人脸图像，包括：
通过终端的拍照功能或拍摄功能采集待处理图像；
在所述待处理图像中截取所述人脸图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标确定驾驶员行为，根据所述驾驶员行为确定是否发出告警信号。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，在图像预览界面显示调整后的待处理图像；
所述美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。
10.根据权利要求9所述的方法，其特征在于，在显示调整后的待处理图像之前，所述方法还包括：
根据所述人脸关键点的坐标和所述人脸图像，获取关键点人脸图像，所述关键点人脸图像中标记有所述人脸关键点；
在所述图像预览界面显示关键点人脸图像；
接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点；
所述根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，包括：
根据所述调整后的人脸关键点和美颜效果参数对所述待处理图像进行调整。
11.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标进行人脸识别。
12.根据权利要求11所述的方法，其特征在于，所述根据所述人脸关键点的坐标进行人脸识别，包括：
根据所述人脸关键点的坐标对所述人脸图像进行特征提取，获取人脸图像特征；
将所述人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。
13.一种图像处理方法，其特征在于，包括：
根据不同姿态信息的人脸图像获取具有关键点信息的左脸图像和具有关键点信息的右脸图像，所述不同姿态信息的人脸图像具有对应的关键点信息；
使用所述具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型，所述第一目标关键点卷积神经网络模型用于对输入的左脸图像进行处理，输出左脸关键点的坐标；
使用所述具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练，获取第二目标关键点卷积神经网络模型，所述第二目标关键点卷积神经网络模型用于对输入的右脸图像进行处理，输出右脸关键点的坐标；
其中，所述姿态信息用于反映人脸的偏转角度。
14.根据权利要求13所述的方法，其特征在于，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；
从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为所述不同姿态信息的人脸图像；
其中，s为大于等于3的任意整数。
16.一种图像处理装置，其特征在于，包括：
获取模块，用于获取人脸图像；
处理模块，根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相同；
所述处理模块，还用于将所述左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，所述第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；
所述处理模块，还用于将所述右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，所述第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；
所述处理模块，还用于根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
17.根据权利要求16所述的装置，其特征在于，所述具有关键点信息的左脸图像和所述具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，所述不同姿态信息的人脸图像具有对应的关键点信息，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
18.根据权利要求16或17所述的装置，其特征在于，所述处理模块用于：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵；根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
19.根据权利要求16或17所述的装置，其特征在于，所述处理模块用于：
根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二右脸关键点的坐标和所述第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
20.根据权利要求16或17所述的装置，其特征在于，所述处理模块用于：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；
根据所述第一右脸关键点的坐标确定第二仿射变换矩阵，根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；
将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标，根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。
21.根据权利要求17至20任一项所述的装置，其特征在于，所述获取模块还用于：
基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；
从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；
使用所述训练数据对两个关键点卷积神经网络模型进行训练，获取所述第一目标关键点卷积神经网络模型和所述第二目标关键点卷积神经网络模型；
其中，s为大于等于3的任意整数。
22.根据权利要求16至21任一项所述的装置，其特征在于，所述获取模块还用于：
通过终端的拍照功能或拍摄功能采集待处理图像；
在所述待处理图像中截取所述人脸图像。
23.根据权利要求22所述的装置，其特征在于，所述装置还包括：
驾驶预警模块，用于根据所述人脸关键点的坐标确定驾驶员行为，根据所述驾驶员行为确定是否发出告警信号。
24.根据权利要求22所述的装置，其特征在于，所述装置还包括：
调整模块，用于根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，在所述图像预览界面显示调整后的待处理图像；
所述美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。
25.根据权利要求24所述的装置，其特征在于，所述调整模块还用于根据所述人脸关键点的坐标和所述人脸图像，获取关键点人脸图像，所述关键点人脸图像中标记有所述人脸关键点；在所述图像预览界面显示关键点人脸图像；
所述调整模块还用于接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点；
根据所述调整后的人脸关键点和美颜效果参数对所述待处理图像进行调整。
26.根据权利要求22所述的装置，其特征在于，所述装置还包括：
人脸识别模块，用于根据所述人脸关键点的坐标进行人脸识别。
27.根据权利要求26所述的装置，其特征在于，所述人脸识别模块用于：
根据所述人脸关键点的坐标对所述人脸图像进行特征提取，获取人脸图像特征；
将所述人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。
28.一种图像处理装置，其特征在于，包括：
图像获取模块，用于根据不同姿态信息的人脸图像获取具有关键点信息的左脸图像和具有关键点信息的右脸图像，所述不同姿态信息的人脸图像具有对应的关键点信息；
训练模块，用于使用所述具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型，所述第一目标关键点卷积神经网络模型用于对输入的左脸图像进行处理，输出左脸关键点的坐标；使用所述具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练，获取第二目标关键点卷积神经网络模型，所述第二目标关键点卷积神经网络模型用于对输入的右脸图像进行处理，输出右脸关键点的坐标；
其中，所述姿态信息用于反映人脸的偏转角度。
29.根据权利要求28所述的装置，其特征在于，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。
30.根据权利要求29所述的装置，其特征在于，所述图像获取模块，还用于基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为所述不同姿态信息的人脸图像；
其中，s为大于等于3的任意整数。
31.一种图像处理装置，其特征在于，所述图像处理装置包括：处理器、存储器；
其中，所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述图像处理装置执行如权利要求1-12任一项所述的图像处理方法，或者，执行如权利要求13-15任一项所述的图像处理方法。
32.根据权利要求31所述的装置，其特征在于，所述图像处理装置包括终端设备。
33.一种计算机存储介质，其上存储有计算机程序或指令，其特征在于，当所述计算机程序或指令被处理器或计算机执行时，实现如权利要求1至15任一项所述的图像处理方法。
CN201910421550.3A 2019-05-21 2019-05-21 图像处理方法和装置 Active CN111985265B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910421550.3A CN111985265B (zh) 2019-05-21 2019-05-21 图像处理方法和装置
EP20808836.9A EP3965003B1 (en) 2019-05-21 2020-04-23 Image processing method and device
PCT/CN2020/086304 WO2020233333A1 (zh) 2019-05-21 2020-04-23 图像处理方法和装置
US17/530,688 US12136210B2 (en) 2019-05-21 2021-11-19 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910421550.3A CN111985265B (zh) 2019-05-21 2019-05-21 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN111985265A true CN111985265A (zh) 2020-11-24
CN111985265B CN111985265B (zh) 2024-04-12

Family

ID=73435796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910421550.3A Active CN111985265B (zh) 2019-05-21 2019-05-21 图像处理方法和装置

Country Status (4)

Country Link
US (1) US12136210B2 (zh)
EP (1) EP3965003B1 (zh)
CN (1) CN111985265B (zh)
WO (1) WO2020233333A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633084A (zh) * 2020-12-07 2021-04-09 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112651389A (zh) * 2021-01-20 2021-04-13 北京中科虹霸科技有限公司 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674139A (zh) * 2021-08-17 2021-11-19 北京京东尚科信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN113705444A (zh) * 2021-08-27 2021-11-26 成都玻尔兹曼智贝科技有限公司 一种面部发育分析评估方法及系统
CN115546845A (zh) * 2022-11-24 2022-12-30 中国平安财产保险股份有限公司 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN116524552A (zh) * 2022-01-20 2023-08-01 中国移动通信有限公司研究院 一种图像生成方法、终端及存储介质
CN116563134A (zh) * 2023-03-13 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、电子设备和可读存储介质
CN119762603A (zh) * 2023-09-26 2025-04-04 荣耀终端股份有限公司 一种图像生成方法及相关装置
US12548127B2 (en) 2022-05-23 2026-02-10 Boe Technology Group Co., Ltd. Skin flaw removal image processing method and apparatus, electronic device and computer readable storage medium

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919888B (zh) * 2019-02-26 2023-09-19 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111695602B (zh) * 2020-05-18 2021-06-08 五邑大学 多维度任务人脸美丽预测方法、系统及存储介质
CN111709428B (zh) * 2020-05-29 2023-09-15 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
US12340510B2 (en) 2020-06-04 2025-06-24 The Procter & Gamble Company Oral care based digital imaging systems and methods for analyzing attributes of a facial image portion
US11978207B2 (en) * 2021-06-03 2024-05-07 The Procter & Gamble Company Oral care based digital imaging systems and methods for determining perceived attractiveness of a facial image portion
CN111832435A (zh) * 2020-06-24 2020-10-27 五邑大学 基于迁移与弱监督的美丽预测方法、装置及存储介质
JP7513094B2 (ja) * 2020-07-03 2024-07-09 日本電気株式会社 検出装置、学習装置、検出方法及びプログラム
CN112966592B (zh) * 2021-03-03 2024-11-22 北京百度网讯科技有限公司 手部关键点检测方法、装置、设备和介质
CN115082978A (zh) * 2021-03-10 2022-09-20 佳能株式会社 面部姿态的检测装置、方法、图像处理系统及存储介质
CN113240780B (zh) * 2021-05-14 2023-08-04 北京百度网讯科技有限公司 生成动画的方法和装置
CN113361380B (zh) * 2021-06-03 2023-04-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN114581987A (zh) * 2021-10-20 2022-06-03 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN114049250B (zh) * 2022-01-13 2022-04-12 广州卓腾科技有限公司 一种证件照人脸姿态矫正方法、装置及介质
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質
CN116740777B (zh) * 2022-09-28 2024-07-05 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备
US20240249118A1 (en) * 2023-01-18 2024-07-25 Nvidia Corporation Data mining using machine learning for autonomous systems and applications
CN116363583B (zh) * 2023-03-15 2025-12-12 暗物智能科技(广州)有限公司 一种用于顶视角的人体识别方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917963A (zh) * 2015-05-25 2015-09-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN105518709A (zh) * 2015-03-26 2016-04-20 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
CN107958439A (zh) * 2017-11-09 2018-04-24 北京小米移动软件有限公司 图像处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100552709B1 (ko) * 2004-05-21 2006-02-20 삼성전자주식회사 눈검출 장치 및 방법
KR100664956B1 (ko) * 2004-11-24 2007-01-04 삼성전자주식회사 눈 검출 방법 및 장치
JP4788319B2 (ja) * 2005-12-05 2011-10-05 日産自動車株式会社 開閉眼判定装置及び方法
CN106295533B (zh) * 2016-08-01 2019-07-02 厦门美图之家科技有限公司 一种自拍图像的优化方法、装置和拍摄终端
CN106951875A (zh) 2017-03-24 2017-07-14 深圳市唯特视科技有限公司 一种基于二进制卷积的人体姿态估计和人脸对齐的方法
CN108121950B (zh) 2017-12-05 2020-04-24 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN108062521A (zh) * 2017-12-12 2018-05-22 深圳大学 基于卷积神经网络的人脸检测方法、装置、终端及介质
CN108898087B (zh) * 2018-06-22 2020-10-16 腾讯科技（深圳）有限公司 人脸关键点定位模型的训练方法、装置、设备及存储介质
CN109344711B (zh) * 2018-08-30 2020-10-30 中国地质大学（武汉） 一种基于睡意程度的服务机器人主动服务方法
CN109800643B (zh) * 2018-12-14 2023-03-31 天津大学 一种活体人脸多角度的身份识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518709A (zh) * 2015-03-26 2016-04-20 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
US20160371537A1 (en) * 2015-03-26 2016-12-22 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
CN104917963A (zh) * 2015-05-25 2015-09-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107958439A (zh) * 2017-11-09 2018-04-24 北京小米移动软件有限公司 图像处理方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633084A (zh) * 2020-12-07 2021-04-09 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112633084B (zh) * 2020-12-07 2024-06-11 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112651389B (zh) * 2021-01-20 2023-11-14 北京中科虹霸科技有限公司 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
CN112651389A (zh) * 2021-01-20 2021-04-13 北京中科虹霸科技有限公司 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
CN113674230A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674230B (zh) * 2021-08-10 2023-12-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113674139A (zh) * 2021-08-17 2021-11-19 北京京东尚科信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN113705444A (zh) * 2021-08-27 2021-11-26 成都玻尔兹曼智贝科技有限公司 一种面部发育分析评估方法及系统
CN116524552A (zh) * 2022-01-20 2023-08-01 中国移动通信有限公司研究院 一种图像生成方法、终端及存储介质
US12548127B2 (en) 2022-05-23 2026-02-10 Boe Technology Group Co., Ltd. Skin flaw removal image processing method and apparatus, electronic device and computer readable storage medium
CN115546845B (zh) * 2022-11-24 2023-06-06 中国平安财产保险股份有限公司 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN115546845A (zh) * 2022-11-24 2022-12-30 中国平安财产保险股份有限公司 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN116563134A (zh) * 2023-03-13 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、电子设备和可读存储介质
CN119762603A (zh) * 2023-09-26 2025-04-04 荣耀终端股份有限公司 一种图像生成方法及相关装置

Also Published As

Publication number Publication date
CN111985265B (zh) 2024-04-12
EP3965003B1 (en) 2025-01-29
EP3965003A4 (en) 2022-07-06
US12136210B2 (en) 2024-11-05
US20220076000A1 (en) 2022-03-10
WO2020233333A1 (zh) 2020-11-26
EP3965003A1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
US12136210B2 (en) Image processing method and apparatus
US12210569B2 (en) Video clip positioning method and apparatus, computer device, and storage medium
US11776097B2 (en) Image fusion method, model training method, and related apparatuses
US11797084B2 (en) Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking
US11715224B2 (en) Three-dimensional object reconstruction method and apparatus
CN109074441B (zh) 基于注视的认证
WO2019105285A1 (zh) 人脸属性识别方法、电子设备及存储介质
CN110443769B (zh) 图像处理方法、图像处理装置及终端设备
WO2020078268A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN108985220B (zh) 一种人脸图像处理方法、装置及存储介质
WO2019233216A1 (zh) 一种手势动作的识别方法、装置以及设备
WO2016155564A1 (zh) 卷积神经网络模型的训练方法及装置
WO2020108404A1 (zh) 三维人脸模型的参数配置方法、装置、设备及存储介质
CN108712603B (zh) 一种图像处理方法及移动终端
CN110969060A (zh) 神经网络训练、视线追踪方法和装置及电子设备
CN109272473B (zh) 一种图像处理方法及移动终端
CN114399813A (zh) 人脸遮挡检测方法、模型训练方法、装置及电子设备
EP4136622B1 (en) Applying stored digital makeup enhancements to recognized faces in digital images
CN108197558A (zh) 人脸识别方法、装置、存储介质和电子设备
CN111080747B (zh) 一种人脸图像处理方法及电子设备
WO2019071562A1 (zh) 一种数据处理方法及终端
CN113849142B (zh) 图像展示方法、装置、电子设备及计算机可读存储介质
CN111797754B (zh) 图像检测的方法、装置、电子设备及介质
CN110472459A (zh) 提取特征点的方法和装置
CN117058567A (zh) 视频鉴伪方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant