CN116228976A - 眼镜虚拟试戴方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种眼镜虚拟试戴方法、设备及计算机可读存储介质，该眼镜虚拟试戴方法包括：获取用户的试戴视频；从所述试戴视频中获取用户的人脸三维信息；根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型；根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型；将所述目标眼镜模型加至所述试戴视频。本发明的眼镜虚拟试戴方法具有真实感强的优点。

Description

眼镜虚拟试戴方法、设备及计算机可读存储介质

技术领域

本发明涉及眼镜虚拟试戴技术领域，尤其涉及一种眼镜虚拟试戴方法、装置、设备及计算机可读存储介质。

背景技术

随着我国人工智能已形成完整产业体系，人工智能技术逐渐从底层基础识别技术研发走向产业落地的方向，并且发展出了增强现实(AR)、虚拟现实(VR)和混合现实(MR)等人工智能前沿技术。AR是指较少部分的数字化沉浸体验，VR是指完全沉浸式的数字化体验，MR是指真实与虚拟相互交织的数字化体验。AR技术被应用于很多行业里，例如虚拟美妆、虚拟衣服试穿以及虚拟眼镜试戴等。

常见的眼镜虚拟试戴方法主要是识别获取分析人脸轮廓信息之后再将预先建模的眼镜模型叠加到画面人脸中，形成一种虚拟试戴的效果。但是常见的眼镜虚拟试戴的方法往往会存在一些缺陷，由于预先建模的眼镜模型整体无法形变，会产生一些虚拟试戴不够真实的问题，例如眼镜镜腿直插眼角位置、眼镜镜框比例大于眼型比例显得试戴突兀等问题。

发明内容

本申请实施例通过提供一种眼镜虚拟试戴方法，旨在解决目前的眼镜虚拟试戴不够真实的技术问题。

为实现上述目的，本申请实施例提供了一种眼镜虚拟试戴方法，包括以下步骤：

获取用户的试戴视频；

从所述试戴视频中获取用户的人脸三维信息；

根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型；

根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型；

将所述目标眼镜模型加载至所述试戴视频。

在一实施例中，在从所述试戴视频中获取用户的人脸三维信息之前，所述方法还包括：

从所述试戴视频获取当前视频帧；

检测所述当前视频帧中是否存在符合设定条件的人脸，若是，则从所述试戴视频中获取用户的人脸三维信息。

在一实施例中，从所述试戴视频中获取用户的人脸三维信息，包括：

提取当前视频帧中的人脸数据和人脸关键点；

根据所述人脸数据和人脸关键点生成人脸三维模型；

根据所述人脸三维模型获取用户的人脸三维信息。

在一实施例中，所述人脸三维信息包括以下信息中的至少一者：人脸位置、欧拉角度、缩放比例、形状向量和纹理向量。

在一实施例中，根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型，包括：

从所述人脸三维模型中获取人脸眼部区域的特定顶点集合的三维信息；

根据人脸眼部区域特定顶点集合的三维信息，将预设眼镜模型中镜框模型的特定顶点集合与将人脸眼部区域的特定顶点集合一一匹配，以更新所述镜框模型的三维位置、三维比例及空间角度。

在一实施例中，根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型，还包括：

根据所述人脸三维信息更新所述镜腿模型的三维位置、三维比例及空间角度。

在一实施例中，根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型，包括：

基于预先设计的拼接点拼接更新后的镜腿模型和镜框模型；

在眼镜模型拼接完成后微调更新后的眼镜模型的三维信息以得到所述目标眼镜模型。

在一实施例中，将所述目标眼镜模型加载至所述试戴视频，包括：

将所述目标眼镜模型加载至当前视频帧中用户的脸部；

循环从所述试戴视频获取当前视频帧到将所述目标眼镜模型加载至当前视频帧中用户的脸部的步骤，直至无法从当前视频帧中检测到用户的人脸或用户结束眼镜虚拟试戴。

为实现上述目的，本申请实施例还提出一种眼镜虚拟试戴设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的眼镜虚拟试戴程序，所述处理器执行所述眼镜虚拟试戴程序时实现如上述任一项所述的眼镜虚拟试戴方法。

为实现上述目的，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有眼镜虚拟试戴程序，所述眼镜虚拟试戴程序被处理器执行时实现如上述任一项所述的眼镜虚拟试戴方法。

本申请技术方案的眼镜虚拟试戴方法，通过获取试戴视频中用户的人脸三维信息，以更新预设眼镜模型的镜框模型和镜腿模型，再利用更新后的镜框模型和镜腿模型生成符合用户当前面部特征的目标眼镜模型，最后将该目标眼镜模型加载至试戴视频的用户脸部。如此，便能够依据不同用户的脸部特征自适应地生成不同的眼镜模型。进而避免虚拟试戴时的眼镜模型与用户脸部特征不匹配，导致镜腿插眼角、镜框比例不合适等导致佩戴真实感欠佳的问题。并且，本申请的技术方案还可根据用户脸部的移动实时地更新目标眼镜模型，以保证每一帧画面中眼镜虚拟试戴的真实感。可见，相较于传统的眼镜虚拟试戴方法，本申请的眼镜试戴方法具有真实感强的优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明眼镜虚拟试戴设备一实施例的模块结构图；

图2为本发明眼镜虚拟试戴方法一实施例的流程示意图；

图3为本发明眼镜虚拟试戴方法另一实施例的流程示意图；

图4为本发明眼镜虚拟试戴方法又一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。文中出现的“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的数量词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。而“第一”、“第二”、以及“第三”等的使用不表示任何顺序，可将这些词解释为名称。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的服务器1(又叫眼镜虚拟试戴设备)结构示意图。

本发明实施例服务器，如“物联网设备”、带联网功能的智能空调、智能电灯、智能电源，带联网功能的AR/VR设备，智能音箱、自动驾驶汽车、PC，智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的设备。

如图1所示，所述服务器1包括：存储器11、处理器12及网络接口13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如该服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，存储器11还可以包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如眼镜虚拟试戴程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行眼镜虚拟试戴程序10等。

网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该服务器1与其他电子设备之间建立通信连接。

网络可以为互联网、云网络、无线保真(Wi-Fi)网络、个人网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(Blue Tooth)通信协议或其组合。

可选地，该服务器还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。

图1仅示出了具有组件11-13以及眼镜虚拟试戴程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在本实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

获取用户的试戴视频；

从所述试戴视频中获取用户的人脸三维信息；

根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型；

根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型；

将所述目标眼镜模型加载至所述试戴视频。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

从所述试戴视频获取当前视频帧；

检测所述当前视频帧中是否存在符合设定条件的人脸，若是，则从所述试戴视频中获取用户的人脸三维信息。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

提取当前视频帧中的人脸数据和人脸关键点；

根据所述人脸数据和人脸关键点生成人脸三维模型；

根据所述人脸三维模型获取用户的人脸三维信息。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

所述人脸三维信息包括以下信息中的至少一者：人脸位置、欧拉角度、缩放比例、形状向量和纹理向量。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

从所述人脸三维模型中获取人脸眼部区域的特定顶点集合的三维信息；

根据人脸眼部区域特定顶点集合的三维信息，将预设眼镜模型中镜框模型的特定顶点集合与将人脸眼部区域的特定顶点集合一一匹配，以更新所述镜框模型的三维位置、三维比例及空间角度。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

根据所述人脸三维信息更新所述镜腿模型的三维位置、三维比例及空间角度。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

基于预先设计的拼接点拼接更新后的镜腿模型和镜框模型；

在眼镜模型拼接完成后微调更新后的眼镜模型的三维信息以得到所述目标眼镜模型。

在一实施例中，处理器12可以用于调用存储器11中存储的眼镜虚拟试戴程序，并执行以下操作：

将所述目标眼镜模型加载至当前视频帧中用户的脸部；

循环从所述试戴视频获取当前视频帧到将所述目标眼镜模型加载至当前视频帧中用户的脸部的步骤，直至无法从当前视频帧中检测到用户的人脸或用户结束眼镜虚拟试戴。

基于上述眼镜虚拟试戴设备的硬件构架，提出本发明眼镜虚拟试戴方法的实施例。本发明的眼镜虚拟试戴方法，旨在解决目前的眼镜虚拟试戴不够真实的技术问题。

参照图2，图2为本发明眼镜虚拟试戴方法的一实施例，所述眼镜虚拟试戴方法包括以下步骤：

S10、获取用户的试戴视频。

具体来说，可以通过手机、平板电脑、网络摄像头或其他视频采集设备采集用户的试戴视频。

用户可以在自己的家里或其他地方拍摄试戴视频，然后将视频传送给系统进行处理；也可以在商店(眼镜销售门店)或其他特定场所设置视频采集设备，并让用户在这些场所拍摄试戴视频。

S20、从所述试戴视频中获取用户的人脸三维信息。

其中，人脸三维信息是指人脸的几何结构信息，包括人脸的形状、大小、骨架结构等信息。三维人脸信息可以帮助我们更好地了解人脸的特征，进而应用于人脸识别、人脸跟踪、人脸美化等领域。

具体来说，可以使用人脸检测算法在视频中检测出用户的人脸，然后使用三维人脸重建算法来获取人脸的三维信息。在进行人脸检测时，可以使用人脸检测模型来识别视频中的人脸。而在进行三维人脸重建时，可以使用三维人脸重建模型来重建人脸，并获取人脸的三维信息，进而以得到用户的人脸三维模型。

可选择地，从所述试戴视频中获取用户的人脸三维信息包括以下步骤：

S21、提取当前视频帧中的人脸数据和人脸关键点。

可选择地，如图3所示，在一些实施例中，在从所述试戴视频中获取用户的人脸三维信息之前所述方法还包括：

S11、获取所述试戴视频的当前视频帧。

具体来说，获取当前视频帧的方法有很多种，如通过视频解码器(videodecoder)、视频播放器(video player)或者视频处理框架(video processing framework)等方式来实现。开发人员可以根据实际产品设计，采用最适合的视频帧获取手段。

S12、检测所述当前视频帧中是否存在符合设定条件的人脸，若是，则从所述试戴视频中获取用户的人脸三维信息。

具体来说，通过解析试戴视频获取试戴视频的当前视频帧后，可进一步采用轻量级神经网络(CNN，卷积神经网络)检测识别当前视频帧中所有的人脸(框)，以判断当前视频帧中是否存在符合设定条件的人脸特征。

在检测人脸时，我们可以设定一定的人脸检测准确率阈值作为设定条件，以从试戴视频中筛选出符合要求的用户人脸。其中，人脸检测准确率的阈值是指人脸检测算法的准确率的临界值。也就是说，当人脸检测的准确率达到这个阈值时，就认为人脸检测算法的效果已经达到了可以接受的水平。值得说明的是，人脸检测准确率的阈值通常是由开发人员根据应用场景和需求进行设置的，并不是固定不变的。通常情况下，人脸检测准确率的阈值越高，代表人脸检测算法的效果越好，但同时也会增加系统的复杂度和计算资源的消耗。

示例性的，我们可以将人脸检测准确率的阈值设置为0.85，即是说，当前视频帧中低于准确率0.85的人脸(框)将会被舍弃。如此，若从当前视频帧中检测到了准确率高于0.85人脸(框)，系统便会认定当前视频帧中存在符合设定条件的用户人脸。反之，若未检测到符合设定条件的用户人脸，则系统会结束眼镜试戴，或是发出提示信息以要求用户正确的录制试戴视频。

可以理解，通过添加人脸检测这一步骤，能够节约不必要的资源浪费，提升系统的运行效率。当然，本申请的设计不限于此，在其他实施例中，也可不设置人脸检测这一步骤。

进一步地，在确定了当前视频帧中存在符合要求的人脸后，系统便可提取当前视频帧中用户人脸的人脸数据和人脸关键点。其中，人脸数据是指人脸的形态信息，包括人脸的形状、大小、颜色等。人脸关键点是指人脸的特征点，包括眼睛、鼻子、嘴巴等。

S22、根据所述人脸数据和人脸关键点生成用户的人脸三维模型。

具体来说，眼镜虚拟试戴系统中内置了一个通用的人脸三维模型，这个通用的人脸三维模型是一个可变模型，其可以根据采集到的用户人脸的人脸数据和人脸关键点进行适应性调整，以更新为与用户当前脸部特征相匹配的人脸三维模型。

可选择地，可采用采用人脸三维形变统计模型(3DMM)进行人脸三维重建。3DMM是一种弱监督模型(参考文献《A Morphable Model For The Synthesis Of 3D Faces》)，2D图像集合中联合学习非线性人脸三维形变统计模型及其拟合算法，在UV空间中训练面部纹理特征生成器，将自我监督学习作为面部纹理特征的统计参数表示。

其中，UV空间是指三维建模中用来表示三维模型表面纹理信息的二维平面。UV空间由U和V两个方向构成，U方向和V方向对应三维空间中的X和Y方向。UV空间中的点可以对应到三维模型的表面上的点，通过控制UV空间中的点的位置，可以控制三维模型的表面纹理的位置、大小、方向等信息。

进一步地，3DMM由两部分组成：基础模型和形变参数。基础模型包含了人脸的基本形态信息，例如鼻子的形状、眼睛的位置等。形变参数用来描述人脸在基础模型的基础上的形变信息，例如人脸的大小、旋转角度等。

具体地，使用3DMM进行人脸三维重建的过程包括以下步骤：

(1)、人脸检测算法检测出人脸位置和关键点。

(2)、使用3DMM模型中的基础模型和形变参数重建人脸三维模型。

S23、根据所述人脸三维模型获取用户的人脸三维信息。

在得到用户的人脸三维模型后，便可以根据该用户的人脸三维模型得到用户的人脸三维信息。

这其中，从人脸三维模型中所获取的用户人脸三维信息包括但不限于人脸位置、欧拉角度、缩放比例、形状向量和纹理向量。其中，人脸位置是指人脸在三维空间中的位置；欧拉角度是指人脸在三维空间中的旋转角度；缩放比例是指人脸在三维空间中的大小；形状向量是指人脸的形状信息；纹理向量是指人脸的纹理信息。

当然，在一些实施例中，人脸三维信息还可以包括人脸颜色、形状等信息。

S30、根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型。

其中，眼镜模型是指在设计眼镜虚拟试戴系统时预先设定好的三维模型。在眼镜虚拟试戴系统有单独的数据库以保存这些眼镜模型，并可以通过特定的展示页面展示这些眼镜模型。用户可以该特定的展示页面选择所要试戴的眼镜模型，此时，被用户所选择的眼镜模型即为步骤S30中所需进行更新的预设眼镜模型。

眼镜模型可以由眼镜设计师或者眼镜制造商创建。在创建预设眼镜模型时，需要考虑眼镜的造型、大小、颜色等因素，以及眼镜的镜框和镜腿的形状和尺寸。

进一步地，眼镜模型被设置为由镜框模型和镜腿模型两部分组成，其中，镜框模块和镜腿模型都可根据所得到的用户的人脸三维信息进行更新。

具体来说，根据人脸三维信息更新预设眼镜模型的镜框模型和镜腿模型，是指使用人脸三维信息来调整预设眼镜模型的镜框模型和镜腿模型，如调整镜框模型和镜腿模型的位置、角度、尺寸等，以使最终生成的眼镜模型适配当前用户的脸部特征。

可选择地，根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型，包括以下步骤：

S31、从所述人脸三维模型中获取人脸眼部区域的特定顶点集合的三维信息。

其中，人脸眼部区域是指人脸上的眼部区域，包括眼睛、眉毛、鼻子、鼻翼、眼袋等部位。

人脸眼部区域的特定顶点集合是指预指定的人脸眼部区域上关键点的集合。

具体来说，人脸眼部区域的特定顶点集合的三维信息是指人脸眼部区域中所有被指定的关键点的三维信息，在步骤S31中，三维信息具体包括形状向量和纹理向量。

S32、根据人脸眼部区域特定顶点集合的三维信息，将预设眼镜模型中镜框模型的特定顶点集合与将人脸眼部区域的特定顶点集合一一匹配，以更新所述镜框模型的三维位置、三维比例及空间角度。

其中，三维位置指的是镜框模型在三维空间中的位置，这个位置可以用三个坐标值来表示，以分别表示镜框模型在三个方向上的位移量。

三维比例指的是镜框模型在三维空间中的尺寸比例，它包括镜框模型在三个维度上的长度、宽度和高度比例。

空间角度指的是镜框模型在三维空间中的旋转角度。这个角度可以用欧拉角或四元数来表示，以分别描述镜框模型在三个方向上的旋转量。

眼镜模型中镜框模型的特定顶点集合是指眼镜模型建立时预先指定的关键点的集合。

具体来说，人脸眼部区域的特定顶点集合中的顶点与镜框模型的特定顶点集合中的顶点是预先设定的一一匹配的顶点对，通过形状向量和纹理向量能够在三维空间中使镜框模型的关键点与人脸脸部区域的关键点一一匹配，从而能够更新镜框模型在三维空间中的三维位置、三维比例及空间角度。如此，能够使得预设眼镜模型的镜框模型能够适配当前用户的面部特征。

S33、根据所述人脸三维信息更新所述镜腿模型的三维位置、三维比例及空间角度。

具体来说，在更新镜腿模型的同时，虚拟眼镜试戴系统可以根据人脸三维信息更新镜腿模型的三维位置、三维比例及空间角度。这其中，更新镜腿模型所使用的人脸三维信息可以包括人脸眼部区域的信息、人脸耳朵区域的三维信息、人脸额头部位的三维信息等。

S40、根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型。

具体来说，目标眼镜模型是所得到的适配于用户当前脸部特征的眼镜模型，其是在用户当前选择地眼镜模型的基础上，针对当前用户的脸部特征适应性调整得到的眼镜模型。

可选择地，根据更新后的镜框及镜腿生成适配于当前用户的目标眼镜模型包括以下步骤：

S41、基于预先设计的拼接点拼接更新后的镜腿模型和镜框模型。

其中，预先设计的拼接点是指在镜腿模型和镜框模型设计时预先设定的点，可以用来将镜腿模型与镜框模型拼接在一起。在拼接过程中，可以使用各种数学方法(如解析几何、贝塞尔曲线、三维变换等)来计算新的镜腿模型和镜框模型的位置和形状。

S42、在眼镜模型拼接完成后微调更新后的眼镜模型的三维信息以得到所述目标眼镜模型。

具体来说，在眼镜模型拼接完成后，还可以通过微调更新后的眼镜模型的三维信息来调整眼镜模型的精度，以使得到的目标眼镜模型更加逼真，更加匹配当前用户的面部特征。

可选择地，在眼镜模型拼接完成后，可以通过训练完成的机器学习算法自动微调拼接得到的眼镜模型，以实现眼镜模型的自动微调。

S50、将所述目标眼镜模型加载至所述试戴视频。

具体来说，可以使用三维渲染软件或者其他图形学工具，将眼镜模型与试戴视频中的人脸图像进行合并，以生成新的视频，再将该新视频输出至显示模块，进而以实时展示虚拟眼镜试戴的效果。

可选择地，如图4所示，将所述目标眼镜模型加载至所述试戴视频包括以下步骤：

S51、将所述目标眼镜模型加载至当前视频帧中用户的脸部。

具体来说，可将目标眼镜模型的<position,rotation,scale>(位置、旋转、缩放)三维数据叠加到三维虚拟空间的摄像头中，以将目标眼镜模型加载至当前视频帧中用户的脸部。

S52、循环从所述试戴视频获取当前视频帧到将所述目标眼镜模型加载至当前视频帧中用户的脸部的步骤，直至无法从当前视频帧中检测到用户的人脸或用户结束眼镜虚拟试戴。

具体来说，在将目标眼镜模型加载至当前视频帧中用户的脸部后，可循环执行步骤S11至步骤S51，以根据试戴视频中用户脸部的移动实时地更新目标眼镜模型，进而可在实时呈现虚拟眼镜试戴效果同时，保证每一帧画面中眼镜虚拟试戴的真实感。

值得说明的是，在循环执行步骤S11至步骤S51时，可利用人脸跟踪算法实时跟踪检测识别到的人脸。如此，能够提高实时检测的速度，提升系统的响应速度。这其中，跟踪算法可参考CVPR 2021文献《High-fidelity Face Tracking for AR/VR via Deep LightingAdaptation》。

可以理解，本申请技术方案的眼镜虚拟试戴方法，通过获取试戴视频中用户的人脸三维信息，以更新预设眼镜模型的镜框模型和镜腿模型，再利用更新后的镜框模型和镜腿模型生成符合用户当前面部特征的目标眼镜模型，最后将该目标眼镜模型加载至试戴视频的用户脸部。如此，便能够依据不同用户的脸部特征自适应地生成不同的眼镜模型。进而避免虚拟试戴时的眼镜模型与用户脸部特征不匹配，导致镜腿插眼角、镜框比例不合适等导致佩戴真实感欠佳的问题。并且，本申请的技术方案还可根据用户脸部的移动实时地更新目标眼镜模型，以保证每一帧画面中眼镜虚拟试戴的真实感。可见，相较于传统的眼镜虚拟试戴方法，本申请的眼镜试戴方法具有真实感强的优点。

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括眼镜虚拟试戴程序10，本发明之计算机可读存储介质的具体实施方式与上述眼镜虚拟试戴方法以及服务器1的具体实施方式大致相同，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种眼镜虚拟试戴方法，其特征在于，包括：

获取用户的试戴视频；

从所述试戴视频中获取用户的人脸三维信息；

根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型；

根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型；

将所述目标眼镜模型加载至所述试戴视频。

2.如权利要求1所述的眼镜虚拟试戴方法，其特征在于，在从所述试戴视频中获取用户的人脸三维信息之前，所述方法还包括：

从所述试戴视频获取当前视频帧；

检测所述当前视频帧中是否存在符合设定条件的人脸，若是，则从所述试戴视频中获取用户的人脸三维信息。

3.如权利要求2所述的眼镜虚拟试戴方法，其特征在于，从所述试戴视频中获取用户的人脸三维信息，包括：

提取当前视频帧中的人脸数据和人脸关键点；

根据所述人脸数据和人脸关键点生成人脸三维模型；

根据所述人脸三维模型获取用户的人脸三维信息。

4.如权利要求3所述的眼镜虚拟试戴方法，其特征在于，所述人脸三维信息包括以下信息中的至少一者：人脸位置、欧拉角度、缩放比例、形状向量和纹理向量。

5.如权利要求3所述的眼镜虚拟试戴方法，其特征在于，根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型，包括：

从所述人脸三维模型中获取人脸眼部区域的特定顶点集合的三维信息；

根据人脸眼部区域特定顶点集合的三维信息，将预设眼镜模型中镜框模型的特定顶点集合与将人脸眼部区域的特定顶点集合一一匹配，以更新所述镜框模型的三维位置、三维比例及空间角度。

6.如权利要求5所述的眼镜虚拟试戴方法，其特征在于，根据所述人脸三维信息更新预设眼镜模型的镜框模型及镜腿模型，还包括：

根据所述人脸三维信息更新所述镜腿模型的三维位置、三维比例及空间角度。

7.如权利要求6所述的眼镜虚拟试戴方法，其特征在于，根据更新后的镜框模型及镜腿模型生成适配于用户当前脸部特征的目标眼镜模型，包括：

基于预先设计的拼接点拼接更新后的镜腿模型和镜框模型；

在眼镜模型拼接完成后微调更新后的眼镜模型的三维信息以得到所述目标眼镜模型。

8.如权利要求7所述的眼镜虚拟试戴方法，其特征在于，将所述目标眼镜模型加载至所述试戴视频，包括：

将所述目标眼镜模型加载至当前视频帧中用户的脸部；

循环从所述试戴视频获取当前视频帧到将所述目标眼镜模型加载至当前视频帧中用户的脸部的步骤，直至无法从当前视频帧中检测到用户的人脸或用户结束眼镜虚拟试戴。

9.一种眼镜虚拟试戴设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的眼镜虚拟试戴程序，所述处理器执行所述眼镜虚拟试戴程序时实现如权利要求1-8中任一项所述的眼镜虚拟试戴方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有眼镜虚拟试戴程序，所述眼镜虚拟试戴程序被处理器执行时实现如权利要求1-8中任一项所述的眼镜虚拟试戴方法。

Images