CN111476834B - 生成图像的方法、装置及电子设备 - Google Patents

Abstract

公开了一种生成图像的方法，包括：确定第一图像中的每一像素点的反射信息；根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息；根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像。可以根据需要在第一图像的不同位置中添加不同的预设物体模型，可得到大量的第二图像和第二深度图像，可以节省训练神经网络时的时间和精力、可以降低成本、可降低第二深度图像存在误差的可能性、避免额外的对抗训练。

Description

生成图像的方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种生成图像的方法、装置及电子设备。

背景技术

近年来，以深度学习为中心的机器学习技术引起了人们的关注。通过深度学习，可以判断当前车辆与周围车辆、行人和障碍物的距离，使得自动驾驶汽车逐渐成为可能。在所有深度学习的方法中，基于单目图像的深度估计算法，具有方便部署、计算成本低等优点，受到了学术界和工业界日益增长的关注。

现有的基于单目图像的深度估计算法，需要大量的图像和深度图像(带有深度标注的数据)来训练深度估计神经网络模型，而这类训练数据的采集费时费力、成本高，且受噪声等因素影响，得到的深度图像容易存在误差。

发明内容

为了解决上述技术问题，本申请实施例提供了一种生成图像的方法、装置及电子设备。

根据本申请的一个方面，提供了一种生成图像的方法，包括：确定第一图像中的每一像素点的反射信息；根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息；根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像。

根据本申请的另一个方面，提供了一种生成图像的装置，包括：反射信息确定模块，用于确定第一图像中的每一像素点的反射信息；光源确定模块，用于根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息；第二图像获取模块，用于根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；第二深度图像获取模块，用于根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。

本申请实施例提供的生成图像的方法，可以根据需要在第一图像的不同位置中添加不同的预设物体模型，因此通过不同的预设物体模型可得到大量的第二图像和第二深度图像，进而将大量的第二图像和第二深度图像作为训练深度估计神经网络模型的标注数据，对深度估计神经网络模型进行训练，从而可以节省训练神经网络时的时间和精力；由于避免了采集大量的样本数据，因此可以降低成本；此外，通过真实的第一图像得到第二深度图像，因此可降低第二深度图像存在误差的可能性，避免了对标注数据进行额外的对抗训练。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性系统的场景示意图。

图2是本申请一示例性实施例提供的生成图像的方法的流程示意图。

图3是本申请一示例性实施例提供的根据第一图像、第一图像对应的表面法线图和反射信息，确定在拍摄第一图像所在场景中的光源信息的流程示意图。

图4是本申请一示例性实施例提供的根据第一图像、表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像的流程示意图。

图5是本申请一示例性实施例提供的根据第一图像对应的第一深度图像和预设物体模型，得到与第二图像对应的第二深度图像的流程示意图。

图6是本申请一示例性实施例提供的根据第一图像的相机参数和预设物体模型的三维坐标，确定预设物体模型的像素坐标的流程示意图。

图7是本申请另一示例性实施例提供的生成图像的方法的流程示意图。

图8是本申请一示例性实施例提供的生成图像的装置的结构示意图。

图9是本申请一示例性实施例提供的生成图像的装置中的光源确定模块的结构示意图。

图10是本申请一示例性实施例提供的生成图像的装置中的第二图像获取模块的结构示意图。

图11是本申请一示例性实施例提供的生成图像的装置中的第二深度图像获取模块的结构示意图。

图12是本申请一示例性实施例提供的生成图像的装置中的像素坐标确定单元的结构示意图。

图13是本申请另一示例性实施例提供的生成图像的装置的结构示意图。

图14是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

目前，可以通过3D(Dimensions，维)引擎渲染来合成图像，同时生成深度图像。然而用3D引擎渲染合成的图像与真实拍摄的图像存在较大的差异，使用该类图像训练深度估计神经网络模型，通常需要引入额外的对抗训练来减小与真实拍摄的图像之间差异的影响。

针对上述技术问题，本申请的基本构思是提出一种生成图像的方法、装置及电子设备，可以根据需要在第一图像的不同位置中添加不同的预设物体模型，因此通过不同的预设物体模型可得到大量的第二图像和第二深度图像，进而将大量的第二图像和第二深度图像作为训练深度估计神经网络模型的标注数据，对深度估计神经网络模型进行训练，从而可以节省训练神经网络时的时间和精力；由于避免了采集大量的样本数据，因此可以降低成本；此外，通过真实的第一图像得到第二深度图像，因此可降低第二深度图像存在误差的可能性，避免了对标注数据进行额外的对抗训练。

需要说明的是，本申请的应用范围不局限于图像处理技术领域。例如，本申请实施例提及的技术方案还可以应用于其他智能可移动设备，用于对智能可移动设备的图像处理提供技术支持。

下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1是本申请一示例性系统的场景示意图。如图1所示，对第一图像(第一图像可以是RGB图像或灰度图像)进行参数估计；根据第一图像和参数估计的结果(或根据第一图像、参数估计的结果和第一深度图像)，进行光源估计；根据光源估计结果、第一图像、第一深度图像和预设物体模型，进行编辑和渲染，得到第二图像和第二深度图像。具体实现过程的详细描述见下面方法和装置实施例。

示例性方法

图2是本申请一示例性实施例提供的生成图像的方法的流程示意图。本申请实施例提供的生成图像的方法可应用到汽车的图像处理技术领域，亦可应用到智能机器人的图像处理类功能领域。如图2所示，本申请实施例提供的生成图像的方法包括如下步骤：

步骤101，确定第一图像中的每一像素点的反射信息。

需要说明的是，第一图像可以是RGB图像或灰度图像，第一图像可以为样本库中的样本图像。

反射信息包括漫反射参数和镜面反射参数。本实施例中，每一像素点的反射信息可以指该像素点对应的漫反射参数。需要说明的是，漫反射是指光线被粗糙表面无规则地向各个方向反射的现象，用来表示物体材质是如何反射光照的。在本实施例中，可以通过如下公式确定第一图像中的每一像素点(x,y)的漫反射参数r(x,y)：

其中，r(x,y)表示像素点(x,y)的漫反射参数，i_x表示像素点(x,y)在水平方向的梯度、i_y表示像素点(x,y)在竖直方向的梯度、T为预设阈值、0≤T≤255，p为自然数、一般取值为1或2。

步骤102，根据第一图像、第一图像对应的表面法线图和反射信息，确定在拍摄第一图像所在场景中的光源信息。

在一实施例中，光源信息可以包括光源位置和光源强度，等。在拍摄第一图像所在场景中的光源信息，即在拍摄第一图像时，第一图像所在场景中的光源信息，例如：拍摄第一图像所在的场景是房间内，通过摄像机拍摄房间内的场景得到第一图像，该第一图像中包含有房间中的窗户和处于亮灯状态的台灯，则通过窗户的阳光和处于亮灯状态的台灯即可视为本申请所述的光源信息。

在一实施例中，可以将第一图像输入已训练的预设法线图提取神经网络，得到第一图像对应的表面法线图。其中，预设法线图提取神经网路可以通过大量样本图像来训练卷积神经网络得到。

步骤103，根据第一图像、表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像。

在一实施例中，预设物体模型可以是人物、动物、机械等，可以根据实际应用状况，在第一图像中添加预设物体模型，进行编辑渲染，得到第二图像。例如：拍摄第一图像所在的场景是房间内，房间内有窗户和处于亮灯状态的台灯，若预设物体模型为猫的三维模型，可将猫的三维模型添加到第一图像中的窗户的下方，并对猫的三维模型进行编辑渲染，得到第二图像，由此，第二图像中即可增加了猫的三维模型。

步骤104，根据第一图像对应的第一深度图像和预设物体模型，得到与第二图像对应的第二深度图像。

需要说明的是，第一深度图像与第一图像对应，第一深度图像可以为样本库中的样本深度图像。

本申请实施例所提及的生成图像的方法，由于可以根据需要在第一图像的不同位置中添加不同的预设物体模型，因此通过不同的预设物体模型可得到大量的第二图像和第二深度图像，进而将大量的第二图像和第二深度图像作为训练深度估计神经网络模型的标注数据，对深度估计神经网络模型进行训练，从而可以节省训练神经网络时的时间和精力；由于避免了采集大量的样本数据，因此可以降低成本；此外，通过真实的第一图像得到第二深度图像，因此可降低第二深度图像存在误差的可能性，避免了对标注数据进行额外的对抗训练。

本申请一示例性实施例提供了另一种生成图像的方法。在本申请图2所示实施例的基础上延伸出本申请所示实施例，下面着重叙述本实施例与图2所示实施例的不同之处，相同之处不再赘述。本申请实施例提供的生成图像的方法还包括：

确定第一深度图像中的每一像素点对应的表面法线，得到第一图像对应的表面法线图。

在一实施例中，每一像素点对应的表面法线，可以通过计算每一像素点和其周围预设个像素点在3D坐标系下拟合成的平面的法线得到。预设个像素点的个数可以根据实际应用状况进行选取，对此不做具体限定。

本申请实施例所提及的生成图像的方法，由于可以利用第一深度图像直接得到第一图像对应的表面法线图，实现过程简单，不需要额外的资源，可以节约资源和空间、提高实现速度。

图3是本申请一示例性实施例提供的根据第一图像、第一图像对应的表面法线图和反射信息，确定在拍摄第一图像所在场景中的光源信息的流程示意图。在本申请图2所示实施例的基础上延伸出本申请图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图3所示，在本申请实施例提供的生成图像的方法中，光源信息包括光源位置和光源强度；根据第一图像、第一图像对应的表面法线图和反射信息，确定在拍摄第一图像所在场景中的光源信息(即步骤102)，包括：

步骤102a，对第一图像进行图像分割，得到多个图像子区域。

需要说明的是，对第一图像进行图像分割，得到多个图像子区域(像素的集合，也被称作超像素)。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。

步骤102b，利用表面法线图和反射信息确定每个图像子区域的特征向量。

需要说明的是，利用表面法线图和反射信息确定每个图像子区域的特征向量，可以根据实际应用状况，采用任何一种可行的方式实现，对此不做具体限定。

本实施例中，反射信息为漫反射参数，利用表面法线图和反射信息确定每个图像子区域j的特征向量E_j如下：

其中，E_j(n)表示由第n个算子计算出的图像子区域j的特征向量的值，S_j表示图像子区域j的区域范围，I(x,y)表示像素点(x,y)对应的表面法线值和漫反射参数值的叠加，F_n(x,y)表示n个算子、n取值为17、包括9个纹理模板算子、6个不同方向的边缘算子和2个颜色算子，k取值为2和4、当k取值为2时表示能量特征、当k取值为4时表示峰值特征。

后续再通过上述公式，计算图像子区域j周围四个相邻图像子区域的特征向量和两个尺度的特征向量，将计算的各个特性向量进行叠加，构造出一个17*2*5*2＝340维的特征向量，其中，17*2*5*2中，按照从左到右的顺序，17是表示17个算子，2表示K取值2和4两种情况、5表示5个图像子区域、2表示2个尺度。需要说明的是，如果图像子区域j位于边角的位置，不存在四个相邻图像子区域时，不存在的相邻图像子区域对应的特征向量用0代替；两个尺度，一般选取图像子区域j的原尺度和小于图像子区域j的原尺度的尺度(一般选择50％尺度)。

步骤102c，根据每个图像子区域的特征向量和预设光源二分类神经网络，确定第一图像中的光源位置。

需要说明的是，将每个图像子区域(也可称为超像素)的特征向量作为预设光源二分类神经网络的输入，以图像子区域是否为光源为输出，如果一个图像子区域被判断为光源，那该图像子区域的位置就是光源位置。确定出第一图像中的光源位置，即第一图像中的确定为光源的像素点的坐标，第l个光源的像素点的坐标用(x_l,y_l)表示，l为自然数。

步骤102d，根据第一图像和第一图像中的光源位置，确定第一图像中的光源强度。

需要说明的是，根据第一图像和第一图像中的光源位置，确定第一图像中的光源强度，可以根据实际应用状况，采用任何一种可行的方式实现，对此不做具体限定。

本申请实施例中，确定第一图像中的光源强度采用如下公式实现：

其中，L_l表示第l个光源强度，pixels表示第一图像中的像素点，I_l表示第一图像中像素点(x_l,y_l)的像素值，R_l(L)表示在第l个光源L作用下渲染出的像素点(x_l,y_l)的像素值、可以先为第l个光源L的光源强度预估几个值、预估的几个值中使上述式子值最小的光源强度、作为光源强度L_l的结果。

本申请实施例所提及的生成图像的方法，由于可以得到第一图像中的光源位置和光源强度，使得根据第一图像生成的第二图像和第二深度图像更加真实有效。

图4是本申请一示例性实施例提供的根据第一图像、表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。

如图4所示，在本申请实施例提供的生成图像的方法中，根据第一图像、表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像(即步骤103)，包括：

步骤103a，通过表面法线图限制预设物体模型的放置位置。

在一实施例中，可以通过表面法线图对预设物体模型的放置位置进行约束，避免预设物体模型放置在第一图像的边界之外。

步骤103b，确定第一图像的相机参数。

需要说明的是，相机参数包括相机内参数和相机外参数。相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等。相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。

步骤103c，根据第一图像的相机参数和预设物体模型的三维坐标，确定预设物体模型的像素坐标。

需要说明的是，三维坐标即三维笛卡尔坐标(x,y,z)，是在三维笛卡尔坐标系下的点的表达式，其中，x、y、z分别是拥有共同的零点且彼此相互正交的x轴、y轴、z轴的坐标值。像素坐标(x,y)是像素在图像中的位置。

步骤103d，根据预设物体模型的像素坐标、反射信息、光源位置和光源强度，将第一图像和预设物体模型进行编辑渲染，得到第二图像。

需要说明的是，将第一图像和预设物体模型进行编辑渲染，用预设物体模型替换第一图像中相应位置的物体，得到第二图像。

本申请实施例所提及的生成图像的方法，由于可以通过表面法线图限制预设物体模型的放置位置，可以避免预设物体模型超出第一图像的边界，使得生成的第二图像更加真实有效。

图5是本申请一示例性实施例提供的根据第一图像对应的第一深度图像和预设物体模型，得到与第二图像对应的第二深度图像的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5所示，在本申请实施例提供的生成图像的方法中，根据第一图像对应的第一深度图像和预设物体模型，得到与第二图像对应的第二深度图像(即步骤104)，包括：

步骤104a，根据预设物体模型的三维坐标，得到预设物体模型中每个像素点的深度值。

需要说明的是，可以将预设物体模型中每个点的三维坐标(x,y,z)的z坐标值作为预设物体模型中相应的每个像素点的深度值。

步骤104b，根据第一深度图像和预设物体模型中每个像素点的深度值，得到第二深度图像。

需要说明的是，第二深度图像中与第一深度图像相同部分的像素点的深度值为第一深度图像中的对应部分的像素点的深度值，第二深度图像中预设物体模型部分的像素点的深度值为预设物体模型的像素点的深度值。

本申请实施例所提及的生成图像的方法，由于根据预设物体模型的三维坐标，即可以得到预设物体模型中每个像素点的深度值，根据第一深度图像和预设物体模型中每个像素点的深度值，即可以得到第二深度图像，实现简单快捷，且数据真实有效。

图6是本申请一示例性实施例提供的根据第一图像的相机参数和预设物体模型的三维坐标，确定预设物体模型的像素坐标的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图6所示实施例，下面着重叙述图6所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图6所示，在本申请实施例提供的生成图像的方法中，根据第一图像的相机参数和预设物体模型的三维坐标，确定预设物体模型的像素坐标(即步骤103c)，包括：

步骤103c1，设置预设物体模型的参考像素点。

需要说明的是，可以将预设物体模型的正中心的像素点设为参考像素点(x₁,y₁)。

步骤103c2，设定参考像素点的像素坐标和深度值。

需要说明的是，可以通过改变预设物体模型在第一图像中的位置改变预设物体模型在像素坐标系下的坐标从而设定参考像素点的像素坐标。改变预设物体模型在第一图像中的位置可以通过拖拽等方式实现。根据实际应用状况，设定参考像素点(x₁,y₁)的深度值d，深度值d的取值范围为0＜d≤D(x₁,y₁)，其中，D(x₁,y₁)表示与参考像素点(x₁,y₁)对应的第一深度图像中相应像素点的深度值。

步骤103c3，根据第一图像的相机参数、参考像素点的像素坐标和深度值，利用预设三维坐标计算公式，计算参考像素点的三维坐标。

需要说明的是，预设三维坐标计算公式可以根据实际应用状况进行选择，对此不做限定。

本实施例中预设三维坐标计算公式为：

W(x₂,y₂,z₂)＝D(x₁,y₁)K^-1[x₁,y₁,1]

其中，W(x₂,y₂,z₂)表示参考像素点(x₁,y₁)的三维坐标，K表示相机内参矩阵，D(x₁,y₁)表示与参考像素点(x₁,y₁)对应的第一深度图像中相应像素点的深度值。

步骤103c4，根据第一图像的相机参数、参考像素点的三维坐标、预设物体模型的三维坐标、参考像素点与预设物体模型中每个像素点的相对位置，利用预设像素坐标计算公式，计算预设物体模型中每个像素点的像素坐标。

需要说明的是，预设三维坐标计算公式可以根据实际应用状况进行选择，对此不做限定。

本实施例中预设像素坐标计算公式为：

其中，(x_t,y_t)表示预设物体模型中的点(x_t,y_t,z_t)的像素坐标，(x₂,y₂,z₂)表示参考像素点(x₁,y₁)的三维坐标，Δx_t表示x_t与x₂的相对位置(也可以称为偏差，可以取值为x_t-x₂)、Δy_t表示y_t与y₂的相对位置(也可以称为偏差，可以取值为y_t-y₂)、Δz_t表示z_t与z₂的相对位置(也可以称为偏差，可以取值为z_t-z₂)，K表示相机内参矩阵。

本申请实施例所提及的生成图像的方法，由于可以得到预设物体模型的像素坐标，方便后续生成第二图像。

图7是本申请另一示例性实施例提供的生成图像的方法的流程示意图。在本申请图2-6所示实施例的基础上延伸出本申请图7所示实施例，下面着重叙述图7所示实施例与图2-6所示实施例的不同之处，相同之处不再赘述。

如图7所示，在本申请实施例提供的生成图像的方法中，根据第一图像、第一图像对应的表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像(即步骤103)之前，还包括：

步骤105，在第一图像中添加预设物体模型。

需要说明的是，可以根据第一图像的具体内容、预设物体模型的具体内容，将预设物体模型添加到第一图像中相应的位置。其中，预设物体模型为3D模型，可以是人物、动物、植物、机械等。可以根据实际需要，构造大量的物体模型，添加到第一图像中，生成大量的第二图像和第二深度图像。

本申请实施例所提及的生成图像的方法，由于在第一图像中添加预设物体模型，即可以生成第二图像和第二深度图像，不需要采集大量的样本数据，因此可以节约时间和精力，可以降低成本。

示例性装置

图8是本申请一示例性实施例提供的生成图像的装置的结构示意图。本申请实施例提供的生成图像的装置可应用到汽车的图像处理领域，亦可应用到智能机器人的图像处理类功能领域。如图8所示，本申请实施例提供的生成图像的装置，包括：

反射信息确定模块201，用于确定第一图像中的每一像素点的反射信息；

光源确定模块202，用于根据第一图像、第一图像对应的表面法线图和反射信息，确定在拍摄第一图像所在场景中的光源信息；

第二图像获取模块203，用于根据第一图像、表面法线图、反射信息和光源信息，对第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；

第二深度图像获取模块204，用于根据第一图像对应的第一深度图像和预设物体模型，得到与第二图像对应的第二深度图像。

本申请一示例性实施例提供了生成图像的装置中的反射信息确定模块201的结构示意图。在本申请图8所示实施例的基础上延伸出本申请所示实施例，下面着重叙述本申请所示实施例与图8所示实施例的不同之处，相同之处不再赘述。

在本申请实施例提供的生成图像的装置中，图像确定模块201，还用于确定第一深度图像中的每一像素点对应的表面法线，得到第一图像对应的表面法线图。

图9是本申请一示例性实施例提供的生成图像的装置中的光源确定模块202的结构示意图。在本申请图8所示实施例的基础上延伸出本申请图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。

如图9所示，在本申请实施例提供的生成图像的装置中，光源信息包括光源位置和光源强度，光源确定模块202包括：

图像分割单元202a，用于对第一图像进行图像分割，得到多个图像子区域；

特征向量确定单元202b，用于利用表面法线图和反射信息确定每个图像子区域的特征向量；

光源位置确定单元202c，用于根据每个图像子区域的特征向量和预设光源二分类神经网络，确定第一图像中的光源位置；

光源强度确定单元202d，用于根据第一图像和第一图像中的光源位置，确定第一图像中的光源强度。

图10是本申请一示例性实施例提供的生成图像的装置中的第二图像获取模块203的结构示意图。在本申请图9所示实施例的基础上延伸出本申请图10所示实施例，下面着重叙述图10所示实施例与图9所示实施例的不同之处，相同之处不再赘述。

如图10所示，在本申请实施例提供的生成图像的装置中，第二图像获取模块203，包括：

位置限制单元203a，用于通过表面法线图限制预设物体模型的放置位置；

相机参数确定单元203b，用于确定第一图像的相机参数；

像素坐标确定单元203c，用于根据第一图像的相机参数和预设物体模型的三维坐标，确定预设物体模型的像素坐标；

第二图像确定单元203d，用于根据预设物体模型的像素坐标、反射信息、光源位置和光源强度，将第一图像和预设物体模型进行编辑渲染，得到第二图像。

图11是本申请一示例性实施例提供的生成图像的装置中的第二深度图像获取模块204的结构示意图。在本申请图10所示实施例的基础上延伸出本申请图11所示实施例，下面着重叙述图11所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

如图11所示，在本申请实施例提供的生成图像的装置中，第二深度图像获取模块204包括：

深度值确定单元204a，用于根据预设物体模型的三维坐标，得到预设物体模型中每个像素点的深度值；

第二深度图像确定单元204b，用于根据第一深度图像和预设物体模型中每个像素点的深度值，得到第二深度图像。

图12是本申请一示例性实施例提供的生成图像的装置中的像素坐标确定单元203c的结构示意图。在本申请图10所示实施例的基础上延伸出本申请图12所示实施例，下面着重叙述图12所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

如图12所示，在本申请实施例提供的生成图像的装置中，像素坐标确定单元203c，包括：

参考像素点设置子单元203c1，用于设置预设物体模型的参考像素点；

数据设定子单元203c2，用于设定参考像素点的像素坐标和深度值；

三维坐标计算子单元203c3，用于根据第一图像的相机参数、参考像素点的像素坐标和深度值，利用预设三维坐标计算公式，计算参考像素点的三维坐标；

像素坐标计算子单元203c4，用于根据第一图像的相机参数、参考像素点的三维坐标、预设物体模型的三维坐标、参考像素点与预设物体模型中每个像素点的相对位置，利用预设像素坐标计算公式，计算预设物体模型中每个像素点的像素坐标。

图13是本申请另一示例性实施例提供的生成图像的装置的结构示意图。在本申请图8-12所示实施例的基础上延伸出本申请图13所示实施例，下面着重叙述图13所示实施例与图8-12所示实施例的不同之处，相同之处不再赘述。

如图13所示，在本申请实施例提供的生成图像的装置中，还包括：

添加模块205，用于在第一图像中添加预设物体模型。

应当理解，图8至图13提供的生成图像的装置中的反射信息确定模块201、光源确定模块202、第二图像获取模块203、第二深度图像获取模块204和添加模块205。以及光源确定模块202中包括的图像分割单元202a、特征向量确定单元202b、光源位置确定单元202c和光源强度确定单元202d，第二图像获取模块203中包括的位置限制单元203a、相机参数确定单元203b、像素坐标确定单元203c和第二图像确定单元203d，第二深度图像获取模块204中包括的深度值确定单元204a和第二深度图像确定单元204b，像素坐标确定单元203c中包括的参考像素点设置子单元203c1、数据设定子单元203c2、三维坐标计算子单元203c3和像素坐标计算子单元203c4的操作和功能可以参考上述图1至图7提供的生成图像的方法，为了避免重复，在此不再赘述。

示例性电子设备

图14图示了根据本申请实施例的电子设备的框图。

如图14所示，电子设备11包括一个或多个处理器11a和存储器11b。

处理器11a可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器11b可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11a可以运行所述程序指令，以实现上文所述的本申请各个实施例的生成图像的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置11c和输出装置11d，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置11c可以是上述的摄像头或麦克风、麦克风阵列等，用于捕捉图像或声源的输入信号。在该电子设备是单机设备时，该输入装置11c可以是通信网络连接器，用于从神经网络处理器接收所采集的输入信号。

此外，该输入设备11c还可以包括例如键盘、鼠标等等。

该输出装置11d可以向外部输出各种信息，包括确定出的输出电压、输出电流信息等。该输出设备11d可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图14中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的功率参数调整方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的功率参数调整方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种生成图像的方法，包括：

确定第一图像中的每一像素点的反射信息；

根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息；所述光源信息包括光源位置和光源强度；

根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；

根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像；

其中，根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息，包括：对所述第一图像进行图像分割，得到多个图像子区域；利用所述第一图像对应的表面法线图和所述反射信息确定每个所述图像子区域的特征向量；根据每个所述图像子区域的特征向量和预设光源二分类神经网络，确定所述第一图像中的光源位置；根据所述第一图像和所述第一图像中的光源位置，确定所述第一图像中的所述光源强度。

2.根据权利要求1所述的方法，其中，所述方法还包括：

确定所述第一深度图像中的每一像素点对应的表面法线，得到所述第一图像对应的表面法线图。

3.根据权利要求2所述的方法，其中，根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像，包括：

通过所述表面法线图限制所述预设物体模型的放置位置；

确定所述第一图像的相机参数；

根据所述第一图像的相机参数和所述预设物体模型的三维坐标，确定所述预设物体模型的像素坐标；

根据所述预设物体模型的像素坐标、所述反射信息、所述光源位置和所述光源强度，将所述第一图像和所述预设物体模型进行编辑渲染，得到所述第二图像。

4.根据权利要求3所述的方法，其中，根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像，包括：

根据所述预设物体模型的三维坐标，得到所述预设物体模型中每个像素点的深度值；

根据所述第一深度图像和所述预设物体模型中每个像素点的深度值，得到所述第二深度图像。

5.根据权利要求3所述的方法，其中，根据所述第一图像的相机参数和所述预设物体模型的三维坐标，确定所述预设物体模型的像素坐标，包括：

设置所述预设物体模型的参考像素点；

设定所述参考像素点的像素坐标和深度值；

根据所述第一图像的相机参数、所述参考像素点的像素坐标和深度值，利用预设三维坐标计算公式，计算所述参考像素点的三维坐标；

根据所述第一图像的相机参数、所述参考像素点的三维坐标、所述预设物体模型的三维坐标、所述参考像素点与所述预设物体模型中每个像素点的相对位置，利用预设像素坐标计算公式，计算所述预设物体模型中每个像素点的像素坐标。

6.根据权利要求1-5任一权利要求所述的方法，其中，根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像之前，还包括：

在所述第一图像中添加所述预设物体模型。

7.一种生成图像的装置，包括：

反射信息确定模块，用于确定第一图像中的每一像素点的反射信息；

光源确定模块，用于根据所述第一图像、所述第一图像对应的表面法线图和所述反射信息，确定在拍摄所述第一图像所在场景中的光源信息；所述光源信息包括光源位置和光源强度；

第二图像获取模块，用于根据所述第一图像、所述表面法线图、所述反射信息和所述光源信息，对所述第一图像中需要添加的预设物体模型进行编辑渲染，得到第二图像；

第二深度图像获取模块，用于根据所述第一图像对应的第一深度图像和所述预设物体模型，得到与所述第二图像对应的第二深度图像；

其中，所述光源确定模块包括：图像分割单元，用于对第一图像进行图像分割，得到多个图像子区域；特征向量确定单元，用于利用所述第一图像对应的表面法线图和反射信息确定每个图像子区域的特征向量；光源位置确定单元，用于根据每个图像子区域的特征向量和预设光源二分类神经网络，确定第一图像中的光源位置；光源强度确定单元，用于根据第一图像和第一图像中的光源位置，确定第一图像中的光源强度。

8.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的生成图像的方法。

9.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-6任一所述的生成图像的方法。