CN108024058B

CN108024058B - 图像虚化处理方法、装置、移动终端和存储介质

Info

Publication number: CN108024058B
Application number: CN201711243733.8A
Authority: CN
Inventors: 张弓
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2019-08-02
Anticipated expiration: 2037-11-30
Also published as: CN108024058A

Abstract

本申请提出一种图像虚化处理方法、装置、移动终端和存储介质，其中，方法包括：获取主摄像头采集的主图像和副摄像头采集的副图像；根据主图像和副图像，确定主图像的深度信息；根据主图像的深度信息，确定主图像中的前景区域和背景区域；对背景区域提取图像特征，并与预设景物的图像特征匹配；根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。能够实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以提高成像照片的成像效果，以及提高深度信息的准确性，从而使得图像处理效果较好。

Description

图像虚化处理方法、装置、移动终端和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像虚化处理方法、装置、移动终端和存储介质。

背景技术

随着移动终端技术的不断发展，越来越多的用户使用具有双摄像头功能的移动终端进行拍照。在用户开启双摄像头，进入虚化模式预览时，可能会出现误虚化的情况。

例如，用户使用拍照设备拍摄站在“天涯海角”巨石前的游客，用户可能希望保留巨石上的字迹清晰，不希望“天涯海角”四个字被虚化。

由于现有技术中，在采用虚化算法计算景深后，会将游客、巨石和大海分别识别为景深有差异的三部分，只保留游客部分，而其他部分均被虚化，导致巨石上的字迹模糊，从而导致图像虚化效果不佳。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种图像虚化处理方法，以实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，用于解决现有图像虚化效果不佳的技术问题。

本申请提出一种图像虚化处理装置。

本申请提出一种移动终端。

本申请提出一种计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种图像虚化处理方法，包括：

获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；

根据所述主图像和所述副图像，确定所述主图像的深度信息；

根据所述主图像的深度信息，确定所述主图像中的前景区域和背景区域；

对所述背景区域提取图像特征，并与预设景物的图像特征匹配；

根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理。

本申请实施例的图像虚化处理方法，通过获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；根据主图像和副图像，确定主图像的深度信息；根据主图像的深度信息，确定主图像中的前景区域和背景区域；对背景区域提取图像特征，并与预设景物的图像特征匹配；根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。由此，可以实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决现有技术中图像虚化效果不佳的技术问题。

为达上述目的，本申请第二方面实施例提出了一种图像虚化处理装置，包括：

获取模块，用于获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；

深度处理模块，用于根据所述主图像和所述副图像，确定所述主图像的深度信息；

区域识别模块，用于根据所述主图像的深度信息，确定所述主图像中的前景区域和背景区域；

特征提取模块，用于对所述背景区域提取图像特征，并与预设景物的图像特征匹配；

虚化模块，用于根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理。

本申请实施例的图像虚化处理装置，通过获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；根据主图像和副图像，确定主图像的深度信息；根据主图像的深度信息，确定主图像中的前景区域和背景区域；对背景区域提取图像特征，并与预设景物的图像特征匹配；根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。由此，可以实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决现有技术中图像虚化效果不佳的技术问题。

为达上述目的，本申请第三方面实施例提出了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例所述的图像虚化处理方法。

为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请第一方面实施例所述的图像虚化处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的第一种图像虚化处理方法的流程示意图；

图2为三角测距的原理示意图；

图3为本申请实施例所提供的第二种图像虚化处理方法的流程示意图；

图4为本申请实施例所提供的第三种图像虚化处理方法的流程示意图；

图5为本申请实施例提供的一种图像虚化处理装置的结构示意图；

图6为本申请实施例提供的另一种图像虚化处理装置的结构示意图；

图7是根据本申请另一个实施例的终端设备的结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的图像虚化处理方法、装置、移动终端和存储介质。

该图像虚化处理方法，具体可以由具有双摄像头的手机、平板电脑、个人数字助理、穿戴式设备等硬件设备执行，该具有双摄像头的硬件设备中，包含摄像模组，该摄像模组中包括主摄像头和副摄像头。主摄像头和副摄像头均具有各自独立的镜片、图像传感器和音圈马达。双摄像头中的主摄像头和副摄像头均与摄像头连接头相连，从而根据摄像头连接头提供的电流值驱动音圈马达，使得主摄像头和副摄像头在音圈马达的驱动下调整镜片与图像传感器之间的距离，从而实现对焦。

作为一种可能的应用场景，副摄像头的分辨率低于主摄像头的分辨率，在进行对焦时，可以仅采用副摄像头进行对焦，当副摄像头合焦时，获取副摄像头的马达的第二驱动电流值，进而在主摄像头和所述副摄像头具有相同合焦距离条件下，根据第二驱动电流值，确定主摄像头的马达的第一驱动电流值，采用第一驱动电流值驱动主摄像头进行对焦。由于副摄像头分辨率较低，图像处理速度较快，从而能够加快对焦速度，解决了现有技术中双摄像头对焦速度较慢的技术问题。

在双摄像头的具体实现过程中，可以选择不同的摄像头组合，作为双摄像头中的主摄像头和副摄像头，从而适应不同的用户需求。

在一种应用场景中，需要较高的对焦速度，从而双摄像头中的主摄像头具体为普通摄像头，双摄像头中的副摄像头具体为双像素(PD，dual pixel)摄像头。其中，双PD摄像头的分辨率要低于普通摄像头，从而具有更快的对焦速度。

需要说明的是，双PD摄像头的每个像素由两个单元构成，两个单元可以作为相位对焦检测点，也可以组合成一个像素的成像，从而极大改善了电子取景时的对焦性能。双PD互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)，传感器摄像头是较为常用的具体采用CMOS作为传感器的双PD摄像头，最早是采用在单反相机上。

在另一种应用场景中，需要较佳的成像效果，从而将广角摄像头和长焦摄像头的组合作为双摄像头。根据拍摄需求切换主副摄像头。具体来说，当拍近景时，使用广角镜头作为主摄像头，长焦镜头作为副摄像头；拍远景时，使用长焦镜头作为主摄像头，使用广角镜头作为副摄像头，从而不仅实现光学变焦功能，而且，还保证了成像质量以及后续虚化效果。

图1为本申请实施例所提供的第一种图像虚化处理方法的流程示意图。

如图1所示，该图像虚化处理方法包括以下步骤：

步骤101，获取主摄像头采集的主图像，以及获取副摄像头采集的副图像。

本申请实施例中，可以预先控制主摄像头和/或副摄像头测光，而后根据多个测光点的平均亮度确定环境亮度，从双摄像头中确定主摄像头和副摄像头。

具体地，由于在环境亮度不高于阈值亮度的情况下，光线不足，如果采用高分辨率的摄像头作为主摄像头进行拍照时，则会出现较多的噪声，从而导致成像效果不佳。因此，本实施例中，在光线不足时，可以采用高感光度的摄像头作为主摄像头，高分辨率的摄像头作为副摄像头进行拍照，减少图像中的噪声，提高成像效果。相反地，在环境亮度高于阈值亮度的情况下，即在光线充足的情况下，由于高分辨率的摄像头分辨率较高，成像也较为清晰，噪声较少，因此，本实施例中，可以将高分辨率的摄像头作为主摄像头，高感光摄像头作为副摄像头进行拍照，从而提高成像效果。

在确定主摄像头和副摄像头后，可以同时采用主摄像头和副摄像头进行取景拍摄，分别得到主图像和幅图像。

在进行拍摄之前，可以对成像图像进行预览。作为一种可能的实现方式，可以仅对主摄像头采集的画面进行预览，当用户看到满意的预览画面时，点击拍照按键，从而控制主摄像头和副摄像头同时进行取景拍摄。或者，可以对副摄像头采集的画面进行预览，当用户看到满意的预览画面时，点击拍照按键，从而控制主摄像头和副摄像头同时进行取景拍摄，对此不作限制。

步骤102，根据主图像和副图像，确定主图像的深度信息。

具体地，由于主副摄像头之间具有一定的距离，从而导致了这两个摄像头具有视差，不同的摄像头拍摄的图像应该是不同的。主图像是由主摄像头拍摄得到的，幅图像是由副摄像头拍摄得到的，因此，主图像和副图像之间也应具有一定差异性。根据三角测距原理，可以计算得到主图像和副图像中，同一对象的深度信息，也就是该对象距离主摄像头和副摄像头所在平面的距离。

为了清楚说明这一过程，下面将对三角测距原理进行简要介绍。

而在实际场景，人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中根据第二拍摄图像计算成像图像的深度信息，主要方法是依靠三角测距原理，图2为三角测距的原理示意图。

基于图2中，在实际空间中，画出了成像对象，以及两个摄像头所在位置O_R和O_T，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两各摄像头进行成像，从而得到两张拍摄图像。

P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为X_R，P’点距离所在拍摄图像的左侧边界的距离为X_T。O_R和O_T分别为两个摄像头，这两个摄像头在同一平面，距离为B。

基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离Z，具有如下关系：

基于此，可以推得其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。

步骤103，根据主图像的深度信息，确定主图像中的前景区域和背景区域。

具体地，在计算得到主图像的深度信息之后，可以根据主图像中各对象的深度信息，确定出该对象为前景还是背景。一般来说，深度信息指示对象距离主副摄像头所在平面较近，深度取值较小时，可以确定该对象为前景，否则，该对象为背景。进而可以根据主图像中的各个对象，确定主图像的前景区域和背景区域。

步骤104，对背景区域提取图像特征，并与预设景物的图像特征匹配。

本申请实施例中，预设景物可以为风景名胜、建筑等，或者，预设景物还可以为包含特定元素的景物，比如预设景物可以为包含文字的景物，本申请实施例对此不作限制。

本申请实施例中，可以提取背景区域中各个对象的图像特征，图像特征可以包括轮廓特征、色彩特征和/或纹理特征等多种特征。可选地，可以采用现有技术中的相关算法提取背景区域中各个对象的图像特征，对此不作限制。

针对预设景物为风景名胜、建筑等，可以提取包括轮廓特征、色彩特征、纹理特征等在内的多种特征，从而适应这种较为复杂的场景；针对预设景物为包含文字这种特定元素的景物时，可以仅提取轮廓特征，将其与预存的文字轮廓特征比对，从而简化特征匹配过程，提高匹配效率。

在提取出背景区域的图像特征后，可以与预设景物的图像特征进行匹配，得到匹配结果可以为：背景区域的图像特征与预设景物的图像特征匹配，或者，背景区域的图像特征与预设景物的图像特征不匹配。

作为一种可能的实现方式，判断是否匹配的具体过程包括：可以预先设置图像特征中每种特征的权重值，在提取出背景区域的图像特征后，可以通过将图像特征中的每种特征进行加权求和处理，即将每种特征乘以对应的权重，得到乘积值，而后通过累加乘积值，得到和值，进而通过将和值与预设阈值进行比较，确定背景区域的图像特征与预设景物的图像特征是否匹配。其中，预设阈值可以为移动终端的内置程序预先设置的。

具体地，当和值大于等于预设阈值时，可以确定背景区域的图像特征与预设景物的图像特征匹配，而当和值小于预设阈值时，可以确定背景区域的图像特征与预设景物的图像特征不匹配。

步骤105，根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。

本申请实施例中，可以根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。具体地，在背景区域的图像特征与预设景物的图像特征不匹配时，可以对背景区域进行虚化处理，而当背景区域的图像特征与预设景物的图像特征匹配时，可以不对背景区域进行虚化处理，即维持背景区域的成像效果。由此，可以实现智能调整虚化范围，提升成像图像的虚化效果。

本实施例的图像虚化处理方法，通过获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；根据主图像和副图像，确定主图像的深度信息；根据主图像的深度信息，确定主图像中的前景区域和背景区域；对背景区域提取图像特征，并与预设景物的图像特征匹配；根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。由此，可以实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好。

为了清楚说明上一实施例，本实施例提供了另一种图像虚化处理方法，图3为本申请实施例所提供的第二种图像虚化处理方法的流程示意图。

如图3所示，该图像虚化处理方法可以包括以下步骤：

步骤201，获取主摄像头采集的主图像，以及获取副摄像头采集的副图像。

步骤202，根据主图像和副图像，确定主图像的深度信息。

步骤203，根据主图像的深度信息，确定主图像中的前景区域和背景区域。

步骤201～203的执行过程可以参见上述实施例中步骤101～103的执行过程，在此不做赘述。

步骤204，获取拍摄的地理位置。

可以理解的是，当预设景物为风景名胜或者建筑时，由于风景名胜和建筑是不可移动的，其地理位置信息是固定的。因此，本申请实施例中，可以通过获取拍摄的地理位置信息，进而通过拍摄的地理位置信息，确定与其匹配的预设景物，从而提高移动终端的处理速度，降低计算量。

可选地，可以开启移动终端中的全球定位系统(Global Positioning System，GPS) 获取拍摄的地理位置，或者，可以开启移动终端中的辅助全球卫星定位系统(Assisted Global Positioning System，AGPS)获取拍摄的地理位置，对此不作限制。

步骤205，根据地理位置，确定与地理位置匹配的预设景物。

本申请实施例中，当获取拍摄的地理位置信息后，可以根据地理位置，确定与地理位置信息匹配的预设景物，从而提高移动终端的处理速度，降低计算量。

步骤206，对背景区域提取图像特征，并与预设景物的图像特征匹配。

步骤207，判断背景区域的图像特征是否与预设景物的图像特征匹配，若是，执行步骤209，否则，执行步骤208。

步骤208，确定对背景区域进行虚化处理。

步骤209，对前景区域进行人像识别，判断前景区域是否包含人像区域，若是，执行步骤210，否则，执行步骤213。

本申请实施例中，当背景区域的图像特征与预设景物的图像特征匹配时，还需进一步通过根据前景区域是否包含人像区域，来确定是否对背景区域进行虚化处理。

可选地，可以利用人脸识别技术识别前景区域是否包含人像区域，或者，可以根据前景区域中各个对象的轮廓特征，确定前景区域是否包含人像区域。当确定前景区域中未包含人像时，表明用户所拍摄图像可以为风景图，此时，可以不对背景区域进行虚化处理，即维持背景区域的成像效果。而当确定前景区域中包含人像时，可以进一步通过根据人像动作，确定是否对背景区域进行虚化处理，即触发步骤210。

步骤210，根据人像区域进行人像动作识别。

本申请实施例中，可以根据人像区域进行人像动作识别，由此可以识别人像的手势、肢体动作等。

作为一种可能的实现方式，用于采集图像的主摄像头和/或副摄像头可以为能够采集人体深度信息的摄像头，通过获取的深度信息，可以识别出人像区域中的人像动作。例如，主摄像头和/或副摄像头可以为深度摄像头(Red-Green-Blue Depth，RGBD)，成像的同时可以获取图像中人体的深度信息，从而根据深度信息可以识别人像区域中的人像动作。此外，还可以通过结构光或者TOF镜头进行人体深度信息的获取，从而根据深度信息可以识别出人像区域中的人像动作，对此不作限制。

作为另一种可能的实现方式，可以识别出人像区域中的人像的各关节，例如，可以根据人脸识别技术识别出人像区域中人脸以及人脸的位置信息，而后根据人体解剖学中肢体与身高的比例关系，可计算得到人像的各关节的位置信息。当然也可以通过其他算法确定人像区域中的人像的各关节的位置信息，对此不作限制。在得到人像的各关节的位置信息后，可以根据相邻的两关节的位置信息，确定两关节的相对位置关系，进而可以确定人像动作。

步骤211，确定人像动作所指示的目标方位。

本申请实施例中，在识别出人像动作后，可以确定人像动作所指示的目标方位。举例而言，当人像动作为手势时，人像动作所指示的目标方位可以为人像的手指所指示的方向，例如目标方位可以为向左、向右、向前、向后等。

进一步地，在执行步骤211之前，还可以确定人像动作为预设动作，或者为预设手势。在一种可能的场景中，可以限定有限个数的动作和手势，作为用于指示是否虚化的人像动作。举例而言，人像可能做出一个“yeah”的动作，这种情况下尽管人像做出了手势，但人像做出的手势不属于预设手势，因此，不再执行步骤211。

步骤212，判断背景区域相对于人像区域的方位与目标方位是否匹配，若是，执行步骤213，否则，执行步骤208。

本申请实施例中，在识别出人像动作后，可以根据识别出的人像动作，继续判断是否对背景区域进行虚化处理。

具体地，在背景区域相对于人像区域的方位与目标方位匹配时，可以不对背景区域进行虚化处理，即维持背景区域的成像效果。举例而言，当人像站在“天涯海角”巨石前，并用手指向“天涯海角”四个字时，此时，背景区域相对于人像区域的方位与目标方位匹配，因此，可以不对背景区域进行虚化处理，即保留巨石上的“天涯海角”四个字。

而当背景区域相对于人像区域的方位与目标方位不匹配时，可以对背景区域进行虚化处理。还是以人像站在“天涯海角”巨石前为例，人像用手指向“天涯海角”四个字，此时，背景区域中若不仅包含“天涯海角”石刻，还包括植物和沙滩，由于“天涯海角”石刻相对于人像区域的方位与目标方位匹配，因此，可以不对这部分背景区域进行虚化处理，即保留巨石上的“天涯海角”四个字，而对植物和沙滩进行虚化处理。

步骤213，维持背景区域的成像效果。

为了清楚说明上一实施例，本实施例提供了又一种图像虚化处理方法，图4为本申请实施例所提供的第三种图像虚化处理方法的流程示意图。

如图4所示，该图像虚化处理方法可以包括以下步骤：

步骤301，获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；

步骤302，根据主图像和副图像，确定主图像的深度信息；

步骤303，根据主图像的深度信息，确定主图像中的前景区域和背景区域。

步骤304，获取拍摄的地理位置。

步骤305，根据地理位置，确定与地理位置匹配的预设景物。

步骤306，对背景区域提取图像特征，并与预设景物的图像特征匹配。

步骤307，判断背景区域的图像特征是否与预设景物的图像特征匹配，若是，执行步骤309，否则，执行步骤308。

步骤308，确定对背景区域进行虚化处理。

步骤309，对前景区域进行人像识别，判断前景区域是否包含人像区域，若是，执行步骤310，否则，执行步骤314。

步骤310，根据人像区域进行人像动作识别。

步骤301～310的执行过程可以参见上述实施例种步骤201～210的执行过程，在此不做赘述。

步骤311，判断识别出的人像动作是否与预设指令动作匹配，若是，执行步骤312，否则，执行步骤308。

本申请实施例中，预设指令动作可以为终端的内置程序预先设置，或者，预设指令动作可以由用户根据自身需求进行设置，对此不作限制。

本申请实施例中，识别出的人像动作可以用来发出指令，因此，可以进一步识别人像动作具体所发出的指令。具体地，可以判断识别出的人像动作是否与预设指令动作匹配，若是，执行步骤312，否则，表明该人像动作不是用来发出指令的，因此，可以对背景区域进行虚化处理。

步骤312，查询预设指令动作对应的虚化信息；虚化信息包括是否进行虚化处理和/或虚化程度。

本申请实施例中，当预设指令动作为终端的内置程序预先设置时，移动终端可以存储有预设指令动作对应的虚化信息。而当预设指令动作为用户进行设置时，用户在设置该预设指令动作时，移动终端的操作界面可以显示根据该预设指令动作，是否进行虚化处理和/ 或虚化程度的提示信息，而后用户可以根据自身需求选择进行虚化处理或者不进行虚化处理，进一步地，在用户选择进行虚化处理时，移动终端可以显示虚化程度的提示信息，从而用户可以根据自身需求选择虚化程度，从而提升该方法的适用性及灵活性，并且该方法可以满足不同用户的个性化需求，从而提升用户的使用体验。

可选地，当识别出的人像动作与预设指令动作匹配时，可以查询移动终端本地存储的与预设指令动作对应的虚化信息，其中，虚化信息包括是否进行虚化处理和/或虚化程度。

步骤313，判断虚化信息是否指示进行虚化处理，若是，执行步骤308，否则，执行步骤314。

本申请实施例中，在虚化信息指示进行虚化处理时，可以对主图像中的背景区域，根据虚化信息指示的虚化程度进行虚化处理。而当虚化信息指示不进行虚化处理时，可以维持主图像中背景区域的成像效果。

步骤314，维持主图像中背景区域的成像效果。

为了实现上述实施例，本申请还提出一种图像虚化处理装置。

图5为本申请实施例提供的一种图像虚化处理装置的结构示意图。

如图5所示，该图像虚化处理装置包括：获取模块510、深度处理模块520、区域识别模块530、特征提取模块540，以及虚化模块550。其中，

获取模块510，用于获取主摄像头采集的主图像，以及获取副摄像头采集的副图像。

深度处理模块520，用于根据主图像和副图像，确定主图像的深度信息。

区域识别模块530，用于根据主图像的深度信息，确定主图像中的前景区域和背景区域。

特征提取模块540，用于对背景区域提取图像特征，并与预设景物的图像特征匹配。

虚化模块550，用于根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。

作为一种可能的实现方式，虚化模块550，具体用于在背景区域的图像特征与预设景物的图像特征不匹配时，对背景区域进行虚化处理，而在背景区域的图像特征与预设景物的图像特征匹配时，维持背景区域的成像效果。

进一步地，在本申请实施例的一种可能的实现方式中，参见图6，在图5所示实施例的基础上，该图像虚化处理装置还可以包括：

人像识别模块560，用于在根据背景区域的图像特征与预设景物的图像特征匹配结果时，确定不对背景区域进行虚化处理，对前景区域进行人像识别；

动作识别模块570，用于当前景区域包含人像区域时，根据人像区域进行人像动作识别；

虚化模块550，还用于根据识别出的人像动作，判断是否对背景区域进行虚化处理。

作为一种可能的实现方式，虚化模块550，具体用于确定人像动作所指示的目标方位；若背景区域相对于人像区域的方位与目标方位不匹配，则对背景区域进行虚化处理；若背景区域相对于人像区域的方位与目标方位匹配，则维持背景区域的成像效果。

作为另一种可能的实现方式，虚化模块550，具体用于在识别出的人像动作与预设指令动作匹配时，查询预设指令动作对应的虚化信息；虚化信息包括是否进行虚化处理和/或虚化程度；若虚化信息指示进行虚化处理，则对主图像中的背景区域，根据虚化信息指示的虚化程度进行虚化处理；若虚化信息指示不进行虚化处理，则维持主图像中背景区域的成像效果。

获取确定模块580，用于在与预设景物的图像特征匹配之前，获取拍摄的地理位置；根据地理位置，确定与地理位置匹配的预设景物。

需要说明的是，前述对图像虚化处理方法实施例的解释说明也适用于该实施例的图像虚化处理装置，此处不再赘述。

本实施例的图像虚化处理装置，通过获取主摄像头采集的主图像，以及获取副摄像头采集的副图像；根据主图像和副图像，确定主图像的深度信息；根据主图像的深度信息，确定主图像中的前景区域和背景区域；对背景区域提取图像特征，并与预设景物的图像特征匹配；根据背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对背景区域进行虚化处理。由此，可以实现智能调整虚化范围，提升成像图像的虚化效果。同时，副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的，从而依据对应的副图像对主图像进行后续虚化处理时，可以一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好。

为了实现上述实施例，本申请还提出一种移动终端，图7是根据本申请另一个实施例的终端设备的结构示意图，如图7所示，该终端设备1000包括：壳体1100和位于壳体1100内的主摄像头1112、副摄像头1113、存储器1114和处理器1115。

其中，存储器1114存储有可执行程序代码；处理器1115通过读取存储器1114中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如前述方法实施例所述的图像虚化处理方法。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中提出的图像虚化处理方法。

上述移动终端中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910具体可以包括两个摄像头，每一个摄像头可包括具有一个或多个透镜912和图像传感器914。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器 914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收像素数据。例如，从传感器920接口将原始像素数据发送给图像存储器930，图像存储器930中的原始像素数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器 940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/ 或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及的控制参数。例如，控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。 ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种图像虚化处理方法，其特征在于，方法包括以下步骤：

根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理；其中，若所述背景区域的图像特征与预设景物的图像特征不匹配，则对所述背景区域进行虚化处理。

2.权利要求1所述的图像虚化处理方法，其特征在于，所述根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理之后，还包括：

若根据所述背景区域的图像特征与预设景物的图像特征匹配结果，确定不对所述背景区域进行虚化处理，则对所述前景区域进行人像识别；

当所述前景区域包含人像区域时，根据所述人像区域进行人像动作识别；

根据识别出的人像动作，继续判断是否对所述背景区域进行虚化处理。

3.根据权利要求2所述的图像虚化处理方法，其特征在于，所述根据识别出的人像动作，继续判断是否对所述背景区域进行虚化处理，包括：

确定所述人像动作所指示的目标方位；

若所述背景区域相对于所述人像区域的方位与所述目标方位不匹配，则对所述背景区域进行虚化处理；

若所述背景区域相对于所述人像区域的方位与所述目标方位匹配，则维持所述背景区域的成像效果。

4.根据权利要求2所述的图像虚化处理方法，其特征在于，所述根据识别出的人像动作，继续判断是否对所述背景区域进行虚化处理，包括：

若识别出的人像动作与预设指令动作匹配，则查询所述预设指令动作对应的虚化信息；所述虚化信息包括是否进行虚化处理和/或虚化程度；

若所述虚化信息指示进行虚化处理，则对所述主图像中的背景区域，根据所述虚化信息指示的虚化程度进行虚化处理；

若所述虚化信息指示不进行虚化处理，则维持所述主图像中背景区域的成像效果。

5.权利要求1-4任一项所述的图像虚化处理方法，其特征在于，所述与预设景物的图像特征匹配之前，还包括：

获取拍摄的地理位置；

根据所述地理位置，确定与所述地理位置匹配的预设景物。

6.权利要求1-4任一项所述的图像虚化处理方法，其特征在于，所述根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理，包括：

若所述背景区域的图像特征与预设景物的图像特征匹配，则维持所述背景区域的成像效果。

7.一种图像虚化处理装置，其特征在于，所述装置包括：

虚化模块，用于根据所述背景区域的图像特征与预设景物的图像特征匹配结果，判断是否对所述背景区域进行虚化处理；其中，若所述背景区域的图像特征与预设景物的图像特征不匹配，则对所述背景区域进行虚化处理。

8.根据权利要求7所述的图像虚化处理装置，其特征在于，所述装置还包括：

人像识别模块，用于在根据所述背景区域的图像特征与预设景物的图像特征匹配结果时，确定不对所述背景区域进行虚化处理，对所述前景区域进行人像识别；

动作识别模块，用于当所述前景区域包含人像区域时，根据所述人像区域进行人像动作识别；

所述虚化模块，还用于根据识别出的人像动作，判断是否对所述背景区域进行虚化处理。

9.一种移动终端，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的图像虚化处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像虚化处理方法。