CN112083864B - 一种处理待删物体的方法、装置和设备 - Google Patents

Abstract

本发明公开了一种处理待删物体的方法、装置和设备，该方法包括：通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；根据操作显示所选的删除框并框住照片中的待删物体；根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补。通过本发明实施例提供的方法，能对待删物体进行快速的处理，不受时间和空间的限制，对用户无任何处理技巧的要求，即可解决现有照片中待删物体的处理方式比较费时且有技巧要求的问题。此外，本发明还公开了一种处理待删物体装置和设备。

Description

一种处理待删物体的方法、装置和设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种处理待删物体的方法、装置和设备。

背景技术

用户经常通过手机的摄像头拍摄照片或视频，之后通过相应的社交软件分享；更多地体现了时效性，通常要求快速分享。

如果在拍照或者录制视频的过程中遇到突入者（比如人、车、各种小动物等）突然出现在拍摄框内，或者一些影响美观的物体（如垃圾桶、垃圾、厕所等）不能从拍摄框中移除，这些突入者和影响美观的物体都属于待删物体，可能会影响用户主体的拍照环境效果，拉低了整体效果。

目前对照片中的待删物体的处理方式通常是通过第三方或者电脑软件的后期处理，如只能通过电脑处理，需要使用PS（图像处理软件）去除待删物体，再用PS中的工具（如仿制图章）将去除的部分涂成对应的环境。这样做虽然可以达成效果，但是需要比较久的处理时间，且需要用户掌握相应的PS处理技巧，处理的效果与用户所掌握的处理技巧及其熟练度有关，有时处理效果也会大打折扣。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种处理待删物体的方法、装置和设备，以解决现有照片中待删物体的处理方式比较费时且有技巧要求的问题。

为了达到上述目的，本发明采取了以下技术方案：

第一方面，本发明实施例提供了一种处理待删物体的方法，其包括如下步骤：

通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；

根据操作显示所选的删除框并框住照片中的待删物体；

根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补。

所述的处理待删物体的方法中，所述根据操作显示所选的删除框并框住照片中的待删物体的步骤包括：

检测图库中的照片被点击时，在照片的下方显示功能栏；

检测功能栏中的编辑图标被点击时，在照片的下方显示删除框选择栏；

根据用户操作用所选的删除框框住待删物体并保存。

所述的处理待删物体的方法中，所述删除框选择栏中设有的删除框包括：九宫图、竖圆形和竖矩形。

所述的处理待删物体的方法中，所述九宫图的图标被点击后，通过分割线将照片均分成9个区域，检测某个区域被选中后，根据用户的拖拽操作调整选中区域的大小范围，以将待删物体全都框在区域内。

所述的处理待删物体的方法中，所述竖圆形的图标被点击后，在照片中心显示一圆形框，根据用户的拖拽操作调整圆形框的位置和大小，以将待删物体全都框在圆形框内。

所述的处理待删物体的方法中，所述竖矩形的图标被点击后，在照片中心显示一方形格子，根据用户的拖拽操作调整方形格子的位置和大小。

所述的处理待删物体的方法中，所述根据景深信息去除删除框内的照片数据的步骤包括：

计算照片中各个取景物与镜头之间的距离，根据距离分离出对应的焦平面，找出删除框所在的焦平面，将删除框内的区域填充成白色。

所述的处理待删物体的方法中，所述通过环境数据对去除的区域进行填充修补的步骤包括：

识别删除框内白色区域的边沿上的各个像素点，根据各个像素点周围的环境数据计算对应像素点的值并填充该边沿；

将与该边沿相邻的各个像素点作为新的边沿，根据已计算出的边沿上各个像素点的值和环境数据，计算新的边沿上各个像素点的值并填充；

返回识别删除框内白色区域的边沿上的各个像素点的步骤，直至沿着各边沿计算并向内缩拢，计算出整个白色区域内各个像素点的值并完成填充修补。

第二方面，本发明实施例提供了一种处理待删物体的装置，其包括：

拍摄单元，用于通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；

选择单元，用于根据操作显示所选的删除框并框住照片中的待删物体；

去除修复单元，用于根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补。

第三方面，本发明实施例还提供了一种处理待删物体的设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行所述的方法。

第四方面，本发明实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行所述的方法。

相较于现有技术，本发明提供的一种处理待删物体的方法、装置和设备中，所述方法包括步骤：通过双摄像头记录取景照片中的景深信息并存储所拍照片；根据操作显示所选的删除框并框住照片中的待删物体；根据景深信息去除删除框内的照片数据，对去除的区域进行数据填充修补。能对待删物体进行快速的处理，不受时间和空间的限制，对用户无任何处理技巧的要求。

附图说明

图1为本发明提供的处理待删物体的方法的流程图；

图2为本发明提供的功能栏的示意图；

图3为本发明提供的删除框的示意图；

图4为本发明提供的九宫图的示意图；

图5为本发明提供的竖圆形的示意图；

图6为本发明提供的不同位置物体的焦平面的示意图；

图7为本发明提供的竖矩形的示意图；

图8为本发明提供的处理待删物体后的结果示意图；

图9为本发明提供的处理待删物体的装置的结构示意图。

具体实施方式

本发明提供一种处理待删物体的方法、装置和设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

由于双摄（两个摄像头）硬件配置已经成为现有移动终端（本实施例以手机为例）的标配，本实施例利用双摄虚化的功能记录景深位移图，记录下拍照或者录像视频前后的景深信息。拍照或者视频完成后，在图库完成待删物体的去除。

请参阅图1，其为本发明提供的处理待删物体的方法的流程图。如图1所示，所述处理待删物体的方法包括以下步骤：

S10、通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片。

本步骤中，拍摄时启动双摄像头，开启双摄模式记录取景物的景深信息，将所拍的照片存入图库中。拍摄包括拍摄照片和拍摄视频，此处以照片为例。所述景深信息即是景深位移图。

而视频是由多帧数据组成，以H.264视频编码为例，编码的时候会分成 I 帧，P帧和B帧。

I帧即帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。

P帧即帧间预测编码帧，需要参考前面的I帧才能进行编码。

B帧即双向预测编码帧，B帧记录的是本帧与前后帧的差别。

I帧只需考虑本帧，P帧记录的是与前一帧的差别；B帧记录的是前一帧及后一帧的差别，能节约更多的空间。

因此在处理视频的时候，在回放时进入编辑页面，主要显示I帧的数据，使用者可以参考照片去除物体的方式，去掉I帧中待删物体的数据。而后保存的视频数据P帧和B帧参考I帧的数据重新编码即可消除去除整个视频中的待删物体。

S20、根据操作显示所选的删除框并框住照片中的待删物体。

检测照片被打开后，根据用户的操作显示删除框，以方便用户选择待删物体；由于待删物体的轮廓不同，本实施例提供3种删除框，则所述步骤S20具体包括

S21、检测图库中的照片被点击时，在照片的下方显示功能栏。

如图2所示，所述功能栏中包括左边的分享图标，中间的编辑图标和右边的删除图标。检测用户点击编辑图标时进入待删物体的去除流程。

S22、检测功能栏中的编辑图标被点击时，在照片的下方显示删除框选择栏。

本实施例针对待删物体的删除框的形状，提供了九宫图、竖圆形、竖矩形这三种，如图3所示，以方便用户能针对不同轮廓或位置的待删物体选择最合适的删除框。

S23、根据用户操作用所选的删除框框住待删物体并保存。

所述九宫图（删除框选择栏中的最左边）的图标被点击后，如图4所示，通过分割线将照片均分成9个区域，选中某个区域（区域边沿显示加粗的选框），后可以自由拖拽选中区域的大小范围，使待删物体的整体都在区域内且区域的范围最小。完成后点击保存，则照片上只剩下所选区域的边框，其他边框消失。

但是，可能存在待删物体不会都在一个区域内，如图4所示的圆桶，位于两个区域内。此时可采用竖圆形直接选中待删物体。

如图5所示，所述竖圆形的图标被点击后，会在照片中心显示一圆形框，用户可以自由拖拽圆形框以移动其位置、改变其大小范围，如变成椭圆形，只要能将整个待删物体都圈在圆形框内即可。

如图6所示，所述竖矩形的图标被点击后，会在照片中心显示一方形格子，用户可以自由拖拽方形格子以移动其位置、改变其长宽区域范围。

用户可根据待删物体的轮廓选择最合适的删除框，用户可根据上方的操作栏选择对应的操作，如取消、箭头向左表示返回前一步、箭头向右表示返回后一步、保存这四种操作来保留阶段性的操作。

选择保存后，即可开始去除删除框内的待删物体。

S30、根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补。

本步骤是将删除框内的所有照片数据（包括待删物体以及其周围的部分环境数据）去除，在去除待删物体的过程中，先通过景深信息（即景深位移图）去除待删物体，使去除的待删物体更加准确；去除的删除框内先用白色填充，然后再通过机器学习进行数据回填，即结合去除区域的临近区域的环境数据进行机器学习，对去除区域进行数据填充修补，从而使回填的数据更加贴合原图的数据，使整体照片更加真实；之后保存即可。

其中，所述根据景深信息去除删除框内的照片数据，采用了双摄原理，即左右摄像头，其成像时，设置左摄像头用于拍摄背景部分，设置右摄像头用于拍摄主体（通常是人，或离镜头最近的物体）。双摄即是根据人眼的三角定位原理来计算物体与镜头之间的距离，具体为在双摄原理的基础上，根据双摄模组的焦距，主摄（即右摄像头）和副摄（即左摄像头）的间距以及取景物主体的距离，即可计算整个照片中任何一个位置的物体与镜头之间的距离，此为现有技术，此处不作详述。

计算出整个照片中不同取景物(主体人或者物、待删物体、车、动物等物体)的位移信息，即可为后面的物体去除提供了理论数字依据。如图7所示，不同位置的物体其焦平面和焦距都不同，焦平面A的焦距a、焦平面B的焦距b、焦平面C的焦距c都不同，因此通过双摄原理就可以去除不同焦平面的图片。

通过双摄的统计数据计算，得到图7描述的不同焦平面的物体位移信息（与镜头之间的距离或焦距）即景深位移图，根据景深位移图即可去除删除框内的所有数据，即是计算照片中各个取景物与镜头之间的距离，根据距离分离出对应的焦平面，找出删除框所在的焦平面，将删除框内的区域填充成白色，即完成了待删物体的去除。

所述机器学习，是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。

机器学习中的智能填充，即AI（人工智能）智能填充，参考旁边的数据信息进行填充。由于现在的手机配置越来越高，AI 智能的算子也越来越来越发达。填充被去除的数据，可采用均值带权的方案，基于机器学习、根据所去除区域周围的环境数据、对所去除的区域进行数据回填修补，具体如下：

填充数据时，一个待填充数据 X 就表示白色区域中的一个像素点的值，参考待填充数据周围（即相邻）8个方向的环境数据（即8个方向对应的8个象素点的值）来计算待填充数据，即可获得对应的像素点的值；先计算白色区域的边沿上的各个像素点的值，该边沿被填充，填充后不再是白色；则与该边沿相邻的白色部分形成新的边沿，根据已计算出的边沿上各个像素点的值和环境数据，又能获得新的边沿上各个像素点的值并填充；以此类推，不断沿着边沿计算并向内缩拢，逐渐缩小白色区域的大小，直至最后将整个白色区域填满。

计算时，将相邻的8个方向的环境数据分成两种权重，其中，位于待填充数据 X的0度方向的环境数据为X1（相当于位于待填充数据 X右边的环境数据为X1），位于待填充数据X的90度方向的环境数据为X2（相当于位于待填充数据 X上边的环境数据为X2），位于待填充数据 X的180度方向的环境数据为X3（相当于位于待填充数据 X左边的环境数据为X3），位于待填充数据 X的270度方向的环境数据为X4（相当于位于待填充数据 X下边的环境数据为X4），这四个方向的数据权重更高；位于待填充数据 X的45度方向的环境数据为X5（相当于位于待填充数据 X右上角的环境数据为X5），位于待填充数据 X的135度方向的环境数据为X6（相当于位于待填充数据 X左上角的环境数据为X6），位于待填充数据 X的225度方向的环境数据为X7（相当于位于待填充数据 X左下角的环境数据为X7），位于待填充数据 X的315度方向的环境数据为X8（相当于位于待填充数据 X右下角的环境数据为X8），这四个方向的数据权重较低，可默认为1。则一个待填充数据 X就可以按照下面的公式进行计算，

X= [(X1+ X2+ X3+ X4) *N +(X5+ X6+ X7+ X8) *1]/(N+1)，N≥2。其中，N是0度、90度、180度、270度这四个方向的数据权重，其值可根据需求调整。

重复上述计算，即可根据相邻8个方向的环境数据（即8个方向对应的象素点的值）计算出待填充区域的所有像素点的值，从而实现通过环境数据对去除的区域进行的回填修补，完成对去除物体区域（即待填充区域、也即是删除框内的白色区域）的数据回填。需要理解的是，沿着边沿向内缩拢计算时，边沿上的像素点在某个或几个方向上会使用到白色区域的像素点，白色区域的像素点的值即是白色对应的环境数据的值。

处理完成后即可保存照片，得到如图8所示的照片。之后用户即可分享照片，上传至对应的社交软件。

基于上述的处理待删物体方法，本发明实施例还提供一种处理待删物体的装置，如图9所示，其包括：

拍摄单元10，用于通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；

选择单元20，用于根据操作显示所选的删除框并框住照片中的待删物体；

去除修复单元30，用于根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的装置的限定，具体的装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

基于上述的处理待删物体方法，本发明实施例还提供了一种处理待删物体的设备，包括有存储器，所述存储器可为硬盘或内存，所述存储器上存储有一个或者一个以上的处理待删物体的方法的算法处理程序，该算法处理程序可经配置以由一个或者一个以上处理器执行所述一个或者一个以上的算法处理程序包含用于执行所述的方法。

其中，所述设备可以是智能手机、平板电脑等带有双摄的电子设备。所述处理器在一些实施例中可以是一中央处理器（Central Processing Unit, CPU），微处理器或其他数据处理芯片，用于运行所述存储器存储的程序代码或处理数据，例如执行所述处理待删物体的方法。

本发明实施例还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由设备的处理器执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

综上所述，本发明提供的一种处理待删物体的方法、装置和设备中，通过双摄像头记录取景照片中的景深信息并存储所拍照片；根据操作显示所选的删除框并框住照片中的待删物体；根据景深信息去除删除框内的照片数据，对去除的区域进行数据填充修补；这样即可去除拍照或者录像中的待删物体，从而突出拍照的主体，消除待删物体取景物对主体取景物效果的影响，从而提升拍照或者录像的画质，以体现核心主体取景物的效果。

同时，只需用户选择合适的删除框，就能随意选择待删物体并自动删除修补，不受时间、地点和空间的限制，对用户无任何处理技巧的要求，拍摄的照片或者视频能快速分享。并且，采用机器学习和双摄景深位移图结合的方式，使去除的效果更加准确，通过均值加权的方式对去除区域进行数据填充，修补后的效果与周围能很好的融合，保证了整体效果的流畅性。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种处理待删物体的方法，其特征在于，包括如下步骤：

通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；

根据操作显示所选的删除框并框住照片中的待删物体；

根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补；

通过环境数据对去除的区域进行填充修补的步骤包括：

识别删除框内白色区域的边沿上的各个像素点，根据各个像素点周围的环境数据计算对应像素点的值并填充该边沿；

将与该边沿相邻的各个像素点作为新的边沿，根据已计算出的边沿上各个像素点的值和环境数据，计算新的边沿上各个像素点的值并填充；

返回识别删除框内白色区域的边沿上的各个像素点的步骤，直至沿着各边沿计算并向内缩拢，计算出整个白色区域内各个像素点的值并完成填充修补；

X＝[(X1+X2+X3+X4)*N+(X5+X6+X7+X8)*1]/(N+1)，N≥2；

N是0度、90度、180度、270度四个方向的数据权重；X是待填充数据，位于待填充数据X的0度、90度、180度、270度、45度、135度、225度、315度方向的环境数据分别为X1、X2、X3、X4、X5、X6、X7、X8；

边沿上的像素点会使用到白色区域的像素点；

所述根据景深信息去除删除框内的照片数据的步骤包括：

计算照片中各个取景物与镜头之间的距离，根据距离分离出对应的焦平面，找出删除框所在的焦平面，将删除框内的区域填充成白色；

通过机器学习进行数据回填。

2.根据权利要求1所述的处理待删物体的方法，其特征在于，所述根据操作显示所选的删除框并框住照片中的待删物体的步骤包括：

检测图库中的照片被点击时，在照片的下方显示功能栏；

检测功能栏中的编辑图标被点击时，在照片的下方显示删除框选择栏；

根据用户操作用所选的删除框框住待删物体并保存。

3.根据权利要求2所述的处理待删物体的方法，其特征在于，所述删除框选择栏中设有的删除框包括：九宫图、竖圆形和竖矩形。

4.根据权利要求3述的处理待删物体的方法，其特征在于，所述九宫图的图标被点击后，通过分割线将照片均分成9个区域，检测某个区域被选中后，根据用户的拖拽操作调整选中区域的大小范围，以将待删物体全都框在区域内。

5.根据权利要求3所述的处理待删物体的方法，其特征在于，所述竖圆形的图标被点击后，在照片中心显示一圆形框，根据用户的拖拽操作调整圆形框的位置和大小，以将待删物体全都框在圆形框内。

6.根据权利要求3所述的处理待删物体的方法，其特征在于，所述竖矩形的图标被点击后，在照片中心显示一方形格子，根据用户的拖拽操作调整方形格子的位置和大小。

7.一种处理待删物体的装置，其特征在于，包括：

拍摄单元，用于通过双摄像头拍照并记录取景物的景深信息，存储所拍的照片；

选择单元，用于根据操作显示所选的删除框并框住照片中的待删物体；

去除修复单元，用于根据景深信息去除删除框内的照片数据，通过环境数据对去除的区域进行填充修补；计算照片中各个取景物与镜头之间的距离，根据距离分离出对应的焦平面，找出删除框所在的焦平面，将删除框内的区域填充成白色；通过机器学习进行数据回填；识别删除框内白色区域的边沿上的各个像素点，根据各个像素点周围的环境数据计算对应像素点的值并填充该边沿；

将与该边沿相邻的各个像素点作为新的边沿，根据已计算出的边沿上各个像素点的值和环境数据，计算新的边沿上各个像素点的值并填充；

返回识别删除框内白色区域的边沿上的各个像素点的步骤，直至沿着各边沿计算并向内缩拢，计算出整个白色区域内各个像素点的值并完成填充修补；

X＝[(X1+X2+X3+X4)*N+(X5+X6+X7+X8)*1]/(N+1)，N≥2；

N是0度、90度、180度、270度四个方向的数据权重；X是待填充数据，位于待填充数据X的0度、90度、180度、270度、45度、135度、225度、315度方向的环境数据分别为X1、X2、X3、X4、X5、X6、X7、X8；

边沿上的像素点会使用到白色区域的像素点。

8.一种处理待删物体的设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-6中任意一项所述的方法。