[go: up one dir, main page]

CN108024057B - 背景虚化处理方法、装置及设备 - Google Patents

背景虚化处理方法、装置及设备 Download PDF

Info

Publication number
CN108024057B
CN108024057B CN201711242157.5A CN201711242157A CN108024057B CN 108024057 B CN108024057 B CN 108024057B CN 201711242157 A CN201711242157 A CN 201711242157A CN 108024057 B CN108024057 B CN 108024057B
Authority
CN
China
Prior art keywords
brightness
area
depth
background
field information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711242157.5A
Other languages
English (en)
Other versions
CN108024057A (zh
Inventor
欧阳丹
谭国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711242157.5A priority Critical patent/CN108024057B/zh
Publication of CN108024057A publication Critical patent/CN108024057A/zh
Priority to PCT/CN2018/116230 priority patent/WO2019105254A1/zh
Application granted granted Critical
Publication of CN108024057B publication Critical patent/CN108024057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提出了一种背景虚化处理方法、装置及设备,其中,方法包括:根据主摄像头获取的主图像以及副摄像头获取的副图像,获取主图像的景深信息;根据主图像的对焦区域和景深信息确定前景区域和背景区域;根据预设策略调整前景区域和背景区域之间的亮度差;当检测到亮度差调整到满足预设条件,对背景区域进行虚化处理生成目标图像。由此,该方法解决了现有技术中,在对背景区域进行虚化后前景区域不够突出的技术问题,通过调整背景区域和前景区域的亮度差,使得虚化后的前景区域更为突出,提高了虚化处理效果。

Description

背景虚化处理方法、装置及设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种背景虚化处理方法、装置及设备。
背景技术
通常,为了突出拍照的主体,会对拍照的背景区域进行虚化处理,然而,在拍照时,如果前景的亮度不合适,可能导致虚化处理后的图像中主体不突出,比如,如果拍照的主体位于光源和摄像头之间,会导致被摄主体曝光不充分,出现逆光的效果。而在该逆光场景下拍摄的主体图像中,亮度非常低,细节较为模糊,对背景区域进行虚化后,仍不能突 出拍照主体,图像处理后的视觉效果较差。
申请内容
本申请提供一种背景虚化处理方法、装置及设备,以解决现有技术中,前景区域的亮 度较低时,导致在对背景区域进行虚化后前景区域不够突出的技术问题。
本申请实施例提供一种背景虚化处理方法,包括:根据主摄像头获取的主图像以及副 摄像头获取的副图像,获取所述主图像的景深信息;根据所述主图像的对焦区域和所述景 深信息确定前景区域和背景区域;根据预设策略调整所述前景区域和所述背景区域之间的 亮度差;当检测到所述亮度差调整到满足预设条件,对所述背景区域进行虚化处理生成目 标图像。
本申请另一实施例提供一种背景虚化处理装置,包括:计算模块,用于根据主摄像头 获取的主图像以及副摄像头获取的副图像,获取所述主图像的景深信息;确定模块,用于 根据所述主图像的对焦区域和所述景深信息确定前景区域和背景区域;调整模块,用于根 据预设策略调整所述前景区域和所述背景区域之间的亮度差;处理模块,用于在检测到所 述亮度差调整到满足预设条件时,对所述背景区域进行虚化处理生成目标图像。
本申请又一实施例提供一种计算机设备,包括存储器及处理器,所述存储器中储存有 计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行本申请上述实施例 所述的背景虚化处理方法。
本申请还一实施例提供一种非临时性计算机可读存储介质,其上存储有计算机程序, 该计算机程序被处理器执行时实现如本申请上述实施例所述的背景虚化处理方法。
本申请实施例提供的技术方案可以包括以下有益效果:
根据主摄像头获取的主图像以及副摄像头获取的副图像,获取主图像的景深信息,根 据主图像的对焦区域和景深信息确定前景区域和背景区域,根据预设策略调整前景区域和 背景区域之间的亮度差,当检测到亮度差调整到满足预设条件,对背景区域进行虚化处理 生成目标图像。由此,解决了现有技术中,在对背景区域进行虚化后前景区域不够突出的 技术问题,通过调整背景区域和前景区域的亮度差,使得虚化后的前景区域更为突出,提 高了虚化处理效果。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解,其中:
图1是根据本申请一个实施例的背景虚化处理方法的流程图;
图2是根据本申请一个实施例的三角测距原理示意图;
图3是根据本申请一个实施例的双摄像头视角覆盖范围示意图;
图4是根据本申请一个实施例的双摄像头计算景深的过程示意图;
图5(a)是根据本申请一个实施例的人像拍照图像示意图;
图5(b)是根据现有技术的背景虚化处理后的图像示意图;
图5(c)是根据本申请一个实施例的背景虚化处理后的图像示意图;
图6是根据本申请另一个实施例的背景虚化处理方法的流程图;
图7是根据本申请又一个实施例的背景虚化处理方法的流程图;
图8是根据本申请一个实施例的背景虚化处理装置的结构示意图;
图9是根据本申请另一个实施例的背景虚化处理装置的结构示意图;以及
图10是根据本申请另一个实施例的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的背景虚化处理方法、装置及设备。
图1是根据本申请一个实施例的背景虚化处理方法的流程图,如图1所示,该方法包 括:
步骤101,根据主摄像头获取的主图像以及副摄像头获取的副图像,获取主图像的景 深信息。
其中,在对拍摄的主体聚焦后,在主体所在的焦点区域之前和之后一段人眼容许的清晰成像的空间深度范围为景深。
需要说明的是,在实际应用中,人眼分辩景深主要是依靠双目视觉分辨景深,这与双 摄像头分辨景深的原理一样,主要是依靠如图2所示的三角测距的原理实现的,基于图2中,在实际空间中,画出了成像对象,以及两个摄像头所在位置OR和OT,以及两个摄像 头的焦平面,焦平面距离两个摄像头所在平面的距离为f,在焦平面位置两各摄像头进行成 像,从而得到两张拍摄图像。
其中,P和P’分别是同一对象在不同拍摄图像中的位置。其中,P点距离所在拍摄图像 的左侧边界的距离为XR,P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别 为两个摄像头,这两个摄像头在同一平面,距离为B。
基于三角测距原理,图2中的对象与两个摄像头所在平面之间的距离Z,具有如下关 系:
Figure BDA0001490089700000031
基于此,可以推得其中,d为同一对象在不同拍摄图像中的位置 之间的距离差。由于B、f为定值,因此,根据d可以确定出对象的距离Z。
需要强调的是,上面的公式是基于两个平行的相同摄像头来实施的,但是实际使用的 时候实际上有很多问题,比如在上图两个摄像头计算景深中总有一部分场景不能相交,因 此实际的为了景深计算两个摄像头的FOV设计会不一样,其中,主摄像头是用来取实际图 的主图像的,副摄像头获取的副的图像主要是用来参考计算景深,基于以上分析,副摄像 头的FOV一般会大于主摄像头,但是即使是这样如图3所示,距离较近的物体依然有可能不同时在两个摄像头获取图像当中,经过调整的计算景深范围的关系如下公式所示:
Figure BDA0001490089700000033
即可根据调整后的公式,计算主图像的景深范围等。
当然,除了三角测距法,也可以采用其他的方式来计算主图像的景深,比如,主摄像 头和副摄像头针对同一个场景拍照时,场景中的物体距离摄像头的距离与主摄像头和副摄 像头成像的位移差、姿势差等成比例关系,因此,在本申请的一个实施例中,可以根据这 种比例关系获取上述距离Z。
举例而言,如图4所示,通过主摄像头获取的主图像以及副摄像头获取的副图像,计 算出不同点差异的图,这里用视差图表示,这个图上表示的是两张图上相同点的位移差异, 但是由于三角定位中的位移差异和Z成正比,因此很多时候视差图就直接被用作景深图。
步骤102,根据主图像的对焦区域和景深信息确定前景区域和背景区域。
可以理解,在对焦区域之前成像的范围为前景景深,前景景深对应的区域为前景区 域,在对焦区域之后清晰成像的范围为背景景深,背景景深对应的区域为背景区域, 其中,前景区域包含了拍照的主体图像。
步骤103,根据预设策略调整前景区域和背景区域之间的亮度差。
步骤104,当检测到亮度差调整到满足预设条件,对背景区域进行虚化处理生成目标 图像。
可以理解,通常为了突出拍摄的主体,将拍摄的主体所在焦点区域之外的背景区域 进行虚化,然而,在一些场景下,比如,当前景区域的亮度较低时,又比如,拍照场景 为逆光场景,或者,拍照的主体的光源被遮挡,或者在黑夜中拍照等场景,即使对背景区 域进行虚化,可能也并不能突出拍摄的主体,从而导致拍摄主体不够突出,视觉效果较差。
比如,如图5(a)所示,当拍照的主体为人物时,如果拍照场景为逆光场景,则即使对背景区域进行虚化,如图5(b)所示,由于人物图像亮度较低,也无法突出人物,视觉 效果较差。
经由上述分析可知,导致虚化背景区域后,前景区域不够突出的原因,主要有以下两 个方面:一方面是背景区域相较于前景区域亮度较高,使得虚化背景区域后亮度较低的前 景区域不够突出,另一方面是背景区域和前景区域的亮度均较低,使得虚化背景区域后亮 度较低的整张图像中,难以突出前景区域中的主体图像。
因而,为了解决上述技术问题,在本申请的实施例中,根据预设策略调整前景区域和 背景区域之间的亮度差,使得前景区域相对于背景区域突出,当检测到亮度差调整到满足 预设条件,对背景区域进行虚化处理生成目标图像,其中,目标图像中的前景区域突出,视觉效果较好。
当然,在本申请的一个实施例中,为了减轻系统处理压力,还可以仅仅根据前景亮度 较低的场景实施该亮度差调整策略,即检测前景区域的亮度,其中,预设的第一阈值可以 是根据大量实验数据标定的,用以判断前景区域的亮度是否较低,该第一阈值也可以是根 据用户的个人喜好标定的,如果检测到前景区域的亮度低于预设的第一阈值,则根据预设 策略调整前景区域和背景区域之间的亮度差。
实际执行过程中,由于背景距离拍照主体越远可能和用户当前拍照需求越不相关,比 如,用户在和近处一朵花合照时,可能越远处的景物越和当前拍照需求不相关,因而,为 了进一步满足用户的拍照需求,还可根据前景区域和背景区域的景深信息进行虚化。
具体而言,在本申请的一个实施例中,根据主图像的对焦区域和景深信息计算前景区 域的第一景深信息和背景区域的第二景深信息,根据第一景深信息和第二景深信息获取虚 化程度的基础数值,比如,第一景深信息越小,第二景深信息越大,则表明当前拍照场景 越是和背景无关,从而此时获取的虚化程度的基础数值越大,又比如,第一景深信息越大, 第二景深信息越小,则表明当前拍照场景可能和背景相关,从而此时获取的虚化程度的基 础数值越小,此时,根据虚化程度的基础数值对背景区域进行高斯模糊处理生成目标图像, 背景区域得到了与拍照需求对应的虚化,满足了用户的当前拍照需求。
其中,上述预设条件与包含在当前预设策略下,前景区域和背景区域的亮度差,当然, 该亮度差可以是根据大量实验数据标定的,也可以是根据用户个人喜好设定的,满足在虚 化背景区域后,前景区域能够突出。
需要说明的是,根据应用场景的不同,上述预设策略不同,示例说明如下:
作为一种示例:
预设策略包括:当背景区域亮度没有较亮时,提高前景区域的亮度。也就是说,在本 申请的实施例中,当背景区域的亮度较低时,表明整张图像的亮度较低,此时即使降低背 景区域的亮度缩小背景区域和前景区域的亮度差,前景区域也可能由于亮度较低而在虚化 后的图像中不够突出,因而,在这种场景下,通过提高前景区域的亮度来作为预设策略。
具体而言,在本示例中,如图6所示,步骤103包括:
步骤201,检测背景区域的亮度。
需要说明的是,根据应用场景的不同,可采用不同的实现方式检测背景区域的亮度, 作为一种可能的实现方式,通过计算背景区域的图像对应的灰度值,根据灰度值确定出背 景区域的亮度。
步骤202,若判断获知背景区域的亮度小于等于预设的第二阈值且大于第一阈值,其 中,第二阈值大于第一阈值,则根据预设算法计算前景区域的第一调整亮度。
其中,第二阈值可以是根据大量实验数据标定的,也可以是根据用户个人喜好标定的, 该第二阈值用以判断背景区域是否较亮。
步骤203,根据第一调整亮度提高前景区域的亮度。
具体地,如果获知背景区域的亮度小于等于预设的第二阈值,则根据预设的算法计算 前景区域的第一调整亮度,以根据第一调整亮度提高前景区域的亮度,从而,前景区域的 亮度提高到第一调整亮度后,背景区域和前景区域的亮度差缩小,对背景区域进行虚化处 理后生成的目标图像中,前景区域较为突出。
需要强调的是,上述调整前景区域的第一调整亮度的预设算法,在不同的应用场景下, 可能有不同的实现方式,作为一种可能的实现方式,根据主图像的对焦区域和景深信息计 算前景区域的第一景深信息和背景区域的第二景深信息,进而,计算第一景深信息和第二 景深信息的景深比例,其中,第一景深信息和第二景深信息的景深比例越大,则表明前景 和背景的距离越近,比例越小,则表明前景和背景的距离越远,根据预设算法对前景区域 的亮度和景深比例进行计算获取前景区域的第一调整亮度,其中,景深比例越大,前景和 背景的距离越近,根据预设算法计算出的第一调整亮度越大,以便于使得较近距离的前景 区域和背景区域的区分界限明显,反之,景深比例越小,前景和背景的距离越远,根据预 设算法计算出的第一调整亮度越小,即可使得较近距离的前景区域和背景区域的区分界限 明显。
作为另一种示例:
预设策略包括:当背景区域亮度较亮时,降低背景区域的亮度。也就是说,在本申请 的实施例中,当背景区域的亮度较高时,表明整张图像的亮度较高,此时导致前景区域虚 化后不够突出的原因可能是背景区域较亮,此时降低背景区域的亮度缩小背景区域和前景 区域的亮度差,前景区域在虚化后的图像能够突出,因而,在这种场景下,通过降低背景 区域的亮度来作为预设策略。
具体而言,在本示例中,如图7所示,步骤103包括:
步骤301,检测背景区域的亮度。
步骤302,若判断获知背景区域的亮度大于第二阈值,则根据预设算法计算背景区域 的第二调整亮度。
步骤303,根据第二调整亮度降低背景区域的亮度。
具体地,如果获知背景区域的亮度大于预设的第二阈值,则根据预设的算法计算背景 区域的第二调整亮度,以根据第二调整亮度降低背景区域的亮度,从而,背景区域的亮度 降低到第二调整亮度后,背景区域和前景区域的亮度差缩小,对背景区域进行虚化处理后 生成的目标图像中,前景区域较为突出。
需要强调的是,上述调整前景区域的第一调整亮度的预设算法,在不同的应用场景下, 可能有不同的实现方式,作为一种可能的实现方式,根据背景区域的景深信息和亮度调整 背景区域的亮度,在该实施中,为了保证虚化效果,背景区域的景深信息越大,越和当前 拍照的前景区域无关,对背景区域的亮度调整程度越大,背景区域的亮度越大,越容易导 致前景区域不够突出,对背景区域的亮度调整程度越大。因而,可查询预设的与背景区域 的景深信息对应的第一调整因子,其中,正如以上分析的,背景区域的景深信息越大,第 一调整因子的值越大,以及与背景区域的亮度越大,对应的第二调整因子的值越大,进而, 根据预设算法对背景区域的亮度,第一调整因子和第二调整因子进行计算获取背景区域的 第二调整亮度。
其中,在不同的应用场景中,上述预设算法不同,比如,预设的算法可以包含:根据分别与第一背景亮度、第一调整因子和第二调整因子对应的权重值,计算出第二调整亮度,其中,上述权重值可以根据实验数据标定。
由此,本申请实施例的背景虚化处理方法,不是直接对背景区域进行虚化,而是先对 背景区域和前景区域的亮度差调整后,使得前景区域得到初步突出处理后,再对背景区域 进行虚化,从而虚化后的目标图像前景区域突出。
举例而言,继续以拍照的主体为人物举例,当检测到前景区域的亮度小于第一阈值时, 则根据相关调整策略调整前景区域和背景区域的亮度差后,对背景区域进行虚化,从而, 如图5(c)所示,在对背景区域进行虚化处理生成目标图像后,可以使得目标图像中的前 景区域更加突出。
综上所述,本申请实施例的背景虚化处理方法,根据主摄像头获取的主图像以及副摄 像头获取的副图像,计算主图像的景深信息,根据主图像的对焦区域和景深信息确定前景 区域和背景区域,若检测到前景区域的亮度低于预设的第一阈值,则根据预设策略调整前 景区域和背景区域之间的亮度差,当检测到亮度差调整到满足预设条件,对背景区域进行 虚化处理生成目标图像。由此,解决了现有技术中,前景区域的亮度较低时,导致在对背 景区域进行虚化后前景区域不够突出的技术问题,通过调整背景区域和前景区域的亮度差, 使得虚化后的前景区域更为突出,提高了虚化处理效果。
为了实现上述实施例,本申请还提出了一种背景虚化处理装置,图8是根据本申请一 个实施例的背景虚化处理装置的结构示意图,如图8所示,该背景虚化处理装置包括:计算模块100、确定模块200、调整模块300和处理模块400。
其中,计算模块100,用于根据主摄像头获取的主图像以及副摄像头获取的副图像, 获取主图像的景深信息。
确定模块200,用于根据主图像的对焦区域和景深信息确定前景区域和背景区域。
调整模块300,用于根据预设策略调整前景区域和背景区域之间的亮度差。
在本申请的一个实施例中,图9是根据本申请另一个实施例的背景虚化处理装置的结 构示意图,如图9所示,该调整模块300包括检测单元310、计算单元320和调整单元330。
其中,检测单元310,用于检测背景区域的亮度。
计算单元320,用于在判断获知背景区域的亮度小于等于预设的第二阈值且大于第一 阈值时,其中,第二阈值大于第一阈值,根据预设算法计算前景区域的第一调整亮度。
调整单元330,用于根据第一调整亮度提高前景区域的亮度。
处理模块400,用于在检测到亮度差调整到满足预设条件时,对背景区域进行虚化处 理生成目标图像。
需要说明的是,前述对方法实施例的描述,也适用于本申请实施例的装置,其实现原 理类似,在此不再赘述。
上述背景虚化处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将背 景虚化处理装置按照需要划分为不同的模块,以完成上述背景虚化处理装置的全部或部分 功能。
综上所述,本申请实施例的背景虚化处理装置,根据主摄像头获取的主图像以及副摄 像头获取的副图像,计算主图像的景深信息,根据主图像的对焦区域和景深信息确定前景 区域和背景区域,根据预设策略调整前景区域和背景区域之间的亮度差,当检测到亮度差 调整到满足预设条件,对背景区域进行虚化处理生成目标图像。由此,解决了现有技术中, 前景区域的亮度较低时,导致在对背景区域进行虚化后前景区域不够突出的技术问题,通 过调整背景区域和前景区域的亮度差,使得虚化后的前景区域更为突出,提高了虚化处理 效果。
为了实现上述实施例,本申请还提出了一种计算机设备,上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(ImageSignal Processing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处 理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理 技术的各个方面。
如图10所示,图像处理电路包括ISP处理器640和控制逻辑器650。成像设备610捕捉的图像数据首先由ISP处理器640处理,ISP处理器640对图像数据进行分析以捕捉可用于确定和/或成像设备610的一个或多个控制参数的图像统计信息。成像设备610可包括具有一个或多个透镜612和图像传感器614的照相机。图像传感器614可包括色彩滤镜阵列(如Bayer滤镜),图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器640处理的一组原始图像数据。传感器620可基于传感器 620接口类型把原始图像数据提供给ISP处理器640。传感器620接口可以利用SMIA (StandardMobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机 接口或上述接口的组合。
ISP处理器640按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有 8、10、12或14比特的位深度,ISP处理器640可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器640还可从图像存储器630接收像素数据。例如,从传感器620接口将原始 像素数据发送给图像存储器630,图像存储器630中的原始像素数据再提供给ISP处理器640以供处理。图像存储器630可为存储器装置的一部分、存储设备、或电子设备内的独 立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自传感器620接口或来自图像存储器630的原始图像数据时,ISP处理器 640可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储 器630,以便在被显示之前进行另外的处理。ISP处理器640从图像存储器630接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处 理后的图像数据可输出给显示器670,以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit,图形处理器)进一步处理。此外,ISP处理器640的输出还可发送给图像存储器630,且显示器670可从图像存储器630读取图像数据。在一个实施例中,图像存 储器630可被配置为实现一个或多个帧缓冲器。此外,ISP处理器640的输出可发送给编码 器/解码器660,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器670 设备上之前解压缩。编码器/解码器660可由CPU或GPU或协处理器实现。
ISP处理器640确定的统计数据可发送给控制逻辑器650单元。例如,统计数据可包括 自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜612阴影校正等图像传感器614统计信息。控制逻辑器650可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备610的控制参数以及的控制参数。例如,控制参数可包括传感器620控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜612控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜612阴影校正参数。
以下为运用图10中图像处理技术实现背景虚化处理方法的步骤:
根据主摄像头获取的主图像以及副摄像头获取的副图像,获取所述主图像的景深信息;
根据所述主图像的对焦区域和所述景深信息确定前景区域和背景区域;
根据预设策略调整所述前景区域和所述背景区域之间的亮度差;
当检测到所述亮度差调整到满足预设条件,对所述背景区域进行虚化处理生成目标图 像。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器被执行时,使得能够执行如上述实施例描述的背景虚化处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须 针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一 个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合 和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或 者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者 隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个 或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分, 并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序, 包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的 实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实 现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令 执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设 备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布 线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只 读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及 便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述 程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行 编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储 在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技 术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可 编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中, 该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各 个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读 取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了 本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制, 本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种背景虚化处理方法,其特征在于,包括:
根据主摄像头获取的主图像以及副摄像头获取的副图像,获取所述主图像的景深信息;
根据所述主图像的对焦区域和所述景深信息确定前景区域和背景区域;
检测所述背景区域的亮度;
若判断获知所述背景区域的亮度小于等于预设的第二阈值且大于第一阈值,其中,所述第二阈值大于所述第一阈值,则根据预设算法计算所述前景区域的第一调整亮度;
根据所述主图像的对焦区域和所述景深信息计算所述前景区域的第一景深信息和所述背景区域的第二景深信息;
计算所述第一景深信息和所述第二景深信息的景深比例;
根据预设算法对所述前景区域的亮度和所述景深比例进行计算获取所述前景区域的第一调整亮度;根据所述第一调整亮度提高所述前景区域的亮度;当对所述前景区域的亮度提高完成后,对所述背景区域进行虚化处理生成目标图像。
2.如权利要求1所述的方法,其特征在于,在所述检测所述背景区域的亮度之后,还包括:
若判断获知所述背景区域的亮度大于所述第二阈值,则根据预设算法计算所述背景区域的第二调整亮度;
根据所述第二调整亮度降低所述背景区域的亮度。
3.如权利要求2所述的方法,其特征在于,所述根据预设算法计算所述背景区域的第二调整亮度,包括:
查询预设的与所述背景区域的景深信息对应的第一调整因子,以及与所述背景区域的亮度对应的第二调整因子;
根据预设算法对所述背景区域的亮度,所述第一调整因子和所述第二调整因子进行计算获取所述背景区域的第二调整亮度。
4.如权利要求1所述的方法,其特征在于,所述对所述背景区域进行虚化处理生成目标图像,包括:
根据所述主图像的对焦区域和所述景深信息计算所述前景区域的第一景深信息和所述背景区域的第二景深信息;
根据所述第一景深信息和所述第二景深信息获取虚化程度的基础数值;
根据所述虚化程度的基础数值对所述背景区域进行高斯模糊处理生成目标图像。
5.一种背景虚化处理装置,其特征在于,包括:
计算模块,用于根据主摄像头获取的主图像以及副摄像头获取的副图像,获取所述主图像的景深信息;
确定模块,用于根据所述主图像的对焦区域和所述景深信息确定前景区域和背景区域;
调整模块,用于检测所述背景区域的亮度,若判断获知所述背景区域的亮度小于等于预设的第二阈值且大于第一阈值,其中,所述第二阈值大于所述第一阈值,则根据预设算法计算所述前景区域的第一调整亮度,根据所述主图像的对焦区域和所述景深信息计算所述前景区域的第一景深信息和所述背景区域的第二景深信息,计算所述第一景深信息和所述第二景深信息的景深比例,根据预设算法对所述前景区域的亮度和所述景深比例进行计算获取所述前景区域的第一调整亮度;根据所述第一调整亮度提高所述前景区域的亮度;
处理模块,用于在对所述前景区域的亮度提高完成后,对所述背景区域进行虚化处理生成目标图像。
6.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-4中任一所述的背景虚化处理方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的背景虚化处理方法。
CN201711242157.5A 2017-11-30 2017-11-30 背景虚化处理方法、装置及设备 Active CN108024057B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711242157.5A CN108024057B (zh) 2017-11-30 2017-11-30 背景虚化处理方法、装置及设备
PCT/CN2018/116230 WO2019105254A1 (zh) 2017-11-30 2018-11-19 背景虚化处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711242157.5A CN108024057B (zh) 2017-11-30 2017-11-30 背景虚化处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108024057A CN108024057A (zh) 2018-05-11
CN108024057B true CN108024057B (zh) 2020-01-10

Family

ID=62077779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711242157.5A Active CN108024057B (zh) 2017-11-30 2017-11-30 背景虚化处理方法、装置及设备

Country Status (2)

Country Link
CN (1) CN108024057B (zh)
WO (1) WO2019105254A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024057B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
CN110198421B (zh) * 2019-06-17 2021-08-10 Oppo广东移动通信有限公司 视频处理方法及相关产品
CN110677621B (zh) * 2019-09-03 2021-04-13 RealMe重庆移动通信有限公司 摄像头调用方法、装置、存储介质及电子设备
CN113395599B (zh) * 2020-12-03 2024-07-23 腾讯科技(深圳)有限公司 一种视频处理方法、装置、电子设备及介质
CN115131271B (zh) * 2021-03-26 2025-08-12 伟光有限公司 Raw图像的处理方法、芯片和电子设备
CN114286004A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 对焦方法、拍摄装置、电子设备及介质
CN114859581B (zh) * 2022-03-24 2023-10-24 京东方科技集团股份有限公司 背光测试装置、背光测试方法
CN115409725B (zh) * 2022-08-08 2025-09-23 Oppo广东移动通信有限公司 一种图像虚化方法、装置、设备及存储介质
CN116112755A (zh) * 2023-01-30 2023-05-12 北京字跳网络技术有限公司 特效处理方法、装置、电子设备及存储介质
CN116668804B (zh) * 2023-06-14 2023-12-22 山东恒辉软件有限公司 一种视频图像分析处理方法、设备及存储介质
CN119831908A (zh) * 2023-10-08 2025-04-15 荣耀终端股份有限公司 图像处理方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196956A (ja) * 1998-12-28 2000-07-14 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
US6157733A (en) * 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN106060423A (zh) * 2016-06-02 2016-10-26 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106993112A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于景深的背景虚化方法及装置和电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10233919A (ja) * 1997-02-21 1998-09-02 Fuji Photo Film Co Ltd 画像処理装置
US8687918B2 (en) * 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program
CN105025229B (zh) * 2015-07-30 2018-06-29 广东欧珀移动通信有限公司 调节照片亮度的方法和相关装置
CN105574866A (zh) * 2015-12-15 2016-05-11 努比亚技术有限公司 一种实现图像处理的方法及装置
CN107357500A (zh) * 2017-06-21 2017-11-17 努比亚技术有限公司 一种图片调整方法、终端及存储介质
CN108024057B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157733A (en) * 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
JP2000196956A (ja) * 1998-12-28 2000-07-14 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN106060423A (zh) * 2016-06-02 2016-10-26 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106993112A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于景深的背景虚化方法及装置和电子装置

Also Published As

Publication number Publication date
WO2019105254A1 (zh) 2019-06-06
CN108024057A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN108024057B (zh) 背景虚化处理方法、装置及设备
CN107977940B (zh) 背景虚化处理方法、装置及设备
US10997696B2 (en) Image processing method, apparatus and device
CN108055452B (zh) 图像处理方法、装置及设备
CN108024054B (zh) 图像处理方法、装置、设备及存储介质
US10757312B2 (en) Method for image-processing and mobile terminal using dual cameras
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
CN108111749B (zh) 图像处理方法和装置
CN108053438B (zh) 景深获取方法、装置及设备
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN108156369B (zh) 图像处理方法和装置
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
CN108053363A (zh) 背景虚化处理方法、装置及设备
CN108024056B (zh) 基于双摄像头的成像方法和装置
CN108154514A (zh) 图像处理方法、装置及设备
CN107396079A (zh) 白平衡调整方法和装置
CN107635124A (zh) 人脸拍摄的白平衡处理方法、装置及设备
CN108012133A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
HK1251749A1 (zh) 图像处理方法、装置及设备
HK1251749B (zh) 图像处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant