CN119831908A - 图像处理方法及相关设备 - Google Patents
图像处理方法及相关设备 Download PDFInfo
- Publication number
- CN119831908A CN119831908A CN202311306031.5A CN202311306031A CN119831908A CN 119831908 A CN119831908 A CN 119831908A CN 202311306031 A CN202311306031 A CN 202311306031A CN 119831908 A CN119831908 A CN 119831908A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- pixel
- pixel point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像处理方法及相关设备,所述方法包括:对SDR图像进行色调映射得到HDR图像;获取HDR图像中每个像素点的像素值;根据预设像素点分组策略对HDR图像中的像素点进行分组,获取每组像素点的亮度信息;获取HDR图像中每个像素点的深度信息;将HDR图像划分为多个图像区域,最小图像区域为一像素点;基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度;确定多个图像区域内像素点的像素值的亮度调整系数和深度调整系数,调整多个图像区域内像素点的像素值,得到目标HDR图像;将显示屏亮度调整为目标显示屏亮度,显示目标HDR图像。本申请实施例可以根据深度信息对图像进行高动态范围扩展,有效突出了图像主体。
Description
技术领域
本申请涉及终端技术领域,属于图像处理技术,尤其涉及一种图像处理方法及相关设备。
背景技术
随着终端技术的发展,智能手机、个人电脑等智能终端设备都支持高动态范围(high dynamic range,HDR)的图像显示。通过对标准动态范围(standard dynamic range,SDR)图像进行色调映射,可以生成HDR图像,从而扩展图像的动态范围。然而,在色调映射过程中,通常只对图像的像素信息和亮度信息进行转换,无法对图像的深度信息进行转换,无法突出图像中的主体部分,导致HDR图像的显示效果不佳。
发明内容
鉴于以上内容,有必要提供一种图像处理方法及相关设备,解决上述在色调映射过程中无法对图像的深度信息进行转换而无法突出图像中的主体部分,导致HDR图像的显示效果不佳的问题。
第一方面,本申请提供一种图像处理方法,应用于电子设备,所述方法包括:获取SDR图像,对所述SDR图像进行色调映射,得到HDR图像;获取所述HDR图像中每个像素点的像素值;根据预设的像素点分组策略对所述HDR图像中的像素点进行分组,获取每组像素点的亮度信息;获取所述HDR图像中每个像素点的深度信息;根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域;基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度;确定所述多个图像区域内像素点的像素值的亮度调整系数,根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,并根据所述亮度调整系数和所述深度调整系数调整所述多个图像区域内像素点的像素值,得到目标HDR图像;将所述电子设备的显示屏亮度调整为所述目标显示屏亮度,显示所述目标HDR图像。
通过上述技术方案,在显示HDR图像的过程中,可以根据HDR图像的真实亮度情况和终端设备的亮度能力来增大或保持HDR图像高光区域的像素值,以及缩小暗部区域的像素值,使HDR图像的高光区域更亮,使HDR图像的暗部区域更暗或者接近HDR图像暗部区域原本的亮度,使高光区域和暗部区域具有更高的对比度,从而扩大了HDR图像的动态范围,使电子设备所显示的HDR图像更接近真实场景,同时还可以突出图像中的主体部分,使得图像体现出更好的层次感,从而进一步提升HDR图像的显示效果。
在一种可能的实现方式中,所述方法还包括:分别将所述亮度信息、所述深度信息及所述像素值编码至所述HDR图像中,得到图像文件;响应于用户查看所述图像文件的操作,对所述图像文件进行解码得到所述HDR图像的所述亮度信息、所述深度信息及所述像素值。
通过上述技术方案,将图像的亮度信息、深度信息及像素信息编码至HDR图像,使得HDR在同一设备或不同设备进行显示时,可以通过解码获得亮度信息、深度信息及像素信息,并根据亮度信息、深度信息及像素信息进行HDR图像的高动态范围扩展显示,从而优化HDR图像的显示效果。
在一种可能的实现方式中,所述分别将所述亮度信息、所述深度信息及所述像素值编码至所述HDR图像中,得到图像文件,包括:对每个像素点的像素值进行编码得到第一编码数据;对所述亮度信息进行编码得到第二编码数据;对所述深度信息进行编码得到第三编码数据;将所述第二编码数据和所述第三编码数据写入所述第一编码数据,得到所述图像文件。
通过上述技术方案,将图像的亮度信息和深度信息对应的编码数据写入像素信息对应的编码数据,以便于在进行HDR图像显示时,通过解码获得HDR图像的亮度信息、深度信息及像素信息。
在一种可能的实现方式中,所述获取每组像素点的亮度信息包括:获取目标曝光参数对应的目标曝光图像,其中,若所述目标曝光参数为多个曝光参数中的任一曝光参数,所述目标曝光图像为所述任一曝光参数对应的图像;若所述目标曝光参数为根据所述多个曝光参数中的至少两个曝光参数确定的参数,所述目标曝光图像为所述至少两个曝光参数对应的图像融合得到的图像;获取每组像素点中的每个像素点在所述目标曝光图像中的亮度值;将每组像素点中所有像素点在所述目标曝光图像中的亮度值的均值作为该组像素点在所述目标曝光参数下的亮度信息。
通过上述技术方案,根据图像的曝光参数可以精确地确定图像的亮度信息。
在一种可能的实现方式中,所述HDR图像中每个像素点的深度信息为每个像素点对应在场景中的点与所述电子设备的摄像头之间的距离,所述获取所述HDR图像中每个像素点的深度信息,包括:将所述HDR图像输入预设的深度学习模型,通过所述预设的深度学习模型输出所述HDR图像对应的视差图;根据所述视差图计算得到每个像素点的视差,并根据每个像素点的视差得到每个像素点的深度信息。
通过上述技术方案,可以通过单目视觉估计的方式精确地确定HDR图像的深度信息,并且提高了深度信息的计算效率。
在一种可能的实现方式中,所述根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域,包括:根据所述HDR图像中所有像素点的亮度信息确定所述亮度均值;根据所述亮度均值确定第一阈值,所述第一阈值大于或等于所述亮度均值;将所述亮度信息小于或等于所述第一阈值的像素点划分至所述HDR图像的第一区域;将所述亮度信息大于所述第一阈值的像素点划分至所述HDR图像的第二区域。
通过上述技术方案,根据图像的亮度信息将HDR图像划分为高光图像区域和暗部图像区域,可以根据高光图像区域和暗部图像区域进行HDR图像的高动态范围扩展显示,有效提高HDR图像的高动态范围扩展显示的效率,优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域,还包括:根据所述亮度均值确定第二阈值和第三阈值,所述第二阈值小于所述亮度均值,所述第三阈值大于或等于所述亮度均值;将所述亮度信息小于所述第二阈值的像素点划分至所述HDR图像的第一区域;将所述亮度信息大于或等于所述第二阈值且小于所述第三阈值的像素点划分至所述HDR图像的第三区域;将所述亮度信息大于或等于所述第三阈值的像素点划分至所述HDR图像的第二区域。
通过上述技术方案,根据图像的亮度信息将HDR图像划分为高光图像区域、过渡图像区域及暗部图像区域,可以根据高光图像区域、过渡图像区域及暗部图像区域进行HDR图像的高动态范围扩展显示,有效提高HDR图像的高动态范围扩展显示的效率,优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,最小的图像区域为一个像素点。通过上述技术方案,将HDR图像中的每个像素点作为一个图像区域,从而根据每个像素点的像素信息、亮度信息及深度信息进行HDR图像的高动态范围扩展显示,可以优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述最大显示屏亮度为电子设备的显示屏支持的最大亮度,所述基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度,包括:将当前显示屏亮度的预设倍数作为亮度阈值;若所述亮度阈值小于或等于所述最大显示屏亮度,确定所述亮度阈值为所述目标显示屏亮度;或若所述亮度阈值大于所述最大显示屏亮度,确定所述最大显示屏亮度为所述目标显示屏亮度。
通过上述技术方案,可以确定电子设备的实际最大显示屏亮度,以便于根据最大显示屏亮度对HDR图像进行高动态范围扩展显示,有效优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述确定所述多个图像区域内像素点的像素值的亮度调整系数,包括:将所述第一区域内的像素点的第一亮度调整系数确定为所述当前显示屏亮度与所述亮度阈值的比值;将所述第二区域内的像素点的第二亮度调整系数确定为1与所述像素点的归一化亮度值的和。
通过上述技术方案,可以设置不同图像区域的亮度调整系数,从而根据亮度调整系数进行HDR图像的高动态范围扩展显示,有效优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,包括:对所述多个图像区域内每个像素点的深度信息进行归一化处理;当所述像素点的深度信息小于或等于预设深度阈值时,确定所述像素点的像素值的深度调整系数为第一深度调整系数;当所述像素点的深度信息大于所述预设深度阈值时,确定所述像素点的像素值的深度调整系数为第二深度调整系数,其中,所述第一深度调整系数和第二深度调整系数均为常数,且第一深度调整系数大于第二深度调整系数。
通过上述技术方案,可以根据设置HDR图像中像素点的深度信息和预设深度阈值设置对应的深度调整系数,并根据深度调整系数进行HDR图像的高动态范围扩展显示,可以使得景深较小的像素点的亮度相对较大,景深较大的像素点的亮度相对较小,从而突出HDR图像中的主体部分,有效优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,包括:对所述多个图像区域内每个像素点的深度信息进行归一化处理;根据预设的反比例映射函数将每个像素点的深度信息转换为所述像素点的深度调整系数。
通过上述技术方案,可以根据设置HDR图像中像素点的深度信息和反比例映射函数设置对应的深度调整系数,并根据深度调整系数进行HDR图像的高动态范围扩展显示,可以使得景深较小的像素点的亮度相对较大,景深较大的像素点的亮度相对较小,从而突出HDR图像中的主体部分,有效优化HDR图像的高动态范围扩展显示效果。
在一种可能的实现方式中,所述根据所述亮度调整系数和所述深度调整系数调整所述多个图像区域内像素点的像素值,得到目标HDR图像,包括:将所述多个图像区域内每个像素点的所述亮度调整系数、所述深度调整系数与所述像素值相乘,得到所述多个图像区域内每个像素点的更新像素值。
通过上述技术方案,根据像素点的亮度调整系数和深度调整系数调整像素点的像素值,有效增加了HDR图像在显示时的动态范围,并且突出HDR图像中的主体,实现纵深的光影感,有效优化HDR图像的高动态范围扩展显示效果。
第二方面,本申请提供一种电子设备,所述电子设备包括存储器和处理器:其中,所述存储器,用于存储程序指令;所述处理器,用于读取并执行所述存储器中存储的所述程序指令,当所述程序指令被所述处理器执行时,使得所述电子设备执行上述的图像处理方法。
第三方面,本申请提供一种芯片,与电子设备中的存储器耦合,所述芯片用于控制所述电子设备的处理器执行上述的图像处理方法。
第四方面,本申请提供一种计算机存储介质,所述计算机存储介质存储有程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备的处理器执行上述的图像处理方法。
另外,第二方面至第四方面所带来的技术效果可参见上述方法部分各设计的方法相关的描述,此处不再赘述。
附图说明
图1是本申请一实施例提供的色调映射曲线的示意图。
图2是本申请一实施例提供的电子设备的软件架构图。
图3是本申请一实施例提供的图像处理方法的流程图。
图4是本申请一实施例提供的拍摄预览界面的示意图。
图5是本申请一实施例提供的图像的示意图。
图6是本申请实施例提供的一种像素点分组策略的示意图。
图7是本申请实施例提供的另一种像素点分组策略的示意图。
图8是本申请一实施例提供的SDR图像转换为HDR图像的过程示意图。
图9是本申请一实施例提供的另一图像的示意图。
图10是本申请一实施例提供的另一图像的示意图。
图11是本申请一实施例提供的另一图像的示意图。
图12是本申请另一实施例提供的图像处理方法的流程图。
图13是本申请一实施例提供的电子设备的硬件架构图。
具体实施方式
在本申请的一实施例中所涉及的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请实施例的描述中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。在本申请的一实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。应理解,本申请中除非另有说明,“/”表示或的意思。例如,A/B可以表示A或B。本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B三种情况。“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如,a、b或c中的至少一个,可以表示:a,b,c,a和b,a和c,b和c,a、b和c七种情况。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
为了使得本申请各实施例的描述清楚简洁,首先给出相关概念或技术的简要介绍:
动态范围(Dynamic Range,DR):是可变化信号(例如声音或光)最大值和最小值的比值。在图像领域,动态范围是指相机能捕捉的场景中的光亮度的范围,可以表示为相机在单帧图像内可以记录的最高的和最低的亮度之间的比值,也就是图像中像素点的最大亮度值与最小亮度值的比值。高动态范围(High Dynamic Range,HDR)成像,相对于低动态范围(Lower Dynamic Range,LDR)成像或标准动态范围(Standard Dynamic Range,SDR)成像,具有更大的动态范围(即更大的明暗差别),能够更精确地反映真实世界中从太阳光直射到最暗的阴影的亮度变化范围,具有更宽的色彩范围和更丰富的图像细节,能够更好地反映真实环境中的视觉效果。
HDR:表示信号最高值和最低值之间的比值(即动态范围)大于或等于预设的第一阈值。将HDR反映在图像中,可以理解为图像中存在高光区域和暗部区域,高光区域的亮度值和暗部区域的亮度值之间的比值大于或等于第一阈值,这样的图像为HDR图像。
SDR:表示信号最高值和最低值之间的比值(即动态范围)小于预设的第一阈值且大于或等于预设的第二阈值,其中,第二阈值小于第一阈值。将SDR反映在图像中,可以理解为图像中存在高光区域和暗部区域,高光区域的亮度值和暗部区域的亮度值之间的比值小于预设的第一阈值且大于或等于预设的第二阈值,这样的图像为SDR图像。
曝光(Exposure Value,EV)值:反映图像的曝光水平。通过调整摄像头的曝光参数,可使图像具有不同的EV。其中,曝光参数是指用于影响摄像头曝光量大小的参数,曝光参数包括但不限于:光圈、快门、曝光时间及感光度。在本申请实施例中,将正常曝光的曝光值的表示为EV0,将欠曝光的曝光值表示为EV-,将过曝光的曝光值表示为EV+。将曝光值EV0×2n表示为EVn。例如,EV-1表示曝光值为EV0的一半,EV-2表示曝光值为EV-1的一半;再例如,EV1表示曝光值为EV0的二倍,EV2表示曝光值为EV1的二倍。
电子设备可以通过摄像头拍摄多张同一场景下的不同曝光值的图像,对多张图像进行融合后生成单张图像,并对单张图像进行色调映射可以生成HDR图像。然而,这种HDR图像在显示设备上进行显示时,仍然以标准动态范围进行显示,因为这种HDR图像一般为8位图像,动态范围大约为255∶1,而目前的显示设备通常可以提供更高的动态范围。也就是说,这种HDR图像实际上仍为SDR图像。
参阅图1所示,为本申请一实施例提供的色调映射曲线的示意图。电子设备在获取SDR图像后,可以通过色调映射的方式将SDR图像转换为HDR图像。例如,通过图1所示的S形色调映射曲线(即Sigmoid非线性函数)对SDR图像中的每个像素点的像素值进行转换,像素值转换的计算公式为:
其中,x为像素点的初始像素值,y为HDR转换后的像素值。
在现有技术中,可以根据HDR图像的亮度信息对HDR图像进行高动态范围扩展显示,例如根据HDR图像的亮度信息确定一个亮度调整系数,将HDR图像中像素点的像素值与对应的亮度调整系数相乘,可以得到每个像素点的更新像素值。然而,在高动态范围扩展显示过程中,如果只根据亮度信息对像素值和亮度信息进行转换,无法突出图像中的主体部分,图像不具层次感,导致HDR图像的显示效果不佳。
为了解决上述问题,本申请实施例提供一种图像处理方法,在显示HDR图像的过程中,可以根据HDR图像的真实亮度情况和终端设备的亮度能力来增大或保持HDR图像高光区域的像素值,以及缩小暗部区域的像素值,使HDR图像的高光区域更亮,使HDR图像的暗部区域更暗或者接近HDR图像暗部区域原本的亮度,使高光区域和暗部区域具有更高的对比度,从而扩大了HDR图像的动态范围,使电子设备显示的HDR图像更接近真实场景,同时还可以突出图像中的主体部分,使得图像体现出更好的层次感,从而进一步提升HDR图像的显示效果。
参阅图2所示,为本申请实施例提供的电子设备的软件架构图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。例如,安卓系统从上至下分别为应用程序层101,框架层102,安卓运行时(Android runtime)和系统库103,硬件抽象层104,内核层105,硬件层106。
应用程序层101可以包括一系列应用程序包。例如,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息,设备控制服务等应用程序。
框架层102为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。例如,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层101和框架层102运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库103可以包括多个功能模块。例如,表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如SGL)等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
硬件抽象层104运行于用户空间,对内核层驱动进行封装,向上层提供调用接口。
内核层105是硬件和软件之间的层。内核层105至少包含显示驱动,触控驱动,音频驱动,传感器驱动。
内核层105是电子设备的操作系统的核心,是基于硬件的第一层软件扩充,提供操作系统最基本的功能,是操作系统工作的基础,负责管理系统的进程、内存、设备驱动程序、文件和网络系统,决定了系统的性能和稳定性。例如,内核层可以决定一个应用程序对某部分硬件的操作时间。
内核层105包括与硬件紧密相关的程序,例如中断处理程序、设备驱动程序等,还包括基本的、公共的、运行频率较高的模块,例如时钟管理模块、进程调度模块等,还包括关键性的数据结构。内核层可以设置于处理器中,或固化在内部存储器。
硬件层106包括电子设备的硬件,例如显示屏、按键、摄像头等。
参阅图3所示,为本申请一实施例提供的图像处理方法的流程图。所述方法应用于电子设备中,所述图像处理方法包括:
S101,获取SDR图像,对SDR图像进行色调映射,得到HDR图像。
在本申请的一实施例中,电子设备可以获取多个图像,并将获取的多个图像融合生成SDR图像。其中,多个图像为电子设备处于同一场景下,通过电子设备的摄像头在不同曝光参数下拍摄的图像,多个图像与多个曝光参数一一对应,即,每个图像对应一个曝光参数。参阅图4所示,为本申请一实施例提供的相机应用程序界面的示意图。用户开启相机应用程序后,电子设备可以显示拍摄界面301,拍摄界面301包括拍摄控件302。响应于用户点击拍摄控件302的操作,摄像头拍摄多个图像。在本申请的一实施例中,电子设备可以包括多个摄像头,多个摄像头可分别以不同的曝光参数进行拍摄,获得多个图像。在本申请的其他实施例中,电子设备也可以通过单个摄像头,根据不同的曝光参数,连续拍摄多个图像,且每帧图像的拍摄时间保持同步或接近同步。
参阅图5所示,为本申请一实施例提供的多个图像的示意图。例如,多个图像可以包括图5中的图像1和图像2。其中,图像1为摄像头基于曝光参数1进行拍摄的,图像2为摄像头基于曝光参数2进行拍摄的。图像1对应的EV值大于图像2对应的EV值。图像1存在过曝光的情况,图像1中的高光区域由于过曝而失真,暗部区域则由于曝光值的补偿可以看清楚细节、轮廓。图像2存在欠曝光的情况,图像2中的高光区域有较为清晰的轮廓,但暗部区域由于缺乏曝光较为模糊。
图5仅以包括曝光参数EV-、EV+下的图像为例,实际上电子设备还可以获取更多曝光情况下的图像,例如在EV0、EV-1、EV-2、EV+1、EV+2等情况下的图像,本申请实施例在此不作具体限制。
通过将多个图像融合生成SDR图像,可以提升SDR图像的质量。在本申请的另一实施例中,SDR图像也可以是由电子设备的摄像头在一曝光参数下拍摄的单个图像。
在本申请的一实施例中,色调映射可以是全局色调映射或局部色调映射。全局色调映射可以采用直方图映射、伽马(Gamma)校正映射、Sigmoid非线性函数映射等方式进行对图像进行全局处理。全局色调映射可以很好地保留全局对比度。局部色调映射可以对HDR图像进行区域划分,然后对划分后的每个区域按照类似全局色调映射的方式进行处理,可以保留相邻区域之间的相对对比度,从而保留局部细节。
例如,对SDR图像进行色调映射后得到的HDR图像可参阅图5所示。HDR图像相对于单个图像(例如图5中的图像1和图像2)而言,暗部区域和高光区域都有较为明显的细节和轮廓,具有更高的动态范围。
S102,获取HDR图像中每个像素点的像素值。
在本申请的一实施例中,根据拍摄图像的摄像头的图像传感器的类型,像素点的像素值可以是RGB值、RGGB值、RGBW值、RYYB值等。其中,RGB表示每个像素的颜色包括红(red,R)、绿(green,G)和蓝(blue,B)三个颜色分量。RGGB表示每个像素的颜色包括红、绿、绿、蓝四个颜色分量。RGBW表示每个像素的颜色包括红、绿、蓝、白(white,W)四分量。RYYB表示每个像素的颜色包括红、黄(yellow,Y)、黄、蓝四个分量。其中,每个像素点的像素值可以通过图像传感器获得。
S103,根据预设的像素点分组策略对HDR图像的像素点进行分组,获取每组像素点亮度信息。
在本申请的一实施例中,当SDR图像由多个图像融合生成时,目标曝光参数可以为多个图像对应的多个曝光参数中的一个,或者为多个曝光参数中的至少两个曝光参数的组合得到的参数,具体可以根据实际拍摄需求进行设置。例如,若要求图像的暗部区域的细节比较清晰,目标曝光参数可以较大;若要求图像的高光区域比较清晰且不存在过曝的情况,目标曝光参数可以较小;若要求图像有较为清晰的明暗对比度,且不存在过曝或者欠曝的情况,目标曝光参数可以适中。本申请实施例中的目标曝光参数为多个曝光参数组合得到的参数,目标曝光参数可作为HDR图像对应的曝光参数。当SDR图像为摄像头拍摄的单个图像时,目标曝光参数为单个图像对应的曝光参数。
例如,多个曝光参数包括EV-1、EV0、EV+1、EV+2。电子设备可以直接取EV-1、EV0、EV+1、EV+2中的任意一个参数作为目标曝光参数。或者,若在某个场景下为了获得图像中的暗部区域的细节,需要EV介于EV+1、EV+2之间,则电子设备可以通过改变曝光时间以及感光度等参数使EV介于EV+1、EV+2之间,得到对应的目标曝光参数。
在本申请的其他实施例中,也可以将多个曝光参数输入预先训练好的神经网络模型,得到目标曝光参数。
目标曝光参数对应的图像为目标曝光图像。目标曝光图像可以理解为电子设备以目标曝光参数进行拍摄时应当得到的曝光图像。若目标曝光参数为多个曝光参数中的一个,目标曝光图像可以是电子设备在目标曝光参数下拍摄得到的图像。若目标曝光参数为多个曝光参数中至少两个曝光参数组合得到的参数,目标曝光图像可以为对至少两个曝光参数对应的图像融合得到的图像。例如,多个曝光参数包括EV0、EV-、EV+,并分别对应EV0图像、EV-图像以及EV+图像。若目标曝光参数为EV0,则将EV0图像作为目标曝光图像;若目标曝光参数为EV-、EV+组合得到的参数,将EV-图像和EV+图像融合得到的图像作为目标曝光图像。又例如,目标曝光参数为上述多个曝光参数组合得到的参数,则将多个曝光参数对应的多个图像融合得到的SDR图像作为目标曝光图像。
每组像素点在目标曝光参数下的亮度信息可以是每组像素点在目标曝光图像中的亮度信息。例如,摄像头拍摄了EV0图像、EV-图像以及EV+图像,并基于对EV0图像、EV-图像以及EV+图像进行融合生成SDR图像,并对SDR图像进行色调映射处理后得到HDR图像。若将EV0作为目标曝光参数,则HDR图像中一组像素点在目标曝光参数下的亮度信息为该组像素点在EV0图像中的亮度信息。
在本申请的一实施例中,预设的像素点分组策略可以根据实际需求进行设置。例如,预设的像素点分组策略可以将一个像素点划分为一组,或者可以将n×m个像素点构成的像素矩阵划分为一组,例如,n×m为2×2或3×2,即,可以将2×2或3×2个像素点构成的像素矩阵划分为一组,本申请实施例在此不作具体限制。
若将一个像素点划分为一组,则每组像素点在目标曝光参数下的亮度信息即为该像素点在目标曝光图像中的亮度值。若将n×m个像素点构成的像素矩阵划分为一组,则该组像素点在目标曝光参数下的亮度信息可以为该组像素点中所有像素点在目标曝光图像中的亮度值的平均值,或者为去除所有像素点的亮度值的离群值后剩余的亮度值的平均值,本申请实施例在此不作具体限制。
参阅图6所示,为本申请实施例提供的一种像素点分组策略的示意图。在图6中,将每个像素点作为一个像素组。其中,目标曝光图像中像素点A1的像素值为R1G1B1,HDR图像中像素点A2的像素值为R2G2B2,且像素点A1与像素点A2在两个图像中的坐标相同。像素点A2在目标曝光参数下的亮度信息为该像素点A2在目标曝光图像中的亮度信息,即为像素点A1的亮度信息。因此,可以通过像素点A1的像素值R1、G1、B1计算得到像素点A1的亮度信息L1,并将亮度信息L1作为像素点A2在目标曝光参数下的亮度信息。
在本申请的一实施例中,亮度值L与像素值RGB可满足计算公式:L=α*R+β*G+γ*B。例如,α为0.299,β为0.587,γ为0.114,像素点A1的像素值为(R100,G100,B100),可以确定像素点A1的亮度信息L1为0.299R+0.587G+0.114B=29.9+58.7+11.4=100。因此,该像素点A2在目标曝光参数下的亮度信息为100。
参阅图7所示,为本申请实施例提供的另一种像素点分组策略的示意图。在图7中,HDR图像及目标曝光图像均包括8×6个像素点,将8×6个像素点划分为16组,每组像素点包括3×1个像素点。其中,目标曝光图像中的像素组1包括像素点M1、像素点M2、像素点M3,HDR图像中的像素组2包括像素点N1、像素点N2、像素点N3。像素点M1与像素点N1在两个图像中的坐标相同,像素点M2与像素点N2在两个图像中的坐标相同,像素点M3与像素点N3在两个图像中的坐标相同。像素点M1的像素值为R3、G3、B3、W3,像素点M2的像素值为R4、G4、B4、W4,像素点M3的像素值为R5、G5、B5、W5。像素点N1的像素值为R6、G6、B6、W6,像素点N2的像素值为R7、G7、B7、W7,像素点N3的像素值为R8、G8、B8、W8。像素组2在目标曝光参数下的亮度信息为该像素组2在目标曝光图像中的亮度信息,即为像素组1的亮度信息。电子设备可以根据像素点M1的像素值(R3、G3、B3、W3)计算得到亮度值L3,根据像素点M2的像素值(R4、G4、B4、W4)计算得到亮度值L4,根据像素点M3的像素值(R5、G5、B5、W5)计算得到亮度值L5,然后将亮度值L3、亮度值L4、亮度值L5的均值L6作为像素组2在目标曝光参数下的亮度信息。
S104,获取HDR图像中每个像素点的深度信息。
在本申请的一实施例中,HDR图像中每个像素点的深度信息为每个像素点对应在场景中的点与摄像头之间的距离。可以通过单目深度估计方法或双目深度估计方法计算HDR图像中每个像素点的深度信息。
在本申请的一实施例中,单目深度估计方法包括将HDR图像输入预设的深度学习模型,通过预设的深度学习模型输出HDR图像对应的视差图,根据视差图可以得到每个像素点的视差D,并根据每个像素点的视差D计算每个像素点的深度Z,计算公式为:Z=f*b/D,其中,f为摄像头的焦距,b为摄像头的基线距离。其中,预设的深度学习模型可以是自编码器或其他合适的神经网络模型。
在本申请的一实施例中,双目深度估计方法包括通过两个摄像头分别拍摄HDR图像对应场景的两个图像,对两个图像进行特征匹配,确定两个图像中的多组匹配像素点,计算每组匹配像素点分别对应在场景中的点之间距离,得到每个像素点的视差D,并根据每个像素点的视差D计算每个像素点的深度Z,计算公式为:Z=f*b/D,其中,f为摄像头的焦距,b为摄像头的基线距离(即两个摄像头之间的距离)。
S105,根据亮度信息确定亮度均值,并根据亮度均值将HDR图像划分为多个图像区域。
在本申请的一实施例中,该亮度均值为所有像素点的亮度值(即亮度信息)的平均值,用于反映HDR图像的真实亮度水平。例如,若亮度信息的位宽为8bit,则将亮度信息数字化后,亮度值的范围在0-255之间。将所有亮度值数字化后取平均值,可得到亮度均值。
在本申请的一实施例中,多个图像区域至少包括第一区域和第二区域。第一区域为HDR图像中的暗部区域,第二区域为HDR图像中的高光区域。
在本申请的一实施例中,可以根据亮度均值确定第一阈值,并根据第一阈值将HDR图像划分为第一区域和第二区域。其中,第一阈值大于或等于亮度均值,且亮度均值越大则第一阈值越大。第一阈值可以与亮度均值呈线性或者非线性变化的关系,在此不作具体限制。可以将亮度值小于或等于第一阈值的像素点划分至第一区域,将亮度值大于第一阈值的像素点划分至第二区域。如此,可使得第一区域包含HDR图像中较暗区域的像素点,使第二区域包含HDR图像中较亮区域的像素点。
例如,第一阈值可以为165。若根据亮度信息确定像素点1的亮度值为100,由于100<165,将该像素点1划分至第一区域。若根据亮度信息确定像素点2的亮度值为188,由于188>165,将该像素点2划分至第二区域。
在本申请的另一实施例中,可以将HDR图像划分为第一区域、第二区域及第三区域。其中,第三区域为第一区域和第二区域之间的过渡区域。
在本申请的所述另一实施例中,可以根据亮度均值确定第二阈值和第三阈值,并基于第二阈值和第三阈值将HDR图像划分为第一区域、第二区域和第三区域。其中,第二阈值小于亮度均值,第三阈值大于或等于亮度均值,且亮度均值越大则第二阈值和第三阈值越大。第二阈值、第三阈值可以与亮度均值呈线性或者非线性变化的关系,在此不作具体限制。可以将亮度值小于第二阈值的像素点划分至第一区域,将亮度值大于或等于第二阈值且小于第三阈值的像素点划分至第三区域,将亮度值大于或等于第三阈值的像素点划分至第二区域。如此,第一区域为HDR图像中较暗的区域,第二区域为HDR图像中较亮的区域,第三区域为第一区域和第二区域之间的过渡区域,亮度适中。
上述仅仅示出了两种划分图像区域的方式,本申请实施例还可以使用更加精细的分区方法将HDR图像划分为更多图像区域,其中,最小的图像区域可以为一个像素点,也就是说,可以将HDR图像中的每个像素点划分为一个图像区域。
S106,基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度。
在本申请的一实施例中,为了使HDR图像看起来更亮,可增大显示屏亮度。其中,最大显示屏亮度为电子设备的显示屏所支持的最大亮度。可以先根据当前显示屏亮度确定亮度阈值。例如,可以将当前显示屏亮度的预设倍数作为亮度阈值。该预设倍数可以为大于1的任意数值,例如为3。然后,比对亮度阈值与最大显示屏亮度,若亮度阈值小于或等于最大显示屏亮度,则确定亮度阈值为目标显示屏亮度。若亮度阈值大于最大显示屏亮度,则确定最大显示屏亮度为目标显示屏亮度。
在本申请的另一实施例中,目标显示屏亮度也可以固定为最大显示屏亮度。即不管当前显示屏亮度为多少,总是将最大显示屏亮度作为目标显示屏亮度。
S107,确定多个图像区域内像素点的像素值的亮度调整系数,根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,并根据亮度调整系数和深度调整系数调整多个图像区域内像素点的像素值,得到目标HDR图像。
在本申请的一实施例中,当多个图像区域包括第一区域和第二区域时,第一区域内像素点的像素值的亮度调整系数为第一亮度调整系数,第二区域内像素点的像素值的亮度调整系数为第二亮度调整系数。
在本申请的一实施例中,当第一区域为暗部区域,第二区域为高光区域时,第一调整系数可以小于1且大于0,第二调整系数可以大于或等于1。
在本申请的另一实施例中,当多个图像区域包括第一区域、第二区域及第三区域时,第一区域内像素点的像素值的亮度调整系数为第一亮度调整系数,第二区域内像素点的像素值的亮度调整系数为第二亮度调整系数,第三区域内像素点的像素值的亮度调整系数为第三亮度调整系数。当第一区域为暗部区域,第二区域为高光区域,第三区域为过渡区域时,第一调整系数可以小于1且大于0,第二调整系数可以大于或等于1,第三调整系数可以等于1。
在本申请的另一实施例中,当每个图像区域为一个像素点时,HDR图像中的每个像素点对应一个亮度调整系数和深度调整系数。
在本申请的一实施例中,对多个图像区域内每个像素点的深度信息进行归一化处理,判断每个像素点归一化处理后的深度信息是否小于或等于预设深度阈值,当像素点的深度信息小于或等于预设深度阈值时,确定该像素点的像素值的深度调整系数为第一深度调整系数;当像素点的深度信息大于预设深度阈值时,确定该像素点的像素值的深度调整系数为第二深度调整系数。其中,第一深度调整系数和第二深度调整系数均为常数,且第一深度调整系数大于第二深度调整系数。对深度信息的归一化处理包括将8bit 0-255范围内的深度信息归一化为0-1之间的数据。例如,预设深度阈值为0.1、0.2、0.3或其他合适的数值。
在本申请的另一实施例中,对多个图像区域内每个像素点的深度信息进行归一化处理,根据预设的反比例映射函数将每个像素点的深度信息转换为像素点的深度调整系数。其中,预设的反比例映射函数为f(d)=k/d,d为像素点的深度信息,k为常数,例如为1。
在本申请的一实施例中,将亮度调整系数、深度调整系数与多个图像区域内每个像素点的像素值相乘,得到多个图像区域内每个像素点的更新像素值。当多个图像区域包括第一区域和第二区域时,第一区域对应的第一亮度调整系数为Q1,第二区域对应的第二亮度调整系数为Q2,深度调整系数为f(d),d为像素点的深度信息,根据上述实施例,深度调整系数f(d)为第一深度调整系数或第二深度调整系数,或者为根据像素点的深度信息和预设的反比例函数确定的值。即,第一区域内每个像素点的更新像素值p1=Q1*f(d)*p0,第二区域内每个像素点的更新像素值p2=Q2*f(d)*p0,p0为HDR图像中像素点的原始像素值。
在本申请的一实施例中,在通过比对亮度阈值和最大显示屏亮度的方式确定目标显示屏亮度的情况下,若亮度阈值小于最大显示屏亮度,将亮度阈值确定为目标显示屏亮度,该第一亮度调整系数为当前显示屏亮度与亮度阈值的比值,即为预设倍数的倒数;若亮度阈值大于或等于最大显示屏亮度,将最大显示屏亮度确定为目标显示屏亮度,该第一亮度调整系数可以是当前显示屏亮度与最大显示屏亮度的比值。在固定将最大显示屏亮度作为目标显示屏亮度的情况下,该第一亮度调整系数可以是当前显示屏亮度与最大显示屏亮度的比值。也就是说,第一亮度调整系数为当前显示屏亮度与目标显示屏亮度的比值。
其中,在第一亮度调整系数Q1为预设倍数的倒数时,由于预设倍数大于1,可以得到Q1<1。此外,在第一亮度调整系数Q1为当前显示屏亮度与最大显示屏亮度的比值时,以ANit表征电子设备的当前显示屏亮度,以B Nit表征电子设备的最大显示屏亮度,可以得到第一亮度调整系数Q1为A/B。
在本申请的一实施例中,第二亮度调整系数为变值,且与第二区域内每个像素点的亮度信息相关。例如,可以将第二区域内每个像素点的亮度信息进行数值化(例如归一化处理)得到亮度值,然后基于亮度值计算像素点的第二亮度调整系数。若第二区域包括N个像素点,则第i个像素点的第二亮度调整系数满足计算公式:Q2i=1+Li/Lmax。其中,Q2i表示第i个像素点的第二亮度调整系数,Li表示第i个像素点的亮度值,Lmax表示像素点的最大亮度值。以亮度信息为8bit数值为例,亮度信息可数值化为0~255。若一像素点的亮度值为C,则该像素点对应的第二调整系数Q2=1+C/255。也就是说,第二区域内每个像素点的第二亮度调整系数为1与该像素点的归一化亮度值的和。
上述方法可使不同的像素值具有不同的第二亮度调整系数,可以尽可能保留第二区域内不同像素点之间的明暗关系。
在本申请的另一实施例中,第二亮度调整系数也可以为1。当第二亮度调整系数为1时,第二区域内的像素点的像素值不变。
由于第一亮度调整系数小于1,第一区域内每个像素点对应的更新像素值小于该像素点对应的原始像素值。由于第二亮度调整系数大于或等于1,第二区域内每个像素点对应的更新像素值大于或等于该像素点对应的原始像素值。
根据本申请的上述实施例,当像素点的深度信息越大,即,像素点对应的景深越大时,深度调整系数越小,使得像素值的增益减小;当像素点的深度信息越小,即,像素点对应的景深越小时,深度调整系数越大,使得像素值的增益增大。如此,可以增加图像中更加靠近摄像头的主体部分的亮度,从而突出图像中的主体部分,使得图像具有更好的层次。
参阅图8所示,为本申请实施例提供的SDR图像转换HDR图像的过程示意图。SDR图像通过色调映射进行像素值转换后得到HDR图像,将HDR图像中每个像素点的像素值、根据亮度信息确定的亮度调整系数及根据深度信息确定的深度调整系数作为映射函数f的自变量输入映射函数f,通过映射函数f输出目标HDR的每个像素点的像素值,可以根据显示屏亮度对HDR图像进行动态范围扩展,并且动态范围扩展可以反映图像中像素点的景深大小,突出图像中景深较小的主体部分,从而提升图像的层次感。
S108,将电子设备的显示屏亮度调整为目标显示屏亮度,显示目标HDR图像。
在本申请的一实施例中,像素点的观测亮度与显示屏亮度的关系可以满足计算公式:Lg=Gray*Lp,其中,Lg为观测亮度,Lp为显示屏亮度,Gray为像素灰阶。像素点的观测亮度可以指示该像素点在显示屏上的明暗情况。像素点的像素灰阶与该像素点的像素值有关,其中,像素值越大,则像素灰阶越大。例如,像素灰阶与像素值可以满足计算公式:Gray=α*R+β*G+γ*B。即,像素灰阶可以是像素点的亮度值。
在电子设备显示屏上显示图像时,电子设备的显示屏亮度和像素点的像素值都会影响该像素点在屏幕上的明暗情况。其中,在像素点的像素值一定的情况下,电子设备的显示屏亮度越大,则该像素点的观测亮度越大,即该像素点看起来越亮;在电子设备的显示屏亮度一定的情况下,像素点的像素值越大,则该像素点的观测亮度越大,即该像素点看起来越亮。反之,若在增大显示屏亮度的情况下,若要使某个像素点的观测亮度保持不变,则可以减小该像素点的像素值。
可以理解,本申请实施例显示目标HDR图像的过程实际上为:在增大电子设备的显示屏亮度的情况下,减小目标HDR图像上第一区域上像素点的像素值,以使目标HDR图像上第一区域上像素点的观测亮度接近未调整显示屏亮度前的观测亮度;同时保持或增大目标HDR图像上第二区域上像素点的像素值,以使第二图像上第二区域上像素点的观测亮度比未调整显示屏亮度前的观测亮度更大。换句话说,使目标HDR图像上的第一区域的亮度不变,增大目标HDR图像上的第二区域的亮度。
例如,以电子设备将显示屏亮度从当前显示屏亮度A调整为目标显示屏亮度C,第一亮度调整系数为A/C,第二亮度调整系数为1,说明显示HDR图像的过程。电子设备可以先根据第一亮度调整系数、第二亮度调整系数及对应的深度调整系数生成目标HDR图像。在生成目标HDR图像的过程中,HDR图像中第一区域上的像素点的像素值减小了A/C*f(d)1倍,其中,f(d)1为第一深度调整系数,A/C*f(d)1小于1,使得第一区域上像素点的像素灰阶缩小了A/C*f(d)倍;HDR图像中第二区域上的像素点的更新像素值为原始像素值的f(d)2倍,其中,f(d)2为第二深度调整系数,f(d)2大于或等于1。在电子设备将显示屏亮度从当前显示屏亮度A调整为目标显示屏亮度C时,HDR图像上所有像素点的显示屏亮度均扩大C/A倍。可见,在显示HDR图像后,第一区域上的像素点的观测亮度先缩小A/C*f(d)1倍,再扩大C/A倍,像素点的观测亮度仅受深度信息的影响;第二区域上的像素点的观测亮度扩大C/A*f(d)2倍,像素点的亮度高于原本的观测亮度,同时受深度信息的影响。这能增大HDR图像上第一区域与第二区域的明暗对比度,扩大HDR图像的动态范围,同时增加HDR图像中景深较小的主体部分的亮度,突出HDR图像中的主体部分,更好地体现HDR图像的层次感。
例如,HDR图像可以如图9所示,HDR图像800包括第一区域801和第二区域802。若电子设备不预先得到HDR图像的目标HDR图像,直接增大显示屏亮度并显示HDR图像,则可以得到如图10所示的图像900,在图像900中,第一区域901和第二区域902的观测亮度均增大,但图像900的明暗对比度并未发生变化,与图像900的明暗对比度相同。而电子设备在得到HDR图像的目标HDR图像后,再将显示屏亮度增大并显示该目标HDR图像,可以得到如图11所示的图像1000。可以看出,图像1000中的第一区域1001的观测亮度与HDR图像800中第一区域801的观测亮度接近,图像1000中的第二区域1002的观测亮度明显高于HDR图像800中第二区域802的观测亮度,相对于HDR图像800而言,图像1000中第一区域1001与第二区域1002具备更高的明暗对比度,图像1000具备更大的动态范围。此外,如图9所示的HDR图像800还包括第三区域803,第三区域803为景深较小(即距离摄像头更近)的主体部分,如果不根据像素点的深度信息进行像素值转换,得到如图10所示的图像900,第三区域903对应的人像无法突出显示,如果根据像素点的深度信息进行像素值转换,得到如图11所示的图像1000,图像1000中的第三区域1003对应的人像可以突出显示,体现出更好的层次。
需要说明的是,电子设备显示的HDR图像,可以是由其他电子设备创建后传输给该电子设备的,也可以是由电子设备创建的。也就是说,创建HDR图像的过程和显示HDR图像的过程,可以由同一个设备完成,也可以由不同的设备完成,本申请实施例在此不作具体限制。
本申请实施例通过在显示HDR图像的过程中,通过增大电子设备的显示屏亮度,以增大每个像素点的观测亮度;同时通过降低第一区域内像素点的像素值,以降低第一区域内的像素点的观测亮度,以及增大或者保持第二区域内像素点的像素值,以增大或保持第二区域内的像素点的观测亮度,达到不改变第二区域内的像素点的观测亮度并增大第二区域内的像素点的观测亮度的效果。也就是说,在显示HDR图像的过程中,可使HDR图像中亮的区域更亮,暗的区域更暗或者保持不变,增大了HDR图像的明暗对比度,扩大了HDR图像的动态范围。同时,根据像素点的深度信息进行像素值转换,可以增加图像中靠近摄像头的主体部分的亮度,从而突出图像中的主体部分,使得图像具有更好的层次。
另外,本申请实施例提供的HDR图像的显示方法,可以自适应电子设备的显示屏所支持的亮度能力,能够充分利用电子设备的亮度能力。
参阅图12所示,为本申请另一实施例提供的图像处理方法的流程图。所述方法应用于电子设备中,所述图像处理方法包括:
S201,获取SDR图像,对SDR图像进行色调映射,得到HDR图像。
S202,获取HDR图像中每个像素点的像素值。
S203,根据预设的像素点分组策略对HDR图像的像素点进行分组,获取每组像素点的亮度信息。
S204,获取HDR图像中每个像素点的深度信息。
S205,分别将亮度信息、深度信息及像素值编码至HDR图像中,得到图像文件。
在本申请的一实施例中,可以利用联合图像专家组(Joint PhotographicExpertsGroup,JEPG)标准、高效率视频编码(high efficiency video coding,HEVC)、便携式网络图型(portable network graphics,PNG)、游程编码(run-length encoding,RLE)等方式对像素值进行编码,得到第一编码数据。
在本申请的一实施例中,第一编码数据的格式包括但不仅限于:JEPG,高效率图像文件格式(highefficiency image file format,HEIF),HEIC,PNG,位图(Bitmap,BMP),图形交换格式(graphics interchangeformat,GIF),在此不作具体限制。
在本申请的一实施例中,可以采用线性编码或者非线性编码等编码方式对亮度信息进行编码,得到第二编码数据。编码后的每个亮度信息可以有8bit、10bit或者更高的位宽。其中,非线性编码可包括利用伽马函数进行编码等方式,在此不作具体限制。在对亮度信息进行编码时,还可以将像素组的分组方式一并编码至该第二编码数据中。
在本申请的一实施例中,可以采用线性编码或者非线性编码等编码方式对深度信息进行编码,得到第三编码数据。编码后的每个深度信息可以有8bit的位宽。其中,非线性编码可包括利用伽马函数进行编码等方式,在此不作具体限制。
在本申请的一实施例中,还可以将第二编码数据和第三编码数据写入第一编码数据的特定字段,生成图像文件。以第一编码数据的格式为PNG为例,一个标准的PNG文件包括PNG文件署名域以及多个PNG数据块。电子设备可将该第二编码数据和第三编码数据写入PNG数据块中,以生成图像文件。在本申请的另一实施例中,也可以将第二编码数据和第三编码数据写入HDR图像的元数据中,生成图像文件。元数据可以是可交换图像文件格式(Exchangeable Image File Format,EXIF)。
若第一编码数据的格式不同,第二编码数据和第三编码数据写入的字段并不一定相同,只需将第二编码数据和第三编码数据写入第一编码数据中,但不影响第一编码数据本身携带的信息的字段即可,在此不作具体限制。
在本申请的另一实施例中,可以采用视频编码方式对HDR图像的像素值、亮度信息及深度信息进行编码,编码格式为YUV或YCbCr等,编码器可以是H.264或H.265,亮度信息和深度信息编码为8bit的数据,范围在0-255之间。
在本申请实施例中,电子设备创建的图像文件中既包括HDR图像的像素值,又包括未进行色调映射前的SDR图像的亮度信息和深度信息,该亮度信息可以更好地反映HDR图像的实际亮度情况,便于后续在显示HDR图像的过程中对HDR图像的亮度进行调整。
S206,响应于用户查看图像文件的操作,对图像文件进行解码得到HDR图像的亮度信息、深度信息及像素值。
在本申请的一实施例中,根据编码方法对应的解码方法对图像文件进行解码得到HDR图像的亮度信息、深度信息及像素值。
S207,根据亮度信息确定亮度均值,并根据亮度均值,将HDR图像划分为多个图像区域。
S208,基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度。
S209,确定多个图像区域内像素点的像素值的亮度调整系数,根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,并根据亮度调整系数和深度调整系数调整多个图像区域内像素点的像素值,得到目标HDR图像。
S210,将电子设备的显示屏亮度调整为目标显示屏亮度,显示目标HDR图像。
S201-S204、S207-S210的具体实施方式与S101-S108的具体实施方式相同,在此不作赘述。
在本申请的其他实施例中,也可以在对SDR图像进行色调映射之前,获取SDR图像的像素信息(即每个像素点的像素值)、亮度信息(即每组像素点的亮度值)及深度信息(即每个像素点的深度信息),并编码至SDR图像,生成图像文件,在电子设备接收到用户查看图像文件的操作时,对编码的SDR图像的像素信息、亮度信息及深度信息进行解码,获取SDR图像的像素信息、亮度信息及深度信息,对SDR图像进行色调映射,将SDR图像转换为HDR图像,根据亮度信息及深度信息将HDR图像转换为目标HDR图像,再根据目标显示屏亮度显示目标HDR图像,从而对HDR图像进行高动态范围的扩展显示。
本申请实施例还提供一种电子设备100,参阅图13所示,所述电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(Personal Digital Assistant,PDA)、增强现实(Augmented Reality,AR)设备、虚拟现实(Virtual Reality,VR)设备、人工智能(Artificial Intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对电子设备100的具体类型不作特殊限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在本申请的一实施例中,处理器110中的存储器为高速缓冲存储器。存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请的一实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-integrated Circuit,I2C)接口,集成电路内置音频(Inter-integratedCircuit Sound,I2S)接口,脉冲编码调制(Pulse Code Modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(Mobile Industry Processor Interface,MIPI),通用输入输出(General-PurposeInput/Output,GPIO)接口,用户标识模块(Subscriber Identity Module,SIM)接口,和/或通用串行总线(Universal Serial Bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(Serial Data Line,SDA)和一根串行时钟线(Serial Clock Line,SCL)。在本申请的一实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在本申请的一实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在本申请的一实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在本申请的一实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在本申请的一实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在本申请的一实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在本申请的一实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(Camera Serial Interface,CSI),显示屏串行接口(DisplaySerial Interface,DSI)等。在本申请的一实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在本申请的一实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。接口还可以用于连接其他电子设备100,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在本申请的一实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在本申请的一实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在本申请的一实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在本申请的一实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System For MobileCommunications,GSM),通用分组无线服务(General Packet Radio Service,GPRS),码分多址接入(Code Division Multiple Access,CDMA),宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA),时分码分多址(Time-Division Code DivisionMultiple Access,TD-SCDMA),长期演进(Long Term Evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(Global Positioning System,GPS),全球导航卫星系统(Global Navigation Satellite System,GLONASS),北斗卫星导航系统(Beidou Navigation Satellite System,BDS),准天顶卫星系统(Quasi-ZenithSatellite System,QZSS)和/或星基增强系统(Satellite Based Augmentation Systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Miniled,Microled,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在本申请的一实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在本申请的一实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在本申请的一实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(Random Access Memory,RAM)和一个或多个非易失性存储器(Non-Volatile Memory,NVM)。
随机存取存储器可以包括静态随机存储器(Static Random-Access Memory,SRAM)、动态随机存储器(Dynamic Random Access Memory,DRAM)、同步动态随机存储器(Synchronous Dynamic Random Access Memory,SDRAM)、双倍资料率同步动态随机存取存储器(Double Data Rate Synchronous Dynamic Random Access Memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3DNAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(Single-Level Cell,SLC)、多阶存储单元(Multi-Level Cell,MLC)、三阶储存单元(Triple-Level Cell,TLC)、四阶储存单元(Quad-Level Cell,QLC)等,按照存储规范划分可以包括通用闪存存储(Universal FlashStorage,UFS)、嵌入式多媒体存储卡(embedded Multi Media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
内部存储器121或外部存储器接口120用于存储一个或多个计算机程序。一个或多个计算机程序被配置为被处理器110执行。一个或多个计算机程序包括多个指令,多个指令被处理器110执行时,可实现上述实施例中在电子设备100上执行的屏幕显示检测方法,以实现电子设备100的屏幕显示检测功能。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在本申请的一实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备100平台(Open Mobile Terminal Platform,OMTP)标准接口,美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of theUSA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在本申请的一实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。本申请实施例还提供一种计算机存储介质,计算机存储介质中存储有计算机指令,当计算机指令在电子设备100上运行时,使得电子设备100执行上述相关方法步骤实现上述实施例中的图像处理方法。
本申请实施例还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图像处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的图像处理方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者技术方案的全部或部分可以以软件产品的形式体现出来,软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (16)
1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取SDR图像,对所述SDR图像进行色调映射,得到HDR图像;
获取所述HDR图像中每个像素点的像素值;
根据预设的像素点分组策略对所述HDR图像中的像素点进行分组,获取每组像素点的亮度信息;
获取所述HDR图像中每个像素点的深度信息;
根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域;
基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度;
确定所述多个图像区域内像素点的像素值的亮度调整系数,根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,并根据所述亮度调整系数和所述深度调整系数调整所述多个图像区域内像素点的像素值,得到目标HDR图像;
将所述电子设备的显示屏亮度调整为所述目标显示屏亮度,显示所述目标HDR图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
分别将所述亮度信息、所述深度信息及所述像素值编码至所述HDR图像中,得到图像文件;
响应于用户查看所述图像文件的操作,对所述图像文件进行解码得到所述HDR图像的所述亮度信息、所述深度信息及所述像素值。
3.如权利要求2所述的图像处理方法,其特征在于,所述分别将所述亮度信息、所述深度信息及所述像素值编码至所述HDR图像中,得到图像文件,包括:
对每个像素点的像素值进行编码得到第一编码数据;
对所述亮度信息进行编码得到第二编码数据;
对所述深度信息进行编码得到第三编码数据;
将所述第二编码数据和所述第三编码数据写入所述第一编码数据,得到所述图像文件。
4.如权利要求1所述的图像处理方法,其特征在于,所述获取每组像素点的亮度信息包括:
获取目标曝光参数对应的目标曝光图像,其中,若所述目标曝光参数为多个曝光参数中的任一曝光参数,所述目标曝光图像为所述任一曝光参数对应的图像;若所述目标曝光参数为根据所述多个曝光参数中的至少两个曝光参数确定的参数,所述目标曝光图像为所述至少两个曝光参数对应的图像融合得到的图像;
获取每组像素点中的每个像素点在所述目标曝光图像中的亮度值;
将每组像素点中所有像素点在所述目标曝光图像中的亮度值的均值作为该组像素点在所述目标曝光参数下的亮度信息。
5.如权利要求1所述的图像处理方法,其特征在于,所述HDR图像中每个像素点的深度信息为每个像素点对应在场景中的点与所述电子设备的摄像头之间的距离,所述获取所述HDR图像中每个像素点的深度信息,包括:
将所述HDR图像输入预设的深度学习模型,通过所述预设的深度学习模型输出所述HDR图像对应的视差图;
根据所述视差图得到每个像素点的视差,并根据每个像素点的视差计算得到每个像素点的深度信息。
6.如权利要求1所述的图像处理方法,其特征在于,所述根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域,包括:
根据所述HDR图像中所有像素点的亮度信息确定所述亮度均值;
根据所述亮度均值确定第一阈值,所述第一阈值大于或等于所述亮度均值;
将所述亮度信息小于或等于所述第一阈值的像素点划分至所述HDR图像的第一区域;
将所述亮度信息大于所述第一阈值的像素点划分至所述HDR图像的第二区域。
7.如权利要求6所述的图像处理方法,其特征在于,所述根据所述亮度信息确定亮度均值,并根据所述亮度均值,将所述HDR图像划分为多个图像区域,还包括:
根据所述亮度均值确定第二阈值和第三阈值,所述第二阈值小于所述亮度均值,所述第三阈值大于或等于所述亮度均值;
将所述亮度信息小于所述第二阈值的像素点划分至所述HDR图像的第一区域;
将所述亮度信息大于或等于所述第二阈值且小于所述第三阈值的像素点划分至所述HDR图像的第三区域;
将所述亮度信息大于或等于所述第三阈值的像素点划分至所述HDR图像的第二区域。
8.如权利要求1所述的图像处理方法,其特征在于,最小的图像区域为一个像素点。
9.如权利要求6所述的图像处理方法,其特征在于,所述最大显示屏亮度为电子设备的显示屏支持的最大亮度,所述基于当前显示屏亮度及最大显示屏亮度确定目标显示屏亮度,包括:
将所述当前显示屏亮度的预设倍数作为亮度阈值;
若所述亮度阈值小于或等于所述最大显示屏亮度,确定所述亮度阈值为所述目标显示屏亮度;或
若所述亮度阈值大于所述最大显示屏亮度,确定所述最大显示屏亮度为所述目标显示屏亮度。
10.如权利要求9所述的图像处理方法,其特征在于,所述确定所述多个图像区域内像素点的像素值的亮度调整系数,包括:
将所述第一区域内的像素点的第一亮度调整系数确定为所述当前显示屏亮度与所述亮度阈值的比值;
将所述第二区域内的像素点的第二亮度调整系数确定为1与所述像素点的归一化亮度值的和。
11.如权利要求1所述的图像处理方法,其特征在于,所述根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,包括:
对所述多个图像区域内每个像素点的深度信息进行归一化处理;
当所述像素点的深度信息小于或等于预设深度阈值时,确定所述像素点的像素值的深度调整系数为第一深度调整系数;
当所述像素点的深度信息大于所述预设深度阈值时,确定所述像素点的像素值的深度调整系数为第二深度调整系数,其中,所述第一深度调整系数和所述第二深度调整系数均为常数,且所述第一深度调整系数大于所述第二深度调整系数。
12.如权利要求1所述的图像处理方法,其特征在于,所述根据多个图像区域内每个像素点的深度信息确定每个像素点的像素值的深度调整系数,包括:
对所述多个图像区域内每个像素点的深度信息进行归一化处理;
根据预设的反比例映射函数将每个像素点的深度信息转换为所述像素点的深度调整系数。
13.如权利要求1所述的图像处理方法,其特征在于,所述根据所述亮度调整系数和所述深度调整系数调整所述多个图像区域内像素点的像素值,得到目标HDR图像,包括:
将所述多个图像区域内每个像素点的所述亮度调整系数、所述深度调整系数与所述像素值相乘,得到所述多个图像区域内每个像素点的更新像素值。
14.一种电子设备,其特征在于,所述电子设备包括存储器和处理器:
其中,所述存储器,用于存储程序指令;
所述处理器,用于读取并执行所述存储器中存储的所述程序指令,当所述程序指令被所述处理器执行时,使得所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。
15.一种芯片,与电子设备中的存储器耦合,其特征在于,所述芯片用于控制所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。
16.一种计算机存储介质,其特征在于,所述计算机存储介质存储有程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备的处理器执行如权利要求1至13中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311306031.5A CN119831908A (zh) | 2023-10-08 | 2023-10-08 | 图像处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311306031.5A CN119831908A (zh) | 2023-10-08 | 2023-10-08 | 图像处理方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN119831908A true CN119831908A (zh) | 2025-04-15 |
Family
ID=95301746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311306031.5A Pending CN119831908A (zh) | 2023-10-08 | 2023-10-08 | 图像处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN119831908A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085398A1 (en) * | 2012-09-21 | 2014-03-27 | Cisco Technology, Inc. | Real-time automatic scene relighting in video conference sessions |
| CN108024057A (zh) * | 2017-11-30 | 2018-05-11 | 广东欧珀移动通信有限公司 | 背景虚化处理方法、装置及设备 |
| CN110677558A (zh) * | 2018-07-02 | 2020-01-10 | 华晶科技股份有限公司 | 图像处理方法与电子装置 |
| CN116095503A (zh) * | 2022-06-15 | 2023-05-09 | 荣耀终端有限公司 | 终端设备及创建/显示hdr图像的方法 |
-
2023
- 2023-10-08 CN CN202311306031.5A patent/CN119831908A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085398A1 (en) * | 2012-09-21 | 2014-03-27 | Cisco Technology, Inc. | Real-time automatic scene relighting in video conference sessions |
| CN108024057A (zh) * | 2017-11-30 | 2018-05-11 | 广东欧珀移动通信有限公司 | 背景虚化处理方法、装置及设备 |
| CN110677558A (zh) * | 2018-07-02 | 2020-01-10 | 华晶科技股份有限公司 | 图像处理方法与电子装置 |
| CN116095503A (zh) * | 2022-06-15 | 2023-05-09 | 荣耀终端有限公司 | 终端设备及创建/显示hdr图像的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117241145B (zh) | 终端设备及显示图像的方法 | |
| CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
| CN114840164B (zh) | 一种屏幕显示方法及相关装置 | |
| CN117496391B (zh) | 图像处理方法与电子设备 | |
| CN116193275B (zh) | 视频处理方法及相关设备 | |
| CN114463191A (zh) | 一种图像处理方法及电子设备 | |
| CN116993619B (zh) | 图像处理方法及相关设备 | |
| CN114173189B (zh) | 视频编辑方法、电子设备和存储介质 | |
| CN116828100A (zh) | 蓝牙音频播放方法、电子设备及存储介质 | |
| CN117499797B (zh) | 图像处理方法及相关设备 | |
| CN115482143B (zh) | 应用的图像数据调用方法、系统、电子设备及存储介质 | |
| CN119831908A (zh) | 图像处理方法及相关设备 | |
| CN116048769A (zh) | 内存回收方法、装置和终端设备 | |
| CN120343410A (zh) | 图像处理方法及相关设备 | |
| CN119520974B (zh) | 拍摄方法、电子设备 | |
| CN117336597B (zh) | 视频拍摄方法及相关设备 | |
| CN119767076B (zh) | 视频编辑方法和电子设备 | |
| CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
| CN118474528B (zh) | 相机资源管理方法及相关设备 | |
| CN117692714B (zh) | 视频显示方法、电子设备、计算机程序产品和存储介质 | |
| CN118450241B (zh) | 图像处理方法及相关装置 | |
| CN120765473A (zh) | 图像处理方法、模型训练方法及相关设备 | |
| CN118764727B (zh) | 图像处理方法及相关设备 | |
| CN120166302A (zh) | 图像处理方法及相关设备 | |
| CN118338120A (zh) | 一种图像预览方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |