[go: up one dir, main page]

CN112514359B - 图像捕获方法、装置、机器可读存储装置 - Google Patents

图像捕获方法、装置、机器可读存储装置 Download PDF

Info

Publication number
CN112514359B
CN112514359B CN201980050821.7A CN201980050821A CN112514359B CN 112514359 B CN112514359 B CN 112514359B CN 201980050821 A CN201980050821 A CN 201980050821A CN 112514359 B CN112514359 B CN 112514359B
Authority
CN
China
Prior art keywords
image
camera
ambient light
image data
light level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980050821.7A
Other languages
English (en)
Other versions
CN112514359A (zh
Inventor
E·G·皮耶里
R·阿特金斯
J·A·派拉兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN112514359A publication Critical patent/CN112514359A/zh
Application granted granted Critical
Publication of CN112514359B publication Critical patent/CN112514359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

描述了用于处理利用诸如相机等图像传感器捕获的图像的方法和系统。在一个实施例中，确定所捕获图像的估计环境光水平并使用所述估计环境水平来计算光学‑光学传递函数(OOTF)，所述OOTF用于校正所述图像以在观看环境中保持所述图像在所述估计环境光水平下的表观对比度。所述估计环境光水平是通过使用包括曝光参数和从相机校准中得到的相机特定参数的函数对来自所述图像传感器的像素值进行缩放来确定的。

Description

图像捕获方法、装置、机器可读存储装置
相关申请的交叉引用
本申请要求于2018年6月18日提交的美国临时申请号62/686,371和2018年6月18日提交的欧洲专利申请号18178266.5的优先权，其中每个专利申请均通过引用以其全文结合在此。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及利用相机或其他设备捕获的图像。
背景技术
图像处理操作通常用于将由相机从原始场景捕获的场景图像变换为在具有各种显示能力的一个或多个显示设备(例如，目标显示器)上渲染的显示图像，并且当在目标显示器上显示时，这些操作可能不会保持原始场景的场景图像的对比度和色度。例如，就人类视觉感知而言，如在目标显示器上渲染的显示图像的对比度和色度可能不同于观看者从原始场景中原位观看的图像或者相机从原始场景中原位捕获的图像的对比度和色度。并且即使使用复杂的图像处理技术(诸如杜比的显示管理技术)，也是如此。
如本文所使用的，术语“显示管理”或“显示映射”表示将第一动态范围(例如，1000尼特)的输入视频信号的图像或图片映射到第二动态范围(例如，500尼特)的显示(利用可能具有有限色域的目标显示器)所需的处理(例如，色调和色域映射)。可以在2016年1月14日提交的名称为“Display management for high dynamic range images(用于高动态范围图像的显示管理)”的PCT专利申请序列号PCT/US 2016/013352(将被称为‘352申请)中找到显示管理过程的示例，所述PCT专利申请通过引用以其全文结合在此。
在典型的内容创建流水线中，在5尼特的周围环境中对视频进行颜色分级。在实际中，观看者可能在各种周围环境中显示内容，比如在5尼特(例如，在黑暗的家庭影院中观看电影)、在100至150尼特(例如，在相对亮的起居室中观看电影)、或更高(例如，白天在非常亮的房间或室外在平板计算机上观看电影)。
在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应认为本节所描述的任何方法仅凭其纳入本节就作为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
发明内容
根据本公开的实施例，提供了一种图像捕获方法，包括：接收由相机捕获的图像，所述图像包括表示所述图像中的像素的第一多个图像数据；基于所述第一多个图像数据确定所述图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和在捕获所述图像时在所述相机上使用的曝光参数的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；基于所述估计环境光水平，计算光学-光学传递函数OOTF；通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度，其中，当所述估计环境光水平的亮度高于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以减小所述相对暗区域中的对比度来保持所述表观对比度，并且当所述估计环境光水平的亮度低于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以增大所述图像的所述相对暗区域中的对比度来保持所述表观对比度。
根据本公开的实施例，提供了一种图像捕获装置，包括处理器和存储器，所述处理器被配置为执行存储器中存储的可执行程序指令以实现如上所述的方法。
根据本公开的实施例，提供了一种存储有可执行程序指令的非暂态机器可读存储装置，所述可执行程序指令在被处理器执行时使所述处理器执行如上所述的方法。
附图说明
在附图中以举例而非限制的方式来说明本发明，其中相似的附图标记指示相似的要素。
图1以流程图形式示出了本发明的一个或多个实施例的示例。
图2示出了可以在本发明的一个或多个实施例中使用的校正曲线或校正函数的实施例。
图3示出了具有可以与本发明的一个或多个实施例一起使用的一组操作的系统的示例。
图4示出了可以用于执行或实施本发明的一个或多个实施例的数据处理系统的示例。
具体实施方式
将参照以下所讨论的细节描述各个实施例和各方面，并且附图将对各个实施例进行说明。以下描述和附图是说明性的并且不应被解释为限制性的。描述了许多特定细节以提供对各个实施例的充分理解。然而，在某些情况下，未对熟知或传统的细节进行描述，以便提供对实施例的简明讨论。
本说明书中，对“一个实施例”或“实施例”的提及意味着结合实施例描述的特定特征、结构或特性可以被包括在至少一个实施例中。在本说明书中，短语“在一个实施例中”在各个地方的出现不一定都是指同一实施例。下图中描绘的过程由包括硬件(例如，电路、专用逻辑等)、软件或二者的组合的处理逻辑来执行。虽然下面按照一些顺序的操作描述了所述过程，但是应该了解，可以按不同的顺序执行所描述的操作中的一些操作。而且，可以并行地而非顺序地执行一些操作。
本文所描述的实施例可以用于从由诸如相机或智能电话等设备或包括相机的其他设备捕获的内容中始终如一地获得好看的高动态范围和标准动态范围的图像和视频。使用关于捕获图像的设备的曝光和特性的信息，实施例可以确定图像场景中的绝对明亮度水平，然后这些绝对明亮度水平可以用来预测图像的环境条件。将该信息与关于人类对明亮度和颜色的感知的知识相结合，可以将所捕获的图像以如下方式映射到各种显示器：当在可能与原始场景的周围环境不同的观看环境中显示图像时，最好地保持场景在场景的原始环境中的样子。
在原始场景处呈现给在原位的观看者的原始场景的视觉外观(如由场景图像捕获的)可以称为参考场景的视觉外观。从所述场景图像得到/变换的显示图像的视觉外观(如在显示设备上渲染的)可以称为参考显示器的视觉外观。
根据本文所使用的，术语“视觉外观”是指视觉上可感知的对比度和视觉上可感知的色度(色相和饱和度)的组合；或者是指视觉上可感知的对比度和视觉上可感知的色相的组合。
可以应用如本文所描述的技术来确保原始场景的参考显示器的视觉外观如实地(例如，完美地、感知地、低于人类可察觉的阈值、在相对小的误差内等)再现原始场景的参考场景的视觉外观。应当注意，在一些实施例中，原始场景的参考场景的视觉外观可以指原始场景的这样的视觉外观，所述视觉外观具有旨在从原始场景生成令人愉悦的场景图像而选择的特定相机设置和特定相机图像信号处理(相机ISP)。
在如本文所描述的技术下生成和渲染的显示图像允许观看者(例如，人等)感知与原始场景的视觉外观相同的视觉外观，或感知具有观看者特定偏好元素的原始场景。就原始场景的参考场景的视觉外观而言，观看者可以从显示图像中看到观看者(或虚拟观看者)会在原始场景处在原位看到的内容。
根据一个实施例的方法可以包括以下操作：通过相机捕获图像，所捕获的图像包括表示所述图像中的像素的第一多个图像数据；基于所述第一多个图像数据确定所捕获的图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和曝光参数(在捕获所述图像时在所述相机上使用的)的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；基于所述估计环境光水平，计算光学-光学传递函数(optical-optical transferfunction,OOTF)；通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度。在一个实施例中，所述光学-光学传递函数可以补偿在不同环境光条件下的人类感知，从而根据捕获图像的场景环境保持图像的外观。在一个实施例中，所述方法可以被适配为在多个不同的目标显示器上提供显示管理，以在这些不同的目标显示器上实现与所捕获的图像的基本上相同的外观。在一个实施例中，所述方法可以包括：通过被配置用于目标显示器的色调映射函数，对从所述第一多个图像数据中得到的图像数据进行映射，以映射所述图像用于在所述目标显示器上显示，其中，所述色调映射函数是基于所述目标显示器的色域参数和亮度参数进行配置的。在一个实施例中，在通过色调映射函数进行的映射之前，所述变换可以对从第一多个图像数据中得到的图像数据进行校正，使得所述色调映射函数对从所述变换得到的数据进行操作。在一个实施例中，所述色调映射函数可以压缩所述图像的动态范围以与所述目标显示器的色域参数和亮度参数相匹配。在另一个实施例中，可以通过结合有OOTF的色调映射函数来同时执行变换和映射。
在一个实施例中，将所述估计环境光水平作为元数据与图像的图像数据一起保存，并且对已经缩放到绝对场景光水平的像素值执行色调映射。在一个实施例中，相机特定参数可以是从相机校准操作中以经验得到的常数值。在一个实施例中，相机校准操作可以包括：在不同的曝光参数设置(例如，所有可能的不同曝光参数设置或所有这种设置的子集)下捕获测试目标的图像；以及测量测试目标的亮度(在相机的位置处)；以及求解最佳地拟合包括在校准过程期间使用的相机特定参数和曝光参数的函数的所述常数值的值。在一个实施例中，相机特定参数是从对相机的相机校准中得到的，并且然后被存储以在具有与所校准相机相同的传感器设计的类似相机中使用。
在一个实施例中，所述估计环境光水平可以从以下各项中的一项得到：所述图像中的所有像素(或所有像素的子采样集)的亮度值的中值或平均值；所述图像的一部分(诸如所述图像中的面部或其他显著部分)的亮度值的中值或平均值；所述图像中的最大亮度值与所述图像中的最小亮度值之间的选定亮度值范围中的亮度值的中值或平均值；所述图像中的最大亮度值；环境光传感器读数；曝光传感器读数；以及来自专用于优化曝光的像素的数据；或手动的用户输入。
在一个实施例中，所述OOTF基于所述估计环境光与所述观看环境的预定的或动态测得的环境光之间的差异来校正所述图像数据，并且其中，当所述相机被设置为自动曝光模式时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光调整被设置时，所述图像在没有所述OOTF校正的情况下被显示在所述目标观看环境中的所述目标显示器上。在一个实施例中，所述手动曝光调整可以是以下各项中的一项：手动曝光设置或手动地选择的曝光补偿设置，诸如在捕获图像时由用户设置的曝光不足设置或曝光过度设置。在一个实施例中，观看环境的预定环境光可以为五(5)尼特。在一个实施例中，可以通过集成到所述目标显示器中的环境光传感器来测量所述观看环境的所述动态测得的环境光，使得所述OOTF由所述环境光传感器的输出动态地控制。
在一个实施例中，当所述相机在自动曝光模式下使用时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光调整被设置时，所述图像在没有所述OOTF校正的情况下被显示在所述观看环境中的所述目标显示器上。在一个实施例中，所述相机可以是以下各项中的一项：集成到智能电话中的相机；集成到平板计算机中的相机；单镜头反射相机；无反射镜相机(mirrorless camera)；或包括将所述图像聚焦到所述传感器上的镜头、存储设备以及耦接到所述传感器和所述存储设备的控制系统的设备。
在一个实施例中，所述方法可以还包括：使用所述绝对光水平来估计所述图像的白点；以及应用色度适应变换将所述图像转换为参考适应白点。
在一个实施例中，当所述估计环境光水平的亮度高于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以减小所述相对暗区域中的对比度来保持所述表观对比度，并且当所述估计环境光水平的亮度低于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以增大所述图像的所述相对暗区域中的对比度来保持所述表观对比度。
在一个实施例中，所述元数据可以用于补偿所述图像中的眩光，其中，所述眩光补偿是表示所述估计环境光水平的值的函数。在该实施例中，所述元数据可以包括关于如本文所描述的已经得到的绝对场景光水平的元数据。
在一个实施例中，色调映射函数可以包括在图像的一个或多个区域中的局部色调映射，并且可以在映射期间使用所述局部色调映射从所捕获的图像创建标准动态范围图像。在一个实施例中，元数据可以与标准动态范围图像一起保存，以在经由逆映射重构高动态范围图像时使用。在一个实施例中，可以使用所述元数据来计算用于从标准动态范围图像到高动态范围图像的逆映射的多变量多元回归(MMR)系数。
可以在这样的装置中使用本文所描述的实施例：所述装置在处理系统中包括一个或多个处理器，并且所述装置包括存储器，并且所述装置被配置为执行本文所描述的方法中的任一种方法。此外，可以使用存储有可执行计算机程序指令的非暂态机器可读存储介质来实施本文所描述的实施例，所述可执行计算机程序指令在被机器执行时使所述机器执行本文所描述的方法中的任一种方法。
图1示出了根据本发明一个实施例的方法的示例。在操作10中，设备可以存储捕获的图像以及用于捕获所述图像的曝光参数。在一个实施例中，所述设备可以是相机，并且曝光参数可以包括光圈设置、曝光时间设置和传感器灵敏度设置。在一个实施例中，所捕获的图像可以与特定相机参数值相关联，该特定相机参数值是从针对特定相机的相机校准操作中得到的。相机校准操作的示例在下面描述。可以取得相机特定参数值以在处理所捕获的图像时使用。在操作12中，所述设备可以使用在捕获图像时使用的曝光参数以及所述相机特定参数值来对所捕获的图像中的像素值缩放以生成绝对场景光值。可以使用每个像素的亮度通道来执行对像素值的缩放，以得到每个像素的绝对场景光水平值，然后可以在稍后的操作中使用所述绝对场景光水平值来估计场景的环境光水平。在一个实施例中，可以使用以下缩放方程从图像中的每个像素的亮度通道得到绝对场景水平。
Figure GDA0003331201050000071
其中，相对相机曝光可以表示从图像传感器的RGB输出得到的每像素曝光值，光圈是图像的光圈设置(例如f/4)，曝光时间是图像的曝光时间设置(例如1/60秒)，ISO是图像的传感器灵敏度设置(例如，ISO＝100)，以及k是从本文所描述的相机校准中得到的相机特定参数。
在操作14中，所述方法然后可以基于经缩放的像素值来确定所捕获的图像的估计环境光水平。在一个实施例中，可以根据图像中的所有像素值的中值或平均值来得到或确定估计环境光水平。在另一个实施例中，可以根据图像的显著部分的中值或平均值来确定估计环境光水平。在一个实施例中，可以根据图像中的像素的最大值来确定估计环境光水平。在一个实施例中，可以根据图像中的最大亮度值与图像中的最小亮度值之间的选定亮度值范围中的亮度值的中值或平均值来确定估计环境光水平。在一个实施例中，可以根据设备上的环境光传感器读数、或曝光传感器读数，或者根据手动的用户输入，来确定所捕获的图像的估计环境光水平。
在操作16中，所述方法可以将估计环境光水平存储为元数据，所述元数据可以在后续处理步骤中对图像的进一步处理中使用。可选地，元数据可以与关于图像的其他元数据、以及关于目标显示器的元数据和关于源设备或捕获设备(诸如用于捕获所述图像的相机)的元数据一起存储。在操作18中，所述设备然后可以使用估计环境光水平和关于目标显示器的观看环境的元数据来计算校正曲线，诸如光学-光学传递函数(OOTF)。在一个实施例中，OOTF可以被配置为当在观看环境中显示图像时，虽然在观看环境中，但保存图像在估计环境光水平下的表观对比度。例如，当估计环境光水平的亮度高于观看环境的亮度时，OOTF可以通过调整图像的相对暗区域中的图像数据以减小相对暗区域中的对比度来保持表观对比度；相反地，当估计环境光水平的亮度低于观看环境的亮度时，OOTF可以通过调整图像的相对暗区域中的图像数据以增大图像的相对暗区域中的对比度来保持表观对比度。在一个实施例中，关于观看环境的元数据可以是观看环境的预定值，诸如为五(5)尼特的参考水平。在另一个实施例中，元数据可以从环境光传感器得到，所述环境光传感器在观看环境中动态地测量显示设备的观看环境的环境光；换句话说，环境光传感器可以是附接到目标显示器或在目标显示器附近的环境光传感器，并且该环境光传感器可以在用户正在使用目标显示器并正在目标显示器上观看图像时测量观看环境的环境光。关于目标显示器的元数据还可以包括关于目标显示器的色域和目标显示器的亮度参数(诸如目标显示器可以在目标显示设备上呈现的最大亮度值和最小亮度值)的信息。
在操作20中，所述设备可以使用诸如本文所描述的OOTF的校正曲线来对图像数据进行校正，所述图像数据可以用绝对场景光值形式的像素值来表达。在一个实施例中，操作20可以取决于在捕获图像时用户是否在相机上选择了手动曝光补偿。例如，在一个实施例中，当用户选择了手动曝光补偿(诸如，在捕获图像时由用户选择的曝光不足手动补偿设置或曝光过度手动补偿设置)时，可以不用本文所描述的OOTF对图像数据进行校正。许多相机包括允许使用将相机手动地设置为使图像曝光不足或使图像曝光过度的控件(例如，旋钮等)，并且许多相机还通过允许用户手动地选择光圈、曝光时间和ISO(传感器灵敏度)来允许用户手动地设置曝光。而且，在实施例中，当用户已经使用手动曝光设置(诸如不使用相机的自动曝光模式的曝光设置)设置了相机时，也可以跳过校正。当在设备中使用操作20时(例如，当使用自动曝光而没有手动补偿时)，所述操作20将对图像进行校正以保持对比度，如在本文一个或多个实施例中所描述的。
操作22可以在操作20之后，并且可以包括色调映射函数的使用，所述色调映射函数可以压缩图像的动态范围，使得所述图像适合于在动态范围可能低于参考显示器的目标显示器上显示。色调映射函数可以映射亮度值，并且其他函数还可以使用本领域已知的技术(诸如与Dolby Vision(杜比视界)相关联的那些技术，其提供针对各种不同目标显示器的显示管理技术)来调整颜色通道值，以在目标显示设备上保持饱和度和色度。在一个实施例中，可以通过同时进行对图像数据的校正和对图像数据的色调映射的操作来并行地执行操作20和22。
然后，在一个实施例中，可以将从操作20和22所得的图像显示在观看环境中的目标显示器上；这被示出为图1中的操作24。
图2示出了校正曲线的示例，在一个实施例中，所述校正曲线可以利用一种或多种光学-光学传递函数来实施。可以应用如本文所描述的光学-光学传递函数(OOTF)以将如在从原始场景中捕获的场景图像中表示的原始场景的场景光水平转换成经映射的光水平。经映射的光水平可以用于进行表示，或进一步被映射，以生成要由一个或多个显示设备渲染的显示图像中的显示光水平。OOTF的示例可以在建议书ITU-R BT.2100-0(07/2016)中找到，该建议书通过引用结合在此。图2中所示的曲线是指可以利用OOTF实施的不同类型校正的示例；可以替代性地使用具有与图2所示的这些形状不同的形状的其他曲线来在本文所描述的方法和系统中校正图像。曲线图50示出了表示输入值的X轴52和表示输出值的Y轴54，所述输出值是基于提供给OOTF函数的输入值从所述函数得到的。曲线56示出了不对图像数据进行校正的校正曲线的示例；换句话说，对于所有可能的输入值，输入值将等于输出值。在一个实施例中，校正曲线56可以被认为是参考校正曲线，OOTF根据所述参考校正曲线对图像数据进行校正。在一个实施例中，参考校正曲线56可能不同于曲线图50上以45°倾斜的直线。校正曲线58和59示出了可以在(原始场景的)环境光水平大于观看环境的光水平时的一个实施例中使用的校正曲线的两个示例。在这些校正曲线58和59的示例中，当估计环境光水平的亮度高于观看环境的亮度时，这些曲线通过调整图像的相对暗区域中的图像数据以减小相对暗区域中的对比度来保持原始场景的表观对比度。校正曲线60是在环境光水平小于观看环境的光水平时可以使用的另一校正曲线。校正曲线60是如下校正的示例：当估计环境光水平的亮度低于观看环境的亮度时，所述校正可以通过调整图像的相对暗区域中的图像数据以增大图像的相对暗区域中的对比度来保持表观对比度。在一个实施例中，观看环境的光水平可以被设置为预定值(诸如，五尼特)。在另一个实施例中，观看环境的光水平可以根据环境光传感器(诸如，集成到目标显示器中的环境光传感器)来动态地确定。例如，智能电话可以具有目标显示器并且还可以具有至少一个环境光传感器，所述至少一个环境光传感器可以用于动态地测量观看环境的环境光，进而可以根据本文所描述的一种或多种方法来控制OOTF函数的使用。应当理解，如果所述参考校正曲线(诸如校正曲线56)不同于如图2所示的直线，则其他校正曲线的形状可能看起来不同于图2所示的这些形状。在一个实施例中，校正曲线的输入可以是已经基于缩放操作(诸如图1的操作12中的缩放操作)而生成的绝对场景值。
现在将同时参考图3描述根据一个实施例的一组处理操作的示例。图3中所示的框可以表示在数据处理系统中可以执行的处理操作，所述数据处理系统可以被包括在相机中或包含有相机的其他设备中，或者被包括在从相机接收数据但本身不是相机的另一设备中。图3所示的框可以在专用硬件中进行处理或者可以利用在通用处理器上执行的软件进行处理，所述通用处理器被耦接以从相机接收数据或者包括相机作为系统的一部分。操作可以在系统接收来自相机的数据301时开始。在一个实施例中，来自相机的数据301可以包括文本文件中的文本数据，所述文本数据可以指定曝光元数据303，诸如图像的光圈设置、图像的曝光时间和图像的传感器灵敏度水平。来自相机的数据301还包括图像数据305，所述图像数据305可以是如本领域中已知的RAW图像数据。在一个实施例中，可以通过图像信号处理307来处理图像数据305，所述图像信号处理307可以在图像的进一步处理之前执行诸如解拜耳(debayering)处理和本领域中已知的其他处理操作的处理操作以对图像进行处理。在一个实施例中，曝光元数据303可以用作图像信号处理307中的处理操作的输入。在一个实施例中，来自图像信号处理307的输出可以将线性RGB像素值309提供给缩放器311。在一个实施例中，缩放器311可以接收曝光元数据303和源设备数据312以将像素值缩放为绝对像素值。在一个实施例中，缩放器311可以使用以下方程将线性RGB像素值309缩放为绝对RGB像素值314：
Figure GDA0003331201050000101
其中，相对相机曝光可以表示从图像传感器的RGB输出得到的每像素曝光值，光圈是图像的光圈设置(例如f/4)，曝光时间是图像的曝光时间设置(例如1/60秒)，ISO是图像的传感器灵敏度设置(例如，ISO＝100)，以及k是从本文所描述的相机校准中得到的相机特定参数。
方程的输出为每个像素提供表示该像素的绝对场景光水平的绝对像素值。然后，可以将绝对RGB像素值314的输出提供给环境光分析器315以进行进一步处理，如以下进一步所描述的。缩放器311的另一输入是源设备数据312，所述源设备数据312包括基于相机校准的常数值(例如，k)。在一个实施例中，可以将来自相机制造商的代表性相机或来自智能电话制造商的代表性智能电话用于一系列的一个或多个校准操作中以得到所述常数值(相机特定参数)，然后可以存储所述常数值以在处理由该特定设备的该相机获取的图像时使用。在一个实施例中，只要相机的传感器设计不改变，所述常数值就可以对该相机(例如，特定的相机型号或特定的智能电话型号)保持有效，并且可以在处理软件中使用，所述处理软件可以被分配为与该相机一起使用以提供图3或图1所示的操作或本说明书中另外描述的操作。在一个实施例中，相机校准操作可以包括：在不同的曝光参数设置下捕获测试目标的一个或多个图像；以及在相机的位置处测量测试目标的亮度；以及然后求解最佳地拟合以上所示的包括相机特定参数和曝光参数的函数或方程的常数值的值。相机特定参数可以从代表性相机得到，并且然后被存储以在具有与代表性相机或设备相同的传感器设计的类似相机中使用。在该示例中，相机特定值或常数K是方程中唯一未知的值，因为曝光参数设置和测试目标(在相机的位置处)的亮度是已知的，并且因此可以求解常数值或相机特定参数。在一个实施例中，在不同的曝光参数设置和不同的光强度下获取多个图像，从而提供了值的阵列，然后可以使用所述值的阵列来得到常数值的最佳拟合。
如本文所描述的，环境光分析器315接收绝对RGB像素值314，并基于绝对RGB像素值314来计算环境光水平或所述估计环境光水平。例如，环境光分析器315可以计算所有绝对RGB像素值314的亮度值的平均值或中值。该平均值或中值可以表示场景的估计环境光水平(以绝对光水平)，并且可以用于选择如以上结合图2所描述的光学-光学传递函数的校正曲线。在一个实施例中，环境光分析器315也可以接收关于诸如目标显示器的显示器的信息，并且该信息可以是关于目标显示器的元数据316。该元数据316可以与其他元数据一起被提供在来自环境光分析器315的元数据317中。在一个实施例中，元数据317包括目标显示器元数据316，并且还包括场景的估计环境光水平，然后其可以在以下要进一步描述的进一步处理操作中使用。目标显示器元数据316可以包括关于特定目标显示器或可以在其上显示图像的一组显示器的元数据。例如，目标显示器元数据316可以包括关于目标显示器的色域及目标显示器在显示各种亮度水平(包括最大亮度值和最小亮度值)方面的能力的元数据以及关于目标显示器的其他信息。在一个实施例中，目标显示器元数据可以与在杜比的显示管理系统中使用的目标显示器元数据类似。在一个实施例中，目标显示器元数据316还可以另外包括目标显示器的观看环境的环境光水平；例如，如果目标显示器结合有环境光传感器，则来自该环境光传感器的输出可以用于提供观看环境的环境光水平作为该目标显示器元数据316的一部分。
可以将从环境光分析器315输出的元数据317提供给颜色体积映射323。可以将缩放器311的输出(包括绝对RGB像素值314)作为输入提供给颜色空间转换321。在一个实施例中，颜色空间转换321可以将绝对RGB像素值转换为绝对ICTCP值，并且这些值可以位于利用感知量化(PQ)的颜色空间中。
如本文所使用的术语“PQ”是指感知量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的(一个或多个)空间频率、以及在观看刺激物的特定时刻眼睛所适应的光亮度水平，和其他因素。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在J.S.Miller等人于2012年12月6日提交的名称为“Perceptual luminance nonlinearity-based image data exchangeacross different display capabilities(跨越不同显示能力的基于感知光亮度非线性的图像数据交换)”的序列号为PCT/US2012/068212(将被称为‘212申请)的PCT申请中描述了PQ映射函数的示例，并且所述PCT申请通过引用以其全文并入本文，其中在给定固定刺激物大小的情况下，对于每个光亮度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该光亮度水平处的最小可见对比度步长。与传统γ曲线(其表示物理阴极射线管(CRT)设备的响应曲线，并且巧合地可能与人类视觉系统响应方式极大致相似)相比，如由‘212申请确定的PQ曲线会使用相对简单的函数模型模仿人类视觉系统的真实视觉反应。
可以将颜色空间转换321的输出提供给颜色体积映射323，所述颜色体积映射323可以执行色调映射操作和其他图像处理操作以便压缩颜色值，使得可以基于例如目标显示器元数据316将它们适当地显示在目标显示器或一组目标显示器上。在一个实施例中，颜色体积映射323可以使用OOTF来执行对图像数据的校正；换句话说，颜色体积映射323可以执行图1所示的操作18和20，以使用基于在图1的操作14中提供或计算出的估计环境光水平而选择的校正曲线来对图像数据进行校正。另外，颜色体积映射323可以基于目标显示器的元数据(诸如目标显示器元数据316)执行色调映射(例如，在图1的操作22中)。在一个实施例中，基于目标显示器的色域参数和亮度参数来配置色调映射函数，其中这些参数被提供为目标显示器元数据316的一部分。在一个实施例中，颜色体积映射323可以根据杜比的显示管理系统执行色域映射和色调映射。在一个实施例中，色调映射操作或色调映射函数压缩图像的动态范围，以与目标显示器的色域能力和亮度能力相匹配。在一个实施例中，可以通过包括OOTF和色调映射函数两者的校正函数来同时执行通过OOTF的校正以及色调映射。在一个实施例中，颜色体积映射323可以执行图1所示的操作20和22两者。
可以将从颜色体积映射323输出的像素数据提供给颜色空间转换325，所述颜色空间转换325可以将ICTCP中的像素数据转换回RGB值，以在高动态范围显示器331上显示。在一个实施例中，还可以将从颜色体积映射323输出的像素提供给被示出为颜色体积映射327和颜色体积映射329的另外两个颜色体积映射操作，所述两个颜色体积映射操作可以执行与由颜色体积映射323所执行的操作类似的颜色映射操作，以便将输出提供给标准动态范围显示器337和面板显示器339。另外，颜色体积映射327和颜色体积映射329还接收元数据319，所述元数据319可以与元数据317相同或与通过颜色体积映射323进行的颜色体积映射操作或色调映射操作所校正的元数据相同。元数据319可以包括关于每个目标显示器的元数据，并且特别地可以包括关于标准动态范围显示器337的元数据以及关于面板显示器339的元数据。可以将来自颜色映射327和颜色体积映射329的输出分别提供给它们各自的颜色空间转换操作333和335，以便将输出提供给适当的显示器。面板显示器339可以是包括集成的环境光传感器的目标显示器的示例，其可以用于基于来自集成的环境光传感器的输出来动态地调整OOTF函数。
在一个实施例中，一种或多种系统或方法可以利用对图像中的眩光的检测。在检测到眩光时，眩光补偿可以被计算为表示估计环境光水平的值的函数。例如，估计环境光水平可以用于确定是否存在眩光并补偿图像中的眩光，使得所计算出的绝对光水平不会被图像中的眩光破坏。
在一个实施例中，用于标准动态范围显示器的颜色体积映射可以使用局部色调映射来更好地保持突出显示区域中的细节。例如，颜色体积映射327可以针对图像的不同区域利用局部色调映射，以便更好地保持突出显示区域中的细节以在标准动态范围显示器337上显示。在一个实施例中，关于图像的、包括环境光水平数据(诸如，估计环境光水平)的元数据可以与图像一起保存，并且稍后在图像的转换(诸如，SDR图像到HDR图像的转换)中使用。在一个实施例中，HDR流水线可以尝试通过使用例如SDR亮度的直方图来从SDR图像中继承一些外观，并将所述外观转移到色调曲线上，使得HDR直方图具有与SDR直方图类似的特性，诸如明亮度和对比度。例如，这也可以通过求解3×3矩阵或通过RGB色调曲线等在颜色上完成。手动曝光调整可以免于使用绝对场景光水平的计算，但是在一个实施例中，手动曝光调整也可以用于构成关于感兴趣区域的元数据；例如，如果用户选择图像的一部分作为手动曝光调整的一部分，或者如人脸检测的情况那样进行自动选择，则该区域的亮度可以用作用于构成关于感兴趣区域的元数据的中间偏移量，并且这可以允许显示管理在映射到HDR或SDR时优先考虑该区域。
图4示出了数据处理系统的示例，所述数据处理系统可以由相机或其他设备使用或在相机或其他设备中使用以提供本文所描述的一个或多个实施例。本文描述的系统和方法可以在各种不同的数据处理系统和设备中实施，所述数据处理系统和设备包括通用计算机系统、专用计算机系统、或者通用计算机系统与专用计算机系统的混合。可以使用本文所描述的方法中的任一方法的数据处理系统包括相机、智能电话、机顶盒、计算机(诸如膝上型计算机或平板计算机)、嵌入式设备、游戏系统和消费电子设备等，或其他电子设备。
图4是根据实施例的数据处理系统硬件的框图。注意，虽然图4图示了数据处理系统的各种部件，但是并不旨在表示将所述部件互连的任何特定架构或方式，因为这些细节与本发明没有密切关系。还应当理解，具有比图4中所示的部件少的部件或者比所示部件多的部件的其他类型的数据处理系统也可以与本发明的一个或多个实施例一起使用。
如图4所示，数据处理系统包括用于将系统的各种部件互连的一个或多个总线1309。图4中的系统可以包括相机或可以耦接到相机。如本领域中已知的，一个或多个处理器1303耦接到一个或多个总线1309。存储器1305可以是DRAM或非易失性RAM，或者可以是闪速存储器、或其他类型的存储器、或这些存储器设备的组合。使用本领域已知的技术将该存储器耦接到一个或多个总线1309。数据处理系统还可以包括非易失性存储器1307，所述非易失性存储器1307可以是硬盘驱动器、或闪速存储器、或磁光驱动器、或磁存储器、或光驱动器、或即使在系统断电之后也能保存数据的其他类型的存储器系统。非易失性存储器1307和存储器1305都使用已知的接口和连接技术耦接到一个或多个总线1309。显示控制器1322耦接到一个或多个总线1309，以便接收要显示在显示设备上的显示数据，所述显示设备可以是显示器331、337或339之一。数据处理系统还可以包括一个或多个输入/输出(I/O)控制器1315，所述一个或多个输入/输出控制器1315为一个或多个I/O设备(诸如一个或多个相机、触摸屏、环境光传感器以及其他输入设备(包括本领域已知的那些设备)和输出设备(例如，扬声器))提供接口。输入/输出设备1317通过一个或多个I/O控制器1315耦接，如本领域中已知的。可以将环境光传感器集成到图4中的系统中。
虽然图4示出了非易失性存储器1307和存储器1305直接耦接到所述一个或多个总线而不是通过网络接口进行耦接，但是应当理解，本发明可以利用远离系统的非易失性存储器(诸如通过如调制解调器或以太网接口的网络接口耦接到数据处理系统的网络存储设备)。如本领域所公知的，总线1309可以通过各种桥接器、控制器和/或适配器彼此连接。在一个实施例中，I/O控制器1315包括用于控制USB(通用串行总线)外围设备的USB适配器、用于IEEE 1394兼容外围设备的IEEE 1394控制器、或用于控制Thunderbolt(雷电)外围设备的Thunderbolt控制器中的一个或多个。在一个实施例中，一个或多个网络设备1325可以耦接到(一个或多个)总线1309。(一个或多个)网络设备1325可以是从相机接收图像的有线网络设备(例如，以太网)或无线网络设备(例如，WiFi、蓝牙)等。
尽管以下列举了单独的实施例，但是应当理解，可以将这些实施例整体或部分地组合或修改成各种不同的组合。这些实施例的组合可以是单独实施例的所有可能组合中的任何一种组合。
实施例1是一种方法，包括：
通过相机捕获图像，所捕获的图像包括表示所述图像中的像素的第一多个图像数据；
基于所述第一多个图像数据确定所捕获图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和在捕获所述图像时在所述相机上使用的曝光参数的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；
基于所述估计环境光水平，计算光学-光学传递函数(OOTF)；以及
通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度。
实施例2是如实施例1所述的方法，其中，所述方法还包括：
通过被配置用于目标显示器的色调映射函数，对从所述第一多个图像数据中得到图像数据进行映射，以映射所述图像用于在所述目标显示器上显示，所述色调映射函数是基于所述目标显示器的色域参数和亮度参数进行配置的。
实施例3是如实施例2所述的方法，其中，在通过所述色调映射函数进行所述映射之前，所述变换对从所述第一多个图像数据中得到的所述图像数据进行校正，使得所述色调映射函数对从所述变换得到的数据进行操作。
实施例4是如实施例3所述的方法，其中，所述色调映射函数压缩所述图像的动态范围以与所述目标显示器的所述色域参数和所述亮度参数相匹配。
实施例5是如实施例2所述的方法，其中，通过结合有OOTF的色调映射函数来同时执行变换和映射。
实施例6是如实施例2所述的方法，其中，将所述估计环境光水平作为元数据与图像的图像数据一起保存，并且其中，对缩放到绝对场景光水平的像素值执行色调映射。
实施例7是如实施例6所述方法，其中，所述相机特定参数是从所述相机校准中以经验得到的常数。
实施例8是如实施例7所述的方法，其中，所述相机校准包括：在不同的曝光参数设置下捕获测试目标的图像；以及测量测试目标的亮度；以及然后求解最佳地拟合包括相机特定参数和曝光参数的函数的所述常数值的值。
实施例9是如实施例8所述的方法，其中，所述相机特定参数是从对相机的相机校准中得到的，并且然后被存储以在具有与所述相机相同的传感器设计的类似相机中使用。
实施例10是如实施例7所述的方法，其中，所述估计环境光水平是从以下各项中的一项得到的：所述图像中的所有像素的亮度值的中值或平均值；场景图像部分的亮度值的中值或平均值；所述图像中的最大亮度值与所述图像中的最小亮度值之间的选定亮度值范围中的亮度值的中值或平均值；所述图像中的最大亮度值；环境光传感器读数；曝光传感器读数；来自专用于优化曝光的像素的数据；或手动用户输入。
实施例11是如实施例7所述的方法，其中，所述OOTF基于所述估计环境光与所述观看环境的预定的或动态测得的环境光之间的差异来校正所述图像数据，并且其中，当所述相机被设置自动曝光模式时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光调整被设置时，所述图像在没有所述OOTF校正的情况下被显示在所述观看环境中的所述目标显示器上。
实施例12是如实施例11所述的方法，其中，所述手动曝光调整包括以下各项中的一项：手动曝光设置或手动地选择的曝光补偿设置。
实施例13是如实施例11所述的方法，其中，所述观看环境的预定环境光为5尼特。
实施例14是如实施例11所述的方法，其中，通过集成到所述目标显示器中的环境光传感器来测量所述观看环境的所述动态测得的环境光，使得所述OOTF由所述环境光传感器的输出动态地控制。
实施例15是如实施例6所述的方法，其中，当所述相机在自动曝光模式下使用时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光调整被设置时，所述图像在没有所述OOTF校正的情况下被显示在所述观看环境中的所述目标显示器上；并且其中，所述相机是以下各项中的一项：集成到智能电话中的相机；集成到平板计算机中的相机；单镜头反射相机；无反射镜相机；或具有将所述图像聚焦到所述传感器上的镜头、存储设备以及耦接到所述传感器和所述存储设备的控制系统的设备。
实施例16是如实施例6所述的方法，还包括：使用所述绝对光水平来估计所述图像的白点；以及应用色度适应变换将所述图像转换为参考适应白点。
实施例17是如实施例6所述的方法，其中，当所述估计环境光水平的亮度高于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以减小所述相对暗区域中的对比度来保持所述表观对比度，并且当所述估计环境光水平的亮度低于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以增大所述图像的所述相对暗区域中的对比度来保持所述表观对比度。
实施例18是如实施例6所述的方法，其中，所述元数据用于补偿所述图像中的眩光，其中，所述眩光补偿是表示所述估计环境光水平的值的函数。
实施例19是如实施例6所述的方法，其中，所述色调映射函数包括在图像的一个或多个区域中的局部色调映射，并且在映射期间使用所述局部色调映射从所捕获的图像创建标准动态范围(SDR)图像。
实施例20是如实施例19所述的方法，其中，将所述元数据与所述SDR图像一起保存，以在经由逆映射来重构高动态范围(HDR)图像时使用。
实施例21是如实施例20所述的方法，其中，使用所述元数据来计算从所述SDR图像到所述HDR图像的逆映射的多变量多元回归(MMR)系数。
实施例22是如实施例6所述的方法，其中，通过所述色调映射将所述元数据调整为中间元数据集，以指导对经过色调映射的图像的下游处理。
实施例23是一种装置，所述装置包括处理系统和存储器，并且被配置为执行如实施例1至22中所述的方法中的任一种方法。
实施方式24是一种存储有可执行程序指令的非暂态机器可读存储装置，所述可执行程序指令在被机器执行时使所述机器执行如实施例1至22所述的方法中的任一种方法。
从本说明书中明显的是，本发明的一个或多个实施例可以至少部分地在软件中实施。即，可以响应于数据处理系统的一个或多个处理器执行包含在存储介质(诸如非暂态机器可读存储介质(例如DRAM或闪速存储器))中的指令序列而在数据处理系统中执行这些技术。在各种实施例中，硬连线电路可以与软件指令相结合使用来实施本发明。因此，技术不限于硬件电路与软件的任何特定组合，也不限于用于由数据处理系统执行的指令的任何特定源。
在前述说明书中，已经描述了特定示例性实施例。明显的是，在不脱离所附权利要求中阐述的更广泛的精神和范围的情况下，可以对这些实施例进行各种修改。因此，说明书和附图应被视为具有说明性意义而非具有限制性意义。

Claims (14)

1.一种图像捕获方法，包括：
接收由相机捕获的图像，所述图像包括表示所述图像中的像素的第一多个图像数据；
基于所述第一多个图像数据确定所述图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和在捕获所述图像时在所述相机上使用的曝光参数的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；
基于所述估计环境光水平，计算光学-光学传递函数OOTF；
通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度，
其中，当所述估计环境光水平的亮度高于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以减小所述相对暗区域中的对比度来保持所述表观对比度，并且当所述估计环境光水平的亮度低于所述观看环境的亮度时，所述OOTF通过调整所述图像的相对暗区域中的图像数据以增大所述图像的所述相对暗区域中的对比度来保持所述表观对比度。
2.如权利要求1所述的方法，其中，所述方法还包括：
通过被配置用于目标显示器的色调映射函数，对从所述第一多个图像数据中得到的图像数据进行映射，以映射所述图像用于在所述目标显示器上显示，所述色调映射函数是基于所述目标显示器的色域参数和亮度参数进行配置的。
3.如权利要求2所述的方法，其中，在通过所述色调映射函数进行的所述映射之前，所述变换对从所述第一多个图像数据中得到的所述图像数据进行校正，使得所述色调映射函数对从所述变换得到的数据进行操作，并且其中，所述色调映射函数压缩所述图像的动态范围以与所述目标显示器的所述色域参数和所述亮度参数相匹配。
4.如权利要求1至3中任一项所述的方法，其中，将所述估计环境光水平作为元数据与所述图像的图像数据一起保存，并且其中，对缩放到绝对场景光水平的像素值执行色调映射，并且其中，所述相机特定参数是从所述相机校准中以经验得到的常数值。
5.如权利要求1至3中任一项所述的方法，其中，所述相机校准包括：在不同的曝光参数设置下捕获测试目标的图像，测量所述测试目标的亮度，以及求解最佳地拟合包括所述相机特定参数和所述曝光参数的函数的常数值的值，并且其中，所述相机特定参数是从对所述相机的所述相机校准中得到的，并且然后被存储以在具有与所述相机相同的传感器设计的类似相机中使用，并且其中，所述估计环境光水平是从以下各项中的一项得到的：所述图像中的所有像素的亮度值的中值或平均值；场景图像部分的亮度值的中值或平均值；所述图像中的最大亮度值与所述图像中的最小亮度值之间的选定亮度值范围中的亮度值的中值或平均值；所述图像中的最大亮度值；环境光传感器读数；曝光传感器读数；来自专用于优化曝光的像素的数据；或手动的用户输入。
6.如权利要求1至3中任一项所述的方法，其中，所述OOTF基于估计环境光与所述观看环境的预定的或动态测得的环境光之间的差异来校正所述图像数据，并且其中，当所述相机被设置为自动曝光模式时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光模式被设置时，所述图像在没有OOTF校正的情况下被显示在所述观看环境中的目标显示器上。
7.如权利要求6所述的方法，其中，通过集成到所述目标显示器中的环境光传感器来测量所述观看环境的所述动态测得的环境光，使得所述OOTF由所述环境光传感器的输出动态地控制。
8.如权利要求1至3中任一项所述的方法，其中，当所述相机在自动曝光模式下使用时，所述OOTF对所述图像数据进行校正，但是当所述相机以手动曝光模式被设置时，所述图像在没有OOTF校正的情况下被显示在所述观看环境中的目标显示器上；并且其中，所述相机是以下各项中的一项：集成到智能电话中的相机；集成到平板计算机中的相机；单镜头反射相机；无反射镜相机；或具有将所述图像聚焦到所述传感器上的镜头、存储设备、以及耦接到所述传感器和所述存储设备的控制系统的设备。
9.如权利要求1至3中任一项所述的方法，还包括：使用所述绝对场景光水平来估计所述图像的白点；以及应用色度适应变换将所述图像转换为参考适应白点。
10.如权利要求4所述的方法，其中，所述元数据用于补偿所述图像中的眩光，其中，眩光补偿是表示所述估计环境光水平的值的函数。
11.如权利要求2或3所述的方法，其中，所述色调映射函数包括在所述图像的一个或多个区域中的局部色调映射，并且在映射期间使用所述局部色调映射从所述图像创建标准动态范围SDR图像，并且其中，元数据与所述SDR图像一起保存，以在经由逆映射重构高动态范围HDR图像时使用。
12.如权利要求11所述的方法，其中，使用所述元数据来计算用于从所述SDR图像到所述HDR图像的逆映射的多变量多元回归MMR系数，并且其中，通过色调映射将所述元数据调整为中间元数据集，以指导对经过色调映射的图像的下游处理。
13.一种图像捕获装置，包括处理器和存储器，并且所述处理器被配置为执行所述存储器中存储的可执行程序指令以实现如权利要求1至12中任一项所述的方法。
14.一种存储有可执行程序指令的非暂态机器可读存储装置，所述可执行程序指令在被处理器执行时使所述处理器执行如权利要求1至12中任一项所述的方法。
CN201980050821.7A 2018-06-18 2019-06-13 图像捕获方法、装置、机器可读存储装置 Active CN112514359B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686371P 2018-06-18 2018-06-18
EP18178266.5 2018-06-18
EP18178266 2018-06-18
US62/686,371 2018-06-18
PCT/US2019/037066 WO2019245876A1 (en) 2018-06-18 2019-06-13 Image capture methods and systems

Publications (2)

Publication Number Publication Date
CN112514359A CN112514359A (zh) 2021-03-16
CN112514359B true CN112514359B (zh) 2022-02-18

Family

ID=67070915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050821.7A Active CN112514359B (zh) 2018-06-18 2019-06-13 图像捕获方法、装置、机器可读存储装置

Country Status (6)

Country Link
US (1) US11711486B2 (zh)
EP (1) EP3808068B1 (zh)
JP (1) JP7003304B2 (zh)
KR (1) KR102369148B1 (zh)
CN (1) CN112514359B (zh)
WO (1) WO2019245876A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102786977B1 (ko) 2019-08-06 2025-03-26 삼성전자주식회사 얼굴이 포함된 영상의 노출 값을 조절하는 전자 장치
JP7475187B2 (ja) * 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体
JP7673101B2 (ja) 2020-06-30 2025-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｐｑシフトを用いた周囲光補償のためのシステムおよび方法
CN115804080B (zh) * 2020-07-13 2025-01-03 高通股份有限公司 弱光条件下捕获的被颜色着色像素的校正
CN111935423B (zh) * 2020-08-02 2023-05-05 珠海一微半导体股份有限公司 一种机器人获取深度图像数据的方法及其控制系统
US11398017B2 (en) * 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11526968B2 (en) * 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
CN115250315A (zh) * 2021-04-28 2022-10-28 Lx半导体科技有限公司 用于车辆的图像数据处理系统
EP4548573A4 (en) * 2022-06-30 2025-12-31 Flightsafety Int Inc IMAGE PROCESSING SYSTEMS, METHODS AND DEVICES
CN115511972A (zh) * 2022-09-05 2022-12-23 奥比中光科技集团股份有限公司 校正矩阵的计算方法、非均匀性校正方法及相关装置
CN121367830A (zh) * 2024-07-19 2026-01-20 北京三星通信技术研究有限公司 电子设备及其执行的方法以及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391404A (zh) * 2012-05-08 2013-11-13 展讯通信（上海）有限公司 自动曝光方法、装置、照相设备和移动终端
WO2017001858A1 (en) * 2015-06-30 2017-01-05 British Broadcasting Corporation Method and apparatus for conversion of hdr signals
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
CN107851421A (zh) * 2015-07-31 2018-03-27 索尼公司 视频信号处理装置、视频信号处理方法和显示装置
WO2018055945A1 (ja) * 2016-09-20 2018-03-29 ソニー株式会社 映像信号処理装置、映像信号処理方法および映像信号処理システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023580B2 (en) 2001-04-20 2006-04-04 Agilent Technologies, Inc. System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
KR20040097683A (ko) 2003-05-12 2004-11-18 주식회사 복스오라테크놀로지코리아 디지털 신호처리에 의한 간섭제거 시스템 및 이를 이용한중계장치
US7999863B2 (en) 2006-02-01 2011-08-16 Fujifilm Corporation Image correction apparatus and method
JP4544308B2 (ja) 2008-01-11 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、方法およびプログラム
WO2010123923A1 (en) 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US8847972B2 (en) 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US9055227B2 (en) 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
US9113114B2 (en) * 2010-05-12 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for automatically controlling image brightness in image photographing device
EP2782348B1 (en) * 2011-04-14 2017-12-27 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
MY193501A (en) 2011-12-06 2022-10-17 Dolby Laboratories Licensing Corp Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
RU2647636C2 (ru) * 2013-02-21 2018-03-16 Долби Лабораторис Лайсэнзин Корпорейшн Управление отображением видео с расширенным динамическим диапазоном
KR102051798B1 (ko) * 2013-07-30 2019-12-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9432647B2 (en) 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
GB2526047B (en) 2014-02-27 2021-04-07 British Broadcasting Corp Method and apparatus for improved signal processing for high dynamic range
JP5914902B1 (ja) * 2014-06-10 2016-05-11 パナソニックＩｐマネジメント株式会社 変換方法および変換装置
JP6463179B2 (ja) * 2015-03-17 2019-01-30 キヤノン株式会社 信号処理装置、信号処理方法および撮像装置
CN107690811B (zh) 2015-06-05 2020-08-04 苹果公司 呈现和显示高动态范围内容
US10284863B2 (en) * 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
US9734635B1 (en) 2015-07-13 2017-08-15 Amazon Technologies, Inc. Environment aware color visualization
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
US9965881B2 (en) 2015-08-28 2018-05-08 Panasonic Intellectual Property Corporation Of America Method for generating image and image generation system
JP6611543B2 (ja) 2015-10-05 2019-11-27 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10200701B2 (en) 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
AU2015261734A1 (en) 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
US20170289571A1 (en) 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video
JP2017212532A (ja) 2016-05-24 2017-11-30 キヤノン株式会社 画像処理装置
US10129485B2 (en) 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
JP6752667B2 (ja) * 2016-09-27 2020-09-09 キヤノン株式会社 画像処理装置と画像処理方法およびプログラム
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
US10720126B2 (en) * 2018-08-31 2020-07-21 Apple Inc. Color ambient light sensor with adjustable neutral density filter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391404A (zh) * 2012-05-08 2013-11-13 展讯通信（上海）有限公司 自动曝光方法、装置、照相设备和移动终端
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
WO2017001858A1 (en) * 2015-06-30 2017-01-05 British Broadcasting Corporation Method and apparatus for conversion of hdr signals
CN107851421A (zh) * 2015-07-31 2018-03-27 索尼公司 视频信号处理装置、视频信号处理方法和显示装置
WO2018055945A1 (ja) * 2016-09-20 2018-03-29 ソニー株式会社 映像信号処理装置、映像信号処理方法および映像信号処理システム

Also Published As

Publication number Publication date
WO2019245876A1 (en) 2019-12-26
JP7003304B2 (ja) 2022-01-20
EP3808068A1 (en) 2021-04-21
JP2021524694A (ja) 2021-09-13
KR20210021062A (ko) 2021-02-24
CN112514359A (zh) 2021-03-16
US20210250564A1 (en) 2021-08-12
US11711486B2 (en) 2023-07-25
KR102369148B1 (ko) 2022-03-02
EP3808068B1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
CN112514359B (zh) 图像捕获方法、装置、机器可读存储装置
US11375128B2 (en) Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium
US10930223B2 (en) Ambient light-adaptive display management
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
US10140953B2 (en) Ambient-light-corrected display management for high dynamic range images
US20160352996A1 (en) Terminal, image processing method, and image acquisition method
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
JP5457652B2 (ja) 画像処理装置およびその方法
US20170295351A1 (en) Image processing apparatus, image processing system, image processing method, and non-transitory computer readable medium
WO2018119161A1 (en) Ambient light-adaptive display management
WO2012015020A1 (en) Method and device for image enhancement
CN107396079A (zh) 白平衡调整方法和装置
CN107635124A (zh) 人脸拍摄的白平衡处理方法、装置及设备
US8164650B2 (en) Image processing apparatus and method thereof
KR20110095556A (ko) 영상투사장치 및 그 영상보정방법
JP2015023514A (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP5810593B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2015138108A (ja) 表示装置及び画質調整装置
US20240037872A1 (en) Information processing device, head-mounted display device, control method of information processing device, and non-transitory computer readable medium
CN115803802B (zh) 用于使用pq偏移进行环境光补偿的系统和方法
WO2017096855A1 (zh) 伽马参数的动态调整方法及装置
JP5369751B2 (ja) 画像処理装置、撮像装置、画像処理プログラム
JP2015049274A (ja) 表示装置、表示装置の制御方法、及び、プログラム
Jeon et al. Adaptive color balance algorithm for users' conveniences
CN120853527A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant