[go: up one dir, main page]

CN108476312A - 双频带自适应色调映射 - Google Patents

双频带自适应色调映射 Download PDF

Info

Publication number
CN108476312A
CN108476312A CN201680076890.1A CN201680076890A CN108476312A CN 108476312 A CN108476312 A CN 108476312A CN 201680076890 A CN201680076890 A CN 201680076890A CN 108476312 A CN108476312 A CN 108476312A
Authority
CN
China
Prior art keywords
video
component
tone mapping
tone
video component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680076890.1A
Other languages
English (en)
Other versions
CN108476312B (zh
Inventor
陶理
金永铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108476312A publication Critical patent/CN108476312A/zh
Application granted granted Critical
Publication of CN108476312B publication Critical patent/CN108476312B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种被提供为支持超过诸如长期演进(LTE)等第四代(4G)通信系统的更高数据速率的预第五代(5G)或5G通信系统。提供了一种用于视频色调映射的方法、装置和计算机可读介质。该方法包括将视频数据处理成第一视频分量和第二视频分量，并将色调映射应用于第一视频分量。该方法还包括缩放第二视频分量。该方法还包括通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射视频。

Description

双频带自适应色调映射
技术领域
本公开总体上涉及视频色调处理。更具体地，本公开涉及双频带自适应色调映射。
背景技术
为了满足自部署第四代(4G)通信系统以来就已经增加的无线数据业务需求，已经致力于研发出改进的第五代(5G)或预5G通信系统。因此，这种5G或预5G通信系统也被称为“超越4G网络”或“后LTE系统”。
5G通信系统被认为是以更高的频率(毫米波)频带(例如60GHz频带)来实现，从而达到更高的数据速率。为了降低无线电波的传播损耗并增大传输距离，在5G通信系统中讨论了波束成形、大规模多输入多输出(MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形、大规模天线技术。
此外，在5G通信系统中，在高级小小区、云无线电接入网络(RAN)、超密集网络、设备到设备(D2D)通信、无线回程、移动网络、协作通信、协调多点(CoMP)、接收端干扰消除等基础上研发对系统网络的改进。
在5G系统中已经研发出了作为高级编码调制(ACM)的混合FSK和QAM调制(FQAM)以及滑动窗口叠加编码(SWSC)，而且还研发出了作为高级接入技术的滤波器组多载波(FBMC)、非正交多址接入(NOMA)和稀疏码多址接入(SCMA)。
用户在工作室内可以使用编辑(mastering)监视器创作出编辑视频，由此优化或提高原始视频的照度或照度水平。与之后显示视频的目标显示器相比，用于对视频进行编辑的编辑监视器常常具有不同的峰值照度或照度水平。通常情况下，编辑监视器的最大照度水平远远大于目标显示器的最大照度水平。
上述信息仅作为背景信息而呈现，目的在于帮助理解本公开内容。对于以上任何内容是否可用作本公开的现有技术，尚未对其进行确定，并且就此也未作出声明。
发明内容
本公开提供了双频带自适应色调映射。
在一个实施例中，提供了一种用于视频色调映射的方法。该方法包括将视频数据处理成第一视频分量和第二视频分量，并将色调映射应用于第一视频分量。该方法还包括缩放第二视频分量。另外，该方法包括通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射的视频。
在另一个实施例中，提供了一种用于视频色调映射的装置。该装置包括存储器以及可操作地连接到存储器的至少一个处理器。该至少一个处理器被配置为将视频数据处理成第一视频分量和第二视频分量；将色调映射应用于第一视频分量；缩放第二视频分量；并通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射的视频。
在又一个实施例中，提供了一种用于视频色调映射的非暂时性计算机可读介质。该非暂时性计算机可读介质包括程序代码，该程序代码在由至少一个处理器执行时使得该至少一个处理器将视频数据处理成第一视频分量和第二视频分量，将色调映射应用于第一视频分量，缩放第二视频分量，并通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射的视频。
根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言可以是显而易见的。
在进行下面的具体实施方式部分之前，阐述在本专利文档全文中使用的某些词语和短语的定义可能是有利的。术语“耦接”及其派生词是指两个或更多个元件之间的任何直接或间接通信，而不管这些元件彼此之间是否发生了物理接触。术语“发送”、“接收”和“传送”及其派生词涵盖了直接通信和间接通信。术语“包括”和“包含”及其派生词意味着包括但不限于。术语“或”是包含性的，意指和/或。短语“与…相关联”及其派生词意指包括、被包括在…内、与…互连、包含、被包含在…内、连接到或与…连接、耦合到或与…耦合、与…可通信、与…协作、交织、并置、邻近、粘合到或与…粘合、具有、具有…的特性、具有到...或与…的关系等。术语“控制器”意指控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或者硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是在本地还是在远处。当与项目列表一起使用时，短语“至少一个”意味着可以使用一个或多个所列项目的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一种：A、B、C，A和B，A和C，B和C以及A和B和C。
而且，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序均由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，所述计算机代码包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)、蓝光盘或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传送暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可以永久存储数据的介质以及可以存储数据并随后将其重写的介质，诸如可重写光盘、可擦除存储器设备、静态RAM、动态RAM或闪存。
下面描述的各种功能可以由耦接到存储一个或多个计算机程序的计算机可读介质的处理器来实现或支持。因此，处理器是用于执行由一个或多个计算机程序定义的功能的专用处理器。
在本专利文档全文中提供了某些其他词语和短语的定义。本领域的普通技术人员应该理解的是，在许多但不是大多数情况下，这样的定义适用于如此定义的词语和短语的在先使用和未来使用。
附图说明
为了更全面地理解本公开及其优点，现将参考结合附图的以下描述，其中相同的附图标记表示相同的部分：
图1示出了可以实现本公开的各种实施例的示例计算系统；
图2示出了根据本公开的实施例的用于生成可被重新编辑的编辑视频的系统；
图3示出了根据本公开的一个实施例的用于双频带自适应色调映射的示例系统；
图4示出了根据本公开的一个实施例的用于双频带自适应色调映射的另一示例系统；
图5示出了根据本公开的一个实施例的用于具有感知增益控制(PGC)的双频带自适应色调映射的示例系统；
图6A至图6C示出了根据本公开的实施例的色调映射比与PGC参数之间的示例关系的曲线图；
图7示出了根据本公开的一个实施例的用于在目标显示器上实现双频带自适应色调映射的示例系统；
图8示出了根据本公开的一个实施例的用于在目标显示器上实现双频带自适应色调映射的另一示例系统；
图9示出了根据本公开的一个实施例的用于在目标显示器上实现具有PGC的双频带自适应色调映射的示例系统；
图10示出了根据本公开的一个实施例的用于视频色调映射的示例过程；以及
图11示出了根据本公开的示例视频处理设备。
具体实施方式
以下讨论的图1至图11以及用于描述本专利文档中的本公开原理的各种实施例仅作为说明，而不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以以任何适当地布置的视频处理系统或设备来实现。
本公开的实施例认识到的是，在最大照度水平比编辑视频中的最大照度水平更低的显示器上显示编辑视频可能会降低视频的质量。例如，编辑视频中照度水平大于目标显示器的最大照度水平的部分可能被剪辑或限制到目标显示器的最大照度水平，如此便限制了所显示的视频的照度值范围。
以工作室已经利用最大照度水平为M尼特的编辑监视器对一部电影进行编辑为例，用户可能希望编辑视频对于目标显示器而言具有不同的峰值照度水平N尼特，其中N<M。在这种情况下，用户可能需要使用最大照度水平为N尼特的编辑监视器来对原始视频文件重新进行编辑。本公开的实施例认识到这一过程可能会耗费大量时间并且成本高昂。在另一个示例中，用户可以采用色调映射方法，这种方法使用已经经过编辑的视频来借助于算法或软件生成色调映射的视频，该算法或软件将视频从较高的编辑监视器照度水平向下色调映射到较低的目标显示器照度水平。本公开的实施例认识到这一过程可能会产生不太理想的结果，比如，突出显示的对象或场景的饱和度。
因此，本公开的各种实施例通过将视频分解成两个部分来产生色调映射的视频。例如，这两个部分可以是指反射分量和光照分量，或者细节分量和非细节分量。将色调映射应用于第一个视频分量，并将所得到的色调映射分量与第二分量组合，进而形成最终的色调映射视频。在一个或多个实施例中，基于局部对比度的自适应色调映射可以降低成本，同时改善与突出显示的对象或场景的饱和度有关的视频质量。
一个或多个实施例涉及处理图像以改善显示设备上的渲染图像。在一个实施例中，一种方法包括图像、图形、视频帧、视频场景和/或完整视频(在此统称为“视频”)的色调映射的一个或多个应用，从而便于重新对内容进行编辑和/或有利于高动态范围(HDR)显示。例如，在此描述的一个或多个实施例可以便于HDR重新编辑到不同的照度峰值水平，和/或可以有助于对照度峰值水平与编辑监视器不同的显示器进行色调映射。将理解的是，在此公开的各种实施例可以被单独地或组合地使用。
在下文中更详细地描述了系统和方法。与拐点映射和/或混合映射相关的符号p和q分别代表输入照度和目标映射照度；与元数据的色调映射相关的符号MF表示MaxFALL(最大帧平均照度水平)；与比率测试相关的符号T、T1和T2表示两种不同色调映射结果的预定对比度比率。
图1示出了可以实现本公开的各种实施例的示例计算系统100。图1中所示的计算系统100的实施例仅用于说明的目的。在不脱离本公开的范围的情况下，可以使用计算系统100的其他实施例。
如图1所示，系统100包括网络102，网络102有助于在一个或多个通信信道上在系统100中的各种组件之间实现通信。网络102可以在网络地址之间传送互联网协议(IP)数据包、帧中继帧或其他信息。网络102可以包括一个或多个局域网(LAN)：城域网(MAN)；广域网(WAN)；全球网络的全部或一部分，如互联网；或者位于一个或多个位置的任何其他一个或多个通信系统。
在各种实施例中，网络102包括用于将视频数据(例如包括视频内容、音频内容和元数据的视频文件)传送到客户端设备106-115的广播和宽带网络和通信信道。网络102的广播元件(诸如有线和卫星通信链路)向客户端设备106-115提供视频数据的广播。网络102的宽带元件、互联网、无线、有线和光纤网络链路和设备提供视频数据的流传输和下载。
网络102有助于实现一个或多个服务器104与各个客户端设备106-115之间的通信。每个服务器104包括可以为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。例如，每个服务器104可以包括一个或多个处理设备、存储指令和数据的一个或多个存储器、以及有助于通过网络102进行通信的一个或多个网络接口。例如，一个或多个服务器104可以包括用于对视频进行编辑或用于双频带自适应色调映射的处理电路，在下文将进行更详细的讨论。
每个客户端设备106-115表示通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或处理设备。如将在下面更详细讨论的，客户端设备106-115接收视频(例如，将要进行色调映射的编辑视频文件或将要显示的色调映射视频文件)，并且可以包括用于双频带自适应色调映射的处理电路。客户端设备106-115各自包括或连接到用于显示色调映射视频的显示设备。在本示例中，客户端设备106-115包括计算机106、移动电话或智能手机108、个人数字助理(PDA)110、膝上型计算机112、平板电脑114以及机顶盒和/或电视机115。然而，可以在通信系统100中使用任何其他的或附加的客户端设备。在本示例中，一些客户端设备108-114与网络102间接通信。例如，客户端设备108-110经由诸如蜂窝基站或eNodeB之类的一个或多个基站116进行通信。而且，客户端设备112-115经由一个或多个无线接入点118(如IEEE 802.11无线接入点)进行通信。需要注意，这些客户端设备仅用于说明，并且每个客户端设备可以直接与网络102通信或者经由任何合适的中间设备或网络与网络102间接通信。例如，在一些实施例中，可以通过计算机可读介质(而不是网络102中的有线或无线通信链路)由一个或多个客户端设备106-115接收编辑视频文件。
尽管图1示出了通信系统100的一个示例，但是可以对图1作出各种改变。例如，系统100可以以任何合适的布置包括任何数量的各个组件。一般而言，计算系统和通信系统具备各种各样的配置，并且图1没有将本公开的范围限制为任何特定配置。虽然图1示出了可以使用在本专利文档中公开的各种特征的一个操作环境，但是这些特征也可以用于任何其他合适的系统。
根据各种实施例，一种装置包括存储器以及可操作地连接到存储器的至少一个处理器。该至少一个处理器配置为将视频数据处理成第一视频分量和第二视频分量，将色调映射应用于第一视频分量，缩放第二视频分量，并且通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射的视频。
根据各种实施例，第一视频分量是光照分量，并且该至少一个处理器配置为对视频数据进行低通滤波，以生成光照分量。
根据各种实施例，第二视频分量是反射分量，并且该至少一个处理器配置为进行以下操作之一：从视频数据中减去第一视频分量以及将视频数据除以第一视频分量，以生成反射分量。
根据各种实施例，该至少一个处理器配置为基于第一分量和色调映射的第一分量来确定缩放因子；并且基于所确定的缩放因子来确定缩放的第二视频分量。
根据各种实施例，缩放因子基于第一分量和色调映射的第一分量的比率。
根据各种实施例，第二视频分量的缩放对应于应用感知增益控制(PGC)处理。
根据各种实施例，视频数据是来自编辑视频的数据，第二视频分量在与第一视频分量组合之前不被色调映射，并且色调映射被逐帧地应用于第一视频分量。
根据各种实施例，该至少一个处理器配置为识别与视频数据相关联的元数据，基于元数据识别视频数据的最大照度值，并且基于视频数据的最大照度值和与目标显示器相关联的色调映射标准之间的比较，确定是否将色调映射应用于视频数据。
根据各种实施例，装置还包括配置为显示所生成的色调映射视频的显示器，该装置是电视机、监视器、膝上型计算机、平板电脑和移动电话中的一个。
根据各种实施例，一种包括程序代码的非暂时性计算机可读介质，该程序代码在由至少一个处理器执行时使得该至少一个处理器将数据视频处理成第一视频分量和第二视频分量，将色调映射应用于第一视频分量，缩放第二视频分量，并且通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射的视频。
根据各种实施例，第一视频分量是光照分量，并且在由该至少一个处理器执行时使得该至少一个处理器将视频数据处理成光照分量的程序代码包括在由该至少一个处理器执行时使得该至少一个处理器对视频数据进行低通滤波以生成光照分量的程序代码。
图2示出了根据本公开的实施例的用于生成可被重新编辑的编辑视频的系统200。图2中所示的编辑视频生成系统200的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。例如，系统200可以由图1中的服务器104或客户端设备106-115来实现。
在手动编辑块205期间，可以使用颜色分级模块210对输入的编辑视频文件F进行分级。作为输出，颜色分级模块210提供编辑视频文件fM，该编辑视频文件fM作为输入被馈送到量化器Qn215以及元数据提取模块220。量化器Qn215对编辑视频文件fM进行量化，由此产生n比特量化的编辑视频文件Qn(fM)。视频文件f的相关最大照度水平是Lmax尼特。量化器Qn215用预定量化曲线将f量化为2n个水平(即，n比特长的二进制码)。
元数据提取模块220生成与编辑视频文件有关的元数据，例如，编辑监视器225(M)的最大照度水平、最大内容照度水平(MaxCLL)或亮度MaxFALL、或者与编辑视频文件有关的其他属性。文件fM和Qn(fM)以及与编辑视频文件相关联的元数据存储在存储设备中(例如，诸如下面讨论的图9中的存储设备915)，以便传送到目标显示设备(例如，客户端设备106-115中的一个)并随后由其显示。
编辑监视器225对经过量化的编辑视频文件进行解量化，以便在编辑监视器225上显示视频。解量化Qn -1是量化器Qn215的量化操作的逆操作。通过显示编辑视频，编辑监视器225提供了视觉反馈，以便为手动编辑块205连续地或反复地调节颜色色调。然而，编辑监视器225可以具有相当高的对比度(例如，具有最大照度水平M)，这与目标显示设备(例如，消费级电视机、投影仪、移动电话等)上可用的对比度(例如具有最大照度水平N，其中M>N)形成对比。因此，编辑监视器225上显示的编辑视频看上去可能与在目标显示设备上显示的有所不同。例如，由于编辑监视器225可以显示出比典型的家庭电视机更明亮的图像，因此，在家庭电视机上显示的编辑视频的明亮部分可能被剪辑掉，因此可能会丢失掉图像细节。例如，编辑视频中照度水平高于目标显示器的最大照度水平的部分可能都以相同的照度水平(即，在目标显示器的最大照度水平下)进行显示。
图3示出了根据本公开的一个实施例的用于双频带自适应色调映射的另一示例系统300。系统300可以由图1中的服务器104或客户端设备106-115来实现。例如，服务器104或客户端设备106-115中的任一者可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。在另一示例中，客户端设备106-115可以从服务器104接收编辑视频文件fM，并且可以实现本文所论述的双频带自适应色调映射技术，以将接收到的编辑视频文件fM转换为色调映射视频文件fM N。图3中所示的双频带自适应色调映射系统300的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统300是自适应色调映射系统，该系统应用自适应色调映射，从而对高对比度视频重新编辑或者使高对比度视频适于在低对比度显示器上显示。例如，视频可以是采用诸如由上面讨论的系统200所实现的编辑过程来编辑的编辑视频文件fM。在另一示例中，视频文件fM可以是最大照度水平高于目标显示器(预期在该目标显示器上显示色调映射视频文件fM N)的最大照度水平的任何视频。
在本说明性实施例中，系统300包括反射和光照分解块305、色调映射块310和合成块315。反射和光照分解块305将接收到的视频文件分解成反射视频分量和光照视频分量。在本示例实施例中，两个视频分量部分对应于视频的反射分量和光照分量。例如，反射分量和光照分量可以基于反射和光照模型，例如但不限于，Phong光照模型或Cook-Torrance光照模型。如下文更详细讨论的那样，反射和光照分解块305可以对采用接收到的视频文件的低(或高)通滤波版本并从原始视频中减去(或除去)滤波版本而形成的视频进行分解，以生成相应的反射视频分量和光照视频分量。
色调映射块310对光照视频分量进行色调映射，以产生色调映射视频yL。例如，色调映射视频yL是从与编辑监视器225相关联的最大照度M向下色调映射到与预期目标显示器(诸如，与客户端设备106-115之一相关联的显示器)相关联的最大照度N的视频。色调映射块310可以使用任何数量的视频色调映射技术来对光照视频分量进行色调映射，所述视频色调映射技术包括例如但不限于：低色调映射、高色调映射、基于局部对比度的自适应色调映射、基于分布点的自适应色调映射、色调区自适应色调映射等。对于视频色调映射技术的其他细节和示例，可以参见于___________提交的名为“色调区自适应色调映射(Tonal-Zone Adaptive Tone Mapping)”的第_________号美国专利申请(代理人案卷号DMS15-VA05)、于2015年12月31日提交的名为“基于分布点的自适应色调映射(Distribution-Point-Based Adaptive Tone Mapping)”的第_________号美国专利申请(代理人案卷号DMS15-VA10)以及于2015年12月31日提交的名为“基于局部对比度的自适应色调映射(Adaptive Tone Mapping Based on Local Contrast)”的第___________号美国专利申请(代理人案卷号DMS15-VA11)，这些专利申请中的每一个都通过引用的方式并入本文中。
合成块315将从色调映射块310输出的色调映射视频yL与反射分量组合，以生成作为输出的色调映射视频文件fM N。例如，如下文更详细讨论的，合成块315可以将相应输出相加或相乘，由此生成具有在预期目标显示器的最大照度N内的Lmax的色调映射视频文件fM N。
通过将所接收的视频文件分解成光照分量和反射分量并且仅对光照分量进行色调映射，系统300能够有效地对视频进行色调映射，以在保持视频质量的同时以较低对比度进行显示。例如，系统300假定视频的反射分量不会超过预期目标显示器的最大照度N。通过不对该部分进行色调映射并且仅对视频的可能具有超过预期目标显示器的最大照度N的照度的分量进行色调映射，系统300能够保存视频的反射分量的细节和质量。
在一个或多个实施例中，系统300可以进行是否将这些色调映射技术应用于所接收的视频文件的初始选择。例如，系统300可以确定是否应该应用HDR色调映射，而不是总是都应用色调映射。在一个示例中，系统300可以识别接收到的视频的Lmax(例如，通过访问视频的元数据)，并将Lmax与至少一个色调映射标准进行比较。例如，色调映射标准可以是Lmax大于目标显示器的最大照度N(例如，使用存储在目标显示器的固件中的元数据所标识的最大照度N)加上可选的附加偏移量。然后，响应于达到了色调映射标准，系统300确定应用如本文所论述的对应色调映射技术。
图4示出了根据本公开的一个实施例的用于双频带自适应色调映射的另一示例系统400。系统400可以由图1中的服务器104或客户端设备106-115来实现。例如，服务器104或客户端设备106-115中的任一者可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。在另一示例中，客户端设备106-115可以从服务器104接收编辑视频文件fM，并且可以实现本文所论述的双频带自适应色调映射技术，以将接收到的编辑视频文件fM转换为色调映射视频文件fM N。图4中所示的双频带自适应色调映射系统400的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统400是图3中系统300的示例实施例，该系统替代地将接收到的视频文件分解成细节分量和非细节分量。在本示例实施例中，低通滤波器(LPF)块405对所接收的视频进行低通滤波，以形成非细节分量xavg。分解块410从接收到的视频中减去或除去非细节分量xavg，以形成细节分量xd。因此，在本示例实施例中，低通滤波器(LPF)块405和分解块410形成来自图3的反射和光照分解块305。
如上所述，色调映射块310对非细节分量xavg进行色调映射，以产生色调映射视频yL。合成块315将从色调映射块310输出的色调映射视频yL与细节分量xd组合，以生成作为输出的色调映射视频文件fM N。例如，合成块315可以根据下面的等式1和等式2组合视频分量。
y＝yL·xd [等式1]
y＝yL+xd [等式2]
在此，系统400将相应输出相加或相乘，由此生成具有在预期目标显示器的最大照度N内的Lmax的色调映射视频文件fM N。
图5示出了根据本公开的一个实施例的用于具有PGC的双频带自适应色调映射的示例系统500。系统500可以由图1中的服务器104或客户端设备106-115来实现。例如，服务器104或客户端设备106-115中的任一者可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。在另一示例中，客户端设备106-115可以从服务器104接收编辑视频文件fM，并且可以实现本文所论述的双频带自适应色调映射技术，以将接收到的编辑视频文件fM转换为色调映射视频文件fM N。图5中所示的双频带自适应色调映射系统500的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统500是图4中系统400的示例实施例，其中PGC处理被应用于视频的细节(或反射)分量。在本说明性示例中，系统500包括PGC块505，该PGC块505通过调节视频的细节分量来补偿可能由于应用于非细节分量xavg的色调映射而引起的不同感知水平。换句话说，PGC块505根据应用于非细节分量xavg的色调映射而使用计算出的PGC参数α来缩放细节分量xd。结合图6A至图6C更详细地描述了PGC块505的示例实施例。
图6A至图6C示出了根据本公开的实施例的色调映射比与PGC参数α之间的示例关系600A至600C的曲线图。图6A至图6C中所示出的关系的示例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
图6A描绘了色调映射比xavg/yL与PGC参数α之间的线性关系600A，其中色调映射比的阈值T1和T2分别应用了PGC参数α的最小值和最大值(例如αm和αM)。在这些示例中，αm和αM是用于将PGC处理应用于细节分量xd的预定常数值。色调映射比xavg/yL是用于比较被色调映射块310应用的色调映射的比率，即，色调映射块310的输入与输出的比率。例如，在一个或多个实施例中，PGC块505接收色调映射块310的输入xavg和输出yL，并根据图6A至图6C所示的示例关系之一计算随着xavg和yL变化的PGC参数。图6B描绘了色调映射比xavg/yL与PGC参数α之间的非线性关系600B。图6C描绘了色调映射比xavg/yL与PGC参数α之间的阶梯函数关系600C，其中色调映射比的阈值T用于在分别应用PGC参数α的最小值和最大值(例如αm和αM)之间进行切换。例如，阈值T可以涉及确定是否将PGC应用于细节分量xd。
在计算出PGC参数α之后，PGC块505将PGC参数α应用于细节分量xd，以便通过合成块315进行组合。例如，合成块315可以根据以下等式3和等式4使用PGC参数α来组合视频分量。
y＝yL·xd·α [等式3]
y＝yL+xd·α [等式4]
在此，系统400将相应输出相加或相乘，由此生成具有在预期目标显示器的最大照度N内的Lmax的色调映射视频文件fM N。
在其他示例实施例中，系统500可以选择性地将PGC处理应用于细节分量的一个或多个区域。例如，PGC块505可以分析色调映射到视频帧的各部分的应用，从而确定出应用PGC处理的视频帧的一个或多个区域。此分析可以基于应用于非细节分量的某些区域的色调映射量。例如，系统500可以仅将PGC处理应用于视频的帧的某些区域，或者应用于视频的细节分量帧的某些区域(在所述区域中应用了超过阈值T的色调映射)。在另一个示例中，细节分量视频帧的不同部分可以具有所应用的参数α的不同值。在各种实施例中，PGC块505可以针对整个视频文件、任何其他适合的视频量或者单张图像，逐场景地以帧为基础应用PGC处理。在一个说明性示例中，可以针对整个帧使用参数α的单个值来逐帧地应用PGC处理。
图7示出了根据本公开的一个实施例的用于在目标显示器705上实现双频带自适应色调映射的示例系统700。系统700可以由图1中客户端设备106-115中的任何一个来实现。例如，客户端设备106-115中的任何一个可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。图7中所示的系统700的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统700是图3中系统300的示例实施例，其在包括目标显示器705或连接到目标显示器705的设备中实现。例如，系统700可以是任何合适的可视媒体设备，例如但不限于电视机、机顶盒、电缆接线盒、外围设备、媒体播放器、计算机、移动电话、平板电脑等。系统700接收n比特量化的视频文件Qn(f)作为输入。例如，系统700可以通过网络102从服务器104或者从存储介质(如闪存驱动器、光盘或其他非暂时性介质)接收经量化的编辑视频。例如，如上面结合图2所论述的，系统700采用解量化器750对输入进行解量化，以生成输入视频x。系统700使用上面论述的双频带自适应色调映射技术来生成色调映射视频y，并将色调映射视频y显示在m比特目标显示器705上。例如，当视频正在目标显示器705上播放时，系统700可以在显示视频之前自适应地对视频进行色调映射。
图8示出了根据本公开的一个实施例的用于在目标显示器805上实现双频带自适应色调映射的另一示例系统800。系统800可以由图1中客户端设备106-115中的任何一个来实现。例如，客户端设备106-115中的任何一个可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。图8中所示的系统800的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统800是图4中系统400的示例实施例，其在包括目标显示器805或连接到目标显示器805的设备中实现。如上所述，系统400接收n比特量化的视频文件Qn(f)作为输入，并采用解量化器850对输入进行解量化，以生成输入视频x，例如如以上结合图2所述。系统800使用上面论述的双频带自适应色调映射技术来生成色调映射视频y，并将色调映射视频y显示在m比特目标显示器805上。例如，当视频正在目标显示器805上播放时，系统800可以在显示视频之前自适应地对视频进行色调映射。
图9示出了根据本公开的一个实施例的用于在目标显示器905上实现具有PGC的双频带自适应色调映射的示例系统900。系统900可以由图1中客户端设备106-115中的任何一个来实现。例如，客户端设备106-115中的任何一个可以实现本文所论述的双频带自适应色调映射技术，以将编辑视频文件fM转换为色调映射视频文件fM N。图9中所示的系统900的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。
系统900是图5中系统500的示例实施例，其在包括目标显示器905或连接到目标显示器905的设备中实现。如上所述，系统900接收n比特量化的视频文件Qn(f)作为输入，并采用解量化器950对输入进行解量化，以生成输入视频x，例如如以上结合图2所述。系统900使用上面论述的具有PGC技术的双频带自适应色调映射来生成色调映射视频y，并将色调映射视频y显示在m比特目标显示器905上。例如，当视频正在目标显示器905上播放时，系统900可以在显示视频之前自适应地对视频进行色调映射。
图10示出了根据本公开的一个实施例的用于进行视频色调映射的示例过程1000。例如，过程1000可以由图1中的服务器104或客户端设备106-115来执行。具体地，过程1000可通过上面论述的图3至图5或图7至图9中的系统300-500和700-900中的任何一个系统(在此将这些系统统称为“系统”)来实现。图10中示出的过程1000的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。虽然过程1000的特定块在下面被描述为由系统300-500和700-900中的一个系统的特定块执行，但将理解的是，在替代的示例实施例中，任何合适的块可执行过程1000的每个块。
过程开始于系统将视频数据处理成第一视频分量和第二视频分量(块1005)。例如，块1005可以由图3中的块305来实现。在该块中，第一视频分量可以是光照分量或非细节分量，并且系统可以对视频数据进行低通滤波，以生成光照分量或非细节分量。第二视频分量可以是反射分量或细节分量，并且系统可以通过从视频数据中减去光照分量或非细节分量来生成反射分量或非细节分量，或者将视频数据除以光照分量或非细节分量来生成反射分量或细节分量。例如，视频数据可以是采用诸如由上面讨论的系统200所实现的编辑过程而被编辑的编辑视频文件fM。在另一示例中，视频数据可以来自最大照度水平高于预期显示视频的目标显示器的最大照度水平的任何视频。
之后，系统将色调映射应用于第一视频分量(块1010)。例如，块1010可以由图3中的块310实现。在该块中，系统可以针对整个视频文件、任何其他适合的视频量或者单张图像，逐帧且逐场景地应用色调映射。在一些实施例中，作为该块的一部分或作为另一块，系统还可以确定是否应用色调映射和PGC处理。例如，系统可以接收与视频数据相关联的元数据，基于元数据识别视频数据的最大照度值，并且基于视频数据的最大照度值和与目标显示器相关联的色调映射标准之间的比较，确定是否将色调映射和PGC处理应用于视频数据。
系统缩放第二视频分量(块1015)。例如，块1015可以由图5中块505来实现。在该块中，系统可以基于第一分量和色调映射的第一分量来确定缩放因子，从而缩放第二视频分量。例如，缩放因子可以基于第一分量和色调映射的第一分量的比率，如上面结合图5至图6C所论述的。系统然后可以基于所确定的缩放因子来确定缩放的第二视频分量。在一个实施例中，第二视频分量的缩放对应于应用感知增益控制(PGC)处理。例如，缩放因子可以是由系统识别的随第一视频分量和色调映射的第一视频分量变化的PGC参数，如上面结合图6A至图6C所论述的。系统可以基于计算出的PGC参数应用PGC处理。在一些实施例中，作为该块的一部分或作为另一块，系统还可以基于第一视频分量的一个或多个对应区域的属性来确定是否将PGC处理应用于第二视频分量的一个或多个区域。
系统然后将色调映射的第一视频分量与缩放的第二视频分量组合(块1020)。例如，块1020可以由图3中的块315来实现。在该块中，系统可以通过将色调映射的第一视频分量与经过PGC处理的第二视频分量组合来生成色调映射视频。在这些示例中，第二视频分量在与第一视频分量组合之前可以不进行色调映射。在一些实施例中，作为该块的一部分或者作为另一块，系统可以将生成的色调映射视频显示在目标显示器上。例如，系统可以被包括在或者连接到电视机、监视器、膝上型计算机、平板电脑和移动电话中的一个，以便显示色调映射视频。
尽管图10示出了用于视频色调映射的过程的示例，但是仍可对图10作出各种改变。例如，虽然被示出为一系列的块，但每幅图中的各个块可以重叠、并行地发生、以不同顺序发生或者发生多次。
图11示出了根据本公开的示例视频处理设备1100。具体地，视频处理设备1100示出了可以被包括在图1中的服务器104或者客户端设备106-115中的任一者中以实现本公开的一个或多个实施例的示例组件。
如图11所示，视频处理设备1100包括总线系统1105，该总线系统1105支持至少一个处理器1110、至少一个存储设备1115、至少一个通信单元1120、至少一个输入/输出(I/O)单元1125和显示器1140之间的通信。
处理器1110执行可以加载到存储器1130中的指令。处理器1110可以以任何合适的布置包括任何合适数量和类型的处理器或其他设备。处理器1110的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和离散电路。例如，处理器1110可以实现色调映射操作和/或PGC处理，其中该色调映射操作和/或PGC处理由以硬件形式实现的系统200-900中的任何块或模块执行，或者通过执行使得处理器1110执行所公开的方法的存储指令来实现。
存储器1130和持久性存储设备1135是存储设备1115的示例，存储设备1115表示能够存储和便于检索信息(诸如临时性或永久性的视频数据、程序代码和/或其他合适信息)的任何结构。存储器1130可以表示随机存取存储器或任何其他合适的易失性或非易失性存储设备。例如，存储器1130可以包含用于实现在此公开的色调映射技术的指令和/或可以存储从服务器104接收的流视频数据或缓冲视频数据。持久性存储设备1135可以包含支持长期存储数据的一个或多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。例如，持久性存储设备1135可以包含视频数据，诸如编辑视频文件和与编辑视频文件相关联的元数据。
通信接口1120支持与其他系统或设备的通信。例如，通信接口1120可以包括促进通过网络102的通信的网络接口卡、电缆调制解调器、广播接收器或无线收发器。通信接口1120可以支持通过任何合适的物理或无线通信链路的通信。
I/O单元1125允许输入和输出数据。例如，I/O单元1125可以通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备来提供用于用户输入的连接。I/O单元1125还可以将输出发送到显示器1140、打印机或其他合适的输出设备。
视频处理设备1100还包括或连接到显示器1140，例如目标显示器705和805。在一个示例实施例中，视频处理设备1100可以是包括在连接到用于显示色调映射视频的显示器1140的机顶盒、电缆接线盒、计算机等中的视频处理电路。在另一个示例实施例中，视频处理设备1100可以是连接到用于显示色调映射视频的显示器1140的机顶盒、电缆接线盒、计算机、媒体播放器等。在另一个示例实施例中，视频处理设备110可以是通过网络连接连接到目标显示器1140的服务器。在另一个示例实施例中，视频处理设备1100可以包括显示色调映射视频的显示器1140以及用于执行色调映射的视频处理电路。例如，视频处理设备1100可以是电视机、监视器、移动电话、膝上型计算机、平板电脑等。
根据各种实施例，一种用于视频色调映射的方法包括：通过处理视频数据来确定第一视频分量和第二视频分量，将色调映射应用于第一视频分量，缩放第二视频分量，并且通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射视频。
根据各种实施例，确定第一视频分量包括对视频数据进行低通滤波，并且第一视频分量是光照分量。
根据各种实施例，确定第二视频分量包括进行以下操作之一：从视频数据中减去第一视频分量以及将视频数据除以第一视频分量，并且第二视频分量是反射分量。
根据各种实施例，缩放第二视频分量包括：基于第一分量和色调映射的第一分量来确定缩放因子，并且基于所确定的缩放因子来确定缩放的第二视频分量。
根据各种实施例，缩放因子基于第一分量和色调映射的第一分量的比率。
根据各种实施例，缩放第二视频分量对应于应用感知增益控制(PGC)处理。
根据各种实施例，视频数据是来自通过对原始视频进行编辑而生成的编辑视频的数据。
根据各种实施例，第二视频分量在与第一视频分量组合之前不进行色调映射。
根据各种实施例，将色调映射逐帧地应用于第一视频分量。
根据各种实施例，该方法还包括：接收与视频数据相关联的元数据，基于元数据识别视频数据的最大照度值，并且基于视频数据的最大照度值和与目标显示器相关联的色调映射标准之间的比较，确定是否将色调映射应用于视频数据。
根据各种实施例，该方法还包括在显示器上显示所生成的色调映射视频，并且该显示器存在于电视机、监视器、膝上型计算机、平板电脑和移动电话中的一个中。
虽然已经采用示例实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开意图涵盖落入所附权利要求的范围内的这些改变和修改。
本申请中的任何描述都不应被理解为存在如下暗示：任何特定的元素、块、步骤或功能是必须包含在权利要求范围内的基本元素。专利主题的范围仅由权利要求限定。
虽然已经采用示例实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开意图涵盖落入所附权利要求的范围内的这些改变和修改。

Claims (13)

1.一种用于视频色调映射的方法，所述方法包括：
通过处理视频数据来确定第一视频分量和第二视频分量；
将色调映射应用于所述第一视频分量；
缩放所述第二视频分量；以及
通过组合色调映射的第一视频分量和缩放的第二视频分量来生成色调映射视频。
2.根据权利要求1所述的方法，其中确定所述第一视频分量包括：
对所述视频数据进行低通滤波，以及
其中所述第一视频分量是光照分量。
3.根据权利要求1所述的方法，其中确定所述第二视频分量包括以下操作之一：
从所述视频数据中减去所述第一视频分量；以及
将所述视频数据除以所述第一视频分量，并且
其中所述第二视频分量是反射分量。
4.根据权利要求1所述的方法，其中缩放所述第二视频分量包括：
基于所述第一分量和色调映射的第一分量来确定缩放因子；以及基于所确定的缩放因子来确定缩放的第二视频分量。
5.根据权利要求4所述的方法，其中所述缩放因子基于所述第一分量和色调映射的第一分量的比率。
6.根据权利要求1所述的方法，其中缩放所述第二视频分量对应于应用感知增益控制PGC处理。
7.根据权利要求1所述的方法，其中所述视频数据是来自通过对原始视频进行编辑而生成的编辑视频的数据。
8.根据权利要求1所述的方法，其中所述第二视频分量在与所述第一视频分量组合之前不被色调映射。
9.根据权利要求1所述的方法，其中所述色调映射被逐帧地应用于所述第一视频分量。
10.根据权利要求1所述的方法，还包括：
接收与所述视频数据相关联的元数据；
基于所述元数据识别所述视频数据的最大照度值；以及
基于所述视频数据的最大照度值和与目标显示器相关联的色调映射标准之间的比较，确定是否将色调映射应用于所述视频数据。
11.根据权利要求1所述的方法，还包括：
在显示器上显示所生成的色调映射视频，
其中所述显示器存在于电视机、监视器、膝上型计算机、平板电脑和移动电话中的一个中。
12.一种装置，被配置用于根据权利要求1至11中的一项所述的方法。
13.一种包括程序代码的非暂时性计算机可读介质，所述程序代码在由至少一个处理器执行时使得所述至少一个处理器执行根据权利要求1至11中的一项所述的方法。
CN201680076890.1A 2015-06-02 2016-12-23 双频带自适应色调映射 Expired - Fee Related CN108476312B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562170042P 2015-06-02 2015-06-02
US14/986,553 US10165198B2 (en) 2015-06-02 2015-12-31 Dual band adaptive tone mapping
US14/986,553 2015-12-31
PCT/KR2016/015245 WO2017116093A1 (en) 2015-06-02 2016-12-23 Dual band adaptive tone mapping

Publications (2)

Publication Number Publication Date
CN108476312A true CN108476312A (zh) 2018-08-31
CN108476312B CN108476312B (zh) 2020-11-13

Family

ID=57451659

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680077176.4A Expired - Fee Related CN108496356B (zh) 2015-06-02 2016-09-27 用于色调映射的方法、装置和计算机可读介质
CN201680076890.1A Expired - Fee Related CN108476312B (zh) 2015-06-02 2016-12-23 双频带自适应色调映射

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680077176.4A Expired - Fee Related CN108496356B (zh) 2015-06-02 2016-09-27 用于色调映射的方法、装置和计算机可读介质

Country Status (5)

Country Link
US (4) US10136074B2 (zh)
EP (2) EP3398167B1 (zh)
KR (2) KR102173729B1 (zh)
CN (2) CN108496356B (zh)
WO (2) WO2017115979A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113455013A (zh) * 2019-02-19 2021-09-28 三星电子株式会社 用于处理图像的电子设备及其图像处理方法
US12001321B2 (en) * 2020-10-19 2024-06-04 EMC IP Holding Company LLC Automated mocking of computer system deployments

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407296B (zh) * 2015-11-18 2021-03-23 腾讯科技（深圳）有限公司 实时视频增强方法和装置
WO2017205702A1 (en) * 2016-05-27 2017-11-30 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
WO2018152437A1 (en) 2017-02-17 2018-08-23 Vid Scale, Inc. Systems and methods for selective object-of-interest zooming in streaming video
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
EP4220541A1 (en) * 2017-09-13 2023-08-02 Panasonic Intellectual Property Management Co., Ltd. Luminance characteristics generation method
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
EP3607744B1 (en) * 2017-12-08 2024-07-24 Baidu.com Times Technology (Beijing) Co., Ltd. Stereo camera depth determination using hardware accelerator
CN108053381B (zh) * 2017-12-22 2022-04-22 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
KR102805644B1 (ko) * 2018-09-18 2025-05-09 엘지전자 주식회사 영상표시장치
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN110351542A (zh) * 2019-07-04 2019-10-18 深圳市玩瞳科技有限公司 一种针对视频帧的色彩校正方法及装置
CN119919330A (zh) * 2019-07-11 2025-05-02 华为技术有限公司 一种图像处理的方法及装置
CN119741239A (zh) 2019-10-18 2025-04-01 华为技术有限公司 一种图像处理的方法及装置
CN111064967A (zh) * 2019-11-20 2020-04-24 北京迈格威科技有限公司 图像的压缩方法、装置、系统和存储介质
US11398017B2 (en) 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11526968B2 (en) 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
EP4068196A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. High dynamic range tone mapping
KR20220142751A (ko) * 2021-04-15 2022-10-24 삼성전자주식회사 비디오를 인코딩하는 전자 장치 및 그 제어 방법
WO2022226917A1 (zh) * 2021-04-29 2022-11-03 深圳市大疆创新科技有限公司 图像处理方法及电子设备
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506829A (zh) * 2006-08-15 2009-08-12 Lsi公司 用于视频肤色校正的轮廓自由点操作
US20120170843A1 (en) * 2011-01-05 2012-07-05 Peng Lin Methods for performing local tone mapping
CN102801916A (zh) * 2011-05-25 2012-11-28 索尼公司 图像处理装置和方法
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
WO2014043005A1 (en) * 2012-09-12 2014-03-20 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
EP2750101A1 (en) * 2012-12-31 2014-07-02 Karl Storz Imaging Inc. Endoscopic video system with dynamic contrast and detail enhancement

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136073B2 (en) * 2002-10-17 2006-11-14 Canon Kabushiki Kaisha Automatic tone mapping for images
JP2005210526A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8050512B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8285071B2 (en) 2007-09-10 2012-10-09 Himax Technologies Limited Content-adaptive contrast improving method and apparatus for digital image
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
ES2527932T3 (es) 2008-04-16 2015-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Escalabilidad de profundidad de bits
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8478042B2 (en) 2009-10-26 2013-07-02 Texas Instruments Incorporated Method and apparatus for enhancing image or video quality using an exposure aware scene adaptive global brightness contrast
KR101538912B1 (ko) * 2010-06-08 2015-07-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 색조 및 색역 맵핑 방법들 및 장치
KR101537510B1 (ko) * 2010-07-22 2015-07-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
KR101538296B1 (ko) * 2011-03-02 2015-07-29 돌비 레버러토리즈 라이쎈싱 코오포레이션 로컬 멀티스케일 톤 매핑 연산자
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9113145B2 (en) * 2011-03-25 2015-08-18 Semiconductor Components Industries, Llc Contrast matching for stereo image
CN103621084A (zh) 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
JP6009538B2 (ja) 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像を符号化及び復号するための装置及び方法
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US8734328B2 (en) 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US8693772B2 (en) 2011-10-11 2014-04-08 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
US9076252B2 (en) 2012-01-05 2015-07-07 Qualcomm Incorporated Image perceptual attribute adjustment
CN104126307B (zh) 2012-02-29 2018-02-06 杜比实验室特许公司 用于改善的图像处理和内容传递的图像元数据创建处理器及方法
MX337444B (es) 2012-03-26 2016-03-07 Koninkl Philips Nv Aparatos basados en la region de brillo y metodos para la codificacion y decodificacion de imagenes de rango dinamico alto.
US8437545B1 (en) 2012-04-18 2013-05-07 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
CN104798102B (zh) * 2012-05-14 2017-07-28 欧姆龙株式会社 用于保证机器视觉系统的最小对比度的方法与装置
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9516351B2 (en) 2012-07-13 2016-12-06 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
RU2580093C2 (ru) 2012-08-08 2016-04-10 Долби Лабораторис Лайсэнзин Корпорейшн Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US8995783B2 (en) * 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
RU2642335C2 (ru) 2012-10-08 2018-01-24 Конинклейке Филипс Н.В. Обработка изображений с изменением яркости при цветовых ограничениях
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
JP6367839B2 (ja) * 2013-02-21 2018-08-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ・ビデオのための表示管理
JP6309978B2 (ja) * 2013-02-21 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 改善されたｈｄｒイメージ符号化及び復号化方法、装置
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
US20140267916A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US20140269943A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
KR101898643B1 (ko) 2014-02-25 2018-09-14 애플 인크. 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
US9418311B2 (en) * 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506829A (zh) * 2006-08-15 2009-08-12 Lsi公司 用于视频肤色校正的轮廓自由点操作
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
US20120170843A1 (en) * 2011-01-05 2012-07-05 Peng Lin Methods for performing local tone mapping
CN102801916A (zh) * 2011-05-25 2012-11-28 索尼公司 图像处理装置和方法
WO2014043005A1 (en) * 2012-09-12 2014-03-20 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
EP2750101A1 (en) * 2012-12-31 2014-07-02 Karl Storz Imaging Inc. Endoscopic video system with dynamic contrast and detail enhancement

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113455013A (zh) * 2019-02-19 2021-09-28 三星电子株式会社 用于处理图像的电子设备及其图像处理方法
CN113455013B (zh) * 2019-02-19 2024-01-16 三星电子株式会社 用于处理图像的电子设备及其图像处理方法
US11922607B2 (en) 2019-02-19 2024-03-05 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
US12001321B2 (en) * 2020-10-19 2024-06-04 EMC IP Holding Company LLC Automated mocking of computer system deployments

Also Published As

Publication number Publication date
KR20180088740A (ko) 2018-08-06
WO2017115979A1 (en) 2017-07-06
US9942489B2 (en) 2018-04-10
EP3398167A4 (en) 2018-12-19
KR102173729B1 (ko) 2020-11-03
EP3398167B1 (en) 2020-08-19
US10075655B2 (en) 2018-09-11
US10136074B2 (en) 2018-11-20
EP3391646B1 (en) 2020-04-22
CN108496356A (zh) 2018-09-04
US10165198B2 (en) 2018-12-25
KR20180089899A (ko) 2018-08-09
US20160360174A1 (en) 2016-12-08
KR102632784B1 (ko) 2024-02-02
WO2017116093A1 (en) 2017-07-06
EP3391646A4 (en) 2018-12-19
US20160360171A1 (en) 2016-12-08
CN108496356B (zh) 2020-11-20
EP3391646A1 (en) 2018-10-24
EP3398167A1 (en) 2018-11-07
US20160360173A1 (en) 2016-12-08
CN108476312B (zh) 2020-11-13
US20160360172A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN108476312B (zh) 双频带自适应色调映射
US12417519B2 (en) HDR tone mapping methods with scene adaptive parameterized tone map function
KR102126512B1 (ko) 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
EP3220350B1 (en) Methods, apparatus, and systems for extended high dynamic range hdr to hdr tone mapping
CN107209929B (zh) 用于对高动态范围图像进行处理的方法和装置
Zhang et al. High dynamic range video compression exploiting luminance masking
JP7472403B2 (ja) Ｓｄｒからｈｄｒへのアップコンバートのための適応的ローカルリシェーピング
CN110770787B (zh) 高效端到端单层逆向显示管理编码
JP7439251B2 (ja) ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ
US10778983B2 (en) Preserving texture/noise consistency in video codecs
JP2024505493A (ja) グローバルおよびローカル再整形を介した画像向上
CN114175647B (zh) 电光传递函数转换和信号合法化
WO2021030506A1 (en) Efficient user-defined sdr-to-hdr conversion with model templates
JP7627389B2 (ja) Ｓｄｒ－ｈｄｒ局所的再構成のためのノイズ除去
JP7602694B2 (ja) ビデオストリーミングにおける最小距離制約および平均距離制約の適用
CN116508324A (zh) 用于sdr到hdr上转换的自适应局部整形

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201113

CF01 Termination of patent right due to non-payment of annual fee