MX2013010788A - Aparatos y metodos para analizar graduaciones de imagenes. - Google Patents
Aparatos y metodos para analizar graduaciones de imagenes.Info
- Publication number
- MX2013010788A MX2013010788A MX2013010788A MX2013010788A MX2013010788A MX 2013010788 A MX2013010788 A MX 2013010788A MX 2013010788 A MX2013010788 A MX 2013010788A MX 2013010788 A MX2013010788 A MX 2013010788A MX 2013010788 A MX2013010788 A MX 2013010788A
- Authority
- MX
- Mexico
- Prior art keywords
- image
- dynamic range
- ldr
- hdr
- graded
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
El método de análisis de una diferencia de por lo menos dos graduaciones de una imagen con base en: obtener una primera imagen graduada (LDR) con un primer intervalo dinámico de luminancia; obtener datos que codifican una graduación de una segunda imagen graduada (HDR) con un segundo intervalo dinámico de luminancia, diferente del primer intervalo dinámico de luminancia; determinar una estructura de datos de diferencias de graduaciones (DATGRAD) con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada (HDR), permite una codificación adaptativa de manera más inteligente de las escenas representadas en imágenes, y consecuentemente también un mejor uso de esas imágenes, tal como una síntesis de imágenes de calidad más alta bajo varios escenarios de síntesis de imágenes.
Description
APARATOS Y METODOS PARA ANALIZAR GRADUACIONES DE IMAGENES
Campo de la Invención
La invención se relaciona con métodos y aparatos para comparar diferentes graduaciones, en particular una variante de LDR y HDR, y productos resultantes tales como señales y portadores que transportan tales señales, que comprenden por lo menos una estructura de datos que describen la diferencia entre las dos graduaciones.
Antecedentes de la Invención
La síntesis y codificación de imágenes a color, ya sea que represente fielmente una escena capturada, o una variante de graduación artística de la misma, siempre ha sido un problema elusivo, en lo más mínimo debido al comportamiento adaptativo complejo de la visión humana. La codificación de televisión clásica solucionó este problema suponiendo que el contenido solo es sintetizado sobre una sola pantalla CRT típica, bajo condiciones de visión promedio. Esto dio lugar a sistemas cerrados (y relativamente simples) tal como el sistema NTSC, o más recientemente MPEG2 , que supone que los colores (con lo cual nos referimos en primer lugar a su luminancia y en segundo lugar a sus componentes cromáticos) se representan relativamente de manera correcta (o por lo menos como se desea, dado que existe una brecha entre la escena y la gama de la pantalla) , si el ambiente de
Ref.: 243075
expectación se ajusta a las suposiciones. Asimismo, se definieron por consiguiente transformaciones de colores relativamente simples, por ejemplo, el matrizado a un sistema de excitación de RGB, para los diferentes colores primarios de una pantalla LCD particular, o adaptaciones de punto blanco, etc., lo cual, si no mejora la síntesis de colores porque la imagen sintetizada resultante, dada las desviaciones menores, se adaptaría con mayor aproximación a sintetizar sobre la pantalla de referencia (CRT, por sus siglas en inglés) , por lo menos no cometería errores más severos de síntesis de colores que aquellos que ya fueron aceptados bajo el paradigma. Sin embargo, el sistema cerrado se abrió porque en la última década se añadieron al sistema de televisión más y más dispositivos de tipos muy diferentes, bajo la misma filosofía de manejo de colores. No solo se hizo posible la síntesis de imágenes fijas del consumidor desde cualquier cámara en, por ejemplo, una televisión de LCD (con un contraste, gamma, etc., particular), sino también las diferentes ' pantallas crecieron de manera independiente con respecto a sus características físicas (en particular la gama de colores que podían sintetizar) , y los ambientes de expectación también se hicieron variables (por ejemplo, expectación de televisión móvil de exteriores, teatro en casa, etc.) . En particular, cuando las pantallas con luminancias de blancos siempre crecientes (por ejemplo, 2000
Cd/m2) comenzaron a salir (o que saldrán) al mercado, simultáneamente con cámaras con cavidades de captura de fotones más profundas y ADCs, se hizo costumbre comenzar a hablar de una división en dos subregiones, es decir el sistema de visualización estándar que puede denominarse bajo intervalo dinámico (LDR, por sus siglas en inglés) , y un sistema con enormes capacidades de síntesis de mayor luminancia denominado alto intervalo dinámico (HDR, por sus siglas en inglés) . Si entendemos que una señal con codificación de LDR puede haber deteriorado seriamente las características de la imagen para ciertos intervalos que puede o necesita visualizarse en una pantalla de HDR (por ejemplo, mediante el recorte de puntos brillantes) , se entiende que la generación de una buena imagen para tales pantallas de HDR puede convertirse en una tarea mucho más desalentadora, bajo esas desviaciones mayores del sistema de referencia de LDR, que una simple transformación de colores (se tiene que aprovechar la gama de la pantalla de HDR al máximo) . Dado que obviamente existe una necesidad de poder generar ajustes de excitación de visualización que sinteticen imágenes en las pantallas de HDR de una calidad visual que vaya de acuerdo con el precio elevado de la pantalla de HDR mejorada, se entiende la necesidad de tener nuevas codificaciones, nuevas técnicas de procesamiento de imágenes, nuevos métodos de síntesis de imágenes, etc. En esta
solicitud de patente, vemos el problema de manera más genérica, porque cualquiera que sea la pantalla (de las cuales existen más que solamente dos, ya sean HDR -que pueden ser de varias calidades, por ejemplo blancos de 1000 nit, blancos de 5000 nit- o incluso de menor calidad que LDR, que pueden denominarse sub-LDR [SLDR] ) , y circunstancias adicionales, nos gustaría tener la capacidad de sintetizar imágenes mejoradas, dada la información de que se dispone.
Breve Descripción de la Invención
Nuestras soluciones técnicas que aparecen abajo están inspiradas por el objeto de mejorar todo tipo de sistemas de graduación, compresión y HDR. Como es sabido para la persona experta, la graduación tiene un significado comúnmente conocido que comprende el mejoramiento artístico de todos los colores (o luminancias) , de tal manera que la imagen se vea óptima. En la práctica la captura por medio de una cámara difícilmente puede generar la vista exacta, es decir, luminancias para todos los objetos en la escena, por lo que típicamente un graduador vuelve a colorear regiones locales, haciendo, por ejemplo, una cara más brillante, o incluso aplicando efectos especiales más avanzados, como, por ejemplo, la adición de una piel irregular. Aunque los métodos (y aparatos) descritos pueden encargarse de generar una síntesis de imágenes óptima para cualquier pantalla, son principalmente útiles para pantallas de intervalo dinámico
más alto (por ejemplo, superior a 500 nit de brillo máximo) , y entonces con base en información de graduación relacionarse con imágenes de variantes de alto intervalo dinámico de una escena capturada (ya sea como adicional a una graduación de LDR, o como información de HDR separada) . Son especialmente valiosos para analizar y manejar información codificada para regiones de brillo más alto, tales como exteriores soleados o lámparas, pero también para regiones oscuras, en donde se hace más importante el manejo inteligente de la síntesis de esas regiones . Aunque en principio se podría comenzar con algunas de las modalidades con una señal de HDR y cierto LDR de referencia estándar genérica (por ejemplo, derivado automáticamente del HDR) , los presentes métodos serán mayormente utilizables cuando existan por lo menos dos graduaciones, típicamente una para intervalos dinámicos más bajos y uno para intervalos dinámicos más altos.
La unidad de comparación 110 y el método correspondiente se disponen para hacer una comparación precisa de regiones (por ejemplo, objetos, (conjunto de) píxeles) en dos graduaciones de una imagen (es decir, dos graduaciones del mismo instante de tiempo) , es decir, comparar cuáles son los valores de píxeles (por los menos luminancia o una correlación de la misma, pero posiblemente también un color tridimensional o N-dimensional , o atributos de imágenes adicionales relacionables con un píxel, tal como por ejemplo,
iluminación estimada local) de la primera y segunda graduación, y representan esta diferencia específica en información de graduación en una forma bastante manejable (que puede usarse en procesamientos adicionales) en una estructura de datos de diferencias de graduaciones DATGRAD. Estos datos pueden usarse en un lado receptor para entender cómo se ven por lo menos dos variantes de un conjunto teóricamente infinito de síntesis de escenas. Es decir, éstas dos pueden comprender, por ejemplo, una versión de escena de LDR un tanto pura (basada puramente en cámara) , y ésta con regiones de luminancia mayor y/o menor capturadas con precisión. Sin embargo, puede comprender además información acerca de cómo han de sintetizarse mejor estas subregiones en varias pantallas (de las cuales por lo menos dos pantallas de referencia características tienen una síntesis de imágenes específica) , por ejemplo, reduciendo una región brillante de tal manera que no se haga tan llamativa o irritante, de acuerdo a como lo determina un graduador humano. Partiendo de esta información importante, el lado receptor puede determinar mejor lo que se pretende y a partir de ello crear síntesis de imágenes más apropiadas para pantallas reales, por ejemplo, entre las dos graduaciones de referencia.
Esto puede hacerse de varias manera, tal como por ejemplo :
Un método de análisis de una diferencia de por lo menos
dos graduaciones de una imagen con base en:
obtener una primera imagen graduada (LDR) con un primer intervalo dinámico de luminancia;
obtener datos que codifican una graduación de una segunda imagen graduada (HDR) con un segundo intervalo dinámico de luminancia, diferente del primer intervalo, dinámico de luminancia;
determinar una estructura de datos de diferencias de graduaciones (DATGRAD) con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada (HDR) .
Esta diferencia de graduación puede determinarse con base en cualquiera que sea la manera en que se codifique el HDR, por ejemplo, observando una función de modificación para una región, o una subimagen que codifica una parte de la escena como una imagen separada para regiones de alta luminancia. La estructura de datos de diferencias de graduaciones (DATGRAD) puede identificar típicamente en dónde existen espacialmente algunas regiones que son diferentes como HDR, y típicamente también posiblemente de qué manera son diferentes, por ejemplo, que tengan que amplificarse 1.5x en luminancia en comparación con el intervalo de luminancia en el que se ubicarían cuando se aplicara una sola conversión (por ejemplo, transformación gamma) en toda la imagen (es decir, una conversión que es buena para las luminancias más oscuras de por ejemplo un intervalo de LDR) . Entonces un
sistema de visualización del lado del receptor puede tratar de conformarse a esta amplificación de 1.5x, dependiendo desde luego de cuánta gama física tiene disponible para la amplificación (por ejemplo, por oscurecimiento de luminancias más abajo de aquellas que corresponden a regiones brillantes) .
Un método, en el cual los datos que codifican la graduación de una segunda imagen graduada (HDR) es la segunda imagen graduada (HDR) , y la etapa de determinación de una estructura de datos de diferencias de graduaciones (DATGRAD) comprende comparar valores de píxeles de la primera imagen graduada (LDR) y la segunda imagen graduada (HDR) , de por lo menos una región espacial o de luminancia de uno de la primera imagen graduada (LDR) y la segunda imagen graduada (HDR) .
Desde luego la comparación puede hacerse sobre una imagen de HDR graduada real, es decir, por ejemplo, una imagen en bruto codificada para luminancia lineal de 18 bits. Pueden usarse después preconversiones para llevar ambas graduaciones a un mismo formato, por ejemplo, un espacio lineal de 32 bits, aplicando ciertas gammas de codificación inversa, extensión, haciendo un algoritmo LDR a HDR estándar (por ejemplo, curva S inversa), etc. Lo que queda entonces como una diferencia es típicamente lo que el graduador intenta lograr como una buena vista en pantallas más
brillantes (HDR) comparativamente con las menos brillantes (LDR) .
Un método, en el cual la estructura de datos de diferencias de graduaciones (DATGRAD) comprende una región espacial de interés (RI, por sus siglas en inglés) de la imagen, indicando una presencia o una cantidad, de acuerdo con un criterio, de una diferencia de graduación en la región espacial para la primera imagen graduada (LDR) versus la segunda imagen graduada (HDR) .
Esto permite la identificación rápida de regiones especiales para hacer síntesis de imágenes particulares, por ejemplo, efectos de HDR, que entonces pueden generarse aplicando funciones de transformación especiales, búsqueda en memoria de datos adicionales para esas regiones, para hacer la transformación (por ejemplo, valores de corrección para ciertos pixeles) , o incluso aplicando funciones como, por ejemplo, una función de (re) generación de gráficos por computadora en esa región. Una cantidad de efecto de HDR puede ser tan simple como una cantidad de aumento de por ejemplo una región brillante en comparación con el resto de la imagen que puede resultar, por ejemplo, de una conversión de tonos simples (es decir, típicamente luminancia) a partir de una graduación de LDR, por medio de una conversión la cual, por ejemplo, conserva en gran medida los valores iniciales (más oscuros) de las luminancias de pixeles de LDR.
Un método adicionalmente comprende la etapa de derivar una tercera imagen graduada (MDR) son base en la estructura de datos de diferencias · de graduaciones (DATGRAD) .
Típicamente, una imagen intermedia se generará, por ejemplo, para excitar directamente una pantalla, o en un espacio de colores de referencia, a partir de lo cual pueden derivarse valores finales de excitación de pantalla.
Un método comprende además aplicar una transformación de procesamiento de imágenes en por lo menos una de la primera, segunda o tercera imágenes graduadas, tal como, por ejemplo, un escalamiento adaptativo de imágenes, o hacer más nítida una imagen .
Las imágenes pueden optimizarse más, especialmente de manera inteligente dados todos los datos de graduación diferentes disponibles. Por ejemplo, si no se ha perdido el contraste para una región en una graduación de intervalo intermedio inferior (MDR) , que puede compensarse psicovisualmente por ejemplo, aumentando la nitidez local (por ejemplo, patrones de. intervalo fino) , o cambiando la saturación de colores, etc.
Un método adicionalmente comprende derivar una descripción de imagen (IMDESC) con base en la estructura de datos de diferencias de graduaciones (DATGRAD) , tal como, por ejemplo, una especificación de colores de una región espacial de la imagen.
Un método en el cual las luminancias de píxeles en la tercera imagen graduada (MDR) se ubica dentro de por lo menos un intervalo de varianzas alrededor de las luminancias de píxeles en la primera imagen graduada (LDR) , en particular, en el cual la tercera imagen graduada (MDR) es un mejoramiento de calidad visual de la primera imagen graduada (LDR) , de acuerdo con una propiedad de calidad visual tal como nitidez, o una medida de artefactos de compresión.
Desde luego, la imagen de MDR también puede ser un mejoramiento de una imagen de LDR dada la información complementaria en el grado de HDR. Por ejemplo, el grado de LDR puede ser un grado antiguo derivado con anterioridad, pero que puede codificarse conjuntamente con una remasterización de HDR, que puede usarse para obtener grados de LDR adicionales en el lado receptor. En este caso MDR no tiene un brillo máximo intermedio (por ejemplo, de 2000 nit entre 5000 nit y 500 nit) , pero puede tener un brillo máximo similar a 500 nit (es decir, bastante visualizable o que se pretende usar en pantallas con un brillo máximo real entre 700 nit y 100 nit) .
Un método en el cual la derivación de la tercera imagen graduada (MDR) se hace con base en información obtenida sobre las características (VCHAR) de un ambiente de expectación. Aquí, por ejemplo, lo que aún es visible en las partes más oscuras de cualquier graduación puede retinarse, por ejemplo,
con una conversión especial para intervalo más oscuros de cualquier graduación de imagen.
Un método en el cual la derivación de la tercera imagen graduada ( DR) se hace con base en ajustes controlados por el usuario (USRSET) en relación con la visualización de la tercera imagen graduada (MDR) , tal como por ejemplo ajustes que especifican una molestia de una salida de luz, ajustes que limitan el uso de energía, o ajustes que especifican atributos visuales preferidos de la tercera imagen graduada visualizada (MDR) .
Las graduaciones intermedias también permiten (incluso en una sola pantalla) que un usuario tenga un mejor control sobre la vista final. Pero igualmente el creador de contenido (por ejemplo, Hollywood), dado que esto se realizará de manera inteligente con base en las dos graduaciones (es decir, con esto el creador por lo menos implícitamente, o incluso explícitamente con información o instrucciones de caracterización de escenas codificadas, transmite cuán diferente deben verse los subintervalos de luminancia, por ejemplo efectos de HDR, si un usuario, por ejemplo, reduce el brillo de la síntesis de imágenes) .
Un método en el cual la tercera imagen graduada (MDR) se deriva como una imagen intermedia, mensurable de acuerdo con un criterio de brillo, entre la primera imagen graduada (LDR) y la segunda imagen graduada (HDR) .
Por ejemplo, el brillo máximo estará entre ambos brillos máximos, o un promedio de varios brillos a lo largo de una escala, por ejemplo, cuando se aplica una conversión de tonos (por ejemplo, una gamma de visualizacion preferida o típica) a una señal estándar tal como un diagrama de barras en grises, etc.
Un método en el cual la derivación de la tercera imagen graduada se hace por lo menos en parte con base en una conversión de tonos inversa (ITM, por sus siglas en inglés) de una conversión de tonos que transforma la primera imagen graduada (LDR) en una aproximación de la segunda imagen graduada (HDR) . De esta manera pueden calcularse nuevas variantes de LDR, por ejemplo sirviendo como base para codificaciones adicionales (por ejemplo, en una conexión a un aparato que utiliza la señal) , o contar con mejores propiedades de imágenes de acuerdo con una medida de calidad de imagen.
Todos estos métodos también pueden materializarse como aparatos, u otros productos que los incluyen (por lo menos una parte predominante de los mismos), por ejemplo:
Un aparato procesador de imágenes (101) para analizar una diferencia de por lo menos dos graduaciones de una imagen que comprende :
una primera entrada (120) para la entrada de una primera imagen graduada (LDR) con un primer intervalo dinámico de
luminancia;
una segunda entrada (121) para la entrada de datos que codifican una graduación de una segunda imagen graduada (HDR) con un segundo intervalo dinámico de luminancia, diferente del primer intervalo dinámico de luminancia;
una unidad de comparación (110) dispuesta para determinar una estructura de datos de diferencias de graduaciones (DATGRAD) con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada (HDR) .
Al igual que con los métodos anteriores, la estructura de datos de diferencias de graduaciones (DATGRAD) puede ser tan simple como una lista de regiones en donde existen diferentes graduaciones (por ejemplo, todos bloques) , y preferentemente también una representación matemática de la diferencia, por ejemplo, un descentrado de pixeles, o un modelo de corrección para por lo menos algunos de los pixeles en el bloque, típicamente en comparación con cierta conversión estándar en relación con las dos graduaciones (por ejemplo, un algoritmo que convierte a ambas con una función gamma, cuyo(s) coeficiente (s) gamma pueden transmitirse, por ejemplo, por cada toma de imágenes; en el caso de varios coeficientes pueden haber, por ejemplo una energía p, una ganancia g (o brillo máximo), y un descentrado off: HDR = (g*LDR) Ap+off) .
Un aparato de procesamiento de imágenes (101) , en el
cual la segunda entrada está dispuesta para recibir una segunda imagen graduada (HDR) , y la unidad de comparación (110) está dispuesta para determinar la estructura de datos de diferencias de graduaciones (DATGRAD) con base en la comparación de valores de pixeles de la primera imagen graduada (LDR) con valores de pixeles de la segunda imagen graduada (HDR) de por lo menos una región espacial o de luminancia de una de la primera imagen graduada (LDR) y la segunda imagen graduada (HDR) . La comparación es típica después de alguna conversión estándar que aproxima a ambas a cierta forma comparable común, que puede realizarse, por ejemplo, a través de un espacio de colores intermedio y intervalo de luminancia, o aplicando directamente una pretransformación antes de realizar, por ejemplo, una diferencia ponderada o una identificación más inteligente de lo que realmente es la diferencia (por ejemplo, magnitud, perfil con respecto a pixeles o subregiones vecinas, etc.) .
Un aparato de procesamiento de imágenes (101) adicionalmente comprende una unidad de derivación de imágenes (112) dispuesta para derivar una tercera imagen graduada (MDR) con base en la estructura de datos de diferencias de graduaciones (DATGRAD) .
Un aparato de procesamiento de imágenes (101) dispuesto para aplicar una transformación de procesamiento de imágenes a la primera imagen graduada (LDR) con base en por lo menos
los datos que. codifican la graduación de la segunda imagen graduada (HDR) .
Un aparato de procesamiento de imágenes (101) que comprende un decodificador dispuesto para decodificar datos de imágenes codificados y obtener una primera imagen graduada (LDR) y una segunda imagen graduada (HDR) , y la unidad de derivación de imágenes (112) dispuesta para aplicar una transformación de procesamiento de imágenes en por lo menos una de la primera imagen graduada (LDR) y una segunda imagen graduada (HDR) para obtener la tercera imagen graduada (MDR) con una graduación similar a la de la primera imagen graduada (LDR) pero de una mejor calidad visual que la primera imagen graduada (LDR) :
Breve Descripción de las Figuras
Estos y otros aspectos del método y aparato de conformidad con la invención serán evidentes y se explicarán haciendo referencia a las implementaciones y modalidades descritas de aquí en adelante, y con referencia a las figuras adjuntas, las cuales sirven simplemente como ilustraciones específicas no limitantes que ejemplifican el concepto más' general, y en las cuales se usan líneas punteadas para indicar que un componente es opcional, y los componente que no están con líneas punteados no son necesariamente esenciales. Las líneas punteadas pueden usarse también para indicar que los elementos, que se explican como esenciales,
están ocultos en el interior de un objeto, o para cosas intangibles tales como, por ejemplo, selecciones de ob etos/regiones (y cómo pueden mostrarse en una pantalla) .
En las figuras:
La figura 1 ilustra esquemáticamente una modalidad de un aparato de comparación básica para analizar dos grados (LDR, HDR) , porque típicamente residirán en un codificador, dispuesto para codificar esta diferencia, como una estructura de datos de metadatos (por ejemplo, que comprende ROI AP, o en general cierta DATGRAD) , cuyos metadatos pueden estar acompañados de imágenes graduadas, por ejemplo, LDR, HDR, y posiblemente MDR;
la figura 2 ilustra esquemáticamente un sistema de consumidor del lado receptor, en el cual varios aparatos pueden utilizar las presentes modalidades para derivar óptimamente graduaciones y señales de excitación para sintetizar óptimamente la escena como lo pretenden los graduadores, en sus respectivas pantallas;
la figura 3 ilustra esquemáticamente cómo se puede derivar una graduación intermedia con base en el comportamiento promedio de otras dos graduaciones;
la figura 4 ilustra esquemáticamente otro ejemplo de cómo puede derivarse una tercera graduación con base en información presente en otras dos graduaciones;
las figuras 5a-5b ilustran esquemáticamente otro ejemplo
de cómo pueden relacionarse colores de ciertos valores o clases en dos grados, para colores correspondientes en otros grados derivable de los mismos;
la figura 6 ilustra esquemáticamente una cadena de formación de imágenes de ejemplo desde la creación de contenido hasta el uso de contenido, ilustrando algunas de las posibilidades con ciertas modalidades de la invención, como, por ejemplo, derivación de una imagen de LDR de calidad mejorada QLDR2 tomando en cuenta por lo menos cierta información en el grado de HDR y/o DATGRAD;
la figura 7 ilustra esquemáticamente otro ejemplo de mejoramiento de un grado de LDR en comparación con un grado de LDR que se hizo disponible, y cuyo QLDR2 puede utilizarse, por ejemplo para excitar una pantalla de brillo máximo un tanto mayor (por ejemplo, de 800 nit) ; y
la figura 8 ilustra esquemáticamente cómo hacer un comportamiento comparativo para grados que dependen de parámetros externos, tales como, por ejemplo, capacidades de la pantalla.
Descripción Detallada de la Invención
El aparato de procesamiento de imágenes de la figura 1 tiene dos entradas de datos, a decir una primera entrada 120 (por ejemplo, por simplicidad de la siguiente descripción denominada de bajo intervalo dinámico LDR) , y una segunda entrada 121 (típicamente de alto intervalo dinámico HDR) .
Estas entradas pueden, por ejemplo, recibir imágenes, que pueden haberse codificado de conformidad con un estándar de compresión (por ejemplo, con base en DCT como AVC) como se explica en la figura 6, pero por el momento suponemos por simplicidad que son imágenes en bruto puras con un valor de N bits (con tres o más componentes de color que se codifican como valores de M bits, pero para la presente solicitud por simplicidad de la explicación trataremos las imágenes como si fueran imágenes solo de valores de grises) . Haremos la distinción en este texto entre el término "imagen", que es la composición geométrica de objetos pixelados como, por ejemplo, capturados por una cámara (o generados en un ambiente gráfico por computadora) , y el término "imagen codificada" , que es una ' de las muchas codificaciones posibles, y en particular graduaciones de la imagen (es decir, la imagen es un tipo de padre de una familia de imágenes codificadas, y puede ser, por ejemplo, un archivo en bruto de cámara, mientras que una primera imagen codificada derivada del mismo puede ser una codificación lineal de 8 bits, y una imagen codificada adicional derivada del mismo puede ser una codificación no lineal de 8 bits con una gamma de 0.45) . Necesitamos explicar la diferencia entre una graduación y una codificación (emplearemos la palabra general "codificación" para cualquier especificación en números del color de un píxel o una imagen codificada, y "compresión" si
también existe una transformación matemática para reducir la cantidad de bits de codificación requeridos involucrados [para evitar reutilizar la palabra compresión, utilizaremos la palabra "conversión hacia abajo" cuando se compriman valores en un intervalo dinámico mayor a uno más pequeño, por ejemplo multiplicándolos con una fracción tal como 0.5, o cualquier otra función de conversión] ) . Con respecto a graduación, nos referimos a cómo se coordinan las luminancias (o colores) de todos los objetos de imágenes en una imagen codificada, que por ejemplo puede estar codificada como imagen en bruto. Y típicamente para crear diferentes vistas óptimas (por ejemplo, para diferentes pantallas) , se crearán diferentes graduaciones. Es decir, la graduación tiene que ver con la asignación de objetos de una escena capturada a intervalos de luminancia específicos de la codificación de imagen final, con base en principios estéticos (haciendo que la imagen codificada se vea mejor, entonces, por ejemplo, con una simple captura de cámara a ciegas) . Es decir, las graduaciones típicamente involucran algún componente humano (desde luego con nueva tecnología optimizada) aunque esto también puede incorporarse en la aplicación de alguna transformada matemática final (por ejemplo, la graduación puede codificarse como una función de asignación de valores de grises óptima, con base en un consenso estético a priori) . Para asegurarse que esto no se interpreta solo como una
codificación de simples conceptos artísticos no patentables, nos gustaría enfatizar fuertemente que los presentes métodos permiten la construcción técnica de nuevos sistemas, a decir en particular sistemas en los que es posible que el hardware determine autónomamente nuevas mejores vistas estéticas. Finalmente cuando las graduaciones son codificadas forman información técnica requerida para la tecnología, tal como una imagen capturada puede construirse artísticamente creando una escena atractiva con, por ejemplo, muebles, pero finalmente forma una entrada técnica en, por ejemplo, un filtro para nitidez. Una imagen codificada de LDR que ingresa en la entrada de LDR puede ser por ejemplo, una imagen codificada de 8 bits y una imagen codificada de HDR, por ejemplo de 14 bits pero el número de bits por sí mismo no dice mucho acerca de lo que está exactamente en las imágenes codificadas, siendo más precisos, qué color tiene cada uno de los píxeles de los objetos de la imagen. Por ejemplo, si una cámara produce imágenes en bruto de 16 bits, puede ser acertado codificarlas con una ligera no linealidad en la imagen codificada de HDR de 14 bits (por lo tanto se puede emplear el hecho de que el sistema visual humano es menos sensible para diferencias de luminancia para luminancias más altas, es decir, el subintervalo del intervalo de luminancias puede asignarse a menos de una fracción lineal de los 14 bits disponibles) . Sin embargo, la palabra 8 bits puede ser muy
pequeña para codificar fielmente las luminanciás de 16 bits, sin embargo, sin importar qué tipo de no linealidad uniforme se elija, por lo que típicamente se determina un intervalo intermedio con necesidades que han de codificarse con alta precisión, y recorta (suaviza) el subintervalo de luminancia brillante y oscuro por arriba y abajo del mismo. Nótese que esto es una elección de tango versus precisión. Desde luego uno podría solo convertir hacia abajo linealmente los 16 bits a 8 bits (por ejemplo, eliminando los 8 bits inferiores) , pero entonces los intervalos de luminancia importantes de la imagen se reproducirían mal, lo cual daría lugar a la formación de bandas en la pantalla. Por lo que una señal de HDR no necesariamente dice mucho acerca de la cantidad de bits para codificara, sino más acera de qué luminanciás de objetos se encuentran en la imagen codificada, por ejemplo, pueden haber regiones brillantes codificadas, y simultáneamente regiones muy oscuras. Es importante entender que estás codificaciones son típicamente transformaciones técnicas. Y puede codificarse una representación a otra matemáticamente, por lo que también, por ejemplo, de LDR y HDR a un formato común para compararlos (por ejemplo, una forma simplista sería igualar sus blancos con el mismo nivel de blancos de 32 bits, y después continuar con los demás colores) . A pesar de que un camarógrafo (o el técnico que ajusta las configuraciones en la cámara) puede en realidad
seleccionar una de varias curvas de transformación de acuerdo con su preferencia, esto aún es esencialmente una conversión técnica con por ejemplo, una curva de gamma de 0.45, o como en cámaras del consumidor una curva S. Una graduación es usualmente una determinación más fina de los valores de grises de píxeles y/o colores, y típicamente puede involucrar una transformación artística. Puede estar parcialmente restringida por consideraciones técnicas (por ejemplo, el graduador puede necesitar aplicar cierto tipo de curva S para convertir hacia abajo a la representación de 8 bits, pero entonces aún utiliza elecciones artísticamente óptimas, por ejemplo, eligiendo entre diferentes formas y curvas) , pero típicamente involucra transformaciones deseables más complejas, como la selección de una región espacial de la imagen, y el cambio de su iluminación de acuerdo con cierto perfil (como si otra luz cayera sobre la región que transmite otra emoción a la toma) , incluso para codificaciones de bits más altos (por ejemplo, esto se hace típicamente para un máster digital de una película o en un espacio de síntesis de representaciones de bits más altos para un juego) . Por ejemplo, el graduador puede aumentar luminancias locales de una región, para hacer que un objeto que se refleja especularmente destelle más (en comparación con su ambiente de imagen) . Esta graduación es una fuente de información muy útil, dado que contiene implícitamente información de
semántica acerca de la escena, es decir, lo que el creador pretende lograr colorimétricamente con todos los objetos o las regiones. Si se tiene solo una imagen codificada disponible (por ejemplo, una graduación de LDR) , lo mejor que puede hacer un aparato de procesamiento de imágenes (por ejemplo/ la imagen codificada puede estar definida para una pantalla de LDR DE 500 nit estándar, pero necesita visualizarse en un lado receptor en una pantalla de 1000 nit, y lo que uno quiere en realidad es aprovechar este intervalo de luminancia mayor de la pantalla, lo cual no sucederá en gran medida cuando simplemente se aplique a la pantalla la señal de la imagen codificada tal como está, porque la extensión de la luminancia que se origina de la conversión de blancos de 8 bits a blancos de la pantalla de 1000 nit, se contrarresta rápidamente por la adaptación del ojo humano) , es tratar de transformar los colores de ciertos píxeles, regiones u objetos de imagen de acuerdo con ecuaciones técnicas muy genéricas, lo cual puede hacerse, por ejemplo, mediante un IC de procesamiento de imágenes en una televisión. Por ejemplo, se pueden detectar píxeles con un nivel de excitación d_norm (que típicamente será el componente luma de una codificación de colores) superior a 250 y se puede interpretar que éstos son probablemente puntos brillantes, y entonces aumentarlos fuertemente para que se conviertan al blanco de la pantalla actual (dejando otros
colores a una luminancia de salida de pantalla L_out mucho menor) . Pero esta estrategia puede resultar contraproducente en algunas imágenes, por ejemplo, imagine que se aumenta excesivamente el blanco de los ojos de una persona. Sin embargo, si se tienen por lo menos dos graduaciones diferentes disponibles, por ejemplo, una graduación de LDR y HDR, se puede derivar mejor a partir de ello lo que cualquier síntesis o transformación debería ser (en el ejemplo, anterior, los ojos no serán significativamente más brillantes en la graduación de HDR, y por lo tanto deben "protegerse" para comportarse similarmente en todas las graduaciones derivadas, pero sí lo serán las luces).
Una unidad de comparación 110 busca las diferencias en el valor de grises (podemos utilizar un valor de grises de manera intercambiable con diferentes parámetros relacionados tal como luminosidad, luma o luminancia, en donde no se requiere una mayor precisión de terminología) de píxeles o regiones en la primera versus la segunda graduación (por ejemplo, LDR y HDR, o HDR y SLDR, una graduación para un intervalo inferior a LDR, por ejemplo, 40:1), y caracteriza aquellas diferencias en valor de grises como una estructura de datos de diferencias de graduaciones DATGRAD. Como se mencionó, la diferencia puede determinarse en una forma de caracterización de imagen codificada puramente matemática, es decir, calculando alguna diferencia de color de píxeles o
valores de luminancia después de una transformación a una referencia común (por ejemplo, emulando la pantalla de LDR en una forma estándar en un intervalo de colores de HDR) . Esto puede hacerse píxel por píxel, o pueden emplearse caracterizaciones más inteligentes de regiones u objetos, por ¦ ejemplo, empleando medidas de textura, o perfiles espaciales (que pueden usarse para comparación de iluminación local) . Sin embargo, además de un análisis puramente técnico de las imágenes, puede ser ventajoso definir un algoritmo de diferencias tomando en cuenta leyes psicovisuales , para determinar lo que es la diferencia real. Con esto, no solo nos referimos a calcular, por ejemplo, en un espacio de laboratorio o aplicar modelos de apariencia de colores, sino que se sabe que el sistema visual humano juzga la luminosidad de los objetos en comparación con lo que está en los alrededores. En particular, el sistema visual humano juzga psicológicamente negros, blancos, y grises en una totalidad de lo que se ve (tal como qué tan brillantes puede hacer una pantalla los píxeles, pero también los colores de los alrededores) . Esto último es especialmente importante para HDR, dado que el sistema visual humano hará una diferencia cognitiva entre colores reflexivos blancuzcos, y lámparas autoluminosas en las imágenes codificadas. Preferentemente la síntesis de imágenes no debe ser tal que, por ejemplo, una región que claramente tiene que verse blanca, se vea como una
región gris claro, o viceversa. Tales modelos también pueden tomarse en cuenta en algunos cálculos de diferencias, es decir, en general la diferencia en graduación por píxel o lugar geométrico no necesita ser un solo número real, sino que puede ser un grupo de elementos que caracterizan varios aspectos de cómo., por ejemplo, un objeto local difiere en graduación (es decir, por ejemplo, una imagen codificada con, por ejemplo grupos de elementos hexadimensionales por píxel, como una diferencia en color, y una diferencia de luminosidad tridimensional por píxel; pero las diferencias también pueden codificarse como modelos más complejos, por ejemplo, funciones de transformación, o múltiples conversiones N-dimensionales paramétricas que son equivalentes a una imagen que tiene como valores de grupo de elementos los valores de función, etc., nótese que la imagen también puede ser, por ejemplo, una representación espacial-estadística de la escena real, por ejemplo, una representación aproximada de escalas múltiples del objeto vuelto a colorear de acuerdo con ciertas funciones con base en el tipo de clase del objeto tal como un subintervalo de brillo, etc.). Este grupo de elementos puede contener varias propiedades de la imagen, dado que se sabe que también, por ejemplo, la nitidez local es relevante para la vista final (el sistema visual humano combina todo esto) , por lo tanto puede usarse en el lado receptor para determinar una tercera graduación diferente, por ejemplo, quitando el
énfasis en algún contraste local en favor de una mayor nitidez. Las diferencias también pueden codificarse como vectores, modelos (por ejemplo, una conversión funcional que relaciona, o convierte a ambas), etc.
La estructura de datos de diferencias de graduaciones
DATGRAD puede ejecutarse sobre las diferencias para toda la imagen (aunque en un algoritmo de análisis en ejecución, no necesita contener información almacenada de todas las regiones de la imagen al mismo tiempo) , o partes importantes de la imagen. Desde luego por ejemplo pueden construirse estructuras de datos de diferencias de graduaciones DATGRAD para varias imágenes codificadas (por ejemplo, tres graduaciones de una imagen) o varias imágenes (por ejemplo, una comparación de la graduación de una imagen codificada LDR en el tiempo TR+5 con el mismo objeto de HDR en una imagen de referencia en el tiempo TR) , etc., lo cual puede transmitir de varias maneras cómo deben verse ciertos constituyentes de las escenas, tales como objetos de la escena, bajo varias limitaciones del lado de síntesis de imágenes particular (tal como un intervalo dinámico de visualización, un cambio de la iluminación ambiental, etc.) . Una modalidad simple de éste último tipo de variabilidad puede ser, por ejemplo, una región del mapa de interés ROIMAP (por ejemplo, una imagen codificada con el tamaño de la imagen) . La figura 1 muestra esquemáticamente el mapa conteniendo dos regiones de interés,
a decir siendo RI una explosión, y RI2 una luz brillante sobre el pecho de un robot . Estas regiones pueden identificarse porque existe una diferencia principal en graduación en las dos imágenes codificadas, por ejemplo la imagen codificada de LDR necesita recortar los valores a 255, y la imagen codificada de HDR los especifica como valores de brillo muy por arriba de los valores del resto de la escena. Pueden usarse varios algoritmos matemáticos para determinar esta diferencia, que pueden dar como resultado que se escriba un número booleano en las regiones del mapa de interés ROIMAP ("1" = región de interés, "0" = de no interés), o el algoritmo puede calificar además la diferencia (cantidad, o tipo, etc.) con por ejemplo, un número de 8 bits, por ejemplo caracterizar adicionalmente cuánto más brillante es una región que en la imagen codificada de LDR (por ejemplo, si CR es el valor de gris de un píxel en el mapa ROIMAP, la definición utilizada puede ser 0 <= CI < 100: normal, de no interés; < 100 < CI < 150: objeto brillante de un primer tipo de brillo; 150 < CI : objeto muy brillante, que debe sintetizarse con el brillo máximo disponible en el lado de la pantalla) , o con un análisis de contenido de imagen que define qué tipo de objeto probablemente sea (dando lugar a otras transformaciones de procesamiento de síntesis de imágenes), etc.
Es decir, la diferencia no necesita codificarse con
precisión, sino que puede asignarse aproximadamente para ciertas clases (permitiendo variabilidad de síntesis en el lado receptor) , y además pueden agregarse metadatos a la estructura de DATGRAD, por ejemplo, caracterizando adicionalmente el tipo de región (puede contener una indicación de que ésta es una "luz brillante", que puede ser una simple caracterización binaria [los objetos reflexivos pueden considerarse iguales en ambas imágenes codificadas/graduaciones, aunque sus valores de píxeles reales -incluso después de transformarse a una referencia común con una conversión estandarizada- puede ser diferente, mientras que las luces se ven como diferentes, y deben sintetizarse fundamentalmente de manera diferente en una pantalla de LDR en comparación con una de HDR] ) . Por ejemplo, se puede comparar el valor de una predicción simple (por ejemplo, una extensión lineal de la imagen de LDR, o resíntesis de la misma dadas las mejores características de una pantalla de HDR pretendida) con el valor real de un píxel en la imagen de HDR. Si el valor predicho y el real son aproximadamente iguales, probablemente no es un objeto interesante, sino simplemente una conversión para mostrar la región de manera similar en el sistema de intervalo dinámico más alto (que puede convertirse a "0" indicando igualdad, por ejemplo, por redondeo aproximado) . Por otro lado, si los valores difieren bastante,, el píxel puede marcarse como de
interés ("1"), una caracterización aproximadamente de "diferente" . La unidad de comparación 110 también puede usar ecuaciones buscando las relaciones de valores de píxeles en la imagen codificada de LDR y HDR, en particular si las relaciones de píxeles circundantes también son tomados en cuenta (por ejemplo, la relación de valores de grises de graduación cambia desde una fuera de la región de interés RI , a una segunda relación dentro de la RI) . Las comparaciones no necesitan hacerse con base en un análisis por píxel, sino que puede involucrarse un procesamiento previo o posterior adicional, tal como filtrado espacial, procesamiento morfológico, remoción de pequeñas estructuras erróneas, etc. También algunas regiones pueden discontinuarse y que no incluirse en el ROIMAP, por ejemplo, por medio de un análisis adicional, por ejemplo una región que corresponde al cielo, o dependiendo del tamaño, la forma, el color, la textura, etc., de las regiones identificadas.
Contar con estas regiones de interés RI, las hace útiles para todo tipo de procesamiento de imágenes . Esto puede ser un procesamiento de imagen que se relacione con la síntesis de la imagen, por ejemplo, puede construirse una nueva imagen (por ejemplo, transformando la imagen codificada LDR o HDR ingresada) para aplicarse como valores de excitación para una pantalla, en la cual los valores de brillo de objetos brillantes se hacen más brillantes (por ejemplo,
correspondiendo a un ajuste de usuario de una "cantidad de aumento de punto brillante" . Sin embargo, también otras funciones de procesamiento de imágenes pueden beneficiarse de las regiones de interés RI . Dado que las regiones eran suficientemente importantes para merecer diferentes graduaciones, éstas debían permanecer en un procesamiento de imagen como, por ejemplo, un recorte para ir a una diferente relación de aspecto (por ejemplo, para una pantalla pequeña 281 en un dispositivo portátil 280) . Adicionalmente , la luz del pecho del robot puede formar una entrada adicional para procesar más la región con métodos de análisis de imágenes, por ejemplo detectores de formas humanoides. Asimismo, en una estrategia de compresión de imágenes y descompresión de imágenes, las matemáticas de (des) compresión pueden ajustarse de manera diferente para tales regiones, por ejemplo, la precisión de cuantización, u otros parámetros que influyen en la calidad. Entonces es fácil asignar, por ejemplo, los valores de etapa de cuantización que pueden asignarse a la señal de imagen como metadatos (incluidos o por separado) a valores de píxeles en el ROIMAP. También, la región de explosión puede procesarse con un algoritmo de procesamiento de imágenes diferente (incluyendo algoritmos de gráficos por computadora) , por ejemplo , uno que enfatice o mejore en ella la textura de las llamas o la estructura del polvo. El análisis de estas regiones de interés puede usarse en
aplicaciones que se benefician de descripciones (especialmente simples) de la imagen IMDESC. Por ejemplo, la generación de luz ambiental o efectos de iluminación de los alrededores se benefician de un mejor conocimiento de los objetos en la escena, en particular regiones particulares las cuales son estructuras de luz real en la imagen (y en particular cuando están fielmente representadas, tal como en una graduación de HDR) . Puede derivarse, por ejemplo un color (o conjunto de colores) promedio (?,?,?) o (L,a,b) o (R,G,B) para la región de explosión, y utilizar solo esta región/color para la excitación de la luz ambiental ((X,Y,Z)_AL1 puede ser un parámetro de control, o excitación directa de la luz ambiental por medio de una conexión 260 a una unidad de luz ambiental 261) . La segunda región de interés se puede utilizar para excitar la iluminación de alrededores (de acuerdo con el parámetro de control de iluminación de alrededores de caracterización (X,Y,Z)_SL1 enviarse, por ejemplo de forma inalámbrica a una unidad de comunicación 251 de cualquier conjunto de luces de los alrededores 250) , . En general, la descripción de la imagen puede basarse en todo tipo de propiedades de las imágenes codificadas disponibles y datos adicionales, por ejemplo, si el objeto es un gráfico generado por computadora, etc.
Si se desea derivar una nueva imagen graduada, por ejemplo, para una pantalla diferente, diferentes
características de ambiente de expectación, diferentes preferencias de usuarios, etc., la unidad de comparación 110 típicamente analizará . toda la imagen codificada (dado que generará un nuevo píxel por cada uno de la totalidad de píxeles en las otras imágenes codificadas graduadas, y esto corresponderá entonces a un estimado basado en la imagen de cómo deben verse en general las escenas bajo diferentes situaciones de síntesis de imágenes, dadas las dos graduaciones de ejemplo), pero desde luego pueden involucrarse las imágenes codificadas de más imágenes (por ejemplo, una imagen particular (anterior) se puede marcar teniendo una graduación particularmente representativa para la toma o escena, o seleccionarse porque contiene objetos oscuros graduados no presentes en la imagen actual que va a resintetizarse, y otra imagen codificada de referencia) . La transformación de resíntesis puede emplear entonces esta información adicional cuando se determine el cambio en valor de grises, por ejemplo, partiendo de la imagen codificada HDR para objetos más claros que están presentes en la imagen actual. Esto puede ser útil, por ejemplo, para ajustar la síntesis de la imagen para reservar la gama o tomar en cuenta varios efectos .
La estructura de datos de diferencias de graduaciones incluirá entonces por lo menos uno (o varios) valores de píxeles en ambas imágenes codificadas graduadas para por lo
menos una región seleccionada de pixeles en la imagen. Pueden emplearse varias estructuras equivalentes, desde una compleja que resume toda la imagen, o una recapitulación estadística de la misma, hasta una simple representación local (por ejemplo, en algoritmos de análisis que se ejecutan en partes pequeñas de la imagen en un tiempo, en cuyo caso el resto de la imagen aún puede recapitularse en datos adicionales.
Como ejemplo utilizaremos la figura 3 para mostrar cómo calcular una graduación para una pantalla de MDR (intervalo dinámico medio) que es intermedia a una pantalla de LDR (por ejemplo destinada para pantallas clásicas de 8 bits de L_Max_LDR = 500 nit) y una pantalla de HDR (por ejemplo, para una pantalla de referencia de L_Max__HDR = 5000 nit, de acuerdo con lo cual se hizo la codificación de HDR) , por ejemplo una- pantalla de HDR de menor calidad solo capaz de producir blancos de 2000 nit, solamente con base en las graduaciones de LDR y HDR disponibles. La derivación real de una graduación de MDR (y por lo tanto una señal de excitación de pantalla de MDR, sin embargo en el ejemplo de la figura 3 inmediatamente derivamos la señal de excitación d_norm) se hace por medio de una unidad de regraduación 112, o método. La persona experta debe entender que con consideraciones similares, pueden construirse versiones similares de la unidad o método de comparación, y de la unidad o método de regraduación usando además o solamente otros datos que
codifican la graduación de la segunda imagen codificada graduada. Por ejemplo, si en una codificación de la imagen codificada HDR se codifica predominantemente con base en una conversión de tonos IL_PRED de la imagen codificada graduada LDR, entonces un inverso de es conversión de tonos puede ser una función útil (es decir, la persona experta puede construir regraduaciones similares a los ejemplos de abajo, no simplemente afinando las regraduaciones por medio de los datos adicionales -por ejemplo, si la conversión de tono inverso corresponde a una disminución del valor de gris de objetos particulares hasta cierto grado, la regraduación para MDR puede hacerlo en menor medida- sino también estos únicos datos para derivar las funciones de regraduación) .
En la figura 3 se muestra dos funciones de conversiones optoelectrónicas, OEFC_LDR de una pantalla de LDR, y OEFC_HDR de una pantalla de HDR (por ejemplo, la pantalla de referencia de 5000 nit) . Se muestran con un eje x normalizado analógicamente (de tal manera de la cantidad de bits que codifican las imágenes graduadas LDR y HDR, respectivamente, a las que corresponden es irrelevante, dado que, por ejemplo, tanto 8 bits como 14 bits se convertirán a 1) , y el eje y muestra si se aplica el valor de x d_norm como un valor de excitación de pantalla, la pantalla produce una luminancia igual al valor L_out de la curva . Típicamente las curvas son funciones gamma, tomando en cuenta además compensaciones
adicionales para un resplandor típico o real, etc. La comparación se enfoca en por lo menos uno o algunos puntos sobre la curva, por ejemplo una región de colores de pixeles, que tiene valores de grises blancuzcos y corresponden al intervalo de valores de excitación R_obj_W_LDR en la graduación de LDR, y R_obj_W__HDR en la graduación de HDR. Nótese que en este simple escenario que se enfoca principalmente en cómo puede mostrar una pantalla valores de grises mediante su comportamiento electroóptico (es decir, los valores de pixeles se interpretan en una vista de gamma de pantalla) , la graduación puede interpretarse como un cambio junto con el OECF, es decir, el intervalo en LDR tiene una ' distancia más pequeña dw l del LDR máximo que la distancia dw_h del máximo de la imagen codificada de HDR. Esto puede ser debido a que el graduador consideró que los objetos eran muy brillantes, y si tenían que sintetizarse con, por ejemplo, una extensión lineal simple de los valores de LDR sobre el intervalo de HDR, es decir, corrigió los valores de excitación para aquellos pixeles en la imagen de HDR para que fuesen menores qie los valores de extensión puros (nótese que los valores de extensión puros para LDR y HDR pueden originarse por ejemplo de valores en bruto de una cámara que hace conversiones inexpertas) . En este intervalo de objetos, los pixeles particulares en la imagen de LDR (por ejemplo, el píxel 301, o 302 que tiene cierto valor de gris
como se observa en la gráfica) corresponde (por ejemplo, simplemente por colocación geométrica, o con algoritmos de asignación más complejos) a píxeles particulares 303 y 304, respectivamente, en la imagen HDR. Se desearía saber qué valor de excitación se necesita (para el píxel 305) en una pantalla MDR intermedia, dados los píxeles graduados "óptimos para LDR, HDR, respectivamente (302, 304, respectivamente). Ventajosamente, con un simple algoritmo, para graduaciones de interpolación, este punto 305 puede obtenerse determinando el 0ECF_MDR para esa pantalla MDR, y calculando el punto de intersección de este 0ECF_MDR y la línea que conecta los puntos 302 y 304 en la . graduación LDR, y HDR, respectiva. De ahí puede determinarse el valor de excitación d_norm_sol para excitar la pantalla de MDR. La aplicación de este 0ECF_MDR tiene muchas ventajas que dan lugar a una buena solución. Por ejemplo, si la luminancia de salida va a ser igual para todas las pantallas, la horizontal que conecta la línea producirá para cualquier OECF un valor de excitación que produce esa luminancia de salida. Por el contrario, pueden haber escenarios en donde múltiples puntos en un OECF correspondan a un solo punto en el otro OECF, debido al recorte. Por ejemplo, en lña región oscura, OECF_MDR y OECF_LDR son localmente relativamente similares. Esta similitud resultará del algoritmo de conversión, dado qye la diferencia en síntesis entre dos píxeles oscuros 311 y 312 se escala bien
de acuerdo con las capacidades de la pantalla a diferentes puntos siempre crecientes 314 y 315 cuando más similar se hace OECF_MDR a OECF_HDR. Desde luego, pueden usarse algoritmos más complejos, mirando más estrechamente la colocación de los puntos o el conjunto de puntos a lo largo de varios OECFs, y en particular mirando en posiciones esperadas también comparadas con puntos de referencia exteriores al intervalo o región del objeto en comparación con referencias interiores (que tienen que ver respectivamente con la manera en la que el graduador juzga el impacto para varios escenarios de graduación de relaciones de luminosidad global, versus contrastes internos del objeto). Por ejemplo, como una conversión más compleja al punto 306, las ecuaciones de conversión pueden comprender evaluar relaciones del lugar en el que se ubica el punto en un intervalo típico de puntos de objetos (por ejemplo, la distancia dmo_h desde el punto más ligero 304) versus cuando el intervalo se compara con por ejemplo el máximo (dw_h) , y esto para los valores de píxeles graduados de DR predichos (la distancia dw_m debe conformarse con lo que se espera dadas las otras dos graduaciones, por lo menos dentro de una tolerancia, de tal manera que, por ejemplo, alguien puede cambiar un poco más excesivamente hacia valores más oscuros que los que se esperaría linealmente dados dw_h y dw_l , pero no más oscuro de dw 1) , versus las relaciones en las
diferentes graduaciones (LDR, HDR, y posiblemente graduaciones adicionales, para otras pantallas, u otros escenarios de pantalla etc.). Las ecuaciones de conversión también pueden contener valores característicos, tales como, por ejemplo, un color de aparición promedio o frecuente en el intervalo de objetos bajo procesamiento, y estos valores pueden incluso almacenarse conjuntamente como metadatos con las imágenes codificadas, por ejemplo, con base en el análisis estadístico del proceso de graduación en el lado de la graduación (por ejemplo, puede verse cómo el graduador que manipula cuidadosamente valores tratando de ajustarlos óptimamente en una parte superior de un intervalo permisible para cierto objeto o tipos de objetos, observando tales parámetros como una cantidad de tiempo gastado en esa graduación, etc., lo cual puede llevar la regraduación hacia una conversión en un subintervalo correspondiente de la pantalla de MDR OECF) . Ejemplos de datos útiles para refinar las graduaciones son, por ejemplo, un intervalo de colores brillantes R_white, que puede ser en diferentes grados relativamente bien representables en pantallas de intervalo dinámico más alto versus pantallas de menor intervalo, versus otros escenarios para comparar y regraduar objetos o regiones en intervalos intermedios como R_mid, que está/debe estar bien representado incluso en muchas pantallas de LDR o inferiores .
En la figura 4 se ilustra un ejemplo de una graduación más compleja, que puede ser útil para extrapolar hacia, por ejemplo, pantallas de sub-LDR (tales como, por ejemplo, la pantalla de menos calidad 281 de un dispositivo portátil 280, que puede incluso necesitar excitarse óptimamente para dar cuenta de un resplandor más alto, es decir, un contraste reducido) , así como ajustes para otros deseos como por ejemplo, preferencias del usuario.
Debería entenderse que, como una alternativa a presentar todo en una representación OECF física, y concebir todas las demás modificaciones como cambios junto con esas OECFs, pueden representarse varias modificaciones de valores de grises tales como conversiones de grises (por ejemplo, un ajuste de contraste preferido del usuario) como modificaciones de OECFs que producen un OECF total, por ejemplo, OECF_TDR (como si la pantalla ya no tuviera un comportamiento gamma, sino algún otro comportamiento complejo, o en otras palabras, se reevalúan las conversiones de colores de píxeles en algunas otras vistas de transformaciones globales (o incluso más complejas, semiglobales) . La curva OECF_TDR puede verse entonces como una curva de sistema de síntesis de imágenes típica en lugar de una simple curva de pantalla. Esto es particularmente interesante para modificaciones que son "siempre esperables" (como un usuario que gusta que sus regiones brillantes
siempre sean excepcionalmente brillantes, sin embargo, resulta que se han graduado) , y para distinguir de la graduación particular de objetos particulares en particular imágenes/imágenes codificadas (cuyo intento artístico puede entonces aún representare como cambios) . Por ejemplo, el graduador puede preferir que una toma de un abrigo oscuro en la escena original debe en realidad graduarse como blanco brillante, y el usuario desea que todos los abrigos brillantes sean aún más brillantes. Cualquiera que pueda ser el OECF real de la pantalla, el usuario lo ha configurado (por ejemplo, con tablas de búsqueda adicionales o similar) para tener un 0ECF_TDR que no se ocupe mucho de los colores oscuros (el usuario les ha añadido una desviación de brillo, quizá porque las películas tienen algunas escenas oscuras y el usuario deseaba verlas mejor dado el destello de la iluminación de su sala de estar que reflejándose en el cristal frontal de la pantalla) , el usuario ha especificado un contraste grande para colores intermedios (en el intervalo clrvis) y prefiere recortar (incluso si la pantalla puede en realidad sintetizar colores más brillantes hasta su máximo L_max_TDR) por lo menos puntos de iluminación más brillantes 401, 402 (por arriba del valor HL_ref_HDR o un parámetro específico, dependiendo de las matemáticas detrás de los controles del usuario, que desea aplicar mejoramientos de colores inteligentes sin muchos ajustes del usuario) a un
solo valor típico de punto luminoso L_max_APL (es decir, aquellos puntos se convertirían a partir de la graduación de HDR -convirtiendo 410 y los demás, al punto 404) .
El graduador creativo del lado de creación de contenido puede ahora decir cómo deben verse (aproximadamente) las síntesis de imágenes cuando se tienen esas condiciones variables, tal como, por ejemplo, un aumento de brillo por parte del usuario. Puede utilizar curvas parciales. Por ejemplo, por arriba de un valor de excitación LE_dvH puede utilizar una estrategia de interpolación simple con base en el comportamiento de gamma de la pantalla como se explicó arriba. Pero para colores más oscuros, puede describir una o varias otras estrategias de transformación, por ejemplo, una para mantener un detalle de imagen máximo discernible, uno para una vista tímida (oculta) máxima, etc. Las diferencias en el grado de HDR (más factible) y el grado de LDR pueden interpretarse en vista de esto (por ejemplo, cómo cobran vida los detalles en graduaciones de intervalo dinámico sucesivamente más alto) , y por lo tanto funciones de predicción (simbolizadas como flechas en la figura 4) , o funciones parciales como OECF_TDR que determinan el comportamiento promedio del sistema, pueden caracterizar la diferente graduación en por lo menos dos graduaciones, y determinar el comportamiento de regraduación hacia una tercera graduación. Por ejemplo, si el usuario oprime el
botón de brillo, el sistema se dirige hacia la regraduación de conservación o hacia una más detallada para los colores más oscuros .
Este algoritmo utiliza transformaciones esperables para predicciones iniciales, y después las corrige con base en los valores de píxeles graduados reales en las varias imágenes graduadas LDR, HDR. Por ejemplo, puede construirse una graduación con valores de referencia típicos para la visión de alrededores. Después de aplicar el método de la figura 3, pueden aplicarse transformaciones colorimétricas estándar con base en principios psicovisuales humanos para posteriormente, por ejemplo, aumentar el contraste de la imagen codificada cuando ésta se ve en un ambiente más oscuro que el predeterminado para por ejemplo, la codificación de LDR (es decir, la señal de LDR se modificará para usarse en una pantalla de LDR, pero en un ambiente significativamente más oscuro) . Pero eso puede ser inferior a lo óptimo, por lo menos de acuerdo con las preferencias artísticas del graduador. Alternativamente, podrían incorporarse estos factores (mayor contraste requerido por lo menos en un intervalo de valores de excitación) directamente en el modelo de predicción a partir de las graduaciones disponibles. Esto podría hacerse si algunas de las graduaciones transmiten (parcialmente) información precisa de cómo deben ser las graduaciones para una disminución en la luminancia del
ambiente de expectación (por ejemplo, el graduador puede para un par de imágenes codificadas representativas regraduar, por ejemplo a una segunda graduación de LDR y HDR para alrededores oscuros) , cuya información puede usarse entonces para aumentar la precisión de conversiones para otras imágenes/objetos/escenarios, pero incluso con solo dos graduaciones simples LDR y HDR, la estrategia de la figura 4 tiene sentido. En este método de ejemplo, se considera un intervalo de colores de píxeles en el LDR, y se predice en qué lugar debe ubicarse por lo menos un punto del mismo (por ejemplo, el punto intermedio) en el OECF_TDR de conversión de tonos objetivos, es decir, en el punto P_LD (esta conversión se hace para crear funciones que toman en cuenta todas o algunas de las correcciones psicovisuales requeridas que caracterizan la adaptación del usuario al nuevo ambiente de visión, sus preferencias con respecto al contraste, etc.). Haciendo lo mismo con el HDR (es decir, ese subintervalo o región del objeto en la graduación de HDR) produce P_HD que es diferente de P_LD por un dp desviado. Esto puede ser típicamente porque el graduador piensa que estos colores deben sintetizarse con luminosidad moderada en pantallas de HDR brillantes, mientras que por ejemplo, las restricciones físicas pueden obligarlo a sintetizarlos con valores de excitación más altos para LDR. El algoritmo de conversión final para obtener el punto correspondiente 410 al punto
intermedio en el OECF_TD determinará entonces si debe estar más cerca de la predicción de LDR o HDR, tomando en cuenta factores tales como: debido a que el usuario prefirió este subintervalo pequeño para sintetizarse con un contraste alto, no pueden representarse tantos niveles de grises para este intervalo, lo cual también mirando en donde se ubica el intervalo R_LDR en la totalidad de valores de grises posibles, resulta en el hecho de que el punto 410 debe estar cerca de la predicción de LDR P_LD. Desde luego puede adoptarse un algoritmo ciego con menos ecuaciones de modelado menos preciso como una aproximación adecuada del punto intermedio entre P_LD y P_HD, que simplifica la carga de cálculo, es decir, un detector puede evaluar la diferencia entre P_LD y P_HD y después decidir si se requiere un cálculo adicional de más precisión o complejidad. En la representación común, el intervalo bajo comparación en este ejemplo se ubica entre los valores de excitación LE_dvH y HE_dvH. LRO_min y LRO_max son ejemplos que caracterizan el subintervalo de LDR en el eje de luminancia.
Tales modelos pueden representar las complejidades como las ilustrados en las figuras 5a-5b. Por ejemplo, en la figura 5b (quizá local, es decir, solo para algunas regiones u objetos) está presentes una graduación real adicional, y el punto G_MDR correspondiente muestra que debe hacerse una interpolación más precisa no de acuerdo con las trayectorias
lineales, sino más bien con trayectorias no lineales (esto puede derivarse del hecho de que cerca de la graduación de HDR, las graduaciones intermedias de ese color no deben diferir mucho, pero por arriba de cierta distancia desde HDR, convergirán rápidamente a la situación de LDR. Esto puede ser por ejemplo, debido a las elecciones del graduador para extraer todo lo que es posible de cualquier pantalla de intervalo dinámico más alto para esos colores. Tales consideraciones pueden manipularse matemáticamente con ecuaciones que contienen, por ejemplo, una distancia a lo largo de una predicción lineal entre los puntos de LDR y HDR, y una desviación ortogonal de los mismos. La figura 5a muestra un ejemplo de una construcción de una estructura de datos de diferencias de graduaciones DATGRAD más compleja localmente con un comportamiento de imagen no lineal complejo de para graduaciones intermedias, por ejemplo, el punto 503 en una graduación es preciso para una pantalla con una valor máximo L_M1, y posiblemente parámetros adicionales Px_l como valor mínimo, etc. Una conversión de acuerdo con una predicción matemática paramétrica PMAP puede desviarse en una distancia curvilínea DELT del punto óptimamente graduado real, de tal manera cuanto más disponible está este punto, mejor será la predicción. Esos puntos y curvas pueden estimarse con base en pocos datos (como solo la graduación de LDR y HDR, y además parámetros colorimétricos) en el lado
receptor, pero también pueden determinarse con base en datos conjuntamente codificados desde el lado emisor (por ejemplo, el software del aparato del graduador puede tener agregadas algunas curvas bastante representativas, o parámetros para regenerarlos (con más precisión) ) .
Volviendo a la figura 1, se muestran algunos componentes adicionales conectados. Un módulo de análisis de situaciones-130 proporciona parámetros en relación con una situación que requiere otra resíntesis de imágenes, por ejemplo, diferentes algoritmos de conversión, u otro OECF_TDR de conversión de tonos objetivos (que puede determinarse por medio de la unidad de regraduación 1123 con base en datos transportados, o por medio del módulo de análisis de situaciones y transferirse), etc. Puede conectarse a varios dispositivos tales como, por ejemplo, uno o más dispositivos de medición de ambientes 132 (el cual puede ser, por ejemplo, un medidor de luminancia que mide el brillo de la sala de estar o los alrededores en los que se ubica la pantalla, y transfiere esta información como datos de caracterización del ambiente VCHAR) . El aparato de procesamiento de imágenes 101, ya sea en un lado del creador, o en un lado receptor tal como en una computadora o decodificador, también puede conectarse a un controlador del usuario 134 (por ejemplo, un control remoto) . De esta manera pueden determinarse regraduaciones con base en ciertas preferencias del usuario. Por ejemplo, un usuario
puede tener varios ajustes de calidad visual disponibles, un aumento del contraste global simple como en el caso de una televisión clásica, o un control más relacionado con HDR el cual con, por ejemplo, tres parámetros establece: un ajuste de brillo para los colores más oscuros, un contraste para el intervalo medio, y un aumento o disminución preferida para los colores más brillantes (a partir de los cual los algoritmos pueden entonces construir o modificar funciones de conversión de tonos) . Entonces los ajustes controlados por el usuario USRSET pueden ser, por ejemplo, tres valores numéricos. Pueden incorporarse ajustes inteligentes adicionales en la televisión, el reproductor de contenidos, etc., por ejemplo, un ajuste de ahorro de energía global, que tiene que ver más con la conversión de tonos que solo el escalamiento a la salida máxima, pero aplica una curva inteligente también tomando en cuenta la visibilidad óptima de objetos de intervalo intermedio importantes (posiblemente tomando en cuenta datos del ambiente de expectación) .
Otro ajuste puede trabajar solo sobre los colores más brillantes, por ejemplo, para aumentar o reducir su impacto o molestia .
La figura 2 muestra un sistema para sala de ejemplo que puede emplear y beneficiarse de las presentes modalidades. Por ejemplo, el aparato de procesamiento de imágenes puede realizarse como un IC de procesamiento de imágenes 101 en un
reproductor de discos ópticos 210 (por ejemplo, BD( pero nótese que esto es solo como ejemplo porque la invención puede realizarse con otros medios de memoria como, por ejemplo, una memoria de estado sólido, o rutas de transmisión de datos, como una conexión de Internet, etc., y desde luego el "aparato" de procesamiento de imágenes puede ser también cualquier aparato grande) . Un disco bluray 215 puede contener las dos imágenes graduadas (o información equivalente a ellas) , y también datos adicionales 216 con respecto a la manera en la que deben graduarse y/o sintetizarse las imágenes codificadas (por ejemplo, explícitamente especificado por el graduador para objetos específicos, o derivarse automáticamente del ejercicio de graduación) , y potencialmente otra información, tal como cómo deben convertirse las graduaciones a parámetros de compresión, etc. Esto último puede enviarse a través de vías adicionales, o metadatos, por ejemplo, sistemas como información complementaria de mejoramiento en AVC. Por ejemplo, el aparato de graduación del ''lado de los graduadores (por ejemplo, 603) puede rastrear la cantidad de tiempo que un graduador ocupa previamente con la graduación de los varios objetos. Esto es una indicación de cuán importante puede ser un objeto, y puede representarse numéricamente, por ejemplo, en la región del mapa de interés ROIMAP. Los algoritmos de procesamiento de imágenes automáticos en el lado receptor
pueden entonces tomar en cuenta esta información, por ejemplo, pueden asegurarse que el objeto es óptimamente visual en una pantalla de baja calidad. También pueden almacenarse modelos paramétricos que ayudar a recrear estructuras como en la figura 5a. Nótese que pueden haber metadatos para permitir la regraduación a diferentes tipos de graduaciones, lo cual puede formar plantillas aproximadas que permiten una refinamiento más preciso, por ejemplo, de cómo deben convertirse por lo menos los objetos más importantes de LDR a SLDR, como debe convertirse el LDR a LDR* bajo otras condiciones de expectación esperadas, y una graduación intermedia probable. El graduador puede especificar incluso con más precisión (por lo menos para algunos objetos críticos) cómo debe regraduarse con más precisión el efecto para un mayor numero en un intervalo de diferentes pantallas. Como la información de semántica puede almacenar conjuntamente a qué tipo de objeto de imagen o efecto, etc., se refiere, por ejemplo, una lámpara de mano debe brillar bastante hacia el espectador, o una explosión que debe deslumhrarlo temporalmente, etc. Nótese que aunque mencionamos un disco BD del consumidor, éste puede ser también un dispositivo de almacenamiento para almacenamiento permanente de la graduación en un lado del propietario de contenidos, o un medio de transmisión para transmitir a un estudio de televisión, etc. Similarmente , aunque describimos
las regraduaciones en un ambiente del consumidor, éstas también pueden realizarse en un ambiente profesional, por ejemplo, como una pregraduación automática antes de una corrección humana. Aunque una pantalla puede contener el IC de procesamiento de imágenes, en este ejemplo suponemos que el reproductor de BD (o podría ser también un decodificador, una PC, un dispositivo de medios doméstico, etc.) realiza el análisis de graduación, y la regraduación. Puede conectarse a una televisión 200 en una conexión inalámbrica o alámbrica 213 (por ejemplo, HDMI) , que puede transmitir ya sea la imagen codificada graduada requerida (por ejemplo una imagen codificada de MDR) , u otros datos para permitir que la televisión haga regraduaciones (primeras o adicionales) , funciones de procesamiento de imágenes tales como aumento de la nitidez o modificación del color, etc. La televisión comprende un panel de LCD 201 y una unidad de retroiluminación de LED 202, y tiene una unidad de luz ambiental separada 261. El reproductor de BD también puede construir una graduación adicional SLDR para enviarse al reproductor portátil 280, que un segundo usuario está viendo en su recámara.
En modalidades interesantes, la tercera graduación es también una imagen codificada de LDR (por ejemplo, QLDRI) , es decir, que es típicamente una imagen codificada que se ve mucho más como la graduación de LDR (es decir los colores o
las luminancias de sus píxeles se ubican dentro de un intervalo de varianzas RANGVAR alrededor de las luminancias de la entrada LDR, siendo por ejemplo, solo ajustes de nitidez o adición/mejoramiento de texturas) . Algunos ejemplos de esto se ilustran con la figura 6, que también muestra una cadena de uso de imágenes desde la creación hasta la síntesis. Una cámara 601 almacena datos en bruto de la cámara en un almacenamiento del máster 602, desde el cual se hace la graduación maestra en un aparato de graduación 603, y se almacena en un almacenamiento de máster digital 604 (esto puede igualarse con la entrada de HDR, aunque desde luego pueden involucrarse transformaciones adicionales automáticas o guiadas por el usuario) . Posteriormente este máster digital puede graduarse de nuevo en un segundo parado de graduación 605 y almacenarse en un almacenamiento de LDR 606 (por ejemplo, este puede ser la graduación para almacenar LDR en 8 bits en BD) , junto con el HDR (por ejemplo, máster digital de registro de 12 bits) . Después puede estar involucrada una codificación por capas, en la cual un compresor de LDR 610 comprime la señal de LDR de acuerdo con principios basados en DCT como, por ejemplo, en AVG. Un descompresor de LDR 611 reconstruye lo que puede hacer un lado receptor, y un predictor de HDR 612 aplica una conversión de tonos para predecir la señal de HDR de la señal de LDR descomprimida. Un codificador de HDR 613 codifica la señal de HDR, por ejemplo,
como un residual (y/o corrección de la función o las funciones de conversión) . Para más detalles de una modalidad de ejemplo hacemos referencia a EP 10168565.9 (PCT/IB2011/052892) . Un formateador 614 reúne todo, por ejemplo, en un disco BD, o para transmitirse a través de una red 620. Un desformateador 630 desempaca todo en el lado receptor, y obtiene vía un descompresor de LDR 631 una imagen codificada de LDR (o secuencia de imágenes codificadas) y datos que codifican la imagen codificada graduada a HDR (es decir, por ejemplo imágenes codificadas diferentes) D_HDR. Por medio de un segundo predictor de HDR 632 y un decodificador de HR 633, la señal de HDR puede reconstruirse fielmente. Nótese que en este enfoque por capas, similarmente al codificador HDR 613, pueden haber codificadores adicionales que codifican señales de diferencias con base en el LDR, y potencialmente también otras señales como HDR, por ejemplo, para una pantalla de MDR, u otros ambientes de expectación, etc.
Una aplicación ventajosa de las presentes modalidades es la unidad de conversión de tonos inversa opcional 634. Es decir, si la imagen codificada de HDR (nótese que la función de conversión de tonos inversa puede derivarse partiendo de versiones disponibles de la conversión de tonos de LDR a HDR, pero desde luego también puede (co) derivarse por análisis de imágenes codificadas de HDR y LDR) se relaciona con el LDR a
través de una conversión de tonos, entonces el LDR es derivable del HDR a través de su inversa (ITM, que relaciona todas las luminancias L_HDR de la imagen codificada de HDR a luminancias de L_LDR; nótese que en vista de las graduaciones complejas, la conversión de tonos no necesita ser fija para toda una imagen, sino que puede ser de espacio temporalmente local) . Sin embargo es importante entender que se puede convertir aproximadamente (por ejemplo convertir entre sí las señales promedio espaciales de escala pequeña de LDR y LDR*) la predicción basada en HDR, y después mejorar la señal de LDR (dado que el HDR tendrá texturas más precisas, por ejemplo, graduaciones más precisas que pueden haberse removido en la entrada de LDR) . Aún más, esto permite enviar una señal de LDR representada más aproximada (es decir, con menos bits) (lo cual a primera vista parece contrario al enfoque de predicción por capas) , y entonces reserva más bits para los datos de HDR. Esto es ventajoso para sistemas como, por ejemplo, cable o Internet que pueden no tener mucho ancho de banda disponible, que sin embargo quieren una experiencia y calidad óptimas para aplicaciones de HDR de gran calidad. Por otro lado, necesitan continuar dando servicio a sistemas antiguos. Un sistema completamente antiguo puede obtener entonces datos de LDR de cierta calidad inferior, por ejemplo, más cuadrada. Sin embargo, un decodificador puede actualizarse con más facilidad con software, o un consumidor
podrá comprar con más facilidad un reproductor de $150 que una nueva televisión de $1500, por lo que este escenario es interesante cuando el usuario tiene un nuevo reproductor de BD con el sistema de la figura 6, sin embargo con una pantalla de LDR clásica 200. La unidad de conversión de tonos inversos 634 genera entonces una señal de LDR de mayor calidad QLDRl a partir de todos los datos disponibles de la graduación de LDR y HDR, que tiene menos artefactos de bloques, etc.
Otro procesamiento que puede hacerse opcionalmente (y también en un sistema separado) es por medio del procesador de imágenes 635. Por ejemplo, puede agregar texturas espaciales seleccionadas de la graduación de HDR para regiones seleccionadas de la señal de LDR, para hacerlas aún más claras, produciendo QLDR2. Desde luego también pueden emplearse funciones más complicadas para derivar una señal de excitación final de todos los datos disponibles, por ejemplo, pueden mezclarse la señal de LDR de entrada y la señal QLDRl, con base en, por ejemplo, un análisis de calidad (por ejemplo, viendo si la textura base es un gradiente uniforme, o complejo, etc.)
La figura 7 ilustra esquemáticamente otro ejemplo del procesamiento de imágenes que puede realizarse en una graduación de LDR que tiene la graduación de HDR correspondiente, es decir aplicar nitidez. Dado que el HDR
tiene datos de mejor calidad, es mejor hacer más nítida esa señal (no aumentar artefactos, etc.). Una unidad de aislamiento de frecuencias 701 deriva una parte de alta frecuencia h_HDR de la señal de HDR (por ejemplo que contiene su microtextura) . Una unidad de selección espacial 703 determina para qué píxeles debe usarse este dato. Una unidad de transformación 705 determina cómo debe transformarse la microestructura que se aplicará en el intervalo de LDR, por ejemplo, puede ser una unidad de ganancia que controla la cantidad de nitidez local, y un convertidor 707 convertirá con precisión los valores de grises de esta textura fina al perfil de base del objeto de LDR, que posteriormente se añade al LDR por medio del sumador 711. La persona experta se percatará de la manera en la que pueden hacerse las operaciones alternativas como, por ejemplo, un enmascaramiento no nítido, y cómo construir similarmente otras funciones de procesamiento de imágenes. Por ejemplo, este método es útil para remover artefactos de contorneado de LDR.
La figura 8 muestra esquemáticamente cuán diferentes pueden representarse las vistas de síntesis de imágenes del creador mediante diferentes modelos que. dependen de valores de ciertos parámetros. Por ejemplo, con respecto a la función que convierte la graduación LDR, HDR respectivamente a una referencia común, esto puede codificarse con base en parámetros como, por ejemplo, las capacidades de síntesis de colores oscuros de un pantalla de referencia (LDR) (en la cual
típicamente se determinó el grado de LDR) , o nivel de luz circundante de la pantalla. Lo mismo puede hacerse, por ejemplo, con el OECF total (por ejemplo, OECF_TDR) con el cual se modeló, es decir, se juzgó, etc., el comportamiento de síntesis promedio del sistema de síntesis de imágenes.
En este ejemplo, el eje de "representatividad de negros" determina cuánto puede verse aún de los colores más oscuros, por ejemplo, bajo reflexión de la iluminación de los alrededores sobre la placa frontal de la pantalla . El nivel malo puede indicar, por ejemplo, que 10% dé todos los valores de excitación no pueden discriminarse uno del otro. Bueno puede significar que, por ejemplo, el 0.5 % más bajo de los códigos por los menos es aún discriminable . Un sistema de LDR de baja calidad tiene tanto negros malos como brillos máximos bajos. En este caso se establece un primer modelo mod_l, el cual significa que, por ejemplo, para la predicción de lo que probablemente es el grado de LDR, este modelo toma en cuenta la iluminación severa de colores más oscuros por medio de un graduador típico. Si algunos colores son aún excesivamente oscuros, eso debe significar algo. Pero en una pantalla con mejores negros, el modelo 2 (mod_2) puede proyectar con precisión esos colores excesivamente oscuros, para partes de luminancia excesivamente oscuras del OECF utilizado, por ejemplo, la curva gamma de la pantalla de mayor intervalo dinámico. Similarmente, para brillos máximos más altos puede
emplearse otra estrategia (mod_3) . Estas estrategias pueden codificarse en los metadatos (por ejemplo, en DAT_GRAD) , y los límites (aproximados) entre ellos por ejemplo como líneas rectas o curvas paramétricas, etc. La codificación dependiente del caso de los modelos de comparación para diferenciación del grado de LDR y HDR (y posiblemente también los algoritmos de especificación de regraduación) , facilita en gran medida el cambio inteligente entre diferentes comportamientos pretendidos .
Los componentes algorítmicos descritos en este texto puede (completamente o en parte) realizarse en la práctica como hardware (por ejemplo, partes de un IC de aplicación específica) o como software que se ejecuta en un procesador de señales digitales especial, o un procesador genérico, etc.
Debe ser entendible por la persona experta a partir de nuestra presentación cuáles componentes pueden ser mejoramientos opcionales y pueden realizarse en combinación con otros componentes, y de qué manera las etapas (opcionales) de métodos corresponden con sus respectivos medios de aparatos, u viceversa. La palabra "aparato" es la presente solicitud se usa en su sentido más amplio, es decir, un grupo de medios que permiten la realización de un objetivo particular, y por lo tanto pueden ser, por ejemplo (una pequeña parte de) un IC, o un aparato dedicado (tal como un aparato con una pantalla), o parte de un sistema en red, etc.
"Disposición" también pretende utilizarse en el sentido más amplio, de tal manera que puede comprender entre otras cosas un solo aparato, una parte de un aparato, un conjunto (parte de) aparatos de cooperación, etc.
Una versión de programa de cómputo de las presentes modalidades como denotación debe entenderse que incluye cualquier realización física de un conjunto de comandos que permiten que un procesador genérico o de propósito especial, después de una serie de etapas de cargado (que pueden incluir etapas de conversión intermedia, tal como la traducción a un lenguaje intermedio, y un lenguaje de procesador final) ingrese los comandos en el procesador, y ejecute cualquiera de las funciones características de una invención. En particular, el producto de programa de cómputo puede realizarse como datos en portador tal como, por ejemplo, un disco o una cinta, datos presentes en una memoria, datos que se transmiten vía una conexión de red, alámbrica o inalámbrica, o código de programa en papel. Además del código de programa, los datos característicos requeridos para el programa también pueden materializarse como un programa de cómputo. Debe estar claro que con computadora nos referimos a cualquier dispositivo capaz de realizar los cómputos de datos, es decir, también puede ser, por ejemplo, un teléfono móvil. También las reivindicaciones de aparato pueden cubrir versiones de las modalidades implementadas en computadora.
Algunas de las etapas requeridas para la operación del método pueden estar ya presentes en la funcionalidad del procesador en lugar de descritos en el producto de programa de cómputo, tales como etapas de entrada y salida de datos.
Debe apreciarse que las modalidades antes mencionadas ilustran en lugar de limitar la invención. Cuando la persona experta pueda realizar con facilidad una correlación de los ejemplos presentados con otras regiones de las reivindicaciones, para concisión no hemos mencionado todas estas opciones con profundidad. Además de combinaciones de elementos de la invención combinados en las reivindicaciones, son posibles otras combinaciones de los elementos. Puede realizarse cualquier combinación de elementos en un solo elemento dedicado.
Cualquier signo de referencia entre paréntesis en las reivindicaciones no tiene como intención limitar las reivindicaciones. La palabra "comprende" no excluye la presencia de elementos o aspectos no enumerados en una reivindicación. La palabra "un" o "una" que antecede a un elemento no excluye la presencia de una pluralidad de tales elementos .
Se hace constar que con relación a esta fecha, el mejor método conocido por la solicitante para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.
Claims (17)
1. Un método de análisis de una diferencia de por lo menos dos graduaciones de una imagen, caracterizado porque comprende : obtener una primera imagen graduada de bajo intervalo dinámico (LDR) con un primer intervalo dinámico de luminancia ; obtener datos que codifican una graduación de una segunda imagen graduada de alto intervalo dinámico (HDR) con un segundo intervalo dinámico de luminancia, siendo el primer y segundo intervalo dinámicos de luminancia un intervalo dinámico de luminancia más bajo y uno más alto; determinar una estructura de datos de diferencias de graduaciones (DATGRAD) que comprende una especificación geométrica de por lo menos una región en donde existe una diferencia en graduación entre la primera y la segunda imagen graduada y una representación matemática de esa diferencia, con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada de alto intervalo dinámico (HDR) .
2. Un método de conformidad con la reivindicación 1, caracterizado porque los datos que codifican la graduación de una segunda imagen graduada de alto intervalo dinámico (HDR) es la segunda imagen graduada de alto intervalo dinámico (HDR) , y la etapa de determinación de una estructura de datos de diferencias de graduaciones (DATGRAD) comprende comparar valores de píxeles de la primera imagen graduada de bajo intervalo dinámico (LDR) y la segunda imagen graduada de alto intervalo dinámico (HDR), de por lo menos una región espacial o de luminancia de una de la primera imagen graduada de bajo intervalo dinámico (LDR) y la segunda imagen graduada de alto intervalo dinámico (HDR) .
3. Un método de conformidad con cualquiera de las reivindicaciones anteriores, caracterizado porque la estructura de datos de diferencias de graduaciones (DATGRAD) comprende una región espacial de interés (RI) de la imagen, indicando una presencia o una cantidad, de acuerdo con un criterio, de una diferencia de graduación en la región espacial para la primera imagen graduada de bajo intervalo dinámico (LDR) versus la segunda imagen graduada de alto intervalo dinámico.
4. Un método de conformidad con cualquiera de las reivindicaciones anteriores, caracterizado porque adicionalmente comprende la etapa de derivar una tercera imagen graduada de intervalo dinámico medio (MDR) con base en la estructura de datos de diferencias de graduaciones (DATGRAD) , y por lo menos una de la primera imagen graduada de bajo intervalo dinámico (LDR) y una segunda imagen graduada ya sea preexistente o derivable a partir de los datos que codifican una graduación de una segunda imagen graduada de alto intervalo dinámico (HDR) .
5. Un método de conformidad con la reivindicación 4, caracterizado porque las luminancias de píxeles en la tercera imagen graduada de intervalo dinámico medio (MDR) se ubica dentro de por lo menos un intervalo de varianzas alrededor de las luminancias de píxeles en la primera imagen graduada de bajo intervalo dinámico (LDR) , en particular en el cual la tercera imagen graduada de intervalo dinámico medio (MDR) es un mejoramiento de la calidad visual de la primera imagen graduada de bajo intervalo dinámico (LDR) , de acuerdo con una propiedad de calidad visual tal como nitidez, o una medida de artefactos de compresión, en donde una textura fina de la segunda imagen graduada de alto intervalo dinámico (HDR) se convierte a la primera imagen graduada de bajo intervalo dinámico (LDR) .
6. Un método de conformidad con la reivindicación 4, caracterizado porque la derivación de la tercera imagen graduada de intervalo dinámico medio (MDR) se hace con base en información obtenida sobre las características (VCHAR) de un ambiente de expectación.
7. Un método de conformidad con la reivindicación 4, caracterizado porque la derivación de la tercera imagen graduada de intervalo dinámico medio (MDR) se hace con base en ajustes controlados por el usuario (USRSET) en relación con la visualización de la tercera imagen graduada de intervalo dinámico medio (MDR) , tal como por ejemplo ajustes que especifican una molestia de una salida de luz, ajustes que limitan el uso de energía, o ajustes que especifican atributos visuales preferidos de la tercera imagen graduada visualizada de intervalo dinámico medio (MDR) .
8. Un método de conformidad con la reivindicación 4, caracterizado porque la tercera imagen graduada de intervalo dinámico medio (MDR) se deriva como una imagen intermedia, mensurable de acuerdo con un criterio de brillo, entre la primera imagen graduada de bajo intervalo dinámico (LDR) y la segunda imagen graduada de alto intervalo dinámico (HDR) .
9. Un método de conformidad con la reivindicación 1, caracterizado porque forma parte de un método de codificación de imágenes, en el cual los parámetros de codificación, tales como por ejemplo un parámetro de cuantización para por lo menos una región espacial, se determinan con base en la estructura de datos de diferencias de graduaciones (DATGRAD) .
10. Un aparato procesador de imágenes para analizar una diferencia de por lo menos dos graduaciones de una imagen, caracterizado porque comprende: una primera entrada para el ingreso de una primera imagen graduada de bajo intervalo dinámico (LDR) con un primer intervalo dinámico de luminancia; una segunda entrada para ingresar datos que codifican una graduación de una segunda imagen graduada de alto intervalo dinámico (HDR) con un segundo intervalo dinámico de luminancia, el primer y segundo intervalos dinámicos de luminancia son un intervalo dinámico de luminancia más bajo y uno más alto; una unidad de comparación dispuesta para determinar una estructura de datos de diferencias de graduaciones (DATGRAD) que comprende una especificación geométrica de por lo menos una región en donde existe una diferencia en graduación entre la primera y la segunda imagen graduada y una representación matemática de esa diferencia, con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada de alto intervalo dinámico.
11. Un aparato de procesamiento de imágenes de conformidad con la reivindicación 10, caracterizado porque la segunda entrada está dispuesta para recibir una segunda imagen graduada de alto intervalo dinámico (HDR) , y la unidad de comparación está dispuesta para determinar la estructura de datos de diferencias de graduaciones (DATGRAD) con base en la comparación de valores de píxeles de la primera imagen graduada de bajo intervalo dinámico (LDR) con valores de píxeles de la segunda imagen graduada de alto intervalo dinámico (HDR) de por lo menos una región espacial o de luminancia de una de la primera imagen graduada de bajo intervalo dinámico y la segunda imagen graduada de alto intervalo dinámico (HDR) .
12. Un aparato de procesamiento de imágenes de conformidad con la reivindicación 10 u 11, caracterizado porque adicionalmente comprende una unidad de derivación de imágenes dispuesta para derivar una tercera imagen graduada de intervalo dinámico medio (MDR) con base en la estructura de datos de diferencias de graduaciones (DATGRAD) .
13. Un aparato de procesamiento de imágenes de conformidad con la reivindicación 10 u 11, caracterizado porque está dispuesto para aplicar una transformación de procesamiento de imágenes a la primera . imagen graduada de bajo intervalo dinámico (LDR) con base en por lo menos los datos que codifican la graduación de la segunda imagen graduada de alto intervalo dinámico (HDR) .
14. Un aparato de procesamiento de imágenes de conformidad con la reivindicación 12, caracterizado porque comprende un decodificador dispuesto para decodificar datos de imágenes codificados y obtener una primera imagen graduada de bajo intervalo dinámico (LDR) y una segunda imagen graduada de alto intervalo dinámico (HDR) , y la unidad de derivación de imágenes se dispone para aplicar una transformación de procesamiento de imágenes en por lo menos una de la primera imagen graduada de bajo intervalo dinámico (LDR) y una segunda imagen graduada de alto intervalo dinámico (HDR) para obtener la tercera imagen graduada de intervalo dinámico medio (MDR) con una graduación similar a la de la primera imagen graduada de bajo intervalo dinámico (LDR) pero de una mejor calidad visual que la primera imagen graduada de bajo intervalo dinámico (LDR) .
15. Un codificador de imágenes que comprende un aparato de procesamiento de imágenes de conformidad con una de las reivindicaciones 10 a 13, caracterizado porque está dispuesto para codificar como imagen de salida por lo menos una primera imagen graduada de bajo intervalo dinámico (LDR) y una segunda imagen graduada de alto intervalo dinámico (HDR) con base en la estructura de datos de diferencias de graduaciones (DATGRAD) .
16. Una señal de imagen, caracterizada porque comprende metadatos para ayudar a determinar una estructura de datos de diferencias de graduaciones de conformidad con la reivindicación 1, o metadatos para guiar la derivación de una tercera imagen graduada de intervalo dinámico medio (MDR) de conformidad con la reivindicación 4, tal como por ejemplo, una indicación de la importancia de regiones espaciales que tienen diferentes graduaciones en la primera imagen graduada de bajo intervalo dinámico (LDR) en comparación con la segunda imagen graduada de alto intervalo dinámico (HDR) , una indicación de cómo debe tratarse esa diferencia por medio de transformaciones de resíntesis de imágenes, o información semántica con respecto a la región espacial graduada de manera diferente.
17. Un medio de grabación de lectura por computadora caracterizado porque tiene grabado en el mismo una señal de imagen de conformidad con la reivindicación 16.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11159503 | 2011-03-24 | ||
| US201161563129P | 2011-11-23 | 2011-11-23 | |
| PCT/IB2012/051296 WO2012127401A1 (en) | 2011-03-24 | 2012-03-19 | Apparatuses and methods for analyzing image gradings |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| MX2013010788A true MX2013010788A (es) | 2014-01-16 |
Family
ID=46878693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| MX2013010788A MX2013010788A (es) | 2011-03-24 | 2012-03-19 | Aparatos y metodos para analizar graduaciones de imagenes. |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11049473B2 (es) |
| EP (1) | EP2689392B1 (es) |
| JP (3) | JP6134699B2 (es) |
| CN (1) | CN103430212B (es) |
| ES (1) | ES2550782T3 (es) |
| MX (1) | MX2013010788A (es) |
| RU (1) | RU2607981C2 (es) |
| WO (1) | WO2012127401A1 (es) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5694369B2 (ja) * | 2009-12-17 | 2015-04-01 | コーニンクレッカ フィリップス エヌ ヴェ | 映画館環境照明システム |
| EP2677719A1 (en) * | 2012-06-19 | 2013-12-25 | Alcatel Lucent | A method for interfacing a communication terminal with networked objects |
| US9129388B2 (en) | 2012-11-21 | 2015-09-08 | Apple Inc. | Global approximation to spatially varying tone mapping operators |
| KR102037716B1 (ko) * | 2012-11-23 | 2019-10-30 | 삼성디스플레이 주식회사 | 디스플레이 장치의 감마 데이터 저장 방법, 디스플레이 장치 및 디스플레이 장치의 구동 방법 |
| WO2015007510A1 (en) | 2013-07-16 | 2015-01-22 | Koninklijke Philips N.V. | Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images |
| JP6368365B2 (ja) * | 2013-07-18 | 2018-08-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 |
| US9679366B2 (en) | 2013-10-22 | 2017-06-13 | Dolby Laboratories Licensing Corporation | Guided color grading for extended dynamic range |
| JP6042583B2 (ja) * | 2013-11-13 | 2016-12-14 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Edrビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー |
| EP2890129A1 (en) * | 2013-12-27 | 2015-07-01 | Thomson Licensing | Method and device for encoding a high-dynamic range image and/or decoding a bitstream |
| MX362017B (es) | 2014-02-07 | 2019-01-04 | Sony Corp | Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, metodo de recepcion, dispositivo de visualizacion, y metodo de visualizacion. |
| EP3145167B1 (en) * | 2014-05-16 | 2020-04-01 | Panasonic Intellectual Property Management Co., Ltd. | Conversion method and conversion device |
| JP6443857B2 (ja) * | 2014-06-05 | 2018-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| WO2015190045A1 (ja) | 2014-06-10 | 2015-12-17 | パナソニックIpマネジメント株式会社 | 変換方法および変換装置 |
| EP3562135A1 (en) | 2014-06-10 | 2019-10-30 | Panasonic Intellectual Property Management Co., Ltd. | Display system, display method, and display apparatus |
| MX358934B (es) | 2014-06-26 | 2018-09-10 | Panasonic Ip Man Co Ltd | Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos. |
| MX366608B (es) * | 2014-06-26 | 2019-07-16 | Panasonic Ip Man Co Ltd | Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos. |
| JP6421504B2 (ja) | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| MX368411B (es) * | 2014-08-08 | 2019-10-02 | Koninklijke Philips Nv | Metodos y aparatos para codificacion de imagenes de alto rango dinamico (hdr). |
| EP3213291B1 (en) | 2014-10-27 | 2019-11-06 | Dolby Laboratories Licensing Corporation | Content mapping using extended color range |
| WO2016133865A1 (en) | 2015-02-17 | 2016-08-25 | Dolby Laboratories Licensing Corporation | Inter-layer prediction for signals with enhanced dynamic range |
| US10109228B2 (en) | 2015-04-10 | 2018-10-23 | Samsung Display Co., Ltd. | Method and apparatus for HDR on-demand attenuation control |
| US10778983B2 (en) * | 2015-09-23 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Preserving texture/noise consistency in video codecs |
| JP6830190B2 (ja) * | 2015-10-07 | 2021-02-17 | パナソニックIpマネジメント株式会社 | 映像送信方法、映像受信方法、映像送信装置及び映像受信装置 |
| CN105554975A (zh) * | 2015-11-20 | 2016-05-04 | 深圳市美贝壳科技有限公司 | 根据照片主色调调整家居灯饰色调的方法 |
| PT3394850T (pt) * | 2015-12-21 | 2020-08-14 | Koninklijke Philips Nv | Otimização de imagens de alta gama dinâmica para monitores específicos |
| EP3214600B1 (en) * | 2016-03-04 | 2019-02-06 | Aptiv Technologies Limited | Method for processing high dynamic range (hdr) data from a nonlinear camera |
| US10699391B2 (en) | 2016-04-29 | 2020-06-30 | Disney Enterprises, Inc. | Dynamic range expansion highlight information restoration |
| TWI631505B (zh) * | 2016-08-26 | 2018-08-01 | 晨星半導體股份有限公司 | 應用於播放裝置的影像處理方法及相關的電路 |
| EP3512188B1 (en) * | 2016-09-06 | 2020-09-30 | Sony Corporation | Image processing apparatus and image processing method, and program |
| EP3312798A1 (en) * | 2016-10-20 | 2018-04-25 | Thomson Licensing | Method and device for inverse tone mapping |
| EP3373585A1 (en) * | 2017-03-09 | 2018-09-12 | Thomson Licensing | Method for inverse tone mapping of an image with visual effects |
| EP3734954B1 (en) * | 2017-12-27 | 2023-03-22 | Panasonic Intellectual Property Management Co., Ltd. | Display device and display method |
| EP3522107A1 (en) * | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | Method and apparatus for generating hdr images with reduced clipped areas |
| KR102489265B1 (ko) * | 2018-04-10 | 2023-01-17 | 엘지전자 주식회사 | 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법 |
| US10917583B2 (en) * | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
| TWI808970B (zh) | 2018-04-30 | 2023-07-21 | 圓剛科技股份有限公司 | 影像訊號轉換裝置 |
| TWI843747B (zh) * | 2018-09-05 | 2024-06-01 | 荷蘭商皇家飛利浦有限公司 | 多範圍hdr視訊編碼 |
| EP3621307A1 (en) * | 2018-09-05 | 2020-03-11 | Koninklijke Philips N.V. | Multi-range hdr video coding |
| JP7453214B2 (ja) * | 2018-09-05 | 2024-03-19 | コーニンクレッカ フィリップス エヌ ヴェ | マルチレンジhdrビデオコード化 |
| CN111797845B (zh) * | 2019-03-19 | 2024-08-20 | 北京沃东天骏信息技术有限公司 | 图片处理方法、装置、存储介质及电子设备 |
| EP3839876A1 (en) * | 2019-12-20 | 2021-06-23 | Fondation B-COM | Method for converting an image and corresponding device |
| WO2022004518A1 (ja) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | 映像信号処理装置、映像信号処理方法および撮像装置 |
| US11330196B2 (en) * | 2020-10-12 | 2022-05-10 | Microsoft Technology Licensing, Llc | Estimating illumination in an environment based on an image of a reference object |
| US11854119B2 (en) * | 2021-01-22 | 2023-12-26 | Adobe Inc. | Automatic object re-colorization |
| TWI796265B (zh) * | 2022-07-27 | 2023-03-11 | 友達光電股份有限公司 | 顯示裝置以及影像顯示方法 |
| TWI877867B (zh) * | 2023-10-27 | 2025-03-21 | 財團法人資訊工業策進會 | 特定領域資料模型的訓練系統及訓練方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| US7612804B1 (en) * | 2005-02-15 | 2009-11-03 | Apple Inc. | Methods and apparatuses for image processing |
| RU2370815C2 (ru) * | 2005-08-19 | 2009-10-20 | Самсунг Электроникс Ко., Лтд. | Способ и система для выделения и классификации дефектов экспозиции цифровых изображений |
| ES2551562T3 (es) * | 2006-01-23 | 2015-11-19 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Codecs de alto rango dinámico |
| US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| US8175158B2 (en) * | 2008-01-04 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction parameter determination |
| CN102132561A (zh) | 2008-08-22 | 2011-07-20 | 汤姆逊许可证公司 | 用于内容传送的方法和系统 |
| US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
| JP5624062B2 (ja) * | 2009-03-06 | 2014-11-12 | コーニンクレッカ フィリップス エヌ ヴェ | 入力画像データを出力画像データに変換するための方法、入力画像データを出力画像データに変換するための画像変換ユニット、画像処理装置、ディスプレイデバイス |
| RU2504011C2 (ru) * | 2009-03-13 | 2014-01-10 | Долби Лабораторис Лайсэнзин Корпорейшн | Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой |
| EP3467816A1 (en) * | 2010-02-24 | 2019-04-10 | Dolby Laboratories Licensing Corp. | Display management methods and apparatus |
| WO2012004709A1 (en) | 2010-07-06 | 2012-01-12 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| JP5779665B2 (ja) * | 2011-03-17 | 2015-09-16 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ヒストグラムを用いることによる別バージョンの画像コンテンツの生成 |
-
2012
- 2012-03-19 MX MX2013010788A patent/MX2013010788A/es active IP Right Grant
- 2012-03-19 ES ES12712749.6T patent/ES2550782T3/es active Active
- 2012-03-19 US US14/003,832 patent/US11049473B2/en active Active
- 2012-03-19 RU RU2013147421A patent/RU2607981C2/ru active
- 2012-03-19 CN CN201280014858.2A patent/CN103430212B/zh active Active
- 2012-03-19 EP EP12712749.6A patent/EP2689392B1/en active Active
- 2012-03-19 JP JP2014500513A patent/JP6134699B2/ja active Active
- 2012-03-19 WO PCT/IB2012/051296 patent/WO2012127401A1/en not_active Ceased
-
2017
- 2017-01-19 JP JP2017007190A patent/JP6368385B2/ja active Active
-
2018
- 2018-07-06 JP JP2018128648A patent/JP6831352B2/ja active Active
-
2021
- 2021-06-07 US US17/340,191 patent/US11710465B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| RU2607981C2 (ru) | 2017-01-11 |
| JP2018198429A (ja) | 2018-12-13 |
| US20140002479A1 (en) | 2014-01-02 |
| US11710465B2 (en) | 2023-07-25 |
| EP2689392A1 (en) | 2014-01-29 |
| WO2012127401A1 (en) | 2012-09-27 |
| ES2550782T3 (es) | 2015-11-12 |
| CN103430212A (zh) | 2013-12-04 |
| JP6831352B2 (ja) | 2021-02-17 |
| JP6134699B2 (ja) | 2017-05-24 |
| RU2013147421A (ru) | 2015-04-27 |
| CN103430212B (zh) | 2017-05-24 |
| JP2017099007A (ja) | 2017-06-01 |
| JP6368385B2 (ja) | 2018-08-01 |
| US11049473B2 (en) | 2021-06-29 |
| US20210295800A1 (en) | 2021-09-23 |
| JP2014518024A (ja) | 2014-07-24 |
| EP2689392B1 (en) | 2015-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710465B2 (en) | Apparatus and methods for analyzing image gradings | |
| US11195492B2 (en) | Optimizing high dynamic range images for particular displays | |
| RU2616158C2 (ru) | Устройства и способы для кодирования и декодирования hdr-изображений | |
| RU2687267C2 (ru) | Оптимизация изображений с расширенным динамическим диапазоном для определенных дисплеев | |
| JP6309978B2 (ja) | 改善されたhdrイメージ符号化及び復号化方法、装置 | |
| JP2022058724A (ja) | Hdr画像をエンコードする方法及び装置 | |
| CN104471939B (zh) | 改进的hdr图像编码和解码方法和设备 | |
| CN108431886A (zh) | 针对特定显示器优化高动态范围图像 | |
| KR20180119684A (ko) | Hdr 비디오의 인코딩 및 디코딩 | |
| US10217198B2 (en) | Simple but versatile dynamic range coding | |
| AU2012313935A1 (en) | Apparatus and method for dynamic range transforming of images | |
| JP2024517241A (ja) | ディスプレイに最適化されたhdrビデオコントラスト適応 | |
| KR102279842B1 (ko) | Hdr 이미지 인코딩 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Grant or registration |