[go: up one dir, main page]

MX2013000348A - Datos auxiliares en radiodifusion de video de tres dimensiones. - Google Patents

Datos auxiliares en radiodifusion de video de tres dimensiones.

Info

Publication number
MX2013000348A
MX2013000348A MX2013000348A MX2013000348A MX2013000348A MX 2013000348 A MX2013000348 A MX 2013000348A MX 2013000348 A MX2013000348 A MX 2013000348A MX 2013000348 A MX2013000348 A MX 2013000348A MX 2013000348 A MX2013000348 A MX 2013000348A
Authority
MX
Mexico
Prior art keywords
data
auxiliary
auxiliary data
video
disparity
Prior art date
Application number
MX2013000348A
Other languages
English (en)
Inventor
Wiebe De Haan
Philip Steven Newton
Robert Albertus Brondijk
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP10169203A external-priority patent/EP2408211A1/en
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of MX2013000348A publication Critical patent/MX2013000348A/es

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Un sistema para la transferencia de la información de video 3D tiene un transmisor (100) para radiodifundir una señal (104) a un receptor (110). La información de video 3D incluye los datos auxiliares para su visualización en un área de superposición sobre los datos de video 3D, como subtítulos. Los datos de video 3D tienen una vista izquierda y una vista derecha colocadas en un cuadro 2D en un arreglo principal, por ejemplo, de lado-por-lado. Una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares son colocadas en un flujo de datos auxiliares de acuerdo con un formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, por ejemplo, también de lado-por-lado. En adición, una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha es incluida en el flujo de transporte. De manera ventajosa, el receptor podría utilizar una versión adecuada de los datos auxiliares en función de la arquitectura de procesamiento del receptor.

Description

DATOS AUXILIARES EN RADIODIFUSION DE VIDEO DE TRES DIMENSIONES Campo de la Invención La invención se refiere a un método de procesamiento de información de video de tres dimensiones [3D] , que genera un flujo de transporte de datos para la transferencia de la información de video 3D de acuerdo con un formato de transmisión 2D, la información de video 3D comprende datos de video 3D y datos auxiliares, a su vez, los datos de video 3D comprenden al menos una vista izquierda y una vista derecha que serán visualizadas por los respectivos ojos de un espectador para la generación de un efecto 3D, los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D, el método comprende - colocar los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal, - proporcionar los datos de control que comprenden los parámetros para un receptor que permite que el receptor reproduzca los datos principales de video y que superponga los datos auxiliares, - ensamblar el flujo de transporte de datos que incluye Ref. 237303 los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control.
La invención además se refiere a un dispositivo para el procesamiento de la información de video 3D, a una señal para la transferencia de la información de video 3D, y se refiere a un receptor para el procesamiento de información de video de tres dimensiones [3D] .
La invención se refiere al campo de la radiodifusión de video 3D. Un número creciente de producciones de la industria del entretenimiento se está dirigiendo hacia los cines de películas 3D. Estas producciones utilizan un formato de dos vistas (una vista izquierda y una vista derecha que serán visualizadas por los respectivos ojos de un espectador para la generación de un efecto 3D) , que se pretenden principalmente para la observación asistida con lentes. Existe interés de la industria de proporcionar estas producciones 3D al hogar. Asimismo, los radiodifusores han iniciado la transmisión experimental del contenido 3D, sobre todo, de eventos de deportes en directo. En la actualidad, un estándar para la radiodifusión de video digital (DVB, por sus siglas en inglés) está siendo adaptado para la transferencia de contenido estereoscópico. El formato que será utilizado, ciertamente en una etapa temprana, será el formato de estéreo comúnmente utilizado que comprende al menos una vista izquierda y una vista derecha que serán visualizadas por los respectivos ojos de un espectador para la generación de un efecto 3D, los datos de ambas vistas son formateados en un cuadro de video 2D, por ejemplo, en un arreglo de lado-por-lado (SBS, por sus siglas en inglés) o superior- inferior (TB, por sus siglas en inglés) . Los cuadros de 2D, que contienen las vistas izquierda y derecha 3D, son transmitidos y recibidos por medio de los canales existentes de video (2D) .
Los sistemas y dispositivos para la generación de datos de video 2D son conocidos, por ejemplo, los servidores de video, los estudios de radiodifusión o los dispositivos de autoría. Los dispositivos de video 3D actualmente similares que proporcionan datos de imagen 3D son requeridos, y están siendo propuestos los dispositivos complementarios de video 3D que suministran los datos de video 3D, como los convertidores de señal de televisión que procesan las señales recibidas de video 3D. El dispositivo de video 3D podría ser acoplado con un dispositivo de visualización tal como un receptor o monitor de TV para la transferencia de los datos de video 3D por medio de una interfaz adecuada, de preferencia, una interfaz digital de alta velocidad como HDMI. La pantalla 3D también podría ser integrada con el dispositivo de video 3D, por ejemplo, una televisión (TV) que tiene una sección de recepción y una pantalla 3D.
Antecedentes de la Invención El estándar público internacional ISO/IEC 14496-10 "Information technology-Coding of audio-visual objects-Part 10: Advanced Video . Coding" , quinta edición 2009-05-15, describe la codificación digital de la información de video, por ejemplo, para la radiodifusión de video digital (DVB) . Los datos de video definen el contenido del video principal que será visualizado. Los datos auxiliares definen otros datos que podrían ser visualizados en combinación con los datos principales de video, tales como los datos gráficos o subtítulos. El estándar y los documentos adicionales relacionados también definen los datos de control que indican los parámetros a un receptor que permite que el receptor reproduzca los datos principales de video y superponga los datos auxiliares, y que ensamblen un flujo de transporte de datos que incluye los datos de video, los datos auxiliares y los datos de control para su transmisión. El estándar AVC es un ejemplo; por ejemplo, puede ser utilizado el video MPEG-2, también para la alta definición, como es descrito en la codificación genérica ISO/IEC 13818-2 de las imágenes en movimiento y la información asociada de audio: Video.
Para permitir la codificación y transferencia de los datos de video 3D están siendo adaptados los estándares anteriores. En particular, se ha propuesto definir un sistema que indique que la información de video 3D es transmitida a través de canales de video 2D, formateada en un cuadro de video 2D, por ejemplo, en el arreglo de lado-por-lado (SBS) o superior- inferior (TB) . Por lo tanto, los datos de video 3D tienen al menos una vista izquierda y una vista derecha que serán visualizadas por los respectivos ojos de un espectador para la generación de un efecto 3D, y los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D. Los datos de video 3D de la vista izquierda y la vista derecha son formateados en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal. Por ejemplo, en una enmienda del estándar anterior ISO, se ha propuesto extender los mensajes de datos de control, llamados los mensajes de información de mejora suplementaria (SEI, por sus siglas en inglés) , al definir un nuevo mensaje SEI que indica el intercalado espacial de las vistas izquierda y derecha de los datos de video en el cuadro de video 2D para uso como el suministro de video estereoscópico. El intercalado espacial podría ser, por ejemplo, el arreglo de lado-por-lado (SBS) o superior-inferior (TB) , o un intercalado de cuadrículas.
El documento O 2009/078678 describe un formato de datos estereoscópicos basado en MPEG . El formato define los datos de video y los datos de texto que serán superpuestos . En una primera modalidad, un nodo de texto es incluido en un Descriptor de Escena. La primera modalidad define los campos de secuencia izquierda y secuencia derecha que tienen dos textos que corresponden con los puntos de vista izquierdo y derecho. Además, en una segunda modalidad un nodo de texto diferente es incluido en un Descriptor de Escena. La segunda modalidad define un campo único de secuencia estereoscópica y los datos de disparidad, que tienen un texto idénticamente utilizado por ambos de los puntos de vista izquierdo y derecho .
Sumario de la Invención La transferencia propuesta de la información de video 3D por medio de un canal de video 2D permite que los datos principales de video sean transferidos en 3D. Sin embargo, algunos de los datos auxiliares, como los subtítulos, también tienen que ser transferidos, por ejemplo, utilizando el estándar DVB para el subtitulado: ETSI EN 3.00 743 radiodifusión de video digital (DVB) ; sistemas de subtitulado. Se observará que estos datos auxiliares son transferidos por separado, por ejemplo, en un flujo de datos auxiliares en un flujo de transporte. Un ejemplo de este flujo de transporte, referido por DVB, es definido en el estándar: codificación genérica ISO/IEC 13818-1 de imágenes en movimiento y la información asociada de audio: sistemas. La superposición de los datos auxiliares, usualmente basada en un ajuste seleccionado por el usuario, es acomodada en el extremo de recepción. Podría ser considerado el formato de los datos auxiliares en un arreglo auxiliar similar al video principal, por ejemplo, también en un SBS. Sin embargo, ese formato podría originar dificultades o un costo adicional en el receptor.
Un objetivo de la invención es proporcionar un sistema para la transferencia de la información de video 3D que incluye los datos auxiliares que evita dificultades y costo adicional en el receptor.
Para este propósito, de acuerdo con un primer aspecto de la invención, el método como se describe en el párrafo de apertura, además comprende - proporcionar una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - colocar los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - colocar los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - incluir, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
Para este propósito, de acuerdo con aspectos adicionales de la invención, se proporciona un dispositivo que comprende un procesador de video para - colocar los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal, - proporcionar los datos de control que comprenden los parámetros para un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares, - ensamblar el flujo de transporte de datos que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control, el procesador de video además es colocado para - proporcionar una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - colocar los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - colocar los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - incluir, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
Asimismo, una señal comprende los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal, los datos de control que comprenden los parámetros para un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares, y un flujo de transporte de datos que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control para su transmisión, la señal además comprende una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - y, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
Asimismo, un receptor comprende una unidad de entrada para la recepción de la señal, y un procesador de video que recupera los datos auxiliares del flujo adicional de datos auxiliares, mientras desecha los datos auxiliares en el arreglo auxiliar proporcionado en el flujo de datos auxiliares, y genera los datos de superposición para la visualización en el área de superposición sobre los datos de video 3D en función de la versión 2D de los datos auxiliares y los datos auxiliares de disparidad.
Asimismo, un programa de producto de computadora para el procesamiento de la información de video 3D, es operativo para provocar que un procesador realice el método como es definido con anterioridad.
Los datos de control podrían comprender, tanto los datos de control que indican el formateo del video (SBS, TB, etc.), como los datos de control que contienen la disparidad de los datos auxiliares. Las medidas tienen el efecto que los datos auxiliares son transferidos en un arreglo auxiliar que corresponde con el arreglo de video principal. En adición a lo mismo, los datos auxiliares son transferidos, de manera simultánea, también en una versión 2D en combinación con los datos auxiliares de disparidad indicativos de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha. La transmisión doble de los datos auxiliares permite que cualquier receptor recupere el ajuste de los datos auxiliares que facilita el suministro fácil 3D de la combinación de los datos principales y auxiliares de video. De manera ventajosa, ambos de los dispositivos de recepción de legado 2D y los nuevos dispositivos de recepción 3D son permitidos para operar, de manera eficiente, en función de la transmisión doble de los datos auxiliares. Además, mientras la calidad de las vistas auxiliares empaquetadas en el arreglo auxiliar podría ser limitada debido a la resolución reducida del empaquetado, es permitida una alta calidad que proporciona la información auxiliar debido a la presencia de los datos auxiliares de disparidad y la versión 2D, que tiene la resolución completa.
La invención también está basada en el siguiente reconocimiento. Mientras se extiende el sistema existente de transmisión 2D para 3D mediante el empaquetado de los cuadros de video principal de la vista izquierda y derecha en un cuadro único 2D, podría parecer que es una solución similar para los datos auxiliares, es decir, utilizando un arreglo auxiliar similar a los datos principales de video, por ejemplo, lado-por- lado . Los inventores han observado que este arreglo puede ser manejado por las arquitecturas comunes de procesamiento de video, que procesan el video principal de entrada al codificar en primer lugar el video principal y los datos auxiliares, y posteriormente, al superponerlos. La señal es tratada como una señal 2D hasta este punto, y de manera subsiguiente, es escalada a la resolución requerida de pantalla para su visualización. En el caso de que las vistas 3D estén siendo colocadas en el cuadro 2D, es modificada la etapa de escala. Una visualización secuencial de los cuadros izquierdo y derecho es asumida para que sea observada a través de lentes obturadores por el respectivo ojo. En primer lugar, la parte de vista izquierda, por ejemplo, la mitad izquierda del cuadro en SBS, es tomada, en escala ascendente a la resolución de pantalla y es visualizada. A continuación, la parte de vista derecha, por ejemplo, la mitad derecha del cuadro en SBS, es tomada, en escala ascendente a la resolución de pantalla y es visualizada. En la práctica, la arquitectura podría estar presente, cuando se utiliza un convertidor de señal de televisión de legado 2D (STB) y una TV 3D. El convertidor de señal de televisión primero genera los datos de visualización que serán visualizados, por ejemplo, que serán transferidos por medio de una interfaz digital como HDMI . La TV 3D recibe los datos de visualización, que todavía se encuentran en el formato SBS. El STB superpondrá los datos auxiliares SBS sobre el video principal SBS; la TV 3D separará la vista izquierda y la vista derecha, ambas teniendo superpuestos los respectivos datos auxiliares.
Sin embargo, los inventores han observado que, en otros receptores 3D, podría estar presente una arquitectura diferente. Los datos principales de video primero son analizados y, cuando es colocada una vista izquierda y derecha en un formato de cuadro 2D, estos datos de video primero son recuperados del cuadro 2D y son separados, y de manera subsiguiente, son (re-) escalados para regenerar la vista completa izquierda y derecha. Un flujo seleccionado de los datos auxiliares podría ser entonces superpuesto sobre las vistas izquierda y derecha. A continuación, la utilización de los datos auxiliares en el arreglo auxiliar requiere de etapas adicionales como la selección de la respectiva parte y la escala ascendente de los datos auxiliares. Sin embargo, la versión 2D de los datos auxiliares, que tiene la resolución completa, es directamente superpuesta sin ninguna escala adicional. Los mismos datos auxiliares son superpuestos en ambas de las vistas izquierda y derecha, sólo con la diferencia en la posición horizontal por una cantidad predefinida, que es llamada disparidad. La disparidad origina una correspondiente posición de profundidad de los datos auxiliares. El valor de la disparidad que será aplicado cuando se superponga la versión 2D de los datos auxiliares es directamente disponible por medio de los datos auxiliares de disparidad, los cuales también son incluidos en el flujo de transporte. De manera ventajosa, la disparidad aplicada además podría ser ajustada en función del tamaño de la pantalla, la distancia de observación o los parámetros o preferencias adicionales de observación. La explicación detallada de los problemas de varios entornos de procesamiento para el suministro de los datos de video 3D y los datos auxiliares es proporcionada más adelante con referencia a las Figuras 2-4.
Analizando las distintas arquitecturas de procesamiento de video, los inventores han observado que aparecen problemas en el manejo del formato 2D y disparidad en arquitecturas que primero superponen los datos auxiliares y de manera subsiguiente, aplica la recuperación de las vistas del cuadro 2D y la escala. Una etapa adicional de superposición tiene que ser agregada en estas arquitecturas, lo cual requiere un hardware y/o software de procesamiento adicional sustancial. Además, el arreglo auxiliar origina una resolución más baja para los datos auxiliares . Los inventores han investigado los efectos de esta resolución reducida, que parece ser más visible para los datos auxiliares, como los objetos gráficos o subtítulos, mientras el video principal en 3D es menos estorboso por la resolución reducida. La solución propuesta, es decir, el cambio del sistema de transmisión mediante la inclusión de los datos auxiliares tanto en el arreglo auxiliar como en la versión 2D con los datos auxiliares de disparidad en el flujo de transporte, elimina de manera conveniente, los distintos problemas y desventajas en las arquitecturas de procesamiento de video utilizadas en la práctica, mientras permite en muchos casos la modernización de dispositivos de procesamiento 2D por medio de la actualización del software.
Finalmente, podría observarse que el alargamiento de la cantidad de datos que serán transmitidos por medio del flujo de transporte agregando una segunda versión de los mismos datos auxiliares podría considerarse contrario al sentido común, aunque sin embargo es aceptable en vista de la cantidad relativa pequeña de datos adicionales y las ventajas sustanciales en el acomodo de varias arquitecturas de recepción para superponer, de manera eficiente, los datos auxiliares sobre el video 3D.
En una modalidad del sistema para la transferencia de la información de video 3D, los datos de control incluyen un indicador de formato 3D de acuerdo con una extensión 3D del formato de transmisión 2D, indicativo del arreglo de los datos de video 3D de la vista izquierda y la vista derecha en el cuadro 2D. Esto tiene la ventaja que un receptor se da cuenta directamente de la presencia y formato de los datos de video 3D en el cuadro 2D.
En una modalidad del sistema, el arreglo auxiliar sólo es indicativo por el indicador de formato 3D indicativo del arreglo principal. Se observará que el flujo de datos auxiliares es en realidad formateado de manera diferente, a partir de un flujo ordinario 2D de datos auxiliares mientras que no existe una señalización adicional o modificada indicativa de la diferencia. Esto es ventajoso, debido a que cualquier componente de legado 2D en el canal de transferencia de video no se dará cuenta de la diferencia, y normalmente pasará en o procesará los datos auxiliares. Además, los nuevos receptores de acuerdo con la actual invención podrían acomodar los datos auxiliares 3D en función de la detección del arreglo de los datos principales de video y la aplicación de un correspondiente arreglo en los datos auxiliares .
En una modalidad del sistema los datos auxiliares de disparidad comprenden los datos de disparidad de región al menos para una región en el área de superposición que son indicativos de la disparidad de los datos auxiliares en la respectiva región cuando se superponen sobre la vista izquierda y la vista derecha. Esto tiene la ventaja que los datos de disparidad para una región son eficientemente transferidos .
En una modalidad del sistema, el flujo de datos auxiliares comprende objetos, estos objetos definen los datos de píxel de los objetos gráficos que serán superpuestos, y el flujo de datos auxiliares y el flujo adicional de datos auxiliares comprenden las referencias a los mismos objetos para el compartimiento de los respectivos mismos objetos entre la vista izquierda auxiliar, la vista derecha auxiliar y/o la versión 2D de los datos auxiliares. Los objetos definen los actuales datos de píxel, es decir, una representación de bajo nivel de los datos gráficos que serán superpuestos. Los actuales datos de píxel requieren una parte relativamente larga del total de los datos auxiliares. Los inventores han observado que, aunque la vista izquierda y derecha de los subtítulos tiene que ser combinadas en el arreglo auxiliar, los mismos objetos pueden ser utilizados en ambas vistas mientras se mantienen las restricciones del estándar DVB. En las extensiones adicionales de los sistemas estándares u otros sistemas, los objetos también podrían ser utilizados para la versión 2D, debido a que los contenidos de la versión 2D son iguales para el conjunto colocado de la vista auxiliar izquierda y derecha. En este caso, los objetos podrían ser escalados para ajustar tanto la versión 2D como las vistas auxiliares izquierda y derecha. De manera ventajosa, la capacidad adicional requerida total de la transferencia de datos para el flujo adicional de datos auxiliares es relativamente pequeña, debido a que los objetos son compartidos y tienen que ser transmitidos sólo una vez para una respectiva superposición gráfica.
Las modalidades adicionales preferidas del dispositivo y método de acuerdo con la invención son dadas en las reivindicaciones adjuntas, la descripción de las cuales es incorporada en la presente como referencia. Las características definidas en las reivindicaciones dependientes para un método o dispositivo particular se aplican, de manera correspondiente, a otros dispositivos o métodos .
Breve Descripción de las Figuras Estos y otros aspectos de la invención serán aparentes y aclarados adicionalmente con referencia a las modalidades descritas por medio de ejemplo en la siguiente descripción y con referencia a las figuras que la acompañan, en las cuales La Figura 1A muestra un sistema para la transferencia de la información de video de tres dimensiones (3D) , La Figura IB muestra los datos de video 3D y los datos auxiliares , La Figura 2 muestra un sistema de procesamiento de video en un dispositivo de recepción, La Figura 3 muestra los arreglos del video 3D y los datos auxiliares, La Figura 4 muestra el procesamiento de un arreglo auxiliar, La Figura 5 muestra una estructura de composición de página, La Figura 6 muestra (una parte de) un descriptor de componente , La Figura 7 muestra una estructura de definición de visualización, La Figura 8 muestra una estructura de composición de región, La Figura 9 muestra un tipo de segmento para el descriptor de disparidad estereoscópica, La Figura 10 muestra un paquete de datos de flujo elemental empaquetado (PES) que define la disparidad, y La Figura 11 muestra los valores de identificador de datos para los paquetes PES .
Las figuras son simplemente esquemáticas y no son dibujadas a escala. En la figuras, los elementos que corresponden con los elementos ya descritos tienen los mismos números de referencia.
Descripción Detallada de la Invención La Figura 1A muestra un sistema para la transferencia de información de video de tres dimensiones (3D) . El sistema tiene un transmisor 100, que proporciona una señal 104 que será transmitida por medio de una red de radiodifusión 130. Un receptor 110 recibe la señal de la red de radiodifusión en una entrada 111 de una unidad de entrada 112. El receptor proporciona los datos de visualización 114 a un dispositivo de visualización 3D 120, por ejemplo una TV 3D o un sistema de proyección 3D. El receptor podría ser un dispositivo separado como un convertidor de señal de televisión (STB) o receptor de satélite. En forma alterna, el receptor 110 y la pantalla 3D 120 son combinados en un dispositivo único, como una TV 3D digital que tiene incorporados un sintonizador digital y un procesador 3D.
El sistema es colocado para la transferencia de la información de video 3D 105, que incluye los datos de video 3D y los datos auxiliares. Los datos de video 3D, por ejemplo, proporcionados en la entrada principal 101 del receptor 100, comprenden al menos una vista izquierda y una vista derecha que serán visualizadas por los respectivos ojos de un espectador para la generación de un efecto 3D. Los datos auxiliares, por ejemplo, proporcionados en una entrada auxiliar 102 del receptor 100, son colocados para su visualización en un área de superposición sobre los datos de video 3D, tales como subtítulos. Se observa que podrían ser incluidos múltiples flujos de los datos auxiliares.
El sistema, en el lado del transmisor, acomoda las siguientes funciones. Las funciones podrían ser implementadas en un procesador de video 103 en el transmisor, aunque también podrían ser realizadas en un sistema de autorización basado en programas dedicados de computadora.
El video principal es procesado al colocar los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal. Este empaquetado del video 3D en un cuadro 2D es usualmente llamado empaquetamiento de cuadro. De acuerdo con el estándar aplicable de transmisión, el sistema proporciona los datos de control que indican los parámetros a un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares. Finalmente, es ensamblado un flujo de transporte de datos en una señal 104 que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control para su transmisión por medio dé la red de radiodifusión 130.
El sistema además involucra proporcionar una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D, y colocar los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal. El flujo de datos auxiliares es incluido en el flujo de transporte como es indicado con anterioridad.
En una modalidad, el arreglo auxiliar, por ejemplo, los subtítulos en la vista izquierda auxiliar y una vista derecha auxiliar lado-por-lado, son colocados en el espacio de datos disponible para los subtítulos. En DVB por medio de un segmento de definición de visualización, puede ser establecida la configuración de visualización. Existen 3 opciones para la utilización de los subtítulos DVB en un servicio total HD: a) La resolución de los gráficos es de 720x576 y es convertida hacia arriba en la resolución total HD del servicio, b) La resolución de los gráficos es de 720x576 y es situada en el centro del video total HD. c) La resolución de los gráficos es de 1920x1080, igual que la resolución de un servicio HD.
En a) una vista sólo tiene 360 píxeles para un subtítulo, debido a que la pantalla tiene que ser dividida en dos mitades. Los 360 píxeles son extendidos a través del ancho de pantalla mediante la escala ascendente, por lo tanto, la resolución es relativamente baja. Para DVB, la opción b origina que los subtítulos sólo se encuentran en una sección pequeña de las vistas izquierda y derecha (menos de la mitad). La opción c) es fina como tal. Sin embargo, las restricciones adicionales son enlistadas, tal como la región para la actual visualización de un máximo de 720 píxeles que serán utilizados, y sólo una región es permitida en la línea horizontal (no existen regiones próximas entre sí) .
Sin embargo, al menos una o ambas restricciones pueden ser elevadas, para que el acomodo de los subtítulos SbS sean superpuestos en el video principal SbS en un nivel de calidad mejorada después de una actualización de firmware si fuera necesario.
En adición, una versión 2D de los datos auxiliares y de los datos auxiliares de disparidad, indicativos de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, también son incluidas en el flujo de transporte. Por lo tanto, es incluida una segunda versión de los mismos datos auxiliares, por ejemplo colocados en un flujo adicional separado de datos auxiliares. Se observa que, de manera ventajosa, el flujo adicional de datos auxiliares podría cumplir con el formato de transmisión 2D, para no perturbar los receptores de legado 2D que también reciben la señal. Sin embargo, los datos auxiliares de disparidad podrían ser almacenados en varias ubicaciones en estructuras de datos disponibles en el flujo de transporte, como es aclarado más adelante. Finalmente, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad son incluidos en el flujo de transporte . El indicador de formato de disparidad es indicativo del flujo adicional de datos auxiliares, por ejemplo, indicando la presencia y el formato específico de los datos auxiliares en el flujo adicional de datos auxiliares.
La señal 104 para la transferencia de la información de video 3D 105 como se describe con anterioridad es transferida por medio de una red de radiodifusión 130, por ejemplo, una red de transmisión de TV pública, una red satelital, la Internet, etc. En la señal, un flujo de transporte representa la información de video 3D 105. Los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video son colocados de acuerdo con un formato de transmisión 2D como DVB en un arreglo principal. Con lo cual, el formato de transmisión 2D podría ser extendido agregando una definición de la estructura de datos utilizada para la información de video 3D, y que corresponde con los datos de control que indican los parámetros a un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares. El flujo de transporte de datos incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control para su transmisión. La señal además comprende la vista auxiliar izquierda y derecha y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad como se describe con anterioridad. Los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar son empaquetados en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, y los datos auxiliares de la versión 2D son empaquetados en un flujo adicional de datos auxiliares. El flujo de transporte contiene el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
El receptor 110 tiene la unidad de entrada 112 para la recepción de la señal de la red de radiodifusión como se describe con anterioridad. El flujo de transporte es recuperado y acoplado con un procesador de video 113 para la recuperación de los datos auxiliares del flujo adicional de datos auxiliares, mientras desecha los datos auxiliares en el arreglo auxiliar proporcionado en el flujo de datos auxiliares. El procesador de video además genera los datos de superposición para su visualización en el área de superposición sobre los datos de video 3D en función de la versión 2D de los datos auxiliares y los datos auxiliares de disparidad, como es aclarado en detalle más adelante.
La Figura IB muestra los datos de video 3D y los datos auxiliares. Los datos de video tienen una vista izquierda 150 y una vista derecha 151. Ambas vistas son mostradas que tienen una superposición de la información auxiliar. La vista izquierda tiene los datos auxiliares 160, un subtítulo que dice .Rojo y verde mostrado en la posición de inicio horizontal X, y la vista derecha tiene los datos auxiliares 161, es decir, el mismo subtítulo mostrado en la oposición de inicio horizontal X-n. El valor n representa una disparidad entre la versión izquierda y derecha del subtítulo. La figura muestra una imagen estereoscópica, como una representación de un cuadro de estéreo en una película con un subtítulo 2D compuesto en la parte superior del video mientras el cambio horizontal n es aplicado para ajustar la profundidad del subtítulo Una de las principales plataformas de suministro de contenido para la red de difusión del video estereoscópico son los canales comunes de televisión digital, en ese documento además son nombrados como la Radiodifusión de Video Digital (DVB) . La DVB aplica varios estándares para las aplicaciones terrestres, de cable, de satélite y móvil para el transporte y la señalización asociada de las aplicaciones de audio/video, gráficos (subtítulos, etc.) y las aplicaciones interactivas (las aplicaciones Java de HTML/XML) . Los avances actuales en la tecnología de visualización están haciendo posible la introducción de video 3D para una audiencia de mercado en masa. Por lo tanto, para permitir la distribución extendida del contenido 3D, los estándares DVB tienen que ser extendidos para permitir la radiodifusión del contenido 3D.
El contenido 3D requiere, de manera significante, más almacenamiento, ancho de banda y procesamiento si se compara con el contenido 2D. Debido a que estas soluciones están siendo investigadas que proporcionan una experiencia 3D con un mínimo de costo adicional y que es compatible con la base actual de instalación de los convertidores de señal de televisión (STB, por sus siglas en inglés) . Una de las soluciones que está siendo investigada es la extensión de los existentes convertidores avanzados de señal de televisión para permitir que reproduzcan 3D por cuadro empaquetando la vista izquierda y derecha de una imagen estereoscópica en un cuadro 2D.
El video estereoscópico también requiere datos auxiliares estereoscópicos como subtítulos . En este documento, los subtítulos serán utilizados como un ejemplo de los datos auxiliares . Los datos auxiliares además podrían ser cualquier tipo de datos gráficos adicionales que serán superpuestos sobre el video principal. La superposición de los subtítulos sobre el video de estéreo requiere un cuidado especial para decidir en dónde situar los subtítulos en la dirección horizontal, vertical y de profundidad en la parte superior del video. Si no es realizada de manera adecuada, la superposición de subtítulo podría interferir con el video de segundo plano provocando artefactos visuales y creando pistas de profundidad de conflicto en los bordes de los subtítulos. Esto puede suceder cuando la profundidad de los subtítulos sea menor que la profundidad del video en la ubicación del subtítulo. El subtítulo cubre o tapa partes del video, de modo que el cerebro espera que el subtítulo se encuentre en la parte frontal del video.
Además, debido a que el subtítulo es copiado en la parte superior del video, parece que es pensado que el subtítulo perfora los artefactos de creación de video en los bordes del subtítulo .
La colocación correcta de los subtítulos puede ser realizada cambiando la disparidad de las imágenes izquierda y derecha de un subtítulo estereoscópico y asegurándose que esta disparidad o "profundidad" se encuentra más cercana al espectador que la profundidad del video. Una desventaja del ajuste de la disparidad de los subtítulos de este modo, es que éste requiere el procesamiento de las imágenes durante la autorización y que requiere el uso de subtítulos estereoscópicos, esto duplica el ancho de banda y el procesamiento en el dispositivo de reproducción.
Un procedimiento alternativo es la utilización de subtítulos 2D y la copia del subtitulo en la parte superior de ambas imágenes izquierda y derecha del video estereoscópico. Esto funciona copiando el subtítulo sobre la parte de imagen izquierda del video estereoscópico y moviéndolo en una dirección horizontal antes de copiarlo sobre la parte de imagen derecha del video estereoscópico. La cantidad de desplazamiento horizontal de los objetos entre la vista izquierda y derecha, usualmente llamada disparidad, determina la profundidad del subtítulo y este valor tiene que ser más alto que la disparidad del video en la ubicación de los subtítulos.
Un problema con la implementación de los subtítulos estereoscópicos para sistemas de base DVB es la compatibilidad con la cadena existente de distribución de video 2D. Una opción es la utilización de los subtítulos estereoscópicos que utilizan el mismo formato de empaquetado que el video, por ejemplo, la parte superior-inferior, de lado-por-lado etc. En este documento, este empaquetado es llamado el arreglo auxiliar.
La Figura 2 muestra un sistema de procesamiento de video en un dispositivo de recepción. El dispositivo podría ser, por ejemplo, un receptor de TV digital o un convertidor de señal de televisión. Una unidad de entrada 201 comprende un desmodulador para la recepción de la señal de radiodifusión de video, por ejemplo, de una red de cable, un plato satelital, etc. El desmodulador recupera el flujo de transporte de la señal de entrada, que es acoplada con una unidad de desmultiplexor 202, que también podría incluir un des-mezclador, para la recuperación de los varios flujos de datos y los datos de control del flujo de transporte. Los flujos de datos son acoplados con un decodificador principal 203 para la decodificación de los datos de video y audio, y con un decodificador auxiliar 204 para la decodificación de los datos auxiliares y los datos de control. Los decodificadores y elementos adicionales son acoplados por medio de un bus de sistema 209 con una unidad de procesamiento central (CPU, por sus siglas en inglés) , un procesador de gráficos 206, una memoria 207, y un escenario de salida 208, por ejemplo, de acuerdo con HDMI, O LVDS, etc.
En algunas implementaciones , la línea de movimiento del procesamiento del video y los subtítulos son diferentes y separadas. Las operaciones de procesamiento y alto ancho de banda tales como el procesamiento de decodificación A/V Y los gráficos (operaciones de filtro, etc.), es realizado en un ASIC dedicado mientras el procesamiento de la información de bajo ancho de banda tal como los subtítulos, es realizado por un procesador de uso general de baja potencia. Los subtítulos y el video no son combinados hasta el final de la línea de movimiento del procesamiento.
Debido en algunas implementaciones a que varios de los bloques 200 de la figura son combinados en una unidad única de hardware, podrían ocurrir algunos problemas no previstos con el acomodo de los subtítulos en combinación con el video 3D.
Si no existiera señalización para los subtítulos y los subtítulos estuvieran en 2D entonces, el dispositivo de reproducción asumiría que los subtítulos deben ser copiados tanto en el lado izquierdo como en el lado derecho del video, en este caso, el subtítulo será localizado en la profundidad de la pantalla y podría interferir con el video de estéreo si el video de estéreo en la ubicación de los subtítulos sale de la pantalla. Se propone utilizar subtítulos estereoscópicos con una disparidad adecuada entre el subtítulo izquierdo y derecho, de manera que los subtítulos de estéreo aparecen en la parte frontal del video. Para los subtítulos, el mismo método de empaquetado que el utilizado para el video será utilizado para hacer posible la transmisión del subtítulo en la cadena existente de distribución para 2D. Como es señalado con anterioridad, los datos auxiliares son empaquetados en un arreglo auxiliar que corresponde con el arreglo principal de los datos de video 3D.
La Figura 3 muestra los arreglos de los datos de video 3D y los datos auxiliares . La figura muestra una vista izquierda 301 y una vista derecha 302 del video estereoscópico. Las vistas 301, 302 son sub-muestreadas en dirección horizontal en un 50% para colocarse en un cuadro 2D 303. El método de empaquetado del arreglo principal es llamado arreglo de lado-por-lado (SBS) . También son posibles otros arreglos como el arreglo superior-inferior o de cuadrícula. El mismo arreglo es aplicado a los subtítulos en una vista izquierda 304 y una vista derecha 305, que resulta en el arreglo auxiliar 306. Entonces, ambos de los arreglos principal y auxiliar son transmitidos a un dispositivo de recepción, por ejemplo, un dispositivo de reproducción como un convertidor de señal de televisión o una TV con receptor integrado .
En una modalidad del dispositivo de reproducción con un receptor integrado, tal como una TV activada por 3D, la arquitectura del procesador de video podría ser de acuerdo con la Figura 2, en donde los bloques 206 y 203 son integrados en un ASIC. En primer lugar, es discutido el mal funcionamiento de esta modalidad sin la aplicación de la invención. En el ASIC, el cuadro de video SBS 307 será dividido en una parte izquierda 308 y una parte derecha (no se muestran) . En primer lugar, la parte izquierda es copiada y es escalada hacia arriba de regreso a su tamaño 309 antes de ser copiada en una memoria intermedia de cuadro . En la modalidad, los subtítulos serán procesados por el bloque 205, la CPU y serán copiados en la memoria intermedia de cuadro en la parte superior del video. El resultado equivocado 310 para el cuadro izquierdo es mostrado en la figura, debido a que la escala y el procesamiento son realizados en el video antes que los subtítulos sean agregados, el subtítulo SBS combinado izquierdo y derecho finalizan ambos en el cuadro izquierdo. Lo mismo podría suceder para el cuadro derecho.
Para evitar el resultado equivocado anterior, es proporcionada una modalidad del dispositivo de reproducción con un orden modificado de procesamiento. Los subtítulos SBS tienen que ser copiados sobre el video SBS antes de las partes de imagen izquierda y derecha del video SBS y los subtítulos son copiados en una memoria intermedia de cuadro y son escalados de regreso al tamaño original .
La Figura 4 muestra el procesamiento de un arreglo auxiliar. La figura proporciona una representación del procesamiento que utiliza el orden modificado anterior de procesamiento. En primer lugar, el video en el arreglo principal 401 es mostrado como decodificado por el decodificador A/V 203, que es copiado en una memoria de cuadro. El subtítulo en el arreglo auxiliar 404 es decodificado por el decodificador de datos 204 y de manera subsiguiente, es copiado por la CPU 205 sobre la imagen de video en la memoria de cuadro. Entonces, para el cuadro izquierdo de la salida estereoscópica, el procesador de 3 gráficos 206 copia la parte izquierda del video y subtítulo combinados de la memoria de cuadro, como es indicado por el rectángulo 402. Entonces, el procesador de gráficos 206 escala la parte izquierda hasta su tamaño original y copia el resultado en la salida de la memoria intermedia de cuadro. La vista izquierda resultante 403 es mostrada.
Se observa que la calidad de los subtítulos en la salida es limitada como puede ser observado en la vista izquierda 403. Esto produce un sentido, puesto que los subtítulos han sido sub-muestreados en un 50 % antes de ser transmitidos y escalados hasta el tamaño normal en el dispositivo de reproducción. Además, en el dispositivo de reproducción comúnmente disponible no es directo el cambio del orden de las etapas de procesamiento para permitir que los subtítulos sean procesados juntos con el video, puesto que el ancho de banda del sistema bus 209 no podría ser suficientemente alto para soportar el copiado frecuente de los datos de imagen de video en y a partir del ASIC en la memoria. Por lo tanto, aunque este ajuste proporciona los subtítulos correctos, no podría ser satisfactorio en todas las situaciones.
Los problemas anteriores ocurren debido a las diferencias en el modo que los subtítulos y el video son procesados en diferentes dispositivos de reproducción. Para acomodar los subtítulos mejorados y el procesamiento eficiente, se propone ' no sólo utilizar el subtítulo estereoscópico en el arreglo auxiliar, sino proporcionar adicionalmente un subtítulo 2D y la señalización en el flujo, de manera que el dispositivo de reproducción pueda determinar la forma como componer el subtítulo en la parte superior del video de estéreo sin los artefactos provocados por los conflictos de profundidad.
En sistemas prácticos, como los sistemas DVB, existen varios modos para transmitir los gráficos o el texto, tales como subtítulos. El modo más común es la utilización del estándar de subtítulo DVB (ETSI EN 300 743) o los datos adicionales como es descrito en el perfil de radiodifusión MHEG-5 (Grupo de Expertos de Multimedia e Hipermedios ; ETSI ES 202 184) , otros procedimientos podrían utilizar el Teletexto. Los parámetros de señalización podrían ser transmitidos como es definido en el estándar DVB-SI (la Especificación para la Información de Servicio DVB; ETSI EN 300 468) . Estos sistemas requieren una solución para indicar la manera como superponer los gráficos, tales como subtítulos, sobre el video estereoscópico en un modo que no requiera cambios a las plataformas existentes de hardware de los dispositivos de reproducción de conformidad DVB. En la siguiente sección, son discutidas varias opciones para el formato de señalización de los datos auxiliares y la disparidad auxiliar.
En un convertidor de señal de televisión de conformidad DVB o TV, los subtítulos son manejados por separado del video a través de un procesador de uso general de baja potencia que también tiene cuidado de la detección y la interpretación de los parámetros de señalización que son transmitidos. Por lo tanto, la solución adecuada es realizar la señalización de disparidad en el interior del flujo de subtítulo o en la señalización de subtítulo que es opuesto a la señalización en el flujo elemental de video.
El estándar de subtítulo DVB define tres tipos de información de señalización llamados segmentos para la señalización de la posición de los objetos de texto o gráficos. El segmento de definición de visualización señala el tamaño pretendido de la visualización. La composición de página señala como es situado el texto y los gráficos en el cuadro de video. Un segmento de composición de región divide el cuadro en dos regiones sin superposición. Los objetos que contienen texto o gráficos pueden ser utilizados y reutilizados en diferentes páginas y regiones.
Debido a que en los subtítulos DVB las regiones podrían ser localizadas en diferentes posiciones en un cuadro, puede ser diferente la disparidad por región para los gráficos o el texto en esta región. En una modalidad, la disparidad auxiliar es transferida por región, por ejemplo, como un parámetro de desplazamiento o cambio. Lo siguiente describe las opciones para realizar esto en un modo compatible.
La cantidad de cambio que se requiere podría ser una disparidad totalmente limitada entre la imagen izquierda y la imagen derecha de 100 píxeles será usualmente suficiente puesto que el cambio podría ser realizado en forma simétrica, el campo que retiene la disparidad sólo necesita indicar la mitad del cambio de píxel . De modo que 6 bits serían suficientes para la mayoría de propósitos .
La Figura 5 muestra una estructura de composición de página. La figura muestra una tabla que representa la estructura de composición de página 50 en una secuencia de campos. El tipo de segmento y la longitud del segmento son indicados, y también la página para la cual la estructura se aplica en el campo page_id. En una modalidad, la presencia de los datos de disparidad es indicada en un campo adicional reservedA 51.
En una modalidad, los datos auxiliares de disparidad comprenden los datos de disparidad de región al menos para una región en el área de superposición indicativa de la disparidad de los datos auxiliares en la respectiva región cuando se superponen sobre la vista izquierda y la vista derecha. La tabla en la Figura 5 muestra una definición para el número de regiones en un circuito. Para cada región, es proporcionada una identificación en el campo Region_id, y es proporcionada la posición en los campos de dirección horizontal y vertical . 3 En una modalidad, el flujo de datos auxiliares comprende la estructura de composición de página 50 que define una composición de una página de los datos auxiliares que serán visualizados en el área de superposición. La estructura de composición de página 50 tiene al menos una definición de región 53, que define una ubicación y los datos de disparidad de región de una respectiva región.
Observando en el segmento de definición de visualización la Figura 7 y el segmento de composición de región la Figura 8, sólo vemos un número pequeño de bits disponibles, no suficientes para indicar en forma precisa un campo de disparidad. Sin embargo, en el segmento de composición de página mostrado en la Figura 5, existe un circuito por región, el circuito define una secuencia de definiciones de región 53. En este circuito para cada región, existen 8 bits reservados en el campo reservedB 52. Los 8 bits son suficientes para indicar la disparidad o el desplazamiento aplicado para esta región. El valor de la disparidad auxiliar es indicado en el campo adicional reservedB 52. En este campo, subtitle_disparity podría ser representado por 0-127 para una disparidad positiva (el cambio de la izquierda a la vista izquierda y derecha la vista derecha), y 128-255 para una disparidad negativa (el cambio de vista izquierda a la derecha y la vista derecha a la izquierda) .
En adición a la recepción de la disparidad de subtítulo, el dispositivo de reproducción tiene que ser capaz de reconocer cual flujo de subtítulo lleva los datos de disparidad. En una modalidad, en DVB es utilizada una tabla de mapa de programa (la Especificación para la Información de Servicio DVB; ETSI en 300 468) . La tabla de mapa de programa o P T define cuáles flujos son parte del programa en la radiodifusión. La PMT también incluye el asi llamado "descriptor de componente" para describir los varios flujos, de manera que el dispositivo de reproducción conoce cuáles datos están presentes en cada flujo.
La Figura 6 muestra (una parte de) un descriptor de componente. La figura muestra una tabla de descriptor de componente 60 que define los contenidos de un flujo. El campo de contenido de flujo identifica el tipo de datos, por ejemplo 0 para video, 1 para el audio y 2 para los datos de subtítulo. El campo component_Type 61 indica el formato, en el caso de los subtítulos, indica qué tipo de subtítulos, por ejemplo, los subtítulos para una pantalla de 21:9 a los subtítulos pretendidos para el escucha. Una lista completa de valores puede ser encontrada en la tabla 26 de ETSI en 300 468. Un nuevo valor de tipo de componente será incluido, por ejemplo 0x14, para indicar que un flujo de subtítulo lleva los datos de disparidad. Por lo tanto, en el flujo de transporte, es incluido el flujo adicional de datos auxiliares, mientras el nuevo valor de tipo de componente proporciona un indicador de formato de disparidad indicativo del flujo adicional de datos auxiliares. Se observa que el indicador de formato de disparidad podría ser proporcionado, en forma alterna, en un modo diferente, ya sea agregando o enmendando los respectivos datos de control en el flujo de transporte .
En una modalidad, los datos de control del flujo de transporte incluyen un indicador de formato 3D de acuerdo con una extensión 3D del formato de transmisión 2D. El indicador de formato 3D es indicativo del arreglo principal de los datos de video 3D de la vista izquierda y la vista derecha en el cuadro 2D. Un ejemplo de un estándar de transmisión 2D es el estándar ISO/IEC 14496-10 mencionado con anterioridad. En una enmienda A, podría ser agregado un indicador de formato 3D al estándar, por ejemplo, en un nuevo mensaje suplementario de información de mejora (SEI, por sus siglas en inglés) que indica el intercalado espacial. El indicador de formato 3D además podría definir el formato de la información auxiliar.
En una modalidad tradicional, el arreglo auxiliar sólo es indicativo por el indicador de formato 3D indicativo del arreglo principal. Por lo tanto, no existe información adicional de control incluida en el flujo de transporte que indica, de manera explícita, el arreglo auxiliar, a diferencia del indicador de formato 3D que define básicamente el arreglo principal. El receptor tiene que asumir que la información auxiliar debe tener el arreglo auxiliar que corresponde con el arreglo principal, cuando ningún indicador adicional está presente.
Se observa que un dispositivo de reproducción existente sin capacidad de 3D no reconocerá el nuevo tipo de componente como es definido en la Figura 6 y por lo tanto, utilizará el flujo de subtítulo 2D y 2D video. De modo que si el video y el subtítulo son formateados como un arreglo de lado-por-lado o superior e inferior, entonces, esto funcionará en un dispositivo de legado, por ejemplo, un convertidor de señal de televisión existente con capacidad HD unido con una TV 3D. El STB superpondrá, en forma correcta, los subtítulos, mientras la TV 3D dividirá la imagen, y escalará hacia arriba las vistas izquierda y derecha.
La Figura 7 muestra una estructura de definición de visualización . La figura muestra una tabla que representa la estructura de definición de visualización 70 en una secuencia de campos. El tipo de segmento y longitud del segmento son indicados, y la página para la cual la estructura se aplica en el campo page_id. La estructura define el área de superposición para una página de los datos auxiliares, como es definido en el campo display_window, el cual define la posición del área de superposición. Sólo unos cuantos bits están disponibles para indicar el arreglo de los datos auxiliares en un campo reserved 71.
En una alternativa, es definido un campo adicional en el segmento de definición de visualización. En la modalidad, el flujo de datos auxiliares comprende la estructura de definición de visualización 70. En el campo adicional, los datos auxiliares de disparidad son definidos que se aplican en el área de superposición.
La Figura 8 muestra una estructura de composición de región. La figura muestra una tabla de segmento de composición de región que representa la estructura de composición de región 80 en una secuencia de campos. El tipo de segmento y la longitud del segmento son indicados, y la página para la cual la estructura se aplica en el campo page_id. En un número de campos, los bits se encuentran disponibles para indicar el arreglo de los datos auxiliares, en particular, 3 bits en un campo reserved-1 81, 2 bits en un campo reserved-2 82, 2 bits en un campo reserved-3 83, y 4 bits en un campo reserved-4 84.
Para definir el formato de disparidad en el segmento de composición de región, el segmento de composición de región mostrado en la Figura 8 tiene 4 bits reservados por objeto como es definido en una secuencia de definiciones de objeto 85 en la parte inferior, cada objeto tiene un campo reserved-4. Esto por sí mismo podría ser suficiente para indicar una disparidad. Sin embargo, en forma alterna, éstos podrían ser utilizados para indicar el cambio o disparidad por objeto con relación a la posición de la región, en la precisión de píxel .
En el resto de la tabla de segmento de composición de región 80 existen algunos otros campos reservados. Estos otros campos reservados 81, 82, 83 podrían ser utilizados para indicar el desplazamiento o cambio por región. Esto podría ser menos preciso, por ejemplo, en la precisión doble de píxel que utiliza los 3 bits reservados en el campo 81, mientras 2 bits en el campo 82 indican el signo del cambio y los 2 bits en el campo 83 indican que el segmento de región contiene los campos de cambio o desplazamiento.
Otra modalidad alternativa es definir un nuevo tipo de segmento, el descriptor de disparidad estereoscópica. Con un nuevo tipo de segmento no estamos limitados a la utilización de los campos reservados.
La Figura 9 muestra un tipo de segmento para el descriptor de disparidad estereoscópica. La figura muestra una tabla 90. El nuevo tipo de segmento, llamado un segmento de disparidad, tiene los correspondientes campos (que son conocidos a partir de ETSI en 300 743) como otros segmentos como se muestran en las Figuras 7 y 8. En un primer nuevo campo 91 es proporcionado un valor de disparidad de subtítulo. El campo Subtitle_disparity podría ser indicado por 0-127 para la disparidad positiva (el cambio de vista izquierda a la vista izquierda y derecha a la derecha) , y 128-255 para la disparidad negativa (el cambio de vista izquierda a la derecha y de vista derecha a la izquierda) . En nuevos campos adicionales, podría ser proporcionado otro valor de disparidad, como un segundo nuevo campo 92 para la disparidad de los datos de visualización en pantalla.
El campo OSD_disparity podría utilizar la misma definición como disparidad de subtítulo, aunque podría ser utilizado por el autor de contenido como una pista para el dispositivo de reproducción para determinar en dónde posicionar cualquier OSD. Los valores 0 y FF podrían indicar que no todos los datos auxiliares están presentes.
En una modalidad tradicional, será' discutido el manejo de las visualizaciones en pantalla (OSD, por sus siglas en inglés) . Durante la operación normal, un receptor podría tener que visualizar algún tipo de mensaje de visualización en pantalla (OSD) al usuario en respuesta a un evento provocado, ya sea por el usuario, por el sistema CI o por el canal de radiodifusión. Durante una transmisión 3D, la visualización de este mismo OSD en la profundidad equivocada de pantalla puede provocar que este no pueda leerse. Durante una transmisión 3D es esencial que el receptor conozca a que profundidad se coloca el OSD y si no puede encontrarse una profundidad adecuada, el receptor podría cambiar la totalidad del video "hacia atrás" o cambiará hacia 2D. La información que un receptor necesita acerca de la transmisión es el "volumen" de la imagen 3D, que puede ser expresado en términos de la disparidad "mínima y máxima" . La disparidad "máxima" es la distancia lejana del usuario, un número positivo grande, y la disparidad "mínima" es la distancia hacia el usuario, un número negativo grande. La disparidad mínima puede ser utilizada por el receptor para garantizar que su OSD todavía se encuentre más cercana al usuario. Sin embargo, si éste se encuentra demasiado cercano, la disparidad máxima puede ser utilizada, de modo que el receptor podría elegir el cambio de la totalidad del video hacia atrás, por detrás de la pantalla. Sin embargo, un receptor nunca podría cambiar el video más allá de la "infinidad" de modo que en este caso, el receptor podría elegir cambiar el video a 2D. En la elección del lugar en donde comunicar la disparidad mínima y máxima, las capacidades del radiodifusor tienen que ser tomadas en consideración. Un radiodifusor, ciertamente durante las transmisiones en directo, nunca puede transmitir en tiempo real, la disparidad exacta mínima y máxima de la trasmisión, puesto que ésta cambia muy rápido. Asimismo, a partir de experimentos, se conoce que la OSD no debe cambiar la disparidad en forma rápida, sobre todo, si sólo comunica un mensaje que es constante durante varios minutos. En función de las capacidades y grado de lectura de los radiodifusores, un lugar lógico para la disparidad mínima y máxima es el EIT o, si el servicio siempre es 3D, en el SDT. El EIT es el lugar adecuado si cualquiera del servicio cambia de 2D y 3D o si los eventos podrían cambiar en gran medida los intervalos de disparidad. El SDT es un mejor lugar, si el servicio siempre es 3D y el radiodifusor se mantiene por sí mismo en ciertos límites de disparidad. La PMT también es una posible ubicación, sólo si el servicio no siempre es 3D, aunque si éste cambia, cambia después de muchos eventos; básicamente durante los cambios de "tipo de flujo", que provocan una actualización de la versión PMT.
En la presente, se ha proporcionado una implementación detallada de la modalidad para el manejo de la visualización OSD. Se observa que estas medidas para la implementación del manejo de OSD podrían ser tomadas en independencia del manejo de subtítulo. En el caso que un receptor desee superponer la información de visualización en pantalla en la parte superior de la pantalla estereoscópica 3D, en forma adecuada, éste necesita la información acerca del intervalo de profundidad del video 3D. Este descriptor identifica los cambios del intervalo de profundidad de píxel, los cambios de píxel identificados aquí, junto con la resolución de video, definen el envolvente volumétrico del video durante el evento en el cual está contenido este descriptor con la información volumétrica del video, un receptor puede elegir un número de modos para visualizar, en forma adecuada, la información OSD. Este puede cambiar la totalidad del video hacia atrás, por detrás de la pantalla antes de visualizar la OSD en la parte frontal. También puede determinar que el volumen es demasiado grande y necesita se para 2D. Además también puede determinar que el volumen es demasiado pequeño para colocar sólo el OSD en la parte frontal superior sin afectar la profundidad del video.
Los campos relevantes son Maximum_horizontal_shift que identifica el cambio horizontal más grande, que corresponde con el objeto "más lejano", mientras el campo minimum_horizontal_shift identifica el cambio horizontal más pequeño que corresponde con el objeto "más cercano".
Por ejemplo, los valores de cambio horizontal indican un cambio horizontal en el número de píxeles en la dirección horizontal en cada vista. Un valor de cero significa que ningún cambio es aplicado. En el caso que sea negativo el valor de cambio horizontal, todos los píxeles identificados son cambiados hacia la derecha en la vista izquierda y hacia la izquierda en lá vista derecha. En el caso que sea positivo el valor de cambio horizontal, todos los píxeles identificados son cambiados hacia la izquierda en la vista izquierda y hacia la derecha en la vista derecha. El tamaño de píxel es uno fuera del ancho de pantalla horizontal de los píxeles, como es identificado en el nivel PES por el video. Sin embargo, pueden ser consideradas otras unidades (por ejemplo, el porcentaje del tamaño de pantalla) .
Regresando a las modalidades que describen los segmentos de disparidad, en una modalidad adicional, el segmento de disparidad es aplicado para transportar la disparidad de subtítulo, es decir, en un flujo de datos de video que tiene el subtítulo 2D con los datos auxiliares de disparidad, que podrían o no podrían ser combinados con el suministro del arreglo auxiliar del mismo subtítulos. Debido a que este segmento de disparidad se encuentra en el flujo elemental empaquetado (PES, por sus siglas en inglés) , muchos diferentes segmentos pueden ser transmitidos por segundo. En forma alterna, los segmentos de disparidad podrían contener una lista de disparidades con la información de temporización relacionada implícita o explícita con relación a la temporización de inicio.
De manera ventajosa, es conseguido un control muy dinámico de la disparidad. Como es mostrado en la Figura 9, el segmento de disparidad contendrá la información de disparidad de subtítulo y podría contener, de manera adicional, la disparidad OSD. El segmento también podría ser extendido para identificar la disparidad de las regiones y/u específicos. Estas regiones de segmento de disparidad son identificadas por medio de la respectiva region_id. La page_id de la actual región será igual a page_id del nuevo segmento de disparidad. Además, en el segmento extendido son identificados los objetos por medio del respectivo object_id. En el segmento extendido de disparidad podría existir una lista de objetos y regiones, cada una con su disparidad preferida. Para el comportamiento dinámico auxiliar, puede ser conseguido el arreglo de la posición de profundidad actualizando region_composition_segment con nuevos valores de las posiciones horizontales de los objetos, debido a que la posición horizontal corresponde con la disparidad.
La ventaja del comportamiento dinámico es que la disparidad (profundidad) de los subtítulos puede ser actualizada en una base de cuadro por cuadro. Esto es útil debido a las siguientes razones. Los conflictos de profundidad entre el video y los subtítulos deben ser editados puesto que esto realmente molesta. Sin embargo, la colocación de demasiados subtítulos en la parte frontal de la pantalla para evitar cualquier conflicto posible es extremadamente incómoda para el espectador. Por lo tanto, los inventores han visto la necesidad de que los subtítulos se muevan hacia adelante y hacia atrás en forma suave. Asimismo, mientras se observa una película, los ojos del espectador cambian entre el personaje que habla y los subtítulos. Es difícil cambiar hacia atrás y hacia adelante si el subtítulo se encuentra en una profundidad diferente que el personaje. De este modo, es mejor la colocación de los subtítulos en la misma profundidad que el personaje (si es posible mientras se intenta evitar los conflictos de profundidad) . Aunque el personaje puede mover la posición de profundidad, de modo que los subtítulos deben moverse con esta.
En una modalidad, el flujo de datos auxiliares comprende una estructura de composición de región que define una composición de una región en una página de los datos auxiliares que serán visualizados en el área de superposición, la estructura de composición de región comprende una secuencia de las estructuras de objeto, que definen una posición de un objeto gráfico, y las estructuras de objeto que incluyen un objeto de disparidad que comprende los datos auxiliares de disparidad.
El nuevo object-type es definido para llevar los datos de disparidad. En los subtítulos DVB, los datos de píxel para el subtítulo son llevados en object_data_fragments . El estándar 2D soporta objetos de mapa de bits o de carácter. Esto podría ser extendido para 3D con un nuevo objeto que sólo lleve los datos de disparidad. La sección de datos del objeto podría consistir de un byte único para indicar la disparidad de la página y las regiones asociadas o un mapa de bits completo que describa la disparidad por píxel de una región asociada o incluso un evento.
En una modalidad, el flujo de datos auxiliares comprende objetos, estos objetos definen los datos de píxel de los objetos gráficos que serán superpuestos, por ejemplo, como es definido con anterioridad. El flujo de datos auxiliares y el flujo adicional de datos auxiliares ahora utilizan las referencias a los mismos objetos para el compartimiento de los respectivos mismos objetos entre la vista izquierda auxiliar, la vista derecha auxiliar y/o la versión 2D de los datos auxiliares. Las referencias podrían aplicarse al otro flujo, por ejemplo, podrían proporcionar la información de dirección relativa con referencia a la correspondiente página del otro flujo. En forma alterna, ambos flujos podrían ser combinados en un flujo único multiplexado .
La señalización en el flujo de subtítulo DVB para indicar un desplazamiento o disparidad de los subtítulos es una solución adecuada aunque tiene la desventaja que no proporciona directamente la señalización de disparidad para MHEG o el teletexto, ambos de los cuales también pueden ser utilizados para los subtítulos.
La Figura 10 muestra un paquete de datos de flujo elemental empaquetado (PES) que define la disparidad. La figura muestra una tabla 95 que representa un paquete PES. Como tal, el paquete de datos de flujo elemental empaquetado (PES) es definido en ISO/IEC 13818-1. En una modalidad alternativa, se propone definir un nuevo paquete de datos PES, señalizado por separado en la PM que define la disparidad por cuadro de video o la marca de tiempo de presentación (PTS, por sus siglas en inglés) , por ejemplo, como es indicado en el campo adicional 96. En función de este descriptor, el dispositivo de reproducción puede determinar cuánto cambio aplica al subtítulo o los objetos gráficos.
El campo Video_min_disparity podría tener un valor de 0-255 para indicar la disparidad negativa del video en PTS de este paquete PES (el cambio del cuadro izquierdo hacia la derecha, y el cuadro derecho hacia la izquierda) . Un campo Data_identifier 97 podría indicar el nuevo tipo de paquete PES. Un nuevo valor para el identificador de datos es asignado en uno de los campos reservados para indicar el "descriptor de señalización de disparidad" .
La Figura 11 muestra los valores de identificador de datos para los paquetes PES. La figura muestra una tabla 98 que tiene valores que indican varios tipos de los paquetes PES. El valor de identificador de datos es un valor de 8 bits que identifica el tipo de datos llevados en un paquete PES. Un nuevo olor será agregado para indicar el "descriptor de señalización de disparidad" .
Se observará que la invención podría ser implementada en hardware y/o software, utilizando componentes programables . Un método para la implementación de la invención tiene las etapas que corresponden con las funciones definidas para el sistema como es descrito con referencia a la Figura 1.
Aunque la invención ha sido principalmente explicada por las modalidades utilizando la radiodifusión por medio de DVB, la invención también es adecuada para cualquier distribución de video por medio de un canal digital, por ejemplo, por medio de la Internet .
Será apreciado que la descripción anterior, por motivos de claridad, ha descrito las modalidades de la invención con referencia a las diferentes unidades y procesadores funcionales. Sin embargo, será aparente que cualquier distribución adecuada de funcionalidad entre las diferentes unidades o procesadores funcionales podría utilizarse sin desviarse de la invención. Por ejemplo, la funcionalidad ilustrada que será realizada por unidades, procesadores o controladores separados podría ser realizada por el mismo procesador o controladores. Por lo tanto, las referencias a las unidades específicas funcionales sólo serán observadas como referencias para los medios adecuados que proporcionan la funcionalidad descrita más que indicativa de una estructura u organización lógica o física estricta. La invención puede ser implementada en cualquier forma adecuada que incluye hardware, software, firmware o cualquier combinación de estos.
Se observa que en este documento, la palabra 'que comprende' no excluye la presencia de otros elementos o etapas que aquellos enlistados y la palabra 'un' o 'una' que parece de un elemento no excluye la presencia de una pluralidad de estos elementos, que cualquiera de los signos de referencia no limitan al alcance de las reivindicaciones, que la invención podría ser implementada por medio tanto de hardware como de software, y que los términos varios 'medios' o 'unidades' podrían ser representados por el mismo ítem de hardware o software, y un procesador podría cumplir con la función de una o más unidades, posiblemente en cooperación con los elementos de hardware. Además, la invención no es limitada a las modalidades, y la invención se sitúa en cada una y todas las características o nuevas combinaciones de las características descritas con anterioridad o que son señaladas en las reivindicaciones dependientes mutuamente diferentes .
Se hace constar que con relación a esta fecha, el mejor método conocido por la solicitante para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.

Claims (15)

REIVINDICACIONES Habiéndose descrito la invención como antecede, se reclama como propiedad lo contenido en las siguientes reivindicaciones:
1. Un método de procesamiento de información de video de tres dimensiones [ 3D] , que genera un flujo de transporte de datos para la transferencia de la información de video 3D de acuerdo con un formato de transmisión 2D , - la información de video 3D comprende datos de video 3D y datos auxiliares, los datos de video 3D comprenden al menos una vista izquierda y una vista derecha que serán visualizadas para los respectivos ojos de un espectador para la generación de un efecto 3D , los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D , caracterizado porque comprende - colocar los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal, - proporcionar los datos de control que comprenden los parámetros para un receptor que permite que el receptor reproduzca los datos principales de video y que superponga los datos auxiliares, - ensamblar el flujo de transporte de datos que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control, el cual además comprende - proporcionar una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - colocar los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - colocar los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - incluir, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
2. El método de conformidad con la reivindicación 1, caracterizado porque los datos de control incluyen un indicador de formato 3D de acuerdo con una extensión 3D del formato de transmisión 2D, indicativo del arreglo principal de los datos de video 3D de la vista izquierda y la vista derecha en el cuadro 2D.
3. El método de conformidad con la reivindicación 2, caracterizado porque el arreglo auxiliar sólo es indicativo por medio del indicador de formato 3D indicativo del arreglo principal.
4. El método de conformidad con la reivindicación 1, caracterizado porque los datos auxiliares de disparidad comprenden los datos de disparidad de región al menos para una región en el área de superposición indicativa de la disparidad de los datos auxiliares en la respectiva región cuando se superponen sobre la vista izquierda y la vista derecha.
5. El método de conformidad con la reivindicación 4, caracterizado porque el flujo de datos auxiliares comprende una estructura de composición de página que define una composición de una página de los datos auxiliares que serán visualizados en el área de superposición, la estructura de composición de página comprende al menos una definición de región, que define una ubicación y los datos de disparidad de región de una respectiva región.
6. El método de conformidad con la reivindicación 4, caracterizado porque el flujo de datos auxiliares comprende una estructura de composición de región que define una composición de una región en una página de los datos auxiliares, la estructura de composición de región comprende los datos de disparidad de región de la región.
7. El método de conformidad con la reivindicación 1, caracterizado porque el flujo de datos auxiliares comprende una estructura de composición de región que define una composición de una región en una página de los datos auxiliares que serán visualizados en el área de superposición, la estructura de composición de región comprende una secuencia de las estructuras de objeto, que definen una posición de un objeto gráfico, y las estructuras de objeto que incluyen un objeto de disparidad que comprende los datos auxiliares de disparidad, o el flujo de datos auxiliares comprende una definición de visualización, que define el área de superposición para una página de los datos auxiliares, la definición de visualización define una posición del área de superposición y los datos auxiliares de disparidad.
8. El método de conformidad con la reivindicación 1, caracterizado porque el flujo de datos auxiliares comprende objetos, estos objetos definen los datos de píxel de los objetos gráficos que serán superpuestos, y el flujo de datos auxiliares y el flujo adicional de datos auxiliares comprende las referencias a los mismos objetos para el compartimiento de los respectivos mismos objetos entre la vista izquierda auxiliar, la vista derecha auxiliar y/o la versión 2D de los datos auxiliares.
9. El método de conformidad con la reivindicación 1, caracterizado porque el flujo de datos de transporte comprende un tipo de segmento adicional de acuerdo con la extensión 3D del formato de transmisión 2D, el tipo de segmento adicional comprende un descriptor de disparidad estereoscópica que comprende los datos auxiliares de disparidad.
10. El método de conformidad con la reivindicación 1, caracterizado porque el flujo de datos de transporte comprende paquetes de datos de flujo elemental empaquetado [PES] que, de acuerdo con la extensión 3D del formato de transmisión 2D, comprenden los datos auxiliares de disparidad.
11. El método de conformidad con la reivindicación 1, caracterizado porque los datos auxiliares comprenden subtítulos.
12. Un dispositivo para el procesamiento de información de' video de tres dimensiones [3D] que genera un flujo de transporte de datos para la transferencia de la información de video 3D de acuerdo con un formato de transmisión 2D, - la información de video 3D comprende datos de video 3D y los datos auxiliares, los datos de video 3D comprenden al menos una vista izquierda y una vista derecha que serán visualizadas para los respectivos ojos de un espectador para la generación de un efecto 3D, los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D, el dispositivo comprende un procesador de video para - colocar los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal, - proporcionar los datos de control que comprenden los parámetros para un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares, - ensamblar el flujo de transporte de datos que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control, caracterizado porque el procesador de video además es colocado para - proporcionar una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - colocar los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - colocar los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - incluir, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
13. Una señal para la transferencia de información de video de tres dimensiones [3D] , - la información de video 3D comprende datos de video 3D y los datos auxiliares, los datos de video 3D comprenden al menos una vista izquierda y una vista derecha que serán visualizadas para los respectivos ojos de un espectador para la generación de un efecto 3D, los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D, caracterizada porque comprende - los datos de video 3D de la vista izquierda y la vista derecha en un cuadro 2D para los datos principales de video de acuerdo con el formato de transmisión 2D en un arreglo principal , - los datos de control que comprenden los parámetros par a un receptor que permiten que el receptor reproduzca los datos principales de video y superponga los datos auxiliares, y - un flujo de transporte de datos que incluye los datos de video 3D en el arreglo principal, los datos auxiliares y los datos de control para su transmisión, la señal además comprende - una vista izquierda auxiliar y una vista derecha auxiliar de los datos auxiliares que serán superpuestas sobre la vista izquierda y la vista derecha de los datos de video 3D y una versión 2D de los datos auxiliares y los datos auxiliares de disparidad indicativa de la disparidad que será aplicada a la versión 2D de los datos auxiliares cuando se superpongan sobre la vista izquierda y la vista derecha, - los datos auxiliares de la vista izquierda auxiliar y la vista derecha auxiliar en un flujo de datos auxiliares de acuerdo con el formato de transmisión 2D en un arreglo auxiliar que corresponde con el arreglo principal, - los datos auxiliares de la versión 2D en un flujo adicional de datos auxiliares, - y, en el flujo de transporte, el flujo adicional de datos auxiliares, los datos auxiliares de disparidad y un indicador de formato de disparidad indicativos del flujo adicional de datos auxiliares.
14. Un receptor para el procesamiento de información de video de tres dimensiones [3D] , - la información de video 3D comprende datos de video 3D y los datos auxiliares, los datos de video 3D comprenden al menos una vista izquierda y una vista derecha que serán visualizadas para los respectivos ojos de un espectador para la generación de un efecto 3D, los datos auxiliares son colocados para su visualización en un área de superposición sobre los datos de video 3D, caracterizado porque comprende - una unidad de entrada para la recepción de la señal como es definido la reivindicación 13, y un procesador de video que recupera los datos auxiliares del flujo adicional de datos auxiliares, mientras desecha los datos auxiliares en el arreglo auxiliar proporcionado en el flujo de datos auxiliares, y genera los datos de superposición para la visualización en el área de superposición sobre los datos de video 3D en función de la versión 2D de los datos auxiliares y los datos auxiliares de disparidad.
15. El programa de producto de computadora para el procesamiento de la información de video de tres dimensiones [3D] , caracterizado porque es operativo para provocar que el procesador realice el método de conformidad con cualquiera una de las reivindicaciones 1-11.
MX2013000348A 2010-07-12 2011-07-06 Datos auxiliares en radiodifusion de video de tres dimensiones. MX2013000348A (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10169203A EP2408211A1 (en) 2010-07-12 2010-07-12 Auxiliary data in 3D video broadcast
EP10188536 2010-10-22
PCT/IB2011/052993 WO2012007876A1 (en) 2010-07-12 2011-07-06 Auxiliary data in 3d video broadcast

Publications (1)

Publication Number Publication Date
MX2013000348A true MX2013000348A (es) 2013-03-08

Family

ID=44501769

Family Applications (1)

Application Number Title Priority Date Filing Date
MX2013000348A MX2013000348A (es) 2010-07-12 2011-07-06 Datos auxiliares en radiodifusion de video de tres dimensiones.

Country Status (11)

Country Link
US (1) US9986220B2 (es)
EP (1) EP2594079B1 (es)
JP (1) JP5960133B2 (es)
KR (1) KR101819736B1 (es)
CN (1) CN103026713B (es)
BR (1) BR112013000580B1 (es)
ES (1) ES2670663T3 (es)
MX (1) MX2013000348A (es)
RU (1) RU2589307C2 (es)
TW (1) TWI568239B (es)
WO (1) WO2012007876A1 (es)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041772B2 (en) * 2009-04-07 2015-05-26 Lg Electronics Inc. Broadcast transmitter, broadcast receiver, and 3D video data processing method thereof
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
EP2806644A4 (en) * 2012-01-18 2014-11-26 Panasonic Corp TRANSMISSION DEVICE, VIDEO DISPLAY DEVICE, TRANSMISSION METHOD, VIDEO PROCESSING METHOD, VIDEO PROCESSING PROGRAM AND INTEGRATED CIRCUIT
WO2013128765A1 (ja) * 2012-02-27 2013-09-06 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
EP2803197A1 (en) * 2012-04-10 2014-11-19 Huawei Technologies Co., Ltd Method and apparatus for providing a display position of a display object and for displaying a display object in a three-dimensional scene
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US9716737B2 (en) 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
EP3125567B1 (en) * 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
JP6471359B2 (ja) 2014-07-17 2019-02-20 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
EP3185577B1 (en) 2014-08-21 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
CN106412718A (zh) * 2016-09-18 2017-02-15 乐视控股(北京)有限公司 一种字幕在3d空间中的渲染方法及其装置
CN108881877B (zh) 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
KR102897168B1 (ko) 2021-02-25 2025-12-08 삼성전자주식회사 Ar/vr 환경을 제공하는 전자 장치 및 그 운용 방법
US11743440B2 (en) 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA05008086A (es) * 2003-07-07 2005-09-21 Samsung Electronics Co Ltd Medio de almacenamiento de informacion que guarda datos de multiples angulos y metodo de grabacion y aparato de reproduccion del mismo.
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
JP5859309B2 (ja) 2008-11-24 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3dビデオ及び補助データの組み合わせ
EP2356820B1 (en) 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
WO2010076846A1 (ja) * 2008-12-29 2010-07-08 パナソニック株式会社 記録媒体、再生装置、及び集積回路
EP2389767A4 (en) * 2009-01-20 2013-09-25 Lg Electronics Inc 3D SUBTITLE DISPLAY METHOD AND 3D SUBTITLE DISPLAY DEVICE FOR USING THIS METHOD
WO2010095381A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
US8723927B2 (en) * 2009-03-31 2014-05-13 Daniel Rosen Subtitling stereographic imagery
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
EP2489197A4 (en) * 2009-10-13 2014-03-05 Lg Electronics Inc BROADCAST RECEIVER AND METHOD FOR PROCESSING 3D VIDEO DATA THEREFOR
CN102334339A (zh) * 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法
CN102845067B (zh) * 2010-04-01 2016-04-20 汤姆森许可贸易公司 三维(3d)呈现中的字幕
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
US9055281B2 (en) * 2010-05-20 2015-06-09 Samsung Electronics Co., Ltd. Source device and sink device and method of transmitting and receiving multimedia service and related data
CN105163105B (zh) * 2010-05-30 2018-03-27 Lg电子株式会社 处理和接收用于3维字幕的数字广播信号的方法和装置

Also Published As

Publication number Publication date
TW201223246A (en) 2012-06-01
CN103026713A (zh) 2013-04-03
JP5960133B2 (ja) 2016-08-02
US9986220B2 (en) 2018-05-29
JP2013540374A (ja) 2013-10-31
US20130106999A1 (en) 2013-05-02
ES2670663T3 (es) 2018-05-31
WO2012007876A1 (en) 2012-01-19
EP2594079A1 (en) 2013-05-22
CN103026713B (zh) 2016-02-24
RU2013105715A (ru) 2014-08-20
BR112013000580A2 (pt) 2016-07-05
RU2589307C2 (ru) 2016-07-10
KR20130135828A (ko) 2013-12-11
BR112013000580B1 (pt) 2022-03-29
EP2594079B1 (en) 2018-03-21
TWI568239B (zh) 2017-01-21
KR101819736B1 (ko) 2018-02-28

Similar Documents

Publication Publication Date Title
JP5960133B2 (ja) 3dビデオ放送における補助データ
CN104822071B (zh) 提供立体视频广播服务的数据流的发送方法和接收方法
US20120033039A1 (en) Encoding method, display device, and decoding method
CN102640506B (zh) 生成3d视频信号
US20110037833A1 (en) Method and apparatus for processing signal for three-dimensional reproduction of additional data
US9386293B2 (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices
JP2015136141A (ja) 3次元映像の再生のための付加情報が挿入された3次元映像データストリーム生成方法及びその装置、3次元映像の再生のための付加情報が挿入された3次元映像データストリーム受信方法及びその装置
CN102883172A (zh) 接收装置、接收方法和发送接收方法
WO2013031549A1 (ja) 送信装置、送信方法および受信装置
JP5955851B2 (ja) 3d画像データの転送
EP2408211A1 (en) Auxiliary data in 3D video broadcast
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
KR20130046404A (ko) 디지털 단말에서의 2d 모드 재생을 위한 송신 장치, 디지털 단말에서의 2d 모드 재생 장치 및 그 방법들
HK1182866B (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices

Legal Events

Date Code Title Description
FG Grant or registration