[go: up one dir, main page]

MX2013008311A - Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video. - Google Patents

Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video.

Info

Publication number
MX2013008311A
MX2013008311A MX2013008311A MX2013008311A MX2013008311A MX 2013008311 A MX2013008311 A MX 2013008311A MX 2013008311 A MX2013008311 A MX 2013008311A MX 2013008311 A MX2013008311 A MX 2013008311A MX 2013008311 A MX2013008311 A MX 2013008311A
Authority
MX
Mexico
Prior art keywords
video
video stream
images
stream
compatible
Prior art date
Application number
MX2013008311A
Other languages
English (en)
Inventor
Hiroshi Yahata
Tomoki Ogawa
Tadamasa Toma
Taiji Sasaki
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of MX2013008311A publication Critical patent/MX2013008311A/es

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Se proporcionan un dispositivo de codificación de video que codifica video de alta calidad, restringiendo el incremento del ancho de banda necesario, mientras se mantiene compatibilidad de reproducción con dispositivos de reproducción que se conforman a la norma MPEG-2, y dispositivo de reproducción de video. El dispositivo de creación de datos 5401 incluye: codificador de video compatible con 2D 2602, que genera un flujo que se conforma a formato MPEG-2 al codificar por compresión video original de calidad normal; un codificador de video de vista base 2605 que genera flujo, compuesto de imágenes negras, imágenes que incluyen el mismo número de imágenes que el flujo que se obtiene al codificar por compresión video original; y el codificador de video de vista dependiente 5409 que genera flujo de video de vista dependiente al codificar por compresión video original de calidad más alta, usando, como imágenes de referencia, imágenes incluidas en el flujo que se conforma al formato MPEG-2 que tengan la misma información de tiempo que imágenes incluidas en el flujo de video de vista base que corresponda a imágenes que constituyan video original de calidad más alta.

Description

CODIFICADOR DE VIDEO, METODO DE CODIFICACION DE VIDEO, PROGRAMA DE CODIFICACION DE VIDEO, DISPOSITIVO DE REPRODUCCION DE VIDEO, METODO DE REPRODUCCION DE VIDEO Y PROGRAMA DE REPRODUCCION DE VIDEO Campo de la Invención La presente invención se refiere a, una tecnología para codificar y decodificar video, y en particular a mantener compatibilidad de reproducción.
Antecedentes de la Invención En años recientes, la difusión de TV digital se ha vuelto popular en Japón, Estados Unidos y otros países. Las imágenes de video y similares que serán transmitidas por medio de las ondas de difusión son codificadas por compresión con base en la norma MPEG-2 (siglas en inglés para Grupo de Expertos en Imágenes en Movimiento-2 ) . Muchos espectadores de la difusión por TV digital tienen oportunidades de ver video de definición o resolución más alta (en adelante este video se denomina "video de alto grado") , mediante medios de grabación tales como BD (Disco Blu-ray) . En consecuencia, se está incrementando la demanda por ver video de alto grado por medio de difusión de TV digital. Los formatos de codificación para codificar por compresión con alta eficiencia video de alto . grado incluyen, por ejemplo, el formato PEG-4 MVC (siglas en inglés para Codificación de Video de Varias Vistas REF. : 242248 del Grupo de Expertos en Imágenes en Movimiento- ) revisado a partir de la norma MPEG-4 AVC/H.264 (véase Literatura No de Patente 1) . La demanda anterior será satisfecha si se transmite video que haya sido codificado por compresión en este formato de codificación.
Sin embargo, los dispositivos de reproducción para la difusión por TV digital que ya se han expandido en el mercado soportan videos que han sido codificados por compresión en el formato MPEG-2, y no pueden recibir y reproducir videos codificados por compresión en el formato MPEG-4 MVC, incluso si estos videos son transmitidos. De esta manera, existe un problema con respecto a la compatibilidad de reproducción. El problema de la compatibilidad de reproducción se evitará si video, el cual es multiplexado con video de una calidad de imagen normal que ha sido codificado por compresión en el formato MPEG-2 y se transmite un video de alto grado que ha sido codificado por compresión en el formato MPEG- .
Lista de citas Literatura no de patente Literatura no de patentel: ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding" Breve descripción de la invención Problema técnico . , Sin embargo, cuando se va a transmitir este video, en el cual se han multiplexado video A de una calidad de imagen normal que ha sido codificada por compresión en el formato MPEG-2 y video B que es un video de alto grado que ha sido codificado por compresión en el formato MPEG-4, se necesita una suma de anchos de banda que se requieren para transmitir videos A y B, la suma siendo más amplia que el ancho de banda requerido para transmitir ya sea video A o video B. Este ' problema no está limitado a la difusión. Por ejemplo, cuando este video, en el cual se han multiplexado video A de calidad de imagen normal A que ha sido codificado por compresión en. el formato MPEG-2 y video B que es un video de alto grado que ha sido codificado por compresión en el formato MPEG-4, se graba en un medio de grabación o similar, la capacidad de grabación requerida para grabar ambos videos A y B es igual a la suma de las capacidades de grabación requeridas para grabar los videos A y B respectivamente, que es más grande que la capacidad de grabación requerida para grabar ya sea video A o video B.
Por lo tanto, un objetivo de la presente invención es proporcionar un dispositivo de codificación de video que codifique un video de alto grado, restringiendo el incremento de la cantidad de datos requerida, mientras se mantiene compatibilidad de reproducción con dispositivos de reproducción que se conforman a la norma MPEG-2,'' 'y un dispositivo de reproducción de video.
Solución al problema El objetivo anterior es satisfecho por un dispositivo de codificación de video que comprende: una primera unidad de codificación configurada para generar un flujo de video que se conforma al formato MPEG-2 al codificar por compresión un primer video de una primera calidad convertido a partir de un video original; una segunda unidad de codificación configurada para generar un flujo de video de vista de base y un flujo de video de vista dependiente que se conforman ambos al formato MPEG-4 MVC que permite una referencia entre vistas; y una unidad de salida configurada para dar salida a los flujos de video generados por la primera unidad de codificación y la segunda unidad de codificación, en donde la segunda unidad de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que, y que tienen menos cantidad de datos totales que, el flujo de video generado por codificación por compresión del primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, imágenes incluidas en el flujo de video que se conforma al formato MPEG-2 que tienen la misma información de tiempo que imágenes incluidas en el flujo de video de vista de base y que corresponde a imágenes que constituyen el segundo video, el segundo . video siendo de una segunda calidad más alta que la primera calidad y siendo convertido a partir del video original.
Efectos ventajosos de la invención Con la estructura descrita arriba, el dispositivo de codificación de video puede codificar por compresión el video de la segunda calidad más alta que la primera calidad, restringiendo el incremento de la cantidad requerida de datos en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción del video de la primera calidad, con dispositivos de reproducción que se conformen a la norma PEG-2.
Breve descripción de las figuras La figura 1 ilustra la relación de referencia entre imágenes en un flujo de video.
La figura 2 ilustra codificación en el formato MPEG-4 MVC. ::, La figura 3 ilustra referencia de imágenes cuando la vista de base y la vista dependiente se basan en diferentes codees.
La figura 4 es un diagrama esquemático que ilustra un ejemplo de generar imágenes de disparidad de imágenes de ojo izquierdo y ojo derecho a partir de un video en 2D y un mapa de profundidad.
Las figuras 5A, 5B, 5C y 5D ilustran una forma de uso del dispositivo de reproducción.
La figura 6 ilustra la estructura de un flujo digital en el formato de flujo de transporte.
La figura 7 ilustra la estructura de un flujo de video .
La figura 8 ilustra información diaria de corte e información de escalamiento.
La figura 9 ilustra métodos específicos para especificar la información de área de corte e información de escalamiento.
La figura 10 ilustra la estructura del paquete PES.
La figura 11 ilustra la estructura de datos del paquete TS en una secuencia de paquetes TS que constituye un flujo de transporte.
La figura 12 ilustra la estructura de datos de la P T.
La figura 13 ilustra un ejemplo de cómo se presenta visualmente una imagen estereoscópica.
La figura 14 ilustra el formato colateral.
La figura 15 ilustra una vista estereoscópica por el formato de codificación de varias vistas.
La figura 16 ilustra la estructura de la unidad de acceso de video.
La figura 17 ilustra la relación entre las unidades de acceso de video e imágenes que constituyen el flujo de video de vista base y flujo de video de ojo derecho. ¦¦:'·> La figura 18 ilustra un ejemplo de la relación entre PTSs y DTSs asignados a las unidades de acceso de video que constituyen el flujo de video de vista base y el flujo de video de vista dependiente incluidos en el flujo de video.
La figura 19 ilustra la estructura GOP del flujo de video de vista base y el flujo de video de vista dependiente.
La figura 20 ilustra la estructura de datos de unidades de acceso de video incluidas en el GOP dependiente.
La figura 21 ilustra la estructura de datos del flujo de transporte.
La figura 22 ilustra atributos de video que serán igualados entre el flujo de video compatible con 2D que se conforma al video MPEG-2 y el flujo de video de varias vistas que se conforma a MPEG-4 MVC, y nombres de campo de los campos que indican los atributos de video.
La figura 23 ilustra un ejemplo de la relación entre el PTS, DTS y tipo de imagen asignado a cada unidad de acceso de video en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente en el flujo de transporte.
La figura 24 ilustra un ejemplo de la relación preferida entre imágenes que facilita la reproducción de truco en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente.
La figura 25 ilustra la estructura GOP en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente de acuerdo con la presente modalidad.
La figura 26 ilustra el dispositivo de creación de datos de acuerdo con la modalidad 1.
La figura 27 ilustra el flujo de creación de datos del dispositivo de creación de datos de acuerdo con la modalidad 1.
La figura 28 ilustra la estructura del dispositivo de reproducción para reproducir el video en 3D en la modalidad 1.
La figura 29 ilustra un decodificador de video y un decodificador de video de varias vistas.
La figura 30 es un diagrama de flujo que ilustra los procedimientos del proceso de decodificación y proceso de salida de imágenes de video en 3D llevado a cabo por el dispositivo de reproducción en la modalidad 1.
La figura 31 ilustra un manejo de la memoria de almacenamiento temporal de vista intermedia en el dispositivo de reproducción para reproducir video en 3D en la modalidad 1.
La figura 32 ilustra una modificación del manejo de la memoria de almacenamiento temporal entre vistas en el dispositivo de reproducción para reproducir el video en 3D en la modalidad 1.
La figura 33 ilustra cómo compartir una memoria de almacenamiento temporal en el dispositivo de reproducción para reproducir el video en 3D en la modalidad 1.
La figura 34 ilustra una modificación a la parte de salida de video en el dispositivo de reproducción para reproducir el video en 3D en la modalidad 1.
La figura 35 ilustra una modificación al método para asignar el PTS y DTS al flujo de transporte para el video en 3D en la modalidad 1.
La figura 36 ilustra la relación entre la estructura del flujo de transporte y el paquete PMT en la modalidad .1.
La figura 37 ilustra la estructura del descriptor de información 3D.
La figura 38 ilustra el formato de reproducción por el descriptor de información 3D.
La figura 39 ilustra la estructura del descriptor de flujo 3D.
La figura 40 ilustra un método de cambio de acuerdo con un formato de reproducción en el dispositivó de reproducción para reproducir el video en 3D en la presente modalidad. . .
La figura 41 ilustra la relación entre el formato de reproducción, cambio de referencia entre codees y selector de planos.
La figura 42 ilustra el periodo de transición 2D que es provisto para permitir una transición suave entre formatos de reproducción.
La figura 43 ilustra la estructura del dispositivo de codificación que aplica un filtro de alta definición al resultado de decodificación del flujo de video compatible con 2D.
La figura 44 ilustra la estructura del dispositivo de reproducción que aplica un filtro de alta definición al resultado de decodificación del flujo de video compatible con 2D.
La figura 45 ilustra la estructura del dispositivo de reproducción para reproducir el video en 3D en la presente modalidad cuando el flujo de video de vista base y el flujo de video de vista dependiente sean transferidos en el mismo flujo. ' ¦ "; ' La figura 46 ilustra la estructura del dispositivo de reproducción cuando la vista base se basa en MPEG-4 AVC .
La figura 47 ilustra los problemas para lograr el video de alta definición de acuerdo con la modalidad 2 . · La figura 48 ilustra la estructura de datos del flujo de transporte en la modalidad 2.
La figura 49 ilustra una forma de uso de acuerdo con la modalidad 2.
La figura 50 ilustra la relación entíe la estructura del flujo de transporte y los paquetes PMT en la modalidad 2.
La figura 51 ilustra la estructura del descriptor de información de alta definición.
La figura 52 ilustra el formato de reproducción de alta definición.
La figura 53 ilustra la estructura del descriptor de flujos de alta definición.
La figura 54 ilustra la estructura del dispositivo de creación de datos en la modalidad 2.
La figura 55 es un diagrama de flujo que ilustra el flujo de creación de datos por el dispositivo de creación de datos en la modalidad 2.
La figura 56 ilustra el dispositivo de reproducción para reproducir video en alta definición en la modalidad 2.
La figura 57 es un diagrama de flujo que ilustra el proceso para decodificación y el proceso de salida llevados a cabo por el dispositivo de reproducción para reproducir video de alta definición en la modalidad 2.
La figura 58 ilustra la relación entre el formato de reproducción de alta definición, cambio de referencia entre codees y selector de planos.
La figura 59 ilustra la diferencia entre imágenes representada con una alta profundidad de color y una profundidad de bajo color.
La figura 60 ilustra los problemas para lograr video de alta profundidad de color de acuerdo con la modalidad 3.
La figura 61 ilustra un método para crear un flujo de video extendido llevando a cabo video de alta profundidad de color, y un método para componer flujos de video usando el flujo de video extendido llevando a cabo video de alta profundidad de color.
La figura 62 ilustra la estructura de datos del flujo de transporte en la modalidad 3.
La figura 63 ilustra la relación entre la estructura del flujo de transporte y los paquetes P T en la modalidad 3.
La figura 64 ilustra una forma de uso de acuerdo con la modalidad 3.
La figura 65 ilustra la estructura del dispositivo de creación de datos en la modalidad 3.
La figura 66 es un diagrama de flujo que ilustra el flujo de creación de datos por el dispositivo de creación de datos en la modalidad 3.
La figura 67 ilustra el dispositivo de reproducción para reproducir video de alta profundidad de color en la modalidad 3.
La figura 68 es un diagrama de flujo que ilustra el proceso de decodificación y proceso de salida llevados a cabo por el dispositivo de reproducción para reproducir video de alta profundidad de color en la modalidad 3.
La figura 69 ilustra un método de cambio de acuerdo con un formato de reproducción de alta profundidad de color en el dispositivo de reproducción para reproducir el video de alta profundidad de color en la modalidad 3.
La figura 70 ilustra la relación entre el formato de reproducción de alta profundidad de color, cambio de referencia entre codees y selector de planos.
La figura 71 ilustra los problemas para lograr video de alta resolución de acuerdo con la modalidad 4.
La figura 72 ilustra la estructura del formato de codificación escalable.
La figura 73 ilustra la estructura de datos del flujo de transporte en la modalidad 4.
La figura 74 ilustra la relación entre, la estructura del flujo de transporte y los paquetes . PMT .en la modalidad 4.
La figura 75 ilustra el método de escala.
La figura 76 ilustra una forma de uso de acúerdo con la modalidad 4.
La figura 77 ilustra la estructura del dispositivo de creación de datos en la modalidad .
La figura 78 es un diagrama de flujo que ilustra el flujo de creación de datos por el dispositivo de creación de datos de la modalidad 4.
La figura 79 ilustra el dispositivo de reproducción para reproducir video de alta resolución en la modalidad 4.
La figura 80 es un diagrama de flujo que ilustra los procedimientos del proceso de decodificación y proceso de salida durante la reproducción de video de alta resolución del dispositivo de reproducción en la modalidad 4.
La figura 81 ilustra la estructura de datos en una modificación de la modalidad 4.
La figura 82 ilustra la estructura del dispositivo de reproducción en una modificación de la modalidad 4.
La figura 83 ilustra la estructura de datos en una modificación de la modalidad 4.
La figura 84 ilustra la estructura del dispositivo de reproducción en una modificación de la modalidad 4.
La figura 85 ilustra la estructura del descriptor de determinación del formato de reproducción.
La figura 86 ilustra la estructura de datos en una modificación de la modalidad 1. ' La figura. 87 ilustra la estructura del dispositivo de creación de datos en una modificación de la modalidad 1.
La figura 88 ilustra la estructura del dispositivo de reproducción en una modificación de la modalidad 1.
La figura 89 ilustra un contorno del procedimiento para crear y reproducir un video diferencial logrando el video de alta definición.
La figura 90 ilustra la estructura de datos en una modificación de la modalidad 3.
La figura 91 ilustra la estructura de datos en una modificación de la modalidad 4.
La figura 92 ilustra la estructura de datos en una modificación de la modalidad 1.
La figura 93 ilustra la estructura de datos en una modificación de la modalidad 1.
La figura 94 ilustra la estructura de datos en una modificación de la modalidad 1.
La figura 95 ilustra la referencia entre vistas para reducir la cantidad de memoria requerida para almacenar imágenes de referencia para el video de alta definición.
La figura 96 ilustra el filtro de referencia de escalamiento.
La figura 97 ilustra la estructura del dispositivo de creación de datos en una modificación de la modalidad 1.
La figura 98 ilustra la estructura del dispositivo de reproducción de video en 3D en una modificación de la modalidad 1.
La figura 99 ilustra la estructura de datos en una modificación de la modalidad 1.
La figura 100 ilustra la estructura del dispositivo de creación de datos en una modificación de la modalidad 1.
La figura 101 ilustra la estructura del dispositivo de reproducción en una modificación de la modalidad 1.
La figura 102 ilustra la estructura del dispositivo de creación de datos en una modificación de la modalidad 1.
La figura 103 ilustra la estructura del dispositivo de creación de datos en una modificación de la modalidad 1.
La figura 104 ilustra la estructura del dispositivo de reproducción en una modificación de la modalidad 1.
La figura 105 ilustra la estructura de datos en una modificación de la modalidad 1.
La figura 106 ilustra la estructura de datos para lograr referencia entre vistas entre diferentes grupos de varias vistas en una modificación de la modalidad 1.
Descripción Detallada de l Invención 1. Modalidad 1 1-1. Breve Descripción Un sistema de difusión en una modalidad de la presente invención genera un video en 2D en el formato MPEG-2 que es una tecnología existente, genera un video en 3D compuesto de un flujo de video de vista base y un flujo de video de vista dependiente, en un formato nuevo que es generado al extender el formato MPEG-4 MVC (en la presente modalidad, el nuevo formato es denominado un formato que cumple con MPEG-4 MVC o un formato que cumple con MPEG-4 MVC), y transmite los videos generados.
En el lado de recepción, una parte de reproducción 2D de un dispositivo de reproducción decodifica el flujo, el cual ha sido codificado en el formato MPEG-2, en un formato de decodificación existente, y una parte de reproducción 3D decodifica el flujo de video de vista base y el flujo de video de vista dependiente, los cuales han sido codificados en cumplimiento con la MPEG-4 MVC, ' en un formato de decodificación que corresponda al nuevo formato de codificación, y los flujos decodificados son reproducidos.
La figura 21 ilustra la estructura de datos del flujo de transporte generado por el sistema de difusión de la presente modalidad. Como se ilustra en la figura 21, el flujo de transporte está compuesto de un flujo de video compatible con 2D A y flujo de video de varias vistas B. Este último flujo de video de varias vistas B está compuesto de un flujo de video de vista base Bl y un flujo de video de vista dependiente B2. El flujo de video compatible con 2D A se genera al codificar por compresión imágenes de ojo izquierdo, y el flujo de video de vista base Bl se genera al codificar por compresión imágenes de un color (por ejemplo, negro) (en adelante, la imagen de un color se denomina una "imagen negra") . Además, el flujo de video de vista dependiente B2 se general al codificar por compresión la diferencia entre las imágenes de ojo izquierdo y las imágenes de ojo derecho. Como se describió arriba, el flujo de video de vista base Bl se genera al codificar por compresión las imágenes negras y de esta manera no se puede usar como imágenes de referencia cuando se genera el flujo de video de vista dependiente B2. Esta es la diferencia del formato MPEG-4 MVC existente, y las imágenes de cuadro del flujo de video compatible con 2D A a las cuales los mismos valores de tiempo son asignados que a las imágenes de cuadro del flujo de video de vista base Bl se usan como las imágenes de referencia.
Con los flujos anteriores en el formato que cumple con MPEG- 4 -MVC, tanto el video en 2D como video en 3D pueden ser transmitidos, y el flujo de video de vista base Bl se genera al codificar por compresión las imágenes negras. Esto reduce extremadamente la velocidad de bits. Como resultado, tanto el video en 2D como el video en 3D pueden ser transmitidos dentro de las bandas de frecuencias asignadas existentes. Cuando flujos que han sido codificado's""; por compresión en el formato MPEG-4 MVC son decodificados , el flujo de video de vista dependiente es decodificado al referenciar imágenes de cuadro del flujo de video de vista base. En la presente modalidad, el flujo de video de vista dependiente es decodificado al referenciar imágenes de cuadro del flujo de video compatible con 2D que se genera al codificar por compresión imágenes de ojo izquierdo de conformidad con el formato MPEG-2. El formato que cumple con MPEG-4-MVC define, por ejemplo, un descriptor que instruye al lado de reproducción cambiar el objetivo de referencia en la decodificación del flujo de video de vista base al flujo de video compatible con 2D.
A continuación se describe el dispositivo de creación de datos y dispositivo de reproducción en una modalidad de la presente invención con referencia a las figuras acompañantes. 1-2. Dispositivo de creación de datos 1-2-2. Estructura A continuación se describe el dispositivo de creación de datos en una modalidad de la presente invención con referencia a las figuras acompañantes.
La figura 26 ilustra la estructura funcional de un dispositivo de creación de datos 2601 de acuerdo con la presente modalidad.
El dispositivo de creación de datos 2601 ingresa (i) secuencias de imágenes de ojo izquierdo y ojo derecho que constituyen un video en 3D y (ii) una secuencia de imágenes negras, y envía un flujo de transporte compuesto de un flujo de video compatible con 2D, un flujo de video de vista base y un flujo de video de vista dependiente que se conforman á un formato de datos descrito abajo.
El dispositivo de creación de datos 2601 incluye un codificador de video compatible con 2D 2602, un Dec (decodificador de video compatible con 2D) 2603, un codificador de video de varias vistas extendido 2604 y un ¦ multiplexor 2610.
El codificador de video de varias vistas extendido 2604 incluye un codificador de video de vista base 2605, una memoria de cuadro de video compatible con 2D 2608 y un codificador de video de vista dependiente 2609.
El codificador de video compatible con 2D 2602 ingresa una secuencia de imágenes de ojo izquierdo, genera un flujo de video compatible con 2D al codificar por compresión la secuencia de imágenes de ojo izquierdo en el formato MPEG- 2, y envía el flujo de video compatible con 2D.
El Dec 2603 decodifica imágenes codificadas por compresión en el flujo de video compatible con 2D, y envía imágenes codificadas que resultaron de la decodificación e información de codificación de video compatible con 2D 2606. Debe notarse aquí que la imagen es una imagen que constituye un cuadro o un campo, y es una unidad de codificación. Las imágenes decodificadas son almacenadas en una memoria de cuadros de video compatibles con 2D 2608 del codificador de video de varias vistas extendido 2604. Asimismo.,. la información de codificación de video compatible con 2D 2606 es ingresada en el codificador de video de vista base 2.605.
La información de codificación de video compatible con 2D 2606 incluye: información de atributos (resolución, relación de aspecto, velocidad de cuadros, especificación de progresivo o entrelazado, etc.) del flujo de video compatible con 2D decodificado; información de atributos de imagen (tipo de imagen, etc.) de la imagen objetivo; estructura GOP (siglas en inglés para grupo de imágenes); e información de administración de memoria de cuadros de video compatibles con 2D.
La información de administración de memoria de cuadros de video compatibles con 2D es información que asocia, con respecto a imágenes decodificadas almacenadas en la memoria de cuadro de video compatible con 2D 2608, direcciones de memoria, información de orden de presentación (tal como PTS (siglas en inglés para Marca de Tiempo de Presentación) y temporal_reference) e información de orden de codificación (tal como un orden de codificación de archivos y DTS (siglas en inglés para Marca de Tiempo de Decodificación) unos con otros. .
El codificador de video de varias vistas extendido 2604 . ingresa y codifica por compresión las imágenes decodificadas e información de codificación de video compatible con 2D enviada desde el Dec 2603, imágenes de ojo derecho e imágenes negras, y envía el flujo de video de vista base y flujo de video de vista dependiente. ' El codificador de video de vista base 2605 tiene una función de enviar, como el flujo de video de vista base, datos que han sido codificados por compresión cumpliendo con el formato MPEG-4 VC. Más específicamente, el codificador de video de vista base 2605 codifica por compresión las imágenes negras de acuerdo con la información de codificación de video compatible con 2D 2606, y envía el flujo de video de vista base y la información de codificación de vista base 2607.
La información de codificación de video de vista base 2607 incluye: información de atributos (resolución, relación de aspecto, velocidad de cuadros, especificación de progresivo o entrelazado, etc.) del flujo de video de vista base; información de atributos de imagen (tipo de imagen, etc.) de la imagen objetivo; estructura GOP e información de administración de memoria de cuadros de video de vista base.
El codificador de video de vista base 2605, cuando envía la información de codificación de video de vista base 2607, causa que la información de atributo del flujo de video de vista base incluya- los mismos valores que la información de atributos en la información de codificación de video compatible con 2D 2606. Además, el codificador de video de vista base 2605 codifica por compresión cada imagen negra al determinar el tipo de imagen de una imagen que tenga el mismo valor de tiempo de presentación que vaya a ser codificada por compresión, de acuerdo con la información de atributos- de imagen (tipo de imagen, etc.) y la estructura GOP incluida en la información de codificación de video compatible con. 2D 2606. Por ejemplo, cuando el tipo de imagen de una imagen en el tiempo "a" es imagen I de acuerdo con la información de codificación de video compatible con 2D 2606, y la imagen se ubica en el encabezado de un GOP, el codificador de video de vista base 2605 codifica por compresión una imagen negra que tenga el mismo valor de tiempo de presentación que la imagen en una imagen I, y la asigna como una unidad de acceso de video en el encabezado de un GOP en - el flujo de video de vista base.
Asimismo, cuando el tipo de imagen de una imagen en el tiempo "b" es imagen B que corresponde a la información de codificación de video compatible con 2D 2606, el codificador de video de vista base 2605 codifica por compresión una imagen negra que tenga el mismo valor de tiempo de presentación que la imagen en una imagen B. Cuando hace esto, el codificador de video de vista base 2605 causa que el DTS y PTS del flujo de video de vista base coincida con el OTS y PTS de una imagen que corresponda a una vista que tenga el mismo tiempo en el flujo de video compatible con 2D.
La información de administración de memoria de cuadros de video de vista base es información que asocia dos elementos de sintaxis entre si, en donde el primero de los dos elementos de sintaxis indica una dirección de memoria en la memoria de cuadros 2608 de una imagen decodificada que se obtiene al decodificar un flujo de video compatible con 2D con base en la información de administración de memoria de cuadros de video compatibles con 2D, e información de orden de presentación e información de orden de codificación de la imagen decodificada, y el segundo de los dos elementos de sintaxis se obtiene al convertir el primer elemento de sintaxis de conformidad con las reglas definidas en el método de codificación por compresión del flujo de video de vista base. Los elementos de sintaxis son elementos que definen información de atributos necesaria para codificación por un método de codificación por compresión que se conforma al formato MPEG-2 o MPEG-4 MVC, y que indique, por ejemplo, información de encabezado, tal como tipo de macro bloque, vector de movimiento y coeficiente de conversión.
El codificador de video de vista dependiente 2609 tiene una función de generar el flujo de video de vista dependiente en el formato que cumple con MPEG-4 -MVC . Más específicamente, el codificador de video de vista dependiente 2609 codifica por compresión las imágenes de ojo derecho con base en información incluida en la información de codificación de video de vista base 2607, y envía el flujo de video de vista dependiente. Aquí, el codificador de video de vista dependiente 2609 lleva a cabo la codificación por compresión al hacer referencia, por la referencia entre vistas, a las imágenes decodificadas almacenadas en la memoria de cuadros de video compatible con 2D. El medio de referencia entre vistas hace referencia a una imagen que representa una vista desde un punto de vista diferente. El codificador de video de vista dependiente 2609 determina un ID de imagen de referencia que se usará en la referencia entre vistas, con base en la información de administración de memoria de cuadros de video de vista base de la información de codificación de video de vista base 2607. Asimismo, el codificador de video de vista dependiente 2609 establece los mismos valores en la información de atributos de video del flujo de video de vista dependiente que en la información de atributos del flujo de video de vista base incluida en la información de codificación de video de vista base 2607.
Más aún, el codificador de video de vista dependiente 2609 codifica por compresión cada imagen de ojo derecho al determinar el tipo de imagen de una imagen objetivo de codificación, con base en la información de atributos de imagen (tipo de imagen, etc.) y la estructura GOP almacenada en la información de codificación de video de vista base 2607. Por ejemplo, cuando el tipo de imagen de una imagen en tiempo "a" es imagen I de acuerdo con la información de codificación de video de vista base 2607, y la imagen se ubica en la cabeza de un GOP, el codificador de video de vista dependiente 2609 codifica por compresión una imagen de ojo derecho al establecer el tipo de imagen de- una imagen del mismo tiempo "a" como imagen ancla, y la asigna como una unidad de acceso de video en la cabeza de un GOP dependiente. Se debe notar aquí que la imagen de ancla es una imagen que no hace referencia a ninguna imagen que preceda, en tiempo, la imagen, es decir, una imagen de la cual sea posible una reproducción directa. Asimismo, si el tipo de imagen de una imagen de tiempo "b" almacenada en la información de codificación de video de vista base 2607 es una imagen B, el codificador de video de vista dependiente 2609 establece el tipo dé imagen de la imagen del mismo tiempo "b" a una imagen B y codifica por compresión una imagen de ojo derecho.
Cuando se lleva a cabo la codificación por compresión, el codificador de video de vista dependiente 2609 causa que el DTS .y PTS del flujo de video de vista dependiente coincidan con el DTS y PTS de una imagen que corresponda a una vista que será presentada visualmente al mismo tiempo en el flujo de video de vista base.
El multiplexor 2610 convierte el flujo de video compatible con 2D enviado, y flujos de video de vista base y vista dependiente en paquetes PES (Flujo Elemental Empaquetado) , divide los paquetes PES en unidades de paquetes TS, y envía los paquetes TS resultantes como un flujo de transporte multiplexado .
Nótese que diferentes PIDs son asignados al flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente de tal manera que el dispositivo de reproducción puede identificar los flujos de video respectivos de los datos de flujo del flujo de transporte multiplexado . 1-2-2. Formato de datos A continuación se describe el formato de datos con referencia a las figuras anexas.
La figura 22 ilustra atributos de video que serán igualados entre codificación por compresión en el formato MPEG-2 y codificación por compresión en el formato MPEG-4 VC, y nombres de campo de los campos que indican los atributos de video.
Cuando una imagen del flujo de video de vista dependiente es decodificada , para una imagen del flujo de video compatible con 2D, el cual ha sido codificado por un formato de codificación por compresión diferente, que será referenciado fácilmente, valores de los atributos de video que indican la resolución, relación de aspecto, velocidad de cuadros, especificación de progresivo o entrelazado, .etc., ilustrados en la figura 22 se establecen para ser iguales entre imágenes de los diferentes formatos de codificación.
La figura 25 ilustra la estructura GOP en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente de acuerdo con la presente modalidad.
Con esta estructura, un GOP en el flujo de video compatible con 2D, en el flujo de video de vista base y en el flujo de video de vista dependiente cada uno tiene el mismo número de imágenes. Es decir, cuando una imagen del flujo de video compatible con-2D se ubica en la cabeza de un GOP, una imagen del flujo de video de vista base que tenga el mismo valor de PTS y una imagen del flujo de video de vista dependiente que tenga el mismo valor de PTS tienen que ser ubicadas en la cabeza de un GOP y en la cabeza de un GOP dependiente, respectivamente.
Esta estructura simplifica el procesamiento de una reproducción directa. Esto es debido a que, si una imagen del flujo de video compatible con 2D, que se especifica cuando una reproducción directa es instruida, es una imagen I, todos los flujos de video pueden ser decodificados a partir de ese momento.
Cuando el flujo de transporte se almacena cómo un archivo, información de mapas de entrada puede ser almacenada como información de administración para indicar dónde se almacena en el archivo la imagen en la cabeza de un GOP. Por ejemplo, en el formato de disco Blu-ray, esta información de mapas de entrada se almacena en un archivo separado como un archivo de información de administración.
En el flujo de transporte de la presente modalidad, cuando la posición de la imagen en la cabeza de cada GOP en el flujo de video compatible con 2D se registra en un mapa de entradas, las posiciones de la vista base y la vista dependiente del mismo tiempo son también registradas en el mapa de entradas. Con esta estructura, hacer referencia al mapa de entradas simplifica una reproducción directa de un video en 3D.
La figura 36 ilustra la relación entre la estructura del flujo de transporte y el paquete PMT (siglas en inglés para Tabla de Mapas de Programa) . En un flujo de transporte que incluye un flujo de un video en 3D, información de señalización, la cual se usa cuando el video en 3D es decodificado, se incluye en el paquete de sistema tal como el paquete PMT. Como se ilustra en la figura 36, el paquete PMT almacena un descriptor de información 3D y descriptor de flujo 3D. El descriptor de información 3D se usa para señalizar la relación entre flujos de video y el inicio y fin de una reproducción de video 3D en el presente formato. El descriptor de flujos 3D se establece para cada flujo de video .
La figura 37 ilustra la estructura del descriptor de información 3D.
El descriptor de información 3D está compuesto de un formato de reproducción, un tipo de video de ojo izquierdo, un PID de video compatible con 2D, un PID de video de vista base y un PID de video de vista dependiente.
El formato de reproducción es información para señalizar el método de reproducción del dispositivo de reproducción .
A continuación se describe el formato de reproducción con referencia a la figura 38.
Cuando el formato de reproducción se establece en "0", indica reproducción de un video en 2D lograda por la reproducción del flujo de video compatible con 2D. En este caso, el dispositivo de reproducción lleva a cabo reproducción de video en 2D al reproducir sólo el flujo de video compatible con 2D.
Cuando el formato de reproducción se establece en "1", indica reproducción de un video en 3D lograda al reproducir el flujo de video compatible con 2D y el flujo de video de vista dependiente (en particular, el formato de reproducción de video en 3D explicado en la presente modalidad) . En este caso, el dispositivo de reproducción lleva a cabo reproducción del video en 3D al reproducir el flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente, por el método de reproducción explicado en la presente modalidad. El método de reproducción de imágenes de video 3D de la presente modalidad se describe a continuación.
Cuando el formato de reproducción se establece en "2", indica reproducción de un video en 3D lograda al reproducir el flujo de video de vista base y el flujo de video de vista dependiente. En otras palabras, cuando el formato de reproducción se establece en "2", indica que el flujo de video compatible con 2D y el flujo de video de varias vistas que constituye el video en 3D han sido generados al codificar por compresión diferentes videos y no están en una relación de referencia. En este caso, el dispositivo de reproducción lleva a cabo reproducción del video en 3D al reproducir estos flujos de video como los flujos de video que se obtienen por la codificación por compresión normal que se conforma al formato PEG-4 MVC.
Cuando el formato de reproducción se establece en "3", indica una reproducción doble lograda por la reproducción del flujo de video compatible con 2D o el flujo de video de vista base, y el dispositivo de reproducción lleva a cabo la reproducción duplicada. Reproducción duplicada se refiere a enviar ya sea una imagen' de /" ista izquierda o una imagen de vista derecha en un momento dado "a" tanto a los planos I como D. En la reproducción por este método de reproducción, el usuario ve las mismas imágenes en pantalla que cuando el video en 2D es reproducido. Sin embargo, no se presenta un cambio de velocidad de cuadros cuando el video en 3D es reproducido. Como resultado, la reautenticación del dispositivo de reproducción no es necesaria cuando el dispositivo de reproducción es conectado con un presentador visual o similar por medio de la HDMI (Interfaz Multimedia de Alta Definición) o similar, y una reproducción de conexión sin interrupciones se logra entre una sección de reproducción de video en 2D y una sección de reproducción de video en 3D. Esta es una ventaja producida por el método de reproducción.
El tipo de video de ojo izquierdo es información que indica cuál de los dos flujos que constituyen el flujo de video de varias vistas almacena las imágenes de video de ojo izquierdo (el otro flujo de video almacena las imágenes' de video de vista derecha) . Cuando el formato de reproducción se pone en "0", este campo no tiene que ser referenciado . Cuando el formato de reproducción se pone en "1", este campo indica cuál del video compatible con 2D y el video de vista dependiente representa las imágenes de video de ojo izquierdo. Es decir, cuando el formato de reproducción se pone en "1" y el tipo de video de ojo izquierdo en "0", indica que el flujo de video compatible con 2D es el flujo de video que representa las imágenes de video de ojo izquierdo. Cuando el formato de reproducción se pone en "2" o "3", el dispositivo de reproducción puede determinar similarmente qué flujo de video es un flujo de video que representa las imágenes de video de ojo izquierdo, al hacer referencia al valor establecido en el tipo de video de ojo izquierdo.
El PID de video compatible con 2D, el PID de video de vista base y el PID de video de vista dependiente indican el PID de cada flujo de video almacenado en el flujo de video de transporte. Esta información hace posible que un flujo de objetivo de decodificación sea identificado.
La figura 39 ilustra el descriptor de flujos en 3D. La columna de nombre de campo del descriptor de flujos en 3D indica nombres de campos: "tipo de video de vista base"; "tipo de objetivo de referencia" y "tipo de referencia" .
El tipo de video de vista base indica qué video es codificado por compresión en el flujo de video de vista base. Cuando el tipo de video de vista base se pone en "0", indica que ya sea el video de ojo izquierdo o el video de ojo derecho del video en 3D es codificado por compresión en el flujo de video de vista base; y cuando el tipo de video de vista base se pone en "1", indica que el video de imagen negra es codificado por compresión en el flujo de video de vista base, como un video ficticio que va a ser reemplazado con el flujo de video compatible con 2D y no es enviado a un plano .
El tipo de objetivo de referencia indica el tipo de flujo de video al que hace referencia el flujo de video de vista dependiente por la referencia entre vistas. Cuando el tipo de objetivo de referencia se pone en "0", indica que el flujo de video de vista dependiente hace referencia a imágenes del flujo de video de vista base por la referencia entre vistas; y cuando el tipo de objetivo de referencia se pone en "1", indica que el flujo de video de vista dependiente hace referencia a imágenes del flujo de video compatible con 2D por la referencia entre vistas. Es decir, el caso donde el tipo de objetivo de referencia se pone en "1" corresponde a la referencia por el formato de video en 3D de la presente modalidad.
El tipo de referencia indica si el flujo de video es referenciado o. no por la referencia entre vistas. Si el flujo de video no es referenciado, el proceso de referencia entre vistas puede ser saltado, reduciendo asi la carga impuesta en el proceso de decodificación. Nótese que toda o una parte de la información incluida en el descriptor de información 3D y el descriptor de flujos en 3D puede almacenarse como datos complementarios o similares para cada flujo de video, no en los paquetes PMT .
La figura 23 ilustra un ejemplo de la relación entre el tipo de imagen y la hora de presentación (PTS) y hora de decodificación (DTS) asignada a cada unidad 'de acceso de video en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente en el flujo de transporte.
El dispositivo de creación de datos 2601 establece los mismos valores del DTS y PTS a las imágenes respectivas del flujo de video compatible con 2D, el cual es generado al codificar por compresión imágenes de ojo izquierdo de los mismos valores de tiempo, y el flujo de video de vista dependiente. Asimismo, el dispositivo de creación de datos 2601 establece los mismos valores de PTS, DTS y POC a las imágenes respectivas del flujo de video de vista base y el flujo de video de vista dependiente que serán reproducidos al mismo tiempo.
En la referencia entre vistas por una imagen del flujo de video de vista dependiente, una imagen del flujo de video de vista base que tenga los mismos valores de PTS, DTS y POC es referenciada . Más específicamente, en la referencia entre vistas por una imagen del flujo de video de vista dependiente, un valor que indique una imagen de vista base que tenga el mismo valor de POC se establece en el ID de referencia de imagen (ref_idx_10 o ref_idx_ll) que es especificado por cada macrobloque de la imagen del flujo de video de vista dependiente. 1-2-3. Operación La figura 27 ilustra el flujo de creación de datos del dispositivo de creación de datos 2601. A continuación se describe el flujo de creación de datos.
Una variable N es una variable que almacena un número de cuadro de una imagen de cuadro que es el objetivo de codificación por compresión.
Primero, la variable N es inicializada (N=0). Luego se revisa si el N° cuadro está presente o no en las imágenes de ojo izquierdo (etapa S2701) . Cuando se juzga que el N° cuadro no está presente (etapa S2701: No), se juzga que no hay datos que serán codificados por compresión, y el proceso concluye.
Cuando se juzga que el N° cuadro está presente (etapa S2701: Si), el número de imágenes que serán codificadas por compresión en ejecución de un tiempo de un flujo de codificación por compresión (etapas S2702 a S2706) (en adelante denominado "el número de imágenes en una codificación") es determinado (etapa S2702). El número máximo de unidades de acceso de unidad que se puede establecer como un GOP (el número de GOP máximo, por ejemplo, 30 cuadros) se establece como el número de imágenes en una codificación. Con respecto al último GOP en un flujo de video, el número de cuadros que serán codificados puede ser más pequeño que el número de GOP máximo dependiendo de la longitud del flujo de video de entrada. En ese caso, el número de cuadros restantes se establece como el número de imágenes en una codificación.
Posteriormente, el codificador de video compatible con 2D 2602 genera un flujo de video compatible con 2D en parte en correspondencia con el número de imágenes en una codificación (etapa S2703) . Iniciando a partir del N° cuadro de las imágenes de ojo izquierdo, el codificador de video compatible con 2D 2602 genera el flujo de video compatible con 2D al codificar por compresión tantos cuadros como el número de imágenes en un codificación, de acuerdo con el método de codificación por compresión del flujo de video compatible con 2D, y envía el flujo de video compatible con 2D generado.
Posteriormente, el decodificador de video compatible con 2D 2603 decodifica el flujo de video compatible con 2D en parte en correspondencia con el número de imágenes en una codificación (etapa S2704). Más específicamente, el decodificador de video compatible con 2D 2603 obtiene imágenes decodificadas al decodificar tantas imágenes comprimidas del flujo de video compatible con 2D enviado en la etapa S2703 como el número de imágenes en una codificación iniciando a partir del N° cuadro, y envía las imágenes decodificadas obtenidas y la información de codificación de video compatible con 2D.
El codificador de video de vista base 2605 genera el flujo de video de vista base en parte en correspondencia con el número de imágenes en una codificación (etapa S2705) . Más específicamente, el codificador de video de vista base 2605 establece información de atributos (resolución, relación de aspecto, velocidad de cuadros, especificación de progresivo o entrelazado, etc.) del flujo de video de vista base, información de atributos de imagen (tipo de imagen, etc.) de cada imagen en GOP, estructura de GOP (grupo de imágenes) e información de administración de memoria de cuadros de video compatibles con 2D, como la información de codificación de video de vista base 2607, con base en la información de codificación de video compatible con 2D. El codificador de video de vista base 2605 genera después el flujo de video de vista base en parte al codificar por compresión tantas imágenes negras como el número de imágenes en una codificación. El codificador de video de vista base 2605 también envía la información de codificación de video de vista base 2607 que ha sido establecida como arriba.
Posteriormente, el codificador de video de vista dependiente 2609 genera el flujo de video de vista dependiente en parte en correspondencia con el número de imágenes en una codificación (etapa S206) . Más específicamente, el codificador de video de vista dependiente 2609 establece información de. atributos (resolución, relación de aspecto, velocidad de cuadros, especificación de progresivo o entrelazado, etc.) del flujo de video de vista dependiente, información de atributos de imagen (tipo de imagen, etc.) de cada imagen en GOP, estructura de GOP (Grupo de Imágenes) e información de administración de memorias de cuadros de video compatibles con 2D, con basé én la información de codificación de video de vista base enviada en la etapa S2705.
Más aún, el codificador de video de vista dependiente 2609 genera el flujo de video de vista dependiente en parte al codificar por compresión tantas imágenes de ojo derecho iniciando a partir del N° cuadro como el número de imágenes en una codificación, por la codificación predictiva entre imágenes al hacer referencia a imágenes decodificadas del flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatible con 2D 2608, los cuales tienen los mismos valores de tiempo de presentación que las imágenes objetivo, no haciendo referencia a imágenes del flujo de video de vista base.
El multiplexor 2610 convierte el flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente en paquetes PES. El multiplexor 2610 divide después los paquetes PES en paquetes TS y genera el flujo de transporte al multiplexar los paquetes TS . Posteriormente, el número de imágenes en una codificación se añade a N (etapa S2707) .
Después de concluir el proceso en la etapa S2707, el control regresa a la etapa S2701 y el proceso se repite.
Nótese que el número de imágenes en una codificación puede ser cambiado. Cuando el número de imágenes va a ser reducido, es suficiente establecer el número de imágenes en una codificación en la etapa S2702 a un valor más bajo. Por ejemplo, cuando dos imágenes son reordenadas durante una codificación de video, es posible evitar la influencia del reordenamiento al codificar por compresión cada cuatro imágenes. Supóngase, por ejemplo, que en el método de codificación, el número de imágenes reordenadas sea 2, y que los tipos de imagen sean II, P4, B2, B3, P7, B5, B6, ... (los números indican orden de presentación) . En caso de que el número de imágenes en una codificación sea 3, la imagen P4 no es procesada, y de esta manera B2 y B3 no pueden ser codificados por compresión. En caso de que el número de imágenes en una codificación sea 4-, la imagen P4 es procesada, y B2 y B3 son codificados por compresión. De esta manera, el número de imágenes en una codificación puede establecerse a un número adecuado dentro del número de GOP máximo, para cada ejecución de una vez del flujo de codificación por compresión, dependiendo de la propiedad de las imágenes. 1-3. Dispositivo de reproducción 1-3-1. Estructura A continuación se describe la estructura de un dispositivo de reproducción 2823, de la presente modalidad que reproduce imágenes de video en 3D, con referencia a las figuras .
La figura 28 es un diagrama de bloques que ilustra la estructura funcional del dispositivo de reproducción 2823.
El dispositivo de reproducción 2823 incluye un filtro PID 2801, un decodificador de video compatible con 2D 2821, un decodificador de video de varias vistas extendido 2822, un primer plano 2808 y un segundo plano 2820.
El filtro PID 2801 filtra un flujo de transporte ingresado. Más específicamente, el filtro PID 2801 transfiere, entre una pluralidad de paquetes TS, sólo paquetes TS cuyos PIDs coincidan con los PIDs de paquetes TS requeridos para la reproducción, al decodificador de video compatible con 2D 2821 o al decodificador de video de varias vistas extendido 2822, de acuerdo con los valores de los PIDs.
La correspondencia entre los flujos y los PIDs se indica por la información de flujo del paquete PMT . Supóngase, por ejemplo, que el PID del flujo de video compatible con 2D sea 0x1011, el PID del flujo de video de vista base del flujo de video de varias vistas sea 0x1012, y el PID del flujo de video de vista dependiente del flujo de video de varias vistas sea 0x1013. Entonces el filtro PID 2801 hace referencia al PID de un paquete TS objetivo y transfiere el paquete TS a un decodificador correspondiente sólo cuando el PID del paquete TS coincida con cualquiera de los PIDs mencionados arriba.
El primer plano 2808 es una memoria de plano que contiene las imágenes decodificadas enviadas desde el decodificador de video compatible con 2D 2821 de acuerdo con los valores de los PTSs. ' El segundo plano 2820 es una memoria de plano que contiene imágenes decodificadas enviadas desde el decodificador de video de varias vistas extendido 2822 de acuerdo con los valores de los PTSs.
A continuación se describen el decodificador de video compatible con 2D 2821 y el decodificador de video, de varias vistas extendido 2822.
El decodificador de video compatible con 2D 2821 básicamente tiene la misma función de decodificación que el decodificador en el formato MPEG-2 que proporciona un método de codificación por compresión de imágenes en 2D. El decodificador de video de varias vistas extendido 2822 básicamente tiene la misma función de decodificación que el decodificador en el formato MPEG-4 MVC que proporciona un método de codificación por compresión de imágenes en 3D para lograr referencias entre vistas. En la presente modalidad, se asume que ' el decodificador de video 2901 es un decodificador típico que se conforma al método de codificación por compresión MPEG-2; y se asume que un decodificador de video de varias vistas 2902 es un decodificador típico >que se conforma al método de codificación por compresión MPEG-4 MVC.
Primero, a continuación se describe el decodificador de video 2901 y el decodificador de video de varias vistas 2902 con referencia a la figura 29. Después de eso, la diferencia entre el decodificador de video compatible con 2D 2821 y el decodificador de video 2901, y la diferencia entre el decodificador de video de varias vistas extendido 2822 y el decodificador de video de varias vistas 2901 será enfocada .
Como se ilustra en la figura 29, el decodificador de video 2901 incluye una TB (siglas en inglés para Memoria de Almacenamiento Temporal de Flujos de Transporte) (1) 2802, una MB (Memoria de Almacenamiento Temporal de Multiplexión) (1) 2803 una EB (siglas en inglés para Memoria de Almacenamiento Temporal de Flujos Elementales) (1) 2804, un DI (decodificador de video compatible con 2D) 2805, y una O (Memoria de Almacenamiento Temporal de Re-Ordenamiento) 2806.
La TB(1) 2802 es una memoria de almacenamiento temporal que almacena temporalmente paquetes TS que constituyen un flujo de video, como salida proveniente del filtro PID 2801.
La MB(1) 2803 es una memoria de almacenamiento temporal que, cuando un flujo de video es enviado desde la TB(1) 2802 a la EB(1) 2804, almacena paquetes PES temporalmente. Cuando se transfieren datos de la TB(1) 2802 a la MB(1) 2803, el encabezado de TS y campo de adaptación de cada paquete TS son eliminados.
La EB(1) 2804 es una memoria de almacenamiento temporal en la cual imágenes codificadas (imágenes I, imágenes B, e imágenes P) son almacenadas. Cuando se transfieren datos de la MB(1) 2803 a la EB(1) 2804, se elimina el encabezado de PES .
El DI (2805) crea imágenes de imágenes de cuadros al decodificar cada unidad de acceso de video de un flujo elemental de video en momentos predeterminados especificados por DTSs.
Cada imagen decodificada por el DI 2805 es enviada al plano 2808 o al 0 2806. Es decir, cuando, como en el caso con una imagen P o una imagen I, una imagen tiene diferentes valores en DTS y PTS, la imagen es enviada al O 2806; y cuando, como en el caso con una imagen B, una imagen tiene el mismo valor tanto en DTS como en PTS, la imagen es enviada al plano 2808 tal cual.
La O 2806 es una memoria de almacenamiento temporal en la cual se lleva a cabo reordenamiento cuando la imagen decodificada tiene diferentes valores en DTS y' PTS", en particular, la imagen es dispuesta en diferentes posiciones en el orden de decodificación y orden de presentación. El DI (2805) hace referencia a los datos de una imagen almacenada en la O 2806, y lleva a cabo el proceso de decodificación.
El interruptor 2807 cambia la imagen decodificada que será enviada al plano 2808 entre una imagen almacenada' temporalmente en ' la O 2806 y una salida directa proveniente del DI (2805) .
A continuación se describe el decodificador de video de varias vistas 2902.
Como se ilustra en la figura 29, el decodificador de video de varias vistas 2901 incluye una TB(2) 2809, una MB(2) 2810, una EB(2) 2811, una TB(3) 2812, una B(3) 2813, una EB(3) 2814, un interruptor de decodificación 2815, una memoria de almacenamiento temporal de vistas intermedias 2816, un D2 (decodificador de video de varias vistas 2817, una DPB (Memoria de Almacenamiento Temporal de Imágenes Decodificadas ) 2818 y un interruptor de planos de salida 2819.
Las TB(2) 2809, MB(2) 2810 y EB(2) 2811 tienen la misma función que las TB(1) 2802, MB(1) 2803 y EB(1) 2804, respectivamente, pero difieren en que almacenan el flujo de video de vista base.
Las TB(3) 2812, MB(3) 2813 y EB(3) 2814 tienen la misma función que las TB(1) 2802, MB(1) 2803 y EB(1) 2804, respectivamente, pero difieren en que almacenan el flujo de video de vista dependiente.
El interruptor 2815 extrae datos de unidad de acceso de video, a los cuales se han asignado DTSs, de la EB(2) 2811 y la EB(3) 2814 de acuerdo con los valores de las DTSs, forma una unidad de acceso de video en 3D, y transfiere la unidad de acceso de video en 3D al D2 2817.
El D2 2817 crea imágenes de las imágenes de cuadros al decodificar la unidad de acceso de video en 3D transferida por medio del interruptor 2815.
Las imágenes decodi ficadas del video de vista base-generado por el D2 2817 se almacenan temporalmente en la memoria de almacenamiento temporal de vistas intermedias 2816. El D2 2817 decodifica imágenes codificadas del flujo de video de vista dependiente al hacer referencia a imágenes decodificadas , que tienen los mismos valores de PTSs que las imágenes codificadas del flujo de video de vista dependiente, del flujo de video de vista base almacenado en la memoria de almacenamiento temporal de vistas intermedias 2816.
El decodificador de video de varias vistas 2902 crea una lista de imágenes de referencia, que es una lista de imágenes que se usarán en la referencia entre vistas, con base en el tipo de imagen y elemento de sintaxis de las imágenes del flujo de video de vista base y el flujo de video de vista dependiente.
El D2 2817 transfiere las imágenes decodificadas del flujo de video de vista base almacenado en la memoria de almacenamiento temporal de vistas intermedias 2816 y las imágenes decodificadas del flujo de video de vista dependiente a la DPB 2818. Las imágenes decodificadas son enviadas de la DPB 2818 de acuerdo con los valores de PTSs por medio del interruptor de planos de salida 2819.
La DPB 2818 es una memoria de almacenamiento temporal para almacenar temporalmente las imágenes decodificadas . Las imágenes decodificadas son referenciadas por el D2 2817 cuando decodifica las unidades de acceso de video, tal como las imágenes P e imágenes B, por la codificación predictiva entre imágenes.
El interruptor de planos de salida 2819 envía las imágenes decodificadas a planos adecuados. Por ejemplo, en caso de que el flujo de video de vista base represente las imágenes de ojo izquierdo y el flujo de video de vista dependiente represente las imágenes de ojo derecho, el interruptor de planos de salida 2819 envía las imágenes decodificadas del flujo de video de vista base al plano de imagen de ojo izquierdo, y las imágenes decodificadas del flujo de video de vista dependiente al plano de imagen de ojo derecho .
A continuación se describen el decodificador de video compatible con 2D 2821 y el decodificador de' video de varias vistas extendido · 2822. . .
Como se describió arriba, el decodificador de video compatible con 2D 2821 tiene básicamente la misma estructura que el decodificador de video 2901. Por lo tanto, se omite una descripción de funciones comunes, y sólo se describen las diferencias .
Como se ilustra en la figura 28, el decodificador de video compatible con 2D 2821 transfiere las imágenes decodificadas creadas por el DI 2805 no sólo a la Ó 2¿Ó6 e interruptor 2807, sino también a la memoria de almacenamiento temporal de vistas intermedias 2816 del decodificador de video de varias vistas extendido 2822 con base en los valores de DTSs.
Como se describió arriba, el decodificador de video de varias vistas extendido 2822 tiene básicamente la misma estructura que el decodificador de video de varias vistas 2902. Por lo tanto, se omite una descripción de las funciones comunes, y sólo las diferencias se describen.
El decodificador de video de varias vistas extendido 2822 recibe las imágenes que son transferidas desde el decodificador de video compatible con 2D 2821 de acuerdo con los valores de DTSs, y almacena las imágenes recibidas en un área de la memoria de almacenamiento temporal de vistas intermedias 2816 al escribir las imágenes recibidas sobre las imágenes decodificadas , las cuales tienen los mismos valores de PTS y DTS del flujo de video de vista base que ya han sido decodificadas y almacenadas en el área. Con esta estructura, cuando se decodifican las imágenes codificadas del flujo de video de vista dependiente, el decodificador de video de varias vistas extendido 2822 hace referencia a las imágenes decodificadas del flujo de video compatible con 2D como si hiciera referencia a las imágenes decodificadas del flujo de video de vista base. Con respecto a la administración de direcciones de la memoria de almacenamiento temporal de vistas intermedias 2816, una administración convencional de las imágenes decodificadas del flujo de video de vista base puede usarse tal cual.
El decodificador de video de varias vistas extendido 2822 controla al interruptor de planos de salida 2819 para de esta manera enviar sólo imágenes del flujo de video de vista dependiente, entre las imágenes de video almacenadas en la DPB 2818, al segundo plano 2820 de acuerdo con los valores de PTSs. Las imágenes del flujo de video de vista base no se usan para presentación visual, y de esta manera no son enviadas a un plano.
Con esta estructura, imágenes del flujo de video compatible con 2D son enviadas desde el decodificador de video compatible con 2D 2821 hasta el primer plano a la sincronización de la PTS, y las imágenes del flujo de video de varias vistas y flujo de video de vista dependiente- son enviadas del decodificador de video de varias vistas extendido 2822 al segundo plano a la sincronización de la PTS.
Esto hace posible decodificar imágenes codificadas del flujo de video de vista dependiente para el flujo de video de varias vistas al hacer referencia a las imágenes decodificadas del flujo de video compatible con 2D que ha sido codificado por compresión por un método de codificación de compresión de video diferente. 1-3-2. Operación La figura 30 es un diagrama de flujo que ilustra los procedimientos del proceso de decodificación y proceso de salida de imágenes de video en 3D llevados a cabo por el dispositivo de reproducción 2823.
El dispositivo de reproducción 2823 juzga si una imagen se almacena o no en la EB(1) 2804 (etapa S3001) . Cuando juzga que ninguna imagen se almacena en la EB(1) 2804 (etapa s3001: No), el dispositivo de reproducción 2823 juzga que la transferencia del flujo de video se ha completado, y concluye el proceso.
Cuando juzga que una imagen se almacena en la EB(1) 2804 (etapa S3001: Si), el dispositivo2823 hace que el decodificador de video de varias vistas extendido 2822 decodifique el flujo de video de vista base (etapa S3002). Más específicamente, el decodificador de video de varias vistas extendido 2822 extrae una imagen a la sincronización de la DTS asignada al mismo a partir de la EB (2), decodifica la imagen extraída y almacena la imagen decodificada en la memoria de almacenamiento temporal de vistas intermedias •2816. Las imágenes almacenadas en la memoria de almacenamiento temporal de vistas intermedias 2816 son administradas de la misma manera que en el formato PEG-4 MVC convencional, y de esta manera se omite una descripción detallada de las mismas, excepto que la información de tabla se mantiene dentro como la información de administración usada para crear la lista de imágenes de referencia, en donde la información de tabla asocia las PTSs y POCs con las direcciones de datos de la memoria de almacenamiento temporal de vistas intermedias 2816 que indica las ubicaciones de las imágenes decodificadas que serán referenciadas .
Posteriormente, el dispositivo de reproducción 2823 causa que el decodificador de video compatible con 2D 2821 decodifique el flujo de video compatible con 2D (etapa S3003) . Más específicamente, el decodificador de video compatible con 2D 2821 extrae una imagen a la sincronización de la DTS asignada al mismo desde la EB(1), y decodifica la imagen extraída. En esta decodificación, la imagen decodificada es transferida a la O 2806 y el interruptor 2807. La imagen decodificada es transferida además a la memoria de almacenamiento temporal de vistas intermedias^ 2816 también .
El decodificador de video de varias vistas extendido escribe la imagen decodificada transferida sobre una imagen decodificada, la cual tiene los mismos valores de PTS y DTS, del flujo de video de vista base almacenado en la memoria de almacenamiento temporal de vistas intermedias 2816.
Aquí, se describe con referencia a la figura 31 el proceso de sobre-escritura en un ejemplo específico.
Se asume aquí que, como se ilustra en la porción superior de la figura 31, las imágenes almacenadas en la memoria de almacenamiento temporal de vistas intermedias 2816 son administradas con base en la PTS y la dirección de memoria de la memoria de almacenamiento temporal de vistas intermedias 2816. La porción superior de la figura 31 ilustra un estado inmediatamente después de que una imagen codificada con PTS = 100 del flujo de video de vista base es decodificada, indicando que la imagen decodificada con PTS = 100 del flujo de video de vista base se almacene en un área de memoria que inicia a partir de la dirección B.
Aquí, cuando el proceso de la etapa S3003 es llevado a cabo, el estado cambia como se ilustra en la porción inferior de la figura 31 que indica que una imagen decodificada con el mismo valor de PTS del flujo de video compatible con 2D es descrita sobre la imagen decodificada con PTS=100 del flujo de video de vista base en el área de memoria iniciando a partir de la dirección B. Esto permite que los datos de imagen solos sean sobre-escritos, sin una necesidad de cambiar la información de administración (por ejemplo, PTS) para administrar imágenes en la memoria de almacenamiento temporal. Con esta estructura, el D2 2817 puede decodificar el flujo de video de vista dependiente en el formato MPEG-4 MVC al hacer referencia a las imágenes decodificadas del flujo de video compatible con 2D de la misma manera que la manera convencional de decodificar el flujo de video de vista dependiente en el formato MPEG-4 MVC.
Posteriormente, el decodificador de video de varias vistas extendido 2822 decodifica el flujo de video de vista dependiente (etapa S3004) . Más específicamente, el decodificador de video de varias vistas extendido 2822 extrae una imagen con una DTS a la sincronización de la DTS proveniente de la EB(3), y decodifica la imagen extraída del flujo de video de vista dependiente al hacer referencia a una imagen almacenada en la memoria de almacenamiento temporal de vistas intermedias 2816.
La imagen referenciada aquí no es una imagen del flujo de video de vista base, sino una imagen del flujo de video compatible con 2D que ha sido escrito sobre el flujo de video de vista base en la etapa S3003.
El dispositivo de reproducción 2823 envía la íffiagen decodificada del flujo de video compatible con 2D a la sincronización de la PTS del primer plano 2808, y envía la imagen decodificada del flujo de video de vista dependiénte a la sincronización de la PTS al segundo plano 2820 (etapa S3005) . -·¦-¦·' Aquí, ya que la decodificación llevada a cabo por el Di 2805 del dispositivo de reproducción 2823 es la misma que la decodificación convencional de un flujo de video en el formato MPEG-2, una LSI (Integración a Gran Escala) y software proporcionado en un dispositivo de reproducción existente que se conforman al formato MPEG-2 pueden ser usados. Asimismo, ya que la decodificación llevada a cabo por el D2 2817 es la misma que la decodificación convencional de un flujo de video en el formato MPEG-4 MVC, se puede usar un LSI y software proporcionados en un dispositivo de reproducción existente que se conforme al formato MPEG-4 MVC.
Ejemplo, de forma de uso del dispositivo de reproducción 2823 A continuación se describe un ejemplo de la forma de uso del dispositivo de reproducción 2823 con referencia a las figuras 5A a 5D, tomando, por ejemplo, una TV digital en 3D 100 en la cual un video en 3D de los flujos de video creados por el dispositivo de creación de datos 2601 es presentada visualmente, y una TV digital en 2D 300 que no soporta la reproducción de un video en 3D y en el cual. sólo se presenta visualmente un video en 2D.
Como se ilustra en la figura 5A, el usuario ve el video en 3D al usar la TV digital 3D 100 y lentes 3D 200.
La TV digital 3D 100 puede presentar visualmente tanto los videos en 2D como en 3D, y presenta visualmente los videos al reproducir flujos incluidos en las ondas de difusión recibidas. Más específicamente, la TV digital 3D 100 reproduce el flujo de video compatible con 2D que ha sido codificado por compresión en el formato MPEG-2, y reproduce el flujo de video de vista base y el flujo de video de vista dependiente para 3D que hayan sido codificados por compresión cumpliendo con el formato MPEG-4 MVC.
La TV digital 3D 100 presenta visualmente en forma alternante una imagen de ojo izquierdo y una imagen de ojo derecho, en donde la imagen de ojo izquierdo se obtiene al decodificar el flujo de video compatible con 2D y la imagen de ojo derecho se obtiene al decodificar el flujo de video de vista dependiente.
El usuario puede ver el video como un video estereoscópico al usar los lentes 3D 200 y ver el video reproducido de esta manera a través de los lentes 3D.
La figura 5B ilustra el estado de los lentes 3D 200 cuando se presenta visualmente una imagen de ojo izquierdo.
En el instante en que la imagen de ojo izquierdo es presentada visualmente en la pantalla, en los lentes 3D 200, el obturador de cristal liquido para el ojo izquierdo está en el estado de transmisión de luz, y el obturador de cristal liquido para el ojo derecho está en el estado de bloqueo de luz.
La figura 5C ilustra el estado de los lentes 3D 200 cuando una imagen de ojo derecho es presentada visualmente.
En el instante en que la imagen de ojo derecho es presentada visualmente en la pantalla, el obturador . de cristal liquido para el ojo derecho está en el estado de transmisión de luz, y el obturador de cristal liquido para el ojo izquierdo está en el estado de bloqueo de luz.
La TV digital 2D 300 ilustrada en la figura 5D soporta reproducción de un video en 2D, y reproduce un video en 2D que se obtiene al decodificar un flujo de video compatible con 2D, entre flujos de video incluidos en el flujo de transporte generado por el dispositivo de creación de datos 2601. 1-4. Modificaciones Aunque la presente invención ha sido completamente descrita a manera de ejemplos con referencia a las figuras acompañantes, la presente invención no está limitada al dispositivo de creación de datos y dispositivo de reproducción descritos en las modalidades anteriores, sino que el dispositivo de creación de datos y dispositivo de reproducción pueden modificarse, por ejemplo, como s'igúé'":4"' (1) En la modalidad descrita arriba, el dispositivo de reproducción, en la etapa S3003, escribe una imagen decodificada del flujo de video compatible con 2D sobre una imagen decodificada, la cual tiene el mismo valor de PTS, del flujo de video de vista base almacenado en la memoria de almacenamiento temporal de vistas intermedias 2816. Sin embargo, no limitado a esto, como se indica en la porción inferior de la figura 32, la dirección del objetivo de referencia puede ser cambiada, sin sobre-escribir la imagen.
Con esta estructura, se puede omitir el proceso de sobre-escritura, y. de esta manera se puede reducir la carga en el dispositivo. (2) En la modalidad descrita arriba, el dispositivo de reproducción almacena imágenes decodificadas del flujo de video de vista base en la DPB 2818. Sin embargo, ya que las imágenes decodificadas del flujo de video de vista base no son referenciadas, no pueden ser almacenadas en la DPB 2818. Esto permite una reducción en el tamaño de la DPB 2818 que corresponde a la cantidad de memoria usada para el almacenamiento de imágenes del flujo de video de vista base. (3) En la modalidad descrita arriba, el flujo de video de vista base es codificado por compresión e incluido en el flujo de transporte, y las imágenes codificadas del flujo de video de vista base son decodificadas . Sin embargo, no limitado a esto, la decodificación de las ' imágenes codificadas del flujo de video de vista base puede ser omitida .
Más específicamente, el decodificador de video de varias vistas extendido 2822 no decodifica las imágenes codificadas del flujo de video de vista base, sino que analiza la información de encabezado (por ejemplo, obtiene el POC, tipo de imagen, ID de vista e información que especifica si se lleva a cabo referencia o no) y asigna un área de la memoria de almacenamiento temporal de vistas intermedias' '2816 que es lo suficientemente grande para almacenar una imagen. El decodificador de video de varias vistas extendido 2822 se almacena, en el área asignada, imágenes decodificadas que tengan los mismos valores de PTS y DTS que aquellos obtenidos al analizar la información de encabezado, entre las imágenes decodificadas enviadas desde el decodificador de video compatible con 2D.
Esta estructura permite que la decodificación de imágenes sea saltada, reduciendo asi la carga total en el procesamiento de reproducción.
Como alternativa, un flujo de video compatible con 2D puede generarse de tal manera que incluye información necesaria para una imagen del flujo de video de vista dependiente para hacer referencia a una imagen del flujo de video compatible con 2D por la referencia entre vistas, en particular, información usada por el decodificador de video de varias vistas extendido para administrar la memoria de almacenamiento temporal de vistas intermedias 2816.
Más específicamente, todos o parte de los elementos de sintaxis del flujo de video de vista base pueden ser grabados en los datos complementarios del flujo de video compatible con 2D. Es decir, la información que se use para administrar las imágenes almacenada en la memoria de almacenamiento temporal de vistas intermedias 2816 (tal como el POC que indica un orden de presentación que se conforma al formato MPEG-4 MVC, slice_type que indica el tipo de imagen, nal_ref_ide que indica referencia/no referencia de una imagen, ref_pic_list_mvc_modification que es información usada para crear la lista de imágenes de referencia de base, ViewID del flujo de video de vista base, y el comando MMCO) y similares son grabados en los datos complementarios del flujo de video compatible con 2D.
Con esta estructura en donde los datos del flujo de video compatible con 2D pueden ser referenciados desde el flujo de video de vista dependiente directamente, el flujo de video de vista base no tiene que ser multiplexado en el flujo de transporte.
En este caso, como se ilustra en la figura 3, una imagen del flujo de video de vista dependiente que se conforme al formato MPEG-4 MVC hace referencia directamente a una imagen del flujo de video que se conforma al- formato MPEG-2.
Debe notarse aquí que, cuando el flujo de vidéó de vista base que se conforma al formato MPEG-4, MVC es multiplexado en el flujo de transporte, el formato es casi el mismo que el convencional, y el flujo es muy compatible 1 con un dispositivo de codificación o dispositivo de reproducción convencional que se conforma al formato MPEG-4 MVC Es entonces posible lograr, con mejora mínima, un dispositivo de codificación y un dispositivo de reproducción que se conforma a los datos de flujo de video de la presente modalidad. (4) En el dispositivo de reproducción de la modalidad descrita arriba, la 0 2806 y la DPB 2818 son tratadas como áreas de memoria separadas. Sin embargo, no limitado a esto, como se ilustra en la figura 33, se puede compartir un espacio de memoria. Por ejemplo, en el caso de la figura 33, imágenes con PTS=100 y PTS=200 del flujo de video compatible con 2D son escritas sobre imágenes que tienen los mismos valores de PTS del flujo de video de vista base en la memoria de almacenamiento temporal de vistas intermedias 2816, en la etapa S3003. En este proceso, cuando los datos se almacenan en la DPB 2818, sólo el establecimiento de la dirección de la imagen objetivo de referencia en la tabla de administración en la DPB 2818 puede llevarse a cabo, y la sobre-escritura de la imagen puede ser omitida. Más específicamente, en el caso de la figura 33, la tabla de administración de imágenes en la DPB 2818 se establece de tal manera que las direcciones de las imágenes con PTS=100 y PTS=200 de la vista base (View_ID=0) sean iguales a las direcciones de imágenes decodificadas con PTS=100 y PTS=200 del flujo de video compatible con 2D establecido en la tabla de administración en la O 2806.
Esta estructura reduce el tamaño de memoria para almacenar las imágenes. (5) En el dispositivo de reproducción de la modalidad descrita arriba, la memoria de almacenamiento temporal de vistas intermedias 2816 y la DPB 2818 se tratan como memorias de almacenamiento temporal separadas. Sin embargo, no limitado a esto, pueden ser provistas como una misma memoria de almacenamiento temporal. Por ejemplo, cuando las dos memorias de almacenamiento temporal se unen en la DPB 2818, imágenes decodificadas del flujo de video de vista base en la DPB 2818 pueden ser reemplazadas con imágenes decodificadas del flujo de video compatible con 2D que tengan los mismos valores de PTS y ViewID. (6) En la modalidad descrita arriba, la siguiente restricción puede ser impuesta en el proceso de codificación por compresión. Es decir, la restricción es que cuando al menos una imagen B (o imagen Br) sea incluida en las imágenes que tengan el mismo valor de tiempo de presentación entre imágenes del flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente, el tipo de imagen de las imágenes que tengan el mismo valor de tiempo de presentación del flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente debe establecerse en la imagen B (o imagen Br) . Esta estructura simplifica el procesamiento de una reproducción de truco (por ejemplo, una reproducción directa) cuando el dispositivo de reproducción lleve a cabo la reproducción de truco al seleccionar sólo imágenes I e imágenes P. La figura 24 ilustra la reproducción de truco. La porción superior de la figura 24 ilustra un caso en donde la restricción anterior no se impone. En este caso, las terceras imágenes en el orden de presentación en el flujo de video compatible con 2D y el flujo de video de vista base son ambas imágenes P (P3), pero la tercera imagen en el orden de presentación en el flujo de video de vista dependiente es una imagen B (B3) .
En este caso, para decodificar el flujo de video de vista dependiente, la imagen Br2 del flujo de video de vista dependiente y la imagen Br2 del flujo de video de vista base tienen que ser decodificadas . Por otro lado, la porción inferior de la figura 24 ilustra un caso en donde se impone la restricción anterior.
En este caso, la tercera imagen en el orden de presentación es una imagen P en todos los flujos, es decir, el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente. Es por lo tanto suficiente decodificar sólo las imágenes I y las imágenes P en los flujos de video, facilitando asi el procesamiento de la reproducción de truco que selecciona imágenes I e imágenes P. (7) En el dispositivo de creación de datos ,de la modalidad descrita arriba, en el proceso de multiplexión del flujo de transporte, diferentes PIDs son asignados a flujos de video respectivos. Sin embargo, no limitado a esto, el mismo PID puede asignarse tanto al flujo de video de vista base como al flujo de video de vista dependiente.
Con la estructura anterior, es posible fusionar las unidades de acceso de los flujos de video respectivos de conformidad con el método de codificación por compresión del flujo de video de varias vistas, y transferir las unidades de acceso fusionadas.
En este caso, el flujo de video de vista base y el flujo de video de ' vista dependiente son fusionados de conformidad con las especificaciones del método de codificación por compresión, y el dispositivo de reproducción puede ser estructurado como se ilustra en la figura 45 en el cual el decodificador de video de varias vistas extendido 2822 tiene una linea de transferencia de datos.
Asimismo, el flujo de video de vista base y el flujo de video de vista dependiente pueden compartir- la información de encabezado almacenada en el encabezado (por ejemplo, encabezado de secuencia, encabezado de imagen) de cada unidad de acceso que almacena imágenes que tengan la misma información de tiempo. Es- decir, la información de encabezado puede establecerse sólo en el flujo de video de vista base, y cuando el flujo de video de vista dependiente sea decodificado, la información de encabezado en el flujo de video de vista base puede ser referenciada . Esto hace posible omitir la información de encabezado necesaria para decodificación, del flujo de video de vista dependiente. '(8) En el dispositivo de creación de datos de la modalidad descrita arriba, como se describió arriba con referencia a la figura 23, imágenes del flujo de video compatible con 2D y el flujo de video de vista dependiente que tengan el mismo valor de hora de presentación se establecen para tener el mismo valor de DTS, e imágenes del flujo de video de vista dependiente y el flujo de video de vista base que tengan el mismo valor de hora de presentación se establecen para tener el mismo valor de DTS. Sin embargo, imágenes de diferentes tipos de flujos de video que tengan el mismo valor de hora de presentación pueden no ser establecidas para tener el mismo valor de DTS. Por ejemplo, como se ilustra en la figura 35, los valores de DTS en el flujo de video compatible con 2D pueden establecerse de tal manera que las imágenes de los mismos se decodifiquen primero (por un cuadro, por ejemplo) que las imágenes del flujo de video de vista base y el flujo de video de vista dependiente.
Con esta estructura, el flujo de video compatible con 2D puede ser decodificado por adelantado. Esto hace posible llevar a cabo la sobre-escritura en la memoria de almacenamiento temporal de vistas intermedias y la decodificación de imágenes del flujo de video de vista dependiente, con suficiente tiempo.
Nótese que, en la figura 35, imágenes de flujo de video compatible con 2D y el flujo de video de vista dependiente que almacenan imágenes de disparidad del mismo valor de hora de presentación tienen el mismo valor de PTS. Sin embargo, para hacer posible decodificar el flujo de video compatible con 2D por adelantado, los valores de PTS en el flujo de video compatible con 2D pueden establecerse para ser antes que (por un cuadro, por ejemplo) las imágenes del flujo de video de vista base y el flujo de video de vista dependiente .
Cuando diferentes valores de PTS se van a establecer entre el flujo de video compatible con 2D y el flujo de video de varias vistas, es decir, por ejemplo, cuando las PTSs en el flujo de video compatible con 2D se establecen para ser anteriores que (por un cuadro, por ejemplo) las PTSs en el flujo de video de vista dependiente, a la sincronización de reemplazar las imágenes almacenadas en la memoria de almacenamiento temporal de vistas intermedias, las imágenes del flujo de video de vista base son reemplazadas con imágenes de flujo de video compatible con 2D cuyas PTSs sean anteriores por un cuadro a aquellas del flujo de video de vista base.
Nótese que, cuando la PTS y DTS, las cuales son asignadas a los datos reales, se establecen como se ilustra en la figura 23, los valores pueden ser corregidos internamente de tal manera que la PTS y DTS de las imágenes del flujo de video compatible con 2D se vuelvan anteriores antes de que se lleve a cabo el proceso de decodificación. (9) En el dispositivo de reproducción de la modalidad descrita arriba, en la etapa S3005, el decodificador de video compatible con 2D 2821 envía la imagen decodificada del flujo de video compatible con 2D a la sincronización de la PTS al primer plano 2808. Sin embargo, no limitado a esto,' el decodificador de video de varias vistas extendido 2822 puede hacer que el interruptor de plano de salida 2919 envíe dos tipos de imágenes de video, como se ilustra en la figura 34.
El adoptar esta estructura permite un uso directo del mecanismo para envío de planos para reproducir imágenes de video en 3D usando un flujo de video de varias vistas existente. (10) En la modalidad descrita arriba, el formato de multiplexion ha sido descrito como un flujo de transporte, pero el formato de multiplexion no está limitado a ésto. ' Por ejemplo, el formato de sistema MP4 puede ser usado como el formato múltiple. Más específicamente, la entrada ilustrada en la figura 34 puede ser un archivo que haya sido multiplexado de conformidad con MP4, y el archivo ingresado puede ser desmultiplexado en el flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente y decodificado . Las imágenes del flujo de video de vista dependiente son luego decodificadas al hacer referencia a las imágenes del flujo de video compatible con 2D que hayan sido escritas sobre las imágenes del flujo de video de vista base almacenado en la memoria de almacénamiento temporal de vistas intermedias 2816. Aunque el formato de sistema MP4 no incluye PTSs, información de encabezado (stts, stsz y similares) en el formato de sistema MP4 puede ser usada para identificar información de tiempo para cada unidad de acceso. (11) En la modalidad descrita arriba, las imágenes referenciadas por las imágenes del flujo de video de vista dependiente son imágenes decodificadas del flujo de video compatible con 2D, el cual es una estructura diferente a la estructura del flujo de video de varias vistas normal. En vista de esto, el tipo de flujo y el stream_id incluidos en el encabezado de paquete PES pueden establecerse diferentemente del flujo de video de varias vistas convencional.
Con -esta estructura, el dispositivo de reproducción puede hacer un juicio sobre si el formato de reproducción de video en 3D de la presente modalidad se adopta o no al hacer referencia al tipo de flujo y al stream_id, y cambiar el método de reproducción de acuerdo con el resultado del j uicio . (12) En la modalidad descrita arriba, un formato de reproducción definido por descriptores se describe con referencia a la figura 38. El formato de reproducción puede ser cambiado con una estructura ilustrada en la figura 40.
Un dispositivo de reproducción 2823b ilustrado en la figura 40 tiene básicamente la misma estructura que el dispositivo de reproducción 2823 ilustrado en la figura 28 , pero difiere en que incluye además un interruptor de referencia entre codees 2824, un selector de planos 2825 y un tercer plano 2826.
El interruptor de referencia entre codees 2824 , cuando es encendido, transfiere datos desde el decodificador de video compatible con 2D hasta la memoria de almacenamiento temporal de vistas intermedias en el decodificador de video de varias vistas extendido como en la etapa S3003, y cuando es apagado, no transfiere datos, como se muestra en la figura 40.
El selector de planos 2825 selecciona, de entre un primer plano 2808, un segundo plano 2820 y un tercer plano 2826, un plano para enviar una imagen de video en 2D, y un plano para enviar una imagen de ojo izquierdo de la imagen de video en 3D, y un plano para enviar una imagen de ojo derecho de la imagen de video en 3D, en donde el primer plano 2808 envía imágenes desde el decodificador de video compatible con 2D, el segundo plano 2820 envía imágenes del flujo de video de vista base desde el decodificador de video de varias vistas extendido, y el tercer plano 2826 envía imágenes del flujo de video de vista dependiente desde el decodificador de video de varias vistas extendido.
El dispositivo de reproducción 2823b cambia el modo de reproducción al cambiar la salida del interruptor de referencia entre codees 2824 y cambiar la salida del selector de planos 2825, de acuerdo con el formato de reproducción.
A continuación se describe un método específico para cambiar entre una pluralidad de formatos de reproducción con referencia a la figura 41, usando el ejemplo del formato de reproducción ilustrado en la figura 38.
La porción inferior de la figura 41 ilustra el cambio entre encendido y apagado por el interruptor de referencia entre codees 2824 y ejemplos de planos seleccionados por el selector de planos 2825.
El dispositivo de reproducción 2823b apaga el interruptor de referencia entre codees 2824 cuando el formato de reproducción se pone en "0". En relación con esto, el selector de planos 2825 selecciona el primer plano 2808 para la imagen de video en 2D.
El dispositivo de reproducción 2823b enciende el interruptor de referencia entre codees 2824 cuando el formato de reproducción se pone en "1". En relación con esto, el selector de planos 2825 selecciona el primer plano 2808 o el segundo plano 2820 para la imagen de ojo izquierdo, y el tercer plano 2826 para la imagen de ojo derecho.
El dispositivo de reproducción 2823b apaga el interruptor de referencia entre codees 2824 cuando el formato de reproducción se pone en "2". En relación con esto, el selector de planos 2825 selecciona el segundo plano 2820 para la imagen de ojo izquierdo, y el tercer plano 2826 para la imagen de ojo derecho.
El dispositivo de reproducción 2823b apaga el interruptor de referencia entre codees 2824 cuando el formato de reproducción se pone en "3". En relación con esto, el selector de planos 2825 selecciona el primer plano 2808 para la imagen de ojo izquierdo, y el primer plano 2808 para la imagen de ojo derecho. (13) En la modalidad descrita arriba, en caso de que se genere un flujo de transporte, en el cual el formato de reproducción cambie de una reproducción de video ;:éh 3D usando el flujo de video compatible con 2D y el flujo de video de vista dependiente a una reproducción de video en 2D usando el flujo de video compatible con 2D, algunas imágenes del flujo de video compatible con 2D en el cambio de formato pueden ser codificadas por compresión en el flujo de video de vista dependiente también al tomar en cuenta el retraso del proceso de decodificación, como se ilustra en la figura 42. El periodo en el cual algunas imágenes del flujo de video compatible con 2D son codificadas por compresión en el flujo de video de vista dependiente es denominado un periodo de transición 2D, según se indica en la porción superior de la figura 42. Durante el periodo de transición 2D, imágenes de video en 2d son reproducidas no obstante de qué formato se use, presentando entonces una transición de imagen suave para el espectador. El periodo de transmisión 2D también se puede proporcionar en caso de un cambio de formato de reproducción de una reproducción de video en 2D a una reproducción de video en 3D. Además, el periodo de transición 2D puede ser provisto para cada caso cuando el valor establecido en "formato de reproducción", el cual señaliza el formato de reproducción como se ilustra en la figura 37, cambie entre "0" y cualquiera de "1", "2" y "3". (14) Como los valores de "temporal_reference" que, incluido en cada imagen codificado por compresión en el formato MPEG-2, indica un orden de presentación de la imagen, pueden establecerse valores de POC de imágenes del flujo de video de vista dependiente, los cuales indiquen los mismos valores de tiempo de presentación.
Con esa estructura, un flujo de video puede ser codificado por compresión y decodificado en el formato MPEG-2 usando valores dentro del ES de video, sin usar PTS .
Como alternativa, valores de POC de imágenes del flujo de video de vista dependiente pueden ser incluidos en los datos de usuario en las imágenes del flujo de video compatible con 2D que indiquen los mismos valores de tiempo de presentación.
Esto permite que el valor de la temporal_reference se ajuste independientemente, incrementando asi el grado de libertad durante la codificación por compresión. (15) En la modalidad descrita arriba, un filtro de alta definición 4301 puede ser aplicado al resultado de decodificación del flujo de video compatible con 2D como se ilustra en las figuras 43 y 44. Él filtro de alta definición 4301 es, por ejemplo, un filtro de desbloqueo para eliminar el ruido del bloque como se estipula por MPEG-4 AVC. El indicador que indica si se aplica o no el filtro de alta definición 4301 es preparado. Por ejemplo, cuando el indicador se enciende, el filtro de alta definición 4301 es aplicado, y cuando el indicador se apaga, el filtro de alta definición 4301 no es aplicado.
Este indicador puede estar incluido en, por ejemplo, un descriptor en la PMT o los datos suplementarios de un flujo.
Cuando el indicador se enciende, el dispositivo de reproducción aplica el filtro para decodificar datos de resultado antes de que los datos sean transferidos a la memoria de almacenamiento temporal de vistas intermedias 2816.
Adoptar esta estructura incrementa la definición de imágenes de video en 2D en el flujo de video compatible con 2D. La estructura también hace posible que el flujo de video de vista dependiente sea decodificado al hacer referencia a imágenes de alta definición, incrementando asi la definición de las imágenes de video en 3D. Además, una pluralidad de filtros de alta definición 4301 pueden ser proporcionados, y se puede hacer posible especificar un tipo de filtro para seleccionar uno de la pluralidad de filtros de alta definición 4301 dependiendo del uso deseado, no al ser establecidos por un indicador. (16) En la modalidad descrita arriba, se usa un flujo de video de vista dependiente. Sin embargo, no limitado a esto, se puede usar una pluralidad de flujos de video de vista dependiente.
En este caso, el flujo de video de varias vistas extendido puede ser configurado para permitir procesamiento de una pluralidad de flujos de video de vista dependiente. Cuando se reemplazan imágenes almacenadas en la memoria de almacenamiento temporal de vistas intermedias 2816 . con imágenes del flujo de video compatible con 2D, las imágenes que tengan los mismos valores de PTS del flujo de video de vista base pueden ser reemplazadas. Como alternativa, el flujo de video compatible con 2D puede ser configurado' para especificar el ViewID. De esta manera, las imágenes de video de base no son necesariamente reemplazadas; más bien, las imágenes que serán reemplazadas pueden seleccionarse de entre imágenes de ' una pluralidad de vistas. (17) En la modalidad descrita arriba, el flujo de video compatible con 2D se describe como video MPEG-2, y el flujo de video de varias vistas (incluyendo el flujo de video de vista base y el flujo de video de vista dependiente) como video MPEG-4 MVC . Sin embargo, por supuesto, el tipo de codee no está limitado a estos ejemplos. El dispositivo de reproducción y el dispositivo de codificación de datos de la presente modalidad pueden adaptarse a las características del codee al cambiar la estructura según sea necesario. Por ejemplo, cuando el flujo de video compatible con 2D es video MPEG-4 MVC, y el flujo de video de varias vistas es "codee nuevo", el dispositivo de reproducción puede ser estructurado como se ilustra en la figura 46, en la cual la 0 2806.· y el interruptor 2807 ilustrados en la figura 34 han sido reemplazados con una DPB, y las imágenes en la memoria de almacenamiento temporal de vistas intermedias 2816 pueden ser administradas de acuerdo con la estructura del "codee nuevo". (18) En la modalidad descrita arriba, como un método de visión de video en 3D, el usuario usa lentes 3D provistos con obturadores de cristal liquido. Sin embargo, el método de observación de video en 3D no está limitado a este método.
Por ejemplo, una pluralidad de pares de imágenes de ojo izquierdo y ojo derecho se disponen en hileras dentro de una pantalla. Las imágenes pasan a través de lentes de fondo cóncavo conocidos como lentes lenticulares, en la pantalla de presentación visual. Los pixeles que constituyan la imagen de ojo izquierdo forman entonces una imagen para sólo el ojo izquierdo, mientras que los pixeles que constituyen la imagen de ojo derecho forman una imagen sólo para el ojo derecho, mostrando de esta manera a los ojos izquierdo y derecho una imagen de disparidad percibida en 3D. Sin limitarse a lentes lenticulares, un dispositivo con una función similar, tal como un elemento de cristal liquido, puede ser usado.
Otro método para visión estereoscópica es un método de polarización en el cual un filtro de polarización longitudinal se proporciona para pixeles de vista izquierda, y un filtro de polarización lateral se proporciona para pixeles de vista derecha. El espectador ve la presentación visual mientras · usa lentes de polarización provistos con un filtro de polarización longitudinal para el ojo izquierdo y un filtro de polarización lateral para el ojo derecho.
Además de un método para separar imágenes de video para el ojo derecho y para el ojo izquierdo, otro método de visión estereoscópica usando imágenes de paralaje es para preparar un mapa de profundidad separado que indique un valor de profundidad para cada pixel en una imagen de video en 2D.
Con base en el mapa de profundidad y las imágenes de video en 2D, se generan imágenes de disparidad de una imagen de ojo izquierdo y una imagen de ojo derecho.
La figura 4 es un diagrama esquemático que ilustra un ejemplo de generar imágenes de disparidad de las imágenes de ojo izquierdo y ojo derecho a partir de un video en 2D y un mapa de profundidad.
El mapa de profundidad incluye valores de profundidad que corresponden respectivamente a pixeles que constituyen cada imagen de un video en 2D. En el ejemplo ilustrado en la figura 4, información que indica cercanía (valor de profundidad "Alto") es asignada a un objeto circular en el video en 2D, e información que indica lejanía (valor de profundidad "Bajo") se asigna a la otra área en el video en 2D. Esta información puede ser almacenada como una secuencia de bits para cada pixel, o como una imagen vlpor ejemplo, una porción "negra" de la imagen indica que la profundidad es "Baja", y una porción "blanca" de la imagen indica que la profundidad es "Alta") . Una imagen de disparidad puede ser creada al ajusfar la cantidad' de disparidad de un video en 2D con base en los valores de profundidad incluidos en el mapa de profundidad. En . el ejemplo ilustrado en la figura. 4, el objeto circular en el video en 2D tiene un valor de profundidad "Alto", de esta manera la cantidad de disparidad de los pixeles que constituyen el objeto circular se incrementa cuando se crea una imagen de disparidad. Por otro lado, el otra área en el video en 2D tiene un valor de profundidad "Bajo", de esta manera imágenes de ojo izquierdo y ojo derecho son creadas al réducir la cantidad de disparidad de los pixeles que constituyan el área excluyendo el objeto circular. Cuando las imágenes de ojo izquierdo y ojo derecho son presentadas visualmente por el método de segregación secuencial o similares, se logra visión estereoscópica. (20) En la modalidad 1, se usa un flujo de video de vista dependiente. Sin embargo, no limitado a esto, puede usarse una pluralidad de flujos de video de vista dependiente. Por ejemplo, adoptando la siguiente estructura se hace posible lograr una reproducción de video en 3D de alta definición y restringir la velocidad de bits de cada flujo de video de vista dependiente a un valor bajo.
La figura 99 es un diagrama que ilustra un ejemplo de un caso en donde se usan dos flujos de video de vista dependiente .
Como se ilustra en la figura 99, se genera un flujo de video compatible al codificar por compresión un video en 2D (que corresponde a un video de ojo izquierdo), un flujo de video de vista base se genera al codificar por compresión, un video negro, un flujo de video de vista dependiente 1 se genera al codificar por compresión un video de ojo izquierdo, y un flujo de video de vista dependiente 2 se genera al codificar por compresión un video de ojo derecho. Se asume aquí que el video de ojo izquierdo para el flujo de video de vista dependiente 1 y el video de ojo derecho para el flujo de video de vista dependiente 2 son más altos en calidad de imagen que el video en 2D para el flujo de video compatible con 2D. Cada imagen de los flujos de video de vista dependiente 1 y 2 se codifica por compresión al hacer referencia a una imagen decodificada del flujo de video compatible con 2D. Es decir, el flujo de video de vista dependiente 1 es igual en cantidad de datos a una diferencia entre (i) el video de ojo izquierdo que es más alto en calidad de imagen que el video en 2D contenido en el flujo de video compatible con 2D y (ii) el video en 2D contenido en el flujo de video compatible con 2D. Esto reduce la cantidad de datos ampliamente en comparación con un caso en donde ' un video de ojo izquierdo de alta calidad se codifica por compresión tal cual. De manera similar, el flujo de video de vista dependiente 2 es igual en cantidad de datos a una diferencia entre (i) el video de ojo derecho que es más alto en calidad de imagen que el video en 2D contenido en el flujo de video compatible con 2D y (ii) el video en 2D contenido en el flujo de video compatible con 2D. Esto reduce la cantidad de datos ampliamente en comparación con un caso eri dor^ide video de ojo derecho de alta calidad es codificado por compresión tal cual.
El lado del dispositivo de reproducción reemplaza por lado las imágenes decodificadas del flujo de video de vista base con imágenes decodificadas que tienen los mismos valores de tiempo de presentación (PTS) que el flujo de video compatible con 2D, y decodifica los flujos de video de vista dependiente .
A continuación se describe la presente modificación en mayor detalle.
La figura 100 ilustra la estructura de un dispositivo de creación de datos 10001 de acuerdo con la presente modificación.
El dispositivo de creación de datos 10001 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601, pero difiere en que incluye dos codificadores de video de vista dependiente (10009, 10C11 ) >. A continuación se describen diferencias del dispositivo de creación de datos 2601.
Un codificador de video de vista dependiente 1 10009 ingresa un video de ojo izquierdo original, ' codi' ica por compresión el video de ojo izquierdo de acuerdo con información de codificación de video de vista base 2607, y envía un flujo de video de vista dependiente 1. En esta codificación por compresión, el codificador de video de vista dependiente 1 10009 hace referencia a una imagen decodificada que tenga el mismo valor de hora de presentación (PTS/DTS) del flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608.
Un codificador de video de vista dependiente 2 10011 ingresa un video de ojo derecho original, codifica por compresión el video de ojo derecho de acuerdo con información de codificación de video de vista base 2607, y envia un flujo de video de vista dependiente 2. En esta codificación por compresión, el codificador de video de vista dependiente 2 10011 hace referencia a una imagen decodificada que tenga el mismo valor de tiempo de presentación (PTS)/DTS que el flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608.
La figura 101 es un diagrama de bloques que ilustra la estructura de un dispositivo de reproducción 10123 en la presente modificación.
El dispositivo de reproducción 10123 tiene básicamente la misma estructura que el dispositivo de reproducción 2823, y a continuación se describen las diferencias del mismo. El dispositivo de reproducción 10123 incluye además TB(4), TB(4) y EB(4), y dos flujos de video de vista dependiente son ingresados al decodificador de video de varias vistas. En el proceso de decodificación de los flujos de video de vista dependiente, imágenes del flujo de video de vista base son reemplazadas con imágenes que tengan los mismos valores de hora de presentación del flujo de video compatible con 2D en la memoria de almacenamiento temporal de vistas intermedias 2816. Posteriormente, el proceso de decodificación se lleva a cabo al hacer referencia a las imágenes después de este reemplazo. El dispositivo de reproducción 10123 reproduce un video en 3D al enviar las imágenes decodificadas de los dos flujos de video de vista dependiente como el video en 3D. (20) En la modalidad 1, el flujo de video compatible con 2D se genera al codificar un video progresivo. Sin embargo, no limitado a esto, el flujo de video compatible con 2D puede generarse al codificar un video entrelazado.
En la presente modificación, el flujo de video compatible con 2D se genera al codificar un video entrelazado, y el flujo de video de vista dependiente se genera al codificar un video progresivo. El flujo de videp ;de vista dependiente hace referencia a imágenes que se obtienen al duplicar los resultados de decodificación del flujo de video compatible con 2D en tamaño vertical.
La figura 102 ilustra la estructura de flujo en la presente modificación.
El flujo de video compatible con 2D es generado al codificar por compresión video entrelazado completamente HD que tiene una velocidad de cuadros de 60 Hz (1080i/60i) que está compuesto de imágenes de campo superior e imágenes de campo inferior. El flujo de video de vista base del flujo de video de varias vistas se genera al codificar por compresión un video progresivo en HD completo que tiene una velocidad de cuadro de 60 Hz (1080/60p) que está compuesto de video de un color (por ejemplo, negro) (en adelante denominado "video negro") que ha sido codificado a una baja velocidad de bits. El flujo de video de vista dependiente del flujo de video de varias vistas se genera al codificar por compresión un video progresivo HD completo que tenga una velocidad de cuadros de 60 Hz (1080/60p) y que tenga los mismos contenidos que el flujo de video compatible con 2D.
El dispositivo de reproducción reemplaza cada imagen decodificada del flujo de video de vista base con una imagen decodificada que tenga el mismo valor de hora de presentación (PTS) del flujo de video compatible con 2D a la sincronización indicada por la DTS, de tal manera qué el dispositivo de reproducción pueda decodificar cada imagen; ..del flujo de video de vista dependiente al hacer referencia a una imagen que tenga el mismo valor de hora de presentación que el flujo de video compatible con 2D.
Con la estructura anterior, video entrelazado en 2D puede ser reproducido al reproducir el flujo de video compatible con 2D, y video progresivo en 2D puede ser reproducido al reproducir el flujo de video de vista dependiente.
La figura 103 ilustra la estructura de un dispositivo de creación de datos 10301 en la presente modificación. El dispositivo de creación de datos 10301 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601, pero difiere del mismo en un codificador de video compatible con 2D 10302, una unidad de conversión progresiva 10311 y un codificador de video de vista dependiente 10309.
El codificador de video compatible con 2D 10302 genera el flujo de video compatible con 2D al convertir video progresivo original que tiene una velocidad de cuadros de 60 Hz en video entrelazado y codificar el video entrelazado.
La unidad de conversión progresiva 10311 convierte video entrelazado, el cual se obtiene al decodificar el flujo de video compatible con 2D, en video progresivo y almacena el video progresivo en la memoria de cuadros de video compatibles con 2D 2608. El método para convertir el video entrelazado en el video progresivo incluye, por ejemplo, un método para interpolar lineas de escaneo entre lineas de escaneo originales que se alinean verticalmente , pero no está limitado a este método. Por ejemplo, con respecto a video que tiene una pequeña cantidad de movimiento, las lineas de escaneo en la misma posición que la imagen anterior pueden ser usadas tal cuales. Asimismo, un método diferente puede ser seleccionado para cada escena de tal manera que, con respecto a una porción que tenga una pequeña cantidad de movimiento en video, las lineas de escaneo en la misma posición de la imagen precedente sean usadas tal cuales, y con respecto a una porción que tenga una gran cantidad de movimiento, las lineas de escaneo sean interpoladas entre lineas de escaneo originales que se alineen verticalmente .
El codificador de video de vista dependiente 10309 genera el flujo de video de vista dependiente al codificar por compresión video progresivo ingresado con base en la información de codificación de video de vista base. En esta codificación por compresión, el codificador de video de vista dependiente 10309 hace referencia, entre imágenes del video progresivo almacenadas en la memoria de cuadros de video compatibles con 2D 2601 por la unidad de conversión progresiva 10311, una imagen que tenga el mismo valor de tiempo de presentación que una imagen objetivo de codificación por la referencia entre vistas.
La figura 104 ilustra la estructura de un dispositivo de reproducción en la presente modificación.
Un dispositivo de reproducción 10423 envía, como video progresivo, video decodificado del flujo de video de vista dependiente. El dispositivo de reproducción 10423 tiene básicamente la misma estructura que el dispositivo de reproducción 2823, pero difiere del mismo en que tiene además una unidad de conversión progresiva 10424.
La unidad de conversión progresiva 10424 convierte las imágenes entrelazadas decodificadas por el decodificador de imágenes de video comprimidas de video compatible con 2D 2805 en imágenes progresivas. La conversión en video progresivo puede llevarse a cabo mediante el mismo método que el llevado a cabo por la unidad de conversión progresiva del dispositivo de creación de datos. Por ejemplo, como se describió arriba, lineas de escaneo pueden ser interpoladas entre líneas de escaneo originales que se alineen verticalmente , constituyendo una imagen entrelazada. Cuando cada flujo de video de vista dependiente sea decodificado, entre las imágenes almacenadas en la memoria de almacenamiento temporal de vistas intermedias 2816, se hace referencia a una imagen que tenga el mismo valor de hora de presentación que una imagen objetivo de decodificación.
Nótese que el método de conversión progresiva usado por la unidad de conversión progresiva 10424 del dispositivo de reproducción 10423 no se limita al método descrito , arriba, sino que puede ser cualquier otro método. Por ejemplo, cuando una línea de escaneo se interpole entre dos líneas de escaneo que se alineen verticalmente, un pixel puede ser interpolado usando pixeles que se alineen verticalmente y oblicuamente, no de pixeles que se alineen verticalmente.
Asimismo, cuando la unidad de conversión progresiva 10311 del dispositivo de creación de datos 10301 tiene una opción de usar uno de una pluralidad de métodos para llevar a cabo la conversión en video progresivo, puede seleccionarse un video óptimo y la conversión se puede llevar a cabo usando el método seleccionado, e información que indique el método seleccionado puede ser incluida, como un descriptor, en, por ejemplo, datos complementarios de paquete de sistema o flujo de video. La unidad de conversión progresiva 10424 del dispositivo de reproducción 10423 juzga qué método de conversión progresiva fue usado, con base en la información del descriptor, y usa el método de conversión progresiva.
Con esta estructura, las imágenes que serán referenciadas se convierten en imágenes progresivas de alta definición por un método óptimo, y de esta manera el flujo de video de vista dependiente que sea comprimido al hacer referencia a las imágenes de alta definición por la referencia entre vistas se vuelve de alta definición también.
Más aún, la interpolación puede llevarse a cabo usando no sólo .una imagen que tenga el mismo valor de hora¦ de presentación, sino también imágenes que tengan valores de hora de presentación que precedan y sigan al tiempo de presentación de la imagen objetivo. En ese caso, la interpolación puede llevarse a cabo usando imágenes almacenadas en la 0 2806 o DPB 2818 en el decodificador de video compatible con 2D. En ese caso, información que indique qué cuadro se usa se almacena en un campo de método de conversión progresiva de un descriptor. (21) En la presente modalidad, la referencia entre vistas se lleva a cabo entre flujo de video compatible con 2D y el flujo de video de varias vistas. Sin embargo, no limitado a esto, la referencia entre vistas puede llevarse a cabo entre una pluralidad de flujos de video de varias vistas .
La figura 105 ilustra la estructura de flujos en la presente modificación. Los objetivos de codificación incluyen un video de ojo izquierdo original 10511, un video de ojo derecho original 10512 y un video medio original 10515 cuyo punto de vista es el medio de los ojos izquierdo y derecho.
Un flujo de video de varias vistas 1 10501 incluye un flujo de video de vista base 10502 y un flujo de video de vista dependiente 10503. El flujo de video de vista base 10502 se genera al codificar por compresión el video de1 ojo izquierdo original 10511, y el flujo de video de vista dependiente 1 10503 se genera al codificar por compresión , el video de ojo derecho original 10512.
Asimismo, un flujo de video de varias vistas 2 10504 incluye un flujo de video de vista base 10505 y un flujo de video de vista dependiente 1 10506 y un flujo de video de vista dependiente 2 10507. El flujo de video de vista base 10505 se genera al codificar por compresión un video de un color (por ejemplo, negro) 10513, y el flujo de video de vista base 10506 se genera al codificar por compresión un video de un color (por ejemplo, negro) 10514. El flujo de video de vista dependiente 10507 se genera al codificar el video de medio original 10515. Debe notarse aqui que el video de medio original 10515 es codificado por compresión al hacer referencia a imágenes decodificadas del flujo de video de vista base 10505 que correspondan al video de ojo izquierdo original 10511, e imágenes decodificadas del flujo de video de vista dependiente 1 10506 que correspondan al video de ojo derecho original 10512.
Cuando el flujo de video de varias vistas 2 10504 es decodificado, las imágenes decodificadas del flujo de video de vista base 10505 y flujo de video de vista dependiente 1 10506 del flujo de video de varias vistas 2 10504 son reemplazadas con imágenes decodificadas del flujo de video de vista base 10502 y flujo de video dé vista dependiente 1 10503 del flujo de video de varias vistas 1 10501. Posteriormente, el flujo de video de vista dependiente 2 10507 del flujo de video de varias vistas 2 1050 es decodificado al hacer referencia a las imágenes decodificadas del flujo de video de vista base 10502 y flujo de video de vista dependiente 1 10503 del flujo de video de varias vistas 1 10501.
Nótese que, para que el flujo de video de varias vistas 1 y el flujo de video de varias vistas 2 tengan diferentes ViewIDs, información que indique correspondencia en ViewID entre una pluralidad de flujos de video de varias vistas puede ser incluida en paquete de sistema, datos complementarios o similares.
La figura 106 ilustra un ejemplo de información de coincidencia que indica correspondencia entre una pluralidad de flujos. La información de coincidencia incluye: información que indica un flujo de reemplazo y un flujo reemplazado; e información que indica correspondencia entre ViewIDs del flujo de reemplazo y ViewIDs del flujo reemplazado .
El dispositivo de reproducción puede reconocer la correspondencia entre el flujo de reemplazo y el flujo reemplazado al hacer referencia a la correspondencia entre ViewIDs de la pluralidad de flujos de video de varias vistas indicados por la información de coincidencia. ; (22) En la presente modalidad, como se ilustrá en la figura 21, video de un color (por ejemplo, negro) es codificado por compresión para de esta manera comprimir el flujo de video de vista base a una baja velocidad de bits. Sin embargo, esto es debido a que el método para reemplazar imágenes en la memoria de almacenamiento temporal de vistas intermedias por diferentes codees no se define en el codee del flujo de video de varias vistas. Por ejemplo, el método para reemplazar imágenes en la memoria de almacenamiento temporal de vistas intermedias por diferentes codees puede ser definido, e información que instruya saltarse la compresión de video puede ser preparada en un elemento Syntax. En ese caso, información que indique qué imagen va a reemplazar la imagen objetivo de reemplazo (PID, PTS, DTS, POC o similares de la imagen de reemplazo) puede ser almacenada . (23) En la presente modalidad, el flujo de video de vista base se genera al codificar por compresión video de un color (por ejemplo, negro) . Sin embargo, no limitado a esto, el flujo de video de vista base puede ser generado al codificar por compresión video diferencial (diferencia entre el video compatible con 2D y el video de ojo izquierdo original) que incremente la calidad de- imagen del flujo de video compatible con 2D. Con el flujo de video compatible con 2D cuya calidad de imagen ha sido incrementada al usar el video diferencial, la codificación del flujo de video de vista dependiente al hacer referencia a las imágenes de alta calidad puede incrementar la calidad de imagen del flujo de video de vista dependiente también.
La figura 86 ilustra la estructura de flujos de video en la presente modificación.
El flujo de video compatible con 2D se genera al codificar por compresión el video de ojo izquierdo original.
El flujo de video de varias vistas incluye' el flujo de video de vista base y el flujo de video de vista dependiente. El flujo de video de vista base se genera al codificar por compresión la diferencia entre el video compatible con 2D y el video de ojo izquierdo original. El flujo de video de vista dependiente se genera al codificar por compresión el video de ojo derecho original.
La porción superior de la figura 89 ilustra un contorno del procedimiento para crear el video diferencial.
Primero, el video original 8901 es codificado por compresión (8911) para generar el flujo de video compatible con 2D (8903) . Posteriormente, el flujo de video compatible con 2D (8903) es decodificado (8012) para obtener imágenes decodificadas del video compatible con 2D (8902). Después un valor diferencial (video diferencial) entre cada imagen del video original 8901 y cada imagen decodificada del video compatible con 2D (8902) es calculado (8913), y al valor diferencial calculado se le añade un valor 128 (8914). Aquí, el valor 128 se añade por la siguiente razón. Es decir, si .el valor diferencial se calcula de una manera simple, información firmada (en un rango de -128 a +128 en el caso de un color de 8 bits, por ejemplo) se obtiene y un bit que represente el signo es requerido además. Para cortar el bit que represente el signo, el resultado de cálculo se convierte en un valor positivo al añadir el valor 128. Aquí, la diferencia entre cada imagen del video original 8901 y cada imagen decodificada del video compatible con 2D 8902 tiene un intervalo dinámico pequeño, y es fácil producir un gran efecto de compresión.
La porción inferior de la figura 89 ilustra un contorno del procedimiento para componer el video diferencial explicado en la porción superior de la figura 89.
Primero, el flujo de video compatible con 2D 8903 es decodificado para obtener imágenes decodificadas del video compatible con 2D 8902. El flujo de video de vista base 8905 es decodificado para obtener el video diferencial 8904. A cada imagen del video diferencial 8904 se le añade "-128" para ser llevada a información firmada (8933). La información firmada de cada imagen es compuesta con cada imagen decodificada del video compatible con 2D 28092 en unidades de pixeles (8934) .
Con la estructura anterior, es posible incrementar la calidad de imagen del flujo de video compatible con 2D al usar el video diferencial, e incrementar la calidad de imagen del flujo de video de vista dependiente también usando las imágenes de alta calidad como imágenes de referencia.
A continuación se describe un dispositivo de creación de datos y un dispositivo de reproducción para esta estructura de datos.
La figura 87 ilustra la estructura del dispositivo de creación de datos.
Un dispositivo de creación de datos 8701 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601, pero difiere del mismo en un codificador de video de vista base 8705 y un codificador de video de vista dependiente 8709, y que incluye además una memoria de cuadros de video compatibles con 2D de alta definición 8711.
El codificador de video de vista base 8705 codifica por compresión el flujo de video de vista base en un codee de video para flujo de video de varias vistas (por ejemplo, PEG-4 MVC) , y genera el flujo de video de vista base al codificar por compresión el video diferencial que representa diferencias entre cada imagen del video de ojo izquierdo original y cada imagen decodificada del flujo de video compatible con 2D de acuerdo con la información de codificación de video compatible con 2D 2606. El codificador de video de vista base 8705 también envía la información de codificación de video de vista base 2607, y envía el video compuesto de cada imagen decodificada del flujo de video compatible con 2D y el video diferencial a una memoria de cuadros de video compatibles con 2D de alta definición 8711.
Más específicamente, el codificador de vídeo de vista base 8705 genera primero un video diferencial que representa la diferencia entre el video de ojo izquierdo original y cada imagen decodificada del flujo de video compatible con 2D. El método para generar el video diferencial ya ha sido explicado con referencia a la porción superior de la figura 89. El video diferencial es luego codificado por compresión al determinar el método de codificación del flujo de video de vista base al hacer referencia a la información de codificación de video compatible con 2D 2606. El método de codificar por compresión el video es igual al método descrito con respecto al codificador de video de vista base 2605. El codificador de video de vista base 8705 envía el flujo de video codificado por compresión como el flujo de video de vista base y envía el video resultante de la composición del video diferencial obtenido al decodificar flujo de video de vista base con cada imagen decodificada del flujo de video compatible con 2D a la memoria de cuadros de video compatibles con 2D de alta definición. El método de composición ya ha sido explicado con referencia a la porción inferior de la figura 89.
El codificador de video de vista dependiente 8709, que tiene una función de codificar por compresión el flujo de video de vista dependiente en un codee de video para flujo de video de varias vistas (por ejemplo, MPEG-4 MVC) , codifica por compresión el video de ojo derecho original de acuerdo con la información de codificación de video de vista base 2607 y envía el flujo de video de vista dependiente. Aquí, el codificador de video de vista dependiente 8709 lleva a cabo la codificación por compresión al hacer referencia, por la referencia entre vistas, a las imágenes decodificadas de alta definición del flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D de alta definición 8711. El método para codificar por compresión es igual a aguél del codificador de video de vista dependiente 2609.
La figura 88 ilustra la estructura del dispositivo de reproducción.
Un dispositivo de reproducción 8823 tiene básicamente la misma estructura gue el dispositivo de reproducción 2823, pero difiere del mismo en gue incluye un decodificador de video de varias vistas 8817 en lugar del decodificador de video de varias vistas 2817 y además incluye una unidad de composición 8824.
Después de decodificar el flujo de video de vi'sta base, el decodificador de video de varias vistas 8817 transmite imágenes decodificadas del flujo de video de vista base a la unidad de composición 8824 también.
La unidad de composición 8824 compone las imágenes decodificadas del flujo de video de vista base con las imágenes decodificadas gue tengan los mismos valores de DTS/PTS) del flujo de video compatible con 2D. El método de composición ya ha sido descrito con referencia a la figura 89.
Las imágenes decodificadas del flujo de video compatible con 2D, que han sido hechas de alta definición por la composición, reemplazan a las imágenes decodificadas que tienen los mismos valores del PTS del flujo de video de vista base en la memoria de almacenamiento temporal de referencia entre vistas 2816. De esta manera, cuando se decodifica el flujo de video de vista dependiente, las imágenes decodificadas de alta definición del flujo de video compatible con 2D son referenciadas , haciendo entonces a las imágenes decodificadas del flujo de video de vista dependiente de alta definición también. (24) El dispositivo de creación de datos y dispositivo de reproducción en la modificación anterior (23) pueden ser simplificados en estructuras como sigue. La presente modificación se refiere al flujo de video de vista dependiente, y en la presente modificación, no las imágenes decodificadas del flujo de video compatible con 2D, que se han hecho de alta definición por la composición con el video diferencial como en la modificación (23) anterior, sino las imágenes decodificadas del flujo de video compatible con 2D antes de la composición son referenciadas . En este caso, aunque el flujo de video de vista dependiente no se hace de alta definición como en la modificación (23), el procesamiento se vuelve más fácil.
La figura 97 ilustra la estructura de un dispositivo de creación de datos en la presente modificación.
Un dispositivo de creación de datos 9701 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601, pero difiere del mismo en un codificador de video de vista base 9705 y un codificador de video de vista dependiente 9709.
El codificador de video de vista base 9705, que tiene una función de codificar por compresión el flujo de video de vista base en un codee de video para flujo de video de varias vistas (por ejemplo, PEG-4 MVC) , y genera el flujo de video de vista base al codificar por compresión el video diferencial que representa diferencias entre cada imagen del video de ojo izquierdo original y cada imagen decodificada del flujo de video compatible con 2D de acuerdo con la información de codificación de video compatible con 2D, y envía la información de codificación de video de vista base y las imágenes decodificadas del flujo de video compatible con 2D. ·:¦""¦ Más específicamente, el codificador de video de vista base 9705 genera primero un video diferencial que representa la diferencia entre el video de ojo izquierdo original y cada imagen decodificada del flujo de video compatible con 2D. La porción superior de la figura 29 ilustra el método para generar el video diferencial. El codificador de video de vista base 9705 determina el método de codificación del flujo de video de vista base con base en la información de codificación de video compatible con 2D 2606, y codifica por compresión el video diferencial. El método de codificación por compresión del video es igual al método descrito con respecto al codificador de video de vista base 2605. El codificador de video de vista base 9705 envía el flujo de video codificado por compresión como el flujo de video de vista base.
El codificador de video de vista dependiente 9707, que tiene una función por codificar por compresión el flujo de video de vista dependiente en un codee de video para flujo de video de varias vistas (por ejemplo, MPEG-4 MVC) , codifica por compresión el video de ojo derecho original de acuerdo con la información de codificación de video de vista base, y envía flujos de video de vista dependiente. Aquí el codificador de video de vista dependiente 9709 lleva a .cabo la codificación por compresión al hacer referencia, por la referencia entre vistas, a las imágenes decodificadas del flujo de video compatible con 2D. El método de codificación por compresión es igual a aquél del codificador de video de vista dependiente 2609.
La figura 98 ilustra la estructura de un dispositivo de reproducción en la presente modificación.
El dispositivo de reproducción 9823 tiene básicamente la misma estructura que el dispositivo de reproducción 2823, pero difiere del mismo en que incluye además una unidad de composición 9824.
La unidad de composición 9824 compone (i) cada imagen decodificada del flujo de video de vista base enviado desde el segundo plano 2820 con (ii) cada imagen decodificada que tiene el mismo valor de DTS/PTS del flujo de video compatible con 2D enviado desde el primer plano 2808 a la sincronización de PTS, y envía un video compatible con 2D de alta definición que se obtiene por el proceso de composición. (25) En la modalidad 1, las imágenes de ojo derecho son almacenadas en el flujo de video de vista dependiente. Sin embargo, no limitado a esta estructura, se puede almacenar un video de mapas de profundidad. Con esta estructura, un video en 3D puede ser reproducido usando el mapa de profundidad.
La figura 92 ilustra la estructura de flujos de video en la presente modificación.
El video de mapas de profundidad se almacena en el flujo de video de vista dependiente.
Asimismo, un video de mapa de profundidad ^ codificado por compresión puede ser almacenado en el flujo de video de vista base.
La figura 93 ilustra la estructura de flujos de video en caso de que un video de mapa de profundidad codificado por compresión sea almacenado en el flujo de video de vista base en la presente modificación.
Esto hace posible que un dispositivo de reproducción, el cual reproduce un video en 3D al usar un video de mapas de profundidad, sea estructurado para decodificar sólo el video de mapas de profundidad, y que un dispositivo de reproducción, el cual reproduce un video en 3D al usar videos de ojo izquierdo y ojo derecho, sea estructurado para lograr la reproducción de video descrita en la modalidad 1, haciendo posible que un flujo de datos soporte la reproducción de video en 3D de ambos dispositivos de reproducción. (26) Como una modificación a la modalidad 1, como se muestra en la figura 94, el video diferencial puede ser almacenado en el flujo de video de vista dependiente. Esta estructura permite la reproducción de video en 2D de alta definición al decodificar los flujos de video como se describió en la modalidad 1 y luego componer el video diferencial decodificado con imágenes decodificadas del flujo de video compatible con 2D. 1-5. Explicación suplementaria Explicación de tecnología de compresión de video., Tecnología de compresión de video en 2D La siguiente es una breve descripción de la codificación a base de MPEG-2, que es una norma para codificar por compresión video en 2D usado en el dispositivo de creación de datos y dispositivo de reproducción en la presente modalidad, y MPEG-4 AVC (un método de codificación por compresión en el cual se basa el formato MPEG-4 MVC) .
De acuerdo con este método de codificación por compresión, datos de video se codifican al comprimir la cantidad de datos usando la redundancia en la imagen de video en las direcciones espacial y temporal.
Un método que saca ventaja de la redundancia del video es la codificación predictiva entre imágenes. De acuerdo con la codificación predictiva entre imágenes, cuando cierta imagen es codificada, otra imagen que será presentada visualmente antes o después que dicha cierta imagen se designa como una imagen de referencia. Posteriormente, la cantidad de movimiento de la imagen de referencia es detectada, y una diferencia entre una imagen compensada en movimiento y una imagen objetivo de codificación se codifica por compresión.
. La figura 1 ilustra la relación de referencia entre imágenes en un flujo de video. En el ejemplo ilustrado en la figura 1, la imagen P3 es codificada por compresión al hacer referencia a la imagen 10, e imágenes Bl y B2 son codificadas por compresión al hacer referencia a las imágenes 10 y P3. De esta manera, una codificación por compresión con alta velocidad de compresión puede lograrse usando la redundancia temporal y espacial.
Tecnología de compresión de. video en 3D La siguiente es una breve descripción de 'cómo reproducir video en 3D en una presentación visual o similar usando imágenes de disparidad, y una codificación por compresión en el formato MPEG-4 MVC que es un formato de codificación de varias vistas.
En un método de visión estereoscópica que use imágenes de disparidad, la visión estereoscópica se logra al preparar una imagen de ojo derecho (imagen D) y una imagen de ojo izquierdo (imagen I) y al llevar a cabo un control de tal manera que los ojos derecho e izquierdo del usuario reciban sólo la imagen de ojo derecho y la imagen de ojo izquierdo, respectivamente .
Un video compuesto de las imágenes de ojo derecho es llamado video de vista derecha, y un video compuesto de las imágenes de ojo izquierdo es llamado video de vista izquierda.
La figura 13 ilustra un ejemplo de cómo se presenta visualmente una imagen estereoscópica. La figura 13 ilustra un ejemplo de presentar visualmente imágenes de ojo izquierdo e imágenes de ojo derecho de un esqueleto de dinosaurio. Los lentes 3D se usan para transmitir y bloquear luz a los ojos derecho e izquierdo repetidamente. Esto permite que escenas izquierda y derecha sean superpuestas dentro del cerebro del espectador gracias al fenómeno de imagen posterior de los ojos, causando que el espectador perciba una imagen estereoscópica como existiendo a lo largo de una linea que se extiende desde la cara del usuario.
Los métodos de video en 3D para codificar por compresión los videos de vista izquierda y vista derecha incluyen el método compatible con cuadros y el método de codificación de varias vistas.
De acuerdo con el método compatible con cuadros, imágenes que correspondan a imágenes del mismo tiempo en los , videos de vista izquierda y vista derecha son adelgazadas o reducidas y luego combinadas en una imagen, y la imagen combinada es codificada por compresión. Un ejemplo de esto es el método colateral ilustrado en la figura 14. De acuerdo con el método colateral, las imágenes que correspondan a imágenes del mismo tiempo en los videos de vista izquierda y vista derecha son cada una reducidas a la mitad de tamaño horizontalmente , y son dispuestas en paralelo horizontalmente para ser combinadas en una imagen. El video compuesto de; las imágenes combinadas es codificado por compresión por un método de codificación por compresión para video en 2D (por ejemplo, MPEG-2), de esta manera se genera un flujo de video. Por otro lado, cuando el flujo de video es reproducido, el flujo de video es decodificado con base en el mismo método de codificación por compresión que cuando el flujo de video es generado. Las imágenes decodificadas se dividen en imágenes izquierda y derecha, las imágenes izquierda y derecha se extienden el doble de tamaño horizontalmente, de esta mañera las imágenes que correspondan a los videos de vista izquierda y vista derecha son obtenidas. La imagen estereoscópica como la ilustrada en la figura 13 se logra cuando las imágenes obtenidas para los videos de vista izquierda y derecha (imagen I e imagen D) se presentan visualmente de manera alternante .
Por otro lado, de acuerdo con el método de codificación de varias vistas, las imágenes para los videos de vista izquierda y vista derecha se codifican por compresión independientemente, sin ser combinadas en una imagen .
Por otro lado, de acuerdo con el método de codificación de varias vistas, las imágenes para los videos de vista izquierda y vista derecha se codifican por compresión independientemente, sin ser combinadas en una imagen .
La figura 2 ilustra la codificación en el formato MPEG-4 MVC que es un formato de codificación de varias vistas .
El flujo de video de varias vistas en el formato MPEG-4 MVC incluye el flujo de video de vista base y el flujo de video de vista dependiente. El flujo de video de vista base puede ser reproducido por un dispositivo de reproducción para reproducir un flujo de video en el formato MPEG-4 AVC convencional. El flujo de video de vista dependiente se procesa al mismo tiempo que el flujo de video de vista base de tal manera que videos de diferentes puntos de vista sean reproducidos .
El flujo de video de vista base es codificado por compresión por la codificación predictiva entre imágenes usando sólo la redundancia entre imágenes del mismo punto de vista, sin hacer referencia a imágenes de diferentes puntos de vista, como se ilustra en la figura 2.
Por otro lado, cuando el flujo de video de vista dependiente es referenciado, además de la codificación predictiva entre imágenes en la cual imágenes del mismo punto de vista son referenciadas , se usa la codificación predictiva entre imágenes que usa la redundancia entre imágenes de diferentes puntos de vista.
Cada imagen del flujo de video de vista dependiente es codificada por compresión al hacer referencia - a :-una imagen, que es del mismo tiempo que dicha cada imagen, del flujo de video de vista base.
Las flechas en la figura 2 indican relación de referencia. Por ejemplo, la imagen P0, la imagen P de partida del flujo de video de vista dependiente, hace referencia a la imagen 10 que es una imagen I del flujo de video de vista base. Asimismo, la imagen Bl que es una imagen B del flujo de video de vista dependiente hace referencia a la imagen Brl que es una imagen Br del flujo de video de vista base.
Igualmente, la imagen P3, que es la segunda imagen P del flujo de video de vista dependiente, hace referencia a la imagen P3 que es una imagen P del flujo de video de vista base.
¦ Ya que el flujo de video de vista base no hace referencia a una imagen del flujo de video de vista dependiente, el flujo de video de vista base puede ser decodificado y reproducido independientemente.
Por otro lado, el flujo de video de vista dependiente es decodificado al hacer referencia al flujo de video de vista base, y de esta manera no puede ser reproducido independientemente. Sin embargo, en la codificación predictiva entre imágenes, cada imagen que constituye la vista dependiente es codificada al hacer referencia a cada imagen del mismo tiempo de otro punto de vista de la vista base. En general, las imágenes del mismo tiempo que pertenecen a las imágenes de ojo izquierdo y ojo derecho tienen similitud (están altamente relacionadas unas con otras). Como resultado, al codificar por compresión · las diferencias entre las mismas, es posible reducir la cantidad de datos del flujo de video de vista dependiente ampliamente en comparación con el flujo de video de vista base. ..
Datos de flujo En la transferencia de datos usando ondas . de difusión para TV digital, se transfieren flujos digitales que se conforman al formato de flujo de transporte MPEG-2.
El flujo de transporte MPEG-2 es una norma para transferir el flujo en el cual se multiplexan varios flujos tales como un flujo de video y un flujo de audio. El flujo de transporte MPEG-2 ha sido estandarizado por la ISO/IEC13818-1 y la ITU-T Recomendación H222.0.
La figura 6 ilustra la estructura de un flujo digital en el formato del flujo de transporte MPEG-2.
Como se ilustra en la figura 6, un flujo de transporte 513 se obtiene al multiplexar paquetes TS (Flujo de Transporte) 503 de video, paquetes TS 506 de audio, y paquetes TS 509 de un flujo de subtítulos. Los paquetes TS de video 503 almacenan un video principal de un programa de difusión, los paquetes TS de audio 506 almacenan partes de audio principales y secundarias del programa de difusión, y los paquetes TS de flujo de subtítulos 509 almacenan información de subtítulos del programa de difusión.
Una secuencia de cuadros de video 501 se codifica por compresión por un método de codificación de video tal como MPEG-2 o MPEG-4 AVC. Una secuencia de cuadros de audio 504 se codifica por compresión por un método de codificación de audio tal como Dolby AC-3, MPEG-2 AAC, MPEG-4 AAC o HE-AAC.
Cada flujo incluido en el flujo de transporte es identificado por un ID de flujo llamado PID. Es posible que un dispositivo de reproducción extraiga un flujo objetivo de procesamiento al extraer paquetes que tengan el mismo PID. Información que indica correspondencia entre PIDs y flujos es almacenada en un descriptor en un paquete PMT que se explica a continuación.
Para generar un flujo de transporte, primero una secuencia de cuadros de video 501 compuesta de una pluralidad de cuadros de video y una secuencia de cuadros de audio 504 compuesta de una pluralidad de cuadros de audio se convierten en secuencias de paquetes PES 502 y 505, respectivamente. Después, las secuencias de paquetes PES 502 y 505 se convierten en secuencias de paquetes TS 503 y 506, respectivamente. De manera similar, datos de un flujo de subtítulos 507 se convierten en una secuencia de paquetes PES 508, y además en una secuencia de paquetes TS 509. Un flujo de transporte MPEG-2 513 se forma al multiplexar estos paquetes TS en un flujo. El paquete PES y el paquete TS se describen abajo.
Estructura de datos de flujo de video A continuación se explica la estructura de datos del flujo de video obtenido al codificar por compresión imágenes mediante el método de codificación descrito arriba.
El flujo de video son datos que tienen una estructura jerárquica como la ilustrada en la figura 7. El flujo de video está compuesto de una pluralidad de G'OPs .' El GOP se trata como la unidad básica en el proceso de codificación por compresión, el cual hace posible editar video o llevar a cabo un acceso aleatorio.
Un GOP está compuesto de una o más unidades de acceso de video. Una unidad de acceso de video es una unidad de almacenamiento de datos codificados por compresión en una imagen, que almacena un cuadro en el caso de la estructura de cuadros, y un campo en el caso de la estructura de campos.
Cada unidad de acceso de video incluye un código AU ID, un encabezado de secuencia, un encabezado de imagen, datos complementarios, datos de imagen comprimidos, datos de relleno, datos de fin de secuencia y datos de fin de flujo.
En el caso de MPEG-4 AVC, cada pieza de datos se almacena en una unidad llamada una unidad NAL.
El código AU ID es un código que codifica la cabeza de la unidad de acceso.
El encabezado de secuencia es un encabezado que almacena información, tal como resolución, velocidad .de cuadros, relación de aspecto y velocidad de bits, que son comunes a través de la secuencia de reproducción completa compuesta de una pluralidad de unidades de acceso de video.
El encabezado de imagen es un encabezado que almacena información tal como un método de codificación a través de la imagen entera.
Los datos complementarios es información adicióhal, tal como información de caracteres del subtitulo presentado visualmente en TV en sincronización con el video y la información de estructura GOP, que no necesariamente se requieren para decodificar imágenes comprimidas.
Los datos de imagen comprimida almacenan datos de imágenes codificadas por compresión.
Los datos de relleno almacenan datos para mantener el formato. Por ejemplo, los datos de relleno se usan como datos de relleno para mantener una velocidad de bits predeterminada.
El código de fin de secuencia son datos que indican el fin de una secuencia de reproducción.
El código de fin de flujo son datos que indican el fin de un flujo de bits.
Las estructuras de datos del código AU ID, encabezado de secuencia, encabezado de imagen datos complementarios, datos de imagen comprimida, datos de relleno, código de fin de secuencia y código de fin de flujo son diferentes dependiendo del método de codificación de video. ,' , Por ejemplo, en el caso de MPEG-4 AVC, el código de identificación AU corresponde a un delimitador de unidad de acceso (AUD, por sus siglas en inglés) , el encabezado de secuencia a un Conjunto de Parámetros de Secuencia (SPS, por sus siglas en inglés), el encabezado de imagen a un Conjunto de Parámetros de Imagen (PPS, por sus siglas en inglés), los datos de imagen comprimida a una pluralidad de segmentos, los datos complementarios a Información de Incremento Complementaria (SEI, por sus siglas en inglés), los datos de relleno a Datos de Relleno, el código de fin de secuencia a un fin de secuencia y el código de fin de flujo a un fin de flu o .
Asimismo, en el caso del formato PEG-2, el encabezado de secuencia corresponde a los sequence_Header , sequence_extension, group_of_picture_header , los datos de imagen comprimida a una pluralidad de segmentos, los datos complementarios a los user_data, y el código de fin de secuencia al sequence_end_code . Aunque el código AU ID no está presente arriba, es posible determinar un limite entre unidades de acceso usando el código de inicio de cada encabezado. 1 Los datos anteriores de la información de atributos no siempre son necesario. Por ejemplo, cuando se lleva a cabo codificación, el encabezado de secuencia es necesario únicamente en la unidad de acceso de video en la cabeza del GOP, no añadidos en otras unidades de acceso de video. Asimismo, es posible omitir un encabezado de imagen en una unidad de acceso de video, al causar que la unidad de acceso de video haga referencia a un encabezado de imagen en una unidad de acceso de video que preceda a la unidad de acceso de video presente en el orden de codificación.
Asimismo, como se ilustra en la figura 16, en la unidad de acceso de video en la cabeza del GOP, datos de imagen I se almacenan como datos de imagen comprimida, y el código de identificación AU, encabezado de secuencia, encabezado de imagen y datos de imagen .comprimida se almacenan sin falla. Los datos complementarios, datos de relleno, código de fin de secuencia y código de fin de flujo se almacenan según sea necesario. Por otro lado, las unidades de acceso de video que no son las unidades de acceso de video en la cabeza del GO almacenan, sin falla, el código AU ID y datos de imagen comprimidos, y almacenan los datos complementarios, datos de relleno, código de fin de secuencia y código de fin de flujo según sea necesario.
La figura 10 ilustra cómo se almacena el flujo de video en la secuencia de paquetes PES.
La primera hilera de la figura 10 indica una secuencia de cuadros de video del flujo de video. La segunda hilera de la figura 10 indica una secuencia de paquetes PES.
Como se indica por las flechas yyl, yy2, yy3 y yyl en la figura 10, las imágenes I, imágenes B e imágenes P, las cuales son una pluralidad de unidades de presentación de video en el flujo de video, son separadas unas de otras y almacenadas en las cargas útiles de los paquetes PES.
Cada paquete PES incluye un encabezado de PES que almacena una PTS y una DTS, en donde la PTS indica una hora de presentación de una imagen, y la DTS indica una hora de decodificación de la imagen.
La figura 11 ilustra la estructura de datos del paquete de TS en una secuencia de paquetes TS que constituyen un flujo de transporte.
El paquete TS es un' paquete que tiene una longitud fija de 188 bytes e incluye un encabezado de TS de cuatro bytes, un campo de adaptación y una carga útil TS. El encabezado de TS incluye una trnasport_priority, un PID, y un adaptaion_field_control . El PID es un ID que identifica el flujo multiplexado en el flujo de transporte, como se describió arriba.
La transport_priority es información para identificar un tipo de un paquete en paquetes TS que tengan el mismo PID.
El adaptaion_field_control es información para controlar la estructura del campo de adaptación en la carga útil TS. Existe un caso en donde cualquiera del campo de adaptación y la carga útil TS están presentes, y un caso en donde tanto el campo de adaptación como la carga útil TS están presentes. El adaptaion_field_control indica uno entre estos casos.
Cuando el adaptation_field_control tiene un valor "1", indica que sólo la carga útil TS está presente; cundo el adaptaion_field_control tiene un valor "2", indica que sólo está presente el campo de adaptación; y cuando el adaptaion_field_control tiene un valor "3", indica que tanto el campo de adaptación como la carga útil TS están presentes.
El campo de adaptación es un área para almacenar información tal como PCR (Referencia de Reloj de Programa) , y almacena 'datos de relleno de tal manera que el paquete TS tenga la longitud fija de 188 bytes. La carga útil TS almacena un paquete PES en una forma dividida.
El flujo de transporte incluye, asi como los paquetes TS que constituyen video, audio y flujos de subtítulos, paquetes TS que constituyen PAT (Tabla de Asociación de Programas), PMT y PCR. Estos paquetes son llamados PIS (Información Especifica de Programa) .
La PAT indica un PID de una PMT usada en el flujo de transporte, y el PID de la propia PAT es "0".
La figura 12 ilustra la estructura de datos de la PMT .
La PMT incluye: un encabezado de PMT; varios descriptores que se relacionan con el flujo de transporté; e información de flujo de acuerdo con flujos de video, audio, subtítulos, etc., contenidos en el flujo de transporte.
El encabezado de PMT almacena información tal como la longitud de datos incluidos en la PMT.
Información tal como información de control de copias, la cual indica si se permite o no la copia de un flujo tal como un flujo de video o un flujo de audio, se graba en los descriptores de acuerdo con el flujo de transporte .
Cada pieza de información de flujo que se refiere a cada flujo incluye: un tipo de flujo para identificar el método d.e codificación por compresión del flujo; el PID del flujo; y una pluralidad de descriptores de - flujo en los cuales se describe información de atributos del flujo (velocidad de cuadros, relación de aspecto, etc.).
Cada paquete PCR tiene información de una hora STC que corresponde a una hora a la cual el paquete PCR es transferido al decodificador, por lo que una hora a la cual un paquete TS llega al decodificador puede ser sincronizada con un STC (Reloj de Tiempo de Sistema) que es un eje de tiempo de PTS y DTS.
Métodos de codificación que se conforman al MPEG-2 o MPEG-4 MVC hacen posible cambiar un área realmente presentada visualmente con un área de cuadros codificados por compresión.
Como resultado, cuando una imagen del flujo de video de vista dependiente en el formato MPEG-4 MVC es decodificada al hacer referencia, por la referencia entre vistas, a una imagen de un flujo de video en el formato MPEG-2, la información de atributos tiene que ser ajustada de' tal manera que las vistas de la misma hora tengan valores que indiquen la misma área de corte y área de escalamiento.
A continuación se describe información de área de corte e información de escalamiento con referencia a la figura 8.
Como se ilustra en la figura 8, un área presentada visualmente realmente entre un área de cuadros codificada por compresión puede ser especificada como un área de corte. En la MPEG-4 AVC, el área se especifica usando la información frame_cropping almacenada en el SPS. En la información frame_cropping, como se ilustra en la porción izquierda de la figura 9, diferencias respectivas entre lineas superiores, lineas inferiores, lineas izquierdas y lineas derechas, lineas del área de corte y área de cuadros codificada por compresión se especifican como las cantidades de corte superior, inferior, izquierda y derecha. Más específicamente, cuando el área de corte es especificada, el frame_cropping_flag se pone en "1", y las cantidades de corte superior, inferior, izquierda y derecha se especifican en- los frame_crop_top_offset , frame_crop_bottom_offset , frame_crop_left_offset, y frame_crop_right_offset , respectivamente.
En el caso del formato MPEG-2, como se ilustra' en la porción derecha de la figura 9, el área de corte se especifica por los tamaños vertical y horizontal del 'áré'a de corte (los display_horizontal_size y los display_vertical_size de la sequence_display_extension) e información que indica la diferencia entre el centro del área de cuadros codificada por compresión y el centro del área de corte (los frame_centre_horizontal_offset y los frame_centre_vertical_offset de la Picture_display_extension) . Más aún, una relación de aspecto se establece como la información de escalamiento que indica el método de escalamiento por el cual el área de corte realmente es presentada visualmente en la TV o similar. El dispositivo de reproducción convierte ascendentemente el área de corte al usar la relación de aspecto que ha sido establecida como la información de escalamiento y presenta visualmente el área de corte convertida ascendentemente. En el caso de la MPEG-4 AVCr información de la relación de aspecto (aspect_ratio_ide) se almacena en el SPS, como la información de escalamiento. Por ejemplo, para presentar visualmente un área de corte de 1440x1080 al expandirla hasta un tamaño de 1920x1080, la relación de aspecto se especifica como 4:3. Con esta especificación de la relación de aspecto, el tamaño horizontal es convertido ascendentemente 4/3 veces (1440x4/3 = 1920), y se presenta visualmente un área de corte de 1920x1080 expandida de 1440x1080.
En el caso del formato MPEG-2, similarmente, información de atributos que incluyen información de relación de aspecto (aspect_ratio_information) es almacenada en el sequence_header , y un proceso similar al proceso anterior puede lograrse al establecer la información de atributos a valores adecuados.
Estructura de datos de flujo de video en formato MPEG-4 MVC A continuación se describe el flujo de video en el formato MPEG-4 MVC.
La figura 15 ilustra un ejemplo de la estructura interna del flujo de video del formato MPEG-4 MVC.
Como se ilustra en la figura 15, las imágenes que constituyen el flujo de video de vista derecha son codificadas por compresión al hacer referencia a imágenes correspondientes, las cuales tienen las mismas horas de presentación visual, del flujo de video y de vista izquierda. Imágenes Pl y P2 del flujo de video de vista derecha son codificadas por compresión al hacer referencia a imágenes II y P2 del flujo de video de vista izquierda, y, las imágenes B3, B , B6, B7 del flujo de video de vista derecha son codificadas por compresión al hacer referencia a imágenes Br3, Br4, Br6, Br7 del flujo de video de vista izquierda.
La segunda hilera de la figura 15 ilustra la estructura interna del flujo de video de vista izquierda. El flujo de video de vista izquierda incluye imágenes II,. P2, Br3, Br4, P5, Br6, Br7 y P9. Estas imágenes han sido obtenidas al decodificar imágenes codificadas en el orden del tiempo fijado en la DTS.
La primera hilera ilustra imágenes de ojo izquierdo que serán presentadas visualmente en un dispositivo de presentación visual o similar. Las imágenes de ojo izquierdo , son presentadas visualmente al presentar visualmente las imágenes decodificadas II, P2, Br3, Br4, P5, Br6, Br7 y P9 en el orden del tiempo establecido en el PTS, en particular, en el orden de II, Br3, Br4, P2, Br6, Br7 y P5.
La cuarta hilera de la figura 15 ilustra la estructura interna del flujo de video de vista derecha. El flujo de video de vista derecha incluye imágenes Pl, P2, B3, B4, P5, B6, B7 y P8. Estas imágenes han sido obtenidas al decodificar imágenes codificadas en el orden del tiempo establecido en la DTS.
La tercera hilera ilustra imágenes de ojo! derecho que serán presentadas visualmente en un dispositivo de presentación visual o similar. Las imágenes de ojo derecho son presentadas visualmente al presentar visualmente las imágenes decodificadas Pl, P2, B3, B4, P5, B6, B7 y P8 en el orden del tiempo establecido en el PTS, en particular, en el orden de Pl, B3, B4, P2, B6, B7 y P5. Debe notarse aquí que cualquiera de una imagen de ojo izquierdo y una imagen de ojo derecho cuyos PTSs tengan el mismo valor de tiempo es presentada visualmente con un retraso de la mitad ." "del intervalo entre horas de dos PTSs consecutivos.
La quinta hilera ilustra cómo cambia el estado de los lentes 3D 200. Como se ilustra en la quinta hilera, cuando la imagen de ojo izquierdo es vista, el obturador para el ojo derecho es cerrada, y cuando la imagen de ojo derecho es vista, el obturador para el ojo izquierdo es cerrada.
A continuación se describe la relación entre unidades de acceso en el flujo de video de vista base y el flujo de video de vista dependiente.
La figura 17 ilustra la relación entre las unidades de acceso de video e imágenes que constituyen el flujo de video de vista base y flujo de video de vista dependiente. Como se describió arriba, cada imagen del flujo de video de vista base funciona como una unidad de acceso de video, como se ilustra en la porción superior de la figura 17.
De manera similar, cada imagen del flujo de video de vista dependiente funciona como una unidad de acceso de video, como se ilustra en la porción inferior de la figura 17, pero tiene una estructura de datos diferente.
Una unidad de acceso de video 3D 1701 está compuesta de una unidad de acceso de video del flujo de ideo e vista base y una unidad de acceso de video del flujo de video de vista dependiente que tienen el mismo valor de PTS. El dispositivo de reproducción lleva a cabo decodificación en unidades de unidades de acceso de video 3D.
La figura 18 ilustra un ejemplo de la relación entre PTSs y DTSs asignadas a las unidades de acceso de video que constituyen el flujo de video de vista base y el flujo de video de vista dependiente incluidos en el flujo de video.
Las imágenes incluidas en los flujos de video de vista base y vista dependiente que almacenan imágenes de disparidad que representan vistas del mismo tiempo se establecen de tal manera que las DTS y PTS de los mismos tengan el mismo valor.
Con esta estructura, cuando se decodifican imágenes incluidas en los flujos de video de vista base y vista dependiente, el dispositivo de reproducción puede decodificar las imágenes en unidades de unidades de acceso de video en 3D y presenta visualmente las imágenes decodificadas .
La figura 19 ilustra la estructura GOP del flujo de video de vista base y el flujo de video de vista dependiente .
La estructura GOP del flujo de video de vista base es igual a la estructura de un flujo de video convencional y está compuesta de una pluralidad de unidades de acceso de video.
El flujo de video de vista dependiente está compuesto de una pluralidad de GOPs dependientes.
Cuando se reproduce video en 3D, una imagen en la cabeza de un GOP dependiente es una imagen presentada visualmente como un par con una imagen I en la cabeza de un GOP del flujo de video de vista base y tiene el mismo valor de PTS que la imagen I en la cabeza del GOP del flujo de video de vista base.
La figura 20 ilustra la estructura de datos de unidades de acceso de video incluidas en el GOP dependiente.
Como se ilustra en la figura 20, una unidad de acceso de video en la cabeza de un GOP dependiente almacena datos de una imagen presentada visualmente al mismo tiempo que una imagen I en la cabeza de un GOP del flujo de video de vista base, y almacena un código sub AU ID, un encabezado de subsecuencia, un encabezado de imagen y datos de imagen comprimida sin falla. Los datos complementarios, datos de relleno, código de fin de secuencia y código de fin de flujo son almacenados según sea necesario.
El código sub AU ID es un código de partida que indica la posición de partida de una unidad de acceso'.
El encabezado de subsecuencia es un encabezado que almacena información, tal como resolución, velocidad de cuadros, relación de aspecto y velocidad de bits, que son comunes a través de la secuencia de reproducción completa compuesta de una pluralidad de unidades de acceso de video. Los valores de la velocidad de cuadros, resolución y relación de aspecto en el encabezado de subsecuencia son iguales a la velocidad de cuadros, resolución y relación de aspecto del encabezado de secuencia incluidos en la unidad de acceso de video en la cabeza de un GOP del flujo de video de vista base .
Las unidades de acceso de video que no son la unidad de acceso de video en la cabeza de una GOP almacenan, sin falla, el código sub AU ID y datos de imagen comprimida. Los datos complementarios, datos de relleno, código de fin de secuencia y código de fin de flujo se almacena según sea necesario . 2. Modalidad 2 2-1. Breve descripción En la modalidad 1, el flujo de video de varias vistas para video en 3D se estructura para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por codees diferentes, mientras se estructuran para tener compatibilidad de reproducción con el video ' en : '¦ 2D convencional. En la presente modalidad, el video en 2D convencional se hace de alta definición como un ejemplo de video de alto grado y el video en 2D de alta definición es transmitido por medio del flujo de video de varias vistas estructurado para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por codees diferentes, mientras se estructura para tener una compatibilidad de reproducción con el video en 2D convencional. Aquí, "alta definición" se refiere a una calidad de imagen tal que está cercana a aquella de una imagen de video original. Por ejemplo, se refiere a una calidad de imagen con menos distorsiones de compresión, tal como bloqueo de ruido, que se pueden presentar durante la compresión de video. En la presente modalidad, como un ejemplo de una imagen de video de alta definición, se usa una imagen de video codificada a una alta velocidad de bits. La calidad de la imagen de video depende de la velocidad de bits a la cual se lleva a cabo la codificación. Entre más alta sea la velocidad de bits, más alta es la calidad de imagen, en particular, más cerca de la imagen de video original está la imagen de video. Esto se debe a que cuando la velocidad de bits es baja, una escena de rápido movimiento o similar no puede ser comprimida o codificada completamente y se puede presentar ruido de bloque . ' "¦ ; La presente modalidad es igual a la modalidad 1 en la estructura básica de la estructura de datos, dispositivo de creación de datos, método de creación de datos, dispositivo de reproducción y método de reproducción. En consecuencia, la siguiente descripción se centra en las diferencias de la modalidad 1. Los términos usados en la modalidad 1 también se usan en la presente modalidad, a menos que se indique explícitamente lo contrario. A continuación se describe la presente modalidad en detalle. 2-2. Datos usados Primero, se explica la estructura de datos para codificar video de alta definición en la presente modalidad. 2-2-1. Flujo de transporte La figura 48 ilustra los datos incluidos en el flujo de transporte de la presente modalidad.
Multiplexados en el flujo de transporte de la presente modalidad están un flujo de video compatible con 2D y un flujo de video de vista base y un flujo de video de vista dependiente- de un flujo de video de varias vistas, después de haber sido convertidos en paquetes PES y luego divididos en paquetes TS para almacenamiento.
El flujo de video compatible con 2D es un flujo de video estructurado en un formato tal que pueda ser reproducido como video en 2D por un dispositivo de reproducción dedicado a video en 2D, como se explica ' con referencia a la figura 7 y similares. En la presente modalidad, el flujo de video compatible con 2D es un flujo de video codificado por un codee para el video MPEG-2. El flujo de video de varias vistas es un flujo de video codificado, por un codee para lograr la referencia entre vistas, como se describió arriba. En la presente modalidad, el flujo de video de varias vistas se obtiene al codificar por compresión un video de alta definición original por un codee para el video MPEG-4 MVC.
El lado derecho de la figura 48 ilustra qué fuente de video es codificada por compresión en cada flujo de video.
El flujo de video compatible con 2D se genera al codificar por compresión video original que tiene una calidad de imagen normal.
El flujo de video de vista base se genera al codificar por compresión un video negro a una baja velocidad de bits de acuerdo con el codee de video MPEG-4 MVC. El flujo de video de vista dependiente se genera al codificar por compresión un video de alta definición original. Aquí, el flujo de video de vista dependiente es comprimido al usar la referencia entre vistas. Las imágenes referenciadas por la referencia entre vistas no son las imágenes que tienen el mismo valor de hora de presentación (PTS) del flujo de video de vista base, sino las imágenes decodificadas que tienen el mismo valor de tiempo de presentación (PTS) del flujo de video compatible con 2D. Es decir, el flujo de video de ista dependiente se genera al codificar por compresión un video diferencial que representa las diferencias entre (i) un Video obtenido al codificar por compresión un video de definición más alta de acuerdo con un codee para definición más alta que el codee de video MPEG-2 y (ii) un video obtenido al codificar por compresión un video original de acuerdo' con' el codee de video MPEG-2. El lado de decodificación reemplaza las imágenes decodificadas (imágenes negras) del flujo' de video de 'vista base con las imágenes decodificadas (imágenes de video PEG-2 restablecidas) que tienen los mismos valores de tiempo de presentación del flujo de video compatible con 2D, y decodifica las imágenes (imágenes de alta definición que tienen los mismos valores de tiempo de presentación del flujo de video de vista dependiente al hacer referencia a las imágenes después del reemplazo (imágenes de video MPEG-2 restablecidas) .
Con la estructura anterior, el flujo de video de vista base se obtiene al codificar por compresión las imágenes negras, y el flujo de video de vista dependiente se obtiene al comprimir sólo las diferencias entre "imágenes decodificadas del flujo de video compatible con 2D" e "imágenes de video de alta definición". Esto permite que un video de más alta definición que el video en 2D convencional sea estructurado a una baja velocidad de bits.
Aquí, debido a la estructura descrita arriba en donde imágenes del flujo de video de vista dependiente hacen referencia a imágenes del flujo de video compatible con 2D, valores de atributos de video tales como "resolución", "relación de aspecto", "velocidad de cuadros" y "progresivo o entrelazado" se establecen para ser iguales entre el flujo de video compatible con 2D y el flujo de video de varias .vistas . Los valores de atributos ya han sido explicados con referencia a la figura 22. 2-2-2. Paquete de PMT La figura 50 ilustra los paquetes de PMT contenidos en el flujo de transporte. En el flujo de transporte para transmisión de video de alta definición, una información de señalización que se usará en la decodificación del video de alta definición está incluida en el paquete de sistema tal como el paquete de PMT. La información de señalización incluye un descriptor de información de alta definición y un descriptor de flujos de alta definición. El descriptor de información de alta definición se usa para señalizar la relación entre flujos de video y el inicio y fin de una reproducción de video de alta definición. El descriptor de flujo de alta definición se establece para cada flujo de video . (1) Descriptor de información de alta definición La figura 51 ilustra la estructura del descriptor de información de alta definición.
El descriptor de información de alta definición incluye un formato de reproducción de alta definición, PID de video compatible con 2D, PID de video compatible con 2D, PID de video de vista base y PID de video de vista dependiente.
El formato de reproducción de alta definición es información para señalizar el método de reproducción del dispositivo de reproducción de alta definición. Cuando 'el formato de reproducción de alta definición se pone en 0, indica que video en 2D es reproducido al reproducir el video compatible con 2D; cuando el formato de reproducción de alta definición se pone en 1, -indica que el video de alta definición es reproducido (en el formato de almacenamiento de video de alta definición descrito en la presente modalidad) al reproducir el video compatible con 2D y el video de vista dependiente; cuando el formato de reproducción de alta definición se pone en 2, indica que video de alta definición es reproducido al reproducir el video de vista base y el video de vista dependiente; y cuando el formato de reproducción de alta definición se pone en 3, indica que el video de alta definición es reproducido al reproducir el video de vista base. ? continuación se describe un ejemplo especifico de señalizar el formato de reproducción, con referencia a la figura 52.
Después de recibir 0 como el valor de formato,,, de reproducción de alta definición, el dispositivo ¦ 'de reproducción reproduce sólo el flujo de video compatible con 2D como video en 2D. Después de recibir 1 como el valor de formato de reproducción de alta definición, el dispositivo de reproducción lleva a cabo reproducción de video de alta definición al reproducir el flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente por el método de reproducción explicado en la presente modalidad. Cuando 2 se recibe como el valor de formato de reproducción de alta definición, el flujo de video compatible con 2D y el flujo de video de varias vistas que representan el video de alta definición se generan al codificar por compresión diferentes videos, y de esta manera no están en relación de referencia. Más aún, el flujo de video de vista base y el flujo de video de vista dependiente se obtienen al comprimir flujos de video por un codee de varias vistas normal. En consecuencia, el dispositivo de reproducción reproduce video de alta definición al reproducir el flujo de video de varias vistas que incluye los flujos de video de vista base y de vista dependiente. Después de recibir 3 como el valor de formato de reproducción de alta definición, el dispositivo de reproducción lleva a cabo reproducción de video de alta definición al reproducir el flujo de video de vista base.
El PID de video compatible con 2D, el PID de video de vista base y el PID de video de vista dependiente indican el PID de cada flujo de video almacenado en el flujo de video de transpor e. · · E 1 dispositivo de reproducción puede determinar el PID del flujo que vaya a ser decodi f i cado , usando esta información . (2) Descriptor de flujos de alta definición! La figura 53 ilustra la estructura del descriptor de flujo de alta definición.
El descriptor de flujo de alta definición contiene un tipo de video de vista base, un tipo de objetivo de referencia y un tipo referenciado .
El tipo de video de vista base indica el tipo de imágenes de video codificadas en el flujo de video de vista base. Cuando el tipo de video de vista base se pone en 0, indica que video que almacena video básico de video de alta definición ha sido codificado por compresión; y cuando el tipo de video de vista base se pone en 1, indica que video ficticio, el cual incluye video acompañante tal como video negro y será reemplazado con video compatible con 2D y no es enviado a un plano, ha sido codificado por compresión.
El tipo de objetivo de referencia indica el tipo de flujo de video al que hace referencia el flujo de video de vista dependiente por la referencia entre vistas. Cuando el tipo de objetivo de referencia se pone en 0, indica que imágenes del flujo de video de vista base son referenciadas por la referencia entre vistas; y cuando el tipo de objetivo de referencia se pone en 1, indica que imágenes del flujo de video compatible con 2D son referenciadas por la referencia entre vistas.
El tipo de referencia indica si el flujo de video es o no referenciado por la referencia entre vistas. Si el flujo de video no es referenciado, el proceso de referencia entre vistas puede ser saltado, simplificando asi la implementación .
Nótese que toda o una porción de la información en el descriptor de información de alta definición y el descriptor de flujos de alta definición se puede almacenar como datos complementarios o similares para cada flujo de video en lugar de ser almacenada en paquetes PMT . 2-2-3. PTS, DTS, GOP La relación entre el tipo de imagen y la hora de presentación (PTS) y una decodificación (DTS) asignada a cada unidad de acceso de video en el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente en el flujo de transporte es igual a la relación para el flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente en la modalidad 1.
La estructura GOP del flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente también es la misma que la estructura GOP del flujo de video compatible con 2D, el flujo de video de vista base y el flujo de video de vista dependiente de la modalidad 1.
Nótese que la explicación se ha hecho con referencia a las figuras 23 a 25 y que la explicación complementaria de las mismas también se aplica a la presente modalidad. 2-2-4. Forma de uso de flujos A continuación se describe la forma de uso de los flujos con referencia a la figura 49.
En la figura 49, el dispositivo de reproducción normal es un dispositivo que puede reproducir sólo el flujo de video compatible con 2D convencional. El dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 Mbps . Se asume que el dispositivo de reproducción normal es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que son distribuidos por medio de ondas de difusión o similares. Por otro lado, el dispositivo de reproducción de alta definición es el dispositivo de reproducción de la presente modalidad, y tiene una función de decodificar el flujo de video de varias vistas asi como el flujo de video compatible con1 ' 2D. Supóngase aquí que un flujo de transporte que tenga la estructura explicada con referencia a la figura 48 sea transmitido mientras los dos tipos anteriores de dispositivos de reproducción estén presentes.
El dispositivo de reproducción normal reproduce el video en 2D normal al decodificar el flujo de video compatible con 2D en el flujo de transporte. Por otro lado, el dispositivo de reproducción de alta definición decodifica tanto el flujo de video compatible con 2D como el flujo de video de varias vistas en el flujo de transporte. Cuando se decodifica el flujo de video de vista dependiente en el flujo de video de varias vistas, el dispositivo de reproducción de alta definición reemplaza imágenes decodificadas del flujo de video de vista base con imágenes decodificadas que tengan los mismos valores de hora de presentación del flujo de video compatible con 2D. El dispositivo de reproducción de alta definición decodifica después imágenes del flujo de video de vista dependiente al hacer referencia a las imágenes decodificadas que tengan los mismos valores de hora de presentación que el flujo de video compatible con 2D, las cuales son las imágenes después del reemplazo. Las imágenes decodificadas del flujo de video de vista dependiente se obtienen al añadir una diferencia entre imágenes del video de alta definición y las imágenes del flujo de video compatible con 2D a las imágenes del flujo de video compatible con 2D.
Es decir, las imágenes decodificadas del flujo de video de vista dependiente son las imágenes del video de alta definición. De esta manera el envío del flujo de video de vista dependiente de esta forma permite la reproducción de imágenes de video con más alta definición que los resultados de la decodificación del flujo de video compatible con 2D.
Con la estructura anterior, cuando el flujo de video de vista dependiente es decodificado, información tal como PTS incluida en el flujo de video de vista base es referenciada , pero las propias imágenes no. Esto hace posible reducir ampliamente la velocidad de bits al codificar por compresión video que tenga alta velocidad de compresión tal como video compuesto de imágenes negras.
Como se describió arriba, al llevar a cabo la referencia entre vistas entre flujos que haya sido codificados por compresión por codees diferentes, es posible estructura un flujo de video extendido para video de alta definición a una baja velocidad de bits (5 Mbps en el ejemplo ilustrado en la figura 49), mientras se mantiene la compatibilidad de reproducción con el dispositivo de reproducción normal que ya se ha ' vuelto popular en el mercado, y se transmite el flujo de video extendido de tal forma que el lado del dispositivo de reproducción pueda decodificar y reproducir el flujo de video. 2-3. dispositivo de creación de datos A continuación se describe el dispositivo de creación de datos de la presente modalidad. 2-3-1. Estructura La figura 54 ilustra la estructura de ¦ un dispositivo de creación de datos 5401 como un dispositivo de codificación de video de la presente modalidad.
El dispositivo de creación de datos 5401 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601 de la modalidad 1 ilustrada en la figura 26. Sin embargo, ya que reciben diferentes datos de entrada, en la figura 54, "video de ojo izquierdo original" y "video de ojo derecho original" en la figura 26 han sido reemplazados con "video original" en 2D. La siguiente descripción se centra en las diferencias del dispositivo de creación de datos 2601 de la modalidad 1.
El dispositivo de creación de datos 5401 difiere del dispositivo de creación de datos 2601 de la modalidad 1 en que un codificador de video de vista dependiente 5409 en un codificador de video de varias vistas extendido 5404 difiere en estructura de la contraparte en la modalidad 1.
El codificador de video de vista dependiente 5409 codifica la entrada de un video original de alto grado, no una mitad de videos (videos de ojo izquierdo y ojo derecho originales) que constituyen video en 3D. En el proceso de codificación por compresión, el codificador de video de vista dependiente 5409 lleva a cabo el proceso de compresión al hacer referencia, por la referencia entre vistas, a imágenes decodificadas (del flujo de video compatible con 2D) almacenadas en la memoria de cuadros de video compatibles con 2D 2608. 2-3-2. Operación La figura 55 es un diagrama de flujo que ilustra el proceso de creación de datos llevado a cabo por , el dispositivo de creación de datos 5401.
El flujo de creación de datos ilustrado en la figura 55 es aproximadamente el mismo que el flujo de creación de datos del dispositivo de creación de datos 2601 explicado con referencia a la figura 27 en la modalidad 1. Sin embargo, ya que el dispositivo de creación de datos 5401 incrementa la calidad de imagen del video en 2D, las etapas 2703 y 2706 en la figura 27 han sido reemplazadas con las etapas S5503 y S5506 en la figura 55, respectivamente. Más específicamente, en la figura 55, "video de ojo izquierdo original" y "video de ojo derecho original" en la figura 27 han sido reemplazados con "video original" en 2D. 2-4. Dispositivo de reproducción ? continuación se describe un dispositivo de reproducción como un dispositivo de reproducción de video para reproducir el video de alta definición en la presente modalidad. 2-4-1. Estructura La figura 56 ilustra la estructura de un dispositivo de reproducción 5623 de acuerdo con la presente modalidad.
El dispositivo de reproducción 5623 tiene básicamente la misma estructura que el dispositivo de reproducción de video 2823 de la modalidad 1 ilustrado en la figura 28. Sin embargo, ya que el dispositivo de reproducción 5623 no tiene que enviar el video en 3D compuesto de los videos de ojo izquierdo y ojo derecho como el dispositivo de reproducción 2823 en la modalidad 1, el dispositivo de reproducción 5623 incluye sólo un plano de salida, un primer plano 2808 y el decodificador de video compatible con 2D 2821 no envía datos a un plano, sino que simplemente los descarta. Los demás elementos estructurales del dispositivo de reproducción 5623 son iguales a los del dispositivo de reproducción 2823. 2-4-2. Operación La figura 57 es un diagrama de flujo que ilustra el proceso de decodificación y proceso de salida llevados a cabo por el dispositivo de reproducción 5623 que tienen la estructura anterior.
El diagrama de flujo ilustrado en la figura 57 es casi el mismo que el proceso de decodificación y proceso de salida de imágenes de video en 3D llevados a cabo por . el dispositivo de reproducción 2823, explicado con referencia a la figura 30 en la modalidad 1. Sin embargo, les des diagramas de flujo difieren uno del otro en la etapa del proceso de salida, y la etapa S3005 en la figura 30 ha sido reemplazada con la etapa S5705 en la figura 57 explicada a continuación. Ya que la presente modalidad se enfoca a hacer la alta definición de video en 2D y no hay necesidad de enviar el flujo de video compatible con 2D a un plano, en la etapa S5705, el dispositivo de reproducción envia sólo la imagen decodificada del flujo de video de vista dependiente a la sincronización de la PTS al primer plano 2808. 2-5. Explicación suplementaria sobre efectos A continuación se describen los efectos producidos por la presente modalidad con referencia a la figura 47.
Primero, se describe la porción superior de la figura 47. En la figura 47, el dispositivo de reproducción normal es un dispositivo de reproducción que puede reproducir sólo el flujo de video compatible con 2D. El dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 pbs . Se asume que el dispositivo de reproducción normal es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que son distribuidos por medio de ondas de difusión o similares. Por otro lado, el dispositivo de reproducción de alta definición es un dispositivo de reproducción que puede reproducir un flujo de video de alta definición que almacene video codificado que sea más alto en calidad de imagen que el flujo de video compatible con 2D. En el ejemplo de la porción superior de la figura 47, el flujo de video compatible con 2D tiene una velocidad de bits de 10 Mbps y el flujo de video de alta definición, el cual almacena video comprimido que se obtiene al comprimir el mismo video por el mismo codee que aquellos para el flujo de video compatible con 2D, tiene una velocidad de bits de 15 Mbps. Para hacer posible que el dispositivo de reproducción de alta definición decodifique y envié un flujo de video de alta definición, mientras se conserva la compatibilidad con un dispositivo de reproducción normal al permitir que el dispositivo de reproducción normal decodifique y envié el flujo de video compatible con 2D, es necesario transmitir datos en los cuales tanto el flujo de video compatible con 2D como el flujo de video de alta definición sean multiplexados, y de esta manera se requiere un ancho de banda de transferencia que incluye al menos una suma de velocidades de bits tanto de flujos de video como más altas que la convencional. En el caso de la porción superior de la fiqura 47, es necesario transferir el flujo de video compatible con 2D y el flujo de video de alta definición al mismo tiempo a una velocidad de bits de 25 Mbps en la cual 10 Mbps es para el flujo de video compatible con 2D y 15 Mbps es para el flujo de video de alta definición.
La porción inferior de la figura 47 ilustra un ejemplo de un caso en donde un método de codificación de varias vistas es adoptado para reducir el ancho de banda de transferencia requerido y resolver el problema anterior de la porción superior de la figura 47. En este caso, el flujo de video compatible con 2D es codificado como el flujo de video de vista base. Además, el flujo de video extendido es 'el flujo de video de vista dependiente que ha sido codificado por compresión al hacer referencia a imágenes del flujo de video de vista base. El flujo de video extendido comprime diferencias entre el video original y el resultado de decodificación del flujo de video compatible con 2D. Con esta estructura, el flujo de video de varias vistas logra video de alta definición a una baja velocidad de bits, en comparación con el caso en donde el flujo de video compatible con 2D y el flujo de video de alta definición son transferidos al mismo tiempo como se ilustra en la porción superior de la figura 47. Más específicamente, como se ilustra en la porción inferior de la figura 47, cuando el flujo de video compatible con 2D tiene una velocidad de bits de 10 Mbps, el flujo de video extendido tiene una velocidad de bits de 5 Mbps toda vez que ha sido comprimido al hacer referencia a imágenes del flujo de video compatible con 2D.
El dispositivo de reproducción de alta definición decodifica el flujo de video compatible con 2D incluido en el flujo de video de varias vistas, y decodifica el flujo de video extendido al hacer referencia al flujo de video compatible con 2D decodificado, de esta manera puede decodificar y reproducir video de alta definición.
Sin embargo, la estructura ilustrada en la porción inferior de la figura 47 tiene una restricción de que el flujo de video extendido y el flujo de video compatible con 2D tienen que ser codificados por el mismo codee de video. En consecuencia, ambos flujos de video tienen que - , ser comprimidos en un formato de codificación de video de varias vistas tal como el formato MPEG-4 MVC.
Si ambos flujos de video son comprimidos de esta manera, la compatibilidad con dispositivos de reproducción normales que ya han sido populares en el mercado se pierde.
En vista de esto, es difícil adoptar la estructura ilustrada en la porción inferior de la figura 47.
Por otro lado, como se explicó anteriormente, la presente modalidad logra reproducción de video de alta definición por un dispositivo de reproducción de alta definición, al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por codees diferentes, mientras se mantiene la compatibilidad de reproducción con dispositivos de reproducción normales que ya han sido populares en el mercado. Más aún, el flujo de video extendido se estructura para tener una baja velocidad de bits, reducción de un ancho de banda que se requiere para transferir los flujos. 2-6. Modificaciones a la presente modalidad (1) Los contenidos de la modalidad 1 y las modificaciones también se aplican a la presente modalidad siempre y cuando los contenidos no contradigan la estructura y similares de la presente modalidad. (2) En la presente modalidad, una estructura para seleccionar un formato de reproducción de alta definición de entre una pluralidad de formatos de reproducción de alta definición se explica con referencia a la descripción del campo de formato de reproducción de alta definición incluido en el descriptor de información de alta definición ilustrado en la figura 51. El método para cambiar entre una pluralidad de formatos de reproducción de alta definición puede implementarse fácilmente al adoptar la estructura que ya se ha explicado con referencia a la figura 40.
Al cambiar el "interruptor de referencia entre codees" y el "selector de planos" de acuerdo con el formato de reproducción de alta definición incluido en el descriptor de información de alta definición ilustrado en la figura 51, el dispositivo de reproducción puede cambiar fácilmente el modo de reproducción.
La porción inferior de la figura 58 ilustra cómo establecer el interruptor de , referencia entre codees y selector de planos en el caso del formato de reproducción, de alta definición ilustrado en la figura 52. Cuando el campo de formato de reproducción de alta definición se pone en "0", en el dispositivo de reproducción de alta defini¿i-ón¿ '< el interruptor de referencia entre codees se apaga y el selector de planos se pone para seleccionar el primer plano para el video en 2D. Cuando el campo del formato de reproducción de alta definición se pone en "1", el interruptor de referencia entre codees se enciende y el selector de planos se establece para seleccionar el tercer plano para el video en 2D. Cuando el campo de formato de reproducción de alta definición se pone en "2", el interruptor de referencia entre codees es apagado y el selector de planos se pone para seleccionar el tercer plano para el video en 2D. Cuando el campo de formato de reproducción de alta definición se pone en "3", el interruptor de referencia entre codees se apaga y el selector de planos se establece para seleccionar el segundo plano para el video en 2D. De esta manera, al cambiar sólo el interruptor de referencia entre codees y selector de planos, el dispositivo de reproducción puede cambiar el formato de reproducción de alta definición fácilmente. 3. Modalidad 3 3-1. Breve descripción En la modalidad 1, el flujo de video de varias vistas para video en 3D se estructura para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por diferentes codees, mientras se estructuran para tener una compatibilidad de reproducción con el video en 2D convencional. En la presente modalidad, el video en 2D convencional tiene reproducibilidad de color mejorada (se hace de alta profundidad de color) como un ejemplo de video de alto grado y el video en 2D de alta definición es transmitido por medio del flujo de video de varias vistas estructurado para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que hayan sido codificados por compresión por diferentes codees, mientras se estructura para tener compatibilidad de reproducción con el video en 2D convencional. Aquí, la reproducibilidad de color mejorada se refiere a la adición de información de gradiente más precisa a información de color comprimida por un codee de video convencional. Los codees de video normales representan información de color por colores de 8 bits. En el caso del color RGB, un total de 24 bits, con 8 bits (niveles de profundidad 0 a 255) asignados a cada uno de R, G y B, se usan para presentar visualmente alrededor de 16,770,000 colores. Sin embargo, ya que existe una gran cantidad de colores que no pueden ser representados por profundidad de color de 8 bits, algunos usuarios pueden considerar que imágenes de video presentadas visualmente con el uso de la profundidad de color de 8 bits son de calidad de imagen baja. En vista de esto, en la presente modalidad, video cuyo color se representa por la profundidad de color de 12 bits se usa como un ejemplo de video de alta profundidad de color.
Por ejemplo, como se ilustra en la figura 59, cuando el color en imágenes de video de CG (gráficos por computadora) o caricatura se representa por una baja profundidad de color, el cambio de color en una porción de gradación se presenta visualmente de una manera escalonada, como se ilustra en la porción superior de la figura 59. Si el color es representado por una profundidad de color más alta tal como profundidad de color de 12 bits en lugar de la profundidad de color de 8 bits, .la porción de gradación se representa de una manera suave, como se ilustra en la porción inferior dé la figura 59. En adelante, el video que tiene alta profundidad de color es denominado "video de alta profundidad de color", e incrementar la profundidad de color al incrementar la cantidad de información del color del video se denomina como hacer video de alta profundidad de color.
La estructura básica de la estructura de datos, dispositivo de creación de datos, método de creación de datos, dispositivo de reproducción y método de reproducción en la presente modalidad es la misma que en la modalidad 1, y la siguiente descripción se centra en las diferencias de la modalidad 1. Los términos usados en la modalidad 1 también se usan en la presente modalidad, a menos que se. indique explícitamente lo contrario. ? continuación se describe una perspectiva general de los procedimientos para codificar y decodificar para elaborar video de alta profundidad de color.
La figura 61 ilustra una perspectiva general de los procedimientos para codificación y decodificación para elaborar video de alta profundidad de color.
La porción superior de la figura 61 ilustra una perspectiva general del procedimiento para generar el flujo de video compatible con 2D codificado y flujo de video extendido. Aquí, un video de alta profundidad de color se asume que es, como un ejemplo, un video original que tiene la profundidad de color de 12 bits. Primero, cada porción de 8 bits superior es extraída de las imágenes de 12 bits que constituyen el video original, y las imágenes de video de 8 bits extraídas se codifican por compresión en el flujo de video compatible con 2D. El flujo de video compatible con 2D es luego decodificado, cada imagen de video del flujo de video compatible con 2D se desplaza hacia arriba por 4 bits (6101), y el valor diferencial entre el resultado y cada imagen de video del video original de 12 bits es calculado (6102). El valor diferencial adopta el intervalo del valor de 7 bits firmado (-127 a +128) . El valor diferencial se añade con 128 para hacerse a un valor positivo (6103), y el flujo de video compatible con 2D resultante se codifica por compresión en el flujo de video extendido.
La porción inferior de la figura 61 ilustra una perspectiva general del procedimiento para decodificar el flujo de video compatible con 2D extendida y flujo de video extendido .
Primero, el flujo de video compatible con 2D es decodificado, y el valor de color de cada pixel se desplaza hacia arriba por 4 bits (6104). Después, el flujo de video extendido es decodificado, y el valor de color de cada pixel se convierte en un valor firmado al restar 128 del mismo (6105). Estas imágenes de video son luego añadidas juntas (6103) para enviar un video de alta profundidad de color. Esto hace posible codificar/decodificar videos mediante el uso del codificador/decodificador de 8 bits convencional. Asimismo, el flujo de video extendido es un video diferencial entre un video de 18 bits y un video de 8 bits. Para ser exactos, un video obtenido al decodificar un flujo de video compatible con 2D de 8 bits codificado por compresión) , que representa video que tiene menos cambio, y de esta manera puede ser codificado por compresión con alta eficiencia. Además, ya que se usa codificación de video de varias vistas, las imágenes del flujo de video compatible con 2D pueden ser referenciadas . A continuación se describe la presente modalidad en detalle. 3-2. Formato de datos Primero, se explica la estructura de datos para codificar video.de alta profundidad de color en la presente modalidad. 3-2-1. Flujo de transporte La figura 62 ilustra los datos incluidos en el flujo de transporte de la presente modalidad.
Multiplexados en el flujo de transporte de la presente modalidad están un flujo de video compatible con 2D y un flujo de video de vista base y un flujo de video de vista dependiente de un flujo de video de varias vistas, después de haber sido convertidos en paquetes PES y luego divididos en paquetes TS para almacenamiento.
El flujo de video compatible con 2D es un flujo de video estructurado en un formato tal que pueda ser reproducido como video en 2D por un dispositivo de reproducción dedicado a video en 2D, como se explica con referencia a la figura 7 y similares. En la presente modalidad, el flujo de video compatible con 2D es un flujo de video codificado por un codee para el video MPEG-2. El flujo de video de varias vistas es, como se describió arriba, un flujo de video codificado por un codee para lograr la referencia entre vistas. En la presente modalidad, el codee se asume que es MPEG-4 MVC.
El lado derecho de la figura 62 ilustra qué fuente de video es codificada por compresión en cada flujo de video.
El flujo de video compatible con 2D ha sido codificado por compresión por un codee para el video MPEG-2 para que el video MPEG-2 tenga una profundidad de color de 8 bits.
El flujo de video de vista base se genera al codificar por compresión un video negro a una baja velocidad de bits de acuerdo con el codee de video MPEG-4 MVC.
El flujo de video de vista dependiente se obtiene al codificar por compresión un video diferencial que representa una diferencia entre un video original de 12 bits e imágenes decodificadas del flujo de video compatible con 2D (un video no comprimido de 8 bits). El video diferencial se genera por el procedimiento explicado con referencia a la figura 61. A continuación, el video diferencial se denomina un "video de profundidad de color diferencial". El video de profundidad de color diferencial ha sido codificado por compresión por el codee para video MPEG-4 MVC . Aquí, el flujo de video de vista dependiente es comprimido al hacer referencia a imágenes por la referencia entre vistas. Las imágenes referenciadas por la referencia entre vistas no son las imágenes que tienen el mismo valor de tiempo de presentación (PTS) que el flujo de video de vista base, sino las imágenes decodificadas que tienen el mismo valor. , de tiempo de presentación (PTS) que el flujo de video compatible con 2D. El lado de decodificación reemplaza las imágenes decodificadas (imágenes negras) del flujo de video de vista base con las imágenes decodificadas (imágenes de video no comprimidas de 8 bits) que tienen los mismos valores de tiempo de presentación que el flujo de video compatible con 2D, y decodifica las imágenes (imágenes de video originales de 12 bits) que tienen los mismos valores de tiempo de presentación que el flujo de video de vista dependiente al hacer referencia a las imágenes después del reemplazo (imágenes de video no comprimidas de 8 bits).
Con esta estructura, ya que el flujo de video de vista dependiente se obtiene al codificar por compresión el video de profundidad de color diferencial, la velocidad de bits de los flujos completos es reducida, y un video que sea más alto en profundidad de color que el flujo de video compatible con 2D puede ser proporcionado.
Aquí, debido a la estructura descrita arriba en donde imágenes del flujo de video de vista dependiente hacen referencia a imágenes del flujo de video compatible con 2D, los valores de los atributos de video tales como "resolución", "relación de aspecto", "velocidad de cuadros" y "progresivo o entrelazado" se establecen para ser iguales entre el flujo de video compatible con 2D y el flujo de video de varias vistas. Los valores de atributos ya han sido explicados con referencia a la figura 22. 3-2-2. Paquete de PMT La figura 63 ilustra los paquetes de PMT contenidos en el flujo de transporte.
En el flujo- de transporte para transmisión de video de alta profundidad de color, información de señalización que será usada en la decodificación del video de alta profundidad de color se incluye en el paquete de sistema tal como el paquete de PMT. La información de señalización incluye, un descriptor de información de alta profundidad de color y un descriptor de flujos de alta profundidad de color. El descriptor de información de alta profundidad de color se usa para señalizar la relación entre los flujos de video y el inicio y fin de una reproducción de video de alta profundidad de color. El descriptor de flujos de alta profundidad de color se establece para cada flujo de video.
El descriptor de información de alta profundidad de color y el descriptor de flujos de alta profundidad de color se explican al reemplazar "alta definición" con "alta profundidad de color" en la explicación del descriptor de información de alta definición y el descriptor de flujos de" alta definición que se ha hecho con referencia a las figuras 50, 51 y 53, y se omite una descripción adicional de los mismos.
Nótese que el descriptor de alta profundidad . de color puede incluir un campo que almacene el tamaño de la profundidad de color de video de alta profundidad de color en el flujo de video de vista dependiente. Con esta estructura, cuando se genera un flujo, los valores pueden establecerse por adelantado para cada uno de los colores de 10 bits, 12 bits, 14 bits y 16 bits de tal manera que el lado del dispositivo de reproducción de alta profundidad de color pueda cambiar la estructura de la unidad de procesamiento de composición al hacer referencia a los valores establecidas en el campo.
Nótese que la explicación de PTS, DTS y GOP, la explicación ha sido hecha con referencia a las figuras 23 a 25 y la explicación suplementaria de las mismas también se aplica a la presente modalidad. 3-2-4. Forma de uso de flujos A continuación se describe la forma de uso de los flujos con referencia a la figura 64.
En la figura 64, el dispositivo de reproducción normal es un dispositivo que puede reproducir sólo el flujo de video compatible con 2D. El dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 Mbps. El dispositivo de reproducción normal se asume que es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que están distribuidos por medio de ondas de difusión o similares. Por otro lado, el dispositivo de reproducción de alta profundidad de color decodifica tanto el flujo de video compatible con 2D como el flujo de video de varias vistas. Supóngase aquí que un flujo de transporte que tenga la estructura explicada con referencia a la figura 62 sea transmitido mientras dos tipos anteriores de dispositivos de reproducción estén presentes.
El dispositivo de reproducción normal reproduce el video en 2D normal al decodificar el flujo de video compatible con 2D en el flujo de transporte. Por otro lado, el dispositivo de reproducción de alta profundidad de color es el dispositivo de reproducción de la presente modalidad, y decodifica tanto el flujo de video compatible con 2D como el flujo de video de varias vistas. Cuando se decodifica el flujo de video de vista dependiente en el flujo de video de varias vistas, el dispositivo de reproducción de alta profundidad de color reemplaza imágenes decodificadas del flujo de video de vista base con imágenes decodificadas que tengan los mismos valores de tiempo de presentación que el flujo de video compatible con 2D, como se ilustra en la porción inferior de la figura 61. El dispositivo de reproducción de alta profundidad de color decodifica después imágenes del flujo de video de vista dependiente al hacer referencia a las imágenes decodificadas que tengan los mismos valores, de tiempo de presentación que el flujo de video compatible con 2D, las cuales son las imágenes después del reemplazo. Las imágenes decodificadas del flujo de video de vista dependiente se obtienen al añadir una diferencia entre imágenes del video de alta profundidad de color e imágenes del flujo de video compatible con 2D a las imágenes del flujo de video compatible con 2D. Es decir, las imágenes decodificadas del flujo de video de vista dependiente son las imágenes del video de alta profundidad de color. De esta manera, enviar el flujo de video de vista dependiente de esta manera permite la reproducción de imágenes de video con profundidad de color más alta que los resultados de decodificar el flujo de video compatible con 2D.
Con la estructura anterior, cuando el flujo de video de vista dependiente es decodificado, información tal como PTS incluida en el flujo de video de vista base es referenciada, pero las propias imágenes no. esto hace posible reducir ampliamente la velocidad de bits al codificar por compresión video que tenga alta velocidad de compresión tal como video compuesto de imágenes negras.
Como se describió arriba, al llevar a cabo la referencia entre vistas entre flujos que han sido codificados por compresión por diferentes codees, es posible transmitir un flujo de video extendido para video de alta profundidad de color a una baja velocidad de bits (5 Mbps en el ejemplo ilustrado en la figura 64), mientras se mantiene la compatibilidad de reproducción con el dispositivo de reproducción normal que ya se ha vuelto popular en el mercado de tal manera que el lado del dispositivo de reproducción pueda decodificar y reproducir el flujo de video. 3-3. Dispositivo de creación de datos A continuación se describe el dispositivo de creación de datos de la presente modalidad. 3-3-1. Estructura La figura 65 ilustra la estructura de un dispositivo de creación de datos 6501 como un dispositivo de codificación de video de la presente modalidad.
El dispositivo de creación de datos 6501 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601 de la modalidad 1 ilustrada en la figura 26. Sin embargo, ya que reciben diferentes datos de entrada, en la figura 65, "video de ojo izquierdo original" y "video de ojo derecho, original" en la figura 26 han sido reemplazados con "video original de 12 bits" de alta profundidad de color en 2D. La siguiente descripción se centra en las diferencias del dispositivo de creación de datos 2601 de la modalidad 1.
En el dispositivo de creación de datos 6501, un codificador de video compatible con 2D 6502 y un codificador de video de vista dependiente 6509 en un codificador de video de varias vistas extendido 6504 difiere en una estructura de las contrapartes del dispositivo de creación de datos 2601.
El codificador de video compatible con 2D 6502 envía 8 bits superiores de cada imagen de video original de 12 bits, y codifica por compresión la entrada de acuerdo con un codee de video compatible con 2D. Cuando el codee es para video MPEG-2, el codificador de video compatible con 2D 6502 codifica por compresión el video de entrada en el formato de flujo de video MPEG-2 y envía un flujo de video compatible con 2D.
El codificador de video de vista dependiente 6509 codifica la entrada de un video original de 12 bits, no una mitad de videos (videos de ojo izquierdo y ojo derecho originales) que constituyen video en 3D. El video que será codificado por compresión aquí es un video de profundidad de color diferencial que representa la diferencia entre un video original de 12 bits y un video comprimido de 8 bits (un resultado de decodificar el flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608) . El video de profundidad de color diferencial se genera por el procedimiento ilustrado en la porción superior de la figura 61. En el proceso de compresión, el codificador de video de vista dependiente 6509 lleva a cabo compresión al hacer referencia, por la referencia entre vistas, a imágenes decodificadas del flujo de video compatible con 2D almacenado ¦en la memoria de cuadros de video compatibles con 2D 2608. 3-3-2. Operación La figura 66 ilustra el flujo de creación :de datos del dispositivo de creación de datos 6501.
El flujo de creación de datos ilustrado en la figura 66 es aproximadamente el mismo que el flujo de creación de datos del dispositivo de creación de datos 2601 explicado en la modalidad 1 con referencia a la figura ' 27. Sin embargo, el dispositivo de creación de datos 6501 . hace video de alta profundidad de color con base en video 2D, -y en la figura 66, las etapas S2703 y S2706 en la figura 27 han sido reemplazadas con las etapas S6603 y ' S6606, respectivamente .
En la etapa S6603, el codificador de video compatible con 2D 6502 genera tantas imágenes de un flujo de video compatible con 2D como el número de imágenes en una codificación. Más específicamente, el codificador de video compatible con 2D 6502 genera un flujo de video compatible con 2D al codificar por compresión los 8 bits superiores de cada uno como tantos cuadros iniciando a partir del N° cuadro del video original de 12 bits como el número de imágenes en una codificación, por el codee para el flujo de video compatible con 2D, y envía el flujo de video compatible con 2D generado. El control procede después a la etapa S2704.
En la etapa S6606, el codificador de video de vista dependiente 6509 genera tantas imágenes del flujo de video de vista dependiente como el número de imágenes en una codificación. Más específicamente, los atributos dé video, estructura de imagen y similares se determina con base en la información de codificación de video de vista base, y el codificador de video de vista dependiente 6509 genera el flujo de video de vista dependiente al codificar . por compresión cada uno de tantos cuadros iniciando a partir del N° cuadro del video de profundidad de color diferencial :Como el número de imágenes en una codificación, al hacer referencia a imágenes almacenadas en la memoria de cuadros de video compatibles con 2D 2608 por la referencia entre vistas, en donde el video de profundidad de color diferencial representa la diferencia entre el video original de 12 bits y el video comprimido de 8 bits (los resultados de decodificar el flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608). El control procede después a la etapa S2707. 3- . Dispositivo de reproducción A continuación se describe un dispositivo de reproducción como un dispositivo de reproducción de video para reproducir el video de alta profundidad de color en la presente modalidad. 3-4-1. Estructura La figura 67 ilustra la estructura de un dispositivo de reproducción 6723 de acuerdo con la presente modalidad.
El dispositivo de reproducción 6723' tiene básicamente la misma estructura que el dispositivo de reproducción de video en 3D 2823 de la modalidad 1 ilustrado en la figura 28. Sin embargo, el dispositivo de reproducción 6723 tiene una función de hacer video de alta profundidad de color con base en video en 2D, y la estructura ilustrada en la figura 67 incluye además una unidad de procesamiento de composición 6724 que compone un plano enviado desde el decodificador de video compatible con 2D con un plano enviado desde el decodificador de video de varias vistas extendido, en comparación con la figura 28.
La unidad de procesamiento de composición 6724 lleva a cabo un proceso de composición para componer el primer plano con el segundo plano. El proceso de composición se lleva a cabo de acuerdo con el procedimiento ilustrado en la figura 61. Primero, la unidad de procesamiento de composición 6724 desplaza el valor de color de cada pixel en las imágenes decodificadas del flujo de video compatible con 2D almacenado en el primer plano 2808, hacia arriba por cuatro bits. Después, la unidad de procesamiento de composición 6724 convierte el valor de color de cada pixel en las imágenes decodificadas del flujo de video de vista dependiente almacenado en el segundo plano 2820 en un valor firmado al restar 128 del mismo. La unidad de procesamiento de composición 6724 después suma estas imágenes- de video, y envía un video de alta profundidad de color. 3-4-2. Operación La figura 68 es un diagrama de flujo que ilustra los procedimientos del proceso de · decodificación y proceso de salida durante la reproducción de video de alta profundidad de color por el dispositivo de reproducción 6723.
El diagrama de flujo ilustrado en la figura 68 es casi el mismo que el diagrama de flujo explicado en la modalidad 1 con referencia a la figura 30. Sin embargo, en la figura 68, la etapa S3005 del proceso de salida ; "ha '¾iido reemplazada con la etapa S6805.
En la etapa S6805, el dispositivo de reproducción 6723 envía la imagen decodificada del flujo de video compatible con 2D a la sincronización de PTS al primer plano 2808, y envía la imagen decodificada del flujo de video de vista dependiente a la sincronización de PTS al segundo plano 2820. La unidad de procesamiento de composición 6724 lleva a cabo el proceso de composición y envía un video de alta profundidad de color. El método de procesamiento de composición es como el descrito arriba y de esta manera se omite aquí. 3-5. Explicación suplementaria sobre efectos A continuación se describen los efectos producidos por la presente modalidad, con referencia a la figura 60.
Primero, se da una descripción con referencia a la porción superior de la figura 60. En la figura 60, el dispositivo de reproducción normal es un dispositivo que puede reproducir sólo el flujo de video compatible con 2D. el dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 Mbps . Se asume que el dispositivo de reproducción normal es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que son distribuidos por medio de ondas de difusión o similares. Por otro lado, el dispositivo de reproducción de alta profundidad de color es un dispositivo de reproducción que puede reproducir un flujo de video de alta profundidad de color que almacene video codificado que sea más alto en profundidad de color que el flujo de video compatible con 2D. En el ejemplo en la porción superior de la figura 50, el flujo de video compatible con 2D tiene una velocidad de bits de 10 Mbps, y el flujo de video de alta profundidad de color, el cual almacena video comprimido que se obtiene al comprimir el mismo video por el mismo codee que aquellos para el flujo de video compatible con 2D, tiene una velocidad de bits de 15 Mbps. Para hacer posible que el dispositivo de reproducción de alta profundidad de color decodifique y envíe un flujo de video de alta profundidad de color, mientras se mantiene la compatibilidad con un dispositivo de reproducción normal al permitir que el dispositivo de reproducción normal decodifique y envíe el flujo de video compatible con 2D, es necesario transmitir datos en los cuales tanto el flujo de video compatible con 2D como el flujo de video de alta profundidad de color sean multiplexados , y de esta manera, se requiere un ancho de banda de transferencia que incluye al menos una suma de velocidades de bits de ambos flujos; de video y más alto que el convencional. En el caso de la porción superior de la figura 60, es necesario transferir el flujo de video compatible con 2D y el flujo de video de alta profundidad de color al mismo tiempo a una velocidad de bits de 25 Mbps en la cual 10 Mbps son para el flujo de video compatible con 2D y 15 Mbps son para el flujo de video de alta profundidad de color.
La porción inferior de la figura 60 ilustra un ejemplo de un caso en donde un método de codificación de varias vistas se adopta para reducir el ancho de banda de transferencia requerido y resolver el problema anterior de la porción superior de la figura 60. En la figura 60, el flujo • de video compatible con 2D representa un video de color de 8 bits y ha sido codificado como el flujo de video de vista base. Asimismo, el flujo de video extendido es un flujo de video de vista dependiente que se obtiene al codificar por compresión un video diferencial que representa una diferencia entre el flujo de video compatible con 2D y un video de alta profundidad de color original (por ejemplo, un video de color de 12 bits) . El flujo de video de vista dependiente es codificado por compresión al hacer referencia a imágenes del flujo de video de vista base.
Sin embargo, la estructura ilustrada en la porción inferior de la figura 60 tiene una restricción de que el flujo de video extendido y el flujo de video compatible con 2D tienen que ser codificados por el mismo codee de ideo. En consecuencia, ambos flujos de video tienen que ser comprimidos en un formato de codificación de video de varias vistas tal como el formato MPEG-4 VC.
Si ambos flujos de video son comprimidos de esta manera, la compatibilidad con dispositivos de reproducción normales que ya se han vuelto populares en el mercado se pierde. En vista de esto, es difícil adoptar la estructura ilustrada en la porción inferior de la figura 60.
Por otro lado, como se explicó anteriormente, la presente modalidad logra reproducción de video de alta profundidad de color por un dispositivo de reproducción de alta profundidad de color, al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por diferentes codees, mientras se mantiene compatibilidad de reproducción con dispositivos de reproducción normales que ya se han vuelto populares en el mercado. Más aún, el flujo de video extendido es estructurado para tener una baja velocidad de bits, reduciendo el ancho de banda que se requiere para transferir los flujos. 3-6. Modificaciones de la presente modalidad (1) Los contenidos de la modalidad 1 y las modificaciones también se aplican a la presente modalidad siempre y cuando los contenidos no contradigan la estructura y similares de la presente modalidad. (2) En la presente modalidad, una estructura para seleccionar un formato de reproducción de alta profundidad de color de entre una pluralidad de formatos de reproducción de alta profundidad de color se explica con referencia a la descripción del campo de formato de reproducción de alta profundidad de color incluido en el descriptor de alta profundidad de color. El método para cambiar entre una pluralidad de formatos de reproducción de alta profundidad de color puede implementarse fácilmente al adoptar la siguiente estructura.
La figura 69 es un diagrama de bloques que ilustra la estructura de un dispositivo de reproducción en la presente modificación.
Un dispositivo de reproducción ilustrado en la figura 69 tiene básicamente la misma estructura que el dispositivo de reproducción ilustrado en la figura 67, pero difiere en que incluye además un interruptor de referencia entre codees y un selector de planos y que la unidad de procesamiento de composición se añade con una función de interruptor para controlar encendido y apagado de una función .
Cuando el interruptor de referencia entre codees es encendido, conecta el decodificador de video compatible con 2D a la memoria de almacenamiento temporal de referencia entre vistas en el decodificador de video de varias vistas extendido, permitiendo que datos sean transferidos del decodificador de video compatible con 2D a la memoria de almacenamiento temporal de referencia entre vistas en el decodificador de video de varias vistas extendido, como se explica en la etapa S3003. Por otro lado, cuando el interruptor de referencia entre codees es apagado, no conecta el decodificador de video compatible con 2D con la memoria de almacenamiento temporal de referencia entre vistas en el decodificador de video de varias vistas extendido, no permitiendo que datos sean transferidos a través del mismo.
El selector de planos selecciona cuál de los siguientes planos enviar a la unidad de procesamiento de composición: el primer plano, al cual el decodificador de video compatible con 2D envía datos de imagen; el segundo plano, al cual el decodificador de video de varias vistas extendido envía imágenes del flujo de video de vista base; y el tercer plano, al cual el decodificador de video de varias vistas extendido envía imágenes del flujo de video de vista dependiente. Al cambiar el ajuste en el "interruptor de referencia entre codees" y "selector de planos" de acuerdo con el descriptor de información de alta profundidad de color, el dispositivo de reproducción puede cambiar fácilmente el modo de reproducción.
La figura 70 ilustra la señalización en un formato de reproducción de alta profundidad de color.
La porción inferior de la figura 70 ilustra el cambio entre encendido y apagado por el interruptor de referencia entre codees, y ajustes en el selector de plano y el interruptor en la unidad de procesamiento de composición en el dispositivo de reproducción de alta profundidad ' de color, cuando el flujo de video compatible con 2D, flujo de video de vista base y flujo de video de vista dependiente son recibidos de acuerdo con el ajuste en el formato de reproducción de alta profundidad de color.
Cuando el formato de reproducción de alta' profundidad de color se pone en "0", el dispositivo de reproducción de alta profundidad de color apaga el interruptor de referencia entre codees, causa que el selector de planos seleccione el primer plano para enviar video de 8 bits, y apaga la función de la unidad de procesamiento de composición .
Cuando el formato de reproducción de alta profundidad de color se pone en "1", el dispositivo de reproducción de alta profundidad de color enciende el interruptor de referencia entre codees, causa que el selector de planos seleccione el primer plano para enviar video dé 8 bits y el tercer plano para enviar video de profundidad de color diferencial, y enciende la función de la unidad de procesamiento de composición. Cuando el formato de reproducción de alta profundidad de color se pone en "2", el dispositivo de reproducción de alta profundidad de color apaga el interruptor de referencia entre codees, causa que el selector de planos seleccione el segundo plano para enviar video de 8 bits y el tercer plano para enviar video, de profundidad de color diferencial, y enciende la función de la unidad de procesamiento de composición. Cuando el formato de reproducción de alta profundidad de color se pone en "3", el dispositivo de reproducción de alta profundidad de color apaga el interruptor de referencia entre codees, causa que el selector de planos seleccione e segundo plano para enviar video de 8 bits, y apaga la función de la unidad de procesamiento de composición. De esta manera, al cambiar sólo el interruptor de referencia entre codees, selector de planos y el interruptor en la unidad de procesamiento de composición, es posible cambiar el formato de reproducción en el dispositivo de reproducción fácilmente. (3) En la presente modalidad, video de 12 bits se usa como un ejemplo del video de alta profundidad de color. Sin embargo, no limitado a esto, el video de alta profundidad de color puede ser cualquier video siempre y cuando tenga una profundidad de color que sea más alta que la profundidad de color normal. Más aún, la cantidad efectiva de bits en el video original de alta profundidad de color puede establecerse para ser variable. Por ejemplo, en- video original de 12 bits, la cantidad efectiva de bits puede ser cambiada por escena, de tal manera que por ejemplo cierta escena tenga 10 bits efectivos, mientras que otra escena tenga 12 bits efectivos. En este caso, en el proceso de composición ilustrado en la figura 61, la cantidad de desplazamiento de bits del flujo de video compatible con 2D puede hacerse variable, y un desplazamiento de bits puede ser aplicado al flujo de video 'extendido para extraer la porción de profundidad de color efectiva.
Por ejemplo, cuando 10 bits entre 12 bits son efectivos, cada imagen de video puede ser desplazada hacia arriba por 2 bits, en lugar de por cuatro bits en 6101 de la figura 61. Posteriormente, el video original de 12 bits se convierte en 10 bits al desplazar cada imagen de video hacia abajo por dos bits, y un video diferencial entre los dos videos de 10 bits es creado (6102). El lado de decodificación lleva a cabo desplazamiento de 2 bits en lugar de desplazamiento ascendentes de 4 bits en 6104. Cada imagen de video del flujo de video extendido es desplazada hacia abajo por 2 bits, y luego se le añade cada imagen decodificada del flujo de video compatible con 2D (6106). En este caso, en la figura 61, 512 se añade en lugar de 128 en el proceso de adición 6103, y 512 se resta en lugar de 128 en el proceso de adición 6105. (4) En la presente modalidad, el flujo de video de vista base se genera al codificar por compresión imágenes de un color (por ejemplo, negro) . Sin embargo, no limitado a esto, el flujo de video de vista base puede ser generado al codificar por compresión un video diferencial para hacer al flujo de video compatible con 2D de alta definición (por ejemplo, las diferencias entre 8 bits superiores del video original de 12 bits y el flujo de video compatible con 2D) .
El método para generar y componer este video diferencial se describe en la figura 89.
La figura 90 ilustra la estructura de flujos de video en la presente modificación. Más específicamente, en el lado del dispositivo de creación de datos, el codificador de video de vista base puede generar el flujo de video de vista base al codificar por compresión un video diferencial entre un video original de 8 bits y el flujo de video compatible con 2D. Además, el codificador de video de vista dependiente puede codificar por compresión imágenes al hacer referencia a imágenes de un video en 2D de alta definición que se genere al componer imágenes decodificadas del flujo de video compatible con 2D con el video diferencial.
En el lado del dispositivo de reproducción, el decodificador de video de vista base transfiere las imágenes decodificadas al decodificador de video compatible con 2D. El decodificador de video compatible con 2D compone las imágenes obtenidas al decodificar el video compatible con 2D con las imágenes decodificadas por el decodificador de video de vista base. El decodificador de video de vista dependiente decodifica el flujo de video de vista dependiente al hacer referencia a las imágenes obtenidas por el proceso de composición. Esta estructura proporciona definición más alta al video de alta profundidad de color descrito en la modalidad 3. 4. Modalidad 4 4-1. Breve descripción En la modalidad 1, el flujo de video de varias vistas para video en 3D es estructurado para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por diferentes codees, mientras son estructurados para tener compatibilidad de reproducción con el video en 2D convencional. En la presente modalidad, el video en 2D convencional tiene resolución mejorada (se hace de alta resolución) como un ejemplo de video de alto grado y el video en 2D de alta definición se transmite por medio del flujo de video de varias vistas estructurado para tener una baja velocidad de bits al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por diferentes codees, mientras es estructurado para tener compatibilidad de reproducción con el video en 2D convencional. Un ejemplo de hacer video de alta resolución es el caso en donde un video en 2D, el cual se conforma a HD Total y tiene una resolución de 1920 por 1080, se convierte en un video de alta resolución que tiene una resolución de 4K2K (3840x2160) .
La estructura básica de la estructura de datos, dispositivo de creación de datos, método de creación de datos, dispositivo de reproducción y método de reproducción de la presente modalidad es igual a la de la modalidad 1, y la siguiente descripción se centra en las diferencias de la modalidad 1. Los términos usados en la modalidad 1 también se usan en la presente modalidad, a menos que se indique explícitamente lo contrario.
A continuación se describe una perspectiva general de los procedimientos para codificación y decodificación para elaborar video de alta resolución.
La figura 72 ilustra una perspectiva general de los procedimientos para codificar para elaborar video de alta resolución.
El flujo de video compatible con 2D es decodificado por DI 7201, convertido ascendentemente a dos veces la altura y ancho por el x2 7202, y almacenado en la memoria de almacenamiento temporal de referencia de imágenes 7203.
El flujo de video extendido es decodificado por. D2 7204 al referenciar imágenes escaladas (convertidas ascendentemente) almacenadas en la memoria de almacenamiento temporal de referencia de imágenes 7203. En este caso, el flujo de video compatible con 2D es codificado como las imágenes de video de base. El flujo de video compatible con 2D almacena imágenes de video de HD Total codificadas por compresión. El flujo de video extendido almacena imágenes, de video de alta resolución de 4K2K codificadas por compresión.
El flujo de video extendido es codificado por compresión al hacer referencia a imágenes de un video que ha sido escalado a alta resolución a partir del flujo de video compatible con 2D decodificado (de HD Total a 4K2K) . Como se describió arriba, al hacer referencia a imágenes del flujo de video compatible con 2D, es posible reducir la velocidad de bits del flujo de video extendido.
La figura 75 ilustra el escalamiento.
Un conjunto de pixeles 7510 está compuesto de cuatro pixeles 7511 a 7514 dispuestos en una matriz de dos hileras y dos columnas. Aquí, un caso de generar un conjunto de pixeles compuesto de 16 pixeles al duplicar el conjunto de pixeles 7510 verticalmente y horizontalmente es considerado.
El método 1 es simplemente duplicar los dos pixeles a cuatro pixeles verticalmente y horizontalmente.
El método 2 es insertar un pixel entre dos pixeles dispuestos verticalmente u horizontalmente, el pixel teniendo un valor intermedio de los valores de los dos pixeles. Por ejemplo, el pixel 7501 se vuelve un color intermedio entre los colores de los pixeles 7511 y 7512 dispuestos horizontalmente, y un pixel 7502 se vuelve un color intermedio entre los colores de los pixeles 7511 y 7513 dispuestos verticalmente.
El método 3 es calcular un color intermedio con base en todos los pixeles que rodeen un pixel horizontalmente, verticalmente y diagonalmente . Por ejemplo, un pixel 7503 se vuelve un color intermedio entre los colores de los pixeles circundantes 7511, 7501, 7512, 7502, 7504, 7513, 7505 y 7514.
El dispositivo de reproducción lleva a cabo la conversión ascendente por un método de escalamiento seleccionado de una pluralidad de métodos de escalamiento como los descritos arriba. 4-2. Formato de datos Primero, se explica la estructura de datos para codificar video de alta resolución en la presente modalidad. 4-2-1. Flujo de transporte La figura 73 ilustra los datos incluidos en el flujo de transporte de la presente modalidad. ultiplexados en el flujo de transporte de la presente modalidad están un flujo de video compatible con 2D y un flujo de video de vista base y un flujo de video de vista dependiente de un flujo de video de varias vistas, después de haber sido convertidos en paquetes PES y luego divididos en paquetes TS para almacenamiento.
El flujo de video compatible con 2D es un flujo de video estructurado en un formato tal que pueda ser reproducido como video en 2D por un dispositivo de reproducción dedicado a video en 2D, como se explica con referencia a la figura 7 y similares. En la presente modalidad, el flujo de video compatible con 2D es un flujo de video codificado por un codee para el video PEG-2. El flujo de video de varias vistas es, como se describió arriba, un flujo de video codificado por un codee para lograr la referencia entre vistas. En la presente modalidad, el codee se asume que es MPEG-4 MVC .
El lado derecho de la figura 73 indica qué fuente de video es codificada por compresión en cada flujo de video.
En el flujo de video compatible con 2D, video original de HD Total es codificado por compresión de acuerdo con el codee de video MPEG-2.
El flujo de video de vista base es generado al codificar por compresión un video negro 4K2K a una baja velocidad de bits de acuerdo con el codee de video MPEG-4 MVC .
El flujo de video de vista dependiente se genera al codificar por compresión un video original 4K2K de alta resolución de acuerdo con el codee de video MPEG-4 MVC.
Aquí, el flujo de video de vista dependiente es comprimido al hacer referencia a imágenes por la referencia entre vistas. Las imágenes referenciadas por la referencia entre vistas no son las imágenes que tienen el mismo valor de tiempo de presentación (PTS) del flujo de video de vista base, sino las imágenes decodificadas que tienen el mismo valor de tiempo de presentación (PTS) que el flujo de video compatible con 2D. El lado de decodificación reemplaza las imágenes decodificadas (imágenes negras) del flujo de video de vista base con las imágenes decodificadas (HD Total) que tienen los mismos valores de tiempo de presentación que el flujo de video compatible con 2D, y decodifica las imágenes (4K2 ) que tienen los mismos valores de tiempo de presentación que el flujo de video de vista dependiente al hacer referencia a las imágenes después del reemplazo (HD Total) .
Con esta estructura, ya que las imágenes del flujo de video de vista dependiente son obtenidas al hacer referencia a imágenes de un video 4K2K escalado ascendentemente a partir de las "imágenes decodificadas del flujo de video compatible con 2D", la velocidad de bits de los flujos completos es reducida, y se puede proporcionar un video que tenga una resolución más alta que el flujo de video compatible con 2D.
Aquí, debido a la estructura descrita arriba, en donde imágenes del flujo de video de vista dependiente hacen referencia a imágenes del flujo de video compatible con 2D, valores de los atributos tales como "relación de aspecto", "velocidad de cuadros" y. "progresivo o entrelazado" se establecen para ser los mismos entre los flujos de video. Los valores de atributo ya han sido explicados con referencia a la figura 22. Nótese que "resolución" se excluye de los campos en la figura 22 en la presente modalidad. 4-2-2. Paquete de PMT La figura 74 ilustra los paquetes de PMT contenidos en el flujo de transporte.
En el flujo de transporte para transmisión de video de alta resolución, información de señalización que se usará en decodificar el video de alta resolución se incluye en el paquete de sistema tal como el paquete de PMT. La información de señalización incluye un descriptor de información de alta resolución y un descriptor de flujos de alta resolución. El descriptor de información de alta resolución señaliza la relación entre flujos de video, el inicio y fin de reproducción de video de alta resolución bajo el presente formato y similares. El descriptor de flujo de alta resolución se establece para cada flujo de video.
El descriptor de información de alta resolución y el descriptor de flujos de alta resolución' tienen respectivamente casi la misma estructura que el descriptor de información de alta definición y el descriptor de flujos de alta definición.
El descriptor de información de alta resolución y el descriptor de flujos de alta resolución son explicados al reemplazar "alta definición" con "alta resolución" en la explicación del descriptor de información de alta definición y el descriptor de flujos de alta definición que se ha hecho con referencia a las figuras 50, 51 y 53, y una descripción adicional de los mismos es omitida.
Nótese que la información sobre la resolución de cada flujo puede ser almacenada en el descriptor de información de alta resolución. Con esta estructura, el dispositivo de reproducción de alta resolución puede determinar el método de codificación y el método de escalamiento de cada flujo al hacer referencia a la información de descriptor.
Nótese que el método de escalamiento puede establecerse en el descriptor de información de alta resolución. Existe una pluralidad de métodos de escalamiento como los descritos con referencia a la figura 75. De esta manera información que indique qué método de escalamiento se va a seleccionar de entre una pluralidad de métodos de escalamiento se almacenan al descriptor. Con esta estructura, el dispositivo de reproducción de alta resolución puede determinar el método de decodificación y método de escalamiento de cada flujo al hacer referencia a la información de descriptor.
Nótese que la explicación de PTS, DTS y GOP, la explicación habiendo sida hecha con referencia a las figuras 23 a 25 y la explicación -suplementaria de los mismos se aplican también a la presente modalidad. 4-2-4. Forma de uso de flujos A continuación se describe la forma de uso de los flujos con referencia a la figura 76.
En la figura 76, el dispositivo de reproducción normal es un dispositivo que puede reproducir sólo el flujo de video compatible con 2D. El dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 Mbps. El dispositivo de reproducción normal se asume que es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que son distribuidos por medio de ondas de difusión o similares. Por otro lado, el dispositivo de reproducción de alta resolución tiene una función de decodificar tanto el flujo de video compatible con 2D como el flujo de video de varias vistas. Supóngase aquí que un flujo de transporte que tenga la estructura explicada con referencia a la figura 73 sea transmitido mientras los dos tipos de dispositivos de reproducción están presentes.
El dispositivo- de reproducción normal reproduce video en 2D normal al decodificar y enviar el flujo de video compatible con 2D. Por otro lado, el dispositivo de reproducción de alta resolución decodifica tanto el flujo de video compatible con 2D como el flujo de video de varias vistas. El dispositivo de reproducción de alta resolución reemplaza imágenes decodificadas del flujo de video de vista base con imágenes obtenidas al escalar imágenes decodificadas que tengan el mismo valor de tiempo de presentación qué ' el flujo de video compatible con 2D, y decodifica imágenes del flujo de video de vista dependiente al hacer referencia a imágenes que tengan el mismo valor de tiempo de presentación después del reemplazo.
Esto hace posible reproducir video de alta resolución al decodificar el flujo de video de vista dependiente. Asimismo, generar el flujo de video de vista base al codificar por compresión imágenes de un color (por ejemplo, negro) hace posible reducir la velocidad de bits ampliamente .
Como se describió arriba, al llevar a cabo la referencia entre vistas entre flujos que han sido codificados por compresión por diferentes codees, es posible transmitir un flujo de video extendido para video de alta resolución a una baja velocidad de bits (10 Mbps en el ejemplo ilustrado en la figura 76) , mientras se mantiene al compatibilidad de reproducción con el dispositivo de reproducción normal qué ya se ha vuelto popular en el mercado de tal manera que el lado del dispositivo de reproducción pueda decodificar y reproducir el flujo de video. 4-3. Dispositivo de creación de datos A continuación se describe el dispositivo de creación de datos de la presente modalidad. 4-3-1. Estructura La figura 77 ilustra la estructura de un dispositivo de creación de datos 7701 como un dispositivo de codificación de video de la presente modalidad.
El dispositivo de creación de datos 7701 tiene básicamente la misma estructura que el dispositivo de creación de datos 2601 de la modalidad 1 ilustrado en la figura 26. Sin embargo, ya que reciben diferentes datos de entrada, en la figura 77, "video de oj o . izquierdo" original y "video de ojo derecho original" en la figura 26 han sido reemplazados con "video de alta resolución original (en este ejemplo, la resolución se asume que es 4K2K) " 2D. La siguiente descripción se centra en las diferencias del dispositivo de creación de datos 2601 de la modalidad 1.
El dispositivo de creación de datos 7701 difiere del dispositivo de creación de datos 2601 en la estructura de un codificador de video compatible con 2D 7702 y un codificador de video de vista dependiente 7709 en un codificador de video de varias vistas extendido 7704.' ; El codificador de video compatible con 2D 7702 genera un flujo de video con 2D al codificar por compresión un video que se obtiene al convertir un ¦ video de alta resolución de entrada en baja resolución (en este ejemplo, HD Total), usando un codee para el video compatible con 2D. Cuando el codee es para el video MPEG-2, el codificador de video compatible con 2D 7702 codifica por compresión el video de entrada en el formato de flujo de video MPEG-2 y emite un flujo de video compatible con 2D.
El codificador de video de vista dependiente 7709 codifica la entrada de un video de alta resolución original, no una mitad de videos (videos de ojo izquierdo y ojo derecho originales) que constituyen video en 3D. En el proceso de compresión, el codificador de video de vista dependiente 7709 lleva a cabo compresión al hacer referencia, por la referencia entre vistas, a imágenes decodificadas del flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608. 4-3-2. Operación La figura 78 ilustra el flujo de creación de datos del dispositivo de creación de datos 7701.
El flujo de creación de datos ilustrado en la figura 78 es casi el mismo que el flujo de creación de datos del dispositivo de creación de datos 2601 explicado en la modalidad 1 con referencia a la figura 27. Sin embargo, el dispositivo de creación de datos 7701 hace video de alta resolución con base en video en 2D, y en la figura 78,..,,las etapas S2703 y S2706 en la figura 27 han sido reempla'2'a'das con las etapas S7803 y S7806, respectivamente.
En la etapa S7803, el codificador de video compatible con 2D 7702 genera una porción del flujo de video compatible con 2D para el número de imágenes en .una codificación. Más específicamente, el codificador de video compatible con 2D 7702 genera un flujo de video compatible con 2D al reducir la resolución (en este ejemplo, a HD Total) y codificar por compresión tantos cuadros como el número de imágenes en una codificación a partir del N° cuadro del video de alta resolución original, y envía el flujo de video compatible con 2D generado. El procesamiento procede después a la etapa S2704.
En la etapa S7806, el codificador de video de vista dependiente 7709 genera una porción del flujo de video de vista dependiente para el número de imágenes en una codificación. Más específicamente, los atributos de video, estructura de imagen y similares se determinan con base en la información de codificación de video de vista dependiente, y el codificador de video de vista dependiente 7709 genera el flujo de video de vista dependiente al codificar por compresión tantos cuadros iniciando a partir del N° cuadro del video de alta resolución original ingresado ' como el número de imágenes en una codificación, al hacer referencia a imágenes decodificadas del flujo de video compatible con 2D, el cual es video HD Total (como resultado de decodificar el flujo de video compatible con 2D almacenado en la memoria de cuadros de video compatibles con 2D 2608), por la referencia entre vistas. El procesamiento procede después a la etapa S2707. 4-4. Dispositivo de presentación visual A continuación se describe un dispositivo de reproducción como un dispositivo dé reproducción de video para reproducir video de alta resolución en la presente modalidad . 4-4-1. Estructura La figura 79 ilustra la estructura de un dispositivo de reproducción de alta resolución 7923 para reproducir video de alta resolución en la presente modalidad.
El dispositivo de reproducción de alta resolución 7923 tiene básicamente la misma estructura que el dispositivo de reproducción de imágenes de video en 3D 2823 de la modalidad 1 ilustrado en la figura 28. Sin embargo, ya que el objetivo de la presente modalidad es proporcionar un video en 2D de alta resolución, la estructura de la figura 79 no incluye un plano enviado desde el decodificador de video compatible con 2D, y ha añadido un escalador 7924.
Cuando imágenes del flujo de video de vista base almacenado en la memoria de almacenamiento temporal de referencia entre vistas son reemplazadas, a la sincronización de DTS, con imágenes decodificadas enviadas desde el decodificador de video compatible con 2D, el escalador 7924 escala las imágenes decodificadas enviadas desde · el decodificador de video compatible con 2D, por un método de escalada especificado. Con esta estructura, es posible decodificar el flujo de video de vista dependiente al hacer referencia a imágenes que se obtengan al escalar las imágenes del flujo de video compatible con 2D. 4-4-2. Operación La figura 80 es un diagrama de flujo que ilustra los procedimientos del proceso de decodificación y proceso de salida durante la reproducción del video de alta resolución por el dispositivo de reproducción 7923.
El diagrama de flujo del proceso de decodificación y proceso de salida ilustrado en la figura 80 es aproximadamente igual que el diagrama de flujo explicado en la modalidad 1 con referencia a la figura 30. Sin embargo, en la figura 80, las etapas S3003 y S3005 ilustradas en la figura 30 han sido reemplazadas con las etapas S8003 y S8005, respectivamente .
En la etapa S8003, el dispositivo de reproducción 7923 hace que el escalador 7924 escale las imágenes decodificadas del flujo de video compatible con 2D, y envía los datos escalados a la memoria de almacenamiento temporal de referencia de entre vistas 2816.
En la etapa S8005, el dispositivo de reproducción 7923 envía las imágenes decodificadas del flujo de video de vista dependiente al primer plano 2829 a la sincronización de PTS . 4-5. Explicación suplementaria de efectos A continuación se describen los efectos producidos por la presente modalidad, con referencia a la figura 71.
Primero, se da una descripción con referencia a la porción superior de la figura 71. En la figura 71, el dispositivo de reproducción normal es un dispositivo que puede reproducir sólo el flujo de video compatible con 2D. El dispositivo de reproducción normal puede reproducir flujos que tengan una velocidad de bits de hasta 10 Mbps. El dispositivo de reproducción normal se asume que es de un tipo que ya se ha vuelto popular en el mercado y reproduce flujos que son distribuidos por medio de ondas de difusión o similares.
Por otro lado, el dispositivo de reproducción de alta resolución es un dispositivo de reproducción que puede reproducir un flujo de video de alta resolución que almacene video codificado que sea más alto en resolución que el flujo de video compatible con 2D. A continuación se asume como un ejemplo que el video normal tiene resolución MD Total (1920x1080), y el video de alta resolución tiene resolución 4K2K (3820x2160) . En el ejemplo en la porción superior de la figura 71, el flujo de video compatible con 2D tiene una velocidad de bits de 10 Mbps y el flujo de video, de alta profundidad de color, el cual almacena el video comprimido que se obtiene al comprimir el mismo video por el mismo codee que aquellos para el flujo de video compatible con 2D, tiene una velocidad de bits de 20 Mbps.
Para hacer posible que el dispositivo de reproducción de alta resolución decodifique un flujo de video de alta resolución, mientras se conserva la compatibilidad con un dispositivo de reproducción normal al permitir que el dispositivo de reproducción normal decodifique y envíe el flujo de video compatible con 2D, es necesario transmitir datos en los cuales tanto el flujo de video compatible con 2D como el flujo de video de alta resolución sean multiplexados , y de esta manera se requiere un ancho de banda de transferencia que incluye al menos una suma de velocidades de bits tanto de flujos de video como más altos que la convencional. En el caso de la porción superior de la figura 71, es necesario transferir el flujo de video compatible con 2D y el flujo de video de alta resolución al mismo tiempo a una velocidad de bits de 30 Mbps en la cual 10 Mbps son para el flujo de video compatible con 2D y 20 Mbps son para el flujo de video de alta resolución.
Por otro lado, la porción inferior de la figura' 71 ilustra un caso en donde un formato de codificación de video escalable es usado para resolver el problema anterior y reducir el ancho de banda de transferencia requerido. El formato de codificación de video escalable es un formato para escalar video de base de baja resolución para crear imágenes de referencia y luego decodificar un video extendido de. alta resolución .
Sin embargo, la estructura ilustrada en la porción inferior de la figura 71 tiene una restricción de que el flujo de video extendido y el flujo de video compatible con 2D tienen que ser codificados por el mismo codee de video. En consecuencia, ambos flujos de video tienen que ser codificados por compresión en, por. ejemplo, el formato MPEG-4 MVC, el cual es un formato de codificación de video escalable revisado de MPEG-4 AVC.
Si ambos flujos de video son codificados de esta manera, la compatibilidad con dispositivos de reproducción normales que ya han sido populares en el mercado se pierde. En vista de esto, es difícil adoptar la estructura ilustrada en la porción inferior de la figura 71.
Por otro lado, como se explicó anteriormente, la presente modalidad logra la reproducción de video de alta resolución por un dispositivo de reproducción de alta resolución, al lograr la referencia entre vistas entre flujos de video que han sido codificados por compresión por codees diferentes, mientras se mantiene la compatibilidad de reproducción con dispositivos de reproducción normales que ya han sido populares en el mercado. Más aún, el flujo de video extendido es estructurado para tener una baja velocidad de bits, reduciendo el ancho de banda que se requiere para transferir los flujos. 4-6. Modificaciones de la presente modalidad (1) Los -contenidos de la modalidad 1 y las modificaciones también se aplican a la presente modalidad siempre y cuando los contenidos no contradigan la estructura y similares de la presente modalidad. (2) El método de ajuste de interruptor de la modalidad 2 ilustrado en la figura 58 puede ser adoptado como el método para ajusfar interruptores dependiendo del formato de reproducción del dispositivo de reproducción en la presente modalidad, al reemplazar "alta definición" con "alta resolución" . (3) En la presente modalidad, un formato de codificación de video de varias vistas se usa para hacer un video de alta resolución con base en el flujo de video compatible con 2D. Sin embargo, también es aplicable un formato de codificación de video escalable con la misma estructura. En este caso, el decodificador de video de varias vistas extendido del dispositivo de reproducción 7923^ puede ser reemplazado con un decodificador de video escalable extendido, y el resultado de decodificación del' flujo de video compatible con ' 2D puede ser reemplazado con el resultado de decodificación del flujo de video de vista base, sin escalada. (4) En la presente modalidad, se usa un formato de codificación de video de varias vistas para hacer un video de alta resolución con base en el flujo de video compatible con 2D. Sin embargo, video en 3D colateral puede convertirse en un video en 3D HD Total al incrementar la resolución.
La figura 81 ilustra la estructura de flujos en la presente modificación.
El flujo de video compatible con 2D se obtiene la codificar por compresión video en 3D colateral usando un formato de codificación para el flujo de video compatible con 2D. Un ejemplo de la resolución del video en 3D colateral es resolución HD Total. El flujo de video de vista base incluido en el flujo de video de varias vistas es obtenido al codificar por compresión un video negro' por un codee para video de varias vistas a una baja velocidad de bits. El flujo de video de vista dependiente se obtiene al codificar por compresión un video colateral de 4 1 de alta resolución. En este caso, el flujo de video de vista dependiente es comprimido por referencia entre vistas, pero las imágenes referenciadas por la referencia entre vistas no son las imágenes que tienen el mismo valor de hora de presentación (PTS) que el flujo de video de vista base, sino imágenes' que han sido convertidas ascendentemente a 4K1K a partir de las imágenes decodificadas que tienen el mismo valor de hora de presentación (PTS) que el flujo de video compatible con 2D.
Como se describe en la presente modalidad, un decodificador de video que reproduce el flujo de video reemplaza imágenes decodificadas del flujo de video de vista base con el resultado de escalar imágenes decodificadas del flujo de video compatible con 2D que tengan el mismo valor de hora de presentación. El decodificador de video decodifica después las imágenes del flujo de video de vista dependiente que tengan el mismo valor de hora de presentación al hacer referencia a las imágenes reemplazadas. Con esta estructura, el flujo de video de vista dependiente puede ser decodificado al hacer referencia a imágenes de video 4K1K convertido ascendentemente a partir de "imágenes decodificadas del flujo de video compatible con 2D", logrando entonces una baja velocidad de bits.
La figura 82 ilustra la estructura de un dispositivo de reproducción de video en 3D en la presente modificación .
Aunque esta estructura difiere un poco del dispositivo de reproducción en la presente modalidad, se ha añadido una unidad de salida 3D 8201. La unidad de ' salida 3D 8201 extrae un video de ojo izquierdo y un video de ojo derecho del primer plano 2809 en el cual se ha enviado el video colateral de alta resolución 4K1K, y envía los videos de ojo izquierdo y ojo derecho extraídos a una televisión o similar. (5) Un formato para convertir un video en 3D colateral en un video en 3D HD Total no se limita al formato de la modificación 4, sino que puede adoptarse un formato diferente.
La figura 83 ilustra la estructura de flujos de video en la presente modificación.
El flujo de video compatible con 2D se obtiene al codificar por compresión video en 3D colateral usando un formato de codificación para el flujo de video compatible con 2D. Un ejemplo de la resolución del video en 3D colateral es resolución HD Total. El flujo de video de vista base incluido en el flujo de video de varias vistas se obtiene al codificar por compresión un video negro por un codee para video de varias vistas a una baja velocidad de bits. El flujo de video de vista dependiente se obtiene al codificar por compresión un video colateral HD Total. El video colateral es un video diferencial para hacer un video de alta resolución con base en el flujo de video compatible con 2D. Por ejemplo, cuando el video colateral del flujo de video compatible con 2D se genera al extraer pixeles de hileras impares a partir de los videos HD Total de ojo izquierdo y ojo derecho, el video colateral del flujo de video de vista dependiente se genera al extraer pixeles de hileras pares de los videos HD Total de ojo izquierdo y ojo derecho.
En este caso, el flujo de video de vista dependiente es comprimido por referencia entre vistas. Las imágenes referenciadas por la referencia entre vistas no son las imágenes que tienen el mismo valor de hora' de presentación (PTS) que el flujo de video de vista base, sino imágenes que han sido escaladas de las imágenes decodificadas que tienen el mismo valor de hora de presentación (PPS) que el flujo de video compatible con 2D.
Por otro lado, en el lado de reproducción, como se describe en la presente modalidad, un decodificador de video que reproduce el flujo de video reemplaza las imágenes decodificadas del flujo de video de vista base con las imágenes decodificadas que tienen el mismo valor de hora de presentación que el flujo de video compatible con 2D, y decodifica imágenes del flujo de video de vista dependiente que tienen el mismo valor de tiempo de presentación al hacer referencia a las imágenes reemplazadas. Con esta estructura, el flujo de video de vista dependiente puede ser decodificado al hacer referencia a "imágenes decodificadas del flujo de video compatible con 2D", logrando de esta manera una baja velocidad de bits. : <> La figura 84 ilustra la estructura de un dispositivo de reproducción de video en 3D en la presente modificación. Aunque esta estructura difiere un poco, del dispositivo de reproducción en la presente modalidad, . se ha añadido una unidad de salida 3D 8401. La unidad de salida 3D 8401 genera un video en 3D HD Total de alta resolución con base en el video colateral del flujo de video compatible con 2D almacenado en el primer plano 2809 y el video colateral del flujo de video de vista dependiente almacenado "en el segundo plano 2820, y envía el video en 3D HD Total de alta resolución generado a una televisión o similar. (6) En las modificaciones (4) y (5) anteriores, se usa en un video en 3D colateral. Sin embargo, no limitado a esto, la presente invención es aplicable a varios formatos compatibles con cuadros en 3D tales como Top&Bottom y LineByLine. Nótese que en el formato Top&Bottom, videos de ojo izquierdo y ojo derecho se comprimen respectivamente en la dirección vertical (por ejemplo, comprimidos a partir de 1080 pixeles a 540 pixeles), y son transmitidos en una forma en la que los videos están dispuestos verticalmente . En el formato LineByLine, las señales de video de ojo izquierdo y ojo derecho se disponen de manera alterna línea por línea. En el formato de codificación de varias vistas o el formato de codificación escalable para hacer video de alta resolución en la presente modalidad, el método para referenciar imágenes por la referencia entre vistas puede ser cambiado'.
La porción izquierda de la figura 95 ilustra el método de referencia entre vistas explicado en la presente modalidad, y la porción derecha ilustra un método de referencia entre vistas de la presente modificación.
En la descripción con referencia a la figura 95, el flujo de video compatible con 2D o el flujo de video de vista base se asume que es un video HD Total, y se asume que el flujo de video de vista dependiente, el cual es de alta resolución, es un video 4K2K.
De acuerdo con el método de referencia ilustrado en la porción izquierda de la figura 95, el flujo de video compatible con 2D o el flujo de video de vista base (9501) es decodificado (9503), y el resultado de la decodificación es escalado (convertido ascendentemente) a 4K2K (9505). Las imágenes resultantes son almacenadas en la memoria de almacenamiento temporal de referencia entre vistas 9506. Cuando el flujo de video de vista dependiente, el cual es 4K2K, es decodificado, las imágenes decodificadas 4K2K almacenadas en la memoria de almacenamiento temporal son referenciadas por la referencia entre vistas.
Pór otro lado, de acuerdo con el método de referencia de la presente modificación ilustrado en la porción derecha de la figura 95, el flujo de video compatible con 2D o el flujo de video de vista base (9501') es decodificado (9503). Sin embargo, las imágenes decodificadas almacenadas en la memoria de almacenamiento temporal de referencia entre vistas (9516) no han sido convertidas ascendentemente, sino que aún tienen la resolución HD Total. Además, cuando el flujo de video de vista dependiente 4K2K de alta resolución (9502) es decodificado, la función del filtro de referencia de escalamiento. (9515) se usa para llevar a cabo el proceso de decodificación al expandir, en unidades de macrobloques , el área de referencia de las imágenes decodificadas del flujo de video compatible con 2D o el flujo de video de vista base (9501).
Con esta estructura, imágenes 2 1K son almacenadas en la memoria de almacenamiento temporal de referencia entre vistas (9516), dando como resultado la reducción del tamaño de la memoria de almacenamiento temporal necesario para la memoria de almacenamiento temporal de referencia entre vistas (y la DPB ubicada en la porción subsiguiente) .
La figura 96 ilustra procedimientos específicos del filtro de referencia de escalamiento.
Cuando se decodifica el flujo de video de vista dependiente, áreas de la imagen de referencia son identificadas en unidades de macrobloques con base en la sintaxis de vectores de movimiento y similares, y la decodificación se lleva a cabo al hacer referencia a las áreas. Este método de referencia incluye las etapas ( 1 ) á (3) en la figura 96. Primero en (1), se identifica un área objetivo (coordenadas (x, y) y tamaño de área (w, h) de una imagen de alta resolución que será referenciada por un macrobloque. Luego, en (2), el área objetivo de una imagen de ¦ alta resolución virtual se genera usando una función de filtro. Una pluralidad de funciones de filtro puede- ser proporcionada, con selección de una función de filtro adecuada para las capacidades del dispositivo de reproducción. Como un ejemplo de la función de filtro, se proporciona la función f(x, y, w, h) en un bloque rodeado en un circulo por una linea punteada en la figura 96. En este ejemplo, la función de filtro f(x, y, w, h) se define como conversión ascendente de un área de vertical h/2 y horizontal w/2 en una imagen en coordenada (x/2,y/2) de imagen real doble en tamaño vertical y horizontal por el método 3 ilustrado en la figura 75. Esto hace posible generar un área objetivo en una imagen de alta resolución virtual al sustituir valores para x, y, w y h.
En (3), el macrobloque es decodificado al hacer referencia al área objetivo en la imagen de alta resolución virtual .
La función y similares en la figura 96 sólo son provistas para efectos de explicación. El método de referencia real y función de filtro pueden seleccionarse de acuerdo con reglas para el método de codificación de cada flujo de video. (8) En la presente modalidad, el flujo de video de vista base se genera al codificar por compresión imágenes de un color (por ejemplo, negro) . Sin embargo, no limitado a esto, el flujo de video de vista base puede ser generado al codificar por compresión un video diferencial (que represente diferencias entre un video de alta resolución original 4k2k y un video 4k2k obtenido al convertir ascendentemente - imágenes decodificadas del flujo de video compatible con 2D HD Total) que se usa para hacer al flujo de video compatible con 2D de alta definición.
La figura 91 ilustra la estructura de flujos de video en la presente modificación.
El método para generar y componer el video diferencial ya ha sido explicado con referencia a la figura 89. La presente modificación difiere del método en que el video diferencial se genera al convertir ascendentemente imágenes decodificadas (2K1K) del video compatible con 2D en 4K2K, antes de que se calculen las diferencias entre el video original (4K2K) y las imágenes decodificadas (2K1K) del video compatible con 2D.
En el dispositivo de creación de datos, el codificador de video de vista base general el flujo de video de vista base al codificar por compresión el video diferencial entre el video de alta resolución original 4K2K y las imágenes decodificadas del flujo de video compatible con 2D; y el codificador de video de vista dependiente genera el flujo de video de vista dependiente al hacer referencia a imágenes de un "video en 2D de alta resolución de alta definición" que se genera al componer el "video diferencial" con "imágenes 4K2K de alta resolución convertidas ascendentemente a partir de imágenes decodificadas HD Total del flujo de video compatible con 2D". !'..!.> En el dispositivo de reproducción, el decodificador de video de vista base transfiere las imágenes decodificadas al decodificador de video compatible con 2D, y el decodificador de video compatible con 2D lleva a cabo un proceso de componer el video diferencial con imágenes convertidas ascendentemente a partir de las imágenes decodificadas del flujo de video compatible con 2D y usa las imágenes compuestas cuando se decodifica el flujo de video de vista dependiente.
Esta estructura proporciona más alta definición al video de alta resolución descrito en la modalidad 4. (9) Las modalidades 1 a 4 tienen en común que el dispositivo de reproducción incluye un decodificador de video compatible con 2D y un decodificador de video de varias vistas. Como resultado, un dispositivo de reproducción puede estructurarse para llevar a cabo, al cambiar, los procesos de reproducción descritos en las modalidades 1 a .
En este caso, los flujos de video para las modalidades 1 a 4 pueden estar contenidos en el mismo; 'flujo de transporte en unidades de escenas.- En este caso, el dispositivo de creación de datos 7701 puede grabar un descriptor de terminación de formatos de reproducción en la PMT o los datos complementarios de flujo de video o similar, en donde el descriptor de determinación de formatos de reproducción se use para determinar qué formato de reproducción de qué modalidad se usa en cada escena.
La figura 85 ilustra la estructura del descriptor de determinación de formato de reproducción.
El descriptor de determinación de formato de reproducción almacena un indicador de reproducción en 3D, un indicador de alta definición, un indicador de alta profundidad de color y un indicador de alta resolución. Si cualquiera de los indicadores es VERDADERO, información que corresponda al indicador es almacenada más. Por ejemplo, el descriptor de determinación de formato de reproducción almacena un descriptor de información de reproducción en 3D cuando el indicador de reproducción en 3D es VERDADERO, un descriptor de información de alta definición cuando el indicador de alta definición es verdadero, un descriptor de información de alta profundidad de color cuando el indicador de alta profundidad de color es verdadero, y un descriptor de información de alta resolución cuando el indicador de alta resolución es verdadero. Al usar esta información, el dispositivo de reproducción puede cambiar el estado interno para seleccionar un método de reproducción de cualquiera de las modalidades descritas arriba para adopción y ejecutar el proceso . 5. Modificaciones Aunque la presente invención ha sido descrita completamente a manera de ejemplos con referencia a los dibujos acompañantes, la presente invención no está limitada al dispositivo de creación de datos y el dispositivo de reproducción descrito en las modalidades anteriores, sino que el dispositivo de creación de datos y dispositivo de reproducción pueden ser modificados, por ejemplo, como sigue. (1) A continuación se describen estructuras y efectos de un dispositivo de creación de datos como un dispositivo de codificación de video en una modalidad de la presente invención y un dispositivo de reproducción como un dispositivo de reproducción de video en una modalidad de la presente invención.
De acuerdo con un aspecto de la presente invención, se proporciona un dispositivo de codificación de video que comprende: una primera unidad de codificación configurada para generar un flujo de video que se conforme a formato MPEG-2 al codificar por compresión un primer video de una primera calidad convertido a partir de un video original; una segunda unidad de codificación configurada para generar un flujo de video de vista base y un flujo de video de vista dependiente ambos conformándose al formato MPEG-4 VC que permite una referencia entre vistas; y una unidad de salida configurada para dar salida a los flujos de video generados por la primera unidad de codificación y la segunda unidad de codificación, en donde la segunda unidad de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que, y que tienen menos cantidad de datos total que, el flujo de video generado al codificar por compresión el primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, imágenes incluidas en el flujo de video que se conforme al formato MPEG-2 que tengan la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base y que correspondan a imágenes que constituyan el segundo video, el segundo video siendo de una segunda calidad más alta que la primera calidad y estando configurado a partir del video original.
En el dispositivo de codificación de video descrito arriba, cuando se generan los flujos de video que se conforman al formato MPEG-4 MVC, la segunda unidad de codificación puede insertar información que indique que las imágenes de referencia están incluidas en el flujo! dé 'video que se conforma al formato MPEG-2, en los flujos de video que se conforman al formato MPEG-4 MVC.
Con la estructura descrita arriba, el lado de reproducción puede reproducir el flujo de video de vista dependiente al hacer referencia a imágenes incluidas en el flujo que se conforme al formato MPEG-2.
En el dispositivo de codificación de video descrito arriba, la segunda unidad de codificación puede seleccionar, como las imágenes de referencia, imágenes que tengan los mismos valores de PTS (Marca de Tiempo de Presentación) como las imágenes codificadas en el flujo de video de vista base que correspondan a las imágenes que constituyen el segundo video, de entre imágenes que constituyen el flujo de video que se conforma al formato MPEG-2.
Con la estructura descrita arriba, el lado de reproducción puede referenciar la PTS para identificar imágenes que serán referenciadas, junto con las imágenes que constituyan el flujo que se conforme al formato MPEG-2.
En el dispositivo de codificación de video descrito arriba, la primera unidad de codificación y la segunda unidad de codificación pueden comprender y codificar el primer video y el segundo video a la misma relación de aspecto, e información de inserto que incluya la relación de aspecto en los flujos. de video se genera de esta manera.
Con la estructura descrita arriba, el lado de reproducción puede identificar las relaciones de aspecto del primer video y el segundo video.
En el dispositivo de codificación de video descrito arriba, la segunda unidad de codificación puede usar, como los datos ficticios, un grupo de imágenes que no tengan cambio con el tiempo.
En el dispositivo de codificación de video descrito arriba, la segunda unidad de codificación puede usar, como el grupo de imágenes que no tengan cambios con el tiempo, un grupo de imágenes de color.
Con la estructura descrita arriba, es posible reducir la cantidad de información del flujo de video de vista base para que sea más baja que aquella de tecnologías convencionales.
En el dispositivo de codificación de video descrito arriba, el segundo video puede representar el video original por una velocidad de bits más alta que el primer video, y la segunda unidad de codificación puede ser información codificada por compresión que indique una diferencia en velocidad de bits entre imágenes que correspondan unas a otras, para generar el flujo de video de vista dependiente. · Con la estructura descrita arriba, es posible codificar por compresión video que tenga una velocidad de bits más ' alta que una velocidad de bits predeterminada, restringiendo el incremento de la cantidad requerida de datos en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción de video que tenga la velocidad de bits predeterminada con dispositivos de reproducción que se conformen a la norma MPEG-2.
En el dispositivo de codificación de video descrito arriba, el segundo video puede representar el video original por una profundidad de color más alta que el primer video, cada imagen puede tener información de profundidad de color que indique profundidades de color de pixeles que constituyan esa imagen, y la segunda unidad de codificación puede codificar por compresión una diferencia en la información de profundidad de color entre imágenes que correspondan entre si, para generar el flujo de video de vista dependiente.
Con la estructura descrita arriba, es posible codificar por compresión video que tenga una profundidad de color más alta que una profundidad de color predeterminada, restricción del incremento de la cantidad requerida de datos en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción de video que tenga la profundidad de color predeterminada con dispositivos de reproducción que se conformen a la norma MPEG-2.
En el dispositivo de codificación de video descrito arriba, el segundo video puede representar el video original por una resolución más alta que el primer video, y la segunda unidad de codificación usa, como las imágenes de referencia, las imágenes incluidas en el flujo de video que se conforma al formato MPEG-2 que han sido convertidas en una resolución del segundo video.
Con la estructura descrita arriba, es posible codificar por compresión video que tenga una resolución más alta que una resolución predeterminada, restringiendo el incremento de la cantidad de datos requerida en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción de video que tiene la resolución predeterminada con dispositivos de reproducción que se conforman a la norma MPEG-2.
En el dispositivo de codificación de video descrito arriba, el primer video puede representar el video original en un formato entrelazado, el segundo video puede representar el video original en un formato progresivo y, cuando la segunda unidad de codificación vaya a usar imágenes de campo superior e imágenes de campo inferior como las imágenes de referencia, la segunda unidad de codificación puede convertir las imágenes de campo superior y las imágenes de campo inferior en la resolución del 'segundo video.
Con la estructura descrita arriba, es posible codificar por compresión video en el formato progresivo, restringiendo el incremento de la cantidad de datos requerida en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción de video ñ el formato de entrelazamiento con dispositivos de reproducción que se conformen a la norma MPEG-2.
En el dispositivo de codificación de video descrito arriba, la segunda unidad de codificación puede usar, como el segundo video, uno de un tercer video que represente el video original por una velocidad de bits más alta que el primer video, un cuarto video que represente el video original por una profundidad de color más alta que el primer video, y un quinto video que represente el video original por ' una resolución más alta que el primer video, e incluye un descriptor, el cual indica cuál del tercer video, el cuarto video y el quinto video se usa como el segundo video, en al menos uno del flujo de video de vista base y el flujo de video de vista dependiente.
Con la estructura descrita arriba, el lado de reproducción puede identificar fácilmente, como el segundo video, uno de un video que represente el video original por una velocidad de bits más alta que el primer video, un video que represente el video original por una profundidad de color más alta que el primer video, y un video que represente el video original por una resolución más alta que la del primer video .
De acuerdo con otro aspecto de la presente invención, se proporciona un método de codificación de video que comprende: una primera etapa de codificación para generar un flujo de video que se conforme a formato MPEG-2 al codificar por compresión un primer video de una primera calidad convertido a partir de un video original; una' segunda etapa de codificación de generar un flujo de video de vista base y un flujo de video de vista dependiente que se conformen ambos al formato MPEG-4 MVC que permita una referencia entre vistas; y una etapa de salida para enviar los flujos de video generados en la primera etapa de codificación y la segunda etapa de decodificación, en donde la segunda etapa de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que, y que tienen menos cantidad de datos total que, el flujo de video generado al codificar por compresión el primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, imágenes incluidas en el flujo de video que se conforme al formato MPEG-2 que tengan la misma información de tiempo que imágenes incluidas en el flujo de video de vista base y que correspondan a imágenes que constituyen el segundo video, el segundo video siendo de una segunda calidad más alta que la primera calidad y siendo convertido del formato original .
De acuerdo con otro aspecto más de la presente invención, se proporciona un programa de codificación de video para hacer que una computadora funcione 1 como un dispositivo de codificación de video, el programa de codificación de video causa que la computadora funcione como: una primera unidad de codificación configurada para generar un flujo de video que se conforme un formato MPEG-2 al codificar por compresión un primer video de una primera calidad convertido a partir de un video original; una segunda unidad de codificación configurada para generar un fly.j de video de vista base y un flujo de video de vista dependiente que se conformen ambos a formato MPEG-4 MVC que permita una referencia entre vistas; y una unidad de salida configurada para dar salida a los flujos de video generados por la primera unidad de codificación y la segunda unidad de codificación, en donde la segunda unidad de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que, y que tiene menos cantidad de datos total que, el flujo de video generado al codificar por compresión el primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, imágenes incluidas en el flujo de video que se conforma al formato PEG-2 que tienen la misma información de tiempo que imágenes incluidas en el flujo de video de vista base y que corresponden a imágenes que constituyen el segundo video, el segundo video siendo' 'd' ! una segunda calidad más alta que la primera calidad y siendo convertido a partir del video original.
Con la estructura descrita arriba, el dispositivo de codificación de video puede codificar por compresión el video de la segunda calidad más alta que la primera calidad, restringiendo el incremento de la cantidad requerida de datos en comparación con tecnologías convencionales, mientras se mantiene la compatibilidad de reproducción del video de la primera calidad, con dispositivos de reproducción que se conformen a la norma MPEG-2.
De acuerdo con un aspecto más de la presente invención, se proporciona un dispositivo de reproducción de video para obtener flujos de video enviados desde el dispositivo de codificación de video mencionado arriba y decodificar y reproducir los flujos de video obtenidos, el dispositivo de reproducción de video comprende: una primera unidad de decodificación configurada para decodificar el flujo de video que se conforma al formato MPEG-2; una segunda unidad de decodificación configurada para decodificar el flujo de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que haya sido decodificado por la primera unidad de codificación que tengan la misma información de hora que las imágenes incluidas en el flujo de video de vista base que corresponden a imágenes; que constituyen el flujo de video de vista dependiente; y una unidad de reproducción configurada para reproducir el segundo video, que se obtenga por la segunda unidad de codificación.
De acuerdo con un aspecto adicional de la presente invención, se proporciona un método de reproducción de video para obtener flujos de video enviados por el método de codificación mencionado arriba y decodifica y reproduce los flujos de video obtenidos, el método de reproducción de video comprende: una primera etapa de decodificación para decodificar el flujo de video que se conforme al formato MPEG-2; una segunda etapa de decodificación para decodificar el flujo de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que haya sido decodificado en la primera etapa de decodificación que tenga la misma información de tiempo que las imágenes incluidas en el flujo de video -de vista base que correspondan a imágenes que constituyan el flujo de video de vista dependiente; y una etapa de reproducción para reproducir el segundo video que se obtenga por la segunda unidad de decodificaeión .
De acuerdo con un aspecto adicional de la presente invención, se proporciona un programa de reproducción de video para causar que una computadora funcione como un dispositivo de reproducción de video para obtener ' flujos de video enviados desde el dispositivo de codificación mencionado arriba y decodificar y reproducir los flujos de video obtenidos, el programa de reproducción de video causa que una computadora funcione como: una primera unidad de decodificación configurada para decodificar el flujo de video que se conforme al formato MPEG-2; una segunda unidad de decodificación configurada para decodificar el flujo de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que haya sido decodificado por la primera unidad de decodificación -que tenga la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base que correspondan a imágenes que constituyan el flujo de video de vista dependiente; y una unidad de reproducción configurada para reproducir el segundo video que se obtenga por la segunda unidad de decodificación.
Con la estructura descrita arriba, es posible decodificar y reproducir el flujo de video codificado por compresión de la segunda calidad más alta que la primera calidad, restringiendo el incremento de la cantidad de datos necesaria en comparación con tecnologías convencionales, mientras se mantiene compatibilidad de reproducción del video de la primera calidad con dispositivos de reproducción que se conformen a la norma MPEG-2. (2) Parte o todos los elementos estructurales que constituyen cualquiera de los dispositivos descritos arriba se pueden " implementar en un LSI de sistema. El LSI de sistema es un LSI ultra multifuncional que se fabrica al integrar una pluralidad de componentes en un chip. Más específicamente, el LSI de sistema es un sistema de computadora que incluye un microprocesador, ROM (Memoria de Sólo Lectura) , RAM (Memoria de Acceso Aleatorio) y similares. Un programa de computadora se almacena en la RAM. El microprocesador opera de acuerdo con el programa de computadora, haciendo posible de esta manera que el LSI de sistema logre sus funciones.
Aunque el término "LSI" se usa aqui, puede ser llamado IC (Circuito Integrado) , LSI de sistema, súper LSI, ultra LSI o similar, dependiendo del nivel de integración.
Asimismo, un circuito integrado no necesariamente tiene que ser fabricado como un LSI, sino que puede lograrse como un circuito dedicado o un procesador de propósitos generales. También es posible usar la FPGA (Disposición de Puertas Programable por Campos), con la cual programación esté disponible después de que se fabrique el LSI, o el procesador reconfigurable pueda reconfigurar la conexión o ajus'te de las celdas de circuito dentro del LSI.- Además, una tecnología para un circuito integrado que reemplace el LSI puede aparecer en el futuro cercano ya que la tecnología de semiconductores se mejora o se ramifica en otras tecnologías. En ese caso, la nueva tecnológla'.püede ser incorporada en la integración de los bloques funcionales . ! (3) Cada uno de los dispositivos descritos arriba puede ser un sistema de computadora que incluya un microprocesador, ROM, RAM y unidad de disco duro. Un programa de computadora se almacena en la RAM o la : unidad de disco duro. El microprocesador opera de acuerdo con el programa de computadora, haciendo posible de esta manera que el dispositivo logre sus funciones. El programa de computadora mencionado arriba está compuesto de una pluralidad de códigos de instrucciones que cada uno instruye a la computadora lograr una función predeterminada. (4) La presente invención puede ser un método que represente el procedimiento de cualquiera de los procesos descritos arriba. La presente invención puede ser un programa de computadora que permita a una computadora lograr el método, o puede ser una firma digital que represente el programa de computadora.
Más aún, la presente invención puede ser un medio de grabación legible por computadora tal como un disco flexible, un disco duro, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Disco Blu-ray) , o una memoria semiconductora, que contenga el programa de computadora o la señal digital grabados en el mismo. Más aún, la presente invención puede ser el programa de computadora o la señal digital grabada en cualquiera de los medios de grabación mencionados arriba.
Más aún, la presente invención puede ser el programa de computadora o la señal digital transmitida por medio de una linea de comunicación eléctrica, una linea de comunicación alámbrica o inalámbrica, una red de la cual un ejemplo es internet, o una difusión de datos. (5) La presente invención puede ser cualquier combinación de las modalidades y modificaciones descritas arriba.
Aplicación Industrial El dispositivo de codificación de video y el dispositivo de reproducción de video de la presente invención son preferibles como dispositivos incluidos en un sistema para codificar video de calidad de alto grado y transmitir y reproducir el video de calidad de alto grado codificado, mientras se mantiene la compatibilidad de reproducción con dispositivos de reproducción que se conformen a la norma MPEG-2.
Lista de números de referencia 2602 Codificador de video compatible con 2D 2603 Decodificador de video compatible con 2D 2604 Codificador de video de varias vistas extendido 2605 Codificador de video de vista base 2606 Información de codificación de video compatible con 2D 2607 Información de codificación de video de vista base 2608 Memoria de cuadros de video compatible con 2D 2609 Codificador de video de vistas dependientes 2610 Multiplexor 2801 Filtro PID 2802 TB (1) 2803 MB(1) 2804 EB(1) 2805 Decodificador de video compatible con 2D 2806 O (memoria de almacenamiento temporal de reordenamiento) 2807 Interruptor 2808 Primer plano 2809 TB(2) 2810 MB(2) 2811 EB(2) 2812 TB(3) 2813 MB(3) 2814 EB(3) 2815 Interruptor de decodificación 2816 Memoria de almacenamiento temporal de referencia entre vistas 2817 Decodificador de video entre vistas · í 2818 DPB 2819 Interruptor de planos de salida 2820 Segundo plano 2821 Decodificador de video compatible con 2D 2822 Decodificador de video de varias vistas extendido 5401 Dispositivo de creación de datos 5404 ' Codificador de video de varias vistas extendido 5409 Codificador de video de vista dependiente 5623 Dispositivo de reproducción Se hace constar que con relación a esta fecha, el mejor método conocido por la solicitante para llevar a la práctica la citada invención, es el que resulta claro de la presente descripción de la invención.

Claims (16)

REIVINDICACIONES Habiéndose descrito la invención como antecede, se reclama como propiedad lo contenido en las siguientes reivindicaciones :
1. Un dispositivo de codificación de video caracterizado porque comprende: una primera unidad de codificación configurada para generar un flujo de video que se conforme a un primer formato de codificación al codificar por compresión un primer video de una primera calidad convertido a partir de un video original; una segunda unidad de codificación configurada para generar un flujo de video de vista base y un flujo de video de vista dependiente que se conformen ambos a un segundo formato de codificación que permita una referencia entre vistas; y una unidad de salida configurada para dar salida a los flujos de video generados por la primera unidad de codificación y la segunda unidad de codificación, en donde la segunda unidad de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que el flujo de video generado por la codificación por compresión del primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, imágenes incluidas en el flujo de video que se conforma al primer formato de codificación que tienen la misma información de hora que las imágenes incluidas en el flujo de video de vista base y que corresponden a imágenes que constituyen el segundo video, el segundo video siendo de una segunda calidad más alta que la primera calidad y siendo convertido a partir del video original.
2. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque cuando genera los flujos de video que se conforman al segundo formato de codificación, la segunda unidad de codificación inserta información que indica que las imágenes de referencia están incluidas en el flujo de video que se conforma al primer formato de codificación, en los flujos de video que se conformen al segundo formato de codificación.
3. El dispositivo de codificación de video de conformidad con la reivindicación 2, caracterizado porque la segunda unidad de codificación selecciona,, como las imágenes de referencia, imágenes que tienen los mismos valores de PTS (Marca de Tiempo de Presentación) que las imágenes incluidas en el flujo de video de vista base que corresponden a las imágenes que constituyen el segundo video, de entre imágenes que constituyen el flujo de video que se conforma al primer formato de codificación.
4. El dispositivo de codificación de video de conformidad "con la reivindicación 2, caracterizado porque la primera unidad de codificación y la segunda unidad de codificación codifican por compresión el primer video y el segundo video a la misma relación de aspecto, e insertan información que indica la relación de aspecto en los flujos de video generados de esta manera.
5. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque la segunda unidad de codificación usa, como los datos ficticios, un grupo de imágenes que no tienen cambios con el tiempo.
6. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque la segunda unidad de codificación usa, como el grupo de imágenes que no tienen cambios con el tiempo un grupo de imágenes de un color.
7. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque el segundo video representa el video original por una velocidad de bits más alta que el primer video, y la segunda unidad de codificación codifica por compresión información indicadora de una diferencia en velocidad de bits entre imágenes que correspondan entre si, para generar el flujo de video de vista dependiente.
8. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque el segundo video representa el video original por una profundidad de color más alta que el primer video, cada imagen tiene información de profundidad de color que indica profundidades de colores de pixeles que constituyen esa imagen, y la segunda unidad de ' codificación codifica por compresión una diferencia en la información de profundidad entre imágenes que correspondieron unas a otras, para generar el flujo de video de vista dependiente.
9. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque el segundo video representa el video original., por una resolución más alta que el primer video, y la segunda unidad de codificación usa, como las imágenes de referencia, las imágenes incluidas en el flujo de video que se conforma al primer formato de codificación que han sido convertidas a una resolución del segundo video.
10. El dispositivo de codificación de video de conformidad con la reivindicación 9, caracterizado porque el primer video representa el video original en un formato de entrelazado, el segundo video representa el video original en un formato progresivo, y cuando la segunda unidad de codificación va a usar imágenes de campo superior e imágenes de campo inferior como las imágenes de referencia, la segunda unidad de codificación convierte las imágenes de campo superior y las imágenes de campo inferior a la resolución del segundo video.
11. El dispositivo de codificación de video de conformidad con la reivindicación 1, caracterizado porque ' la segunda unidad de decodificación usa, como el segundo video, uno de un tercer video que representa el video original por una velocidad de bits más alta que el primer video, un cuarto video que representa el video original por una profundidad de color más alta que el primer video, y un quinto video que representa el video original por una resolución más alta que el primer video, e indica un descriptor, el cual indica cuál del tercer video, el cuarto video y el quinto video se usa como el segundo video, en al menos uno del flujo de video de vista base y el flujo de video de vista dependiente.
12. Un método de codificación de video caracterizado porque comprende: una primera etapa de codificación para generar un flujo de video que se conforme a un primer formato de codificación al codificar por compresión un primer video de una primera calidad convertido a partir de un video original, una segunda etapa de codificación para generar un flujo de video de vista base y un flujo de video de vista dependiente que se conformen ambos a un segundo formato de codificación que permita una referencia entre vistas; y una etapa de salida para dar salida a los flujos de video generales en la primera etapa de codificación y la segunda etapa de codificación, en donde la segunda etapa de codificación genera, como el flujo de video de vista base, un flujo de video que son datos ficticios que incluyen el mismo número de imágenes que el flujo de video generado al codificar por compresión el primer video, y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como referencia, imágenes, imágenes incluidas en el flujo de video que se conforman al primer formato de codificación que tienen la misma información de hora que las imágenes incluidas en el flujo de video de vista base y que corresponden a imágenes que constituyen el segundo video, el segundo video siendo (de una segunda calidad más alta que la primera calidad y siendo convertido a partir del video original.
13. Un programa de codificación de video para hacer que una computadora funcione como un dispositivo de codificación de video, caracterizado porque hace que la computadora funcione como: una primera unidad de codificación configurada para generar un flujo de video que se conforme a un primer formato de codificación al codificar por compresión un primer video de una primera calidad convertido a partir de un video original ; una segunda unidad de codificación configurada para generar un flujo de video de vista base y un flujo de video de vista dependiente que se conformen ambos a un segundo formato de codificación que permita una referencia entre vistas; y una unidad de salida configurada para dar salida a los flujos de video generados por la primera unidad de codificación y la segunda unidad de codificación, en donde la segunda unidad de codificación genera, como el flujo de video de vista base, un flujo de ideo que son datos ficticios que incluyen el mismo número de imágenes en el flujo de video generado al codificar por compresión el primer video; y genera el flujo de video de vista dependiente al codificar por compresión un segundo video usando, como imágenes de referencia, las imágenes incluidas en el flujo de video que se conforma al primer formato de codificación que tienen la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base y que corresponden a imágenes que constituyen el segundo video, el segundo video siendo de una segunda calidad más alta que la primera calidad y siendo convertido en del video original.
14. Un dispositivo de reproducción de video para obtener flujos de video enviados desde el dispositivo de codificación de video de conformidad con la reivindicación 1 y decodificar y reproducir los flujos de video obtenidos, caracterizado porque comprende: una primera unidad de decodificación configurada para decodificar el flujo de video que se conforme al primer formato de codificación; una segunda unidad de codificación configurada para decodificar el flujo de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que ha sido decodificadas por la primera unidad de decodificación que tienen la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base que corresponden a imágenes que constituyen el flujo de video de vista dependiente; y una unidad de reproducción configurada para reproducir el segundo video que se obtiene por la segunda unidad de codificación.
15. Un método de reproducción de video para obtener flujos de video enviados por el método de codificación de video de conformidad con la reivindicación 12, y decodificar y reproducir los flujos de video obtenidos, caracterizado porque comprende : una primera etapa de decodificación de decodificar el flujo de video que se conforma al primer formato de codificación; una segunda etapa de decodificación para decodificar el flujo de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que ha sido decodificado en la primera etapa de decodificación que tienen la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base que corresponden a imágenes que constituyen el flujo de video de vista dependiente; y una etapa de reproducción para reproducir el segundo video que se obtiene en la segunda etapa de decodificación.
16. Un programa de reproducción de video para hacer que una computadora funcione como un dispositivo de reproducción de video para obtener flujos de video enviados desde el dispositivo de codificación de video de conformidad con la reivindicación 1, y decodificar y reproducir los flujos de video obtenidos, caracterizado porque causa que la computadora funcione como: una primera unidad de decodificación configurada para decodificar el flujo de video que se- conforme al primer formato de codificación; una segunda unidad de decodificación configurada para decodificar el flujo _ de video de vista base, y decodificar el flujo de video de vista dependiente usando, como imágenes de referencia, imágenes incluidas en el flujo de video que hayan sido decodificadas por la primera unidad de decodificación que tienen la misma información de tiempo que las imágenes incluidas en el flujo de video de vista base que corresponden a imágenes que constituyen el flujo de video de vista dependiente; y una unidad de reproducción configurada para reproducir el segundo video que se obtiene por la segunda unidad de decodificación.
MX2013008311A 2011-02-16 2012-02-15 Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video. MX2013008311A (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161443353P 2011-02-16 2011-02-16
PCT/JP2012/000974 WO2012111320A1 (ja) 2011-02-16 2012-02-15 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム

Publications (1)

Publication Number Publication Date
MX2013008311A true MX2013008311A (es) 2013-09-06

Family

ID=46672264

Family Applications (1)

Application Number Title Priority Date Filing Date
MX2013008311A MX2013008311A (es) 2011-02-16 2012-02-15 Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video.

Country Status (7)

Country Link
US (1) US9277217B2 (es)
JP (1) JP5906462B2 (es)
BR (1) BR112013020867A2 (es)
CA (1) CA2823288C (es)
MX (1) MX2013008311A (es)
TW (1) TW201251467A (es)
WO (1) WO2012111320A1 (es)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006044476A2 (en) 2004-10-12 2006-04-27 Robert Vernon Vanman Method of and system for mobile surveillance and event recording
US9860536B2 (en) 2008-02-15 2018-01-02 Enforcement Video, Llc System and method for high-resolution storage of images
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
RU2645717C2 (ru) * 2012-09-07 2018-03-01 Сони Корпорейшн Устройство передачи, способ передачи, устройство приёма и способ приёма
US9066082B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Forensics in multi-channel media content
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US9348495B2 (en) 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
BR112017017792A2 (pt) * 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
CN106776663B (zh) * 2015-11-25 2020-11-10 腾讯科技（深圳）有限公司 音频文件的压缩方法和装置
US10341605B1 (en) 2016-04-07 2019-07-02 WatchGuard, Inc. Systems and methods for multiple-resolution storage of media streams
US10769818B2 (en) * 2017-04-09 2020-09-08 Intel Corporation Smart compression/decompression schemes for efficiency and superior results
CN113949930B (zh) * 2020-07-17 2024-03-12 晶晨半导体(上海)股份有限公司 选取参考帧的方法、电子设备和存储介质
US12432328B2 (en) * 2021-03-26 2025-09-30 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
CN114394100B (zh) * 2022-01-12 2024-04-05 深圳力维智联技术有限公司 一种无人巡逻车控制系统及无人车

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP2175659B1 (en) * 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JPH10191394A (ja) 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
CN1279757C (zh) 1997-07-18 2006-10-11 索尼公司 图像信号复用装置和方法、分解装置和方法
JP4499204B2 (ja) * 1997-07-18 2010-07-07 ソニー株式会社 画像信号多重化装置および方法、並びに伝送媒体
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
JP4346868B2 (ja) * 2002-06-17 2009-10-21 株式会社日立製作所 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
US7720999B2 (en) * 2002-11-26 2010-05-18 Qualcomm Incorporated System and method for optimizing multimedia compression using plural encoders
JP2006237656A (ja) * 2003-02-28 2006-09-07 Secom Co Ltd 符号化信号分離・合成装置、差分符号化信号生成装置、差分符号化信号抽出装置、符号化信号分離・合成方法、符号化信号分離・合成プログラム
US7610603B2 (en) * 2004-03-26 2009-10-27 Broadcom Corporation Multistream video communication with staggered access points
US20060271990A1 (en) * 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR100905723B1 (ko) 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
US20090320081A1 (en) * 2008-06-24 2009-12-24 Chui Charles K Providing and Displaying Video at Multiple Resolution and Quality Levels
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
RU2523178C2 (ru) 2009-02-19 2014-07-20 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения и интегральная схема
RU2525750C2 (ru) * 2009-02-19 2014-08-20 Панасоник Корпорейшн Носитель записи, устройство воспроизведения и интегральная схема
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
US20110216827A1 (en) * 2010-02-23 2011-09-08 Jiancong Luo Method and apparatus for efficient encoding of multi-view coded video data
KR101362943B1 (ko) * 2010-06-30 2014-02-17 한국전자통신연구원 통신 시스템에서 데이터 송수신 장치 및 방법

Also Published As

Publication number Publication date
JP5906462B2 (ja) 2016-04-20
BR112013020867A2 (pt) 2016-09-27
US9277217B2 (en) 2016-03-01
US20130287090A1 (en) 2013-10-31
CA2823288C (en) 2019-05-07
TW201251467A (en) 2012-12-16
WO2012111320A1 (ja) 2012-08-23
CA2823288A1 (en) 2012-08-23
JPWO2012111320A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
CA2823288C (en) Video encoder, video encoding method, video encoding program, video reproduction device, video reproduction method, and video reproduction program
US20130286160A1 (en) Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
JP6229962B2 (ja) 符号化装置及び符号化方法
KR101998892B1 (ko) 송신 장치, 송신 방법 및 수신 장치
KR101812612B1 (ko) 3ｄ 비디오 신호를 생성하는 방법
JP6365697B2 (ja) 受信装置および受信方法
JP6008292B2 (ja) ビデオストリームの映像のデータ作成装置及び再生装置
JPWO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法

Legal Events

Date Code Title Description
FG Grant or registration